[gelöst] InfluxDB v 1.x auf v 2.x updaten

[mickym]

Ich sehe gerade - mit dem letzten apt update - wurde auch die influxdb aktualisiert:

apt policy influxdb2
influxdb2:
  Installiert:           2.5.1-1
  Installationskandidat: 2.5.1-1
  Versionstabelle:
 *** 2.5.1-1 500
        500 https://repos.influxdata.com/debian stable/main amd64 Packages
        100 /var/lib/dpkg/status
     2.4.0-1 500
        500 https://repos.influxdata.com/debian stable/main amd64 Packages
     2.3.0-1 500
        500 https://repos.influxdata.com/debian stable/main amd64 Packages
     2.2.0 500
        500 https://repos.influxdata.com/debian stable/main amd64 Packages

Ist also schon 2.5.1 aktuell

[stony2k]

@mickym Ja die 2.5.1 habe ich auch direkt installiert. Kämpfe noch immer ein wenig herum und suche natürlich bei Google herum. Alles nicht so einfach

Im Data Explorer sehe ich z. B. mit dem Schalter "View Raw Data" Einträge von 11:25 Uhr. Also hat die Migration wohl funktioniert. Wenn ich allerdings auf den Graphen umschalte werden nur noch neue Einträge angezeigt, die unter InfluxDB 2 erstellt wurden. So ganz verstehe ich das nicht.

[mickym]

@stony2k Na wenn Du die Raw Data siehst dann sind die Daten da.

Bei der Query musst halt die entsprechenden Filter setzen und den Zeitraum

Dann schau mal unter table, ob die Daten da sind.

[stony2k]

@mickym Schau selbst. Daten sind vorhanden, z. B. ab 11:30 Uhr

Wechsel ich dann auf den Graphen sehe ich in der Kurve aber nur Daten ab 14:14 Uhr

[mickym]

@stony2k Nee das passt schon - in der Tabelle das sind UTC Daten - im Graph ist das local time.

Auch wenn Du 11:30 als start angibst - ist ja nur das Startzeitfenster. Geh mal auf die Seite 6. Der Datenpunkt ist die letzte Spalte und wie gesagt UTC.

[stony2k]

@mickym Ich sehe in den Rohdaten echt keinen Unterschied (zwischen V1 und V2 Daten), bin ich da gerade betriebsblind?

Aber müsste ich nicht im ioBroker die älteren Daten sehen? Oder muss ich die alten Daten umwandeln? Verstehe noch nicht so ganz den Sinn der Migration der alten Daten, wenn diese nicht mehr verwendet werden können

Im Data Explorer macht es auch keinen Unterschied, ob ich zwischen local und UTC wechsle. Wobei mir das egal ist, aber der ioBroker sollte schon auf die alten Daten sichtbar sein. Oder habe ich quasi Pech und komme nicht darum die alten Daten um ioBroker nicht mehr sichtbar zu haben?

Habe mal auf Neugierde das nächtliche Backup vom BackItUp Adapter eingespielt (vorher in der Konfiguration auf die InfluxDB 2.x Einstellung alles angepasst). Restore ist laut dem Apater auch erfolgreich, aber mehr Daten sehe ich trotzdem nicht. Als ob "die alten Daten" nicht mehr angezeigt / benutzt werden können.

[mickym]

@stony2k Ja meines Erachstens bin ich mir nicht sicher, ob Du die alten Daten migriert hast. Du musst die alten Daten umwandeln, so verstehe ich diese Anleitung. Also bevor Du nicht die alten Daten siehst - ist die DB nicht richtig umgewandelt.

[mickym]

Hast Du mal versucht mit dem influx db 1 Kommando Deine Datenbank zu exportieren:

https://docs.influxdata.com/influxdb/v2.5/upgrade/v1-to-v2/manual-upgrade/#migrate-time-series-data

Das mit der influx db1 eingeben

influx_inspect export \
  -database example-db \
  -retention example-rp \
  -out /path/to/example-db_example-rp.lp \
  -lponly

Das mit der influx db2.5 eingeben
und dann in der 2.5 wieder zu importieren:

# Example
influx write \
  --bucket example-db/example-rp \
  --file /path/to/example-db_example-rp.lp

[mickym]

@stony2k Wie gesagt - sieht so aus, als ob du erst mal die alten Daten exportieren musst und dann in die neue Einlesen musst. Also quasi über eine Zwischendatei alles exportieren und dann wieder einlesen.

[stony2k]

@mickym Stimmt, hatte ich vergessen zu schreiben. Das hatte ich auch versucht, blöderweise ist das wohl ein Befehl, der nur mit der V1 Version geht. Hatte bei der V1 zwar mit influx backup ein backup erstellt, aber nicht exportiert.

Denn aktuell erhalte ich: influx_inspect: command not found

Ich habe vor dem Upgrade auf die V2 vorsichtshalbe einen Snapshot meines Contrainers gemacht. Also muss ich wohl am besten diesen wiederherstellen, die V1 DB exportieren, dann nochmal das Upgrade durchführen und hoffen

[mickym]

@stony2k geht denn der Befehl

influx_inspect export 

den musst du doch unter der Version 1 ausführen. Ja Ok - verstehe. Na mit den snapshots sollte das ja schnell wiederherzustellen sein.

[stony2k]

@mickym Wow das war doch zeitaufwändiger als ich dachte. Ich konnte mit dem Backup die Daten wiederherstellen und jetzt sehe ich auch alle Daten. Vielen lieben Dank.

Kannst du mir jetzt evtl. noch helfen, dass ich eine Query erstelle, um einen Durchschnittswert aus den Daten der letzten Woche erhalte?

[mickym]

@stony2k ich kann im nur ein beschränkt helfen, da ich im Moment gerade keinen Zugriff auf meinen pc habe. In dem data explorer schau mal, ob du die query hinbringst. Du kannst dann auf den Script editor Umschalten.

[stony2k]

@mickym habe ich versucht, auch die offziellen Docs und verschiedene Funktionen daraus probiert, bisher leider nur nicht ansatzweise das gewünschte Ergebnis erhalten.

[SpacerX]

@stony2k wie der Query in meinem Blockly.

Dazu das Bucket, Range und Measurement anpassen und die letzte Zeile statt |>min() dann |>mean() benutzen.

[stony2k]

@spacerx @mickym Vielen Dank, habe es geschafft und meine Lösung gepostet Im ersten Beitrag findet ihr den Link und eine Danksagung.

[MacPo]

@stony2k Kannst Du mir sagen, wie Du die Daten migriert hast, so dass Du auf die alten Daten im Data Explorer zugreifen kannst?
Unter 2.4 kann ich mit der v1 Shell auf die alten Daten zugreifen, mit dem Data Explorer kann ich nur auf die neuen zugreifen...

[stony2k]

@macpo Hatte vorher Snapshots von meinem Container gemacht (vor und nach dem Upgrade auf V2). Hatte die Schritte für mich dokumentiert, hoffe das hilft dir weiter:

V1 Datenbank Backup. Vor dem Update auf InfluxDB V2 einen Snapshot des Containers erstellen, danach:
sudo influx_inspect export
-database iobroker
-datadir /var/lib/influxdb/data
-waldir /var/lib/influxdb/wal
-retention never
-out /home/stony/influxv1backup.lp
-lponly

Die Datei influxv1backup.lp herunterladen

Das Update auf die V2 durchführen. Datenbank Restore:
sudo influx write --org Stony --bucket-id <id> --file <pfad>/influxv1backup.lp -host http://10.0.1.20:8086

[cbrocker]

@stony2k

Das Update auf die V2 durchführen. Datenbank Restore:
sudo influx write --org Stony --bucket-id <id> --file <pfad>/influxv1backup.lp -host http://10.0.1.20:8086

Hey Stony2k,

vielleicht hast du mir noch einige Tipps, ich habe in der Knowledgebase von InfluxDB schon stundenlang gelesen, wie die Datenmigration von 1.8.x auf 2.6 geht.

Ich habe derzeit iobroker, Grafana und InfluxDB 1.8.x auf einem Raspberry.

Auf einem HP Mini-PC habe ich Proxmox mit iobroker, Grafana und InfluxDB 2.6 und möchte alles nach und nach vom Rasp Pi auf den Mini-PC übernehmen.

die lp-Datei habe ich vom Rasp Pi exportiert, einmal ohne Kompression, dann hatte die
Datei 33 GB. Mit Kompression sind es 47 MB. Kann das echt sein?

Beim Import in 2.6, woher weiß ich die Bucket-ID?
Muß ich vorm Import über InfluxDB WebUI eine leere Datenbank anlegen und bekomme darüber die Bucket ID?

Ich freue mich auf ein paar Tips von dir und danke dir schon jetzt.

Grüße
Christoph

[Marc Berg]

@cbrocker sagte in [gelöst] InfluxDB v 1.x auf v 2.x updaten:

Beim Import in 2.6, woher weiß ich die Bucket-ID?
Muß ich vorm Import über InfluxDB WebUI eine leere Datenbank anlegen und bekomme darüber die Bucket ID?

Du kannst statt der Bucket-ID auch den Namen des Buckets angeben, welches dann erzeugt wird. Verwende dafür den Parameter "--bucket". Steht auch so in der Doku zum Befehl: https://docs.influxdata.com/influxdb/cloud/reference/cli/influx/write/

Alternativ könntest Du im Vorfeld auch das Bucket anlegen und die ID verwenden.