Umzug influxdb v1.8 auf 2.7.5

[ChristianM]

Hallo zusammen,
ich muss jetzt leider einen weiteren Beitrag zum dem Thema Umzu aufmachen, da ich seit 12 Stunden schon an dem versuchten Umzug hänge und es einfach nicht funktionieren will.
Zur Ausgangslage.
Altes System Proxomox mit iobroker, grafana und influxdb in einer VM
Neues System Proxmox mit iobroker grafana und influxdb jeweils in einem eigenen lxc Container.

Es funktioniert auch schon alles nur möchte ich gerne die alten Daten aus der V1.8 in die Neue gerne haben.
Ich habe es nach dieser Anleitung gemacht und es scheint beim schreiben der Daten in die VM 2.7.5 auch etwas zu passieren. Nur leider tauchen im Bucket die Daten nicht auf.

Die Daten welche geschrieben werden sollen, sehen so aus im Notepad Editor.

Mein Befehl zum schreiben ist dieser

influx write -b iobroker --org Home --token kl6peUvz9LBLfglFSp1UqaehcG-ny6unXwNdCpPVdIUNNIr06TAOrKOWFh_ZXcmxYSCmYlnmp_DgvzQePN49vQ== -f iobroker.line

Hat jemand vielleicht noch eine Idee wo das Problem sein könnte?
Christian

[Marc Berg]

@christianm sagte in Umzug influxdb v1.8 auf 2.7.5:

Nur leider tauchen im Bucket die Daten nicht auf.

Die Daten sehen auf den ersten Blick okay aus. Bucketname, Organization passen?

Wie stellst du fest, dass die Daten fehlen? Zeig mal das Bucket in der Web-UI. Vielleicht die Aufbewahrungszeit des Buckets falsch eingestellt?

Übrigens, wenn du beim Export den Parameter "-lponly" mitgibst, dann kannst du dir das Entpacken und Manipulieren am Header sparen (vielleicht ist dabei auch etwas schief gegangen). Da ist deine Anleitung etwas suboptimal:
https://docs.influxdata.com/influxdb/v2/install/upgrade/v1-to-v2/manual-upgrade/#migrate-time-series-data

Voraussetzung dafür ist nur eine DB-Version v1.8.3 oder größer, und der Befehl zum Importieren muss minimal um --compression gzip angepasst werden:

influx write -b iobroker --org Home --token <token> -f iobroker.line --compression gzip

[oFbEQnpoLKKl6mbY5e13]

Hat sich erledigt.

[ChristianM]

@marc-berg said in Umzug influxdb v1.8 auf 2.7.5:

@christianm sagte in Umzug influxdb v1.8 auf 2.7.5:

Nur leider tauchen im Bucket die Daten nicht auf.

Die Daten sehen auf den ersten Blick okay aus. Bucketname, Organization passen?

Wie stellst du fest, dass die Daten fehlen? Zeig mal das Bucket in der Web-UI. Vielleicht die Aufbewahrungszeit des Buckets falsch eingestellt?

Übrigens, wenn du beim Export den Parameter "-lponly" mitgibst, dann kannst du dir das Entpacken und Manipulieren am Header sparen (vielleicht ist dabei auch etwas schief gegangen). Da ist deine Anleitung etwas suboptimal:
https://docs.influxdata.com/influxdb/v2/install/upgrade/v1-to-v2/manual-upgrade/#migrate-time-series-data

Voraussetzung dafür ist nur eine DB-Version v1.8.3 oder größer, und der Befehl zum Importieren muss minimal um --compression gzip angepasst werden:

influx write -b iobroker --org Home --token <token> -f iobroker.line --compression gzip

Bucketname und Organisation sollten passen, extra alles aufgeschrieben
Influx im Ursprung ist die
die Ziel influxdb ist diese Version
Im Data Explorer kann ich mir ja normalerweise die Daten alle ansehen, hier stehen leider nur ein paar Werte drin, welche beim Start von ioBroker angelegt wurden, mehr leider nicht.
Könnte es vielleicht auch an der Größe liegen, meine DB ist entpackt 3,7GB groß?

Was möchtest du beim Bucket genau sehen?

Sind diese Befehle denn so richtig?

zum packen auf der V1

influx_inspect export -datadir /var/lib/influxdb/data -waldir /var/lib/influxdb/wal -database iobroker -compress -lponly -out ~/iobroker1_export.lp

zum entpacken auf der V2

influx write -b iobroker --org Home --token kl6peUvz9LBLfglFSp1KqaehcG-ny6unXwNdCpPVdZUNNIr06TAOrKOWFh_ZXcmxYSCmYlnmp_DgvzQePN49vQ== -f iobroker.line.lp

Danke schon mal.

[Marc Berg]

@christianm sagte in Umzug influxdb v1.8 auf 2.7.5:

Im Data Explorer kann ich mir ja normalerweise die Daten alle ansehen, hier stehen leider nur ein paar Werte drin, welche beim Start von ioBroker angelegt wurden, mehr leider nicht.

Bitte alles zeigen, vielleicht ist der Zeitraum nicht groß genug gewählt.

Sind diese Befehle denn so richtig?

zum entpacken auf der V2
influx write -b iobroker --org Home --token kl6peUvz9LBLfglFSp1KqaehcG-ny6unXwNdCpPVdZUNNIr06TAOrKOWFh_ZXcmxYSCmYlnmp_DgvzQePN49vQ== -f iobroker.line.lp

Nein. Ich hatte doch geschrieben, dass "--compression gzip" angehängt werden muss, wenn du die gepackte Datei importieren willst.

[ChristianM]

@marc-berg said in Umzug influxdb v1.8 auf 2.7.5:

@christianm sagte in Umzug influxdb v1.8 auf 2.7.5:

Im Data Explorer kann ich mir ja normalerweise die Daten alle ansehen, hier stehen leider nur ein paar Werte drin, welche beim Start von ioBroker angelegt wurden, mehr leider nicht.

Bitte alles zeigen, vielleicht ist der Zeitraum nicht groß genug gewählt.

Sind diese Befehle denn so richtig?

zum entpacken auf der V2
influx write -b iobroker --org Home --token kl6peUvz9LBLfglFSp1KqaehcG-ny6unXwNdCpPVdZUNNIr06TAOrKOWFh_ZXcmxYSCmYlnmp_DgvzQePN49vQ== -f iobroker.line.lp

Nein. Ich hatte doch geschrieben, dass "--compression gzip" angehängt werden muss, wenn du die gepackte Datei importieren willst.

Hier mal ein Auszug aus den Daten.

[Marc Berg]

@christianm

den Zeitbereich größer wählen und die aggegate Funktion abschalten ("Custom" --> Haken wegnehmen)

[ChristianM]

@marc-berg
Ok es scheint so, als hätte er einen Teil übernommen, aber nicht alles.

eigentlich sollten die Daten so aussehen.

[Marc Berg]

@christianm sagte in Umzug influxdb v1.8 auf 2.7.5:

Ok es scheint so, als hätte er einen Teil übernommen, aber nicht alles.

Dann musst du jetzt prüfen, ob die fehlenden Daten aus dem Export herrühren, oder erst beim Import verloren gegangen sind.

Ich würde dann als nächstes den Export in kleinere Häppchen aufteilen (mit den Optionen "-start" und "-end")

Wenn ich mich richtig erinnere, gab es hier schon einmal ein Problem beim Import größerer Datenmengen über diesen Weg. Ich glaube, man muss dann den Timeout-Wert hochsetzen, damit der Import durchläuft. Wenn dein Import nach exakt 10 Sekunden beendet ist, wäre das ein Hinweis darauf.

https://docs.influxdata.com/influxdb/v2/reference/config-options/?t=TOML#storage-write-timeout

[ChristianM]

@marc-berg
Es hat jetzt funktioniert, vielen Dank für deine Hilfe.

[da_Woody]

@christianm ich stehe vor einem ähnlichen Problem. Allerdings nur influx, grafana und tasmoadmin von einer VM auf getrennte LXCs zu bringen. Mir wären auch alte Daten egal.
Für mich stellt sich halt die Frage, nicht gleich auf influx 3 warten? Wie man liest wird da wieder alles umgedreht.

[ChristianM]

@da_woody

@da_woody said in Umzug influxdb v1.8 auf 2.7.5:

@christianm ich stehe vor einem ähnlichen Problem. Allerdings nur influx, grafana und tasmoadmin von einer VM auf getrennte LXCs zu bringen. Mir wären auch alte Daten egal.
Für mich stellt sich halt die Frage, nicht gleich auf influx 3 warten? Wie man liest wird da wieder alles umgedreht.

Ist halt die Frage wie lange man immer warten will und irgendwann muss man ja mal updaten.

[da_Woody]

@christianm klar, aber zwischen splitten und updaten ist halt auch unterschied.
wie gesagt, ich bin kein datenfreak. nett in grafana was zu virtualisieren. lebensnotwendig ist das für mich nicht.
ich seh live was meine PV macht, die gnädigste wäscht/trocknet nur mehr bei sonnenschein.
geheizt wird bei uns mit infrarot, da sind mir paar W schnurz.
aber wie immer, jedem das seine.