Proxmox / Influxdb V1 zu V2... wie?

[SBorg]

Ich bin ja bekennender "Faullist"

Auf Quellhost im Verzeichnis stehend was auch der Zielhost lesen kann:

• Datei export.csv mit folgendem Inhalt angelegt
  #datatype measurement,dateTime:RFC3339,boolean,string,double,double
• danach jeweils ausgeführt [xxx] jeweils passend ersetzt; ohne die []:

influx -database [DB-Name] -username [name] -password [passwort] -execute 'SELECT * FROM "javascript.0.Wetterstation.Aussentemperatur"' -format csv -precision='rfc3339' >> export.csv

influx -database [DB-Name] -username [name] -password [passwort] -execute 'SELECT * FROM "javascript.0.Wetterstation.Wind_max"' -format csv -precision='rfc3339' >> export.csv

influx -database [DB-Name] -username [name] -password [passwort] -execute 'SELECT * FROM "javascript.0.Wetterstation.Regen_Tag"' -format csv -precision='rfc3339' >> export.csv

Ergebnis für 4 Jahre Daten: ca. 200MB - Datei
Dauer bis hierhin < 1 Minute

---

Zielhost, im Verzeichnis stehend wo der Export statt fand

influx write -b [bucketname] -f export.csv

Das hat nun etwa 3-4 Minuten gedauert und 3 Fehlerhafte Datensätze zu Tage gebracht --> Fertig

[Boronsbruder]

@sborg said in Proxmox / Influxdb V1 zu V2... wie?:

Ich bin ja bekennender "Faullist"

warum nutzt du dann
SELECT FROM <measurement_name>,<measurement_name>
nicht ?

[MassiveAttack]

https://joshuamarvel.com/upgrade-influxdb-1-8-to-2-x-on-ubuntu-20-04/

Wer traut sich drüber?
Das müsste doch auch funktionieren, wenn man die Influx in einem Container laufen hat, oder?

[wendy2702]

@massiveattack sagte in Proxmox / Influxdb V1 zu V2... wie?:

https://joshuamarvel.com/upgrade-influxdb-1-8-to-2-x-on-ubuntu-20-04/

Wer traut sich drüber?
Das müsste doch auch funktionieren, wenn man die Influx in einem Container laufen hat, oder?

Teste ich die Tage mal.

Vorher Backup vom Container und es kann nichts passieren….. theoretisch

[Boronsbruder]

@massiveattack
Geht aber nicht, wenn influxv1 auf host1 und auf host2 die influxv2 läuft

[Boronsbruder]

@sborg said in Proxmox / Influxdb V1 zu V2... wie?:

Das hat nun etwa 3-4 Minuten gedauert und 3 Fehlerhafte Datensätze zu Tage gebracht --> Fertig

Die Fehler kommen wahrscheinlich davon, dass er wenn du einen neuen Datensatz anhängst, er wieder den
name,time,ack,from,q,value
als Header reinschiebt.

Kann man mit einem eingeschobenen "| grep javascript.0" hier z.B. ausfiltern

influx -database [DB-Name] -username [name] -password [passwort] -execute 'SELECT * FROM "javascript.0.Wetterstation.Aussentemperatur"' -format csv -precision='rfc3339'  | grep javascript.0 >> export.csv

Als Hinweis für alle:

Wenn ihr die influx auf tls/https laufen lasst, dann muss zum influx-write
--host https://localhost:8086 --skip-verify
hinzugefügt werden (der skip nur wenn das Zertifikat selbstsigniert ist). Port natürlich anpassen... Wichtig ist https

sonst wird nur
data: read tcp 127.0.0.1:47644->127.0.0.1:8086: read: connection reset by peer
gemeldet!

[MassiveAttack]

@boronsbruder sagte in Proxmox / Influxdb V1 zu V2... wie?:

@massiveattack
Geht aber nicht, wenn influxv1 auf host1 und auf host2 die influxv2 läuft

Logisch
Wenn das upgrade aber so relativ easy durchgeht, kann ich gut damit leben

[SBorg]

@boronsbruder sagte in Proxmox / Influxdb V1 zu V2... wie?:

@sborg said in Proxmox / Influxdb V1 zu V2... wie?:

Ich bin ja bekennender "Faullist"

warum nutzt du dann
SELECT FROM <measurement_name>,<measurement_name>
nicht ?

Ich komme noch aus der 16kb RAM Hauptspeicher und Diskettenära, da mussten die meisten Operationen mangels Speicher aufgeteilt werden. Das hat sich bis heute teilweise gehalten, obwohl es dank schneller Hardware und massig RAM nicht mehr nötig ist. Aber dank Linux einmal "Cursor hoch" + Wind_max/Regen_Tag müsste ich sowieso immer eintippen

@boronsbruder sagte in Proxmox / Influxdb V1 zu V2... wie?:

Kann man mit einem eingeschobenen "| grep javascript.0" hier z.B. ausfiltern

Guter Ansatz, funktioniert so aber auch nicht, außer du lässt es beim 1. Aufruf weg. Einmal wollen/müssen wir es ja haben

Die "Killervariante" für die Doku (Danke für den https-Hinweis, nehme ich dann mit auf):

echo '#datatype measurement,dateTime:RFC3339,boolean,string,double,double' > export.csv && influx -database [DB-name] -username  [username] -password [passwort] -execute 'SELECT * FROM  "javascript.0.Wetterstation.Aussentemperatur","javascript.0.Wetterstation.Regen_Tag","javascript.0.Wetterstation.Wind_max"' -format csv -precision='rfc3339' >> export.csv

[Negalein]

ich steh komplett an.
Check es nicht, wie ich die Daten 1:1 von Host A nach Host B bekomme.
Und sie dann in Influx 2 einspiele!

[Boronsbruder]

@negalein

1. auf Host 1:
   Exportieren: hier z.B die Datenpunkte

• javascript.0.Wetterstation.Aussentemperatur
• javascript.0.Wetterstation.Regen_Tag
• javascript.0.Wetterstation.Wind_max

Mit folgendem Kommando

echo '#datatype measurement,dateTime:RFC3339,boolean,string,double,double' > export.csv && influx -database [DB-name] -username [username] -password [passwort] -execute 'SELECT * FROM "javascript.0.Wetterstation.Aussentemperatur","javascript.0.Wetterstation.Regen_Tag","javascript.0.Wetterstation.Wind_max"' -format csv -precision='rfc3339' >> export.csv 

2. Die export.csv rüber auf Host2 kopieren
3. Auf Host 2 mit

influx write -b [DATENBANKNAME] -f ./export.csv 

(Datenbank ist in v2 = bucket) importieren

[Boronsbruder]

@sborg said in Proxmox / Influxdb V1 zu V2... wie?:

Guter Ansatz, funktioniert so aber auch nicht, außer du lässt es beim 1. Aufruf weg. Einmal wollen/müssen wir es ja haben

@Sborg
Nein. wollen wir nicht, da wir die export.csv mit dem Header vorbereiten

Ohne grep:

#datatype measurement,dateTime:RFC3339,boolean,string,double,double
name,time,ack,from,q,value
0_userdata.0.Wetterstation.DP100.1.Bodenfeuchtigkeit,2022-12-31T12:11:44.427Z,true,system.adapter.simple-api.0,0,15

Also, bei mir halt...

[da_Woody]

@boronsbruder da gehts ja nicht nur um die wetterstation, sondern um alle.
hab auch gerade getestet mit influxdb-studio. kann mich damit nicht einloggen.
einen seltsamen alias eintrag in der DB (bucket), den ich nie angelegt habe. erst heute in der früh influx2 installiert.

[SBorg]

@boronsbruder So wäre es ja auch richtig. Wenn du aber den grep bei allen drei Aufrufen tätigst, wird es Zeile #2 nie geben

Zeile #1 erzeugen wir ja per Hand, #3 + folgende dann der Export-Befehl.

Aufruf #1 müsste also ohne grep erfolgen, #2 und #3 dann mit.

[Negalein]

@boronsbruder sagte in Proxmox / Influxdb V1 zu V2... wie?:

Exportieren: hier z.B die Datenpunkte

Danke
Also für jeden DP eine eigene .csv?

Das ist ja eine Arbeit für mehrere Tage.
Gibt es keine Möglichkeit, die komplette DB zu exportieren und in V2 wieder zu importieren?

[wendy2702]

@negalein Sollte das nicht hiermit einfacher gehen:

https://docs.influxdata.com/influxdb/v2.6/upgrade/v1-to-v2/manual-upgrade/#migrate-time-series-data

[Boronsbruder]

@sborg
ja, die brauchen wir ja auch nicht, da wir ihm
ja mit dem Header mitgeben, dass der

• 1.Wert das meassurement
• der 2.Wert, die Zeit ist,
• usw.

Die Zeilen bestehen immer aus der gleichen Anzahl von komma-getrennten Werten

[Negalein]

@wendy2702 sagte in Proxmox / Influxdb V1 zu V2... wie?:

Sollte das nicht hiermit einfacher gehen:

Danke
Ja, schaut aus dass man hier die komplette DB bekommt.

Aber was sind buckets?

Repeat steps 1-2 for each bucket

[da_Woody]

@negalein IMHO sind die buckets die DBs...

[A Former User]

@negalein sagte in Proxmox / Influxdb V1 zu V2... wie?:

Aber was sind buckets?

Moin,

A bucket is a named location where time series data is stored. All buckets have a retention period, a duration of time that each data point persists. InfluxDB drops all points with timestamps older than the bucket’s retention period. A bucket belongs to an organization.

Siehe Manage Buckets

VG
Bernd

[Negalein]

jetzt kommt der Supergau.

Ich kenne die Login-Daten der V1 DB nicht mehr.
In ioB komm ich im Adapter auch nicht ans PW, da nur die doofen Sternchen sichtbar sind.

Gibt es noch eine Möglichkeit?

Kann man es in Grafana rausfinden (in einem Config-File)?