Proxmox / Influxdb V1 zu V2... wie?

[Marc Berg]

@massiveattack sagte in Proxmox / Influxdb V1 zu V2... wie?:

@marc-berg

d.h. ich bekomme die Daten nicht aus der v1 in die v2?

So, wie ich das sehe, mit dieser Methode erst nach einem Update auf mindestens 1.8.3

[MassiveAttack]

@marc-berg

wie ich diese useability liebe

[Boronsbruder]

@massiveattack
ja, da fehlt -lponly

Jetzt hast du 2 Möglichkeiten...

1. Eine für dein Betriebsystem passende influx_inspect finden

oder

Einen Texteditor benutzen um den Header (die ersten paar Zeile mit #)

# INFLUXDB EXPORT: 2023-01-01T01:59:59+01:00 - 2262-04-12T00:47:16+01:00
# DDL
CREATE DATABASE iobroker WITH NAME autogen
# DML
# CONTEXT-DATABASE:iobroker
# CONTEXT-RETENTION-POLICY:autogen
# writing tsm data
0_userdata.0.Wetter.Mittel.1 ack=false 1672617060016000000

entfernen und dann importieren. Vorher natürlich entpacken.

Der Editor muss aber die riesige Datei verkraften und linux-kompatibles Format benutzen. Nicht dass Windows-Sonderzeichen für Zeilenumbrüche usw. Probleme machen.

[Boronsbruder]

ich benutze hier auf Windows Notepad++

[Marc Berg]

@boronsbruder sagte in Proxmox / Influxdb V1 zu V2... wie?:

Jetzt hast du 2 Möglichkeiten...

1. Eine für dein Betriebsystem passende influx_inspect finden

Hier https://dl.influxdata.com/influxdb/releases/influxdb-1.8.10_linux_amd64.tar.gz
wäre eine aktuellere influx_inspect enthalten. Aber ob die mit der 1.8.0 DB läuft?

[Boronsbruder]

@marc-berg
ich würde erst die variante mit Zeilen entfernen versuchen

z.B. entpacken und

sed '/^[#]/d' DATEINAME > NEUER_DATEINAME

(entfernt alle Zeilen beginnend mit # und schreibt das Resultat in eine neue Datei)

danach mit

gzip NEUER_DATEINAME

wieder packen

[Marc Berg]

@boronsbruder sagte in Proxmox / Influxdb V1 zu V2... wie?:

sed '/^[#]/d' DATEINAME > NEUER_DATEINAME

(entfernt alle Zeilen beginnend mit # und schreibt das Resultat in eine neue Datei)

Was ich nicht verstehe ist: Wenn diese Zeile hier angemeckert wird

Error: failed to write data: 400 Bad Request: unable to parse 'CREATE DATABASE iobroker WITH NAME autogen': invalid field format

und vor dieser Zeile kein "#" steht, was bringt das denn?

[Boronsbruder]

@marc-berg
Hast natürlich recht...
Copy und paste...

EDIT

besser noch

sed -e '/^[#]/d' -e '/^CREATE/d' DATEINAME > NEUER_DATEINAME

Sonst kann es passieren, dass er Zeilen mit löscht, die CREATE irgendwo im TEXT haben.
Hier wird nur gelöscht nur wenn die Zeichen am Anfang sind...

[MassiveAttack]

@boronsbruder

ich bekomme jetzt ein permission denied, ich hab keine lust mehr

unexpected error writing points to database: mkdir /var: permission denied / "unexpected error writing points to database: mkdir /var: permission denied""

im Verzeichnis /var habe ich schon chmod 777 gesetzt, bringt nix

[Boronsbruder]

@massiveattack
langsam...
nicht unbedacht irgenwelche Berechtigungen verbiegen...

Was löst den Fehler aus....

Mit welchem Benutzer?

Ist influxv2 sauber installiert?

[MassiveAttack]

@boronsbruder

influx write -b iobroker -o universe -t KUArezBLNDbZWty0PcwTbD0rme4qIR2JZ0sffRAU8mcT2eXMB12jp6-aTRiH0Gtw0UsY4aEr1U3JXMiYWFTlWg== -f export

root
ja

Diese v2 DB dient mir grad mal als Testobjekt, da verbiege ich alles wenn notwendig

[Marc Berg]

@massiveattack sagte in Proxmox / Influxdb V1 zu V2... wie?:

@boronsbruder

ich bekomme jetzt ein permission denied, ich hab keine lust mehr

unexpected error writing points to database: mkdir /var: permission denied / "unexpected error writing points to database: mkdir /var: permission denied""

im Verzeichnis /var habe ich schon chmod 777 gesetzt, bringt nix

Ich denke mal, die V2 Installation ist völlig schief. Das kam mir mit den fehlenden Configs/Profilen schon seltsam vor. Auch wenn's nervt, fang nochmal neu an.

[MassiveAttack]

@marc-berg

vermutlich hast du recht, vielleicht habe ich morgen wieder muse

ginge eine datenmigration via csv auch? zumindest könnte man den import mit dem webui machen

[MassiveAttack]

kaum macht man's richtig, geht's auch

• Influx 2 neu aufgesetzt
• setup mittels console (nicht webui)
• import von v1
• umgestellt auf influxql
• iobroker und grafana eingerichtet
• ein ganzes grafana dashboard umgebaut auf v2, läuft bereits

Lasse noch die v1 parallel laufen, bis ich alle dashboard umgestellt habe.
danke für die super unterstützung!

[Neuschwansteini]

@massiveattack

Hast du n Tip, wie man am einfachsten die Grafana Views von Influx1 auf V2 umstellt?
Finde das etwas umständlich mit Flux.. naja bin auch influxql gewohnt..

[Marc Berg]

@massiveattack sagte in Proxmox / Influxdb V1 zu V2... wie?:

kaum macht man's richtig, geht's auch

• Influx 2 neu aufgesetzt
• setup mittels console (nicht webui)
• import von v1

Wie hast du den Import hinbekommen? Mit Manipulation der Exportdatei oder einer aktuellen influx_inspect?

[MassiveAttack]

@ilovegym sagte in Proxmox / Influxdb V1 zu V2... wie?:

@massiveattack

Hast du n Tip, wie man am einfachsten die Grafana Views von Influx1 auf V2 umstellt?
Finde das etwas umständlich mit Flux.. naja bin auch influxql gewohnt..

influx v1 auth create --read-bucket <ID des Buckets> --username grafana

influx v1 dbrp create --db <DB Name> --rp autogen --bucket-id <ID des Buckets>  --default

Das führst du in der DB aus, damit man in grafana influxql verwenden kann.
Dann kannst du deine views in grafana behalten

[MassiveAttack]

@marc-berg sagte in Proxmox / Influxdb V1 zu V2... wie?:

@massiveattack sagte in Proxmox / Influxdb V1 zu V2... wie?:

kaum macht man's richtig, geht's auch

• Influx 2 neu aufgesetzt
• setup mittels console (nicht webui)
• import von v1

Wie hast du den Import hinbekommen? Mit Manipulation der Exportdatei oder einer aktuellen influx_inspect?

Hab das exportfile manipuliert. Meine 1.8er kennt das flag -lponly nicht

[Neuschwansteini]

@massiveattack sagte in Proxmox / Influxdb V1 zu V2... wie?:

@ilovegym sagte in Proxmox / Influxdb V1 zu V2... wie?:

@massiveattack

influx v1 auth create --read-bucket <ID des Buckets> --username grafana

influx v1 dbrp create --db <DB Name> --rp autogen --bucket-id <ID des Buckets>  --default

Das führst du in der DB aus, damit man in grafana influxql verwenden kann.
Dann kannst du deine views in grafana behalten

Danke! hat super geklappt, musste allerdings noch die Parameter --token und --org dran hängen.

[MassiveAttack]

@ilovegym

Für alle, die die Datenmigration mit einer "zu" alten Influx v1 durchführen wollen, und das flag "-lponly" nicht verwenden können, hier meine Schritte:

##################

• influx_inspect export -database iobroker -out /var/lib/influxdb/backups/inv1.gz -datadir /var/lib/influxdb/data/ -waldir /var/lib/influxdb/wal/ -compress
• gunzip inv1.gz
• sed -e '/^[#]/d' -e '/^CREATE/d' inv1 > new
• gzip new
• influx write -b iobroker -f new.gz

##################

Damit konnte ich meine komplette DB migrieren