Proxmox / Influxdb V1 zu V2... wie?

[MassiveAttack]

@boronsbruder sagte in Proxmox / Influxdb V1 zu V2... wie?:

Für ganze Datenbanken

Export mit:
influx_inspect export -database iobroker -out /tmp/export.gz -compress -lponly
und Import mit:
influx write -b iobroker_test -f export.gz

scheint zu funktionieren.
evtl. müssen die Datenverzeichnisse bei Export mit angegeben werden
-datadir /var/lib/influxdb/data/ -waldir /var/lib/influxdb/wal/
(bei mir)

ABER
Die Dateien sind sehr groß (hier für 2 Jahre ca. 800MB)
Das dauert...

Nur der Import über die WebGUI geht anscheinend nicht...

Der Export hat funktioniert:

influx_inspect export -database iobroker -out /tmp/export.gz -compress -datadir /var/lib/influxdb/data/ -waldir /var/lib/influxdb/wal/
influx write -b iobroker -f export.gz

Der Import schlägt fehl:

root@InfluxDB2:/backup# influx write -b iobroker -o universe -t GN_rdOseDJAA_RY5Akp5qLexrrDmolABpr0pmYrpMiRVUJk9NYwCg6I4GPM3luNvRRXfOs86kqN9IIgXCxfwPw== -f export.gz
Error: failed to write data: 400 Bad Request: unable to parse 'CREATE DATABASE iobroker WITH NAME autogen': invalid field format

@Boronsbruder
hast du eine Idee?

[Boronsbruder]

@massiveattack
Versuch nochmal mit -lponly, wie ich geschrieben hab?

Und warum machst gleich noch ein write?
influx write -b iobroker -f export.gz gehört auf den neuen Host

[MassiveAttack]

@boronsbruder

flag provided but not defined: -lponly
Exports TSM files into InfluxDB line protocol format.

logisch
war ein copy paste Fehler

[Boronsbruder]

@massiveattack
Posted doch bitte die cmdline die den Fehler auslöst immer mit dazu

[MassiveAttack]

@boronsbruder

root@QNAP:/# influx_inspect export -database iobroker -out /tmp/test.lp -lponly
flag provided but not defined: -lponly
Exports TSM files into InfluxDB line protocol format.

[Boronsbruder]

@massiveattack
poste doch mal bitte
influx -v

[MassiveAttack]

@boronsbruder

root@QNAP:/# influx -v
flag provided but not defined: -v
Usage of influx:
  -version
                        Display the version and exit.
  -path-prefix 'url path'
                        Path that follows the host and port
  -host 'host name'
                        Host to connect to.
  -port 'port #'
                        Port to connect to.
  -socket 'unix domain socket'
                        Unix socket to connect to.
  -database 'database name'
                        Database to connect to the server.
  -password 'password'
                        Password to connect to the server.  Leaving blank will prompt for password (--password '').
  -username 'username'
                        Username to connect to the server.
  -ssl
                        Use https for requests.
  -unsafeSsl
                        Set this when connecting to the cluster using https and not use SSL verification.
  -execute 'command'
                        Execute command and quit.
  -type 'influxql|flux'
                        Type specifies the query language for executing commands or when invoking the REPL.
  -format 'json|csv|column'
                        Format specifies the format of the server responses:  json, csv, or column.
  -precision 'rfc3339|h|m|s|ms|u|ns'
                        Precision specifies the format of the timestamp:  rfc3339, h, m, s, ms, u or ns.
  -consistency 'any|one|quorum|all'
                        Set write consistency level: any, one, quorum, or all
  -pretty
                        Turns on pretty print for the json format.
  -import
                        Import a previous database export from file
  -pps
                        How many points per second the import will allow.  By default it is zero and will not throttle importing.
  -path
                        Path to file to import
  -compressed
                        Set to true if the import file is compressed

Examples:

    # Use influx in a non-interactive mode to query the database "metrics" and pretty print json:
    $ influx -database 'metrics' -execute 'select * from cpu' -format 'json' -pretty

    # Connect to a specific database on startup and set database context:
    $ influx -database 'metrics' -host 'localhost' -port '8086'

[Boronsbruder]

@massiveattack
influx -version

[MassiveAttack]

@boronsbruder

root@QNAP:/# influx -version
InfluxDB shell version: 1.8.0

[Boronsbruder]

@massiveattack
okay ist nicht zu alt...
was sagt influx_inspect export --help

[MassiveAttack]

@boronsbruder sagte in Proxmox / Influxdb V1 zu V2... wie?:

influx_inspect export --help

root@QNAP:/# influx_inspect export --help
Exports TSM files into InfluxDB line protocol format.

Usage: influx_inspect export [flags]

  -compress
        Compress the output
  -database string
        Optional: the database to export
  -datadir string
        Data storage path (default "/root/.influxdb/data")
  -end string
        Optional: the end time to export (RFC3339 format)
  -out string
        Destination file to export to (default "/root/.influxdb/export")
  -retention string
        Optional: the retention policy to export (requires -database)
  -start string
        Optional: the start time to export (RFC3339 format)
  -waldir string
        WAL storage path (default "/root/.influxdb/wal")

[Marc Berg]

@boronsbruder sagte in Proxmox / Influxdb V1 zu V2... wie?:

@massiveattack
okay ist nicht zu alt...
was sagt influx_inspect export --help

Doch, ist zu alt

[MassiveAttack]

@marc-berg

d.h. ich bekomme die Daten nicht aus der v1 in die v2?

[Marc Berg]

@massiveattack sagte in Proxmox / Influxdb V1 zu V2... wie?:

@marc-berg

d.h. ich bekomme die Daten nicht aus der v1 in die v2?

So, wie ich das sehe, mit dieser Methode erst nach einem Update auf mindestens 1.8.3

[MassiveAttack]

@marc-berg

wie ich diese useability liebe

[Boronsbruder]

@massiveattack
ja, da fehlt -lponly

Jetzt hast du 2 Möglichkeiten...

1. Eine für dein Betriebsystem passende influx_inspect finden

oder

Einen Texteditor benutzen um den Header (die ersten paar Zeile mit #)

# INFLUXDB EXPORT: 2023-01-01T01:59:59+01:00 - 2262-04-12T00:47:16+01:00
# DDL
CREATE DATABASE iobroker WITH NAME autogen
# DML
# CONTEXT-DATABASE:iobroker
# CONTEXT-RETENTION-POLICY:autogen
# writing tsm data
0_userdata.0.Wetter.Mittel.1 ack=false 1672617060016000000

entfernen und dann importieren. Vorher natürlich entpacken.

Der Editor muss aber die riesige Datei verkraften und linux-kompatibles Format benutzen. Nicht dass Windows-Sonderzeichen für Zeilenumbrüche usw. Probleme machen.

[Boronsbruder]

ich benutze hier auf Windows Notepad++

[Marc Berg]

@boronsbruder sagte in Proxmox / Influxdb V1 zu V2... wie?:

Jetzt hast du 2 Möglichkeiten...

1. Eine für dein Betriebsystem passende influx_inspect finden

Hier https://dl.influxdata.com/influxdb/releases/influxdb-1.8.10_linux_amd64.tar.gz
wäre eine aktuellere influx_inspect enthalten. Aber ob die mit der 1.8.0 DB läuft?

[Boronsbruder]

@marc-berg
ich würde erst die variante mit Zeilen entfernen versuchen

z.B. entpacken und

sed '/^[#]/d' DATEINAME > NEUER_DATEINAME

(entfernt alle Zeilen beginnend mit # und schreibt das Resultat in eine neue Datei)

danach mit

gzip NEUER_DATEINAME

wieder packen

[Marc Berg]

@boronsbruder sagte in Proxmox / Influxdb V1 zu V2... wie?:

sed '/^[#]/d' DATEINAME > NEUER_DATEINAME

(entfernt alle Zeilen beginnend mit # und schreibt das Resultat in eine neue Datei)

Was ich nicht verstehe ist: Wenn diese Zeile hier angemeckert wird

Error: failed to write data: 400 Bad Request: unable to parse 'CREATE DATABASE iobroker WITH NAME autogen': invalid field format

und vor dieser Zeile kein "#" steht, was bringt das denn?