Proxmox / Influxdb V1 zu V2... wie?

[SBorg]

@negalein sagte in Proxmox / Influxdb V1 zu V2... wie?:

Aber keine .cfg auffindbar.
Deshalb weg damit und mit V2 neu beginnen.
Denke Influx mit der Wetterstation ist nur für das Statistik-Script und Grafana nötig.
Awekas funktioniert auch ohne Influx. Oder @SBorg ?

Dann haste den Docker nicht richtig konfiguriert, da gibt es sehr wohl cfg's

...und beides Ja. Influx ist im Bereich "Wetter" nur für alles zuständig was nicht aktuell als Wert vorliegt. Die Station meldet bspw. nur die aktuelle Temperatur. Am Display kann man dann zwar Min/Max etc. abfragen, aber senden tut sie das nicht. Deswegen müssen die Werte per Influx geloggt werden, dann kann ich das Tagesmaximum etc. pp ermitteln.

Wenn man aber bspw. für Grafana eine Statusanzeige der Datenübermittlung möchte, kommt man hier um Influx auch nicht herum (wird aber für den reinen Betrieb nicht benötigt).

Kurz gesagt: alles mit "4" braucht Influx https://github.com/SBorg2014/WLAN-Wetterstation/wiki

...und für die Statusanzeige ist dann bspw. wieder der Bucket wichtig. Steht hier die RP auf "never", wird der true/false Wert der Datenübertragung bis zum Skt. Nimmerleinstag gespeichert. So etwas gehört dann in einen "Mülleimer"-Bucket (nenne nur ich jetzt so), wo nichts wichtiges drin landet und mit einer RP von bspw. 3 Tagen...

[Negalein]

@sborg sagte in Proxmox / Influxdb V1 zu V2... wie?:

Kurz gesagt: alles mit "4" braucht Influx https://github.com/SBorg2014/WLAN-Wetterstation/wiki

Ok, dann lass ich mal beide paralell laufen.

Aber für die Werte an Awekas & Co. ist es nicht notwendig?

[SBorg]

@negalein sagte in Proxmox / Influxdb V1 zu V2... wie?:

Aber für die Werte an Awekas & Co. ist es nicht notwendig?

Nein, die kriegen nur aktuelle Messwerte. AWEKAS würde auch nur den WU-String bekommen, mehr sendet das Display nicht.

[Negalein]

@sborg sagte in Proxmox / Influxdb V1 zu V2... wie?:

Nein, die kriegen nur aktuelle Messwerte. AWEKAS würde auch nur den WU-String bekommen, mehr sendet das Display nicht.

das ist perfekt!

[MassiveAttack]

@boronsbruder sagte in Proxmox / Influxdb V1 zu V2... wie?:

Für ganze Datenbanken

Export mit:
influx_inspect export -database iobroker -out /tmp/export.gz -compress -lponly
und Import mit:
influx write -b iobroker_test -f export.gz

scheint zu funktionieren.
evtl. müssen die Datenverzeichnisse bei Export mit angegeben werden
-datadir /var/lib/influxdb/data/ -waldir /var/lib/influxdb/wal/
(bei mir)

ABER
Die Dateien sind sehr groß (hier für 2 Jahre ca. 800MB)
Das dauert...

Nur der Import über die WebGUI geht anscheinend nicht...

Der Export hat funktioniert:

influx_inspect export -database iobroker -out /tmp/export.gz -compress -datadir /var/lib/influxdb/data/ -waldir /var/lib/influxdb/wal/
influx write -b iobroker -f export.gz

Der Import schlägt fehl:

root@InfluxDB2:/backup# influx write -b iobroker -o universe -t GN_rdOseDJAA_RY5Akp5qLexrrDmolABpr0pmYrpMiRVUJk9NYwCg6I4GPM3luNvRRXfOs86kqN9IIgXCxfwPw== -f export.gz
Error: failed to write data: 400 Bad Request: unable to parse 'CREATE DATABASE iobroker WITH NAME autogen': invalid field format

@Boronsbruder
hast du eine Idee?

[Boronsbruder]

@massiveattack
Versuch nochmal mit -lponly, wie ich geschrieben hab?

Und warum machst gleich noch ein write?
influx write -b iobroker -f export.gz gehört auf den neuen Host

[MassiveAttack]

@boronsbruder

flag provided but not defined: -lponly
Exports TSM files into InfluxDB line protocol format.

logisch
war ein copy paste Fehler

[Boronsbruder]

@massiveattack
Posted doch bitte die cmdline die den Fehler auslöst immer mit dazu

[MassiveAttack]

@boronsbruder

root@QNAP:/# influx_inspect export -database iobroker -out /tmp/test.lp -lponly
flag provided but not defined: -lponly
Exports TSM files into InfluxDB line protocol format.

[Boronsbruder]

@massiveattack
poste doch mal bitte
influx -v

[MassiveAttack]

@boronsbruder

root@QNAP:/# influx -v
flag provided but not defined: -v
Usage of influx:
  -version
                        Display the version and exit.
  -path-prefix 'url path'
                        Path that follows the host and port
  -host 'host name'
                        Host to connect to.
  -port 'port #'
                        Port to connect to.
  -socket 'unix domain socket'
                        Unix socket to connect to.
  -database 'database name'
                        Database to connect to the server.
  -password 'password'
                        Password to connect to the server.  Leaving blank will prompt for password (--password '').
  -username 'username'
                        Username to connect to the server.
  -ssl
                        Use https for requests.
  -unsafeSsl
                        Set this when connecting to the cluster using https and not use SSL verification.
  -execute 'command'
                        Execute command and quit.
  -type 'influxql|flux'
                        Type specifies the query language for executing commands or when invoking the REPL.
  -format 'json|csv|column'
                        Format specifies the format of the server responses:  json, csv, or column.
  -precision 'rfc3339|h|m|s|ms|u|ns'
                        Precision specifies the format of the timestamp:  rfc3339, h, m, s, ms, u or ns.
  -consistency 'any|one|quorum|all'
                        Set write consistency level: any, one, quorum, or all
  -pretty
                        Turns on pretty print for the json format.
  -import
                        Import a previous database export from file
  -pps
                        How many points per second the import will allow.  By default it is zero and will not throttle importing.
  -path
                        Path to file to import
  -compressed
                        Set to true if the import file is compressed

Examples:

    # Use influx in a non-interactive mode to query the database "metrics" and pretty print json:
    $ influx -database 'metrics' -execute 'select * from cpu' -format 'json' -pretty

    # Connect to a specific database on startup and set database context:
    $ influx -database 'metrics' -host 'localhost' -port '8086'

[Boronsbruder]

@massiveattack
influx -version

[MassiveAttack]

@boronsbruder

root@QNAP:/# influx -version
InfluxDB shell version: 1.8.0

[Boronsbruder]

@massiveattack
okay ist nicht zu alt...
was sagt influx_inspect export --help

[MassiveAttack]

@boronsbruder sagte in Proxmox / Influxdb V1 zu V2... wie?:

influx_inspect export --help

root@QNAP:/# influx_inspect export --help
Exports TSM files into InfluxDB line protocol format.

Usage: influx_inspect export [flags]

  -compress
        Compress the output
  -database string
        Optional: the database to export
  -datadir string
        Data storage path (default "/root/.influxdb/data")
  -end string
        Optional: the end time to export (RFC3339 format)
  -out string
        Destination file to export to (default "/root/.influxdb/export")
  -retention string
        Optional: the retention policy to export (requires -database)
  -start string
        Optional: the start time to export (RFC3339 format)
  -waldir string
        WAL storage path (default "/root/.influxdb/wal")

[Marc Berg]

@boronsbruder sagte in Proxmox / Influxdb V1 zu V2... wie?:

@massiveattack
okay ist nicht zu alt...
was sagt influx_inspect export --help

Doch, ist zu alt

[MassiveAttack]

@marc-berg

d.h. ich bekomme die Daten nicht aus der v1 in die v2?

[Marc Berg]

@massiveattack sagte in Proxmox / Influxdb V1 zu V2... wie?:

@marc-berg

d.h. ich bekomme die Daten nicht aus der v1 in die v2?

So, wie ich das sehe, mit dieser Methode erst nach einem Update auf mindestens 1.8.3

[MassiveAttack]

@marc-berg

wie ich diese useability liebe

[Boronsbruder]

@massiveattack
ja, da fehlt -lponly

Jetzt hast du 2 Möglichkeiten...

1. Eine für dein Betriebsystem passende influx_inspect finden

oder

Einen Texteditor benutzen um den Header (die ersten paar Zeile mit #)

# INFLUXDB EXPORT: 2023-01-01T01:59:59+01:00 - 2262-04-12T00:47:16+01:00
# DDL
CREATE DATABASE iobroker WITH NAME autogen
# DML
# CONTEXT-DATABASE:iobroker
# CONTEXT-RETENTION-POLICY:autogen
# writing tsm data
0_userdata.0.Wetter.Mittel.1 ack=false 1672617060016000000

entfernen und dann importieren. Vorher natürlich entpacken.

Der Editor muss aber die riesige Datei verkraften und linux-kompatibles Format benutzen. Nicht dass Windows-Sonderzeichen für Zeilenumbrüche usw. Probleme machen.