(gelöst) influxdb mir unbekannte Probleme

[woupi]

@einstein67 sagte in influxdb mir unbekannte Probleme:

@woupi Dann wird das vermutlich wieder passieren ...

Installiere dir mal ncdu und schau welche Daten die Platte vollschreiben. Ich tippe auf Log-Files und nicht auf die DB.

apt install ncdu

ncdu /

schon passiert, hier das Ergebnis:

308.0 KiB [##########] /GrafanaTranslator                                                    
   16.0 KiB [          ] /.local
    4.0 KiB [          ] /.cache
    4.0 KiB [          ]  .bash_history
    4.0 KiB [          ]  .bashrc
    4.0 KiB [          ]  .profile

sehe ich das richtig, die Platte müsste nahezu leer sein?

[Einstein67]

@woupi du bist im falschen Ordner! Entweder vorher "cd .." oder

ncdu /

[woupi]

@einstein67 sagte in influxdb mir unbekannte Probleme:

@woupi du bist im falschen Ordner! Entweder vorher "cd .." oder

ncdu /

Ok, sorry, kenn mich nicht aus, jetzt habe ich es aber glaube ich:

 40.9 GiB [##########] /data                                                                 
   13.7 MiB [          ] /wal
e   4.0 KiB [          ] /replicationq

Danach doch ganz schön groß.
Wenn ich das mit deiner vergleiche, mache ich ganz offensichtlich was falsch.

[Einstein67]

@woupi In den /data Ordner kannst auch noch hinein navigieren

[woupi]

@einstein67
ich spiel mal eben das Backup wieder zurück und dann mache ich das nochmal, damit wir auch über die Version sprechen, die nicht geht, ich glaube das macht Sinn.

[woupi]

@woupi

Ich habe jetzt das Backup von heute morgen wieder eingespielt und auf einmal stehen in Proxmox jetzt die 100G. Influx läuft auch. Trotzdem habe ich ncdu wieder installiert und hier der Auszug, oder muss ich noch tiefer?

--- /var/lib/influxdb/engine/data/1f51709b93e7b438/autogen ----------------------------------------------------------------------------------------------------
                         /..
    1.6 GiB [##########] /113
    1.5 GiB [######### ] /111
    1.5 GiB [######### ] /109
    1.4 GiB [######### ] /149
    1.4 GiB [########  ] /107
    1.4 GiB [########  ] /147
    1.4 GiB [########  ] /105
    1.3 GiB [########  ] /145
    1.3 GiB [########  ] /115
    1.3 GiB [########  ] /143
    1.3 GiB [########  ] /103
    1.2 GiB [#######   ] /101
    1.2 GiB [#######   ] /151
    1.2 GiB [#######   ] /99
    1.2 GiB [#######   ] /129
    1.1 GiB [#######   ] /127
    1.1 GiB [#######   ] /97
    1.1 GiB [#######   ] /141
    1.1 GiB [######    ] /125
    1.1 GiB [######    ] /139
    1.0 GiB [######    ] /133
    1.0 GiB [######    ] /137
    1.0 GiB [######    ] /123
    1.0 GiB [######    ] /131
    1.0 GiB [######    ] /121
  941.9 MiB [#####     ] /95
  932.7 MiB [#####     ] /119
  878.2 MiB [#####     ] /117
  797.5 MiB [####      ] /135
  784.4 MiB [####      ] /93
  729.5 MiB [####      ] /91
  686.3 MiB [####      ] /83
  674.1 MiB [####      ] /89
  630.7 MiB [###       ] /81
  619.5 MiB [###       ] /87
  574.1 MiB [###       ] /79
  573.3 MiB [###       ] /85
  516.0 MiB [###       ] /77
  470.8 MiB [##        ] /73
  468.4 MiB [##        ] /75
  457.9 MiB [##        ] /71
  438.0 MiB [##        ] /69
  401.7 MiB [##        ] /67
  399.0 MiB [##        ] /65
  386.1 MiB [##        ] /7
  268.5 MiB [#         ] /16
  196.7 MiB [#         ] /2
  141.3 MiB [          ] /61
  108.8 MiB [          ] /25
   52.2 MiB [          ] /1

[Einstein67]

@woupi said in influxdb mir unbekannte Probleme:

Trotzdem habe ich ncdu wieder installiert und hier der Auszug, oder muss ich noch tiefer?

Nein. Das bestätigt schon dass deine Datenbank tatsächlich so groß ist!

Wieviele Datenpunkte zeichnest du auf und mit welchen Einstellungen?

[woupi]

@einstein67 sagte in influxdb mir unbekannte Probleme:

@woupi said in influxdb mir unbekannte Probleme:

Trotzdem habe ich ncdu wieder installiert und hier der Auszug, oder muss ich noch tiefer?

Nein. Das bestätigt schon dass deine Datenbank tatsächlich so groß ist!

Wieviele Datenpunkte zeichnest du auf und mit welchen Einstellungen?

35 Datenpunkte.

Ich habe die Einstellung gerade, aus folgenden Grund, geändert:
Ich habe mir in verschiedenen tutorial vorher angesehen wie das gemacht wird und da wurde, ich meine zu mindestens bei allen, gezeigt, dass unter "trotzdem gleiche Werte aufzeichnen (Sekunden)" 30 eingestellt wurde.

Zuerst habe ich mich zwar gefragt, wofür Daten die gleich bleiben alle 30sec aufgezeichnet werden sollen, habe es aber dann doch gemacht und gedacht, dass es schon einen Sinn haben wird.

Das habe ich gerade bei allen Punkten auf 0 gesetzt.

Könnte das der Grund gewesen sein? Oder sind 35 Datenpunkte so viel?
Ich habe keine Ahnung und taste mich immer noch, an die ganze Geschichte iobroker, grafana, influxdb usw, ran.
Auch ich muss leider feststellen, dass das mit einem "hohen Alter (55)" schon schwierig ist.

[Einstein67]

@woupi said in influxdb mir unbekannte Probleme:

"trotzdem gleiche Werte aufzeichnen (Sekunden)" 30 eingestellt wurde.

Das generiert natürlich schon viele Daten. Aber ob das im GB Bereich ist?

Ich würde das jetzt mal beobachten um wieviel das täglich/wöchentlich mehr wird.

"Trotzdem gleiche Werte aufzeichnen" hab ich bei fast allen DPs aktiv allerdings mit 10800s damit bei 3 Stunden Grafana-Dashboards die Linien nicht verschwinden, falls es keine Änderung gab.

Ich hab nach 5 Jahren und über 120 Datenpunkten:

--- /var/lib/influxdb/data -----------
                         /..                                                                             
   99,0 MiB [##########] /iobroker
    5,2 MiB [          ] /iob1year
    4,2 MiB [          ] /iob30days

Allerdings verwende ich 3 Datenbanken. Eine ohne löschen, eine mit 1 einem Jahr, und noch eine für ein Monat Vorhaltezeit.

[woupi]

@einstein67
Vielen Dank für deine Hilfe und Einblicke, so kann ich das wenigstens einordenen.

@einstein67 sagte in influxdb mir unbekannte Probleme:

Das generiert natürlich schon viele Daten. Aber ob das im GB Bereich ist?
Ich würde das jetzt mal beobachten um wieviel das täglich/wöchentlich mehr wird.

Ok, werde ich machen.

"Trotzdem gleiche Werte aufzeichnen" hab ich bei fast allen DPs aktiv allerdings mit 10800s damit bei 3 Stunden Grafana-Dashboards die Linien nicht verschwinden, falls es keine Änderung gab.

Ok, das verstehe ich und werde ich dann auch so einstellen, Danke für die Aufklärung.

Ich hab nach 5 Jahren und über 120 Datenpunkten:

--- /var/lib/influxdb/data -----------
                         /..                                                                             
   99,0 MiB [##########] /iobroker
    5,2 MiB [          ] /iob1year
    4,2 MiB [          ] /iob30days

Da muss bei mir aber gewaltig was falsch laufen, bei dem großen Unterschied.

Allerdings verwende ich 3 Datenbanken. Eine ohne löschen, eine mit 1 einem Jahr, und noch eine für ein Monat Vorhaltezeit.

Kannst Du mir das genauer erklären, also wofür ist das genau gut.
Sorry wenn ich so blöd frage, aber ich habe keine Ahnung und versuche mich ran zu tasten.

[Einstein67]

@woupi Ich hab einfach gesagt Daten die ich nicht löschen möchte (zB. täglicher Heizölverbrauch, Außentemperatur, etc ...) die speichere ich in der DB mit dem Namen iobroker. In dieser influxdb-Instanz ist keine automatische Löschung" eingestellt

Dann gibt es eine weitere Instanz von Influxdb für Werte die nicht so wichtig sind, die werden automatisch nach einem Jahr wieder gelöscht (zB. Batteriestand von Sensoren, Heizkörperventilen).

Und noch eine für Werte die zwar im Moment interessant sind, aber dauerhaft keinen Nutzen bringen (zB. Vorlauf-, Rücklauf-, Warmwassertemperatur oder auch die einzelnen Heizkörpertmps). Die fliegen nach einem Monat wieder aus der Datenbank.

[woupi]

@einstein67
sehr gut, danke, so habe ich das auch verstanden und macht auch vollkommen Sinn.
Dann werde ich das auch mal versuchen.

[Einstein67]

@woupi Bei InfluxDB2 gibt es aber (glaube ich zumindest) auch andere Möglichkeiten die Vorhaltezeit einzelner Daten zu beeinflussen. Ohne mehrere Datenbanken anzulegen.

Da kenne ich mich aber leider nicht aus, da ich bei Version 1.8.x hängen geblieben bin ...

[woupi]

@einstein67
Danke für den Hinweis, dann werde ich erstmal danach suchen.

schönen Rest Sonntag noch.
VG
Sascha

[Einstein67]

@woupi Noch etwas: Influx kann natürlich deine schon aufgezeichneten Datenmenge (glaube durch Aggregation) wieder reduzieren.

Vielleicht taucht hier noch ein Influx2-Profi auf, der dich dabei unterstützen kann.

Ebenfalls noch einen schönen Sonntag ....

[woupi]

@einstein67 sagte in influxdb mir unbekannte Probleme:

@woupi Noch etwas: Influx kann natürlich deine schon aufgezeichneten Datenmenge (glaube durch Aggregation) wieder reduzieren.

Vielleicht taucht hier noch ein Influx2-Profi auf, der dich dabei unterstützen kann.

Ebenfalls noch einen schönen Sonntag ....

Ah, super. Ja das wäre natürlich super, ansonsten habe ich jetzt ein Stichwort wonach ich suchen kann. Danke nochmal.

[woupi]

@woupi sagte in influxdb mir unbekannte Probleme:

@einstein67 sagte in influxdb mir unbekannte Probleme:

@woupi Noch etwas: Influx kann natürlich deine schon aufgezeichneten Datenmenge (glaube durch Aggregation) wieder reduzieren.

Vielleicht taucht hier noch ein Influx2-Profi auf, der dich dabei unterstützen kann.

Ebenfalls noch einen schönen Sonntag ....

Ah, super. Ja das wäre natürlich super, ansonsten habe ich jetzt ein Stichwort wonach ich suchen kann. Danke nochmal.

@woupi

ich habe, zu mindestens für mich, nichts brauchbares, auf die schnelle, gefunden.

Darum habe ich es jetzt genau so wie Du gemacht, 3 Datenbanken mit unterschiedlichen Löschzeiträumen (nie, 1 Jahr, 30 Tage).

Das habe ich mir tatsächlich schwerer vorgestellt, als es war.

Jetzt muss ich mir nur noch über die Datenpunkte Gedanken machen und dann Grafana anpassen. Das wird dann natürlich viel sein. Aber wenn man weiß wie es geht, geht's einfach.

Für Heute habe ich genug, habe schon Kopfschmerzen .

Danke nochmal für die Hilfe.
VG
Sascha

[Thomas Braun]

@woupi sagte in (gelöst) influxdb mir unbekannte Probleme:

    500 https://repos.influxdata.com/ubuntu impish/stable amd64 Packages
 1.6.7~rc0-1ubuntu0.22.04.1 500
    500 http://archive.ubuntu.com/ubuntu jammy-updates/universe amd64 Packages

Das zeigt, dass das influx-Repository falsch angelegt ist.
Die Releases müssen sich decken, also statt impish muss da beim influx-Repo jammy rein.

Zeig mal das gesamte Setup deiner Repos:

sudo apt update

[woupi]

@thomas-braun

sudo apt update

Get:1 https://packages.grafana.com/oss/deb stable InRelease [5984 B]
Hit:2 http://archive.ubuntu.com/ubuntu jammy InRelease
Err:1 https://packages.grafana.com/oss/deb stable InRelease
  The following signatures couldn't be verified because the public key is not available: NO_PUBKEY 9E439B102CF3C0C6
Get:3 https://repos.influxdata.com/ubuntu impish InRelease [7020 B]
Get:4 http://archive.ubuntu.com/ubuntu jammy-updates InRelease [119 kB]
Err:3 https://repos.influxdata.com/ubuntu impish InRelease
  The following signatures couldn't be verified because the public key is not available: NO_PUBKEY D8FF8E1F7DF8B07E
Get:5 http://archive.ubuntu.com/ubuntu jammy-security InRelease [110 kB]
Get:6 http://archive.ubuntu.com/ubuntu jammy-updates/main amd64 Packages [898 kB]
Get:7 http://archive.ubuntu.com/ubuntu jammy-updates/universe amd64 Packages [853 kB]
Fetched 1987 kB in 1s (1333 kB/s)
Reading package lists... Done
Building dependency tree... Done
Reading state information... Done
10 packages can be upgraded. Run 'apt list --upgradable' to see them.
W: An error occurred during the signature verification. The repository is not updated and the previous index files will be used. GPG error: https://packages.grafana.com/oss/deb stable InRelease: The following signatures couldn't be verified because the public key is not available: NO_PUBKEY 9E439B102CF3C0C6
W: An error occurred during the signature verification. The repository is not updated and the previous index files will be used. GPG error: https://repos.influxdata.com/ubuntu impish InRelease: The following signatures couldn't be verified because the public key is not available: NO_PUBKEY D8FF8E1F7DF8B07E
W: Failed to fetch https://packages.grafana.com/oss/deb/dists/stable/InRelease  The following signatures couldn't be verified because the public key is not available: NO_PUBKEY 9E439B102CF3C0C6
W: Failed to fetch https://repos.influxdata.com/ubuntu/dists/impish/InRelease  The following signatures couldn't be verified because the public key is not available: NO_PUBKEY D8FF8E1F7DF8B07E
W: Some index files failed to download. They have been ignored, or old ones used instead.

[Thomas Braun]

@woupi

Das ist genauso falsch wie ich es befürchtet hatte.

https://forum.iobroker.net/topic/62040/linux-debian-grafana-repo-muss-aktualisiert-werden

Vermutlich am einfachsten die beiden Repos für influxdb und grafana nochmal frisch neuanlegen. Dann passt das auch übereinander.