(gelöst) influxdb mir unbekannte Probleme
-
@woupi Hab im Proxmox Forum gelesen dass du Probleme mit dem Speicherplatz hast. Darum die Frage: Die HDD/SDD ist nicht voll?
-
Ehrlich gesagt, weiß ich es nicht, könnte aber sein.
Mir sagt das leider nicht wirklich was:lvs LV VG Attr LSize Pool Ori gin Data% Meta% Move Log Cpy%Sync Convert data pve twi-aotz-- <148.36g 91.08 4.54 root pve -wi-ao---- 58.00g snap_vm-1200-disk-0_Grafana_93_Update pve Vri---tz-k 100.00g data vm- 1200-disk-0 snap_vm-1200-disk-0_alles_lauft pve Vri---tz-k 50.00g data vm- 1200-disk-0 snap_vm-1200-disk-0_daten_werden_uebermittelt pve Vri---tz-k 50.00g data vm- 1200-disk-0 snap_vm-2038-disk-0_peer pve Vri---tz-k 100.00g data vm- 2038-disk-0 swap pve -wi-ao---- 7.00g vm-10372-disk-0 pve Vwi-a-tz-- 4.00g data 72.00 vm-10372-disk-1 pve Vwi-aotz-- 4.00g data 83.02 vm-1134-disk-0 pve Vwi-aotz-- 8.00g data 29.37 vm-1200-disk-0 pve Vwi-a-tz-- 100.00g data 49.72 vm-2038-disk-0 pve Vwi-aotz-- 100.00g data 45.99 vm-2038-state-peeDas sagt glaube ich mehr aus
lvm> lvs LV VG Attr LSize Pool Origin Data% Meta% Move Log Cpy%Sync Convert data pve twi-aotz-- <148.36g 91.08 4.54 root pve -wi-ao---- 58.00g snap_vm-1200-disk-0_Grafana_93_Update pve Vri---tz-k 100.00g data vm-1200-disk-0 snap_vm-1200-disk-0_alles_lauft pve Vri---tz-k 50.00g data vm-1200-disk-0 snap_vm-1200-disk-0_daten_werden_uebermittelt pve Vri---tz-k 50.00g data vm-1200-disk-0 snap_vm-2038-disk-0_peer pve Vri---tz-k 100.00g data vm-2038-disk-0 swap pve -wi-ao---- 7.00g vm-10372-disk-0 pve Vwi-a-tz-- 4.00g data 72.00 vm-10372-disk-1 pve Vwi-aotz-- 4.00g data 83.02 vm-1134-disk-0 pve Vwi-aotz-- 8.00g data 29.37 vm-1200-disk-0 pve Vwi-a-tz-- 100.00g data 49.72 vm-2038-disk-0 pve Vwi-aotz-- 100.00g data 45.99 vm-2038-state-peer pve Vwi-a-tz-- <12.49g data 48.16 -
Ich kann da leider aber nicht wirklich was mit anfangen, ich weiß nicht genau was, was bedeutet.
-
@woupi Diese lvm (Blockebene) Befehle sagen mir auch nichts. Mach einfach ein "df -h" in der Console des Containers.
ernst@graflux:~$ df -h Dateisystem Größe Benutzt Verf. Verw% Eingehängt auf /dev/mapper/pve-vm--1017--disk--0 2,0G 1,3G 555M 70% / none 492K 4,0K 488K 1% /dev udev 7,8G 0 7,8G 0% /dev/ttyUSB0 tmpfs 7,8G 0 7,8G 0% /dev/shm tmpfs 3,2G 104K 3,2G 1% /run tmpfs 5,0M 0 5,0M 0% /run/lock -
ich habe jetzt, aus reiner Verzweiflung ein backup von vor 2 Wochen eingespielt.
Klar die Datensätze sind dann weg, ist aber nicht tragisch, da ich gerade nur um spielen bin.Jetzt geht es wieder.
Trotzdem möchte ich natürlich wissen, woran es gelegen hat, den das kommt ja wieder. Darum hier das Ergebnis von "df -h":
df -h Filesystem Size Used Avail Use% Mounted on /dev/mapper/pve-vm--1200--disk--1 49G 44G 3.3G 93% / none 492K 4.0K 488K 1% /dev tmpfs 7.7G 0 7.7G 0% /dev/shm tmpfs 3.1G 96K 3.1G 1% /run tmpfs 5.0M 0 5.0M 0% /run/lockDanach würde ich sagen, ist die Platte zu 93% voll. Allerdings werden mir da auch nur 49G angezeigt, in Proxmox habe ich aber 100G zugewiesen.
Die 100G werden mir in der Übersicht vom lxc in Proxmox aber auch nicht angezeigt, zumindest nicht, wenn sie läuft. Wenn ich sie runterfahre, stehen die 100G da.Ich habe keine Ahnung, leider
-
@woupi Mit 3.3G frei sollte InfluxDB eigentlich schon noch starten.
Edit:
Hast du möglicherweise das Tool "ncdu" installiert. Damit könntest du herausfinden was die Platte so vollgeschrieben hat. Und etwas Platz schaffen. Mein Influx-Grafana Container ist nur 2GB groß (mit Daten der letzten 5 Jahre) und ist zu 70% voll.
-
zwischen dem backup von vor 2 Wochen und gestern ist ein unterschied von 5GB.
vor 2 Wochen 43GB
gestern 48 GBIch habe gestern und auch vorgestern viele Datenpunkte in influxdb aktiviert und daraus dann mit grafana dashboords erstellt.
Sonst habe ich nichts gemacht und an influxdb, schon gar nicht.
Ich bin ratlos.
-
@einstein67 sagte in influxdb mir unbekannte Probleme:
@woupi Mit 3.3G frei sollte InfluxDB eigentlich schon noch starten.
Ach so ja, das ist ja mit dem Backup, vor dem Backup wird da viel weniger gewesen sein
-
@einstein67 sagte in influxdb mir unbekannte Probleme:
@woupi Mit 3.3G frei sollte InfluxDB eigentlich schon noch starten.
Edit:
Mein Influx-Grafana Container ist nur 2GB groß (mit Daten der letzten 5 Jahre) und ist zu 70% voll.
Oh, echt. Dann läuft bei mir ja mit Sicherheit was richtig falsch.
-
@einstein67 sagte in influxdb mir unbekannte Probleme:
Hast du möglicherweise das Tool "ncdu" installiert.
nein noch nicht, werde ich gleich machen
-
@woupi Dann wird das vermutlich wieder passieren ...
Installiere dir mal ncdu und schau welche Daten die Platte vollschreiben. Ich tippe auf Log-Files und nicht auf die DB.
apt install ncdu ncdu / -
@einstein67 sagte in influxdb mir unbekannte Probleme:
@woupi Dann wird das vermutlich wieder passieren ...
Installiere dir mal ncdu und schau welche Daten die Platte vollschreiben. Ich tippe auf Log-Files und nicht auf die DB.
apt install ncdu ncdu /schon passiert, hier das Ergebnis:
308.0 KiB [##########] /GrafanaTranslator 16.0 KiB [ ] /.local 4.0 KiB [ ] /.cache 4.0 KiB [ ] .bash_history 4.0 KiB [ ] .bashrc 4.0 KiB [ ] .profilesehe ich das richtig, die Platte müsste nahezu leer sein?
-
@woupi du bist im falschen Ordner! Entweder vorher "cd .." oder
ncdu / -
@einstein67 sagte in influxdb mir unbekannte Probleme:
@woupi du bist im falschen Ordner! Entweder vorher "cd .." oder
ncdu /Ok, sorry, kenn mich nicht aus, jetzt habe ich es aber glaube ich:
40.9 GiB [##########] /data 13.7 MiB [ ] /wal e 4.0 KiB [ ] /replicationqDanach doch ganz schön groß.
Wenn ich das mit deiner vergleiche, mache ich ganz offensichtlich was falsch. -
@woupi In den /data Ordner kannst auch noch hinein navigieren
-
@einstein67
ich spiel mal eben das Backup wieder zurück und dann mache ich das nochmal, damit wir auch über die Version sprechen, die nicht geht, ich glaube das macht Sinn. -
Ich habe jetzt das Backup von heute morgen wieder eingespielt und auf einmal stehen in Proxmox jetzt die 100G. Influx läuft auch. Trotzdem habe ich ncdu wieder installiert und hier der Auszug, oder muss ich noch tiefer?
--- /var/lib/influxdb/engine/data/1f51709b93e7b438/autogen ---------------------------------------------------------------------------------------------------- /.. 1.6 GiB [##########] /113 1.5 GiB [######### ] /111 1.5 GiB [######### ] /109 1.4 GiB [######### ] /149 1.4 GiB [######## ] /107 1.4 GiB [######## ] /147 1.4 GiB [######## ] /105 1.3 GiB [######## ] /145 1.3 GiB [######## ] /115 1.3 GiB [######## ] /143 1.3 GiB [######## ] /103 1.2 GiB [####### ] /101 1.2 GiB [####### ] /151 1.2 GiB [####### ] /99 1.2 GiB [####### ] /129 1.1 GiB [####### ] /127 1.1 GiB [####### ] /97 1.1 GiB [####### ] /141 1.1 GiB [###### ] /125 1.1 GiB [###### ] /139 1.0 GiB [###### ] /133 1.0 GiB [###### ] /137 1.0 GiB [###### ] /123 1.0 GiB [###### ] /131 1.0 GiB [###### ] /121 941.9 MiB [##### ] /95 932.7 MiB [##### ] /119 878.2 MiB [##### ] /117 797.5 MiB [#### ] /135 784.4 MiB [#### ] /93 729.5 MiB [#### ] /91 686.3 MiB [#### ] /83 674.1 MiB [#### ] /89 630.7 MiB [### ] /81 619.5 MiB [### ] /87 574.1 MiB [### ] /79 573.3 MiB [### ] /85 516.0 MiB [### ] /77 470.8 MiB [## ] /73 468.4 MiB [## ] /75 457.9 MiB [## ] /71 438.0 MiB [## ] /69 401.7 MiB [## ] /67 399.0 MiB [## ] /65 386.1 MiB [## ] /7 268.5 MiB [# ] /16 196.7 MiB [# ] /2 141.3 MiB [ ] /61 108.8 MiB [ ] /25 52.2 MiB [ ] /1 -
@woupi said in influxdb mir unbekannte Probleme:
Trotzdem habe ich ncdu wieder installiert und hier der Auszug, oder muss ich noch tiefer?
Nein. Das bestätigt schon dass deine Datenbank tatsächlich so groß ist!
Wieviele Datenpunkte zeichnest du auf und mit welchen Einstellungen?
-
@einstein67 sagte in influxdb mir unbekannte Probleme:
@woupi said in influxdb mir unbekannte Probleme:
Trotzdem habe ich ncdu wieder installiert und hier der Auszug, oder muss ich noch tiefer?
Nein. Das bestätigt schon dass deine Datenbank tatsächlich so groß ist!
Wieviele Datenpunkte zeichnest du auf und mit welchen Einstellungen?
35 Datenpunkte.
Ich habe die Einstellung gerade, aus folgenden Grund, geändert:
Ich habe mir in verschiedenen tutorial vorher angesehen wie das gemacht wird und da wurde, ich meine zu mindestens bei allen, gezeigt, dass unter "trotzdem gleiche Werte aufzeichnen (Sekunden)" 30 eingestellt wurde.Zuerst habe ich mich zwar gefragt, wofür Daten die gleich bleiben alle 30sec aufgezeichnet werden sollen, habe es aber dann doch gemacht und gedacht, dass es schon einen Sinn haben wird.
Das habe ich gerade bei allen Punkten auf 0 gesetzt.
Könnte das der Grund gewesen sein? Oder sind 35 Datenpunkte so viel?
Ich habe keine Ahnung und taste mich immer noch, an die ganze Geschichte iobroker, grafana, influxdb usw, ran.
Auch ich muss leider feststellen, dass das mit einem "hohen Alter (55)" schon schwierig ist. -
@woupi said in influxdb mir unbekannte Probleme:
"trotzdem gleiche Werte aufzeichnen (Sekunden)" 30 eingestellt wurde.
Das generiert natürlich schon viele Daten. Aber ob das im GB Bereich ist?
Ich würde das jetzt mal beobachten um wieviel das täglich/wöchentlich mehr wird.
"Trotzdem gleiche Werte aufzeichnen" hab ich bei fast allen DPs aktiv allerdings mit 10800s damit bei 3 Stunden Grafana-Dashboards die Linien nicht verschwinden, falls es keine Änderung gab.
Ich hab nach 5 Jahren und über 120 Datenpunkten:
--- /var/lib/influxdb/data ----------- /.. 99,0 MiB [##########] /iobroker 5,2 MiB [ ] /iob1year 4,2 MiB [ ] /iob30daysAllerdings verwende ich 3 Datenbanken. Eine ohne löschen, eine mit 1 einem Jahr, und noch eine für ein Monat Vorhaltezeit.
