InfluxDB/Grafana LXC wird schnell groß

[D3ltoroxp]

Hallo zusammen, ich habe mal angefangen ein paar Steckdosen zu tracken und mir das ganze in der Inflx zu speichern, damit ich für die VIS ein paar Diagramme habe. In den Diagrammen lasse ich mir die letzten 24h zeigen.

Das heißt ich habe ca 10 Steckdosen bei denen ich beim DB aktuller Verbrauch Influx aktiviert habe. Einstellungen so gelassen wie sie sind.

Das ganze mache ich sagen wir so seit 3 Wochen oder so. Ich hatte jetzt schon von 8 auf 12 GB erhöht. Nun war gestern wieder das Limit erreicht und ich konnte mich mit Influx nicht mehr verbinden.

Jetzt hab ich das ganze noch mals um 3GB erhöt.

Brauchen diese paar Daten denn schon so Platz ? Oder ist da was anderes faul ? Klar wenn der Stromverbrauch gemessen wird, habe ich hier unter anderem alle paar Sekunden andere Werte, die ja dann theo. geschrieben werden. Aber macht das dann schon so eine Datenmenge ? Die meisten Steckdosen sind Tagsüber aus und nur am Abend in Betrieb für ein paar Stunden.

Wenn ich hier sehe, was manche sich alles anzeigen lassen an Statistik und Visuell, die müssten ja Terrabytes an Daten haben.

Für meine Anzeige würde vllt auch reichen, das ich alles was älter als 48h ist gelöscht werden kann. Nur beim BKW und beim Stromzähler hätte ich das gerne min für ein Jahr.

Kann ich denn sowas auto, bereinigen lassen ? Und kann ich auch mal schauen, ob wirklich die DB schon so groß ist ? Vllt macht mir auch was anderes da so die Platte voll. Laufen tun im LXC Grafana und Influx.

Grüße,

Redhat

[Meister Mopper]

@d3ltoroxp sagte in InfluxDB/Grafana LXC wird schnell groß:

Das ganze mache ich sagen wir so seit 3 Wochen oder so.

Für diesen Zeitraum ist es meiner Meinung nach zu viel. Hast Du mal mit ncdu nachgeschaut, wo die großen Brocken liegen?

[crunchip]

@d3ltoroxp ich nutze influx in Version 1.x und logge hunderte von Daten auch Watt Werte ohne Probleme.
Zu Testzwecken hatte ich v2.x auf einer anderen VM eingerichtet und nur die CPU und Last von einer VM überwacht und musste das selbe feststellen, das nach einigen Wochen der Platz nicht mehr ausreichte, hab allerdings noch nicht nachfollzogen warum.

[Meister Mopper]

@crunchip

Das kann aber auch andere Gründe haben. Ich habe bei mir festgestellt, dass die journal logs ohne eigenes Zutun immens anwachsen.

Hier mal meine Backups des Proxmox metric Servers vor und nach der Begrenzung der journal logs auf 100M:

Das Ganze mit InfluxDb v.2.x

[crunchip]

@meister-mopper seh ich mir mal an

[D3ltoroxp]

@meister-mopper said in InfluxDB/Grafana LXC wird schnell groß:

journal logs auf 100M

Woher kommen die Logs und wie kann ich die Begrenzen ?

Kann man denn noch gut mit Influx v1. arbeiten ? Auch mit dem neusten Grafana ?

@meister-mopper said in InfluxDB/Grafana LXC wird schnell groß:

Hast Du mal mit ncdu nachgeschaut, wo die großen Brocken liegen?

Nein, mach ich das genau mit diesem Befehl ? Das ncdu sagt mir nichts.

Ich weiß nicht ob das so richtig ist. Ich habe hiermit mal nach großen Dateien gesucht.

find / -type f -size +700M | xargs ls -lhS | awk '{ print $5,$9 }'

Hier kommen unter anderem 12 Dateien von influx. Wenn ich das hoch rechne, komm ich ja schon auf knappe 8,5 GB.

ls: cannot access '/var/lib/influxdb/engine/data/b23004d130435787/autogen/7/000000066-000000002.tsm': Permission denied
ls: cannot access '/var/lib/influxdb/engine/data/b23004d130435787/autogen/11/000000072-000000003.tsm': Permission denied
ls: cannot access '/var/lib/influxdb/engine/data/b23004d130435787/autogen/20/000000051-000000002.tsm': Permission denied
ls: cannot access '/var/lib/influxdb/engine/data/b23004d130435787/autogen/26/000000061-000000002.tsm': Permission denied
ls: cannot access '/var/lib/influxdb/engine/data/b23004d130435787/autogen/28/000000064-000000004.tsm': Permission denied
ls: cannot access '/var/lib/influxdb/engine/data/b23004d130435787/autogen/1/000000049-000000002.tsm': Permission denied
ls: cannot access '/var/lib/influxdb/engine/data/b23004d130435787/autogen/30/000000068-000000002.tsm': Permission denied
ls: cannot access '/var/lib/influxdb/engine/data/b23004d130435787/autogen/22/000000055-000000002.tsm': Permission denied
ls: cannot access '/var/lib/influxdb/engine/data/b23004d130435787/autogen/24/000000058-000000002.tsm': Permission denied
ls: cannot access '/var/lib/influxdb/engine/data/b23004d130435787/autogen/5/000000062-000000002.tsm': Permission denied
ls: cannot access '/var/lib/influxdb/engine/data/b23004d130435787/autogen/3/000000059-000000002.tsm': Permission denied
ls: cannot access '/var/lib/influxdb/engine/data/b23004d130435787/autogen/9/000000069-000000002.tsm': Permission denied

Aber auch schon bissel viel oder ? 8,5GB für 10 Steckdosen, 1 BKW und einmal Stromzähler ?

[Meister Mopper]

@d3ltoroxp sagte in InfluxDB/Grafana LXC wird schnell groß:

Das ncdu sagt mir nichts

Mit ncdu kannst Du nachschauen, wo die großen Dateien liegen.

Vorgehenswiese:

sudo apt update && sudo apt install ncdu

danach sudo install ncdu

Jetzt kannst Du mit den Pfeiltasten durch die Ordner navigieren und sehen, wieviel Speicher in den Ordnern verwendet wird.

[D3ltoroxp]

@meister-mopper Also ähnlich wie mit meiner Zeile oben. So muss ich gar nirgends suchen, er zeigt mir Dateien ab 700MB an. Oder ist das wieder was anderes. So sehe ich zumindest, das die Dateien um die 700MB haben. Suche ich nach Dateien mit mehr als 800MB sind fast alle influx Files raus.

[Marc Berg]

@d3ltoroxp sagte in InfluxDB/Grafana LXC wird schnell groß:

Aber auch schon bissel viel oder ? 8,5GB für 10 Steckdosen, 1 BKW und einmal Stromzähler ?

Ich logge jetzt seit ca. 1,5 Jahren etwa 20 Sensoren, Temperatur+Luftfeuchte, Zisternenstand, Gas- und Elektrozähler, diverse Plugs, Spritkosten, Wasserstände, etc. Mein /data Verzeichnis der Influxdb2 ist unter 200MB groß. Das gepackte Backup-File ca. 3MB.
Deine immensen Datenbank-Größen können doch nur entstehen, wenn du irgendwo im Millisekunden-Takt Daten loggst.

Zeig doch mal ein paar History Daten, wie deine geloggten Daten aussehen.

[D3ltoroxp]

Das wäre mal eine Steckdose.
Und eine andere z.b.

Ich hab hier mal rein geschaut... Bin ich da richtig ? Das sind doch meine 3 Buckets ?

Das sind ja die 9,4 GB. Das nicht normal. Könnte ich denn einfach v1 installieren, mal da probieren. Ob sich das in 3 Wochen auch so aufbläst ? Das neuste Grafana kann man damit auch nutzen ?