Influxdb2 - Messwerte im Filesystem finden (Size)

[a200]

Moin,

meine influxdb2 ist mal wieder vollgelaufen. Jetzt würde ich gerne wissen, welche _measurements wie viel Platz belegen. Also gehe ich wie folgt vor:

root@influxdb:/# du -ms /var/lib/influxdb/engine/data/53fa6c67d424856b/autogen/* | sort -n
...
1272    286
1284    390
1351    295
1377    304
1402    313
1428    322

Wobei 53fa6c67d424856b die Id meines Buckets ist. Jetzt weiß ich, dass die Messung mit der id 322 mehr als 1,4Gb belegt.

Meine Frage jetzt: Wo/wie finde ich die Zuordnung der ids zu den _measurements?

[Marc Berg]

@a200 sagte in Influxdb2 - Messwerte im Filesystem finden (Size):

Wo/wie finde ich die Zuordnung der ids zu den _measurements?

Die IDs bringen dich in deinem Vorhaben nicht weiter, weil dies nur die einzelnen Zeitabschnitte sind, in denen die InfluxDB die Daten unterteilt (je nach Länge der gewählten Retention Time). In diesen "Shards" sind dann jeweils alle Measurements zu finden.

Sinnvoller ist es, einfach die Anzahl der Datensätze je Measurement abzufragen. Die Anzahl korreliert relativ gut mit dem im Filesystem verwendeten Speicherplatz:

from(bucket: "iobroker")
|> range(start: -10y)
|> filter(fn: (r) => r["_field"] == "value")
|> count()
|> group()
|> keep(columns: ["_measurement", "_value"])
|> sort(columns: ["_value"], desc: true)
|> rename(columns: {_value: "Anzahl"})

Bei den größten Brummern kann du jeweils genauer reinschauen, warum dort so viele Daten drin stecken.

[a200]

@marc-berg sagte in Influxdb2 - Messwerte im Filesystem finden (Size):

from(bucket: "iobroker")

Bin gerade am testen, aber es scheint genau das zu sein, was ich gesucht habe. Danke.

[a200]

@marc-berg sagte in Influxdb2 - Messwerte im Filesystem finden (Size):

from(bucket: "iobroker")

Hmmm, Ich habe ca 2/3 aller Messungen gelöscht aber die Datenbank ist immer noch bei 45Gb. Es werden nur Daten vom iobroker gespeichert. Irgendetwas stimmt da nicht. Dabei ist die Größe seit gestern um knapp 2Gb gewachsten. Geschrieben werden aber nur einige Punkte und alle sind mit "Nur Änderungen aufzeichnen" = true versehen.

Hat jemand noch eine Idee?

[Marc Berg]

@a200 sagte in Influxdb2 - Messwerte im Filesystem finden (Size):

Hat jemand noch eine Idee?

Die Datenbank braucht auch noch ein wenig Zeit, um sich zu reorganisieren. Erst dann werden die Daten auch im Filesystem gelöscht. Und wenn die Platte zu voll ist, kann das fehlschlagen.

Sind denn in der Auswertung von oben noch Measurements drin, die du nicht kennst? Siehe hier:

https://forum.iobroker.net/post/1145259