Influxdb datengrösse
-
Hallo zusammen
ich brauche für die datenspeicherung InfluxDB welches ich durch ioBroker füttere. Nun wurde der Speicherbedarf immer grösser (hatte keine Retention drin). Nun habe ich aber von rd 3Jahren speicherung auf eine Retention von 1Jahr gewechselt. Leider hat mir das nur ca 5% mehr speicher gegeben... das geht jrgendwie nicht auf...
Kann mir da jemand helfen
Gruess Raphi
-
from(bucket: "iobroker") |> range(start: -10y) |> filter(fn: (r) => r["_field"] == "value") |> count() |> group() |> keep(columns: ["_measurement", "_value"]) |> sort(columns: ["_value"], desc: true) |> rename(columns: {_value: "Anzahl"})damit bekommst du eine Auflistung und wieviele records drin sind
-
@cainam sagte in Influxdb datengrösse:
Nun habe ich aber von rd 3Jahren speicherung auf eine Retention von 1Jahr gewechselt.
Moin,
wie Du schon von @arteck mitgeteilt bekommen hast, kannst Du schauen, wo wie viel drin ist.
Das Ändern der Retention ist nur der erste schriet, das Löschen geht in kleinen Häppchen, mir ist da noch so was von immer 30 Minuten Schritte, im Kopf.Also abwarten, sollte sich, da in den nächsten Stunden nichts mehr tun, dann mal die Log Files durchschauen.
VG
Bernd -
@dp20eic naja, das ist jetzt schon 2 Wochen her...
-
@arteck said in Influxdb datengrösse:
from(bucket: "iobroker") |> range(start: -10y) |> filter(fn: (r) => r["_field"] == "value") |> count() |> group() |> keep(columns: ["_measurement", "_value"]) |> sort(columns: ["_value"], desc: true) |> rename(columns: {_value: "Anzahl"})damit bekommst du eine Auflistung und wieviele records drin sind
es kommt sowas:
dh rd 3.5Mio einträge... das ist viel - ist das nur ein Datenpunkt?
wie kann ich das öschen, macht die retention nicht genau das?das backup ist auch viel kleiner (ca 3gb wobei sonst der speicherverbrauch bei ca 15gb ist)
-
@cainam sagte in Influxdb datengrösse:
Leider hat mir das nur ca 5% mehr speicher gegeben... das geht jrgendwie nicht auf...
5% wovon? Die Angabe ist deshalb nicht aussagekräftig, da niemand außer dir wissen kann, wieviel Speicherplatz die InfluxDB insgesamt von deinem Gesamtspeicher in Anspruch genommen hat.
Waren es vorher 90% oder eher 10%? Im zweiten Fall wäre die Reduktion schon beachtlich. -
@marc-berg
von 16gb, dh sind 5% rd 800MB und das für eine Reduktion von 2/3... da stimmt was nicht. ich habe jetzt noch 1Jahr details und hatte vorher 3Jahre -
@cainam sagte in Influxdb datengrösse:
von 16gb, dh sind 5% rd 800MB und das für eine Reduktion von 2/3... da stimmt was nicht. ich habe jetzt noch 1Jahr details und hatte vorher 3Jahre
Vielleicht stehe ich ja auf dem Schlauch, aber mit diesen Angaben kann ich immer noch nicht errechnen, wie groß die InfluxDB vorher war und wie groß nach Aktivierung der Retentiontime.
Oder anders gefragt: wie groß ist die InfluxDB jetzt? -
@marc-berg vorher 15.8GB und jetzt 15GB
-
@marc-berg vorher 15.8GB und jetzt 15GB
-
Moin,
dass man die Aufbewahrungsfrist schon vor drei Wochen geändert hat, wäre auch gleich eine gute Information gewesen
@cainam sagte in Influxdb datengrösse:
dh rd 3.5Mio einträge... das ist viel - ist das nur ein Datenpunkt?
Nein sind nicht wirklich viel
wie kann ich das öschen, macht die retention nicht genau das?
Ja, aber auch, nur wenn diese außerhalb der Retention Time liegen.
das backup ist auch viel kleiner (ca 3gb wobei sonst der speicherverbrauch bei ca 15gb ist)
Backups, werden komprimiert und da werden Kompressionsraten von 1:3 - 1:7 erreicht, je nachdem welches Kompressionsverfahren eingesetzt wird.
@cainam sagte in Influxdb datengrösse:
es kommt sowas:
Das sind nicht nur Daten von einem Datenpunkt, anhand des Namens unter
_measurementsiehst Du ja von welchem die meisten Daten kommen ist von einem ShellyVG
Bernd -
@cainam sagte in Influxdb datengrösse:
vorher 15.8GB und jetzt 15GB
Okay, ich dachte die 16GB waren der Gesamtspeicherplatz.
Jetzt könnte es ja noch sein, dass ein Großteil der Daten erst im letzten Jahr angefallen ist. Hast du dazu einen Überblick?
Edit:
zeig mal
du -h <Pfad zur InfluxDB> -
die daten wurden eigentlich über die letzten 3Jahren ziemlich linear geloggt... klar ist das eine oder andere gerät dazu gekommen... aber sicher nicht in diesem umfang
wie kann ich schauen ob von einem meassurement wirklich alle daten >1Jahr gelöscht wurden? und wie könnte ich das sonst manuel machen
-
@marc-berg said in Influxdb datengrösse:
@cainam sagte in Influxdb datengrösse:
vorher 15.8GB und jetzt 15GB
Okay, ich dachte die 16GB waren der Gesamtspeicherplatz.
Jetzt könnte es ja noch sein, dass ein Großteil der Daten erst im letzten Jahr angefallen ist. Hast du dazu einen Überblick?
Edit:
zeig mal
du -h <Pfad zur InfluxDB>root@Daten:~# du -h 8.0K ./.ssh 4.0K ./.influxdbv2/engine/data 4.0K ./.influxdbv2/engine/replicationq 12K ./.influxdbv2/engine 184K ./.influxdbv2 4.0K ./.gnupg/private-keys-v1.d 8.0K ./.gnupg 4.0K ./.local/share/nano 8.0K ./.local/share 12K ./.local 4.0K ./.cache/snowflake 8.0K ./.cache 312K . -
Nach dieser Ausgabe ist die InfluxDB nur wenige Kilobyte groß. Da passt was nicht, falscher Pfad?
-
@marc-berg
hmm. ich bin direkt auf dem debian wo influxdb installiert ist....df ueogt da auch mehr an:
Filesystem 1K-blocks Used Available Use% Mounted on /dev/loop0 15375304 13335164 1237324 92% / none 492 4 488 1% /dev udev 3952404 0 3952404 0% /dev/tty tmpfs 3987136 0 3987136 0% /dev/shm tmpfs 1594856 60 1594796 1% /run tmpfs 5120 0 5120 0% /run/lock root@Daten:~# -
-
@marc-berg said in Influxdb datengrösse:
zeig mal das Ergebnis von:
cat /etc/influxdb2/config.tomlroot@Daten:~# cat /etc/influxdb2/config.toml cat: /etc/influxdb2/config.toml: No such file or directory root@Daten:~# -
@cainam sagte in Influxdb datengrösse:
root@Daten:~# cat /etc/influxdb2/config.toml cat: /etc/influxdb2/config.toml: No such file or directory root@Daten:~#Ja, keine Ahnung, wie dein Filesystem aufgebaut ist und die InfluxDB installiert wurde. Ich würde vorschlagen, die suchst mal den Pfad, wo deine InfluxDB-Daten liegen.
-
@marc-berg said in Influxdb datengrösse:
Ja, keine Ahnung, wie dein Filesystem aufgebaut ist und die InfluxDB installiert wurde. Ich würde vorschlagen, die suchst mal den Pfad, wo deine InfluxDB-Daten liegen.
sorry... wie finde ich das?
