Influxdb datengrösse
-
du -h /var/lib/influxdb/.influxdbv2/engine -
da kommen 100e einträge... auch solche mit 500M, die meisten aber mit 4.0k
....
4.0K /var/lib/influxdb/.influxdbv2/engine/wal/786f704d9c22e319/autogen/3272 4.0K /var/lib/influxdb/.influxdbv2/engine/wal/786f704d9c22e319/autogen/3217 4.0K /var/lib/influxdb/.influxdbv2/engine/wal/786f704d9c22e319/autogen/3211 4.0K /var/lib/influxdb/.influxdbv2/engine/wal/786f704d9c22e319/autogen/3482 4.0K /var/lib/influxdb/.influxdbv2/engine/wal/786f704d9c22e319/autogen/3223 4.0K /var/lib/influxdb/.influxdbv2/engine/wal/786f704d9c22e319/autogen/3409 4.0K /var/lib/influxdb/.influxdbv2/engine/wal/786f704d9c22e319/autogen/3441 4.0K /var/lib/influxdb/.influxdbv2/engine/wal/786f704d9c22e319/autogen/3489 4.0K /var/lib/influxdb/.influxdbv2/engine/wal/786f704d9c22e319/autogen/3197 620K /var/lib/influxdb/.influxdbv2/engine/wal/786f704d9c22e319/autogen 624K /var/lib/influxdb/.influxdbv2/engine/wal/786f704d9c22e319 35M /var/lib/influxdb/.influxdbv2/engine/wal 4.0K /var/lib/influxdb/.influxdbv2/engine/replicationq 589M /var/lib/influxdb/.influxdbv2/engine -
@cainam sagte in Influxdb datengrösse:
da kommen 100e einträge... auch solche mit 500M, die meisten aber mit 4.0k
....
4.0K /var/lib/influxdb/.influxdbv2/engine/wal/786f704d9c22e319/autogen/3272 4.0K /var/lib/influxdb/.influxdbv2/engine/wal/786f704d9c22e319/autogen/3217 4.0K /var/lib/influxdb/.influxdbv2/engine/wal/786f704d9c22e319/autogen/3211 4.0K /var/lib/influxdb/.influxdbv2/engine/wal/786f704d9c22e319/autogen/3482 4.0K /var/lib/influxdb/.influxdbv2/engine/wal/786f704d9c22e319/autogen/3223 4.0K /var/lib/influxdb/.influxdbv2/engine/wal/786f704d9c22e319/autogen/3409 4.0K /var/lib/influxdb/.influxdbv2/engine/wal/786f704d9c22e319/autogen/3441 4.0K /var/lib/influxdb/.influxdbv2/engine/wal/786f704d9c22e319/autogen/3489 4.0K /var/lib/influxdb/.influxdbv2/engine/wal/786f704d9c22e319/autogen/3197 620K /var/lib/influxdb/.influxdbv2/engine/wal/786f704d9c22e319/autogen 624K /var/lib/influxdb/.influxdbv2/engine/wal/786f704d9c22e319 35M /var/lib/influxdb/.influxdbv2/engine/wal 4.0K /var/lib/influxdb/.influxdbv2/engine/replicationq 589M /var/lib/influxdb/.influxdbv2/engineOkay, das bedeutet wohl, dass die DB vorher 1,4 GB groß war und jetzt 600 MB. Das passt.
Edit: Übrigens dürfte sich die Größenänderung auch im Backup widerspiegeln. (Wenn du eins hast ...
-
@cainam sagte in Influxdb datengrösse:
da kommen 100e einträge... auch solche mit 500M, die meisten aber mit 4.0k
Moin,
So dann fangen wir mal von vorne an
Auf welcher Hardware läuft das ganze?
Wenn das kleine Tool noch nicht installiert ist, dann installier dir malncdu.Da du als
roothantierst, gehe ich davon aus, dass es irgendetwas mit Docker ist, da ist das dann etwas schwerer mit dem Installieren des Tools, wenn es eine normale Linux Installation ist, dann ist das easy und Du kannst es so aufrufenroot# ncdu / oder # sudo ncdu /Du bekommst dann eine Übersicht der Füllmenge, der Verzeichnisse ab dem
root Verzeichnis, dann kann man mit den Cursortasten ein Verzeichnis anwählen und mit Enter eine Ebene tiefer gehen.VG
Bernd -
nein, habe über proxmox debian cts am laufen
-
@marc-berg said in Influxdb datengrösse:
Okay, das bedeutet wohl, dass die DB vorher 1,4 GB groß war und jetzt 600 MB. Das passt.
wie kommst du auf das? ich habe 16GB für die maschine und das ist fast voll... ausser influxdb läuft da nix drauf
backup ist bei ca 1.9 gb ... vorher vielleicht 2.1gb
-
@cainam sagte in Influxdb datengrösse:
nein, habe über proxmox debian cts am laufen
Moin,
was ist
cts?
Es gibt LinuX Container = LXC oder Virtual Mashine = VMGut, dann installier mal und richte Dir auch gleich ein User ein, damit Du nicht als
rootim System herum schlawienerst.
Ein User undsudoreichen aus, um ein Linuxsystem zu benutzen und zu warten/pflegen.VG
BerndP.S.: So installiert man Programme, da Du ja schon als
roothantierst, aber im LXC oder VM nicht in Proxmox# apt install ncdu -
@dp20eic said in Influxdb datengrösse:
.
genau LXC
wieso ist das so wichtig nicht als root? ich bin ja alleine der zugriff hat und ob ich was mit sudo xxxx zerstöre oder als root... gibts da ein unterschied?
apt install ncdu
habe ich installiert... resp so eingegeben... da ist nicht viel passiert... und nun? -
@cainam sagte in Influxdb datengrösse:
wie kommst du auf das? ich habe 16GB für die maschine und das ist fast voll... ausser influxdb läuft da nix drauf
Moin,
Dein Speicher wird von was anderem gefressen, ich gehe von riesigen Log Files, Journal Files aus, oder der
aptCache ist aufgebläht.Also
ncduinstallieren und schauen, wo die Kracher liegen, dann gezielt aufräumenVG
Bernd -
du hast glaube ich recht... logs
9.2 GiB [##########] /log
2.1 GiB [## ] /lib
508.8 MiB [ ] /cache
1.4 MiB [ ] /spool
1.1 MiB [ ] /backups
24.0 KiB [ ] /mail
e 4.0 KiB [ ] /tmp
e 4.0 KiB [ ] /opt
e 4.0 KiB [ ] /local
@ 0.0 B [ ] lock
@ 0.0 B [ ] runwie lösche ich alle die ich nicht brauch?
kann ich hier die obersten drei logs einfach löschen?
/..
3.4 GiB [##########] daemon.log
3.4 GiB [######### ] syslog
1.4 GiB [#### ] /journal
654.1 MiB [# ] auth.log
186.5 MiB [ ] daemon.log.1
27.9 MiB [ ] syslog.1
22.8 MiB [ ] messages
22.8 MiB [ ] user.log
11.3 MiB [ ] daemon.log.3.gz
11.0 MiB [ ] daemon.log.2.gz
10.1 MiB [ ] daemon.log.4.gz
1.7 MiB [ ] syslog.4.gz
1.7 MiB [ ] syslog.5.gz
1.6 MiB [ ] syslog.6.gz
1.5 MiB [ ] syslog.7.gz
1.5 MiB [ ] syslog.3.gz
1.3 MiB [ ] syslog.2.gz -
@cainam sagte in Influxdb datengrösse:
wieso ist das so wichtig nicht als root? ich bin ja alleine der zugriff hat und ob ich was mit sudo xxxx zerstöre oder als root... gibts da ein unterschied?
Moin,
das ist eine Diskussion, die wir gern mal beim Bier austragen können
Rootist einfach nicht nötig und ein falscher Befehl und alles ist hin, als User kanst Du ersteinmal nichts kaputt machen und wenn man mal ein Befehl alsrootbraucht, dann nimmt mansudo, punk aus.@cainam sagte in Influxdb datengrösse:
apt install ncdu
Nicht sagen, zeigen, Text in Code Tags </> hier zeigen, so sieht das bei mir aus, ist aber schon installiert, bei mir.
dp20eic@iobroker:~$ sudo apt install ncdu [sudo] password for dp20eic: Reading package lists... Done Building dependency tree... Done Reading state information... Done ncdu is already the newest version (1.15.1-1). 0 upgraded, 0 newly installed, 0 to remove and 0 not upgraded.VG
Bernd -
@cainam sagte in Influxdb datengrösse:
du hast glaube ich recht... logs
Moin,
auch ein blindes Huhn findet mal ein Korn
@cainam sagte in Influxdb datengrösse:
kann ich hier die obersten drei logs einfach löschen?
Nein, mal gerad nachschauen, wie man das am sinnvollsten macht.
VG
BerndP.S.: eins noch vorweg, es ist bei Deiner Installation etwas nicht korrekt, denn es sollte eigentlich ein Log Rotation stattfinden, entweder bei einer gewissen Größe oder einem gewissen alter eines Log Files und dann sollten es auch nur x Gepackte Log Files geben, siehe
syslog,x.gzaber das Packen scheint nicht mehr zu funktionieren, könnte man an den Zeiten der Files sehen, seit wann.
P.P.S.: dann scheint da etwas gehörig in die Logs hineinzuschreiben, leider kann man so große Dateien nur schlecht debuggen um zu sehen was da die letzten Tage so vor sich ging.
P.P.P.S.: jetzt erst mal zu einem schnell Schuß, damit das erst mal wieder funktioniert und Du Dir anschließend die Log Files anschauen kannst
Das jetzt wirklich alsrootda hier die vollen Rechte gebraucht werden# truncate -s 1M /var/log/daemon.log # truncate -s 1M /var/log/syslogP.P.P.P.S.: die
GeziptenLog Files kannst Du ganz löschen# rm -f /var/log/*.gzP.P.P.P.P.S.: anschließend den LXC einmal rebooten
-
@cainam sagte in Influxdb datengrösse:
wie kommst du auf das?
Weil die Zahlen genau das sagen. Aber das hat sich ja in den letzten Posts schon aufgeklärt.
-
@dp20eic sagte in Influxdb datengrösse:
P.P.P.P.P.S.: anschließend den LXC einmal rebooten
Moin,
zitiere mich mal selbst
Das
journalkann man dann auch gleich noch schrumpfen.# journalctl --flush --rotate --vacuum-time=1hUnd noch eine kleine Linux gratis Stunde, was machen die Kommandos eigentlich?
# truncate -> schrumpft das angegeben File auf eine angegebene Größe, welche mit dem Parameter `-s` angegeben wird # journalctl -> ist das Controll Programm, mit welchem man sich das `systemd` `Journal` anschauen kann und verwalten kann, da die Files vom `systemd journal` Binär Datein sind, braucht man ein Tool zum Anschauen, AuswertenWenn man wissen möchte, was ein Kommandozeilentool so macht und welche Parameter es gibt, dann einfach
# man progname -> z. B. # man truncate oder # programname -h (--help) -> z. B.: # truncate -hVG
Bernd -
@dp20eic
DANKE, du bist genial...wegen dem bier - gerne wo bist du denn zuhause
jetzt sieht es so aus
root@Daten:~# df Filesystem 1K-blocks Used Available Use% Mounted on /dev/loop0 15375304 4712560 9859928 33% / none 492 4 488 1% /dev udev 3952404 0 3952404 0% /dev/tty tmpfs 3987136 0 3987136 0% /dev/shm tmpfs 1594856 60 1594796 1% /run tmpfs 5120 0 5120 0% /run/lockeiniges besser
kann ich das truncate mit dem auth.log auch machen?
-
@cainam sagte in Influxdb datengrösse:
wieso ist das so wichtig nicht als root? ich bin ja alleine der zugriff hat und ob ich was mit sudo xxxx zerstöre oder als root... gibts da ein unterschied?
Moin,
bin zu faul, hier alles zu schreiben, aber hier -> https://wiki.ubuntuusers.de/mit_Root-Rechten_arbeiten/ ist das wichtigst gesagt.
Auch ich hatte auf den Servern nie wirklich
rootZugriff, obwohl ich das Passwort wusste, ich bin immer über meinen persönlichen User auf den ~ 200 - 300 Servern unterwegs gewesen, nur wenn wir neue Software auf die Systeme gebracht haben, dann habe ich mal alsrootgearbeitet, würde ich aber heute nicht mehr so machenVG
Bernd -
@cainam sagte in Influxdb datengrösse:
kann ich das truncate mit dem auth.log auch machen?
Moin,
nein, glaube da gibt es einen anderen Trick, denn auch das File ist
Binär, daher geht das nicht mittruncateich schaue mal in meinem verstaubten Kämmerchen (Brain) nach.VG
Bernd -
@dp20eic said in Influxdb datengrösse:
P.S.: eins noch vorweg, es ist bei Deiner Installation etwas nicht korrekt, denn es sollte eigentlich ein Log Rotation stattfinden, entweder bei einer gewissen Größe oder einem gewissen alter eines Log Files und dann sollten es auch nur x Gepackte Log Files geben, siehe syslog,x.gz aber das Packen scheint nicht mehr zu funktionieren, könnte man an den Zeiten der Files sehen, seit wann.
soll ich influxdb neu installieren oder gibt das ein chaos?
-
@cainam sagte in Influxdb datengrösse:
ob ich was mit sudo xxxx zerstöre oder als root... gibts da ein unterschied?
Als root wird JEDER Befehl, ob sinnvoll oder nicht, ob gefährlich oder nicht ohne Rückmeldung gnadenlos durchgerasselt.
Der Prefix 'sudo' gibt dir also die Chance, darüber nachzudenken, ob der Befehl vielleicht nicht doch besser ohne root-Rechte zu verwenden ist. Und du fällst nach dem sudo auch wieder in die user-Rolle zurück.
Das ist also das was für den Metzger der Kettenhandschuh ist oder für den Schweißer seine Schweißbrille. Amateure oder Lebensmüde (oder lebensmüde Amateure) kommen vermeintlich ohne diese Dinge viel besser zurecht. Ist aber ein Trugschluss, die Profis wissen warum sie ihre Schutzausrüstung anlegen.ich bin ja alleine der zugriff hat
Auch das ist ein Trugschluss. Kannst dir per
cat /etc/passwdja mal die Liste der User auf der Kiste ansehen. Die haben alle spezifische Rechte und Einschränkungen.
-
@cainam sagte in Influxdb datengrösse:
soll ich influxdb neu installieren oder gibt das ein chaos?
Moin,
das ist nicht nötig, wenn jetzt erst einmal etwas aufgeräumt ist, kann man sich die verschiedenen Files mal anschauen und findet ja, vielleicht heraus, warum die Logs nicht mehr rotierten und dann angewachsen sind, bis sie auch nicht mehr gepackt werden konnten.
VG
Bernd
