Festplattenbedarf iobroker 14GB ? Normal oder ... ?

[topsurfer]

Hallo,
seit Beginn der Installation vor 3 Monaten war der benötigte Festplattenplatz (unter /) ca. 12GB, jetzt 14GB.
Das ganze läuft unter Proxmox Linux-VM

Ist dieser Festplattenbedarf unter / normal?
Ich nutze noch keine DB,
(das soll jetzt aber kommen, daher muss ich den Festplattenplatz jetzt erweitern. Das geht, aber vorher will ich sicherstellen das dies wirklich notwendig ist)

Backups werden auf das NAS geschrieben.

Mittels Shell Kommandos habe ich mich mal wieder auf die Suche gemacht nach "Leichen", aber ich sehe da nichts, was unnötig ist und gelöscht werden könnte.
Unter /var/log sind es auch "nur" 1GB (das zyklische komprimieren und löschen alter Logs funktioniert auch)

# df -h /
Filesystem                         Size  Used Avail Use% Mounted on
/dev/mapper/ubuntu--vg-ubuntu--lv   15G   14G  599M  96% /

# du -kx / | sort -n > /tmp/du-out.txt

# tail -36  /tmp/du-out.txt
302.284  /var/lib/snapd/cache
312.960  /opt/iobroker/backups
317.616  /usr/src
323.524  /usr/lib/modules
464.352  /usr/share
491.092  /home/martin
529.548  /usr/lib/firmware
570.872  /opt/iobroker/iobroker-data/files/javascript.admin/static/js
570.872  /opt/iobroker/node_modules/iobroker.javascript/admin/static/js
573.012  /opt/iobroker/iobroker-data/files/javascript.admin/static
573.012  /opt/iobroker/node_modules/iobroker.javascript/admin/static
630.704  /opt/iobroker/node_modules/iobroker.javascript/admin
630.980  /opt/iobroker/iobroker-data/files/javascript.admin
636.612  /opt/iobroker/node_modules/iobroker.javascript
853.596  /usr/lib/x86_64-linux-gnu
931.748  /var/lib/snapd/snaps
983.544  /var/log/journal/774d4113ae9c4d199cc09c1e3c7ce171
983.548  /var/log/journal
1.058.912 /var/log
1.105.988 /opt/iobroker/iobroker-data/files
1.109.448 /home/iobroker/.npm/_cacache/content-v2/sha512
1.109.452 /home/iobroker/.npm/_cacache/content-v2
1.127.092 /home/iobroker/.npm/_cacache
1.127.492 /home/iobroker/.npm
1.184.300 /home/iobroker
1.235.128 /var/lib/snapd
1.298.920 /opt/iobroker/iobroker-data
1.494.712 /var/lib
1.675.396 /home
2.283.808 /usr/lib
2.323.384 /opt/iobroker/node_modules
2.701.508 /var
3.588.300 /usr
3.939.644 /opt/iobroker
3.957.748 /opt

Schaut das bei euch ähnlich aus von der Belegung der einzlnen Ordner unter / ?
Oder sieht jemand etwas was gelöscht werden kann ?

[crunchip]

@topsurfer sagte in Festplattenbedarf iobroker 14GB ? Normal oder ... ?:

seit Beginn der Installation vor 3 Monaten war der benötigte Festplattenplatz (unter /) ca. 12GB

ist ja ne VM, also normal, beim anlegen kann man schon mit 15-20GB rechnen

@topsurfer sagte in Festplattenbedarf iobroker 14GB ? Normal oder ... ?:

Ich nutze noch keine DB,

wenn man diese mit auf die VM legt, sollte natürlich mehr Platz zur Verfügung stehen, allerdings macht es keinen Sinn, da ja Proxmox verwendet wird, also separat anlegen

@topsurfer sagte in Festplattenbedarf iobroker 14GB ? Normal oder ... ?:

Backups werden auf das NAS geschrieben.

schein wohl das da noch was liegt, entweder ein manuelles Backup oder es ging mal was schief, ansonsten sollte der Ordner leer sein

@topsurfer sagte in Festplattenbedarf iobroker 14GB ? Normal oder ... ?:

312.960 /opt/iobroker/backups

@topsurfer sagte in Festplattenbedarf iobroker 14GB ? Normal oder ... ?:

jetzt 14GB.

ist auch normal, da Daten in den cache gelegt werden

[Thomas Braun]

@topsurfer sagte in Festplattenbedarf iobroker 14GB ? Normal oder ... ?:

1.235.128 /var/lib/snapd

Ist vermutlich ein Schnubbibuntu mit vollem Desktop Stack.
Ein Debian 'Lite' ohne den ganzen Krempel ist natürlich erheblich schlanker.

[topsurfer]

@thomas-braun said in Festplattenbedarf iobroker 14GB ? Normal oder ... ?:

Ist vermutlich ein Schnubbibuntu mit vollem Desktop Stack.

Nee, hab extra nicht die Desktop-Version installiert, sondern:
ubuntu-24.04.1-live-server-amd64.iso (2.77GB)

[Thomas Braun]

@topsurfer

Okay, aber auch das kommt mit dem snapd-Mumpitz daher.

[topsurfer]

@thomas-braun OK, kann ich da noch was de-installieren? Was ?
Desktop, X, GUI brauch ich nicht

[Thomas Braun]

@topsurfer sagte in Festplattenbedarf iobroker 14GB ? Normal oder ... ?:

Desktop, X, GUI brauch ich nicht

Sollte ja bei der Server-Version auch gar nicht erst installiert worden sein.

[topsurfer]

OK, aber was ist mit deiner Aussage

@thomas-braun said in Festplattenbedarf iobroker 14GB ? Normal oder ... ?:

Okay, aber auch das kommt mit dem snapd-Mumpitz daher.

Kann ich hier was löschen? Oder ist das alles wichtig für Paket installation und evtl. de-installation?

/var/lib/snapd/cache# ll -rt
total 1234028
-rw-------  2 root root  58052608 Jan 16 19:20 87c8ab42af5ea3bc7363e50aefd8d67f56841c0a364879ecebefb8f31d5668bcf3709de173fee7a3f8e0c3153cabdd21
-rw-------  2 root root      4096 Jan 16 19:20 8692b00c936f6f46e9063a493de7294ad8285a6c7ddd9de8281f0138c72a9d6186f95004732a840e8d655bac34009732
-rw-------  2 root root  97021952 Jan 16 19:20 8b512b34579720462827b03a70bbf7fc9cdf5c82941e1942ffddfe9f4d980d7cc3af7fa54e9b6b04a8245f70e82d5a15
-rw-------  2 root root  96141312 Jan 16 19:20 eb6ad1c28fd51eb39d6a384b967353a9427c81f5a86593521568719f602ccc22b25000f477c82ec5d74c15e5b92d528f
-rw-------  2 root root 172830720 Jan 16 19:20 27dfa20e0afced49f87301fb2b7f2bb612909086c9bdd3246cf9e72b5565be6a588fb69d3bba7b2e60c5ec58a9fd1da3
-rw-------  1 root root  41226240 Feb  3 19:39 bbfbdcc687ee7e8d0cc0efca37255c0ce39340eaa22ef395f10481ddddcb4d2492f2f329ab04ca450ecd9c9ffdecdc4d
-rw-------  1 root root  41230336 Feb  4 08:26 f106a2ea99031ad855f43fa531c79f1a9613e4d7e7fc7ebf9bc003d27ed284db66997247af17ad29dc9c1490f088ad31
-rw-------  1 root root  41349120 Feb 11 18:38 75912ab0737cee2d79eb9e5ac081a2e6a2860ed84b15b008a32ecdd7ca3db5bf5eca03ae01f0ebb269dea3a9f2eab29f
-rw-------  1 root root  66842624 Feb 19 08:40 df7a99bd44df70581693475c7aea9c64892e17a1d70822b2f8bd8156efdaee777c4eb4ad996b0246f3293cd2a93711cc
-rw-------  2 root root  58052608 Feb 25 20:20 f5c80a67e968d549ae82f5bf7c47be23ee5d54ab347de5f545d993692ea3d9a8f5afc8d554e878134cb8c2853baa74f1
-rw-------  2 root root  46604288 Mär  9 12:40 cd75ba6104fd544a54014ea292d32d67f9758804f09abc4cf5e8cdb025f5257eea05746a921fdfbd9a622734c38eb3f8
-rw-------  1 root root  77471744 Mär 26 23:50 ea935b9e8313179c0dc4b976d1873d51842c0997c1be47d4d16667bf609f6beda17261c645c64dd19ba5066d08e59a03
-rw-------  2 root root  77475840 Apr  9 14:55 612cf7a9b52c2e03f75e1f4caaecf6c8decabd1349f7fe2ce0374a96710c745edc420aab0c4b3038ba2b2a2479f765ec
-rw-------  2 root root  66850816 Apr 14 21:05 99373e85a17f08a9040f17da6f197e4a433df548d768f96d1c511e368a76ec75ee6266297e0a0725d71c15094024744c
-rw-------  1 root root  41398272 Apr 23 15:21 adddb92d7b76edff30360d38f2616ca6abbea936d10b5c1df096a7ee53a160a7a5f704bea2d925b53f62fae215066e8a
-rw-------  2 root root  53366784 Apr 30 16:20 fe31f06e7d194acdec6c00d22b6da242ca5ed2f6ce9174d7f25d6a9984b43e5bb29b5634c3a6a4ba1bdbb6813a878216
-rw-------  2 root root  77479936 Mai  2 15:25 524ee50b6eaacd64707024711472689ab192821890a2e817128d11a0c560289abacd4d8bcf7e90ea836d1eb9e7c12501
-rw-------  2 root root  66867200 Mai  6 15:45 ab9cb20184fef382b2993670315c84ee9b119f18eb06aeb8143d72a19da40f83ef3cca1f0d7a5b86ba428a65a930fc55
-rw-------  2 root root  41394176 Mai 15 02:06 a9e86ee055d347e41648a0df9a2381723b7ac10429a981324a0ff5672343204a109b74879ded49c6311c96da8524a583
-rw-------  2 root root  41930752 Mai 21 21:50 5cf275dc1f3587b087e4c5967c96002aab2c56fbf715d5c87a1b522dc2d93aa3b6f2f2c73eef80e526636bc406939c33

[Thomas Braun]

@topsurfer

Sind halt alles snapd-Container. Musst du mal schauen, was davon alles benötigt wird.
Ich kenn mich aber mit Ubuntu und dessen Eigenheiten (wie es snapd eine ist) nur soweit aus, als das ich da mittlerweile einen großen Bogen drumherum mache.

[topsurfer]

@crunchip said in Festplattenbedarf iobroker 14GB ? Normal oder ... ?:

Ich nutze noch keine DB,

wenn man diese mit auf die VM legt, sollte natürlich mehr Platz zur Verfügung stehen, allerdings macht es keinen Sinn, da ja Proxmox verwendet wird, also separat anlegen

Ich hätte jetzt Grafana und Influxdb auf das gleiche Linux (Ubuntu VM) installiert wo auch iobroker läuft. Plus 4GB Plattenplatz.
Weniger Wartungsaufwand, Snapshot vom Image hat dann "alles" ...

Du meintest ja extra VM, oder?
Was ist der große Vorteil?

[peterfido]

@topsurfer ioBroker kann man bei Problemen auf einen Snapshot oder Backup zurücksetzen und die Datenbank läuft durch. Ich habe auch Grafana eine eigene VM spendiert, nach dem es da nach einem Update zu Problemchen kam und ich zurückspringen musste.

lxc sollten da auch reichen. Ich nutze VMs seit es nach einem Proxmox Upate Probleme mit Debmatic und seinen Kernel Modulen kam. Das ist zwar schon ein paar Jahre her, das Misstrauen ist geblieben

[Marc Berg]

@topsurfer sagte in Festplattenbedarf iobroker 14GB ? Normal oder ... ?:

Kann ich hier was löschen?

mit

snap list --all

kannst du sehen, was alles per snapd installiert ist und mit

sudo snap remove <Paketname>

entfernen.

In der Regel kommt man ohne snaps aus.

[topsurfer]

@marc-berg said in Festplattenbedarf iobroker 14GB ? Normal oder ... ?:

sudo snap remove <Paketname>

entfernen.
In der Regel kommt man ohne snaps aus.

OK, hab ich mal ausgeführt, hat aber keinen Speicherplatz freigemacht,
snap list all zeigt auch an "No snaps installed".

Kann / sollte / muss ich die Dateien unter /var/lib/snapd/cache manuell löschen?

[Marc Berg]

@topsurfer sagte in Festplattenbedarf iobroker 14GB ? Normal oder ... ?:

Kann / sollte / muss ich die Dateien unter /var/lib/snapd/cache manuell löschen?

Ja, wenn keine Snaps mehr da sind, kannst du die Caches löschen. (und auch sonst ist das Schlimmste was passieren kann, dass die Daten nochmals runtergeladen werden)

[crunchip]

@topsurfer sagte in Festplattenbedarf iobroker 14GB ? Normal oder ... ?:

Was ist der große Vorteil?

Gegenfrage
Warum nutzt du Proxmox?

wie du das handhabst, ob VM, LXC, alles Zusammen packst oder einzeln, hängt von deinen persönlichen Vorlieben ab und letztendlich vom Rechner selbst.

Ich persönlich, hatte alles getrennt in LXC`s laufen, des weiteren auch 3 Server im Cluster

[Master67]

@topsurfer sagte in Festplattenbedarf iobroker 14GB ? Normal oder ... ?:

df -h /

Habe ich mir noch nie Angeschaut, aber jetzt und es sind bei mir 20GB, wundert, und belastet mich aber auch nicht.
Wundert mich nicht, weil das System noch nie (5 oder 6 Jahre) neu aufgesetzt wurde, und ich sicher 1GB an Dateileichen mitrumschleppe.
Belastet mich nicht, weil es eh als LXC in Proxmox läuft und eh schon 50GB HDD für den iob freigegeben hatte, und wenn er in 5 Jahren bei 40GB ist gibt es halt mehr *Speicher
*mir ist Bewusst das ein so Aufgeblasenes System auch mal sehr langsam werden kann, dann muss man gegensteuern

[Meister Mopper]

@topsurfer sagte in Festplattenbedarf iobroker 14GB ? Normal oder ... ?:

Ich hätte jetzt Grafana und Influxdb auf das gleiche Linux (Ubuntu VM) installiert wo auch iobroker läuft.

Meine Empfehlung: Mach das besser nicht.

Eine Virtualisierung ist dazu da, alle Anwendungen zu separieren um bei restore keine Daten zu verlieren (z. B. Grafana und InfluxDB in einem LXC) => Stellst du Grafana aus einem vorherigen Backup wieder her, sind die entsprechenden Daten aus InfluxDB verloren.

Hier die Festplatte meines ioBroker auf einem schlanken Debian 12 headless server (das sieht gefühlt ewig so aus, weil ich ein stringentes logrotate betreibe):

[BananaJoe]

@topsurfer also, es ist doch nur Speicherplatz. Und nicht viel bei dir.

Ja, snap belegt bei mir auch 2,7GB (obwohl ich da nichts bewusst benutze) und du lässt da bitte den Finger von weil Ubuntu das auch ggf. für den Kernel und Updates verwendet.

Mein iobroker hat eine 64GB Festplatte und davon sind im Moment 36GB belegt, z.B.
2,7GB Snap,
7,2GB von npm, 3,6GB Cache
2GB das Swapfile
5GB meine MySQL Datenbank mit den historischen Daten

Hast du schon Platznot auf deinem Proxmox Host?

Viel wichtiger wäre mir das man die Festplatte meiner ioBroker VM leicht vergrößern kann.
Da musste ich neulich entdecken das auch ein Debian 12 immer noch eine extra Partition für Swap anlegt (Installation ohne LVM) die natürlich störend am Ende der Festplatte liegt.

Ob du nun die Daten für DB in eine extra VM legst, ist eine Glaubensfrage.
Denn du schaffst die mehr Abhängigkeiten.
Du hast VM A mit iobroker und VM B mit deiner Datenbank?
Du spielst Updates auf VM B ein? Da musst du dann eigentlich VM A vorher stoppen (oder zumindest die Dienste welche VM B brauchen).
Und wenn du das dann noch weiter auseinander ziehst, zum Beispiel Redis ein extra Server, dann hats du immer mehr was du beachten musst.

Ich bin deshalb ein Freund davon, Dinge die zusammengehören bzw. von einander abhängig sind auf eine VM zu packen. Muss ich ja eh zusammen betrachten und neu starten.

Und dann hat halt jede Linux VM bei mir ihren eigenen MySQL / MariaDB Server mit jeweils seiner eigenen Datenbank - ioBroker, Webserver 1 und 2, Zabbix Server, Netxcloud, Seafile
Und Ihre eigene Redis Installation - iobroker und Nextcloud.

Muss aber auch auf nichts anderes achten und ich kann so durchpatchen. Oder so einen Snapshot machen vor Updates/Upgrades , die passende Datenbank wird dann ja mit gesnapshotet, sonst müsste ich den ja auf 2 System gleichzeitig machen und beim Wiederherstellen würde ich ja Datenbanken von anderen Systemen mit wiedergestellt.

VMs /Container sind durchaus dafür gedacht, alle Dienste in jeweils ein extra System zu installieren.
Damit sind aber nicht(!) unbedingt Webserver, Datenbank, ioBroker, Redis usw. gedacht.
Sondern ioBroker ist ein Dienst. Wenn der eine Datenbank braucht, gehört die mit zum Dienst ioBroker

Das auftrennen machst du bei großen Installationen wenn es um Performance geht.
Bei mir zu Hause läuft Nextcloud in einer VM, da nutzen es aber auch nur 8 Personen.

Bei einem meiner Kunden läuft Nextcloud auf 15 VMs, 6 Frontend Webserver, 3 Server MariaDB Cluster, 3 Server Redis Cluster und 3 Server Gluster Fileserver. Da arbeiten aber auch um die 6.000 Leute drauf.

[Dr. Bakterius]

@bananajoe sagte in Festplattenbedarf iobroker 14GB ? Normal oder ... ?:

Du spielst Updates auf VM B ein? Da musst du dann eigentlich VM A vorher stoppen (oder zumindest die Dienste welche VM B brauchen).

Da gab es bei mir noch nie Probleme - ioBroker läuft einfach weiter. Und ich verwende Datenbanken für mehrere Systeme alle in einer MariaDB. Nur ein Webserver zusätzlich läuft auf dem LXC um die MariaDB mit phpMyAdmin grafisch verwalten zu können.

Beim Einrichten mag es einmal mehr Aufwand sein alles in einer eigenen VM oder einem LXC zu machen, aber danach ist man flexibler, sicherer und vieles wird einfacher.

[BananaJoe]

@dr-bakterius sagte in Festplattenbedarf iobroker 14GB ? Normal oder ... ?:

Da gab es bei mir noch nie Probleme - ioBroker läuft einfach weiter.

Wenn du die denen die Datenbank mitten im Betrieb wegnimmst (oder was anderes), ist das Glücksache was passiert. Der SQL-Adapter wirft vielleicht nur ein paar Fehlermeldungen, der Nextcloud schafft es ggf. nicht einen Dateieintrag zu schreiben, dem Seafile fehlen ggf. Dateiblöcke, meinen Zabbix fehlen ein paar Messdaten. Bei allen gibt es Massenhaft Logeinträge.

Das macht man einfach nicht, auch wenn "es bei mir noch nie Probleme" gab, das sollte ich mich mal bei einem Kunden trauen. Nein, das geht gar nicht, da blutet mein Herz. Das ist aus meiner Sicht reine Glückssache, das geht 1.000 mal gut und einmal schief.

Firmen haben da ein Change-Management, da wird auch das Einspielen von Updates als Change behandelt. Dazu gehören dann auch Abhängigkeiten, sprich wenn ich Komponente A anfasse wird beachtet was davon abhängt. Und die Kette kann sehr lang werden wenn man sich das ungünstig baut.
Fazit bei so etwas in Firmen ist z.B. das der zentrale Datenbankserver nie gepatched wird wenn da statt nur einem Dienst dann 20 dranhängen und man das dann eigentlich nur einmal im Jahr machen könnte wenn die Produktion mal steht (Klar, andere Möglichkeiten wie z.B. Cluster einsetzen)