Speicherplatz des Proxmox voll - aber womit?

[guitardoc]

@peterfido Da ist alles recht leer:

[guitardoc]

Aber ich habe eine Vermutung. Möglicherweise wurden Backups nicht auf die externe Platte gespeichert, sondern auf local (das hatte ich schon mal, warum auch immer hab ich nie herausgefunden). Ich hab doch die externe Platte entfernt und dann in Storage wieder hinzugefügt. Damit sind die Verweise auf Backups jetzt auf die externe Platte gerichtet und die, welche vielleicht auf local liegen, an die komme ich nicht mehr ran. Hmm. Wie könnte man das prüfen?

[Thomas Braun]

@guitardoc sagte in Speicherplatz des Proxmox voll - aber womit?:

Wie könnte man das prüfen?

ls -lh /opt/iobroker/backups

anschauen. Jedenfalls wenn du Backups vom ioBroker meinst.

[guitardoc]

@thomas-braun Nein, ich meinte die Backups vom Proxmox. Die beinhalten ja alle vzdump im Dateinamen. Kann man den Proxmox auf Dateiebene nicht mal durchsuchen, ob da solche Dateien irgendwo liegen? Ich hab da aber keine Idee wie...

[Thomas Braun]

@guitardoc

Da bin ich raus. Keine Ahnung von Proxmox.

[peterfido]

@guitardoc externe Platte abziehen, und unter

ls- l /mnt

durchhangeln.

[peterfido]

@guitardoc Backups lasse ich auf Netzlaufwerke ablegen.

[guitardoc]

@peterfido said in Speicherplatz des Proxmox voll - aber womit?:

@guitardoc Backups lasse ich auf Netzlaufwerke ablegen.

Ja, aber das nützt auch nichts, wenn der Proxmox entscheidet, dass es das Laufwerk gerade mal nicht gibt. Und das war hier wieder mal der Fall, denn ich habe die Übeltäter gefunden:

mn@proxmox:~$ ls -l /mnt
total 8
drwxr-xr-x 7 root root 4096 Jun  4 17:41 sda
drwxr-xr-x 2 root root 4096 Oct 23  2023 vzsnap0
mn@proxmox:~$ ls -l /mnt/vzsnap0
total 0
mn@proxmox:~$ ls -l /mnt/sda
total 20
drwxr-xr-x 2 root root 4096 Jun 10 02:30 dump
drwxr-xr-x 2 root root 4096 Jun  4 17:41 images
drwxr-xr-x 2 root root 4096 Jun  4 17:41 private
drwxr-xr-x 2 root root 4096 Jun  4 17:41 snippets
drwxr-xr-x 4 root root 4096 Jun  4 17:41 template
mn@proxmox:~$ ls -l /mnt/sda/dump
total 84355876
-rw-r--r-- 1 root root         900 Jun  5 02:31 vzdump-lxc-101-2025_06_05-02_30_03.log
-rw-r--r-- 1 root root 11244814311 Jun  5 02:31 vzdump-lxc-101-2025_06_05-02_30_03.tar.zst
-rw-r--r-- 1 root root           8 Jun  5 02:31 vzdump-lxc-101-2025_06_05-02_30_03.tar.zst.notes
-rw-r--r-- 1 root root         900 Jun  6 02:32 vzdump-lxc-101-2025_06_06-02_30_00.log
-rw-r--r-- 1 root root 11279122146 Jun  6 02:32 vzdump-lxc-101-2025_06_06-02_30_00.tar.zst
-rw-r--r-- 1 root root           8 Jun  6 02:32 vzdump-lxc-101-2025_06_06-02_30_00.tar.zst.notes
-rw-r--r-- 1 root root         900 Jun  7 02:31 vzdump-lxc-101-2025_06_07-02_30_03.log
-rw-r--r-- 1 root root 11324898258 Jun  7 02:31 vzdump-lxc-101-2025_06_07-02_30_03.tar.zst
-rw-r--r-- 1 root root           8 Jun  7 02:31 vzdump-lxc-101-2025_06_07-02_30_03.tar.zst.notes
-rw-r--r-- 1 root root         900 Jun  8 02:31 vzdump-lxc-101-2025_06_08-02_30_00.log
-rw-r--r-- 1 root root 11371813356 Jun  8 02:31 vzdump-lxc-101-2025_06_08-02_30_00.tar.zst
-rw-r--r-- 1 root root           8 Jun  8 02:31 vzdump-lxc-101-2025_06_08-02_30_00.tar.zst.notes
-rw-r--r-- 1 root root        1391 Jun  9 02:30 vzdump-lxc-101-2025_06_09-02_30_03.log
-rw-r--r-- 1 root root         185 Jun 10 02:30 vzdump-lxc-101-2025_06_10-02_30_04.log
-rw-r--r-- 1 root root         901 Jun  5 02:32 vzdump-lxc-102-2025_06_05-02_31_54.log
-rw-r--r-- 1 root root  5420945476 Jun  5 02:32 vzdump-lxc-102-2025_06_05-02_31_54.tar.zst
-rw-r--r-- 1 root root          10 Jun  5 02:32 vzdump-lxc-102-2025_06_05-02_31_54.tar.zst.notes
-rw-r--r-- 1 root root         901 Jun  6 02:33 vzdump-lxc-102-2025_06_06-02_32_20.log
-rw-r--r-- 1 root root  5421785412 Jun  6 02:33 vzdump-lxc-102-2025_06_06-02_32_20.tar.zst
-rw-r--r-- 1 root root          10 Jun  6 02:33 vzdump-lxc-102-2025_06_06-02_32_20.tar.zst.notes
-rw-r--r-- 1 root root         901 Jun  7 02:32 vzdump-lxc-102-2025_06_07-02_31_58.log
-rw-r--r-- 1 root root  5421383275 Jun  7 02:32 vzdump-lxc-102-2025_06_07-02_31_58.tar.zst
-rw-r--r-- 1 root root          10 Jun  7 02:32 vzdump-lxc-102-2025_06_07-02_31_58.tar.zst.notes
-rw-r--r-- 1 root root         901 Jun  8 02:32 vzdump-lxc-102-2025_06_08-02_31_54.log
-rw-r--r-- 1 root root  5421496245 Jun  8 02:32 vzdump-lxc-102-2025_06_08-02_31_54.tar.zst
-rw-r--r-- 1 root root          10 Jun  8 02:32 vzdump-lxc-102-2025_06_08-02_31_54.tar.zst.notes
-rw-r--r-- 1 root root        1393 Jun  9 02:31 vzdump-lxc-102-2025_06_09-02_30_37.log
-rw-r--r-- 1 root root         185 Jun 10 02:30 vzdump-lxc-102-2025_06_10-02_30_04.log
-rw-r--r-- 1 root root         903 Jun  5 02:33 vzdump-lxc-103-2025_06_05-02_32_43.log
-rw-r--r-- 1 root root  2240440960 Jun  5 02:33 vzdump-lxc-103-2025_06_05-02_32_43.tar.zst
-rw-r--r-- 1 root root          13 Jun  5 02:33 vzdump-lxc-103-2025_06_05-02_32_43.tar.zst.notes
-rw-r--r-- 1 root root         903 Jun  6 02:34 vzdump-lxc-103-2025_06_06-02_33_10.log
-rw-r--r-- 1 root root  2240729006 Jun  6 02:34 vzdump-lxc-103-2025_06_06-02_33_10.tar.zst
-rw-r--r-- 1 root root          13 Jun  6 02:34 vzdump-lxc-103-2025_06_06-02_33_10.tar.zst.notes
-rw-r--r-- 1 root root         903 Jun  7 02:33 vzdump-lxc-103-2025_06_07-02_32_46.log
-rw-r--r-- 1 root root  2240936539 Jun  7 02:33 vzdump-lxc-103-2025_06_07-02_32_46.tar.zst
-rw-r--r-- 1 root root          13 Jun  7 02:33 vzdump-lxc-103-2025_06_07-02_32_46.tar.zst.notes
-rw-r--r-- 1 root root         903 Jun  8 02:33 vzdump-lxc-103-2025_06_08-02_32_42.log
-rw-r--r-- 1 root root  2241369262 Jun  8 02:33 vzdump-lxc-103-2025_06_08-02_32_42.tar.zst
-rw-r--r-- 1 root root          13 Jun  8 02:33 vzdump-lxc-103-2025_06_08-02_32_42.tar.zst.notes
-rw-r--r-- 1 root root        1338 Jun  9 02:31 vzdump-lxc-103-2025_06_09-02_31_02.log
-rw-r--r-- 1 root root         185 Jun 10 02:30 vzdump-lxc-103-2025_06_10-02_30_04.log
-rw-r--r-- 1 root root         900 Jun  5 02:33 vzdump-lxc-200-2025_06_05-02_33_40.log
-rw-r--r-- 1 root root  1238712165 Jun  5 02:33 vzdump-lxc-200-2025_06_05-02_33_40.tar.zst
-rw-r--r-- 1 root root           9 Jun  5 02:33 vzdump-lxc-200-2025_06_05-02_33_40.tar.zst.notes
-rw-r--r-- 1 root root         900 Jun  6 02:34 vzdump-lxc-200-2025_06_06-02_34_07.log
-rw-r--r-- 1 root root  1238726654 Jun  6 02:34 vzdump-lxc-200-2025_06_06-02_34_07.tar.zst
-rw-r--r-- 1 root root           9 Jun  6 02:34 vzdump-lxc-200-2025_06_06-02_34_07.tar.zst.notes
-rw-r--r-- 1 root root         900 Jun  7 02:33 vzdump-lxc-200-2025_06_07-02_33_43.log
-rw-r--r-- 1 root root  1238678524 Jun  7 02:33 vzdump-lxc-200-2025_06_07-02_33_43.tar.zst
-rw-r--r-- 1 root root           9 Jun  7 02:33 vzdump-lxc-200-2025_06_07-02_33_43.tar.zst.notes
-rw-r--r-- 1 root root         900 Jun  8 02:33 vzdump-lxc-200-2025_06_08-02_33_40.log
-rw-r--r-- 1 root root  1238680395 Jun  8 02:33 vzdump-lxc-200-2025_06_08-02_33_40.tar.zst
-rw-r--r-- 1 root root           9 Jun  8 02:33 vzdump-lxc-200-2025_06_08-02_33_40.tar.zst.notes
-rw-r--r-- 1 root root         900 Jun  9 02:32 vzdump-lxc-200-2025_06_09-02_31_59.log
-rw-r--r-- 1 root root  1238698569 Jun  9 02:32 vzdump-lxc-200-2025_06_09-02_31_59.tar.zst
-rw-r--r-- 1 root root           9 Jun  9 02:32 vzdump-lxc-200-2025_06_09-02_31_59.tar.zst.notes
-rw-r--r-- 1 root root        1392 Jun 10 02:30 vzdump-lxc-200-2025_06_10-02_30_04.log
-rw-r--r-- 1 root root         897 Jun  5 02:34 vzdump-lxc-300-2025_06_05-02_33_54.log
-rw-r--r-- 1 root root  1078996976 Jun  5 02:34 vzdump-lxc-300-2025_06_05-02_33_54.tar.zst
-rw-r--r-- 1 root root           6 Jun  5 02:34 vzdump-lxc-300-2025_06_05-02_33_54.tar.zst.notes
-rw-r--r-- 1 root root         896 Jun  6 02:35 vzdump-lxc-300-2025_06_06-02_34_21.log
-rw-r--r-- 1 root root  1079332788 Jun  6 02:35 vzdump-lxc-300-2025_06_06-02_34_21.tar.zst
-rw-r--r-- 1 root root           6 Jun  6 02:35 vzdump-lxc-300-2025_06_06-02_34_21.tar.zst.notes
-rw-r--r-- 1 root root         897 Jun  7 02:34 vzdump-lxc-300-2025_06_07-02_33_57.log
-rw-r--r-- 1 root root  1079552147 Jun  7 02:34 vzdump-lxc-300-2025_06_07-02_33_57.tar.zst
-rw-r--r-- 1 root root           6 Jun  7 02:34 vzdump-lxc-300-2025_06_07-02_33_57.tar.zst.notes
-rw-r--r-- 1 root root         897 Jun  8 02:34 vzdump-lxc-300-2025_06_08-02_33_53.log
-rw-r--r-- 1 root root  1078827870 Jun  8 02:34 vzdump-lxc-300-2025_06_08-02_33_53.tar.zst
-rw-r--r-- 1 root root           6 Jun  8 02:34 vzdump-lxc-300-2025_06_08-02_33_53.tar.zst.notes
-rw-r--r-- 1 root root        1389 Jun  9 02:32 vzdump-lxc-300-2025_06_09-02_32_13.log
-rw-r--r-- 1 root root         185 Jun 10 02:30 vzdump-lxc-300-2025_06_10-02_30_11.log
mn@proxmox:~$ ls -l /mnt/sda/images
total 0
mn@proxmox:~$ ls -l /mnt/sda/private
total 0
mn@proxmox:~$ ls -l /mnt/sda/snippets
total 0
mn@proxmox:~$ ls -l /mnt/sda/template
total 8
drwxr-xr-x 2 root root 4096 Jun  4 17:41 cache
drwxr-xr-x 2 root root 4096 Jun  4 17:41 iso
mn@proxmox:~$ ls -l /mnt/sda/template/cache
total 0
mn@proxmox:~$ ls -l /mnt/sda/template/iso
total 0

Es gibt da aber wohl eine Einstellung, wo man dem System sagen kann, dass das eine physisch gemountete Platte ist und er nicht ins Rootverzeichnis schreiben soll, wenn er die nicht findet. Hab da mal irgendwo was dazu gelesen, muss ich mal nachforschen.

Aber zum Thema - wie bekomme ich diese Dateien jetzt weg ohne irgendwas anderes mit in den Abgrund zu reißen?

[peterfido]

@guitardoc Wenn er die jetzt nicht im PVE unter dem Pfad anzeigt, dann im dump-Ordner

rm vzdump*

nerven die Nachfragen, dann

rm -f vzdump*

[guitardoc]

@peterfido Yepp, das hat gefunzt! Jetzt ist die Platte wieder frei. Was für ein Theater...
Vielen Dank für die Hilfe, die Idee mit dem Abziehen der externen Platte war Gold wert!

Das hier ist übrigens der Befehl den Mountpoint festzumachen:

chattr +i <mountpoint>

Damit sollte das dann nicht mehr passieren, dass der Proxmox einfach die Dateien ins Rootverzeichnis schreibt.

[Dr. Bakterius]

@guitardoc sagte in Speicherplatz des Proxmox voll - aber womit?:

Es gibt da aber wohl eine Einstellung, wo man dem System sagen kann, dass das eine physisch gemountete Platte ist und er nicht ins Rootverzeichnis schreiben soll, wenn er die nicht findet.

Macht er ja nicht. Die Backups werden in den angegebenen Ordner geschrieben. Wenn da nichts gemountet ist, liegt der Ordner eben lokal. Da müsste man nur kontrollieren ob der Mount durchgeführt wurde. Die Frage die du dir stellen solltest ist aber, warum die Platte nicht gemountet wurde und diesen Fehler beheben.

[guitardoc]

@dr-bakterius Tja, das ist eben die Frage. Die Platte ist per USB angeschlossen. Vielleicht ist eine USB-Verbindung nicht so stabil? Keine Ahnung.

[Thomas Braun]

@guitardoc

Dafür gibt es logfiles. Auch im Proxmox. Bin ich mir ziemlich sicher.

[guitardoc]

@thomas-braun Hmm, aber wo finde ich die? Weiß das jemand?

[Thomas Braun]

@guitardoc

Kuckstu...

https://www.thomas-krenn.com/de/wiki/Ablösung_von_/var/log/syslog_durch_journalctl_in_Debian_12

[guitardoc]

@thomas-braun

Ich hab das Journal mal durchgesehen. Wann der Fehler aufgetreten ist, das bekomme ich jetzt nicht mehr raus, denn ich weiß nicht mehr, wann damals die letzte funktionierende Sicherung gelaufen ist.

Aber was mir aufgefallen ist - ich bekomme täglich diese Meldungen um 02:30 Uhr (für alle LXCs). Das ist auch die Zeit, wo Proxmox die Sicherungen der einzelnen LXCs durchführt:

May 15 02:30:04 proxmox pvescheduler[196503]: INFO: Starting Backup of VM 101 (lxc)
May 15 02:30:04 proxmox dmeventd[399]: No longer monitoring thin pool pve-data-tpool.
May 15 02:30:04 proxmox dmeventd[399]: Monitoring thin pool pve-data-tpool.
May 15 02:30:05 proxmox kernel: EXT4-fs (dm-11): write access unavailable, skipping orphan cleanup
May 15 02:30:05 proxmox kernel: EXT4-fs (dm-11): mounted filesystem c93db5f6-65b2-4e73-9cf0-b933d3bae8e5>
May 15 02:34:19 proxmox kernel: EXT4-fs (dm-11): unmounting filesystem c93db5f6-65b2-4e73-9cf0-b933d3bae>
May 15 02:34:20 proxmox pvescheduler[196503]: INFO: Finished Backup of VM 101 (00:04:17)

Write access unavailable wird dabei in Rot ausgegeben. Die Sicherungen wurden aber die letzten Tage richtig auf die externe Platte geschrieben. Aber vielleicht hat das auch gar nichts zu sagen und ist richtig so?

[Thomas Braun]

@guitardoc sagte in Speicherplatz des Proxmox voll - aber womit?:

EXT4-fs (dm-11): write access unavailable, skipping orphan cleanup

Ist denn EXT4-fs (dm-11) das externe Dateisystem?
Ich würde das mal einem

fsck.ext4 

unterziehen.

[guitardoc]

@thomas-braun Ich habe mal auf Bad Blocks untersucht:

root@proxmox:~# fsck.ext4 [-c]
e2fsck 1.47.0 (5-Feb-2023)
fsck.ext4: No such file or directory while trying to open [-c]
Possibly non-existent device?

Scheinbar ist das nicht das externe Dateisystem. Aber was ist es dann? Für mich als Linux-Laie ist das alles sehr kryptisch...

[Thomas Braun]

@guitardoc sagte in Speicherplatz des Proxmox voll - aber womit?:

Scheinbar ist das nicht das externe Dateisystem.

Du gibst da ja auch 'Quark' ein.
Das Kommando sieht in der Grundform so aus:

fsck.ext4 /dev/GERÄT

Was genaut GERÄT bei dir ist musst du herausfinden.
Z. B mittels

fdisk -l

[guitardoc]

@thomas-braun said in Speicherplatz des Proxmox voll - aber womit?:

Ich sage doch: NOOB...

Ich denke, das ist die Platte:

Disk /dev/sda: 238.47 GiB, 256060514304 bytes, 500118192 sectors
Disk model: Portable SSD    
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes

root@proxmox:~# fsck.ext4 /dev/sda  
e2fsck 1.47.0 (5-Feb-2023)
/dev/sda is mounted.
e2fsck: Cannot continue, aborting.

Aber ein EXT4-fs (dm-11) erscheint nirgends:

root@proxmox:~# fdisk -l
Disk /dev/nvme0n1: 931.51 GiB, 1000204886016 bytes, 1953525168 sectors
Disk model: CT1000P3PSSD8                           
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disklabel type: gpt
Disk identifier: F5EAC86E-13C6-45A6-BBFF-2913E2A65850

Device           Start        End    Sectors   Size Type
/dev/nvme0n1p1      34       2047       2014  1007K BIOS boot
/dev/nvme0n1p2    2048    2099199    2097152     1G EFI System
/dev/nvme0n1p3 2099200 1953525134 1951425935 930.5G Linux LVM


Disk /dev/mapper/pve-swap: 8 GiB, 8589934592 bytes, 16777216 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes


Disk /dev/mapper/pve-root: 96 GiB, 103079215104 bytes, 201326592 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes


Disk /dev/sda: 238.47 GiB, 256060514304 bytes, 500118192 sectors
Disk model: Portable SSD    
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes


Disk /dev/mapper/pve-vm--200--disk--0: 4 GiB, 4294967296 bytes, 8388608 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 65536 bytes / 65536 bytes


Disk /dev/mapper/pve-vm--102--disk--1: 12 GiB, 12884901888 bytes, 25165824 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 65536 bytes / 65536 bytes


Disk /dev/mapper/pve-vm--103--disk--1: 8 GiB, 8589934592 bytes, 16777216 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 65536 bytes / 65536 bytes


Disk /dev/mapper/pve-vm--101--disk--1: 32 GiB, 34359738368 bytes, 67108864 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 65536 bytes / 65536 bytes


Disk /dev/mapper/pve-vm--300--disk--0: 4 GiB, 4294967296 bytes, 8388608 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 65536 bytes / 65536 bytes