Proxmox VM friert ein

[crunchip]

@900icard sagte in Proxmox VM friert ein:

Wenn die einmal laufen dann ist das recht stabil und in Summe haben die 5 VMs wenn sie denn alle liefen nicht mehr als 10GB von den 16GB

Kann aber sein das eine VM vllt mehr als 4Gb braucht. Gerade iobroker wenn viele Adapter laufen.

@900icard sagte in Proxmox VM friert ein:

Ist das egal wieviel Kerne man jeweils zuordnet oder machen 2 pro VM mehr Sinn?

Theoretisch kannst du manuell deine Anzahl wie gewünscht anpassen, oder aber auch bei allen Maschinen volle Anzahl geben, denn Proxmox regelt das automatisch.

@900icard sagte in Proxmox VM friert ein:

Dann wird mir (leider) nicht langweilig am Wochenende

Ist doch gleich erledigt. Backup von jeder Maschine. Proxmox auf neuen Rechner und Backup zurückspielen, fertig.

@900icard sagte in Proxmox VM friert ein:

vom Kernel Log

Dann wäre das syslog noch interessant

@900icard sagte in Proxmox VM friert ein:

Übrigens bzgl. USB durchreichen ... da hab ich auch so meine Erfahrungen gemacht

Steht ebenfalls alles schön in der Doku beschrieben.
Ist eigentlich fast alles idotensicher dokumentiert.

[900icarD]

Hallo Zusammen,

ich möchte mal ein kurzes Update zum Thema geben.
Letztes Wochenende habe ich also meinen bestellten Rechner mit einem AMD Ryzen 7 3750H Prozessor erhalten, diesen gleich von seinem vorinstallierte Windows befreit und Proxmox OX nach der Anleitung hier (https://www.iobroker.net/#de/documentation/install/proxmox.md) installiert.
Danach habe ich die auf meinem Intel Rechner vorhandenen drei VMs unverändert als Backup-Restore auf dem neuen Proxmox System eingespielt und gestartet.
Tja und was soll ich sagen ... bis jetzt (5 Tage) läuft alles ohne einen Ausfall.

In der Installationsanleitung zu Proxmox OS ist mir jedoch ein Punkt aufgefallen, den ich auf meinem Alt-System nicht richtig gehandhabt habe.
Und zwar die Updates des Proxmox Systems. Diese habe ich bisher immer über ein SSH Terminal gemacht da ich immer meine VMs und Proxmox zusammen geupdatet habe.
Dabei habe ich aber das "normale" apt update && apt upgrade verwendet und nicht wie für Proxmox empfohlen das apt dist-upgrade.

Vielleicht hat sich dadurch eine Inkonsistenz in das Proxmox System eingeschlichen was dann letztendlich zu den häufigen freezes geführt hat.
Daher werde ich am WE den alten Intel Rechner nochmal neu mit Proxmox aufsetzen und dann dort auch wieder meine VMs aktivieren.
Mal sehn was passiert.

Dies mal der aktuelle Zwischenstand, ich bin aber sehr froh dass es zumindest auf dem neuen Rechner wieder (bis jetzt zumindest) gut läuft.
Als kleinen Nebeneffekt hatte ich den neuen Rechner kurz unter Win11 mal als VisPC verwendet und ie Reaktionsgeschwindigkeit an meinem Touch zu testen.
Ich habe in meiner Vis z.T. vier Grafana Charts die mit einem Pi4 als Vis Rechner immer recht lang laden (ca. 5-7 Sek).

Mit dem AMD Rechner der eine Vega 10 Grafikeinheit hat, läuft die Vis viel flüssiger. Von da her werde ich den neuen Rechner eh behalten

[A Former User]

@900icard

Moin,
also den Proxmox solltest Du immer über, checken und updaten

Wenn die Repos, korrekt eingestellt sind sollte das ansonnsten zu keinem Problem führen, wenn Du das über C machst, dann kommt das dabei raus.

Starting system upgrade: apt-get dist-upgrade
Reading package lists... Done
Building dependency tree... Done
Reading state information... Done
Calculating upgrade... Done
0 upgraded, 0 newly installed, 0 to remove and 0 not upgraded.

Your System is up-to-date

VG
Bernd

[Trooper]

Hallo, Ich habe das Selbe Problem mit dem Intel N5105 in Verbindung mit IoBroker.

Habe alles versucht was ich verschiedenen Foren finden konnte ohne Erfolg.
Es Laufen 3 VMs die RAM Auslastung liegt gesamt bei 30%-50% von Proxmox selbst inklusive VMs
Alle VMs Laufen fehlerfrei bis auf die mit IoBroker

Getestet habe ich Debian 10 und 11 und auch Ubuntu sofern iobroker drauf war ging nach einigen std. nix mehr.
andere VMs auch mit Debian laufen fehlerfrei weiter, ein Neustart der VM mit IoBroker Läuft wieder fehlerfrei und hängt sich dann wieder auf.

Das selbe Fehlerbild wie bei anderen Alle Logs ohne Fehler.
Dann habe ich die in den Anderen English sprachigen Foren geschaut und dort einen Eintrag gefunden der bei mir das erste mal was gebracht hat.

Und Ja jetzt läuft das Ganze schon 24 Std. durch.

Ich habe einen anderen Kernel installiert.
Download findet ihr Hier:
https://github.com/fabianishere/pve-edge-kernel

Hoffe das hilft anderen auch
Grüße
Steffen AKA Trooper

[900icarD]

Hallo Zusammen,

Update zu meinem Fall. Also mit der AMD Kiste läuft ioBroker und alle anderen VMS mittlerweile über 2 Wochen ohne Probleme durch.
Meine Vermutung war ja, dass ich beim Update von Proxmox Fehler gemacht habe weil ich es nicht so wie beschrieben in Proxmox selbst sondern über die Konsole gemacht habe.

Also neuer Test: Auf der Intel Kiste habe ich Proxmox neu installiert und die ioB, Grafana und Influx VM so wie sie waren wieder drauf gepackt. Da hätte es ja laufen müssen, ist aber auch wieder nach wenigen Stunden eingefroren. Übrigens bei mir nicht nur die ioB VM sondern auch (wenn auch viel seltener die Grafana bzw. Influx VM). Also lag es auch nicht (zumindest nicht ausschließlich) an dem falschen Update-Prozess von Proxmox.

Vermutlich liegt es dann wohl an diesem Kernel was @Trooper geschrieben hat.
Das werde ich demnächst mal ausprobieren.

Schönen Tag noch und viele Grüße.

[A Former User]

@900icard

Moin,

wenn Du sagst, du hast auf der Intel Kiste Proxmox neu installiert aber die VMs nicht, wieso gehst Du dann davon aus, das der Kernel des Proxmox Grundsystems das Problem ist? Vielleicht sind es ja die VMs.

Ja, der Kernel aus dem Proxmox Grundsystem hat seinen Anteil für die Virtualisierung aber auch andere Komponenten gehören dazu z.B.QEMU, Libs usw.

Der Proxmox Kernel ist bei LXC Containern das Herzstück, bei VMs sind es die Kernel, die durch das installierte Linux bekommt und es wird nicht mehr viel vom Proxmox Kernel genutzt, etwas vereinfacht ausgedrückt.

Also einfach mal so, in einer Umgebung wie Proxmox, wo alles aufeinander abgestimmt ist um die verschiedenen Hardwareebenen zu emulieren/virtualisieren, den Kernel auszutauschen ist schon mehr als riskant.

Wenn Du auf Windows dir VMWare oder OpenBox installierst und dann eine VM erstellst und die dir einfriert oder abstürzt, tauschst Du dann das Windows aus?

Ich würde mal eine Distro suchen, welche von USB gestartet, dir die Möglichkeit gibt einige Tests wie Memory und CPU Belastungstests durchzuführen.

Allg. sollte man darauf achten, dass es für Server immer besser ist gut abgehangene Hardware zu nutzen, wenn zu aktuell, kann es immer mal sein, dass das eine oder andere noch nicht im Kernel enthalten/umgesetzt ist.

Auch das Bios kann Fehler haben, oder Falsch eingerichtet sein.

Welcher Kernel ist denn aktuell auf deinen beiden Proxmoxen installiert?

VG
Bernd

[900icarD]

@dp20eic

Tacho,
ich habe die VMs so wie sie auf der Intel Kiste davor waren, wieder auf der selben Intel Kiste aber mit neuem Proxmox installiert bzw. restored.
Wenn es "nur" an meinem falschen Update Prozess gelegen hätte, hätten die VMs dann ja wieder laufen müssen. Als ich das mit dem Update Prozess gelesen hatte bin ich stark davon ausgegangen, dass dies der Fehler bzw. ja mein Fehler war. Scheinbar aber nicht, zumindest nicht der alleinige Fehler.
Andererseits laufen ja die exakt gleichen VMs ohne Probleme auf dem AMD Rechner, also kann es auch nicht alleinig an der VM selbst liegen.

Ich bin aber kein Experte auf dem Gebiet und wenn ich Admin in einer Firma wäre, würde ich natürlich nicht einfach so den Kernel austauschen.
Mir schien die Antwort von Trooper in dem Zusammenhang nur recht schlüssig und würde vermutlich auch zum Hinweis von isi07 auf den anderen Tread https://forum.proxmox.com/threads/vm-freezes-irregularly.111494/ passen (Ich muss aber gestehen, dass ich mir dort nicht alles im Detail durchgelesen hab).

Aussage (zumindest aktuell) meinerseits wäre:
Bei AMD basierten Rechnern tritt dieser Fehler nicht auf
Bei Intel basierten Rechnern mit dem "problematischen" Kernel schon, Abhilfe hier womöglich ein Kernel Update (selbst noch nicht probiert)
Vermutlich wird das Problem in einer neuen Proxmox Version eh nicht mehr auftauchen.

Für mich ist das Problem aktuell gelöst weil ich auf die AMD Kiste umgezogen bin, ich werde den Intel Rechner aber weiter als Proxmox Testsystem nutzen und dort mal schauen ob es mi dem Kernel Update auch wieder läuft.

[crunchip]

@900icard oder die VM selbst upgraden, vllt gibt es ja da nen neuen Kernel

[Trooper]

Hi,
Leider hat das ganze auch nicht lange geklappt (aber länger als sonnst) mit dem anderen Kernel.

Bei mir bleibt nur die VM mit iobroker hängen die anderen laufen fehlerfrei.

Das System wurde vor ca. 20 tagen erst aufgesetzt alles ist von der Software aktuell.

Infos zu Proxmox:
CPU(s) 4 x Intel(R) Celeron(R) N5105 @ 2.00GHz (1 Socket)
Kernelversion Linux 6.0.15-edge #1 SMP PREEMPT_DYNAMIC PVE Edge 6.0.15-1 (2022-12-22)
PVE-Manager-Version pve-manager/7.3-3/c3928077
32 GB RAM sind verbaut

alle mit VMs Debian

1. Openmediavault 4 GB-RAM
2. Debian 11 für einen Gameserver mit 10GB-RAM
3. Debain 11 mit iobroker die immer hängen bleibt.

Ich habe das ganze auch mal mit Debian 10 Getestet und nur iobroker im Standard installiert bleibt auch hängen.

so VM kernel jetzt auf 6.1.0-3-amd64
mal sehen wie lange das läuft

[zahnheinrich]

@trooper sagte in Proxmox VM friert ein:

Das System wurde vor ca. 20 tagen erst aufgesetzt alles ist von der Software aktuell.

Incl. Bios Update?

[A Former User]

@trooper sagte in Proxmox VM friert ein:

mal sehen wie lange das läuft

Moin,

wie ich oben schon geschrieben habe und auch @zahnheinrich gerade auch nochmals geschrieben hat ist das eher eine Unverträglichkeit vom Bios, Motherboard und CPU und den dazu passenden Virtualisierungseinstellungen VT-x u. VT-d.

Info von Thomas Krenn

Intel VT-x (Intel Virtualization Technology for IA-32 and Intel 64 Processors)

Intel VT-x (früher als Intel VT bezeichnet) ist die Implementierung einer Secure Virtual Machine von Intel für die x86 Architekturen IA-32 und Intel 64. Die alte Bezeichnung Intel VT (ohne -x) findet sich auch heute noch in vielen BIOS Menüs.

VT-x ist bei Intel-Systemen nötig, um

    unter Xen HVM (Hardware Virtual Machine) domU's zu betreiben (also z.B. Windows in einem Gastsystem zu betreiben).
    unter VMware Gastsysteme mit 64 Bit zu betreiben.[1]
    unter VirtualBox Gastsysteme mit 64 Bit zu betreiben (siehe 64 Bit Gastsysteme in VirtualBox).
    um mit KVM zu virtualisieren.[2]

Informationen zum Aktivieren von Intel VT-x im BIOS (sofern vom Intel Prozessor unterstützt) finden Sie im Artikel Virtualisierungsfunktion Intel VT aktivieren.

Ab der Nehalem Architektur (Intel Xeon 55xx CPUs) beinhaltet VT-x die Intel VT Extended Page Tables (EPT).[3][4] 

Intel VT-d (Intel Virtualization Technology for Directed I/O)

Intel VT-d ermöglicht das Durchreichen eines PCI Gerätes direkt an ein Gastsystem mit Hilfe der bereitgestellten IOMMU. Damit kann etwa eine Netzwerkkarte dediziert einem Gastsystem bereitgestellt werden. Dadurch kann eine höhere Netzwerkperformance als mit einer emulierten Netzwerkkarte erreicht werden. Allerdings ist derzeit mit einer solchen Durchreichung dann keine live migration des Gastsystems möglich. Unter VMware konfigurieren Sie ein solches Setup bei aktiviertem Intel VT-d mit VMware VMDirectPath zum Durchreichen von PCI Karten.

Voraussetzungen für Intel VT-d:

    der verwendete Chipsatz sowie das BIOS müssen Intel VT-d unterstützen
        ab Intel Nehalem Mikroarchitektur möglich, etwa mit Xeon 34xx, 55xx und neuer, auch diverse Desktop-CPUs, siehe Intel CPUs im Überblick)
        an die CPU selbst gibt es keine speziellen Anforderungen, da VT-d eine Funktion des Chipsatzes ist, die CPU muss nur VT allgemein unterstützen[5]

Informationen zum Aktivieren von Intel VT-d im BIOS (sofern vom Intel Prozessor unterstützt) finden Sie im Artikel Virtualisierungsfunktion Intel VT-d aktivieren.

Weitere Informationen zu VT-d:

    Understanding VT-d: Intel Virtualization Technology for Directed I/O (Intel Software Network)
    Step by Step Guide on How to Enable VT-d and Perform Direct Device Assignment (Intel Software Network)
    Intel Virtualization Technology for Directed I/O (VT-d): Enhancing Intel platforms for efficient virtualization of I/O devices (Intel Software Network)
    VTdHowTo (Xen Wiki)
    VMware VMDirectPath and Intel VT-d (YouTube)
    Intel Virtualization Technology for Directed I/O Architecture Specification (Intel Coporation)

Ich bin mir auch nicht sicher, warum es VMs seien müssen, ioBroker läuft sehr gut als LXC Container. Ich würde auch mal alles, so es denn nicht gebraucht wird, was mit Grafik, Desktops, X-Windo, Wayland usw. in den VMs deaktivieren/deinstallieren.

so VM kernel jetzt auf 6.1.0-3-amd64

Ich bin jetzt verwirrt, hast Du den Kernel von Proxmox geändert oder hast Du den Kernel innerhalb der VM geändert?

Und als letztes, hast Du mal einen Stresstest der Hardware durchgeführt, also von einem USB Stick gebootet und dann z.B. s-tui laufen lassen.

VG
Bernd

[Mickey]

@trooper evtl liegts an zu viel Speicer.
Intel Spec.:
Speicherspezifikationen
Max. Speichergröße (abhängig vom Speichertyp) 16 GB

[Trooper]

@zahnheinrich
Hallo, ein BiOS update kann ich nich machen finde keins dafür geschweige den eine Treiberseite vom Hersteller (hab auch nur oberflächlich gesucht)

Das Board ist über Ali bestellt.
Bezeichnung ist die mehr gibt's nicht wirklich da zu:
Von TOPTON Technology
N5105 NAS Mini ITX Industrie Motherboard 17x17CM Weiche Routing Intel i225-V B3 2,5 Gbps 4 * LAN 2 * M.2 NVMe 6 * SATA 3,0 HDMI 2,0 DP

■ Intel Celeron N5015 CPU (vier kerne und vier threads)
■ 4*2,5G i225-V B3 netzwerk port, unterstützung Auto power auf/wake on LAN/PXE
■ Unterstützung HDMI + DP, synchrone oder asynchrone display
■ 2 * USB3.0, 6 * USB 2,0
■ 2 SODIMM-DDR4 speicher slots, bis zu 2400/2666/2933MHz
■ 1 * COM (RS232 protokoll)
■ 6 * SATAIII und 2 * M.2

Mainboard dort gekauft:

@dp20eic
We friert nur eine VM ein und die anderen laufen fehlerfrei

Ich bin jetzt verwirrt, hast Du den Kernel von Proxmox geändert oder hast Du den Kernel innerhalb der VM geändert?

Als erstes hatte ich den Proxmox Kernel geändert das hat das Ganze etwas verbessert die VM lief länger hing sich aber Trotzdem auf.

Jetzt habe ich den Kernel für die VM auch geändert.

Und als letztes, hast Du mal einen Stresstest der Hardware durchgeführt, also von einem USB Stick gebootet und dann z.B. s-tui laufen lassen.

Nein habe ich nicht werde ich mal Testen denke aber nicht das hier die Ursache liegt wen der GameServer läuft und die Last hoch ist läuft alles weiter ohne Fehler.
Werde es Trotzdem mal Testen

Ich bin mir auch nicht sicher, warum es VMs seien müssen, ioBroker läuft sehr gut als LXC Container

Gute Frage hatte mal mit Windows mit Proxmox Experimentiert und das so bei behalten.
Werde das als erstes mal testen wenn Die VM wieder abstürtzt.

@Mickey

Max. Speichergröße (abhängig vom Speichertyp) 16 GB
Hab 32 Gigabyte drin werde ich auch mal Testen ein Modul raus zu nehmen

Danke schon mal für die Unterstützung
Gruß Steffen

[A Former User]

@trooper

Moin,

zur Hardware kann ich auch nichts weiter zu sagen, aber der Hinweis von @Mickey mit der Größe des Unterstützten Speichers, ist interessant.

Spezifikation der CPU:

Speicherspezifikationen

    Max. Speichergröße (abhängig vom Speichertyp) 16 GB
    Speichertypen DDR4
    LPDDR4x
    Maximale Speichergeschwindigkeit 2933 MHz
    Max. Anzahl der Speicherkanäle 2
    Unterstützung von ECC-Speicher ‡ Nein

Könnte auf jeden Fall ein Test wert sein, dann aber auch die VMs an den verringerten Speicher anpassen, nicht das Du zu viel auf die VM verteilst und für Proxmox nichts mehr bleibt.

VG
Bernd

[Homoran]

@trooper sagte in Proxmox VM friert ein:

Celeron N5015

Zahlendreher und doch eher

@trooper sagte in Proxmox VM friert ein:

N5105

?

@dp20eic sagte in Proxmox VM friert ein:

nicht das Du zu viel auf die VM verteilst und für Proxmox nichts mehr bleibt.

das PVE wird leider immer wieder vergessen.

[Mickey]

@trooper
das könnte der Hersteller sein:
https://www.changwang.com/product/list-105.html

[Mickey]

@trooper
setz bitte nach dieser Anleitung Dein Debian für IObroker auf:
https://youtu.be/OUC7DMBfR3Y

[Trooper]

@dp20eic
Test mit 16 GB RAM läuft jetzt
Alle VMs angepasst

@Homoran
War genug RAM da hatte 32 GB verbaut
Aber ja ich denke dran

@Mickey

das könnte der Hersteller sein:
https://www.changwang.com/product/list-105.html

Denke nicht aber Danke
Bietet auch kein Bios Update dafür an hätte ich sonnst versucht
Laut Boardbezeichnung ist es das MW-NVR-N5105V10

@Mickey
Debian hab ich genau so aufgesetzt und dann iobroker per CURL drauf gemacht
habe nur den Desktop kram weggelassen.

Test mit 16GB RAM
Status: Läuft

[Nashra]

@trooper sagte in Proxmox VM friert ein:

MW-NVR-N5105V10

Laut deinem Link handelt es sich um ein: N5105 NAS Mini ITX Industrie Motherboard
Man beachte das NAS darin.Wenn ich das richtig gelesen habe ist das ein Board um
einen NAS-Server aufzubauen.

[Trooper]

@nashra
Und was soll mir das Sagen ?
Das Board wird auch in Firewalls verbaut.
Dazu kommt noch das Viele NAS Systeme auch Docker bzw. VM fähig sind.
Nur weil es dafür verkauft wird in diesem Shop heißt nicht das es nur das kann !