[gelöst]Systemload im Proxmox Host auf die schliche kommen

crunchip

@dp20eic sagte in Systemload im Proxmox Host auf die schliche kommen:

So Familienzeit, dann morgen weiter, ist sehr interessant und kurios.

kurios allerdings, aber keine Eile, is hier nur ein Hobby

hab aus Spaß mal die version 1.4.0 geladen und installiert, dachte vllt bügelt sich das glatt, scheint so als würde das jetzt doppelt laufen

root@zotac327:/opt/node_exporter/node_exporter-1.4.0.linux-amd64# cd
root@zotac327:~# nano /etc/systemd/system/node_exporter.service
root@zotac327:~# systemctl daemon-reload
systemctl start node_exporter
systemctl enable node_exporter
systemctl status node_exporter
Created symlink /etc/systemd/system/multi-user.target.wants/node_exporter.service → /etc/systemd/system/node_exporter.service.
● node_exporter.service - Node Exporter
     Loaded: loaded (/etc/systemd/system/node_exporter.service; enabled; preset: enabled)
     Active: active (running) since Sun 2023-07-23 21:00:52 CEST; 1s ago
   Main PID: 16782 (node_exporter)
      Tasks: 7 (limit: 18915)
     Memory: 9.3M
        CPU: 182ms
     CGroup: /system.slice/node_exporter.service
             └─16782 /opt/node_exporter/node_exporter-1.4.0.linux-amd64/node_exporter

Jul 23 21:00:52 zotac327 node_exporter[16782]: ts=2023-07-23T19:00:52.691Z caller=node_exporter.go:115 level=info collector=thermal_zone
Jul 23 21:00:52 zotac327 node_exporter[16782]: ts=2023-07-23T19:00:52.691Z caller=node_exporter.go:115 level=info collector=time
Jul 23 21:00:52 zotac327 node_exporter[16782]: ts=2023-07-23T19:00:52.691Z caller=node_exporter.go:115 level=info collector=timex
Jul 23 21:00:52 zotac327 node_exporter[16782]: ts=2023-07-23T19:00:52.691Z caller=node_exporter.go:115 level=info collector=udp_queues
Jul 23 21:00:52 zotac327 node_exporter[16782]: ts=2023-07-23T19:00:52.691Z caller=node_exporter.go:115 level=info collector=uname
Jul 23 21:00:52 zotac327 node_exporter[16782]: ts=2023-07-23T19:00:52.691Z caller=node_exporter.go:115 level=info collector=vmstat
Jul 23 21:00:52 zotac327 node_exporter[16782]: ts=2023-07-23T19:00:52.691Z caller=node_exporter.go:115 level=info collector=xfs
Jul 23 21:00:52 zotac327 node_exporter[16782]: ts=2023-07-23T19:00:52.691Z caller=node_exporter.go:115 level=info collector=zfs
Jul 23 21:00:52 zotac327 node_exporter[16782]: ts=2023-07-23T19:00:52.691Z caller=node_exporter.go:199 level=info msg="Listening on" address=:9>
Jul 23 21:00:52 zotac327 node_exporter[16782]: ts=2023-07-23T19:00:52.692Z caller=tls_config.go:195 level=info msg="TLS is disabled." http2=fal>

root@zotac327:~# systemctl status | grep -i expo
           │ │     ├─node_exporter.service
           │ │     │ └─20088 /opt/node_exporter/node_exporter-1.4.0.linux-amd64/node_exporter
           │ ├─node_exporter.service
           │ │ └─16782 /opt/node_exporter/node_exporter-1.4.0.linux-amd64/node_exporter
               │ └─22528 grep -i expo

hab dann nun die 1.4.0 wieder gelöscht incl service, jedoch bleibt die andere bestehen
nun auch das aktuelle proxmox upgrade gemacht und host anschließend neu gestartet

root@zotac327:~# systemctl status node_exporter
Unit node_exporter.service could not be found.
root@zotac327:~# systemctl status node_exporter
Unit node_exporter.service could not be found.
root@zotac327:~# systemctl status | grep -i expo
           │ │     ├─node_exporter.service
           │ │     │ └─3901 /opt/node_exporter/node_exporter-1.4.0.linux-amd64/node_exporter
               │ └─7706 grep -i expo
root@zotac327:~#

ich versteh echt nicht, woher und warum dieser service gestartet wird, zumal in prometheus gar keine Werte ankommen

crunchip

@dp20eic sagte in Systemload im Proxmox Host auf die schliche kommen:

im Bild steht ja etwas von

Eine Nacht drüber schlafen bringt Wunder
jetzt ging mir ein Licht auf, es werden ja alle service angezeigt, auch die der laufenden LXC`s

die 1.4.0 ist vom prometheus LXC selbst und nicht vom Host

somit kann man sich nun dem eigentlichen Problem des hohen Loads widmen

@crunchip sagte in Systemload im Proxmox Host auf die schliche kommen:

die 1.4.0 ist vom prometheus LXC selbst und nicht vom Host

Moin,

ich hatte mich auch immer wieder gewundert, denn das Verzeichnis /opt/ auf dem Host war ja leer, bzw. mit einer anderen Version/Verzeichnisstruktur.
Ich hatte, gestern Abend noch vorschlagen wollen, mal alle Container zu stoppen, hätte ich mal machen sollen

VG
Bernd

@crunchip sagte in Systemload im Proxmox Host auf die schliche kommen:

Created symlink /etc/systemd/system/multi-user.target.wants/node_exporter.service → /etc/systemd/system/node_exporter.service.

Wobei ich das hier nicht verstehe, denn eigentlich ist das Standardverzeichnis für die Systemservices

ls -la /lib/systemd/system/

Aus diesem Standardverzeichnis wird dann beim enable ein Link in das erstellt

root@pve:~# ls -la /etc/systemd/system/multi-user.target.wants/prometheus-node-exporter.service 
lrwxrwxrwx 1 root root 52 Jul 23 20:09 /etc/systemd/system/multi-user.target.wants/prometheus-node-exporter.service -> /lib/systemd/system/prometheus-node-exporter.service

Aber eh Wurst, ist echt gut, dass Du das gesehen hast, ich hätte das wohl nicht gefunden, ohne Zugriff auf Deinen Rechner zu haben.

VG
Bernd

crunchip

@dp20eic sagte in Systemload im Proxmox Host auf die schliche kommen:

mal alle Container zu stoppen

das hatte ich zwischenzeitlich immer mal um zu sehen ob der load nach unten geht, aber nicht auf den Rest geachtet

nun bin ich weiter auf der Suche, was den Host von den anderen unterscheidet, hab mal das Log durchgesehen, nach einem Neustart

eine Windows VM hatte ich mal auf dem Host eingerichtet, hängt ne separate SSD dafür im Rechner, entsprechend Hardware durchgereicht, war aber zur Anfangszeit meiner Proxmox Karriere

hier mal ein paar Zeilen, die ich gefunden hab

10:00:41 zotac327 kernel: Kernel command line: BOOT_IMAGE=/boot/vmlinuz-6.2.16-4-pve root=/dev/mapper/pve-root ro quiet intel_iommu=on vfio_iommu_type1.allow_unsafe_interrupts=1
Jul 24 10:00:41 zotac327 kernel: Unknown kernel command line parameters "BOOT_IMAGE=/boot/vmlinuz-6.2.16-4-pve", will be passed to user space.
Jul 24 10:00:41 zotac327 systemd-modules-load[459]: Inserted module 'vfio_pci'
Jul 24 10:00:41 zotac327 systemd-modules-load[459]: Failed to find module 'vfio_virqfd'

bluetooth firmware Problem

Jul 24 10:00:44 zotac327 kernel: Bluetooth: hci0: Legacy ROM 2.5 revision 1.0 build 3 week 17 2014
Jul 24 10:00:44 zotac327 kernel: bluetooth hci0: Direct firmware load for intel/ibt-hw-37.8.10-fw-1.10.3.11.e.bseq failed with error -2
Jul 24 10:00:44 zotac327 kernel: Bluetooth: hci0: failed to open Intel firmware file: intel/ibt-hw-37.8.10-fw-1.10.3.11.e.bseq (-2)
Jul 24 10:00:44 zotac327 kernel: bluetooth hci0: Direct firmware load for intel/ibt-hw-37.8.bseq failed with error -2
Jul 24 10:00:44 zotac327 kernel: Bluetooth: hci0: failed to open default fw file: intel/ibt-hw-37.8.bseq
Jul 24 10:00:44 zotac327 systemd[1]: Starting systemd-rfkill.service - Load/Save RF Kill Switch Status...
Jul 24 10:00:44 zotac327 systemd[1]: Reached target bluetooth.target - Bluetooth Support.

nut server, da ist aber alles i.o

ul 24 10:00:44 zotac327 nut-driver-enumerator[766]: Mon Jul 24 08:00:44 AM UTC 2023 : OK: No changes to reconcile between systemd service instances and device configurations in '/etc/nut/ups.conf'
Jul 24 10:00:44 zotac327 systemd[1]: nut-driver-enumerator.service: Deactivated successfully.
Jul 24 10:00:44 zotac327 systemd[1]: Finished nut-driver-enumerator.service - Network UPS Tools - enumeration of configure-file devices into systemd unit instances.
Jul 24 10:00:44 zotac327 nut-driver@APC1400[849]: Using subdriver: APC HID 0.98
Jul 24 10:00:44 zotac327 nut-driver@APC1400[849]: Network UPS Tools - Generic HID driver 0.47 (2.8.0)
Jul 24 10:00:44 zotac327 nut-driver@APC1400[849]: USB communication driver (libusb 1.0) 0.43
Jul 24 10:00:44 zotac327 nut-driver@APC1400[847]: Network UPS Tools - UPS driver controller 2.8.0
Jul 24 10:00:44 zotac327 systemd[1]: Started nut-driver@APC1400.service - Network UPS Tools - device driver for NUT device 'APC1400'.
Jul 24 10:00:44 zotac327 usbhid-ups[891]: Startup successful
Jul 24 10:00:44 zotac327 systemd[1]: Reached target nut-driver.target - Network UPS Tools - target for power device drivers on this system.

ansonsten fällt mir weiter nichts auf, bzw wüsste ich nicht was da noch anderes läuft als auf den anderen

zwecks Hardware durchreichen hab ich jetzt mal /etc/default/grub wieder auf Standart geändert, die Windows VM ist sowieso nicht in gebrauch

@crunchip sagte in Systemload im Proxmox Host auf die schliche kommen:

hier mal ein paar Zeilen, die ich gefunden hab

Moin,

da steht ein nicht gültiger Kernel Boot Parameter, laut Kernel Dokumentation gibt es BOOT_IMAGE nicht, da solltest Du mal schauen was da in Deiner /etc/default/grub und/oder `/etc/grub.d/* steht.
Diesen Eintrag gibt es bei mir nicht.

@crunchip sagte in Systemload im Proxmox Host auf die schliche kommen:

bluetooth firmware Problem

Wenn Du das nicht brauchst, dann versuch das im BIOS abzuschalten. Ist das ein proprietärer Treiber für proprietäre Hardware, ist das der korrekte Treiber für die Hardware

# lshw
# lspci
# lsusb

@crunchip sagte in Systemload im Proxmox Host auf die schliche kommen:

nut server, da ist aber alles i.o

Ja, der sagt ja nur, dass es zwischen Systemdienst und NUT Konfiguration keine Diskrepanz gibt, also alles ok ist.

@crunchip sagte in Systemload im Proxmox Host auf die schliche kommen:

zwecks Hardware durchreichen hab ich jetzt mal /etc/default/grub wieder auf Standart geändert, die Windows VM ist sowieso nicht in gebrauch

Das verstehe ich nicht, was reicht man denn an Hardware bei Grub durch? Wie sah das aus?
Grub ist für mich der Bootmanager`, wo ich mir beim Booten aussuchen kann, welchen Kernel ich laden möchte, oder falls noch eine Partition mit Windows vorhanden ist, ob ich Windows starten möchte.

@crunchip sagte in Systemload im Proxmox Host auf die schliche kommen:

eine Windows VM hatte ich mal auf dem Host eingerichtet, hängt ne separate SSD dafür im Rechner, entsprechend Hardware durchgereicht, war aber zur Anfangszeit meiner Proxmox Karriere

Vielleicht habe ich Dich auch hier nicht korrekt verstanden?
Für mich hat eine VM, in die ich Windows installiere, nichts mit einem Windows auf einer eigenen Platte zu tun, wo ich mir dann ein Dual-Boot in Grub einrichte.
Bei der VM reiche ich doch virtuelle Hardware durch, das macht doch der qemu und Installiere Gast seitig, dann Treiber für die virtuelle Hardware.

Was, wie sieht denn Dein aktuelles Problem auf dem Rechner aus, wie macht es sich bemerkbar?

VG
Bernd

crunchip

@dp20eic sagte in Systemload im Proxmox Host auf die schliche kommen:

Was, wie sieht denn Dein aktuelles Problem auf dem Rechner aus, wie macht es sich bemerkbar?

Wie bereits erwähnt, der load stieg von ca 0,4 auf 1.4, sprich um 1 konstant an, durch das Proxmox upgrade
Der load bleibt auch, wenn ich alle LXC/VM runter fahre.

@dp20eic sagte in Systemload im Proxmox Host auf die schliche kommen:

Vielleicht habe ich Dich auch hier nicht korrekt verstanden?

Beim durchreichen ging es darum, die Grafikkarte durchzureichen. Darauf bezieht sich auch der Kernel Eintrag.
vfio_iommu_type1.allow_unsafe_interrupts=1
Hab ich mittlerweile schon auf Standard geändert und auch die vfio.conf gelöscht.
Allerdings noch nicht neu gebootet, da ich aktuell auf Arbeit bin(Spätschicht)

Mit dem Nut Server wollte ich nur hinweisen, das dieser installiert ist, bzw klarstellen was speziell auf diesem Host läuft, was auf den anderen nicht läuft, um das Problem einzugrenzen.

@dp20eic sagte in Systemload im Proxmox Host auf die schliche kommen:

Wenn Du das nicht brauchst, dann versuch das im BIOS abzuschalten

Eigentlich schon, bluetooth sollte/funktioniert an sich ja auch, nötig für iobroker (radar2/ble Adapter)
Deshalb viel mir das auch gar nicht auf.
Aktuell läuft der iobroker allerdings auf nem anderen Host.

Ich guck mir das heut abend oder morgen früh dann mal genauer an.

EDIT
so jetzt mal neu gebootet, scheinbar lag es an dem

10:00:41 zotac327 kernel: Kernel command line: BOOT_IMAGE=/boot/vmlinuz-6.2.16-4-pve root=/dev/mapper/pve-root ro quiet intel_iommu=on vfio_iommu_type1.allow_unsafe_interrupts=1
Jul 24 10:00:41 zotac327 kernel: Unknown kernel command line parameters "BOOT_IMAGE=/boot/vmlinuz-6.2.16-4-pve", will be passed to user space.
Jul 24 10:00:41 zotac327 systemd-modules-load[459]: Inserted module 'vfio_pci'
Jul 24 10:00:41 zotac327 systemd-modules-load[459]: Failed to find module 'vfio_virqfd'

Load passt jetzt wieder

was mich aber wundert, das dies seit 4 Jahren so eingetragen war, bzw ja eigentlich auch korrekt war und funktioniert hatte, aber nun mit proxmox v7 auf v8 zum Problem wurde

bleibt noch bluetooth Firmware Problem seit v8, hab auf dem anderen Host ebenfalls den Fehler
könnte es vllt helfen, bookworm-backports wieder mit einzutragen? (zumindest hatte ich die, soweit ich mich erinner, genau wegen bluetooth drin stehen)

@crunchip sagte in Systemload im Proxmox Host auf die schliche kommen:

was mich aber wundert, das dies seit 4 Jahren so eingetragen war, bzw ja eigentlich auch korrekt war und funktioniert hatte, aber nun mit proxmox v7 auf v8 zum Problem wurde
bleibt noch bluetooth Firmware Problem seit v8, hab auf dem anderen Host ebenfalls den Fehler
könnte es vllt helfen, bookworm-backports wieder mit einzutragen? (zumindest hatte ich die, soweit ich mich erinner, genau wegen bluetooth drin stehen)

Moin,

suppie, dass Du Deine Probleme in den Griff bekommen hast.

Zum ersten, ich habe nicht geschaut, ob es diesen Eintrag BOOT_IMAGE jemals gab, es kann aber sein, dass Einträge, die ein mal funktionierten, im besten Fall ignoriert wurden, jetzt mit neuem Kernel, Systemd, grub, oder, oder halt nicht mehr so funktionieren und dann halt in einem diffusen Fehlerbild resultieren.

Zum zweiten, kann ich nichts sagen, da ich die Hardware nicht kenne und somit auch nicht abschätzen kann, was da an Firmware gebraucht wird und welche aktuell ist.

@crunchip sagte in Systemload im Proxmox Host auf die schliche kommen:

Jul 24 10:00:41 zotac327 systemd-modules-load[459]: Inserted module 'vfio_pci'
Jul 24 10:00:41 zotac327 systemd-modules-load[459]: Failed to find module 'vfio_virqfd'

Das ist der Output noch vor dem Booten?

Da ich Windows nicht brauche, oder brauchen werde, eher hole ich meinen alten Atari aus dem Keller wieder hoch
Habe ich mich gerade einmal auf die Suche gemacht https://wiki.archlinux.org/title/PCI_passthrough_via_OVMF, aber für mich aktuell nicht interessant, habe nicht einmal mehr eine GraKa im Rechner und da ich mit LXC Containern super zurechtkomme

Dann mal weiter viel Erfolg.

VG
Bernd

crunchip

@dp20eic sagte in Systemload im Proxmox Host auf die schliche kommen:

Das ist der Output noch vor dem Booten

ja, das ist ja nun beseitigt

bluetooth läuft jetzt auch wieder, hab die 2 angemeckerten Dateien aus dmesg nach /usr/lib/firmware/intel kopiert

@dp20eic sagte in Systemload im Proxmox Host auf die schliche kommen:

Da ich Windows nicht brauche, oder brauchen werde, eher hole ich meinen alten Atari aus dem Keller wieder hoch

naja, war damals der Gedanke ne windows VM damit ich nicht noch zusätzlich einen Rechner hier rum stehen hab.
allerdings, Atari war schon ne coole Sache

@crunchip sagte in Systemload im Proxmox Host auf die schliche kommen:

Atari war schon ne coole Sache

Moin,

da kommt doch noch mal der Spieltrieb in mir hoch, sollte ich wirklich mal versuchen, ob das Teil noch funzt
http://www.medusacomputer.com/thes-hades.html

VG
Bernd

crunchip

@dp20eic dann versuch dein Glück

ich sag mal vielen Dank für deine Hilfsbereitschaft und Denkanstoß

NEWS

[gelöst]Systemload im Proxmox Host auf die schliche kommen

Support us

848
Online

31.7k
Users

79.8k
Topics

1.3m
Posts

NEWS

[gelöst]Systemload im Proxmox Host auf die schliche kommen

Support us

848Online

31.7kUsers

79.8kTopics

1.3mPosts

848
Online

31.7k
Users

79.8k
Topics

1.3m
Posts