iobroker.js-con 100% cpu

[Thomas Braun]

Ist zwar jetzt etwas OT hier, aber hier einer der wirklichen Gründe, warum man keine GUI auf einem Server laufen hat:

https://www.phoronix.com/news/X.Org-CVE-2024-9632

Was nicht läuft und am besten auch erst gar nicht installiert ist kann auch nicht anfällig für eine 'Privilege Escalation' sein.

[spicer]

Hab das Problem gefunden.
Alle 30 Sekunden oder teilweise sogar 10 Sekunden wurde der MQTT Server mit sub/pub's gelöchert.
Wenn das geschieht, geht die CPU für ca 30 Sekunden auf 100%.
Das war natürlich zuviel.
Habe jetzt das Intervall (ausser Regen und Wind Warnung) auf mind 2 Minuten gesetzt.
So beruhigt sich das Ganze immer für ca 90 Sekunden.

[spicer]

Konnte die Situation weiter entschärfen, in dem ich alles MQTT auf dem RPI1, welches für die Dachfenster und Rollo Steuerung zuständig ist, sammle.
Sende dann nur alle paar Minuten MQTT Daten an das RPI5.
Einzig die Windgeschwindigkeit sende ich jede minute (das ist ein String von 3-4 Zeichen).
Es fällt auf, dass der ioBroker Adapter MQTT auch nur bei diesem empfangenen MQTT Datensatz die CPU für fast 30 Sekunden auf 100-106% (laut top) treibt.
Es sieht so aus, dass da der Adapter auch "etwas komisches" macht. Wenn ihr mich fragt, mit dem Adapter stimmt was nicht.
So viel Rechenleistung wegen einem einzigen Subscribe (Datenempfang) von zBsp "0.1".
Ein Loop kann es nicht sein, weil das Gleiche geschieht, wenn ich die Instanz Javascript stoppe.

Befriedigend ist die jetzige Lösung bzw Verhalten nicht.

PS:
Beim RPI1 zeigt top unter 1% Auslastung, obschon da jede Sekunde Mosquitto Daten reinschneien.
Dieses hat einen Bruchteil der Rechenleistung des RPI5!
Wenn ich auf dem RPI1 top ausführe, ist meistens top der belastendste Task ^^

[spicer]

@spicer

Bitte testet doch mal selber und meldet es gegebenenfalls dem Dev.
Danke

Es könnte ja auch sein, dass das nur bei Raspberry OS so ist und nicht bei Raspbian.
deCONZ zBsp hatte genau dieses Problem!
Eine if Abfrage ging auf "raspbian" und nicht auf "debian", was Raspberry OS heute ausgibt.

[mcm1957]

@spicer said in iobroker.js-con 100% cpu:

@spicer

Bitte testet doch mal selber und meldet es gegebenenfalls dem Dev.
Danke

Es könnte ja auch sein, dass das nur bei Raspberry OS so ist und nicht bei Raspbian.
deCONZ zBsp hatte genau dieses Problem!
Eine if Abfrage ging auf "raspbian" und nicht auf "debian", was Raspberry OS heute ausgibt.

Dass ein IF nicht geht klingt mal komisch. Wahrscheinlich meinst du eher, dass eine Abfrage eines APIs andere Werte geliefert hat.

EGAL:
Bitte gib doch bei allen solchen Problemmeldungen gesammelt die Versionsinfos an. Ich kann aus deinen letzen Beiträgen weder die Adapetr version noch js.controller, node, os etc herauslesen.

Und natürlich stellt sich die Frage was der Adapetr im DEBUG bzw. SILLY Mode loggt wenn er so ausgelastet ist / wird.

[spicer]

@mcm1957
mqtt: v6.1.1

Plattform: linux
Betriebssystem: linux
Architektur: arm64
CPUs: 4
Geschwindigkeit: 2400 MHz
Modell: Cortex-A76
RAM: 7.8 GB
System-Betriebszeit: 3 T. 15:40:26
Node.js: v20.18.0
time: 1730545435253
timeOffset: -60
NPM: 10.8.2
Adapter-Anzahl: 545
Datenträgergröße: 57.9 GB
Freier Festplattenspeicher: 49.3 GB
Aktive Instanzen: 10
Pfad: /opt/iobroker/
Betriebszeit: 3 T. 16:14:09
aktiv: true

Reicht das?

[spicer]

@spicer
Der Output von "Debug" ist unglaublich gross. Das kann ich nicht posten.
Da müsstest schon per Teamviewer oder Anydesk schauen hier.

Ey, ich habe nicht nur 2-3 Adapter/Geräte!

[Homoran]

@spicer sagte in iobroker.js-con 100% cpu:

Der Output von "Debug" ist unglaublich gross.

Das deutet schon darauf hin, dass eine Fehlkonfiguration vorliegen könnte.

Hast du vielleicht eine Schleife konfiguriert?
z.B. Publishst du selber Werte sobald du sie bekommst?

Dann zeig mal einen relevanten Ausschnitt, der hier noch reinpasst

[mcm1957]

@spicer said in iobroker.js-con 100% cpu:

@spicer
Der Output von "Debug" ist unglaublich gross. Das kann ich nicht posten.
Da müsstest schon per Teamviewer oder Anydesk schauen hier.

Ey, ich habe nicht nur 2-3 Adapter/Geräte!

Du hats doch oben geschrieben dass due nur die Windstärke öfter aktualisisrerts und da steigt die Last an. Das widerspricht der jetzigen Aussage dass da doch viele Geräte was schicken.... Wenn wirklich NUR ein Wert kommt, kann nicht so ein riesen Log entstehen - außer der eine Wert löst zig Reaktionen aus ...

[spicer]

@homoran
Nein, hab keine Schleife.
Hab erst gestern den ganzen Mosquitto Kreis neu konfiguriert.
DEBUG kommen so viele Posts (keine Warnungen oder Alarme), das willst Du gar nicht wissen!
Versuche den Log dann zu posten.

[Homoran]

@spicer sagte in iobroker.js-con 100% cpu:

DEBUG kommen so viele Posts (keine Warnungen oder Alarme)

Natürlich, dafür ist debug ja da

@spicer sagte in iobroker.js-con 100% cpu:

das willst Du gar nicht wissen!

doch!
daraus kann man dann ja sehen, was da so schnell triggert.

(Natürlich nach mqtt gefiltert)

[spicer]

@homoran
Mit debug bekomme ich Tausende:

mqtt.1
	2024-11-02 12:43:00.657	debug	stateChange mqtt.1.info.clients.mosqsub|19238-Dachrollo: {"val":false,"ack":true,"ts":1730547780656,"q":0,"from":"system.adapter.mqtt.1","user":"system.user.admin","lc":1730083491295}
mqtt.1
	2024-11-02 12:43:00.656	debug	stateChange mqtt.1.info.clients.mosqsub|12126-Dachrollo: {"val":false,"ack":true,"ts":1730547780655,"q":0,"from":"system.adapter.mqtt.1","user":"system.user.admin","lc":1730232875058}
mqtt.1
	2024-11-02 12:43:00.654	debug	stateChange mqtt.1.info.clients.mosqsub|12442-Dachrollo: {"val":false,"ack":true,"ts":1730547780653,"q":0,"from":"system.adapter.mqtt.1","user":"system.user.admin","lc":1730233184883}
mqtt.1
	2024-11-02 12:43:00.652	debug	stateChange mqtt.1.info.clients.mosqsub|12072-Dachrollo: {"val":false,"ack":true,"ts":1730547780651,"q":0,"from":"system.adapter.mqtt.1","user":"system.user.admin","lc":1730232844483}
mqtt.1
	2024-11-02 12:43:00.643	debug	stateChange mqtt.1.info.clients.mosqsub|19176-Dachrollo: {"val":false,"ack":true,"ts":1730547780642,"q":0,"from":"system.adapter.mqtt.1","user":"system.user.admin","lc":1730083430513}
mqtt.1
	2024-11-02 12:43:00.641	debug	stateChange mqtt.1.info.clients.mosqsub|7642-Dachrollos: {"val":false,"ack":true,"ts":1730547780641,"q":0,"from":"system.adapter.mqtt.1","user":"system.user.admin","lc":1730044408190}
mqtt.1
	2024-11-02 12:43:00.639	debug	stateChange mqtt.1.info.clients.mosqsub|19174-Dachrollo: {"val":false,"ack":true,"ts":1730547780638,"q":0,"from":"system.adapter.mqtt.1","user":"system.user.admin","lc":1730083430386}
mqtt.1
	2024-11-02 12:43:00.635	debug	stateChange mqtt.1.info.clients.mosqsub|12385-Dachrollo:

MOD-EDIT: Code in code-tags gesetzt!

ich verstehe nicht, weil ich nur alle 2 Minuten etwas publishe an den iob server.

[spicer]

Willst mal per Teamviewer vorbei kommen?
Ich öffne Dir vorher alles notwendige.

[spicer]

Ich finde in dieser Forensoftware nichtmal den PN Knopf

eine Ahnung woher die Dachrollo Meldungrn kommen.
Kann es sein, dass die seit Monaten in einem Cache liegen?

[mcm1957]

@spicer said in iobroker.js-con 100% cpu:

Ich finde in dieser Forensoftware nichtmal den PN Knopf
ID: xxxxxx

eine Ahnung woher die Dachrollo Meldungrn kommen.
Kann es sein, dass die seit Monaten in einem Cache liegen?

Bitte lösch deine Teamviewer ID ASAP, die ist m.W. nach fix und das ist ne Einladung dich zu besuchen.

@Homoran - ev. via MODEDIT löschen?

[mcm1957]

PN = CHATS = da

[Homoran]

@spicer sagte in iobroker.js-con 100% cpu:

ich verstehe nicht, weil ich nur alle 2 Minuten etwas publishe an den iob server.

und genau deshalb ist der debug log so wichtig.
Da sieht man was passiert.

was sagt denn die Mosquitto dazu.
den kenne ich nicht

[Homoran]

@mcm1957 erledigt!
war leider bis jetzt afk

[Edwin40]

also bei mir hat das Adapterupdate MQTT Broker/Client 6.1.1 auf 6.1.2 permanent bis zu 100% CPU Auslastung bewirkt. Zurück auf 6.1.1 und alles war gut....

Grüße

[mcm1957]

@edwin40 said in iobroker.js-con 100% cpu:

also bei mir hat das Adapterupdate MQTT Broker/Client 6.1.1 auf 6.1.2 permanent bis zu 100% CPU Auslastung bewirkt. Zurück auf 6.1.1 und alles war gut....

Grüße

Hast du das Problem mit den entsprechenden Infos in einem Issue erfasst? Bitte hier verlinken.

Zwischen 6.1.1 und 6.1.2 wurde eigentlich nur genau eine Zeile geändert die ein Problem beheben soll wenn Clients keine Id haben / senden...