JS-Adapter startet ständig neu: heap out of memory
-
Zum anschauen und testen von irgendwas ist das sinnvoll. Fur dauerhaften Betrieb ist es nur eine entbehrliche weitere Softwareschicht, die auch noch richtig unterhalten werden will.
Ist mir für den ioBroker nur ein unnötiger Ressourcenfresser.Btw: Dir geht der für nodejs allokierte Arbeitsspeicher aus...
-
@thomas-braun Es liegen 300MB freien RAM und 2GB an Verfügbaren RAM rum.
Wenn ich den Container ohne Backup starte und dann JS laufen lasse habe ich das Problem nicht.
Dann wird wohl docker nicht das Problem sein, sondern irgendwelche vorhandenen Daten oder ein Installationsprozess.
Die Frage ist nur warum dieser Fehler bei einer Neuinstallation + Backup wieder "eingebaut" wird.Btw:
Viele vergleichen Docker beim Resourcenverbrauch gerne mit VM, habe ich früher auch gemacht. Ich musste aber feststellen, dass dies nicht der Fall ist und der Overhead realtiv gering ist, wenn man weiss wie man die Container aufzubauen hat.
One program per container.
Wenn man sich daran hält ist man "fast" auf der Ebene eines chroot mit einem netten Verwaltungs und Sicherheitsbonus.
Da iobroker mit seinen Adaptern recht Modular aufgebaut ist mag diese Philosophie hier nicht ganz zutreffen, aber das erklärt das oben beschriebene Verhalten trotzdem nicht. -
@smhrambo sagte in JS-Adapter startet ständig neu: heap out of memory:
Die Frage ist nur warum dieser Fehler bei einer Neuinstallation + Backup wieder "eingebaut" wird.
Nach einer Neuinstallation ohne Backup, ist da nicht viel los. Mit anderen Worten da wird nicht zu viel Speicher benötigt.
Wenn das Backup drin ist, laufen ja wieder Adapter, Skripte,... und das braucht halt Speicher. Und mit jeder Weiterentwicklung von Adaptern gibt es mehr Funktionalität. An der Sicherheit wird auch gearbeitet - und das braucht halt mehr Speicher, als noch vor 5 Jahren.
Aber das ist nicht nur beim ioBroker so. Gleiches Verhalten hast du auch bei Windows, Windows-Programmen und auch bi Linux. Früher war alles gefühlt schlanker, platzsparender und weniger speicherhungrig. Aber so ist nun mal der Lauf.
Dir geht mit der Variante ioBroker im Docker einfach der Speicher auf deinem Raspi aus, auch bi einem 4GB Model. Ich hatte den ioBroker mehrere Jahre auf meinem Raspi (4GB) nornal, ohne Docker laufen mit mehr als 20 Adaptern, ohne Problem.
Aus meiner Sicht:
-
wenn du weiterhin mit Docker arbeiten willst/musst dann brauchst du mehr RAM
-
RAM erweitern auf einem Raspi soll zwar gehen, mir aber zu kompliziert
-
neuer Raspi mit 8GB oder lieber gleich ein NUC
Die 3 Punkte unter dem Gesichtspunkt, dass du mit Docker arbeiten willst. Alternativ verzichte auf Docker (zumindest ohne ioBroker, nur für andere Projekte).
Ro75.
-
-
@ro75 Im Log ist zu erkennen das nach dem Backup kein Adapter läuft und auch kein Skript.
Das bedeutet auch das kein RAM benötigt wird.Nachmal, ALLE Adapter und Skripte sind nach dem Backup DEAKTIVIERT.
Erst wenn ich nun den JS Adapter aktiviere und ich meine nur den JS Adapter, kommt der Fehler wieder.
Wenn ich das Backup NICHT einspiele und selber ALLE Adapter installiere und aktiviere, kommt der Fehler nicht.
Inzwischen laufen sogar wieder Sktipte ohne Fehlermeldung.
Kein anderer Docker Container oder Prozess hat Probleme auf dem System.
Besonders InfluxDB musste dann Fehler ohne Ende schmeißen.Ich glaube aber dem Fehler näher zu kommen.
Wie kann man von allen Objekten den Raum und die Funktion aufeinmal entfernen, ohne das Objekt selber oder andere Einstellungen von den Objekten zu löschen?
Ich möchte nicht meine Zeit damit verbringen alle Objekte wieder neu einzustellen bzgl. InfluxDB und co.
Zudem denke ich das es auch im interesse der Community ist, wenn man der Ursache genau auf den Grund geht.Bzgl. der RAM verbrauchs:
Ich bin Programmierer, ich habe bisher nur ein paar flüchtige Blicke in die Adapterprogrammierung geworfen. Trotzdem versteht ich nicht was dafür sorge, dass mein Weihnachtsscript (aus meinem ersten Post), den RAM Verbrauch vom JS Adapter um ca. 125MB steigen lässt. Da sind gerade mal 3 Integer Variablen, 6 Funktionsaufrufe und 3 Vergleiche drin. -
@smhrambo sagte in JS-Adapter startet ständig neu: heap out of memory:
JavaScript heap out of memory
soweit ich weiß bezieht sich das nicht (nur) auf den javascript Adapter, sondern auf alles was mit js läuft.
-
@smhrambo sagte in JS-Adapter startet ständig neu: heap out of memory:
Ich bin Programmierer, ich habe bisher nur ein paar flüchtige Blicke in die Adapterprogrammierung geworfen. Trotzdem versteht ich nicht was dafür sorge, dass mein Weihnachtsscript (aus meinem ersten Post), den RAM Verbrauch vom JS Adapter um ca. 125MB steigen lässt. Da sind gerade mal 3 Integer Variablen, 6 Funktionsaufrufe und 3 Vergleiche drin
Ich programmiere auch seit 20 Jahren - nur Windows, seit 2020 auch JS, dank ioBroker. Aber um zu schauen was bei dir ist, müsste man schon das vollständige Skript mal sehen.
Ro75.
-
@homoran said in JS-Adapter startet ständig neu: heap out of memory:
soweit ich weiß bezieht sich das nicht (nur) auf den javascript Adapter, sondern auf alles was mit js läuft.
Dann stellt sich nur immernoch die Frage warum nur der JS Adapter davon betroffen ist.
Soweit ich weiss läuft das gesamte ioBroker-System auf javascript.Und dies nicht bei einer Neuinstallation der Fall ist, sondern nur beim wiederherstellen alter Daten.
-
@smhrambo sagte in JS-Adapter startet ständig neu: heap out of memory:
warum nur der JS Adapter davon betroffen ist.
die Meldung kommt vom Controller!
-
@homoran Das ist mir bewusst, nur müsste dieser ja auch bei andere Adapter diese Fehlermeldung ausgeben wenn ich sie starte und zu wenig RAM zur Verfügung stehen.
Also z.b. die Reihenfolge ändere in der ich sie starte.Wenn ich das Backup einspiele und alle Adapter die man deaktivieren kann deaktiviere.
Braucht ioBroker ca. 200MB.
Alle Adapter die deaktiviert sind ohne den JS-Adapter brauchen im laufenden Zustand ca. 1,2GB.
Der JS Adapter brauch ca. 250MB mit einem Skript (Auf einem neu installieren ioBroker).
Wenn also kein Adapter läuft, also 1,2GB zur Verfügung stehen und der JS Adapter ca. 250MB braucht, kann iobroker nicht genug RAM allokieren?
Bei einem Neuinstallieren System klappt es aber(inklusive aller anderen Adapter die ca. 1,2GB brauchen)!!! -
@smhrambo sagte in JS-Adapter startet ständig neu: heap out of memory:
nur müsste dieser ja auch bei andere Adapter diese Fehlermeldung ausgeben wenn ich sie starte und zu wenig RAM zur Verfügung stehen.
ich kenne mich viel zu wenig damit aus.
Ich weiss auch nicht eas sich hinter Heap verbirgt. -
@homoran In der Programmierung gibt es zwei Speicherarten:
-
Stack
Wie der Name schon sagt handelt es sich um einen Stapel, auf diesen werden bei Funktionsaufrufen oder Sprüngen Daten abgelegt, die beim zurückkehren wieder heruntergenommen werden, um mit ihnen weiter zu arbeiten.
Stell es dir wie ein Aktenstapel vor auf dem du deine Dokumente ablegst, weil dein Chef gerade etwas anderes von dir will und die du dann wieder runternehmen kannst wenn du mit der neuen Aufgabe fertig geworden bist. Er sorgt dafür, dass du dich mit den Daten beschäftigst mit den du als letztes zu tun hattest.
Jeder Prozess besitzt einen eigenen Stack.
Im Stack liegen nur Daten/Variablen die für die jeweilige Funktion relevant sind.
Wenn die Funktion fertig ist werden die nötigen Daten zuück gegeben, alle anderen Daten der Funktion werden verworfen. -
Heap
Beim Heap handelt es sich bei modernen Systemen um einen dynamischen Speicher, auf dem freier Speicherplatz addressiert/angefordert werden kann. Wenn du Speicher benötigst, bittest du das OS um den gewünschten Speicherplatz. Dieser wird dann, wenn er zur Verfügung steht für deine Daten reserviert. Solange du diese Daten nicht wieder frei gibst, kann kein anderes Programm/Process diesen Speicher benutzen.
Alles was nicht auf dem Stack liegt ist im Heap.
Dazu gehören grob alle Daten die über einen Funktionsaufruf hinaus zur Verfügung stehen, weil sie z.B. von mehreren Prozessen oder Threads gebraucht werden.
Das zum Heap ist sehr grob, ohne Paging/Swap oder Memory leak.
Zum meinem Problem:
Es steht nicht genug RAM zur Verfügung, obwohl 300MB absolut ungenutzt sind und ca. 1,2GB die zwar mal genutzt wurden aber wieder freigegeben wurden.Deshalb stellt sich die Frage warum brauch ioBroker um den JS Adapter zu starten mehr als 1,5GB RAM.
Und warum braucht er dies nur nachdem ich das Backup eingespielt habe, nicht aber wenn ich alles per Hand aufsetzt.
-
-
@smhrambo Danke für die Erklärung.
@smhrambo sagte in JS-Adapter startet ständig neu: heap out of memory:
obwohl 300MB absolut ungenutzt sind und ca. 1,2GB die zwar mal genutzt wurden aber wieder freigegeben wurden.
Deshalb stellt sich die Frage warum brauch ioBroker um den JS Adapter zu starten mehr als 1,5GB RAMist bei 1200 zwar wahrscheinlich eher unerheblich, aber ich war bisher der Meinung dass der mem free im mem available enthslten ist, also die beiden Werte nicht aufaddiert werden dürfen
beim Start von js werden allerdings alle startenden Skripte neu kompiliert
-
@homoran Kann gut sein, ich habe damals gelernt, das free der Speicher ist, der theoretisch aus dem System entfernt werden kann.
Aber wie du schon sagtest wären da immernoch 1,2GB.Das die Skripte neu kompiliert werden sollten, wenn sie aktiviert sind, weiss ich.
Aber nochmal, alle Skripte sind deaktiviert, alle haben ein rotes Play-Symbol.
Demensprechend sollte sie doch nicht neu kompiliert werden.Ich habe das gerade noch mal getestet, im aktuellen System ohne Backup, auf dem alles läuft.
Mit aktivierten Skripte finde ich mit Loglevel silly keine informationen ob die Skripte bei einem Neustart vom JS Adapter neu kompiliert werden.
Demenspechend kann ich darüber keine handfeste Aussage machen.Im aktuellen System ohne Backup mit 19 aktiven Adaptern (20 Prozesse) läuft es.
Ich habe nur keine Lust alle Einstellungen wieder von Hand vorzunehmen.
Das Problem liegt irgendwo in den wiederhergestellten Daten/Einstellungen und kann dementsprechend jederzeit wieder auftreten, wenn man die Ursache nicht kennt. -
@smhrambo sagte in JS-Adapter startet ständig neu: heap out of memory:
Das Problem liegt irgendwo in den wiederhergestellten Daten/Einstellungen und kann dementsprechend jederzeit wieder auftreten, wenn man die Ursache nicht kennt.
und deswegen hatte ich mich hier gemeldet und darauf hingewiesen dass die Meldung nicht unbedingt alleine durch den js-Adapter verursacht werden muss
-
Eine kleine Sache dir mir aufgefallen ist.
Mein kleiner Weihnachtskript vom ersten Post.
Weil setState sich gemeldet hat und gerne boolean statt integer haben wollte, habe
Ich die Variable State geändert, dass diese mit true/false läuft statt mit 1/0.Daraus ergibt sich ein RAM Erspanis von ca. 100MB.
WTF -
@homoran Auf welche Daten greift der JS Adapter aber zu, dass er so RAM benötigt.
Kein anderer Adapter scheint diese Daten zu benötigen oder der JS Adapter interpretiert die Daten falsch.
Ich habe eine Idee, dehalb meine Frage wie ich die Objekte von bestimmten Daten befreien kann.Ich habe versucht eine Art semantisches Modell meines Hauses zu erzeugen.
Den JS Adapter habe ich die letzten Monate nicht benutzt,
weil ich die Hardware für die ich die Skripte brauche reparieren musste.
Nun ist Weihnachten und der JS Adapter soll mein Weihnachtsprogramm laufen lassen und nun läuft er nicht mehr.
Also habe ich inzwischen den Verdacht, dass es an der Zuordnung in der ioBroker Aufzählungen liegen könnte.Ganz wilde Theorie:
Vielleicht gibt es durch die Zuordnung eine Schleife, da ich mit Stockwerken und Räumen gearbeitet habe. -
@smhrambo sagte in JS-Adapter startet ständig neu: heap out of memory:
Auf welche Daten greift der JS Adapter aber zu, dass er so RAM benötigt.
Ich kann vollkommen daneben liegen, aber ih denke hier liegt dein Denkfehler.
Wer sagt dir dass der Adapter so viel RAM benötigt, wenn der js HEAP für alle javascript Aktionen (auch im Grundsystem) gilt? -
@homoran Kannst du mir deinen Gedankengang näher erläutern.
Also wenn ich den JS Adapter aktiviere, startet dieser nach ein paar Sekunden neu und im Log stehen die oben genannten Fehlermeldungen.
Die Log Meldungen wiederholt sich bei jedem Absturz und Neustart vom JS Adapter.
Dementsprechend habe ich für die Fehlermeldung den JS Adapter im Verdacht.
Ist der JS Adapter deaktiviert, kommt die Fehlermeldung nicht. -
@ro75 sagte in JS-Adapter startet ständig neu: heap out of memory:
Aus meiner Sicht:
wenn du weiterhin mit Docker arbeiten willst/musst dann brauchst du mehr RAM
Die 3 Punkte unter dem Gesichtspunkt, dass du mit Docker arbeiten willst. Alternativ verzichte auf Docker (zumindest ohne ioBroker, nur für andere Projekte).
Wenn der RAM knapp wird, hilft natürlich jeden Megabyte mehr. Trotzdem glaube ich, dass der Overhead durch Docker überschätzt wird.
Habe das gerade mal auf einer VM nachgestellt- ioBroker nativ installiert
- ioBroker unter Docker installiert
Jeweils mit identischer Installation (frisch aufgesetzt mit Admin+Backitup Adapter) ergibt sich ein Unterschied von ca. 75 MB.
-
Ich weiß es zwar nicht genau, aber der hohe speicherverbrauch beim Start ist nicht der Iobroker selbst sondern der jit Compiler der v8 Maschine.
Hat eigentlich mal jemand probiert Iobroker mit deno oder bun zu starten?
