[gelöst] Javascript-Adapter Speicherproblem memRSS
-
> Speicher geht trotzdem erst auf 1,5 GB in Instanz.0 und dann auf 400 MB.
Beim start werden alle Objekte und States einmal gelesen (1,5GB).Dan wird vermutlich der Speicher, der für lesen benötigt war freigegeben (400MB). Dann sollte aber es konstant bleiben.
1.5GB… wie viel Objekte hast du?
Man kann "_id" in objekts.json zählen.
-
Nachtrag:
-
alle Adapter, bis auf admin und javascript.0 deaktiviert.
-
die beiden return in der javascript.js sind eingefügt
Der Speicherverbrauch geht in der einen aktiven Javascript-Instanz .0 trotzdem auf 1,5 GB hoch
-
-
> Speicher geht trotzdem erst auf 1,5 GB in Instanz.0 und dann auf 400 MB.
Beim start werden alle Objekte und States einmal gelesen (1,5GB).Dan wird vermutlich der Speicher, der für lesen benötigt war freigegeben (400MB). Dann sollte aber es konstant bleiben.
1.5GB… wie viel Objekte hast du?
Man kann "_id" in objekts.json zählen. `
3.256 Objekte
Momentan bleibt der Speicherverbrauch bei 1,5 GB für die Instanz .0. (nur admin und javascript.0 aktiv).
Habe eigentlich kaum was laufen gehabt (35 Adapter in der Grundeinrichtung und einige SQL-Monitorpunkte). Ich war ja gerade bei derNeueinrichtung, als es passierte. Alles frisch.
Ja, normalerweise geht der Speicher auf 400 MB runter oder auch mal auf 250 und schwankt dort hin und her. Ich hatte oben einige Beispiele als Grafik drin.
-
Hab den Übeltäter wahrscheinlich gefunden. @Bluefox: Deine Erklärungen waren sehr hilfreich.
Da das System vorher perfekt lief und das Problem anfing, als ich ein Miniänderung an einem Skript vorgenommen habe, hab ich vermutet, dass es sich ggf. um ein Objekt innerhalb javascript.x handeln könnte, was beim Einlesen Probleme macht.
Also habe ich angefangen die Datenpunkte in javascript.x nach und nach zu löschen und jeweils den Adapter neu zu starten.
Dabei bin ich auf einen Zweig in javascript.0. gestossen, der sich in Admin/Objekte nicht aufklappen lies und den Tab im Chrome zum Absturz gebracht hat. Innerhalb dieses Zweigs gibt es neun Datenpunkte, die ich aus den objects.json zum analysieren raus kopiert habe. Es handelt sich dabei die Datenpunkte eines alten Skripts für eine Ereignisliste.
Meine states.json ist über 200 MB groß und lässt sich in meinem JSON-Editor auf dem Mac nicht öffnen, was auch auf ein Problem innerhalb des JSON hinweist.
Ich werde jetzt versuchen, die entsprechenden States innerhalb der states.json mit einem Texteditor raus zu kopieren. Mein Editor kämpft gerade aber auch mit der Datei
Was ggf. Optimierungsmöglichkeiten für den Javascript-Adapter bietet:
-
Die einstellbare Speichergrenze in den Instanzen scheinen nicht zu greifen
-
ggf. kann der Adapter die Objekte prüfen und so ein Speicherproblem dann beim Einlesen verhindern
Danke für Deine Geduld!
Mir war wichtig die Ursache zu finden. Eine Neuinstallation wäre für mich schneller gewesen und hätte mich nicht die letzten zwei Wochen gekostet (der Kampf mit den beiden betroffenen Systemen). Danke noch einmal.
Ich versuche zu den Objekten noch die States zu isolieren und wenn es OK ist, schicke ich Dir die neun Datenpunkte. Vielleicht kannst Du ja was einbauen, was einen Totalabsturz verhindert
8-) -
-
Hab den Übeltäter wahrscheinlich gefunden. @Bluefox: Deine Erklärungen waren sehr hilfreich.
Da das System vorher perfekt lief und das Problem anfing, als ich ein Miniänderung an einem Skript vorgenommen habe, hab ich vermutet, dass es sich ggf. um ein Objekt innerhalb javascript.x handeln könnte, was beim Einlesen Probleme macht.
Also habe ich angefangen die Datenpunkte in javascript.x nach und nach zu löschen und jeweils den Adapter neu zu starten.
Dabei bin ich auf einen Zweig in javascript.0. gestossen, der sich in Admin/Objekte nicht aufklappen lies und den Tab im Chrome zum Absturz gebracht hat. Innerhalb dieses Zweigs gibt es neun Datenpunkte, die ich aus den objects.json zum analysieren raus kopiert habe. Es handelt sich dabei die Datenpunkte eines alten Skripts für eine Ereignisliste.
Meine states.json ist über 200 MB groß und lässt sich in meinem JSON-Editor auf dem Mac nicht öffnen, was auch auf ein Problem innerhalb des JSON hinweist.
Ich werde jetzt versuchen, die entsprechenden States innerhalb der states.json mit einem Texteditor raus zu kopieren. Mein Editor kämpft gerade aber auch mit der Datei
Was ggf. Optimierungsmöglichkeiten für den Javascript-Adapter bietet:
-
Die einstellbare Speichergrenze in den Instanzen scheinen nicht zu greifen
-
ggf. kann der Adapter die Objekte prüfen und so ein Speicherproblem dann beim Einlesen verhindern
Danke für Deine Geduld!
Mir war wichtig die Ursache zu finden. Eine Neuinstallation wäre für mich schneller gewesen und hätte mich nicht die letzten zwei Wochen gekostet (der Kampf mit den beiden betroffenen Systemen). Danke noch einmal.
Ich versuche zu den Objekten noch die States zu isolieren und wenn es OK ist, schicke ich Dir die neun Datenpunkte. Vielleicht kannst Du ja was einbauen, was einen Totalabsturz verhindert
8-) `
Es ist toll zu hören, dass du weiter gekommen bist.> Die einstellbare Speichergrenze in den Instanzen scheinen nicht zu greifen
Es wird eine Einstellung vorgenommen, die heißt "–max-old-space-size".Es kann sein, dass die nur für 0.10 und 0.12 gültig ist.
Und das habe ich noch gefunden:
"
Keep in mind that --max-old-space-size specifies the heap limit for the v8 JS engine that powers Node.js. This doesn't include all the memory the process might be using, such as buffers (for example, if you load very large images or JSON files). OSX will show you the entire memory usage of the node process in its activity monitor. Use process.memoryUsage() programatically to see heap memory usage."
-
-
Es ist toll zu hören, dass du weiter gekommen bist.
> Die einstellbare Speichergrenze in den Instanzen scheinen nicht zu greifen
Es wird eine Einstellung vorgenommen, die heißt "–max-old-space-size".Es kann sein, dass die nur für 0.10 und 0.12 gültig ist.
Und das habe ich noch gefunden:
"
Keep in mind that --max-old-space-size specifies the heap limit for the v8 JS engine that powers Node.js. This doesn't include all the memory the process might be using, such as buffers (for example, if you load very large images or JSON files). OSX will show you the entire memory usage of the node process in its activity monitor. Use process.memoryUsage() programatically to see heap memory usage." `
very large JSON… passt ja :roll:
Sieht so aus, als könnte man das gar nicht verhindern...
Ich muss noch einen Editor für den Mac finden, der mit der Datei klar kommt. Ein erster Blick heute zeigte, dass das Skript wahrscheinlich ein Fehler hat und als Wert für einen Datenpunkt ein recht langes JSON erzeugt hat.
Ich gebe auf jeden Fall Rückmeldung. Entweder als Fehlerbild, um zukünftiges Unheil zu vermeiden oder man kann ggf. doch was abfangen.
Gruß
Michael
-
Mehrere hundert MB JSON File ist natürlich zu viel, selbst bei tausenden Datenpunkten. Dein Skript hat vermutlich einen Datenpunkt erstellt der alleine einen Großteil der Dateigröße ausmacht. Die meisten Editoren laden die gesamte Datei auf einmal und bekommen das ebensowenig hin wie ioBroker.
Es gibt aber auch Editoren welche die Datei nicht als ganzes laden, auf Anhieb kann ich dir jetzt leider keinen nennen.
-
Mehrere hundert MB JSON File ist natürlich zu viel, selbst bei tausenden Datenpunkten. Dein Skript hat vermutlich einen Datenpunkt erstellt der alleine einen Großteil der Dateigröße ausmacht. Die meisten Editoren laden die gesamte Datei auf einmal und bekommen das ebensowenig hin wie ioBroker.
Es gibt aber auch Editoren welche die Datei nicht als ganzes laden, auf Anhieb kann ich dir jetzt leider keinen nennen. `
Mehrere hundert MB??
na, sind nur zwei mal hundert 
Die 3.000 Objekte hat man ganz schnell zusammen. Ausser die Adapter als Grundgerüst, habe ich in der Installation noch gar nicht viel gemacht.
Nach den Editor suche ich gleich.
Wie groß ist den so eine durchschnittliche states.json?
Auf dem pi3 mit meinem Bluetooth Skript sind es nur 40 kB. Schon ein kleiner Unterschied zu den 200 MB. :lol:
P.S.: ja, ein Skript hatte einen Fehler und statt 50 Einträge, nun ja, sagen wir mal… recht viele Einträge erzeugt.
-
Super, dass Du den Fehler hartnäckig eingegrenzt und gefunden hast.
Mit Notepad++ hab ich schon wesentlich größere Dateien geöffnet - ich weiß nicht ob's da ein Pendant für den MAc gibt. Oder magst Du evtl. die kaputte states.json mal hochladen?
Gruß Thilo
-
Auf dem Mac kann man MacVim benutzen. Vim war zwar nie mein Favorit (Bedienung).
Danke für Dein Angebot!
Da stehen allerdings ein paar sehr private Daten drin, als dass ich diese ins Netz stellen möchte Jetzt muss ich mal schauen, ob ich mir nicht noch einen anderen Bock geschossen habe.
Mein SFTP client (Cyberduck) hatte die states.json auch nach dem aktualisieren immer noch mit 207 MB angezeigt, obwohl die Datei in echt nur noch knapp 1,2 MB groß war. Daher habe ich sie gesichert und und dann einfach die states.json und die states.bak gelöscht (vorher iobroker gestoppt).
Die Datei wurde dann wieder erstellt. Interessanterweise haben wohl alle Datenpunkte wieder Ihre Werte. ich dachte eigentlich, dass die letzten Werte in der states.json gespeichert sind.
Daher muss ich nun noch folgendes klären, um das System zu verstehen:
-
sind wirklich alle Werte vorhanden?
-
wenn ja, woher kamen die Werte?
-
habe ich mir jetzt ggf. einen Bock geschossen?
-
-
Interessanterweise haben wohl alle Datenpunkte wieder Ihre Werte. ich dachte eigentlich, dass die letzten Werte in der states.json gespeichert sind. `
Soweit ich das beurteilen kann, ist die states.json ein Abbild des im RAM gehaltenen Arrays aller "states", das alle 30 s aktualisiert wird, um nach einem Reboot mit zumeist aktuellen Werten fortsetzen zu können. Wenn also zwischenzeitlich kein Reboot erfolgt, sind nach Löschen der Dateien diese in den Dateien nach spätestens 30 s alle wieder aktuell. Das Array im RAM wird ohne Reboot ohnehin nicht beeinflusst.Allerdings halte ich die Refresh-Rate für die Dateien im Sinne einer langen Lebensdauer der SD-Card für zu kurz. 10 Minuten sollten auch genügen. Man kann mit "iobroker stop" eine sofortige Aktualiserung der Dateien erzwingen.
-
Mehrere hundert MB??
na, sind nur zwei mal hundert Die 3.000 Objekte hat man ganz schnell zusammen. Ausser die Adapter als Grundgerüst, habe ich in der Installation noch gar nicht viel gemacht.
Nach den Editor suche ich gleich.
Wie groß ist den so eine durchschnittliche states.json?
Auf dem pi3 mit meinem Bluetooth Skript sind es nur 40 kB. Schon ein kleiner Unterschied zu den 200 MB. :lol:
P.S.: ja, ein Skript hatte einen Fehler und statt 50 Einträge, nun ja, sagen wir mal… recht viele Einträge erzeugt. `
200 sind doch mehrere :D. Es ist bei solchen Größen relativ egal ob es nun 200Mb oder 500Mb sind, es sollte im Normalfall maximal wenige Megabyte groß sein. Interessant wäre noch ob dein Skript viele kleine oder wenige riesige States angelegt hat. Letzteres könnte man verhindern indem eine Obergrenze für die Größe eines States eingeführt wird (falls es das nicht schon gibt?!)
