Ram läuft voll

[Chaot]

@homoran Ram ändern geht.
Festplattengröße nur Richtung größer.

[OliverIO]

@chaot
müsste aber auch gehen, halt so wie mit einer echten Festplatte.
Neue kleinere Festplatte anlegen, Daten kopieren,
aber nicht automatisiert durch proxmox selber

[Homoran]

@oliverio sagte in Ram läuft voll:

@chaot
müsste aber auch gehen, halt so wie mit einer echten Festplatte.
Neue kleinere Festplatte anlegen, Daten kopieren,

Ja, so geht das
Aber nicht wie mit paragon oder anderen Festplattentools unter Windows im laufenden Betrieb
(wobei auch dort eine Verkleinerung am offenen Herzen mit Risiko behaftet ist

[Chaot]

@oliverio Dann bist du aber mit einer neuen VM schneller....

[Homoran]

@chaot sagte in Ram läuft voll:

@homoran Ram ändern geht.
Festplattengröße nur Richtung größer.

Jepp!
Hat geklappt - Danke

Sicherheitshalber vorher Backup gefahren

• iobroker gestoppt
• RAM Zuweisung verringert
• VM rebooted

ioBroker startet danach selber, die RAM-Zuordnung in der VM passte, im Proxmox-Adapter war noch einige Zeit der alte Wert, was mich erst etwas störte.

RAM "Verbrauch" in der VM war natürlich jetzt erst mal niedriger. SWAP im PVE war weg! Juchhu.
Und nach einiger Zeit ging dann auch die System-Load deutlich runter, die vorher anscheinend durch das Swapping entstanden war

Nochmals Danke und an alle Mitleser:

Bei der Verteilung des RAMs in den VMs unbedingt den Eigenbedarf der PVE berücksichtigen

[Chaot]

@homoran sagte in Ram läuft voll:

Bei der Verteilung des RAMs in den VMs unbedingt den Eigenbedarf der PVE berücksichtigen

Wobei ich nirgendwo den "Bedarf" dokumentiert finde. Ich habe bei mir 2 GB unverteilt gelassen und das System läuft ohne große Lastprobleme, aber es wäre schon gut zu wissen wieviel tatsächlich mindestens benötigt wird.
Wenn du da mal was findest wäre es nett wenn du mir das mal weitersenden würdest.

Der Proxmox Adapter muss nach so einer Aktion einmal neu gestartet werden. Dann holt er sich auch die aktuellen Systemwerte. Die werden scheinbar seltener aktualisiert als der Rest.

[Homoran]

@chaot sagte in Ram läuft voll:

Ich habe bei mir 2 GB unverteilt gelassen und das System läuft ohne große Lastprobleme,

Ich habe im Moment nur einen NUC5PPYH zur Verfügung gehabt und der hat nur 8GB RAM. Da konnte ich keine 2GB RAM ungenutzt frei lassen
Offizielles habe ich nicht gefunden, hatte aber über den ProxMox Adapter folgendes gesehen:

von den 8 GB standen dem PVE nur 7.68 GB zur Verfügung, also habe ich 600 MB abgezogen
(Mag sein, dass dieser Wert bei mehr VMs oder LXCs anders ausfällt)

@chaot sagte in Ram läuft voll:

Der Proxmox Adapter muss nach so einer Aktion einmal neu gestartet werden.

Das hat ja nicht gereicht - der war ja sowieso down als ich iobroker gestoppt hatte
Auch ein erneuter restart der Instanz hat nicht die aktuellen Werte gebracht, ein forced refresh des Browsers auch nicht.
Aber irgendwann stand es dann auch in den Objekten korrekt drin

[Chaot]

@homoran Auf die Idee bin ich gar nicht gekommen:

Sind etwas über 500 MB wenn ich das richtig sehe.

[Homoran]

@chaot sagte in Ram läuft voll:

Sind etwas über 500 MB wenn ich das richtig sehe.

das würde zu meinen 320 MB bei 8GB/2VMs passen

Was mich im Moment am meisten freut ist dass die LOAD jetzt unter 1 liegt, die bisher zwischen 2,5 und 3 lag

[D3ltoroxp]

Kann es aber sein das ioB diesen Viewwechsel nicht mag ? Seit das aus ist scheint es ruhig zu bleiben. Hab ich aber gefühlt schon ein paar mal gesagt hier bei anderen Verdachtsfällen

[Homoran]

@d3ltoroxp Du bastelst zeitgleich an so vielen Baustellen, dass man als Außenstehender irgendwann die Übersicht verliert, ob und was bereits erledigt ist oder nicht.

Ich bin nach wie vor der Meinung, dass bei dir irgendein (oder mehrere) Skripte deine Probleme verursachen.
Möglicherweise ezeugst du aber neue Baustellen, wo vorher keine waren, in dem du immer wieder an anderen Stellen rumschraubst

[crunchip]

@chaot sagte in Ram läuft voll:

aber es wäre schon gut zu wissen wieviel tatsächlich mindestens benötigt wird.

Das steht doch direkt auf der Proxmox Seite
~~Hatten wir nicht das Thema in nem Anderen Thread.~~das war ja hier, nur ein Stück weiter oben
Edit
https://www.proxmox.com/de/proxmox-ve/systemanforderungen

[crunchip]

@homoran sagte in Ram läuft voll:

SWAP im PVE war weg

Du kannst ja auch den swap entgegen der default Einstellung anpassen

[Homoran]

@crunchip sagte in Ram läuft voll:

@homoran sagte in Ram läuft voll:

SWAP im PVE war weg

Du kannst ja auch den swap entgegen der default Einstellung anpassen

Danke - war missverständlich ausgedrückt. Die Nutzung des Swap war weg.
Deswegen wahrscheinlich jetzt auch der deutliche Drop in der Load

[crunchip]

@homoran ne hab schon verstanden, meinte nur, du kannst ja den swappiness Wert anpassen, wann der swap greifen soll.
Default sind 60.

[crunchip]

@d3ltoroxp sagte in Ram läuft voll:

Dort einfach abändern und die VM oder den LXC neu starten

Im Lxc kann der Ram im laufendem Betrieb hoch und runter geregelt werden, ganz ohne Neustart.

[crunchip]

@d3ltoroxp

• wie ist denn nun eigendlich der Aktuelle Stand, laut Screenshot, hast du ja erst mal 3 Problem Adapter, die nicht laufen, unabhängig vom javascript.
  Ist das denn schon behoben?

• das 2te was mir auffällt, die Ausgabe passt Hier nicht, da fehlt die Zeile

/usr/bin/nodejs

• dein Problem ist ja nicht nur der Ram Anstieg, sonder deine CPU steigt ja auch ums 7fache
• da müsste doch noch so einiges an "Baustellen" im Log zu finden sein(vll auch versteckt, weil logstufe auf err steht) wieviel kb/mb hat bei der denn das Log eines ganzen Tages

[D3ltoroxp]

@crunchip Also der Calendar Adapter wird nicht mehr genutzt der ist deaktiviert und wird dann noch deinstalliert. Der dasWetter Adapter läuft, dort konnte ich aber schon zum 2. x sehen das er Fehler schmeißt, aber wie schon von jemand anderem vermutet ein Folgefehler.

Wenn du als 3. den Vaccum Adapter meinst, der ist momentan aus.

Die Log ist aktuell 1 MB groß.

Die HW kann nicht das Problem sein, das da der Ram oder die CPU einen weg hat ? Das neue System war schob gebraucht.

Logstufe müsste ich dann von allen Adaptern auf Debug stellen ?

EDIT::

Auf jeden Fall gibt es hier immer wieder Probleme mit der DB, wie auch bei das Wetter...

weatherunderground.0
	2022-01-06 10:34:45.071	error	Could not parse hourly Forecast-Data: Error: DB closed
weatherunderground.0
	2022-01-06 10:34:45.069	error	Could not parse hourly Forecast-Data: Error: DB closed
weatherunderground.0
	2022-01-06 10:34:45.068	error	Could not parse hourly Forecast-Data: Error: DB closed
weatherunderground.0
	2022-01-06 10:34:45.066	error	Could not parse hourly Forecast-Data: Error: DB closed
weatherunderground.0
	2022-01-06 10:34:45.064	error	Could not parse hourly Forecast-Data: Error: DB closed
weatherunderground.0
	2022-01-06 10:34:45.061	error	Could not parse hourly Forecast-Data: Error: DB closed
weatherunderground.0
	2022-01-06 10:34:45.059	error	Could not parse hourly Forecast-Data: Error: DB closed
weatherunderground.0
	2022-01-06 10:34:45.057	error	Could not parse hourly Forecast-Data: Error: DB closed
weatherunderground.0
	2022-01-06 10:34:45.056	error	Could not parse hourly Forecast-Data: Error: DB closed
weatherunderground.0
	2022-01-06 10:34:45.055	error	Could not parse hourly Forecast-Data: Error: DB closed
weatherunderground.0
	2022-01-06 10:34:45.053	error	Could not parse hourly Forecast-Data: Error: DB closed
weatherunderground.0
	2022-01-06 10:34:45.052	error	Could not parse hourly Forecast-Data: Error: DB closed
weatherunderground.0
	2022-01-06 10:34:45.051	error	Could not parse hourly Forecast-Data: Error: DB closed
weatherunderground.0
	2022-01-06 10:34:45.049	error	Could not parse hourly Forecast-Data: Error: DB closed
weatherunderground.0
	2022-01-06 10:34:45.048	error	Could not parse hourly Forecast-Data: Error: DB closed
weatherunderground.0
	2022-01-06 10:34:45.046	error	Could not parse hourly Forecast-Data: Error: DB closed
weatherunderground.0
	2022-01-06 10:34:45.045	error	Could not parse hourly Forecast-Data: Error: DB closed
weatherunderground.0
	2022-01-06 10:34:45.044	error	Could not parse hourly Forecast-Data: Error: DB closed
weatherunderground.0
	2022-01-06 10:34:45.041	error	Could not parse hourly Forecast-Data: Error: DB closed
weatherunderground.0
	2022-01-06 10:34:45.040	error	Could not parse hourly Forecast-Data: Error: DB closed
weatherunderground.0
	2022-01-06 10:34:45.038	error	Could not parse hourly Forecast-Data: Error: DB closed
weatherunderground.0
	2022-01-06 10:34:45.037	error	Could not parse hourly Forecast-Data: Error: DB closed
weatherunderground.0
	2022-01-06 10:34:45.036	error	Could not parse hourly Forecast-Data: Error: DB closed
weatherunderground.0
	2022-01-06 10:34:45.034	error	Could not parse hourly Forecast-Data: Error: DB closed
weatherunderground.0
	2022-01-06 10:34:45.032	error	Could not parse hourly Forecast-Data: Error: DB closed
weatherunderground.0
	2022-01-06 10:34:45.031	error	Could not parse hourly Forecast-Data: Error: DB closed
weatherunderground.0
	2022-01-06 10:34:45.029	error	Could not parse hourly Forecast-Data: Error: DB closed
weatherunderground.0
	2022-01-06 10:34:45.018	error	Could not parse hourly Forecast-Data: Error: DB closed
weatherunderground.0
	2022-01-06 10:34:45.017	error	Could not parse hourly Forecast-Data: Error: DB closed
weatherunderground.0
	2022-01-06 10:34:45.016	error	Could not parse hourly Forecast-Data: Error: DB closed
weatherunderground.0
	2022-01-06 10:34:45.014	error	Could not parse hourly Forecast-Data: Error: DB closed
weatherunderground.0
	2022-01-06 10:34:45.012	error	Could not parse hourly Forecast-Data: Error: DB closed
weatherunderground.0
	2022-01-06 10:34:45.011	error	Could not parse hourly Forecast-Data: Error: DB closed
weatherunderground.0
	2022-01-06 10:34:45.009	error	Could not parse hourly Forecast-Data: Error: DB closed
weatherunderground.0
	2022-01-06 10:34:45.008	error	Could not parse hourly Forecast-Data: Error: DB closed
weatherunderground.0
	2022-01-06 10:34:45.006	error	Could not parse hourly Forecast-Data: Error: DB closed
weatherunderground.0
	2022-01-06 10:34:45.004	error	exception in daily forecast data Error: DB closed
weatherunderground.0
	2022-01-06 10:34:45.003	error	exception in daily forecast data Error: DB closed
weatherunderground.0
	2022-01-06 10:34:45.001	error	exception in daily forecast data Error: DB closed

Kann sein das die einen Weg hat ? Oder das es einfach der Folgefehler ist, weil eben der Ram voll läuft die CPU überlastet ist und er dadurch nicht schafft auf die DB zu schreiben, wobei die ja auf der SSD liegt und nicht im Ram oder ?

Ich glaube ich werde mal was probieren. Ich möchte mal versuchen das ganz auf einen LXC zu packen also neu von Grund auf, dann müsste ich doch mit Backitup alles wieder rüber holen können oder ? Aber da hole ich vllt auch defekte Daten mit ?

Ich hab jetzt auch auf den Ram Verbauch geschaut bin grad wieder am Limit..

smarthome@iobroker:~$ ps -eo pmem,pcpu,vsize,pid,cmd | sort -k 1 -nr | head -20
35.0 20.4 3340788 29964 io.javascript.0
 8.6 52.0 1343628  376 iobroker.js-controller
 3.3  0.1 1056104  426 io.admin.0
 2.6  0.7 888908  1400 io.web.0
 2.5  1.2 771124   613 io.sonoff.0
 2.1  0.1 985212   486 node-red
 1.9  0.4 728208   598 io.shelly.0
 1.8  0.1 912548  1307 io.sourceanalytix.0
 1.7  0.4 917992 31010 io.zigbee.0
 1.6  0.8 688512  1355 io.upnp.0
 1.6  0.6 707300   628 io.tr-064.0
 1.6  0.2 972564   520 io.alexa2.0
 1.6  0.2 845064  1322 io.statistics.0
 1.5  0.0 962912   704 io.backitup.0
 1.5  0.0 962780   535 io.fhem.0
 1.5  0.0 702528   689 io.hm-rega.0
 1.4  0.4 667276  1277 io.proxmox.0
 1.4  0.0 937488   821 io.info.0
 1.4  0.0 768640   918 io.iot.0
 1.4  0.0 702204   674 io.hm-rpc.0
smarthome@iobroker:~$

Der Javascript ist grad bei knapp 2GB sonst bei so 200-300 MB. Dann muss doch da immer ein faules Script getriggert werden. Das ist aber erst faul geworden seitdem man alles upgedated hat, wie Admin 5, js controller, node usw.
Außer bei Update von nodejs ging was schief. Weil an den Scripten wurde nichts geändert und davor hatte ich das Problem ja nicht, da waren für das komplette System mit anderen VM's und LXC's gerade mal 8GB vorhanden.

Javascript Adapter beendet und nach ca. 1 min ging der Ram wieder auf 3 auch die CPU beruhigt sich wieder. Deutet indem Fall wohl alles darauf hin, das hier irgendwann ein Script getriggert wird, was dies dann verursacht.

Ich werde mal die wichtigsten deaktivieren und schauen wies weiter geht.

[crunchip]

@d3ltoroxp sagte in Ram läuft voll:

Wenn du als 3. den Vaccum Adapter meinst,

nein der zigbee

@d3ltoroxp sagte in Ram läuft voll:

Logstufe müsste ich dann von allen Adaptern auf Debug stellen

nein, dann kackt er wahrscheinlich komplett ab
auf Info, bzw maximal auf warn, wenn auf err steht, bekommst du die Warnmeldungen nicht mit

@d3ltoroxp sagte in Ram läuft voll:

weatherunderground.0

hast du eine eigene Wetterstation?

@d3ltoroxp sagte in Ram läuft voll:

Ich glaube ich werde mal was probieren. Ich möchte mal versuchen das ganz auf einen LXC zu packen also neu von Grund auf, dann müsste ich doch mit Backitup alles wieder rüber holen können oder ? Aber da hole ich vllt auch defekte Daten mit ?

solltes du irgendwas durchreichen müssen(usb) müsstest du das erst einrichten bei einem LXC
ansonsten, nützt dir das nichts, wenn du irgendein "Problemscript" am laufen hast
was du ja selbst mit deiner Aussage festgestellt hast

@d3ltoroxp sagte in Ram läuft voll:

Der Javascript ist grad bei knapp 2GB sonst bei so 200-300 MB.

@d3ltoroxp sagte in Ram läuft voll:

Weil an den Scripten wurde nichts geändert

eben, diese müssen aber ggf angepasst werden

@d3ltoroxp sagte in Ram läuft voll:

ch werde mal die wichtigsten deaktivieren und schauen wies weiter geht.

wohl er die kompliziertesten, die möglicherweise in einer Dauerschleife enden oder irgendwelche timeouts nicht gestoppt werden....

zeig mal bitte nochmal die Ausgabe von

which nodejs node npm && nodejs -v && node -v && npm -v

[D3ltoroxp]

@crunchip said in Ram läuft voll:

zeig mal bitte nochmal die Ausgabe von

smarthome@iobroker:~$ which nodejs node npm && nodejs -v && node -v && npm -v
/usr/bin/nodejs
/usr/bin/node
/usr/bin/npm
v14.18.2
v14.18.2
6.14.15
smarthome@iobroker:~$

Der Zigbee Adapter läuft, das HMIP Funkmodul auch.

hast du eine eigene Wetterstation?

Hab ich nicht, nur einen Temp Sensor.

solltes du irgendwas durchreichen müssen(usb) müsstest du das erst einrichten bei einem LXC

Ich weiß hatte ich schon mal mit einer USB HDD gemacht, hab auch ne Anleitung für nen Stick, das sollte klappen.

Ich hab schon angefangen die Scripte durch zu schauen, wo viel passiert, wo Timeouts und Variablen vorhanden sind.