[gelöst] ioBroker Backup Error

[Thomas Braun]

@kuddel

Dann ist das Shell Skript Murks.
In meiner Signatur steht drin wie man den Mumpitz wieder aufräumt.

[Kuddel]

@thomas-braun kann gut sein.

...wenn ein Windows Admin in Ubuntu unterwegs ist ^^

[Homoran]

@thomas-braun sagte in ioBroker Backup Error:

@kuddel
Nodejs falsch installiert.
Wie hast du das gemacht?

@Kuddel
wir suchen schon ewig die Quelle der Anleitung die node in /local/ schibt.

wie @Thomas-Braun schon schrieb kann das das Snippet nicht sein.

Hast du noch etwas anderes (z.B. mit deinem Shell skript) ausgeführt?
wenn ja wo kam die Anleitung her?

[Kuddel]

@homoran die VM (Ubuntu 18.04) läuft schon ein bisschen länger.

Daher kann ich leider nicht mehr sagen, nach welcher Anleitung ich den ioBroker initial installiert habe.

Kann man die node Instalation nix fixen, oder muss ich eine komplett neue VM aufsetzen und alles manuell umziehen ?

[Homoran]

@kuddel sagte in ioBroker Backup Error:

Kann man die node Instalation nix fixen

@thomas-braun sagte in ioBroker Backup Error:

In meiner Signatur steht drin wie man den Mumpitz wieder aufräumt.

[Kuddel]

@homoran sagte in ioBroker Backup Error:

In meiner Signatur steht drin wie man den Mumpitz wieder aufräumt.

daniel@ioBroker-MASTER:~$ uname -m && which nodejs node npm && nodejs -v && node -v && npm -v && whoami && pwd && sudo apt update &> /dev/null && sudo apt update && apt policy nodejs
x86_64
/usr/bin/nodejs
/usr/bin/node
/usr/bin/npm
v16.15.1
v16.15.1
8.11.0
daniel
/home/daniel
OK:1 http://de.archive.ubuntu.com/ubuntu bionic InRelease
OK:2 https://deb.nodesource.com/node_16.x bionic InRelease
OK:3 http://de.archive.ubuntu.com/ubuntu bionic-updates InRelease
OK:4 http://de.archive.ubuntu.com/ubuntu bionic-backports InRelease
OK:5 http://de.archive.ubuntu.com/ubuntu bionic-security InRelease
Paketlisten werden gelesen... Fertig
Abhängigkeitsbaum wird aufgebaut.
Statusinformationen werden eingelesen.... Fertig
Aktualisierung für 5 Pakete verfügbar. Führen Sie »apt list --upgradable« aus, um sie anzuzeigen.
nodejs:
  Installiert:           16.15.1-1nodesource1
  Installationskandidat: 16.15.1-1nodesource1
  Versionstabelle:
 *** 16.15.1-1nodesource1 500
        500 https://deb.nodesource.com/node_16.x bionic/main amd64 Packages
        100 /var/lib/dpkg/status
     8.10.0~dfsg-2ubuntu0.4 500
        500 http://de.archive.ubuntu.com/ubuntu bionic-updates/universe amd64 Packages
     8.10.0~dfsg-2ubuntu0.2 500
        500 http://de.archive.ubuntu.com/ubuntu bionic-security/universe amd64 Packages
     8.10.0~dfsg-2 500
        500 http://de.archive.ubuntu.com/ubuntu bionic/universe amd64 Packages

daniel@ioBroker-MASTER:~$ iobroker backup
host.ioBroker-MASTER 24842 states saved
host.ioBroker-MASTER 29179 objects saved

<--- Last few GCs --->

[2632:0x62f6570]     9959 ms: Scavenge (reduce) 2044.3 (2048.4) -> 2044.3 (2048.4) MB, 0.8 / 0.0 ms  (average mu = 0.933, current mu = 0.748) allocation failure
[2632:0x62f6570]    10051 ms: Mark-sweep (reduce) 2051.4 (2055.5) -> 2051.4 (2055.5) MB, 73.4 / 0.0 ms  (+ 0.0 ms in 1 steps since start of marking, biggest step 0.0 ms, walltime since start of marking 92 ms) (average mu = 0.869, current mu = 0.320) alloc

<--- JS stacktrace --->

FATAL ERROR: Reached heap limit Allocation failed - JavaScript heap out of memory
 1: 0xb09c10 node::Abort() [node]
 2: 0xa1c193 node::FatalError(char const*, char const*) [node]
 3: 0xcf8dde v8::Utils::ReportOOMFailure(v8::internal::Isolate*, char const*, bool) [node]
 4: 0xcf9157 v8::internal::V8::FatalProcessOutOfMemory(v8::internal::Isolate*, char const*, bool) [node]
 5: 0xeb09f5  [node]
 6: 0xec06bd v8::internal::Heap::CollectGarbage(v8::internal::AllocationSpace, v8::internal::GarbageCollectionReason, v8::GCCallbackFlags) [node]
 7: 0xec33be v8::internal::Heap::AllocateRawWithRetryOrFailSlowPath(int, v8::internal::AllocationType, v8::internal::AllocationOrigin, v8::internal::AllocationAlignment) [node]
 8: 0xe84632 v8::internal::Factory::AllocateRaw(int, v8::internal::AllocationType, v8::internal::AllocationAlignment) [node]
 9: 0xe7cc44 v8::internal::FactoryBase<v8::internal::Factory>::AllocateRawWithImmortalMap(int, v8::internal::AllocationType, v8::internal::Map, v8::internal::AllocationAlignment) [node]
10: 0xe7eca1 v8::internal::FactoryBase<v8::internal::Factory>::NewRawTwoByteString(int, v8::internal::AllocationType) [node]
11: 0xfa2a02 v8::internal::JsonParser<unsigned short>::MakeString(v8::internal::JsonString const&, v8::internal::Handle<v8::internal::String>) [node]
12: 0xfa4b2d v8::internal::JsonParser<unsigned short>::ParseJsonValue() [node]
13: 0xfa52bf v8::internal::JsonParser<unsigned short>::ParseJson() [node]
14: 0xd7accb v8::internal::Builtin_JsonParse(int, unsigned long*, v8::internal::Isolate*) [node]
15: 0x15f2199  [node]
/usr/bin/iobroker: line 8:  2631 Aborted                 sudo -H -u iobroker node /opt/iobroker/node_modules/iobroker.js-controller/iobroker.js "$@"

[Homoran]

@kuddel sagte in ioBroker Backup Error:

Reached heap limit Allocation failed - JavaScript heap out of memory

Backup ist immer noch zu groß

Überwachungsvideos oder BLE Daten von 2000 Bürgern gespeichert?

[Kuddel]

@homoran nicht dass ich wüsste.

bekommt man die Quelle der Datenmenge irgendwie mit df oder so raus ?

[Glasfaser]

@kuddel

Schau mal damit nach :

du -hs /opt/iobroker/iobroker-data/files/*

[Kuddel]

@glasfaser sagte in ioBroker Backup Error:

du -hs /opt/iobroker/iobroker-data/files/*

daniel@ioBroker-MASTER:~$ du -hs /opt/iobroker/iobroker-data/files/*
8,0K    /opt/iobroker/iobroker-data/files/0_userdata.0
8,0K    /opt/iobroker/iobroker-data/files/admin.0
252K    /opt/iobroker/iobroker-data/files/admin.admin
1,2M    /opt/iobroker/iobroker-data/files/alexa2.admin
420K    /opt/iobroker/iobroker-data/files/backitup.admin
248K    /opt/iobroker/iobroker-data/files/cloud.admin
204K    /opt/iobroker/iobroker-data/files/coronavirus-statistics.admin
4,9M    /opt/iobroker/iobroker-data/files/daswetter.admin
672K    /opt/iobroker/iobroker-data/files/device-reminder.admin
24M     /opt/iobroker/iobroker-data/files/devices.admin
464K    /opt/iobroker/iobroker-data/files/discovery.admin
184K    /opt/iobroker/iobroker-data/files/dwd.admin
76K     /opt/iobroker/iobroker-data/files/email.admin
8,0K    /opt/iobroker/iobroker-data/files/enigma2.0
176K    /opt/iobroker/iobroker-data/files/enigma2.admin
56K     /opt/iobroker/iobroker-data/files/feiertage.admin
1,4M    /opt/iobroker/iobroker-data/files/flot
12K     /opt/iobroker/iobroker-data/files/flot.admin
136K    /opt/iobroker/iobroker-data/files/fritzdect.admin
680K    /opt/iobroker/iobroker-data/files/fullcalendar.admin
28K     /opt/iobroker/iobroker-data/files/fullybrowser.admin
136K    /opt/iobroker/iobroker-data/files/gartenbewaesserung.admin
40K     /opt/iobroker/iobroker-data/files/harmony.admin
212K    /opt/iobroker/iobroker-data/files/history.admin
64K     /opt/iobroker/iobroker-data/files/hm-rega
160K    /opt/iobroker/iobroker-data/files/hm-rega.admin
2,5M    /opt/iobroker/iobroker-data/files/hm-rpc.admin
72K     /opt/iobroker/iobroker-data/files/homepilot20.admin
92K     /opt/iobroker/iobroker-data/files/ical.admin
6,9M    /opt/iobroker/iobroker-data/files/icons-mfd-png
16K     /opt/iobroker/iobroker-data/files/icons-mfd-png.admin
9,9M    /opt/iobroker/iobroker-data/files/icons-mfd-svg
16K     /opt/iobroker/iobroker-data/files/icons-mfd-svg.admin
3,3M    /opt/iobroker/iobroker-data/files/info.admin
7,8M    /opt/iobroker/iobroker-data/files/iot.admin
165M    /opt/iobroker/iobroker-data/files/javascript.admin
32K     /opt/iobroker/iobroker-data/files/klf200.admin
20K     /opt/iobroker/iobroker-data/files/kodi
560K    /opt/iobroker/iobroker-data/files/kodi.admin
280K    /opt/iobroker/iobroker-data/files/linux-control.admin
1,5M    /opt/iobroker/iobroker-data/files/logparser.admin
332K    /opt/iobroker/iobroker-data/files/mihome-vacuum.admin
124K    /opt/iobroker/iobroker-data/files/nut.admin
152K    /opt/iobroker/iobroker-data/files/octoprint.admin
48K     /opt/iobroker/iobroker-data/files/openligadb.admin
244K    /opt/iobroker/iobroker-data/files/parser.admin
60K     /opt/iobroker/iobroker-data/files/pi-hole.admin
148K    /opt/iobroker/iobroker-data/files/ping.admin
48K     /opt/iobroker/iobroker-data/files/pollenflug.admin
196K    /opt/iobroker/iobroker-data/files/pushover.admin
5,2M    /opt/iobroker/iobroker-data/files/radar2.admin
36K     /opt/iobroker/iobroker-data/files/roadtraffic.admin
48M     /opt/iobroker/iobroker-data/files/scenes.admin
228K    /opt/iobroker/iobroker-data/files/shelly.admin
140K    /opt/iobroker/iobroker-data/files/simple-api.admin
108K    /opt/iobroker/iobroker-data/files/snmp.admin
136K    /opt/iobroker/iobroker-data/files/socketio.admin
60K     /opt/iobroker/iobroker-data/files/sonoff.admin
916K    /opt/iobroker/iobroker-data/files/sourceanalytix.admin
212K    /opt/iobroker/iobroker-data/files/statistics.admin
16K     /opt/iobroker/iobroker-data/files/synology
56K     /opt/iobroker/iobroker-data/files/synology.0
56K     /opt/iobroker/iobroker-data/files/synology.1
264K    /opt/iobroker/iobroker-data/files/synology.admin
68K     /opt/iobroker/iobroker-data/files/tankerkoenig.admin
100K    /opt/iobroker/iobroker-data/files/tr-064.admin
176K    /opt/iobroker/iobroker-data/files/tr-064-community.admin
216K    /opt/iobroker/iobroker-data/files/trashschedule.admin
16K     /opt/iobroker/iobroker-data/files/unifi
580K    /opt/iobroker/iobroker-data/files/unifi.admin
128K    /opt/iobroker/iobroker-data/files/upnp.admin
31M     /opt/iobroker/iobroker-data/files/vis
24M     /opt/iobroker/iobroker-data/files/vis.0
136K    /opt/iobroker/iobroker-data/files/vis.admin
20K     /opt/iobroker/iobroker-data/files/vis-bars.admin
12K     /opt/iobroker/iobroker-data/files/vis-canvas-gauges.admin
16K     /opt/iobroker/iobroker-data/files/vis-fancyswitch.admin
12K     /opt/iobroker/iobroker-data/files/vis-history.admin
24K     /opt/iobroker/iobroker-data/files/vis-hqwidgets.admin
12K     /opt/iobroker/iobroker-data/files/vis-jqui-mfd.admin
24K     /opt/iobroker/iobroker-data/files/vis-justgage.admin
308K    /opt/iobroker/iobroker-data/files/vis-materialdesign.admin
36K     /opt/iobroker/iobroker-data/files/vis-metro.admin
20K     /opt/iobroker/iobroker-data/files/vis-plumb.admin
24K     /opt/iobroker/iobroker-data/files/vis-rgraph.admin
20K     /opt/iobroker/iobroker-data/files/vis-timeandweather.admin
7,9M    /opt/iobroker/iobroker-data/files/web
12K     /opt/iobroker/iobroker-data/files/web.0
5,7M    /opt/iobroker/iobroker-data/files/web.admin
1,2M    /opt/iobroker/iobroker-data/files/web-speedy.admin
124K    /opt/iobroker/iobroker-data/files/yamaha.admin
7,5M    /opt/iobroker/iobroker-data/files/zigbee.admin

[Glasfaser]

@kuddel sagte in ioBroker Backup Error:

JavaScript heap out of memory

Nimm mal das :

https://forum.iobroker.net/topic/42792/javascript-heap-out-of-memory-workaround

[Kuddel]

Ich habe durch Zufall die Ursache gefunden...

Durch die stetige Weiterentwicklung von meinem Bewässerungsskripts gab es noch zig alte Skriptversionen im System, die zwar deaktiviert aber noch vorhanden waren.

Nachdem ich diese Skripte alle exportiert und gelöscht habe, läuft das Backup wieder korrekt, das Backup an sich ist kleiner und die RAM Auslastung hat sich deutlich reduziert

[Thomas Braun]

@kuddel

Liegen/lagen diese Skripte zufällig im Verzeichnis 'global'?

[Kuddel]

@thomas-braun ne die waren einsortiert in meiner normalen Struktur