ioBroker wird immer wieder zerschossen - Suche Lösungsweg

[Thomas Braun]

@chaot

iobroker status

bringt in der Situation?
Im Log file steht?

[Chaot]

@thomas-braun

iobroker satus

iobroker is running on this host.


Objects type: file
States  type: redis

Das ist das current.log

Spoiler

021-05-23 18:35:30.399  - ^[[32minfo^[[39m: time-switch.0 (2181) cleaning everything up...
2021-05-23 18:35:30.444  - ^[[32minfo^[[39m: time-switch.0 (2181) Terminated (START_IMMEDIATELY_AFTER_STOP): Without reason
2021-05-23 18:35:30.599  - ^[[32minfo^[[39m: time-switch.0 (2181) Got terminate signal TERMINATE_YOURSELF
2021-05-23 18:35:32.897  - ^[[33mwarn^[[39m: host.ioBroker instance system.adapter.lgtv.0 terminated due to SIGTERM
2021-05-23 18:35:32.902  - ^[[33mwarn^[[39m: host.ioBroker instance system.adapter.linux-control.0 terminated due to SIGTERM
2021-05-23 18:35:32.956  - ^[[33mwarn^[[39m: host.ioBroker instance system.adapter.mqtt.0 terminated due to SIGTERM
2021-05-23 18:35:32.960  - ^[[33mwarn^[[39m: host.ioBroker instance system.adapter.javascript.0 terminated due to SIGTERM
2021-05-23 18:35:33.020  - ^[[33mwarn^[[39m: host.ioBroker instance system.adapter.email.0 terminated due to SIGTERM
2021-05-23 18:35:33.021  - ^[[33mwarn^[[39m: host.ioBroker instance system.adapter.ubuntu.0 terminated due to SIGTERM
2021-05-23 18:35:33.022  - ^[[33mwarn^[[39m: host.ioBroker instance system.adapter.vis-inventwo.0 terminated due to SIGTERM
2021-05-23 18:35:33.023  - ^[[33mwarn^[[39m: host.ioBroker instance system.adapter.smartcontrol.0 terminated due to SIGTERM
2021-05-23 18:35:33.103  - ^[[33mwarn^[[39m: host.ioBroker instance system.adapter.time-switch.0 terminated due to SIGTERM
2021-05-23 18:35:33.104  - ^[[33mwarn^[[39m: host.ioBroker instance system.adapter.tvprogram.0 terminated due to SIGTERM
2021-05-23 18:35:33.105  - ^[[33mwarn^[[39m: host.ioBroker instance system.adapter.backitup.0 terminated due to SIGTERM
2021-05-23 18:35:33.162  - ^[[33mwarn^[[39m: host.ioBroker instance system.adapter.admin.0 terminated due to SIGTERM
2021-05-23 18:35:33.163  - ^[[33mwarn^[[39m: host.ioBroker instance system.adapter.unifi.0 terminated due to SIGTERM
2021-05-23 18:35:33.164  - ^[[33mwarn^[[39m: host.ioBroker instance system.adapter.trashschedule.0 terminated due to SIGTERM
2021-05-23 18:35:33.165  - ^[[33mwarn^[[39m: host.ioBroker instance system.adapter.web.0 terminated due to SIGTERM
2021-05-23 18:35:33.230  - ^[[33mwarn^[[39m: host.ioBroker instance system.adapter.sonoff.0 terminated due to SIGTERM
2021-05-23 18:35:33.230  - ^[[33mwarn^[[39m: host.ioBroker instance system.adapter.tankerkoenig.0 terminated due to SIGTERM
2021-05-23 18:35:33.302  - ^[[33mwarn^[[39m: host.ioBroker instance system.adapter.javascript.1 terminated due to SIGTERM
2021-05-23 18:35:33.303  - ^[[33mwarn^[[39m: host.ioBroker instance system.adapter.proxmox.0 terminated due to SIGTERM
2021-05-23 18:35:33.303  - ^[[33mwarn^[[39m: host.ioBroker instance system.adapter.phantomjs.0 terminated due to SIGTERM
2021-05-23 18:35:33.370  - ^[[33mwarn^[[39m: host.ioBroker instance system.adapter.wled.0 terminated due to SIGTERM
2021-05-23 18:35:33.371  - ^[[33mwarn^[[39m: host.ioBroker instance system.adapter.fully-tablet-control.0 terminated due to SIGTERM
2021-05-23 18:35:33.373  - ^[[33mwarn^[[39m: host.ioBroker instance system.adapter.logparser.0 terminated due to SIGTERM
2021-05-23 18:35:33.425  - ^[[33mwarn^[[39m: host.ioBroker instance system.adapter.upnp.0 terminated due to SIGTERM
2021-05-23 18:35:33.426  - ^[[33mwarn^[[39m: host.ioBroker instance system.adapter.info.0 terminated due to SIGTERM
2021-05-23 18:40:30.142  - ^[[32minfo^[[39m: host.ioBroker iobroker.js-controller version 3.3.10 js-controller starting
2021-05-23 18:40:30.147  - ^[[32minfo^[[39m: host.ioBroker Copyright (c) 2014-2021 bluefox, 2014 hobbyquaker
2021-05-23 18:40:30.148  - ^[[32minfo^[[39m: host.ioBroker hostname: ioBroker, node: v12.22.1
2021-05-23 18:40:30.148  - ^[[32minfo^[[39m: host.ioBroker ip addresses: 192.168.8.50 fe80::88d5:5eff:fea2:9293
2021-05-23 18:40:30.695  - ^[[32minfo^[[39m: host.ioBroker connected to Objects and States
2021-05-23 18:40:30.737  - ^[[32minfo^[[39m: host.ioBroker added notifications configuration of host
2021-05-23 18:40:31.288  - ^[[32minfo^[[39m: host.ioBroker Delete host system.host.ioBroker
2021-05-23 18:40:31.398  - ^[[32minfo^[[39m: host.ioBroker 77 instances found
2021-05-23 18:40:31.497  - ^[[32minfo^[[39m: host.ioBroker starting 1 instance
2021-05-23 18:40:31.537  - ^[[33mwarn^[[39m: host.ioBroker startInstance cannot find adapter "node-red@1.8.0". Try to install it... 1 attempt
2021-05-23 18:40:31.537  - ^[[32minfo^[[39m: host.ioBroker iobroker install node-red@1.8.0 using installedVersion
2021-05-23 18:40:31.723  - ^[[32minfo^[[39m: host.ioBroker instance system.adapter.admin.0 started with pid 386
2021-05-23 18:40:33.369  - ^[[32minfo^[[39m: host.ioBroker iobroker npm-install: No repositories defined.
2021-05-23 18:40:34.392  - ^[[32minfo^[[39m: host.ioBroker iobroker npm-install: exit 45
2021-05-23 18:40:34.470  - ^[[31merror^[[39m: admin.0 (386) Unhandled promise rejection. This error originated either by throwing inside of an async function without a ca>
2021-05-23 18:40:34.473  - ^[[31merror^[[39m: admin.0 (386) unhandled promise rejection: Cannot read property 'common' of null
2021-05-23 18:40:34.478  - ^[[31merror^[[39m: admin.0 (386) TypeError: Cannot read property 'common' of null

[Chaot]

@thomas-braun Das ist das komplette log.
Aber irgendwie hilft mir das nicht weiter:
Log.txt

[crunchip]

@chaot was ist mit node-red, wolltest du da installieren?
bin mir nicht sicher, aber steht in dem Fall eventuell im iobroker.2021-05-23.log mehr als im current.log

[Chaot]

@crunchip Jupp das denke ich auch.

Installieren wollte ich nichts.
Ich saß im Wohnzimmer als plötzlich die VIS ausging.
Dann habe ich zunächst versucht den iobroker zu starten und auch mal den Fixer laufen lassen.
Hier ist die ganze Log Datei, die komischerweise erst ab 18:xx Uhr anfängt. Ich habe den Host auf Logstufe warn stehen.
Log.txt

[Thomas Braun]

@chaot

dmesg -T

Oder ist das wieder so Container-Zeug? Möglich daß es da kein dmesg gibt.

[crunchip]

@thomas-braun sagte in ioBroker wird immer wieder zerschossen - Suche Lösungsweg:

Container-Zeug?

jep

@Chaot ich tippe da wohl eher auf ein Admin Problem

[BBTown]

@chaot sagte in ioBroker wird immer wieder zerschossen - Suche Lösungsweg:

NPM 4.14.12

ist das tatsächlich so, oder ein Schreibfehler?
normal wäre 6.x.x

[Homoran]

@bbtown sagte in ioBroker wird immer wieder zerschossen - Suche Lösungsweg:

@chaot sagte in ioBroker wird immer wieder zerschossen - Suche Lösungsweg:

NPM 4.14.12

ist das tatsächlich so, oder ein Schreibfehler?
normal wäre 6.x.x

und in Verbindung mit

@chaot sagte in ioBroker wird immer wieder zerschossen - Suche Lösungsweg:

Ubuntu 20.04.2

befürchte ich ein Ubuntu-eigenes node-Repo mit seltsamen Versionen

[Chaot]

@bbtown Ist ein Schreibfehler.
NPM 6.14.12
@Hormoran
Das hat aber bis vor zwei Tagen noch einwandfrei funktioniert. Erst als ich auf Admin höher als 5.0.27 ging hat das angefangen.
Zunächst hatte ich das Backup vom Proxmox im Verdacht weil das zeitlich mit dem ersten Ausfall zusammenhing, aber der heutige Ausfall war ohne jegliche Aktion seitens User oder Proxmox.

@crunchip Inwiefern?

@Thomas-Braun Der Befehl spuckt jede Menge aus. Wieviel brauchst du davon?
dmesg.txt

[Thomas Braun]

@chaot sagte in ioBroker wird immer wieder zerschossen - Suche Lösungsweg:

Der Befehl spuckt jede Menge aus. Wieviel brauchst du davon?

Alles. Vermutlich wird da aber nix für 'unseren Fall' drin stehen.

[Chaot]

@thomas-braun Bitte schön:
dmesg2.txt
Kann das sein das das die Ausgabe von Proxmox insgesamt ist und nicht nur vom einzelnen Container?

[Thomas Braun]

@chaot
Möglich, das ist alles vom Kernel. Beim Container also der Wirt für die angedockten Container.

[Thomas Braun]

@chaot

[Sun May 23 06:20:24 2021] oom-kill:constraint=CONSTRAINT_MEMCG,nodemask=(null),cpuset=ns,mems_allowed=0,oom_memcg=/lxc/105,task_memcg=/lxc/105/ns/system.slice/influxdb.service,task=influxd,pid=1375,uid=100107
[Sun May 23 06:20:24 2021] Memory cgroup out of memory: Killed process 1375 (influxd) total-vm:1842408kB, anon-rss:667420kB, file-rss:0kB, shmem-rss:0kB, UID:100107 pgtables:2008kB oom_score_adj:0
[Sun May 23 06:20:24 2021] oom_reaper: reaped process 1375 (influxd), now anon-rss:0kB, file-rss:0kB, shmem-rss:0kB

Da ist dir der Speicher mal ausgegangen.
Bei den diversen Meldungen zu

[Thu May 20 04:00:03 2021] EXT4-fs (dm-13): write access unavailable, skipping orphan cleanup
[Thu May 20 04:00:03 2021] EXT4-fs (dm-13): mounted filesystem without journal. Opts: noload
[Thu May 20 04:04:38 2021] EXT4-fs (dm-13): mounted filesystem without journal. Opts: noload

bin ich nicht sicher ob das so soll in einem Container. Sieht aber komisch aus.

[Chaot]

@thomas-braun
Den Speicher habe ich auch gelesen. Wundert mich, da ich aktuell nur 12 GB von 16 GB überhaupt belegt habe. Also alle laufenden Maschinen kommen eigentlich nie über 12GB.

Die zweite Fehlermeldung verstehe ich gar nicht. Das müsste ja dann die interne SSD sein. Die extern angebundenen Platten haben NTFS.

[Thomas Braun]

@chaot
Naja, der oom_reaper tritt erst auf den Plan, wenn das System droht abzusaufen.

[Chaot]

@thomas-braun Ok, das ist Container 105. Bei mir die Influx DB mit Grafana. Die war tatsächlich heute um 7 Uhr mal weg bzw. nicht erreichbar. Da habe ich jetzt den Swap von 0 auf 1024 gesetzt. Mal schauen was das bewirkt.

[Chaot]

@thomas-braun Könnte es möglich sein das jemand auf die Admin Instanz kam und das zerschossen hat?
Mir ist etwas ganz seltsames aufgefallen:

In meiner Fritzbox hatte ich normalerweise eine Freigabe zum ioBroker über Myfritz eingerichtet. Irgendwann kam die Firmware 7.21 und dann wurde scheinbar die Freigabe geändert.
Plötzlich ist die Freigabe auf der externen IP ohne über Myfritz zu gehen.
Wenn ich die Freigabe jetzt lösche und wieder einrichte wird die wieder über die externe IP erreichbar.
Vorsorglich habe ich die natürlich sofort deaktiviert.

Wäre es also denkbar das über die Admin Oberfläche bzw. diese Freigabe ein derartiger Schaden angerichtet werden kann?

[Thomas Braun]

@chaot sagte in ioBroker wird immer wieder zerschossen - Suche Lösungsweg:

Vermutlich möglich.
Da fehlt mir aber das Wissen, um das genauer bewerten zu können.

[Chaot]

@thomas-braun Ok, Danke. Ich werde das mal im Auge behalten.