[gelöst] IOB übernimmt keinerlei Änderungen mehr

[Pedder007]

Systemdata	Bitte Ausfüllen
Hardwaresystem:	PI4B
Arbeitsspeicher:	8GB
Festplattenart:	SD-Karte 16BG
Betriebssystem:	Raspbian Bullseye
Node-Version:	v16.19.0
Nodejs-Version:	v16.19.0
NPM-Version:	8.19.3
JS-Controller	4.0.24

Moin, bin hier gerade etwas sehr am verzweifeln.
Ich hatte heute Nachmittag nochmal 3-4 ZigBee Devices von deConz/ConBee nach ZigBee/CC2659 umgezogen.
Das zog dann multiple Anpassungen in den Aliasen, in der VIS und auch an Blocklys nach sich.

Als das alles fertig war wollte ich dann einen neuen SD-Clone ziehen (via GUI/SD-Card Clone)
Der Vorgang kam dann bis zum lesen der Partitionen und danach fror alles ein und IOB war weder per Admin noch per VIS noch erreichbar, bzw. eigentlich war alles tot.
Ein über SSH abgesetztes 'sudo reboot now' schloss mir zwar die Terminal-Sitzung, allerdings erfolgte kein Reboot.
Nach kompletter Stromabschaltung kam das System dann wieder hoch, allerdings waren sämtliche Änderungen weg und das waren nicht wenige Auch eigentlich gelöschte Dinge (alte Aliase, VIS Objekte) waren wieder da, so wie vorher. Einzig die neu nach ZigBee übernommenen Geräte waren noch da.
Vor dem Clone-Versuch war auch wirklich alles da, was ich überprüft hatte, inkl. Script-Funktionalitäten.

Ok, habe ich gedacht, irgendwie dumm gelaufen, alles nochmal von vorne.
Allerdings ist dann genau dasselbe nochmal passiert

Nun habe ich gerade mal nur einige wenige Änderungen (Aliase, Blocklys) durchgeführt und dann den PI gezielt rebootet (ohne SD-Card Clone-Versuch). Hiernach ist schon wieder alles weg.
Ich hatte gerade mal iob diag laufen lassen und mir vorher auch noch die neuesten Updates gezogen, aber alles sieht normal aus und IOB läuft auch ganz normal.

Was kann das denn sein?

PS.
Muss jetzt erstmal ne‘ Pause bis morgen einlegen

[Thomas Braun]

@pedder007 sagte in IOB übernimmt keinerlei Änderungen mehr:

Ich hatte gerade mal iob diag laufen lassen

Und was sagt das?

[gyle]

@pedder007 ich würde spontan auf eine defekte SD-karte tippen - zumindest hatte ich das phänomen bei mir damals auch so...

[liv-in-sky]

@pedder007 falls du die sd austauschen willst, denk mal über eine ssd nach anstatt einer sd

[Pedder007]

@thomas-braun
Ich hab's gerade nochmal laufen lassen und jetzt wirds interessant. Das zeigt mir nämlich nun die 17 (Raspbian) Updates wieder an, die ich danach gestern eigentlich noch per update/upgrade ausgeführt hatte.
Es gab im ersten Teil auch noch ein paar deCONZ Warnings, die ich unten auch einkopiert habe. Evtl. wären die ja nun auch ein Hinweis auf meine deCONZ Performance-Probleme von vor 3 Wochen.

Obwohl das System die ganze Nacht stabil durchgelaufen ist und heute morgen auch alles Scripte sauber abgearbeitet wurden, würde ich nun auch die SD-Karte @gyle in die Betracht ziehen. In dieser Form hatte ich das auch noch nicht. Normalerweise gab es da bei mir auch immer Abstürze und andere Probleme.
Zusätzlich habe ich gerade noch gesehen, dass auch History anscheinend einen längeren Aussetzer hatte (ca. 17:10 gestern (ich glaube da war ungefähr der erste Clone-Versuch), bis zum letzten Reboot heute Nacht 00:40). Weder Shelly (WLAN) noch deConz/ZigBee Daten sind da.

Ich werde nun mal meinen letzten Clone testen.

@liv-in-sky, der Gedanke liegt nahe, aber ich hatte bisher immer versucht das HW-Setup diesbzgl. möglichst schmal zu halten.

======================= SUMMARY =======================
		     v.2023-01-02


Operatingsystem: 	Raspbian GNU/Linux 11 (bullseye)
Installation: 		Native
Timezone: 		Europe/Berlin
User-ID: 		1000
X-Server: 		true
Boot Target: 		graphical.target

Pending OS-Updates: 	17

Nodejs-Installation: 	/usr/bin/nodejs 	v16.19.0
			/usr/bin/node 		v16.19.0
			/usr/bin/npm 		8.19.3
			/usr/bin/npx 		8.19.3

ioBroker Core: 		js-controller 		4.0.24
			admin 			6.3.5

ioBroker Status: 	iobroker is running on this host.


Objects type: jsonl
States  type: jsonl

Status admin:
+ system.adapter.admin.0                  : admin                 : raspberrypi                              -  enabled, port: 8081, bind: 0.0.0.0, run as: admin

Pending iob updates: 	0

Active repo(s): Stable (default)

Objects: 		14037
States: 		12483

Size of iob-Database:

30M	/opt/iobroker/iobroker-data/objects.jsonl
12M	/opt/iobroker/iobroker-data/objects.json.migrated
12M	/opt/iobroker/iobroker-data/objects.json.bak.migrated
12K	/opt/iobroker/iobroker-data/objects.json.old
16M	/opt/iobroker/iobroker-data/states.jsonl
2.2M	/opt/iobroker/iobroker-data/states.json.migrated
2.2M	/opt/iobroker/iobroker-data/states.json.bak.migrated
2.1M	/opt/iobroker/iobroker-data/states.json.old
0	/opt/iobroker/iobroker-data/states.json.broken


=================== END OF SUMMARY ====================

*** Log File - Last 25 Lines ***

2023-01-25 07:43:00.067  - info: host.raspberrypi instance system.adapter.daswetter.0 started with pid 21053
2023-01-25 07:43:12.172  - info: host.raspberrypi instance system.adapter.daswetter.0 terminated with code 11 (ADAPTER_REQUESTED_TERMINATION)
2023-01-25 07:45:00.062  - info: host.raspberrypi instance system.adapter.dwd.0 started with pid 22862
2023-01-25 07:45:10.254  - info: host.raspberrypi instance system.adapter.dwd.0 terminated with code 11 (ADAPTER_REQUESTED_TERMINATION)
2023-01-25 08:00:00.020  - info: javascript.0 (2163) script.js.common.Specials.Astro: Astro: Gültige Zeiten: [aktueller Tag: 10] | [nächster Tag: 2] | [Aktualisiert: 2] | Aktuelle Tageszeit: Morgendämmerung | Kommende Tageszeit: Sonnenaufgang
2023-01-25 08:13:00.065  - info: host.raspberrypi instance system.adapter.daswetter.0 started with pid 17239
2023-01-25 08:13:13.441  - info: host.raspberrypi instance system.adapter.daswetter.0 terminated with code 11 (ADAPTER_REQUESTED_TERMINATION)
2023-01-25 08:15:00.069  - info: host.raspberrypi instance system.adapter.dwd.0 started with pid 19110
2023-01-25 08:15:10.505  - info: host.raspberrypi instance system.adapter.dwd.0 terminated with code 11 (ADAPTER_REQUESTED_TERMINATION)
2023-01-25 08:19:29.843  - warn: deconz.0 (3333) {"address":"/lights/62/state","description":"resource, /lights/62/state, is not modifiable. Device is not reachable.","type":202}
2023-01-25 08:30:00.086  - info: host.raspberrypi instance system.adapter.ical.0 started with pid 729
2023-01-25 08:30:11.426  - info: host.raspberrypi instance system.adapter.ical.0 terminated with code 0 (NO_ERROR)
2023-01-25 08:43:00.064  - info: host.raspberrypi instance system.adapter.daswetter.0 started with pid 12766
2023-01-25 08:43:12.758  - info: host.raspberrypi instance system.adapter.daswetter.0 terminated with code 11 (ADAPTER_REQUESTED_TERMINATION)
2023-01-25 08:45:00.064  - info: host.raspberrypi instance system.adapter.dwd.0 started with pid 14603
2023-01-25 08:45:10.444  - info: host.raspberrypi instance system.adapter.dwd.0 terminated with code 11 (ADAPTER_REQUESTED_TERMINATION)
2023-01-25 09:00:00.036  - info: javascript.0 (2163) script.js.common.Specials.Astro: Astro: Gültige Zeiten: [aktueller Tag: 8] | [nächster Tag: 4] | [Aktualisiert: 2] | Aktuelle Tageszeit: Vormittag | Kommende Tageszeit: später Vormittag
2023-01-25 09:03:39.502  - warn: deconz.0 (3333) Could not connect to websocket instance of deConz/Phoscon. Error: WebSocket was closed before the connection was established
2023-01-25 09:03:39.514  - warn: deconz.0 (3333) Object of state "deconz.0.Gateway_info" is missing the required property "common.type"
2023-01-25 09:05:10.233  - warn: deconz.0 (3333) Could not connect to websocket instance of deConz/Phoscon. Error: WebSocket was closed before the connection was established
2023-01-25 09:05:45.171  - warn: deconz.0 (3333) Could not connect to websocket instance of deConz/Phoscon. Error: WebSocket was closed before the connection was established
2023-01-25 09:05:45.174  - warn: deconz.0 (3333) Object of state "deconz.0.Gateway_info" is missing the required property "common.type"
2023-01-25 09:13:00.077  - info: host.raspberrypi instance system.adapter.daswetter.0 started with pid 6967
2023-01-25 09:13:43.101  - warn: deconz.0 (3333) Could not connect to websocket instance of deConz/Phoscon. Error: WebSocket was closed before the connection was established
2023-01-25 09:13:45.334  - warn: deconz.0 (3333) Object of state "deconz.0.Gateway_info" is missing the required property "common.type"

[Thomas Braun]

@pedder007

dmesg -T | grep -i ext4

sagt? Ich vermute da hat es dein Dateisystem gehimmelt und das ist jetzt nur noch lesbar eingehängt.

Und schalt den laufenden Desktop aus.

[Pedder007]

Aha! @thomas-braun said in IOB übernimmt keinerlei Änderungen mehr:

dmesg -T | grep -i ext4

pi@raspberrypi:~ $ dmesg -T | grep -i ext4
[Mi Jan 25 00:32:29 2023] Kernel command line: coherent_pool=1M 8250.nr_uarts=1 snd_bcm2835.enable_compat_alsa=0 snd_bcm2835.enable_hdmi=1 video=HDMI-A-1:1920x1080M@60 smsc95xx.macaddr=E4:5F:01:50:8F:7E vc_mem.mem_base=0x3ec00000 vc_mem.mem_size=0x40000000  console=tty1 root=PARTUUID=ea7d04d6-02 rootfstype=ext4 elevator=deadline fsck.repair=yes rootwait quiet splash plymouth.ignore-serial-consoles
[Mi Jan 25 00:32:30 2023] EXT4-fs (mmcblk0p2): INFO: recovery required on readonly filesystem
[Mi Jan 25 00:32:30 2023] EXT4-fs (mmcblk0p2): write access will be enabled during recovery
[Mi Jan 25 00:32:30 2023] EXT4-fs (mmcblk0p2): orphan cleanup on readonly fs
[Mi Jan 25 00:32:31 2023] EXT4-fs (mmcblk0p2): 10 orphan inodes deleted
[Mi Jan 25 00:32:31 2023] EXT4-fs (mmcblk0p2): recovery complete
[Mi Jan 25 00:32:31 2023] EXT4-fs (mmcblk0p2): mounted filesystem with ordered data mode. Opts: (null). Quota mode: none.
[Mi Jan 25 00:32:31 2023] VFS: Mounted root (ext4 filesystem) readonly on device 179:2.
[Mi Jan 25 00:32:33 2023] EXT4-fs (mmcblk0p2): re-mounted. Opts: (null). Quota mode: none.

[Thomas Braun]

@pedder007 sagte in IOB übernimmt keinerlei Änderungen mehr:

[Mi Jan 25 00:32:31 2023] VFS: Mounted root (ext4 filesystem) readonly on device 179:2.

[liv-in-sky]

@pedder007 sagte in IOB übernimmt keinerlei Änderungen mehr:

immer versucht das HW-Setup diesbzgl. möglichst schmal zu halten

kann man so machen, sollte sich aber nicht wundern, wenn dann solche schwer zu definierende fehler/probleme auftreten

[Pedder007]

@thomas-braun wie kommt denn soetwas? - durch den gescheiterten Clone-Versuch? - allerdings hätten dann ja alle Änderungen von vorher noch da sein müssen.

Wie bekomme ich das zurück gedreht?

[Thomas Braun]

@pedder007

SD-Karten sind halt bekanntermaßen zu behandeln wie rohe Eier und die Zellen gehen über die Zeit kaputt.

Das System hängt defekte Dateisysteme zur Sicherheit nur noch lesbar ein, damit da nicht noch weiter schreibend drüber gebulldoozert wird.

[Pedder007]

@thomas-braun said in IOB übernimmt keinerlei Änderungen mehr:

SD-Karten sind halt bekanntermaßen zu behandeln wie rohe Eier und die Zellen gehen über die Zeit kaputt.

Ja ich weiß ja, deshalb halte ich iterative ja schon immer 2 Clone + abendlichem Backup vor.

Ist am aktuellen Stand also nichts mehr zu retten?

[Thomas Braun]

@pedder007

[Mi Jan 25 00:32:30 2023] EXT4-fs (mmcblk0p2): orphan cleanup on readonly fs
[Mi Jan 25 00:32:31 2023] EXT4-fs (mmcblk0p2): 10 orphan inodes deleted

Wer weiß was in den 10 verwaisten inodes drin stand...

[Pedder007]

@thomas-braun Oje, ok.

Ich befürchte nämlich, dass ich über die letzten 1-2 Wochen wieder zu viel weiterentwickelt habe und nicht wirklich geclont ...
Wie das immer so ist, im Eifer des Gefechts und mit schicken neuen Devices im Feld.

Mal sehen was Backup dann noch sagt, aber wer weiß was da dann weggeschrieben wurde ...

[Thomas Braun]

@pedder007

Ich halte Clones ja auch ehrlich gesagt für recht überflüssig.
Insbesondere wenn man das dann auch nicht regelmäßig macht.

[Pedder007]

@thomas-braun habe gerade mit einem Clone wieder hochgefahren und das BackUp (ioBroker) von vorgestern Abend eingespielt.
Lief alles gut durch und wurde am Ende auch mit 'Success' im BackUp-Fenster angezeigt.

Nun passiert allerdings irgendwie nichts weiter, sprich die Adapter bleiben, bis auf admin und backup, alle rot, obwohl es ja irgendwo die Option oder Anzeige gab, das danach alle Adapter neu gestartet würden.

Bin ich zu ungeduldig oder muss ich doch noch etwas machen - zB. iob restart oder so?

Zweite Frage zum BackUp: Muss ich die Javascripts und History extra restoren, oder ist das eigentlich dann auch schon im ioBroker Package mit drin und nur eine Option ggf. differenzierter zu restoren?

[Pedder007]

@Thomas-Braun
ok ich glaube ich bin zu ungeduldig. Habe gerade gesehen was im Log los ist und nun werden weitere Adapter langsam grün,

Evtl. aber doch noch zur zweiten Frage?

[Thomas Braun]

@pedder007

Das ist alles im iobroker-Backup drin. Man kann mit den separaten Backups nur den entsprechenden Teilbereich wieder herstellen, ohne alles drüberbügeln zu müssen.

[Pedder007]

@thomas-braun So'de'le, Erfolgsmeldung!

Nachdem alles mit Clone und BackUp wieder lief, noch ein paar Sachen aus dem Beta gezogen und nochmal update/upgrade und direkt mal ein paar Änderungen an den Aliasen nachgezogen und rebootet und alles glänzt wieder und es werden auch wieder Änderungen übernommen

iob diag läuft nun gefühlt doppelt so schnell durch und überhaupt ist auch das ganze Ansprechverhalten des Raspis wieder ein ganz anderes. Wahrscheinlich gingen bereits meine deCONZ-Probleme im Dezember darauf zurück, dass sich da was anbahnte. Egal, die Migration nach ZigBee wird trotzdem weiter forciert

In den 'last 25 lines' von iob diag kam noch Folgendes:

2023-01-25 14:30:54.430  - error: host.raspberrypi iobroker host.raspberrypi error: this adapter does not allow multiple instances

Muss ich mir da Gedanken machen?

PS.
Sehe gerade noch, meine History reißt am 10. Januar ab, da wurde es wohl schon schlimmer.
Mal sehen ob ich aus älteren BackUps (vor Vorgestern Abend), noch etwas mehr retten kann ...

[Pedder007]

Perfekt, das ging auch nochmal gut, jetzt fehlen nur noch 3 Tage, kann man mit leben

Fall gelöst und danke an der Stelle nochmal für Eure Unterstützung!

PS.
Ich habe mir gerade eine erste gebrauchte HW (inkl SSD) für eine Proxmox Umgebung gekauft. Ich denke das wird dann der nächste Meilenstein