Fehler im BackUp der history DB
-
Moin
Nach langer Zeit mal ein echtes (?) Problem:
Weiter unter liefere ich vorsichtshalber alles Notwenige mit. Doch zunächst Folgendes.Beim Restore der history DB gab es einen Fehler (Wortlaut inzwischen nicht mehr bekannt). Dann stellte sich heraus, dass die letzten 10 Sicherungen (10 Tage) offenbar fehlerhaft sind und seit Mitte Juli 2024 Daten fehlen. Die Tagesverzeichnisse des betreffenden Zeitraumes sind leer. Wie weit das zurück reicht - unklar...
Das Entpacken der historyDB unter Windows für zu einer Fehlermeldung:
Invalid compressed Data -- unable to inflateDie täglichen Tagessicherungen nebst Mail-Benachrichtigung und das manuelle BackUp laufen ohne Fehler durch.
Das Entpacken des BackUp der z.B Scripte klappt problemlos. Ebenso der jarvis-Sicherung.
Auch ein Restore von ioB funktionierte auf einem frisch aufgesetzten OS.Daher würde ich jetzt Fehler auf den beim BackUp beteiligten Datenträgern ausschließen.
Das tägliche BackUp (ioB, js, history, jarvis) erfolgt auf die NAS. Auch in dem Zusammenhang sind keine Probleme erkennbar.
Auch das log lieferte bislang keine Hinweise auf vorhandne Probleme und die täglichen Kontrollen am Morgen waren auch ohne Befund.Daher:
Ist dazu irgend etwas schon mal bekannt geworden?
Liegt der Fehler bei mir? Verständnsiproblem?
Lässt sich das historyDB-Archiv überhaupt unter Windows entpacken?
Und wo kann der Fehler, wenn nicht im BackItUp-Adapter, noch liegen?
Hat Jemand eine Idee, wo ich weitersuchen kann?
Wie wird sicher gestellt, dass das Packen der History DB fehlerfrei erfolgt bzw. wie kann man das periodisch überprüfen?Für mich im Moment alles sehr verwirrend.
Danke
- Adaptername: BackItUp
- Link zu Adapterrepository: www.github.com...
- Adapterversion: 3.0.31
- js-controller Version: 7.0.6
- Admin Version: 7.4.10
- Hardwaresystem: Pi4
- Arbeitsspeicher: 8GB
- Festplattenart: SD-Karte (für OS und ioB, USB-Stick für history DB)
- Betriebssystem: Bookworm
- Nodejs-Version: 20.18.2
- NPM-Version: 10.8.2
- Installationsart: script (?)
- Image, Docker genutzt: Nein
- Ort, Name der Imagedatei: ?
Script v.2025-02-02 *** BASE SYSTEM *** Static hostname: Master_oif_Disaster Icon name: computer Operating System: Debian GNU/Linux 12 (bookworm) Kernel: Linux 6.6.74+rpt-rpi-v8 Architecture: arm64 OS is similar to: Model : Raspberry Pi 4 Model B Rev 1.5 Docker : false Virtualization : none Kernel : aarch64 Userland : 64 bit Systemuptime and Load: 11:26:31 up 14:00, 2 users, load average: 0.36, 0.37, 0.40 CPU threads: 4 *** LIFE CYCLE STATUS *** Operating System is the current Debian stable version codenamed 'bookworm'! *** RASPBERRY THROTTLING *** Current issues: No throttling issues detected. Previously detected issues: No throttling issues detected. *** TIME AND TIMEZONES *** Local time: Wed 2025-02-05 11:26:32 CET Universal time: Wed 2025-02-05 10:26:32 UTC RTC time: n/a Time zone: Europe/Berlin (CET, +0100) System clock synchronized: yes NTP service: active RTC in local TZ: no *** Users and Groups *** User that called 'iob diag': pi HOME=/home/pi GROUPS=pi adm dialout cdrom sudo audio video plugdev games users input render netdev gpio i2c spi iobroker User that is running 'js-controller': iobroker HOME=/home/iobroker GROUPS=iobroker tty dialout audio video plugdev bluetooth gpio i2c *** DISPLAY-SERVER SETUP *** Display-Server: false Desktop: Terminal: tty *** MEMORY *** total used free shared buff/cache available Mem: 8.2G 1.9G 3.1G 1.2M 3.3G 6.3G Swap: 536M 0B 536M Total: 8.7G 1.9G 3.6G Active iob-Instances: 22 7809 M total memory 1821 M used memory 1765 M active memory 2853 M inactive memory 2954 M free memory 159 M buffer memory 2996 M swap cache 511 M total swap 0 M used swap 511 M free swap *** top - Table Of Processes *** top - 11:26:32 up 14:00, 2 users, load average: 0.36, 0.37, 0.40 Tasks: 200 total, 1 running, 199 sleeping, 0 stopped, 0 zombie %Cpu(s): 50.0 us, 16.7 sy, 0.0 ni, 33.3 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 st MiB Mem : 7809.9 total, 2953.2 free, 1822.7 used, 3155.9 buff/cache MiB Swap: 512.0 total, 512.0 free, 0.0 used. 5987.2 avail Mem *** FAILED SERVICES *** UNIT LOAD ACTIVE SUB DESCRIPTION 0 loaded units listed. *** DMESG CRITICAL ERRORS *** No critical errors detected *** FILESYSTEM *** Filesystem Type Size Used Avail Use% Mounted on udev devtmpfs 3.6G 0 3.6G 0% /dev tmpfs tmpfs 781M 1.2M 780M 1% /run /dev/mmcblk0p2 ext4 29G 9.6G 18G 36% / tmpfs tmpfs 3.9G 0 3.9G 0% /dev/shm tmpfs tmpfs 5.0M 16K 5.0M 1% /run/lock /dev/mmcblk0p1 vfat 510M 57M 454M 12% /boot/firmware /dev/sda5 ext4 27G 2.2G 24G 9% /media/USBintern tmpfs tmpfs 781M 0 781M 0% /run/user/1000 Messages concerning ext4 filesystem in dmesg: [Tue Feb 4 21:26:31 2025] Kernel command line: coherent_pool=1M 8250.nr_uarts=1 snd_bcm2835.enable_headphones=0 cgroup_disable=memory numa_policy=interleave snd_bcm2835.enable_headphones=1 snd_bcm2835.enable_hdmi=1 snd_bcm2835.enable_hdmi=0 smsc95xx.macaddr=2C:CF:67:34:00:F1 vc_mem.mem_base=0x3ec00000 vc_mem.mem_size=0x40000000 console=ttyS0,115200 console=tty1 root=PARTUUID=713f902b-02 rootfstype=ext4 fsck.repair=yes rootwait [Tue Feb 4 21:26:35 2025] EXT4-fs (mmcblk0p2): mounted filesystem ce208fd3-38a8-424a-87a2-cd44114eb820 ro with ordered data mode. Quota mode: none. [Tue Feb 4 21:26:36 2025] EXT4-fs (mmcblk0p2): re-mounted ce208fd3-38a8-424a-87a2-cd44114eb820 r/w. Quota mode: none. [Tue Feb 4 21:26:38 2025] EXT4-fs (sda5): mounted filesystem bfb7e6d7-3877-db01-2026-e6d73877db01 r/w with ordered data mode. Quota mode: none. Show mounted filesystems: TARGET SOURCE FSTYPE OPTIONS / /dev/mmcblk0p2 ext4 rw,noatime |-/boot/firmware /dev/mmcblk0p1 vfat rw,relatime,fmask=0022,dmask=0022,codepage=437,iocharset=ascii,shortname=mixed,errors=remount-ro `-/media/USBintern /dev/sda5 ext4 rw,noatime Files in neuralgic directories: /var: 950M /var/ 206M /var/cache 200M /var/cache/apt 168M /var/lib 135M /var/lib/apt/lists Archived and active journals take up 63.6M in the file system. /opt/iobroker/backups: 4.0K /opt/iobroker/backups/ /opt/iobroker/iobroker-data: 1.7G /opt/iobroker/iobroker-data/ 1.1G /opt/iobroker/iobroker-data/files 641M /opt/iobroker/iobroker-data/history 617M /opt/iobroker/iobroker-data/files/javascript.admin 560M /opt/iobroker/iobroker-data/files/javascript.admin/static The five largest files in iobroker-data are: 38M /opt/iobroker/iobroker-data/files/iot.admin/static/js/main.d3d286bd.js.map 26M /opt/iobroker/iobroker-data/files/echarts/static/js/main.41cee985.js.map 26M /opt/iobroker/iobroker-data/files/echarts.admin/chart/static/js/main.41cee985.js.map 24M /opt/iobroker/iobroker-data/objects.jsonl 24M /opt/iobroker/iobroker-data/files/web.admin/static/js/main.135279a0.js.map USB-Devices by-id: USB-Sticks - Avoid direct links to /dev/tty* in your adapter setups, please always prefer the links 'by-id': No Devices found 'by-id' *** NodeJS-Installation *** /usr/bin/nodejs v20.18.2 /usr/bin/node v20.18.2 /usr/bin/npm 10.8.2 /usr/bin/npx 10.8.2 /usr/bin/corepack 0.29.4 nodejs: Installed: 20.18.2-1nodesource1 Candidate: 20.18.2-1nodesource1 Version table: *** 20.18.2-1nodesource1 1001 500 https://deb.nodesource.com/node_20.x nodistro/main arm64 Packages 100 /var/lib/dpkg/status 20.18.1-1nodesource1 1001 500 https://deb.nodesource.com/node_20.x nodistro/main arm64 Packages 20.18.0-1nodesource1 1001 500 https://deb.nodesource.com/node_20.x nodistro/main arm64 Packages 20.17.0-1nodesource1 1001 500 https://deb.nodesource.com/node_20.x nodistro/main arm64 Packages 20.16.0-1nodesource1 1001 500 https://deb.nodesource.com/node_20.x nodistro/main arm64 Packages 20.15.1-1nodesource1 1001 500 https://deb.nodesource.com/node_20.x nodistro/main arm64 Packages 20.15.0-1nodesource1 1001 500 https://deb.nodesource.com/node_20.x nodistro/main arm64 Packages 20.14.0-1nodesource1 1001 500 https://deb.nodesource.com/node_20.x nodistro/main arm64 Packages 20.13.1-1nodesource1 1001 500 https://deb.nodesource.com/node_20.x nodistro/main arm64 Packages 20.13.0-1nodesource1 1001 500 https://deb.nodesource.com/node_20.x nodistro/main arm64 Packages 20.12.2-1nodesource1 1001 500 https://deb.nodesource.com/node_20.x nodistro/main arm64 Packages 20.12.1-1nodesource1 1001 500 https://deb.nodesource.com/node_20.x nodistro/main arm64 Packages 20.12.0-1nodesource1 1001 500 https://deb.nodesource.com/node_20.x nodistro/main arm64 Packages 20.11.1-1nodesource1 1001 500 https://deb.nodesource.com/node_20.x nodistro/main arm64 Packages 20.11.0-1nodesource1 1001 500 https://deb.nodesource.com/node_20.x nodistro/main arm64 Packages 20.10.0-1nodesource1 1001 500 https://deb.nodesource.com/node_20.x nodistro/main arm64 Packages 20.9.0-1nodesource1 1001 500 https://deb.nodesource.com/node_20.x nodistro/main arm64 Packages 20.8.1-1nodesource1 1001 500 https://deb.nodesource.com/node_20.x nodistro/main arm64 Packages 20.8.0-1nodesource1 1001 500 https://deb.nodesource.com/node_20.x nodistro/main arm64 Packages 20.7.0-1nodesource1 1001 500 https://deb.nodesource.com/node_20.x nodistro/main arm64 Packages 20.6.1-1nodesource1 1001 500 https://deb.nodesource.com/node_20.x nodistro/main arm64 Packages 20.6.0-1nodesource1 1001 500 https://deb.nodesource.com/node_20.x nodistro/main arm64 Packages 20.5.1-1nodesource1 1001 500 https://deb.nodesource.com/node_20.x nodistro/main arm64 Packages 20.5.0-1nodesource1 1001 500 https://deb.nodesource.com/node_20.x nodistro/main arm64 Packages 20.4.0-1nodesource1 1001 500 https://deb.nodesource.com/node_20.x nodistro/main arm64 Packages 20.3.1-1nodesource1 1001 500 https://deb.nodesource.com/node_20.x nodistro/main arm64 Packages 20.3.0-1nodesource1 1001 500 https://deb.nodesource.com/node_20.x nodistro/main arm64 Packages 20.2.0-1nodesource1 1001 500 https://deb.nodesource.com/node_20.x nodistro/main arm64 Packages 20.1.0-1nodesource1 1001 500 https://deb.nodesource.com/node_20.x nodistro/main arm64 Packages 20.0.0-1nodesource1 1001 500 https://deb.nodesource.com/node_20.x nodistro/main arm64 Packages 18.19.0+dfsg-6~deb12u2 500 500 http://deb.debian.org/debian bookworm/main arm64 Packages 18.19.0+dfsg-6~deb12u1 500 500 http://deb.debian.org/debian-security bookworm-security/main arm64 Packages Temp directories causing deletion problem: 0 No problems detected Errors in npm tree: 0 No problems detected *** ioBroker-Installation *** ioBroker Status iobroker is running on this host. Objects type: jsonl States type: jsonl Hosts: iobroker iobroker (version: 7.0.6, hostname: iobroker , alive, uptime: 50393) Core adapters versions js-controller: 7.0.6 admin: 7.4.10 javascript: 8.8.3 nodejs modules from github: 0 Adapter State + system.adapter.admin.0 : admin : iobroker - enabled, port: 8081, bind: 0.0.0.0, run as: admin + system.adapter.alexa2.0 : alexa2 : iobroker - enabled + system.adapter.backitup.0 : backitup : iobroker - enabled + system.adapter.device-watcher.0 : device-watcher : iobroker - enabled + system.adapter.deyeidc.0 : deyeidc : iobroker - enabled, port: 8899 + system.adapter.echarts.0 : echarts : iobroker - enabled + system.adapter.email.0 : email : iobroker - enabled system.adapter.flot.0 : flot : iobroker - enabled + system.adapter.fritzdect.0 : fritzdect : iobroker - enabled + system.adapter.ham.0 : ham : iobroker - enabled + system.adapter.history.0 : history : iobroker - enabled + system.adapter.hs100.0 : hs100 : iobroker - enabled + system.adapter.iot.0 : iot : iobroker - enabled + system.adapter.jarvis.0 : jarvis : iobroker - enabled + system.adapter.javascript.0 : javascript : iobroker - enabled + system.adapter.lovelace.0 : lovelace : iobroker - enabled, port: 8091, bind: 0.0.0.0, run as: admin system.adapter.mqtt.0 : mqtt : iobroker - disabled, port: 1886, bind: 0.0.0.0 system.adapter.onvif.0 : onvif : iobroker - disabled, port: 80, 7575, 8000, 8080, 8081, 8899,554,2020 + system.adapter.ping.0 : ping : iobroker - enabled + system.adapter.rpi2.0 : rpi2 : iobroker - enabled + system.adapter.shelly.0 : shelly : iobroker - enabled, port: 1882, bind: 0.0.0.0 + system.adapter.sonoff.0 : sonoff : iobroker - enabled, port: 1883, bind: 0.0.0.0 + system.adapter.statistics.0 : statistics : iobroker - enabled + system.adapter.web.0 : web : iobroker - enabled, port: 8082, bind: 0.0.0.0, run as: admin + instance is alive Enabled adapters with bindings + system.adapter.admin.0 : admin : iobroker - enabled, port: 8081, bind: 0.0.0.0, run as: admin + system.adapter.deyeidc.0 : deyeidc : iobroker - enabled, port: 8899 + system.adapter.lovelace.0 : lovelace : iobroker - enabled, port: 8091, bind: 0.0.0.0, run as: admin + system.adapter.shelly.0 : shelly : iobroker - enabled, port: 1882, bind: 0.0.0.0 + system.adapter.sonoff.0 : sonoff : iobroker - enabled, port: 1883, bind: 0.0.0.0 + system.adapter.web.0 : web : iobroker - enabled, port: 8082, bind: 0.0.0.0, run as: admin ioBroker-Repositories ┌─────────┬────────────────────┬─────────────────────────────────────────────────────────┬──────────────┐ │ (index) │ name │ url │ auto upgrade │ ├─────────┼────────────────────┼─────────────────────────────────────────────────────────┼──────────────┤ │ 0 │ 'Stable (default)' │ 'http://download.iobroker.net/sources-dist.json' │ false │ │ 1 │ 'Beta (latest)' │ 'http://download.iobroker.net/sources-dist-latest.json' │ false │ └─────────┴────────────────────┴─────────────────────────────────────────────────────────┴──────────────┘ Active repo(s): Stable (default) Upgrade policy: none Installed ioBroker-Instances Used repository: Stable (default) Adapter "admin" : 7.4.10 , installed 7.4.10 Adapter "alexa2" : 3.26.5 , installed 3.26.5 Adapter "backitup" : 3.0.31 , installed 3.0.31 Adapter "device-watcher": 2.12.1 , installed 2.12.1 Adapter "deyeidc" : 0.1.1 , installed 0.1.1 Adapter "echarts" : 1.9.2 , installed 1.9.2 Adapter "email" : 1.3.1 , installed 1.3.1 Adapter "flot" : 1.12.0 , installed 1.12.0 Adapter "fritzdect" : 2.5.11 , installed 2.5.11 Adapter "ham" : 5.3.1 , installed 5.3.1 Adapter "history" : 3.0.1 , installed 3.0.1 Adapter "hs100" : 2.2.2 , installed 2.2.2 Adapter "iot" : 3.3.0 , installed 3.3.0 Adapter "jarvis" : 3.1.8 , installed 3.1.8 Adapter "javascript" : 8.8.3 , installed 8.8.3 Controller "js-controller": 7.0.6 , installed 7.0.6 Adapter "lovelace" : 4.1.10 , installed 4.1.10 Adapter "mqtt" : 6.1.2 , installed 6.1.2 Adapter "onvif" : 1.1.4 , installed 1.1.4 Adapter "ping" : 1.6.2 , installed 1.6.2 Adapter "rpi2" : 2.3.1 , installed 2.3.1 Adapter "shelly" : 8.5.1 , installed 8.5.1 Adapter "simple-api" : 2.8.0 , installed 2.8.0 Adapter "socketio" : 6.7.1 , installed 6.7.1 Adapter "sonoff" : 3.1.2 , installed 3.1.2 Adapter "statistics" : 2.4.0 , installed 2.4.0 Adapter "web" : 6.2.5 , installed 6.2.5 Adapter "ws" : 2.6.2 , installed 2.6.2 Objects and States Please stand by - This may take a while Objects: 5439 States: 4377 *** OS-Repositories and Updates *** Hit:1 http://deb.debian.org/debian bookworm InRelease Hit:2 http://deb.debian.org/debian-security bookworm-security InRelease Hit:3 http://deb.debian.org/debian bookworm-updates InRelease Hit:4 http://archive.raspberrypi.com/debian bookworm InRelease Hit:5 https://deb.nodesource.com/node_20.x nodistro InRelease Reading package lists... Pending Updates: 0 *** Listening Ports *** Active Internet connections (only servers) Proto Recv-Q Send-Q Local Address Foreign Address State User Inode PID/Program name tcp 0 0 0.0.0.0:1883 0.0.0.0:* LISTEN 1001 19448 3153/io.sonoff.0 tcp 0 0 0.0.0.0:22 0.0.0.0:* LISTEN 0 3580 609/sshd: /usr/sbin tcp 0 0 0.0.0.0:8400 0.0.0.0:* LISTEN 1001 9340 1086/io.jarvis.0 tcp 0 0 127.0.0.1:9000 0.0.0.0:* LISTEN 1001 3638 592/iobroker.js-con tcp 0 0 127.0.0.1:9001 0.0.0.0:* LISTEN 1001 3631 592/iobroker.js-con tcp6 0 0 :::22 :::* LISTEN 0 3582 609/sshd: /usr/sbin tcp6 0 0 :::8091 :::* LISTEN 1001 8406 1101/io.lovelace.0 tcp6 0 0 :::8082 :::* LISTEN 1001 7422 1133/io.web.0 tcp6 0 0 :::8081 :::* LISTEN 1001 6267 684/io.admin.0 udp 0 0 0.0.0.0:52302 0.0.0.0:* 104 5712 464/avahi-daemon: r udp 0 0 0.0.0.0:5353 0.0.0.0:* 1001 8224 924/io.ham.0 udp 0 0 0.0.0.0:5353 0.0.0.0:* 104 5710 464/avahi-daemon: r udp 0 0 0.0.0.0:5683 0.0.0.0:* 1001 8282 996/io.shelly.0 udp6 0 0 :::5353 :::* 104 5711 464/avahi-daemon: r udp6 0 0 :::35214 :::* 104 5713 464/avahi-daemon: r *** Log File - Last 25 Lines ***======================= SUMMARY ======================= v.2025-02-02 Static hostname: iobroker Icon name: computer Operating System: Debian GNU/Linux 12 (bookworm) Kernel: Linux 6.6.74+rpt-rpi-v8 Architecture: arm64 Installation: native Kernel: aarch64 Userland: 64 bit Timezone: Europe/Berlin (CET, +0100) User-ID: 1000 Display-Server: false Boot Target: multi-user.target Pending OS-Updates: 0 Pending iob updates: 0 Nodejs-Installation: /usr/bin/nodejs v20.18.2 /usr/bin/node v20.18.2 /usr/bin/npm 10.8.2 /usr/bin/npx 10.8.2 /usr/bin/corepack 0.29.4 Recommended versions are nodejs 20.18.2 and npm 10.8.2 nodeJS installation is correct MEMORY: total used free shared buff/cache available Mem: 8.2G 1.9G 3.1G 1.2M 3.3G 6.3G Swap: 536M 0B 536M Total: 8.7G 1.9G 3.6G Active iob-Instances: 22 Upgrade policy: none ioBroker Core: js-controller 7.0.6 admin 7.4.10 ioBroker Status: iobroker is running on this host. Objects type: jsonl States type: jsonl Status admin and web instance: + system.adapter.admin.0 : admin : iobroker - enabled, port: 8081, bind: 0.0.0.0, run as: admin + system.adapter.web.0 : web : iobroker - enabled, port: 8082, bind: 0.0.0.0, run as: admin Objects: 5439 States: 4377 Size of iob-Database: 24M /opt/iobroker/iobroker-data/objects.jsonl 6.7M /opt/iobroker/iobroker-data/states.jsonl Operating System is the current Debian stable version codenamed 'bookworm'! =================== END OF SUMMARY ==================== -
@wcag22 nimm mal deine privaten Daten aus dem log
-
@homoran Danke für den Hinweis.
-
@wcag22
Es war mir schon klar, dass es schwierig sein wird, den Fehler einzugrenzen. An einen Bug im BackItUp-Adapter habe ich eigentlich auch nicht geglaubt.Nachdem am Vortag 18:00 Uhr eine manuelle Sicherung fehlerfrei war, dachte ich das Problem hätte sich in Luft ausgelöst. Heute die 06:00 Uhr-Sicherung wieder mit Fehler.
Daher habe ich eine Testreihe aufgesetzt, um dem Spuk auf die Spur zu kommen.
Die Archive aus dem BackUp prüfe ich mit 7zip.Gedanke:
Fehlerhafter Stick "/usbshare1/iobroker_backup" am NAS
Ergebnis:
Alle Sicherungen der historyDB fehlerhaft. iob, jarvis und javascript in Ordnung
1. Lösungsversuch: anderes Speichergerät (anderer Stick)
(Sicherungsziel gewechselt auf "/usbshare2/iobroker_backup" am NAS)Ergebnis:
Erste Sicherung um 10:59 Uhr fehlerfrei (Ursache gefunden?)
Drei weitere Versuche wieder mit Fehler ausschließlich in der history DB
2. Lösungsversuch: Stick gewechselt
Ergebnis:
Archiv der history DB mit Datenfehler3. Lösungsversuch: Sicherung direkt auf eine HD am NAS
Ergebnis:
Alle 3 Versuche mit Datenfehler in der history DBweitere Versuche mit smb Version und WebDAV
Ergebnis:
Aller Archive der history DB mit datenfehler.
Versuche zum Entpacken enden entweder mit leeren Verzeichnissen oder enden bei unterschiedlichen Prozentzahlen des Entpackungsvorganges.
-
@wcag22
Ich habe zwar von Allem keine Ahnung, aber das ganz viel.
Und:
Wenn es um Ursachenforschung geht, bin ich fast nicht zu bremsen. Wird vermutlich Keinem etwas nutzen, ich stelle es aber dennoch zur Diskussion.Da der Fehler (?) bzw. die Ursache möglichweise doch im BackItUp-Adapter zu suchen ist, habe ich etwas tiefer gegraben.
Die fehlerhaften Archive lassen sich über Umwege entpacken und melden dann am Ende den Ort des Fehlers. So kam ich an die betreffenden .json files heran, in denen die Ursachen für die Inkonsistenz des Archives stecken.
Ich habe die entpackten Dateien mit denen verglichen, die sich auf dem Raspi/ioB befinden.
Fazit:
Während die Dateien in der history (in den Bildern als original bezeichnet) fehlerfrei sind, haben die entpackten Dateien Fehler.
Eine Systematik des Auftretens konnte ich nicht erkennen. Das betrifft sowohl das betroffene Tagesdatum, also auch den betroffenen Datenpunkt. Ebenso lässt sich in der fehlerhaften Datei keine Systematik der Ursache erkennen.Beispiel - 22.01.2024
Betroffene Datei/Datenpunkt:history.shelly.0.SHPLG-S#80646F8270BF#1.Relay0.Energy.jsonDateivergleich:
Beispiel - 24.11.2024
Betroffene Datei/Datenpunkt:history.deyeidc.0.info.connection.json
Beispiel - 06.02.2025
Betroffene Datei/Datenpunkt:history.0_userdata.0.EDV.Static_NAS_ThisYear.json
Mehr werde ich wohl zunächst nicht herausfinden. Es bleibt für mich nicht erkennbar, ob der Fehler beim packen der history DB entsteht oder anderswo seine Ursache hat.
Ein BackUp der history DB macht also derzeit zumindest bei mir keinen Sinn, da die Archive mit hoher Wahrscheinlichkeit nutzlos sind. Das Problem: Es fällt halt im normalen Betrieb nicht auf, da die Sicherungen als fehlerfrei gemeldet werden.
Niemand wird sich die Mühe machen, ohne Anlass die Archive auf Fehlerfreiheit zu kontrollieren. Das fällt dann erst auf, wenn ein Restore fehlschlägt.
-
@wcag22 ich möchte dich nicht entmutigen.
meine History ist erheblich größer und da passiert so etwas nicht.
Also ist es kein grundsätzliches Problem von backitup..Ob der Fehler beim packen passiert oder vorher beim lesen der Daten wäre noch zu prüfen.
ganz aus der Hüfte geschossen
Hast du ausreichend RAM zur Verfügung?
Ist dein Rechner übertaktet?fiel mir als mögliche Ursache ein.
ein Raspi mit SSD an USB3 ist es ja nicht, oder? -
@homoran sagte in Fehler im BackUp der history DB:
@wcag22 ich möchte dich nicht entmutigen.
Tust Du nicht
meine History ist erheblich größer und da passiert so etwas nicht.
Also ist es kein grundsätzliches Problem von backitup..Ja, ich weiß. Ich hatte das schon mal gelesen in einem Post von Dir.
Aber hast Du mal ein Archiv getestet? Denn wie gesagt: Laut Meldungen des Adapters gibt es keine Fehler und beim manuellen BackUp kann man ja auch zuschauen, wie der Prozess durchläuft. Alles ohne Auffälligkeiten.
Ob der Fehler beim packen passiert oder vorher beim lesen der Daten wäre noch zu prüfen.
Ja, sicher. Ist irgendwie ziemlich unklar die Geschichte und Zeitpunkt des Auftretens nicht mehr nachvollziehbar.
ganz aus der Hüfte geschossen
Hast du ausreichend RAM zur Verfügung?
Ist dein Rechner übertaktet?
fiel mir als mögliche Ursache ein.
ein Raspi mit SSD an USB3 ist es ja nicht, oder?Alle Daten im ersten Post: Hardware , Software und diag lang und kurz. Schaust Du bitte...
Und nein: Nicht übertaktet, sogar gekühlt durch das argon-Gehäuse mit Lüfter
Es laufen 22 Prozesse. -
@wcag22 sagte in Fehler im BackUp der history DB:
dev/sda5 ext4 27G 2.2G 24G 9% /media/USBintern
heisst was?
@wcag22 sagte in Fehler im BackUp der history DB:
das argon-Gehäuse
bindet die SSD wie an?
-
@wcag22 Mache mal bitte zu Testzwecken folgendes... Stoppe den History Adapter und führe im Anschluß ein Backup durch.
Möchte nur ausschließen, dass der History Adapter beim schreiben neuer daten da beim Backup etwas zerschießt... -
Moin Moin,
@homoran sagte in Fehler im BackUp der history DB:
@wcag22 sagte in Fehler im BackUp der history DB:
dev/sda5 ext4 27G 2.2G 24G 9% /media/USBintern
heisst was?Verstehe die Frage nicht. Stand doch alles in dem ersten Post, auf den ich nochmals verwiesen hatte.
Inkl. dem immer wieder eingeforderten diag-outputAlle Daten im ersten Post: Hardware , Software und diag lang und kurz. Schaust Du bitte...
Aber gut, dann noch einmal:
Festplattenart: SD-Karte (für OS und ioB, USB-Stick für history DB)
Es ist der 32GB- USB-Stick für die history DB, als sda5 gemounted.
@wcag22 sagte in Fehler im BackUp der history DB:
das argon-Gehäuse
bindet die SSD wie an?
Erstens wird "ein Gehäuse" keinen Datenträger einbinden - das macht allenfalls der Raspi; und zweitens war von einer SSD nirgends die Rede.
Ich nehme mal wohlwollend an, dass Dir die Threads durcheinander geraten sind.
Nix für ungut...
-
@wcag22 sagte in Fehler im BackUp der history DB:
Es ist der 32GB- USB-Stick für die history DB, als sda5 gemounted.
ist doch egal ob stick oder ssd.
Auf die Frage nach dem Anschluss finde ich keine Antwort!
Deswegen die Nachfrage@homoran sagte in Fehler im BackUp der history DB:
an USB3
??
-
Moin Moin,
@simatec sagte in Fehler im BackUp der history DB:
@wcag22 Mache mal bitte zu Testzwecken folgendes... Stoppe den History Adapter und führe im Anschluß ein Backup durch.
Möchte nur ausschließen, dass der History Adapter beim schreiben neuer daten da beim Backup etwas zerschießt...Besten Dank!
Das ist eine verdammt gute und naheliegende Idee. Eigentlich müsste ja die DB verriegelt werden, wenn BackItUp anspringt.
Hatte die halbe Nacht gegrübelt, wo und wie ich weiter mache in der Ursachenforschung - jetzt weiß ich esMache mich gleich ans Werk und melde mich mit Resultat.
Bis nachher...
-
@homoran sagte in Fehler im BackUp der history DB:
Auf die Frage nach dem Anschluss finde ich keine Antwort!
Deswegen die NachfrageOK, verstehe.
ein Raspi mit SSD an USB3 ist es ja nicht, oder?
Das hatte ich explizit auf die nicht vorhandene SSD bezogen.
Aber ja, der USB-Stick steckt am USB3 Port.Wenn der Probleme bereiten würde, müsste m.E schon die DB im laufenden Betrieb fehlerhaft sein, denn ioB schreibt ja ständig auf den Stick. Offensichtlich ohne Fehler.
Der Gedanke vom @simatec liegt da für mich näher am Problem.
Aber schaun wir mal... -
@wcag22 sagte in Fehler im BackUp der history DB:
Der Gedanke vom @simatec liegt da für mich näher am Problem.
durchaus möglich!
@wcag22 sagte in Fehler im BackUp der history DB:
Wenn der Probleme bereiten würde, müsste m.E schon die DB im laufenden Betrieb fehlerhaft sein, denn ioB schreibt ja ständig auf den Stick.
aber nicht in der Intensität wie beim Auslesen der gesamten History.
Das Probkem mit dem USB3 liegt in einer Störung dieses Anschlusses, durch hochfrequente Signale der CPU.letztere dürfte bei der Backup-Arbeit auch deutlich höher liegen als im Regelbetrieb.
Die von @simatec genannte Möglichkeit kommt dann noch oben drauf, wenn der Datenverkehr sowieso schon gestört ist. -
@simatec sagte in Fehler im BackUp der history DB:
@wcag22 Mache mal bitte zu Testzwecken folgendes... Stoppe den History Adapter und führe im Anschluß ein Backup durch.
Gesagt - getan. Leider kein wirklich aussagekräftiges Ergebnis.
Um überhaupt belastbare Daten zu haben, habe ich sowohl mit aktivem BackItUp Adapter, als auch mit gestoppten Adapter jeweils 10 Sicherungen durchgeführt.Ergebnis mit laufendem History-Adapter: (60% Fehler)
10_03_28 mit history fehlefrei
10_10_28 mit history unerwartetes Datenende
11_01_28 mit history unerwartetes Datenende
11_20_28 mit history fehlerfrei
11_28_28 mit history Headersfehler & Warnungen
12_00_28 mit history Headersfehler & Warnungen
12_20_28 mit history fehlerfrei
12_35_28 mit history fehlerfrei
12_45_28 mit history Headersfehler & Warnungen
12_55_28 mit history unerwartetes DatenendeErgebnis bei gestopptem History Adapter: (40% Fehler)
13_06_01 ohne history - fehlerfrei
13_16_01 ohne history - Headersfehler & Warnungen
13_25_01 ohne history - fehlerfrei
13_30_01 ohne history - fehlerfrei
13_43_01 ohne history - fehlerfrei
13_49_01 ohne history - fehlerfrei
14_37_01 ohne history - Headersfehler & Warnungen
14_44_01 ohne history - unerwartetes Dateiende
14_53_01 ohne history - fehlerfrei
14_59_01 ohne history - unerwartetes DateiendeDie Fehlerquote ist zwar ohne aktivem BackItUp-Adapter deutlich geringer, aber ein klares Ergebnis sieht anders aus.
Ich werde nun noch den Hinweisen von @Homoran (Störsignale auf USB 3) nachgegehen.
Wenn ich mehr weiß, melde ich mich wieder. -
@wcag22 wie aktiver/inaktiver Backitup Adapter. Den History Adapter musst du vor dem Backup stoppen.
Bitte alles Debug Logs vom Backup Prozess posten
-
@simatec sagte in Fehler im BackUp der history DB:
aktiver/inaktiver Backitup Adapter.
My fault, habe es berichtigt. In den Ergebnissen war es ja korrekt: mit history / ohne history (laufende Instanz / gestoppte Instanz)
Sorry.Rest kommt auch noch...
-
pi@iobroker:~ $ iob stop history The adapter "history.0" was stopped.2025-02-07 16:19:28.717 - debug: backitup.0 (72377) Backup has started ... 2025-02-07 16:19:38.719 - debug: backitup.0 (72377) [iobroker/mount] cifs-mount command: "sudo mount -t cifs -o username=xxx,password=****,domain=xxx,rw,forceuid,uid=iobroker,forcegid,gid=iobroker,file_mode=0777,dir_mode=0777,vers=3.1.1 //192.168.178.x/usbshare1/iobroker_backup /opt/iobroker/backups" 2025-02-07 16:19:38.838 - debug: backitup.0 (72377) [iobroker/mount] mount successfully completed 2025-02-07 16:19:38.840 - debug: backitup.0 (72377) [iobroker/mount] done 2025-02-07 16:19:43.249 - debug: backitup.0 (72377) [iobroker/iobroker] host.iobroker 5444 objects saved 2025-02-07 16:19:43.724 - debug: backitup.0 (72377) [iobroker/iobroker] host.iobroker 4379 states saved 2025-02-07 16:19:43.726 - debug: backitup.0 (72377) [iobroker/iobroker] host.iobroker Validating backup ... 2025-02-07 16:19:43.730 - debug: backitup.0 (72377) [iobroker/iobroker] host.iobroker "config.json" is valid 2025-02-07 16:19:43.731 - debug: backitup.0 (72377) [iobroker/iobroker] host.iobroker "objects.jsonl" exists 2025-02-07 16:19:43.731 - debug: backitup.0 (72377) [iobroker/iobroker] host.iobroker "states.jsonl" exists 2025-02-07 16:19:44.260 - debug: backitup.0 (72377) [iobroker/iobroker] host.iobroker JSONL lines are valid 2025-02-07 16:19:44.266 - debug: backitup.0 (72377) [iobroker/iobroker] host.iobroker The backup is valid! 2025-02-07 16:19:45.214 - debug: backitup.0 (72377) [iobroker/iobroker] Backup created: /opt/iobroker/backups/iobroker_2025_02_07-16_19_38_Raspi4_9_backupiobroker.tar.gz 2025-02-07 16:19:45.215 - debug: backitup.0 (72377) [iobroker/iobroker] This backup can only be restored with js-controller version 7.0 or higher 2025-02-07 16:19:46.267 - debug: backitup.0 (72377) [iobroker/iobroker] done 2025-02-07 16:19:47.171 - debug: backitup.0 (72377) [iobroker/historyDB] compress from historyDB started ... 2025-02-07 16:19:57.172 - debug: backitup.0 (72377) [iobroker/historyDB] Packed 15MB so far... 2025-02-07 16:20:07.171 - debug: backitup.0 (72377) [iobroker/historyDB] Packed 32MB so far... 2025-02-07 16:20:17.172 - debug: backitup.0 (72377) [iobroker/historyDB] Packed 48MB so far... 2025-02-07 16:20:27.171 - debug: backitup.0 (72377) [iobroker/historyDB] Packed 65MB so far... 2025-02-07 16:20:37.171 - debug: backitup.0 (72377) [iobroker/historyDB] Packed 83MB so far... 2025-02-07 16:20:47.171 - debug: backitup.0 (72377) [iobroker/historyDB] Packed 101MB so far... 2025-02-07 16:20:57.171 - debug: backitup.0 (72377) [iobroker/historyDB] Packed 119MB so far... 2025-02-07 16:21:07.171 - debug: backitup.0 (72377) [iobroker/historyDB] Packed 139MB so far... 2025-02-07 16:21:17.171 - debug: backitup.0 (72377) [iobroker/historyDB] Packed 159MB so far... 2025-02-07 16:21:27.171 - debug: backitup.0 (72377) [iobroker/historyDB] Packed 179MB so far... 2025-02-07 16:21:37.171 - debug: backitup.0 (72377) [iobroker/historyDB] Packed 197MB so far... 2025-02-07 16:21:47.171 - debug: backitup.0 (72377) [iobroker/historyDB] Packed 217MB so far... 2025-02-07 16:21:53.698 - debug: backitup.0 (72377) [iobroker/historyDB] Backup created: /opt/iobroker/backups/historyDB_2025_02_07-16_19_47_Raspi4_9_backupiobroker.tar.gz 2025-02-07 16:21:53.698 - debug: backitup.0 (72377) [iobroker/historyDB] done 2025-02-07 16:21:55.506 - debug: backitup.0 (72377) [iobroker/cifs] used copy path: /usbshare1/iobroker_backup 2025-02-07 16:21:55.506 - debug: backitup.0 (72377) [iobroker/cifs] done 2025-02-07 16:21:56.109 - warn: backitup.0 (72377) [iobroker/clean] No older backup files are deleted, because this backup was started manually 2025-02-07 16:21:56.110 - debug: backitup.0 (72377) [iobroker/clean] done 2025-02-07 16:21:56.266 - debug: backitup.0 (72377) [iobroker/historyHTML] new history html values created 2025-02-07 16:21:56.364 - debug: backitup.0 (72377) [iobroker/historyHTML] done 2025-02-07 16:21:56.525 - debug: backitup.0 (72377) [iobroker/historyJSON] new history json values created 2025-02-07 16:21:56.526 - debug: backitup.0 (72377) [iobroker/historyJSON] done 2025-02-07 16:21:56.693 - debug: backitup.0 (72377) [iobroker/umount] mount active, umount is started ... 2025-02-07 16:22:01.767 - debug: backitup.0 (72377) [iobroker/umount] umount successfully completed 2025-02-07 16:22:01.768 - debug: backitup.0 (72377) [iobroker/umount] done 2025-02-07 16:22:12.078 - debug: backitup.0 (72377) [iobroker/email] done 2025-02-07 16:22:12.081 - info: email.0 (39359) Send email: {"text":"Backitup:\nEin neues iobroker (Raspi4_9) Backup wurde am 07. Februar 2025 um 16:22 Uhr erstellt.\n\nSpeicherorte:\n1. NAS (CIFS) (//192.168.178.x/usbshare1/iobroker_backup)\n","to":"xxx@yyy.de","subject":"Backitup","from":"iob@yyy.de"} 2025-02-07 16:22:12.427 - info: email.0 (39359) sent to xxx@yyy.de 2025-02-07 16:22:14.137 - debug: backitup.0 (72377) [iobroker/notification] done 2025-02-07 16:22:14.294 - debug: backitup.0 (72377) [iobroker] exec: doneReicht Dir das?
-
@wcag22 sagte in Fehler im BackUp der history DB:
Reicht Dir das?
Vielleicht noch die Info, ob das Backup (nicht) defekt ist
-
@homoran
Gern:
