TESTER gesucht / Backup auf Fritz.nas - node 18.18.0

[Thomas Braun]

@fastfoot

Aber die ENV wird jetzt systemweit berücksichtigt:

echad@chet:/opt/iobroker $ node cifs.js
0
Copy output from below


/opt/iobroker/backups unmounted
//fritz.box/fritz.nas/Hitachi-HTS545012B9SA00-01/iobbackups/chet mounted into /opt/iobroker/backups

file test_pipeline_compressed_tar.tar.gz created
file test_pipeline_compressed_tar.tar.gz done
number of files in test_pipeline_compressed_tar.tar.gz: 115

file test_pipeline_compressed_zlib.tar.gz created
file test_pipeline_compressed_zlib.tar.gz done
number of files in test_pipeline_compressed_zlib.tar.gz: 115

file test_pipeline_uncompressed.tar created
file test_pipeline_uncompressed.tar done
number of files in test_pipeline_uncompressed.tar: 115

listing of created files in /opt/iobroker/backups
-rwxrwxrwx 1 root root 821248 Oct 14 01:15 /opt/iobroker/backups/test_pipeline_uncompressed.tar
-rwxrwxrwx 1 root root 154609 Oct 14 01:15 /opt/iobroker/backups/test_pipeline_compressed_zlib.tar.gz
-rwxrwxrwx 1 root root 154609 Oct 14 01:15 /opt/iobroker/backups/test_pipeline_compressed_tar.tar.gz

[Thomas Braun]

Fun fact:
Den iobroker interessiert das aber nicht:

echad@chet:/opt/iobroker $ sudo -u iobroker node cifs.js
undefined
Copy output from below

/opt/iobroker/backups unmounted
//fritz.box/fritz.nas/Hitachi-HTS545012B9SA00-01/iobbackups/chet mounted into /opt/iobroker/backups

file test_pipeline_compressed_tar.tar.gz created
file test_pipeline_compressed_tar.tar.gz done
number of files in test_pipeline_compressed_tar.tar.gz: 0

file test_pipeline_compressed_zlib.tar.gz created
file test_pipeline_compressed_zlib.tar.gz done
number of files in test_pipeline_compressed_zlib.tar.gz: 0

file test_pipeline_uncompressed.tar created
file test_pipeline_uncompressed.tar done
number of files in test_pipeline_uncompressed.tar: 0

listing of created files in /opt/iobroker/backups
-rwxrwxrwx 1 root root 253952 Oct 14 01:17 /opt/iobroker/backups/test_pipeline_uncompressed.tar
-rwxrwxrwx 1 root root  16384 Oct 14 01:17 /opt/iobroker/backups/test_pipeline_compressed_zlib.tar.gz
-rwxrwxrwx 1 root root  16384 Oct 14 01:17 /opt/iobroker/backups/test_pipeline_compressed_tar.tar.gz

End of output to copy

[fastfoot]

@thomas-braun sagte in TESTER gesucht / Backup auf Fritz.nas - node 18.18.0:

Den iobroker interessiert das aber nicht:

na da haben wirs!
vi iob
sudo -H -u iobroker node /opt/iobroker/node_modules/iobroker.js-controller/iobroker.js "$@"

abändern mit UV_USE_IO_URING=0 davor setzen
stoppen und iob start. NICHT über den service

[Thomas Braun]

@fastfoot

echad@chet:/opt/iobroker $ env | grep UV_USE
UV_USE_IO_URING=0
echad@chet:/opt/iobroker $ sudo -H -u iobroker env | grep UV_USE
echad@chet:/opt/iobroker $

Der Schlingel!

[fastfoot]

@thomas-braun mach mal noch den iob edit, das geht noch

[Thomas Braun]

@fastfoot

#!/usr/bin/bash
if (( $# == 1 )) && ([ "$1" = "start" ] || [ "$1" = "stop" ] || [ "$1" = "restart" ]); then
sudo systemctl $1 iobroker
elif [ "$1" = "fix" ]; then
curl -sL https://iobroker.net/fix.sh | bash -
elif [ "$1" = "nodejs-update" ]; then
sudo -u iobroker curl -sLf https://iobroker.net/node-update.sh --output /home/iobroker/.nodejs-update.sh && bash /home/iobroker/.nodejs-update.sh $2
elif [ "$1" = "diag" ]; then
  sudo -u iobroker curl -sLf https://iobroker.net/diag.sh --output /home/iobroker/.diag.sh && bash /home/iobroker/.diag.sh | sudo -u iobroker tee /home/iobroke>
else
UV_USE_IO_URING=0
sudo -H -u iobroker node /opt/iobroker/node_modules/iobroker.js-controller/iobroker.js "$@"
fi

Habs mit nano gemacht, auf vi hatte ich um die Uhrzeit keinen Bock mehr...

[fastfoot]

@thomas-braun Nee, davor, so wie beim script, sonst haben wir denselben Sch......

[fastfoot]

@thomas-braun sagte in TESTER gesucht / Backup auf Fritz.nas - node 18.18.0:

iobroker node /opt/iobroker/node_modules/iobroker.js-controller/iobroker.js "$@"

oder alternativ auf der Konsole

su iobroker
UV_USE_IO_URING=0 node /opt/iobroker/node_modules/iobroker.js-controller/iobroker.js start

[Thomas Braun]

@fastfoot

Negativ, Backups sind Schrott.

[fastfoot]

@thomas-braun dann morgen, kann nicht mehr

[fastfoot]

@thomas-braun sagte in TESTER gesucht / Backup auf Fritz.nas - node 18.18.0:

Negativ, Backups sind Schrott.

Bei mir im wsl kam dass ich keine environments setzen dürfe! im wsl darf ich nicht root sein, so wie es soll. Aber so gehts

UV_USE_IO_URING=0
sudo -H -u iobroker --preserve-env=UV_USE_IO_URING env | grep UV_

und so den Aufruf von iobroker im iob gestalten

[Thomas Braun]

@fastfoot

#!/usr/bin/bash
if (( $# == 1 )) && ([ "$1" = "start" ] || [ "$1" = "stop" ] || [ "$1" = "restart" ]); then
sudo systemctl $1 iobroker
elif [ "$1" = "fix" ]; then
curl -sL https://iobroker.net/fix.sh | bash -
elif [ "$1" = "nodejs-update" ]; then
sudo -u iobroker curl -sLf https://iobroker.net/node-update.sh --output /home/iobroker/.nodejs-update.sh && bash /home/iobroker/.nodejs-update.sh $2
elif [ "$1" = "diag" ]; then
  sudo -u iobroker curl -sLf https://iobroker.net/diag.sh --output /home/iobroker/.diag.sh && bash /home/iobroker/.diag.sh | sudo -u iobroker tee /home/iobroker
else
UV_USE_IO_URING=0 sudo -H -u iobroker --preserve-env=UV_USE_IO_URING node /opt/iobroker/node_modules/iobroker.js-controller/iobroker.js "$@"
fi

Aber:

echad@chet:/opt/iobroker $ iob nodejs-upgrade 20
sudo: sorry, you are not allowed to set the following environment variables: UV_USE_IO_URING

[fastfoot]

@thomas-braun es heisst nodejs-update, nicht upgrade!

mit dem preserve muss das setzen der env wieder in eine eigene zeile, export davor wäre gut, also

export UV_USE_IO_URING=0
sudo -H -u iobroker --preserve-env=UV_USE_IO_URING node opt/iobroker/node_modules/iobroker.js-controller/iobroker.js "$@"

Morgen dann 1 Stunde nachsitzen im home office, Thema:
Environments unter Linux Systemen richtig setzen(Selbststudium)

hab mir auch ne Stunde verordnet

[Thomas Braun]

@fastfoot sagte in TESTER gesucht / Backup auf Fritz.nas - node 18.18.0:

es heisst nodejs-update, nicht upgrade!

Bei mir schon. Hab mir einen Alias gesetzt!
Geht beides. Und nodejs-fix geht auch.

Joh... export...
Ich muss ins Bett...

[fastfoot]

@thomas-braun nene, in zeile 6 steht
elif [ "$1" = "nodejs-update" ]; then aber dort springt er nicht hin sondern in die modifizierte Zeile und dort meckert er dann

morgen gehts weiter, das bringt nix mehr

[Thomas Braun]

@fastfoot

Jetzt mit export auch nix.

echad@chet:/opt/iobroker $ ls -lAh backups/ | grep 02_4
-rwxrwxrwx 1 root root  16K Oct 14 02:45 historyDB_2023_10_14-02_44_41_chet_backupiobroker.tar.gz
-rwxrwxrwx 1 root root  16K Oct 14 02:44 iobroker_2023_10_14-02_44_28_chet_backupiobroker.tar.gz
-rwxrwxrwx 1 root root  14K Oct 14 02:45 javascripts_2023_10_14-02_45_22_chet_backupiobroker.tar.gz
-rwxrwxrwx 1 root root  953 Oct 14 02:45 zigbee.0_2023_10_14-02_45_21_chet_backupiobroker.tar.gz

Dafür klemmt es weiter im Terminal:

echad@chet:/opt/iobroker $ iob status
sudo: sorry, you are not allowed to set the following environment variables: UV_USE_IO_URING

Ich mag nicht mehr. Morgen zimmer ich da ein frisches Bookworm drauf, fertig.

[simatec]

@fastfoot sagte in TESTER gesucht / Backup auf Fritz.nas - node 18.18.0:

@simatec dann ja die pipeline Methode aus dem Skript zum testen einbauen für die History wenn das normale Backup geklärt ist

Nein das geht nicht ... Backitup verwendet tar-fs und es wäre hier ein extrem tiefer Eingriff in den Adapter.
Vertiefe dich nicht so auf die ENV... Die war nur zu Testzwecken und ist produktiv nicht ratsam.
Deshalb wird sie in Node auch in den nächsten Versionen wieder entfernt.
Die Stabilität leidet unter dieser Option... Wir müssen an andern Stellen suchen.
Hier ist das Thema Nummer eins... Was passiert beim CIFS Mount auf der Fritte, bzw. was ist da anderes?? Die fritte ist aktuell das einzige mir bekannte NAS System, was diese Probleme verursacht.

Habe hier in der Testumgebung 3 verschiedene NAS mit CIFS laufen und auch bei mir gibt es nur mit der Fritte streß... Eventuell kann man auch mit den settings von smb was auf dem iobroker Host System testen...

Wir sollten weniger in Javascript suchen, sondern ermitteln, was bei der Fritte in Kombi mit CIFS anders ist

[Thomas Braun]

@simatec @fastfoot

Mit zusätzlicher Mountoption cache=loose spuckt das V3-Skript nun aus:

umount not possible
//fritz.box/fritz.nas//Hitachi-HTS545012B9SA00-01/iobbackups/chet mounted into /opt/iobroker/backups

file test_pipeline_compressed_tar.tar.gz created
file test_pipeline_compressed_tar.tar.gz done
number of files in test_pipeline_compressed_tar.tar.gz: 115

file test_pipeline_compressed_zlib.tar.gz created
file test_pipeline_compressed_zlib.tar.gz done
number of files in test_pipeline_compressed_zlib.tar.gz: 115

file test_pipeline_uncompressed.tar created
file test_pipeline_uncompressed.tar done
number of files in test_pipeline_uncompressed.tar: 115

listing of created files in /opt/iobroker/backups
-rwxrwxrwx 1 root root 821248 Oct 31 03:10 /opt/iobroker/backups/test_pipeline_uncompressed.tar
-rwxrwxrwx 1 root root 155720 Oct 31 03:10 /opt/iobroker/backups/test_pipeline_compressed_zlib.tar.gz
-rwxrwxrwx 1 root root 155720 Oct 31 03:10 /opt/iobroker/backups/test_pipeline_compressed_tar.tar.gz

[Thomas Braun]

Mit der neuen Mount-Option cache=loose funktionieren Updates auch wieder auf dem zickigen Fritz!NAS:

Das wird wohl mit nodejs@20 für die Verwender dann eine notwendige Einstellung werden, wenn sich da nichts mehr tun sollte bei nodejs.

[legro]

Wir sollten weniger in Javascript suchen, sondern ermitteln, was bei der Fritte in Kombi mit CIFS anders ist

Leider ist‘s bei mir nicht die Fritz!Box, die ein Backup von InfluxDB und Grafana verhindert. Bei mir sind die Backup-Dateien zu diesen beiden Programmen viel zu klein.

Zuerst habe ich die Option cache=loose versucht. Die Dateien blieben zu klein. Anschließend habe ich das Backup nicht auf NAS gespeichert, sondern es lokal erstellen lassen. Die Backups blieben unverändert viel zu klein.