Dokumentation einer Proxmox / ioBroker / Redis HA-Umgebung

[darkiop]

@crunchip sagte in Dokumentation einer Proxmox / ioBroker / Redis HA-Umgebung:

Den PBS in einer VM laufen zu lassen, ist meines Wissens aber mit der neuer Proxmox Version nicht mehr möglich.

@apollon77 sagte in Dokumentation einer Proxmox / ioBroker / Redis HA-Umgebung:

@crunchip Waaaass????? Really? Wäre mir neu

Ich hab heute den PBS v2 in einer VM neu aufgesetzt, in der fstab den NFS Share hinzugefügt und dann die datastore.cfg manuell erstellt. Danach ganz normal den PBS bei den Storages hinzufügen. Restore eines alten Backups war erfolgreich. Läuft also noch

/etc/fstab

192.168.1.30:/volume1/pbs /mnt/odin-pbs nfs rw 0 0

/etc/proxmox-backup/datastore.cfg

datastore: odin-pbs
        path /mnt/odin-pbs

[crunchip]

@darkiop sagte in Dokumentation einer Proxmox / ioBroker / Redis HA-Umgebung:

Ich hab heute den PBS v2

Ich hatte mich ja korrigiert, siehe https://forum.iobroker.net/post/672836

[darkiop]

@crunchip Alles gut - wollte es nur Testen.

Aktuell kämpfe ich mit Backups auf ganz normale NFS Share ... kann mir nicht erklären wieso die gerade mit 'Permission denied' beim Backup abbrechen.

Den NFS Share als Storage nutzen klappt ohne Probleme, sobald man aber ein normales Backup startet ziggt er rum. Sogar bei einem extra eingerichteten Share zum Testen ...

Aber die Backups laufen jetzt erstmal über den PBS, von daher alles gut. Allerdings hatte ich in der Vergangheit meine Backups der Backups gerne über die normalen dumps gemacht - das ist übersichtlicher und einfacher zuhandhaben (Kopie auf USB HDD und gut ist ...).

[darkiop]

Guten Morgen,

für die Interessierten, Lesestoff für den Sonntagmorgen, Version 1.10 ist fertig:

https://github.com/darkiop/doku-iobroker-ha (inkl. Word-Dokument)
https://github.com/darkiop/doku-iobroker-ha/blob/main/20210912_ioBroker_auf_Proxmox_HA_v1.10.pdf

Änderungen:

• Raspberry Pi als qdevice
• GlusterFS Arbiter
• Hardware-Watchdog
• einige Befehls-Beschreibungen ergänzt

Mittlerweile setze ich das Setup mit 2 Intel NUCs + einem Raspberry Pi ein. Tests für das Sicherstellen von HA dauern noch an. Aber die grundlegende Funktion ist gegeben

Grüße und einen schönen Sonntag,
Thorsten

[darkiop]

Guten Morgen,
habe gerade die Version 1.20 hochgeladen.

https://github.com/darkiop/doku-iobroker-ha (inkl. Word-Dokument)
https://github.com/darkiop/doku-iobroker-ha/blob/main/20211003_ioBroker_auf_Proxmox_HA_v1.20.pdf

Änderungen:

• Bekannte Probleme (Hardware-Watchdog)
• USBIP

Das Kapitel USBIP ist doch Recht umfangreich geworden. Aber auch seit gut 2 Wochen absolut stabil. Wenn notwendig, wird der USBIP-Server oder USBIP-Client automatisch durchgestartet und somit die Funktion sichergestellt. Gerne mal drüberschauen, Kritik erwünscht.

Aktuell läuft der USBIP-Client in der ioBroker VM. Leider habe ich es bisher auch nicht den USBIP-Client in einem LXC (unprivileged ebenfalls getestet) funktional zu bekommen. Das Kernel-Modul für USBIP wurde auf dem Proxmox-Host geladen und ist auch auch im LXC geladen. Allerdings verweigert USBIP den Dienst. Also wenn hier noch jemand einen Tip hat, würde mich freuen, denn wenn das funktioniert kann ioBroker zurück in einen LXC wandern

USBIP im LXC Log

Sep 26 11:47:03 pve-ct-iobroker [10897]: usbip: debug: usbip_attach.c:112:[import_device] got free port 0
Sep 26 11:47:03 pve-ct-iobroker [10897]: libusbip: debug: vhci_driver.c:367:[usbip_vhci_attach_device2] writing: 0 4 65540 2
Sep 26 11:47:03 pve-ct-iobroker [10897]: libusbip: debug: vhci_driver.c:372:[usbip_vhci_attach_device2] attach attribute path: /sys/devices/platform/vhci_hcd.0/attach
Sep 26 11:47:03 pve-ct-iobroker [10897]: usbip: debug: sysfs_utils.c:18:[write_sysfs_attribute] error opening attribute /sys/devices/platform/vhci_hcd.0/attach
Sep 26 11:47:03 pve-ct-iobroker [10897]: libusbip: debug: vhci_driver.c:376:[usbip_vhci_attach_device2] write_sysfs_attribute failed
Sep 26 11:47:03 pve-ct-iobroker [10897]: usbip: error: import device

Mit dem Hardware Watchdog kämpfe ich noch, da muss ich mich in einer ruhigen Minute nochmal dran setzen. Bisher war das leider ein Sackgasse.

Grüße und viel Spaß damit,
Thorsten

[darkiop]

Die v.1.30 ist am WE entstanden:

https://github.com/darkiop/doku-iobroker-ha (inkl. Word-Dokument)
https://github.com/darkiop/doku-iobroker-ha/blob/main/20211018_ioBroker_auf_Proxmox_HA_v1.30.pdf

Änderungen:

• GlusterFS Daten in ioBroker
• GlusterFS Performance Tests

[darkiop]

Guten Morgen,

v1.40 ging eben ins Repo

https://github.com/darkiop/doku-iobroker-ha (inkl. Word-Dokument)
https://github.com/darkiop/doku-iobroker-ha/blob/main/20211113_ioBroker_auf_Proxmox_HA_v1.40.pdf

Änderungen:

• Watchdog Test
• HA Test
• ser2net an Stelle von USBIP

Demnächst muss ich mal den aktuellen Misch-Masch in der Doku aus virtueller Testumgebung und echter Hardware bereiningen

[etzeste13]

@darkiop
Hallo Thorsten,
finde das Thema extrem interessant und super gemacht!! Gratulation!! Bevor ich aber anfange nach der Anleitung zu arbeiten, wollte ich dich fragen, ob die Anleitung mit den aktuellen Versionen noch anwendbar ist, ober ob es hier strukturelle Änderungen gab/gibt.

vG Etze

[darkiop]

@etzeste13

Die sollte grundsätzlich noch funktionieren.

@SuFra wollte/hat die auch mal verprobt, siehe hier: https://forum.iobroker.net/topic/45979/iobroker-hochverfügbar/62?_=1706687099865

[amg_666]

@darkiop Ziemlich alter Thread, trotzdem habe ich eine Frage.
Ich nutze Proxmox 8.2.5 auf mehreren intel nuc und hangel mich grade durch die Dokumentation "High Availibility Umebung iobroer auf proxmox".
Ich möchte für redis getrennte Prozesse (states und objects) einrichten Auf Seite 22 der Doku steht

ExecStart=/usr/bin/redis-server /etc/redis/redis2.conf
PIDFile=/run/redis/redis-server2.pid

der ExecStart Befehl führt zu

root@redis-pve1:~# ExecStart=/usr/bin/redis-server /etc/redis/redis2.conf
-bash: /etc/redis/redis2.conf: Permission denied
root@redis-pve1:~# 

Was muss ich da machen/ändern?

[apollon77]

@amg_666 ExecStart is eine Anweisung in der Konfig. Der Befehl startet erst nach dem =

[amg_666]

@apollon77 sagte in Dokumentation einer Proxmox / ioBroker / Redis HA-Umgebung:

ExecStart is eine Anweisung in der Konfig

arrrgh Ich sollte echt nicht mehr so spät am System rumfummeln. Danke, läuft jetzt wie gewünscht...

[amg_666]

@darkiop

Ich muss nochmal kurz nerven: In der "/lib/systemd/system/redis-server2.service" soll laut Anweisung auch die Zeile ReadWriteDirectories angepasst werden. In der Anleitung steht, man soll aus

ReadWriteDirectories=-/var/lib/redis

ReadWriteDirectories=-/var/lib/redis2

machen. Bei mir steht da aber ein anderer Pfad

ReadWriteDirectories=-/etc/redis

soll/kann ich den mit dem Pfad auf /var/lib/... überschreiben ?