Dokumentation einer Proxmox / ioBroker / Redis HA-Umgebung

[darkiop]

Zum Thema Hardware: Bin im Proxmox Forum über die hier gestolpert:

• https://forum.proxmox.com/threads/suche-mini-pc-heimbedarf.95286/#post-414440
• https://www.asrockind.com/en-gb/4X4 BOX-4800U

Für jemanden der noch keine Hardware hat und neu beschafft (und bereit ist ein paaar mehr € auszugeben) eine Interessante Option - vor allem durch die beiden LAN Ports.

@apollon77 sagte in Dokumentation einer Proxmox / ioBroker / Redis HA-Umgebung:

Wenn iiirgendwann mal zeit ist dann wird es bei ioBroker auch mit HA noch weiter gehen. Das was wir seit controller 3 haben mit Sentinel ist eine erste Vorstufe. Der "feuchte Traum" ist ein HA Konzept was auch mit der File DB geht und sowohl "2 Node Auto Failover Warm Standby" erlaubt (für die denen ein Raspi reicht) wie auch "HA ohne Proxmox" für 3+ Nodes ... Aber das sind alles keine kleinen Themen

Das klingt alles sehr spannend - sag Bescheid falls du ein Tester brauchst

[darkiop]

Zur Doku: Hab noch 2, leider essentielle, Punkte für eine Inbetriebnahme meines HA-Clusters zu lösen:

• Integration von USB-Geräten, z.B. die Sensoren für das Auslesen von Smartmetern
• Integration HomeMatic Funk-Modul (aktuell auch USB, ggf. Umstieg auf HB-RF-ETH)

[Wildbill]

@darkiop Für USB und sonstige Geräte, die direkt an einem der Nodes angeschlossen sind, wird Dir im Ernstfall nichts anderes übrig bleiben, als selbst umzustecken. Oder Du hältst so etwas wie Zigbee-Stick & Co doppelt vor, je einen pro Node. Dann müssen die aber absolut identisch eingerichtet sein, damit es klappen könnte.
Von Hardware-Umschaltern, die bei Bedarf automatisch den Ausgang wechseln habe ich zumindest noch nicht gehört, lasse mich hier aber gerne belehren.
Gruß, Jürgen

[crunchip]

@darkiop sagte in Dokumentation einer Proxmox / ioBroker / Redis HA-Umgebung:

Integration von USB-Geräten, z.B. die Sensoren für das Auslesen von Smartmetern

https://forum.iobroker.net/post/597731

[apollon77]

Also USB hatte ich bisher immer in die Nucs gesteckt und dort auf proxmox ebene "usbip" installiert und das wird dann direkt in der VM (hab das mit LXC noch nicht versucht) quasi gemounted. Auf den Nucs ist da der usbip Server und ind er VM dann usbip als client mit nem systemd start script der die richtrigen devices holt.

Damit ist im ersten Schritt mal der "Host wo USB drin ist" weg gekapselt von der VM/LXC - weil sobald du in Proxmox USB klassisch weitergibst geht die online-Migration der VM/LXC nicht mehr!

Der Nachteil der lösung war dann imme rdas wen ich bei den Nucs updates gemacht habe ich danach auch noch VMs auf anderen Nucs im Cluster durchstarten musste damit die USB Geräte wieder da waren.

Inzwischen hab ich mir drei kleine ZeroPi geholt die nur USB bereitstellen. Die Starte ich dann nur "alle jubel Jahre" mal durch und damit ist das erledigt.

Ich glaube andere haben mit ser2net gute Erfahrungen gemacht

[darkiop]

@crunchip sagte in Dokumentation einer Proxmox / ioBroker / Redis HA-Umgebung:

@darkiop sagte in Dokumentation einer Proxmox / ioBroker / Redis HA-Umgebung:

Integration von USB-Geräten, z.B. die Sensoren für das Auslesen von Smartmetern

https://forum.iobroker.net/post/597731

Ui, der ging an mir vorbei - hab (noch) keine Zigbee Geräte, bzw. die Hue's über die Hue Bridge eingebunden.

@apollon77 sagte in Dokumentation einer Proxmox / ioBroker / Redis HA-Umgebung:

Ich glaube andere haben mit ser2net gute Erfahrungen gemacht

Ja, davon ist in dem Thread von @crunchip die Rede.

@apollon77 sagte in Dokumentation einer Proxmox / ioBroker / Redis HA-Umgebung:

Auf den Nucs ist da der usbip Server und ind er VM dann usbip als client mit nem systemd start script der die richtrigen devices holt.

Das muss ich mir mal anschauen, mein anliegen wäre die USB-Smartmeter vom Nuc abzudocken. Bei den HomeMatic Komponenten nutze ich wohl die Gelegenheit und schau mir mal Alex Reinersts HB-RF-ETH an.

[crunchip]

@darkiop das war nur ein Beispiel Link, wenn ichs richtig gelesen habe, hat @klassisch auch Smartmeter so umgesetzt

[darkiop]

@crunchip sagte in Dokumentation einer Proxmox / ioBroker / Redis HA-Umgebung:

@darkiop das war nur ein Beispiel Link, wenn ichs richtig gelesen habe, hat @klassisch auch Smartmeter so umgesetzt

Ja, die schau ich mir die Tage mal an.

Kurzes Update zur Doku. Hab heute meine 2 NUCs + Proxmox 7 und GlusterFS aufgesetzt. Morgen kommt dann noch ein Raspi für Quorum dazu. Bisher keine Probleme. Bei Debian Bullseye kommt GlusterFS 9.2 mit - das manuelle hinzufügen einer aktuellen Version ist somit hinfällig. Das Dokument selbst aktualisiere ich dann die Tage.

[apollon77]

@darkiop bedenkt aber das Debian üblicherweise dann keine Updates liefert außer fixes. Das glusterfs repo zu nehmen hat also schon den Vorteil das ihr Updates bekommt imm9.x und später auch auf 10.x gehen könnt.

Und wenn 9.2 dabei ist bitte daran denken den einen Service zu deaktivieren.

[darkiop]

@apollon77 sagte in Dokumentation einer Proxmox / ioBroker / Redis HA-Umgebung:

@darkiop bedenkt aber das Debian üblicherweise dann keine Updates liefert außer fixes. Das glusterfs repo zu nehmen hat also schon den Vorteil das ihr Updates bekommt imm9.x und später auch auf 10.x gehen könnt.

Ja, das hatte ich auf dem Schirm - aber da wir in der ursprünglichen Doku mit v8 Unterwegs waren dachte ich mir, für die nächste Zeit ist da die mitgelieferte v9 Ok. Wechseln ist ja, mit dem bereits beschriebenen immer noch möglich.

@apollon77 sagte in Dokumentation einer Proxmox / ioBroker / Redis HA-Umgebung:

Und wenn 9.2 dabei ist bitte daran denken den einen Service zu deaktivieren.

Du meinst den glusterfssharedstorage? Der ist nicht vorhanden.

[darkiop]

@crunchip sagte in Dokumentation einer Proxmox / ioBroker / Redis HA-Umgebung:

Den PBS in einer VM laufen zu lassen, ist meines Wissens aber mit der neuer Proxmox Version nicht mehr möglich.

@apollon77 sagte in Dokumentation einer Proxmox / ioBroker / Redis HA-Umgebung:

@crunchip Waaaass????? Really? Wäre mir neu

Ich hab heute den PBS v2 in einer VM neu aufgesetzt, in der fstab den NFS Share hinzugefügt und dann die datastore.cfg manuell erstellt. Danach ganz normal den PBS bei den Storages hinzufügen. Restore eines alten Backups war erfolgreich. Läuft also noch

/etc/fstab

192.168.1.30:/volume1/pbs /mnt/odin-pbs nfs rw 0 0

/etc/proxmox-backup/datastore.cfg

datastore: odin-pbs
        path /mnt/odin-pbs

[crunchip]

@darkiop sagte in Dokumentation einer Proxmox / ioBroker / Redis HA-Umgebung:

Ich hab heute den PBS v2

Ich hatte mich ja korrigiert, siehe https://forum.iobroker.net/post/672836

[darkiop]

@crunchip Alles gut - wollte es nur Testen.

Aktuell kämpfe ich mit Backups auf ganz normale NFS Share ... kann mir nicht erklären wieso die gerade mit 'Permission denied' beim Backup abbrechen.

Den NFS Share als Storage nutzen klappt ohne Probleme, sobald man aber ein normales Backup startet ziggt er rum. Sogar bei einem extra eingerichteten Share zum Testen ...

Aber die Backups laufen jetzt erstmal über den PBS, von daher alles gut. Allerdings hatte ich in der Vergangheit meine Backups der Backups gerne über die normalen dumps gemacht - das ist übersichtlicher und einfacher zuhandhaben (Kopie auf USB HDD und gut ist ...).

[darkiop]

Guten Morgen,

für die Interessierten, Lesestoff für den Sonntagmorgen, Version 1.10 ist fertig:

https://github.com/darkiop/doku-iobroker-ha (inkl. Word-Dokument)
https://github.com/darkiop/doku-iobroker-ha/blob/main/20210912_ioBroker_auf_Proxmox_HA_v1.10.pdf

Änderungen:

• Raspberry Pi als qdevice
• GlusterFS Arbiter
• Hardware-Watchdog
• einige Befehls-Beschreibungen ergänzt

Mittlerweile setze ich das Setup mit 2 Intel NUCs + einem Raspberry Pi ein. Tests für das Sicherstellen von HA dauern noch an. Aber die grundlegende Funktion ist gegeben

Grüße und einen schönen Sonntag,
Thorsten

[darkiop]

Guten Morgen,
habe gerade die Version 1.20 hochgeladen.

https://github.com/darkiop/doku-iobroker-ha (inkl. Word-Dokument)
https://github.com/darkiop/doku-iobroker-ha/blob/main/20211003_ioBroker_auf_Proxmox_HA_v1.20.pdf

Änderungen:

• Bekannte Probleme (Hardware-Watchdog)
• USBIP

Das Kapitel USBIP ist doch Recht umfangreich geworden. Aber auch seit gut 2 Wochen absolut stabil. Wenn notwendig, wird der USBIP-Server oder USBIP-Client automatisch durchgestartet und somit die Funktion sichergestellt. Gerne mal drüberschauen, Kritik erwünscht.

Aktuell läuft der USBIP-Client in der ioBroker VM. Leider habe ich es bisher auch nicht den USBIP-Client in einem LXC (unprivileged ebenfalls getestet) funktional zu bekommen. Das Kernel-Modul für USBIP wurde auf dem Proxmox-Host geladen und ist auch auch im LXC geladen. Allerdings verweigert USBIP den Dienst. Also wenn hier noch jemand einen Tip hat, würde mich freuen, denn wenn das funktioniert kann ioBroker zurück in einen LXC wandern

USBIP im LXC Log

Sep 26 11:47:03 pve-ct-iobroker [10897]: usbip: debug: usbip_attach.c:112:[import_device] got free port 0
Sep 26 11:47:03 pve-ct-iobroker [10897]: libusbip: debug: vhci_driver.c:367:[usbip_vhci_attach_device2] writing: 0 4 65540 2
Sep 26 11:47:03 pve-ct-iobroker [10897]: libusbip: debug: vhci_driver.c:372:[usbip_vhci_attach_device2] attach attribute path: /sys/devices/platform/vhci_hcd.0/attach
Sep 26 11:47:03 pve-ct-iobroker [10897]: usbip: debug: sysfs_utils.c:18:[write_sysfs_attribute] error opening attribute /sys/devices/platform/vhci_hcd.0/attach
Sep 26 11:47:03 pve-ct-iobroker [10897]: libusbip: debug: vhci_driver.c:376:[usbip_vhci_attach_device2] write_sysfs_attribute failed
Sep 26 11:47:03 pve-ct-iobroker [10897]: usbip: error: import device

Mit dem Hardware Watchdog kämpfe ich noch, da muss ich mich in einer ruhigen Minute nochmal dran setzen. Bisher war das leider ein Sackgasse.

Grüße und viel Spaß damit,
Thorsten

[darkiop]

Die v.1.30 ist am WE entstanden:

https://github.com/darkiop/doku-iobroker-ha (inkl. Word-Dokument)
https://github.com/darkiop/doku-iobroker-ha/blob/main/20211018_ioBroker_auf_Proxmox_HA_v1.30.pdf

Änderungen:

• GlusterFS Daten in ioBroker
• GlusterFS Performance Tests

[darkiop]

Guten Morgen,

v1.40 ging eben ins Repo

https://github.com/darkiop/doku-iobroker-ha (inkl. Word-Dokument)
https://github.com/darkiop/doku-iobroker-ha/blob/main/20211113_ioBroker_auf_Proxmox_HA_v1.40.pdf

Änderungen:

• Watchdog Test
• HA Test
• ser2net an Stelle von USBIP

Demnächst muss ich mal den aktuellen Misch-Masch in der Doku aus virtueller Testumgebung und echter Hardware bereiningen

[etzeste13]

@darkiop
Hallo Thorsten,
finde das Thema extrem interessant und super gemacht!! Gratulation!! Bevor ich aber anfange nach der Anleitung zu arbeiten, wollte ich dich fragen, ob die Anleitung mit den aktuellen Versionen noch anwendbar ist, ober ob es hier strukturelle Änderungen gab/gibt.

vG Etze

[darkiop]

@etzeste13

Die sollte grundsätzlich noch funktionieren.

@SuFra wollte/hat die auch mal verprobt, siehe hier: https://forum.iobroker.net/topic/45979/iobroker-hochverfügbar/62?_=1706687099865

[amg_666]

@darkiop Ziemlich alter Thread, trotzdem habe ich eine Frage.
Ich nutze Proxmox 8.2.5 auf mehreren intel nuc und hangel mich grade durch die Dokumentation "High Availibility Umebung iobroer auf proxmox".
Ich möchte für redis getrennte Prozesse (states und objects) einrichten Auf Seite 22 der Doku steht

ExecStart=/usr/bin/redis-server /etc/redis/redis2.conf
PIDFile=/run/redis/redis-server2.pid

der ExecStart Befehl führt zu

root@redis-pve1:~# ExecStart=/usr/bin/redis-server /etc/redis/redis2.conf
-bash: /etc/redis/redis2.conf: Permission denied
root@redis-pve1:~# 

Was muss ich da machen/ändern?