Dokumentation einer Proxmox / ioBroker / Redis HA-Umgebung
-
@jleg Generell: Ack! "Shared Nothing" is schwierig - mindestens der Redis sollte Persistenz haben. Es gab auch mal einen Forum Thread zu nem Raspi DRBD Setup mit Stonith und allem ... aber das kriegt kein normalo user aufgebaut.
Aber jetzt immer mal bei allem hier noch das Umfeld bedenken und daher ist auch bei mir "nur" GlusterFS im Einsatz, wobei ich darauf inzwischen einiges betreibe und an sich keine Probleme habe (as said alles nicht wirklich I/O Lastig)!
Wenn iiirgendwann mal zeit ist dann wird es bei ioBroker auch mit HA noch weiter gehen. Das was wir seit controller 3 haben mit Sentinel ist eine erste Vorstufe. Der "feuchte Traum" ist ein HA Konzept was auch mit der File DB geht und sowohl "2 Node Auto Failover Warm Standby" erlaubt (für die denen ein Raspi reicht) wie auch "HA ohne Proxmox" für 3+ Nodes ... Aber das sind alles keine kleinen Themen
-
@apollon77 sagte in Dokumentation einer Proxmox / ioBroker / Redis HA-Umgebung:
@darkiop @JLeg Der Watchdoch oim Dokument genannt klappt bei mir bei nuc6..10
Hab mich falsch ausgedrückt - der geht, das hatte ich im Log nach dem aktivieren auch schon überprüft.
Ich meinte mit dem Post oben die Remote Managementfunktionen (siehe Link).
Gruß
-
Zum Thema Hardware: Bin im Proxmox Forum über die hier gestolpert:
- https://forum.proxmox.com/threads/suche-mini-pc-heimbedarf.95286/#post-414440
- https://www.asrockind.com/en-gb/4X4 BOX-4800U
Für jemanden der noch keine Hardware hat und neu beschafft (und bereit ist ein paaar mehr € auszugeben) eine Interessante Option - vor allem durch die beiden LAN Ports.
@apollon77 sagte in Dokumentation einer Proxmox / ioBroker / Redis HA-Umgebung:
Wenn iiirgendwann mal zeit ist dann wird es bei ioBroker auch mit HA noch weiter gehen. Das was wir seit controller 3 haben mit Sentinel ist eine erste Vorstufe. Der "feuchte Traum" ist ein HA Konzept was auch mit der File DB geht und sowohl "2 Node Auto Failover Warm Standby" erlaubt (für die denen ein Raspi reicht) wie auch "HA ohne Proxmox" für 3+ Nodes ... Aber das sind alles keine kleinen Themen
Das klingt alles sehr spannend - sag Bescheid falls du ein Tester brauchst
-
Zur Doku: Hab noch 2, leider essentielle, Punkte für eine Inbetriebnahme meines HA-Clusters zu lösen:
- Integration von USB-Geräten, z.B. die Sensoren für das Auslesen von Smartmetern
- Integration HomeMatic Funk-Modul (aktuell auch USB, ggf. Umstieg auf HB-RF-ETH)
-
@darkiop Für USB und sonstige Geräte, die direkt an einem der Nodes angeschlossen sind, wird Dir im Ernstfall nichts anderes übrig bleiben, als selbst umzustecken. Oder Du hältst so etwas wie Zigbee-Stick & Co doppelt vor, je einen pro Node. Dann müssen die aber absolut identisch eingerichtet sein, damit es klappen könnte.
Von Hardware-Umschaltern, die bei Bedarf automatisch den Ausgang wechseln habe ich zumindest noch nicht gehört, lasse mich hier aber gerne belehren.
Gruß, Jürgen -
@darkiop sagte in Dokumentation einer Proxmox / ioBroker / Redis HA-Umgebung:
Integration von USB-Geräten, z.B. die Sensoren für das Auslesen von Smartmetern
-
Also USB hatte ich bisher immer in die Nucs gesteckt und dort auf proxmox ebene "usbip" installiert und das wird dann direkt in der VM (hab das mit LXC noch nicht versucht) quasi gemounted. Auf den Nucs ist da der usbip Server und ind er VM dann usbip als client mit nem systemd start script der die richtrigen devices holt.
Damit ist im ersten Schritt mal der "Host wo USB drin ist" weg gekapselt von der VM/LXC - weil sobald du in Proxmox USB klassisch weitergibst geht die online-Migration der VM/LXC nicht mehr!
Der Nachteil der lösung war dann imme rdas wen ich bei den Nucs updates gemacht habe ich danach auch noch VMs auf anderen Nucs im Cluster durchstarten musste damit die USB Geräte wieder da waren.
Inzwischen hab ich mir drei kleine ZeroPi geholt die nur USB bereitstellen. Die Starte ich dann nur "alle jubel Jahre" mal durch und damit ist das erledigt.
Ich glaube andere haben mit ser2net gute Erfahrungen gemacht
-
@crunchip sagte in Dokumentation einer Proxmox / ioBroker / Redis HA-Umgebung:
@darkiop sagte in Dokumentation einer Proxmox / ioBroker / Redis HA-Umgebung:
Integration von USB-Geräten, z.B. die Sensoren für das Auslesen von Smartmetern
Ui, der ging an mir vorbei - hab (noch) keine Zigbee Geräte, bzw. die Hue's über die Hue Bridge eingebunden.
@apollon77 sagte in Dokumentation einer Proxmox / ioBroker / Redis HA-Umgebung:
Ich glaube andere haben mit ser2net gute Erfahrungen gemacht
Ja, davon ist in dem Thread von @crunchip die Rede.
@apollon77 sagte in Dokumentation einer Proxmox / ioBroker / Redis HA-Umgebung:
Auf den Nucs ist da der usbip Server und ind er VM dann usbip als client mit nem systemd start script der die richtrigen devices holt.
Das muss ich mir mal anschauen, mein anliegen wäre die USB-Smartmeter vom Nuc abzudocken. Bei den HomeMatic Komponenten nutze ich wohl die Gelegenheit und schau mir mal Alex Reinersts HB-RF-ETH an.
-
@darkiop das war nur ein Beispiel Link, wenn ichs richtig gelesen habe, hat @klassisch auch Smartmeter so umgesetzt
-
@crunchip sagte in Dokumentation einer Proxmox / ioBroker / Redis HA-Umgebung:
@darkiop das war nur ein Beispiel Link, wenn ichs richtig gelesen habe, hat @klassisch auch Smartmeter so umgesetzt
Ja, die schau ich mir die Tage mal an.
Kurzes Update zur Doku. Hab heute meine 2 NUCs + Proxmox 7 und GlusterFS aufgesetzt. Morgen kommt dann noch ein Raspi für Quorum dazu. Bisher keine Probleme. Bei Debian Bullseye kommt GlusterFS 9.2 mit - das manuelle hinzufügen einer aktuellen Version ist somit hinfällig. Das Dokument selbst aktualisiere ich dann die Tage.
-
@darkiop bedenkt aber das Debian üblicherweise dann keine Updates liefert außer fixes. Das glusterfs repo zu nehmen hat also schon den Vorteil das ihr Updates bekommt imm9.x und später auch auf 10.x gehen könnt.
Und wenn 9.2 dabei ist bitte daran denken den einen Service zu deaktivieren.
-
@apollon77 sagte in Dokumentation einer Proxmox / ioBroker / Redis HA-Umgebung:
@darkiop bedenkt aber das Debian üblicherweise dann keine Updates liefert außer fixes. Das glusterfs repo zu nehmen hat also schon den Vorteil das ihr Updates bekommt imm9.x und später auch auf 10.x gehen könnt.
Ja, das hatte ich auf dem Schirm - aber da wir in der ursprünglichen Doku mit v8 Unterwegs waren dachte ich mir, für die nächste Zeit ist da die mitgelieferte v9 Ok. Wechseln ist ja, mit dem bereits beschriebenen immer noch möglich.
@apollon77 sagte in Dokumentation einer Proxmox / ioBroker / Redis HA-Umgebung:
Und wenn 9.2 dabei ist bitte daran denken den einen Service zu deaktivieren.
Du meinst den glusterfssharedstorage? Der ist nicht vorhanden.
-
@crunchip sagte in Dokumentation einer Proxmox / ioBroker / Redis HA-Umgebung:
Den PBS in einer VM laufen zu lassen, ist meines Wissens aber mit der neuer Proxmox Version nicht mehr möglich.
@apollon77 sagte in Dokumentation einer Proxmox / ioBroker / Redis HA-Umgebung:
@crunchip Waaaass????? Really? Wäre mir neu
Ich hab heute den PBS v2 in einer VM neu aufgesetzt, in der fstab den NFS Share hinzugefügt und dann die datastore.cfg manuell erstellt. Danach ganz normal den PBS bei den Storages hinzufügen. Restore eines alten Backups war erfolgreich. Läuft also noch
/etc/fstab
192.168.1.30:/volume1/pbs /mnt/odin-pbs nfs rw 0 0/etc/proxmox-backup/datastore.cfg
datastore: odin-pbs path /mnt/odin-pbs -
@darkiop sagte in Dokumentation einer Proxmox / ioBroker / Redis HA-Umgebung:
Ich hab heute den PBS v2
Ich hatte mich ja korrigiert, siehe https://forum.iobroker.net/post/672836
-
@crunchip Alles gut - wollte es nur Testen.
Aktuell kämpfe ich mit Backups auf ganz normale NFS Share ... kann mir nicht erklären wieso die gerade mit 'Permission denied' beim Backup abbrechen.
Den NFS Share als Storage nutzen klappt ohne Probleme, sobald man aber ein normales Backup startet ziggt er rum. Sogar bei einem extra eingerichteten Share zum Testen ...
Aber die Backups laufen jetzt erstmal über den PBS, von daher alles gut. Allerdings hatte ich in der Vergangheit meine Backups der Backups gerne über die normalen dumps gemacht - das ist übersichtlicher und einfacher zuhandhaben (Kopie auf USB HDD und gut ist ...).
-
Guten Morgen,
für die Interessierten, Lesestoff für den Sonntagmorgen, Version 1.10 ist fertig:
https://github.com/darkiop/doku-iobroker-ha (inkl. Word-Dokument)
https://github.com/darkiop/doku-iobroker-ha/blob/main/20210912_ioBroker_auf_Proxmox_HA_v1.10.pdfÄnderungen:
- Raspberry Pi als qdevice
- GlusterFS Arbiter
- Hardware-Watchdog
- einige Befehls-Beschreibungen ergänzt
Mittlerweile setze ich das Setup mit 2 Intel NUCs + einem Raspberry Pi ein. Tests für das Sicherstellen von HA dauern noch an. Aber die grundlegende Funktion ist gegeben
Grüße und einen schönen Sonntag,
Thorsten -
Guten Morgen,
habe gerade die Version 1.20 hochgeladen.https://github.com/darkiop/doku-iobroker-ha (inkl. Word-Dokument)
https://github.com/darkiop/doku-iobroker-ha/blob/main/20211003_ioBroker_auf_Proxmox_HA_v1.20.pdfÄnderungen:
- Bekannte Probleme (Hardware-Watchdog)
- USBIP
Das Kapitel USBIP ist doch Recht umfangreich geworden. Aber auch seit gut 2 Wochen absolut stabil. Wenn notwendig, wird der USBIP-Server oder USBIP-Client automatisch durchgestartet und somit die Funktion sichergestellt. Gerne mal drüberschauen, Kritik erwünscht.
Aktuell läuft der USBIP-Client in der ioBroker VM. Leider habe ich es bisher auch nicht den USBIP-Client in einem LXC (unprivileged ebenfalls getestet) funktional zu bekommen. Das Kernel-Modul für USBIP wurde auf dem Proxmox-Host geladen und ist auch auch im LXC geladen. Allerdings verweigert USBIP den Dienst. Also wenn hier noch jemand einen Tip hat, würde mich freuen, denn wenn das funktioniert kann ioBroker zurück in einen LXC wandern
Mit dem Hardware Watchdog kämpfe ich noch, da muss ich mich in einer ruhigen Minute nochmal dran setzen. Bisher war das leider ein Sackgasse.
Grüße und viel Spaß damit,
Thorsten -
Die v.1.30 ist am WE entstanden:
https://github.com/darkiop/doku-iobroker-ha (inkl. Word-Dokument)
https://github.com/darkiop/doku-iobroker-ha/blob/main/20211018_ioBroker_auf_Proxmox_HA_v1.30.pdfÄnderungen:
- GlusterFS Daten in ioBroker
- GlusterFS Performance Tests
-
Guten Morgen,
v1.40 ging eben ins Repo
https://github.com/darkiop/doku-iobroker-ha (inkl. Word-Dokument)
https://github.com/darkiop/doku-iobroker-ha/blob/main/20211113_ioBroker_auf_Proxmox_HA_v1.40.pdfÄnderungen:
- Watchdog Test
- HA Test
- ser2net an Stelle von USBIP
Demnächst muss ich mal den aktuellen Misch-Masch in der Doku aus virtueller Testumgebung und echter Hardware bereiningen
-
@darkiop
Hallo Thorsten,
finde das Thema extrem interessant und super gemacht!! Gratulation!! Bevor ich aber anfange nach der Anleitung zu arbeiten, wollte ich dich fragen, ob die Anleitung mit den aktuellen Versionen noch anwendbar ist, ober ob es hier strukturelle Änderungen gab/gibt.vG Etze
