Dokumentation einer Proxmox / ioBroker / Redis HA-Umgebung
-
Guten Abend zusammen,
inspiriert durch die Diskussionen aus
- https://forum.iobroker.net/topic/26327/redis-in-iobroker-überblick
- https://forum.iobroker.net/topic/45979/iobroker-hochverfügbar
ist in den letzten Wochen diese
Dokumentation entstanden. Die Datei liegt auch als Word-Dokument im Repo - für die jenigen die daran mitarbeiten wollen
Sie beschreibt das Aufsetzen eines Proxmox-Clusters, die Integration von GlusterFS, ein Redis-HA-Setup und die Konfiguration von ioBroker für dieses.
Vielen Dank an Ingo ( @apollon77 ) für das Querlesen, Auskunft geben, korrigieren und immer eine freundliche Antwort parat zu haben! Danke!!
Aktuell läuft das ganze bei mir noch rein virtuell. Der Aufbau des 'echten' Proxmox-Clusters startet allerdings am kommenden Wochenende: 2x Intel NUC + 1 Raspberry Pi um Beschluss fähig zu sein
Dieser Zwischenschritt zum Cluster aus 3+ Nodes wird dann noch in das Dokument mit aufgenommen.Ich würde mich freuen, wenn Interessierte und Kenner des Themas kritisch drüber schauen würden. Am Ende haben wir für die Community vielleicht eine solide Dokumentation eines HA-Setups für zuhause
-
@darkiop
sehr schön und jetzt das noch in vagrant,
dann wäre es wirklich super easy für jeden.
https://github.com/telcat/vagrant-proxmox -
@oliverio was es nicht alles gibt
aber der letzte commit in das repo war 2016 - lebt das denn überhaupt noch?Auf der TODO steht noch so einiges, die nächsten Erweiterungen decken sich mit dem Ausbau bei mir:
- Den echten NUC-Cluster in Betrieb nehmen
- USV + Nut auf nem Raspi um das komplette Rack abzusichern
-
@darkiop
ja stimmt gar nicht so genau hingeschaut.
idee war jede node mit einem einfachen basis image (proxmox, debian, raspian) auszutauschen. darauf kommt dann eine virtualisierungseben (vm,container per docker oder proxmox), die es einfach macht jede einzelne software komponente einfachst aktuell zu halten)
wenn dann die provisionierung/konfiguration einer einzelnen softwarekomponente bereits so vordefiniert ankommt (vagrant,docker-compose), dann können
auch Anfänger sich so etwas einrichten und aktuell halten.
ich denke die Anleitung richtet sich an fortgeschrittene benutzer. andere trauen sich da nicht ran. -
@darkiop proxmox cluster hab ich ne Weile schon am laufen, werd die Tage mal lesen.
-
@darkiop schönes Projekt! Und vor allem schöne Doku…
Was mir beim Drüberschauen auf/eingefallen ist:- GlusterFS ist meiner Erfahrung nach leider schnarchlahm - könnte vielleicht ein Problem sein
- „keine Snapshots“ macht das Backup leider etwas unschön, imo
- richtig komfortabel und schnell ist der Proxmox Backup Server - läuft auch problemlos parallel zu einem der Proxen
- ohne Fencing ist das Ganze m.E. schon mit ein paar Risiken behaftet, was HA betrifft; da braucht u.U. nur mal ein unpassendes Stück Netzwerk ausfallen, und der Cluster fährt Container hoch, die bloss offline sind, aber noch munter laufen und ins shared storage schreiben…
-
@oliverio sagte in Dokumentation einer Proxmox / ioBroker / Redis HA-Umgebung:
ich denke die Anleitung richtet sich an fortgeschrittene benutzer. andere trauen sich da nicht ran.
absolut, zumindest an die ambitionierten. ein gewisser aufwand an benötigten Vorwissen, Zeit und auch Invest ist Voraussetzung.
@crunchip sagte in Dokumentation einer Proxmox / ioBroker / Redis HA-Umgebung:
werd die Tage mal lesen.
Danke dir!
@jleg sagte in Dokumentation einer Proxmox / ioBroker / Redis HA-Umgebung:
@darkiop schönes Projekt! Und vor allem schöne Doku…
Danke!
Was mir beim Drüberschauen auf/eingefallen ist:
- GlusterFS ist meiner Erfahrung nach leider schnarchlahm - könnte vielleicht ein Problem sein
Darüber hab ich keine Erfahrung, aber für den Einsatz im Heimnetz doch noch völlig ok? Zumindest ist mir bei meinen Tests nichts negatives aufgefallen.
Grundsätzlich: Statt dem Kapitel GlusterFS kann es ja auch ein Kapitel 'Storage' mit den Unterkapiteln 'GlusterFS', ZFS, Ceph, ... geben. Wenn da jemand was zu beisteuern möchte - sehr gerne, die Word-Datei liegt ebenfalls im Github Repo.
- „keine Snapshots“ macht das Backup leider etwas unschön, imo
Da hast du Recht, ich hab meine 'Snapshots' mit einem Backup über den PBS ersetzt.
- richtig komfortabel und schnell ist der Proxmox Backup Server - läuft auch problemlos parallel zu einem der Proxen
Absolut - der läuft hier auch innerhalb einer VM in Proxmox und arbeitet zuverlässig.
- ohne Fencing ist das Ganze m.E. schon mit ein paar Risiken behaftet, was HA betrifft; da braucht u.U. nur mal ein unpassendes Stück Netzwerk ausfallen, und der Cluster fährt Container hoch, die bloss offline sind, aber noch munter laufen und ins shared storage schreiben…
Fencing - noch ein Fremdwort. Muss ich mir anschauen
Kannst du da ein paar Worte zu sagen? -
@darkiop …die HA-Doku hattest du ja im Pdf verlinkt
Fencing heisst letztlich ja nur, dass der als „vermutlich defekt“ erkannte Node vom Cluster-Quorum explizit „abgeschossen“ wird. Denn ohne weitere Massnahmen wird ein ausbleibender Heartbeat u.U. schon durch einen simplen Netzwackler detektiert.
Zum einen werden daher bei „wichtigeren“ Clustern die Heartbeat-Links oft redundant und separat angelegt, zum anderen aber vor allem „Stonith“ eingerichtet, das ist der Mechanismus, um das faule Ei definitiv aus dem Cluster zu nehmen (Fencing).
Das lässt sich oft ohne grösseren Aufwand konfigurieren, wenn die Nodes IPMI (bei HP heisst‘s iLO) mitbringen. Kenne mich mit NUCs nicht aus, könnte aber sein, dass die was vergleichbares haben. Oder man nimmt einen Sonoff-Switch o.ä. um die Versorgungsspannung wegzuschalten… -
@darkiop sagte in Dokumentation einer Proxmox / ioBroker / Redis HA-Umgebung:
Absolut - der läuft hier auch innerhalb einer VM in Proxmox und arbeitet zuverlässig
Den PBS in einer VM laufen zu lassen, ist meines Wissens aber mit der neuer Proxmox Version nicht mehr möglich.
-
@jleg sagte in Dokumentation einer Proxmox / ioBroker / Redis HA-Umgebung:
bei HP heisst‘s iLO
Der allgemeine Begirff ist KVM over IP (Keyboard,Video,Mouse).
Bei Intel AMT (Active Management Technology)
Scheint bei Nucs ab Gen7 dabei zu sein.
https://www.virten.net/2018/05/7th-gen-nuc-remote-management-with-kvm-using-vpro-amt/7 mit dabei zu sein -
@jleg sagte in Dokumentation einer Proxmox / ioBroker / Redis HA-Umgebung:
GlusterFS ist meiner Erfahrung nach leider schnarchlahm - könnte vielleicht ein Problem sein
Naja, die andere Alternative ist Ceph was etwas arg oversized für ein privat Setup ist. Und ansonsten sind die ioBroker Anwendungen (und viel heutzutage) eher nicht I/O Lastig oder ?! Also ich nutze GlusterFS schon seit 2 Jahren jetzt und bisher in dem Anwendungsbereich keine größeren Probeme.
„keine Snapshots“ macht das Backup leider etwas unschön, imo
richtig komfortabel und schnell ist der Proxmox Backup Server - läuft auch problemlos parallel zu einem der ProxenSnapshots sind nur bei LXC "nicht da". Bei VMs tun Sie auch mit GlusterFS.
Aber ja ich mache Backup per PBS - auch teilweise direkt in den Containern als Host Backup die relevanten Verzeichnisse und so. Ich sichere daher die "ganzen" Container nur bei größeren Änderungen, sonst nur relevante Files und Verzeichnisse drin.ohne Fencing ist das Ganze m.E. schon mit ein paar Risiken behaftet, was HA betrifft; da braucht u.U. nur mal ein unpassendes Stück Netzwerk ausfallen, und der Cluster fährt Container hoch, die bloss offline sind, aber noch munter laufen und ins shared storage schreiben…
aja das Beispiel-Setup im Dokument ist virtualisiert, von dhaer ist Fencing eher bullshit.
In einem Echt.Setup sollte man in jedem Fall den Watchdog korrekt von Software auf Hardware umstellen und damit hat man dann echtes fencing.
-
@crunchip Waaaass????? Really? Wäre mir neu
-
@jleg Nucs haben den iTCO_wdt Watchdog dabei ... geht super.EInfach in einem Konfigfile eine Zeile EIntragen, Rebooten, fertig
-
@darkiop
Hey,erstmal eine Klasse Idee eine solche Anleitung zu erstellen. Sieht bisher wirklich gut aus.
Ich selbst setzte auch schon länger einen Proxmox Server als HV ein um meine Systeme zu betrieben.
Aktuell aber noch als Single Node da mir ein zweiter Server doch zu viel Strom zieht.Ich stimme @JLeg zu, dass GlusterFS extrem langsam ist.
Was spricht gegen ZFS?
Ich selbst habe 3 HDDs in einem RAIDZ (RAID-5) mit einer SSD als Cache und habe absolut keine Probleme was die Geschwindigkeit angeht.
Außerdem sind die Daten innerhalb des ZFS Speichers komprimiert, was den vorhanden Platz besser nutzen lässt.Generell fände ich es sinnvoll die Festplatten in einem RAID zu betreiben (Falls die NUCs das können, hab mich noch nicht so sehr damit befasst)
Gruß
T -
@dert sagte in Dokumentation einer Proxmox / ioBroker / Redis HA-Umgebung:
Was spricht gegen ZFS?
Das es kein Shared Filesystem ist was Verteilt auf die Nodes im Cluster läuft und HA ermöglicht?
Ein Node mit einem Raud macht vllt den Storage ausfallsicher aber nicht den Rest. Node aus ... alles aus
-
@apollon77 vllt hab ich es auch falsch interpretiert und es geht nur nicht wegen dem Buster/ Bullseye. Bin da gerade gar nicht auf dem Laufenden ob PBS 2.0 schon läuft.
@apollon77 sagte in Dokumentation einer Proxmox / ioBroker / Redis HA-Umgebung:
Snapshots sind nur bei LXC "nicht da"
Snapshot vom LXC geht doch auch
-
@crunchip sagte in Dokumentation einer Proxmox / ioBroker / Redis HA-Umgebung:
@darkiop sagte in Dokumentation einer Proxmox / ioBroker / Redis HA-Umgebung:
Absolut - der läuft hier auch innerhalb einer VM in Proxmox und arbeitet zuverlässig
Den PBS in einer VM laufen zu lassen, ist meines Wissens aber mit der neuer Proxmox Version nicht mehr möglich.
@apollon77 sagte in Dokumentation einer Proxmox / ioBroker / Redis HA-Umgebung:
@crunchip Waaaass????? Really? Wäre mir neu
Das Teste ich die Tage - hab auf meiner Test-Umgebung bereits ein Setup mit Proxmox 7 laufen.
@apollon77 sagte in Dokumentation einer Proxmox / ioBroker / Redis HA-Umgebung:
In einem Echt.Setup sollte man in jedem Fall den Watchdog korrekt von Software auf Hardware umstellen und damit hat man dann echtes fencing.
@apollon77 sagte in Dokumentation einer Proxmox / ioBroker / Redis HA-Umgebung:
@jleg Nucs haben den iTCO_wdt Watchdog dabei ... geht super.EInfach in einem Konfigfile eine Zeile EIntragen, Rebooten, fertig
Das hab ich ja auf der TODO, wenn es zum aktivieren auch nur das hier braucht, dann ists ja auch nicht wirklich dramatisch
/etc/default/pve-ha-manage
# Intel Watchdog WATCHDOG_MODULE=iTCO_wdt@dert sagte in Dokumentation einer Proxmox / ioBroker / Redis HA-Umgebung:
erstmal eine Klasse Idee eine solche Anleitung zu erstellen. Sieht bisher wirklich gut aus.
Ich selbst setzte auch schon länger einen Proxmox Server als HV ein um meine Systeme zu betrieben.
Aktuell aber noch als Single Node da mir ein zweiter Server doch zu viel Strom zieht.Gerne, viel gelernt dabei
Ja, das mit dem Strom ist so ne Sache. Bei mir hat sich auch mit den vielen Überwachungen und Automatismen im Haus ein kleiner Tick zum Strom sparen entwickelt, aber ich denke die zusätzlichen ~50W Last fürs Cluster nehme ich in Kauf - wird verbucht unter "Aufwände fürs Hobby" @dert sagte in Dokumentation einer Proxmox / ioBroker / Redis HA-Umgebung:
Ich stimme @JLeg zu, dass GlusterFS extrem langsam ist.
Was spricht gegen ZFS?
Ich selbst habe 3 HDDs in einem RAIDZ (RAID-5) mit einer SSD als Cache und habe absolut keine Probleme was die Geschwindigkeit angeht.
Außerdem sind die Daten innerhalb des ZFS Speichers komprimiert, was den vorhanden Platz besser nutzen lässt.
Generell fände ich es sinnvoll die Festplatten in einem RAID zu betreiben (Falls die NUCs das können, hab mich noch nicht so sehr damit befasst)Für so ein Setup wirds in dem NUC aber schnell eng
Ein Raid stellt die Verfügbarkeit sicher - auf die habe ich aber auch mit dem HA-Setup eingezahlt. Und wenn wirklich mal ne SSD in nem NUC abraucht ist der auch schnell mit einer neuen SSD wieder aufgesetzt. Denke das muss man abwägen.@crunchip sagte in Dokumentation einer Proxmox / ioBroker / Redis HA-Umgebung:
Snapshot vom LXC geht doch auch
Nur für VMs, wenn der Storage auf dem GlusterFS liegt. Such mal im Dokument nach "Workaround", da ist es beschrieben.
-
@jleg sagte in Dokumentation einer Proxmox / ioBroker / Redis HA-Umgebung:
…die HA-Doku hattest du ja im Pdf verlinkt
Und den Link zum Repo direkt. Aber ich habs im Eingangs-Post jetzt auch vermerkt
-
@darkiop sagte in Dokumentation einer Proxmox / ioBroker / Redis HA-Umgebung:
Nur für VMs, wenn der Storage auf dem GlusterFS liegt
Hab ich nicht, bei mir liegen die im LVM
-
@crunchip genau, das thema 'snapshots' betrifft nur LXCs, wenn sie auf einem GlusterFS liegen (Workaround über ein Directory)
