ioBroker Docker - InfluxDB Error bei hoher Disk I/O

Glasfaser

@hennerich sagte in ioBroker Docker - InfluxDB Error bei hoher Disk I/O:

Kann man ioBroker nicht während der Sicherung einfach mal anhalten und danach wieder starten?

Das geht nicht ... bzw. ist auch nicht im sinne des Erfinders

Das würde dann auch den täglichen Neustart um 5 Uhr obsolet machen.

ioBroker braucht man nicht täglich neustarten , aber warum sollte man das machen !?

Moin,

@hennerich sagte in ioBroker Docker - InfluxDB Error bei hoher Disk I/O:

Meine Suche im Internet hat Hinweise darauf ergeben, dass die hohe Disk I/O damit zusammenhängen könnte.

Hat Du das bei Dir verifiziert? Hast Du ein Monitoring oder Daten die das belegen?

Nur, wie löse ich das Problem?

Disk IO kannst Du durch einen Cache (SSD) verbessern
welches Raid nutzt Du?
kannst Du die Platten so aufteilen, das das Schreiben der influxDB von anderen getrennt ist?

Auf der influxDB Seite um welche handelt es sich?

für influxDB V. 2.x kannst Du ein InfluxDB Monitoring einrichten um zu schauen ob Du Performance Probleme hast.

Dann habe ich da noch einen Schalter, der falls da etwas im Argen liegt genutzt werden kann

--storage-write-timeout

Wie zu benutzen steht unter Storage Time Out

VG
Bernd

hennerich

@dp20eic
Ahhh, jetzt bekam ich mal wieder beim Antworten "Forbidden" und hab aus versehen den Zwischenspeicher mit meiner umfangreichen Antwort gelöscht. Wie ich das hasse
Ok, in Kurzfassung:

Hab ein DS220+ mit HDDs, da geht kein SSD Cache (leider
Das Template hab ich mal installiert
den Rest sehen wir morgen früh, bin dann aber erstmal bis Sonntag im Kurzurlaub

Thomas Braun

@hennerich sagte in ioBroker Docker - InfluxDB Error bei hoher Disk I/O:

Ahhh, jetzt bekam ich mal wieder beim Antworten "Forbidden"

F5 drücken, dann geht's weiter.

hennerich

@hennerich sagte in ioBroker Docker - InfluxDB Error bei hoher Disk I/O:

Das Template hab ich mal installiert

den Rest sehen wir morgen früh, bin dann aber erstmal bis Sonntag im Kurzurlaub

Ok, scheinbar war ich zu doof, das Dashboard zum Laufen zu bekommen. Das zeigt nichts an. Das Problem ist aber seit dem letzten Mal nicht wieder aufgetreten.

hennerich

@dp20eic sagte in ioBroker Docker - InfluxDB Error bei hoher Disk I/O:

Dann habe ich da noch einen Schalter, der falls da etwas im Argen liegt genutzt werden kann

--storage-write-timeout
Wie zu benutzen steht unter [Storage Time Out](https://docs.influxdata.com/influxdb/v2.6/reference/config-options/)

Moin Bernd,

nachdem ich ja das Dashboar nicht zum Laufen bekommen habe, gabs vorgestern und heute wieder Probleme.
Das Default Timeout des Clients scheint bei 10s zu liegen. Ich hab das jetzt mal auf 20s hochgesetzt und beobachte weiterhin.
Für alle die es interesiert, im Docker muss man das als ENV Variable mitgeben. Im Synology ist das so:

Container stoppen
Container bearbeiten und unter Erweiterte Einstellungen eine Varianble hinzufügen

Grüße
Henri

@hennerich sagte in ioBroker Docker - InfluxDB Error bei hoher Disk I/O:

nachdem ich ja das Dashboar nicht zum Laufen bekommen habe

Moin,

ich schaue mal, kann nicht sagen, ob es heute klappt, aber dann Beschreibe ich mal mit meinen Worten wie man das einrichtet.

VG
Bernd

hennerich

@dp20eic

Hallo Bernd,

dann kann ich ja schon mal kurz berichten, was ich bisher da so gemacht habe.

Hab ich das bzw. die Dashboards von hier und hier runtergeladen
Das InfluxDB Template habe ich importiert und es wurde ein neues Bucket oss_metrics hinzugefügt
dann hab ich geprüft, ob das Sammeln von Metriken überhaupt erlaubt ist (ist standardmäßig EIN und ich hab nichts verändert)
dann hab ich einen Scraper erstellt und testweise die URL aufgerufen

auf der /metrics Seite bekomme ich jede Menge Input, also muss das gehen (nehme ich an)
Wenn ich im Bucket oss_metrics nachschaue, sind da aber keine Infos drin

Und das ist halt dann das Ergebnis

Da hänge ich gerade

@hennerich

Moin,

Du bist ja auf dem richtigen weg, eines hast Du aber nicht gemacht, oder ich hab es überlesen.

auf dem Rechner, auf dem du die Metricen sammeln willst, musst Du dir telegraf installieren. Nach dem Installieren des Templates in der InfluxDB kann dann eine Konfiguration für telegraf erstellt werden, dann brauchst du noch ein Token und du kannst es dann von der Kommandozeile ausführen.

Ich habe nur gerade keine Zeit das genauer zu beschreiben, hier ist es kurz beschrieben.

VG
Bernd

P.S.: das was Du unter http://ip-influxdb-server:8086/metrics bekommst das ist das was influxDb von sich aus mitteilt, genau diese Daten nimmt dann telegraf und bereitet sie Auf und schreibt sie in das oss_metrics Bucket.
Theoretisch könntest Du mehrere influxDb Server betreiben und in jedem ein telegraf laufen lassen und dann allen Output nur zu einer influxDB schicken um alle Metriken an einem Platz zu haben.

Ich nutze telegraf auf jedem meiner LXC Container um mir die CPU, Mem, usw. Metriken an eine influxDB zu schicken um dann alles mit Grafana zu Visualisieren.

hennerich

@dp20eic sagte in ioBroker Docker - InfluxDB Error bei hoher Disk I/O:

@hennerich
Du bist ja auf dem richtigen weg, eines hast Du aber nicht gemacht, oder ich hab es überlesen.
auf dem Rechner, auf dem du die Metricen sammeln willst, musst Du dir telegraf installieren.

Hey Bernd,

irgendwie hatte ich es geahnt. Wozu brauche ich denn Telegraph wenn ich doch Grafana habe? Und außerdem streube ich mich ehrlich gesagt, irgendwas am Container rumzufummeln, wenn das beim nächsten Depolyment alles wieder weg ist.
Und nein, ich hab keine Ahnung von Containern und kann nicht mal eben meinen eigenen InflucDB Container inkl. Telegraph bauen.

Viele Grüße
Henri

@hennerich

Moin,

oh, da habe ich wohl nicht gelesen oder hab es vergessen, das Du mit Docker unterwegs bist, dann verstell da lieber nicht so viel dran

Zu telegraf das ist ein Datensammler, der mittels Konfiguration, echt viel ermitteln kann und das dann in eine influxDb schreibt, diese Daten können dann erst mittels Grafana ausgewertet werden.
Wie man das in einen Docker bekommt, ohne angst vor einen neuen Deploy des Docker Containers zu haben, könnte ich Dir sagen, aber konzentrieren wir uns erstmal auf das ursächliche Problem

Ist eigentlich für größere Installationen, die überwacht werden müssen, da ich beruflich damit zu tun hatte, habe ich das auch hier Zuhause getan
Die Metriken sind ja auch nur ein Sahnehäubchen, hoffe, das Du mit dem geänderten Write zum Erfolg kommst.

VG
Bernd

hennerich

@dp20eic
Moin Bernd,

nachdem nun auch mit meiner Erhöhung des Timeouts auf 20s den vierten Tag in Folge das Problem aufgetreten ist, muss ich hier was tun.
Ich hab mir überlegt, dass für eine temporäre Analyse eine Telegraf Installation im bestehenden InfluxDB Container sinnvoll wäre. So lange lasse ich eben den modifizierten Container laufen.
Muss ich dazu einfach nur über den Paketmanager Telegraf installieren oder was muss ich beachten?

Grüße
Henri

@hennerich sagte in ioBroker Docker - InfluxDB Error bei hoher Disk I/O:

Muss ich dazu einfach nur über den Paketmanager Telegraf installieren oder was muss ich beachten?

Moin,

erst müssen wir mal schauen, wie Du unterwegs bist.

1.) Du nutzt Docker!
1.1) Du hast für iobroker, influxdb, grafana eigene Container.
1.2) Fehler im Netzwerk können ausgeschlossen werden.
1.3) Wie ist das Netzwerk auf der Syno eingestellt.
1.4) Noch mal die Fehler aus den Logs iobroker und auch vom influxdb - Docker <- sollte unter /var/log/influxirgend_was liegen.

2.) gib mir etwas Zeit, da sich meine Syno gerade updatet, ich baue mir influxDB, telegraf mal auf um die schritte nachzuvollziehen.

Ich habe noch mal etwas in den alten Beiträgen im Netz nachgeschaut, manche sind von 10s default auf 60s gegangen, ist aber auch sicherlich nur ein Workaround.

VG
Bernd

@hennerich sagte in ioBroker Docker - InfluxDB Error bei hoher Disk I/O:

Muss ich dazu einfach nur über den Paketmanager Telegraf installieren oder was muss ich beachten?

Moin,
ich habe die Zeit genutzt und etwas Grundlagenforschung betrieben, die Sache ist einfacher als gedacht

Du brauchst keine zusätzliche Software, das geht alles out of the box mit influxDB V2.6.

In diesem influxDB_Metriken_Teil1.pdf Dokument habe ich beschrieben, wie man das bei einer Erstinstallation gleich mit macht.

Da Du oder auch anderer, ja meistens schon eine fertige influxDB Installation haben, ist der Weg aber auch nicht so schwer.
Hier influxDB_Metriken_Teil2.pdf

Dashboard influxdb_2.0_oss_metrics.json
Variable bucket.json

VG
Bernd

EDIT: 2023-02-23
ich habe die Markdown Dateien gegen PDFs ausgetauscht. Und das Dashboard und Variablen *.json an gehangen.

hennerich

@dp20eic
Danke Bernd, das schaue ich mir an. Melde mich.
Heute gabs das Problem übrigens nicht.

[edit sagt]
Du hast eine *.md Doku gemacht. Es ist sicherlich beabsichtigt, dass dort deine Bilder nicht zu sehen sind? Hab die Files mit notepad++ aufgemacht.

@hennerich

Moin,
ja, ich schreibe viel in Markdown ist schneller als wenn ich irgend ein Office nutze und mir reicht das an Funktionalität aus.
Such mal für dein Betriebssystem ein Markdown Reader, ich habe für die Anleitung ghostwriter genutzt, ob das z.B. auch unter Win gut läuft, kann ich nicht sagen, nutze nur Linux.

VG
Bernd

Edit:
Ich mach noch mal, da ich die Bilder nicht eingepackt habe, man sollte halt mal mit einem anderen Rechner kontrollieren

Ahnungsbefreit

@hennerich Ich habe das gleiche Problem. Für Notepad++ gibt's ein Plugin "Markdown Viewer++", damit sieht man die Formatierung. Aber die Bilder fehlen natürlich trotzdem

@ahnungsbefreit

Moin,

ich hab das gerade noch mal angepasst, war mein Fehler, da ich es immer nur auf dem Rechner kontrolliert habe, auf dem ich auch geschrieben habe. Sind jetzt auch PDFs und die beiden benötigten Dateien hängen jetzt auch am Post.

VG
Bernd

hennerich

@dp20eic sagte in ioBroker Docker - InfluxDB Error bei hoher Disk I/O:

@ahnungsbefreit

Moin,

ich hab das gerade noch mal angepasst, war mein Fehler, da ich es immer nur auf dem Rechner kontrolliert habe, auf dem ich auch geschrieben habe. Sind jetzt auch PDFs und die beiden benötigten Dateien hängen jetzt auch am Post.

VG
Bernd

Bernd, ich muss mich entschuldigen. Erst einmal vielen Dank für deine Mühe, dazu noch mal PDFs mit Bildern zu machen. Dann, dass du dich hier reingedacht hast und zuletzt, dass ich mich noch nicht dazu gemeldet hab. Wir renovieren gerade zu Hause und auf Arbeit ist auch Stress, ich hatte noch keinen Nerv dafür.
Melde mich asap.

Viele Grüße
Henri

@hennerich

Moin,

mach Dir kein Stress.
Besser Du bist bei den Sachen, die gerade wichtig sind, der Rest kommt dann von alleine.

Und Danke für die Rückmeldung, nimm Dir Zeit. Wenn dann doch wieder erwarten etwas nicht funktioniere, dann melde dich einfach.

VG
Bernd

NEWS

ioBroker Docker - InfluxDB Error bei hoher Disk I/O

Support us

1.0k
Online

31.6k
Users

79.4k
Topics

1.3m
Posts

NEWS

ioBroker Docker - InfluxDB Error bei hoher Disk I/O

Support us

1.0kOnline

31.6kUsers

79.4kTopics

1.3mPosts

1.0k
Online

31.6k
Users

79.4k
Topics

1.3m
Posts