Problem Admin- oder Influx-Adapter ?

[Segway]

@marc-berg sagte in Problem Admin- oder Influx-Adapter ?:

@segway sagte in Problem Admin- oder Influx-Adapter ?:

und das ist nur für eine halbe Stunde !!!!

So ist es leider nicht. Der Adapter macht im Hintergrund Abfragen über den gesamten Datenbestand (für das selektierte Measurement). Ich vermute, dass du dort so viel Daten drin hast, dass die InfluxDB die Segel streicht.

Hier kannst du mal schauen, wie viele Datensätze jeweils drin sind, ist natürlich dann fraglich, ob die DB das schafft:

Mhhh, natürlich habe ich sehr viele Daten drin, dafür soll die DB ja auch sein.
Warum fragt er den gesamten Datenbestand ab wenn ich nur einen Datenpunkt ausgewählt habe ? Das macht eher keine Sinn oder ?

[Segway]

@marc-berg sagte in Problem Admin- oder Influx-Adapter ?:

from(bucket: "iobroker")
|> range(start: -10y)
|> filter(fn: (r) => r["_field"] == "value")
|> count()
|> group()
|> keep(columns: ["_measurement", "_value"])
|> sort(columns: ["_value"], desc: true)
|> rename(columns: {_value: "Anzahl"})

Der Vollständigkeit halber hier das Ergebnis - aber bitte jetzt keine Diskussion darüber. Auf der Arbeit haben wir deutlich mehr an Daten:

Der Befehl wurde anstandslos in 96s abgearbeitet

[Segway]

siehe oben ergänzende Infos

[Marc Berg]

@segway sagte in Problem Admin- oder Influx-Adapter ?:

Warum fragt er den gesamten Datenbestand ab wenn ich nur einen Datenpunkt ausgewählt habe ? Das macht eher keine Sinn oder ?

Nein, ich hatte ja geschrieben, dass "nur das selektierte Measurement" / Datenpunkt abgefragt wird, dieses aber ab 1999. Das reicht aber offensichtlich bei deinen Datenmengen schon aus.

Unbhängig davon sind die Abfragen im Hintergrund wohl optimierungsbedürftig. Habe das gerade mal getestet. Wenn man auf Verlaufsdaten klickt, werden im Hintergrund acht Abfragen mit unterschiedlichen Zeiträumen abgefeuert.

[Marc Berg]

@segway sagte in Problem Admin- oder Influx-Adapter ?:

Der Vollständigkeit halber hier das Ergebnis - aber bitte jetzt keine Diskussion darüber.

Kannst du mal auf

schalten? Gibt es da noch mehr als 12 Mio Datensätze?

[Segway]

@marc-berg sagte in Problem Admin- oder Influx-Adapter ?:

Unbhängig davon sind die Abfragen im Hintergrund wohl optimierungsbedürftig. Habe das gerade mal getestet. Wenn man auf Verlaufsdaten klickt, werden im Hintergrund acht Abfragen mit unterschiedlichen Zeiträumen abgefeuert.

Das ist ja schonmal was. Aber erklärt das mein beschriebenes verhalten ?

@marc-berg sagte in Problem Admin- oder Influx-Adapter ?:

Kannst du mal auf
schalten? Gibt es da noch mehr als 12 Mio Datensätze?

Sind wohl ähnlich:

Hier sieht man noch die Influx VM, wie sie ihre Arbeit verrichtet für die 3 Abfragen von mir:

[Marc Berg]

@segway sagte in Problem Admin- oder Influx-Adapter ?:

Das ist ja schonmal was. Aber erklärt das mein beschriebenes verhalten ?

Ich finde das schon ziemlich plausibel. Die acht Queries werden ja praktisch zeitgleich abgesetzt. D.h. acht mal wird da parallel über (teilweise) 12 Mio Datensätze gerauscht. Da darf CPU und RAM aus meiner Sicht schon mal an Grenzen geraten.

[Segway]

@marc-berg sagte in Problem Admin- oder Influx-Adapter ?:

@segway sagte in Problem Admin- oder Influx-Adapter ?:

Das ist ja schonmal was. Aber erklärt das mein beschriebenes verhalten ?

Ich finde das schon ziemlich plausibel. Die acht Queries werden ja praktisch zeitgleich abgesetzt. D.h. acht mal wird da parallel über (teilweise) 12 Mio Datensätze gerauscht. Da darf CPU und RAM aus meiner Sicht schon mal an Grenzen geraten.

Also ein Bug ? Soll ich ein Issue aufmachen ?

[Marc Berg]

@segway sagte in Problem Admin- oder Influx-Adapter ?:

Also ein Bug ? Soll ich ein Issue aufmachen ?

Als Bug würde ich es nicht unbedingt bezeichnen. Hier treffen nicht optimierte Abfragen auf, ähm..., nicht optimierte Daten.

Aber da ich die Queries sowieso gerade parat habe, kann ich das auch machen.

[Segway]

@marc-berg sagte in Problem Admin- oder Influx-Adapter ?:

Als Bug würde ich es nicht unbedingt bezeichnen. Hier treffen nicht optimierte Abfragen auf, ähm..., nicht optimierte Daten.

sehr schön ausgedrückt

Aber da ich die Queries sowieso gerade parat habe, kann ich das auch machen.

Alles klar danke. Poste mir bitte den Issue dann subscribe ich den

[saeft_2003]

@segway sagte in Problem Admin- oder Influx-Adapter ?:

Hier sieht man noch die Influx VM, wie sie ihre Arbeit verrichtet für die 3 Abfragen von mir:

Das selbe Bild hatte ich vor kurzem und der influx adapter hatte keine Verbindung. Als ich mich über SSH in der influx VM einloggen wollte stand ganz oben OOM Kill. Obwohl der RAM verbrauch bei mir immer 880-890MB von 1GB hatte. Ich hab den RAM jetzt auf 1,5GB erhöht jetzt nutzt die VM ca. 970MB.

Icht würde testweise den RAM mal erhöhen, falls es das nicht war kann man es ja wieder rückgängig machen...

[Marc Berg]

@saeft_2003

@segway sagte in Problem Admin- oder Influx-Adapter ?:

Da kann ich auch so viel Speicher geben wie ich will ist immer desgleichen

[Segway]

@saeft_2003 sagte in Problem Admin- oder Influx-Adapter ?:

Icht würde testweise den RAM mal erhöhen, falls es das nicht war kann man es ja wieder rückgängig machen...

Hab ich ja bereits. Effekt der gleiche
(von 2 auf 4Gb .. aktuell 3Gb)

@marc-berg sagte in Problem Admin- oder Influx-Adapter ?:

@saeft_2003

@segway sagte in Problem Admin- oder Influx-Adapter ?:

Da kann ich auch so viel Speicher geben wie ich will ist immer desgleichen

korrekt

[Marc Berg]

@segway sagte in Problem Admin- oder Influx-Adapter ?:

Poste mir bitte den Issue dann subscribe ich den

Es gibt noch ein Bug, der dein Problem zumindest mitverursacht:

https://github.com/ioBroker/ioBroker.influxdb/issues/372

Durch einen fehlenden Filter wird viel mehr selektiert als notwendig.

tipp88 created this issue in ioBroker/ioBroker.influxdb

closed HttpError: runtime error @4:12-4:122: filter: type conflict: bool != string #372

[Meister Mopper]

@segway sagte in Problem Admin- oder Influx-Adapter ?:

Manchmal hängt der Adapter sich auf und wird gelb und der Proxmoxcontainer hat 100% Auslastung und 100% Raum-verbrauch.
Nach Neustart des Containers ist wieder alles gut.

Ja, das habe ich auch ab und an.

Ich fange das dann mit einem Blockly-Skript ab und starte den LXC einfach neu, danach läuft's wieder eine gute Zeit weiter. Es ist wohl die InfluxDb, die zu diesem Zeitpunkt RAM und CPU-Leistung frisst.

Die Ursache kenne ich (noch) nicht.

Heute z. B. um 08:30 Uhr

[Marc Berg]

@meister-mopper sagte in Problem Admin- oder Influx-Adapter ?:

Die Ursache kenne ich (noch) nicht.

Die InfluxDB reorganisiert sich ja regelmäßig und schreibt die Datenfiles neu. Das ist mit reichlich RAM Verbrauch verbunden. Du könntest versuchen an ein paar Parametern zu drehen, z.B. diese hier:

https://docs.influxdata.com/influxdb/v2/reference/config-options/#storage-max-concurrent-compactions
https://docs.influxdata.com/influxdb/v2/reference/config-options/#storage-max-index-log-file-size
https://docs.influxdata.com/influxdb/v2/reference/config-options/#storage-series-file-max-concurrent-snapshot-compactions