Grafana Tages/Monatsverbräuche Performance u. Darstellung?
-
@dieter_p sagte in Grafana Tages/Monatsverbräuche Performance u. Darstellung?:
Den Browser kannst Du ausschließen?
Ich kann gar nichts ausschließen. Vielleicht ist deine Hardware auch zu schwach, mehrere Abfragen gleichzeitig zu bedienen. Was passiert, wenn du mal eine deaktivierst?
-
Was passiert, wenn du mal eine deaktivierst?
Verhält sich dann in Firefox und Chrome identisch.
Ich sehe noch ganz kurz ein "Loading" aber kein hüpfendes Grafana Logo mehr. Das bleibt auch in beiden Browsern so.Dann das 2te Panel wieder ergänzt. In Firefox beide Panels laden wieder recht langsam mit Loading und Grafana Logo. In Chrome bleibt es bei der kurzen Sichtbarkeit von "Loading" jetzt in beiden Panels.
-
@marc-berg sagte in Grafana Tages/Monatsverbräuche Performance u. Darstellung?:
Hast du die "Embed" Option ausgewählt?
Sehr interessant! Das ist bei einem Solo-Dashboard in der Tat performanter, wie aber funktioniert das in einem Dashboard mit mehreren Dashboard?
Wenn ich dort share auswähle, gibt es keine embed-Option, oder klicke ich mal wieder falsch?
-
@meister-mopper sagte in Grafana Tages/Monatsverbräuche Performance u. Darstellung?:
Wenn ich dort share auswähle, gibt es keine embed-Option, oder klicke ich mal wieder falsch?
Meines Wissens kann man nur einzelne Panels ("Solo Dashboard") als iFrame bereitstellen. Für ein Dashboard geht das nicht.
-
Danke, schade, denn ich habe nur wenige 'Solos'.
Trotzdem, die wenigen habe ich dank deines Tipps umgestellt.
-
@marc-berg, @Meister-Mopper ,
doch das geht.
Das Dashboard als public dashboard freigeben. ggf. localhost im Link durch die lokale IP-Adresse des Grafana-Hosts ersetzten.Vorher natürlich /usr/share/grafana/conf/defaults.ini im Grafana-Host anpassen.
Darin muss allow_embedding auf true gesetzt werden.
Anschließend des Service neustarten. -
@dieter_p Schau dir mal die Infos von @haus-automatisierung an:
https://haus-automatisierung.com/software/2023/05/11/influxdb2-pv-dashboard.htmlIn dem Beitrag geht es zwar um eine PV-Anlage, aber die Reduzierung der Datenmenge durch tasks ist sicher auch für dich hilfreich.
Ggf. kann bei den Abfragen auf die range optzimiert werden, auch dazu gibt es in dem Beitrag einige Infos.
-
Danke. Die allgemeine Info, dass es eine Performancesache ist hilft mir auch schon sehr.
Wie oben bei den Screenshots andeuteutungsweise zu sehen ist, gibt es eine Welt vor Grafana wo ich mir diese Visualisierung mit Datenpunkten und Queries in die Datenpunkte selbst gebaut hab.
Vom Prinzip, empfinde ich es ja auch unnötig außer für den aktuellen Tag und den aktuellen Monat bei jedem Aufruf die DB fürs ganze Jahr zu durchwurschteln. An den anderen Werte ändert sich ja erstmal nix.
Die manuell gebauten Abfragen sind nur recht komplex geworden durch viele Wenn/dann Fälle und die Visualisierung vielleicht nicht "brillant-bright". Hier der Versuch mit Grafana das mit einem Wisch zu verbessern.
Da das nicht geht, muß ich mal überlegen ob ich eine optimierte Version mit Grafana baue oder wieder ganz drauf verzichte.
-
Hab nun etwas probiert bzgl. reduzierter Datenmengen und wie ich nun festgestellt hab, hatte ich eh schon Aggregationen der Tagesverbräuche in der Datenbank die ich jeden Tag um 23:59h bilde und dareinschreibe.
Die Nutzung in Grafana also
Tageswerte:
from(bucket: "iobroker") |> range(start: v.timeRangeStart, stop: v.timeRangeStop) |> filter(fn: (r) => r["_measurement"] == "OelVerbrTag") |> filter(fn: (r) => r["_field"] == "value") |> aggregateWindow(every: 1d, fn: sum, createEmpty: false) |> yield(name: "sum")Monatswerte:
from(bucket: "iobroker") |> range(start: v.timeRangeStart, stop: v.timeRangeStop) |> filter(fn: (r) => r["_measurement"] == "OelVerbrTag") |> filter(fn: (r) => r["_field"] == "value") |> aggregateWindow(every: 1mo, fn: sum, createEmpty: false) |> yield(name: "sum")Wirkt sich deutlich spürbar auf die Performance aus und lesbare "Loading"-Anzeigen oder Grafana-Symbole sind verschwunden.
Nun hab ich jedoch noch eine Frage was besonders gut in der Tagesdarstellung sichtbar ist. Dort eine Verschiebung in der Zeitachse um 1Tag drin. Ich schreibe den Tagesverbrauch defintiv vor 24h in die Datenbank somit ist der Zeitstempel auch vom gleichen Tag, aber die Aggregation verschiebt das.
Wie ist das anpassbar?b) Kann ich eine eine 2te Abfrage in das gleiche Panel reinbringen für den aktuellen Tag/Monat (je nach Panel)? Hier ändert sich ja mit jedem aktuellen Verbrauch gemäß dem Zeitpunkt des Abrufs etwas und ich müßte den einen Bargraph für den Tag/monat wirklich so fein dynamisch nach Aufrufzeitpunkt haben. Lässt Grafana das zu?
Thx!
-
@dieter_p sagte in Grafana Tages/Monatsverbräuche Performance u. Darstellung?:
Dort eine Verschiebung in der Zeitachse um 1Tag drin. Ich schreibe den Tagesverbrauch defintiv vor 24h in die Datenbank somit ist der Zeitstempel auch vom gleichen Tag, aber die Aggregation verschiebt das.
Wie ist das anpassbar?Du solltest jeweils vor deine Query
import "timezone" option location = timezone.location(name: "Europe/Berlin")reinschreiben. (Ich nehme an, dass du mit "23:59h" lokale Zeit meinst?)
b) Kann ich eine eine 2te Abfrage in das gleiche Panel reinbringen für den aktuellen Tag/Monat (je nach Panel)? Hier ändert sich ja mit jedem aktuellen Verbrauch gemäß dem Zeitpunkt des Abrufs etwas und ich müßte den einen Bargraph für den Tag/monat wirklich so fein dynamisch nach Aufrufzeitpunkt haben. Lässt Grafana das zu?
ja, das geht:
Was du damit erreichen willst, habe ich aber leider nicht verstanden. Eine zweite Abfrage ergibt aus meiner Sicht nur Sinn, wenn es um die gleichen Zeitbereiche geht.
-
@marc-berg said in Grafana Tages/Monatsverbräuche Performance u. Darstellung?:
Was du damit erreichen willst, habe ich aber leider nicht verstanden. Eine zweite Abfrage ergibt aus meiner Sicht nur Sinn, wenn es um die gleichen Zeitbereiche geht.
Danke, was ich möchte: Die Datenbankeinträge "Tagesverbrauch" stehen für jeden Tag "erst" um 23:59h zur Verfügung. Wenn ich jetzt aber die Graphen aufrufe möchte ich möglichst auch den aktuellen temporären Wert für den heutigen Tag sehen. Die Abfrage kann ich mir nicht über den measurement Tagesverbrauch holen, sondern muß ich wirklich "just in time" für den heutigen Tag berechnen lassen über die Zählerstände (nur für den heutigen Tag).
Alles mit der Intention eine möglichst performance-optimierte Ansicht zu bekommen.
-
@marc-berg said in Grafana Tages/Monatsverbräuche Performance u. Darstellung?:
@dieter_p sagte in Grafana Tages/Monatsverbräuche Performance u. Darstellung?:
Dort eine Verschiebung in der Zeitachse um 1Tag drin. Ich schreibe den Tagesverbrauch defintiv vor 24h in die Datenbank somit ist der Zeitstempel auch vom gleichen Tag, aber die Aggregation verschiebt das.
Wie ist das anpassbar?Du solltest jeweils vor deine Query
import "timezone" option location = timezone.location(name: "Europe/Berlin")reinschreiben. (Ich nehme an, dass du mit "23:59h" lokale Zeit meinst?)
Danke. Ja, ist 23:59h über ein Blockly in IOB.
Leider ändert sich in der Darstellung in Grafana nichts mit:
import "timezone" option location = timezone.location(name: "Europe/Berlin") from(bucket: "iobroker") |> range(start: v.timeRangeStart, stop: v.timeRangeStop) |> filter(fn: (r) => r["_measurement"] == "OelVerbrTag") |> filter(fn: (r) => r["_field"] == "value") |> aggregateWindow(every: 1d, fn: sum, createEmpty: false) |> yield(name: "sum")-> Start: 02. Dezember und alles um einen Tag versetzt.
-
@dieter_p sagte in Grafana Tages/Monatsverbräuche Performance u. Darstellung?:
|> aggregateWindow(every: 1d, fn: sum, createEmpty: false)
jep, du musst die Zeile hier noch erweitern:
|> aggregateWindow(every: 1d, fn: sum, createEmpty: false, timeSrc="_start")
-
@dieter_p sagte in Grafana Tages/Monatsverbräuche Performance u. Darstellung?:
Die Abfrage kann ich mir nicht über den measurement Tagesverbrauch holen, sondern muß ich wirklich "just in time" für den heutigen Tag berechnen lassen über die Zählerstände (nur für den heutigen Tag).
Achso, ja das geht, mit einem "union". Hier fügst du zwei Abfragen "vertikal" zusammen. Ungetestet:
import "timezone" import "date" option location = timezone.location(name: "Europe/Berlin") tagesverbrauch=from(bucket: "iobroker") |> range(start: v.timeRangeStart, stop: date.truncate(t:-1s, unit:1d)) |> filter(fn: (r) => r["_measurement"] == "OelVerbrTag") |> filter(fn: (r) => r["_field"] == "value") |> aggregateWindow(every: 1d, fn: sum, createEmpty: false) live=from(bucket: "iobroker") |> range(start: date.truncate(t:-1s, unit:1d)) |> filter(fn: (r) => r["_measurement"] == "OelVerbrLive") |> filter(fn: (r) => r["_field"] == "value") |> aggregateWindow(every: 1d, fn: sum, createEmpty: false) union(tables: [tagesverbrauch, live]) -
jep, du musst die Zeile hier noch erweitern:
|> aggregateWindow(every: 1d, fn: sum, createEmpty: false, timeSrc="_start")
gemacht und nun möchte der Bargraph "Bar garph requires a string or time field".
Brauch ich etwas in Flux (killt mir das nicht dann die dynamische Anpassung "This month" aus Grafana oder ist etwas rechts in den Optionen des Panels für die X-Achse zu konfigurieren?
Danke
-
Das ist seltsam, zeig nochmal die ganze Query.
-
Achso, ja das geht, mit einem "union". Hier fügst du zwei Abfragen "vertikal" zusammen. Ungetestet:
Danke.
Seh ich das richtig, dass im Moment der ergänzte "union" teil bei mir noch nichts zurück liefert?
Query:
import "timezone" import "date" option location = timezone.location(name: "Europe/Berlin") tagesverbrauch=from(bucket: "iobroker") |> range(start: v.timeRangeStart, stop: date.truncate(t:-1s, unit:1d)) |> filter(fn: (r) => r["_measurement"] == "OelVerbrTag") |> filter(fn: (r) => r["_field"] == "value") |> aggregateWindow(every: 1d, fn: sum, createEmpty: false) live=from(bucket: "iobroker") |> range(start: date.truncate(t:-1s, unit:1d)) |> filter(fn: (r) => r["_measurement"] == "0_userdata.0.Heizöl.Zaehlerstandverbrauch") |> filter(fn: (r) => r["_field"] == "value") |> aggregateWindow(every: 1d, fn: sum, createEmpty: false) |> difference(nonNegative: true, columns: ["_value"]) |> yield(name: "last") union(tables: [tagesverbrauch, live])Query Inspector:
{ "request": { "url": "api/ds/query?ds_type=influxdb&requestId=Q119", "method": "POST", "data": { "queries": [ { "datasource": { "type": "influxdb", "uid": "fe97a43e-a484-468d-ba5f-dff87870a54a" }, "query": "import \"timezone\"\r\nimport \"date\"\r\noption location = timezone.location(name: \"Europe/Berlin\")\r\ntagesverbrauch=from(bucket: \"iobroker\")\r\n |> range(start: v.timeRangeStart, stop: date.truncate(t:-1s, unit:1d))\r\n |> filter(fn: (r) => r[\"_measurement\"] == \"OelVerbrTag\")\r\n |> filter(fn: (r) => r[\"_field\"] == \"value\")\r\n |> aggregateWindow(every: 1d, fn: sum, createEmpty: false)\r\n\r\nlive=from(bucket: \"iobroker\")\r\n |> range(start: date.truncate(t:-1s, unit:1d))\r\n |> filter(fn: (r) => r[\"_measurement\"] == \"0_userdata.0.Heizöl.Zaehlerstandverbrauch\")\r\n |> filter(fn: (r) => r[\"_field\"] == \"value\")\r\n |> aggregateWindow(every: 1d, fn: sum, createEmpty: false)\r\n |> difference(nonNegative: true, columns: [\"_value\"])\r\n |> yield(name: \"last\")\r\n \r\n union(tables: [tagesverbrauch, live])", "refId": "A", "datasourceId": 1, "intervalMs": 3600000, "maxDataPoints": 848 } ], "from": "1701385200000", "to": "1704063599999" }, "hideFromInspector": false }, "response": { "results": { "A": { "status": 200, "frames": [ { "schema": { "name": "OelVerbrTag", "refId": "A", "meta": { "typeVersion": [ 0, 0 ], "executedQueryString": "import \"timezone\"\r\nimport \"date\"\r\noption location = timezone.location(name: \"Europe/Berlin\")\r\ntagesverbrauch=from(bucket: \"iobroker\")\r\n |> range(start: 2023-11-30T23:00:00Z, stop: date.truncate(t:-1s, unit:1d))\r\n |> filter(fn: (r) => r[\"_measurement\"] == \"OelVerbrTag\")\r\n |> filter(fn: (r) => r[\"_field\"] == \"value\")\r\n |> aggregateWindow(every: 1d, fn: sum, createEmpty: false)\r\n\r\nlive=from(bucket: \"iobroker\")\r\n |> range(start: date.truncate(t:-1s, unit:1d))\r\n |> filter(fn: (r) => r[\"_measurement\"] == \"0_userdata.0.Heizöl.Zaehlerstandverbrauch\")\r\n |> filter(fn: (r) => r[\"_field\"] == \"value\")\r\n |> aggregateWindow(every: 1d, fn: sum, createEmpty: false)\r\n |> difference(nonNegative: true, columns: [\"_value\"])\r\n |> yield(name: \"last\")\r\n \r\n union(tables: [tagesverbrauch, live])" }, "fields": [ { "name": "Time", "type": "time", "typeInfo": { "frame": "time.Time", "nullable": true } }, { "name": "value", "type": "number", "typeInfo": { "frame": "float64", "nullable": true }, "labels": {} } ] }, "data": { "values": [ [ 1701471600000, 1701558000000, 1701644400000, 1701730800000, 1701817200000, 1701903600000, 1701990000000, 1702076400000, 1702162800000, 1702249200000, 1702335600000, 1702422000000, 1702508400000, 1702594800000, 1702681200000, 1702767600000, 1702854000000, 1702940400000, 1703026800000, 1703113200000, 1703199600000, 1703286000000, 1703372400000 ], [ 11.24, 11.55, 11.55, 10.42, 8.27, 8.29, 9.52, 8.1, 7.29, 6.5, 5.79, 5.87, 5.42, 6.28, 6.19, 6.12, 6.59, 6.64, 5.46, 6.26, 5.19, 6.07, 6.08 ] ] } } ], "refId": "A" } } } }
-
@dieter_p sagte in Grafana Tages/Monatsverbräuche Performance u. Darstellung?:
Seh ich das richtig, dass im Moment der ergänzte "union" teil bei mir noch nichts zurück liefert?
Die Zeile muss weg
|> yield(name: "last") -
@marc-berg said in Grafana Tages/Monatsverbräuche Performance u. Darstellung?:
Das ist seltsam, zeig nochmal die ganze Query.
Gleiches auch hier mit dem "union":
Query:
import "timezone" import "date" option location = timezone.location(name: "Europe/Berlin") tagesverbrauch=from(bucket: "iobroker") |> range(start: v.timeRangeStart, stop: date.truncate(t:-1s, unit:1d)) |> filter(fn: (r) => r["_measurement"] == "OelVerbrTag") |> filter(fn: (r) => r["_field"] == "value") |> aggregateWindow(every: 1d, fn: sum, createEmpty: false, createEmpty: false, timeSrc="_start") live=from(bucket: "iobroker") |> range(start: date.truncate(t:-1s, unit:1d)) |> filter(fn: (r) => r["_measurement"] == "0_userdata.0.Heizöl.Zaehlerstandverbrauch") |> filter(fn: (r) => r["_field"] == "value") |> aggregateWindow(every: 1d, fn: sum, createEmpty: false) |> difference(nonNegative: true, columns: ["_value"]) |> yield(name: "last") union(tables: [tagesverbrauch, live]) -
@marc-berg said in Grafana Tages/Monatsverbräuche Performance u. Darstellung?:
@dieter_p sagte in Grafana Tages/Monatsverbräuche Performance u. Darstellung?:
Seh ich das richtig, dass im Moment der ergänzte "union" teil bei mir noch nichts zurück liefert?
Die Zeile muss weg
|> yield(name: "last")ok, gleiche Ausgabe:
{ "request": { "url": "api/ds/query?ds_type=influxdb&requestId=Q124", "method": "POST", "data": { "queries": [ { "datasource": { "type": "influxdb", "uid": "fe97a43e-a484-468d-ba5f-dff87870a54a" }, "query": "import \"timezone\"\r\nimport \"date\"\r\noption location = timezone.location(name: \"Europe/Berlin\")\r\ntagesverbrauch=from(bucket: \"iobroker\")\r\n |> range(start: v.timeRangeStart, stop: date.truncate(t:-1s, unit:1d))\r\n |> filter(fn: (r) => r[\"_measurement\"] == \"OelVerbrTag\")\r\n |> filter(fn: (r) => r[\"_field\"] == \"value\")\r\n |> aggregateWindow(every: 1d, fn: sum, createEmpty: false)\r\n\r\nlive=from(bucket: \"iobroker\")\r\n |> range(start: date.truncate(t:-1s, unit:1d))\r\n |> filter(fn: (r) => r[\"_measurement\"] == \"0_userdata.0.Heizöl.Zaehlerstandverbrauch\")\r\n |> filter(fn: (r) => r[\"_field\"] == \"value\")\r\n |> aggregateWindow(every: 1d, fn: sum, createEmpty: false)\r\n |> difference(nonNegative: true, columns: [\"_value\"])\r\n \r\n union(tables: [tagesverbrauch, live])", "refId": "A", "datasourceId": 1, "intervalMs": 3600000, "maxDataPoints": 848 } ], "from": "1701385200000", "to": "1704063599999" }, "hideFromInspector": false }, "response": { "results": { "A": { "status": 200, "frames": [ { "schema": { "name": "OelVerbrTag", "refId": "A", "meta": { "typeVersion": [ 0, 0 ], "executedQueryString": "import \"timezone\"\r\nimport \"date\"\r\noption location = timezone.location(name: \"Europe/Berlin\")\r\ntagesverbrauch=from(bucket: \"iobroker\")\r\n |> range(start: 2023-11-30T23:00:00Z, stop: date.truncate(t:-1s, unit:1d))\r\n |> filter(fn: (r) => r[\"_measurement\"] == \"OelVerbrTag\")\r\n |> filter(fn: (r) => r[\"_field\"] == \"value\")\r\n |> aggregateWindow(every: 1d, fn: sum, createEmpty: false)\r\n\r\nlive=from(bucket: \"iobroker\")\r\n |> range(start: date.truncate(t:-1s, unit:1d))\r\n |> filter(fn: (r) => r[\"_measurement\"] == \"0_userdata.0.Heizöl.Zaehlerstandverbrauch\")\r\n |> filter(fn: (r) => r[\"_field\"] == \"value\")\r\n |> aggregateWindow(every: 1d, fn: sum, createEmpty: false)\r\n |> difference(nonNegative: true, columns: [\"_value\"])\r\n \r\n union(tables: [tagesverbrauch, live])" }, "fields": [ { "name": "Time", "type": "time", "typeInfo": { "frame": "time.Time", "nullable": true } }, { "name": "value", "type": "number", "typeInfo": { "frame": "float64", "nullable": true }, "labels": {} } ] }, "data": { "values": [ [ 1701471600000, 1701558000000, 1701644400000, 1701730800000, 1701817200000, 1701903600000, 1701990000000, 1702076400000, 1702162800000, 1702249200000, 1702335600000, 1702422000000, 1702508400000, 1702594800000, 1702681200000, 1702767600000, 1702854000000, 1702940400000, 1703026800000, 1703113200000, 1703199600000, 1703286000000, 1703372400000 ], [ 11.24, 11.55, 11.55, 10.42, 8.27, 8.29, 9.52, 8.1, 7.29, 6.5, 5.79, 5.87, 5.42, 6.28, 6.19, 6.12, 6.59, 6.64, 5.46, 6.26, 5.19, 6.07, 6.08 ] ] } } ], "refId": "A" } } } }
