Werte der influxDB als Excel ausleiten

[Duffy]

@dp20eic

Hallo Bernd,

vielen Dank für deine Mühe, das schaue ich mir gene mal an.

Frohe Ostern an alle.

Gruß Duffy

[A Former User]

@duffy sagte in Werte der influxDB als Excel ausleiten:

Nun noch mal zum ersten Punkt und deiner Antwort:
"Nein, ist eigentlich nicht so kompliziert, das ist durch die Implementierung, wenn es richtig..............................."
Also bisher nutze ich Grafana noch nicht.
Ich will (bis jetzt) eigentlich nur das die Zeit wenn ich sie als csv auslese passt.

Moin,

also wenn es nur um den Export geht, dann ist das ganz einfach

1= Bucket auswählen
2= measurement auswählen
3= query / Abfrage einmal ausführen, zum check
4= CSV Export, exportiert die Werte, für den eingestellten Abrufzeitraum

Damit bekommst Du die Zeiten in UTC, zu erkennen am Z -> Zulu Zeit = UTC in den Zeitspalten _start, _stop u. _time, wenn Du jetzt die CSV Datei in Excel oder einer anderen Tabellenkalkulation weiterverarbeiten möchtest, musst Du Dir anschauen, mit welcher Formel Du die _time Spalte manipulieren musst, um auf die lokale Zeit zu kommen.
Kann ich Dir nicht wirklich helfen, Excel ist nicht meins, da muss ich auch immer googeln

Wenn ich dich richtig verstanden habe machst du das über das Skript, den Code ich weis nicht mal wie man das nennt deshalb (d)ein Bild:

Nein, diese Query/Abfrage veränder den Export nicht, die Daten in der Datenbank liegen nur im UTC Format vor und können auch nur so aus der Datenbank gelesen werden.

Jetzt stelle ich mir das mal so vor, das wenn ich erst mal weis wo ich das eingeben muß UI* von influxDb → https://meine-influxdb-ip:8086/ das ich dann nur den Bucket > iobroker_Strom und den Datenpunkt, bei dir sonoff.0.DEVS... ändern muß mit meinen Daten.

Ja, das kannst Du so machen, aber Du kannst auch ganz einfach über die erste Seite dir das zusammen Klicken.

Wenn Du dann im Skript Editor bist, sieht das dann so aus:

Ab hier kannst Du aus den rechts unten aufgeführten Funktionen das, was Du brauchst, hinzufügen, submit nicht vergessen, um die Auswirkung zu sehen oder schauen, ob Fehler auftauchen

So jetzt zu dem, was da passiert, bei dieser Abfrage der Datenbank:

from(bucket: "ioBroker")                                                            // von welchem Bucket wird gelesen
  |> range(start: v.timeRangeStart, stop: v.timeRangeStop)                          // welche Zeit von - bis soll betrachtet werden, im Beisiel von `past 24 h` bis `now`
  |> filter(fn: (r) => r["_measurement"] == "tankerkoenig.0.stations.0.e10.short")  // welcher Messwert

Ergebnis:

_time	_start	_stop
2023-04-06 13:16:00 UTC	2023-04-06 13:05:43 UTC	2023-04-07 13:05:43 UTC
...	...	...
2023-04-07 13:12:40 UTC	2023-04-06 13:20:15 UTC	2023-04-07 13:20:15 UTC

Der Export aus der Abfrage:
2023-04-07_15 26_influxdb_data.csv

Wenn ich jetzt in der UI von influxDB von UTC auf Lokal wechsle

Dann änder sich bei der Abfrage, die Darstellung der Zeit, jetzt ist es die lokale Zeit hier in Deutschland

_time	_start	_stop
2023-04-06 15:34:11 GMT+2	2023-04-06 15:25:11 GMT+2	2023-04-07 15:25:11 GMT+2
...	...	...
2023-04-07 15:23:06 GMT+2	2023-04-06 15:25:11 GMT+2	2023-04-07 15:25:11 GMT+2

Der Export, ändert sich nicht
2023-04-07_15 33_influxdb_data.csv

Wobei ich sehe das du da auch schon was mit "aggregatewindows" eingepflegt hast.

Wenn ich jetzt das aggregatewindows nutze, wirkt sich das auf die Anzahl der Werte aus, aber nicht auf den Zeitstempel.

from(bucket: "ioBroker")                                                           // von welchem Bucket wird gelesen
  |> range(start: v.timeRangeStart, stop: v.timeRangeStop)                         // Time Range die betrachtet wird `past 24h` bis `now`
  |> filter(fn: (r) => r["_measurement"] == "tankerkoenig.0.stations.0.e10.short") // welcher Messwert
  |> aggregateWindow(every: 24h, fn: mean, createEmpty: false)                     // Aus der time Range sollen alle Werte zu einem 24h Wert aggregiert werden

UTC

_time	_start	_stop
2023-04-07 00:00:00 UTC	2023-04-06 14:12:11 UTC	2023-04-07 14:12:11 UTC
2023-04-07 14:12:11 UTC	2023-04-06 14:12:11 UTC	2023-04-07 14:12:11 UTC

Lokal

_time	_start	_stop
2023-04-07 02:00:00 GMT+2	2023-04-06 16:28:29 GMT+2	2023-04-07 16:28:29 GMT+2
2023-04-07 16:28:29 GMT+2	2023-04-06 16:28:29 GMT+2	2023-04-07 16:28:29 GMT+2

Der Export
2023-04-07_16 14_influxdb_data.csv

Bei dieser Aggregation wird leider nicht Europa/Berlin als Zeitzone berücksichtigt, daher muss das noch mit einfließen:

import "timezone"
option location = timezone.location(name: "Europe/Berlin")

from(bucket: "ioBroker")
  |> range(start: v.timeRangeStart, stop: v.timeRangeStop)
  |> filter(fn: (r) => r["_measurement"] == "tankerkoenig.0.stations.0.e10.short")
  |> aggregateWindow(every: 24h, fn: mean, createEmpty: false)

UTC

_time	_start	_stop
2023-04-06 22:00:00 UTC	2023-04-06 14:22:00 UTC	2023-04-07 14:22:00 UTC
2023-04-07 14:22:00 UTC	2023-04-06 14:22:00 UTC	2023-04-07 14:22:00 UTC

Lokal

_time	_start	_stop
2023-04-07 00:00:00 GMT+2	2023-04-06 16:22:00 GMT+2	2023-04-07 16:22:00 GMT+2
2023-04-07 16:22:00 GMT+2	2023-04-06 16:22:00 GMT+2	2023-04-07 16:22:00 GMT+2

Export
2023-04-07_16 30_influxdb_data.csv

Auch hier ist die exportierte Zeit UTC

Was müsste ich wo aus den 10 Zeilen übernehmen um eine passende Zeit zu haben?

Nichts, denn Du wirst immer einen Export mit UTC Zeit bekommen.

Mir ist noch nicht ganz klar, was Du mit den Daten machen möchtest und wie Du sie weiter nutzen willst, weil Du immer sagst CSV -> Excel, deswegen hilft Dir das ganze auch nicht wirklich, weil wie oben schon geschrieben die Zeiten in UTC vorliegen und Du musst das dann in dem Programm anpassen, mit dem Du weiter arbeitest.

Wenn Du Grafiken in der VIS brauchst, dann gibt es ja verschiedene Möglichkeiten, z.B.: eChart, Flot als ioBroker Adapter oder Grafana als externes Tool. Wie eChart oder Flot mit den Zeiten umgeht, kann ich nicht sagen, in Grafana funktioniert es ohne, dass ich da etwas umbiege.

VG
Bernd

[Duffy]

@dp20eic

Hallo Bernd,

danke für deine mühenvolle Aufbereitung.

Ja, vielleicht habe ich mich da zu sehr in das csv verrannt.
Im Grunde wollte ich die Meßwerte mit der Zeit nur als Tabelle haben, einfach um die Werte zu sehen, und da habe ich halt nur die csv als möglichkeit gesehen. (Wirklich übersichtlich war die CSV ja auch nicht)

Die Grafiken funktionieren mit Flot oder echart recht gut.

Wie gehst du vor wenn du die Daten in Tabellen und nicht in Grafikform sehen willst.

Viele Grüße und noch einen schönen Tag, Duffy

[A Former User]

@duffy sagte in Werte der influxDB als Excel ausleiten:

Wie gehst du vor wenn du die Daten in Tabellen und nicht in Grafikform sehen willst.

Moin,

da ich Grafana nutze, nutze ich da einfach einen der vielen Möglichkeiten zur Visualisierung, Auszug der Möglichkeiten:

Ich kenne mich da nicht so gut aus, aber es ist auch möglich, dass man per Blockly, oder JS Daten holt und als Json in einen eigenen Datenpunkt schreibt, denn man dann z.B. als Tabelle in der VIS seiner Wahl ausgeben kann.

VG
Bernd

[Duffy]

@dp20eic

Ok, danke. Ich habe im moment wenig Zeit werde es mir aber bestimmt mal ansehen. Wobei json und blockly nicht so meine Welt sind.

Viele Grüße Duffy

[Duffy]

@dp20eic

Hallo Bernd,

ich habe da noch mal eine Infux DB Frage an dich.

Mit hat es heute eine Messung bei meinem Stromzähler rein gehauen mit über 10.000 Watt und zwar am 14.03.2023 um 09:24:00.

Ich kann zwar ganze Datensätze löschen mit:

influx delete --bucket iobroker-data --start 1970-01-01T00:00:00Z --stop $(date +"%Y-%m-%dT%H:%M:%SZ") --predicate '_measurement="DATENPUNKT-HIER-REIN"'

aber wie muß der Befehl aussehen um nur en einen fehlerhaften Messpunkt zu löschen oder zu korrigieren mit einem Durchschnittswert?

Hatte das mal gefunden aber finde es nicht mehr.

Kannst du mir da bitte noch mal helfen?

Gruß Duffy

[A Former User]

@duffy sagte in Werte der influxDB als Excel ausleiten:

Kannst du mir da bitte noch mal helfen?

Moin,

ich versuch’ es mal.

!!!Achtung!!!
Wie immer, ein Backup zuhaben ist besser, als eins zu brauchen
Also lieber eines mehr machen

1. Damit das nicht wieder passiert, sollte man erst einmal schauen, was im zu loggenden DP steht und dann evtl. dort werte die Größer als sind nicht Loggen.
   

2. eine Methode Werte zu änder wäre, den Wert als CSV zu exportieren, dann ändern und wieder laden.

   • das geht aber leider nicht mehr mit der aktuellen Web-UI, welche Version von influxDB ist bei Dir installiert?

3. Dein delete Statement passt schon, Du musst nur die Start und Stop Zeit genau auf den einen Wert einstellen.
   
   
   Wenn Du schaust, dass Du nur diesen einen Wert erwischst, dann sollte das mit dem Löschen klappen.

4. Ich versuche mal einen Task zu schreiben, wie man den einen Wert ändern kann.

VG
Bernd

[Duffy]

@dp20eic

Hi Bernd,

danke für deine schnelle Antwort.

Nun habe ich doch noch einen Datenpunkt gefunden der in Frage kommen könnte.
Nur hat der in dem Zeitraum nur 5325,5 Watt und nicht wie in der Grafik (mein Post zuvor) 10.78K

Jetzt habe ich etwas weiter versucht an mehr Details zu kommen und schon ist der Wert weg und ich finde ihn nicht mehr. Ich weis nicht woran es liegt aber mal ist mehr Zeit zwischen den Werten und mal weniger; also was ich sagen will, die Datendichte der einzelnen Werte hinterinander ist unterschiedlich, mal alle paar Sek. mal nur Min. dann wieder Std. Abstände. Ich weis nicht wovon das abhängt.

Was noch komisch ist, ich will es mal in Bildern veruchen zu zeigen:

Darstellung in Influx DB

Darstellung in Grafana:

Hier sind sogar die Werte (W) an sich unterschiedlich und auch die Zeit geringfügig anders.
Also wirklich verstehen tue ich das nicht das Daten in Influx DB 5326 und in Grafana 32628 sind und vor allem war es im ersten Screenshot von Infux DB ja noch 10780 Watt.

Aber gut das würde ja vielleicht verschwinden wenn ich den Datenpunkt löschen könnte.
Da ich ja schon die Werte von dem Datenpunkt als Screenshot hatte habe ich die mal eingetippt:

Komme jetzt aber damit nicht weiter.

Sehe schon das läuft auf eine Löschung des ganzen Datenpunkts heraus

Gruß Duffy

Edit:
Habe den Datenpunkt noch mal gefunden dafür sieht er jetzt anders aus (die start und stop Zeit)

[A Former User]

@duffy sagte in Werte der influxDB als Excel ausleiten:

Sehe schon das läuft auf eine Löschung des ganzen Datenpunkts heraus

Moin,

erst mal langsam und tief Luft holen.

Zu Deinen Grafiken, ohne die Abfragen dahinter, kann man da nicht viel machen, dann muss ich erst mal verstehen, um welche Daten es sich handelt, bei meinem Stromzähler gibt es zwei Datenpunkte

sonoff.0.DVES_8AA766.SENSOR.SML.akt_w            <- der aktuelle Verbrauch 
sonoff.0.DVES_8AA766.SENSOR.SML.total_kwh        <- der gesamte Verbrauch seit 

Wenn es sich um aktuelle Werte handelt, kann es nicht sein, dass Du einen Verbraucher eingeschaltet hast?

Dann hast Du meine beiden Bilder nicht richtig angeschaut im ersten war die range (start: v.time...., damit bekam ich drei Werte, das zweite Bild war dann genau 15 Minuten vor und 15 Minuten nach der Meldezeit eingestellt.

Dein Wert von ~5000 war heute um 7:24 Zulu Zeit, das ist 9:24 in Deutschland

Hier mal ein anderes Beispiel:

from(bucket: "iobroker_strom")
  |> range(start: 2023-06-14T13:35:00Z, stop: 2023-06-14T13:40:00Z )
  |> filter(fn: (r) => r["_measurement"] == "sonoff.0.DVES_8AA766.SENSOR.SML.akt_w")
  |> filter(fn: (r) => r["_field"] == "value")
  //|> aggregateWindow(every: v.windowPeriod, fn: last, createEmpty: false)
  |> yield(name: "last")

Wenn Du Deinen Wert gefunden hast, dann kannst Du ihn auch genau mit dieser Eingrenzung, mittels delete löschen.

influx delete --bucket iobroker-data --start hier_zeitpunktanfang --stop zeitpunktende --predicate '_measurement="Stromzähler"'

Er findet in diesem Zeitraum ja nur den einen Wert und löscht dann auch nur den und nicht das ganze Bucket.

Ich kann das aber erst morgen mal testen.

VG
Bernd

[Duffy]

Hallo Bernd,

ich versuche hier mal Antworten zu geben:

"Zu Deinen Grafiken, ohne die Abfragen dahinter, kann man da nicht viel machen, dann muss ich erst mal verstehen, um welche Daten es sich handelt, bei meinem Stromzähler gibt es zwei Datenpunkte"

Es ist der Datenpunkt in bei dem der aktuelle Verbauch angezeigt wird.

++++++++++++++++++++

"Wenn es sich um aktuelle Werte handelt, kann es nicht sein, dass Du einen Verbraucher eingeschaltet hast?"

Nein, es war von 6:45 - 11:30 keiner Zuhause und keine Verbraucher mit so hoher Leistung an)

++++++++++++++++++++++

"Dann hast Du meine beiden Bilder nicht richtig angeschaut im ersten war die range (start: v.time...., damit bekam ich drei Werte, das zweite Bild war dann genau 15 Minuten vor und 15 Minuten nach der Meldezeit eingestellt."

Doch das habe ich aber bei mir kamen da keine Daten raus.
Jetzt habe ich es noch einmal versucht:

Sowohl mit 7:24 und 9:24 aber der Wert kam nicht (Denke mal das Z steht für Zulu?)

Immerhin kamen jetzt die 3 Werte.

+++++++++++++++++++++++++++++

"Wenn Du Deinen Wert gefunden hast, dann kannst Du ihn auch genau mit dieser Eingrenzung, mittels delete löschen.

influx delete --bucket iobroker-data --start hier_zeitpunktanfang --stop zeitpunktende --predicate '_measurement="Stromzähler"'

Er findet in diesem Zeitraum ja nur den einen Wert und löscht dann auch nur den und nicht das ganze Bucket.

Ich kann das aber erst morgen mal testen."

Ich werde den Wert noch mal versuchen zu finden und dann noch mal warten bis du es getestet hast.

Was hat das mit dem Screenshot von dir auf sich?

Ich sehe du hast da vermutlich was eingefügt //> aggregat .............

Edit:

Habe gerade noch mal den Punkt gesucht und gefunden:

Dann den Wert so wie gezeigt eingegeben:

und auch das haut nicht hin.
Habe es in der Zeile 5 mit

 //|> 

und ohne probiert.
Das interessante ist ja auch das die Werte Watt und _time gleich sind wie im ersten Screenshot und _start und _stop die Zeit schon wieder anders.

...... und noch einen zu hohen Wert gefunden im ähnlichen Zeitbereich??.
Der Wert ist vorher nie erschiene, ich glaube das Influx DB will mich in den Wahnsinn treiben
Ich finde hier keine Systematik.

Gruß Duffy

[Marc Berg]

@duffy

vergiss mal die _start und _stop Spalten in den Ergebnissen, die sind hier völlig irrelevant. Entscheidend ist die "_time" Spalte. Hier steht der Zeitstempel, zu welchem der Wert aufgezeichnet wurde.

Mit diesem Range solltest du deinen ersten Ausreißer bekommen

|>range (start: 2023-06-14T07:22:00Z, stop: 2023-06-14T07:25:00Z)

Hier fehlt übrigens das "stop:"

[A Former User]

@duffy sagte in Werte der influxDB als Excel ausleiten:

Habe gerade noch mal den Punkt gesucht und gefunden:

Moin,

zu viele Bilder, da kann man immer so schlecht Kopieren

du musst in die Abfrage mal start: 2023-06-14T07:20:00.000Z und stop: 2023-06-14T07:25:00.000Z eingeben

Z = Zulu Zeit, Greenwich Zeit oder UTC
Für Deutschland kommen dann entweder +1/+2 Stunde(n) draufgerechnet

Nein alles was in der FLUX Abfrage mit // beginnt, ist kommentiert, also wird es ignoriert.

Diese zwei Werte _start und _stop das sind die Werte, die Du durch den eingestellten Abfragezeitraum bekommst

Wenn Du um 12 Uhr Mittags sagst, gib mir die letzten 12 Std., dann bekommst Du die Werte von 00:00 Uhr bis 12:00 Uhr, wenn Du aber das Gleiche um 14 Uhr machst, dann bekommst Du natürlich auch andere Werte, denn 14 - 12 ist 2 Uhr Nachts bis 14 Uhr Mittags.
Daher verändern sich die Werte für _start und _stop. Nur die dritte Spalte _time ist wichtig, denn das ist der Wert, als das Ereignis geschehen ist.

VG
Bernd

[A Former User]

@duffy sagte in Werte der influxDB als Excel ausleiten:

Der Wert ist vorher nie erschiene, ich glaube das Influx DB will mich in den Wahnsinn treiben

Moin,

das ist nicht die influxDB die zeigt dir nur das, was da drin ist an.

Kannst Du mal die Daten zeigen wie hier im Beispiel

Ich möchte nur mal sehen, ob du vom Value mehrere Sender from im Bucket hast.

Dann schau mal, ob sich da noch mehr von den angeblichen Ausreißern im Bucket verstecken

from(bucket: "iobroker_strom")
  |> range(start: v.timeRangeStart, stop: v.timeRangeStop)
  |> filter(fn: (r) => r["_measurement"] == "sonoff.0.DVES_8AA766.SENSOR.SML.akt_w")
  |> filter(fn: (r) => r["_field"] == "value")
  //|> aggregateWindow(every: v.windowPeriod, fn: mean, createEmpty: false)
  //|> yield(name: "mean")
  //|> max(column: "_value")
  |> highestMax(n:10, groupColumns: ["_value"])

VG
Bernd

[Duffy]

@marc-berg

Danke marc-berg für den Hinweis auf die "wichtige" Zeit das schafft schon mal etwas Entspannung in der Verwirrung.
So bin ich auf einen hohen Wert gestoßen.

Gruß Duffy

[Duffy]

@dp20eic

Hallo Bernd,

hier der gewünschte Screenshot.

Danke auch für die Erklärung mit der Zeit. Jetzt weis ich dan Eurer Hilfe welches die entscheidende Zeit ist und warum sich die anderen ändern.

Edit:

from(bucket: "iobroker-data")
|>range (start: 2023-06-14T07:00:00Z, stop: 2023-06-14T08:00:00Z)
  |> filter(fn: (r) => r["_measurement"] == "Stromzähler")
  |> filter(fn: (r) => r["_field"] == "value")
  //|> aggregateWindow(every: v.windowPeriod, fn: mean, createEmpty: false)
  //|> yield(name: "mean")
  |> highestMax(n:10, groupColumns: ["_value"])

Hab das mal so eingegeben und es kam das heraus:

0	Stromzähler	value	65396	2023-06-14T07:00:00.000Z	2023-06-14T08:00:00.000Z	2023-06-14T07:23:22.950Z
0	Stromzähler	value	649	2023-06-14T07:00:00.000Z	2023-06-14T08:00:00.000Z	2023-06-14T07:20:02.990Z
0	Stromzähler	value	-70	2023-06-14T07:00:00.000Z	2023-06-14T08:00:00.000Z	2023-06-14T07:00:03.117Z
0	Stromzähler	value	-75	2023-06-14T07:00:00.000Z	2023-06-14T08:00:00.000Z	2023-06-14T07:00:33.017Z
0	Stromzähler	value	-78	2023-06-14T07:00:00.000Z	2023-06-14T08:00:00.000Z	2023-06-14T07:00:13.005Z
0	Stromzähler	value	-79	2023-06-14T07:00:00.000Z	2023-06-14T08:00:00.000Z	2023-06-14T07:00:23.020Z
0	Stromzähler	value	-81	2023-06-14T07:00:00.000Z	2023-06-14T08:00:00.000Z	2023-06-14T07:00:52.997Z
0	Stromzähler	value	-83	2023-06-14T07:00:00.000Z	2023-06-14T08:00:00.000Z	2023-06-14T07:01:22.978Z
0	Stromzähler	value	-123	2023-06-14T07:00:00.000Z	2023-06-14T08:00:00.000Z	2023-06-14T07:22:03.024Z
0	Stromzähler	value	-129	2023-06-14T07:00:00.000Z	2023-06-14T08:00:00.000Z	2023-06-14T07:21:52.986Z

War das so gemeint?

(Allerdings vermisse ich meinen Wert mit 5325,5 der anfänglich gezeigt wurde aber auf den kann ich gut verzichten wenn das der Fehler war, siehe unten)

0	Stromzähler	value	65396	2023-06-14T07:00:00.000Z	2023-06-14T08:00:00.000Z	2023-06-14T07:23:22.950Z

Gruß Duffy

[Marc Berg]

@duffy sagte in Werte der influxDB als Excel ausleiten:

Allerdings vermisse ich meinen Wert mit 5325,5 der anfänglich gezeigt wurde

Das war kein echter Wert, sondern ein Mittelwert, den du mit "aggregateWindow" + dem Parameter "mean" erzeugt hast.

[Duffy]

@marc-berg

Danke Marc Berg für die Erklärung. Sollte eigentlich nur der jetzige Wert derjenige sein dich ich löschen können müsste.

Gru0 Duffy

[Homoran]

@duffy sagte in Werte der influxDB als Excel ausleiten:

der jetzige Wert derjenige sein dich ich löschen können müsste.

???

gibt es im Influx-Adapter nicht die Möglichkeit einzelne Werte in der Historie zu bearbeiten oder zu löschen?

[Duffy]

@homoran

Meinem Erkenntnisstand soll das nur über Befehle in der Konsole gehen.
Ach, warum muss das so kompliziert sein
Aber noch bleibe ich dank eurer Hilfe dran

[Marc Berg]

@homoran sagte in Werte der influxDB als Excel ausleiten:

gibt es im Influx-Adapter nicht die Möglichkeit einzelne Werte in der Historie zu bearbeiten oder zu löschen?

Leider für die InfluxDB 2.x noch nicht. Sollte aber im nächsten Release (latest) drin sein.