Werte der influxDB als Excel ausleiten

[Duffy]

@dp20eic

Hallo Bernd,

danke für deine mühenvolle Aufbereitung.

Ja, vielleicht habe ich mich da zu sehr in das csv verrannt.
Im Grunde wollte ich die Meßwerte mit der Zeit nur als Tabelle haben, einfach um die Werte zu sehen, und da habe ich halt nur die csv als möglichkeit gesehen. (Wirklich übersichtlich war die CSV ja auch nicht)

Die Grafiken funktionieren mit Flot oder echart recht gut.

Wie gehst du vor wenn du die Daten in Tabellen und nicht in Grafikform sehen willst.

Viele Grüße und noch einen schönen Tag, Duffy

[A Former User]

@duffy sagte in Werte der influxDB als Excel ausleiten:

Wie gehst du vor wenn du die Daten in Tabellen und nicht in Grafikform sehen willst.

Moin,

da ich Grafana nutze, nutze ich da einfach einen der vielen Möglichkeiten zur Visualisierung, Auszug der Möglichkeiten:

Ich kenne mich da nicht so gut aus, aber es ist auch möglich, dass man per Blockly, oder JS Daten holt und als Json in einen eigenen Datenpunkt schreibt, denn man dann z.B. als Tabelle in der VIS seiner Wahl ausgeben kann.

VG
Bernd

[Duffy]

@dp20eic

Ok, danke. Ich habe im moment wenig Zeit werde es mir aber bestimmt mal ansehen. Wobei json und blockly nicht so meine Welt sind.

Viele Grüße Duffy

[Duffy]

@dp20eic

Hallo Bernd,

ich habe da noch mal eine Infux DB Frage an dich.

Mit hat es heute eine Messung bei meinem Stromzähler rein gehauen mit über 10.000 Watt und zwar am 14.03.2023 um 09:24:00.

Ich kann zwar ganze Datensätze löschen mit:

influx delete --bucket iobroker-data --start 1970-01-01T00:00:00Z --stop $(date +"%Y-%m-%dT%H:%M:%SZ") --predicate '_measurement="DATENPUNKT-HIER-REIN"'

aber wie muß der Befehl aussehen um nur en einen fehlerhaften Messpunkt zu löschen oder zu korrigieren mit einem Durchschnittswert?

Hatte das mal gefunden aber finde es nicht mehr.

Kannst du mir da bitte noch mal helfen?

Gruß Duffy

[A Former User]

@duffy sagte in Werte der influxDB als Excel ausleiten:

Kannst du mir da bitte noch mal helfen?

Moin,

ich versuch’ es mal.

!!!Achtung!!!
Wie immer, ein Backup zuhaben ist besser, als eins zu brauchen
Also lieber eines mehr machen

1. Damit das nicht wieder passiert, sollte man erst einmal schauen, was im zu loggenden DP steht und dann evtl. dort werte die Größer als sind nicht Loggen.
   

2. eine Methode Werte zu änder wäre, den Wert als CSV zu exportieren, dann ändern und wieder laden.

   • das geht aber leider nicht mehr mit der aktuellen Web-UI, welche Version von influxDB ist bei Dir installiert?

3. Dein delete Statement passt schon, Du musst nur die Start und Stop Zeit genau auf den einen Wert einstellen.
   
   
   Wenn Du schaust, dass Du nur diesen einen Wert erwischst, dann sollte das mit dem Löschen klappen.

4. Ich versuche mal einen Task zu schreiben, wie man den einen Wert ändern kann.

VG
Bernd

[Duffy]

@dp20eic

Hi Bernd,

danke für deine schnelle Antwort.

Nun habe ich doch noch einen Datenpunkt gefunden der in Frage kommen könnte.
Nur hat der in dem Zeitraum nur 5325,5 Watt und nicht wie in der Grafik (mein Post zuvor) 10.78K

Jetzt habe ich etwas weiter versucht an mehr Details zu kommen und schon ist der Wert weg und ich finde ihn nicht mehr. Ich weis nicht woran es liegt aber mal ist mehr Zeit zwischen den Werten und mal weniger; also was ich sagen will, die Datendichte der einzelnen Werte hinterinander ist unterschiedlich, mal alle paar Sek. mal nur Min. dann wieder Std. Abstände. Ich weis nicht wovon das abhängt.

Was noch komisch ist, ich will es mal in Bildern veruchen zu zeigen:

Darstellung in Influx DB

Darstellung in Grafana:

Hier sind sogar die Werte (W) an sich unterschiedlich und auch die Zeit geringfügig anders.
Also wirklich verstehen tue ich das nicht das Daten in Influx DB 5326 und in Grafana 32628 sind und vor allem war es im ersten Screenshot von Infux DB ja noch 10780 Watt.

Aber gut das würde ja vielleicht verschwinden wenn ich den Datenpunkt löschen könnte.
Da ich ja schon die Werte von dem Datenpunkt als Screenshot hatte habe ich die mal eingetippt:

Komme jetzt aber damit nicht weiter.

Sehe schon das läuft auf eine Löschung des ganzen Datenpunkts heraus

Gruß Duffy

Edit:
Habe den Datenpunkt noch mal gefunden dafür sieht er jetzt anders aus (die start und stop Zeit)

[A Former User]

@duffy sagte in Werte der influxDB als Excel ausleiten:

Sehe schon das läuft auf eine Löschung des ganzen Datenpunkts heraus

Moin,

erst mal langsam und tief Luft holen.

Zu Deinen Grafiken, ohne die Abfragen dahinter, kann man da nicht viel machen, dann muss ich erst mal verstehen, um welche Daten es sich handelt, bei meinem Stromzähler gibt es zwei Datenpunkte

sonoff.0.DVES_8AA766.SENSOR.SML.akt_w            <- der aktuelle Verbrauch 
sonoff.0.DVES_8AA766.SENSOR.SML.total_kwh        <- der gesamte Verbrauch seit 

Wenn es sich um aktuelle Werte handelt, kann es nicht sein, dass Du einen Verbraucher eingeschaltet hast?

Dann hast Du meine beiden Bilder nicht richtig angeschaut im ersten war die range (start: v.time...., damit bekam ich drei Werte, das zweite Bild war dann genau 15 Minuten vor und 15 Minuten nach der Meldezeit eingestellt.

Dein Wert von ~5000 war heute um 7:24 Zulu Zeit, das ist 9:24 in Deutschland

Hier mal ein anderes Beispiel:

from(bucket: "iobroker_strom")
  |> range(start: 2023-06-14T13:35:00Z, stop: 2023-06-14T13:40:00Z )
  |> filter(fn: (r) => r["_measurement"] == "sonoff.0.DVES_8AA766.SENSOR.SML.akt_w")
  |> filter(fn: (r) => r["_field"] == "value")
  //|> aggregateWindow(every: v.windowPeriod, fn: last, createEmpty: false)
  |> yield(name: "last")

Wenn Du Deinen Wert gefunden hast, dann kannst Du ihn auch genau mit dieser Eingrenzung, mittels delete löschen.

influx delete --bucket iobroker-data --start hier_zeitpunktanfang --stop zeitpunktende --predicate '_measurement="Stromzähler"'

Er findet in diesem Zeitraum ja nur den einen Wert und löscht dann auch nur den und nicht das ganze Bucket.

Ich kann das aber erst morgen mal testen.

VG
Bernd

[Duffy]

Hallo Bernd,

ich versuche hier mal Antworten zu geben:

"Zu Deinen Grafiken, ohne die Abfragen dahinter, kann man da nicht viel machen, dann muss ich erst mal verstehen, um welche Daten es sich handelt, bei meinem Stromzähler gibt es zwei Datenpunkte"

Es ist der Datenpunkt in bei dem der aktuelle Verbauch angezeigt wird.

++++++++++++++++++++

"Wenn es sich um aktuelle Werte handelt, kann es nicht sein, dass Du einen Verbraucher eingeschaltet hast?"

Nein, es war von 6:45 - 11:30 keiner Zuhause und keine Verbraucher mit so hoher Leistung an)

++++++++++++++++++++++

"Dann hast Du meine beiden Bilder nicht richtig angeschaut im ersten war die range (start: v.time...., damit bekam ich drei Werte, das zweite Bild war dann genau 15 Minuten vor und 15 Minuten nach der Meldezeit eingestellt."

Doch das habe ich aber bei mir kamen da keine Daten raus.
Jetzt habe ich es noch einmal versucht:

Sowohl mit 7:24 und 9:24 aber der Wert kam nicht (Denke mal das Z steht für Zulu?)

Immerhin kamen jetzt die 3 Werte.

+++++++++++++++++++++++++++++

"Wenn Du Deinen Wert gefunden hast, dann kannst Du ihn auch genau mit dieser Eingrenzung, mittels delete löschen.

influx delete --bucket iobroker-data --start hier_zeitpunktanfang --stop zeitpunktende --predicate '_measurement="Stromzähler"'

Er findet in diesem Zeitraum ja nur den einen Wert und löscht dann auch nur den und nicht das ganze Bucket.

Ich kann das aber erst morgen mal testen."

Ich werde den Wert noch mal versuchen zu finden und dann noch mal warten bis du es getestet hast.

Was hat das mit dem Screenshot von dir auf sich?

Ich sehe du hast da vermutlich was eingefügt //> aggregat .............

Edit:

Habe gerade noch mal den Punkt gesucht und gefunden:

Dann den Wert so wie gezeigt eingegeben:

und auch das haut nicht hin.
Habe es in der Zeile 5 mit

 //|> 

und ohne probiert.
Das interessante ist ja auch das die Werte Watt und _time gleich sind wie im ersten Screenshot und _start und _stop die Zeit schon wieder anders.

...... und noch einen zu hohen Wert gefunden im ähnlichen Zeitbereich??.
Der Wert ist vorher nie erschiene, ich glaube das Influx DB will mich in den Wahnsinn treiben
Ich finde hier keine Systematik.

Gruß Duffy

[Marc Berg]

@duffy

vergiss mal die _start und _stop Spalten in den Ergebnissen, die sind hier völlig irrelevant. Entscheidend ist die "_time" Spalte. Hier steht der Zeitstempel, zu welchem der Wert aufgezeichnet wurde.

Mit diesem Range solltest du deinen ersten Ausreißer bekommen

|>range (start: 2023-06-14T07:22:00Z, stop: 2023-06-14T07:25:00Z)

Hier fehlt übrigens das "stop:"

[A Former User]

@duffy sagte in Werte der influxDB als Excel ausleiten:

Habe gerade noch mal den Punkt gesucht und gefunden:

Moin,

zu viele Bilder, da kann man immer so schlecht Kopieren

du musst in die Abfrage mal start: 2023-06-14T07:20:00.000Z und stop: 2023-06-14T07:25:00.000Z eingeben

Z = Zulu Zeit, Greenwich Zeit oder UTC
Für Deutschland kommen dann entweder +1/+2 Stunde(n) draufgerechnet

Nein alles was in der FLUX Abfrage mit // beginnt, ist kommentiert, also wird es ignoriert.

Diese zwei Werte _start und _stop das sind die Werte, die Du durch den eingestellten Abfragezeitraum bekommst

Wenn Du um 12 Uhr Mittags sagst, gib mir die letzten 12 Std., dann bekommst Du die Werte von 00:00 Uhr bis 12:00 Uhr, wenn Du aber das Gleiche um 14 Uhr machst, dann bekommst Du natürlich auch andere Werte, denn 14 - 12 ist 2 Uhr Nachts bis 14 Uhr Mittags.
Daher verändern sich die Werte für _start und _stop. Nur die dritte Spalte _time ist wichtig, denn das ist der Wert, als das Ereignis geschehen ist.

VG
Bernd

[A Former User]

@duffy sagte in Werte der influxDB als Excel ausleiten:

Der Wert ist vorher nie erschiene, ich glaube das Influx DB will mich in den Wahnsinn treiben

Moin,

das ist nicht die influxDB die zeigt dir nur das, was da drin ist an.

Kannst Du mal die Daten zeigen wie hier im Beispiel

Ich möchte nur mal sehen, ob du vom Value mehrere Sender from im Bucket hast.

Dann schau mal, ob sich da noch mehr von den angeblichen Ausreißern im Bucket verstecken

from(bucket: "iobroker_strom")
  |> range(start: v.timeRangeStart, stop: v.timeRangeStop)
  |> filter(fn: (r) => r["_measurement"] == "sonoff.0.DVES_8AA766.SENSOR.SML.akt_w")
  |> filter(fn: (r) => r["_field"] == "value")
  //|> aggregateWindow(every: v.windowPeriod, fn: mean, createEmpty: false)
  //|> yield(name: "mean")
  //|> max(column: "_value")
  |> highestMax(n:10, groupColumns: ["_value"])

VG
Bernd

[Duffy]

@marc-berg

Danke marc-berg für den Hinweis auf die "wichtige" Zeit das schafft schon mal etwas Entspannung in der Verwirrung.
So bin ich auf einen hohen Wert gestoßen.

Gruß Duffy

[Duffy]

@dp20eic

Hallo Bernd,

hier der gewünschte Screenshot.

Danke auch für die Erklärung mit der Zeit. Jetzt weis ich dan Eurer Hilfe welches die entscheidende Zeit ist und warum sich die anderen ändern.

Edit:

from(bucket: "iobroker-data")
|>range (start: 2023-06-14T07:00:00Z, stop: 2023-06-14T08:00:00Z)
  |> filter(fn: (r) => r["_measurement"] == "Stromzähler")
  |> filter(fn: (r) => r["_field"] == "value")
  //|> aggregateWindow(every: v.windowPeriod, fn: mean, createEmpty: false)
  //|> yield(name: "mean")
  |> highestMax(n:10, groupColumns: ["_value"])

Hab das mal so eingegeben und es kam das heraus:

0	Stromzähler	value	65396	2023-06-14T07:00:00.000Z	2023-06-14T08:00:00.000Z	2023-06-14T07:23:22.950Z
0	Stromzähler	value	649	2023-06-14T07:00:00.000Z	2023-06-14T08:00:00.000Z	2023-06-14T07:20:02.990Z
0	Stromzähler	value	-70	2023-06-14T07:00:00.000Z	2023-06-14T08:00:00.000Z	2023-06-14T07:00:03.117Z
0	Stromzähler	value	-75	2023-06-14T07:00:00.000Z	2023-06-14T08:00:00.000Z	2023-06-14T07:00:33.017Z
0	Stromzähler	value	-78	2023-06-14T07:00:00.000Z	2023-06-14T08:00:00.000Z	2023-06-14T07:00:13.005Z
0	Stromzähler	value	-79	2023-06-14T07:00:00.000Z	2023-06-14T08:00:00.000Z	2023-06-14T07:00:23.020Z
0	Stromzähler	value	-81	2023-06-14T07:00:00.000Z	2023-06-14T08:00:00.000Z	2023-06-14T07:00:52.997Z
0	Stromzähler	value	-83	2023-06-14T07:00:00.000Z	2023-06-14T08:00:00.000Z	2023-06-14T07:01:22.978Z
0	Stromzähler	value	-123	2023-06-14T07:00:00.000Z	2023-06-14T08:00:00.000Z	2023-06-14T07:22:03.024Z
0	Stromzähler	value	-129	2023-06-14T07:00:00.000Z	2023-06-14T08:00:00.000Z	2023-06-14T07:21:52.986Z

War das so gemeint?

(Allerdings vermisse ich meinen Wert mit 5325,5 der anfänglich gezeigt wurde aber auf den kann ich gut verzichten wenn das der Fehler war, siehe unten)

0	Stromzähler	value	65396	2023-06-14T07:00:00.000Z	2023-06-14T08:00:00.000Z	2023-06-14T07:23:22.950Z

Gruß Duffy

[Marc Berg]

@duffy sagte in Werte der influxDB als Excel ausleiten:

Allerdings vermisse ich meinen Wert mit 5325,5 der anfänglich gezeigt wurde

Das war kein echter Wert, sondern ein Mittelwert, den du mit "aggregateWindow" + dem Parameter "mean" erzeugt hast.

[Duffy]

@marc-berg

Danke Marc Berg für die Erklärung. Sollte eigentlich nur der jetzige Wert derjenige sein dich ich löschen können müsste.

Gru0 Duffy

[Homoran]

@duffy sagte in Werte der influxDB als Excel ausleiten:

der jetzige Wert derjenige sein dich ich löschen können müsste.

???

gibt es im Influx-Adapter nicht die Möglichkeit einzelne Werte in der Historie zu bearbeiten oder zu löschen?

[Duffy]

@homoran

Meinem Erkenntnisstand soll das nur über Befehle in der Konsole gehen.
Ach, warum muss das so kompliziert sein
Aber noch bleibe ich dank eurer Hilfe dran

[Marc Berg]

@homoran sagte in Werte der influxDB als Excel ausleiten:

gibt es im Influx-Adapter nicht die Möglichkeit einzelne Werte in der Historie zu bearbeiten oder zu löschen?

Leider für die InfluxDB 2.x noch nicht. Sollte aber im nächsten Release (latest) drin sein.

[Duffy]

@marc-berg

IIch habe versucht das mit den 5325,5 nachzustellen und habe das mit dem "aggregateWindow" + dem Parameter "mean" deaktiviert und es kommt immenoch die 65396.

from(bucket: "iobroker-data")
 |>range (start: 2023-06-14T07:22:00Z, stop: 2023-06-14T07:25:00Z)
 |> filter(fn: (r) => r["_measurement"] == "Stromzähler")
 |> filter(fn: (r) => r["_field"] == "value")
 //|> aggregateWindow(every: v.windowPeriod, fn: mean, createEmpty: false)
 |> yield(name: "mean")

Gruß Duffy

[Homoran]

@duffy sagte in Werte der influxDB als Excel ausleiten:

warum muss das so kompliziert sein

ist es das?
influx ist eben nicht ioBroker. Und Datenbankensprachen sind ziemlich komplex, da damit viel abgebildet werden muss.

@duffy sagte in Werte der influxDB als Excel ausleiten:

Meinem Erkenntnisstand soll das nur über Befehle in der Konsole gehen.

was soll ich damit anfangen?

in dem history Adapter geht das ganz einfach

ich kann mir nicht vorstellen dass es mit dem InfluxDB-Adapter nicht geht. ich nutze allerdings kein Influx.