Adapter history.0 auswerten für 16 Datenpunkte und 12 Monate

[OliverIO]

@david-g

also pseudo logik wäre

• hole die historie als liste
• schleife beginn: der reihe nach die liste durchgehen und suche nach statuswechsel also true nach false oder false nach true
• wenn gefunden dann wenn statuswechsel false nach true den ts als start übernehmen, wenn statuswechsel true nach false dann ts als ende übernehmen
• wenn start und ende vollständig, dann ende-start und ergebnis zur summe dazuzählen.start und ende wieder leeren.
• weiter mit Schleife solange bis keine werte mehr
• ausgabe summe

[David G.]

@oliverio

Genau.
Einmal in einfach von mir weiter oben und stark optimiert von @paul53 falls true und false öfters geschrieben werden.

[legendary83]

Vielen Dank für die vielen Vorschläge und Anregungen!

Um es etwas präziser auszudrücken:

Es kommt nicht darauf an, das es absolut exakt ist.
Eine Abweichung von <30m/Monat wäre auch ausreichend.

@OliverIO
Danke für die Mühe, das so ausführlich darzustellen, jedoch werde ich die Auswertung der 12 Monate der 16 Datenpunkte exakt EINMAL machen.
Das passiert mir nicht mehr, das ich es versäume die Betriebsstunden zu erfassen.

Die Erfassung in so kurzen Abständen war notwendig, da wir mehrere Hallenabschnitte weiter für die Maschinen Betriebsleuchten installiert haben.
Der Wechsel des Maschinenzustands sollte Verzögerungsfrei angezeigt werden.

Es war auch so die Anfangszeit als wir uns in den ioBroker reingearbeitet haben.
Es werden nicht nur die Änderungen aufgezeichnet, sondern wir loggen tatsächlich alle 10 Sekunden den Wert mit.

Und ja, ich habe in den Daten auch gesehen, das es nicht immer exakt 10 Sekunden zwischen den Datenpunkten ist.
Die Abweichung würde ich aber ignorieren.

Und tatsächlich hatte ich heute Mittag darüber nachgedacht, die Daten aus History in eine SQL zu exportieren.
Soweit ich das Verstanden hab kann die History auch in einer SQL-Datenbank aufgebaut werden?
Dann müsste ich aber wahrscheinlich komplett wechseln.

Ich müsste mich in den kommenden Monaten auch mal bemühen, die Datenmenge dort wo es geht zu reduzieren.
Anfangs war man eben froh, das es gelaufen ist und hat sich über Speicherplatz und Performance keine großen Gedanken gemacht.

@David-G

Ich kann es gerade nicht testen, aber kann ich getHistory z.B. auf den Zeitraum 01.03.2024 bis einschl. 31.03.2024 einstellen?
Ich muss das Skript ja für jeden Datenpunkt für jeden Monat einmal durchlaufen lassen.
Der Wechsel des Signalzustandes ist im kürzesten Fall 5 Minuten, im Normalfall 2-6 Stunden.

Sobald ich morgen getestet hab, kann ich Dir Feedback geben.

@paul53

Danke für das ausführliche Skript!

Ich werde das mal testen.
Müsste ich da noch Anpassungen vornehmen bzgl. Werte liegen alle 10 sekunden vor

Ich werde das morgen testen und wieder hier berichten.

Gute Nacht allen!

[OliverIO]

@legendary83 sagte in Adapter history.0 auswerten für 16 Datenpunkte und 12 Monate:

Soweit ich das Verstanden hab kann die History auch in einer SQL-Datenbank aufgebaut werden?

ja, sogar mit migration. dazu muss man aber ein wenig mit skripte arbeiten. ist aber dokumentiert

Dann müsste ich aber wahrscheinlich komplett wechseln.

nicht unbedingt. sobald du den sql adapter installierst erscheint bei jedem datenpunkt neben historie ein weiterer abschnitt mit sql
du kannst dann selektiv entscheiden was in die normale historie wandert und was in die datenbank wandert.
aber wenn dann würde ich das schon einheitlich machen.

[legendary83]

@oliverio

Würde sich den SQL nicht viel besser anbieten bei Datenpunkten mit hoher Erfassung?
Wenn ich jetzt einen Flot anzeige mit 30.000 Timestamps, könnte ich mir vorstellen, das die Performance aus SQL heraus besser ist.

[OliverIO]

@legendary83

ja genau. habe nichts anderes versucht auszudrücken.
du hattest nur gefragt ob man komplett umswitchen muss und das muss man nicht unbedingt.
aber ich würde es empfehlen.

iobroker selbst verwendet json dateien in einer dateistruktur für die historie bzw. redis.
datenbanken sind grundsätzlich performanter, besonders bei abfrage und auswertung.

[legendary83]

@oliverio

Dann werde ich das mal auf dem Zettel behalten, bei der Menge an Daten die wir inzwischen über den ioBroker Verarbeiten und Visualisieren, kann etwas Extra-Performance nicht schaden.

[legendary83]

@paul53

Ich hab Dein Script mal nachgebaut.
Allerdings bekomme ich beim ausführen den Fehler:

Im Scriptlog steht folgendes:
Cannot get val of "undefined": TypeError: Cannot read properties of undefined (reading 'val')

val zeigt doch auf den Wert der Variable in history.0
Object ID ist angegeben.
Das Object ist vom typ State

Eine Idee?

[David G.]

@legendary83

Nachgebaut oder importiert?
Bei mir läuft der Import (mit der kleinen Anpassung mit dem obj) Problemlos.

[legendary83]

@david-g

Nachgebaut.
Wie könnte ich sein script importieren?
EDIT:
Eine Textdatei des Scripts hatte ich nicht

[Homoran]

@legendary83 sagte in Adapter history.0 auswerten für 16 Datenpunkte und 12 Monate:

Wie könnte ich sein script importieren?

https://forum.iobroker.net/post/1255581

[legendary83]

@Homoran

Besten Dank, hatte ich übersehen.
Das teste ich gleich.

[paul53]

@legendary83 sagte: Cannot get val of "undefined": TypeError: Cannot read properties of undefined (reading 'val')

Logge mal result.
Der DP wird unter seiner ID historisiert?

[legendary83]

@paul53

Ich hab dein Script nun importiert, das Objekt angepasst und das Ergebnis des Scripts wird in ein Value das ich unter userdata angelegt hab ausgegeben.
Das scheint jetzt zu funktionieren, offenbar gab es im Nachbau einen Fehler....

Er gibt mir jetzt den Wert 3,9 zurück.
Das entspricht definitiv noch nicht der tatsächlichen Betriebszeit.
Hattest Du im script berücksichtigt, das der Wert alle 10 Sekunden vorliegt?
Ich hatte meine Aussage diesbezüglich später korrigiert.

Das ich das nicht missverstehe, wenn ich beim dem Datenpunkt die history aktiviere wird er unter der ID des Datenpunktes historisiert, nehme ich an?

EDIT:

Ich konnte den Fehler im Nachbau finden.
Ich hatte bei Datum/Zeit eingetragen:
von 2024-03-01 00:00
bis 2024-04-01 00:00

Ich schaue grad nach ob ich das Datumsformat falsch interpretiert habe.

EDIT 2:

Debug Output result

script.js.Datenbankskripte_bei_Bedarf.Testskript: [ { val: true, ts: 1727799986775 }, { val: true, ts: 1727799996786 }, { val: true, ts: 1727800006788 }, { val: true, ts: 1727800016800 }, { val: true, ts: 1727800026814 }, { val: true, ts: 1727800036828 }, { val: true, ts: 1727800046831 }, { val: true, ts: 1727800056841 }, { val: true, ts: 1727800066855 }, { val: true, ts: 1727800076857 }, { val: true, ts: 1727800086864 }, { val: true, ts: 1727800096864 }, { val: true, ts: 1727800106864 }, { val: true, ts: 1727800116880 }, { val: true, ts: 1727800126891 }, { val: true, ts: 1727800136894 }, { val: true, ts: 1727800146909 }, { val: true, ts: 1727800156917 }, { val: true, ts: 1727800166921 }, { val: true, ts: 1727800176924 }, { val: true, ts: 1727800186938 }, { val: true, ts: 1727800196951 }, { val: true, ts: 1727800206954 }, { val: true, ts: 1727800216957 }, { val: true, ts: 1727800226961 }, { val: true, ts: 1727800236971 }, { val: true, ts: 1727800246968 }, { val: true, ts: 1727800256984 }, { val: true, ts: 1727800266989 }, { val: true, ts: 1727800277002 }, { val: true, ts: 1727800287006 }, { val: true, ts: 1727800297011 }, { val: true, ts: 1727800307022 }, { val: true, ts: 1727800317026 }, { val: true, ts: 1727800327033 }, { val: true, ts: 1727800337036 }, { val: true, ts: 1727800347046 }, { val: true, ts: 1727800357063 }, { val: true, ts: 1727800367070 }, { val: true, ts: 1727800377087 }, { val: true, ts: 1727800387092 }, { val: true, ts: 1727800397095 }, { val: true, ts: 1727800407097 }, { val: true, ts: 1727800417116 }, { val: true, ts: 1727800427132 }, { val: true, ts: 1727800437136 }, { val: true, ts: 1727800447141 }, { val: true, ts: 1727800457153 }, { val: true, ts: 1727800467162 }, { val: true, ts: 1727800477173 }, { val: true, ts: 1727800487182 }, { val: true, ts: 1727800497180 }, { val: true, ts: 1727800507192 }, { val: true, ts: 1727800517204 }, { val: true, ts: 1727800527203 }, { val: true, ts: 1727800537212 }, { val: true, ts: 1727800547214 }, { val: true, ts: 1727800557228 }, { val: true, ts: 1727800567232 }, { val: true, ts: 1727800577235 }, { val: true, ts: 1727800587241 }, { val: true, ts: 1727800597244 }, { val: true, ts: 1727800607251 }, { val: true, ts: 1727800617259 }, { val: true, ts: 1727800627267 }, { val: true, ts: 1727800637270 }, { val: true, ts: 1727800647271 }, { val: true, ts: 1727800657275 }, { val: true, ts: 1727800667285 }, { val: true, ts: 1727800677290 }, { val: true, ts: 1727800687299 }, { val: true, ts: 1727800697303 }, { val: true, ts: 1727800707317 }, { val: true, ts: 1727800717321 }, { val: true, ts: 1727800727323 }, { val: true, ts: 1727800737335 }, { val: true, ts: 1727800747337 }, { val: true, ts: 1727800757337 }, { val: true, ts: 1727800767347 }, { val: true, ts: 1727800777357 }, { val: true, ts: 1727800787365 }, { val: true, ts: 1727800797365 }, { val: true, ts: 1727800807375 }, { val: true, ts: 1727800817386 }, { val: true, ts: 1727800827390 }, { val: true, ts: 1727800837391 }, { val: true, ts: 1727800847403 }, { val: true, ts: 1727800857406 }, { val: true, ts: 1727800867414 }, { val: true, ts: 1727800877417 }, { val: true, ts: 1727800887415 }, { val: true, ts: 1727800897427 }, { val: true, ts: 1727800907436 }, { val: true, ts: 1727800917436 }, { val: true, ts: 1727800927450 }, { val: true, ts: 1727800937452 }, { val: true, ts: 1727800947454 }, { val: true, ts: 1727800957460 }, { val: true, ts: 1727800967466 }, { val: true, ts: 1727800977473 }, ... 1900 more items ]

EDIT3:

Der Wert Betriebsstunden ändert sich nicht bei Änderung des Zeitraums bei "von bis" von gethistory.
Er ändert sich, jedoch nur geringfügig 3,9 01.10.2024-01.11.2024; 3,7 01.03.2024-01.04.2024
Das script läuft jedoch ohne Fehler durch.

[paul53]

@legendary83 sagte: wenn ich beim dem Datenpunkt die history aktiviere wird er unter der ID des Datenpunktes historisiert, nehme ich an?

Ja, wenn kein Alias angegeben wurde.

@legendary83 sagte in Adapter history.0 auswerten für 16 Datenpunkte und 12 Monate:

Hattest Du im script berücksichtigt, das der Wert alle 10 Sekunden vorliegt?

Die Betriebsdauer wird immer dann um die aktuelle Einschaltdauer erhöht, wenn der Wert von true auf false wechselt. onTime enthält den letzten Einschaltzeitpunkt. Logge mal obj bei jeder Wertänderung:

[legendary83]

@paul53

Ich denke ich verstehe.
Bei Wechsel von true auf false wird die Zeit in der das object true war auf "ed" addiert.
Bei wechsel von false auf true wird sich der timestamp gemerkt und bei erreichen von false wird wieder die verstrichene Zeit auf "ed" addiert.
Das passiert solange bis zeitraum-ende erreicht.

korrekt?

[paul53]

@legendary83 sagte: korrekt?

Korrekt.

[legendary83]

@paul53

javascript.0	21:39:50.668	info	script.js.Datenbankskripte_bei_Bedarf.Testskript: { val: false, ts: 1709759240192 }
javascript.0	21:39:50.668	info	script.js.Datenbankskripte_bei_Bedarf.Testskript: { val: true, ts: 1709761571586 }

EDIT: Ich hab mir mal den Wert "ed" angeschaut 13248431
Wenn ich das händisch nachrechne, sind das 3,7 Stunden.
Das gibt mir das Script auch als Betriebsstunden zurück, soweit korrekt.
Aber die 3,7 Stunden können nicht korrekt sein, die Maschine läuft 6 Tage die Woche und hat so 70% Betriebszeit und 30% Rüstzeit (Im Normalfall ).

[paul53]

@legendary83
Nur zwei Wertänderungen im Monat?
Nach dem 6.3.2024 22:46 Uhr wurde nicht mehr ausgeschaltet?

@legendary83 sagte in Adapter history.0 auswerten für 16 Datenpunkte und 12 Monate:

1900 more items

Es müssten bei 31 Tagen 267840 Einträge sein.

[legendary83]

@paul53

Es müssten bei 31 Tagen 267840 Einträge sein

Das ist korrekt.

Zeitraum den ich gewählt hatte:
von 2024-03-01 00:00
bis 2024-04-01 00:00

Ich habe jetzt 4 Maschinen als Quelle durchgewechselt, er sagt immer 1900more

Ich denke ich muss meine Daten auf Vollständigkeit überprüfen.....
ich werde mal einen Flot für den Zeitraum aufziehen und mir diesen anschauen.