Adapter history.0 auswerten für 16 Datenpunkte und 12 Monate

[David G.]

@oliverio

Genau.
Einmal in einfach von mir weiter oben und stark optimiert von @paul53 falls true und false öfters geschrieben werden.

[legendary83]

Vielen Dank für die vielen Vorschläge und Anregungen!

Um es etwas präziser auszudrücken:

Es kommt nicht darauf an, das es absolut exakt ist.
Eine Abweichung von <30m/Monat wäre auch ausreichend.

@OliverIO
Danke für die Mühe, das so ausführlich darzustellen, jedoch werde ich die Auswertung der 12 Monate der 16 Datenpunkte exakt EINMAL machen.
Das passiert mir nicht mehr, das ich es versäume die Betriebsstunden zu erfassen.

Die Erfassung in so kurzen Abständen war notwendig, da wir mehrere Hallenabschnitte weiter für die Maschinen Betriebsleuchten installiert haben.
Der Wechsel des Maschinenzustands sollte Verzögerungsfrei angezeigt werden.

Es war auch so die Anfangszeit als wir uns in den ioBroker reingearbeitet haben.
Es werden nicht nur die Änderungen aufgezeichnet, sondern wir loggen tatsächlich alle 10 Sekunden den Wert mit.

Und ja, ich habe in den Daten auch gesehen, das es nicht immer exakt 10 Sekunden zwischen den Datenpunkten ist.
Die Abweichung würde ich aber ignorieren.

Und tatsächlich hatte ich heute Mittag darüber nachgedacht, die Daten aus History in eine SQL zu exportieren.
Soweit ich das Verstanden hab kann die History auch in einer SQL-Datenbank aufgebaut werden?
Dann müsste ich aber wahrscheinlich komplett wechseln.

Ich müsste mich in den kommenden Monaten auch mal bemühen, die Datenmenge dort wo es geht zu reduzieren.
Anfangs war man eben froh, das es gelaufen ist und hat sich über Speicherplatz und Performance keine großen Gedanken gemacht.

@David-G

Ich kann es gerade nicht testen, aber kann ich getHistory z.B. auf den Zeitraum 01.03.2024 bis einschl. 31.03.2024 einstellen?
Ich muss das Skript ja für jeden Datenpunkt für jeden Monat einmal durchlaufen lassen.
Der Wechsel des Signalzustandes ist im kürzesten Fall 5 Minuten, im Normalfall 2-6 Stunden.

Sobald ich morgen getestet hab, kann ich Dir Feedback geben.

@paul53

Danke für das ausführliche Skript!

Ich werde das mal testen.
Müsste ich da noch Anpassungen vornehmen bzgl. Werte liegen alle 10 sekunden vor

Ich werde das morgen testen und wieder hier berichten.

Gute Nacht allen!

[OliverIO]

@legendary83 sagte in Adapter history.0 auswerten für 16 Datenpunkte und 12 Monate:

Soweit ich das Verstanden hab kann die History auch in einer SQL-Datenbank aufgebaut werden?

ja, sogar mit migration. dazu muss man aber ein wenig mit skripte arbeiten. ist aber dokumentiert

Dann müsste ich aber wahrscheinlich komplett wechseln.

nicht unbedingt. sobald du den sql adapter installierst erscheint bei jedem datenpunkt neben historie ein weiterer abschnitt mit sql
du kannst dann selektiv entscheiden was in die normale historie wandert und was in die datenbank wandert.
aber wenn dann würde ich das schon einheitlich machen.

[legendary83]

@oliverio

Würde sich den SQL nicht viel besser anbieten bei Datenpunkten mit hoher Erfassung?
Wenn ich jetzt einen Flot anzeige mit 30.000 Timestamps, könnte ich mir vorstellen, das die Performance aus SQL heraus besser ist.

[OliverIO]

@legendary83

ja genau. habe nichts anderes versucht auszudrücken.
du hattest nur gefragt ob man komplett umswitchen muss und das muss man nicht unbedingt.
aber ich würde es empfehlen.

iobroker selbst verwendet json dateien in einer dateistruktur für die historie bzw. redis.
datenbanken sind grundsätzlich performanter, besonders bei abfrage und auswertung.

[legendary83]

@oliverio

Dann werde ich das mal auf dem Zettel behalten, bei der Menge an Daten die wir inzwischen über den ioBroker Verarbeiten und Visualisieren, kann etwas Extra-Performance nicht schaden.

[legendary83]

@paul53

Ich hab Dein Script mal nachgebaut.
Allerdings bekomme ich beim ausführen den Fehler:

Im Scriptlog steht folgendes:
Cannot get val of "undefined": TypeError: Cannot read properties of undefined (reading 'val')

val zeigt doch auf den Wert der Variable in history.0
Object ID ist angegeben.
Das Object ist vom typ State

Eine Idee?

[David G.]

@legendary83

Nachgebaut oder importiert?
Bei mir läuft der Import (mit der kleinen Anpassung mit dem obj) Problemlos.

[legendary83]

@david-g

Nachgebaut.
Wie könnte ich sein script importieren?
EDIT:
Eine Textdatei des Scripts hatte ich nicht

[Homoran]

@legendary83 sagte in Adapter history.0 auswerten für 16 Datenpunkte und 12 Monate:

Wie könnte ich sein script importieren?

https://forum.iobroker.net/post/1255581

[legendary83]

@Homoran

Besten Dank, hatte ich übersehen.
Das teste ich gleich.

[paul53]

@legendary83 sagte: Cannot get val of "undefined": TypeError: Cannot read properties of undefined (reading 'val')

Logge mal result.
Der DP wird unter seiner ID historisiert?

[legendary83]

@paul53

Ich hab dein Script nun importiert, das Objekt angepasst und das Ergebnis des Scripts wird in ein Value das ich unter userdata angelegt hab ausgegeben.
Das scheint jetzt zu funktionieren, offenbar gab es im Nachbau einen Fehler....

Er gibt mir jetzt den Wert 3,9 zurück.
Das entspricht definitiv noch nicht der tatsächlichen Betriebszeit.
Hattest Du im script berücksichtigt, das der Wert alle 10 Sekunden vorliegt?
Ich hatte meine Aussage diesbezüglich später korrigiert.

Das ich das nicht missverstehe, wenn ich beim dem Datenpunkt die history aktiviere wird er unter der ID des Datenpunktes historisiert, nehme ich an?

EDIT:

Ich konnte den Fehler im Nachbau finden.
Ich hatte bei Datum/Zeit eingetragen:
von 2024-03-01 00:00
bis 2024-04-01 00:00

Ich schaue grad nach ob ich das Datumsformat falsch interpretiert habe.

EDIT 2:

Debug Output result

script.js.Datenbankskripte_bei_Bedarf.Testskript: [ { val: true, ts: 1727799986775 }, { val: true, ts: 1727799996786 }, { val: true, ts: 1727800006788 }, { val: true, ts: 1727800016800 }, { val: true, ts: 1727800026814 }, { val: true, ts: 1727800036828 }, { val: true, ts: 1727800046831 }, { val: true, ts: 1727800056841 }, { val: true, ts: 1727800066855 }, { val: true, ts: 1727800076857 }, { val: true, ts: 1727800086864 }, { val: true, ts: 1727800096864 }, { val: true, ts: 1727800106864 }, { val: true, ts: 1727800116880 }, { val: true, ts: 1727800126891 }, { val: true, ts: 1727800136894 }, { val: true, ts: 1727800146909 }, { val: true, ts: 1727800156917 }, { val: true, ts: 1727800166921 }, { val: true, ts: 1727800176924 }, { val: true, ts: 1727800186938 }, { val: true, ts: 1727800196951 }, { val: true, ts: 1727800206954 }, { val: true, ts: 1727800216957 }, { val: true, ts: 1727800226961 }, { val: true, ts: 1727800236971 }, { val: true, ts: 1727800246968 }, { val: true, ts: 1727800256984 }, { val: true, ts: 1727800266989 }, { val: true, ts: 1727800277002 }, { val: true, ts: 1727800287006 }, { val: true, ts: 1727800297011 }, { val: true, ts: 1727800307022 }, { val: true, ts: 1727800317026 }, { val: true, ts: 1727800327033 }, { val: true, ts: 1727800337036 }, { val: true, ts: 1727800347046 }, { val: true, ts: 1727800357063 }, { val: true, ts: 1727800367070 }, { val: true, ts: 1727800377087 }, { val: true, ts: 1727800387092 }, { val: true, ts: 1727800397095 }, { val: true, ts: 1727800407097 }, { val: true, ts: 1727800417116 }, { val: true, ts: 1727800427132 }, { val: true, ts: 1727800437136 }, { val: true, ts: 1727800447141 }, { val: true, ts: 1727800457153 }, { val: true, ts: 1727800467162 }, { val: true, ts: 1727800477173 }, { val: true, ts: 1727800487182 }, { val: true, ts: 1727800497180 }, { val: true, ts: 1727800507192 }, { val: true, ts: 1727800517204 }, { val: true, ts: 1727800527203 }, { val: true, ts: 1727800537212 }, { val: true, ts: 1727800547214 }, { val: true, ts: 1727800557228 }, { val: true, ts: 1727800567232 }, { val: true, ts: 1727800577235 }, { val: true, ts: 1727800587241 }, { val: true, ts: 1727800597244 }, { val: true, ts: 1727800607251 }, { val: true, ts: 1727800617259 }, { val: true, ts: 1727800627267 }, { val: true, ts: 1727800637270 }, { val: true, ts: 1727800647271 }, { val: true, ts: 1727800657275 }, { val: true, ts: 1727800667285 }, { val: true, ts: 1727800677290 }, { val: true, ts: 1727800687299 }, { val: true, ts: 1727800697303 }, { val: true, ts: 1727800707317 }, { val: true, ts: 1727800717321 }, { val: true, ts: 1727800727323 }, { val: true, ts: 1727800737335 }, { val: true, ts: 1727800747337 }, { val: true, ts: 1727800757337 }, { val: true, ts: 1727800767347 }, { val: true, ts: 1727800777357 }, { val: true, ts: 1727800787365 }, { val: true, ts: 1727800797365 }, { val: true, ts: 1727800807375 }, { val: true, ts: 1727800817386 }, { val: true, ts: 1727800827390 }, { val: true, ts: 1727800837391 }, { val: true, ts: 1727800847403 }, { val: true, ts: 1727800857406 }, { val: true, ts: 1727800867414 }, { val: true, ts: 1727800877417 }, { val: true, ts: 1727800887415 }, { val: true, ts: 1727800897427 }, { val: true, ts: 1727800907436 }, { val: true, ts: 1727800917436 }, { val: true, ts: 1727800927450 }, { val: true, ts: 1727800937452 }, { val: true, ts: 1727800947454 }, { val: true, ts: 1727800957460 }, { val: true, ts: 1727800967466 }, { val: true, ts: 1727800977473 }, ... 1900 more items ]

EDIT3:

Der Wert Betriebsstunden ändert sich nicht bei Änderung des Zeitraums bei "von bis" von gethistory.
Er ändert sich, jedoch nur geringfügig 3,9 01.10.2024-01.11.2024; 3,7 01.03.2024-01.04.2024
Das script läuft jedoch ohne Fehler durch.

[paul53]

@legendary83 sagte: wenn ich beim dem Datenpunkt die history aktiviere wird er unter der ID des Datenpunktes historisiert, nehme ich an?

Ja, wenn kein Alias angegeben wurde.

@legendary83 sagte in Adapter history.0 auswerten für 16 Datenpunkte und 12 Monate:

Hattest Du im script berücksichtigt, das der Wert alle 10 Sekunden vorliegt?

Die Betriebsdauer wird immer dann um die aktuelle Einschaltdauer erhöht, wenn der Wert von true auf false wechselt. onTime enthält den letzten Einschaltzeitpunkt. Logge mal obj bei jeder Wertänderung:

[legendary83]

@paul53

Ich denke ich verstehe.
Bei Wechsel von true auf false wird die Zeit in der das object true war auf "ed" addiert.
Bei wechsel von false auf true wird sich der timestamp gemerkt und bei erreichen von false wird wieder die verstrichene Zeit auf "ed" addiert.
Das passiert solange bis zeitraum-ende erreicht.

korrekt?

[paul53]

@legendary83 sagte: korrekt?

Korrekt.

[legendary83]

@paul53

javascript.0	21:39:50.668	info	script.js.Datenbankskripte_bei_Bedarf.Testskript: { val: false, ts: 1709759240192 }
javascript.0	21:39:50.668	info	script.js.Datenbankskripte_bei_Bedarf.Testskript: { val: true, ts: 1709761571586 }

EDIT: Ich hab mir mal den Wert "ed" angeschaut 13248431
Wenn ich das händisch nachrechne, sind das 3,7 Stunden.
Das gibt mir das Script auch als Betriebsstunden zurück, soweit korrekt.
Aber die 3,7 Stunden können nicht korrekt sein, die Maschine läuft 6 Tage die Woche und hat so 70% Betriebszeit und 30% Rüstzeit (Im Normalfall ).

[paul53]

@legendary83
Nur zwei Wertänderungen im Monat?
Nach dem 6.3.2024 22:46 Uhr wurde nicht mehr ausgeschaltet?

@legendary83 sagte in Adapter history.0 auswerten für 16 Datenpunkte und 12 Monate:

1900 more items

Es müssten bei 31 Tagen 267840 Einträge sein.

[legendary83]

@paul53

Es müssten bei 31 Tagen 267840 Einträge sein

Das ist korrekt.

Zeitraum den ich gewählt hatte:
von 2024-03-01 00:00
bis 2024-04-01 00:00

Ich habe jetzt 4 Maschinen als Quelle durchgewechselt, er sagt immer 1900more

Ich denke ich muss meine Daten auf Vollständigkeit überprüfen.....
ich werde mal einen Flot für den Zeitraum aufziehen und mir diesen anschauen.

[legendary83]

@paul53

Hier mal ein Flot aus dem Zeitraum.
Das Object ist die Grüne Anlage.

Da der Erfassungszeitraum auf 1 Jahr gestellt ist, ist der Zeitraum am Anfang wohl schon nicht mehr verfügbar.
Die Daten liegen also vor.
Und wie aus dem Diagramm hervorgeht, ist die Anlage schätzungsweise in dem Monat bei einer Betriebsdauer von sagen wir mal 40-45% gewesen.

Man sieht da auch sehr schön die Stillstände vom Wochenende

EDIT:
@paul53

Ich muss für heute leider mal einen Break einlegen.
DANKE schon mal für Deine Hilfe!
Wenn es um Skripte geht, da hab ich noch VIEL Nachholbedarf....

Wenn Du möchtest, können wir morgen wieder hier anknüpfen
Komm gut in die Waagrechte!

@david-g

Ich hab mal Dein Script von ganz zu anfangs getestet.
Auf den Monat angewandt der oben im Flot zu sehen ist (01.03.2024-31.03.2024)

Der Zähler gibt 1767 aus

Wenn ich das Script korrekt lese, wird jedes true gezählt das er in diesem Zeitraum vorfindet.
Wenn 1True = 10 Sekunden dann wären das 4,983 Betriebsstunden.

Bei angenommenen 40% Betriebszeit auf den Zeitraum müssten es ca. 107000 Trues sein.

EDIT:
@paul53

Ich denke ich habe es lösen können, ich werde das morgen noch mal verifizieren.
ich habe an der Anweisung gethistory die Aggregation auf Maximum gestellt.
Dann habe ich für heute 11,7 Betriebsstunden erhalten.
Dann habe ich mir den Flot von heute angesehen und es händisch rausnotiert(so genau es halt bei einem 24h flot geht), da kam ich auf 11 Stunden und 42 Minuten

11,7 Betriebsstunden sind 11 Stunden und 42 Minuten

Jetzt müsste man nur noch wissen, was gethistory mit Aggregation auf Maximum den genau bedeutet.

EDIT aus er Zukunft

Aggregation auf Maximum gibt einen zu hohen Wert aus.
Aggregation auf Minimum gibt einen zu niedrigen Wert aus.

Für den kleinen Zeitraum den ich betrachtet habe (24h) ist die Abweichung aber fast nicht vorhanden.

Beispiel:

Ich hatte die Monatswerte ermittelt.
Alle Werte summiert und sagen wir mal 4500h erhalten.
Lasse ich das Skript den ganzen Zeitraum betrachten, kommen über 6000h raus.