Source Analytix korrigieren nach Shutdown?

[Dieter_P]

@crunchip said in Source Analytix korrigieren nach Shutdown?:

https://forum.iobroker.net/post/835238
script für Umzug

Sorry muß nochmal nachfragen, wenn ich schon einmal dabei bin. Ideal wäre nun wie folgt:

• Alias für die Shellys erstellen (einfach & bereits gemacht)

• Manuellen Zählerstand anlegen der nur Zählererhöhungen erfasst und dann aufsummiert.
  Das wegen dem beschrieben Bug. Was ich nicht verstehe, wie unterscheidet SA dann Delivered und Consumed?
  Hab es beobachtet und für beide Fälle erhöht der Shelly seinen Zähler. Muß ich da noch mehr tun damit es funktioniert?

• Dann würde ich das Script über den alten SA Daten und den manuellen erstellten "Aufsummierer" anwenden

Soweit korrekt?

[Homoran]

@dieter_p sagte in Source Analytix korrigieren nach Shutdown?:

Was ich nicht verstehe, wie unterscheidet SA dann Delivered und Consumed?

an der von dir gemachten Definition

Delivered:

consumed

[Dieter_P]

@homoran Danke.

Hab das Script jetzt mal laufen lassen. Klappt leider nur für die 2025er SA Daten.

Die weiteren Daten zB 2024 werden für den neuen DP nicht angelegt und kopiert.

Passend dazu der log Eintrag:

javascript.0
	2025-04-16 09:30:16.044	warn	at script.js.SAkopierenDP:27:3
javascript.0
	2025-04-16 09:30:16.044	warn	at script.js.SAkopierenDP:20:3
javascript.0
	2025-04-16 09:30:16.044	warn	at setState (/opt/iobroker/node_modules/iobroker.javascript/lib/sandbox.js:2090:20)
javascript.0
	2025-04-16 09:30:16.042	warn	State "sourceanalytix.0.0_userdata__0__PV__BKW1Stromzaehler.2024.delivered.months.11_November" not found
javascript.0
	2025-04-16 09:30:16.042	info	script.js.SAkopierenDP: sourceanalytix.0.0_userdata__0__PV__BKW1Stromzaehler.2024.delivered.months.11_November = 8.167
javascript.0
	2025-04-16 09:30:16.041	warn	at script.js.SAkopierenDP:27:3
javascript.0
	2025-04-16 09:30:16.041	warn	at script.js.SAkopierenDP:20:3
javascript.0
	2025-04-16 09:30:16.041	warn	at setState (/opt/iobroker/node_modules/iobroker.javascript/lib/sandbox.js:2090:20)
javascript.0
	2025-04-16 09:30:16.039	warn	State "sourceanalytix.0.0_userdata__0__PV__BKW1Stromzaehler.2024.delivered.months.10_October" not found
javascript.0
	2025-04-16 09:30:16.039	info	script.js.SAkopierenDP: sourceanalytix.0.0_userdata__0__PV__BKW1Stromzaehler.2024.delivered.months.10_October = 377.321

Immerhin wenn ich dann die Instanz starte, erkennt er einen Reset:

Device reset detected for 0_userdata.0.PV.BKW1Stromzaehler store current cumulatedReading 1622.5856410000001 as valueAtDeviceReset (previous valueAtDeviceReset : 0)

[crunchip]

@dieter_p sagte in Source Analytix korrigieren nach Shutdown?:

Die weiteren Daten zB 2024 werden für den neuen DP nicht angelegt und kopiert.

Steht auch so im Thread, dazu müsste das Script erweitert werden.

[Dieter_P]

@crunchip said in Source Analytix korrigieren nach Shutdown?:

Steht auch so im Thread, dazu müsste das Script erweitert werden.

Danke. Naja für mich irgendwie diskutabel was dieses Skript dann überhaupt nutzt, wenn ich am Ende eh per "json Export" dann "Suchen&Ersetzen-Modifikation" und dann import alles händisch mache.

Egal, dafür dürfe ich meinen workaraound nun haben.

Nun muß ich nur noch verstehen, welchen Datenpunkte ich alle modifizieren muß damit alle Ergebnisse wieder richtig sind.

In Zukunft dürfte aber so schon mal die Basis für weniger solcher Fehler geschaffen sein.

[crunchip]

@dieter_p Naja, das Script ist entstanden um anfängliche "Fehler" bei der Einrichtung und Anlage der Datenpunkte zu korrigieren. Wenn natürlich das schon mehrere Jahre läuft, greift das script nicht, dazu müsste es erweitert werden. Ich kann selbst kein Javascript und kann diesbezüglich nicht weiterhelfen. Es war ja auch nur ein Hinweis, das es möglich ist, bestehende Dp's umzuziehen.
Wer die alias Funktion von Beginn an richtig nutzen würde, käme erst gar nicht in die Situation.

Anderer Ansatz wäre, den anderen Adapter zu nutzen (Name gerade nicht parat) , kann das gleiche, jedoch ohne Preise, also nur Verbrauch, was aber auch eine komplette Neuanlage der Datenpunkte voraussetzt.

edit
https://www.iobroker.net/#en/adapters/adapterref/iobroker.valuetrackerovertime/README.md
oder
https://www.iobroker.net/#de/adapters/adapterref/iobroker.statistics/README.md

den gäbe es auch noch
https://github.com/ioBroker/ioBroker.consumption/blob/master/README.md

[Dieter_P]

@crunchip said in Source Analytix korrigieren nach Shutdown?:

Es war ja auch nur ein Hinweis, das es möglich ist, bestehende Dp's umzuziehen.

Kein Vorwurf meinerseits.

@crunchip said in Source Analytix korrigieren nach Shutdown?:

Ich kann selbst kein Javascript und kann diesbezüglich nicht weiterhelfen.

Ich auch nicht. Und wenn Ich dann sowas sehe:

Dann komme ich mit einfachen Editoren zu recht (Suchen & Ersetzen) und verstehe was passiert.
Das Schütz natürlich nicht vor Tippfehlern usw.

Mein Hauptproblem ist halt, dass ich nicht weiß woran man "fummeln" kann und was, wann ganz sicher schief geht.

Das mal sauber/verständlich definiert zu sehen. Wäre eine tolle Hilfe auch wenn ich jetzt falsche Berechnungen auf Grund von was auch immer korrigieren möchte. Dabei bin ich auf der Suche nach belastbaren Aussagen, wie die historischen Berechnung vergangener Jahre packt der Adapter nicht mehr an. Wenn man manuell die Monatswerte und Jahreswerte 2 stellig hinterm Komma anpasst, sollte das unkritisch sein.

[crunchip]

@dieter_p sagte in Source Analytix korrigieren nach Shutdown?:

wenn ich jetzt falsche Berechnungen auf Grund von was auch immer korrigieren möchte

bedenkenlos ändern kannst du Werte; die nicht fortlaufend noch weiterzählen... vergangener (previous) Tag, Woche, Monat, Quartal, alte Zählerstände. Heißt im Umkehrschluss, alle Datenpunkte die noch nicht abgeschlossen sind, werden automatisch vom Adapter anhand deiner Startwerte und dem aktuellen (current) Zählerstand berechnet, aktueller Tag, Woche, Monat, Quartal, Jahr

du musst aber auch bedenken, falsche Werte ja auch in deiner Datenbank(historyy/sql/influx) zu korrigieren, falls genutzt

[Dieter_P]

@crunchip
Danke. Hab jetzt gerade drauf los korrigiert und nachdem ich den Adapter wieder gestartet hab, überschreibt er "schön" die werde die aktuell noch nicht abgeschlossen sind. Somit ein guter Indikator.

Hatte auch den "cumulativeReading" angepasst aber das mag er gar nicht und der Adapterstart stoppt.

Nun muß ich noch lernen wie ich das korrigieren kann und versuche es mal mit der Anleitung die ich selbst oben referenziert hab.

Eine Verbindung der SA Daten zu einer Datenbank oder Historie-Adapter gibt es bei mir nicht. Mir wurde öfters hier gesagt, das braucht man nicht .... Backitup etc. sichert schon alles. Möchte ja auch mal etwas glauben

[crunchip]

@dieter_p sagte in Source Analytix korrigieren nach Shutdown?:

Eine Verbindung der SA Daten zu einer Datenbank oder Historie-Adapter gibt es bei mir nicht. Mir wurde öfters hier gesagt, das braucht man nicht .... Backitup etc. sichert schon alles. Möchte ja auch mal etwas glauben

stimmt schon, dient letztendlich auch eher der Visualisierung, z.b in Kombi Influxdb/Grafana, deine Datenpunkte/Ordner sind und bleiben in einem Backup ja erhalten

@dieter_p sagte in Source Analytix korrigieren nach Shutdown?:

überschreibt er "schön" die werde die aktuell noch nicht abgeschlossen sind

was mir dazu noch einfällt, bestimmte Datenpunkte sind eigentlich auch gar nicht angedacht manuell zu ändern, die musst du erstmal auf beschreibbar stellen um sie ändern zu können, wie ein Beispiel DP
sourceanalytix.0.dein Geräte.currentYear.meterReadings.02_previousWeek

[Dieter_P]

@crunchip said in Source Analytix korrigieren nach Shutdown?:

was mir dazu noch einfällt, bestimmte Datenpunkte sind eigentlich auch gar nicht angedacht manuell zu ändern, die musst du erstmal auf beschreibbar stellen um sie ändern zu können, wie ein Beispiel DP
sourceanalytix.0.dein Geräte.currentYear.meterReadings.02_previousWeek

Danke, sehr wertvoller Hinweis und bin ich bereits voll reingelaufen. Hoffe nun klappt es.

Ich stehe noch etwas auf dem Schlauch um die readingcumultative anzupassen und die Startwerte zu setzen.

Ich habe den Datenpunkt "Aufsummierer" erst heute erzeugt. Somit war er zu Begin fast 0

Was sollte ich jetzt hieraus:

für die Startwerte ableiten? Ich weiß ja nicht mehr wann genau der device Reset war. Vielleicht noch der Tag.

Aktuell steht der Aufsummiere auf 0,536kWh

Und ich versuche damit jetzt diese Settings zu justieren:

Kann das so richtig sein?

Aber laut Log wohl nicht:

sourceanalytix.0
	2025-04-16 20:23:40.611	error	Cannot handle initialisation for 0_userdata.0.PV.BKW1Stromzaehler
sourceanalytix.0
	2025-04-16 20:23:06.732	error	Troubleshoot Data 0_userdata.0.PV.BKW1Stromzaehler custom Data : {"common":{"name":"BKW1Stromzaehler","desc":"Manuell erzeugt","role":"state","type":"number","read":true,"write":true,"def":0,"custom":{"sourceanalytix.0":{"enabled":true,"selectedUnit":"Wh","start_day":0,"start_week":1618.8746,"start_month":1589.9546,"start_quarter":1589.9546,"start_year":1526.2766,"selectedPrice":"ElectricityDelivery","consumption":true,"valueAtDeviceReset":1622.5856410000001,"valueAtDeviceInit":0.03273700000002282}}},"type":"state","native":{},"_id":"0_userdata.0.PV.BKW1Stromzaehler","acl":{"object":1636,"state":1636,"owner":"system.user.admin","ownerGroup":"system.group.administrator"},"from":"system.adapter.admin.0","user":"system.user.admin","ts":1744827567233}
sourceanalytix.0
	2025-04-16 20:23:06.729	error	Check settings for 0_userdata.0.PV.BKW1Stromzaehler ! Known valueAtDeviceReset : (1622.5856410000001) > known cumulative value (0.536317) cannot proceed

[crunchip]

@dieter_p sagte in Source Analytix korrigieren nach Shutdown?:

für die Startwerte ableiten?

@dieter_p sagte in Source Analytix korrigieren nach Shutdown?:

valueAtDeviceReset

ist der letzte Stand wo ein reset erkannt wurde, um den Wert zu korrigieren musst du den Wert, den er von da ab bei 0 wieder weitergezählt hat, dazu addieren

bei einem tasmota Gerät wäre z.b. der Vorgang so

• SA stoppen
• tasmota Gerät aufrufen, Zählerstand im Gerät wieder auf den aktuellen Wert setzen(valueAtDeviceReset+Wertaktuell)
• original DP Raw aufrufen und die entsprechenden Zeilen löschen (Komma in der Zeile davor muss mitgelöscht werden)
  in der Regel sind es eigentlich 3 Zeilen, in deinem screen fehlt die letzte Zeile "cumulativeValue":
  
• SA wieder starten, der Rest würde dann automatisiert bereinigt werden und die Werte wären wieder korrekt

das funktioniert soweit, wenn es am selbigen Tag erkannt und behoben wird

in deinem Fall geht es soweit ich mich erinnere allerdings um shelly, da kann man die Werte im shelly nicht korrigieren, da wäre dann der Vorgang im oben gezeigt, im Link aus dem Thread

die Startwerte an sich, kannst du ja aus den Datenpunkten herauslesen

[crunchip]

hier noch eine andere alternative zum Datenspeichern oder als Zusatz zum Adapter

[Dieter_P]

@crunchip said in Source Analytix korrigieren nach Shutdown?:

in deinem Fall geht es soweit ich mich erinnere allerdings um shelly, da kann man die Werte im shelly nicht korrigieren, da wäre dann der Vorgang im oben gezeigt, im Link aus dem Thread

Danke vielmals, für Deine ganze Unterstützung!

Ich glaube es läuft jetzt für mich zufriedenstellend. d.h. hab da für heute einen Rundungsfehler von 0,5kWh drin, der Rest stimmt; wenn es nur das ist

Schwierigkeit: Ich hab ja auf anraten den Aufsumierer (BKW1Stromzähler) eingebaut um quasie unabhängig von den Zählerständen des Shelly zu werden. Der Aufsummierer holt sich die Zählerstände vom Alias (Energy) so:

Das bedeutet aber auch für dessen SA Werte und die von mir dahintransferierte Historie, dass sie nun total unabhängig von den Shelly Zählerständen ist und nichts damit zu tun hat.

Heißt ich starte heute beim Reset mit 0 und alle Werte in der Historie werden dann negativ dass es passt:

Nun scheint es aber ok zu sein.

Danke Dir und davon hätte ich noch 3 weitere Datenpunkte. Da hab ich morgen was um das Spielchen einzuüben :).

[Dieter_P]

@crunchip

Bevor das ein "Suchender" "kopiert", ich beobachte noch.

Gestern wie gesagt durch den Start des SA Adapters habe ich für gestern eine Erzeugungsenergie von 1,073kWh statt tatsächlichen 0,5kWh gesehen und das mit Rundungsfehler durch meine geänderten Datenpunkte begründet gesehen.

Für heute (Donnerstag) stehen aber schon wieder 1,086kWh jetzt im Datenpunkt und es sind tatsächlich erst 0,03kWh erzeugt worden. Das stimmt so noch nicht.

Ich hoffe nicht, dass die negativen Startwerte (siehe Warnung) doch ein Problem sind.

Der cumultative Reading verändert sich jedenfalls nun während der Laufzeit plausibel, genauso wie aktuelle Berechnungen zur aktuellen Woche, Monat, Jahr.

Einzig der Wert des cumulativeReadings von 1,08xkWh passt nicht zum aktuellen Tageswert. Bezogen auf gestern also 1,07 + heutige Erzeugung kann stimmen. Dann bleibt der falsche Wert im heutigen Tag wo er anscheinend wieder bei 0 die berechnung startet und nicht beim letzten Zählerstand von gestern (1,073kWh).

[crunchip]

@dieter_p sagte in Source Analytix korrigieren nach Shutdown?:

Gestern wie gesagt durch den Start des SA Adapters habe ich für gestern eine Erzeugungsenergie von 1,073kWh statt tatsächlichen 0,5kWh gesehen

Weil im Raw ein devicereset steht

[Dieter_P]

@crunchip said in Source Analytix korrigieren nach Shutdown?:

@dieter_p sagte in Source Analytix korrigieren nach Shutdown?:

Gestern wie gesagt durch den Start des SA Adapters habe ich für gestern eine Erzeugungsenergie von 1,073kWh statt tatsächlichen 0,5kWh gesehen

Weil im Raw ein devicereset steht

danke. das erklärt es für gestern:

hat aber doch keine Auswirkung mehr für heute, oder?

[crunchip]

@dieter_p unter Umständen schon , Solang das drin steht wird falsch gerechnet. Ausserdem kann ich nicht ganz nachvollziehen wann, wie und welche Werte du geändert hast.
Beim korrigieren muss man auch immer etwas warten, bis das Gerät seine Werte aktualisiert, sonst führt das wiederum zu Rechenfehler wenn SA zu früh gestartet wird.
Ich schau mir das später am PC nochmal in Ruhe an, bin aktuell nur am Handy

[Dieter_P]

@crunchip said in Source Analytix korrigieren nach Shutdown?:

Ich schau mir das später am PC nochmal in Ruhe an, bin aktuell nur am Handy

Bitte sag wenn ich etwas chronologisch auflisten kann, was dabei hilft.
Im Wesentlichen hab ich das getan, was hier zum shelly erklärt wurde: https://forum.iobroker.net/post/564259

Nur hab ich das transferiert auf meinen neuen aufsumierenden Datenpunkt, der mit den vorherigen Shelly Zählerständen nur noch mit der absoluten Veränderung in Relation steht.

Somit habe ich den Tagesstartwert auf 0 gesetzt und den comultativeReading auf den aktuellen Wert des Summieres 0,536kWh.

[crunchip]

@dieter_p sagte in Source Analytix korrigieren nach Shutdown?:

Im Wesentlichen hab ich das getan, was hier zum shelly erklärt wurde:

soweit ich gerade sehe, jedoch nicht. Dein alter Zählerstand war welcher Wert? dieser Wert muss als "valueAtDeviceReset" eingetragen werden

Deine Startwerte sollten eigentlich positiv sein

@dieter_p sagte in Source Analytix korrigieren nach Shutdown?:

Für heute (Donnerstag) stehen aber schon wieder 1,086kWh jetzt im Datenpunkt und es sind tatsächlich erst 0,03kWh erzeugt worden. Das stimmt so noch nicht.

weil

@dieter_p sagte in Source Analytix korrigieren nach Shutdown?:

Somit habe ich den Tagesstartwert auf 0 gesetzt

dadurch ergibt sich die Summe aus Tagesbeginn 0:00 Uhr bis cumulatedReading (aktueller Zählerstand shelly)
0 + cumulatedReading = 1,085

Edit:
nochmal zum Verlauf

• du hast nen alias angelegt oder nur in SA nen alias Namen vergeben?
• bist mittels script auf nen eigenen DP BKW1Stromzaehler umgezogen