Ertrag (Tag, Monat, Jahr) berechnen und in Datei speichern

Homoran

@bitwicht wird das jedesmal eine neue Datei oder muss was angehängt werden?

bitwicht

Es gibt eine Datei für Tag, eine Datei für Monat, eine Datei für Jahr

Hier die Datei für Tag:

da[dx++]="30.12.23|41258;0|7861;0"
da[dx++]="29.12.23|10674;0|6115;0"
da[dx++]="28.12.23|15384;0|6592;0"
da[dx++]="27.12.23|43654;0|8555;0"

Es gibt pro Tag einen Eintrag.

In die Datei müsste dann zB: alle 30 Minuten der aktuelle Tageswert.

da[dx++]="$date|$Wechselrichter1|$Wechselrichter2 "

$date = aktuelle Datum des Tages
$Wechselrichter1 = aktueller Wert von Wechselrichter1
$Wechselrichter2 = aktueller Wert von Wechselrichter2

Für Monat siehst es dann so aus:

mo[mx++]="01.11.23|465936|199954"
mo[mx++]="01.10.23|1300173|575809"
mo[mx++]="01.09.23|1918725|1011015"

Wenn ich einen Datenpunkt für Monat habe, wäre es ja aber gleich dem Tag.

Homoran

@bitwicht sagte in Ertrag (Tag, Monat, Jahr) berechnen und in Datei speichern:

Es gibt pro Tag einen Eintrag.

der nicht regelmäßig aktualisiert wird (8:00, 12:00....|?

Bitte alle notwendigen Informationen selbständig zu Beginn geben!
nicht scheibchenweise und schon gar nicht erst auf Nachfrage.

die Helfenden haben nicht den blassesten Schimmer, was du dir gerade denkst.

bitwicht

@Homoran
ich dachte ich hätte das gut erklärt ..

Ich möchte den aktuellen Tageswert in eine Datei schreiben und dann per FTP auf ein Portal laden.
Den Intervall kann ich vorgeben. Ich dachte an alle 30 Minuten.
In der Datei müssen dann halt noch die Tageswerte der vorherigen Tage stehen.

Ist es jetzt verständlicher?

Homoran

@bitwicht sagte in Ertrag (Tag, Monat, Jahr) berechnen und in Datei speichern:

ich dachte ich hätte das gut erklärt ..

Ist das wirklich alles?

@bitwicht sagte in Ertrag (Tag, Monat, Jahr) berechnen und in Datei speichern:

Ich möchte den aktuellen Tageswert alle 30 Minuten in eine Datei schreiben bzw dort anhängen und dann per FTP auf ein Portal laden.

oder eher so?
und von Monats und Jahreszahlen war doch auch noch die Rede

bitwicht

@Homoran

gleiches Modell benötige ich dann noch für Monat und Jahr.
Aber das müsste doch dann das gleiche Script sein nur mit einem anderen Datenpunkt.

Ich habe es bisher so verstanden.
Ich habe eine Datenpunkte.
Der SourceAnalytix Adapter macht mir aus dem Datenpunkt ein Tag / Monat / Jahr Wert.

Jetzt müsste ich die Werte regelmäßig in die Dateien bekommen.

Homoran

@bitwicht sagte in Ertrag (Tag, Monat, Jahr) berechnen und in Datei speichern:

Jetzt müsste ich die Werte regelmäßig in die Dateien bekommen.

jetzt ist es etwas klarer.

es sind mehrere Dateien
die Daten müssen regelmäßig in diesen bestehenden (??) Dateien ergänzt werden.
die modifizierten Dateien müssen irgendwohin hochgeladen werden

passt das oder fehlt noch was?

bitwicht

@Homoran

das passt, vielleicht noch:

der Inhalt der Datei muss exakt den Syntax wie oben im Beispiel haben.

Was ich bisher erarbeitet habe:

es sind 2 Datenpunkte die der Modbus Adapter erzeugt. (läuft)
die Datenpunkte müssen gff. noch umgerechnet werden. Das Script habe ich hier aus dem Forum (läuft).
der SourceAnalytix Adapter zeichnet für die 2 Datenpunkte einen Tages/Monats/Jahreswert (todo)
Für die Datei Tag, könnten dann die zwei Tageswerte genommen werden
Für die Datei Monat, könnten dann die zwei Monatswerte genommen werden
Für die Datei Jahr, könnten dann die zwei Jahreswerte genommen werden
Die Dateien sollten dann alle X Minuten mit den neuen Daten erstellt/aktualisiert werden
Die Dateien sollten dann alle X Minuten per FTP auf einen Server geladen werden (wenn es keine bessere Idee gibt, könnte ich das per Shelly Script und Cronjob machen)

Aktuell hänge ich am nächsten Schritt, wie ich diese Dateien erzeugen und aktualisieren kann.

lg
Bit.

bitwicht

Hat keiner eine Idee ?

Marc Berg

@bitwicht sagte in Ertrag (Tag, Monat, Jahr) berechnen und in Datei speichern:

es sind 2 Datenpunkte die der Modbus Adapter erzeugt. (läuft)

Ich würde mich da mal langsam ranrobben. Zeig mal als erstes die Daten, wie sie in den beiden Datenpunkten gepeichert werden. Zum Beispiel als Screenshot vom Fenster der Verlaufsdaten.

bitwicht

@Marc Berg

Die Datenpunkte heißen:
sourceanalytix.0.javascript__0__PV__Wechselrichter__SE-10KRWS-PVLeistungAktuell.currentYear.consumed.01_currentDay
in der Influx: PV-Modbus-SE10KRWS-Ertrag-Tag

sourceanalytix.0.javascript__0__PV__Wechselrichter__SE-12K-PVLeistungAktuell.currentYear.consumed.01_currentDay
in der Influx: PV-Modbus-SE12K-Ertrag-Tag

Marc Berg

@bitwicht
Welche Rolle spiele der Sourceanalytics Adapter da jetzt? Eigentlich hast du doch die Daten alle in deinen Original-Datenpunkten, daraus müsste man doch alle erforderlichen Daten herausbekommen? Das jetzt noch durch eine weitere Mühle zu drehen, halte ich für unnötig und fehleranfällig.

(Wenn du die Daten nicht noch für andere Zwecke benötigst)

bitwicht

@Marc Berg

Wenn ich das richtig verstanden haben (alles hier im Forum gelesen).

Über den Modbus Adapter erhalte ich die Aktuellen Leistungswerte der Wechselrichte und einen Scaling Faktor:
modbus.0.holdingRegisters.1.40083_I_AC_Power
modbus.0.holdingRegisters.1.40084_I_AC_Power_SF

Diese Werte muss ich aber umrechnen und habe aus dem Forum das Script hier:

function convertValue(value, factor) {
   if (value === null) return;
   if (factor === null) factor = 0;
   setState('PV.Wechselrichter.SE-10KRWS-PVLeistungAktuell', value * Math.pow(10, factor), true);
}  
 
createState('PV.Wechselrichter.SE-10KRWS-PVLeistungAktuell', {
	name: 'PV-WR-SE-10KRWS-PVLeistungAktuell',
	unit: 'W',
	min:  0,
	type: 'number',
	role: 'value.energy'
}, function () {
	on('modbus.0.holdingRegisters.1.40083_I_AC_Power'/*AC-Leistungswert*/, function(obj) {
		var timeout = setTimeout(function () {
			clearTimeout(timeout);
			var factorState = getState('modbus.0.holdingRegisters.1.40084_I_AC_Power_SF'/*AC-Leistung Skalierungsfaktor*/);
			convertValue(obj.state.val, factorState ? factorState.val : 0);
		}, 100); 
	});
	var factorState = getState('modbus.0.holdingRegisters.1.40084_I_AC_Power_SF'/*AC-Leistung Skalierungsfaktor*/);
	var valueState = getState('modbus.0.holdingRegisters.1.40083_I_AC_Power'/*AC-Leistungswert*/);
	convertValue(valueState ? valueState.val : null, factorState ? factorState.val : 0); 
});

Damit sollte ich die aktuellen Leistungswerte in W erhalten.

Hier: https://forum.iobroker.net/topic/38322/tutorial-solaredge-modbus-iobroker-grafana

Jetzt muss ich ja noch den Tageswert ermitteln (also alles aufaddieren) und das mache ich über den Sourceanalytics Adapter.

Oder habe ich jetzt einen Denkfehler ?!

Marc Berg

@bitwicht sagte in Ertrag (Tag, Monat, Jahr) berechnen und in Datei speichern:

Oder habe ich jetzt einen Denkfehler ?!

Okay, ich möchte das jetzt nicht weiter hinterfragen, so tief bin ich in die "Vorgeschichte" nicht eingestiegen.

Hast du schon Werte für den Dezember? Dann könntest du diese Abfrage mal in den InfluxDB Data Explorer werfen und das Ergebnis zeigen, ob es grundsätzlich schon passt:

                import "date" 
                import "timezone" 
                option location = timezone.location(name: "Europe/Berlin") 
            
                from(bucket: "iobroker")
                |> range(start:date.truncate(t:-1mo, unit:1mo)) 
                |> filter(fn: (r) => r._measurement == "sourceanalytix.0.javascript__0__PV__Wechselrichter__SE-10KRWS-PVLeistungAktuell.currentYear.consumed.01_currentDay" or r._measurement == "sourceanalytix.0.javascript__0__PV__Wechselrichter__SE-12K-PVLeistungAktuell.currentYear.consumed.01_currentDay")
                |> filter(fn: (r) => r._field == "value")
                |> aggregateWindow(every: 1d,fn:max,timeSrc: "_start",createEmpty:false)
                |> pivot(rowKey:["_time"], columnKey: ["_measurement"], valueColumn: "_value")
                |> rename(columns: {"sourceanalytix.0.javascript__0__PV__Wechselrichter__SE-10KRWS-PVLeistungAktuell.currentYear.consumed.01_currentDay": "WR1", "sourceanalytix.0.javascript__0__PV__Wechselrichter__SE-12K-PVLeistungAktuell.currentYear.consumed.01_currentDay": "WR2"})
                |> keep(columns: ["_time", "WR1", "WR2"])

bitwicht

@Marc Berg

leider noch nicht.
Ich werde mal 2,3 Tage aufzeichnen und dann dein Script laufen.

Marc Berg

@bitwicht sagte in Ertrag (Tag, Monat, Jahr) berechnen und in Datei speichern:

Ich werde mal 2,3 Tage aufzeichnen und dann dein Script laufen.

Das hier ist ein Beispiel JS Skript, welches die Daten des Vormonats tageweise mit dem von dir benannten Format in eine Datei schreibt:

const {InfluxDB} = require('@influxdata/influxdb-client')
const fs = require('fs')

// vvvvvvvvvvvvvvv ANPASSEN!!! vvvvvvvvvvvvvvv
const Token ='rwvwRRrnxA8x1XYWMnWNTxxxxxxxxxxNE3Esoal0PHmI7Ci8Bk_EwWZg=='
const Url ='http://nuc.fritz.box:8086'
const Org = 'home'
const Bucket = 'iobroker'
const measurement1 = "sourceanalytix.0.javascript__0__PV__Wechselrichter__SE-10KRWS-PVLeistungAktuell.currentYear.consumed.01_currentDay"
const measurement2 = "sourceanalytix.0.javascript__0__PV__Wechselrichter__SE-12K-PVLeistungAktuell.currentYear.consumed.01_currentDay"
const Outputfile = '/opt/iobroker/exports/daily_previous_month.txt'

const query = ` import "date" 
                import "timezone" 
                option location = timezone.location(name: "Europe/Berlin") 
            
                from(bucket: "${Bucket}")
                |> range(start:date.truncate(t:-1mo, unit:1mo), stop: date.truncate(t:-1s, unit:1mo)) 
                |> filter(fn: (r) => r._measurement == "${measurement1}" or r._measurement == "${measurement2}")
                |> filter(fn: (r) => r._field == "value")
                |> aggregateWindow(every: 1d,fn:max,timeSrc: "_start",createEmpty:false)
                |> pivot(rowKey:["_time"], columnKey: ["_measurement"], valueColumn: "_value")
                |> rename(columns: {"${measurement1}": "WR1", "${measurement2}": "WR2"})
                |> keep(columns: ["_time", "WR1", "WR2"])    
                `
// ^^^^^^^^^^^^^^^ ANPASSEN!!! ^^^^^^^^^^^^^^^

const client = new InfluxDB({
  url: Url,
  token: Token
})

const queryApi = client.getQueryApi(Org)

const stream = fs.createWriteStream(Outputfile) // , {flags: 'a'} zum Anhängen an die Datei

const writeToFile = (fluxRow) => {
  let fluxdate = new Date(fluxRow._time)
  let formattedDate = fluxdate.toLocaleDateString('de-DE', { day: '2-digit', month: '2-digit', year: '2-digit' })
  stream.write(`da[dx++]="${formattedDate}|${fluxRow.WR1};0|${fluxRow.WR2};0"\n`)
}

queryApi.queryRows(query, {
  next: (row, tableMeta) => writeToFile(tableMeta.toObject(row)),
  error: error => {
    console.error(error);
    console.error('\nFinished ERROR');
  },
  complete: () => {
    stream.end();
    console.info('\nFinished SUCCESS');
  },
});

Wenn du diesen Teil rauslöschst

, stop: date.truncate(t:-1s, unit:1mo)

dann wird der Vormonat und der aktuelle bis jetzt erfasst (zum Testen).

Dieses Skript lässt sich dann für alle weiteren Zeiträume leicht anpassen.

bitwicht

@Marc-Berg

Die Werte aus dem sourceanalytix Adapter passe leider überhaupt nicht. Ich weiß nur noch nicht an was es liegt.
Ich habe noch einen zweiten Datenpunkt. Die API Abfrage vom Solagedge Portal (WR Hersteller). Leider liefert der nur einen Gesamtwert beider Herstellen aber das passt halt. Bitte beachten: Die Werte der SE-API passen nicht 100% zur SE-APP (warum auch immer).

Datenpunkt: 0_userdata.0.Systemdaten.Solaranlage.Anlagen.1565936.Erzeugung.Heute
In der Influx: PV-SEWeb-Ertrag-Tag

Ich habe dein Script angepasst (hoffe ich habe keinen Fehler).

   import "date" 
                import "timezone" 
                option location = timezone.location(name: "Europe/Berlin") 
            
                from(bucket: "iobroker")
                |> range(start:date.truncate(t:-1mo, unit:1mo)) 
                |> filter(fn: (r) => r._measurement == "PV-SEWeb-Ertrag-Tag")
                |> filter(fn: (r) => r._field == "value")
                |> aggregateWindow(every: 1d,fn:max,timeSrc: "_start",createEmpty:false)
                |> pivot(rowKey:["_time"], columnKey: ["_measurement"], valueColumn: "_value")
                |> rename(columns: {"PV-SEWeb-Ertrag-Tag": "SE-Web-Portal"})
                |> keep(columns: ["_time", "SE-Web-Portal"])

Influx:
0 2024-01-03T23:00:00.000Z 15.62
0 2024-01-04T23:00:00.000Z 9.52
0 2024-01-05T23:00:00.000Z 3.13
0 2024-01-06T23:00:00.000Z 0

Aus der APP (SE-App):
7.1.24 = 0
6.1.24 = 2,88
5.1.24 = 9,51
4.1.24 = 16

Ich bekomme die Tageswerte aber diese sind alle 1 Tag versetzt ?

lg
Bit.

Marc Berg

@bitwicht sagte in Ertrag (Tag, Monat, Jahr) berechnen und in Datei speichern:

Ich bekomme die Tageswerte aber diese sind alle 1 Tag versetzt ?

Ne, das passt. Aus "03.01.2024 23:00 UTC" wird ja "04.01.24 00:00" (Lokalzeit) und so würde es das JS-Skript auch in die Datei schreiben.

bitwicht

@Marc-Berg

Schön. Dann ist mir noch etwas aufgefallen das ich noch nicht verstehe:

Influx Werte:
0 2024-01-03T23:00:00.000Z 15.62
0 2024-01-04T23:00:00.000Z 9.52
0 2024-01-05T23:00:00.000Z 3.13

IO-Bocker-Verlauf
(letzter geschriebener Wert des Tages)
6.1.2024 = 3,05
5.1.2024 = 9,37
4.1.2024 = 15,62

Die Werte in der Influx müssten doch exakt gleich sein wie die Werte im iobroker Verlauf ??

Marc Berg

@bitwicht sagte in Ertrag (Tag, Monat, Jahr) berechnen und in Datei speichern:

Die Werte in der Influx müssten doch exakt gleich sein wie die Werte im iobroker Verlauf ??

Zeig mal die benutzerdefinierten Einstellungen.

NEWS

Ertrag (Tag, Monat, Jahr) berechnen und in Datei speichern

Support us

1.0k
Online

31.6k
Users

79.4k
Topics

1.3m
Posts

NEWS

Ertrag (Tag, Monat, Jahr) berechnen und in Datei speichern

Support us

1.0kOnline

31.6kUsers

79.4kTopics

1.3mPosts

1.0k
Online

31.6k
Users

79.4k
Topics

1.3m
Posts