Ertrag (Tag, Monat, Jahr) berechnen und in Datei speichern

[Homoran]

@bitwicht sagte in Ertrag (Tag, Monat, Jahr) berechnen und in Datei speichern:

Jetzt müsste ich die Werte regelmäßig in die Dateien bekommen.

jetzt ist es etwas klarer.

• es sind mehrere Dateien
• die Daten müssen regelmäßig in diesen bestehenden (??) Dateien ergänzt werden.
• die modifizierten Dateien müssen irgendwohin hochgeladen werden

passt das oder fehlt noch was?

[bitwicht]

@Homoran

das passt, vielleicht noch:

• der Inhalt der Datei muss exakt den Syntax wie oben im Beispiel haben.

Was ich bisher erarbeitet habe:

• es sind 2 Datenpunkte die der Modbus Adapter erzeugt. (läuft)

• die Datenpunkte müssen gff. noch umgerechnet werden. Das Script habe ich hier aus dem Forum (läuft).

• der SourceAnalytix Adapter zeichnet für die 2 Datenpunkte einen Tages/Monats/Jahreswert (todo)

• Für die Datei Tag, könnten dann die zwei Tageswerte genommen werden

• Für die Datei Monat, könnten dann die zwei Monatswerte genommen werden

• Für die Datei Jahr, könnten dann die zwei Jahreswerte genommen werden

• Die Dateien sollten dann alle X Minuten mit den neuen Daten erstellt/aktualisiert werden

• Die Dateien sollten dann alle X Minuten per FTP auf einen Server geladen werden (wenn es keine bessere Idee gibt, könnte ich das per Shelly Script und Cronjob machen)

Aktuell hänge ich am nächsten Schritt, wie ich diese Dateien erzeugen und aktualisieren kann.

lg
Bit.

[bitwicht]

Hat keiner eine Idee ?

[Marc Berg]

@bitwicht sagte in Ertrag (Tag, Monat, Jahr) berechnen und in Datei speichern:

es sind 2 Datenpunkte die der Modbus Adapter erzeugt. (läuft)

Ich würde mich da mal langsam ranrobben. Zeig mal als erstes die Daten, wie sie in den beiden Datenpunkten gepeichert werden. Zum Beispiel als Screenshot vom Fenster der Verlaufsdaten.

[bitwicht]

@Marc Berg

Die Datenpunkte heißen:
sourceanalytix.0.javascript__0__PV__Wechselrichter__SE-10KRWS-PVLeistungAktuell.currentYear.consumed.01_currentDay
in der Influx: PV-Modbus-SE10KRWS-Ertrag-Tag

sourceanalytix.0.javascript__0__PV__Wechselrichter__SE-12K-PVLeistungAktuell.currentYear.consumed.01_currentDay
in der Influx: PV-Modbus-SE12K-Ertrag-Tag

[Marc Berg]

@bitwicht
Welche Rolle spiele der Sourceanalytics Adapter da jetzt? Eigentlich hast du doch die Daten alle in deinen Original-Datenpunkten, daraus müsste man doch alle erforderlichen Daten herausbekommen? Das jetzt noch durch eine weitere Mühle zu drehen, halte ich für unnötig und fehleranfällig.

(Wenn du die Daten nicht noch für andere Zwecke benötigst)

[bitwicht]

@Marc Berg

Wenn ich das richtig verstanden haben (alles hier im Forum gelesen).

Über den Modbus Adapter erhalte ich die Aktuellen Leistungswerte der Wechselrichte und einen Scaling Faktor:
modbus.0.holdingRegisters.1.40083_I_AC_Power
modbus.0.holdingRegisters.1.40084_I_AC_Power_SF

Diese Werte muss ich aber umrechnen und habe aus dem Forum das Script hier:

function convertValue(value, factor) {
   if (value === null) return;
   if (factor === null) factor = 0;
   setState('PV.Wechselrichter.SE-10KRWS-PVLeistungAktuell', value * Math.pow(10, factor), true);
}  
 
createState('PV.Wechselrichter.SE-10KRWS-PVLeistungAktuell', {
	name: 'PV-WR-SE-10KRWS-PVLeistungAktuell',
	unit: 'W',
	min:  0,
	type: 'number',
	role: 'value.energy'
}, function () {
	on('modbus.0.holdingRegisters.1.40083_I_AC_Power'/*AC-Leistungswert*/, function(obj) {
		var timeout = setTimeout(function () {
			clearTimeout(timeout);
			var factorState = getState('modbus.0.holdingRegisters.1.40084_I_AC_Power_SF'/*AC-Leistung Skalierungsfaktor*/);
			convertValue(obj.state.val, factorState ? factorState.val : 0);
		}, 100); 
	});
	var factorState = getState('modbus.0.holdingRegisters.1.40084_I_AC_Power_SF'/*AC-Leistung Skalierungsfaktor*/);
	var valueState = getState('modbus.0.holdingRegisters.1.40083_I_AC_Power'/*AC-Leistungswert*/);
	convertValue(valueState ? valueState.val : null, factorState ? factorState.val : 0); 
});

Damit sollte ich die aktuellen Leistungswerte in W erhalten.

Hier: https://forum.iobroker.net/topic/38322/tutorial-solaredge-modbus-iobroker-grafana

Jetzt muss ich ja noch den Tageswert ermitteln (also alles aufaddieren) und das mache ich über den Sourceanalytics Adapter.

Oder habe ich jetzt einen Denkfehler ?!

[Marc Berg]

@bitwicht sagte in Ertrag (Tag, Monat, Jahr) berechnen und in Datei speichern:

Oder habe ich jetzt einen Denkfehler ?!

Okay, ich möchte das jetzt nicht weiter hinterfragen, so tief bin ich in die "Vorgeschichte" nicht eingestiegen.

Hast du schon Werte für den Dezember? Dann könntest du diese Abfrage mal in den InfluxDB Data Explorer werfen und das Ergebnis zeigen, ob es grundsätzlich schon passt:

                import "date" 
                import "timezone" 
                option location = timezone.location(name: "Europe/Berlin") 
            
                from(bucket: "iobroker")
                |> range(start:date.truncate(t:-1mo, unit:1mo)) 
                |> filter(fn: (r) => r._measurement == "sourceanalytix.0.javascript__0__PV__Wechselrichter__SE-10KRWS-PVLeistungAktuell.currentYear.consumed.01_currentDay" or r._measurement == "sourceanalytix.0.javascript__0__PV__Wechselrichter__SE-12K-PVLeistungAktuell.currentYear.consumed.01_currentDay")
                |> filter(fn: (r) => r._field == "value")
                |> aggregateWindow(every: 1d,fn:max,timeSrc: "_start",createEmpty:false)
                |> pivot(rowKey:["_time"], columnKey: ["_measurement"], valueColumn: "_value")
                |> rename(columns: {"sourceanalytix.0.javascript__0__PV__Wechselrichter__SE-10KRWS-PVLeistungAktuell.currentYear.consumed.01_currentDay": "WR1", "sourceanalytix.0.javascript__0__PV__Wechselrichter__SE-12K-PVLeistungAktuell.currentYear.consumed.01_currentDay": "WR2"})
                |> keep(columns: ["_time", "WR1", "WR2"])

[bitwicht]

@Marc Berg

leider noch nicht.
Ich werde mal 2,3 Tage aufzeichnen und dann dein Script laufen.

[Marc Berg]

@bitwicht sagte in Ertrag (Tag, Monat, Jahr) berechnen und in Datei speichern:

Ich werde mal 2,3 Tage aufzeichnen und dann dein Script laufen.

Das hier ist ein Beispiel JS Skript, welches die Daten des Vormonats tageweise mit dem von dir benannten Format in eine Datei schreibt:

JS Script

const {InfluxDB} = require('@influxdata/influxdb-client')
const fs = require('fs')

// vvvvvvvvvvvvvvv ANPASSEN!!! vvvvvvvvvvvvvvv
const Token ='rwvwRRrnxA8x1XYWMnWNTxxxxxxxxxxNE3Esoal0PHmI7Ci8Bk_EwWZg=='
const Url ='http://nuc.fritz.box:8086'
const Org = 'home'
const Bucket = 'iobroker'
const measurement1 = "sourceanalytix.0.javascript__0__PV__Wechselrichter__SE-10KRWS-PVLeistungAktuell.currentYear.consumed.01_currentDay"
const measurement2 = "sourceanalytix.0.javascript__0__PV__Wechselrichter__SE-12K-PVLeistungAktuell.currentYear.consumed.01_currentDay"
const Outputfile = '/opt/iobroker/exports/daily_previous_month.txt'

const query = ` import "date" 
                import "timezone" 
                option location = timezone.location(name: "Europe/Berlin") 
            
                from(bucket: "${Bucket}")
                |> range(start:date.truncate(t:-1mo, unit:1mo), stop: date.truncate(t:-1s, unit:1mo)) 
                |> filter(fn: (r) => r._measurement == "${measurement1}" or r._measurement == "${measurement2}")
                |> filter(fn: (r) => r._field == "value")
                |> aggregateWindow(every: 1d,fn:max,timeSrc: "_start",createEmpty:false)
                |> pivot(rowKey:["_time"], columnKey: ["_measurement"], valueColumn: "_value")
                |> rename(columns: {"${measurement1}": "WR1", "${measurement2}": "WR2"})
                |> keep(columns: ["_time", "WR1", "WR2"])    
                `
// ^^^^^^^^^^^^^^^ ANPASSEN!!! ^^^^^^^^^^^^^^^

const client = new InfluxDB({
  url: Url,
  token: Token
})

const queryApi = client.getQueryApi(Org)

const stream = fs.createWriteStream(Outputfile) // , {flags: 'a'} zum Anhängen an die Datei

const writeToFile = (fluxRow) => {
  let fluxdate = new Date(fluxRow._time)
  let formattedDate = fluxdate.toLocaleDateString('de-DE', { day: '2-digit', month: '2-digit', year: '2-digit' })
  stream.write(`da[dx++]="${formattedDate}|${fluxRow.WR1};0|${fluxRow.WR2};0"\n`)
}

queryApi.queryRows(query, {
  next: (row, tableMeta) => writeToFile(tableMeta.toObject(row)),
  error: error => {
    console.error(error);
    console.error('\nFinished ERROR');
  },
  complete: () => {
    stream.end();
    console.info('\nFinished SUCCESS');
  },
});

Wenn du diesen Teil rauslöschst

, stop: date.truncate(t:-1s, unit:1mo)

dann wird der Vormonat und der aktuelle bis jetzt erfasst (zum Testen).

Dieses Skript lässt sich dann für alle weiteren Zeiträume leicht anpassen.

[bitwicht]

@Marc-Berg

Die Werte aus dem sourceanalytix Adapter passe leider überhaupt nicht. Ich weiß nur noch nicht an was es liegt.
Ich habe noch einen zweiten Datenpunkt. Die API Abfrage vom Solagedge Portal (WR Hersteller). Leider liefert der nur einen Gesamtwert beider Herstellen aber das passt halt. Bitte beachten: Die Werte der SE-API passen nicht 100% zur SE-APP (warum auch immer).

Datenpunkt: 0_userdata.0.Systemdaten.Solaranlage.Anlagen.1565936.Erzeugung.Heute
In der Influx: PV-SEWeb-Ertrag-Tag

Ich habe dein Script angepasst (hoffe ich habe keinen Fehler).

   import "date" 
                import "timezone" 
                option location = timezone.location(name: "Europe/Berlin") 
            
                from(bucket: "iobroker")
                |> range(start:date.truncate(t:-1mo, unit:1mo)) 
                |> filter(fn: (r) => r._measurement == "PV-SEWeb-Ertrag-Tag")
                |> filter(fn: (r) => r._field == "value")
                |> aggregateWindow(every: 1d,fn:max,timeSrc: "_start",createEmpty:false)
                |> pivot(rowKey:["_time"], columnKey: ["_measurement"], valueColumn: "_value")
                |> rename(columns: {"PV-SEWeb-Ertrag-Tag": "SE-Web-Portal"})
                |> keep(columns: ["_time", "SE-Web-Portal"])

Influx:
0 2024-01-03T23:00:00.000Z 15.62
0 2024-01-04T23:00:00.000Z 9.52
0 2024-01-05T23:00:00.000Z 3.13
0 2024-01-06T23:00:00.000Z 0

Aus der APP (SE-App):
7.1.24 = 0
6.1.24 = 2,88
5.1.24 = 9,51
4.1.24 = 16

Ich bekomme die Tageswerte aber diese sind alle 1 Tag versetzt ?

lg
Bit.

[Marc Berg]

@bitwicht sagte in Ertrag (Tag, Monat, Jahr) berechnen und in Datei speichern:

Ich bekomme die Tageswerte aber diese sind alle 1 Tag versetzt ?

Ne, das passt. Aus "03.01.2024 23:00 UTC" wird ja "04.01.24 00:00" (Lokalzeit) und so würde es das JS-Skript auch in die Datei schreiben.

[bitwicht]

@Marc-Berg

Schön. Dann ist mir noch etwas aufgefallen das ich noch nicht verstehe:

Influx Werte:
0 2024-01-03T23:00:00.000Z 15.62
0 2024-01-04T23:00:00.000Z 9.52
0 2024-01-05T23:00:00.000Z 3.13

IO-Bocker-Verlauf
(letzter geschriebener Wert des Tages)
6.1.2024 = 3,05
5.1.2024 = 9,37
4.1.2024 = 15,62

Die Werte in der Influx müssten doch exakt gleich sein wie die Werte im iobroker Verlauf ??

[Marc Berg]

@bitwicht sagte in Ertrag (Tag, Monat, Jahr) berechnen und in Datei speichern:

Die Werte in der Influx müssten doch exakt gleich sein wie die Werte im iobroker Verlauf ??

Zeig mal die benutzerdefinierten Einstellungen.

[Marc Berg]

@bitwicht

Nein warte mal! Meine Query war dafür ausgelegt, der die Daten aus dem Sourceanalytics Adapter kommen und damit der letzte/höchste Wert der Ertrag des ganzen Tages ist. Was ich jetzt da sehe, ist was anderes.

[bitwicht]

@Marc-Berg

Das passt aber.
Der Wert geht immer höher und beginnt am nächsten Tag wieder bei Null.

hier:

[Marc Berg]

@bitwicht sagte in Ertrag (Tag, Monat, Jahr) berechnen und in Datei speichern:

Der Wert geht immer höher und beginnt am nächsten Tag wieder bei Null.

und hier sinkt er im Laufe der Zeit! Könnte es sein, dass da Negativwerte reinkommen?

[bitwicht]

@Marc Berg

interessant. Das ist mir noch gar nicht aufgefallen.
Sollen wir dennoch weiter machen ob ich es schaffe die Datei zu erstellen?

[Marc Berg]

@bitwicht sagte in Ertrag (Tag, Monat, Jahr) berechnen und in Datei speichern:

Sollen wir dennoch weiter machen ob ich es schaffe die Datei zu erstellen?

na was soll denn nun in der Datei stehen? Der letzte oder höchste Wert des Tages?

[bitwicht]

@Marc-Berg

ich würde das erst noch mal beobachten bevor du jetzt Arbeit hast du alles umbaust.
Es kann ja faktisch nicht sein, dass die Anlage negativ produziert.

Ich versuche mal dein JS Script zu laufen zu bringen.
Verstehe ich das richtig:
Oben verbinde ich mich mit der Influx und mache die Abfrage.
Unten wird dann die Datei erzeugt ?

Warum muss ich denn Oben und in der Mitte die URL und den Token eingeben?