Neuer Adapter EMS-ESP für Bosch Heizungen

[tp1de]

@mango1402 sagte in Neuer Adapter EMS-ESP für Bosch Heizungen:

hab es nun mit viel herumprobieren geschafft, überhaupt die Version 0.9.8 wieder zum Laufen zu bringen:

Instanz löschen
Adapter löschen
iob stop
iob fix
System reboot
Adapter von GitHub holen (https://github.com/tp1de/ioBroker.ems-esp/tree/v0.9.8)
Instanz hinzufügen

Es ist nicht notwendig iob zu stoppen, zu fixen bzw. zu rebooten oder den Adapter bzw. die Instanz zu löschen.
Das (Neu)Laden von Github ersetzt im Adapter den Code unter /opt/iobroker/node_modules/iobroker.ems-esp und dann im upload auch in den Instanzen.

[tp1de]

@mango1402 Bei mir läuft der Adapter sowohl unter der latest Stable Version 3.3.0 als auch in der letzten Development Version 3.3.1b1. Ich werde aber ein paar mehr Fehlerprüfungen einbauen ....

Poste bitte mal den Output unter: http://192.168.178.81/api/system

[mango1402]

@tp1de Ja, hätte ich auch angenommen dass ein 'drüberinstallieren' reichen müsste. Aber glaub mir, ich hab alles versucht, auch ein 'downgrade' von 0.9.9 auf 0.9.8 hat so nicht funktioniert. Und auch nur iob stop und iob start bzw. iob fix hat nicht gereicht, erst durch den reboot und danach installieren vom Adapter ist alles wieder gelaufen. Aber auch mit 0.9.9 funktioniert diese Prozedur nicht.

hier der Output vom api/system:

{
  "System": {
    "version": "3.3.0b4",
    "uptime": "002+23:05:44.112",
    "uptime (seconds)": 255944,
    "freemem": 157,
    "reset reason": "Software reset CPU / Software reset CPU",
    "Dallas sensors": 0
  },
  "Status": {
    "bus": "connected",
    "bus protocol": "Buderus",
    "telegrams received": 221343,
    "read requests sent": 51213,
    "write requests sent": 0,
    "incomplete telegrams": 28,
    "tx fails": 0,
    "rx line quality": 100,
    "tx line quality": 100,
    "Dallas reads": 0,
    "Dallas fails": 0
  },
  "Devices": [
    {
      "type": "Boiler",
      "name": "BK13/BK15/Smartline/GB1x2 (DeviceID:0x08, ProductID:64, Version:02.05)",
      "handlers": "0x10 0x11 0xC2 0x14 0x15 0x1C 0x18 0x19 0x1A 0x35 0x16 0x33 0x34 0x26 0x2A 0xD1 0xE3 0xE4 0xE5 0xE6 0xE9 0xEA"
    },
    {
      "type": "Thermostat",
      "name": "ES73 (DeviceID:0x10, ProductID:76, Version:02.06)",
      "handlers": "0xA3 0x06 0xA2 0x12 0x3E 0x3D 0x3F 0x48 0x47 0x49 0x52 0x51 0x53 0x5C 0x5B 0x5D 0xA5 0x37"
    },
    {
      "type": "Controller",
      "name": "BC10/RFM20 (DeviceID:0x09, ProductID:68, Version:02.00)"
    }
  ]
}

@tp1de
aber bei vielen anderen Benutzern andere Versionen.
Die bekomme ich in einer Version des Adapters nicht mehr zusammen.

Mach es so wie alle anderen Adapter-Entwikler: gib einfach eine stable-Version vor, und alle anderen werden nicht unterstützt.

Wenn ich was für Dich testen kann, dann einfach her damit
Und nochmals Danke für die tolle Arbeit und dass Du uns Deinen Adapter zur Verfügung stellst!

[tp1de]

@mango1402 sagte in Neuer Adapter EMS-ESP für Bosch Heizungen:

Wenn ich was für Dich testen kann, dann einfach her damit

Ich bin dabei mich schlau zu machen, wie ich den Adapter ins offizielle ioBroker Repro bekomme.
Im Github und NPM ist er jetzt bereits mit der Version 0.9.9.
Latest Stable Firmware für EMS-ESP ist ja 3.3.0 und latest Development 3.3.1b1.

Ich verstehe nicht warum die aktuelle Github Version von 0.9.9 bei Dir nicht funktioniert.
Hattest Du noch mal neu installiert?

Es gibt eigentlich seit 3.3.0 (stable) einen Infoblock "Network" in api/system - der fehlt bei Dir in 3.3.0b4.
Deshalb in der ersten v0.9.9 der Fehler. Jetzt sollte der abgefangen werden.

Mit der 3.3.0b4 hatte ich aber glaube ich einige Probleme. Ich würde Dir raten entweder auf die Stable oder latest Development Version zu gehen.

Schreib dann bitte mal, ob dann 0.9.9 in diesen Kombinationen bei Dir funktioniert. Erst bei positiver Rückmeldung möchte ich den Adapter dann ins offizielle ioBroker Repository übernehmen lassen.

[mango1402]

Habe vor gut einer halben Stunde die letztaktuelle Version (mit Tag 0.9.9+) installiert.
Mit dieser Version tut nun alles einwandfrei!
Muss mit was von Deinen gestrigen Änderungen zu tun haben. Ich vermute auch, mit meinem fehlenden Network-Eintrag.

Jetzt kapier ich auch die Versionierung beim EMS-ESP. '3.3.0b4' ist in dem Fall ja eine Beta-Version VOR dem release von 3.3.0.
Ich wer'd demnächst ein FW-Update machen.

Danke!
lg Manfred

[tp1de]

@mango1402 Danke für Dein Feedback Manfred. Dann werde ich mich mal mit dem ioBroker repository auseinandersetzen. Kann sein, dass ich dann ggfs. die Versionsnummer erhöhen muss. Mal sehen ob ich alles richtig verstanden habe ...

Grüße Thomas

[mpenno]

@tp1de Du fragtest mich, welche Datenbankversion ich benutze. Ich verwende die InfluxDB2.0.

Ich habe mal Deinen Adapter und den Influx-Adapter auf "Debug" gestellt, um vielleicht etwas mehr zu den immer wiederkehrenden Error-Meldungen herauszubekommen.

Ich meine diese hier (Log-Modus: Info)

2022-01-05 17:27:47.585 - info: influxdb.0 (4003) Connected!
2022-01-05 17:28:13.673 - info: ems-esp.0 (3975) End reading km200 data-structure: 117 fields found
2022-01-05 17:28:13.675 - info: ems-esp.0 (3975) write km200 file:/opt/iobroker/iobroker-data//ems-esp/km200.csv
2022-01-05 17:28:13.700 - info: ems-esp.0 (3975) start initializing km200 states
2022-01-05 17:28:38.725 - info: ems-esp.0 (3975) end of initializing km200 states
2022-01-05 17:28:43.824 - info: ems-esp.0 (3975) km200:true 300 secs
2022-01-05 17:28:43.825 - info: ems-esp.0 (3975) recordings:true hour
2022-01-05 17:28:44.385 - warn: influxdb.0 (4003) Error in received multiQuery: Exception: Array element #2: Query messing
2022-01-05 17:28:51.072 - warn: influxdb.0 (4003) Error in received multiQuery: Exception: Array element #2: Query messing
2022-01-05 17:28:58.167 - warn: influxdb.0 (4003) Error in received multiQuery: Exception: Array element #2: Query messing
2022-01-05 17:29:06.478 - warn: influxdb.0 (4003) Error in received multiQuery: Exception: Array element #2: Query messing
2022-01-05 17:29:14.518 - warn: influxdb.0 (4003) Error in received multiQuery: Exception: Array element #2: Query messing
2022-01-05 17:29:19.238 - warn: influxdb.0 (4003) Error in received multiQuery: Exception: Array element #2: Query messing
2022-01-05 17:32:11.293 - info: smartmeter.0 (550) Received 7 values, 3 updated
2022-01-05 17:37:13.154 - info: smartmeter.0 (550) Received 7 values, 3 updated

Wenn beide Adapter auf Debug stehen, hagelt es natürlich nur so von Meldungen, wenn ich aber den wesentlichen Teil herauskopiere, scheint er die "Query" nicht zu mögen:

2022-01-05 17:26:24.470  - debug: ems-esp.0 (3803) sendTo "query" to system.adapter.influxdb.0 from system.adapter.ems-esp.0: drop series from "ems-esp.0.recordings.actualDHWPower._Months";
2022-01-05 17:26:24.472  - debug: influxdb.0 (3263) Incoming message query from system.adapter.ems-esp.0
2022-01-05 17:26:24.473  - warn: influxdb.0 (3263) Error in received multiQuery: Exception: Array element #2: Query messing

Hier mit einem größerem Log-Ausschnitt:

2022-01-05 17:26:24.289  - debug: influxdb.0 (3263) init timed Relog: getState ems-esp.0.heatSources.hs1.flameStatus:  Value=0, ack=true, ts=1641399519190, lc=1641399519190
2022-01-05 17:26:24.290  - debug: influxdb.0 (3263) timed-relog ems-esp.0.heatSources.hs1.flameStatus, value=0, lastLogTime=1641399969289, ts=1641399984290
2022-01-05 17:26:24.290  - debug: influxdb.0 (3263) Datatype ems-esp.0.heatSources.hs1.flameStatus: Currently: number, StorageType: false
2022-01-05 17:26:24.290  - debug: influxdb.0 (3263) Write Point: ems-esp.0.heatSources.hs1.flameStatus values:{"value":0,"time":"2022-01-05T16:26:24.290Z","from":"system.adapter.influxdb.0","q":0,"ack":true} options: null
2022-01-05 17:26:24.328  - debug: influxdb.0 (3263) Point written to iobroker
2022-01-05 17:26:24.470  - debug: ems-esp.0 (3803) sendTo "query" to system.adapter.influxdb.0 from system.adapter.ems-esp.0: drop series from "ems-esp.0.recordings.actualDHWPower._Months";
2022-01-05 17:26:24.472  - debug: influxdb.0 (3263) Incoming message query from system.adapter.ems-esp.0
2022-01-05 17:26:24.473  - warn: influxdb.0 (3263) Error in received multiQuery: Exception: Array element #2: Query messing
2022-01-05 17:26:24.473  - debug: influxdb.0 (3263) sendTo "query" to system.adapter.ems-esp.0 from system.adapter.influxdb.0
2022-01-05 17:26:26.476  - debug: ems-esp.0 (3803) sendTo "storeState" to system.adapter.influxdb.0 from system.adapter.ems-esp.0
2022-01-05 17:26:26.478  - debug: influxdb.0 (3263) Incoming message storeState from system.adapter.ems-esp.0
2022-01-05 17:26:26.478  - debug: influxdb.0 (3263) storeState: store 1 state for ems-esp.0.recordings.actualDHWPower._Months
2022-01-05 17:26:26.479  - debug: influxdb.0 (3263) Write Point: ems-esp.0.recordings.actualDHWPower._Months values:{"value":0,"time":"2022-01-14T23:00:00.000Z","from":"","q":0,"ack":true} options: null
2022-01-05 17:26:26.479  - debug: influxdb.0 (3263) sendTo "storeState" to system.adapter.ems-esp.0 from system.adapter.influxdb.0
2022-01-05 17:26:26.529  - debug: influxdb.0 (3263) Point written to iobroker

Ich könnte auch ein größeres Log zur Verfügung stellen.

Viele Grüße (und ein frohes Neues!)

[tp1de]

@mpenno Influxdb 2.0 habe ich nicht installiert und kann ich deshalb nicht testen.
Unterstützt wird aktuell nur Version 1.8. Die Query Syntax hat sich geändert.

Ich versuche den Adapter ins offizielle ioBroker-Repository zu kommen.
Das ist bisher sehr viel Aufwand gewesen. Danach kann ich ggfs. Influxdb 2.0 testen .... musst also etwas warten oder mySQL bzw. die Version 1.8 verwenden.

[mpenno]

@tp1de Alles klar und viel Erfolg! Funktioniert ja so weit sehr gut.
VG

[tp1de]

@mpenno Ich habe gerade eine neue Version 1.0.1 ins Github hochgeladen.
Auch habe ich bei mir mal Influxdb 2.1 im Docker installiert und wie es aussieht sollte es jetzt funktionieren.

Kannst Du vielleicht mal testen?

Auf welcher Hardware läuft bei Dir Influxdb 2.x?
(Ich suche noch nach einer Anleitung für den Raspi 4 - Raspberry PI OS 64 bit läuft seit einiger Zeit )

[mpenno]

@tp1de

Bei mir läuft alles in eigenen Docker-Containern auf der Synology (ds415+). Den Arbeitsspeicher habe ich mal auf 8G erhöht. Unteranderem laufen dort folgende Container:

• ioBroker
• influx
• grafana

Somit war der Wechsel von InfluxDB1.8 auf 2.1 gar nicht so schwierig. Der Migrations-Assistent war ganz gut und ich musste keine Angst vor den Verlust der "alten" Daten in der DB 1.8 haben, da diese automatisch nach 2.1 in ein neues Docker-Volume "migriert" wurden.

Viele Grüße

[tp1de]

@mpenno sagte in Neuer Adapter EMS-ESP für Bosch Heizungen:

Bei mir läuft alles in eigenen Docker-Containern auf der Synology (ds415+)

Ja meine bisherige ioBroker Installation läuft seit 3 Jahren auf einer DS716+ mit 8GB in 7 Docker-Containern. Influxdb 2.1 habe ich mal parallel im Container installiert zum Testen.

Bisher hatte ich zusätzlich 2 Raspi's im Multihost Modus. Den habe ich aber aufgelöst und habe einen Raspi4 als neues System parallel am laufen. Mit nur 4 GB ist der deutlich performanter als die DS. (OS auf SSD Stick).

Schreib mal, ob bei Dir Influxdb 2.1 mit dem Adapter auch funktioniert.

[mpenno]

@tp1de
Die Installation ist gerade fertig. Vorher habe ich Instanz und Adapter brav gelöscht und dann neu installiert.

Das sind die bisherigen Meldungen:

2022-01-07 17:55:54.601 - info: host.iobroker instance system.adapter.ems-esp.0 started with pid 19029
2022-01-07 17:55:56.333 - info: ems-esp.0 (19029) starting. Version 1.0.1 in /opt/iobroker/node_modules/iobroker.ems-esp, node: v12.22.6, js-controller: 3.3.22
2022-01-07 17:55:56.411 - info: ems-esp.0 (19029) start reading km200 data-structure
2022-01-07 17:56:39.354 - info: ems-esp.0 (19029) End reading km200 data-structure: 117 fields found
2022-01-07 17:56:39.355 - info: ems-esp.0 (19029) write km200 file:/opt/iobroker/iobroker-data//ems-esp/0/km200.csv
2022-01-07 17:56:39.358 - info: ems-esp.0 (19029) start initializing km200 states
2022-01-07 17:57:05.676 - info: ems-esp.0 (19029) end of initializing km200 states
2022-01-07 17:57:05.677 - info: ems-esp.0 (19029) km200:true 300 secs
2022-01-07 17:57:05.797 - info: influxdb.0 (4003) enabled logging of ems-esp.0.recordings.actualPower._Hours, Alias=false
2022-01-07 17:57:05.802 - info: influxdb.0 (4003) enabled logging of ems-esp.0.recordings.actualDHWPower._Hours, Alias=false
2022-01-07 17:57:05.805 - info: influxdb.0 (4003) {"common":{"custom":{"influxdb.0":{"changesOnly":false,"debounce":0,"retention":0,"changesRelogInterval":0,"maxLength":3,"changesMinDelta":0,"aliasId":"","enabled":true}}},"from":"system.adapter.influxdb.0","user":"system.user.admin","ts":1641574625788}
2022-01-07 17:57:05.807 - info: influxdb.0 (4003) enabled logging of ems-esp.0.recordings.actualPower._Days, Alias=false
2022-01-07 17:57:05.810 - info: influxdb.0 (4003) enabled logging of ems-esp.0.recordings.actualDHWPower._Days, Alias=false
2022-01-07 17:57:05.811 - info: influxdb.0 (4003) enabled logging of ems-esp.0.recordings.actualPower._Months, Alias=false
2022-01-07 17:57:05.812 - info: influxdb.0 (4003) {"common":{"custom":{"influxdb.0":{"changesOnly":false,"debounce":0,"retention":0,"changesRelogInterval":0,"maxLength":3,"changesMinDelta":0,"aliasId":"","enabled":true}}},"from":"system.adapter.influxdb.0","user":"system.user.admin","ts":1641574625790}
2022-01-07 17:57:05.814 - info: influxdb.0 (4003) enabled logging of ems-esp.0.recordings.actualDHWPower._Months, Alias=false
2022-01-07 17:57:05.815 - info: influxdb.0 (4003) {"common":{"custom":{"influxdb.0":{"changesOnly":false,"debounce":0,"retention":0,"changesRelogInterval":0,"maxLength":3,"changesMinDelta":0,"aliasId":"","enabled":true}}},"from":"system.adapter.influxdb.0","user":"system.user.admin","ts":1641574625790}
2022-01-07 17:57:05.851 - info: influxdb.0 (4003) {"common":{"custom":{"influxdb.0":{"changesOnly":false,"debounce":0,"retention":0,"maxLength":3,"changesMinDelta":0,"aliasId":"","enabled":true}}},"from":"system.adapter.influxdb.0","user":"system.user.admin","ts":1641574625790}
2022-01-07 17:57:05.852 - info: influxdb.0 (4003) {"common":{"custom":{"influxdb.0":{"changesOnly":false,"debounce":0,"retention":0,"changesRelogInterval":0,"maxLength":3,"changesMinDelta":0,"aliasId":"","enabled":true}}},"from":"system.adapter.influxdb.0","user":"system.user.admin","ts":1641574625790}
2022-01-07 17:57:05.852 - info: influxdb.0 (4003) {"common":{"custom":{"influxdb.0":{"changesOnly":false,"debounce":0,"retention":0,"changesRelogInterval":0,"maxLength":3,"changesMinDelta":0,"aliasId":"","enabled":true}}},"from":"system.adapter.influxdb.0","user":"system.user.admin","ts":1641574625793}
2022-01-07 17:57:10.748 - info: ems-esp.0 (19029) recordings:true hour

Bis jetzt nichts auffälliges

Das mit den neuen Raspi merke ich mir mal. Bestimmt etwas energieeffizienter als die DS.

VG Michael

[tp1de]

@mpenno sagte in Neuer Adapter EMS-ESP für Bosch Heizungen:

Die Installation ist gerade fertig. Vorher habe ich Instanz und Adapter brav gelöscht und dann neu installiert.

Das ist nun wirklich unnötiger Aufwand - einfach von Github neu installieren reicht.

Super, dass auch bei Dir alles erst mal funktioniert. Dann schau ich mal, dass ich den Adapter ins offizielle Repository bekomme.

P.S.: Bei mir sind die Monats-Verbrauchswerte für 11.2021 und 09. - 11.2020 falsch. Letztere sind auf einmal 0. Waren bis November noch vorhanden !
Wie sieht die Monats-Verbrauchsstatistik bei Dir aus? Sinnvolle Werte?

[mpenno]

@tp1de sagte in Neuer Adapter EMS-ESP für Bosch Heizungen:

Das ist nun wirklich unnötiger Aufwand - einfach von Github neu installieren reicht.

Ach, das wusste ich nicht.

Wie sieht die Monats-Verbrauchsstatistik bei Dir aus? Sinnvolle Werte?

Na da sprichst Du bei mir ein Thema an. Aus den Werten versuche ich mir schon lange einen Reim zu machen und bin deshalb vom km200 Adapter zu diesem hier gewechselt.
Ich würde gerne einen Bezug zu den Verbrauchswerten herstellen, die mir am RC300-Bedienpanel angezeigt werden.
Da zeigt mir das Bedienpanel folgende 24h Werte (scheinen vom letzten Kalendertag (sprich 6.1.) zu sein, da sich alle Werte erst beim Tageswechsel ändern) gerade an:

... und die 30d Durchschnittswerte auf Seite 2:

Wenn ich mir die Datenpunktaufzeichnung mit Grafana darstelle:

Steht da

• 49 kWh für gesamt Gas-Verbrauch und
• 7 kWh für Warmwasser

Passen aber nicht zum Panel mit:

• 54,9kWh und
• 16,1kWh

Was bei den Datenpunkten gut passt: Bilde ich eine Tagessumme aus den einzelnen Stunden-Werten, entspricht diese auch dem Datenpunkt des Tageswertes.

Die Monatswerte checke ich gleich mal.

[mpenno]

Die Datenpunktwerte für den Zeitpunkt 07.01. um 00:01 Uhr haben sich gerade erhöht. Keine Ahnung warum [Edit: nun klar: diese Werte werden bis zum nächsten Tag stündlich aktualisiert].
Auf der rechten Seite einmal die Monatswerte. Hier gibt es im Zeitraum vom 14.10.2021 bis heute nur drei Datenpunkte (15.10., 15.11 und 15.12.). Am 15.1. wird es wahrscheinlich den nächsten Punkt geben.

Auf der linken Seite, mit allen Tageswerten, habe ich 0-Werte vom 1.11. bis 5.11.

VG

[tp1de]

@mpenno mein RC310 zeigt keine Verbrauchswerte an. Ich vergleich mit dem Bosch-Junkers-Portal:
https://www.junkers-homecom.de/portal
Die Werte die ich auslese und die dort angezeigt werden sind identisch. So sieht es im Bosch-Portal aus:

Wenn ich über die myBuderus App die Verbräuche ansehe sind die wieder leicht anders:

Größte Abweichung im November 2021 mit fast 1000 kWh !

Die Werte die ich von der km200 / ip-inside erhalte habe ich als separate states aufgenommen.
Die y-Werte werden durch 60 geteilt (Samplerate 1 Minute). c sind glaube ich die Anzahl der Samples.

[tp1de]

@tp1de Die recordings werden übrigens vom Adapter nur alle 60 Minuten gelesen und die Monatswerte auf den 15. eines jeden Monats in die DB eingetragen. Monatswert für den aktuellen Monat sind erst nach 8-9 Tagen verfügbar . Ich stelle diese als Balkendiagramm mit Flot dar:

[tp1de]

@tp1de Ich habe inzwischen nachvollzogen, dass die APPs (es gibt mehrere) anders rechnen:

Es wird berechnet wie viele Samples zu erwarten sind. Z.B. November 30 Tage * 24 Stunden *60 Minuten = 43.200
Die aktuellen Samples (c) waren bei mir : 31.142. Die theoretischen Samples / Ist-Samples ergibt den Faktor: 1,3872
(warum im November - und nur dort - die Abweichung so groß war weiß ich nicht. Normalerweise fehlen nur 2-3% der Samples)

Wenn ich die y-Werte mit diesem jeweiligem Monatsfaktor berechne erhalte ich die APP-Monatswerte !
Bisher hatte ich nur gegen das Portal verglichen !

Ich habe eine neue Version im Github hochgeladen (1.0.2). In dieser sind die Korrekturen des Energieverbrauches wie oben beschrieben implementiert.

[mpenno]

@tp1de
Ich bin noch bei Version 1.0.1:

Mein Vergleich der stündlichen Verbrauchswerte (welche in die Datenbank geschrieben werden) zum Diagramm im Bosch-Junkers Portal stimmen perfekt überein:

Auch die Monatswerte der Version 1.0.1 passen recht gut:

Bei mir weicht nur Oktober ab. (Am 17.12. habe ich erst mit dem Adapter angefangen, da werden sicher ein paar Werte fehlen).

Im Vergleich:

• Oktober: Portal 759kkWh zu Datenbank: 687kWh
• November: Portal 990,9kWh zu Datenbank: 986kWh
• Dezember: Portal 1.864kWh zu Datenbank: 1.860kWh