Shelly mit Parser auslesen

[Dr. Bakterius]

@tuskam Warum muss es unbedingt der Parser sein und nicht der shelly-Adapter mit MQTT? Kommen da nicht alle Werte rein?

[Homoran]

@tuskam sagte in Shelly mit Parser auslesen:

Der Parser liest meines Erachtens genau das nicht aus, was ich mit dem Browser auslesen kann.

dann nutzt mir der Text nichts

@tuskam sagte in Shelly mit Parser auslesen:

Den Text, den Du jetzt im Parser siehst, habe ich hineinkopiert, damit ich überhaupt testen und verstehen kann.

ok!
Musst du dich beim Abfragen über den Browser mit User/passwort anmelden?

• was steht denn im Log?

verstehe ich das

@crunchip sagte in Shelly mit Parser auslesen:

Meine Shellys 1PM sind in einem anderen Netz.

als ob der parser nicht ins andere Netz kommt?
Aber der kommt doch sogar in die WeiteWelt

[Tuskam]

@dr-bakterius Hi, weil das Netz ein entferntes und isoliertes Netz ist. Das kannste im IOBroker nicht definieren. Der kann nur lokale Netze.

[Tuskam]

@homoran sagte in Shelly mit Parser auslesen:

@tuskam sagte in Shelly mit Parser auslesen:

Den Text, den Du jetzt im Parser siehst, habe ich hineinkopiert, damit ich überhaupt testen und verstehen kann.

ok!
Musst du dich beim Abfragen über den Browser mit User/passwort anmelden?

• was steht denn im Log?

Nein, keine Passwortabfrage, wenn Du das meinst. Die habe ich deaktiviert. Das war ja gleich der erste Stolperstein
Im Log steht nichts, wenn ich die Instanz neu starte, bekomme ich
"instance system.adapter.parser.0 started with pid 10168"
im Log zusehen, danach schweigt der Parser. Das ist ja der Grund, warum ich vermute, dass der gar nicht läuft.

@crunchip sagte in Shelly mit Parser auslesen:

Meine Shellys 1PM sind in einem anderen Netz.

als ob der parser nicht ins andere Netz kommt?
Aber der kommt doch sogar in die WeiteWelt

Das ist nicht für mich, oder? Ich habe das auch so verstanden, dass der Parser doch nun wirklich alle Netze dieser Welt können müsste, wenn er sie erreichen kann.
Achso: Ping in der SSH geht natürlich zum Shelly. Also nix Firewall-Regel oder so.

CU Markus

[Dr. Bakterius]

@tuskam Für den MQTT-Betrieb wird im Adapter nur Benutzername und Passwort sowie Port und Listen-IP definiert. Das sollte schon klappen. Im Shelly gibt man die MQTT-Server-IP und den Port an sowie natürlich den konfigurierten Benutzername und Passwort. Wenn das von außerhalb kommt, braucht man noch eine Portweiterleitung im Router.

[Tuskam]

@dr-bakterius sagte in Shelly mit Parser auslesen:

@tuskam Für den MQTT-Betrieb wird im Adapter nur Benutzername und Passwort sowie Port und Listen-IP definiert. Das sollte schon klappen. Im Shelly gibt man die MQTT-Server-IP und den Port an sowie natürlich den konfigurierten Benutzername und Passwort. Wenn das von außerhalb kommt, braucht man noch eine Portweiterleitung im Router.

Shelly und MQTT — Die originale Firmware enthält auch einen MQTT-Stack, ... Dieser Betrieb ist aber nicht zeitgleich mit der Shelly-Cloud möglich ..

MQTT ist keine Option.

CU Markus

[Dr. Bakterius]

@tuskam sagte in Shelly mit Parser auslesen:

Dieser Betrieb ist aber nicht zeitgleich mit der Shelly-Cloud möglich ..

Hättest auch gleich schreiben können. Wer nutzt schon die Cloud?

[Tuskam]

@dr-bakterius Naja, ich habe geschrieben, dass ich mit dem Parser oder mit einen Script arbeiten muss. Das sollte eigentlich reichen.

Die Cloud hat einen ganz großen Vorteil: Sie führt eine Statistik. Und darum nutze ich die Cloud.
Und es gibt "Bediener", die dürfen alles, aber nicht auf meinen IOBroker. Und auch darum nutzen die die Cloud.

CU Markus

[mickym]

@tuskam Also ich hab Dir den NodeRed Flow gepostet mit dem Du nun den String ganz easy - den Du im Browser bekommst aufdröseln kannst. Dazu sind keine Programmierkenntnisse nötig, sondern lediglich die Nodes aus der Abbildung mit der Maus rauszuziehen und mit Linien miteinander verbinden.

Im Prinzip muss das auch mit dem Blockly gehen - aber da musst Dir halt @Homoran helfen, da ich das nicht so gut beherrsche.

Im Prinzip machst Du den http Requst und nutzt das Ergebnis und machst daraus mit der Konvertierung des JSON Strings ein Objekt und kannst dann ebenfalls easy auf alle Werte zugreifen und kannst ggf. eigene Datenpunkte schreiben.

Ich kann Dir auch einen Node-Red Flow basteln, der Dir den gesamten Shellie in einzelne Datenpunkte schreibt und den Du nur noch importieren brauchst.

[Homoran]

@mickym sagte in Shelly mit Parser auslesen:

Im Prinzip machst Du den http Requst und nutzt das Ergebnis und machst daraus mit der Konvertierung des JSON Strings ein Objekt und kannst dann ebenfalls easy auf alle Werte zugreifen und kannst ggf. eigene Datenpunkte schreiben.

naja so fit bin ich da auch nicht, aber so müsste der Anfang gehen (eine selbst angelegt Variable mit Bezeichnung result würde das Ergebnis beinhalten und dann mit dem Block "Attribut von" die entsprechenden JSON Bestandteile abrufen.
Da muss ich mich dann aber auch noch mal einarbeiten

[mickym]

@tuskam Hier mal der NodeRed Flow - der schreibt Dir alle Datenpunkte Deines Shellies alle 30s unter 0_userdata.0.shelly1PM

ich hab sogar schon Deine IP Adresse eingetragen:

Spoiler

[
   {
       "id": "c3403a60.92fbb8",
       "type": "subflow",
       "name": "JSON or Obj to IOBroker",
       "info": "# Creates an IOBroker tree\n\nThis node creates an IOBroker tree out of an Java-Object or JSON String.\n\nThe object tree will be created under 0_userdata.0\nIn addition to the JSON-String or Java Object as `msg.payload` it is necessary to specify a `msg.top` properity in addition to the msg-Object.\n\nThe object tree will be created under 0_userdata.0\n\nExisting `msg.topic` entries will be deleted.\nAn iobroker-out node has to be appended to this subflow node. It is not part of the subflow itself. No topic should be specified in the iobroker out node.\n\nIs no `msg.top` property is defined, then you will get an error in the following iobroker-out node (key or topic does not exist) - if you append a debug node to the subflow node you will get the message: \n> Please define msg.top as root for the object structure \n\n# Erstellt einen Objektbaum im ioBroker\n\nDiese Node erstellt einen Objektbaum im ioBroker aus einem JAVA Objekt bzw. einem JSON String. \n\nDer Baum wird in jedem Fall unter 0_userdata.0 erstellt und zwar unter dem Topic der in` msg.top` mitgegeben wurde. In der `msg.payload` befindet sich dann der JSON String oder das entsprechende Objekt.\n\nExistierende `msg.topic `Einträge werden gelöscht.\nEin entsprechende iobroker-out Node muss an den Flow angehängt werden. Sie ist nicht Bestandteil des Subflows. In dieser iobroker-out Node darf kein Topic angegeben werden. \n\nFalls in keine Angabe in msg.top definiert wurde, wird man in der darauffolgenden iobroker-out node den Fehler erhalten, dass kein key oder topic definiert ist. Falls eine debug Node an den Subflow angehängt wirde erhält man folgende Ausgabe:\n> Please define msg.top as root for the object structure ",
       "category": "parser",
       "in": [
           {
               "x": 60,
               "y": 160,
               "wires": [
                   {
                       "id": "94876630.f71748"
                   }
               ]
           }
       ],
       "out": [
           {
               "x": 2280,
               "y": 260,
               "wires": [
                   {
                       "id": "74b0b536.02371c",
                       "port": 0
                   },
                   {
                       "id": "ab9b1e85.eea2a",
                       "port": 0
                   }
               ]
           }
       ],
       "env": [],
       "meta": {},
       "color": "#E2D96E",
       "icon": "node-red/batch.svg"
   },
   {
       "id": "eea737e7.7e8fb8",
       "type": "split",
       "z": "c3403a60.92fbb8",
       "name": "split object",
       "splt": "\\n",
       "spltType": "str",
       "arraySplt": 1,
       "arraySpltType": "len",
       "stream": false,
       "addname": "key",
       "x": 1170,
       "y": 160,
       "wires": [
           [
               "dc473616.c2b508"
           ]
       ]
   },
   {
       "id": "dc473616.c2b508",
       "type": "change",
       "z": "c3403a60.92fbb8",
       "name": "add key to topic",
       "rules": [
           {
               "t": "set",
               "p": "stateName",
               "pt": "msg",
               "to": "key",
               "tot": "msg"
           },
           {
               "t": "set",
               "p": "topic",
               "pt": "msg",
               "to": "topic  & '.' & key",
               "tot": "jsonata"
           },
           {
               "t": "change",
               "p": "topic",
               "pt": "msg",
               "from": " ",
               "fromt": "str",
               "to": "_",
               "tot": "str"
           }
       ],
       "action": "",
       "property": "",
       "from": "",
       "to": "",
       "reg": false,
       "x": 1360,
       "y": 160,
       "wires": [
           [
               "78697695.9a72c8"
           ]
       ]
   },
   {
       "id": "78697695.9a72c8",
       "type": "switch",
       "z": "c3403a60.92fbb8",
       "name": "is type?",
       "property": "payload",
       "propertyType": "msg",
       "rules": [
           {
               "t": "istype",
               "v": "array",
               "vt": "array"
           },
           {
               "t": "istype",
               "v": "object",
               "vt": "object"
           },
           {
               "t": "else"
           }
       ],
       "checkall": "true",
       "repair": false,
       "outputs": 3,
       "x": 1540,
       "y": 160,
       "wires": [
           [
               "d839cef8.577f1"
           ],
           [
               "eea737e7.7e8fb8"
           ],
           [
               "bdfdae99.f4d9d"
           ]
       ]
   },
   {
       "id": "d839cef8.577f1",
       "type": "split",
       "z": "c3403a60.92fbb8",
       "name": "split array",
       "splt": "\\n",
       "spltType": "str",
       "arraySplt": 1,
       "arraySpltType": "len",
       "stream": false,
       "addname": "",
       "x": 580,
       "y": 280,
       "wires": [
           [
               "36327f2d.8efc3"
           ]
       ]
   },
   {
       "id": "36327f2d.8efc3",
       "type": "change",
       "z": "c3403a60.92fbb8",
       "name": "add index to topic",
       "rules": [
           {
               "t": "set",
               "p": "topic",
               "pt": "msg",
               "to": "topic  & '.' & parts.index",
               "tot": "jsonata"
           }
       ],
       "action": "",
       "property": "",
       "from": "",
       "to": "",
       "reg": false,
       "x": 770,
       "y": 280,
       "wires": [
           [
               "d8f58d9b.b6a1"
           ]
       ]
   },
   {
       "id": "74b0b536.02371c",
       "type": "change",
       "z": "c3403a60.92fbb8",
       "name": "finalize msg.topic",
       "rules": [
           {
               "t": "set",
               "p": "top",
               "pt": "msg",
               "to": "'0_userdata.0.' & top",
               "tot": "jsonata"
           },
           {
               "t": "set",
               "p": "topic",
               "pt": "msg",
               "to": "top & topic",
               "tot": "jsonata"
           }
       ],
       "action": "",
       "property": "",
       "from": "",
       "to": "",
       "reg": false,
       "x": 1970,
       "y": 240,
       "wires": [
           []
       ]
   },
   {
       "id": "4cdee7cb.910c38",
       "type": "switch",
       "z": "c3403a60.92fbb8",
       "name": "is type?",
       "property": "payload",
       "propertyType": "msg",
       "rules": [
           {
               "t": "istype",
               "v": "json",
               "vt": "json"
           },
           {
               "t": "istype",
               "v": "object",
               "vt": "object"
           },
           {
               "t": "istype",
               "v": "array",
               "vt": "array"
           },
           {
               "t": "else"
           }
       ],
       "checkall": "true",
       "repair": false,
       "outputs": 4,
       "x": 400,
       "y": 160,
       "wires": [
           [
               "c1c41535.17d3b8"
           ],
           [
               "eea737e7.7e8fb8"
           ],
           [
               "d839cef8.577f1"
           ],
           [
               "d8f58d9b.b6a1"
           ]
       ]
   },
   {
       "id": "c1c41535.17d3b8",
       "type": "json",
       "z": "c3403a60.92fbb8",
       "name": "",
       "property": "payload",
       "action": "",
       "pretty": false,
       "x": 570,
       "y": 120,
       "wires": [
           [
               "3ccd67db.375058"
           ]
       ]
   },
   {
       "id": "bdfdae99.f4d9d",
       "type": "switch",
       "z": "c3403a60.92fbb8",
       "name": "is msg.top != null",
       "property": "top",
       "propertyType": "msg",
       "rules": [
           {
               "t": "nnull"
           },
           {
               "t": "null"
           }
       ],
       "checkall": "true",
       "repair": false,
       "outputs": 2,
       "x": 1750,
       "y": 280,
       "wires": [
           [
               "74b0b536.02371c"
           ],
           [
               "7ba7dc21.fdb214"
           ]
       ]
   },
   {
       "id": "7ba7dc21.fdb214",
       "type": "change",
       "z": "c3403a60.92fbb8",
       "name": "payload = warning",
       "rules": [
           {
               "t": "set",
               "p": "payload",
               "pt": "msg",
               "to": "Please define msg.top as root for the object structure",
               "tot": "str"
           },
           {
               "t": "delete",
               "p": "topic",
               "pt": "msg"
           }
       ],
       "action": "",
       "property": "",
       "from": "",
       "to": "",
       "reg": false,
       "x": 1970,
       "y": 300,
       "wires": [
           [
               "ab9b1e85.eea2a"
           ]
       ]
   },
   {
       "id": "ab9b1e85.eea2a",
       "type": "rbe",
       "z": "c3403a60.92fbb8",
       "name": "",
       "func": "rbe",
       "gap": "",
       "start": "",
       "inout": "out",
       "septopics": true,
       "property": "payload",
       "x": 2130,
       "y": 300,
       "wires": [
           []
       ]
   },
   {
       "id": "94876630.f71748",
       "type": "change",
       "z": "c3403a60.92fbb8",
       "name": "",
       "rules": [
           {
               "t": "delete",
               "p": "topic",
               "pt": "msg"
           }
       ],
       "action": "",
       "property": "",
       "from": "",
       "to": "",
       "reg": false,
       "x": 210,
       "y": 160,
       "wires": [
           [
               "4cdee7cb.910c38"
           ]
       ]
   },
   {
       "id": "3ccd67db.375058",
       "type": "switch",
       "z": "c3403a60.92fbb8",
       "name": "is array?",
       "property": "payload",
       "propertyType": "msg",
       "rules": [
           {
               "t": "istype",
               "v": "array",
               "vt": "array"
           },
           {
               "t": "else"
           }
       ],
       "checkall": "true",
       "repair": false,
       "outputs": 2,
       "x": 700,
       "y": 120,
       "wires": [
           [
               "d839cef8.577f1"
           ],
           [
               "eea737e7.7e8fb8"
           ]
       ]
   },
   {
       "id": "80dde279.c28ec",
       "type": "comment",
       "z": "c3403a60.92fbb8",
       "name": "Array",
       "info": "",
       "x": 400,
       "y": 280,
       "wires": []
   },
   {
       "id": "95ee816e.68a16",
       "type": "comment",
       "z": "c3403a60.92fbb8",
       "name": "object",
       "info": "",
       "x": 1140,
       "y": 100,
       "wires": []
   },
   {
       "id": "d8f58d9b.b6a1",
       "type": "switch",
       "z": "c3403a60.92fbb8",
       "name": "is type?",
       "property": "payload",
       "propertyType": "msg",
       "rules": [
           {
               "t": "istype",
               "v": "object",
               "vt": "object"
           },
           {
               "t": "istype",
               "v": "array",
               "vt": "array"
           },
           {
               "t": "else"
           }
       ],
       "checkall": "true",
       "repair": false,
       "outputs": 3,
       "x": 960,
       "y": 280,
       "wires": [
           [
               "eea737e7.7e8fb8"
           ],
           [
               "d839cef8.577f1"
           ],
           [
               "bdfdae99.f4d9d"
           ]
       ]
   },
   {
       "id": "b3ea7be0.d552c8",
       "type": "inject",
       "z": "16458707.0a3859",
       "name": "",
       "props": [
           {
               "p": "url",
               "v": "http://192.168.1.11/status",
               "vt": "str"
           }
       ],
       "repeat": "30",
       "crontab": "",
       "once": false,
       "onceDelay": 0.1,
       "topic": "",
       "x": 130,
       "y": 1780,
       "wires": [
           [
               "c5b81df.a283ce"
           ]
       ]
   },
   {
       "id": "c5b81df.a283ce",
       "type": "http request",
       "z": "16458707.0a3859",
       "name": "",
       "method": "GET",
       "ret": "txt",
       "paytoqs": "ignore",
       "url": "",
       "tls": "",
       "persist": false,
       "proxy": "",
       "authType": "basic",
       "x": 280,
       "y": 1780,
       "wires": [
           [
               "8945c937.1d2f98"
           ]
       ]
   },
   {
       "id": "8945c937.1d2f98",
       "type": "json",
       "z": "16458707.0a3859",
       "name": "",
       "property": "payload",
       "action": "",
       "pretty": false,
       "x": 440,
       "y": 1780,
       "wires": [
           [
               "b6e76ffc.4d809"
           ]
       ]
   },
   {
       "id": "b6e76ffc.4d809",
       "type": "change",
       "z": "16458707.0a3859",
       "name": "",
       "rules": [
           {
               "t": "set",
               "p": "top",
               "pt": "msg",
               "to": "shelly1PM",
               "tot": "str"
           }
       ],
       "action": "",
       "property": "",
       "from": "",
       "to": "",
       "reg": false,
       "x": 600,
       "y": 1780,
       "wires": [
           [
               "aeeb7f7e.a987d"
           ]
       ]
   },
   {
       "id": "93a11d3b.bae21",
       "type": "ioBroker out",
       "z": "16458707.0a3859",
       "name": "",
       "topic": "",
       "ack": "true",
       "autoCreate": "true",
       "stateName": "",
       "role": "",
       "payloadType": "",
       "readonly": "",
       "stateUnit": "",
       "stateMin": "",
       "stateMax": "",
       "x": 1060,
       "y": 1780,
       "wires": []
   },
   {
       "id": "aeeb7f7e.a987d",
       "type": "subflow:c3403a60.92fbb8",
       "z": "16458707.0a3859",
       "name": "",
       "x": 830,
       "y": 1780,
       "wires": [
           [
               "93a11d3b.bae21"
           ]
       ]
   }
]

Du musst nur noch dem NodeRed Adapter erlauben eigene Objekte anzulegen (ich habs grün markiert)

und Du bekommst mit dem Flow die fertige Struktur unter 0_userdata.0

Anschließend sollte man nur noch das Script von @fastfoot drüber laufen lassen, um aus den nicht vorhandenen Objekten Folder zu machen.

Das ist aber auch einfach - einfach das Skript importieren:

Spoiler

/**
* Zweck:       Korrigiert übergeordnete Ordnerstrukturen eines Datenpunkts
* Datum:      07.08.2021
* Autor:       @fastfoot
*/

//              In den Settings der Javascript-Instanz muss setObject erlaubt sein!!!

let arr = [],
  id = '';

const ids = $('0_userdata.0.*');
ids.each(idTmp => {
  arr=idTmp.split('.');
  arr.splice(arr.length-1);
  id=arr.join('.');
  if(arr[0] === '0_userdata' || arr[0] === 'alias' || arr[0] === 'mqtt' || arr[0] === 'javascript'){
      correctObject(id, arr);
  }
})

function correctObject(id,arr){
  if(arr.length === 2) return;
  if(!existsObject(id)){
      let obj = {};
      obj = {
          type: 'folder',
          common:{
              name: arr[arr.length - 1]
          }
      }
      extendObject(id, obj, e => {
          if (e) log('Fehler beim Schreiben des Objektes: '+ id + ' ' + e);
      })
  }
  arr.splice(arr.length - 1);
  id = arr.join('.');
  correctObject(id, arr);
}

einmal laufen lassen und dann sind die fehlende Objekte erstellt:

[mickym]

@homoran Also ich hab das mit dem Objekt bereits mit Blockly rausgefunden.

Nun muss man nur noch auf die Eigenschaften des Objektes Werte zugreifen.

[Homoran]

@mickym sagte in Shelly mit Parser auslesen:

@homoran Also ich hab das mit dem Objekt bereits mit Blockly rausgefunden.

Nun muss man nur noch auf die Eigenschaften des Objektes Werte zugreifen.

jepp

und dann mal sehen was bei @Tuskam da rasukommt

[mickym]

@homoran Ha ich habs wie man auf einzelne Elemente des Objektes zugreift - hier Temperatur als Beispiel

Werde trotzdem kein Blockly-Fan.

[Homoran]

@mickym sagte in Shelly mit Parser auslesen:

Ha ich habs wie man auf einzelne Elemente des Objektes zugreif

sach ich doch

@homoran sagte in Shelly mit Parser auslesen:

mit dem Block "Attribut von"

[mickym]

Nur der Vollständigkeit halber hier dann das Auslesen des aktuellen Verbrauchs:

meters[0].power funktioniert nicht - warum wissen wahrscheinlich nur die Blockly-Gurus.

[mickym]

@tuskam Und falls Du Deinen Shelly über die HTTP Schnittstelle nicht nur auslesen, sondern auch schalten willst, gibst einfach in Deinem Browser oder in Deinem HTTP Request Deiner Logikmaschine

zum Einschalten:

http://192.168.1.11/relay/0?turn=on

zum Ausschalten:

http://192.168.1.11/relay/0?turn=off

zum Umschalten:

http://192.168.1.11/relay/0?turn=toggle

ein.

[Homoran]

@mickym sagte in Shelly mit Parser auslesen:

meters[0].power funktioniert nicht

ist so wie in iobroker.
Hierarchien werden durch Punkt getrennt

[mickym]

@tuskam Lange Rede - kurzer Sinn. Ich würde aber trotzdem mal schauen ob Du es mit unicast und ColoT hinbekommst, indem Du

IP Adresse Deines IO-Brokers und Port des Shelly Adapters angibst. Das sollte nämlich genauso über Netzwerkgrenzen gehen, wie umgekehrt das HTTP Protokoll.

Mit dem HTTP Protokoll hast Du halt einfach den Riesennachteil, dass Du pollen musst (sprich Du musst zyklisch aktiv den Status abfragen), anstelle sich der Shelly bei Änderungen von selbst meldet. Da kann ich @crunchip nur zustimmen.

Sowie ich das verstehe läuft das CoAP Protokoll auf Port: 5683

[Tuskam]

@homoran @mickym
Das funzt schon mal ganz gut. Ich bekomme die Were im Log angezeigt.
jetzt muss ich mich weiter durchforsten...

Bin gerade überwältigt von den vielen helfenden Posts...

Danke schon mal dafür... ich lese weiter und teste weiter.

Markus