Node-Red Filter

[ranzen]

Moin,

ich habe ein Problem mit Node-Red, das ich im Moment nicht lösen kann.

Eine Funktion schreibt in die InfluxDB Sensorwerte.

Das sieht so aus:
16.5
16.5
16.400000000000006
-100
15.299999999999997
-100
15.099999999999994
15.400000000000006
16.099999999999994
16.799999999999997
17.400000000000006
18.299999999999997
18.5

Ich möchte jetzt die Werte "- 100" rausgefiltert haben, bevor sie in die DB geschrieben werden. Wie kriege ich das hin ?

Vielen Dank für die Hilfe.

Gruss ranzen

[mickym]

@ranzen sagte in Node-Red Filter:

16.5
16.5
16.400000000000006
-100
15.299999999999997
-100
15.099999999999994
15.400000000000006
16.099999999999994
16.799999999999997
17.400000000000006
18.299999999999997
18.5

Ist das ein Array aus Zahlen?

Falls dem so ist - entweder mit einer Switch Nodes die unerwünschten Werte ausfiltern.

Hier alles zusammen zum Import:

Spoiler

[{"id":"3d235207a6ec473c","type":"debug","z":"289f539dcc33814e","name":"Array","active":true,"tosidebar":true,"console":false,"tostatus":false,"complete":"payload","targetType":"msg","statusVal":"","statusType":"auto","x":770,"y":5600,"wires":[]},{"id":"da4a22c6c93ff7f8","type":"inject","z":"289f539dcc33814e","name":"","props":[{"p":"payload"},{"p":"topic","vt":"str"}],"repeat":"","crontab":"","once":false,"onceDelay":0.1,"topic":"","payload":"","payloadType":"date","x":200,"y":5600,"wires":[["8210f8d23f2e3b99"]]},{"id":"8210f8d23f2e3b99","type":"template","z":"289f539dcc33814e","name":"","field":"payload","fieldType":"msg","format":"handlebars","syntax":"mustache","template":"16.5\n16.5\n16.400000000000006\n-100\n15.299999999999997\n-100\n15.099999999999994\n15.400000000000006\n16.099999999999994\n16.799999999999997\n17.400000000000006\n18.299999999999997\n18.5","output":"str","x":360,"y":5600,"wires":[["3f43c3b365968227"]]},{"id":"3f43c3b365968227","type":"change","z":"289f539dcc33814e","name":"","rules":[{"t":"set","p":"payload","pt":"msg","to":"$split(payload,\"\\n\").$number()","tot":"jsonata"}],"action":"","property":"","from":"","to":"","reg":false,"x":550,"y":5600,"wires":[["3d235207a6ec473c","e259d08c2c4841b7","bfe84a1beb7dcb3f"]]},{"id":"ad881d5147a9b75b","type":"switch","z":"289f539dcc33814e","name":"","property":"payload","propertyType":"msg","rules":[{"t":"gt","v":"0","vt":"num"}],"checkall":"true","repair":true,"outputs":1,"x":890,"y":5680,"wires":[["5d2cc22962edafe1"]]},{"id":"07c3ea21296c6061","type":"debug","z":"289f539dcc33814e","name":"gefiltertes Array","active":true,"tosidebar":true,"console":false,"tostatus":false,"complete":"payload","targetType":"msg","statusVal":"","statusType":"auto","x":1200,"y":5680,"wires":[]},{"id":"e259d08c2c4841b7","type":"split","z":"289f539dcc33814e","name":"","splt":"\\n","spltType":"str","arraySplt":1,"arraySpltType":"len","stream":false,"addname":"","x":750,"y":5680,"wires":[["ad881d5147a9b75b"]]},{"id":"5d2cc22962edafe1","type":"join","z":"289f539dcc33814e","name":"","mode":"auto","build":"object","property":"payload","propertyType":"msg","key":"topic","joiner":"\\n","joinerType":"str","accumulate":true,"timeout":"","count":"","reduceRight":false,"reduceExp":"","reduceInit":"","reduceInitType":"","reduceFixup":"","x":1030,"y":5680,"wires":[["07c3ea21296c6061"]]},{"id":"bfe84a1beb7dcb3f","type":"change","z":"289f539dcc33814e","name":"","rules":[{"t":"set","p":"payload","pt":"msg","to":"$filter(payload, function($v){$v > 0})\t","tot":"jsonata"}],"action":"","property":"","from":"","to":"","reg":false,"x":770,"y":5760,"wires":[["79cbf6a910fbec2f"]]},{"id":"79cbf6a910fbec2f","type":"debug","z":"289f539dcc33814e","name":"gefiltertes Array mit JSONATA","active":true,"tosidebar":true,"console":false,"tostatus":false,"complete":"payload","targetType":"msg","statusVal":"","statusType":"auto","x":1030,"y":5760,"wires":[]}]

1. Mit switch Node die unerwünschten Werte aus dem Array filtern:
   

2. oder mit JSONATA

$filter(payload, function($v){$v > 0})

[ranzen]

@mickym

Danke für Deine Hilfe.

Ich habe mein Node-RED Programmierung angepasst.

Nach meiner Funktion, in der ich den Payload extrahiere, habe ich folgendes Ergebnis:

msg.payload : array[1]
array[1]
0: object
battery: 3.378
resistance: 7.386
sensorType: 1
temperature: 20.5
trigger: 0

Von meinem Problem ist nur der temperature-Wert betroffen.

Jetzt leite ich den Datenfluss weiter in Deine Kaskade (change, split, switch, join) und dann in die InfluxDB.

Dann kommt folgender Fehler:

msg : string[92]
"Invalid JSONata expression: Argument 1 of function "split" does not match function signature"

In die DB wird nicht geschrieben.

VG Heiner

[mickym]

Also Du musst nur eine von beiden Methoden verwenden. Dann nimm halt nur die ChangeNode und filtere halt nach der Temperatur direkt deinem Output Deiner function Node..

Also nur die change Node mit folgendem JSONATA:

$filter(payload, function($v){$v.temperature > 0})

[ranzen]

@mickym said in Node-Red Filter:

$filter(payload, function($v){$v.temperature > 0})

Da kommt dann die folgende Fehlermeldung:

"Invalid JSONata expression: The expressions either side of operator ">" must evaluate to numeric or string values"

[mickym]

@ranzen Ich würde vorschlagen, Du kopierst das was Du filtern willst direkt aus dem Debug Fenster in CodeTags hier rein.

Ich hab das nun zwar mühsam versucht, aber wenn man keine Daten hat, um das nachzustellen, dann kann man auch nicht helfen.

Also schau mal ob Deine Debug Ausgabe so aussieht.

Und dann kopiert man aus dem Debug-Fenster den Wert der payload in die Zwischenablage

und stellt den hier in CodeTags ein:

[{"battery":3.378,"resistance":7.386,"sensorType":1,"temperature":20.5,"trigger":0}]

Dann muss ich keine Gänsefüsschen, Klammern etc selbst drum rum machen.

So und wenn ich nun mit meiner Change Node teste dann werden die Objekte, die eine ungültige Temperatur haben - ausgefiltert - sprich die payload ist undefined (rot markiert). Kannst ggf noch eine Switch Node dahinter machen, um diese Nachrichten komplett zu filtern.

Hier kannst ja selbst testen oder in die Inject NOde ein Objekt rein machen, was passt.

Spoiler

[{"id":"e45337f4a3f55c96","type":"inject","z":"289f539dcc33814e","name":"","props":[{"p":"payload"}],"repeat":"","crontab":"","once":false,"onceDelay":0.1,"topic":"","payload":"[{\"battery\":3.378,\"resistance\":7.386,\"sensorType\":1,\"temperature\":-100,\"trigger\":0}]","payloadType":"json","x":390,"y":6180,"wires":[["6ef399891f05414c","c6fa94570d7b3b5a"]]},{"id":"6ef399891f05414c","type":"debug","z":"289f539dcc33814e","name":"Input","active":true,"tosidebar":true,"console":false,"tostatus":false,"complete":"payload","targetType":"msg","statusVal":"","statusType":"auto","x":550,"y":6120,"wires":[]},{"id":"c6fa94570d7b3b5a","type":"change","z":"289f539dcc33814e","name":"","rules":[{"t":"set","p":"payload","pt":"msg","to":"$filter(payload, function($v){$v.temperature > 0})","tot":"jsonata"}],"action":"","property":"","from":"","to":"","reg":false,"x":590,"y":6180,"wires":[["ca0c74d4d7932b9f"]]},{"id":"ca0c74d4d7932b9f","type":"debug","z":"289f539dcc33814e","name":"gefiltert","active":true,"tosidebar":true,"console":false,"tostatus":false,"complete":"payload","targetType":"msg","statusVal":"","statusType":"auto","x":780,"y":6180,"wires":[]}]

[mickym]

@mickym Und wenn Du nur den negativen Temperaturwert oder -100 herausfiltern willst, dann aktualisierst Du halt das Objekt.

[ranzen]

@mickym

23.5.2024, 16:30:35node: 2da49fa7d532a2d4
msg.payload : array[1]
array[1]
0: object
battery: 3.389
resistance: 17.991
sensorType: 1
temperature: 20.900000000000006
trigger: 0

Ja, so der Payload aus, den ich aus der Funktion Richtung DB schicke.

Mein Code in der Funktion sieht so aus:

var msg1 = {};

msg1.payload = [
    
    {

        battery: msg.payload.uplink_message.decoded_payload["battery"],
        resistance: msg.payload.uplink_message.decoded_payload["resistance"],
        sensorType: msg.payload.uplink_message.decoded_payload["sensorType"],
        temperature: msg.payload.uplink_message.decoded_payload["temperature"],
        trigger: msg.payload.uplink_message.decoded_payload["trigger"]
    }
	
];

return (msg1);

.

[ranzen]

Und in der DB sieht das dann so aus:

name: apfelbaum1
time                           battery resistance sensorType temperature          trigger
----                           ------- ---------- ---------- -----------          -------
2024-04-08T15:59:41.629377294Z 3.398   1000       1          24.400000000000006   0
2024-04-08T16:14:41.795550813Z 3.401   1000       1          24.400000000000006   0
2024-04-08T16:29:41.794306826Z 3.398   1000       1          24.400000000000006   0
2024-04-08T16:44:41.73256775Z  3.403   1000       1          24.5                 0
2024-04-08T16:59:41.786260269Z 3.398   1000       1          24.400000000000006   0
2024-04-08T17:14:41.783145044Z 3.401   1000       1          24.299999999999997   0
2024-04-08T17:44:41.779760184Z 3.401   1000       1          24.200000000000003   0
2024-04-08T17:59:41.612032196Z 3.401   1000       1          24.099999999999994   0
2024-04-08T18:14:41.774595375Z 3.401   1000       1          24                   0
2024-04-08T18:29:41.705639142Z 3.401   1000       1          23.900000000000006   0
2024-04-08T18:44:41.768656569Z 3.398   1000       1          23.900000000000006   0
2024-04-08T18:59:41.767234983Z 3.398   1000       1          23.900000000000006   0
2024-04-08T19:14:41.772372995Z 3.401   1000       1          23.799999999999997   0
2024-04-08T19:29:41.768979924Z 3.401   1000       1          23.799999999999997   0
2024-04-08T19:44:41.605064779Z 3.398   1000       1          23.799999999999997   0
2024-04-08T19:59:41.696679475Z 3.398   1000       1          23.799999999999997   0
2024-04-08T20:14:41.776049783Z 3.398   1000       1          23.700000000000003   0
2024-04-08T20:29:41.760546515Z 3.401   1000       1          23.599999999999994   0
2024-04-08T20:44:41.758661338Z 3.398   1000       1          23.599999999999994   0

[ranzen]

Aber die Fehlermeldung kommt immer noch.

Im Change-Node steht als Regel:

Setze msg.payload

to the value

$filter(payload, function($v){$v > 0}) 

[mickym]

@ranzen sagte in Node-Red Filter:

                                                                                                                            23.5.2024, 16:30:35node: 2da49fa7d532a2d4                                                                                                                                                                            msg.payload : array[1]                                                                                                                                                                            array[1]                                                                                                                                                                            0: object                                                                                                                                                                            battery: 3.389                                                                                                                                                                            resistance: 17.991                                                                                                                                                                            sensorType: 1                                                                                                                                                                            temperature: 20.900000000000006                                                                                                                                                                            trigger: 0                                            

Du hast schon wieder den Wert nicht über das Debug Fenster und der Schaltfläche Wert kopieren rauskopiert, sondern mit der MAUS - das ist Unsinn. Ich habe Dir doch unten einen Screenshot eingestellt, wie man die Werte sauber aus dem Debugfenster kopiert. So ist das unbrauchbar.
Aber OK - ich habs nochmal transformiert.

Das dann nächste ist, Du willst mir nicht sagen, dass Du wegen so einem Input Objekt eine function mit JS Code erstellst??

[ranzen]

@mickym

code_text

So sah mein Code aus.

[ranzen]

@ranzen
Ok, jetzt habe ich es kapiert. Debugfenster und dann Schaltfläche Wert.

[ranzen]

@mickym said in Node-Red Filter:

Das dann nächste ist, Du willst mir nicht sagen, dass Du wegen so einem Input Objekt eine function mit JS Code erstellst??

Doch

So habe ich es mir in den letzten Jahren abgeguckt. Ich mache sehr wenig mit der Jvascipt-Programmierung. Sicherlich geht das eleganter.

[ranzen]

Wie geht es eleganter ?

Ich hole die Daten per MQTT (in diesem Fall mit MQTT in) von der Quelle ab.

Dann kommt schon die Funktion, in die ich die geholten Daten rein kippe. Und dann in die DB, wo sich Grafana dann bedient.

Das hat bis jetzt immer super funktioniert.

Wenn es eleganter geht. Nur zu, ich lerne gern dazu.

[mickym]

Wenn also der Sinn Deiner function Node ist nur das ganze nach oben zu ziehen , da braucht man gar nichts programmieren. Dann nimmt man eine Change Node und VERÄNDERT die payload entsprechend.

Diese EINE Regel in der Change Node - macht das Gleiche wie dein Javascript Code. Also vielleicht solltest Du Dich mal mit Objekten beschäftigen.

[ranzen]

@mickym

ok, da werde ich mich bestimmt mit beschäftigen.

Aber die Fehlermeldung ist immer noch Im Moment wird die DB nicht bedient.

[mickym]

Ich bin ja auch noch nicht fertig

So ich hab Dir nun 2 Möglichkeiten zum Filtern gemacht - da ich auch noch keine Antwort hatte, ob Du das ganze Objekt wegfiltern willst, wenn die Temperatur -100 ist oder nur die Objekteigenschaft Temperatur:

Im ersten Fall kommt also gar nichts hinten raus, wenn in der temperature Eigenschaft -100 steht

[ranzen]

@mickym

Ich möchte alles, was kommt, in die DB schreiben. Ausser: -100.

[ranzen]

@mickym

Dieser Wert -100 zieht mir die schöne Visualisierung vom Grafana runter.