[Linux Shell-Skript] WLAN-Wetterstation

[SBorg]

@ratte01 sagte in [Linux Shell-Skript] WLAN-Wetterstation:

Was stelle ich bei den Punkten 1-7 am Besten ein?

Dazu kommt noch ein WiKi-Artikel, allerdings bin ich gerade etwas "Doku müde"
Die Einstellung gibt es eigentlich nicht, da es vom Datenpunkt und den eigenen Wünschen abhängig ist.
Pauschal ist es aber eher "unsinnig" jeden Wert des entsprechenden DPs loggen zu wollen. Das sind bei einem 30 Sekundenraster rund 2.900 Messwerte pro Tag. Bei der Luftfeuchte bspw. "echter nonsens", denn die ändert sich im Verlauf des Tages nicht alle 30 Sekunden.
Deshalb gebe ich die Empfehlung nur die Änderungen des DPs zu loggen. Will man Lücken in Grafana oä. vermeiden, empfiehlt sich auch ggf. mal das schreiben eines Wertes zu erzwingen (als Beispiel hier mal den Batteriestatus). Die ggf. auftretenden Lücken bei einem längeren Stillstand des Wertes kann man auch in Grafana umgehen.
Die "Vorhaltezeit" richtet sich dann nach den eigenen Wünschen. Brauche ich zB. den Batteristatus länger als 2-3 Tage? Die "Außemtemperatur" wiederum kann für die DPs "Temperatur Min/Max/Avg vor einem Jahr" nur funktionieren wenn ich auch mindestens ein Jahr die Werte logge.
Wichtig ist eigentlich nur den Typ von "Automatic" auf Zahl oder Text umzustellen, sonst kann es beim 1. Start passieren, dass die Datenreihe in Influx anstelle von Zahl als Text angelegt wird. Das lässt sich in Influx später nicht mehr ändern und man muss die gesamte Datenreihe droppen. Grafana kann sonst mit den Daten nicht umgehen. Wenn eine Zahl erwartet wird muss es auch eine Zahl sein und kein Text

[ratte01]

@sborg Herzlichen dank, das macht das etwas klarer.
Nur wie errät man den richtigen Datentyp? Sehr oft ist es klar, aber z.B. beim Datum?

Jetzt das Selbe für die Statistik.
Die läuft ja nur 1 mal am Tag.
Wenn man da 1 mal am Tag einen Eintrag haben will muss das Häkchen bei "Nur Änderungen aufzeichnen raus" und "trotdem gleiche Werte" auf 86400? Nur ab wann zählt das? Ab dem Zeitpunkt des Eintrages?
Irgendwie nicht sehr intuitiv.
Z.B. die Eistage ändern sich immer Sommer ja nicht, trotzdem wäre so ein Eintrag sinnvoll.
Ich weiss - diese Fragerei.
Danke

[SBorg]

Keine Werbung, Affiliate, Provision etc. oä., aber aktuell gibt es die Eurochron EFWS 2900 Wetterstattion wieder im Angebot bei Völkner für 120,- € : https://www.voelkner.de/products/981930/Eurochron-EFWS-2900-Funk-Wetterstation-Vorhersage-fuer-12-bis-24-Stunden.html

[SBorg]

@ratte01 sagte in [Linux Shell-Skript] WLAN-Wetterstation:

Nur wie errät man den richtigen Datentyp? Sehr oft ist es klar, aber z.B. beim Datum?

Genau das ist ein schlechtes Beispiel
Pauschal ist alles mit einem Punkt und Ziffern als Zahl zu sehen. Punkt da wir hier amerikanische Schreibweise haben: 14.36 (°C)
Wenn ein Buchstabe drin vorkommt ist es Text.
Eine IP 192.168.4.1 ist ebenfalls Text (?), da eine Zahl keine mehrere Punkte enthalten darf.
Tja, Datum ist jetzt so ein Ding. Da muss man differenzieren. Wird es nur als Datum angezeigt oder ist es wirklich ein Datum?
??? verstehe ich nicht, Datum und dann doch nicht Datum ?
Meistens wird ein Datum als Unix-Timestamp (vergangene Sekunden seit dem 01.01.1970) dargestellt. So kann man ziemlich komfortabel mit einem Datum rechnen, allerdings kann keiner so ad hoc anhand der ellenlangen Zahl ein Datum erkennen. Deswegen bietet der ioB auch die Möglichkeit den Timestamp als lesbares Datum darzustellen. Man "sieht" also ein Datum, nur ist es wegen des Timestamps tatsächlich eine Zahl

Für "meinen" Part (also Wetterstation) kann ich dir aber mitteilen, dass alles was Datum ist tatsächlich Text ist.

Ab wann das loggen bei einem erzwungen Schreiben zählt kann ich dir leider nicht beantworten, dass wäre eine Frage an die Entwickler. IMO aber bei laufendem Adapter ab jetzt plus Wert, bzw. dann ab Adapterstart + Wert

Aber die Statistik brauchst du eigentlich nicht zu loggen, die Werte liegen alle vor (bei Option "Autodelete" solange wie du die Monate eingestellt hast). Warte mal den 01. April ab (nein, kein Aprilscherz), denn am Monatsersten werden die Monatswerte gespeichert, dann siehst du unter DP "Data" die alten Werte und kannst darauf auch zugreifen. Analog am 01.01. dann auf die Jahreswerte. Kannst du dir auch dann über das JS-Skript von @liv-in-sky ansehen:

@ratte01 sagte in [Linux Shell-Skript] WLAN-Wetterstation:

Ich weiss - diese Fragerei.

Dann die obligatorische Frage: wozu sonst ein Forum? (auch wenn es aktuell bei mir mal länger dauert, da ich derzeit nicht unbedingt täglich hier unterwegs bin)

[ratte01]

@sborg said in [Linux Shell-Skript] WLAN-Wetterstation:

wozu
Dann gleich noch eine Frage
Warum eigentlich der Umweg vom Shellscript über iobroker in die influx DB?
Für mich stellt es sich derzeit so dar, dass der iobroker nur zum Datenspeichern verwendet wird. Übersehe ich da etwas?
Danke

[SBorg]

@ratte01 Zum Teil ja, wenn du quasi die Wetterstation nur in Grafana abbildest. Dafür ist das Skript aber ursprünglich nicht gedacht. Ohne den Umweg per ioB hast du halt keine Werte für die VIS und eben das wofür ich es eigentlich entwickelt habe, nämlich Werte für den ioB:

• Wind > xy km/h --> Markise einfahren
• Regenmenge > ... --> Bewässerung einstellen
• Temp + Sonneneinstrahlung > ... --> Beschattung mittels Rollläden aktivieren
• Luftfeuchte > ...% --> Belüftung einstellen
• ...

[west]

@sborg said in [Linux Shell-Skript] WLAN-Wetterstation:

Keine Werbung, Affiliate, Provision etc. oä., aber aktuell gibt es die Eurochron EFWS 2900 Wetterstattion wieder im Angebot bei Völkner für 120,- € : https://www.voelkner.de/products/981930/Eurochron-EFWS-2900-Funk-Wetterstation-Vorhersage-fuer-12-bis-24-Stunden.html

Die sieht so aus wie von Sainlogic

Habe jetzt mal die intervall auf 16 sec. gestellt.

@ratte01
Ich hole auch meine Daten auch von iobroker ab.

[Protheus]

Hi,

ich hätte da mal eine kurze Frage (ohne die ganzen 2420 Einträge gelesen zu haben )

Ich habe mir eine dnt Wifi Weatherscreen Pro zugelegt die ja von diesem Skript auch unterstützt werden soll.
Naja ich scheitere bereits an der Anbindung an WS View...

Keine der angezeigten WS passt zu meiner bzw. weiß ich nicht, wie ich in diesen Kopplungsmodus kommen soll

Kann da evtl. wer helfen?

Grüße
Protheus

[Protheus]

Hi,

ich habs nun manuell in der WS eingetragen.
Bei wunderground.com kommen Daten an.

Das Script bekommt nun zwar auch einen Connect aber dann gleich danach Fehler (Siehe Anhang):

Ich habe die SUB Datei auch noch mal mit einer neu heruntergeladenen Version ersetzt aber der Fehler bleibt.

Dieses

no connection : Connection timed out
listening on [any] 9999 ...

hatte ich vorhin ebenfalls nicht.
Ich blicks nicht mehr

Hier noch meine wetterstation.conf
wetterstation.conf

Grüße
Protheus

P.S:
Dieses

from (UNKNOWN) [10.10.80.180]

irritiert mich auch etwas, da per nslookup definitiv ein sauberer DNS-Eintrag zurück kommt

nslookup 10.10.80.180
180.80.10.10.in-addr.arpa       name = wetterstation.meineinternedomain.de.

[Petersilie]

@protheus Hallo,

ich habe die Kopplung mit dem WLAN direkt am Display in den Einstellungen vorgenommen. Dort das WLAN auswählen und das Passwort eingeben. Dann sollte die Station unter Device List in der App direkt auftauchen.

[ratte01]

@sborg
Ah, OK. Verstehe.
Dann noch eine Frage: Warum wird das über das Shellscript als Server gemacht? Ich habe mich jetzt mal gespielt und das Script "/weatherstation/updateweatherstation.php" gemacht und die Daten werden da wunderbar ausgegeben.
Hat das Kompatibilitätsgründe mit anderen Stationen?

Danke

[Protheus]

@petersilie said in [Linux Shell-Skript] WLAN-Wetterstation:

ich habe die Kopplung mit dem WLAN direkt am Display in den Einstellungen vorgenommen. Dort das WLAN auswählen und das Passwort eingeben. Dann sollte die Station unter Device List in der App direkt auftauchen.

Wow, Danke!
Im WLAN war es bereits drin.

Allerdings sind die Geräte bei mir isoliert (also WLAN-Gerät kann nicht mit WLAN-Gerät kommunizieren - Nur mit LAN-Gerät oder Internet geht). Das hatte ich vergessen/übersehen.

Nach dem abschalten der Isolierung, tauchte die WS tatsächlich ohne weiteres auf.

Leider hat das mein Skript-Problem nicht behoben.

EDIT: OK diese Meldung (listening on [any] 9999 ... no connection : Connection timed out) ist wohl der Skript-Modus (ohne Werteanzeige)
Ich habe hier das --debug vergessen.
Allerdings bekomme ich mit --debug die Meldung "Kommunikationsfehler!"

• Rest-API ist aber erreichbar
• Port 9999 ist frei

Beide Geräte stehen auch im selben LAN, also kann da auch die Firewall nichts blocken.

Grüße
Protheus

[SBorg]

@protheus So, mal wieder Online...
Also... sieht leider nach wie vor nach einem Netzwerkproblem aus. Das Skript steigt einfach aus weil es keine Daten bekommt (daher auch "Kommunikationsfehler").

Zum testen ändere in der *.conf zuerst mal den "Poll-Interval" auf 30 Sekunden. Das gibt dem Skript Zeit (~ 1 Minute) mal ein Datenpaket zu empfangen (die meisten Stationen senden so im 30-40 Sekunden Raster). Bei einem 16er Intervall muss dann innerhalb von 38 Sekunden ein valides Datenpaket kommen, dass kann, gerade beim testen, grenzwertig sein.
Wenn es dann läuft und die Station tatsächlich im 16 Sekundenraster sendet, spricht dann auch nichts dagegen es wieder auf 16 einzustellen.

Dann teste mal mit ./wetterstation.sh --data
Da muss ein Datenpaket ankommen, sonst brauchst du rund um das Skript erst gar nicht weiter suchen. Fehler sehe ich so keinen. Kannst du von dem Rechner aus auf dem das Skript laufen soll das Display anpingen?

[Protheus]

@sborg

Hi SBorg,

danke für die Rückmeldung.

Das mit den 30 Sekunden hatte ich auch schon Probiert, hat aber nicht geklappt.

Ich bin aktuell auch leicht verwirrt:

Wenn ich oft genug den Befehl mit --debug eingebe, bekomme ich Daten:

Allerdings mit einer Menge Warnungen/Fehler vorweg:

Wenn ich den Befehl gleich danach nochmal ausführe, bekomme ich "Kommunikationsfehler"

Pingen kann ich das Display, aber mit "./wetterstation.sh --data" bekomme ich auch Fehler.

(Der wartet aber auch keine 66 Sekunden, sondern bricht fast Instant wieder ab).

(Ich hatte auch schon Probiert auf "Ecowitt" umzustellen, hat aber auch nicht geholfen.)

Grüße
Protheus

EDIT: Hatte ich vergessen zu schreiben: mein iobroker läuft auf Debian 10

[SBorg]

@protheus Sodele, frisch gestärkt ans Werk ^^

@protheus sagte in [Linux Shell-Skript] WLAN-Wetterstation:

Allerdings mit einer Menge Warnungen/Fehler vorweg:

Das rührt daher, dass du wohl im ioB das Javascript noch nicht angelegt bzw. ausgeführt hast. Er versucht nämlich da ein paar Datenpunkte zu lesen, was natürlich fehlschlägt wenn sie nicht vorhanden sind.

@protheus sagte in [Linux Shell-Skript] WLAN-Wetterstation:

(Der wartet aber auch keine 66 Sekunden, sondern bricht fast Instant wieder ab).

Das würde dann auch zu dem Phänomen passen, dass er zwar prinzipiell Daten empfängt, aber eher sehr unzuverlässig.
Hast du einen WU/Ecowitt - Account bzw. schickst du aktuell Daten an einen der beiden? Wenn das kontinuierlich durchläuft, wäre zumindest die Kommunikation Wettermast --[868MHz]-->Display--[WLAN]-->Netzwerk/Router/WWW in Ordnung.
Debian ist völlig iO, muss einfach nur ein Linux sein + nc/jq darauf laufen.
Ist dein System ein "echter Rechner" oder ein PI? Ich hatte gerade die Tage einen ähnlichen Issue auf GitHub, bei dem der RAM zur neige ging. Dann konzentriert sich Linux auf die wichtigen Dinge und da gehört anscheinend Netzwerkkommunikation nicht ganz so dringend dazu.

[SBorg]

@ratte01 sagte in [Linux Shell-Skript] WLAN-Wetterstation:

@sborg
Ah, OK. Verstehe.
Dann noch eine Frage: Warum wird das über das Shellscript als Server gemacht? Ich habe mich jetzt mal gespielt und das Script "/weatherstation/updateweatherstation.php" gemacht und die Daten werden da wunderbar ausgegeben.
Hat das Kompatibilitätsgründe mit anderen Stationen?

Danke

Sagen wir mal so, "irgendwie" muss(te) ich es ja umsetzen und da fiel die Wahl eben auf ein Shell-Skript (weil es einfach die wenigsten Ressourcen verbraucht) und den "netcat". Ich hätte auch "socat" nehmen können oder es in JS, Perl, Python etc. schreiben können. Das hatte keinen echten speziellen Hintergrund, nur als Shell-Skript ging es am "schnellsten" (ist mittlerweile auch relativ) und der "nc" nimmt einfach alles entgegen was man ihm schickt. Hoffentlich einigermaßen Zukunftssicher. Sieht aber gut aus, denn zu Beginn war noch keine Rede vom "Ecowitt"-Protokoll oder jede Menge Zusatzsensoren

[Protheus]

@sborg said in [Linux Shell-Skript] WLAN-Wetterstation:

Das rührt daher, dass du wohl im ioB das Javascript noch nicht angelegt bzw. ausgeführt hast. Er versucht nämlich da ein paar Datenpunkte zu lesen, was natürlich fehlschlägt wenn sie nicht vorhanden sind.

Doch hatte ich eigentlich:

Ich ab da auch nur die Anzahl der Bodenfeuchtesensoren (DP100) auf 2 erhöht.

Ja ich hatte zum Testen, ob überhaupt Daten rausgehen, einen WU-Account angelegt. Da kommen auch sauber Daten an (scheinbar so alle 30 Sekunden)

Ich bin deine Installationsanleitung Schritt für Schritt durchgegangen (Berufskrankheit)
bc und jq sind auf jeden Fall drauf.

Das System läuft in einer VM (kann man also mit einem phys. Rechner gleichsetzen) und 2GB frei (von 4GB) sollten eigentlich eigentlich ausreichen.

Ich habe das Javascript jetzt nochmal ausgeführt um sicher zu gehen, dass ich es beim letzten Mal nicht zu schnell beendet habe.
Die Meldungen bleiben aber (wenn ich das Skript 10x ausführe)

/opt/iobroker-Scripts/wetterstation/wetterstation.sub: Zeile 551: printf: `%d Std, %d Min': Ist kein gültiger Bezeichner.
/opt/iobroker-Scripts/wetterstation/wetterstation.sub: Zeile 551: printf: `%d Std, %d Min': Ist kein gültiger Bezeichner.
/opt/iobroker-Scripts/wetterstation/wetterstation.sub: Zeile 551: printf: `%d Std, %d Min': Ist kein gültiger Bezeichner.
/opt/iobroker-Scripts/wetterstation/wetterstation.sub: Zeile 551: printf: `%d Std, %d Min': Ist kein gültiger Bezeichner.

Ich befürchte so langsam, das an meinem iobroker-Server was kauptt ist, und er die Skripte nicht lange genug laufen lässt (eine Firewall ist nicht drauf)

Grüße
Protheus

EDIT:

Weil du es gerade erwähntest (netcat) habe ich da auch nochmal geschaut.
Die Bezeichnung

(UNKNOWN) [10.10.80.4] 8087 (?) open

kommt doch von netcat oder?

OK nun wirds ganz unverständlich:
Das kript läuft (immernoch mit vielen timeouts aber zumindest keine wetterstation.sub-Fehler mehr)
Im iobroker kommen auch Daten an aber "Wetter_Trend" (noch --- Minuten laut Display = sonnig) und "Wetter_aktuell" (regnerisch - naja sonne scheint draußen) werden nicht aktualisiert (alle anderen Daten schon. (Druck_Tendenz ist leer also denke ich das kam noch nie)
Kommunikationsfehler steht auch auf true.
Die Bodenfeuchte wird auch nich ausgelesen.

Laut netstat ist der Port 18087 aber auch geöffnet (ich habe zwischenzeitlich auf diesen Port gewechselt)

Grüße
Protheus

[SBorg]

@protheus Sieht soweit alles (leider) gut aus. Das Skript an sich braucht auch nur paar kB RAM, aber an irgend etwas muss es ja liegen.
Die Fehlermeldung mit dem Bezeichner ist auch eher "unsinnig" an der Stelle, sieht aber danach aus, dass ihm hier einfach ein Wert fehlt (Sonnenscheindauer). Das Skript läuft dann trotzdem weiter, nur ist/wäre halt die Sonnenscheindauer nicht vorhanden/inkorrekt.
Da es mit WU funktioniert, kann man also den Netzwerk-Teil eigentlich als Fehlerursache ausklammern. Bleibt eigentlich nur das System selbst bzw. etwas darauf. Hast du noch einen PI in der Ecke liegen oder genug Ressourcen für eine "nackische" VM mit dem kleinsten Linux (ohne GUI) über?

...und da kam der EDIT...
Jepp, und (?) open ist nicht gut. Da müsste "succeded" stehen. Er bekommt hier keine Verbindung zur API des ioB.
Ev. installiere mal eine neue Version vom nc (siehe WiKi)
Der "Trend" dauert bis zu den ersten vollen 15 Minuten, dann steht eine Restzeit da. Den Wettertrend kann man erst berechnen (Druck_Tendenz) wenn man den Verlauf von 3h analysiert (also mindestens mal für 3h Werte am Stück hat).
...und die "Wettervorhersage": naja, die basiert wie bei allen Stationen auf den aktuellen Luftdruckverhältnissen. Kann stimmen, muss aber nicht. Mein Display zeigt auch aktuell "wolkig" bei strahlend blauem Himmel...

[Protheus]

@sborg

Verdammt...RTFM is nich meine Stärke (auch Berufskrankheit )
Ins Troubleshooting hatte ich nur kurz reingeschaut, aber keine Verbindung mit meinem Problem hergestellt.

Nach einer Neuinstallation von netcat gehts jetzt nun (im Großteil)

@sborg said in [Linux Shell-Skript] WLAN-Wetterstation:

Kann stimmen, muss aber nicht. Mein Display zeigt auch aktuell "wolkig" bei strahlend blauem Himmel...

Naja bei mir steht das ja bei "Wetter_aktuell"

Obwohl schon den ganzen Tag die Sonne drauf brennt

Leider werden die 2 Bodenfeuchte-Sensoren auch nicht ausgelesen (obwohl sie im Display korrekt, mit vollem Empfang und Wert (48% und 38%) angezeigt werden.

Sind die hier: "froggit DP100 Mehrkanal Bodenfeuchte" (sollten ja mit der dnt gut funktionieren)

Sorry für die Umstände (User färben auf mich ab...)

Grüße
Protheus

[SBorg]

@protheus sagte in [Linux Shell-Skript] WLAN-Wetterstation:

Naja bei mir steht das ja bei "Wetter_aktuell"

Schon, aber sollte zeigen, dass auch das Display durchaus das aktuelle Wetter nicht wiedergibt. Es gibt halt vom Wetterdienst eine Liste bei der bei einem Luftdruck von "a bis b" schönes Wetter ist, "c bis d bewölkt" usw. Mehr ist das nicht. Luftdruck x ist zwar ein Indiz für Wetterlage y, muss aber nicht stimmen.
Ich hatte von WU, DWD & Co. auch schon Regenwahrscheinlichkeit von 100% und kein einziger Tropfen fiel...

bzgl. Sensoren: hast du auf Ecowitt-Protokoll umgestellt? Sonst bräuchte ich mal deinen "--data" - String (StationID etc. x-en) bzw. werden Daten von denen bei "--debug" angezeigt?