[Linux Shell-Skript] WLAN-Wetterstation

SBorg

@rene55 Nein, brauchst du nicht. Es passiert aber auch nichts wenn man es trotzdem versucht. Dann kommt eben besagte Meldung "Version bereits aktuell".

Im Grunde ist das System so aufgebaut:

sh = das eigentliche Programm
sub = enthält eigene Befehle/Funktionen für die sh
conf = die User spezifischen Einstellungen

"sh" und "sub" enthält nichts vom User, kann also einfach ausgetauscht werden. Dies galt Anfangs auch für die "conf". Eine handvoll Einträge wieder übernehmen war schnell erledigt (aber schon da nicht gerade komfortabel). Mit der Zeit, und gerade seit OpenSenseMap und Windy, wäre das aber echt k*cke alles jedes mal neu einzutragen. Daraus entstand der "ws_updater".
Der kann nun

das Projekt komplett installieren
den Service dazu einrichten
das Update auf die aktuelle Release-Version durchführen (Beta aus Sicherheitsgründen weiter nur händisch)
und die "conf" patchen

Du willst bspw. von V2.9.0 auf V2.10.0 updaten und hast die "sh", "sub" und den "ws_updater" ersetzt, dann fehlen dir aber die Änderungen in der "conf" von V2.9.0 (eigentlich V2.8.0, denn eine V2.9.0-conf gab es nicht ) --> V2.10.0
Genau das macht die Option "--patch". Im konkreten Fall die Versionsnummer der "conf" auf V2.10.0 ändern, den Kommentar und den logging-Parameter hinzufügen und die (mögliche) Anzahl der drei neuen Sensoren in der Liste der Sensoren ergänzen.

XxJooO

@sborg ,

eigentlich suche ich Jemanden mit ausreichend guten Javascript-Kenntnissen, der mir bei meinem Problem kurz helfen kann:

Meine Station gibt hin und wieder unplausible Werte ab, wie z.B. "Aussenfeuchtigkeit" ist -9999%. Diese Werte werden dann in die influxDB geschrieben und führen dann zu hässlichen Grafiken. Ich habe nun einiges zusammen gesucht und das folgende Script geschrieben. Insgesamt sind 5 Wertereihen betroffen.

Influx wird aufgefordert:

erstelle eine neue Wertereihe, nimm dabei alle Werte aus der alten Reihe , die größer oder kleiner als ein bestimmter Wert sind und schreibe diese in die neue Reihe
lösch die alte Reihe
schreib die Werte aus der neuen Reihe in die Reihe mit dem alten Namen
lösch die neue Reihe

Wenn ich die Schritte einzeln als Script ausführen lasse, dann funktioniert das. In meinem Script aber kommt es zu einem Absturz von influx. Was könnte ich ändern, um das Script lauffähig zu bekommen?

Vielen Dank
XxJooO

main();

function main () {

    console.log("Korrigiere Aussenfeuchtigkeit")
    sendTo('influxdb.0', 'query', 'SELECT * INTO iobroker.global."0_userdata.0.Wetterstation.Aussenfeuchtigkeit_clean" FROM iobroker.global."0_userdata.0.Wetterstation.Aussenfeuchtigkeit" WHERE value>0 GROUP BY *');
    sendTo('influxdb.0', 'query', 'DROP measurement "0_userdata.0.Wetterstation.Aussenfeuchtigkeit"');
    sendTo('influxdb.0', 'query', 'SELECT * INTO "0_userdata.0.Wetterstation.Aussenfeuchtigkeit" FROM "0_userdata.0.Wetterstation.Aussenfeuchtigkeit_clean" GROUP BY *');
    sendTo('influxdb.0', 'query', 'DROP SERIES FROM "0_userdata.0.Wetterstation.Aussenfeuchtigkeit_clean"');

    console.log("Korrigiere Aussentemperatur")
    sendTo('influxdb.0', 'query', 'SELECT * INTO iobroker.global."0_userdata.0.Wetterstation.Aussentemperatur_clean" FROM iobroker.global."0_userdata.0.Wetterstation.Aussentemperatur" WHERE value>-50 GROUP BY *');
    sendTo('influxdb.0', 'query', 'DROP measurement "0_userdata.0.Wetterstation.Aussentemperatur"');
    sendTo('influxdb.0', 'query', 'SELECT * INTO "0_userdata.0.Wetterstation.Aussentemperatur" FROM "0_userdata.0.Wetterstation.Aussentemperatur_clean" GROUP BY *');
    sendTo('influxdb.0', 'query', 'DROP SERIES FROM "0_userdata.0.Wetterstation.Aussentemperatur_clean"');

    console.log("Korrigiere Regen_Tag")
    sendTo('influxdb.0', 'query', 'SELECT * INTO iobroker.global."0_userdata.0.Wetterstation.Regen_Tag_clean" FROM iobroker.global."0_userdata.0.Wetterstation.Regen_Tag" WHERE value<30 GROUP BY *');
    sendTo('influxdb.0', 'query', 'DROP measurement "0_userdata.0.Wetterstation.Regen_Tag"');
    sendTo('influxdb.0', 'query', 'SELECT * INTO "0_userdata.0.Wetterstation.Regen_Tag" FROM "0_userdata.0.Wetterstation.Regen_Tag_clean" GROUP BY *');
    sendTo('influxdb.0', 'query', 'DROP SERIES FROM "0_userdata.0.Wetterstation.Regen_Tag_clean"');

    console.log("Korrigiere Sonnenstrahlung")
    sendTo('influxdb.0', 'query', 'SELECT * INTO iobroker.global."0_userdata.0.Wetterstation.Sonnenstrahlung_clean" FROM iobroker.global."0_userdata.0.Wetterstation.Sonnenstrahlung" WHERE value>0 GROUP BY *');
    sendTo('influxdb.0', 'query', 'DROP measurement "0_userdata.0.Wetterstation.Sonnenstrahlung"');
    sendTo('influxdb.0', 'query', 'SELECT * INTO "0_userdata.0.Wetterstation.Sonnenstrahlung" FROM "0_userdata.0.Wetterstation.Sonnenstrahlung_clean" GROUP BY *');
    sendTo('influxdb.0', 'query', 'DROP SERIES FROM "0_userdata.0.Wetterstation.Sonnenstrahlung_clean"');

    console.log("Korrigiere Wind_max")
    sendTo('influxdb.0', 'query', 'SELECT * INTO iobroker.global."0_userdata.0.Wetterstation.Wind_max_clean" FROM iobroker.global."0_userdata.0.Wetterstation.Wind_max" WHERE value>0 GROUP BY *');
    sendTo('influxdb.0', 'query', 'DROP measurement "0_userdata.0.Wetterstation.Wind_max"');
    sendTo('influxdb.0', 'query', 'SELECT * INTO "0_userdata.0.Wetterstation.Wind_max" FROM "0_userdata.0.Wetterstation.Wind_max_clean" GROUP BY *');
    sendTo('influxdb.0', 'query', 'DROP SERIES FROM "0_userdata.0.Wetterstation.Wind_max_clean"');

}

Rene55

@SBorg Danke für die Erklärung. Dann hab ich (wahrscheinlich) alles sauber. Ich hatte bisher immer die Dateien in ein Verzeichnis gelegt, die handvoll eigener Parameter in der .conf geändert und dann einen Container erstellt. Ok, bei der .conf muss man dann ein bisschen aufpassen. Ich werd den updater beim nächsten Versionssprung mal testen. Dann sehe ich vielleicht auch mal ein Hunk #1 succeeded at 1 with furz 2. Danke nochmals - auch bei der wenigen freien Zeit - für das Script und die schnellen Antworten.
LG Rainer

SBorg

@xxjooo Das ist ein "simples" (aber nicht einfaches) Timeing - Problem. Während der eine sendTo noch arbeitet und die InfluxDB beschäftigt, feuert JS schon den nächsten Befehl ab. Um sicher zugehen, dass er fertig ist könnte man nun eine "Denkpause" von bspw. 1 Sekunde einfügen. Dann bekommst du aber das nächste Timeing-Problem, denn dann ist er noch mit der Abarbeitung dieses Datenpakets beschäftigt, während schon das nächste ansteht.

Falls mehrere das Problem haben/hätten, könnte ich auch eine interne Unterdrückung/Begrenzung einbauen wie Temperatur nur von -99°C bis +99°C
Das ist aber Zeitverschwendung (im Sinne von Ressourcenverschwendung des Systems) wenn es sonst keiner hat. Ich prüfe dann die Messwerte, obwohl sie zu 99.999% immer richtig sind. Ich hatte in nun bald 2 Jahren keinen einzigen Ausreißer zu verzeichnen.
Ich habe es eben mal spaßeshalber gegen gerechnet: das wären bei rund 60(!) Millionen Messwerten und dabei nur 5 Korrekturen trotzdem 12 Millionen zusätzliche Berechnungen für fast nix an Nutzen, zumindest für euch (du mal ausgenommen ). IMO nicht der beste Weg.

Ich hätte aber eine andere, recht einfache Idee: die Werte erst gar nicht in die Influx gelangen zu lassen.
Nehmen wir als Beispiel mal die Aussentemperatur (folgend AT genannt):

du legst unter javascript/0_userdata.x.tempData (wo du die Daten halt liegen hast) einen neuen Datenpunkt AT an (Bsp.: javascript.0.tempData.Aussentemperatur) / die Einstellungen vom Original übernehmen

in der "sub" (leider dann bei jedem Update weg) änderst du den Eintrag ab wo die AT gespeichert wird

   DP_TEMP_AUSSEN=${PRE_DP}.Aussentemperatur
   in
   DP_TEMP_AUSSEN=${PRE_DP}.tempData.Aussentemperatur

Nun noch ein Blockly/Flow/JS mit Trigger bei Änderung auf "...tempData.Aussentemperatur" und "falls" Wert > -99 und Wert < 99 dann schreibe Wert in den originalen AT-Datenpunkt

Somit loggt Influx nur noch korrekte Werte und du kannst auch alles wie gehabt (zB. Statistik-Skript) weiter nutzen.

SBorg

@rene55 sagte in [Linux Shell-Skript] WLAN-Wetterstation:

Danke nochmals - auch bei der wenigen freien Zeit - für das Script und die schnellen Antworten.

Trotz aller Widrigkeiten immer gerne.
Ich kann leider nur sagen:

Lächle und sei froh, es könnte schlimmer kommen.
Ich lächelte und ward froh, und es kam schlimmer...

...aber das lächeln verkneife ich mir trotz allem nicht

XxJooO

@sborg ,

vielen Dank für diese Überlegungen. Dein Tipp wird die einfachste Lösung sein. Ich möchte Deine Zeit nicht übermäßig beanspruchen, aber noch eine kleine Nachfrage:

Gibt influxDB keinen Rückwert, wenn eine angeforderte Operation abgeschlossen ist? Das mit dem Timing habe ich mir schon so gedacht. Aber der Rückwert des Aufrufes "sendto" ist "undefined". Man muss doch irgendwie eine Rückmeldung bekommen können?

Danke!!!!
XxJooO

SBorg

@xxjooo sagte in [Linux Shell-Skript] WLAN-Wetterstation:

Ich möchte Deine Zeit nicht übermäßig beanspruchen

Das ist absolut kein Problem oder Thema, ich komme halt nur nicht immer gleich zu irgendwas, es kann halt etwas dauern und ab und an dauert es auch mal paar Tage bis ich hier wieder Online bin.
Deswegen fragen, nur die Antwort/Lösung dauert halt uU. mal etwas

@xxjooo sagte in [Linux Shell-Skript] WLAN-Wetterstation:

Gibt influxDB keinen Rückwert, wenn eine angeforderte Operation abgeschlossen ist? Das mit dem Timing habe ich mir schon so gedacht. Aber der Rückwert des Aufrufes "sendto" ist "undefined".

Kann ich dir so nicht beantworten, dass kommt auf den Influx-Adapter an. Wie hast du denn den Rückgabewert ermittelt? Per CallBack? Wenn da nichts kommt, ist da leider auch nix...

sendTo('influxdb.0', 'query', 'DROP measurement "0_userdata.0.Wetterstation.Aussenfeuchtigkeit"', function (result) { console.log("Influx meldet " + result); });

XxJooO

@sborg sagte in [Linux Shell-Skript] WLAN-Wetterstation:

sendTo('influxdb.0', 'query', 'DROP measurement "0_userdata.0.Wetterstation.Aussenfeuchtigkeit"', function (result) { console.log("Influx meldet " + result); });

ergibt


javascript.0
2021-11-04 16:30:45.526	info	script.js.Datenpunkte_erstellen.influxdb_korrigieren_test: Influx meldet [object Object]

funktioniert so also nicht.

SBorg

@xxjooo Es kommt nur mehr zurück als erwartet

sendTo('influxdb.0', 'query', 'DROP measurement "0_userdata.0.Wetterstation.Aussenfeuchtigkeit"', function (result) { console.log("Influx meldet " + JSON.stringify(result)); });

viper4iob

@sborg

Ich habe jetzt mal das Grafana-Dashboard in Betrieb genommen, echt coole Sache. Danke dafür.
Ein kleiner Hinweis: Ich glaube beim Windgeschwindigkeitsgraphen sind die y-Beschriftungen vertauscht.
Wind müsste eher links und Böen rechts sein, denke ich.

Und ich weiß, keine Fragen zu Grafana selbst, aber ich weiß ein paar Datenpunkte nicht zuzuordnen, die da benutzt werden:

Bei "Nächster Regen in:" wird der DP "0_userdata.0.VIS.Wetter.Regenvorschau" verwendet. Wo kommt der her, aus einem Adapter oder was selbst gebautes?

Und dann rechts die grünen Rechtecke, da sind folgende DPs hinterlegt:
alias.0.Wetterstation.openSenseMap
alias.0.Wetterstation.Windy
alias.0.Wetterstation.Kommunikationsfehler
alias.0.Wetterstation.FW_Upgrade

Sind das nur Aliase auf die originalen DPs?
Wenn ich allerdings die originalen DPs nehme, die ich im Wetterstations-Ordner finden kann, dann funktioniert es nicht, weil die true und false liefern und Grafana erwartet für den Text und die Farbe Werte von 0 und 1, und mit true und false funktioniert es nicht.

SBorg

@viper4iob sagte in [Linux Shell-Skript] WLAN-Wetterstation:

Wind müsste eher links und Böen rechts sein, denke ich.

Denkst du richtig. Danke, ist mir gar nicht aufgefallen.

@viper4iob sagte in [Linux Shell-Skript] WLAN-Wetterstation:

keine Fragen zu Grafana selbst

Das gilt/steht für GitHub. Ich mag dort einfach keine zig Issues dann zu Grafana haben. "Hier" ist es egal, solange es mit dem Thema Wetterstation zu tun hat und kein "wie installiere ich Grafana" ist

@viper4iob sagte in [Linux Shell-Skript] WLAN-Wetterstation:

Bei "Nächster Regen in:" wird der DP "0_userdata.0.VIS.Wetter.Regenvorschau" verwendet. Wo kommt der her, aus einem Adapter oder was selbst gebautes?

Das kommt aus dem Wunderground-Adapter mit einem JS von Pix, man braucht das Rad ja nicht zweimal erfinden:

/* Wunderground Regen
Abfrage des Weatherunderground Adapters im Bereich Vorhersage,
wann der nächste Regen erwartet wird.

Findet in den forecastHourly-Datenpunkt den ersten Regen-Eintrag
Ausgabe in Text ("kein Regen", "X Stunden (X% [Wahrscheinlichkeit])")

http://forum.iobroker.net/viewtopic.php?f=21&t=3447#p31858


01.08.2016 erstellt von Pix unter Nutzung des obigen Skriptes
28.06.2017 Korrekturen
12.07.2017 Fehler abfangen und Typ Variable auf String geändert
06.03.2019 Code optimiert
           berücksichtigt Niederschlag in der aktuellen Stunde (Stunde 0)
11.06.2019 auf neue Datenpunkte angepasst für weatherground-Adapter (getestet V3.0.11)
04.08.2019 geändert für Wunderground Adapter 3.1.1
08.03.2021 Codeoptimierungen @SBorg

*/


const vorstd = 36; // Vorschau in Stunden (weatherundergroudn bietet neuerdings bis 36h Vorschau), kann hier auch kleiner sein
const idRegen = "0_userdata.0.VIS.Wetter.Regenvorschau"; // Ziel-Datenpunkt
const wunder_inst = "weatherunderground.0."; // Weatherground-Adapter Instanz
const logging = false;

createState(idRegen, "kein Regen", { name: "Regenvorschau", type: "string", role: "text" });
 

function berechneZeit() {
    if (logging) log("Berechne Dauer in Stunden bis zum nächsten Regen");
    let data=0, pop=0;
    for (let i=0; i<vorstd; i++) {
        data = getState(wunder_inst + "forecastHourly." + i + "h.precipitation").val;
        if (data > 0) {   
            pop = getState(wunder_inst + "forecastHourly." + i + "h.precipitationChance").val;
            if (logging) log("Regeneintrag gefunden bei " + i + "h " + data + "mm");
            if (i == 0) { // wenn jetzt Regen
                if (logging) log("In dieser Stunde werden " + data + "mm Regen erwartet (Wahrscheinlichkeit " + pop + "%)");
                setState(idRegen, "jetzt (" + pop + "%)", true);
            } else {
                if (logging) log("In " + i + " Stunden werden " + data + "mm Regen erwartet (Wahrscheinlichkeit " + pop + "%)");
                if (i==1) { setState(idRegen, "1 Stunde (" + pop + "%)", true); } else { setState(idRegen, i + " Stunden (" + pop + "%)", true); }
            }
            i=vorstd-1; // beim ersten Auftreten der Regenwahrscheinlichkeit über 0 abbrechen
        } 
        if ((i == vorstd-1) && (pop == 0)) {
            setState(idRegen, "Kein Regen erwartet (" + pop + "%)", true);
            if (logging) log("Kein Regen erwartet (" + pop + "%)");
        }
    }
}
 
// bei jeglicher Aktualisierung von Weatherunderground Berechnung starten
 
on({
    id: /^weatherunderground\.[0-9]+\.forecast.*\.[0-9]+h\.precipitation$/,  // forecastHourly, forecastDaily, forecast
    change: "any"
}, berechneZeit);
 
// bei Skriptstart
berechneZeit();

@viper4iob sagte in [Linux Shell-Skript] WLAN-Wetterstation:

Sind das nur Aliase auf die originalen DPs?

Ja und Nein. Wären es nur reine Aliase könnte ich ja auch gleich die Originalen nehmen, schließlich werden die Bezeichnungen sich nicht ändern wie bspw. bei einem Device welches ausgetauscht werden muss
Man kann damit aber auch schön konvertieren
Bild 3.png

G.Hawk

@sborg
Hallo
Ich habe gerade versucht alles zu installieren ich bekomme auch Daten. Aber das Script läuft nicht.

Bis hierhin bin ich gekommen:

"Damit es beim booten automatisch geladen wird: sudo systemctl enable wetterstation.service"

Da bekomme ich diese Meldung:

pi@raspberrypi:~ $ sudo systemctl daemon-reload
pi@raspberrypi:~ $ sudo systemctl enable wetterstation.service
Failed to enable unit: File wetterstation.service: Invalid argument
pi@raspberrypi:~ $

Kann mir jemand sagen, was ich falsch mache?

Status: sudo systemctl status wetterstation

i@raspberrypi:~ $ sudo systemctl status wetterstation
* wetterstation.service
   Loaded: error (Reason: Unit wetterstation.service failed to load properly: In
   Active: inactive (dead)

Nov 06 16:00:31 raspberrypi systemd[1]: /etc/systemd/system/wetterstation.servic
Nov 06 16:00:31 raspberrypi systemd[1]: /etc/systemd/system/wetterstation.servic
Nov 06 16:09:06 raspberrypi systemd[1]: /etc/systemd/system/wetterstation.servic
Nov 06 16:26:14 raspberrypi systemd[1]: /etc/systemd/system/wetterstation.servic
Nov 06 16:27:11 raspberrypi systemd[1]: /etc/systemd/system/wetterstation.servic
Nov 06 16:30:24 raspberrypi systemd[1]: /etc/systemd/system/wetterstation.servic
Nov 06 16:34:36 raspberrypi systemd[1]: /etc/systemd/system/wetterstation.servic
Nov 06 16:40:44 raspberrypi systemd[1]: /etc/systemd/system/wetterstation.servic
Nov 06 16:42:26 raspberrypi systemd[1]: /etc/systemd/system/wetterstation.servic
Nov 06 16:42:26 raspberrypi systemd[1]: /etc/systemd/system/wetterstation.servic
lines 1-14/14 (END)

Thomas Braun

@martin-0

https://github.com/SBorg2014/WLAN-Wetterstation/wiki/Installation---Teil-2

Das hast du aber getan, oder?

Sofern möglich sollte diese Variante benutzt werden, da sie wesentlich Anwender freundlicher ist. Wir legen zuerst im Terminalfenster die nötige Datei an:

sudo nano /etc/systemd/system/wetterstation.service

Diese bekommt folgenden Inhalt:

[Unit]
Description=Service für ioBroker Wetterstation

[Service]
ExecStart=/home/iobroker/wetterstation.sh

[Install]
WantedBy=multi-user.target

Die Beschreibung ist frei wählbar, der Service muss ggf. entsprechend Eurem Pfades angepasst werden, je nach dem wo Ihr das Skript liegen habt. Speichern und mittels sudo chmod +x /etc/systemd/system/wetterstation.service ausführbar machen.

G.Hawk

@thomas-braun

Ja wenn ich "sudo chmod +x /etc/systemd/system/wetterstation.service" eingebe passiert allerdings nichts.
Also keine Meldung o.Ä.

Thomas Braun

@martin-0 sagte in [Linux Shell-Skript] WLAN-Wetterstation:

Also keine Meldung o.Ä.

Keine Meldung bedeutet: Alles klar, Kommando konnte ausgeführt werden.

viper4iob

@martin-0
Der chmod Befehl ändert nur die Dateirechte, sodass die Datei ausführbar ist. Mehr passiert da nicht.
Wie lautet denn der Pfad, wo sich die Datei wetterstation.sh befindet.
Der gleiche Pfad muss im Service bei ExecStart verwendet werden.
Standard ist unter /home/iobroker/

G.Hawk

@viper4iob
Starten funktioniert schon nicht:

pi@raspberrypi:~ $ sudo systemctl start wetterstation
Failed to start wetterstation.service: Unit wetterstation.service failed to load properly: Invalid argument.
See system logs and 'systemctl status wetterstation.service' for details.

Der Pfad ist /home/iobroker

Thomas Braun

@martin-0

Zeig doch mal konkret deine Datei.

G.Hawk

@thomas-braun

Thomas Braun

@martin-0

Bitte keine Screenshots und den Raspberry NICHT MIT DESKTOP BETREIBEN!

NEWS

[Linux Shell-Skript] WLAN-Wetterstation

Support us

648
Online

31.6k
Users

79.4k
Topics

1.3m
Posts

NEWS

[Linux Shell-Skript] WLAN-Wetterstation

Support us

648Online

31.6kUsers

79.4kTopics

1.3mPosts

648
Online

31.6k
Users

79.4k
Topics

1.3m
Posts