[Linux Shell-Skript] WLAN-Wetterstation
-
@bigmike71
Ohne Nur Änderungen aufzeichnen wird halt bei jedem Empfang der Daten ein neuer Datensatz geschrieben, was die Datenmenge in der Datenbank erhöht.Man muss beim Setzen von Nur Änderungen aufzeichnen bedenken, dass wenn Skripte Verläufe oder Mittelwerte abrufen, in gewissen Zeitabständen doch die unveränderten Werte geschrieben werden, um Fehler in den Berechnungen zu verhindern.
Man kann aber in Influx2 über Tasks auch die Datenmengen reduzieren. Der Vorteil an dieser Variante ist, dass z.B. kürzer in der Vergangenheit liegende Daten noch in vollen Details vorhanden sind und ob ich in 5 Jahren noch wissen will, dass um 12:14 Uhr 11,7°C grad waren...
-
@boronsbruder sagte in [Linux Shell-Skript] WLAN-Wetterstation:
Backup_Jahresstatistik();
Reset_Jahresstatistik();danke, aber ich weiß jetzt nicht genau was du damit meinst.
wie sollte ich nun vorgehen, meine Daten werden alle so wie es im Wiki ist in die INflux geschrieben, und dort mit einem Task auf 15min verkleinert, also die Daten habe ich. Mir geht es jetzt nur daß es sobald wie möglich wieder stimmt mit den Werten für dieses Jahr.
Was sollte ich da jetzt tun. Danke dir.
-
@babl
0_userdata.0.Statistik.Wetter.Control.Reset_Jahresstatistik auf true1.2. Reset_Jahresstatistik - [Boolean: true/false] bei true wird die komplette Jahresstatistik zum Schedule resettet. Die Werte werden "genullt" und ggf. (zB. Höchst-/Tiefstwert) auf Extreme gesetzt, damit dann wieder korrekte Höchst-/Tiefstwerte oä. ermittelt werden können.Dann sollte es morgen nach dem Statistik-Lauf wieder passen:
-
Hallo.
Die Regenmenge "aktuelles Jahr" wurde bei mir auch nicht zurück gesetzt.
Die kommt aber wohl direkt aus der Wetterstation und nicht aus dem Statistikscript.
Ich nutze hier noch die V1.1.0 (habe noch Influx 1.X).
Dazu habe ich für mein Wetter-Gateway Ecowitt GW1000 folgendes gefunden.
Rücksetzen Jahresregenmenge
vielleicht hilft das dem ein oder anderen. -
@korken sagte in [Linux Shell-Skript] WLAN-Wetterstation:
Hallo.
Die Regenmenge "aktuelles Jahr" wurde bei mir auch nicht zurück gesetzt.
Die kommt aber wohl direkt aus der Wetterstation und nicht aus dem Statistikscript.
Ich nutze hier noch die V1.1.0 (habe noch Influx 1.X).
Dazu habe ich für mein Wetter-Gateway Ecowitt GW1000 folgendes gefunden.
Rücksetzen Jahresregenmenge
vielleicht hilft das dem ein oder anderen.Bei mir war auch Februar als Rainfall-Season drin
-
@boronsbruder
mit der Datenmenge habe ich auch ein Auge drauf.
Gibt es da ein verständliches Beispiel für Tasks?
habe damit noch nie gearbeitet da ich recht neu mit der sache Influx/Grafana bin.
Löscht Task wichtige Datenwerte oder reduziert die Datenmenge ohne die Genauigkeit (Werte) zu ändern?
Habe Influx2 mit Weboberfläche, da habe ich auch Tasks, das scheint aber alles nur über eingabe Befehle zu gehen... -
@bigmike71 ich schick dir morgen Mal ein Beispiel für Wetterstation in 15min runtergerechnet. Das nehme ich dann für die Langzeit vielleicht lasse ich es nochmal auf 1 Stunde runterrechnen bis jetzt habe ich eine grösse von ca. 500mb gezippt
-
@bigmike71 hier ist mein Task für die Wetterstation, er wird alle Stunde aufgerufen und verarbeitet dann die Daten die in die normale influxdb bucket wetterstation laufen dann auf 15 minuten.
import "timezone" option task = {name: "wetterstation-history-15min", every: 1h} from(bucket: "wetterstation") |> range(start: -24h, stop: now()) |> filter( fn: (r) => r["_measurement"] == "0_userdata.0.Allgemein.Wettervorschau" or r["_measurement"] == "0_userdata.0.Statistik.Wetter.VorTag.Regenmenge" or r["_measurement"] == "0_userdata.0.Wetterstation.Aussenfeuchtigkeit" or r["_measurement"] == "0_userdata.0.Wetterstation.Aussentemperatur" or r["_measurement"] == "0_userdata.0.Wetterstation.Aussentemperatur_Trend" or r["_measurement"] == "0_userdata.0.Wetterstation.Druck_Tendenz" or r["_measurement"] == "0_userdata.0.Wetterstation.Druck_absolut" or r["_measurement"] == "0_userdata.0.Wetterstation.Druck_relativ" or r["_measurement"] == "0_userdata.0.Wetterstation.Gefuehlte_Temperatur" or r["_measurement"] == "0_userdata.0.Wetterstation.Info.Hitzeindex" or r["_measurement"] == "0_userdata.0.Wetterstation.Info.Letzte_Regenmenge" or r["_measurement"] == "0_userdata.0.Wetterstation.Info.Letzter_Regen" or r["_measurement"] == "0_userdata.0.Wetterstation.Info.Regenmenge_VorJahr" or r["_measurement"] == "0_userdata.0.Wetterstation.Info.Solarenergie_Jahr" or r["_measurement"] == "0_userdata.0.Wetterstation.Info.Solarenergie_Monat" or r["_measurement"] == "0_userdata.0.Wetterstation.Info.Solarenergie_Tag" or r["_measurement"] == "0_userdata.0.Wetterstation.Info.Solarenergie_VorJahr" or r["_measurement"] == "0_userdata.0.Wetterstation.Info.Solarenergie_VorTag" or r["_measurement"] == "0_userdata.0.Wetterstation.Info.Solarenergie_Woche" or r["_measurement"] == "0_userdata.0.Wetterstation.Info.Sonnenschein_Jahr" or r["_measurement"] == "0_userdata.0.Wetterstation.Info.Sonnenschein_Monat" or r["_measurement"] == "0_userdata.0.Wetterstation.Info.Sonnenschein_Tag" or r["_measurement"] == "0_userdata.0.Wetterstation.Info.Sonnenschein_VorJahr" or r["_measurement"] == "0_userdata.0.Wetterstation.Info.Sonnenschein_VorTag" or r["_measurement"] == "0_userdata.0.Wetterstation.Info.Sonnenschein_Woche" or r["_measurement"] == "0_userdata.0.Wetterstation.Info.Temp_Aussen_24h_max" or r["_measurement"] == "0_userdata.0.Wetterstation.Info.Temp_Aussen_24h_min" or r["_measurement"] == "0_userdata.0.Wetterstation.Info.Temp_Aussen_365t_avg" or r["_measurement"] == "0_userdata.0.Wetterstation.Info.Temp_Aussen_365t_max" or r["_measurement"] == "0_userdata.0.Wetterstation.Info.Temp_Aussen_365t_min" or r["_measurement"] == "0_userdata.0.Wetterstation.Info.Wolkenbasis" or r["_measurement"] == "0_userdata.0.Wetterstation.Innenfeuchtigkeit" or r["_measurement"] == "0_userdata.0.Wetterstation.Innentemperatur" or r["_measurement"] == "0_userdata.0.Wetterstation.Regen_Jahr" or r["_measurement"] == "0_userdata.0.Wetterstation.Regen_Monat" or r["_measurement"] == "0_userdata.0.Wetterstation.Regen_Tag" or r["_measurement"] == "0_userdata.0.Wetterstation.Regen_Woche" or r["_measurement"] == "0_userdata.0.Wetterstation.Regenrate" or r["_measurement"] == "0_userdata.0.Wetterstation.Regenstatus" or r["_measurement"] == "0_userdata.0.Wetterstation.Sonnenstrahlung" or r["_measurement"] == "0_userdata.0.Wetterstation.Taupunkt" or r["_measurement"] == "0_userdata.0.Wetterstation.UV_Index" or r["_measurement"] == "0_userdata.0.Wetterstation.Wetter_Trend" or r["_measurement"] == "0_userdata.0.Wetterstation.Wetter_aktuell" or r["_measurement"] == "0_userdata.0.Wetterstation.Wind" or r["_measurement"] == "0_userdata.0.Wetterstation.Wind_max" or r["_measurement"] == "0_userdata.0.Wetterstation.Windrichtung" or r["_measurement"] == "0_userdata.0.Wetterstation.Windrichtung_10min" or r["_measurement"] == "0_userdata.0.Wetterstation.Windrichtung_Text_10min" or r["_measurement"] == "0_userdata.0.Wetterstation.Zeitstempel" or r["_measurement"] == "0_userdata.0.Wetterstation._Kommunikationsfehler" or r["_measurement"] == "daswetter.0.NextDays.Location_1.Day_1.Wetterbedingungen_value" or r["_measurement"] == "daswetter.0.NextDays.Location_1.Day_2.Wetterbedingungen_value" or r["_measurement"] == "odl.0.093721531.value" or r["_measurement"] == "uv-protect.0.ozone" or r["_measurement"] == "weatherunderground.0.forecast.0d.precipitationAllDay" or r["_measurement"] == "weatherunderground.0.forecast.0d.precipitationChance" or r["_measurement"] == "0_userdata.0.Wetterstation.Regen_Jahr_kumuliert", ) |> filter( fn: (r) => r["_field"] == "ack" or r["_field"] == "from" or r["_field"] == "q" or r["_field"] == "value", ) |> aggregateWindow(every: 15m, fn: last) |> yield(name: "last") |> to(bucket: "wetterstation-history-15min", org: "privat")@Boronsbruder @SBorg nach dem Reset ist alles wieder gut, danke.
-
@babl
vielen dank!
das bedeutet dann, das die Daten einen Zeitabstand von 15min haben?
im moment logge ich "wind" und "richtung" alle 16sek, danach gibt es dann nur alle 15min einen datenpunkt, verstehe ich das richtig? -
@bigmike71 jawohl, das mache ich für die langzeitspeicherung, natürlich geht dir dann eine Böe z.B. verloren, aber für die letzten 30 Tage kannst du ja das normale Fenster (16sec) nehmen und ab dann das für die 15 min. In Grafana kannst das ja über die Variablen (Buckets) angeben bei Langzeitauswertung.
-
@boronsbruder sagte in [Linux Shell-Skript] WLAN-Wetterstation:
Im Skript ist ein Hinweis.
In der Doku fehlt er, glaube ich noch ?Eigentlich auch im Datenpunkt direkt, zumindest wenn er vom Script angelegt wurde.
Aber der Hinweis in der WiKi fehlt(e) tatsächlich.1.2. AutoReset_Jahresstatistik - [Zahl: 0,1,2] was soll am 01.01. des Jahres mit den Statistikdaten passieren?
0 = Aus | die Daten werden einfach fortlaufend weitergeführt
1 = Ein | die Werte werden "genullt" und ggf. (zB. Höchst-/Tiefstwert) auf Extreme gesetzt, damit dann wieder korrekte Höchst-/Tiefstwerte oä. ermittelt werden können
2 = Ein+Backup | wie 1, nur werden zusätzlich Daten in einer Jahresstatistik gespeichertExtreme bedeutet dabei "nicht mögliche Werte" wie zB. bei den Temperaturen.
Hier wird der Tiefstwert auf 99°C und der Höchstwert auf -99°C gesetzt. Somit wird zum nächsten Durchlauf jede Temperatur den Tiefstwert unterschreiten, sowie jede Temperatur den Höchstwert überschreiten.Min-Temp am 01.01. -5°C
Max-Temp am 01.01. 2°CFür den Vergleich ist dann
-5 weniger als 99 = neuer Tiefstwert -5°C
2 mehr als -99 = neuer Höchstwert 2°CWürden die auch nur "genullt" und wir hätten zB. am 01.01. ein Min von 6°C und ein Max von 9°C (wie es bei mir tatsächlich war), würde zwar der Maxwert korrekt auf 9°C gesetzt werden, der Minwert verbliebe aber bei 0°C, da 6 größer als 0 ist
...und löschen und keinen Wert hineinschreiben wird dann mit einer Fehlermeldung vom Javaskript-Adapter belohnt.Nur weil ich schon gefragt wurde warum diese verqueren "99er"-Werte. Ab und an denkt sich der alte Mann sogar etwas bei dem was er tut, wenn auch nicht immer
-
Seit heute morgen kommen falsche Werte bei mir in iobroker an. Bis ca. 9 Uhr hat es funktioniert. Die Displays (WH3000SE) zeigen noch die korrekte Temperatur an. Nur in ioBroker landen falsche Werte. Auch in WU landen nur korrekte Daten. Da sendet der DP1500, welchen ich auch für iobroker nutze. Debug zeigt folgendes:
PASSKEY=xxxxxxxx&stationtype=GW1000A_V1.7.7&runtime=7311343&dateutc=2024-01-07+10:19:16&tempinf=43.34&humidityin=44&baromrelin=27.950&baromabsin=27.950&tempf=59.36&humidity=85&winddir=72&windspeedmph=0.00&windgustmph=1.12&maxdailygust=11.41&solarradiation=0.00&uv=0&rainratein=0.000&eventrainin=0.000&hourlyrainin=0.000&dailyrainin=0.000&weeklyrainin=0.000&monthlyrainin=2.000&yearlyrainin=52.201&totalrainin=52.201&temp1f=60.98&humidity1=40&temp2f=73.04&soilmoisture1=21&soilad1=150&soilmoisture2=59&soilad2=290&soilmoisture3=60&soilad3=290&soilmoisture4=27&soilad4=171&soilmoisture5=47&soilad5=244&lightning_num=0&lightning=17&lightning_time=1703179736&leak_ch1=0&tf_ch1=71.06&wh65batt=0&batt1=0&batt2=0&soilbatt1=1.5&soilbatt2=1.5&soilbatt3=1.5&soilbatt4=1.5&soilbatt5=1.5&wh57batt=5&leakbatt1=4&tf_batt1=1.52&freq=868M&model=GW1000A_ProHat jemand ne Idee, woran das liegen kann? Aktuell sind es Minus 5,4 ° und in ioBroker 15,2°. Scriptversion habe ich V3.2.0.
ZusatzInfo:
Momentan geht es wieder aber ich verstehe nicht wieso die falschen Werte ankamen. Naja Hauptsache geht wieder. -
@schittl Bei mir ist sowas kürzlich passiert kurz bevor die Batterie vom Außensensor aufgegeben hat.
-
@rushmed Ok danke für die Info. Das kann durchaus sein. Sensor ist ja schon mehr als 3 Jahre aktiv. Ich werde es beobachten.
-
@sborg Ich brauche nochmals eure Hilfe: Ich hatte vor, meine Datenbanken etwas zu säubern. 'Jetzt' gibt es ja die longtermBuckets und die shorttermBuckets. Gibt es eine Übersicht, welche Datenpunkte ins long müssen und welche nicht? Dann noch die anschließende Frage: in der wetterstation.conf muss ich ja ein Bucket angeben, damit bestimmte Werte aus der Influx geholt werden können. Muss der Bezug dann hier auf shorttermBucket stehen?
-
@rene55
Prinzipiell kannst du das erst mal handeln wie du willst. Der Gedanke war dabei die Daten 1 Jahr vorzuhalten. Länger fragt das WLAN-Skript auch keine Daten ab ("Temperatur vor einem Jahr").
Alles was man darüber hinaus behalten wollte sollte dann ins Longterm.Das Konstrukt ist aber offen gestanden suboptimal (ich nutze es selbst nicht mehr). Hier sind die Influx-Tasks mit aggregieren deutlich besser. Ich weiß meine Zeiträume gerade nicht auswendig, aber bspw. eine "Windrichtung" braucht man kaum aufheben. Die wird aber im ~30 Sekundenraster (halt Sendeintervall der Station) geloggt und belegt nur Platz. Wer braucht denn aktuell die Windrichtung vom 29. November 2023 um 11:52:33 Uhr? Also schmeiße ich die per Task (glaube 7 Tage) kpl. aus der DB raus. Auch die Temperatur ist jetzt (mir) nicht sooo wichtig, als dass ich die Ewigkeiten bräuchte. Sie ändert sich ja auch nicht alle 30 Sekunden. Also aggregiere ich einen 15 Minutenmittelwert der Temperatur und schrinke die DB um das 30-fache oder von 30 Datensätzen auf einen. Da kann ich sie auch länger aufheben und dann zB. nach 365 Tagen auch sagen "aggregiere" jetzt auf eine Stunde. Dann habe ich nur noch 24 Datensätze pro Tag.
Der Bezug in der conf muss halt auf das Bucket verweisen welches zumindest für 365 Tage Daten vorhält. Ob die "roh" sind oder bereits aggregiert sind ist dabei unerheblich. Ich lese immer dynamisch so viele Datensätze ein wie vorhanden sind
-
@sborg sagte in [Linux Shell-Skript] WLAN-Wetterstation:
Also schmeiße ich die per Task (glaube 7 Tage) kpl. aus der DB raus
kannst du das genauer erklären?
Hab mir dazu schon öfter was im Netz gesucht. Aber so richtig schlau, wie wo was konfiguriert werden muss, hab ich nichts vernünftiges gefunden.
-
@sborg Danke für die schnellen Antworten. Ja sicher, ob der Wind vor nem Jahr aus Osten kam ist sicher nicht wichtig. Ich hatte mich anhand des Dashboards hier angenähert. Da sah ich eigentlich nur vier Datenpunkte, die im long waren (Aussentemperatur, Temperatur_außen_Max_24h, Temperatur_außen_Min_24h und Solarenergie_Vortag). Wobei die Werte möglicherweise ja auch ins short könnten - oder liege ich da falsch? Welchen Ansatz verfolgst du denn, um den überflüssigen Datensalat zu entsorgen?
-
@sborg Da ich gerade so schön tief im Dashboard stecke. Welcher Adapter liefert denn die Ozon-Werte?
-
