Wasserzähler - Version 2 - all-in-device

[jomjol]

@Zwer2k Ja das mit dem Schreiben könnte ein Problem sein. Alternative wäre, alles über den Speicher zu machen. Da aber manche der neuronalen Netze schon 1.4 MB belegen und die verwendeten Bibliotheken die Bilder im Raw Format, je nach Auflösung auch > 1MB und für die Verarbeitung auch mehrfach (Orginal und bearbeitete Kopie) verwenden, habe ich momentan den Zwischenweg über die SD-Karte gewählt.

Erzeugt werden die Log-Files an folgenden Stellen:

1. Log.txt auf root: Bibliothek: \lib\jomjol_logfile\
2. Abspeichern der Bilder:
   Analog: \lib\jomjol_flowcontroll\ClassFlowAnalog.cpp --> bool ClassFlowAnalog::doNeuralNetwork(string time)
   Digital: \lib\jomjol_flowcontroll\ClassFlowDigit.cpp --> bool ClassFlowAnalog::doNeuralNetwork(string time)

Ich würde jedoch vorschlagen, nicht dort einzugreifen, sondern am Ende des Flows eine "Aufräumaktion" aufzunehmen. Dort kann man dann auch parameterisiert z.B. die letzten x-Tage / Stunden ... Files wieder löschen.

[jomjol]

Hallo @Zwer2k,
danke für die Erklärung - klingt machbar. Frage ist, ob jemand dieses Feature benötigt.

Mein ESP32 rechnet von dem 4.85 Minuten Zyklus ca 2.5 Minuten, d.h. ich könnte nur für ca. 50% den Strom um die hälfte Sparen. Sinn macht das natürlich, wenn der Zyklus in deutlich längeren Zeitspannen gemessen wird.

Du könntest einfach mal ein Feature-Request als Issue in Github anstossen. Dann geht die Idee auch nicht verloren.

[pfried]

@Hasont @coyote Hi Gents, ich kann Euch nur empfehlen Euch die ScanDisk MaxEndurance SD Karten zuzulegen. Ich hatte noch nie ein Problem mit diesen speziellen SD Cards und soviel teurer sind diese auch nicht:

[Hasont]

@pfried Meinst du es liegt wirklich an der SD Karte.
Nach dem neuen Aufsetzen macht er so alle 4,5 Stunden einen Reset. Bin mal gespannt wie es weiter geht.
Hab jetzt ne 4 GB Karte drin.

[Hasont]

@Hasont sagte in Wasserzähler - Version 2 - all-in-device:

@pfried Meinst du es liegt wirklich an der SD Karte.
Nach dem neuen Aufsetzen macht er so alle 4,5 Stunden einen Reset. Bin mal gespannt wie es weiter geht.
Hab jetzt ne 4 GB Karte drin.

Übrigends ist das Log ne Stunde voraus, im Value stimmt die Uhrzeit

[MichMein]

@Hasont hi,
mach doch in der config mal das Debug an, dann könntest Du auch eventuell sehen warum er neu startet.

[spaceduck]

Ich hätte noch diverse Zwischenringe (2x klein und 1x groß) aus dem Projekt hier verfügbar die ich gegen Erstattung der Portokosten abgebe.
Wenn die jemand haben möchte bitte kurze Info, sonst fliegen sie in den Müll. Die Teile sind im SLS Verfahren gedruckt worden, Material PA2200

[Hasont]

@pfried @mcchickents
Hallo, hab den alten Thread mal durchgelesen und denke ich könnte eure Einbindung in den IoBrocker gut gebrauchen. Hab dann den Parser installiert und die Daten werden mir auch angezeigt.
Dann habe ich unter JavaScripts einen Ordner Wasserverbrauch angelegt und darin das Blockly von @mcchickents eingefügt. So wie ich das sehe startet es auch ohne Fehler. Hab dann meine 3N Stellen angepasst.

Was bedeutet das hm-rega, sind das nur Datenfelder?

Leider komme ich jetzt nicht mehr so recht weiter. Es wird mir ein Objekt angelegt aber scheinbar fehlen mir die nötigen Ausgabefelder.

Ich werde da aus dem alten Thread jetzt nicht ganz schlau. Da steht mal was von neue Instanzen anlegen und dann soll man unter Javascript neue Variablen anlegen (siehe Info aus dem alten Thread an QC1500)

Denke ich brauch da mal eure Hilfe.
Wasseruhr Blockly.txt

Update 1:
Hab jetzt noch 3 Variablen angelegt und bekomme Daten.

Was aber hat es mit hm-rega.0.3xxxx auf sich?
Wenn ich die auch als Variable anlegen möchte wird das immer in einem eigenem Pfad angelegt

Update 2:
Denke das Blockly ist neuer und ich brauch auch die hm-rega Variablen.
Hab die jetzt als HM965 - HM103 angelegt und im Blockly entsprechend zugeordnet.
Bei 969 hab ich schon ne 0 bekommen (müsste Verbrauch 5min sein)
Mal sehen was die Tage da so passiert.

Zum Thema mit dem Reset alle ca. 3,5 Stunden hab ich das Log jetzt mal eingeschaltet.

Ev. habt Ihr ja ein Script das über Blockly direkt ohne HomeMatic funktioniert.
Ziel sollte es sein den Wasserverbrauch aufzuzeigen und in der Urlaubsphase einen Wasserverbrauch außerhalb der Gießzeiten über Telegram zu melden um Notfalls den Haupthahn abzusperren.

Danke schon mal für eure Hilfe
Horst

[spaceduck]

@Hasont
Wieso schickst Du die Werte nicht per mqtt an den iobroker? Das geht super easy ohne Scripte, Parser & Co...

[Hasont]

@spaceduck Mach ich noch, betrifft aber ja nur das Auslesen der Rohdaten.
Ich möchte aber ja weitere Daten mit denen ich im Urlaub bewerten kann ob ein ungewollter Wasserverbrauch stattfindet damit ich notfalls das Wasser automatisch oder von Hand abstellen kann.
Was hätte mqtt denn für Vorteile?
LG Horst

[spaceduck]

@Hasont said in Wasserzähler - Version 2 - all-in-device:

Ich möchte aber ja weitere Daten mit denen ich...

Mmh, ich glaube wir reden aneinander vorbei. Der Aufbau liefert doch eh nur den Zählerstand! Den Zählerstand direkt vom Gerät via mqtt in einen Datenpunkt schreiben, dann kannst Du Dich mit Scripten austoben, also das mit dem ungewollten Wasserverbrauch programmieren und so...

[schweigel]

Hallo,

erstmal vielen Dank für die tolle Arbeit an dem Projekt.
Bisher hatte ich mehrere Versionen im Einsatz. Leider durch schlechte WLAN Verbindung nicht wirklich produktiv. Da habe ich nun nachgerüstet → externe Antenne an der ESP32CAM. Die Verbindung ist nun deutlich besser und ich habe auf die aktuelle Version mit MQTT aktualisiert.
Nun stehe ich bei folgendem Problem, das er die Zahlen und Zeiger nicht mehr erkennt.

Hat da jemand einen Tipp für mich?

Grüße

[jomjol]

Hallo @schweigel,

so ein Fehlerbild habe ich noch nie gesehen! Aber die "-1" ist der Defaultwert, wenn die neuronalen Bilderkennung keine Werte liefert. Ich würde also mal die tflite-Files in der config.ini die Dateinamen mit den Dateinamen in /config Verzeichnis abgleichen (z.B. Model=/config/dig0650s3.tflite).

[schweigel]

@jomjol

Es stand auf Model=/config/dig0640s3.tflite und die Datei ist auch vorhanden.

Habe dann noch die Datei dig0650s3.tflite runter geladen und die config.ini entsprechend aktualisiert. Der Fehler bleibt aber.

[Zwer2k]

Hallo @schweigel ,

scheint gleicher Fehler wie ich vor kurzem hatte zu sein. Ich habe den Fehler durch formatieren der SD-Karte weg bekommen.
Ich vermurte, dass durch häufiges beschreiben der SD-Karte Sektoren der Karte beschädigt werden.
Könntest du bitte versuchen folgende Datein von der SD-Karte zu löschen und zu testen ob es wieder funktioniert?
/log.txt
/img_tmp/ <-- hier alle Dateien
Sollte per "File Server" über die Web-Oberfläche möglich sein.

Gruß
Zwer2k

[coyote]

@schweigel da muss ich @Zwer2k zustimmen, konnte dies auch mal beobachten. Nach formatieren und neu beschreiben der SD-Karte lief es wieder

[Zwer2k]

Hallo @jomjol,

ich versuche gerade das Rotieren der Log-Dateien und -Bilder zu implementieren.
Rotation von log.txt habe ich bereits implementiert. Bei den Bildern bin ich auf interessanten Effekt gestoßen.
Wenn ich in der Funktion ClassFlowAnalog::doNeuralNetwork nach dem Aufruf tflite->MakeAllocate() ein Verzeichnis erstelle z.B. so mkdir("/sdcard/log/analog/abc", S_IRWXU), wird das Verzeichnis zwar erstellt, der ESP stürzt aber anschließend in der Funktion tflite->LoadInputImage(ioresize); in folgender Zeile ab

float* input_data_ptr = (interpreter->input(0))->data.f;

Wenn ich das Verzeichnis gleich am Anfang von der Funktion doNeuralNetwork erstelle, gibt es keine Probleme.

Da ich nicht genau weiß wie die TFLite-Lib funktioniert, kann ich mir das Verhalten nicht erklären. Kannst du es Verstehen / macht das Sinn?
Eventuell hat es auch etwas mit den Abstürzen zutun die immer wieder auftreten.

Gruß
Zwer2k

[jomjol]

Hallo @Zwer2k,

das ist in der Tat eine sehr spannende Beobachtung. Ich kenne diesen Fehler mit dem "mkdir" nicht, verwende aber auch "mkdir" gar nicht. Kannst du mal testen, ob der Fehler auch auftritt, wenn du an dieser Stelle ein File einfach nur öffnest und liest?
Dann könnte das derselbe Effekt sein, der auch für die Reboots sorgt. Diese Stelle im Code ist diesbezüglich sehr auffällig. Wenn du da genauer rein schaust, findest du, dass ich dort sogar zwei jpg/bmp Bibliotheken verwende, damit es funktioniert.
Was da passiert bin ich noch nicht dahinter gestiegen. Leider schaffe ich es nicht einen Debugger anzuschließen :-(.
Wenn du willst können wir uns das auch mal gemeinsam in einer skype Session anschauen - wäre super, wenn diese Reboots endlich verstanden wurden.
Gruß,
jomjol

[schweigel]

@Zwer2k
Danke, habe die Karte nochmal formatiert und die Daten wieder drauf kopiert, nun geht es.

[Zwer2k]

Hallo @jomjol ,

es scheint tatsächlich nur an mkdir zu liegen, weder das Lesen noch Beschreiben von Daten an der gleichen Stelle verursacht Abstürze.
Hat tflite eventuell Speicherleeks die die Probleme Verursachen, die Lib hat ja noch einige offene Issues die in die Richtung gehen. Es kann aber auch sein, dass der Core von ESP32 noch Fehlerhaft ist. Hab ein anderes Projekt bei dem unregelmäßige Abstürze auftreten, die ich mir nicht erklären kann. Die Abstürze treten öfter auf je mehr der ESP per WiFi kommuniziert (HTTP/MQTT).

Während dem Testen ist mir allerdings ein Watchdog-Reboot aufgefallen

handler_wasserzaehler uri:
/wasserzaehler.html
uri: /img_tmp/alg_roi.jpg
1 uri: /img_tmp/alg_roi.jpg, filename: /alg_roi.jpg, filepath: /sdcard/alg_roi.jpg
File to upload: /sdcard/img_tmp//alg_roi.jpg
E (109680) task_wdt: Task watchdog got triggered. The following tasks did not reset the watchdog in time:
E (109680) task_wdt:  - IDLE0 (CPU 0)
E (109680) task_wdt: Tasks currently running:
E (109680) task_wdt: CPU 0: httpd
E (109680) task_wdt: CPU 1: IDLE1
I (109710) serverhelp: Sending file : /sdcard/img_tmp//alg_roi.jpg (46997 bytes)...
I (109890) serverhelp: File sending complete
abort() was called at PC 0x401c50d5 on core 0
ELF file SHA256: 9d0eb747742923ae
Backtrace: 0x4008dd45:0x3fff2ad0 0x4008e0e1:0x3fff2af0 0x401c50d5:0x3fff2b10 0x401c699d:0x3fff2c50 0x401e6d4f:0x3fffacd0 0x401a0101:0x3fffacf0 0x400fb59f:0x3fffad10 0x400fc3c6:0x3fffb360 0x400f1eb1:0x3fffb3d0 0x400d531e:0x3fffb580 0x400d57d8:0x3fffb5d0 0x4008e945:0x3fffb740
Rebooting...
ets Jun  8 2016 00:22:57
rst:0xc (SW_CPU_RESET),boot:0x13 (SPI_FAST_FLASH_BOOT)
configsip: 0, SPIWP:0xee
clk_drv:0x00,q_drv:0x00,d_drv:0x00,cs0_drv:0x00,hd_drv:0x00,wp_drv:0x00
mode:DIO, clock div:2
load:0x3fff0030,len:4
load:0x3fff0034,len:7164
load:0x40078000,len:13856
load:0x40080400,len:4052
entry 0x40080688