Adapter - Parser (regEx)

ruhr70

Heissgastemperatur:

HEISSGASTEMPERATUR.+\n.+>(\d+,\d+)

Niederdruck:

NIEDERDRUCK.+\n.+>(\d+,\d+)

Verdampfertemperatur:

VERDAMPFERTEMP.+\n.+>(\d+,\d+)

Verflüssigertemperatur:

VERFLÜSSIGERTEMP.+\n.+>(\d+,\d+)

usw.

Im Prinzip muss immer nur die Bezeichnung ausgetaucht werden: HEISSGASTEMPERATUR -> NIEDERDRUCK

Je benötigten Wert eine RegEx-Abfrage.

Qlink

Hi ruhr70,

vielen Dank für deine Hilfe.

Beim eingeben der Regeln funktioniert soweit noch alles.

Ich habe jetzt 4 Regeln angelegt zum Testen, aber sobald der parser adapter daraufhin neustartet kommt folgende FM im Log:

parser.0	2017-05-18 22:20:03.453	info	starting. Version 0.2.1 in C:/Program Files/ioBroker/node_modules/iobroker.parser, node: v4.5.0
host.SERVER	2017-05-18 22:20:02.470	info	instance system.adapter.parser.0 started with pid 9488
host.SERVER	2017-05-18 22:20:00.017	info	instance system.adapter.parser.0 terminated with code null ()
host.SERVER	2017-05-18 22:20:00.017	warn	instance system.adapter.parser.0 terminated due to SIGTERM
host.SERVER	2017-05-18 22:19:59.954	info	stopInstance system.adapter.parser.0 killing pid 3284
host.SERVER	2017-05-18 22:19:59.954	info	stopInstance system.adapter.parser.0
host.SERVER	2017-05-18 22:19:59.954	info	object change system.adapter.parser.0
parser.0	2017-05-18 22:18:56.329	info	starting. Version 0.2.1 in C:/Program Files/ioBroker/node_modules/iobroker.parser, node: v4.5.0
host.SERVER	2017-05-18 22:18:55.423	info	instance system.adapter.parser.0 started with pid 3284
host.SERVER	2017-05-18 22:18:25.360	info	Restart adapter system.adapter.parser.0 because enabled
host.SERVER	2017-05-18 22:18:25.360	error	instance system.adapter.parser.0 terminated with code 0 (OK)
parser.0	2017-05-18 22:18:24.813	error	at Timer.listOnTimeout (timers.js:92:15)
parser.0	2017-05-18 22:18:24.813	error	at ontimeout [as _onTimeout] (timers.js:209:34)
parser.0	2017-05-18 22:18:24.813	error	at _analyseDataForStates (C:\Program Files\ioBroker\node_modules\iobroker.parser\main.js:125:9)
parser.0	2017-05-18 22:18:24.813	error	at analyseData (C:\Program Files\ioBroker\node_modules\iobroker.parser\main.js:159:26)
parser.0	2017-05-18 22:18:24.813	error	TypeError: Cannot read property 'exec' of undefined
parser.0	2017-05-18 22:18:24.813	error	uncaught exception: Cannot read property 'exec' of undefined
sql.0	2017-05-18 22:18:23.470	info	enabled logging of parser.0.P_WW_Tag
parser.0	2017-05-18 22:18:22.735	info	starting. Version 0.2.1 in C:/Program Files/ioBroker/node_modules/iobroker.parser, node: v4.5.0
host.SERVER	2017-05-18 22:18:21.688	info	instance system.adapter.parser.0 started with pid 15432
web.0	2017-05-18 22:18:18.704	info	2017-05-18T20:18:18.704Z Connected system.user.admin
sql.0	2017-05-18 22:18:17.423	info	No Data
sql.0	2017-05-18 22:18:12.486	info	enabled logging of parser.0.P_WW_Summe
web.0	2017-05-18 22:18:06.876	info	2017-05-18T20:18:06.876Z Connected system.user.admin
sql.0	2017-05-18 22:18:05.642	info	No Data
sql.0	2017-05-18 22:18:01.439	info	enabled logging of parser.0.P_Heizung_Tag
web.0	2017-05-18 22:17:56.673	info	2017-05-18T20:17:56.673Z Connected system.user.admin
sql.0	2017-05-18 22:17:55.251	info	No Data
host.SERVER	2017-05-18 22:17:51.689	info	Restart adapter system.adapter.parser.0 because enabled

und unter Objekte sehe ich zwar die Einträge, aber es erscheinen keine Werte…

ruhr70

Das der Adapter abstürzt sollte nicht sein, egal was man eingetragen hat.

Das müsste sich der Adapterentwickler mal ansehen.

Versuch mal bitte die Rolle auf "Wert" zu stellen und den Typ auf "String".

Funktioniert es dann?

Qlink

Wenn ich auf Wert und String umstelle erscheint folgendes im Log.

parser.0	2017-05-19 08:22:06.032	info	starting. Version 0.2.1 in C:/Program Files/ioBroker/node_modules/iobroker.parser, node: v4.5.0
host.SERVER	2017-05-19 08:22:04.922	info	instance system.adapter.parser.0 started with pid 14420
host.SERVER	2017-05-19 08:22:02.454	info	instance system.adapter.parser.0 terminated with code null ()
host.SERVER	2017-05-19 08:22:02.454	warn	instance system.adapter.parser.0 terminated due to SIGTERM
host.SERVER	2017-05-19 08:22:02.407	info	stopInstance system.adapter.parser.0 killing pid 20696
host.SERVER	2017-05-19 08:22:02.407	info	stopInstance system.adapter.parser.0
host.SERVER	2017-05-19 08:22:02.391	info	object change system.adapter.parser.0
parser.0	2017-05-19 08:20:14.657	info	starting. Version 0.2.1 in C:/Program Files/ioBroker/node_modules/iobroker.parser, node: v4.5.0
host.SERVER	2017-05-19 08:20:13.736	info	instance system.adapter.parser.0 started with pid 20696
host.SERVER	2017-05-19 08:20:11.283	info	instance system.adapter.parser.0 terminated with code null ()
host.SERVER	2017-05-19 08:20:11.283	warn	instance system.adapter.parser.0 terminated due to SIGTERM
host.SERVER	2017-05-19 08:20:11.205	info	stopInstance system.adapter.parser.0 killing pid 9488
host.SERVER	2017-05-19 08:20:11.205	info	stopInstance system.adapter.parser.0
host.SERVER	2017-05-19 08:20:11.205	info	object change system.adapter.parser.0
sql.0	2017-05-19 08:20:11.188	info	enabled logging of parser.0.P_Heizung_Summe
sql.0	2017-05-19 08:20:11.157	info	enabled logging of parser.0.P_Heizung_Tag
sql.0	2017-05-19 08:20:11.141	info	enabled logging of parser.0.P_WW_Tag
sql.0	2017-05-19 08:20:11.126	info	enabled logging of parser.0.P_WW_Summe

Werte tauchen unter Objekte aber leider ebenfalls nicht auf

ruhr70

~~@Qlink:~~

Wenn ich auf Wert und String umstelle erscheint folgendes im Log. `

Ich habe das mal nachgebaut… über einen Webserver verlangt er bei der Auswertung noch einen "Carriage Return". Das "Linefeed" alleine hatte da nicht ausgereicht.

Versuche mal bitte:

VERDAMPFERTEMP.+\r\n.+>(\d+,\d+)

Das \r ist dazugekommen.

So funktioniert es bei mir dann nicht nur über Online-Regex, sondern auch über einen Webserver:

Bluefox

Ich habe jetzt auf git die neue Version. Die sollte mehr Fehler abfangen und kann nicht nur ersten Element finden. Sondern z.B. dritte.

Qlink

Hi Ruhr70,

vielen Dank für deine Hilfe.

Jetzt klappts perfekt !

30 Regeln anlegen dauert ein ganz schönes Weilchen.

Eine große Hilfe wäre wenn man die Möglichkeit hätte Regeln zu duplizieren und sie dann nur noch anpassen zu müssen…

Beste Grüße

Bluefox

~~@Qlink:~~

Hi Ruhr70,

vielen Dank für deine Hilfe.

Jetzt klappts perfekt !

30 Regeln anlegen dauert ein ganz schönes Weilchen.

Eine große Hilfe wäre wenn man die Möglichkeit hätte Regeln zu duplizieren und sie dann nur noch anpassen zu müssen…

Beste Grüße `
Trello?

ruhr70

~~@Bluefox:~~

~~@Qlink:~~

Eine große Hilfe wäre wenn man die Möglichkeit hätte Regeln zu duplizieren und sie dann nur noch anpassen zu müssen… Trello?

Ich habe das in Trello eingetragen.

Gürol

Hallo ruhr70,

Hallo Bluefox,

nachdem hier wieder etwas bewegung gibt…

...würde ich meine Frage von weiter oben wiederholen wollen.

http://forum.iobroker.net/viewtopic.php ... 855#p59212

Ich will eine Seite parsen, was ein Login erfordert. Ich denke dieser Fall dürfte auch oft genug vorkommen.

Dabei erwarte ich zwar keine konkrete Lösung, aber ich bräuchte etwas mehr als nur "das kann man mit JavaScript lösen".

(Sollte es hier wirklich der falsche Thread dafür sein, wo soll ich diese Frage lieber stellen?)

vielen Dank im voraus

Gürol

ruhr70

~~@Gürol:~~

http://forum.iobroker.net/viewtopic.php … 855#p59212

Ich will eine Seite parsen, was ein Login erfordert. Ich denke dieser Fall dürfte auch oft genug vorkommen.

Dabei erwarte ich zwar keine konkrete Lösung, aber ich bräuchte etwas mehr als nur "das kann man mit JavaScript lösen".

(Sollte es hier wirklich der falsche Thread dafür sein, wo soll ich diese Frage lieber stellen?) `

Mit dem Parser-Adapter kommst Du da nicht weiter. Javascript wäre dann schon die Lösung

Mein Vorschlag wäre, Du machst in der Kategorie "Skripte" einen neuen Thread auf, z.B.: "[Frage] Seite parsen mit Login" und schreibst ein paar Infos mehr zu Deinen Anforderungen. Wir können uns dann "rantasten" und schauen, ob es lösbar ist.

Hier gab es einen ähnlichen Fall:

http://forum.iobroker.net/viewtopic.php … 017#p61017

Vielleicht hilft Dir das ja.

ruhr70

Ich habe gerade gesehen, dass Du in diesem Thread schon eine Teilinfo eingestellt hattest.

Mach bitte trotzdem einen neuen Thread auf.

Du kannst aber das hier schon einmal versuchen:

! ````
! var timeout = 10000; // Wie lange soll auf eine Antwort gewartet werden?
! var url = "http://meine_url.de";
! //Wenn eine Anmeldung (Authentifizierung benötigt wird)
var username = 'xxx_der _Username';
var password = 'xxx_mein_passwort';
! // ##################################################################
! request = require('request');
! //basic-Authentifizierung
//var auth = 'Basic ' + new Buffer(username + ':' + password).toString('base64');
! //AUthentifizierung per Formular
var form = {
'email': username,
'password': password,
'rememberMe': true
};
! var options = {
url: url,
timeout: timeout,
method: 'POST',
// followRedirect:true,
! // formData: {
form: form,
'headers': {
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:40.0) Gecko/20100101 Firefox/40.1',
// 'Authorization': auth,
'Content-Type': 'application/x-www-form-urlencoded'
// "Upgrade-Insecure-Request": 1
}
};
! function requestUrl() {
try {
request(options, function (error, response, body) {
if(!response) {
log("ERROR: kein Response","warn");
return;
}
log("Status Code: " + response.statusCode);

        log(response && JSON.stringify(response.headers));
        if (!error && ('' + response.statusCode).match(/^2\d\d$/)) {        // kein Fehler (2xx), Inhalt in body
            log("Status Code: " + response && response.statusCode);
            log("Cookie: "+response.headers['set-cookie']); //returns cookie in correct format
            log("body: " +  body && body);
            var cookieJar = request.jar();

! log("cookieJar:" + JSON.stringify(cookieJar));
var cookie = response.headers['set-cookie'];
log("Cookie: " + cookie);
! } else { // Fehler bei der Abfrage der Webseite
! // EHOSTUNREACH, ETIMEDOUT
if (!error) {
log("interpretiere Statuscode: " + response.statusCode+ " zur Fehlereingrenzung","warn");
//
} else {
log("Und das auch noch? ?","warn");
log("ERROR CODE: " + error && error.code + " ################","warn");
//
}
! }
});
} catch (error) {
log('Fehler (try) leseWebseite: ' + error, 'error');
}
}
! // main
// -----------------------------------------------------------------------------
! requestUrl();
! ````

ruhr70

~~@Gürol:~~

Ich will eine Seite parsen, was ein Login erfordert. Ich denke dieser Fall dürfte auch oft genug vorkommen. `

Hattest Du das Skript ausprobiert?

Gürol

~~@ruhr70:~~

Hattest Du das Skript ausprobiert? `
Halllo Ruhr70,

vielen Dank für den Script. Ich hatte in den letzten Tagen leider viel zu tun.

Da ich normalerweise nicht in JS programmiere, hätte es wenig Sinn gemacht zwischen Tür und Angel etwas zu versuchen.

Ich werde jedoch am morgigen Donnerstag genug Zeit haben mich lang und breit damit zu beschäftigen. Dann gibt es auch ein ausführliches Feedback.

Gruß

Gürol

Gürol

~~@ruhr70:~~

Hattest Du das Skript ausprobiert? `
Hallo Ruhr70,

ich hatte mir zwar gedacht, daß so etwas nicht einfach sein würde, aber es ist doch etwas komplizierter als ich dachte…

Diese Script, was du vorgeschlagen hast, scheint zu funktionieren. Das ist die gute Nachtricht.

Es liefert (bei der Web-Seite, den ich parsen will) jedoch den Statuscode 302. Das ist die schlechte Nachricht.

Statuscode 302 ist laut Wikipedia (https://de.wikipedia.org/wiki/HTTP-Statuscode) eine Weiterleitung.

Mir ist aber (noch) nicht gelungen diese Weiterleitung erfolgreich zu folgen.

Hier ist der Header, den ich bekomme:

{"date":"Thu, 25 May 2017 21:41:50 GMT","content-type":"text/html; charset=UTF-8","transfer-encoding":"chunked","connection":"close","set-cookie":["__cfduid=dfef8418c2d1528f97e83d467ecc5487e1495748510; expires=Fri, 25-May-18 21:41:50 GMT; path=/; domain=.abc.com; HttpOnly","PHPSESSID=e10cc82bee1f0bd55700b1a4f0389d23; path=/"],"x-powered-by":"PHP/5.6.29","expires":"Thu, 19 Nov 1981 08:52:00 GMT","cache-control":"no-store, no-cache, must-revalidate, post-check=0, pre-check=0","pragma":"no-cache","location":"/login?redirect=%2Fsearch%2Fabc","server":"cloudflare-nginx","cf-ray":"364ba9407f8e6409-FRA"}
````(Ich habe den Namen der Web-Seite unkenntlich gemacht.)

Gruß

Gürol

ruhr70

~~@Gürol:~~

Es liefert (bei der Web-Seite, den ich parsen will) jedoch den Statuscode 302. `

Im Skript gibt es folgende Zeile, die auskommentiert ist:

//  followRedirect:true,

Was passiert denn, wenn Du die "//" entfernst?

Gürol

~~@ruhr70:~~

Was passiert denn, wenn Du die "//" entfernst? `
Das war auch meine Hoffnung gewesen, aber es hat an dem Ergebnis nichts geändert.

Das macht auch Sinn, wenn man die Doku (https://www.npmjs.com/package/request#r … s-callback) liest. Defaultwert für followRedirect ist ohnehin "true". d.h. Es ändert sich nichts, wenn man es auskommentiert.

Ich habe es jetzt mit "followAllRedirects:true," versucht (dessen Defaultwert "false" ist).

Es wird zwar 200 und eine Body zurückgeliefert, es zeigt aber eine Seite, was nicht eingeloggt ist. :?

Gruß

Gürol

ruhr70

Wann erfolgt denn der Redirect?

Bevor Du Dich anmeldest oder nach der Anmeldung?

Funktioniert Deiner Meinung nach die Anmeldung per Formular?

Mit Chrome kannst Du Dir mal den "normalen" Weg über die Webseite ansehen.

Über die drei Punkte rechts -> weitere Tools -> Entwicklertools

Und dann dort den Reiter -> Network

Dann auf Deine Anmeldeseite und Du kannst dann nach verfolgen, wie der Ablauf über den Browser ist.

In dem Moment, wo Du auf "anmelden" klickst, müsste auf einer Seite das POST mit der 302 bekommen. Dort sollten die Daten für die Anmeldung (FORM) ersichtlich sein. Schwierig per Ferndiagnose aber vielleicht kommen wir mit den Infos schon einmal einen Schritt weiter (Anmeldung erfolgt ja/nein, wie geht es weiter, …). Ich habe eine Seite, bei der es ähnlich läuft (Anmeldung per Formular, danach Redirect per 302). Ich werde mich erst morgen am Rechner setzen können, um es da selbst zu probieren. Wir können uns ja bis dahin so etwas rantasten.

Gürol

~~@ruhr70:~~

Mit Chrome kannst Du Dir mal den "normalen" Weg über die Webseite ansehen.

Über die drei Punkte rechts -> weitere Tools -> Entwicklertools

Und dann dort den Reiter -> Network

Dann auf Deine Anmeldeseite und Du kannst dann nach verfolgen, wie der Ablauf über den Browser ist.

In dem Moment, wo Du auf "anmelden" klickst, müsste auf einer Seite das POST mit der 302 bekommen. Dort sollten die Daten für die Anmeldung (FORM) ersichtlich sein. `
Hallo ruhr70,

danke für den Tipp!

Hier eine kurze Zusammenfassung, was ich in der Zwischenzeit gemacht habe.

1.) Gestern hätte ich beinah den passenden Eintrag bei "Chrome->weitere Tools->Entwicklertools->Network" nicht gefunden.

Es heisst bei mir "login" und war am einfachsten unter "Network->Other" zu finden.

2.) Ich habe gesehen, daß im Formular einiges mehr übertragen wird, als ich zuvor eingetragen hatte. Ich war hoffnungsvoll, aber es hat nicht funktioniert. Ich beschloß eine Nacht darüber zu schlafen.

3.) Heute habe ich mir die Headerinfo näher angeschaut. Ich habe zwei Zeilen von der Debuginfo (die mir erfolgsversprechend erschienen) zu 'User-Agent' und 'Content-Type' hinzugefügt und siehe da: Es tut immer noch nicht. Eigentlich wollte ich aufgeben, aber wenn man so lange mit etwas herum macht, dann will man eigentlich auch voran kommen. So fügte ich zwei weitere Zeilen von Chrome-Debuginfo und dann hat es (kaum zu glauben) tatsächlich funktioniert und ich bekam das zurück geliefert, was ich haben wollte.

4.) Nun ging es darum heraus zu finden, auf welche Zeilen es (in diesem Fall?) wirklich ankam.

Benötigt wird:

a.) Ein "hidden" Formularfeld, das ich bis gestern Abend noch nicht drin hatte.

b.) "followAllRedirects:true," ohne die keine automatische Weiterleitung nach 302 stattfindet.

c.) 'cookie' Zeile aus dem Header in Chrome-Debuginfo.

Das bisher erreichte eine Lösung zu nennen ist wohl etwas verfrüht, weil ich mich vor allem frage ob diese cookie-Infos so ewig drin bleiben können oder alle 30 Tage (oder so) aktualisiert werden müssen.

Das andere Problem ist, wie ich das Ergebnis parsen kann.

@ruhr70: Gibt es in JS (oder node.js) etwas passendes, damit ich in diesem über 300 KB großen String nach irgend etwas suchen kann?

@Bluefox: Gäbe es eine Möglichkeit den selbst abgeholten HTML-String quasi nachträglich in den Parser-Modul zu füttern?

Gruß

Gürol

ruhr70

~~@Gürol:~~

Gibt es in JS (oder node.js) etwas passendes, damit ich in diesem über 300 KB großen String nach irgend etwas suchen kann? `

Du kannst per RegEx im Ergebnis suchen.Ein Online-Tool dafür ist: https://regex101.com/ (dann auf Javascript stellen).

Deinen String kannst Du wahrscheinlich hier nicht posten (oder einen Ausschnitt übere mehrere Zeilen, in dem die gewünschten Daten liegen)?

Prima, wie Du Dich da durchgewühlt hast! Denn Cookie benötigst Du wirklich?

Du meldest Dich ja per Skript per Username/Passwort an.

NEWS

Adapter - Parser (regEx)

Support us

592
Online

31.7k
Users

79.8k
Topics

1.3m
Posts

NEWS

Adapter - Parser (regEx)

Support us

592Online

31.7kUsers

79.8kTopics

1.3mPosts

592
Online

31.7k
Users

79.8k
Topics

1.3m
Posts