Daten aus PW geschützte Website

Codierknecht

@oliverio sagte in Daten aus PW geschützte Website:

das ist eine authentifizierungsmethode die eigentlich gar nicht mehr benutzt werden soll

Ist aber noch nicht bei allen Seitenbetreibern angekommen ... hier offenbar schon ;.)

Security sucks

OliverIO

so hier ist das script.
allerdings war es doch eine kleine Herausforderung, da ich 3 Bibliotheken (node-fetch,axios,cURL) probieren musste und dann doch am alten request/request hängen geblieben bin.
Diese bibliothek ist zwar deprecated (weil zu Ende entwickelt), aber die einzige
die sogenannte cookie-jars unterstützt, bzw wo es auch funktioniert.
Da hier die Anmeldung über mehrere Seitenaufrufe realisiert wird und die SessionID sozusagen als Authentifizierungs-Token dient, müssen die cookies hier bei jedem request mitgeführt werden.
OK es wäre auch anders gegangen, aber ich war faul.

du musst nur noch deinen user und passwort wieder ins skript eintragen und laufen lassen.
der datenpunktname ebenfalls noch anpassen und er muss vor start existieren.
da ich alle werte (alle treibstoffarten+gültigkeit+preis) auslese, habe ich diese in ein json gesammelt und das landet dann im datenpunkt.

wenn die richtige seite dann geladen ist, wird mit cheerio (dies bildet jquery ausserhalb des browsers nach), wird die html-dom gelesen, die werte extrahiert und noch ein wenig bereinigt.

es ist jetzt alles sehr kompakt, wer fragen hat, weil er was nicht lesen oder verstehen kann, kann gerne fragen.

dieser Lösungsansatz wäre für alle Formular+Session basierten Authentifizierungen möglich.

const dpPrices = "javascript.0.test1";
var user = "xxx";
var pass = "xxx";


const request = require("request");
const cheerio = require("cheerio");

async function main() {

  var optionsLogin = {
    method: 'POST',
    url: "https://netservice.iqcard.at/de/login",
    body: "BENUID=" + user + "&PASSWT=" + pass + "&login-form-submit=login",
    jar: true,
    followRedirect:true,
    followAllRedirects :true,
    headers: {
      "accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9",
      "accept-encoding": "gzip, deflate, br",
      "accept-language": "de-DE,de;q=0.9,en-US;q=0.8,en;q=0.7",
      "cache-control": "no-cache",
      "content-type": "application/x-www-form-urlencoded",
      "dnt": "1",
      "origin": "https://netservice.iqcard.at",
      "pragma": "no-cache",
      "sec-ch-ua": "\"Not?A_Brand\";v=\"8\", \"Chromium\";v=\"108\", \"Google Chrome\";v=\"108\"",
      "sec-ch-ua-mobile": "?0",
      "sec-ch-ua-platform": "\"Windows\"",
      "sec-fetch-dest": "empty",
      "sec-fetch-mode": "cors",
      "sec-fetch-site": "same-origin",
      "upgrade-insecure-requests": "1",
      "User-Agent": " Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36",
      "cookie": "cAccept=true; NETSERVICE=true; IQCARDPASSWT=; IQCARDBENUID= ",
      "Referer": "https://netservice.iqcard.at/de/kunden"
    }
  };
  var optionsPriceinfo = {
    method: 'GET',
    url: "https://netservice.iqcard.at/de/netservice_preisinfo",
    jar: true,
    followRedirect:true,
    followAllRedirects :true,
    headers: {
      "accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9",
      "accept-encoding": "gzip, deflate, br",
      "accept-language": "de-DE,de;q=0.9,en-US;q=0.8,en;q=0.7",
      "cache-control": "no-cache",
      "dnt": "1",
      "origin": "https://netservice.iqcard.at",
      "pragma": "no-cache",
      "sec-ch-ua": "\"Not?A_Brand\";v=\"8\", \"Chromium\";v=\"108\", \"Google Chrome\";v=\"108\"",
      "sec-ch-ua-mobile": "?0",
      "sec-ch-ua-platform": "\"Windows\"",
      "sec-fetch-dest": "empty",
      "sec-fetch-mode": "cors",
      "sec-fetch-site": "same-origin",
      "sec-fetch-user": "?1",
      "upgrade-insecure-requests": "1",
      "User-Agent": " Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36",
      "Referer": "https://netservice.iqcard.at/de/netservice"
    }
  };
  request.jar();
  request.post(optionsLogin,()=>{
    request.get(optionsPriceinfo,(error, response, body)=>{
      const $ = cheerio.load(body);
      let titles = $('div[class="panel-body"] > fieldset > legend > strong').map((i,el)=>$(el).text().replace("Preise","").trim());
      let dates = $('div[class="panel-body"] > fieldset').contents().filter(function() {
        return this.nodeType == 3 && this.data.replace(/\s/gm,"")!=""
      }).map((i,el)=>$(el).text().replace(/\s/gm,"").slice(0,-1));
      let prices = $('div[class="panel-body"] > fieldset > strong').map((i,el)=>$(el).text());
      if (titles.length==dates.length && titles.length==prices.length) {
        console.debug("website structure OK, found matching elements");
      } else {
        console.debug("website structure is not OK, elements doesnt match");
        return;
      }
      let data={};
      for (var i=0;i<titles.length;i++) {
        data[titles[i]]={
          title:titles[i],
          date:dates[i],
          price:prices[i]
        };
      };
      console.debug(data);
      writeDatapoint(data);
    });
  });
  function writeDatapoint(data) {
    console.debug("write dpPrices");
    setState(dpPrices,JSON.stringify(data));
  }
}
main()

Negalein

@oliverio sagte in Daten aus PW geschützte Website:

so hier ist das script.

Cool
DANKE
Du bist Mega!

dpPrices = "javascript.0.test1";

Dieser DP muss vor Scriptstart existieren?
Bzw. Kann ich dort auch userdata.0 verwenden?

OliverIO

@negalein

wie du magst. da kannst du auch userdata.0 verwenden

Negalein

@oliverio sagte in Daten aus PW geschützte Website:

@negalein

wie du magst. da kannst du auch userdata.0 verwenden

probiere es gleich

OliverIO

@negalein

ach ich vergaß,
cheerio musst du noch als zusätzliches Modul in den instanzeinstellungen des javascript adapters eintragen
request nicht, da es schon im iobroker enthalten ist

Negalein

@oliverio sagte in Daten aus PW geschützte Website:

cheerio musst du noch als zusätzliches Modul in den instanzeinstellungen des javascript adapters eintragen

mach ich

body: "BENUID=" + user + "&PASSWT=" + pass + "&login-form-submit=login",

Wo gehören hier die Zugangsdaten?
Bei BENUID= und &PASSWT=? Oder bei user und pass?

OliverIO

@negalein

die xxx jeweils in Zeile 2+3 ersetzen

Negalein

@oliverio sagte in Daten aus PW geschützte Website:

die xxx jeweils in Zeile 2+3 ersetzen

gefunden

Negalein

@OliverIO

Ich seh im DP zwar Werte

aber klick ich den Wert an, kommt nur

in VIS im JSON-Widget kommt auch nur

OliverIO

@negalein
welchen typ hat der datenpunkt?
bei mir hat er Zeichenkette

Negalein

@oliverio sagte in Daten aus PW geschützte Website:

welchen typ hat der datenpunkt?
bei mir hat er Zeichenkette

Ah, hab JSON genommen.

Negalein

@negalein sagte in Daten aus PW geschützte Website:

@oliverio sagte in Daten aus PW geschützte Website:

welchen typ hat der datenpunkt?
bei mir hat er Zeichenkette

Ah, hab JSON genommen.

OliverIO

@negalein

bei mir sieht das anders aus

Einstellungen des Datenpunkts

So der Bearbeitungsmodus für den Wert des Datenpunkts

Negalein

@oliverio sagte in Daten aus PW geschützte Website:

Einstellungen des Datenpunkts

So der Bearbeitungsmodus für den Wert des Datenpunkts

Da kommt nur das

obwohl ich sehe dass im DP was sein muss

Hättest event. Nachmittag Zeit für eine Anydesk Session?

OliverIO

@negalein

tausche mal bitte noch Zeile 94 gegen. als zeilenreferenz nehm ich die vom geposteten skript
du hast eine ältere Version von iobroker und ich kann mich erinnern,
das das umgestellt wurde, das objekte von iobroker automatisch umgewandelt werden.
das passiert bei dir noch nicht.
Das machen wir mit der folgenden angepassten Zeile selber

    setState(dpPrices,JSON.stringify(data));

ansonsten dann auch anydesk. könnte von 13-14 uhr

Negalein

@oliverio sagte in Daten aus PW geschützte Website:

du hast eine ältere Version von iobroker

eigentlich nicht. Bin da aktuell auf 4.0.23

Das machen wir mit der folgenden angepassten Zeile selber

funktioniert

Jetzt muss ich noch rausfinden, wie ich titel date und price vom Diesel in die VIS bringe.
Wollte das gerne als 3 DP machen.

OliverIO

@negalein

iobroker.admin ist in stable auf 6.2.23
und habe selbst noch 5.3.8

zur darstellung.
leider können json datenpunkte in vis nicht verwendet werden.
das wurde kaputt verbessert

ich schlag hierfür das widget JSON template im adapter rssfeed (da gehört es eigentlich nicht hin, nutzt aber die gleiche technik wie rssfeed

du platzierst das widget
trägst in json_id dein datenpunkt ein
und traägst in das feld json_template das folgende ein

<%= data["Super Plus"].title %><br>
<%= data["Super Plus"].date %><br>
<%= data["Super Plus"].price %><br>

das widget macht den datenpunkt dann unter data verfügbar.
alles was zwischen <% und %> ist als platzhalter zu sehen und wird dann durch die anweisung innerhalb dessen ersetzt.
alles ausserhalb wird als html interpretiert.
man kann da sogar mit javascript programmieren.

probier mal ob du damit zurecht kommst
wenn du weißt wie du es darstellen willst, kann ich helfen.
wahrscheinlich in einer tabelle?

Negalein

@oliverio sagte in Daten aus PW geschützte Website:

iobroker.admin ist in stable auf 6.2.23

da bin ich schon

probier mal ob du damit zurecht kommst
wenn du weißt wie du es darstellen willst, kann ich helfen.
wahrscheinlich in einer tabelle?

werde ich testen.

Ich hab derzeit 3 eigene DP (PLZ, Name,, Preis)

Hab das mit Alias gefunden. Da kann man das JSON in eigene DP aufteilen. Das werde ich versuchen.

Negalein

@oliverio

Das mit Alias funktioniert super.
Hab jetzt eigene DP für Preis und Zeitraum.

NEWS

Daten aus PW geschützte Website

Support us

957
Online

31.6k
Users

79.5k
Topics

1.3m
Posts

NEWS

Daten aus PW geschützte Website

Support us

957Online

31.6kUsers

79.5kTopics

1.3mPosts

957
Online

31.6k
Users

79.5k
Topics

1.3m
Posts