Daten aus PW geschützte Website

[OliverIO]

@negalein
ich denke schon. das skript muss genau das machen, was der anwender macht.
das kann auch etwas aufwändiger sein, also nicht nur 2-3 zeilen.
wenn der anbieter es einem noch schwerer machen will kann er auch dinge einbauen, die es nicht mehr mit vertretbaren aufwand rechtfertigt.
ggfs kann man auch mit pupettier arbeiten, darüber den anmelde vorgang durchführen und dann erst die ergebnisseite auswerten.
allerdings ist das resourcentechnisch auch aufwändig (kompletter browser wird im hintergrund geladen)

daher: gibt es die preise nicht auch noch woanders?

[Negalein]

@oliverio sagte in Daten aus PW geschützte Website:

das kann auch etwas aufwändiger sein, also nicht nur 2-3 zeilen.

ich hab von JS leider 0 Ahnung.
Könntest du sowas? Natürlich nicht umsonst.

daher: gibt es die preise nicht auch noch woanders?

genau.
Diese Preise gelten österreichweit von Montag bis Sonntag

[OliverIO]

@negalein

ich könnte mal reinschauen und eine vorabanalyse machen.
dazu würde ich aber den Zugang benötigen oder gibt es einen demo-zugang?

[Negalein]

@oliverio sagte in Daten aus PW geschützte Website:

dazu würde ich aber den Zugang benötigen oder gibt es einen demo-zugang?

PN

[Codierknecht]

@oliverio sagte in Daten aus PW geschützte Website:

das ist eine authentifizierungsmethode die eigentlich gar nicht mehr benutzt werden soll

Ist aber noch nicht bei allen Seitenbetreibern angekommen ... hier offenbar schon ;.)

Security sucks

[OliverIO]

@negalein

so hier ist das script.
allerdings war es doch eine kleine Herausforderung, da ich 3 Bibliotheken (node-fetch,axios,cURL) probieren musste und dann doch am alten request/request hängen geblieben bin.
Diese bibliothek ist zwar deprecated (weil zu Ende entwickelt), aber die einzige
die sogenannte cookie-jars unterstützt, bzw wo es auch funktioniert.
Da hier die Anmeldung über mehrere Seitenaufrufe realisiert wird und die SessionID sozusagen als Authentifizierungs-Token dient, müssen die cookies hier bei jedem request mitgeführt werden.
OK es wäre auch anders gegangen, aber ich war faul.

du musst nur noch deinen user und passwort wieder ins skript eintragen und laufen lassen.
der datenpunktname ebenfalls noch anpassen und er muss vor start existieren.
da ich alle werte (alle treibstoffarten+gültigkeit+preis) auslese, habe ich diese in ein json gesammelt und das landet dann im datenpunkt.

wenn die richtige seite dann geladen ist, wird mit cheerio (dies bildet jquery ausserhalb des browsers nach), wird die html-dom gelesen, die werte extrahiert und noch ein wenig bereinigt.

es ist jetzt alles sehr kompakt, wer fragen hat, weil er was nicht lesen oder verstehen kann, kann gerne fragen.

dieser Lösungsansatz wäre für alle Formular+Session basierten Authentifizierungen möglich.

const dpPrices = "javascript.0.test1";
var user = "xxx";
var pass = "xxx";


const request = require("request");
const cheerio = require("cheerio");

async function main() {

  var optionsLogin = {
    method: 'POST',
    url: "https://netservice.iqcard.at/de/login",
    body: "BENUID=" + user + "&PASSWT=" + pass + "&login-form-submit=login",
    jar: true,
    followRedirect:true,
    followAllRedirects :true,
    headers: {
      "accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9",
      "accept-encoding": "gzip, deflate, br",
      "accept-language": "de-DE,de;q=0.9,en-US;q=0.8,en;q=0.7",
      "cache-control": "no-cache",
      "content-type": "application/x-www-form-urlencoded",
      "dnt": "1",
      "origin": "https://netservice.iqcard.at",
      "pragma": "no-cache",
      "sec-ch-ua": "\"Not?A_Brand\";v=\"8\", \"Chromium\";v=\"108\", \"Google Chrome\";v=\"108\"",
      "sec-ch-ua-mobile": "?0",
      "sec-ch-ua-platform": "\"Windows\"",
      "sec-fetch-dest": "empty",
      "sec-fetch-mode": "cors",
      "sec-fetch-site": "same-origin",
      "upgrade-insecure-requests": "1",
      "User-Agent": " Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36",
      "cookie": "cAccept=true; NETSERVICE=true; IQCARDPASSWT=; IQCARDBENUID= ",
      "Referer": "https://netservice.iqcard.at/de/kunden"
    }
  };
  var optionsPriceinfo = {
    method: 'GET',
    url: "https://netservice.iqcard.at/de/netservice_preisinfo",
    jar: true,
    followRedirect:true,
    followAllRedirects :true,
    headers: {
      "accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9",
      "accept-encoding": "gzip, deflate, br",
      "accept-language": "de-DE,de;q=0.9,en-US;q=0.8,en;q=0.7",
      "cache-control": "no-cache",
      "dnt": "1",
      "origin": "https://netservice.iqcard.at",
      "pragma": "no-cache",
      "sec-ch-ua": "\"Not?A_Brand\";v=\"8\", \"Chromium\";v=\"108\", \"Google Chrome\";v=\"108\"",
      "sec-ch-ua-mobile": "?0",
      "sec-ch-ua-platform": "\"Windows\"",
      "sec-fetch-dest": "empty",
      "sec-fetch-mode": "cors",
      "sec-fetch-site": "same-origin",
      "sec-fetch-user": "?1",
      "upgrade-insecure-requests": "1",
      "User-Agent": " Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36",
      "Referer": "https://netservice.iqcard.at/de/netservice"
    }
  };
  request.jar();
  request.post(optionsLogin,()=>{
    request.get(optionsPriceinfo,(error, response, body)=>{
      const $ = cheerio.load(body);
      let titles = $('div[class="panel-body"] > fieldset > legend > strong').map((i,el)=>$(el).text().replace("Preise","").trim());
      let dates = $('div[class="panel-body"] > fieldset').contents().filter(function() {
        return this.nodeType == 3 && this.data.replace(/\s/gm,"")!=""
      }).map((i,el)=>$(el).text().replace(/\s/gm,"").slice(0,-1));
      let prices = $('div[class="panel-body"] > fieldset > strong').map((i,el)=>$(el).text());
      if (titles.length==dates.length && titles.length==prices.length) {
        console.debug("website structure OK, found matching elements");
      } else {
        console.debug("website structure is not OK, elements doesnt match");
        return;
      }
      let data={};
      for (var i=0;i<titles.length;i++) {
        data[titles[i]]={
          title:titles[i],
          date:dates[i],
          price:prices[i]
        };
      };
      console.debug(data);
      writeDatapoint(data);
    });
  });
  function writeDatapoint(data) {
    console.debug("write dpPrices");
    setState(dpPrices,JSON.stringify(data));
  }
}
main()

[Negalein]

@oliverio sagte in Daten aus PW geschützte Website:

so hier ist das script.

Cool
DANKE
Du bist Mega!

dpPrices = "javascript.0.test1";

Dieser DP muss vor Scriptstart existieren?
Bzw. Kann ich dort auch userdata.0 verwenden?

[OliverIO]

@negalein

wie du magst. da kannst du auch userdata.0 verwenden

[Negalein]

@oliverio sagte in Daten aus PW geschützte Website:

@negalein

wie du magst. da kannst du auch userdata.0 verwenden

probiere es gleich

[OliverIO]

@negalein

ach ich vergaß,
cheerio musst du noch als zusätzliches Modul in den instanzeinstellungen des javascript adapters eintragen
request nicht, da es schon im iobroker enthalten ist

[Negalein]

@oliverio sagte in Daten aus PW geschützte Website:

cheerio musst du noch als zusätzliches Modul in den instanzeinstellungen des javascript adapters eintragen

mach ich

body: "BENUID=" + user + "&PASSWT=" + pass + "&login-form-submit=login",

Wo gehören hier die Zugangsdaten?
Bei BENUID= und &PASSWT=? Oder bei user und pass?

[OliverIO]

@negalein

die xxx jeweils in Zeile 2+3 ersetzen

[Negalein]

@oliverio sagte in Daten aus PW geschützte Website:

die xxx jeweils in Zeile 2+3 ersetzen

gefunden

[Negalein]

@OliverIO

Ich seh im DP zwar Werte

aber klick ich den Wert an, kommt nur

in VIS im JSON-Widget kommt auch nur

[OliverIO]

@negalein
welchen typ hat der datenpunkt?
bei mir hat er Zeichenkette

[Negalein]

@oliverio sagte in Daten aus PW geschützte Website:

welchen typ hat der datenpunkt?
bei mir hat er Zeichenkette

Ah, hab JSON genommen.

[Negalein]

@negalein sagte in Daten aus PW geschützte Website:

@oliverio sagte in Daten aus PW geschützte Website:

welchen typ hat der datenpunkt?
bei mir hat er Zeichenkette

Ah, hab JSON genommen.

[OliverIO]

@negalein

bei mir sieht das anders aus

Einstellungen des Datenpunkts

So der Bearbeitungsmodus für den Wert des Datenpunkts

[Negalein]

@oliverio sagte in Daten aus PW geschützte Website:

Einstellungen des Datenpunkts

So der Bearbeitungsmodus für den Wert des Datenpunkts

Da kommt nur das

obwohl ich sehe dass im DP was sein muss

Hättest event. Nachmittag Zeit für eine Anydesk Session?

[OliverIO]

@negalein

tausche mal bitte noch Zeile 94 gegen. als zeilenreferenz nehm ich die vom geposteten skript
du hast eine ältere Version von iobroker und ich kann mich erinnern,
das das umgestellt wurde, das objekte von iobroker automatisch umgewandelt werden.
das passiert bei dir noch nicht.
Das machen wir mit der folgenden angepassten Zeile selber

    setState(dpPrices,JSON.stringify(data));

ansonsten dann auch anydesk. könnte von 13-14 uhr