Daten aus PW geschützte Website

Latzi

@johgre
bitte sehr...

Ich hab auch die JSON-Ausgabe verändert, damit das Inventwo-JSON-widget damit klarkommt.

const dpPrices = "javascript.0.IQ.Treibstoff_Preis";
var user = "xxx";
var pass = "xxx";
var titles_n=[];
var dates_n=[];
var prices_n=[];
 
const request = require("request");
const cheerio = require("cheerio");
 
async function main() {
 
  var optionsLogin = {
    method: 'POST',
    url: "https://netservice.iqcard.at/de/login",
    body: "BENUID=" + user + "&PASSWT=" + pass + "&login-form-submit=login",
    jar: true,
    followRedirect:true,
    followAllRedirects :true,
    headers: {
      "accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9",
      "accept-encoding": "gzip, deflate, br",
      "accept-language": "de-DE,de;q=0.9,en-US;q=0.8,en;q=0.7",
      "cache-control": "no-cache",
      "content-type": "application/x-www-form-urlencoded",
      "dnt": "1",
      "origin": "https://netservice.iqcard.at",
      "pragma": "no-cache",
      "sec-ch-ua": "\"Not?A_Brand\";v=\"8\", \"Chromium\";v=\"108\", \"Google Chrome\";v=\"108\"",
      "sec-ch-ua-mobile": "?0",
      "sec-ch-ua-platform": "\"Windows\"",
      "sec-fetch-dest": "empty",
      "sec-fetch-mode": "cors",
      "sec-fetch-site": "same-origin",
      "upgrade-insecure-requests": "1",
      "User-Agent": " Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36",
      "cookie": "cAccept=true; NETSERVICE=true; IQCARDPASSWT=; IQCARDBENUID= ",
      "Referer": "https://netservice.iqcard.at/de/kunden"
    }
  };
  var optionsPriceinfo = {
    method: 'GET',
    url: "https://netservice.iqcard.at/de/netservice_preisinfo",
    jar: true,
    followRedirect:true,
    followAllRedirects :true,
    headers: {
      "accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9",
      "accept-encoding": "gzip, deflate, br",
      "accept-language": "de-DE,de;q=0.9,en-US;q=0.8,en;q=0.7",
      "cache-control": "no-cache",
      "dnt": "1",
      "origin": "https://netservice.iqcard.at",
      "pragma": "no-cache",
      "sec-ch-ua": "\"Not?A_Brand\";v=\"8\", \"Chromium\";v=\"108\", \"Google Chrome\";v=\"108\"",
      "sec-ch-ua-mobile": "?0",
      "sec-ch-ua-platform": "\"Windows\"",
      "sec-fetch-dest": "empty",
      "sec-fetch-mode": "cors",
      "sec-fetch-site": "same-origin",
      "sec-fetch-user": "?1",
      "upgrade-insecure-requests": "1",
      "User-Agent": " Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36",
      "Referer": "https://netservice.iqcard.at/de/netservice"
    }
  };
  request.jar();
  request.post(optionsLogin,()=>{
    request.get(optionsPriceinfo,(error, response, body)=>{
      const $ = cheerio.load(body);            
      let titles = $('div[class="panel-body"] > fieldset > legend > strong').map((i,el)=>$(el).text().replace("Preise","").trim());
      let dates = $('div[class="panel-body"] > fieldset').contents().filter(function() {
        return this.nodeType == 3 && this.data.replace(/\s/gm,"")!=""
      }).map((i,el)=>$(el).text().replace(/\s/gm,"").slice(0,-1));
      let prices = $('div[class="panel-body"] > fieldset > strong').map((i,el)=>$(el).text());

      for (var i=0;i<5;i++) {
           titles_n[i]=titles[i];
           dates_n[i]=dates[3*i];
           prices_n[i]=prices[3*i];
      }    
      if (titles_n.length==dates_n.length && titles_n.length==prices_n.length) {
        //console.log("website structure OK, found matching elements");
      } else {
        console.log("website structure is not OK, elements doesnt match");
        return;
      }
      let data=JSON.parse('[]');
      for (var i=0;i<titles_n.length;i++) {
        data.push({
          "Sorte": titles_n[i],
          "Datum": dates_n[i],
          "Preis": prices_n[i]         
    });
      };
      //console.log(data);
      writeDatapoint(data);
    });
  });
  function writeDatapoint(data) {
    //console.debug("write dpPrices");
    setState(dpPrices,JSON.stringify(data));
  }
}

schedule("5 21 * * 1", async function () {
   main();   
});

Hast du auch die 3-Wochen-Ansicht?

JohGre

@latzi Super Danke, jetzt bekomm ich auch die Daten rein. Nein, hab eigentlich auch nur eine Woche zur Ansicht, aber noch viele Europäische Länder mit unterschiedlichen Preisen.

Negalein

@johgre sagte in Daten aus PW geschützte Website:

aber noch viele Europäische Länder mit unterschiedlichen Preisen

interessant wie unterschiedlich mit IQ verhandelt wird.
Wir (Siedlerverein) können nur in Österreich billiger tanken.

OliverIO

@negalein
@Latzi

So ein neuer Versuch, der jetzt beide Strukturen einheitlich behandelt.

//hier bitte konfigurieren
//datenpunkt sollte vor skriptstart bereits existieren und mit Typ Text erstellt worden sein
const dpPrices = "javascript.0.test1";
let user = "xxx";
let pass = "xxx";

//ab hier nix verändern
const request = require("request");
const cheerio = require("cheerio");

let $;
async function main() {

  var optionsLogin = {
    method: 'POST',
    url: "https://netservice.iqcard.at/de/login",
    body: "BENUID=" + user + "&PASSWT=" + pass + "&login-form-submit=login",
    jar: true,
    followRedirect: true,
    followAllRedirects: true,
    headers: {
      "accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9",
      "accept-encoding": "gzip, deflate, br",
      "accept-language": "de-DE,de;q=0.9,en-US;q=0.8,en;q=0.7",
      "cache-control": "no-cache",
      "content-type": "application/x-www-form-urlencoded",
      "dnt": "1",
      "origin": "https://netservice.iqcard.at",
      "pragma": "no-cache",
      "sec-ch-ua": "\"Not?A_Brand\";v=\"8\", \"Chromium\";v=\"108\", \"Google Chrome\";v=\"108\"",
      "sec-ch-ua-mobile": "?0",
      "sec-ch-ua-platform": "\"Windows\"",
      "sec-fetch-dest": "empty",
      "sec-fetch-mode": "cors",
      "sec-fetch-site": "same-origin",
      "upgrade-insecure-requests": "1",
      "User-Agent": " Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36",
      "cookie": "cAccept=true; NETSERVICE=true; IQCARDPASSWT=; IQCARDBENUID= ",
      "Referer": "https://netservice.iqcard.at/de/kunden"
    }
  };
  var optionsPriceinfo = {
    method: 'GET',
    url: "https://netservice.iqcard.at/de/netservice_preisinfo",
    jar: true,
    followRedirect: true,
    followAllRedirects: true,
    headers: {
      "accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9",
      "accept-encoding": "gzip, deflate, br",
      "accept-language": "de-DE,de;q=0.9,en-US;q=0.8,en;q=0.7",
      "cache-control": "no-cache",
      "dnt": "1",
      "origin": "https://netservice.iqcard.at",
      "pragma": "no-cache",
      "sec-ch-ua": "\"Not?A_Brand\";v=\"8\", \"Chromium\";v=\"108\", \"Google Chrome\";v=\"108\"",
      "sec-ch-ua-mobile": "?0",
      "sec-ch-ua-platform": "\"Windows\"",
      "sec-fetch-dest": "empty",
      "sec-fetch-mode": "cors",
      "sec-fetch-site": "same-origin",
      "sec-fetch-user": "?1",
      "upgrade-insecure-requests": "1",
      "User-Agent": " Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36",
      "Referer": "https://netservice.iqcard.at/de/netservice"
    }
  };

  request.jar();
  request.post(optionsLogin, () => {
    request.get(optionsPriceinfo, (error, response, body) => {
      let data = analyze(body);
      log(data);
      writeDatapoint(data);
    });
  });
 function writeDatapoint(data) {
   log("write dpPrices");
   setState(dpPrices,JSON.stringify(data));
 }
}
main()

function analyze(body) {
  $ = cheerio.load(body);
  let countrys = $(".row > div > fieldset");
  let data = {}
  for (var i = 1; i < countrys.length; i++) {
    let country = getCountry(countrys[i]);
    data[country.countryname] = country;
  }
  return data;
}
function getCountry(country) {
  let data = {};
  data.services = {};
  data.info = "";
  data.countryname = $(country).find("> legend").text().trim();
  let sections = $(country).find(".panel .panel-heading");
  for (var i = 0; i < sections.length; i++) {
    let section = $(sections[i]);
    let title = section.text().trim();
    let fields = $(section.next().find("fieldset"));
    if (fields.length > 0) {
      data.services[title] = getGasPrices(fields);
    } else {
      data.services[title] = getOtherServices(section.next());
    }
  }
  if (sections.length == 0) data.info = $(country).contents().filter((i, el) => el.nodeType == 3).text().trim();
  return data;
}
function getGasPrices(fields) {
  let data = [];
  for (var i = 0; i < fields.contents().length; i++) {
    let field = fields.contents()[i];
    if (field.nodeType == 3 && field.data.replace(/\s/gm, "") != "") {
      let date = field.data.replace(/\s/gm, "");
      let price = $(field).next().text();
      data.push({ date: date, price: price });
    }
  }
  return data;
}
function getOtherServices(fields) {
  return fields.text().trim();
}

die geschrieben Datenstruktur hat sich allerdings verändert und sieht nun wie folgt aus

{
 "ÖSTERREICH": {
   "services": {
     "Super Plus": [
       {
         "date": "05.12.2022-11.12.2022:",
         "price": "1,642 EUR"
       }
     ],
     "Super": [
       {
         "date": "05.12.2022-11.12.2022:",
         "price": "1,498 EUR"
       }
     ],
     "Normal": [
       {
         "date": "05.12.2022-11.12.2022:",
         "price": "1,498 EUR"
       }
     ],
     "Diesel": [
       {
         "date": "05.12.2022-11.12.2022:",
         "price": "1,685 EUR"
       }
     ],
     "Premium Diesel": [
       {
         "date": "05.12.2022-11.12.2022:",
         "price": "1,919 EUR"
       }
     ],
     "IQ Motoröle und Chemie": "10 % Rabatt",
     "Autowäsche": "10 % Rabatt"
   },
   "info": "",
   "countryname": "ÖSTERREICH"
 },
 "BOSNIEN UND HERZEGOWINA": {
   "services": {},
   "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
   "countryname": "BOSNIEN UND HERZEGOWINA"
 },
 "BELGIEN": {
   "services": {},
   "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
   "countryname": "BELGIEN"
 },
 "BULGARIEN": {
   "services": {},
   "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
   "countryname": "BULGARIEN"
 },
 "DEUTSCHLAND": {
   "services": {},
   "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
   "countryname": "DEUTSCHLAND"
 },
 "DÄNEMARK": {
   "services": {},
   "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
   "countryname": "DÄNEMARK"
 },
 "SPANIEN": {
   "services": {},
   "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
   "countryname": "SPANIEN"
 },
 "FRANKREICH": {
   "services": {},
   "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
   "countryname": "FRANKREICH"
 },
 "GROßBRITANNIEN": {
   "services": {},
   "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
   "countryname": "GROßBRITANNIEN"
 },
 "UNGARN": {
   "services": {},
   "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
   "countryname": "UNGARN"
 },
 "ITALIEN": {
   "services": {},
   "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
   "countryname": "ITALIEN"
 },
 "LITAUEN": {
   "services": {},
   "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
   "countryname": "LITAUEN"
 },
 "LUXEMBURG": {
   "services": {},
   "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
   "countryname": "LUXEMBURG"
 },
 "NIEDERLANDE": {
   "services": {},
   "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
   "countryname": "NIEDERLANDE"
 },
 "NORWEGEN": {
   "services": {},
   "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
   "countryname": "NORWEGEN"
 },
 "POLEN": {
   "services": {},
   "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
   "countryname": "POLEN"
 },
 "RUMÄNIEN": {
   "services": {},
   "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
   "countryname": "RUMÄNIEN"
 },
 "SLOWENIEN": {
   "services": {},
   "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
   "countryname": "SLOWENIEN"
 }
}

Latzi

@oliverio
klappt perfekt
Ergebnis-JSON mit 270 Zeilen ist eine Ansage

Negalein

@oliverio sagte in Daten aus PW geschützte Website:

So ein neuer Versuch, der jetzt beide Strukturen einheitlich behandelt.

Merci! Werde ich gleich tauschen!

Negalein

@oliverio

Guten Morgen!

Habe gerade bemerkt, dass das Script nicht mehr funktioniert .
Bekomme folgende Meldung.

09:04:25.313	info	javascript.0 (1025547) Stop script script.js.common.IQ-Sprit
09:04:25.313	info	javascript.1 (1025554) Stop script script.js.common.IQ-Sprit
09:04:26.352	info	javascript.0 (1025547) Start javascript script.js.common.IQ-Sprit
09:04:26.364	error	javascript.0 (1025547) script.js.common.IQ-Sprit: Error: Cannot find module 'cheerio'
09:04:26.366	error	javascript.0 (1025547) at script.js.common.IQ-Sprit:9:17
09:04:26.366	error	javascript.0 (1025547) at script.js.common.IQ-Sprit:136:3
09:04:26.387	info	javascript.0 (1025547) script.js.common.IQ-Sprit: registered 0 subscriptions, 1 schedule, 0 messages, 0 logs and 0 file subscriptions

cheerio hab ich aber in den Modulen hinzugefügt.

Kannst du mal drüberschaun?

Danke

OliverIO

@negalein

Cannot find module cheerio.
Schau mal in den Einstellungen des JavaScript Adapters,
Entferne den Eintrag cheerio und füge ihn erneut hinzu (evtl auch in 2 Schritten mit speichern nach dem entfernen.)

Negalein

@oliverio sagte in Daten aus PW geschützte Website:

Entferne den Eintrag cheerio und füge ihn erneut hinzu (evtl auch in 2 Schritten mit speichern nach dem entfernen.)

Danke
musste es 2x machen. Jetzt funktionierts wieder.

OliverIO

@negalein

ok, warum auch immer diese bibliothek rausgeflogen ist.
muss man mal beobachten, was beim nächsten update des javascript adapter passiert, evtl ist da noch ein Fehler, der nach einem update die zusätzlichen bibliotheken nicht überprüft und installiert (warum auch immer sie deinstalliert wurden)

Dr. Bakterius

Der Thread ist zwar schon etwas älter und wenn ich ihn früher gefunden hätte, dann hätte ich mir vielleicht etwas Arbeit erspart, aber so bin ich auf eine weitere Lösung gekommen den Preis bei der IQ-Tankkarte nach Login automatisch abzufragen.

Ich mache das mit einem Bash-Script welches ich per Cron regelmäßig aufrufe.
Edit: Das Script habe ich so angepasst, dass Datum und alle Spritpreise in einzelne Datenpunkte von ioBroker geschrieben werden. Damit kann man auch die Werte auch unabhängig voneinander aufzeichnen und als Diagramme darstellen. In VIS sieht die aktuelle Preisanzeige dann bei mir so aus:

Erst wird ein Login durchgeführt und das Cookie gespeichert. Danach die aktuelle Preisseite heruntergeladen. Dann werden das Datum und die Preise extrahiert und in Datenpunkte bei ioBroker geschrieben. Anschließend wir die geladene Datei gelöscht.

Davor die Datenpunkte in ioBroker anlegen und die Zugangsdaten im Script eintragen.

#!/bin/bash

# Einloggen und Cookie speichern
 wget --save-cookies cookies.txt \
     --keep-session-cookies \
     --post-data 'BENUID={username}&PASSWT={password}' \
     --delete-after \
     https://netservice.iqcard.at/de/login

# Seite mit den Preisen speichern
 wget --load-cookies cookies.txt \
     https://netservice.iqcard.at/de/netservice_preisinfo

# gespeicherte Seite in Variable einlesen
 IQWeb=$(<netservice_preisinfo)
	
# Daten auslesen
 Datum=$(echo "$IQWeb" | grep -A 1 "preismast hidden-xs" | tr "<>" " " | awk '{print $4}' | xargs)
 Diesel=$(echo "$IQWeb" | grep "preismastDieselPreis" | tr "<>" " " | awk '{print $3}' | tr "," "." | xargs)
 Benzin=$(echo "$IQWeb" | grep "preismastBenzinPreis" | tr "<>" " " | awk '{print $3}' | tr "," "." | xargs)
 Super=$(echo "$IQWeb" | grep "preismastSuperPreis" | tr "<>" " " | awk '{print $3}' | tr "," "." | xargs)
 SuperPlus=$(echo "$IQWeb" | grep "preismastSuperplusPreis" | tr "<>" " " | awk '{print $3}' | tr "," "." | xargs)

# in ioBroker Datenpunkte schreiben
 if [[ -n "${Datum}" && -n "${Diesel}" && -n "${Benzin}" && -n "${Super}" && -n "${SuperPlus}" ]]; then
  Erg=$(curl -s http://{ip.from.io.broker}:8082/set/0_userdata.0.IQ_Card_Tankkarte.Datum?value=$Datum)
  Erg=$(curl -s http://{ip.from.io.broker}:8082/set/0_userdata.0.IQ_Card_Tankkarte.Diesel?value=$Diesel)
  Erg=$(curl -s http://{ip.from.io.broker}:8082/set/0_userdata.0.IQ_Card_Tankkarte.Benzin?value=$Benzin)
  Erg=$(curl -s http://{ip.from.io.broker}:8082/set/0_userdata.0.IQ_Card_Tankkarte.Super?value=$Super)
  Erg=$(curl -s http://{ip.from.io.broker}:8082/set/0_userdata.0.IQ_Card_Tankkarte.SuperPlus?value=$SuperPlus)
 fi

# gespeicherte Seite löschen
 rm netservice_preisinfo

Negalein

@oliverio sagte in Daten aus PW geschützte Website:

ok, warum auch immer diese bibliothek rausgeflogen ist.

Hallo Oliver!

Durch meinen Thread ist @liv-in-sky gerade dabei, das Script von request auf axios für mich umzustellen.
Allerdings klappt nicht alles.

Könntest du da behilflich sein, oder hier helfen?

Latzi

@dr-bakterius
offenbar hat IQ die website geändert, läuft bei dir das script noch?

Negalein

@latzi sagte in Daten aus PW geschützte Website:

offenbar hat IQ die website geändert, läuft bei dir das script noch?

gerade gesehn. Läuft bei mir nicht mehr.

Negalein

@oliverio sagte in Daten aus PW geschützte Website:

dann muss da immer auf ein skript zurückgegriffen werden

Hallo Oliver!

Die haben jetzt die Seite etwas verändert.
Könntest du dir das nochmals anschaun?

Ich schick dir per PN die benötigten Daten.

LG

Dr. Bakterius

@latzi @Negalein

Ich habe das Skript an die geänderte Seite angepasst:

#!/bin/bash

# Einloggen und Cookie speichern
 wget --save-cookies cookies.txt \
     --keep-session-cookies \
	 --post-data="Username={username}&Password={password}" \
     --delete-after \
	 https://netservice.iqcard.at//de/Kunden?handler=SignInDb

# Seite mit den Preisen speichern
 wget --load-cookies cookies.txt \
	 https://netservice.iqcard.at/de/netservice/Preisinfo

# gespeicherte Seite in Variable einlesen
 IQWeb=$(<Preisinfo)
	
# Daten auslesen
 Datum=$(echo "$IQWeb" | grep -A3 "<strong>Super Preise</strong>" | sed -n "4p" | awk '{print $1,$2,$3}' | sed -e 's/ //g' | xargs)
 Diesel=$(echo "$IQWeb" | grep "preismastDieselPreis" | tr "<>" " " | awk '{print $3}' | tr "," "." | xargs)
 Benzin=$(echo "$IQWeb" | grep "preismastBenzinPreis" | tr "<>" " " | awk '{print $3}' | tr "," "." | xargs)
 Super=$(echo "$IQWeb" | grep "preismastSuperPreis" | tr "<>" " " | awk '{print $3}' | tr "," "." | xargs)
 SuperPlus=$(echo "$IQWeb" | grep "preismastSuperplusPreis" | tr "<>" " " | awk '{print $3}' | tr "," "." | xargs)

# in ioBroker Datenpunkte schreiben
 if [[ -n "${Datum}" && -n "${Diesel}" && -n "${Benzin}" && -n "${Super}" && -n "${SuperPlus}" ]]; then
	echo $Datum
	Erg=$(curl -s http://ip.from.io.broker:8082/set/0_userdata.0.IQ_Card_Tankkarte.Datum?value=$Datum)
	echo $Diesel
	Erg=$(curl -s http://ip.from.io.broker:8082/set/0_userdata.0.IQ_Card_Tankkarte.Diesel?value=$Diesel)
	echo $Benzin
	Erg=$(curl -s http://ip.from.io.broker:8082/set/0_userdata.0.IQ_Card_Tankkarte.Benzin?value=$Benzin)
	echo $Super
	Erg=$(curl -s http://ip.from.io.broker:8082/set/0_userdata.0.IQ_Card_Tankkarte.Super?value=$Super)
	echo $SuperPlus
	Erg=$(curl -s http://ip.from.io.broker:8082/set/0_userdata.0.IQ_Card_Tankkarte.SuperPlus?value=$SuperPlus)
 else
	echo "Datenabfrage fehlerhaft!"
 fi

# gespeicherte Seite löschen
 rm Preisinfo

Latzi

@dr-bakterius
Super, vielen Dank

OliverIO

stimmt da war ja noch was. hier das ergebnis von heute nacht. von @Negalein getestet

gegenüber dem letzten mal hat sich die login prozedur geändert und kleinigkeiten am webseitenaufbau

testergebnisse gerne hier, da wohl abhängig von der berechtigung die seite anders aufgebaut ist.

//hier bitte konfigurieren
//datenpunkt sollte vor skriptstart bereits existieren und mit Typ Text erstellt worden sein
const dpPrices = "0_userdata.0.IQ_Sprit.IQ_Sprit";
let user = "xxx";
let pass = "xxx";

//ab hier nix verändern
const axios = require('axios');
const cheerio = require("cheerio");
const tough = require('tough-cookie');
const { wrapper } = require('axios-cookiejar-support');

const cookieJar = new tough.CookieJar();
const client = wrapper(axios.create({
    jar: cookieJar,
    withCredentials: true,
}));

let $;
async function main() {

    const optionsStart = {
        method: 'GET',
        url: 'https://netservice.iqcard.at/de/Kunden',
        "headers": {
            "accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7",
            "accept-language": "de-DE,de;q=0.9,en-US;q=0.8,en;q=0.7",
            "cache-control": "no-cache",
            "pragma": "no-cache",
            "priority": "u=0, i",
            "sec-ch-ua": "\"Not/A)Brand\";v=\"8\", \"Chromium\";v=\"126\", \"Google Chrome\";v=\"126\"",
            "sec-ch-ua-mobile": "?0",
            "sec-ch-ua-platform": "\"Windows\"",
            "sec-fetch-dest": "document",
            "sec-fetch-mode": "navigate",
            "sec-fetch-site": "none",
            "sec-fetch-user": "?1",
            "upgrade-insecure-requests": "1",
            "Referrer-Policy": "strict-origin-when-cross-origin"
        }
    };

    const optionsPreisinfo = {
        method: 'GET',
        url: 'https://netservice.iqcard.at/de/netservice/Preisinfo',
        "headers": {
            "accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7",
            "accept-language": "de-DE,de;q=0.9,en-US;q=0.8,en;q=0.7",
            "cache-control": "no-cache",
            "pragma": "no-cache",
            "priority": "u=0, i",
            "sec-ch-ua": "\"Not/A)Brand\";v=\"8\", \"Chromium\";v=\"126\", \"Google Chrome\";v=\"126\"",
            "sec-ch-ua-mobile": "?0",
            "sec-ch-ua-platform": "\"Windows\"",
            "sec-fetch-dest": "document",
            "sec-fetch-mode": "navigate",
            "sec-fetch-site": "same-origin",
            "sec-fetch-user": "?1",
            "upgrade-insecure-requests": "1",
            'Referer': 'https://netservice.iqcard.at/de/Kunden',
            "Referrer-Policy": "strict-origin-when-cross-origin"
        }
    };

    let responseStart, responseLogin, responsePreis;
    try {
        responseStart = await client(optionsStart);
        responseLogin = await client(getLoginOptions(responseStart));
        responsePreis = await client(optionsPreisinfo);

    } catch (error) {
        console.error('Error making the request:', error);
        return;
    }
    const data = analyze(responsePreis.data);
    writeDatapoint(data)
}

function getLoginOptions(response) {
    //   jQuery("#content > div.col_one_third.nobottommargin > div > form > input[type=hidden]").attr("value")
    $ = cheerio.load(response.data);
    let token = $("#content > div.col_one_third.nobottommargin > div > form > input[type=hidden]").attr("value");
    return {
        method: 'POST',
        url: 'https://netservice.iqcard.at/de/Kunden?handler=SignInDb',
        data: `Username=${user}&Password=${pass}&__RequestVerificationToken=${token}`,
        "headers": {
            "accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7",
            "accept-language": "de-DE,de;q=0.9,en-US;q=0.8,en;q=0.7",
            "cache-control": "no-cache",
            "content-type": "application/x-www-form-urlencoded",
            "pragma": "no-cache",
            "priority": "u=0, i",
            "sec-ch-ua": "\"Not/A)Brand\";v=\"8\", \"Chromium\";v=\"126\", \"Google Chrome\";v=\"126\"",
            "sec-ch-ua-mobile": "?0",
            "sec-ch-ua-platform": "\"Windows\"",
            "sec-fetch-dest": "document",
            "sec-fetch-mode": "navigate",
            "sec-fetch-site": "same-origin",
            "sec-fetch-user": "?1",
            "upgrade-insecure-requests": "1",
            'Referer': 'https://netservice.iqcard.at/de/Kunden',
            "Referrer-Policy": "strict-origin-when-cross-origin"
        },
        maxRedirects: 5, // Anzahl der zu folgenden Redirects
        withCredentials: true // für das Cookie-Handling
    };
}

function writeDatapoint(data) {
    //   log("write dpPrices");
    setState(dpPrices, JSON.stringify(data));
}

function analyze(body) {
    $ = cheerio.load(body);
    let countrys = $(".row > div > fieldset");
    let data = {}
    for (var i = 1; i < countrys.length; i++) {
        let country = getCountry(countrys[i]);
        data[country.countryname] = country;
    }
    return data;
}
function getCountry(country) {
    let data = {};
    data.services = {};
    data.info = "";
    data.countryname = $(country).find("> legend").text().trim();
    let sections = $(country).find(".accordion-item");
    for (var i = 0; i < sections.length; i++) {
        let section = $(sections[i]);

        let fields = $(section.find("fieldset div"));
        if (fields.length > 0) {
            let title = section.find("legend").text().trim();
            data.services[title] = getGasPrices(fields);
        } else {
            let title = $(section).find(".accordion-header button").text().replace(/(\r\n|\n|\r|\t)/gm, "")
            data.services[title] = getOtherServices(section);
        }
    }
    if (sections.length == 0) data.info = $(country).contents().filter((i, el) => el.nodeType == 3).text().trim();
    return data;
}
function getGasPrices(fields) {
    let data = [];
    for (var i = 0; i < fields.length; i++) {
        let field = $(fields[i]).contents();
        let date = $(field[0]).text().trim();
        let price = $(field[1]).text().trim();
        data.push({ date: date, price: price });
    }
    return data;
}
function getOtherServices(fields) {
    return $(fields).find(".accordion-body").text().replace(/(\r\n|\n|\r|\t)/gm, "");
}

main();

OliverIO

@dr-bakterius

ach, der server interessiert sich für __RequestVerificationToken
gar nicht? hab ich gar nicht getestet, sondern habs einfach extrahiert und dann mitgeschickt.

Negalein

@oliverio sagte in Daten aus PW geschützte Website:

stimmt da war ja noch was. hier das ergebnis von heute nacht. von @Negalein getestet

läuft seit gestern Nacht einwandfrei.

Danke nochmals. Kaffee kommt demnächst.

NEWS

Daten aus PW geschützte Website

Support us

925
Online

31.6k
Users

79.5k
Topics

1.3m
Posts

NEWS

Daten aus PW geschützte Website

Support us

925Online

31.6kUsers

79.5kTopics

1.3mPosts

925
Online

31.6k
Users

79.5k
Topics

1.3m
Posts