Daten aus PW geschützte Website

[Negalein]

@OliverIO

wie oft aktualisiert das Script? Finde nichts oder überseh es.

[Latzi]

@negalein
bei jedem Start des Scripts oder des Adapters. Also nicht definiert
Ich hab´s im code ganz am Ende mit einem cron erledigt (läuft jeden Montag um 23:05):

schedule("5 23 * * 1", async function () {
   main();   
});

[Negalein]

@latzi sagte in Daten aus PW geschützte Website:

Ich hab´s im code ganz am Ende mit einem cron erledigt (läuft jeden Montag um 23:05):

Danke

[fastfoot]

@latzi sagte in Daten aus PW geschützte Website:

leider sind bei mir die Längen der Array´s nicht gleich, dates & prices sind 3 mal länger

da gilt ein Eintrag für 3 Zeiträume, man sollte das eigentlich auch auf der Website sehen. Seltsam dass das bei @Negalein anders ist. Wie auch immer, du kannst das expandieren, indem du deine Zeile 69 durch folgende Zeilen ersetzt

const titles = [];
const titlesTmp = $('div[class="panel-body"] > fieldset > legend > strong').map((i,el)=>$(el).text().replace("Preise","").trim());
for (let i = 0; i < 36; i++) {
    titles[i] = titlesTmp[Math.floor(i / 3)]
};

[Negalein]

@fastfoot sagte in Daten aus PW geschützte Website:

Seltsam dass das bei @Negalein anders ist.

Ja komisch. Ich seh im Portal nur den Preis für die aktuelle Woche.
@Latzi sieht in auch noch für die 2 Vorwochen.

Sind zwar verschiedene Partner (Voest vs. Siedlerverein), aber gültig ist bei beiden nur der Preis von der aktuellen Woche.

[OliverIO]

@latzi sagte in Daten aus PW geschützte Website:

leider sind bei mir die Längen der Array´s nicht gleich, dates & prices sind 3 mal länger

ok, dann ist die seitenstruktur bei dir anders.
dann benötige ich die html seite.
bitte den folgenden code nach der zeile mit

const $ = cheerio.load(body);

einfügen.
das speichert den seiteninhalt in eine txt-datei
wenn du linux einsetzt musst du nix mehr machen.
bei windows musst du den pfad anpassen wo du auch schreiben darfst. da kann ich nix vorgeben.

die text-datei dann bitte hier im forum hochladen.
falls das forum meckert wegen zu groß, dann bei einem beliebigen cloud-provider (dropbox, google drive, mega, etc) hochladen und die datei freigeben .

try {
  fs.writeFileSync('/opt/iobroker/iobroker-data/iqcard.txt', body);
  // file written successfully
} catch (err) {
  console.error(err);
}

[OliverIO]

@fastfoot sagte in Daten aus PW geschützte Website:

ist hier auch so, console.info etc. funktionieren in iobroker nicht. Einfach durch log(text) ersetzen

und bei mir funktioniert console.debug, aber console.info nicht.
warum ist das inkonsistent?
auch in der doku steht nix.
ja log ist beschrieben, aber dennoch seltsam

[fastfoot]

@oliverio das liegt daran dass console in der JS-Adapter Sandbox neu definiert wurde(werden musste!??) und deshalb nicht mit Node zu 100% übereinstimmt. Allerdings war ich mit meiner Einschätzung

console.info etc. funktionieren in iobroker nicht.

etwas voreilig. Es funktionieren ,console.log, .error, .warn und .debug

[Latzi]

@oliverio
vielen Dank, hier die Datei: iqcard.txt

[Latzi]

@oliverio
ich hab´s mal quick & dirty gelöst und die 3 Array´s umkopiert, da mich nur die österreichischen Preise interessieren, also titles von i =0 .. 4 durchlaufen und von prices sowie dates 3*i dazu gestellt (auch die Preise der Vorwochen sind für mich nicht interessant).
Sieht dann so aus:

for (var i=0;i<5;i++) {
     titles_n[i]=titles[i];
     dates_n[i]=dates[3*i];
     prices_n[i]=prices[3*i];
};

Vielen herzlichen Dank nochmals für deine Mühe!

[JohGre]

@latzi Kannst du mir bitte dein vollständiges Script schicken, ich bekomm das mit den 3 Arrays irgendwie nicht hin.

[Latzi]

@johgre
bitte sehr...

Ich hab auch die JSON-Ausgabe verändert, damit das Inventwo-JSON-widget damit klarkommt.

Skript modifiziert

const dpPrices = "javascript.0.IQ.Treibstoff_Preis";
var user = "xxx";
var pass = "xxx";
var titles_n=[];
var dates_n=[];
var prices_n=[];
 
const request = require("request");
const cheerio = require("cheerio");
 
async function main() {
 
  var optionsLogin = {
    method: 'POST',
    url: "https://netservice.iqcard.at/de/login",
    body: "BENUID=" + user + "&PASSWT=" + pass + "&login-form-submit=login",
    jar: true,
    followRedirect:true,
    followAllRedirects :true,
    headers: {
      "accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9",
      "accept-encoding": "gzip, deflate, br",
      "accept-language": "de-DE,de;q=0.9,en-US;q=0.8,en;q=0.7",
      "cache-control": "no-cache",
      "content-type": "application/x-www-form-urlencoded",
      "dnt": "1",
      "origin": "https://netservice.iqcard.at",
      "pragma": "no-cache",
      "sec-ch-ua": "\"Not?A_Brand\";v=\"8\", \"Chromium\";v=\"108\", \"Google Chrome\";v=\"108\"",
      "sec-ch-ua-mobile": "?0",
      "sec-ch-ua-platform": "\"Windows\"",
      "sec-fetch-dest": "empty",
      "sec-fetch-mode": "cors",
      "sec-fetch-site": "same-origin",
      "upgrade-insecure-requests": "1",
      "User-Agent": " Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36",
      "cookie": "cAccept=true; NETSERVICE=true; IQCARDPASSWT=; IQCARDBENUID= ",
      "Referer": "https://netservice.iqcard.at/de/kunden"
    }
  };
  var optionsPriceinfo = {
    method: 'GET',
    url: "https://netservice.iqcard.at/de/netservice_preisinfo",
    jar: true,
    followRedirect:true,
    followAllRedirects :true,
    headers: {
      "accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9",
      "accept-encoding": "gzip, deflate, br",
      "accept-language": "de-DE,de;q=0.9,en-US;q=0.8,en;q=0.7",
      "cache-control": "no-cache",
      "dnt": "1",
      "origin": "https://netservice.iqcard.at",
      "pragma": "no-cache",
      "sec-ch-ua": "\"Not?A_Brand\";v=\"8\", \"Chromium\";v=\"108\", \"Google Chrome\";v=\"108\"",
      "sec-ch-ua-mobile": "?0",
      "sec-ch-ua-platform": "\"Windows\"",
      "sec-fetch-dest": "empty",
      "sec-fetch-mode": "cors",
      "sec-fetch-site": "same-origin",
      "sec-fetch-user": "?1",
      "upgrade-insecure-requests": "1",
      "User-Agent": " Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36",
      "Referer": "https://netservice.iqcard.at/de/netservice"
    }
  };
  request.jar();
  request.post(optionsLogin,()=>{
    request.get(optionsPriceinfo,(error, response, body)=>{
      const $ = cheerio.load(body);            
      let titles = $('div[class="panel-body"] > fieldset > legend > strong').map((i,el)=>$(el).text().replace("Preise","").trim());
      let dates = $('div[class="panel-body"] > fieldset').contents().filter(function() {
        return this.nodeType == 3 && this.data.replace(/\s/gm,"")!=""
      }).map((i,el)=>$(el).text().replace(/\s/gm,"").slice(0,-1));
      let prices = $('div[class="panel-body"] > fieldset > strong').map((i,el)=>$(el).text());

      for (var i=0;i<5;i++) {
           titles_n[i]=titles[i];
           dates_n[i]=dates[3*i];
           prices_n[i]=prices[3*i];
      }    
      if (titles_n.length==dates_n.length && titles_n.length==prices_n.length) {
        //console.log("website structure OK, found matching elements");
      } else {
        console.log("website structure is not OK, elements doesnt match");
        return;
      }
      let data=JSON.parse('[]');
      for (var i=0;i<titles_n.length;i++) {
        data.push({
          "Sorte": titles_n[i],
          "Datum": dates_n[i],
          "Preis": prices_n[i]         
    });
      };
      //console.log(data);
      writeDatapoint(data);
    });
  });
  function writeDatapoint(data) {
    //console.debug("write dpPrices");
    setState(dpPrices,JSON.stringify(data));
  }
}

schedule("5 21 * * 1", async function () {
   main();   
}); 

Hast du auch die 3-Wochen-Ansicht?

[JohGre]

@latzi Super Danke, jetzt bekomm ich auch die Daten rein. Nein, hab eigentlich auch nur eine Woche zur Ansicht, aber noch viele Europäische Länder mit unterschiedlichen Preisen.

[Negalein]

@johgre sagte in Daten aus PW geschützte Website:

aber noch viele Europäische Länder mit unterschiedlichen Preisen

interessant wie unterschiedlich mit IQ verhandelt wird.
Wir (Siedlerverein) können nur in Österreich billiger tanken.

[OliverIO]

@negalein
@Latzi

So ein neuer Versuch, der jetzt beide Strukturen einheitlich behandelt.

Spoiler

//hier bitte konfigurieren
//datenpunkt sollte vor skriptstart bereits existieren und mit Typ Text erstellt worden sein
const dpPrices = "javascript.0.test1";
let user = "xxx";
let pass = "xxx";

//ab hier nix verändern
const request = require("request");
const cheerio = require("cheerio");

let $;
async function main() {

  var optionsLogin = {
    method: 'POST',
    url: "https://netservice.iqcard.at/de/login",
    body: "BENUID=" + user + "&PASSWT=" + pass + "&login-form-submit=login",
    jar: true,
    followRedirect: true,
    followAllRedirects: true,
    headers: {
      "accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9",
      "accept-encoding": "gzip, deflate, br",
      "accept-language": "de-DE,de;q=0.9,en-US;q=0.8,en;q=0.7",
      "cache-control": "no-cache",
      "content-type": "application/x-www-form-urlencoded",
      "dnt": "1",
      "origin": "https://netservice.iqcard.at",
      "pragma": "no-cache",
      "sec-ch-ua": "\"Not?A_Brand\";v=\"8\", \"Chromium\";v=\"108\", \"Google Chrome\";v=\"108\"",
      "sec-ch-ua-mobile": "?0",
      "sec-ch-ua-platform": "\"Windows\"",
      "sec-fetch-dest": "empty",
      "sec-fetch-mode": "cors",
      "sec-fetch-site": "same-origin",
      "upgrade-insecure-requests": "1",
      "User-Agent": " Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36",
      "cookie": "cAccept=true; NETSERVICE=true; IQCARDPASSWT=; IQCARDBENUID= ",
      "Referer": "https://netservice.iqcard.at/de/kunden"
    }
  };
  var optionsPriceinfo = {
    method: 'GET',
    url: "https://netservice.iqcard.at/de/netservice_preisinfo",
    jar: true,
    followRedirect: true,
    followAllRedirects: true,
    headers: {
      "accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9",
      "accept-encoding": "gzip, deflate, br",
      "accept-language": "de-DE,de;q=0.9,en-US;q=0.8,en;q=0.7",
      "cache-control": "no-cache",
      "dnt": "1",
      "origin": "https://netservice.iqcard.at",
      "pragma": "no-cache",
      "sec-ch-ua": "\"Not?A_Brand\";v=\"8\", \"Chromium\";v=\"108\", \"Google Chrome\";v=\"108\"",
      "sec-ch-ua-mobile": "?0",
      "sec-ch-ua-platform": "\"Windows\"",
      "sec-fetch-dest": "empty",
      "sec-fetch-mode": "cors",
      "sec-fetch-site": "same-origin",
      "sec-fetch-user": "?1",
      "upgrade-insecure-requests": "1",
      "User-Agent": " Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36",
      "Referer": "https://netservice.iqcard.at/de/netservice"
    }
  };

  request.jar();
  request.post(optionsLogin, () => {
    request.get(optionsPriceinfo, (error, response, body) => {
      let data = analyze(body);
      log(data);
      writeDatapoint(data);
    });
  });
 function writeDatapoint(data) {
   log("write dpPrices");
   setState(dpPrices,JSON.stringify(data));
 }
}
main()

function analyze(body) {
  $ = cheerio.load(body);
  let countrys = $(".row > div > fieldset");
  let data = {}
  for (var i = 1; i < countrys.length; i++) {
    let country = getCountry(countrys[i]);
    data[country.countryname] = country;
  }
  return data;
}
function getCountry(country) {
  let data = {};
  data.services = {};
  data.info = "";
  data.countryname = $(country).find("> legend").text().trim();
  let sections = $(country).find(".panel .panel-heading");
  for (var i = 0; i < sections.length; i++) {
    let section = $(sections[i]);
    let title = section.text().trim();
    let fields = $(section.next().find("fieldset"));
    if (fields.length > 0) {
      data.services[title] = getGasPrices(fields);
    } else {
      data.services[title] = getOtherServices(section.next());
    }
  }
  if (sections.length == 0) data.info = $(country).contents().filter((i, el) => el.nodeType == 3).text().trim();
  return data;
}
function getGasPrices(fields) {
  let data = [];
  for (var i = 0; i < fields.contents().length; i++) {
    let field = fields.contents()[i];
    if (field.nodeType == 3 && field.data.replace(/\s/gm, "") != "") {
      let date = field.data.replace(/\s/gm, "");
      let price = $(field).next().text();
      data.push({ date: date, price: price });
    }
  }
  return data;
}
function getOtherServices(fields) {
  return fields.text().trim();
}  

die geschrieben Datenstruktur hat sich allerdings verändert und sieht nun wie folgt aus

Spoiler

{
 "ÖSTERREICH": {
   "services": {
     "Super Plus": [
       {
         "date": "05.12.2022-11.12.2022:",
         "price": "1,642 EUR"
       }
     ],
     "Super": [
       {
         "date": "05.12.2022-11.12.2022:",
         "price": "1,498 EUR"
       }
     ],
     "Normal": [
       {
         "date": "05.12.2022-11.12.2022:",
         "price": "1,498 EUR"
       }
     ],
     "Diesel": [
       {
         "date": "05.12.2022-11.12.2022:",
         "price": "1,685 EUR"
       }
     ],
     "Premium Diesel": [
       {
         "date": "05.12.2022-11.12.2022:",
         "price": "1,919 EUR"
       }
     ],
     "IQ Motoröle und Chemie": "10 % Rabatt",
     "Autowäsche": "10 % Rabatt"
   },
   "info": "",
   "countryname": "ÖSTERREICH"
 },
 "BOSNIEN UND HERZEGOWINA": {
   "services": {},
   "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
   "countryname": "BOSNIEN UND HERZEGOWINA"
 },
 "BELGIEN": {
   "services": {},
   "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
   "countryname": "BELGIEN"
 },
 "BULGARIEN": {
   "services": {},
   "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
   "countryname": "BULGARIEN"
 },
 "DEUTSCHLAND": {
   "services": {},
   "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
   "countryname": "DEUTSCHLAND"
 },
 "DÄNEMARK": {
   "services": {},
   "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
   "countryname": "DÄNEMARK"
 },
 "SPANIEN": {
   "services": {},
   "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
   "countryname": "SPANIEN"
 },
 "FRANKREICH": {
   "services": {},
   "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
   "countryname": "FRANKREICH"
 },
 "GROßBRITANNIEN": {
   "services": {},
   "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
   "countryname": "GROßBRITANNIEN"
 },
 "UNGARN": {
   "services": {},
   "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
   "countryname": "UNGARN"
 },
 "ITALIEN": {
   "services": {},
   "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
   "countryname": "ITALIEN"
 },
 "LITAUEN": {
   "services": {},
   "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
   "countryname": "LITAUEN"
 },
 "LUXEMBURG": {
   "services": {},
   "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
   "countryname": "LUXEMBURG"
 },
 "NIEDERLANDE": {
   "services": {},
   "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
   "countryname": "NIEDERLANDE"
 },
 "NORWEGEN": {
   "services": {},
   "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
   "countryname": "NORWEGEN"
 },
 "POLEN": {
   "services": {},
   "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
   "countryname": "POLEN"
 },
 "RUMÄNIEN": {
   "services": {},
   "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
   "countryname": "RUMÄNIEN"
 },
 "SLOWENIEN": {
   "services": {},
   "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
   "countryname": "SLOWENIEN"
 }
}

[Latzi]

@oliverio
klappt perfekt
Ergebnis-JSON mit 270 Zeilen ist eine Ansage

[Negalein]

@oliverio sagte in Daten aus PW geschützte Website:

So ein neuer Versuch, der jetzt beide Strukturen einheitlich behandelt.

Merci! Werde ich gleich tauschen!

[Negalein]

@oliverio

Guten Morgen!

Habe gerade bemerkt, dass das Script nicht mehr funktioniert .
Bekomme folgende Meldung.

09:04:25.313	info	javascript.0 (1025547) Stop script script.js.common.IQ-Sprit
09:04:25.313	info	javascript.1 (1025554) Stop script script.js.common.IQ-Sprit
09:04:26.352	info	javascript.0 (1025547) Start javascript script.js.common.IQ-Sprit
09:04:26.364	error	javascript.0 (1025547) script.js.common.IQ-Sprit: Error: Cannot find module 'cheerio'
09:04:26.366	error	javascript.0 (1025547) at script.js.common.IQ-Sprit:9:17
09:04:26.366	error	javascript.0 (1025547) at script.js.common.IQ-Sprit:136:3
09:04:26.387	info	javascript.0 (1025547) script.js.common.IQ-Sprit: registered 0 subscriptions, 1 schedule, 0 messages, 0 logs and 0 file subscriptions

cheerio hab ich aber in den Modulen hinzugefügt.

Kannst du mal drüberschaun?

Danke

[OliverIO]

@negalein

Cannot find module cheerio.
Schau mal in den Einstellungen des JavaScript Adapters,
Entferne den Eintrag cheerio und füge ihn erneut hinzu (evtl auch in 2 Schritten mit speichern nach dem entfernen.)

[Negalein]

@oliverio sagte in Daten aus PW geschützte Website:

Entferne den Eintrag cheerio und füge ihn erneut hinzu (evtl auch in 2 Schritten mit speichern nach dem entfernen.)

Danke
musste es 2x machen. Jetzt funktionierts wieder.