Navigation

    Logo
    • Register
    • Login
    • Search
    • Recent
    • Tags
    • Unread
    • Categories
    • Unreplied
    • Popular
    • GitHub
    • Docu
    • Hilfe
    1. Home
    2. Deutsch
    3. ioBroker Allgemein
    4. Daten aus PW geschützte Website

    NEWS

    • ioBroker goes Matter ... Matter Adapter in Stable

    • 15. 05. Wartungsarbeiten am ioBroker Forum

    • Monatsrückblick - April 2025

    Daten aus PW geschützte Website

    This topic has been deleted. Only users with topic management privileges can see it.
    • Negalein
      Negalein Global Moderator @JohGre last edited by

      @johgre sagte in Daten aus PW geschützte Website:

      aber noch viele Europäische Länder mit unterschiedlichen Preisen

      interessant wie unterschiedlich mit IQ verhandelt wird.
      Wir (Siedlerverein) können nur in Österreich billiger tanken.

      OliverIO 1 Reply Last reply Reply Quote 0
      • OliverIO
        OliverIO @Negalein last edited by OliverIO

        @negalein
        @Latzi

        So ein neuer Versuch, der jetzt beide Strukturen einheitlich behandelt.

        //hier bitte konfigurieren
        //datenpunkt sollte vor skriptstart bereits existieren und mit Typ Text erstellt worden sein
        const dpPrices = "javascript.0.test1";
        let user = "xxx";
        let pass = "xxx";
        
        //ab hier nix verändern
        const request = require("request");
        const cheerio = require("cheerio");
        
        let $;
        async function main() {
        
          var optionsLogin = {
            method: 'POST',
            url: "https://netservice.iqcard.at/de/login",
            body: "BENUID=" + user + "&PASSWT=" + pass + "&login-form-submit=login",
            jar: true,
            followRedirect: true,
            followAllRedirects: true,
            headers: {
              "accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9",
              "accept-encoding": "gzip, deflate, br",
              "accept-language": "de-DE,de;q=0.9,en-US;q=0.8,en;q=0.7",
              "cache-control": "no-cache",
              "content-type": "application/x-www-form-urlencoded",
              "dnt": "1",
              "origin": "https://netservice.iqcard.at",
              "pragma": "no-cache",
              "sec-ch-ua": "\"Not?A_Brand\";v=\"8\", \"Chromium\";v=\"108\", \"Google Chrome\";v=\"108\"",
              "sec-ch-ua-mobile": "?0",
              "sec-ch-ua-platform": "\"Windows\"",
              "sec-fetch-dest": "empty",
              "sec-fetch-mode": "cors",
              "sec-fetch-site": "same-origin",
              "upgrade-insecure-requests": "1",
              "User-Agent": " Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36",
              "cookie": "cAccept=true; NETSERVICE=true; IQCARDPASSWT=; IQCARDBENUID= ",
              "Referer": "https://netservice.iqcard.at/de/kunden"
            }
          };
          var optionsPriceinfo = {
            method: 'GET',
            url: "https://netservice.iqcard.at/de/netservice_preisinfo",
            jar: true,
            followRedirect: true,
            followAllRedirects: true,
            headers: {
              "accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9",
              "accept-encoding": "gzip, deflate, br",
              "accept-language": "de-DE,de;q=0.9,en-US;q=0.8,en;q=0.7",
              "cache-control": "no-cache",
              "dnt": "1",
              "origin": "https://netservice.iqcard.at",
              "pragma": "no-cache",
              "sec-ch-ua": "\"Not?A_Brand\";v=\"8\", \"Chromium\";v=\"108\", \"Google Chrome\";v=\"108\"",
              "sec-ch-ua-mobile": "?0",
              "sec-ch-ua-platform": "\"Windows\"",
              "sec-fetch-dest": "empty",
              "sec-fetch-mode": "cors",
              "sec-fetch-site": "same-origin",
              "sec-fetch-user": "?1",
              "upgrade-insecure-requests": "1",
              "User-Agent": " Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36",
              "Referer": "https://netservice.iqcard.at/de/netservice"
            }
          };
        
          request.jar();
          request.post(optionsLogin, () => {
            request.get(optionsPriceinfo, (error, response, body) => {
              let data = analyze(body);
              log(data);
              writeDatapoint(data);
            });
          });
         function writeDatapoint(data) {
           log("write dpPrices");
           setState(dpPrices,JSON.stringify(data));
         }
        }
        main()
        
        function analyze(body) {
          $ = cheerio.load(body);
          let countrys = $(".row > div > fieldset");
          let data = {}
          for (var i = 1; i < countrys.length; i++) {
            let country = getCountry(countrys[i]);
            data[country.countryname] = country;
          }
          return data;
        }
        function getCountry(country) {
          let data = {};
          data.services = {};
          data.info = "";
          data.countryname = $(country).find("> legend").text().trim();
          let sections = $(country).find(".panel .panel-heading");
          for (var i = 0; i < sections.length; i++) {
            let section = $(sections[i]);
            let title = section.text().trim();
            let fields = $(section.next().find("fieldset"));
            if (fields.length > 0) {
              data.services[title] = getGasPrices(fields);
            } else {
              data.services[title] = getOtherServices(section.next());
            }
          }
          if (sections.length == 0) data.info = $(country).contents().filter((i, el) => el.nodeType == 3).text().trim();
          return data;
        }
        function getGasPrices(fields) {
          let data = [];
          for (var i = 0; i < fields.contents().length; i++) {
            let field = fields.contents()[i];
            if (field.nodeType == 3 && field.data.replace(/\s/gm, "") != "") {
              let date = field.data.replace(/\s/gm, "");
              let price = $(field).next().text();
              data.push({ date: date, price: price });
            }
          }
          return data;
        }
        function getOtherServices(fields) {
          return fields.text().trim();
        }  
        

        die geschrieben Datenstruktur hat sich allerdings verändert und sieht nun wie folgt aus

        {
         "ÖSTERREICH": {
           "services": {
             "Super Plus": [
               {
                 "date": "05.12.2022-11.12.2022:",
                 "price": "1,642 EUR"
               }
             ],
             "Super": [
               {
                 "date": "05.12.2022-11.12.2022:",
                 "price": "1,498 EUR"
               }
             ],
             "Normal": [
               {
                 "date": "05.12.2022-11.12.2022:",
                 "price": "1,498 EUR"
               }
             ],
             "Diesel": [
               {
                 "date": "05.12.2022-11.12.2022:",
                 "price": "1,685 EUR"
               }
             ],
             "Premium Diesel": [
               {
                 "date": "05.12.2022-11.12.2022:",
                 "price": "1,919 EUR"
               }
             ],
             "IQ Motoröle und Chemie": "10 % Rabatt",
             "Autowäsche": "10 % Rabatt"
           },
           "info": "",
           "countryname": "ÖSTERREICH"
         },
         "BOSNIEN UND HERZEGOWINA": {
           "services": {},
           "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
           "countryname": "BOSNIEN UND HERZEGOWINA"
         },
         "BELGIEN": {
           "services": {},
           "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
           "countryname": "BELGIEN"
         },
         "BULGARIEN": {
           "services": {},
           "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
           "countryname": "BULGARIEN"
         },
         "DEUTSCHLAND": {
           "services": {},
           "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
           "countryname": "DEUTSCHLAND"
         },
         "DÄNEMARK": {
           "services": {},
           "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
           "countryname": "DÄNEMARK"
         },
         "SPANIEN": {
           "services": {},
           "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
           "countryname": "SPANIEN"
         },
         "FRANKREICH": {
           "services": {},
           "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
           "countryname": "FRANKREICH"
         },
         "GROßBRITANNIEN": {
           "services": {},
           "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
           "countryname": "GROßBRITANNIEN"
         },
         "UNGARN": {
           "services": {},
           "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
           "countryname": "UNGARN"
         },
         "ITALIEN": {
           "services": {},
           "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
           "countryname": "ITALIEN"
         },
         "LITAUEN": {
           "services": {},
           "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
           "countryname": "LITAUEN"
         },
         "LUXEMBURG": {
           "services": {},
           "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
           "countryname": "LUXEMBURG"
         },
         "NIEDERLANDE": {
           "services": {},
           "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
           "countryname": "NIEDERLANDE"
         },
         "NORWEGEN": {
           "services": {},
           "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
           "countryname": "NORWEGEN"
         },
         "POLEN": {
           "services": {},
           "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
           "countryname": "POLEN"
         },
         "RUMÄNIEN": {
           "services": {},
           "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
           "countryname": "RUMÄNIEN"
         },
         "SLOWENIEN": {
           "services": {},
           "info": "Sie tanken zum aktuellen Pumpenabgabepreis",
           "countryname": "SLOWENIEN"
         }
        }
        

        Latzi Negalein 3 Replies Last reply Reply Quote 2
        • Latzi
          Latzi @OliverIO last edited by

          @oliverio
          klappt perfekt 👏 👏
          Ergebnis-JSON mit 270 Zeilen ist eine Ansage 😉

          1 Reply Last reply Reply Quote 0
          • Negalein
            Negalein Global Moderator @OliverIO last edited by

            @oliverio sagte in Daten aus PW geschützte Website:

            So ein neuer Versuch, der jetzt beide Strukturen einheitlich behandelt.

            Merci! Werde ich gleich tauschen!

            1 Reply Last reply Reply Quote 0
            • Negalein
              Negalein Global Moderator @OliverIO last edited by

              @oliverio

              Guten Morgen!

              Habe gerade bemerkt, dass das Script nicht mehr funktioniert .
              Bekomme folgende Meldung.

              09:04:25.313	info	javascript.0 (1025547) Stop script script.js.common.IQ-Sprit
              09:04:25.313	info	javascript.1 (1025554) Stop script script.js.common.IQ-Sprit
              09:04:26.352	info	javascript.0 (1025547) Start javascript script.js.common.IQ-Sprit
              09:04:26.364	error	javascript.0 (1025547) script.js.common.IQ-Sprit: Error: Cannot find module 'cheerio'
              09:04:26.366	error	javascript.0 (1025547) at script.js.common.IQ-Sprit:9:17
              09:04:26.366	error	javascript.0 (1025547) at script.js.common.IQ-Sprit:136:3
              09:04:26.387	info	javascript.0 (1025547) script.js.common.IQ-Sprit: registered 0 subscriptions, 1 schedule, 0 messages, 0 logs and 0 file subscriptions
              

              cheerio hab ich aber in den Modulen hinzugefügt.

              Kannst du mal drüberschaun?

              Danke

              OliverIO 1 Reply Last reply Reply Quote 0
              • OliverIO
                OliverIO @Negalein last edited by

                @negalein

                Cannot find module cheerio.
                Schau mal in den Einstellungen des JavaScript Adapters,
                Entferne den Eintrag cheerio und füge ihn erneut hinzu (evtl auch in 2 Schritten mit speichern nach dem entfernen.)

                Negalein 1 Reply Last reply Reply Quote 0
                • Negalein
                  Negalein Global Moderator @OliverIO last edited by

                  @oliverio sagte in Daten aus PW geschützte Website:

                  Entferne den Eintrag cheerio und füge ihn erneut hinzu (evtl auch in 2 Schritten mit speichern nach dem entfernen.)

                  Danke
                  musste es 2x machen. Jetzt funktionierts wieder.

                  OliverIO 1 Reply Last reply Reply Quote 0
                  • OliverIO
                    OliverIO @Negalein last edited by

                    @negalein

                    ok, warum auch immer diese bibliothek rausgeflogen ist.
                    muss man mal beobachten, was beim nächsten update des javascript adapter passiert, evtl ist da noch ein Fehler, der nach einem update die zusätzlichen bibliotheken nicht überprüft und installiert (warum auch immer sie deinstalliert wurden)

                    Negalein 1 Reply Last reply Reply Quote 1
                    • Dr. Bakterius
                      Dr. Bakterius Most Active last edited by Dr. Bakterius

                      Der Thread ist zwar schon etwas älter und wenn ich ihn früher gefunden hätte, dann hätte ich mir vielleicht etwas Arbeit erspart, aber so bin ich auf eine weitere Lösung gekommen den Preis bei der IQ-Tankkarte nach Login automatisch abzufragen.

                      Ich mache das mit einem Bash-Script welches ich per Cron regelmäßig aufrufe.
                      Edit: Das Script habe ich so angepasst, dass Datum und alle Spritpreise in einzelne Datenpunkte von ioBroker geschrieben werden. Damit kann man auch die Werte auch unabhängig voneinander aufzeichnen und als Diagramme darstellen. In VIS sieht die aktuelle Preisanzeige dann bei mir so aus:
                      iq.png

                      Erst wird ein Login durchgeführt und das Cookie gespeichert. Danach die aktuelle Preisseite heruntergeladen. Dann werden das Datum und die Preise extrahiert und in Datenpunkte bei ioBroker geschrieben. Anschließend wir die geladene Datei gelöscht.

                      Davor die Datenpunkte in ioBroker anlegen und die Zugangsdaten im Script eintragen.

                      #!/bin/bash
                      
                      # Einloggen und Cookie speichern
                       wget --save-cookies cookies.txt \
                           --keep-session-cookies \
                           --post-data 'BENUID={username}&PASSWT={password}' \
                           --delete-after \
                           https://netservice.iqcard.at/de/login
                      
                      # Seite mit den Preisen speichern
                       wget --load-cookies cookies.txt \
                           https://netservice.iqcard.at/de/netservice_preisinfo
                      
                      # gespeicherte Seite in Variable einlesen
                       IQWeb=$(<netservice_preisinfo)
                      	
                      # Daten auslesen
                       Datum=$(echo "$IQWeb" | grep -A 1 "preismast hidden-xs" | tr "<>" " " | awk '{print $4}' | xargs)
                       Diesel=$(echo "$IQWeb" | grep "preismastDieselPreis" | tr "<>" " " | awk '{print $3}' | tr "," "." | xargs)
                       Benzin=$(echo "$IQWeb" | grep "preismastBenzinPreis" | tr "<>" " " | awk '{print $3}' | tr "," "." | xargs)
                       Super=$(echo "$IQWeb" | grep "preismastSuperPreis" | tr "<>" " " | awk '{print $3}' | tr "," "." | xargs)
                       SuperPlus=$(echo "$IQWeb" | grep "preismastSuperplusPreis" | tr "<>" " " | awk '{print $3}' | tr "," "." | xargs)
                      
                      # in ioBroker Datenpunkte schreiben
                       if [[ -n "${Datum}" && -n "${Diesel}" && -n "${Benzin}" && -n "${Super}" && -n "${SuperPlus}" ]]; then
                        Erg=$(curl -s http://{ip.from.io.broker}:8082/set/0_userdata.0.IQ_Card_Tankkarte.Datum?value=$Datum)
                        Erg=$(curl -s http://{ip.from.io.broker}:8082/set/0_userdata.0.IQ_Card_Tankkarte.Diesel?value=$Diesel)
                        Erg=$(curl -s http://{ip.from.io.broker}:8082/set/0_userdata.0.IQ_Card_Tankkarte.Benzin?value=$Benzin)
                        Erg=$(curl -s http://{ip.from.io.broker}:8082/set/0_userdata.0.IQ_Card_Tankkarte.Super?value=$Super)
                        Erg=$(curl -s http://{ip.from.io.broker}:8082/set/0_userdata.0.IQ_Card_Tankkarte.SuperPlus?value=$SuperPlus)
                       fi
                      
                      # gespeicherte Seite löschen
                       rm netservice_preisinfo
                      
                      Latzi 1 Reply Last reply Reply Quote 1
                      • Negalein
                        Negalein Global Moderator @OliverIO last edited by

                        @oliverio sagte in Daten aus PW geschützte Website:

                        ok, warum auch immer diese bibliothek rausgeflogen ist.

                        Hallo Oliver!

                        Durch meinen Thread ist @liv-in-sky gerade dabei, das Script von request auf axios für mich umzustellen.
                        Allerdings klappt nicht alles.

                        Könntest du da behilflich sein, oder hier helfen?

                        1 Reply Last reply Reply Quote 0
                        • Latzi
                          Latzi @Dr. Bakterius last edited by

                          @dr-bakterius
                          offenbar hat IQ die website geändert, läuft bei dir das script noch?

                          Negalein Dr. Bakterius 2 Replies Last reply Reply Quote 0
                          • Negalein
                            Negalein Global Moderator @Latzi last edited by

                            @latzi sagte in Daten aus PW geschützte Website:

                            offenbar hat IQ die website geändert, läuft bei dir das script noch?

                            gerade gesehn. Läuft bei mir nicht mehr. 😞

                            1 Reply Last reply Reply Quote 0
                            • Negalein
                              Negalein Global Moderator @OliverIO last edited by

                              @oliverio sagte in Daten aus PW geschützte Website:

                              dann muss da immer auf ein skript zurückgegriffen werden

                              Hallo Oliver!

                              Die haben jetzt die Seite etwas verändert.
                              Könntest du dir das nochmals anschaun?

                              Ich schick dir per PN die benötigten Daten.

                              LG

                              1 Reply Last reply Reply Quote 0
                              • Dr. Bakterius
                                Dr. Bakterius Most Active @Latzi last edited by

                                @latzi @Negalein

                                Ich habe das Skript an die geänderte Seite angepasst:

                                #!/bin/bash
                                
                                # Einloggen und Cookie speichern
                                 wget --save-cookies cookies.txt \
                                     --keep-session-cookies \
                                	 --post-data="Username={username}&Password={password}" \
                                     --delete-after \
                                	 https://netservice.iqcard.at//de/Kunden?handler=SignInDb
                                
                                # Seite mit den Preisen speichern
                                 wget --load-cookies cookies.txt \
                                	 https://netservice.iqcard.at/de/netservice/Preisinfo
                                
                                # gespeicherte Seite in Variable einlesen
                                 IQWeb=$(<Preisinfo)
                                	
                                # Daten auslesen
                                 Datum=$(echo "$IQWeb" | grep -A3 "<strong>Super Preise</strong>" | sed -n "4p" | awk '{print $1,$2,$3}' | sed -e 's/ //g' | xargs)
                                 Diesel=$(echo "$IQWeb" | grep "preismastDieselPreis" | tr "<>" " " | awk '{print $3}' | tr "," "." | xargs)
                                 Benzin=$(echo "$IQWeb" | grep "preismastBenzinPreis" | tr "<>" " " | awk '{print $3}' | tr "," "." | xargs)
                                 Super=$(echo "$IQWeb" | grep "preismastSuperPreis" | tr "<>" " " | awk '{print $3}' | tr "," "." | xargs)
                                 SuperPlus=$(echo "$IQWeb" | grep "preismastSuperplusPreis" | tr "<>" " " | awk '{print $3}' | tr "," "." | xargs)
                                
                                # in ioBroker Datenpunkte schreiben
                                 if [[ -n "${Datum}" && -n "${Diesel}" && -n "${Benzin}" && -n "${Super}" && -n "${SuperPlus}" ]]; then
                                	echo $Datum
                                	Erg=$(curl -s http://ip.from.io.broker:8082/set/0_userdata.0.IQ_Card_Tankkarte.Datum?value=$Datum)
                                	echo $Diesel
                                	Erg=$(curl -s http://ip.from.io.broker:8082/set/0_userdata.0.IQ_Card_Tankkarte.Diesel?value=$Diesel)
                                	echo $Benzin
                                	Erg=$(curl -s http://ip.from.io.broker:8082/set/0_userdata.0.IQ_Card_Tankkarte.Benzin?value=$Benzin)
                                	echo $Super
                                	Erg=$(curl -s http://ip.from.io.broker:8082/set/0_userdata.0.IQ_Card_Tankkarte.Super?value=$Super)
                                	echo $SuperPlus
                                	Erg=$(curl -s http://ip.from.io.broker:8082/set/0_userdata.0.IQ_Card_Tankkarte.SuperPlus?value=$SuperPlus)
                                 else
                                	echo "Datenabfrage fehlerhaft!"
                                 fi
                                
                                # gespeicherte Seite löschen
                                 rm Preisinfo
                                
                                Latzi OliverIO 3 Replies Last reply Reply Quote 1
                                • Latzi
                                  Latzi @Dr. Bakterius last edited by

                                  @dr-bakterius
                                  Super, vielen Dank 👏 💪

                                  1 Reply Last reply Reply Quote 0
                                  • OliverIO
                                    OliverIO last edited by OliverIO

                                    stimmt da war ja noch was. hier das ergebnis von heute nacht. von @Negalein getestet

                                    gegenüber dem letzten mal hat sich die login prozedur geändert und kleinigkeiten am webseitenaufbau

                                    testergebnisse gerne hier, da wohl abhängig von der berechtigung die seite anders aufgebaut ist.

                                    //hier bitte konfigurieren
                                    //datenpunkt sollte vor skriptstart bereits existieren und mit Typ Text erstellt worden sein
                                    const dpPrices = "0_userdata.0.IQ_Sprit.IQ_Sprit";
                                    let user = "xxx";
                                    let pass = "xxx";
                                    
                                    //ab hier nix verändern
                                    const axios = require('axios');
                                    const cheerio = require("cheerio");
                                    const tough = require('tough-cookie');
                                    const { wrapper } = require('axios-cookiejar-support');
                                    
                                    const cookieJar = new tough.CookieJar();
                                    const client = wrapper(axios.create({
                                        jar: cookieJar,
                                        withCredentials: true,
                                    }));
                                    
                                    let $;
                                    async function main() {
                                    
                                        const optionsStart = {
                                            method: 'GET',
                                            url: 'https://netservice.iqcard.at/de/Kunden',
                                            "headers": {
                                                "accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7",
                                                "accept-language": "de-DE,de;q=0.9,en-US;q=0.8,en;q=0.7",
                                                "cache-control": "no-cache",
                                                "pragma": "no-cache",
                                                "priority": "u=0, i",
                                                "sec-ch-ua": "\"Not/A)Brand\";v=\"8\", \"Chromium\";v=\"126\", \"Google Chrome\";v=\"126\"",
                                                "sec-ch-ua-mobile": "?0",
                                                "sec-ch-ua-platform": "\"Windows\"",
                                                "sec-fetch-dest": "document",
                                                "sec-fetch-mode": "navigate",
                                                "sec-fetch-site": "none",
                                                "sec-fetch-user": "?1",
                                                "upgrade-insecure-requests": "1",
                                                "Referrer-Policy": "strict-origin-when-cross-origin"
                                            }
                                        };
                                    
                                        const optionsPreisinfo = {
                                            method: 'GET',
                                            url: 'https://netservice.iqcard.at/de/netservice/Preisinfo',
                                            "headers": {
                                                "accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7",
                                                "accept-language": "de-DE,de;q=0.9,en-US;q=0.8,en;q=0.7",
                                                "cache-control": "no-cache",
                                                "pragma": "no-cache",
                                                "priority": "u=0, i",
                                                "sec-ch-ua": "\"Not/A)Brand\";v=\"8\", \"Chromium\";v=\"126\", \"Google Chrome\";v=\"126\"",
                                                "sec-ch-ua-mobile": "?0",
                                                "sec-ch-ua-platform": "\"Windows\"",
                                                "sec-fetch-dest": "document",
                                                "sec-fetch-mode": "navigate",
                                                "sec-fetch-site": "same-origin",
                                                "sec-fetch-user": "?1",
                                                "upgrade-insecure-requests": "1",
                                                'Referer': 'https://netservice.iqcard.at/de/Kunden',
                                                "Referrer-Policy": "strict-origin-when-cross-origin"
                                            }
                                        };
                                    
                                        let responseStart, responseLogin, responsePreis;
                                        try {
                                            responseStart = await client(optionsStart);
                                            responseLogin = await client(getLoginOptions(responseStart));
                                            responsePreis = await client(optionsPreisinfo);
                                    
                                        } catch (error) {
                                            console.error('Error making the request:', error);
                                            return;
                                        }
                                        const data = analyze(responsePreis.data);
                                        writeDatapoint(data)
                                    }
                                    
                                    function getLoginOptions(response) {
                                        //   jQuery("#content > div.col_one_third.nobottommargin > div > form > input[type=hidden]").attr("value")
                                        $ = cheerio.load(response.data);
                                        let token = $("#content > div.col_one_third.nobottommargin > div > form > input[type=hidden]").attr("value");
                                        return {
                                            method: 'POST',
                                            url: 'https://netservice.iqcard.at/de/Kunden?handler=SignInDb',
                                            data: `Username=${user}&Password=${pass}&__RequestVerificationToken=${token}`,
                                            "headers": {
                                                "accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7",
                                                "accept-language": "de-DE,de;q=0.9,en-US;q=0.8,en;q=0.7",
                                                "cache-control": "no-cache",
                                                "content-type": "application/x-www-form-urlencoded",
                                                "pragma": "no-cache",
                                                "priority": "u=0, i",
                                                "sec-ch-ua": "\"Not/A)Brand\";v=\"8\", \"Chromium\";v=\"126\", \"Google Chrome\";v=\"126\"",
                                                "sec-ch-ua-mobile": "?0",
                                                "sec-ch-ua-platform": "\"Windows\"",
                                                "sec-fetch-dest": "document",
                                                "sec-fetch-mode": "navigate",
                                                "sec-fetch-site": "same-origin",
                                                "sec-fetch-user": "?1",
                                                "upgrade-insecure-requests": "1",
                                                'Referer': 'https://netservice.iqcard.at/de/Kunden',
                                                "Referrer-Policy": "strict-origin-when-cross-origin"
                                            },
                                            maxRedirects: 5, // Anzahl der zu folgenden Redirects
                                            withCredentials: true // für das Cookie-Handling
                                        };
                                    }
                                    
                                    function writeDatapoint(data) {
                                        //   log("write dpPrices");
                                        setState(dpPrices, JSON.stringify(data));
                                    }
                                    
                                    function analyze(body) {
                                        $ = cheerio.load(body);
                                        let countrys = $(".row > div > fieldset");
                                        let data = {}
                                        for (var i = 1; i < countrys.length; i++) {
                                            let country = getCountry(countrys[i]);
                                            data[country.countryname] = country;
                                        }
                                        return data;
                                    }
                                    function getCountry(country) {
                                        let data = {};
                                        data.services = {};
                                        data.info = "";
                                        data.countryname = $(country).find("> legend").text().trim();
                                        let sections = $(country).find(".accordion-item");
                                        for (var i = 0; i < sections.length; i++) {
                                            let section = $(sections[i]);
                                    
                                            let fields = $(section.find("fieldset div"));
                                            if (fields.length > 0) {
                                                let title = section.find("legend").text().trim();
                                                data.services[title] = getGasPrices(fields);
                                            } else {
                                                let title = $(section).find(".accordion-header button").text().replace(/(\r\n|\n|\r|\t)/gm, "")
                                                data.services[title] = getOtherServices(section);
                                            }
                                        }
                                        if (sections.length == 0) data.info = $(country).contents().filter((i, el) => el.nodeType == 3).text().trim();
                                        return data;
                                    }
                                    function getGasPrices(fields) {
                                        let data = [];
                                        for (var i = 0; i < fields.length; i++) {
                                            let field = $(fields[i]).contents();
                                            let date = $(field[0]).text().trim();
                                            let price = $(field[1]).text().trim();
                                            data.push({ date: date, price: price });
                                        }
                                        return data;
                                    }
                                    function getOtherServices(fields) {
                                        return $(fields).find(".accordion-body").text().replace(/(\r\n|\n|\r|\t)/gm, "");
                                    }
                                    
                                    main();
                                    

                                    Negalein 1 Reply Last reply Reply Quote 1
                                    • OliverIO
                                      OliverIO @Dr. Bakterius last edited by

                                      @dr-bakterius

                                      ach, der server interessiert sich für __RequestVerificationToken
                                      gar nicht? hab ich gar nicht getestet, sondern habs einfach extrahiert und dann mitgeschickt.

                                      Negalein 1 Reply Last reply Reply Quote 0
                                      • Negalein
                                        Negalein Global Moderator @OliverIO last edited by

                                        @oliverio sagte in Daten aus PW geschützte Website:

                                        stimmt da war ja noch was. hier das ergebnis von heute nacht. von @Negalein getestet

                                        läuft seit gestern Nacht einwandfrei.

                                        Danke nochmals. Kaffee kommt demnächst. 😉

                                        1 Reply Last reply Reply Quote 1
                                        • Negalein
                                          Negalein Global Moderator @OliverIO last edited by

                                          @oliverio sagte in Daten aus PW geschützte Website:

                                          ach

                                          lass ihn dir schmecken 😉

                                          OliverIO 1 Reply Last reply Reply Quote 1
                                          • OliverIO
                                            OliverIO @Negalein last edited by

                                            @negalein Vielen Dank, da kann ich mir ein paar Kaffee holen. Sogar den vom Blauen Berg

                                            1 Reply Last reply Reply Quote 1
                                            • First post
                                              Last post

                                            Support us

                                            ioBroker
                                            Community Adapters
                                            Donate
                                            FAQ Cloud / IOT
                                            HowTo: Node.js-Update
                                            HowTo: Backup/Restore
                                            Downloads
                                            BLOG

                                            919
                                            Online

                                            31.6k
                                            Users

                                            79.5k
                                            Topics

                                            1.3m
                                            Posts

                                            7
                                            126
                                            7123
                                            Loading More Posts
                                            • Oldest to Newest
                                            • Newest to Oldest
                                            • Most Votes
                                            Reply
                                            • Reply as topic
                                            Log in to reply
                                            Community
                                            Impressum | Datenschutz-Bestimmungen | Nutzungsbedingungen
                                            The ioBroker Community 2014-2023
                                            logo