Daten aus PW geschützte Website

Latzi

cheerio kommt irgendwie mehrfach vor, soll das so sein?

latzi@ioBroker:/opt/iobroker$ npm list cheerio
iobroker.inst@3.0.0 /opt/iobroker
├── cheerio@1.0.0-rc.12
├─┬ iobroker.javascript@6.1.4
│ └── cheerio@1.0.0-rc.12
└─┬ iobroker.smartcontrol@1.3.2
  └── cheerio@1.0.0-rc.12 deduped

latzi@ioBroker:/opt/iobroker$

OliverIO

@latzi

das ist erstmal ok. das ist das prinzip von node, so das jedes paket genau die version lädt mit der ein paket funktioniert.

evtl musst da mal im forum genereller fragen, wie man das analysieren kann und warum bestimmte pakete da ohne fehlermeldung nicht geladen werden oder nicht richtig funktionieren.
hast du den javascript adapter mal in der instanz übersicht im expertenmodus auf debug umgestellt? evtl kommt dann was wenn man paket hinzufügt oder entfernt

Latzi

@oliverio
vielen Dank für deine unermüdliche Hilfestellung!

fastfoot

@oliverio hier bringt das Testskript auch keine Ausgabe. Nur bei log($.html()) kommt die Ausgabe und zeigt damit an dass cheerio funktioniert

8:58:53.486	info	javascript.1 (195) Start javascript script.js.testCheerio
18:58:53.495	info	javascript.1 (195) script.js.testCheerio: <html><head></head><body><h2 class="title welcome">Hello there!</h2></body></html>
18:58:53.496	info	javascript.1 (195) script.js.testCheerio: registered 0 subscriptions, 0 schedules, 0 messages, 0 logs and 0 file subscriptions

OliverIO

@fastfoot
@Latzi

Äh ja ich war irritiert, ich dachte ich hatte im testscript das in

console.debug($.html());

Noch abgeändert

Bitte nochmal probieren

Latzi

@fastfoot
aarghhh, das funktioniert bei mir jetzt auch

@OliverIO was sagt uns das nun?

OliverIO

@latzi

Bin jetzt unterwegs.
Kann nur beschwert tippen

Titles Dates und prices sind Array s
Lass dir da mal die Länge raus
Sie müssen alle gleich sein
Am besten vor der if Abfrage einfügen
Ansonsten nach jeder Zeile mal irgendeine Test Ausgabe auf die console machen das wir sehen wie weit das Skript kommt

Latzi

@oliverio sagte in Daten aus PW geschützte Website:

console.debug($.html());

witzig, damit funktioniert´s bei mir nicht, wenn ich console.log($.html());nehme bekomme ich die erwartete Ausgabe - ich versteh´s nicht!

fastfoot

@latzi ist hier auch so, console.info etc. funktionieren in iobroker nicht. Einfach durch log(text) ersetzen

Latzi

@oliverio sagte in Daten aus PW geschützte Website:

Titles Dates und prices sind Array s
Lass dir da mal die Länge raus
Sie müssen alle gleich sein
Am besten vor der if Abfrage einfügen
Ansonsten nach jeder Zeile mal irgendeine Test Ausgabe auf die console machen das wir sehen wie weit das Skript kommt

leider sind bei mir die Längen der Array´s nicht gleich, dates & prices sind 3 mal länger

2022-12-09 19:15:21.582 - info: javascript.0 (1321192) script.js.common.Spritpreis_IQ: registered 0 subscriptions, 0 schedules, 0 messages, 0 logs and 0 file subscriptions
2022-12-09 19:15:22.460 - info: javascript.0 (1321192) script.js.common.Spritpreis_IQ: Länge titles: 12
2022-12-09 19:15:22.460 - info: javascript.0 (1321192) script.js.common.Spritpreis_IQ: Länge dates: 36
2022-12-09 19:15:22.460 - info: javascript.0 (1321192) script.js.common.Spritpreis_IQ: Länge prices: 36

Latzi

@oliverio
ich hab mal die 3 Array´s ausgegeben, dass ist der Inhalt:

2022-12-09 19:45:11.607 - info: javascript.0 (1321192) script.js.common.Spritpreis_IQ: registered 0 subscriptions, 0 schedules, 0 messages, 0 logs and 0 file subscriptions
2022-12-09 19:45:12.632 - info: javascript.0 (1321192) script.js.common.Spritpreis_IQ: Titles[0]= Super Plus
2022-12-09 19:45:12.632 - info: javascript.0 (1321192) script.js.common.Spritpreis_IQ: Titles[1]= Super
2022-12-09 19:45:12.632 - info: javascript.0 (1321192) script.js.common.Spritpreis_IQ: Titles[2]= Normal
2022-12-09 19:45:12.632 - info: javascript.0 (1321192) script.js.common.Spritpreis_IQ: Titles[3]= Diesel
2022-12-09 19:45:12.632 - info: javascript.0 (1321192) script.js.common.Spritpreis_IQ: Titles[4]= Premium Diesel
2022-12-09 19:45:12.632 - info: javascript.0 (1321192) script.js.common.Spritpreis_IQ: Titles[5]= Diesel
2022-12-09 19:45:12.633 - info: javascript.0 (1321192) script.js.common.Spritpreis_IQ: Titles[6]= Diesel
2022-12-09 19:45:12.633 - info: javascript.0 (1321192) script.js.common.Spritpreis_IQ: Titles[7]= Diesel
2022-12-09 19:45:12.633 - info: javascript.0 (1321192) script.js.common.Spritpreis_IQ: Titles[8]= Diesel
2022-12-09 19:45:12.633 - info: javascript.0 (1321192) script.js.common.Spritpreis_IQ: Titles[9]= Diesel
2022-12-09 19:45:12.633 - info: javascript.0 (1321192) script.js.common.Spritpreis_IQ: Titles[10]= Diesel
2022-12-09 19:45:12.633 - info: javascript.0 (1321192) script.js.common.Spritpreis_IQ: Titles[11]= Diesel
2022-12-09 19:45:12.633 - info: javascript.0 (1321192) script.js.common.Spritpreis_IQ: Dates[0]= 05.12.2022-11.12.2022
2022-12-09 19:45:12.633 - info: javascript.0 (1321192) script.js.common.Spritpreis_IQ: Dates[1]= 28.11.2022-04.12.2022
2022-12-09 19:45:12.633 - info: javascript.0 (1321192) script.js.common.Spritpreis_IQ: Dates[2]= 21.11.2022-27.11.2022
2022-12-09 19:45:12.633 - info: javascript.0 (1321192) script.js.common.Spritpreis_IQ: Dates[3]= 05.12.2022-11.12.2022
2022-12-09 19:45:12.633 - info: javascript.0 (1321192) script.js.common.Spritpreis_IQ: Dates[4]= 28.11.2022-04.12.2022
2022-12-09 19:45:12.633 - info: javascript.0 (1321192) script.js.common.Spritpreis_IQ: Dates[5]= 21.11.2022-27.11.2022
2022-12-09 19:45:12.633 - info: javascript.0 (1321192) script.js.common.Spritpreis_IQ: Dates[6]= 05.12.2022-11.12.2022
2022-12-09 19:45:12.633 - info: javascript.0 (1321192) script.js.common.Spritpreis_IQ: Dates[7]= 28.11.2022-04.12.2022
2022-12-09 19:45:12.633 - info: javascript.0 (1321192) script.js.common.Spritpreis_IQ: Dates[8]= 21.11.2022-27.11.2022
2022-12-09 19:45:12.633 - info: javascript.0 (1321192) script.js.common.Spritpreis_IQ: Dates[9]= 05.12.2022-11.12.2022
2022-12-09 19:45:12.633 - info: javascript.0 (1321192) script.js.common.Spritpreis_IQ: Dates[10]= 28.11.2022-04.12.2022
2022-12-09 19:45:12.633 - info: javascript.0 (1321192) script.js.common.Spritpreis_IQ: Dates[11]= 21.11.2022-27.11.2022
2022-12-09 19:45:12.633 - info: javascript.0 (1321192) script.js.common.Spritpreis_IQ: Dates[12]= 05.12.2022-11.12.2022
2022-12-09 19:45:12.633 - info: javascript.0 (1321192) script.js.common.Spritpreis_IQ: Dates[13]= 28.11.2022-04.12.2022
2022-12-09 19:45:12.634 - info: javascript.0 (1321192) script.js.common.Spritpreis_IQ: Dates[14]= 21.11.2022-27.11.2022
2022-12-09 19:45:12.634 - info: javascript.0 (1321192) script.js.common.Spritpreis_IQ: Dates[15]= 05.12.2022-11.12.2022
2022-12-09 19:45:12.634 - info: javascript.0 (1321192) script.js.common.Spritpreis_IQ: Dates[16]= 28.11.2022-04.12.2022
2022-12-09 19:45:12.634 - info: javascript.0 (1321192) script.js.common.Spritpreis_IQ: Dates[17]= 21.11.2022-27.11.2022
2022-12-09 19:45:12.634 - info: javascript.0 (1321192) script.js.common.Spritpreis_IQ: Dates[18]= 05.12.2022-11.12.2022
2022-12-09 19:45:12.634 - info: javascript.0 (1321192) script.js.common.Spritpreis_IQ: Dates[19]= 28.11.2022-04.12.2022
2022-12-09 19:45:12.634 - info: javascript.0 (1321192) script.js.common.Spritpreis_IQ: Dates[20]= 21.11.2022-27.11.2022
2022-12-09 19:45:12.634 - info: javascript.0 (1321192) script.js.common.Spritpreis_IQ: Dates[21]= 05.12.2022-11.12.2022
2022-12-09 19:45:12.634 - info: javascript.0 (1321192) script.js.common.Spritpreis_IQ: Dates[22]= 28.11.2022-04.12.2022
2022-12-09 19:45:12.634 - info: javascript.0 (1321192) script.js.common.Spritpreis_IQ: Dates[23]= 21.11.2022-27.11.2022
2022-12-09 19:45:12.634 - info: javascript.0 (1321192) script.js.common.Spritpreis_IQ: Dates[24]= 05.12.2022-11.12.2022
2022-12-09 19:45:12.634 - info: javascript.0 (1321192) script.js.common.Spritpreis_IQ: Dates[25]= 28.11.2022-04.12.2022
2022-12-09 19:45:12.634 - info: javascript.0 (1321192) script.js.common.Spritpreis_IQ: Dates[26]= 21.11.2022-27.11.2022
2022-12-09 19:45:12.634 - info: javascript.0 (1321192) script.js.common.Spritpreis_IQ: Dates[27]= 05.12.2022-11.12.2022
2022-12-09 19:45:12.634 - info: javascript.0 (1321192) script.js.common.Spritpreis_IQ: Dates[28]= 28.11.2022-04.12.2022
2022-12-09 19:45:12.634 - info: javascript.0 (1321192) script.js.common.Spritpreis_IQ: Dates[29]= 21.11.2022-27.11.2022
2022-12-09 19:45:12.634 - info: javascript.0 (1321192) script.js.common.Spritpreis_IQ: Dates[30]= 05.12.2022-11.12.2022
2022-12-09 19:45:12.634 - info: javascript.0 (1321192) script.js.common.Spritpreis_IQ: Dates[31]= 28.11.2022-04.12.2022
2022-12-09 19:45:12.634 - info: javascript.0 (1321192) script.js.common.Spritpreis_IQ: Dates[32]= 21.11.2022-27.11.2022
2022-12-09 19:45:12.634 - info: javascript.0 (1321192) script.js.common.Spritpreis_IQ: Dates[33]= 05.12.2022-11.12.2022
2022-12-09 19:45:12.634 - info: javascript.0 (1321192) script.js.common.Spritpreis_IQ: Dates[34]= 28.11.2022-04.12.2022
2022-12-09 19:45:12.634 - info: javascript.0 (1321192) script.js.common.Spritpreis_IQ: Dates[35]= 21.11.2022-27.11.2022
2022-12-09 19:45:12.634 - info: javascript.0 (1321192) script.js.common.Spritpreis_IQ: prices[0]= 1,636 EUR
2022-12-09 19:45:12.635 - info: javascript.0 (1321192) script.js.common.Spritpreis_IQ: prices[1]= 1,637 EUR
2022-12-09 19:45:12.635 - info: javascript.0 (1321192) script.js.common.Spritpreis_IQ: prices[2]= 1,682 EUR
2022-12-09 19:45:12.635 - info: javascript.0 (1321192) script.js.common.Spritpreis_IQ: prices[3]= 1,492 EUR
2022-12-09 19:45:12.635 - info: javascript.0 (1321192) script.js.common.Spritpreis_IQ: prices[4]= 1,517 EUR
2022-12-09 19:45:12.635 - info: javascript.0 (1321192) script.js.common.Spritpreis_IQ: prices[5]= 1,562 EUR
2022-12-09 19:45:12.635 - info: javascript.0 (1321192) script.js.common.Spritpreis_IQ: prices[6]= 1,492 EUR
2022-12-09 19:45:12.635 - info: javascript.0 (1321192) script.js.common.Spritpreis_IQ: prices[7]= 1,517 EUR
2022-12-09 19:45:12.635 - info: javascript.0 (1321192) script.js.common.Spritpreis_IQ: prices[8]= 1,562 EUR
2022-12-09 19:45:12.635 - info: javascript.0 (1321192) script.js.common.Spritpreis_IQ: prices[9]= 1,679 EUR
2022-12-09 19:45:12.635 - info: javascript.0 (1321192) script.js.common.Spritpreis_IQ: prices[10]= 1,679 EUR
2022-12-09 19:45:12.635 - info: javascript.0 (1321192) script.js.common.Spritpreis_IQ: prices[11]= 1,731 EUR
2022-12-09 19:45:12.635 - info: javascript.0 (1321192) script.js.common.Spritpreis_IQ: prices[12]= 1,919 EUR
2022-12-09 19:45:12.635 - info: javascript.0 (1321192) script.js.common.Spritpreis_IQ: prices[13]= 1,907 EUR
2022-12-09 19:45:12.635 - info: javascript.0 (1321192) script.js.common.Spritpreis_IQ: prices[14]= 1,959 EUR
2022-12-09 19:45:12.635 - info: javascript.0 (1321192) script.js.common.Spritpreis_IQ: prices[15]= 3,206 BAM
2022-12-09 19:45:12.635 - info: javascript.0 (1321192) script.js.common.Spritpreis_IQ: prices[16]= 3,384 BAM
2022-12-09 19:45:12.635 - info: javascript.0 (1321192) script.js.common.Spritpreis_IQ: prices[17]= 3,424 BAM
2022-12-09 19:45:12.635 - info: javascript.0 (1321192) script.js.common.Spritpreis_IQ: prices[18]= 3,246 BGN
2022-12-09 19:45:12.635 - info: javascript.0 (1321192) script.js.common.Spritpreis_IQ: prices[19]= 3,289 BGN
2022-12-09 19:45:12.635 - info: javascript.0 (1321192) script.js.common.Spritpreis_IQ: prices[20]= 3,346 BGN
2022-12-09 19:45:12.635 - info: javascript.0 (1321192) script.js.common.Spritpreis_IQ: prices[21]= 13,163 DKK
2022-12-09 19:45:12.635 - info: javascript.0 (1321192) script.js.common.Spritpreis_IQ: prices[22]= 13,060 DKK
2022-12-09 19:45:12.636 - info: javascript.0 (1321192) script.js.common.Spritpreis_IQ: prices[23]= 13,560 DKK
2022-12-09 19:45:12.636 - info: javascript.0 (1321192) script.js.common.Spritpreis_IQ: prices[24]= 1,676 GBP
2022-12-09 19:45:12.636 - info: javascript.0 (1321192) script.js.common.Spritpreis_IQ: prices[25]= 1,739 GBP
2022-12-09 19:45:12.636 - info: javascript.0 (1321192) script.js.common.Spritpreis_IQ: prices[26]= 1,830 GBP
2022-12-09 19:45:12.636 - info: javascript.0 (1321192) script.js.common.Spritpreis_IQ: prices[27]= 641,097 HUF
2022-12-09 19:45:12.636 - info: javascript.0 (1321192) script.js.common.Spritpreis_IQ: prices[28]= 665,049 HUF
2022-12-09 19:45:12.636 - info: javascript.0 (1321192) script.js.common.Spritpreis_IQ: prices[29]= 692,049 HUF
2022-12-09 19:45:12.636 - info: javascript.0 (1321192) script.js.common.Spritpreis_IQ: prices[30]= 19,875 NOK
2022-12-09 19:45:12.636 - info: javascript.0 (1321192) script.js.common.Spritpreis_IQ: prices[31]= 20,175 NOK
2022-12-09 19:45:12.636 - info: javascript.0 (1321192) script.js.common.Spritpreis_IQ: prices[32]= 20,950 NOK
2022-12-09 19:45:12.636 - info: javascript.0 (1321192) script.js.common.Spritpreis_IQ: prices[33]= 8,179 PLN
2022-12-09 19:45:12.636 - info: javascript.0 (1321192) script.js.common.Spritpreis_IQ: prices[34]= 7,994 PLN
2022-12-09 19:45:12.636 - info: javascript.0 (1321192) script.js.common.Spritpreis_IQ: prices[35]= 8,189 PLN

Negalein

@OliverIO

wie oft aktualisiert das Script? Finde nichts oder überseh es.

Latzi

@negalein
bei jedem Start des Scripts oder des Adapters. Also nicht definiert
Ich hab´s im code ganz am Ende mit einem cron erledigt (läuft jeden Montag um 23:05):

schedule("5 23 * * 1", async function () {
   main();   
});

Negalein

@latzi sagte in Daten aus PW geschützte Website:

Ich hab´s im code ganz am Ende mit einem cron erledigt (läuft jeden Montag um 23:05):

Danke

fastfoot

@latzi sagte in Daten aus PW geschützte Website:

leider sind bei mir die Längen der Array´s nicht gleich, dates & prices sind 3 mal länger

da gilt ein Eintrag für 3 Zeiträume, man sollte das eigentlich auch auf der Website sehen. Seltsam dass das bei @Negalein anders ist. Wie auch immer, du kannst das expandieren, indem du deine Zeile 69 durch folgende Zeilen ersetzt

const titles = [];
const titlesTmp = $('div[class="panel-body"] > fieldset > legend > strong').map((i,el)=>$(el).text().replace("Preise","").trim());
for (let i = 0; i < 36; i++) {
    titles[i] = titlesTmp[Math.floor(i / 3)]
};

Negalein

@fastfoot sagte in Daten aus PW geschützte Website:

Seltsam dass das bei @Negalein anders ist.

Ja komisch. Ich seh im Portal nur den Preis für die aktuelle Woche.
@Latzi sieht in auch noch für die 2 Vorwochen.

Sind zwar verschiedene Partner (Voest vs. Siedlerverein), aber gültig ist bei beiden nur der Preis von der aktuellen Woche.

OliverIO

@latzi sagte in Daten aus PW geschützte Website:

leider sind bei mir die Längen der Array´s nicht gleich, dates & prices sind 3 mal länger

ok, dann ist die seitenstruktur bei dir anders.
dann benötige ich die html seite.
bitte den folgenden code nach der zeile mit

const $ = cheerio.load(body);

einfügen.
das speichert den seiteninhalt in eine txt-datei
wenn du linux einsetzt musst du nix mehr machen.
bei windows musst du den pfad anpassen wo du auch schreiben darfst. da kann ich nix vorgeben.

die text-datei dann bitte hier im forum hochladen.
falls das forum meckert wegen zu groß, dann bei einem beliebigen cloud-provider (dropbox, google drive, mega, etc) hochladen und die datei freigeben .

try {
  fs.writeFileSync('/opt/iobroker/iobroker-data/iqcard.txt', body);
  // file written successfully
} catch (err) {
  console.error(err);
}

OliverIO

@fastfoot sagte in Daten aus PW geschützte Website:

ist hier auch so, console.info etc. funktionieren in iobroker nicht. Einfach durch log(text) ersetzen

und bei mir funktioniert console.debug, aber console.info nicht.
warum ist das inkonsistent?
auch in der doku steht nix.
ja log ist beschrieben, aber dennoch seltsam

fastfoot

@oliverio das liegt daran dass console in der JS-Adapter Sandbox neu definiert wurde(werden musste!??) und deshalb nicht mit Node zu 100% übereinstimmt. Allerdings war ich mit meiner Einschätzung

console.info etc. funktionieren in iobroker nicht.

etwas voreilig. Es funktionieren ,console.log, .error, .warn und .debug

Latzi

@oliverio
vielen Dank, hier die Datei: iqcard.txt

NEWS

Daten aus PW geschützte Website

Support us

917
Online

31.6k
Users

79.5k
Topics

1.3m
Posts

NEWS

Daten aus PW geschützte Website

Support us

917Online

31.6kUsers

79.5kTopics

1.3mPosts

917
Online

31.6k
Users

79.5k
Topics

1.3m
Posts