Mal wieder Webseite auslesen

[liv-in-sky]

@homoran

habe mal das file auf den iobroker server kopiert und ausgelesen - das auszuwerten ist vieeeeeeel aufwand

zum testen
csv-parse und fs muss installiert sein im javascript-adapter setting
die datei habe ich unter /Daten/covid19_5.csv gespeichert

var parse = require('csv-parse');
var input = require('fs').readFileSync('/Daten/covid19_5.csv').toString();


parse(input, {comment: '#'}, function(err, output){
	// show result
	console.log(JSON.stringify(output));
for(let r=0;r<output.length;r++){
    log(output[r][6])
}
});



});

im log sind zuerst die daten als json zu sehen und anschliessend alle verstorbene pro eintrag

[Homoran]

@liv-in-sky sagte in Mal wieder Webseite auslesen:

anschliessend alle verstorbene pro eintrag

r=6

ich brauche u.a. die Spalte BN, das wäre IMHO 46???

[liv-in-sky]

@homoran

welche meinst du - das sind die spalten

[Homoran]

@liv-in-sky sagte in Mal wieder Webseite auslesen:

welche meinst du - das sind die spalten

65

wie im ersten Screenshot die neuen Leitindikatoren: (7T-Inzidenz, 7T-Hospitalisierung, Anteil belegte Intensivbetten)
letzteres ist die letzte Spalte

[liv-in-sky]

@homoran

und was genau brauchst du - die summe ? der jeweiligen spalten ?

[Homoran]

@liv-in-sky sagte in Mal wieder Webseite auslesen:

@homoran

und was genau brauchst du - die summe ? der jeweiligen spalten ?

Jetzt wird's "einfach"
immer den aktuellen Wert des Tages, damit es geloggt und über eCharts grafisch dargestellt werden kann.
wie ich dann die bisherigen Datenpunkte in die Reihe bekomme ist dann meine zweite Aufgabe

7T-Hospitalisierung wäre rateHospitalisiert7Tage/1000 =1,18% (Spalte 37)
7T Inzidenz: rateM7Tage/1000=57,5 (Spalte 35)
Intensivbelegung: anteilITSBetten*100
frag mich nicht warum die ersten beiden durch 1000 geteilt werden müssen

[liv-in-sky]

@homoran sagte in Mal wieder Webseite auslesen:

(7T-Inzidenz, 7T-Hospitalisierung

bitte die genaue nummer der beiden - die 65 ist klar - ist der letzte wert

was du genau brauchst, habe ich immer noch nicht gecheckt - brauchst du 3 werte eines bestimmten landkreises oder eine summe aller landkreise

ich weiß auch nicht wirklich, welcher kreis , welche zeile ist - es steht ja überall 5 unter dem wert kreis

[liv-in-sky]

@homoran

das sehe ich doch richtig - du brauchst nur die daten einer bestimmten zeile/eines landkreises

[Homoran]

@liv-in-sky sagte in Mal wieder Webseite auslesen:

du brauchst nur die daten einer bestimmten zeile/eines landkreises

die Zeilen sind die Tage - und da den jeweiligen Tag, an dem das Skript läuft.
Müsste immer die letzte Zeile sein, resp. nach Datum=date() (Spalte2/3)
(ich würde einmal am Tag (0 10 * * *) oder zweimal (0 10,22 * * *) abrufen

Warum oben "Kreis" steht habe ich noch nicht rausgefunden, da die gefundenen Zahlen bis auf den jeweiligen Faktor die Werte auf der Website für NRW ergeben.

@liv-in-sky sagte in Mal wieder Webseite auslesen:

bitte die genaue nummer der beiden

hab oben editiert

[liv-in-sky]

@homoran ok - mach mich mal an die arbeit

[liv-in-sky]

@homoran

bitte testen- du mußt die datenpunkte im blockly noch richtig eintragen

die webseite wird direkt ausgelesen - die datei wird mit request geholt

die berechnungen sind schon im script

script

<xml xmlns="https://developers.google.com/blockly/xml">
 <variables>
   <variable id="W3q,ZUH:5Q6saMtf{AUA">s65</variable>
   <variable id="T%=$W;0kK#gD_`r(}o:9">s35</variable>
   <variable id="Yr7zlPOZj)6N*k!]cQvq">s37</variable>
 </variables>
 <block type="procedures_defcustomnoreturn" id="]33#,HkQS%bDF`vB`P^q" x="337" y="212">
   <mutation statements="false">
     <arg name="s65" varid="W3q,ZUH:5Q6saMtf{AUA"></arg>
     <arg name="s35" varid="T%=$W;0kK#gD_`r(}o:9"></arg>
     <arg name="s37" varid="Yr7zlPOZj)6N*k!]cQvq"></arg>
   </mutation>
   <field name="NAME">etwas tun</field>
   <field name="SCRIPT">DQp2YXIgcGFyc2UgPSByZXF1aXJlKCdjc3YtcGFyc2UnKTsNCnZhciBpbnB1dCA9IHJlcXVpcmUoJ2ZzJykucmVhZEZpbGVTeW5jKCcvRGF0ZW4vY292aWQxOV81LmNzdicpLnRvU3RyaW5nKCk7DQoNCg0KDQp0cnkgew0KICByZXF1aXJlKCJyZXF1ZXN0IikoJ2h0dHBzOi8vd3d3Lmx6Zy5ucncuZGUvY292aWQxOS9kYXRlbi9jb3ZpZDE5XzUuY3N2JywgYXN5bmMgZnVuY3Rpb24gKGVycm9yLCByZXNwb25zZSwgcmVzdWx0KSB7DQogICAvLyBjb25zb2xlLmxvZyhyZXN1bHQpOw0KICAgDQpwYXJzZShyZXN1bHQsIHtjb21tZW50OiAnIyd9LCBmdW5jdGlvbihlcnIsIG91dHB1dCl7DQoJLy8gc2hvdyByZXN1bHQNCgkvL2NvbnNvbGUubG9nKEpTT04uc3RyaW5naWZ5KG91dHB1dCkpOw0KZm9yKGxldCByPTA7cjxvdXRwdXQubGVuZ3RoO3IrKyl7DQogICAvLyBsb2cob3V0cHV0W3JdWzQ2XSkNCn0NCmxvZyhvdXRwdXRbb3V0cHV0Lmxlbmd0aC0xXVs2NV0pDQpkNjU9TnVtYmVyKG91dHB1dFtvdXRwdXQubGVuZ3RoLTFdWzY1XSkqMTAwDQpsb2cob3V0cHV0W291dHB1dC5sZW5ndGgtMV1bMzddKQ0KZDM3PU51bWJlcihvdXRwdXRbb3V0cHV0Lmxlbmd0aC0xXVszN10pLzEwMDANCmxvZyhvdXRwdXRbb3V0cHV0Lmxlbmd0aC0xXVszNV0pDQpkMzU9TnVtYmVyKG91dHB1dFtvdXRwdXQubGVuZ3RoLTFdWzM1XSkvMTAwMA0Kc2V0U3RhdGUoczY1LGQ2NSkNCnNldFN0YXRlKHMzNSxkMzUpDQpzZXRTdGF0ZShzMzcsZDM3KQ0KDQp9KTsNCiAgDQogfSkub24oImVycm9yIiwgZnVuY3Rpb24gKGUpIHtjb25zb2xlLmVycm9yKGUpO30pOw0KfSBjYXRjaCAoZSkgeyBjb25zb2xlLmVycm9yKGUpOyB9ICAgDQoNCg0KDQo=</field>
   <comment pinned="false" h="80" w="160">Beschreibe diese Funktion …</comment>
 </block>
 <block type="procedures_callcustomnoreturn" id="VtDoZ,@!?HK~J,vK;+*R" x="238" y="287">
   <mutation name="etwas tun">
     <arg name="s65"></arg>
     <arg name="s35"></arg>
     <arg name="s37"></arg>
   </mutation>
   <value name="ARG0">
     <block type="text" id="7#PKlzH+`3;Z9]dS(cEB">
       <field name="TEXT">0_userdata.0.CONTROL-OWN.AAATEST.HOMORAN-CSV.s65</field>
     </block>
   </value>
   <value name="ARG1">
     <block type="text" id="vlrWSNU/ZNiILFfr(E|E">
       <field name="TEXT">0_userdata.0.CONTROL-OWN.AAATEST.HOMORAN-CSV.s35</field>
     </block>
   </value>
   <value name="ARG2">
     <block type="text" id="F[Nb@+#:(/JyXaX-uQyl">
       <field name="TEXT">0_userdata.0.CONTROL-OWN.AAATEST.HOMORAN-CSV.s37</field>
     </block>
   </value>
 </block>
</xml>

[Homoran]

@liv-in-sky sagte in Mal wieder Webseite auslesen:

die berechnungen sind schon im script

Supi, dann habe ich mich wohl geirrt und die Werte müssen nicht durch 1000 geteilt werden

Ich teste mal - DANKE

[Homoran]

@liv-in-sky sagte in Mal wieder Webseite auslesen:

du mußt die datenpunkte im blockly noch richtig eintragen

werden die dann angelegt???
oder muss ich erst welche (Number) anlegen?

[liv-in-sky]

@homoran

musst du selbst anlegen

[liv-in-sky]

@homoran number !!! ist der type

[Homoran]

@liv-in-sky Ja doch

Hab ich alles - passiert nix
müsste dann doch bei Skriptstart einmalig funktionieren, oder?

{
  "from": "system.adapter.admin.0",
  "user": "system.user.admin",
  "ts": 1632744780482,
  "common": {
    "name": "Hospitalisierung",
    "role": "value",
    "type": "number",
    "desc": "Manuell erzeugt",
    "read": true,
    "write": true,
    "def": 0
  },
  "native": {},
  "acl": {
    "object": 1636,
    "owner": "system.user.admin",
    "ownerGroup": "system.group.administrator",
    "state": 1636
  },
  "_id": "0_userdata.0.Gesundheit.Hospitalisierung",
  "type": "state"
}

[liv-in-sky]

@homoran

ja - ist ja kein trigger drin - einmal beim scriptstart - git es einen fehler im log - werden die daten im log angezeigt ?

[Homoran]

@liv-in-sky sagte in Mal wieder Webseite auslesen:

git es einen fehler im log - werden die daten im log angezeigt

nope und nope

habe csv-parse und auch fs als Module in der Instanz hinzugefügt

[liv-in-sky]

@homoran

check ich nicht ????

schaut das so aus ?

[Homoran]

@liv-in-sky
Hab mir den code mal näher angesehen

var input = require('fs').readFileSync('/Daten/covid19_5.csv').toString();

try {

require("request")('https://www.lzg.nrw.de/covid19/daten/covid19_5.csv', async function (error, response, result) {

...

Was ist die erste Zeile?
hier ist Daten groß geschrieben

im request ist alles ok - der Pfad passt

EDIT:

sieht bei mir so aus: