Navigation

    Logo
    • Register
    • Login
    • Search
    • Recent
    • Tags
    • Unread
    • Categories
    • Unreplied
    • Popular
    • GitHub
    • Docu
    • Hilfe
    1. Home
    2. Deutsch
    3. Skripten / Logik
    4. Mal wieder Webseite auslesen

    NEWS

    • Neuer Blog: Fotos und Eindrücke aus Solingen

    • ioBroker@Smart Living Forum Solingen, 14.06. - Agenda added

    • ioBroker goes Matter ... Matter Adapter in Stable

    Mal wieder Webseite auslesen

    This topic has been deleted. Only users with topic management privileges can see it.
    • arteck
      arteck Developer Most Active @Homoran last edited by arteck

      @homoran die kriegst du so nicht abgegriffen.. die werden dynamisch ohne id generiert

      du köntest dir aus dem Source mal evtl. die Daten ausziehen

      view-source:https://www.lzg.nrw.de/covid19/covid19.html
      

      dann siehst du was die Seite liefert..vor allem oben in den .js Dateien

      Homoran 1 Reply Last reply Reply Quote 0
      • Homoran
        Homoran Global Moderator Administrators @arteck last edited by

        @arteck sagte in Mal wieder Webseite auslesen:

        @homoran die kriegst du so nicht abgegriffen.. die werden dynamisch ohne id generiert

        du köntest dir aus dem Source mal evtl. die Daten ausziehen

        view-source:https://www.lzg.nrw.de/covid19/covid19.html
        

        dann siehst du was die Seite liefert..vor allem oben in den .js Dateien

        das habe ich bereits gemacht - ohne Erfolg 😞

        gerade habe ich im code gefunden : daten/covid19_5.csv

        wenn ich das an https://www.lzg.nrw.de/covid19/ dranhänge bekomme ich eine excel-Liste, in der ich bisher nur die aktuelle ITS-Belegung direkt gefunden habe.
        Ob ich damit die anderen Daten berechnen könnte wäre vielleicht noch möglich.

        https://www.lzg.nrw.de/covid19/daten/covid19_5.csv

        1 Reply Last reply Reply Quote 0
        • Homoran
          Homoran Global Moderator Administrators last edited by

          Bin inzwischen etwas weiter.
          Die Daten sehen so aus:

          kreis,datumstd,datum,anzahlM,anzahlE,anzahlEM,verstorben,verstorbenE,verstorbenM,verstorbenMOhneSterbedatum,hospitalisiert,genesen,r,anzahlMKumuliert,anzahlEKumuliert,hospitalisiertKumuliert,verstorbenKumuliert,verstorbenEKumuliert,verstorbenMKumuliert,verstorbenMOhneSterbedatumKumuliert,genesenKumuliert,krankKumuliert,anzahlM7Tage,anzahlE7Tage,verstorben7Tage,verstorbenE7Tage,verstorbenM7Tage,hospitalisiert7Tage,rateMKumuliert,rateEKumuliert,anteilVerstorbenM,rateHospitalisiertKumuliert,rateVerstorbenKumuliert,anteilVerstorbenEKumuliert,anteilVerstorbenMKumuliert,rateM7Tage,rateE7Tage,rateHospitalisiert7Tage,rateVerstorben7Tage,anteilVerstorbenE7Tage,anteilVerstorbenM7Tage,anzahlMKumuliertVortag,rateM7TageVortag,verstorbenKumuliertVortag,anzahlEA70,anzahlEA80,anzahlEA90,verstorbenA70,verstorbenA80,verstorbenA90,genesenA70,genesenA80,genesenA90,anzahlEA70Kumuliert,anzahlEA80Kumuliert,anzahlEA90Kumuliert,verstorbenA70Kumuliert,verstorbenA80Kumuliert,verstorbenA90Kumuliert,genesenA70Kumuliert,genesenA80Kumuliert,genesenA90Kumuliert,krankA70Kumuliert,krankA80Kumuliert,krankA90Kumuliert,anteilITSBetten
          5,2021-09-12,12.09.2021,869,712,522,12,0,1,0,37,1539,,929353,932889,66232,17613,17719,17713,28,859800,55500,18591,17401,79,44,55,615,5184.510,5204.236,0.115,369.483,98.256,1.899,1.906,103.712,97.074,3.431,0.000,0.253,0.296,928488,105.815,17601,21,25,5,4,1,1,13,6,2,41059,41345,14159,3872,7385,3409,36246,33100,10521,940,860,230,0.0789572393098275
          5,2021-09-13,13.09.2021,1781,1128,912,14,5,6,0,79,2509,,931134,934929,66311,17627,17724,17719,28,862300,55000,18503,16944,84,37,47,614,5194.446,5215.617,0.337,369.924,98.334,1.896,1.903,103.221,94.524,3.425,0.000,0.218,0.254,929358,103.723,17613,42,40,11,3,3,3,36,27,5,41101,41385,14170,3875,7388,3412,36282,33127,10526,940,870,230,0.0788888888888889
          5,2021-09-14,14.09.2021,2790,986,1359,10,5,5,0,101,2815,,933924,937274,66412,17637,17729,17724,28,865100,54500,17754,16166,84,37,46,598,5210.010,5228.698,0.179,370.488,98.390,1.892,1.898,99.043,90.184,3.336,0.000,0.229,0.259,931138,103.227,17627,39,53,18,3,4,3,33,31,10,41140,41438,14188,3878,7392,3415,36315,33158,10536,950,890,240,0.0809462206616152
          5,2021-09-15,15.09.2021,2409,843,1159,11,5,6,0,76,3374,,936333,939276,66488,17648,17734,17730,28,868500,53100,16355,14910,86,31,45,576,5223.449,5239.867,0.249,370.911,98.452,1.888,1.894,91.238,83.177,3.213,0.000,0.208,0.275,933927,99.043,17637,43,28,11,1,4,1,54,45,8,41183,41466,14199,3879,7396,3416,36369,33203,10544,940,870,240,0.080534421970681
          5,2021-09-16,16.09.2021,2267,726,1150,15,3,3,0,72,3161,,938600,941152,66560,17663,17737,17733,28,871600,51800,15305,14085,86,28,36,537,5236.096,5250.332,0.132,371.313,98.535,1.885,1.889,85.381,78.575,2.996,0.000,0.199,0.235,936335,91.227,17648,53,57,25,5,5,3,46,34,7,41236,41523,14224,3884,7401,3419,36415,33237,10551,940,890,250,0.0807257915200889
          5,2021-09-17,17.09.2021,2014,639,1026,10,2,3,0,79,3314,,940614,942817,66639,17673,17739,17736,28,875000,50200,14445,13218,87,25,32,515,5247.331,5259.621,0.149,371.754,98.591,1.881,1.886,80.583,73.738,2.873,0.000,0.189,0.222,938603,85.375,17663,31,35,9,1,3,2,39,42,6,41267,41558,14233,3885,7404,3421,36454,33279,10557,930,880,260,0.0799249530956848
          5,2021-09-18,18.09.2021,1538,600,767,11,2,4,0,46,2737,,942152,944184,66685,17684,17741,17740,28,877700,48800,13668,12529,83,22,28,490,5255.911,5267.247,0.260,372.010,98.652,1.879,1.883,76.249,69.895,2.734,0.000,0.176,0.205,940617,80.578,17673,28,25,7,2,0,6,29,22,5,41295,41583,14240,3887,7404,3427,36483,33301,10562,930,880,250,0.0780598711633194
          5,2021-09-19,19.09.2021,655,549,352,12,2,0,0,28,1705,,942807,945085,66713,17696,17743,17740,28,879400,48000,13454,12196,83,24,27,481,5259.565,5272.273,0.000,372.167,98.719,1.877,1.882,75.055,68.037,2.683,0.000,0.197,0.201,942157,76.254,17684,18,17,14,0,3,4,18,29,7,41313,41600,14254,3887,7407,3431,36501,33330,10569,930,860,250,0.0789523991588606
          5,2021-09-20,20.09.2021,1195,649,635,10,1,2,0,41,2623,,944002,946369,66754,17706,17744,17742,28,882000,46600,12868,11440,79,20,23,443,5266.231,5279.436,0.167,372.395,98.775,1.875,1.879,71.786,63.819,2.471,0.000,0.175,0.179,942810,75.044,17696,28,33,4,0,5,0,33,50,12,41341,41633,14258,3887,7412,3431,36534,33380,10581,920,840,250,0.07687959299039
          5,2021-09-21,21.09.2021,2148,465,1096,12,1,1,0,42,3146,,946150,947930,66796,17718,17745,17743,28,885200,45000,12226,10656,81,16,19,384,5278.214,5288.144,0.047,372.630,98.842,1.872,1.875,68.204,59.446,2.142,0.000,0.150,0.155,944004,71.775,17706,35,36,17,2,6,2,65,54,11,41376,41669,14275,3889,7418,3433,36599,33434,10592,890,820,250,0.0726423902894491
          5,2021-09-22,22.09.2021,2127,388,1195,9,1,1,0,32,3356,,948277,949513,66828,17727,17746,17744,28,888500,43300,11944,10237,79,12,14,340,5290.080,5296.975,0.047,372.808,98.892,1.869,1.871,66.631,57.108,1.897,0.000,0.117,0.117,946153,68.204,17718,29,22,7,5,1,0,53,47,13,41405,41691,14282,3894,7419,3433,36652,33481,10605,860,790,240,0.0717614165890028
          5,2021-09-23,23.09.2021,1655,265,951,11,0,2,0,41,3059,,949932,950729,66869,17738,17746,17746,28,891600,41400,11332,9577,75,9,13,309,5299.313,5303.759,0.121,373.037,98.954,1.867,1.868,63.217,53.426,1.724,0.000,0.094,0.115,948283,66.653,17727,25,42,7,4,0,0,57,56,14,41430,41733,14289,3898,7419,3433,36709,33537,10619,820,780,240,0.072078766487089
          5,2021-09-24,24.09.2021,1581,110,1040,7,0,0,0,26,2851,,951513,951879,66895,17745,17746,17746,28,894400,39700,10899,9062,72,7,10,256,5308.132,5310.174,0.000,373.182,98.993,1.864,1.865,60.801,50.553,1.428,0.000,0.077,0.092,949933,63.206,17738,32,27,11,3,3,0,50,41,16,41462,41760,14300,3901,7422,3433,36759,33578,10635,800,760,230,0.0693253820350354
          5,2021-09-25,25.09.2021,1236,19,935,1,0,0,0,26,2318,,952749,952833,66921,17746,17746,17746,28,896700,38300,10597,8649,62,5,6,236,5315.028,5315.496,0.000,373.327,98.998,1.862,1.863,59.117,48.250,1.317,0.000,0.058,0.057,951492,60.668,17744,25,15,6,0,0,0,35,30,7,41487,41775,14306,3901,7422,3433,36794,33608,10642,790,750,230,0.0700331736085514
          5,2021-09-26,26.09.2021,363,2,277,0,0,0,0,3,3784,,953112,953112,66924,17746,17746,17746,28,900500,34800,10305,8027,50,3,6,211,5317.053,5317.053,0.000,373.344,98.998,1.862,1.862,57.488,44.780,1.177,0.000,0.037,0.058,952600,58.258,17744,7,11,1,0,0,0,70,62,18,41494,41786,14307,3901,7422,3433,36864,33670,10660,730,690,210,0.0714285714285714
          
          

          im Prinzip ist alles vorhanden

          Leider schaffe ich es nicht an die Daten mit dem Parser Adapter zu kommen, so dass es auch automatisch funktionieren würde, wenn die Tabelle länger wird oder die Stellen der Zahlen sich ändern.

          liv-in-sky 2 Replies Last reply Reply Quote 0
          • liv-in-sky
            liv-in-sky @Homoran last edited by

            @homoran

            denke, da musst du mit https://www.npmjs.com/package/csv arbeiten, damit du die daten bekommst

            Homoran 1 Reply Last reply Reply Quote 0
            • Homoran
              Homoran Global Moderator Administrators @liv-in-sky last edited by

              @liv-in-sky sagte in Mal wieder Webseite auslesen:

              denke, da musst du mit https://www.npmjs.com/package/csv arbeiten, damit du die daten bekommst

              Ja, das habe ich auch befürchtet.
              Nix Parser - js!!

              Auch wenn du mir das mit replace schon mal versucht hast beizubringen ist das noch nicht durchgeschaltet

              1 Reply Last reply Reply Quote 0
              • liv-in-sky
                liv-in-sky @Homoran last edited by liv-in-sky

                @homoran

                habe mal das file auf den iobroker server kopiert und ausgelesen - das auszuwerten ist vieeeeeeel aufwand

                zum testen
                csv-parse und fs muss installiert sein im javascript-adapter setting
                die datei habe ich unter /Daten/covid19_5.csv gespeichert

                var parse = require('csv-parse');
                var input = require('fs').readFileSync('/Daten/covid19_5.csv').toString();
                
                
                parse(input, {comment: '#'}, function(err, output){
                	// show result
                	console.log(JSON.stringify(output));
                for(let r=0;r<output.length;r++){
                    log(output[r][6])
                }
                });
                
                
                
                });
                
                

                im log sind zuerst die daten als json zu sehen und anschliessend alle verstorbene pro eintrag

                Image 5.png

                Homoran 1 Reply Last reply Reply Quote 0
                • Homoran
                  Homoran Global Moderator Administrators @liv-in-sky last edited by Homoran

                  @liv-in-sky sagte in Mal wieder Webseite auslesen:

                  anschliessend alle verstorbene pro eintrag

                  r=6

                  ich brauche u.a. die Spalte BN, das wäre IMHO 46???

                  liv-in-sky 1 Reply Last reply Reply Quote 0
                  • liv-in-sky
                    liv-in-sky @Homoran last edited by liv-in-sky

                    @homoran

                    welche meinst du - das sind die spalten

                    Image 6.png

                    Homoran 2 Replies Last reply Reply Quote 0
                    • Homoran
                      Homoran Global Moderator Administrators @liv-in-sky last edited by

                      @liv-in-sky sagte in Mal wieder Webseite auslesen:

                      welche meinst du - das sind die spalten

                      65 😳

                      wie im ersten Screenshot die neuen Leitindikatoren: (7T-Inzidenz, 7T-Hospitalisierung, Anteil belegte Intensivbetten)
                      letzteres ist die letzte Spalte

                      liv-in-sky 2 Replies Last reply Reply Quote 0
                      • liv-in-sky
                        liv-in-sky @Homoran last edited by

                        @homoran

                        und was genau brauchst du - die summe ? der jeweiligen spalten ?

                        Homoran 1 Reply Last reply Reply Quote 0
                        • Homoran
                          Homoran Global Moderator Administrators @liv-in-sky last edited by Homoran

                          @liv-in-sky sagte in Mal wieder Webseite auslesen:

                          @homoran

                          und was genau brauchst du - die summe ? der jeweiligen spalten ?

                          Jetzt wird's "einfach"
                          immer den aktuellen Wert des Tages, damit es geloggt und über eCharts grafisch dargestellt werden kann.
                          wie ich dann die bisherigen Datenpunkte in die Reihe bekomme ist dann meine zweite Aufgabe

                          7T-Hospitalisierung wäre rateHospitalisiert7Tage/1000 =1,18% (Spalte 37)
                          7T Inzidenz: rateM7Tage/1000=57,5 (Spalte 35)
                          Intensivbelegung: anteilITSBetten*100
                          frag mich nicht warum die ersten beiden durch 1000 geteilt werden müssen

                          liv-in-sky 1 Reply Last reply Reply Quote 0
                          • liv-in-sky
                            liv-in-sky @Homoran last edited by

                            @homoran sagte in Mal wieder Webseite auslesen:

                            (7T-Inzidenz, 7T-Hospitalisierung

                            bitte die genaue nummer der beiden - die 65 ist klar - ist der letzte wert

                            was du genau brauchst, habe ich immer noch nicht gecheckt - brauchst du 3 werte eines bestimmten landkreises oder eine summe aller landkreise

                            ich weiß auch nicht wirklich, welcher kreis , welche zeile ist - es steht ja überall 5 unter dem wert kreis

                            1 Reply Last reply Reply Quote 0
                            • liv-in-sky
                              liv-in-sky @Homoran last edited by

                              @homoran

                              das sehe ich doch richtig - du brauchst nur die daten einer bestimmten zeile/eines landkreises

                              Homoran 1 Reply Last reply Reply Quote 0
                              • Homoran
                                Homoran Global Moderator Administrators @liv-in-sky last edited by Homoran

                                @liv-in-sky sagte in Mal wieder Webseite auslesen:

                                du brauchst nur die daten einer bestimmten zeile/eines landkreises

                                die Zeilen sind die Tage - und da den jeweiligen Tag, an dem das Skript läuft.
                                Müsste immer die letzte Zeile sein, resp. nach Datum=date() (Spalte2/3)
                                (ich würde einmal am Tag (0 10 * * *) oder zweimal (0 10,22 * * *) abrufen

                                Warum oben "Kreis" steht habe ich noch nicht rausgefunden, da die gefundenen Zahlen bis auf den jeweiligen Faktor die Werte auf der Website für NRW ergeben.

                                @liv-in-sky sagte in Mal wieder Webseite auslesen:

                                bitte die genaue nummer der beiden

                                hab oben editiert

                                liv-in-sky 2 Replies Last reply Reply Quote 0
                                • liv-in-sky
                                  liv-in-sky @Homoran last edited by

                                  @homoran ok - mach mich mal an die arbeit

                                  1 Reply Last reply Reply Quote 1
                                  • liv-in-sky
                                    liv-in-sky @Homoran last edited by liv-in-sky

                                    @homoran

                                    bitte testen- du mußt die datenpunkte im blockly noch richtig eintragen

                                    die webseite wird direkt ausgelesen - die datei wird mit request geholt

                                    die berechnungen sind schon im script

                                    Image 7.png

                                    <xml xmlns="https://developers.google.com/blockly/xml">
                                     <variables>
                                       <variable id="W3q,ZUH:5Q6saMtf{AUA">s65</variable>
                                       <variable id="T%=$W;0kK#gD_`r(}o:9">s35</variable>
                                       <variable id="Yr7zlPOZj)6N*k!]cQvq">s37</variable>
                                     </variables>
                                     <block type="procedures_defcustomnoreturn" id="]33#,HkQS%bDF`vB`P^q" x="337" y="212">
                                       <mutation statements="false">
                                         <arg name="s65" varid="W3q,ZUH:5Q6saMtf{AUA"></arg>
                                         <arg name="s35" varid="T%=$W;0kK#gD_`r(}o:9"></arg>
                                         <arg name="s37" varid="Yr7zlPOZj)6N*k!]cQvq"></arg>
                                       </mutation>
                                       <field name="NAME">etwas tun</field>
                                       <field name="SCRIPT">DQp2YXIgcGFyc2UgPSByZXF1aXJlKCdjc3YtcGFyc2UnKTsNCnZhciBpbnB1dCA9IHJlcXVpcmUoJ2ZzJykucmVhZEZpbGVTeW5jKCcvRGF0ZW4vY292aWQxOV81LmNzdicpLnRvU3RyaW5nKCk7DQoNCg0KDQp0cnkgew0KICByZXF1aXJlKCJyZXF1ZXN0IikoJ2h0dHBzOi8vd3d3Lmx6Zy5ucncuZGUvY292aWQxOS9kYXRlbi9jb3ZpZDE5XzUuY3N2JywgYXN5bmMgZnVuY3Rpb24gKGVycm9yLCByZXNwb25zZSwgcmVzdWx0KSB7DQogICAvLyBjb25zb2xlLmxvZyhyZXN1bHQpOw0KICAgDQpwYXJzZShyZXN1bHQsIHtjb21tZW50OiAnIyd9LCBmdW5jdGlvbihlcnIsIG91dHB1dCl7DQoJLy8gc2hvdyByZXN1bHQNCgkvL2NvbnNvbGUubG9nKEpTT04uc3RyaW5naWZ5KG91dHB1dCkpOw0KZm9yKGxldCByPTA7cjxvdXRwdXQubGVuZ3RoO3IrKyl7DQogICAvLyBsb2cob3V0cHV0W3JdWzQ2XSkNCn0NCmxvZyhvdXRwdXRbb3V0cHV0Lmxlbmd0aC0xXVs2NV0pDQpkNjU9TnVtYmVyKG91dHB1dFtvdXRwdXQubGVuZ3RoLTFdWzY1XSkqMTAwDQpsb2cob3V0cHV0W291dHB1dC5sZW5ndGgtMV1bMzddKQ0KZDM3PU51bWJlcihvdXRwdXRbb3V0cHV0Lmxlbmd0aC0xXVszN10pLzEwMDANCmxvZyhvdXRwdXRbb3V0cHV0Lmxlbmd0aC0xXVszNV0pDQpkMzU9TnVtYmVyKG91dHB1dFtvdXRwdXQubGVuZ3RoLTFdWzM1XSkvMTAwMA0Kc2V0U3RhdGUoczY1LGQ2NSkNCnNldFN0YXRlKHMzNSxkMzUpDQpzZXRTdGF0ZShzMzcsZDM3KQ0KDQp9KTsNCiAgDQogfSkub24oImVycm9yIiwgZnVuY3Rpb24gKGUpIHtjb25zb2xlLmVycm9yKGUpO30pOw0KfSBjYXRjaCAoZSkgeyBjb25zb2xlLmVycm9yKGUpOyB9ICAgDQoNCg0KDQo=</field>
                                       <comment pinned="false" h="80" w="160">Beschreibe diese Funktion …</comment>
                                     </block>
                                     <block type="procedures_callcustomnoreturn" id="VtDoZ,@!?HK~J,vK;+*R" x="238" y="287">
                                       <mutation name="etwas tun">
                                         <arg name="s65"></arg>
                                         <arg name="s35"></arg>
                                         <arg name="s37"></arg>
                                       </mutation>
                                       <value name="ARG0">
                                         <block type="text" id="7#PKlzH+`3;Z9]dS(cEB">
                                           <field name="TEXT">0_userdata.0.CONTROL-OWN.AAATEST.HOMORAN-CSV.s65</field>
                                         </block>
                                       </value>
                                       <value name="ARG1">
                                         <block type="text" id="vlrWSNU/ZNiILFfr(E|E">
                                           <field name="TEXT">0_userdata.0.CONTROL-OWN.AAATEST.HOMORAN-CSV.s35</field>
                                         </block>
                                       </value>
                                       <value name="ARG2">
                                         <block type="text" id="F[Nb@+#:(/JyXaX-uQyl">
                                           <field name="TEXT">0_userdata.0.CONTROL-OWN.AAATEST.HOMORAN-CSV.s37</field>
                                         </block>
                                       </value>
                                     </block>
                                    </xml>
                                    

                                    Homoran 2 Replies Last reply Reply Quote 0
                                    • Homoran
                                      Homoran Global Moderator Administrators @liv-in-sky last edited by

                                      @liv-in-sky sagte in Mal wieder Webseite auslesen:

                                      die berechnungen sind schon im script

                                      Supi, dann habe ich mich wohl geirrt und die Werte müssen nicht durch 1000 geteilt werden 😞

                                      Ich teste mal - DANKE 😮

                                      1 Reply Last reply Reply Quote 0
                                      • Homoran
                                        Homoran Global Moderator Administrators @liv-in-sky last edited by

                                        @liv-in-sky sagte in Mal wieder Webseite auslesen:

                                        du mußt die datenpunkte im blockly noch richtig eintragen

                                        werden die dann angelegt???
                                        oder muss ich erst welche (Number) anlegen?

                                        liv-in-sky 2 Replies Last reply Reply Quote 0
                                        • liv-in-sky
                                          liv-in-sky @Homoran last edited by

                                          @homoran

                                          musst du selbst anlegen 😞

                                          1 Reply Last reply Reply Quote 0
                                          • liv-in-sky
                                            liv-in-sky @Homoran last edited by

                                            @homoran number !!! ist der type

                                            Homoran 1 Reply Last reply Reply Quote 0
                                            • First post
                                              Last post

                                            Support us

                                            ioBroker
                                            Community Adapters
                                            Donate

                                            535
                                            Online

                                            31.8k
                                            Users

                                            80.0k
                                            Topics

                                            1.3m
                                            Posts

                                            monitoring
                                            3
                                            53
                                            1231
                                            Loading More Posts
                                            • Oldest to Newest
                                            • Newest to Oldest
                                            • Most Votes
                                            Reply
                                            • Reply as topic
                                            Log in to reply
                                            Community
                                            Impressum | Datenschutz-Bestimmungen | Nutzungsbedingungen
                                            The ioBroker Community 2014-2023
                                            logo