Wunsch: Pollenflug-(Adapter/wasauchimmer)

[Homoran]

@SBorg
ich hatte mal den Quelltext heruntergelden und bei regex101 getestet.

Das klappte ganz gut.
Im Parser Adapter bekam ich dann live eine 503 forbidden
Da kann ich ja keinen useragent eingeben

[Homoran]

@SBorg sagte in Wunsch: Pollenflug-(Adapter/wasauchimmer):

Solange man es anscheinend kpl. in Ruhe lässt funktioniert es...

Mir fällt gerade die Meldung auf:

TypeScript compilation successful

Das heisst doch:
sobald man das Skript anfasst wird es neu kompiliert!

...und dann läuft es nicht mehr

[SBorg]

Wie heißt es immer so schön: ich habe eine gute und eine schlechte Nachricht...
Die "gute": ich weiß woran es liegt...
die "schlechte": ich bin dann mal raus...

Eigentlich sollte es mit aktuellen Werten bei keinem mehr funktionieren, außer Wetteronline macht noch was anderes bei einigen URLs. Bei "meiner" ist es eindeutig so, dass der Webseiten-Parser nicht mehr zum Inhalt der Seite passt. Somit kann, wie schon @AlCalzone schrieb, er keine Daten mehr von der Seite verarbeiten. Er müsste also neu geschrieben werden. Ob ich das hin bekäme weiß ich nicht, aber ich habe für mich schon eine funktionsfähige andere Variante, so dass die Priorität hinter meinen eigenen derzeitigen Projekten läge. Sieht also von meiner Seite eher schlecht aus

[Nashra]

@SBorg sagte in Wunsch: Pollenflug-(Adapter/wasauchimmer):

Wie heißt es immer so schön: ich habe eine gute und eine schlechte Nachricht...
Die "gute": ich weiß woran es liegt...
die "schlechte": ich bin dann mal raus...

Schade aber trotzdem vielen Dank für die Mühe die Du dir gemacht hast

[AlCalzone]

@Homoran sagte in Wunsch: Pollenflug-(Adapter/wasauchimmer):

@SBorg sagte in Wunsch: Pollenflug-(Adapter/wasauchimmer):

Solange man es anscheinend kpl. in Ruhe lässt funktioniert es...

Mir fällt gerade die Meldung auf:

TypeScript compilation successful

Das macht der Adapter bei jedem Start eines TypeScripts (also bei Änderung und bei Adapterstart).

[Segway]

@Homoran sagte in Wunsch: Pollenflug-(Adapter/wasauchimmer):

ob ich das mal machen sollte?

Hattest du das mal bei dir gemacht ? Habe das mal installiert allerdings zeigte das Debian nach einem Neustart wieder die alte 6.4.1 bei mir an ... weiss immer noch nicht wodran das liegt

[Homoran]

@Segway sagte in Wunsch: Pollenflug-(Adapter/wasauchimmer):

Hattest du das mal bei dir gemacht ?

Ja!
und npm -v ergibt auch brav 6.9.0

[Segway]

@Homoran sagte in Wunsch: Pollenflug-(Adapter/wasauchimmer):

Ja!

mit --> npm install -g npm ?

[Homoran]

@Segway nein als user pi mit

sudo -H npm install -g npm

[Segway]

@Homoran

Update hm-rega from @2.3.1 to @2.3.2
NPM version: 6.9.0

[SmarthomeMF]

Hallo
Hatte das Skript das ganze letzte Jahr am laufen

Spoiler

```
// ########################################################################################################
// Polleninfo auswerten heute und die nächsten Tage
// Version 1.4
// ########################################################################################################

/**************************************************************************************************

• Initiale Optionen
  **************************************************************************************************/
  interface iRequestOptions {
  url: string;
  headers: any;
  }

var baseUrl: string = "https://www.wetteronline.de/pollen/perg";
var baseObjPath: string = 'wetter.pollenvorhersage';

/**************************************************************************************************

• Globale TypeScript Definitionen
  *************************************************************************************************/
  // -----------------------------------------------------------------------------
  / Die folgenden Funktionen sind bei mir in einem globalen script.
  Wenn man diese global definieren will, muss man das lokal referenzieren mit:
  declare function isPrimitive(obj:any):boolean
  declare function logDebug(...param: any[]):void;
  declare function logInfo(...param: any[]):void;
  declare function logWarning(...param: any[]):void;
  declare function logError(...param: any[]):void;
  */

/**

• Function for check if a object is a primitive object (string, number, etc)
• @param obj any object to check if it is a primitive object
• @returns boolean which is true if object in parameter is a primitive object
  */
  function isPrimitive(obj:any):boolean {
  return (obj !== Object(obj));
  }

/**

• write any objects given as parameter to log as debug

• @param param a nist of different objects
  /
  function logDebug(...param: any[]):void {
  if (arguments.length > 0) {
  var text:string[] = [];
  for (var i = 0; i < arguments.length; i++) {
  if (typeof arguments[i] === 'string' || arguments[i] instanceof String) {
  text.push(arguments[i]);
  } else if(arguments[i] === null) {
  text.push('null');
  } else if(arguments[i] === undefined) {
  text.push('undefined');
  } else if (isPrimitive(arguments[i])) {
  text.push(arguments[i]);
  } else {
  text.push(JSON.stringify(arguments[i]));
  }
  //enum close bracket cannot be found in "channel[state.id=.TEMPERATURE](rooms=WZ|Wohnung|Wohnzimmer"

  }
  log(text.join(' '), 'debug');
  }
  }

/**

• write any objects given as parameter to log as Information

• @param param a nist of different objects
  /
  function logInfo(...param: any[]):void {
  if (arguments.length > 0) {
  var text:string[] = [];
  for (var i = 0; i < arguments.length; i++) {
  if (typeof arguments[i] === 'string' || arguments[i] instanceof String) {
  text.push(arguments[i]);
  } else if(arguments[i] === null) {
  text.push('null');
  } else if(arguments[i] === undefined) {
  text.push('undefined');
  } else if (isPrimitive(arguments[i])) {
  text.push(arguments[i]);
  } else {
  text.push(JSON.stringify(arguments[i]));
  }
  //enum close bracket cannot be found in "channel[state.id=.TEMPERATURE](rooms=WZ|Wohnung|Wohnzimmer"

  }
  log(text.join(' '), 'info');
  setState("javascript.0.Ereignisliste.event",'INFO|'+text.join(' '));
  }
  //logEnhanced(logtext, 'info');
  //console.debug(p);
  //logs(logtext,loglevels.debug);
  }

/**

• write any objects given as parameter to log as warning

• @param param a nist of different objects
  /
  function logWarning(...param: any[]):void {
  if (arguments.length > 0) {
  var text:string[] = [];
  for (var i = 0; i < arguments.length; i++) {
  if (typeof arguments[i] === 'string' || arguments[i] instanceof String) {
  text.push(arguments[i]);
  } else if(arguments[i] === null) {
  text.push('null');
  } else if(arguments[i] === undefined) {
  text.push('undefined');
  } else if (isPrimitive(arguments[i])) {
  text.push(arguments[i]);
  } else {
  text.push(JSON.stringify(arguments[i]));
  }
  //enum close bracket cannot be found in "channel[state.id=.TEMPERATURE](rooms=WZ|Wohnung|Wohnzimmer"

  }
  log(text.join(' '), 'warn');
  setState("javascript.0.Ereignisliste.event",'WARN|'+text.join(' '));
  }
  //logEnhanced(logtext, 'warn');
  //console.warn(p);
  //logs(logtext,loglevels.warn);
  }

/**

• write any objects given as parameter to log as error

• @param param a nist of different objects
  /
  function logError(...param: any[]):void {
  if (arguments.length > 0) {
  var text:string[] = [];
  for (var i = 0; i < arguments.length; i++) {
  if (typeof arguments[i] === 'string' || arguments[i] instanceof String) {
  text.push(arguments[i]);
  } else if(arguments[i] === null) {
  text.push('null');
  } else if(arguments[i] === undefined) {
  text.push('undefined');
  } else if (isPrimitive(arguments[i])) {
  text.push(arguments[i]);
  } else {
  text.push(JSON.stringify(arguments[i]));
  }
  //enum close bracket cannot be found in "channel[state.id=.TEMPERATURE](rooms=WZ|Wohnung|Wohnzimmer"

  }
  log(text.join(' '), 'error');
  setState("javascript.0.Ereignisliste.event",'ERROR|'+text.join(' '));
  }
  }
  // ########################################################################################################
  // Lokale TypeScript Definitionen
  // ########################################################################################################
  import request = require("request");

var Pollenarten:string[] = ['Erle','Hasel','Pappel','Weide','Ulme','Birke','Buche','Ampfer','Roggen','Gräser','Eiche','Wegerich','Beifuß','Ambrosia'];
var tageVorhersage = ['d0','d1','d2','d3','d4','d5'];
var tageVorhersageName = ['heute','morgen','übermorgen','heute + 3','heute + 4','heute + 5'];

function stripTags(data:string):string {
return data.replace(/( |<([^>]+)>)/ig, "");
}

function getDate(days: number): string { // Eingabe 0, 1, 2, ...
var jetzt = new Date();
jetzt.setHours(0);
jetzt.setMinutes(0);
jetzt.setSeconds(0);
jetzt.setMilliseconds(0);
var newdate = new Date();
newdate.setTime(jetzt.getTime() + (24 * 60 * 60 * 1000 * days) ); // heute + anzahl tage ins Millisekunden
var date :string = newdate.getDate().toString();
var month: string = (newdate.getMonth()+1).toString();
var year: string = newdate.getFullYear().toString();
date = (date.length < 2) ? '0' + date : date;
month = (month.length < 2) ? '0' + month : month;
var result:string = year+month+date;
logDebug('Datum in Link: ', result);
return (result); // Ausgabe z.B. 20160506
}

function GetPollenIndex(pflanze:string, html:string):number {
var code ={'kein':0, 'schwach':1, 'mäßig':2, 'stark':3};
var result:string= "";
var start:number =html.indexOf(pflanze)+pflanze.length;

result=html.slice(start);
result=result.trim();

//logDebug('result for ',pflanze,html.slice(0,600));
var stop:number =result.indexOf(' ');
result=result.slice(0,stop);
logDebug('pflanze=',pflanze,'code=',result);
return code[result];
}

function initializePollenwetter(baseObj:string, name:string):void {
createState(baseObj,0,false, {
name: name,
type: "string",
role: 'json',
read: true,
write: false});

for(var i=0;i<Pollenarten.length;i++) {
  createState(baseObj + '.' + Pollenarten[i].toLowerCase(),0,false, {
     name: 'Pollenart '+ Pollenarten[i],
     type: "number",
     role: 'value',
     read: true,
     write: false});
}

}

function removeOldPollenwetter():void {
for(var i=0;i<Pollenarten.length;i++) {
deleteState(baseObjPath + '.' + Pollenarten[i].toLowerCase());
}
}

function readPollenwetterForDay(day:number, baseObj:string):void {
logDebug("Start");
try {
var options:iRequestOptions = {
url: ((day>0) ? baseUrl + '?fcdatstr=' + getDate(day) : baseUrl), // korrekten Link erstellen ,
headers: {
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:40.0) Gecko/20100101 Firefox/40.1'
}
};
request(options, function (error, response, body):void {
if (!error && response.statusCode == 200) { // kein Fehler, Inhalt in body
body=body.replace(/\t/g, ' ');
body=body.replace(/(\n|\r)/g, '');
var start:number =body.indexOf('<ul id="pollentable">');
if (start>-1) { body=body.slice(start); }
body=stripTags(body);
//logDebug('body',body);
let pobj:any = {};
for(let i=0;i<Pollenarten.length;i++) {
let pi:number = GetPollenIndex(Pollenarten[i],body);
pobj[Pollenarten[i].toLowerCase()] = pi;
setState(baseObj+'.'+Pollenarten[i].toLowerCase(),pi);
}
setState(baseObj,JSON.stringify(pobj));
} else {
logInfo("StatusCode="+response.statusCode);
logError(error); // Error beim Einlesen
}
});
} catch (e) {
logError('Fehler (try) leseWebseite: ' + e);
}
}

function readPollenwetter() {
for (let d:number = 0; d < tageVorhersage.length; d++) {
let path: string = baseObjPath + '.' + tageVorhersage[d];
initializePollenwetter(path, tageVorhersageName[d]);
readPollenwetterForDay(d, path);
}
}

removeOldPollenwetter();
readPollenwetter();
schedule("5 0 * * *", readPollenwetter);

nun nach dem Winter habe ich es wieder gestartet!
nun gleich einen ERROR
[s=]```
20:20:23.749	error	javascript.0 script.js.common.Polleninfo compile failed:
 at script.js.common.Polleninfo:9
```[/s]
Das ich gerade gesehen habe das es auch bereits einen Adapter gibt habe ich ihn probiert.
Nur geht das nicht weil ich aus österreich bin und dafür keine Eonstellungen giebt.

Was bedeutet der Error.
Danke

[SmarthomeMF]

nun nach dem Winter habe ich es wieder gestartet!
nun gleich einen ERROR

20:20:23.749 error javascript.0 script.js.common.Polleninfo compile failed:
at script.js.common.Polleninfo:9

Das ich gerade gesehen habe das es auch bereits einen Adapter gibt habe ich ihn probiert.
Nur geht das nicht weil ich aus österreich bin und dafür keine Eonstellungen giebt.

Was bedeutet der Error.
Danke

[SBorg]

Du kannst die letzten ~50 Posts bei Interesse dazu lesen, oder kurz und schmerzlos: der Aufbau der Seite hat sich geändert und der Parser funktioniert nicht mehr...

[Homoran]

@SBorg
und wenn jemand Zeit, Lust und die Fähigkeit hat das Skript zu modifizieren (mir fehlt vor allem letzteres), habe ich schon mal etwas vorbereitet

Mit dem Regex

day0="(\w+)

erhält man für die 14 Pollenarten die heutige Warnstufe
Ändert man day0 auf day1 ist das die morgige Warnstufe, day2 übermorgen usw.

Als Ergebnis kommen vier verschiedene Worte heraus: noburden, weakburden, moderateburden und strongborden, was den Intensitäten 0-3 entspricht, was dann noch umgerechnet werden muss.

Mit dem Parser geht es leider nicht, da kommt 503-forbidden.
(Oder kann man im Aufruf der Adresse einen Useragent mitgeben?)

Die entsprechenden Pollenarten erhält man mit

xt">(\w+)

Wobei ich davon ausgehe, dass sich die Reihenfolge nicht ändert und man einfach 0=Erle, 1=Hasel usw. festlegen kännte

[SBorg]

@Homoran sagte in Wunsch: Pollenflug-(Adapter/wasauchimmer):

(Oder kann man im Aufruf der Adresse einen Useragent mitgeben?)

Nicht das ich wüsste. Ich gebe ihn bei meinem Shell-Script auch per wget mit.

[AlCalzone]

@Homoran sagte in Wunsch: Pollenflug-(Adapter/wasauchimmer):

Oder kann man im Aufruf der Adresse einen Useragent mitgeben

Natürlich:
https://github.com/request/request#custom-http-headers

[SBorg]

@Homoran meinte aber IMO beim Parser-Adapter...?

[Homoran]

@SBorg
So ist es

[AlCalzone]

Ok da bin ich raus

[Homoran]

@AlCalzone
und ich bei einem Skript