Test/Support für Adapter rssfeed und vis-2-widgets-rssfeed
-
@skokarl
ja, geht nicht.
hatte ich im januar als issue festgehalten
https://github.com/oweitman/ioBroker.rssfeed/issues/29
hatte ja gesagt, das ich die admin oberfläche überarbeiten mussclosed max-article can not be changed #29
-
So, die Influx DB läuft jetzt auch wieder ...... das ganze System läuft wieder kugelrund ....
werde jetzt morgen den RSS wieder einschalten und ein bisschen loggen .....
-
und auch den web und javascript adapter
-
@oliverio Ich habe gerade einen Atom-Feed der nicht mehr will. Lief seit x Monaten problemlos, sehe aber so auch nichts was ihn daran hindern würde ihn zu verarbeiten
Mit dem öffentlichen Feed habe ich es aktuell noch nicht probiert, sollte aber identisch sein. Der User-spezifische geht nur mit einem kostenlosen Account (enthält dann aber nur konfigurierte Sendungen).
Feed-Auszug (wg. Copyright Texte gekürzt):
<?xml version="1.0" encoding="utf-8"?> <feed xmlns="https://www.w3.org/2005/Atom"> <title>TV Wunschliste</title> <subtitle>Mein TV-Planer Wunschliste</subtitle> <link href="https://meine.wunschliste.de/updates" /> <link rel="self" href="https://www.wunschliste.de/xml/atom.pl" /> <updated>2022-05-06T11:20:48+02:00</updated> <author> <name>TV Wunschliste</name> </author> <id>https://meine.wunschliste.de/</id> <logo>https://www.wunschliste.de/gfx/logo.png</logo> <entry> <title>LeveragXXX (3.9) - Fr XX.05., XX.25 Uhr / VOXup</title> <link href="https://www.wunschliste.de/serie/leverage" /> <id>https://www.wunschliste.de/tv/2582052</id> <summary>Der InstallXXX ...</summary> <content type="xhtml" xml:base="https://example.org/"> <div xmlns="https://www.w3.org/1999/xhtml"> <strong>Im NamXXX</strong> <br />Der InstallXXX ... <br />mit TimoXXX <br />Regie: DeXXX </div> </content> <updated>2022-05-06T18:25:00+02:00</updated> </entry> </feed>Eine Idee
? -
ok, der public feed hat das selbe problem.
muss da mal reindebuggen. melde michhier das ergebnis des offiziellen validators.
evtl liegts an den 2 gleichen IDs.
https://validator.w3.org/feed/check.cgi?url=https%3A%2F%2Fapi.wunschliste.de%2Fatom.pl
Das könnte ich aber lösen.
Mal schauen. -
@sborg
kann dieses wochenende nicht debuggen, aber ich habe eine starke Vermutung.
Die haben den xml-Namesapce falsch angegeben
Anstatt
http://www.w3.org/2005/Atom wurde
https://www.w3.org/2005/Atom
angegeben.
Der feedparser validiert die Namespaces. Auch der w3-Tester sagt das es falsch ist.Ich müsste jetzt die zugrundeliegende Bibliothek feedparser forken und
die dort enthaltenen Namespace-Definitionen erweitern:
https://github.com/danmactough/node-feedparser/blob/0a734f88195e4c7048a53867a8ec7c52f150fff2/lib/namespaces.jsWerde das aber durch debuggen nochmal verifizieren.
Lösung wäre halt rumpfuscheln an den Standards, nur weil jemand denkt der namespace sei ein Link und Links sind neuerdings alle https -
@oliverio Danke schon mal
Ich könnte sie auch einfach anschreiben es rückgängig bzw. korrekt zu machen.
Die andere Lösung, die ich zum testen aber mal ausführen werde, ich lade den Feed lokal auf meinen Web-Server und ändere ihn dementsprechend ab. Dann sehe ich ja ob es funktioniert.(Notfalls kleines bash mit curl und sed mittels cronjob und ich ändere die Feed-URL
) -
@sborg said in Test und Support Adapter rssfeed v1.x.x:
Ich könnte sie auch einfach anschreiben
hehe, hab ich schon gemacht.
aber viel Hoffnung mach ich mir da nicht.
jetzt erst mal debuggen -
@oliverio sagte in Test und Support Adapter rssfeed v1.x.x:
hehe, hab ich schon gemacht.
Die sind aber eigentlich recht zugänglich. Sie stellen bspw. ihre Daten kostenlos dem SerienRecorder (Plugin für E2-Sat-Receiver) zur Verfügung
-
@oliverio Bin auch eben erst dazugekommen. Es liegt am "https". Patche ich den Feed funktioniert es.
Von daher Danke und problem solved
Ich warte mal ab ob sie den Feed aufgrund deiner Meldung ändern. Da ich ihn nur einmal täglich abfrage, genügt mir auch ein cronjob der ihn per curl lokal auf meinen Web-Server downlädt, per sed patcht und ich dann den Feed über meinen internen Web-Server abonniere. Sind ja nur zwei Programmzeilen
-
@sborg
Sehr gut.
Noch eine Frage, hast du, wie von @skokarl auch berichtet, gelegentliche Speicher und absturzprobleme in Verbindung mit dem rssfeed Adapter? -
@oliverio Nein, läuft seit 26 (
) Monaten ohne zu murren (sorry alter Haudegen @skokarl).
...und falls jemand zufällig per Suche hier landet und eine temporäre Lösung für den Atom-Feed von "Wunschliste" braucht:
#!/bin/bash #Feed in den Web-Serverspace laden sudo -s -u www-data curl -o ./tmp/feed.atom "https://api.wunschliste.de/atom.pl?user_id=1234567&key=123456789012" #Feed patchen sed -i 's/feed xmlns=\"https/feed xmlns=\"http/g' ./tmp/feed.atomDann den Feed vom eigenen Web-Server abonnieren. That's all
-
So nach längerer Zeit mal eine
neue Version 2.0.0- Neuer Admin Konfigurationsdialog mittels jsonConfig
- Dadurch sind die Probleme in verschiedenen Browsern behoben
- Auch die falsche Farbdarstellung, wenn iobroker auf dunkles Design umgestellt wurde ist damit behoben
- Das untere Request/Refresh-Limit wurde auf 5 Minuten abgesenkt
- Die Einstellung maxarticles gibt es nun für jeden einzelnen feed separat
- wenn das widget rssfeed widget 2 platziert wird, erscheint nun keine hässliche Fehlermeldung mehr
- die Übersetzung wurde erneuert auf basis des iobroker übersetzers
- Bereiche des READMEs die nicht übersetzt werden sollten wurden nun als solche markiert
- Konfigurationsdaten müssten 1:1 übernommen werden, es muss nix migriert werden.
Ich freu mich über Tester und Fehlerberichte hier im Thread
-
Danke, hatte schon nicht mehr damit gerechnet.
Update fehlerfrei durchgelaufen. ( wesentlich besseres Design )
Mein Speicherproblem hatte ich zunächst damit behoben, dass ich einen von 4 Feeds gelöscht hatte, der kommt jetzt
natürlich wieder rein.kurze Frage, meinst Du wirklich Minuten ? Wäre 15 Minuten zu knapp ?
-
sieht nicht gut aus, hab den Adapter gestoppt
nach Absturz von IO und Neustart der VM
Wir können gerne mal zusammen drüber gucken, nur kann ich nicht zeitaufwändige Tests am Live System machen....
meine Frau nutzt das Tablet ..... aber der Fehler kam relativ schnell nach dem Start vom RSS Feed -
@skokarl sagte in Test und Support Adapter rssfeed v1.x.x:
kurze Frage, meinst Du wirklich Minuten ? Wäre 15 Minuten zu knapp ?
ja Minuten, das niedrigste ist jetzt 5 Minuten
wie in der Warnung geschrieben kann man das nicht generell sagen.
Große Anbieter merken da nicht viel davon und setzten auch Caches ein.
Kleinere Anbieter merken da halt schon was davon, wenn regelmäßig viele Leute viele Daten abrufen. -
@skokarl
Der Speicherverbrauch von rssfeed ist normal, aber der des webservers unnatürlich hoch.
jetzt weiß ich nicht, was der da alles im hautpspeicher hält.was passiert, wenn du alle widgets zu rssfeed entfernst. dann dürfte doch nix passieren?
Ansonsten gibt es keine Berührungspunkte zu rssfeed, ausser das die widgets html code erzeugen, der in einer vis seite enthalten ist und die der web server ausliefern muss -
@oliverio
bin nur am Handy....System lief wochenlang stabil, mit 3 Feeds, .... heute update gemacht, 4. RSS Feed wieder hinzugefügt....nach 5 Minuten komplett Zusammenbruch. Meine Feeds stehen hier weiter oben...hna, bild, zweimal ntv -
@skokarl
dann den einen wieder entfernen und schauen.
kannst du mir den feed sagen der schwierigkeiten macht?
also genauen link?evtl muss man dafür das template anpassen
an der eigentlichen rss funktionalität habe ich nichts geändert.
im code nur kleinigkeiten, die sich eher bei einer neuinstallation auswirken, -
meine Einstellungen und Feeds
der "letzte" war der neu hinzugefügte, wobei der nicht der schuldige sein muss, evtl. ist es die Gesamtanzahl der News
meine Widget Einstellungen
