Beta Test js-controller 3.0.x auf GitHub

[apollon77]

Aktuelle Test Version	3.0.6
Veröffentlichungsdatum	08.04.2020
Github Link	npm install ioBroker/ioBroker.js-controller

Hallo in die Tester-Runde,

wie im neuen Release-Cycle für den js-controller geplant starten wir heute den Beta Test des neuen js-controller 3.0 (Releasename "Elena"). Wie auch bei den letzten beiden Versionen starten wir die erste Teststufe direkt von GitHub. Also bitte nur mitmachen wenn Ihr wisst was das heisst Aber auch der Weg zurück ist unten beschrieben.

Nach dem frühzeitigen aus für Node.js 8 bereits letzten November setzt diese neue Version nun Node.js 10.x voraus und funktioniert ebenso mit Node.js 12.x und, nach aktuellem Stand, auch mit der Ende April kommenden Node.js 14.x. Wir werden mit diesem Release auch die empfohlene Node.js Version für ioBroker auf 12.x anheben.

Diese Version bringt einige Features mit, ist aber ebenso der Beginn um "unter der Haube" einiges zu vereinheitlichen und Wildwuchs in der Umsetzung einiger Adapter etwas einzugrenzen. Es gibt allerdings auch neue Features mit die die Adapter-Entwicklung vereinfachen und Hürden abbauen. Aus diesem Grund ist auch die Liste der Themen welche vor allem für Entwickler relevant sind diesmal recht lang.
Allerdings werden Aktionen von Adaptern die eigentlich den Regeln widersprechen jetzt über Logging sichtbar gemacht. Bitte unterstützt hier und legt bei den relevanten Adaptern Issues an das diese Dinge gefixt werden können. Für den js-controller 3.1 (ca. September 2020) ist es geplant einige dieser "verbotenen Aktionen" auch wirklich zu verhindern. Details sehen wir dann.

Der js-controller hat jetzt standardmässig Sentry als Fehler-Reporting eingebaut und aktiviert. Wenn also der js-controller mit einer Fehlermeldung abstürzt (und nur dann!) werden die Fehlerdetails anonymisiert an einen von uns selbst in Deutschland betriebenen Sentry-Server gemeldet. IPs o.ä. personalisierte Daten werden nicht gespeichert. Dieses Fehler-Reporting hilft uns bei Crashes schneller und genauer zu sehen was los ist und solche Fehler noch schneller beheben zu können. Bitte legt für Crashed die Ihr seht bitte trotzdem weiterhin GitHub-Issues an und unterstützt uns indem Ihr das Fehler-Reporting aktiviert lasst. Weitere Details und wie es deaktivierbar ist findet Ihr unter https://github.com/ioBroker/ioBroker.js-controller/blob/master/README.md#error-reporting-via-iobroker-sentry

Darüber hinaus gibt es natürlich viele Optimierungen und Fixes. Mehr dazu weiter unten und im Changelog. Ich hoffe auch diesmal auf Eure tatkräftige Unterstützung, sodass der Latest-Release dann genau so reibungslos verläuft wie bei der 2.2!

Ich bedenke mich diesmal besonders bei @foxriver76, @AlCalzone und natürlich @Bluefox für die aktive Mitarbeit an dieser Version!

Der js-controller 3.0 ist generell kompatibel mit allen bestehenden ioBroker-Systemen. Ein Update von der 2.0/2.1/2.2 ist problemlos möglich. Nur die Node.js Version muss jetzt mindestens 10.x sein, wie oben bereits ausgeführt. Wer überlegt die Node.js Version anzuheben bitte weiter unten im Abschnitt "Was ist zu testen" lesen

---

Installation

---

VOR der Installation
Wie bei jedem Test dieser Art: Bitte macht ein Backup! iobroker backup bzw kopieren des iobroker-data Verzeichnisses reichen an sich aus. Bitte nicht das node_modules Verzeichnis einfach kopieren, da sonst symbolische Links kaputt gehen können, was zu größeren Problemen danach führt. Die alte Version des js-controller kann im Notfall einfach wieder per npm install iobroker.js-controller@version installiert werden und sollte alles wieder herstellen.

Windows

Auf Systemen, die mit dem neuen Windows Installer eingerichtet wurden, darf der js-controller nicht mit npm aktualisiert werden. Es wird eine neue Version des Windows Installers geben, die das Update des js-controllers mit wenigen Mausklicks ermöglicht. Wir updaten dazu hier im Thread.

Linux

Für den Beta-Test muss der js-controller direkt per npm installiert werden. Dazu bitte den ioBroker auf dem Server beenden und dann in einer Shell UNBEDINGT in das ioBroker Verzeichnis wechseln. Dann mittels npm install ioBroker/ioBroker.js-controller den Controller manuell aktualisieren. Bevor ihr loslegt, lest aber bitte erst noch die folgenden Hinweise! Der zweite Post in diesem Thread ist für eine FAQ reserviert. Bitte schaut auch dort gern einmal rein.

Achtung: Slave-Systeme zuerst!
Bei einem Multi-Host-System, welches auf js-controller 2.2 läuft ist es beim Update auf Version 3.0 empfohlen, zuerst die Slave-Systeme zu aktualisieren. Der Master wird als letztes aktualisiert!

Bei Updates von Master/Slave-Systemen mit js-controller 1.5 oder früher auf die 3.0 müssen zwingend zuerst die Slaves und der Master als letztes aktualisiert werden. Die Slaves bleiben nach dem Update offline und werden erst wieder funktionieren wenn auch der Master auf die 3.0 aktualisiert wurde!

Nötige Adapter-Aktualisierungen

• Pushover funktioniert in Version 1.1.x. Wer Version 1.2.x drauf hat könnte Probleme bekommen und sollte bitte 1.3.0 vom GitHub versuchen ob die Probleme damit behoben werden.
• tr-064 in Version 4.0.0 ist nötig
• tr-064-community wird nun offiziell nicht mehr funktionieren.
• Die soef Adapter "firetv" und "wifilight" funktionieren nicht mehr und haben Updates bekommen: Bitte wifilight 1.1.0 bzw firetv 1.0.0 nutzen. Falls jemand "wifilight-community" oder "firetv-community" nutzt bitte wieder zurück auf die anderen wechseln.
• Der soef Adapter "Lightify" funktioniert ebenso nicht mehr. Da Lightify als Platform allerdings in ein paar Monaten nicht mehr weiter betrieben wird haben wir entscheiden hier keinen Aufwand mehr reinzustecken. Am besten die Geräte über zigbee direkt anbinden.

Es werden aber, wie oben ausgeführt, einige Adapter ggf Warnungen ins Log schreiben. Hier ist beispielsweise radar2 schon bekannt. Falls das Problematisch ist ist aktuell die einzige Option das Loglevel der Instanz auf "Error" zu setzen.

Fehler
Wenn bei der Installation Fehler wegen fehlender Zugriffsrechte auftreten, am besten den Installation-Fixer (iobroker fix wer schon einen js-controller 2.x hat, alternativ weiterhin manuell via curl -sL https://iobroker.net/fix.sh | bash -) nutzen und die Installation wiederholen.

Falls es auch danach noch Fehler gibt, bitte die Installation erneut mittels sudo -H -u iobroker npm install ioBroker/ioBroker.js-controller versuchen. Bitte berichtet solche Fälle hier im Thread.

Nach der Installation
Nach der Installation den ioBroker wieder starten (z.B. mittels iobroker start).

Wenn alles klappt merkt Ihr außer der höheren Versionsnummer in der Host-Ansicht im Admin keinen Unterschied. Alles funktioniert weiterhin wie vorher. Alle Adapterinstanzen starten und funktionieren. Wenn das so ist hat alles geklappt. Die großen Änderungen sind alle "Unter der Haube" versteckt.

Falls im Log Warn-Meldungen auftauchen mit dem Hinweis diese an den Entwickler zu senden, dann bitte schauen welcher Adapter es ist und entsprechend dort Issues bitte anlegen!

---

Was hat sich geändert, was besonders ansehen/testen?

---

Neben einiger weiterer Bugfixes gibt es folgende Änderungen und Fixes zu erwähnen:

• Der neue js-controller kann erkennen wenn es ein Node.js Update gab durch welches ggf, Adapter nicht mehr funktionieren und sollte diese automatisch reparieren (rebuilden). Wer also überlegt in dem Zuge des Tests seine Node.js Version anzuheben bitte mal explizit NICHT die übliche Anleitung nach dem Node-js update mit dem Rebuild befolgen sondern ioBroker einfach nach dem Node.js Update starten. Interessant ist ob sich alles selbst "heilt"
• Der js-controller prüft jetzt vor jedem Start eines Adapters wieviel RAM noch frei ist und warnt im Log falls dies zu wenig ist. Die Limits sind 100MB (Warnung) bzw. 50MB (Fehler) und dies soll verhindern das mehr Adapter-Prozesse genutzt werden als RAM verfügbar ist. Hier sind wir gespannt auf Eure berichte.
• Logfiles sollten jetzt wirklich nach dem täglichen rotieren auf Linux-Systemen als .gz Dateien abgelegt werden.

Wie bereits gesagt, viele Änderungen fanden hinter den Kulissen statt. Hier für Interessierte als Spoiler eine Zusammenfassung:

Spoiler

3.0.6 (2020-04-07) Release Elena

BREAKING CHANGES

• Nodejs 8.x will be no longer officially supported! Supported are nodejs 10.x, 12.x and (most likely) 14.x

Features

• (Apollon77) Enable zip Archive setting that it is on by default again. All Logs on Linux will be packaged to .gz on rotation. This can be deactivated by configuration (see Documentation)
• (Apollon77) Introduce CLI command "iobroker rebuild <adaptername>" or "iobroker rebuild self" (for controller) to execute an npm install/rebuild for the specified adapter
• (Apollon77) Detect the need for a rebuild because of a nodejs update by checking adapter crash error message and execute the "iobroker rebuild" command for the affected adapter up to 3 times.
• (foxriver76) Add ability to define separate read and write id for aliases, introduce Adapter feature flag ALIAS_SEPARATE_READ_WRITE_ID for this (see Documentation)
• (foxriver76) Make file write intervals of objects and state file dbs configurable (see Documentation)
• (foxriver76) Check available RAM of the system before a new adapter process is started. If it is below 50/100MB log an error/warn and make it configurable via iobroker.json (see Documentation)
• (Apollon77) Add plugin system for js-controller and adapters (see Documentation)
• (Apollon77) Add and automatically enable Sentry as plugin for js-controller (see infos in README.md), can be disable per host via system.host.name.plugins.sentry.enabled (see Documentation)
• (AlCalzone) add iobroker extend object command

Optimizations and Fixes

• (bluefox) Show options for start/stop/restart if more than one instance exists for the adapter
• (AlCalzone) Validate arguments for iobroker del ... CLI command
• (bluefox) Log js-controller version by start of adapter too
• (Stabilostick) Set default certificate validity to 12 months, according to new Apple rules! Existing certificates will be recreated on controller installation if no custom certificate is used
• (bluefox) Also initialize objects with local redis connection details if setup command is called with "useRedis" parameter
• (foxriver76) Increase timeout of hostinfo command to prevent errors on systems with low CPU
• (foxriver76) The end of schedule adapters is no longer logged as error
• (foxriver76) Allow CLI commands to check status of an adapter instance
• (foxriver76) Enhancements and fixes for iobroker list files command, allow to specify exact meta folder name as parameter and not only the adapter
• (foxriver76) Add forced repository update to help, add logging to show that it is used
• (foxriver76) Also delete uploaded vis widgets on adapter deletion
• (foxriver76) Restart referenced restart-adapters after uninstall also
• (foxriver76) Prevent dot as last char of an object or state id
• (foxriver76) Improve performance on filter actions (getObjectView) when redis is used as objects database
• (Apollon77) Optimize sigKill handling to prevent restart loops for edge cases and slow system
• (Apollon77) Optimize errormessage for invalid protocol on database connection and make easier understandable
• (Apollon77) Also catch unhandled promise rejections in adapters and handle like exceptions to allow error detection and automatic restart
• (foxriver76) Also remove objects from Enums on object deletion
• (foxriver76) Fix adapter exiting with wrong exit codes
• (bluefox) Fix restart CLI command
• (foxriver) Update cache manifest correctly on visdebug and fix process exit on non existing vis dir
• (foxriver76) No longer require restart of instance after alias object changes and other alias optimizations
• (foxriver76) Make sure files in internal file storage are always stored with correct path and also automatically fix existing entries
• (foxriver76) fix crash of redis setState when undefined is passed and refuse undefined as value in general
• (Apollon77) Make sure objects update from/ts/user when extending objects in all cases
• (AlCalzone) optimize performance when objects are duplicated and checked internally
• (Apollon77) prevent crash if udp membership can not be added (Sentry fix)
• (Apollon77) change object type for compact groups to "folder"

Developer relevant DEPRECATIONS/WARNINGS

• (foxriver76) Do not allow access to adapter.states and adapter.objects anymore and add warning logs to deprecate the usage. js-controller 3.1+ will remove these methods. Please adjust your adapters
• (foxriver76) Verify that a proper object of type "meta" exists when files are accessed in the internal ioBroker storage and output deprecation logging, these actions will be declined in js-controller 3.1+
• (AlCalzone) Validate the object argument to set[Foreign]State[Changed] and log warnings, such invalid set commands will be declined with js-controller 3.1
• (Apollon77) Move deprecation of getMessage to next controller version (3.1+)
• (foxriver76/Apollon77) Validate that id in several state and object methods is of type string and log warnings
• (foxriver76) Add basic checking for obj.common properties including logging. Please check logs and fix them, such invalid objects will be declined with js-controller 3.1

Developer relevant new Features

• (bluefox/foxriver76) Automatically encrypt all config attributes that are listed in common.encryptedNative in io-package, introduce ADAPTER_AUTO_DECRYPT (see Documentation) Admin support missing as of now!
• (bluefox) Introduce new dependency field for io-package called common.globalDependencies to check for global dependencies (see Documentation). Admin support missing as of now!
• (AlCalzone) Add command iobroker debug adapter to start Node.js debug sessions for an adapter

Developer relevant Optimizations and Fixes

• (Apollon77) Make sure that all places in adapters for states and objects that can return "really async" (e.g. because of DB communication) ALWAYS return async! (else callback !--count constructs can fail)
• (foxriver76) Also set default values of instanceObjects defined in io-package.json
• (bluefox) Improve extension mode for web extensions
• (foxriver76) Optimize extendObjects function of adapter.js (use from and ack)
• (foxriver76) Use from and ack when creating instanceObjects on installation of an instance
• (Apollon77) Fix potential crash where name is no string in some File object operations
• (foxriver76) Fix this.stop being undefined on daemon adapters
• (foxriver76) Also respect def values of io-package.json on automatic object recreation due to instance start
• (foxriver76) Respect state.from if provided on setState
• (Apollon77) Enhance checks for getObjectsView response
• general dependency updates
• code style optimizations
  

Generell ist zu testen, ob alles noch so funktioniert wie vorher auch. Das ist das wichtigste!

---

Wie Fehler melden?

---

Wer sich unsicher ist, ob ein Fehler vorliegt, sollte am besten hier im Thread das Problem beschreiben. So können wir alle versuchen, das Problem nachzuvollziehen und ggf. einzugrenzen.

Sobald ein Fehler auftritt der in einer Fehlermeldung oder einen Crash mit Fehlerdetails im Log oder auf Kommandozeile endet, dann dazu am besten direkt ein GitHub-Issue im js-controller Projekt öffnen und zusätzlich hier im Thread posten. Je detaillierter die Angaben im Issue sind (genaue Fehlermeldungen/Logs, Infos zur OS- und Node.js-Umgebung sowie genaue Schritte zur Reproduktion des Problems), umso schneller können wir Fehler einkreisen und beheben.

Wir wünschen allen viel Spaß beim Testen und vielen Dank für Eure Unterstützung!

FAQ

FAQ1: Ich sehe Einträge wie "will not read this file (socketio.png) in future versions: socketio.admin is not an object of type "meta"" im Logfile Was soll ich tun?

Wenn der Name mit ".admin" lautet (wie hier "socketio.admin") dann bitte einfach ein "iobroker upload socketio" (in dem Fall) machen. Es kan sein das früher mal Admin Files nocht korrekt angelegt wurden oder auch Dinge nocht ganz vollständig gelöscht wurden. Das Upload geht auch wenn Ihr den Adapter gar nicht mehr installiert habt. Danach sollte aber die Meldung weg sein.

[darkiop]

@apollon77 super, kommt morgen auf die testumgebung

[paul53]

@apollon77
Ich finde in den Features keine Angabe zur Erweiterung des Alias um getrennte Zuordnung von Kommando- und Status-Datenpunkt (PR #736). Ist diese Funktion vorhanden ?

[foxriver76]

@paul53

(foxriver76) Add ability to define separate read and write id for aliases (see Documentation)

[paul53]

@foxriver76
Danke. Habe ich übersehen.

[simatec]

@apollon77 sagte in Beta Test js-controller 3.0.x auf GitHub:

npm install ioBroker/ioBroker.js-controller

Erste Tests auf meiner Testumgebung unter debian10 liefen mit node 10 sehr gut.
Keine Fehler bei der Installation und auch bei Start kamen lediglich die angekündigten Warnungen einiger Adapter.

@apollon77 @foxriver76 @Bluefox @AlCalzone
Danke für die klasse Arbeit und die so rasante Entwicklung von iobroker.
Es ist Wahnsinn, was hier in den letzten Jahren entstanden ist und ich probiere weiterhin einen kleinen Anteil zu leisten

[sigi234]

@apollon77

KURZ-Bericht folgt:

Folgende Adapter bleiben Rot:

• firetv.0

• wifilight.0

Warnmeldungen:
1

coronavirus-statistics.0	2020-04-08 21:00:05.549	warn	(21724) This object will not be created in future versions. Please report this to the developer.
coronavirus-statistics.0	2020-04-08 21:00:05.549	warn	(21724) Object countryTranslator is invalid: obj.type has to exist

2

admin.0	2020-04-08 21:04:03.839	warn	(13820) adapter.objects.getObjectView is deprecated, and will be removed in the future. Please use adapter.getObjectView/Async. Report this to Developer!

3

web.0	2020-04-08 21:15:27.595	warn	(19708) adapter.objects.getObjectView is deprecated, and will be removed in the future. Please use adapter.getObjectView/Async. Report this to Developer!

Hinweis:
Die warn kommen im 10 Minuten Takt auch für andere Adapter. Stelle diese jetzt nicht alle rein.

[foxriver76]

@sigi234 Was steht denn im Log, bei denen, die rot bleiben?

[sigi234]

@foxriver76 sagte in Beta Test js-controller 3.0.x auf GitHub:

@sigi234 Was steht denn im Log, bei denen, die rot bleiben?

wifilight.0	2020-04-08 21:05:58.853	error	at process._tickCallback (internal/process/next_tick.js:68:7)
wifilight.0	2020-04-08 21:05:58.853	error	at Promise.all.then (C:\Program Files\iobroker\Test\node_modules\iobroker.js-controller\lib\adapter.js:7926:76)
wifilight.0	2020-04-08 21:05:58.853	error	at Object.options.ready (C:\Program Files\iobroker\Test\node_modules\iobroker.wifilight\node_modules\soef\soef.js:1131:13)
wifilight.0	2020-04-08 21:05:58.853	error	at checkIfUpdated (C:\Program Files\iobroker\Test\node_modules\iobroker.wifilight\node_modules\soef\soef.js:1006:20)
wifilight.0	2020-04-08 21:05:58.853	error	(19316) TypeError: Cannot read property 'getState' of undefined
wifilight.0	2020-04-08 21:05:58.851	error	(19316) uncaught exception: Cannot read property 'getState' of undefined

[foxriver76]

@sigi234 Ich nehme an firetv dasselbe? Ist ja auch soef..

[sigi234]

@foxriver76 sagte in Beta Test js-controller 3.0.x auf GitHub:

@sigi234 Ich nehme an firetv dasselbe? Ist ja auch soef..

Ja

[darkiop]

Was hat es denn mit soef auf sich? Liest man immer wieder mal hier im Forum. Ehemaliger Entwickler der eine lib bereitgestellt die aktuell nicht mehr gepflegt wird?

[foxriver76]

@darkiop Ja + kein Kontakt zu dem Entwickler. Einige Adapter haben wir mittlerweile erfolgreich zu uns umziehen können, wie tr-064. Allerdings selbst nach Umzug, muss alles was in seiner eigenen Lib gebaut wurde umgeschrieben werden. Leider nutzt die Lib nun Methoden die wir nicht mehr bereitstellen wollten, da Sie dem von uns gedachten Konzept widersprechen.

[Basti97]

Super gute Arbeit von euch und Danke das ihr so ein geiles System erfunden habt bzw immer auf den neuesten Stand haltet.
Ich werde es auch mal auf meinen Test System ausprobieren und berichten.
Ich würde auch mich auch mal mit den Thema Adapter Programmierung auseinander setzen aber leider weiß ich noch nicht richtig wie es funktioniert.
Ich wünsche euch noch einen schönen Abend und bleibt gesund.

[apollon77]

Hi All,

GitHub hat nach erstem Feedback jetzt die 3.0.4:

• (Apollon77) Add "lc" property to list of allowed properties to set (prevent false positive errors with hm-rpc adapter)
• (Apollon77) Add mock for adapter.states.getState to prevent crashed with Soef Adapters
• (Apollon77) Make sure extendObject is checking object parts differently, prevent false positive loggings

Ebenso ist bekannt das Pushover in Version 1.1.x noch tut, Wer Version 1.2.x drauf hat könnte Probleme bekommen und sollte bitte 1.2.4 vom GitHub versuchen ob die Probleme damit behoben werden.

[Einstein67]

Hab gerade den neuen JS-Controller getestet (saubere Iobroker Installation, Update auf Admin-4.0.5 und JS-3.0.4 und danach Restore meiner bestehenden Installation).

Hat alles problemlos funktioniert und läuft alles wie vorher. Auch das löschen von Adaptern geht ohne Probleme aus der Admin-Oberfläche!

Das einzige das anders ist als vorher: Beim Restore wird nachdem ein Adapter/eine Instanz wiederhergestellt wurde, die Konfigurationsseite der Instanz geöffnet die geschlossen werden muss.

Sonst läuft alles bisher problemlos!!

[apollon77]

@Einstein67 sagte in Beta Test js-controller 3.0.x auf GitHub:

Das einzige das anders ist als vorher: Beim Restore wird nachdem ein Adapter/eine Instanz wiederhergestellt wurde, die Konfigurationsseite der Instanz geöffnet die geschlossen werden muss.

Du meinst wenn Admin dabei geöffnet ist? Ja das kann sein. Admin reagiert auf ein bestimmtes Objekt update und macht dann dinge. Da fehlte bisher ein Objekt Update ... Wenn es stört dann bitte mal Admin issue anlegen. Wenn ok dann lassen

[e-s]

@apollon77
Irgendwie hat mich das in der Art schon immer genervt. Habe meistens im Browser 4 tabs vom Admin offen(Objekte, Instanzen, logs, Javascript).
Wenn ich dann ein Adapter neu installiere, dann springen alle tabs in die Einstellungen der Instanz.

Wäre schön wenn entweder nur das aktive tab dahin springt oder keins davon. Mir ist ja bewußt das man da was einstellen muss.

[apollon77]

@e-s Admin Issue bitte

[Jan1]

So Update ist durch und läuft.
Alles was mit Warnungen im Log steht, hat @sigi234 ja schon auf Github ein Issues angelegt, zumindest mal bei allen Adaptern bei denen ich auch die Warnung hatte