[Major Update] UniFi Adapter v0.5.0

[darkiop]

@braindead gibt DPs welche auch aktualisiert werden:

[coyote]

@braindead ja hab ich

[braindead]

@darkiop said in [Major Update] UniFi Adapter v0.5.0:

Die Objekte für den Gateway Traffic wurden angelegt, obwohl in den Einstellungen diese nicht ausgewählt sind:

Ich habe mir den Code gerade nochmal angesehen (ist schon etwas älter). Das "Problem" ist nicht auf Gateway Traffic beschränkt, sondern trifft auf alles zu, wo man States filtern kann: Wenn der Haken bei "... aktualisieren" gesetzt ist, unten aber keine States (heraus)gefiltert werden, dann werden alle übernommen.

Die Tatsache, dass Du darüber gestolpert bist, zeigt, dass das Verhalten des Adapters zwar erklärbar, aber für User wahrscheinlich nicht unbedingt logisch ist. Sollte das besser umgebaut werden?

Wobei es für mich nicht logisch ist den Haken bei "... aktualisieren" zu setzen und unten keine States auszuwählen.

[braindead]

@coyote said in [Major Update] UniFi Adapter v0.5.0:

@braindead ja hab ich

Den Fehler Cannot read property 'filter' of undefined habe ich in Sentry schon öfter gesehen, habe aber bisher keine Erklärung, woher der kommt. Es wäre also gut, wenn Du mir bei der Suche helfen könntest.

Kann es sein, dass Du im UniFi Controller mehrere Sites hast? Wie heißen diese? Kann es sein, dass eine Deiner Sites hier keine Daten liefert? Ich nutze nur die Default Site, deshalb frage ich.

[coyote]

@braindead klar, kann ich machen. Nein, nutze auch nur die Default Site

[darkiop]

@braindead sagte in [Major Update] UniFi Adapter v0.5.0:

Sollte das besser umgebaut werden?
Wobei es für mich nicht logisch ist den Haken bei "... aktualisieren" zu setzen und unten keine States auszuwählen.

Grundsätzlich stört (mich) das nicht. Evtl. könnte man aber per CSS die States unten ausblenden wenn der Haken nicht gesetzt ist.

[braindead]

@darkiop Ich glaube Du hast die Frage falsch verstanden.Das Umbauen bezog sich darauf, ob weiterhin alle States importiert werden sollen, wenn keine States ausgewählt werden.

[braindead]

@coyote said in [Major Update] UniFi Adapter v0.5.0:

@braindead klar, kann ich machen. Nein, nutze auch nur die Default Site

Ich habe ehrlich gesagt keine Idee, warum es bei Dir nicht funktioniert. GRundsätzlich ließe sich der Fehler abfangen, aber Du würdest dann natürlich auf keinen Gateway Traffic einlesen können.

@Scrounger Hast Du eine Idee?

[Scrounger]

@braindead
so spontan nicht.

@coyote sagte in [Major Update] UniFi Adapter v0.5.0:

@braindead klar, kann ich machen. Nein, nutze auch nur die Default Site

Was für einen gateway hast du?

[coyote]

@Scrounger @braindead habe das kleine USG mit den 4 Ports.
Kann morgen früh gerne nochmal aktivieren und testen ob der gleiche Fehler direkt wieder auftritt

[Scrounger]

@coyote
Im unifi controller unter Wartung -> Statistik Daten-Speicherdauer hast du auch die Statistik aktiviert?

Bitte log dich in den controller ein und führe folgenden befehl im browser aus:
https://IP:PORT/api/s/default/stat/report/daily.gw - bei IP und PORT deine eintragen.
Bitte das ergebnis posten.

[coyote]

@Scrounger habe Gateway Traffic jetzt nochmal aktiviert, dann kommt direkt:

unifi.0	2020-07-02 06:05:30.290	info	(3144) Terminated (NO_ERROR): Without reason
unifi.0	2020-07-02 06:05:30.289	info	(3144) terminating
unifi.0	2020-07-02 06:05:30.279	info	(3144) cleaned everything up...
unifi.0	2020-07-02 06:05:30.277	error	(3144) TypeError: Cannot read property 'filter' of undefined at Unifi.processGatewayTraffic (/opt/iobroker/node_modules/iobroker.unifi/main.js:830:38) at process._tickCallback (internal/proces
unifi.0	2020-07-02 06:05:30.276	error	(3144) unhandled promise rejection: Cannot read property 'filter' of undefined
unifi.0	2020-07-02 06:05:30.276	error	Unhandled promise rejection. This error originated either by throwing inside of an async function without a catch block, or by rejecting a promise which was not handled with .catch().
unifi.0	2020-07-02 06:05:22.884	info	(3144) UniFi adapter is ready
unifi.0	2020-07-02 06:05:22.809	info	(3144) starting. Version 0.5.6-beta.1 in /opt/iobroker/node_modules/iobroker.unifi, node: v10.21.0, js-controller: 3.1.6
unifi.0	2020-07-02 06:05:22.780	info	(3144) Plugin sentry Sentry Plugin disabled for this process because sending of statistic data is disabled for the system

Statistik ist aktiviert. Beim Aufruf von https://IP:PORT/api/s/default/stat/report/daily.gw kommt folgendes zurück:

{"meta":{"rc":"ok"},"data":[{"gw":"b4:fb:e4:83:5d:79","o":"gw","oid":"b4:fb:e4:83:5d:79"},{"gw":"b4:fb:e4:83:5d:79","o":"gw","oid":"b4:fb:e4:83:5d:79"},{"gw":"b4:fb:e4:83:5d:79","o":"gw","oid":"b4:fb:e4:83:5d:79"},{"gw":"b4:fb:e4:83:5d:79","o":"gw","oid":"b4:fb:e4:83:5d:79"},{"gw":"b4:fb:e4:83:5d:79","o":"gw","oid":"b4:fb:e4:83:5d:79"},{"gw":"b4:fb:e4:83:5d:79","o":"gw","oid":"b4:fb:e4:83:5d:79"},{"gw":"b4:fb:e4:83:5d:79","o":"gw","oid":"b4:fb:e4:83:5d:79"}]}

[Scrounger]

@coyote
Ok das siehts soweit alles korrekt aus. Um den Fehler besser eingrenzen zu können muss ich noch ein paar debug infos einbauen und mich mit @braindead abstimmen.

Sobald das erfolgt ist und wir dich zum testen brauchen, melden wir uns wieder.

[braindead]

@coyote Ich habe gerade v0.5.6-beta.2 auf GitHub veröffentlicht. @Scrounger hat allerhand Debug Meldungen eingebaut. Kannst Du die neue Version bitte einmal installieren, Dein Debug Level auf "silly" stellen und die Log Meldungen hier posten?

[BigChris]

Kann ich das hinzukommen eines neuen Clients erkennen? Würde das gerne zur Überwachung des Gastnetzes benutzen.

[coyote]

@braindead @Scrounger hier das Log mit der neuen Beta:

unifi.0	2020-07-05 20:14:16.835	info	(19541) Terminated (NO_ERROR): Without reason
unifi.0	2020-07-05 20:14:16.834	debug	(19541) Plugin sentry destroyed
unifi.0	2020-07-05 20:14:16.833	info	(19541) terminating
unifi.0	2020-07-05 20:14:16.831	info	(19541) cleaned everything up...
unifi.0	2020-07-05 20:14:16.830	error	(19541) TypeError: Cannot read property 'filter' of undefined at Unifi.processGatewayTraffic (/opt/iobroker/node_modules/iobroker.unifi/main.js:895:38) at process._tickCallback (internal/proce
unifi.0	2020-07-05 20:14:16.829	error	(19541) unhandled promise rejection: Cannot read property 'filter' of undefined
unifi.0	2020-07-05 20:14:16.829	error	Unhandled promise rejection. This error originated either by throwing inside of an async function without a catch block, or by rejecting a promise which was not handled with .catch().
unifi.0	2020-07-05 20:14:16.826	silly	(19541) processGatewayTraffic: site: vlkecrbx, data: undefined
unifi.0	2020-07-05 20:14:16.669	silly	(19541) processGatewayTraffic: filtered data: [{"time":1593388800000,"lan-rx_bytes":140952376913.2574,"lan-tx_bytes":143087948124.27737,"gw":"b4:fb:e4:83:5d:79","o":"gw","oid":"b4:fb:e4:83:5d:79"},{"t
unifi.0	2020-07-05 20:14:16.669	silly	(19541) processGatewayTraffic: site: default, data: [{"time":1593388800000,"lan-rx_bytes":140952376913.2574,"lan-tx_bytes":143087948124.27737,"gw":"b4:fb:e4:83:5d:79","o":"gw","oid":"b4:fb:e4:83:5d:79
unifi.0	2020-07-05 20:14:16.667	silly	(19541) fetchGatewayTraffic: [[{"time":1593388800000,"lan-rx_bytes":140952376913.2574,"lan-tx_bytes":143087948124.27737,"gw":"b4:fb:e4:83:5d:79","o":"gw","oid":"b4:fb:e4:83:5d:79"},{"time":15934752000
unifi.0	2020-07-05 20:14:16.667	debug	(19541) fetchGatewayTraffic: 7
unifi.0	2020-07-05 20:14:16.632	silly	(19541) fetchGatewayTraffic: start: 2020-6-28, end: 2020-7-5
unifi.0	2020-07-05 20:14:16.626	silly	(19541) processDpi: filtered data: []
unifi.0	2020-07-05 20:14:16.625	silly	(19541) processDpi: site: vlkecrbx, data: []
unifi.0	2020-07-05 20:14:16.604	silly	(19541) processDpi: filtered data: [{}]
unifi.0	2020-07-05 20:14:16.602	silly	(19541) processDpi: site: default, data: [{}]
unifi.0	2020-07-05 20:14:16.601	silly	(19541) fetchDpi: [[{}],[]]
unifi.0	2020-07-05 20:14:16.483	silly	(19541) processVouchers: site: vlkecrbx, data: []
unifi.0	2020-07-05 20:14:16.423	silly	(19541) processVouchers: site: default, data: []
unifi.0	2020-07-05 20:14:16.421	silly	(19541) fetchVouchers: [[],[]]
unifi.0	2020-07-05 20:14:16.421	debug	(19541) fetchVouchers: 0
unifi.0	2020-07-05 20:14:16.347	silly	(19541) processHealth: filtered data: [{"subsystem":"wlan","status":"unknown","num_ap":0,"num_adopted":0,"num_disabled":0,"num_disconnected":0,"num_pending":0},{"subsystem":"wan","num_gw":0,"num_adopt
unifi.0	2020-07-05 20:14:16.347	silly	(19541) processHealth: site: vlkecrbx, data: [{"subsystem":"wlan","status":"unknown","num_ap":0,"num_adopted":0,"num_disabled":0,"num_disconnected":0,"num_pending":0},{"subsystem":"wan","num_gw":0,"nu
unifi.0	2020-07-05 20:14:16.311	silly	(19541) processHealth: filtered data: [{"subsystem":"wlan","num_user":24,"num_guest":0,"num_iot":0,"tx_bytes-r":133520,"rx_bytes-r":235474,"status":"ok","num_ap":5,"num_adopted":5,"num_disabled":0,"nu
unifi.0	2020-07-05 20:14:16.311	silly	(19541) processHealth: site: default, data: [{"subsystem":"wlan","num_user":24,"num_guest":0,"num_iot":0,"tx_bytes-r":133520,"rx_bytes-r":235474,"status":"ok","num_ap":5,"num_adopted":5,"num_disabled"
unifi.0	2020-07-05 20:14:16.309	silly	(19541) fetchHealth: [[{"subsystem":"wlan","num_user":24,"num_guest":0,"num_iot":0,"tx_bytes-r":133520,"rx_bytes-r":235474,"status":"ok","num_ap":5,"num_adopted":5,"num_disabled":0,"num_disconnected":
unifi.0	2020-07-05 20:14:16.308	debug	(19541) fetchHealth: 5
unifi.0	2020-07-05 20:14:16.266	silly	(19541) processNetworks: filtered data: [{"_id":"5ea5c6b3a5e9e10174996771","attr_no_delete":true,"attr_hidden_id":"LAN","name":"LAN","site_id":"5ea5c6b3a5e9e10174996768","vlan_enabled":false,"purpose"
unifi.0	2020-07-05 20:14:16.265	silly	(19541) processNetworks: site: vlkecrbx, data: [{"_id":"5ea5c6b3a5e9e10174996771","attr_no_delete":true,"attr_hidden_id":"LAN","name":"LAN","site_id":"5ea5c6b3a5e9e10174996768","vlan_enabled":false,"p
unifi.0	2020-07-05 20:14:16.183	silly	(19541) processNetworks: filtered data: [{"_id":"5ad730672ac32c46b072fcf2","attr_no_delete":true,"attr_hidden_id":"LAN","name":"LAN","site_id":"5ad7305f2ac32c46b072fce8","vlan_enabled":false,"purpose"
unifi.0	2020-07-05 20:14:16.182	silly	(19541) processNetworks: site: default, data: [{"_id":"5ad730672ac32c46b072fcf2","attr_no_delete":true,"attr_hidden_id":"LAN","name":"LAN","site_id":"5ad7305f2ac32c46b072fce8","vlan_enabled":false,"pu
unifi.0	2020-07-05 20:14:16.179	silly	(19541) fetchNetworks: [[{"_id":"5ad730672ac32c46b072fcf2","attr_no_delete":true,"attr_hidden_id":"LAN","name":"LAN","site_id":"5ad7305f2ac32c46b072fce8","vlan_enabled":false,"purpose":"corporate","ip
unifi.0	2020-07-05 20:14:16.177	debug	(19541) fetchNetworks: 7
unifi.0	2020-07-05 20:14:16.149	silly	(19541) processWlans: filtered data: []
unifi.0	2020-07-05 20:14:16.149	silly	(19541) processWlans: site: vlkecrbx, data: []
unifi.0	2020-07-05 20:14:15.870	silly	(19541) processWlans: filtered data: [{"_id":"5ad731c32ac32c46b072fcfe","wlangroup_id":"5ad730672ac32c46b072fcf4","enabled":true,"name":"Coyote","security":"wpapsk","wpa_mode":"wpa2","wpa_enc":"ccmp",
unifi.0	2020-07-05 20:14:15.869	silly	(19541) processWlans: site: default, data: [{"_id":"5ad731c32ac32c46b072fcfe","wlangroup_id":"5ad730672ac32c46b072fcf4","enabled":true,"name":"Coyote","security":"wpapsk","wpa_mode":"wpa2","wpa_enc":"
unifi.0	2020-07-05 20:14:15.867	silly	(19541) fetchWlans: [[{"_id":"5ad731c32ac32c46b072fcfe","wlangroup_id":"5ad730672ac32c46b072fcf4","enabled":true,"name":"Coyote","security":"wpapsk","wpa_mode":"wpa2","wpa_enc":"ccmp","x_passphrase":"
unifi.0	2020-07-05 20:14:15.867	debug	(19541) fetchWlans: 4
unifi.0	2020-07-05 20:14:15.835	silly	(19541) processDevices: filtered data: []
unifi.0	2020-07-05 20:14:15.834	silly	(19541) processDevices: site: vlkecrbx, data: []
unifi.0	2020-07-05 20:14:15.595	silly	(19541) processDevices: filtered data: [{"_id":"5e7f7d21a5e9e1016f1f7a2a","ip":"192.168.66.6","mac":"74:83:c2:36:89:07","model":"U7LT","type":"uap","version":"4.3.13.11253","adopted":true,"site_id":"5
unifi.0	2020-07-05 20:14:15.593	silly	(19541) processDevices: site: default, data: [{"_id":"5e7f7d21a5e9e1016f1f7a2a","ip":"192.168.66.6","mac":"74:83:c2:36:89:07","model":"U7LT","type":"uap","version":"4.3.13.11253","adopted":true,"site_
unifi.0	2020-07-05 20:14:15.586	silly	(19541) fetchDevices: [[{"_id":"5e7f7d21a5e9e1016f1f7a2a","ip":"192.168.66.6","mac":"74:83:c2:36:89:07","model":"U7LT","type":"uap","version":"4.3.13.11253","adopted":true,"site_id":"5ad7305f2ac32c46b
unifi.0	2020-07-05 20:14:15.585	debug	(19541) fetchDevices: 6
unifi.0	2020-07-05 20:14:15.399	debug	(19541) No suitable Lua script, fallback to keys!: function(doc) { if (doc.type === 'state') emit(doc._id, doc) }
unifi.0	2020-07-05 20:14:15.360	debug	(19541) No suitable Lua script, fallback to keys!: function(doc) { if (doc.type === 'state') emit(doc._id, doc) }
unifi.0	2020-07-05 20:14:15.355	silly	(19541) processClients: filtered data: []
unifi.0	2020-07-05 20:14:15.354	silly	(19541) processClients: site: vlkecrbx, data: []
unifi.0	2020-07-05 20:14:15.188	debug	(19541) No suitable Lua script, fallback to keys!: function(doc) { if (doc.type === 'state') emit(doc._id, doc) }
unifi.0	2020-07-05 20:14:15.136	debug	(19541) No suitable Lua script, fallback to keys!: function(doc) { if (doc.type === 'state') emit(doc._id, doc) }
unifi.0	2020-07-05 20:14:12.717	silly	(19541) processClients: filtered data: [{"site_id":"5ad7305f2ac32c46b072fce8","assoc_time":1593949977,"latest_assoc_time":1593949978,"oui":"Espressi","user_id":"5e80e166a5e9e1016f1fc1fa","_id":"5e80e1
unifi.0	2020-07-05 20:14:12.716	silly	(19541) processClients: site: default, data: [{"site_id":"5ad7305f2ac32c46b072fce8","assoc_time":1593949977,"latest_assoc_time":1593949978,"oui":"Espressi","user_id":"5e80e166a5e9e1016f1fc1fa","_id":"
unifi.0	2020-07-05 20:14:12.714	silly	(19541) fetchClients: [[{"site_id":"5ad7305f2ac32c46b072fce8","assoc_time":1593949977,"latest_assoc_time":1593949978,"oui":"Espressi","user_id":"5e80e166a5e9e1016f1fc1fa","_id":"5e80e166a5e9e1016f1fc1
unifi.0	2020-07-05 20:14:12.702	debug	(19541) fetchClients: 41
unifi.0	2020-07-05 20:14:12.647	silly	(19541) processSiteSysinfo: site: vlkecrbx, data: [{"timezone":"UTC","autobackup":false,"build":"atag_5.13.29_13635","version":"5.13.29","previous_version":"5.12.72","debug_mgmt":"warn","debug_system"
unifi.0	2020-07-05 20:14:12.628	silly	(19541) processSiteSysinfo: site: default, data: [{"timezone":"Europe/Brussels","autobackup":false,"build":"atag_5.13.29_13635","version":"5.13.29","previous_version":"5.12.72","debug_mgmt":"warn","de
unifi.0	2020-07-05 20:14:12.627	silly	(19541) fetchSiteSysinfo: [[{"timezone":"Europe/Brussels","autobackup":false,"build":"atag_5.13.29_13635","version":"5.13.29","previous_version":"5.12.72","debug_mgmt":"warn","debug_system":"warn","de
unifi.0	2020-07-05 20:14:12.621	debug	(19541) fetchSiteSysinfo: 2
unifi.0	2020-07-05 20:14:12.584	silly	(19541) processSites: site: vlkecrbx, data: {"_id":"5ea5c6b3a5e9e10174996768","desc":"Test","name":"vlkecrbx","role":"admin"}
unifi.0	2020-07-05 20:14:12.574	silly	(19541) processSites: site: default, data: {"_id":"5ad7305f2ac32c46b072fce8","name":"default","desc":"Default","attr_hidden_id":"default","attr_no_delete":true,"role":"admin"}
unifi.0	2020-07-05 20:14:12.572	debug	(19541) fetchSites: default,vlkecrbx
unifi.0	2020-07-05 20:14:12.556	debug	(19541) Login successful
unifi.0	2020-07-05 20:14:12.132	silly	(19541) States system redis pmessage io.system.adapter.unifi.0.logLevel/io.system.adapter.unifi.0.logLevel:{"val":"silly","ack":true,"ts":1593972851686,"q":0,"from":"system.adapter.unifi.0","lc":15939
unifi.0	2020-07-05 20:14:11.739	debug	(19541) Update started
unifi.0	2020-07-05 20:14:11.724	debug	(19541) updateInterval = 60
unifi.0	2020-07-05 20:14:11.708	debug	(19541) controller = 192.168.66.35:8443
unifi.0	2020-07-05 20:14:11.681	info	(19541) UniFi adapter is ready
unifi.0	2020-07-05 20:14:11.613	info	(19541) starting. Version 0.5.6-beta.2 in /opt/iobroker/node_modules/iobroker.unifi, node: v10.21.0, js-controller: 3.1.6
unifi.0	2020-07-05 20:14:11.545	info	(19541) Plugin sentry Sentry Plugin disabled for this process because sending of statistic data is disabled for the system
unifi.0	2020-07-05 20:14:11.517	debug	(19541) Plugin sentry Initialize Plugin (enabled=true)
unifi.0	2020-07-05 20:13:38.060	info	(19504) Terminated (NO_ERROR): Without reason

[braindead]

@coyote Danke für das Log. Laut Log hast Du doch zwei Sites: default und vlkecrbx, wobei vlkecrbx meistens keine Daten liefert, was dann irgendwann zum Fehler des Adapters führt.

[coyote]

@braindead oh man
Du hast recht, ich hatte mich schon gewundert was "vlkecrbx" sein soll...
Habe jetzt gerade den kompletten controller nochmal durchforstet und ja es stimmt, ich hab da irgendwann mal eine Site angelegt zum Testen, die heißt aber auch seltsamerweise "Test".

Sorry, hatte ich die Woche auf die schnelle wohl übersehen und euch damit Arbeit verschafft
Gerade die "Test" Site gelöscht und dann läuft auch der Adapter mit aktiviertem Gateway Traffic.

[braindead]

@coyote Du musst Dich nicht entschuldigen. Du bist wahrscheinlich nicht der einzige User mit mehreren Sites bei dem der Adapter deshalb nicht sauber läuft. Die Fehler werden demnächst sauber abgefangen und dann ist alles gut.

Also nochmal: Vielen Dank für Deine Unterstützung!

[Scrounger]

@coyote
Wie @braindead schon gesagt hat, war nicht viel Aufwand, 5min die Zeilen anzufügen.
Positiver Nebeneffekt des ganzen ist, dass man sieht das da noch was abgefangen werden muss. Von daher hinsichtlich Adapter Entwicklung und Stabilität top gelaufen, danke fürs testen!