Test Adapter History 2.0.0

SBorg

@apollon77 sagte in Test Adapter History 2.0.0:

@sborg sagte in Test Adapter History 2.0.0:

Ich dachte halt, dass es uU. beim umstellen zuerst nicht korrekt escaped wurde, dann beim erneuten händischen speichern schon, aber da bist du "ein klein wenig mehr" in der Materie drin

Was genau meinst Du damit? Mit dem Escape? Wo?

Ansonsten check ich mal. Danke. Wie sehen genau diee Objekte jetzt nach der Umstellung aus?

Ich dachte, dass ev. die "Behandlung" des Leerzeichens im Alias beim Update nicht korrekt funktionierte und erst durch das erneute Speichern korrekt funktionierte. Kann es aber auch nicht sein, er schrieb ja "0" bzw. "Null" in das entsprechende Json-File.

Aktuell sieht es nun so aus (+ funktioniert noch immer ) :

   {
     "id": "tankerkoenig.0.stations.4.e5.feed",
     "value": {
       "_id": "tankerkoenig.0.stations.4.e5.feed",
       "type": "state",
       "common": {
         "name": "e5 feed",
         "desc": "Preis E5 (e.eee) wie im Feed",
         "type": "number",
         "unit": "€",
         "role": "value",
         "read": true,
         "write": false,
         "custom": {
           "history.0": {
             "enabled": true,
             "changesOnly": true,
             "debounce": "1000",
             "maxLength": "100",
             "retention": "1209600",
             "changesRelogInterval": 0,
             "changesMinDelta": 0,
             "aliasId": "real Tankstelle",
             "debounceTime": 0,
             "blockTime": 1000,
             "ignoreBelowNumber": "",
             "disableSkippedValueLogging": false,
             "enableDebugLogs": false,
             "ignoreZero": true
           }
         }
       },
       "native": {},
       "acl": {
         "object": 1636,
         "state": 1636,
         "owner": "system.user.admin",
         "ownerGroup": "system.group.user"
       },
       "from": "system.adapter.tankerkoenig.0",
       "user": "system.user.admin",
       "ts": 1650181389982
     },
     "doc": {
       "_id": "tankerkoenig.0.stations.4.e5.feed",
       "type": "state",
       "common": {
         "name": "e5 feed",
         "desc": "Preis E5 (e.eee) wie im Feed",
         "type": "number",
         "unit": "€",
         "role": "value",
         "read": true,
         "write": false,
         "custom": {
           "history.0": {
             "enabled": true,
             "changesOnly": true,
             "debounce": "1000",
             "maxLength": "100",
             "retention": "1209600",
             "changesRelogInterval": 0,
             "changesMinDelta": 0,
             "aliasId": "real Tankstelle",
             "debounceTime": 0,
             "blockTime": 1000,
             "ignoreBelowNumber": "",
             "disableSkippedValueLogging": false,
             "enableDebugLogs": false,
             "ignoreZero": true
           }
         }
       },
       "native": {},
       "acl": {
         "object": 1636,
         "state": 1636,
         "owner": "system.user.admin",
         "ownerGroup": "system.group.user"
       },

       "from": "system.adapter.tankerkoenig.0",
       "user": "system.user.admin",
       "ts": 1650181389982
     }
   },

Von meiner Seite aus kannst du auch gerne einen Haken dran machen, scheint ja sonst keiner zu haben.
Du hast bestimmt auch besseres zu tun.
Aber hast du beim testen nur geschaut ob er das Objekt korrekt geändert hat? Das scheint zu funktionieren. Problem war, dass er nach dem Update keinen korrekten Wert mehr in das History-Json schrieb, sondern der value immer "0" oder "Null" war. Ich habe dann nur die History-Einstellungen des Datenpunktes nochmals gespeichert. Danach waren sofort wieder korrekte Werte im History-Json-File.

apollon77

@sborg sagte in Test Adapter History 2.0.0:

Aber hast du beim testen nur geschaut ob er das Objekt korrekt geändert hat?

Ne habe primär getestet ob er mit "nur den alten Settings" ohne neu Speichert korrekt logglt und das tut

Feuersturm

@apollon77 sagte in Test Adapter History 2.0.0:

@feuersturm also check für aufräumen erfolgt frühestens alle 6h, dann wird aufgeräumt nur ganze tage ab dem tag "vor" ablauf der retention
generell gilt: speichern alle 10 mins ODER wenn die anzahl erreicht ist

Dann sieht das ja soweit passend aus. Aufbewahrungsdauer steht auf 1 Tag.

proxmox@ioBrokerNew:/opt/iobroker/iobroker-data/history$ ls -l
total 12
drwxrwxr-x+ 2 iobroker iobroker 4096 Apr 20 00:02 20220420
drwxrwxr-x+ 2 iobroker iobroker 4096 Apr 21 00:00 20220421
drwxrwxr-x+ 2 iobroker iobroker 4096 Apr 22 00:01 20220422

Was mir im Admin aufgefallen ist, ist bei den Verlaufsdaten nicht alle verfügbaren Daten angezeigt werden. Auch im csv Export tauchen nur die Daten auf, die man bei den Verlaufsdaten sieht. Ist das gewollt?

Im Diagramm werden auch die Daten vom 20.04 korrekt angezeigt

apollon77

@feuersturm Admin lädt glaube ich nur 500 werte. Kann das passen? Was csv export angeht wäre das natürlich ggf blöd. D hätte ich auch alles erwartet - aber wenn bluefox das im Browser macht dann geht es micht anders. Wäre ggf admin issue was csv export angeht.

Feuersturm

@apollon77 Ja es sind 500 Einträge. Kann ja mal ein issue anlegen um zu hinterfragen ob auch ein vollständiger Export, bzw. der Auszug aus dem Zeitraum möglich ist.

sigi234

@apollon77

Veröffentlichungsdatum 14.04.2020 ?

apollon77

@sigi234 lol ... fixed

Great SUN

So @apollon77 hier, wie gewünscht der Reminder bzgl. iobroker.sql 2.0

DAAANKEEEE !!!

sigi234

@apollon77

Hallo,

kann man den Timestamp beim csv Export trennen mit Datum und Uhrzeit?

Screenshot (4849)_LI.jpg

apollon77

@sigi234 --> Admin Feature Request

Homoran

Nachdem ich jetzt auch genötigt wurde auf 2.0 zu gehen habe ich auch die neue Edit Funktion testen wollen:

Muss man da noch einen Zauberspruch aufsagen, oder klappt das einfach nur nicht?

(Möglich dass es an meinen 45GB History-Daten liegt ??)

--- /opt/iobroker/iobroker-data ----------------------------------------------------------------------------------------------------------------------------
                         /..
   44,9 GiB [##########] /history

apollon77

@homoran sagte in Test Adapter History 2.0.0:

Muss man da noch einen Zauberspruch aufsagen, oder klappt das einfach nur nicht?

Was meinst du? Du musst da auch "löschen" klicken ... dann wird es gelöscht ... oder check die Checkbox dann fragt er ne weile nicht mehr nach

Homoran

@apollon77 sagte in Test Adapter History 2.0.0:

Du musst da auch "löschen" klicken ... dann wird es gelöscht

eben nicht

apollon77

@homoran debug log vom Adapter mal an und bitte log von so nem löschen zeigen. Dran hab ich nix geändert. Muss man schauen

Homoran

@apollon77 Hab ich (oder du) ein Problem.
Das debug müllt das log zu.
ich erkenne nicht was zum löschen gehört

Wie lange dauert das Ganze?

fängt an mit:

2022-04-27 14:53:18.765 - debug: history.0 (4085778) Redis Objects: Use Redis connection: 0.0.0.0:9001
2022-04-27 14:53:18.794 - debug: history.0 (4085778) Objects client ready ... initialize now
2022-04-27 14:53:18.799 - debug: history.0 (4085778) Objects create System PubSub Client
2022-04-27 14:53:18.800 - debug: history.0 (4085778) Objects create User PubSub Client
2022-04-27 14:53:18.801 - debug: history.0 (4085778) Objects client initialize lua scripts
2022-04-27 14:53:18.816 - debug: history.0 (4085778) Objects connected to redis: 0.0.0.0:9001
2022-04-27 14:53:18.822 - debug: history.0 (4085778) objectDB connected
2022-04-27 14:53:18.823 - debug: history.0 (4085778) Redis States: Use Redis connection: 0.0.0.0:9000
2022-04-27 14:53:18.832 - debug: history.0 (4085778) States create System PubSub Client
2022-04-27 14:53:18.833 - debug: history.0 (4085778) States create User PubSub Client
2022-04-27 14:53:18.844 - debug: history.0 (4085778) States connected to redis: 0.0.0.0:9000
2022-04-27 14:53:18.845 - debug: history.0 (4085778) statesDB connected
2022-04-27 14:53:19.057 - debug: history.0 (4085778) Plugin sentry Initialize Plugin (enabled=true)

Hab's nochmal versucht und finde:

2022-04-27 14:59:41.657 - debug: history.0 (4085778) sendTo "getHistory" to system.adapter.web.0 from system.adapter.history.0
2022-04-27 14:59:50.596 - debug: history.0 (4085778) deleteState 1 items
2022-04-27 14:59:50.597 - warn: history.0 (4085778) States system pmessage io.messagebox.system.adapter.history.0 {"command":"delete","message":[{"state":{"ts":1651063995440},"id":"Messwerte.0.Stromzaehler.Summenwerte.Tagesendverbrauch"}],"from":"system.adapter.admin.0","callback":{"message":[{"state":{"ts":1651063995440},"id":"Messwerte.0.Stromzaehler.Summenwerte.Tagesendverbrauch"}],"id":325,"ack":false,"time":1651064390595},"_id":70540713} file is not defined
2022-04-27 14:59:50.604 - warn: history.0 (4085778) ReferenceError: file is not defined
at /opt/iobroker/node_modules/iobroker.history/main.js:1552:59
at Array.forEach ()
at _delete (/opt/iobroker/node_modules/iobroker.history/main.js:1505:15)
at deleteState (/opt/iobroker/node_modules/iobroker.history/main.js:1628:17)
at processMessage (/opt/iobroker/node_modules/iobroker.history/main.js:326:9)
at Object.message (/opt/iobroker/node_modules/iobroker.history/main.js:233:25)
at change (/opt/iobroker/node_modules/iobroker.js-controller/lib/adapter.js:5634:41)
at Immediate._onImmediate (/opt/iobroker/node_modules/@iobroker/db-states-redis/lib/states/statesInRedisClient.js:232:37)
at processImmediate (internal/timers.js:464:21)

apollon77

@homoran COngrats, you forund a bug :-)) Fixed ion GitHub

Homoran

@apollon77 Aber immer wieder gerne

EDIT:

Works like a charm!

Endlich kann ich meine Charts aufräumen.
Sind natürlich jetzt unendlich viele DPs mit Dp*8 null drin

apollon77

@homoran Viel Erfolg

Homoran

@apollon77 sagte in Test Adapter History 2.0.0:

@homoran COngrats, you forund a bug :-)) Fixed ion GitHub

ich versuche es gleich nochmal

Ich habe gerade festgestellt, dass in einem Chart eine Linie fehlte.
Beim Versuch die Daten des zuständigen Datenpunktes anzusehen scheint history abgestürzt zu sein:

2022-04-28 14:41:30.041 - error: host.iobroker-VM03 Caught by controller[0]: <--- Last few GCs --->
2022-04-28 14:41:30.043 - error: host.iobroker-VM03 Caught by controller[0]: [2034430:0x597ac00] 38402 ms: Mark-sweep 1862.1 (1987.9) -> 1858.1 (1990.6) MB, 1777.6 / 0.0 ms (average mu = 0.225, current mu = 0.029) allocation failure scavenge might not succeed
2022-04-28 14:41:30.043 - error: host.iobroker-VM03 Caught by controller[0]: [2034430:0x597ac00] 40186 ms: Mark-sweep 1874.1 (1990.6) -> 1870.1 (1993.1) MB, 1712.1 / 0.0 ms (average mu = 0.147, current mu = 0.040) allocation failure scavenge might not succeed
2022-04-28 14:41:30.043 - error: host.iobroker-VM03 Caught by controller[0]: <--- JS stacktrace --->
2022-04-28 14:41:30.043 - error: host.iobroker-VM03 Caught by controller[0]: FATAL ERROR: Ineffective mark-compacts near heap limit Allocation failed - JavaScript heap out of memory
2022-04-28 14:41:30.043 - error: host.iobroker-VM03 Caught by controller[1]: 1: 0xa3aaf0 node::Abort() [io.history.0]
2022-04-28 14:41:30.043 - error: host.iobroker-VM03 Caught by controller[2]: 2: 0x970199 node::FatalError(char const*, char const*) [io.history.0]
2022-04-28 14:41:30.044 - error: host.iobroker-VM03 Caught by controller[3]: 3: 0xbba45e v8::Utils::ReportOOMFailure(v8::internal::Isolate*, char const*, bool) [io.history.0]
2022-04-28 14:41:30.044 - error: host.iobroker-VM03 Caught by controller[4]: 4: 0xbba7d7 v8::internal::V8::FatalProcessOutOfMemory(v8::internal::Isolate*, char const*, bool) [io.history.0]
2022-04-28 14:41:30.044 - error: host.iobroker-VM03 Caught by controller[5]: 5: 0xd769e5 [io.history.0]
2022-04-28 14:41:30.044 - error: host.iobroker-VM03 Caught by controller[6]: 6: 0xd7756f [io.history.0]
2022-04-28 14:41:30.044 - error: host.iobroker-VM03 Caught by controller[7]: 7: 0xd853ab v8::internal::Heap::CollectGarbage(v8::internal::AllocationSpace, v8::internal::GarbageCollectionReason, v8::GCCallbackFlags) [io.history.0]
2022-04-28 14:41:30.044 - error: host.iobroker-VM03 Caught by controller[8]: 8: 0xd88f6c v8::internal::Heap::AllocateRawWithRetryOrFailSlowPath(int, v8::internal::AllocationType, v8::internal::AllocationOrigin, v8::internal::AllocationAlignment) [io.history.0]
2022-04-28 14:41:30.044 - error: host.iobroker-VM03 Caught by controller[9]: 9: 0xd4e73d v8::internal::Factory::AllocateRaw(int, v8::internal::AllocationType, v8::internal::AllocationAlignment) [io.history.0]
2022-04-28 14:41:30.044 - error: host.iobroker-VM03 Caught by controller[10]: 10: 0xd4a999 v8::internal::FactoryBase::AllocateRawArray(int, v8::internal::AllocationType) [io.history.0]
2022-04-28 14:41:30.044 - error: host.iobroker-VM03 Caught by controller[11]: 11: 0xd4aa54 v8::internal::FactoryBase::NewFixedArrayWithFiller(v8::internal::Handle, int, v8::internal::Handle, v8::internal::AllocationType) [io.history.0]
2022-04-28 14:41:30.044 - error: host.iobroker-VM03 Caught by controller[12]: 12: 0xf80ffe v8::internal::Handle v8::internal::HashTable::New(v8::internal::Isolate*, int, v8::internal::AllocationType, v8::internal::MinimumCapacity) [io.history.0]
2022-04-28 14:41:30.044 - error: host.iobroker-VM03 Caught by controller[13]: 13: 0xf81cf9 v8::internal::Handle v8::internal::BaseNameDictionary::New(v8::internal::Isolate*, int, v8::internal::AllocationType, v8::internal::MinimumCapacity) [io.history.0]
2022-04-28 14:41:30.044 - error: host.iobroker-VM03 Caught by controller[14]: 14: 0xf35be1 v8::internal::JSObject::MigrateToMap(v8::internal::Isolate*, v8::internal::Handle, v8::internal::Handle, int) [io.history.0]
2022-04-28 14:41:30.044 - error: host.iobroker-VM03 Caught by controller[15]: 15: 0xf556cc v8::internal::LookupIterator::Delete() [io.history.0]
2022-04-28 14:41:30.044 - error: host.iobroker-VM03 Caught by controller[16]: 16: 0xf2c55b v8::internal::JSReceiver::DeleteProperty(v8::internal::LookupIterator*, v8::internal::LanguageMode) [io.history.0]
2022-04-28 14:41:30.044 - error: host.iobroker-VM03 Caught by controller[17]: 17: 0x10b4600 v8::internal::Runtime::DeleteObjectProperty(v8::internal::Isolate*, v8::internal::Handle, v8::internal::Handle, v8::internal::LanguageMode) [io.history.0]
2022-04-28 14:41:30.045 - error: host.iobroker-VM03 Caught by controller[18]: 18: 0x10b673a v8::internal::Runtime_DeleteProperty(int, unsigned long*, v8::internal::Isolate*) [io.history.0]
2022-04-28 14:41:30.045 - error: host.iobroker-VM03 Caught by controller[19]: 19: 0x1448e19 [io.history.0]
2022-04-28 14:41:30.045 - warn: host.iobroker-VM03 instance system.adapter.history.0 terminated due to SIGABRT

EDIT:
Habe bei dem Datenpunkt Logging deaktiviert und neu konfiguriert.
Seitdem loggt er anscheinend wieder, aber sobald ich mir die Werte ansehen will stürzt history ab

apollon77

@homoran Wie lange zurück schaust Du denn? Das ist ein "Out of memory" ... Ansonsten Debug wieder an und dann mal log von so einem crash senden

NEWS

Test Adapter History 2.0.0

Support us

741
Online

31.7k
Users

79.8k
Topics

1.3m
Posts

NEWS

Test Adapter History 2.0.0

Support us

741Online

31.7kUsers

79.8kTopics

1.3mPosts

741
Online

31.7k
Users

79.8k
Topics

1.3m
Posts