[gelöst] states.jsonl file viel zu groß

[RandyAndy]

@crunchip
Fronius verwende ich auch nicht aber go-e seit ein paar Monaten.
Aber ich kann ja das mal mitscheiden was die States vermehrt.
Sollte ja eigentlich sehr einfach sein einfach die Datei ein paar mal zu kopieren und dann nach States zu sortieren.
Was denkt Ihr darüber ?

Andreas

[Thomas Braun]

@randyandy

gibt es die Möglicheit in der alten Admin Oberfläche.

Ich würde da zuerst mal schauen.

[RandyAndy]

@thomas-braun

 system.adapter.admin.0                  : admin                 : raspberrypi                              -  enabled, port: 8081, bind: 0.0.0.0 (SSL), run as: admin
+ system.adapter.backitup.1               : backitup              : raspberrypi                              -  enabled
+ system.adapter.backitup.2               : backitup              : raspberrypi                              -  enabled
+ system.adapter.broadlink2.0             : broadlink2            : raspberrypi                              -  enabled
+ system.adapter.calendar.0               : calendar              : raspberrypi                              -  enabled, port: 8095
  system.adapter.daswetter.0              : daswetter             : raspberrypi                              -  enabled
  system.adapter.discovery.0              : discovery             : raspberrypi                              - disabled
  system.adapter.dwd.0                    : dwd                   : raspberrypi                              -  enabled
+ system.adapter.echarts.0                : echarts               : raspberrypi                              -  enabled
+ system.adapter.email.0                  : email                 : raspberrypi                              -  enabled
+ system.adapter.email.1                  : email                 : raspberrypi                              -  enabled
+ system.adapter.fahrplan.0               : fahrplan              : raspberrypi                              -  enabled
  system.adapter.fb-checkpresence.0       : fb-checkpresence      : raspberrypi                              - disabled
  system.adapter.fully-tablet-control.0   : fully-tablet-control  : raspberrypi                              - disabled
+ system.adapter.go-e.0                   : go-e                  : raspberrypi                              -  enabled
+ system.adapter.hm-rega.0                : hm-rega               : raspberrypi                              -  enabled
+ system.adapter.hm-rega.1                : hm-rega               : raspberrypi                              -  enabled
+ system.adapter.hm-rpc.0                 : hm-rpc                : raspberrypi                              -  enabled, port: 0
+ system.adapter.hm-rpc.1                 : hm-rpc                : raspberrypi                              -  enabled, port: 0
+ system.adapter.hm-rpc.2                 : hm-rpc                : raspberrypi                              -  enabled, port: 0
+ system.adapter.hm-rpc.3                 : hm-rpc                : raspberrypi                              -  enabled, port: 0
  system.adapter.ical.0                   : ical                  : raspberrypi                              -  enabled
+ system.adapter.info.0                   : info                  : raspberrypi                              -  enabled
+ system.adapter.javascript.0             : javascript            : raspberrypi                              -  enabled
+ system.adapter.lgtv.0                   : lgtv                  : raspberrypi                              -  enabled
+ system.adapter.lgtv.1                   : lgtv                  : raspberrypi                              -  enabled
  system.adapter.node-red.0               : node-red              : raspberrypi                              - disabled, port: 1880, bind: 0.0.0.0
+ system.adapter.parser.0                 : parser                : raspberrypi                              -  enabled
  system.adapter.ping.0                   : ping                  : raspberrypi                              - disabled
  system.adapter.sayit.0                  : sayit                 : raspberrypi                              - disabled, port: 0
+ system.adapter.signal-cmb.0             : signal-cmb            : raspberrypi                              -  enabled
+ system.adapter.slideshow.0              : slideshow             : raspberrypi                              -  enabled
+ system.adapter.sonoff.0                 : sonoff                : raspberrypi                              -  enabled, port: 1883, bind: 0.0.0.0
+ system.adapter.sql.0                    : sql                   : raspberrypi                              -  enabled, port: 3306
+ system.adapter.tankerkoenig.0           : tankerkoenig          : raspberrypi                              -  enabled
+ system.adapter.tr-064.0                 : tr-064                : raspberrypi                              -  enabled
+ system.adapter.trashschedule.0          : trashschedule         : raspberrypi                              -  enabled
+ system.adapter.tvprogram.0              : tvprogram             : raspberrypi                              -  enabled
  system.adapter.vis-bars.0               : vis-bars              : raspberrypi                              - disabled
  system.adapter.vis-canvas-gauges.0      : vis-canvas-gauges     : raspberrypi                              - disabled
  system.adapter.vis-colorpicker.0        : vis-colorpicker       : raspberrypi                              - disabled
  system.adapter.vis-fancyswitch.0        : vis-fancyswitch       : raspberrypi                              - disabled
  system.adapter.vis-google-fonts.0       : vis-google-fonts      : raspberrypi                              -  enabled
  system.adapter.vis-hqwidgets.0          : vis-hqwidgets         : raspberrypi                              - disabled
  system.adapter.vis-jqui-mfd.0           : vis-jqui-mfd          : raspberrypi                              - disabled
  system.adapter.vis-justgage.0           : vis-justgage          : raspberrypi                              - disabled
  system.adapter.vis-materialdesign.0     : vis-materialdesign    : raspberrypi                              - disabled
  system.adapter.vis-timeandweather.0     : vis-timeandweather    : raspberrypi                              - disabled
  system.adapter.vis-weather.0            : vis-weather           : raspberrypi                              - disabled
  system.adapter.vis.0                    : vis                   : raspberrypi                              -  enabled
+ system.adapter.web-speedy.0             : web-speedy            : raspberrypi                              -  enabled
+ system.adapter.web.0                    : web                   : raspberrypi                              -  enabled, port: 8082, bind: 0.0.0.0, run as: admin
+ system.adapter.wiegand-tcpip.0          : wiegand-tcpip         : raspberrypi                              -  enabled, port: 60000, bind: 192.168.178.49

[RandyAndy]

@thomas-braun

Das sieht man auch im neuen Admin unter Objekte.
Objekte 21000
Zustände 17526

Ist stabil ändert sich nicht

Andreas

[Thomas Braun]

@randyandy sagte in states.json file viel zu groß:

Das sieht man auch im neuen Admin unter Objekte.

Aber nicht woher die Summe kommt.

[crunchip]

@randyandy sagte in states.json file viel zu groß:

Ist stabil ändert sich nicht

@randyandy sagte in states.json file viel zu groß:

herausgefunden was die Karte so auffüllt, es ist die states.json Datei.

Kann dann aber nicht sein

Oder meinst du die jsonl, die anwächst

[RandyAndy]

@crunchip

stimmt ist jsonl. Da habe ich nicht richtig aufgepaßt.

[RandyAndy]

@crunchip

Habe das File nun mal analysiert. Hat nach nicht mal 5 Stunden 710000 Zeilen.
Das erscheint mir ein wenig viel.

Andreas

[Thomas Braun]

@randyandy

Und was hat die Analyse ergeben, wo die ganzen Einträge herkommen?

[RandyAndy]

@thomas-braun

die kommen praktisch von jedem Adapter. Und die Werte werden offensichtlich immer nur drangehängt.

z.B.
Wenn ich z.B. nach

{"k":"system.adapter.hm-rega.1.connected","v":{"val":true,"ack":true,"ts":1649054073537,"q":0,"from":"system.adapter.hm-rega.1","lc":1649054073537,"expire":true}}

suche dann finde ich das im File 1297 mal

Das kann doch eigentlich nicht sein.
Lediglich die Nummer nch ts: ändert sich

ANdreas

[crunchip]

@randyandy sagte in states.jsonl file viel zu groß:

die kommen praktisch von jedem Adapter. Und die Werte werden offensichtlich immer nur drangehängt.

So arbeitet ja auch jsonl
Such mal den Thread zu jsonl, da ist es beschrieben

[AlCalzone]

@randyandy Kannste die Datei mal zippen und mir schicken? Eigentlich sollte ab einer bestimmten Schwelle die Datei neu geschrieben werden mit nur den relevanten Daten. Und am besten dazu noch deine /opt/iobroker/iobroker.json.

[RandyAndy]

Hallo,

geht leider nicht. Die Datei ist gezippt schon viel zu groß un das System läßt das nicht mehr zu

Andreas

[RandyAndy]

@alcalzone

So sollte es funktionieren.
Files

Andreas

[AlCalzone]

Problem gefunden: iobroker.json enthält unzulässige Settings. Nicht sicher, wo diese herkommen, aber diese beiden Blöcke müssen weg:

Wenn autoCompress keine sinnvollen Einstellungen enthält, sondern nur {}, dann sorgt das dafür, dass niemals auto-compressed wird - mit obigem Problem.
Gleichfalls sorgt "throttleFS": {} dafür, dass Änderungen nicht wie sonst gesammelt und zeitversetzt, sondern immer und sofort auf Platte geschrieben werden.
Bei backup bin ich mir nicht 100% sicher, aber "backup": {} könnte auch dafür sorgen, dass es keine regelmäßigen, automatischen Backups von den states und objects gibt.

[apollon77]

@randyandy Kann es sein das du mal im Admin uter "Host" die Settings geändert hast und so ein iobrokwr.json neu geschrieben wurde?

[RandyAndy]

@apollon77

nein an den Parametern habe ich nicht rumgespielt.
Allerdings habe ich von beiden Systemen die Settings verglichen.
Ich habe dann versucht zwei Pfade zu verändern ../../iobroker-data das im stabilen System nicht eingetragen war. War aber immer negativ und die Pfade wurden sofort wieder eingetragen oder wurden nicht abgespeichert.
Ich habe aber in der nahen Vergangenheit beim instabilen System alle Updates des js-controllers eingespielt und da waren wohl einige instabil (laut Forum). Kann es daran liegen? Beim zweiten stabilen System habe ich das nicht gemacht. Da bin ich zwar inzwischen auch auf auf der neuesten Version aber ohne die Zwischenlösungen.

Andreas

[RandyAndy]

@alcalzone

Hi

erst einmal vielen Dank, ich hatte da schon große Sorgen und war schon im Kopf unterwegs das System neu aufzusetzen mit manuellem kopieren wichtiger Dateien (Skripte, VIS, Bilder usw.).
Wie soll ich nun vorgehen, die Datei löschen und das System erstellt Sie dann neu oder manuell mit einem Editor anzupassen.
Jetzt ist mir auch klar warum ich beim Einspielen eines Backups (wobei ich ein Image eines zweiten Systems verwendet habe) immer wieder das gleiche Phänomen gesehen habe. Vermutlich wurde die iobroker.json Datei auch mit eingespielt und dann war das Problem immer wieder da.
Ich werde das heute Abend testen und dann Feedback geben.

Andreas

[apollon77]

@randyandy Danke, aber dieser Zustand kann meiner Erinnerung nach durch kein Update gekommen sein. Interessant wo es herkommt

[AlCalzone]

@randyandy sagte in states.jsonl file viel zu groß:

Wie soll ich nun vorgehen, die Datei löschen und das System erstellt Sie dann neu oder manuell mit einem Editor anzupassen.

Siehe Chatverlauf:

iobroker.json enthält folgende Settings:

"backup": {},
"jsonlOptions": {
  "autoCompress": {},
  "throttleFS": {}
},

jeweils für objects und states.

Stoppe iobroker, entferne diese beiden Abschnitte aus iobroker.json. Starte iobroker wieder