EXPERIMENTELL: JsonL Datenbank für js-controller

[apollon77]

@msauer Habe mich gestern abend vor release anders entschieden. Fixe changelog gleich

[crunchip]

@apollon77 sagte in EXPERIMENTELL: JsonL Datenbank für js-controller:

npm ls --all |grep "iobroker/db"

hab ich testweise mal eingegeben, Ausgabe mit einigen npm ERR, rein informativ, ist das so ok?
Host ist noch auf 3.2.16

npm ERR! extraneous: @types/request@2.48.1 /opt/iobroker/node_modules/@types/request
npm ERR! extraneous: alcalzone-shared@2.3.0 /opt/iobroker/node_modules/alcalzone-shared
npm ERR! extraneous: alexa-remote2@2.5.3 /opt/iobroker/node_modules/alexa-remote2
npm ERR! extraneous: anyproxy@4.1.0 /opt/iobroker/node_modules/anyproxy
npm ERR! extraneous: bottleneck@2.19.2 /opt/iobroker/node_modules/bottleneck
npm ERR! extraneous: castv2-player@2.0.5 /opt/iobroker/node_modules/castv2-player
npm ERR! extraneous: coffee-compiler@0.3.2 /opt/iobroker/node_modules/coffee-compiler
npm ERR! extraneous: coffee-script@1.12.7 /opt/iobroker/node_modules/coffee-script
npm ERR! extraneous: express-fileupload@0.4.1 /opt/iobroker/node_modules/express-fileupload
npm ERR! extraneous: iobroker-react-components@1.0.0 /opt/iobroker/node_modules/iobroker-react-components
npm ERR! extraneous: js2xmlparser@3.0.0 /opt/iobroker/node_modules/js2xmlparser
npm ERR! extraneous: mongodb@3.2.7 /opt/iobroker/node_modules/mongodb
npm ERR! extraneous: node-hue-api@2.4.6 /opt/iobroker/node_modules/node-hue-api
npm ERR! extraneous: node-inspect@2.0.0 /opt/iobroker/node_modules/node-inspect
npm ERR! extraneous: node-red@0.20.7 /opt/iobroker/node_modules/node-red
npm ERR! extraneous: node-red-contrib-aggregator@1.5.0 /opt/iobroker/node_modules/node-red-contrib-aggregator
npm ERR! extraneous: node-red-contrib-os@0.1.7 /opt/iobroker/node_modules/node-red-contrib-os
npm ERR! extraneous: node-red-contrib-polymer@0.0.21 /opt/iobroker/node_modules/node-red-contrib-polymer
npm ERR! extraneous: node-red-dashboard@2.15.5 /opt/iobroker/node_modules/node-red-dashboard
npm ERR! extraneous: portfinder@1.0.20 /opt/iobroker/node_modules/portfinder
npm ERR! extraneous: rpi-gpio@2.1.3 /opt/iobroker/node_modules/rpi-gpio
npm ERR! extraneous: sync-exec@0.6.2 /opt/iobroker/node_modules/sync-exec
npm ERR! extraneous: systeminformation@4.14.4 /opt/iobroker/node_modules/systeminformation
npm ERR! extraneous: typescript@3.5.1 /opt/iobroker/node_modules/typescript
npm ERR! extraneous: virtual-device-sdk@1.5.18 /opt/iobroker/node_modules/virtual-device-sdk
npm ERR! extraneous: virtual-tsc@0.6.1 /opt/iobroker/node_modules/virtual-tsc
npm ERR! extraneous: vm2@3.8.1 /opt/iobroker/node_modules/vm2
npm ERR! extraneous: wake_on_lan@1.0.0 /opt/iobroker/node_modules/wake_on_lan
npm ERR! extraneous: zigbee-herdsman-converters@14.0.110 /opt/iobroker/node_modules/zigbee-herdsman-converters
npm ERR! extraneous: zigbee-shepherd@0.3.0 /opt/iobroker/node_modules/zigbee-shepherd
npm ERR! extraneous: zigbee-shepherd-converters@10.1.9 /opt/iobroker/node_modules/zigbee-shepherd-converters
npm ERR! extraneous: @alcalzone/release-script@1.8.3 /opt/iobroker/node_modules/iobroker.javascript/node_modules/@alcalzone/release-script
npm ERR! extraneous: chai@4.3.4 /opt/iobroker/node_modules/iobroker.javascript/node_modules/chai
npm ERR! extraneous: del@6.0.0 /opt/iobroker/node_modules/iobroker.javascript/node_modules/del
npm ERR! extraneous: eslint@7.23.0 /opt/iobroker/node_modules/iobroker.javascript/node_modules/eslint
npm ERR! extraneous: gulp@4.0.2 /opt/iobroker/node_modules/iobroker.javascript/node_modules/gulp
npm ERR! extraneous: gulp-rename@2.0.0 /opt/iobroker/node_modules/iobroker.javascript/node_modules/gulp-rename
npm ERR! extraneous: gulp-replace@1.0.0 /opt/iobroker/node_modules/iobroker.javascript/node_modules/gulp-replace
npm ERR! extraneous: mocha@8.3.2 /opt/iobroker/node_modules/iobroker.javascript/node_modules/mocha
npm ERR! extraneous: timekeeper@2.2.0 /opt/iobroker/node_modules/iobroker.javascript/node_modules/timekeeper
npm ERR! peer dep missing: date-fns@^2.0.0, required by @date-io/date-fns@1.3.13
npm ERR! peer dep missing: @material-ui/core@^4.0.0, required by @material-ui/pickers@3.2.10
npm ERR! peer dep missing: react@^16.8.4, required by @material-ui/pickers@3.2.10
npm ERR! peer dep missing: react-dom@^16.8.4, required by @material-ui/pickers@3.2.10
npm ERR! peer dep missing: react@>=16.6.0, required by react-transition-group@4.4.1
npm ERR! peer dep missing: react@>=16.8, required by rifm@0.7.0
npm ERR! peer dep missing: react-dom@>=16.6.0, required by react-transition-group@4.4.1
npm ERR! peer dep missing: typescript@3.9.x || 4.0.x || 4.1.x, required by typedoc@0.20.28
npm ERR! extraneous: @babel/cli@7.13.0 /opt/iobroker/node_modules/iobroker.zigbee/node_modules/zigbee-herdsman/node_modules/@babel/cli
npm ERR! extraneous: @babel/preset-env@7.13.9 /opt/iobroker/node_modules/iobroker.zigbee/node_modules/zigbee-herdsman/node_modules/@babel/preset-env
npm ERR! extraneous: @babel/preset-typescript@7.13.0 /opt/iobroker/node_modules/iobroker.zigbee/node_modules/zigbee-herdsman/node_modules/@babel/preset-typescript
npm ERR! extraneous: @types/debounce@1.2.0 /opt/iobroker/node_modules/iobroker.zigbee/node_modules/zigbee-herdsman/node_modules/@types/debounce
npm ERR! extraneous: @types/debug@4.1.5 /opt/iobroker/node_modules/iobroker.zigbee/node_modules/zigbee-herdsman/node_modules/@types/debug
npm ERR! extraneous: @types/jest@26.0.20 /opt/iobroker/node_modules/iobroker.zigbee/node_modules/zigbee-herdsman/node_modules/@types/jest
npm ERR! extraneous: @types/nedb@1.8.11 /opt/iobroker/node_modules/iobroker.zigbee/node_modules/zigbee-herdsman/node_modules/@types/nedb
npm ERR! extraneous: @types/serialport@8.0.1 /opt/iobroker/node_modules/iobroker.zigbee/node_modules/zigbee-herdsman/node_modules/@types/serialport
npm ERR! extraneous: @typescript-eslint/eslint-plugin@4.16.1 /opt/iobroker/node_modules/iobroker.zigbee/node_modules/zigbee-herdsman/node_modules/@typescript-eslint/eslint-plugin
npm ERR! extraneous: @typescript-eslint/parser@4.16.1 /opt/iobroker/node_modules/iobroker.zigbee/node_modules/zigbee-herdsman/node_modules/@typescript-eslint/parser
npm ERR! extraneous: eslint@7.21.0 /opt/iobroker/node_modules/iobroker.zigbee/node_modules/zigbee-herdsman/node_modules/eslint
npm ERR! extraneous: jest@26.6.3 /opt/iobroker/node_modules/iobroker.zigbee/node_modules/zigbee-herdsman/node_modules/jest
npm ERR! extraneous: typedoc@0.20.28 /opt/iobroker/node_modules/iobroker.zigbee/node_modules/zigbee-herdsman/node_modules/typedoc
npm ERR! extraneous: typedoc-plugin-markdown@3.6.0 /opt/iobroker/node_modules/iobroker.zigbee/node_modules/zigbee-herdsman/node_modules/typedoc-plugin-markdown
npm ERR! extraneous: typedoc-plugin-no-inherit@1.2.0 /opt/iobroker/node_modules/iobroker.zigbee/node_modules/zigbee-herdsman/node_modules/typedoc-plugin-no-inherit
npm ERR! extraneous: typedoc-plugin-sourcefile-url@1.0.6 /opt/iobroker/node_modules/iobroker.zigbee/node_modules/zigbee-herdsman/node_modules/typedoc-plugin-sourcefile-url
npm ERR! extraneous: eslint@7.24.0 /opt/iobroker/node_modules/iobroker.zigbee/node_modules/zigbee-herdsman-converters/node_modules/eslint
npm ERR! extraneous: eslint-config-google@0.14.0 /opt/iobroker/node_modules/iobroker.zigbee/node_modules/zigbee-herdsman-converters/node_modules/eslint-config-google
npm ERR! extraneous: eslint-plugin-jest@24.3.5 /opt/iobroker/node_modules/iobroker.zigbee/node_modules/zigbee-herdsman-converters/node_modules/eslint-plugin-jest
npm ERR! extraneous: jest@26.6.3 /opt/iobroker/node_modules/iobroker.zigbee/node_modules/zigbee-herdsman-converters/node_modules/jest
npm ERR! peer dep missing: typescript@3.9.x || 4.0.x || 4.1.x, required by typedoc@0.20.28
npm ERR! extraneous: @babel/cli@7.13.0 /opt/iobroker/node_modules/iobroker.zigbee/node_modules/zigbee-herdsman-converters/node_modules/zigbee-herdsman/node_modules/@babel/cli
npm ERR! extraneous: @babel/preset-env@7.13.9 /opt/iobroker/node_modules/iobroker.zigbee/node_modules/zigbee-herdsman-converters/node_modules/zigbee-herdsman/node_modules/@babel/preset-env
npm ERR! extraneous: @babel/preset-typescript@7.13.0 /opt/iobroker/node_modules/iobroker.zigbee/node_modules/zigbee-herdsman-converters/node_modules/zigbee-herdsman/node_modules/@babel/preset-typescript
npm ERR! extraneous: @types/debounce@1.2.0 /opt/iobroker/node_modules/iobroker.zigbee/node_modules/zigbee-herdsman-converters/node_modules/zigbee-herdsman/node_modules/@types/debounce
npm ERR! extraneous: @types/debug@4.1.5 /opt/iobroker/node_modules/iobroker.zigbee/node_modules/zigbee-herdsman-converters/node_modules/zigbee-herdsman/node_modules/@types/debug
npm ERR! extraneous: @types/jest@26.0.20 /opt/iobroker/node_modules/iobroker.zigbee/node_modules/zigbee-herdsman-converters/node_modules/zigbee-herdsman/node_modules/@types/jest
npm ERR! extraneous: @types/nedb@1.8.11 /opt/iobroker/node_modules/iobroker.zigbee/node_modules/zigbee-herdsman-converters/node_modules/zigbee-herdsman/node_modules/@types/nedb
npm ERR! extraneous: @types/serialport@8.0.1 /opt/iobroker/node_modules/iobroker.zigbee/node_modules/zigbee-herdsman-converters/node_modules/zigbee-herdsman/node_modules/@types/serialport
npm ERR! extraneous: @typescript-eslint/eslint-plugin@4.16.1 /opt/iobroker/node_modules/iobroker.zigbee/node_modules/zigbee-herdsman-converters/node_modules/zigbee-herdsman/node_modules/@typescript-eslint/eslint-plugin
npm ERR! extraneous: @typescript-eslint/parser@4.16.1 /opt/iobroker/node_modules/iobroker.zigbee/node_modules/zigbee-herdsman-converters/node_modules/zigbee-herdsman/node_modules/@typescript-eslint/parser
npm ERR! extraneous: eslint@7.21.0 /opt/iobroker/node_modules/iobroker.zigbee/node_modules/zigbee-herdsman-converters/node_modules/zigbee-herdsman/node_modules/eslint
npm ERR! extraneous: jest@26.6.3 /opt/iobroker/node_modules/iobroker.zigbee/node_modules/zigbee-herdsman-converters/node_modules/zigbee-herdsman/node_modules/jest
npm ERR! extraneous: typedoc@0.20.28 /opt/iobroker/node_modules/iobroker.zigbee/node_modules/zigbee-herdsman-converters/node_modules/zigbee-herdsman/node_modules/typedoc
npm ERR! extraneous: typedoc-plugin-markdown@3.6.0 /opt/iobroker/node_modules/iobroker.zigbee/node_modules/zigbee-herdsman-converters/node_modules/zigbee-herdsman/node_modules/typedoc-plugin-markdown
npm ERR! extraneous: typedoc-plugin-no-inherit@1.2.0 /opt/iobroker/node_modules/iobroker.zigbee/node_modules/zigbee-herdsman-converters/node_modules/zigbee-herdsman/node_modules/typedoc-plugin-no-inherit
npm ERR! extraneous: typedoc-plugin-sourcefile-url@1.0.6 /opt/iobroker/node_modules/iobroker.zigbee/node_modules/zigbee-herdsman-converters/node_modules/zigbee-herdsman/node_modules/typedoc-plugin-sourcefile-url
│ ├─┬ @iobroker/db-objects-file@1.1.4
│ │ ├─┬ @iobroker/db-base@1.1.4
│ │ ├── @iobroker/db-objects-redis@1.1.4 deduped
│ ├─┬ @iobroker/db-objects-jsonl@1.1.5
│ │ ├─┬ @iobroker/db-base@1.1.4
│ │ ├─┬ @iobroker/db-objects-file@1.1.4
│ │ │ ├── @iobroker/db-base@1.1.4 deduped
│ │ │ ├── @iobroker/db-objects-redis@1.1.4 deduped
│ │ ├─┬ @iobroker/db-objects-redis@1.1.4
│ │ │ ├── @iobroker/db-base@1.1.4 deduped
│ ├─┬ @iobroker/db-objects-redis@1.1.4
│ │ ├── @iobroker/db-base@1.1.4 deduped
│ ├─┬ @iobroker/db-states-file@1.1.4
│ │ ├── @iobroker/db-base@1.1.4 deduped
│ │ └── @iobroker/db-states-redis@1.1.4 deduped
│ ├─┬ @iobroker/db-states-jsonl@1.1.5
│ │ ├── @iobroker/db-base@1.1.4 deduped
│ │ ├─┬ @iobroker/db-states-file@1.1.4
│ │ │ ├── @iobroker/db-base@1.1.4 deduped
│ │ │ └── @iobroker/db-states-redis@1.1.4 deduped
│ │ └─┬ @iobroker/db-states-redis@1.1.4
│ │   ├── @iobroker/db-base@1.1.4 deduped
│ ├─┬ @iobroker/db-states-redis@1.1.4
│ │ ├── @iobroker/db-base@1.1.4 deduped

[apollon77]

@crunchip Auf 3.2.16 sind die 1.1.x der DB Klassen vollkommen korrekt. Update auf js-controller 3.3 aktualisiert das auch1.2.x

[saeft_2003]

@apollon77

Wird josnL der neue Standard beim js controller 3.3? Falls ja wann kommt der?

[Kueppert]

@saeft_2003 schau mal hier: https://forum.iobroker.net/topic/42053/experimentell-jsonl-datenbank-für-js-controller/1
ich nutze das Format bereits erfolgreich:

Objects type: jsonl
States  type: jsonl

[saeft_2003]

@kueppert

was ich nicht kapiert habe was ich hier machen muss? Weil ich habe auch einen Slave...

dann Wählen (beim mster bzw single host sowieso) das er migriert (Bei Slaves natürlich keine Migration)

[saeft_2003]

Würde es auch reichen in der iobroker.json unter states und objects den Typ von file auf jsonl zu ändern?

},
  "objects": {
    "type": "file",
    "typeComment": "Possible values: 'file' - [port 9001], redis - [port 6379], couch - [port 5984].",
    "host": "0.0.0.0",
    "port": 9001,
    "user": "",
    "pass": "",
    "noFileCache": false,
    "connectTimeout": 2000,
    "options": {
      "auth_pass": null,
      "enableReadyCheck": true,
      "host": "0.0.0.0",
      "port": 9001,
      "db": 0,
      "family": 0,
      "password": null,
      "autoResubscribe": false,
      "connectionName": "host.iobroker"
    },
    "maxQueue": 1000
  },
  "states": {
    "type": "file",
    "typeComment": "Possible values: 'file' - [port 9000], 'redis' - [port 6379].",
    "host": "0.0.0.0",
    "port": 9000,
    "maxQueue": 1000,
    "writeFileInterval": 360000,
    "options": {
      "auth_pass": null,
      "enableReadyCheck": true,
      "host": "0.0.0.0",
      "port": 9000,
      "db": 0,
      "family": 0,
      "password": null,
      "autoResubscribe": false,
      "connectionName": "host.iobroker"
    }

[Megawaldi]

@saeft_2003
Bitte nicht falsch verstehen, aber wenn du nicht genau verstehst was hier gemacht werden muss würde ich es lassen.

[saeft_2003]

@megawaldi

Ich hab schon öfter was gemacht was ich nicht genau verstanden habe, aber mit Hilfe hier aus dem Forum hat das bis jetzt sehr gut geklappt. Dafür ist es ja da.

Und bitte nicht falsch verstehen, aber dein Kommentar hilft nicht wirklich weiter.

[AlCalzone]

@saeft_2003 sagte in EXPERIMENTELL: JsonL Datenbank für js-controller:

dann Wählen (beim mster bzw single host sowieso) das er migriert (Bei Slaves natürlich keine Migration)

Wenn du umstellst auf JSONL fragt dich ioBroker, ob du die DB migrieren willst. Auf dem Master beantwortest du das mit "ja", auf dem Slave mit "nein".

[saeft_2003]

@alcalzone

Alles klar damit kann ich was anfangen. Ich habe das heute auf meinem Testsystem kurz probiert und darauf wahrscheinlich nicht genau geachtet.

[saeft_2003]

@alcalzone

Sorry das ich nochmal nachfragen muss. Aber ist das die Abfrage „Data directory“? Falls ja was muss hier eingeben werden?

[Dr. Bakterius]

@saeft_2003 sagte in EXPERIMENTELL: JsonL Datenbank für js-controller:

Aber ist das die Abfrage „Data directory“?

Nein, das ist der Pfad zu den Datenbankdateien. Wenn von den Standardwerten her nichts geändert wurde, einfach so übernehmen. Die Abfrage zur Konvertierung wird erst danach gestellt.

[saeft_2003]

@dr-bakterius

Ok, aber nach "host name of this maschine" kam nichts mehr? Deswegen bin ich etwas verwirrst.

[Dr. Bakterius]

@saeft_2003 Nach deinem Screenshot änderst du ja auch nichts an den Einstellungen. Du bist bereits auf jsonl. Also braucht auch nichts konvertiert werden.

[saeft_2003]

@dr-bakterius

OK das könnte der Grund sein, ich probiere heute Abend an meinem Testsystem nochmal einen Wechsel von jsonl auf file und wieder zurück um zu schauen ob dann eine Abfrage zu Konvertierung kommt. Ich muss das erstmal üben bevor ich mich an mein Produktivsystem rantraue

Noch kurz eine Frage wenn ich ein Backup von der Datei iobroker.json mache, könnte ich doch einfach wieder den Zustand herstellen falls irgendwas nicht geklappt hat, oder?

[apollon77]

@saeft_2003 Nein, vorauss Richtung Oktober mit controller 3.4

[apollon77]

@saeft_2003 An sich dachte ich das der Migrationsprozess und die Fragen und so da drin recht eindeutig sind Scheinbar nicht ...

Wenn Du von file auf jsonl migrierst musst di an sich nur am Anfang einmal jsonl eingeben und dann alle settings einfach bestötigen (quasi). Dann die Migrationsfragen beantworten. Der Rest sollte automatisch passieren - auf dem Master wird migriert, auf dem Slave nicht.

Am besten ist es auf allen Systemen den gleichen DB typ zu konfigurieren ... kann sonst ggf komische Effekte haben.

[saeft_2003]

@apollon77

Alles klar danke für deine Info

[crunchip]

@apollon77 wollte gerade mal den Controller testen, scheitere jedoch schon zu Beginn an diesem

root@IoBroker:/opt/iobroker# iobroker stop
root@IoBroker:/opt/iobroker# iobroker update
No connection to databases possible ...
Server Cannot start inMem-objects on port 9001: The "fd" argument must be of type number. Received undefined
root@IoBroker:/opt/iobroker#