Test Adapter History 2.0.0

[apollon77]

Hi All,

GitHub hat nochmal ein paar nderungen erfahren - primär im Umgang mit dem Abfragen von Daten und versucht dort Dinge zu optimieren. Version bleibt weiterhin 2.0.0

[Marty56]

@apollon77
Hallo,

Super, dass der Adapter überarbeitet wird. Endlich!!! Juhuuu.

Was mir immer wieder passiert ist,
dass irgendein Sensor Mist in die History schreibt, die Daten versaut und die Diagramme unbrauchbar macht.

Es wäre wünschenswert, wenn man

1. Datenpunkte aus der History per UI löschen, ändern und hinzufügen könnte.

2. beim Editieren von Datenpunkte in der History DB, muss natürlich auch der Zeitpunkt änderbar sein.

3. Was auch noch super wäre, wenn man alle Datenpunkte, die man logt an einer Stelle, nämlich dem Adapter wiederfinden würde und dort zentral verwalten könnte.
   Man muss jedesmal in den Verzeichnisbäumen der Datenpunkte suchen, das nervt total und ist unübersichtlich. Was mir auch schon passiert ist, dass ich einen Datenpunkt vergessen habe, und der hat mir dann die Harddisk voll gemacht.

Ich bin mir nicht ganz sicher, ob das im Change Log beinhaltet ist. Habe es aber beim Überfliegen nicht gefunden.

Und ein verwandtes Thema: alle Grafik Module für VIS können max nur 2 Jahre darstellen. Flot kann, wenn man die URL umständlich editiert auch 9 Jahre darstellen. Es wäre schön, wenn man dieses Defizit auch beheben könnte.

Liebe Grüße

Martin

[apollon77]

@marty56

1.) geht schon seit Admin5

2.) Nein geht nicht aktuell. War bisher noch kein Usecase. Wäre ein Admin Feature-Request im ersten schritt. Wenn dort muss man zusätzlich die 3 Adapter anpassen.

3.) Nein auch das wird so bleiben. Admin ist "die zentrale Stelle" und du kannst im Admin oben rechts nach der "History instanz" filtern, dann hast Du alle die so loggen. Was fehlt noch das das "die zentrale Stelle ist"?

Vis-Modul ... Wenn was fehlt bitte Github requests anlegen. Technisch kein Stress, aber Daten für 9 Jahre?? Mal abgesehen von der Zeit die History brauchen würde alle JSON-Files (9x365) von der SD zu kratzen und zu verarbeiten und den Datenmengen ... was willst DU auf dem zeitraum sehen"?

[Homoran]

@marty56 sagte in Test Adapter History 2.0.0:

Datenpunkte aus der History per UI löschen, ändern und hinzufügen könnte.

geht!
Expertenmodus - Wert anklicken - editieren oder löschen (oben rech

[Marty56]

@apollon77
Danke fürs Feedback.
Es scheint mehr zu gehen, als ich wusste. Auf den Expertenmodus wäre ich nie gekommen.

Und dass man nach History Instanz filtern kann, wusste ich auch nicht.

Muss ich gleich mal alles ausprobieren.
Ok, User Inkompetenz. Ich schäme mich.

[Marty56]

@apollon77
9 Jahre. Mein Anwendung ist meine Solarnanlage, die jetzt schon 12 Jahre läuft und wo ich in die History DB alle Werte per Script manuell eingetragen habe.
Da habe ich nur einen Wert pro Jahr, bzw. 12 wenn ich die Monatsdarstellung wähle.
Das sollte machbar sein.

[apollon77]

@marty56 sagte in Test Adapter History 2.0.0:

Da habe ich nur einen Wert pro Jahr, bzw. 12 wenn ich die Monatsdarstellung wähle.

Wie meinst Du das?

[Sneak-L8]

@apollon77 Ich glaube ihm ist nicht klar, dass alle Daten in einem Json (pro Tag) gehalten werden. Also nicht nur der State den er einal am Tag speichert. Wenn die Werte dieses States das einzige sind, was in der Hostiry liegt, dann sollte es tatschlich kein Problem sein.
@Marty56 Wenn da aber auch andere States geloggt werden, dann landen die mit den von Dir angesprochennen Werten zusammen in einer Json-Datei pro Tag. Die werden also auch alle mitgelesen (und gefiltert), um die Auswertung zu machen. Ist halt keine Datenbank.

[paul53]

@sneak-l8 sagte: zusammen in einer Json-Datei pro Tag.

Bisher war es eine Json-Datei pro Datenpunkt und Tag. Hat sich das geändert?

[Homoran]

@sneak-l8 sagte in Test Adapter History 2.0.0:

dann landen die mit den von Dir angesprochennen Werten zusammen in einer Json-Datei pro Tag

du hast pro Tag und Datenpunkt ein eigenes json

[apollon77]

@paul53 Ne hat sich nicht geändert. Ein File pro Datenpunkt pro Tag

[Marty56]

@sneak-l8 Ich habe das Verzeichnis angeschaut, in der die History ihre Jsons ablegt und bei mir wird nur dann eine Datei angelegt, wenn sich der Datenpunkt ändert.

Das wären in meinem Beispiel bei 10 Jahren, genau 10 Files, die die Jahreswerte speichern und 240 files, für die Monatswerte.

Muss ich woanders schauen?
Ich habe unter /opt/iobroker/history geschaut. IOB läuft unter Linux

[paul53]

@marty56 sagte: Ich habe unter /opt/iobroker/history geschaut.

Laut Doku:

Ohne Angabe eines Speicherverzeichnisses wird der Ordner /opt/iobroker/iobroker-data/history automatisch angelegt

Dort befinden sich Ordner mit dem Datum.

[Marty56]

@paul53 Danke.
Ich habe gerade bemerkt, dass ich den Ordner nach /opt/iobroker/history konfiguriert habe.

Was mich aber zur eigentlich Frage bringt, wie viele Jsons Files werden angelegt.
m.M. Ich habe unter der Option "trotzdem gleiche Werte aufzeichnen (Sekunden)" immer "0" angegeben. Vielleicht liegt es daran, dass bei mir nicht pro Tag ein Json mit dem konstanten Wert abgelegt wird, sondern nur ein Json an dem Tag bzw. der Zeit, wenn es sich geändert hat.

[apollon77]

@marty56 J natürlich. Wenn du wirklich so selten ändernde Daten hast mit den Einstellungen, dann ist deine Aussage korrekt

[Marty56]

@apollon77
Ich schaffe es übrigens nicht, auch im Expertenmodus, beim History Adapter einen Wert zu ändern.
Es kommt zwar eine Abfrage, in der der Wert geändert werden kann, aber die Werte werden nicht übernommen.
Wäre schön, wenn man das fixen könnte.

Außerdem schaffe ich es nicht, per Script in die History DB zu schreiben.
Das Script läuft durch, macht aber nichts.

const timestamp = new Date("2021-01-01 00:01:00.000").getTime();
var value = 15
sendTo('history.0', 'store', [
    {id: 'javascript.0.strom.Erz_Energie_Jahr', ts: timestamp,val: value}
], result => console.log('stored'));

Wie gesagt, die "Unkorrigierbarkeit" von Daten in der History DB ist für mich ein Issue und es wäre schön, wenn man da etwas machen könnte.

[apollon77]

@marty56 Zum Editieren. Bitte mal Debug Log aktivieren und Debug log zeigen von so einer editieraktion ... bei mir tat es die Tage

Zum storeState ... ... ... liess nochmal genau die Readme https://github.com/ioBroker/ioBroker.history/tree/master/docs/en#storestate ... store -> storeState

[Marty56]

@apollon77 Debug gibt keine weitere Ausgaben.

Die Syntax vermute ich nicht korrekt. Leider gibt die Dokumentation nichts dazu her.

[Marty56]

@appollon

Vielleicht fragst Du Dich, warum will der den ganzen Quatsch.

Mein Use Case.
Ich habe zwei Balkendiagram meiner Solaranlage, die einmal Jahres bzw Monatsverbräuche darstellen sollen.
Jeweils am Monatsende schreibe ich einen Wert in das Monatsdiagramm bzw. Ende des Jahres in das Jahresdiagramm.

Was schön wäre, wenn der Wert für den noch nicht abgeschlossenen Zeitraum auch angezeigt würde.

Was ich also machen will, als Beispiel das Jahresdiagramm, jeden Tag für den 31.12. des Jahres einen Wert schreiben. Am nächsten Tag möchte ich den alten Wert für den 31.12. löschen und danach wieder mit dem (erhöhten) Wert neu schreiben.
In der DB ist also immer nur ein Wert pro Jahr und der soll upgedatet werden.

Ich hoffe, dass ist verständlich.

PS: was ich auch bemerkt habe, ist, dass die Beispiele in der Dokumentation auch syntaktisch nicht korrekt sind. z.B.

sendTo('sql.0', 'delete', [
    {id: 'mbus.0.counter.xxx', state: {ts: 1589458809352}, 
    {id: 'mbus.0.counter.yyy', state: {ts: 1589458809353}
], result => console.log('deleted'));
code_text

fehlen wohl die Klammern, also

sendTo('sql.0', 'delete', [
    {id: 'mbus.0.counter.xxx', state: {ts: 1589458809352}}, 
    {id: 'mbus.0.counter.yyy', state: {ts: 1589458809353}}
], result => console.log('deleted'));

Ich habe mit verschiedenen Versionen der "store" oder "storeState" Commandos herumgespielt, die funktionieren aber alle nicht.

Was ich letztlich benötigen würde, ist ein Script Beispiel für die history.db

1. einen State zu löschen
2. einen State zu schreiben

[Marty56]

@apollon77

Ich habe mir die gewünschte Funktion jetzt zusammengebastelt. Sie funktioniert, ich bin aber nicht sicher, ob ich etwas übersehen habe oder ich mir irgendwelche unerwünschten Probleme damit einfange.
Expertenfeedback wäre sehr wünschenswert.

function write_history_db(id,date,value) {
    const fs = require('fs/promises');
    const path = require('path');
    var filename = "history." + id + ".json"
    var timestamp = new Date(date).getTime();
    var folder = "/opt/iobroker/history/" + date.substring(0,10).replace("-","").replace("-","") + "/"
    var data = [
                    {
                        "val": value,
                        "ts": timestamp,
                        "q": 0,
                        "c": "script.js.common.Energie",
                        "from": "system.adapter.javascript.0",
                        "user": "system.user.admin"
                    }
                    ]
    var filecontent = JSON.stringify(data)

    async function isExists(path) {
    try {
        await fs.access(path);
        return true;
    } catch {
        return false;
    }
    };

    async function writeFile(filePath, data) {
    try {
        const dirname = path.dirname(filePath);
        const exist = await isExists(dirname);
        if (!exist) {
        await fs.mkdir(dirname, {recursive: true});
        }
        
        await fs.writeFile(filePath, data, 'utf8');
    } catch (err) {
        throw new Error(err);
    }
    }

    (async ()  => {
        await writeFile(folder+filename, filecontent);
    })();
}
write_history_db("javascript.0.strom.Erz_Energie_Jahr", "2022-12-31 12:00:00.000",3100)