NEWS
History: migration File zu sql: lange Laufzeit Frage
-
Durch meine Unfähigkeit den History adapter dazu zu bringen präzise den allerersten Datensatz eines Tages auszulesen (obwohl ein Eintrag 0:00 vorhanden war bekam ich teilweise den Wert von 22 Uhr. aggregrate:none count:0 start sowie alle anderen kombinationen.) habe ich mich dazu entschieden das alles nach sql zu migrieren um dann die eigenen sql abfragen schreiben zu können.
Die Migration läuft eigentlich noch fehlerfrei, die lange Laufzeit macht mir allerdings Sorgen.
node history2db.js sql.0
Schafft grob 1 Tag History daten in 15 minuten. 18 Datenpunkte müssen migriert werden. Nachdem das Script jetzt 22 Stunden läuft bin ich bei 90 Tagen die migriert wurden. Ich muss aber noch 1 1/2 Jahre abarbeiten. Beim Blick in den Quellcode ist mir aufgefallen das hier bewusst Wartezeiten nach dem übertragen der Daten eingebaut sind.
let dayDelay = 30000;
30 s nichts tun nach jedem Datenpunkt der pro Tag in die sql Datenbank übertragen wird?
- lässt sich das irgendwie beschleunigen bzw die Wartezeit verringern?
- das script lässt sich auch nicht mit & in den Hintergrund schicken, es muss also immer eine aktive ssh session laufen.
Ich muss das alles also auf ein paar Tage verteilen und immer wieder neu starten. Jemand einen Tipp?