history hängt sich auf - SW oder HW?

[klassisch]

Hallo, nach meinem letzten Generalupdate (auch history, jscript, admin) hängt sich jetzt history alle paar Tage ohne Eintrag im log einfach auf.
Der history-Prozess zeigt dann im Taskmanager hohe Auslastung, im Normalbetrieb ist die Auslastung unauffällig.
Neustart History Adapter hilft leider nicht. Restart ioBroker komplett hilft.
Der History schreibt auf eine eigene, separate SSD, die mittlerweile zu 90% voll ist.

PlatformBetriebssystem:win32
Architektur:x64
CPUs:4
Geschwindigkeit:2712 MHz
Modell:Intel(R) Core(TM) i5-7300U CPU @ 2.60GHz
RAM:15.8 GB
System-Betriebszeit:1 T. 09:46:42
Node.js:v20.16.0
time:1744262984502
timeOffset:-120
NPM:10.8.1
Adapter-Anzahl:561
Datenträgergröße:237.9 GB
Freier Festplattenspeicher:134.8 GB
Aktive Instanzen:37
Pfad:C:\ioBroker\
Betriebszeit:07:22:37
aktiv:true
_nodeCurrent:20.16.0
_nodeNewest:20.19.0
_nodeNewestNext:20.19.0
_npmCurrent:10.8.1
_npmNewest:10.8.1
_npmNewestNext:10.8.2

js-controller 5.0.19
Admin 7.6.3
History 3.0.1

Sind irgendwelche SW-Inkompatibilitäten bekannt, oder soll ich die SSD ersetzen?

[OliverIO]

@klassisch

Wenn du sehr viele Datenpunkte historisierst, die in kurzen zeitlichen Abständen aktualisiert werden, dann könnte das der Flaschenhals sein.
Der History Adapter schreibt (meines Wissens nach) seine Daten in viele kleine Dateien. Das braucht natürlich auch seine Zeit.

Eventuell wäre es sinnvoll, die Historisierung auf eine Datenbank über den SQL Adapter umzustellen.

Ob es die Ssd/Festplatte ist, kannst du mit den Methoden aus den folgenden Artikel testen
https://linuxblog.io/linux-server-performance-disk-io-slowing-application/

[Homoran]

@oliverio sagte in history hängt sich auf - SW oder HW?:

Der History Adapter schreibt (meines Wissens nach) seine Daten in viele kleine Dateien. Das Brauch natürlich auch seine Zeit.

Ja, das sind tägliche JSONs pro Datenpunkt.

Aber ich habe ca. 200 DP mit tlw. 5sekündlichem Logging.
Insgesamt über 64GB History und keine Probleme

[klassisch]

Vielen Dank für Eura Antworten.
Mein Datenbesatnd ist groß und es werden viele Datenpunkte geschrieben. Das läuft schon seit Jahren so.
Mein Rechner ist ein i5 Laptop unter Win und die CPU usage des history Adapters liegt normalerweise < 1%. Bei den Hängern springt sie auf > 30%.
Es gibt aber keine Fehler im Log, was mich stutzig macht.

Die Festplatte habe ich nach Anleitung von ChatGPT mit diversen tools gecheckt. Sie sieht erstmal unauffällig aber 90% voll aus.
Filesystem ist NTFS, womit Win zurecht kommt.

chkdsk D: /f /r

hat ein paar Trümmer gefunden und aufgeräumt. Das muß aber nicht die Ursache sein, sondern es könnte auch die Auswirkung der Hänger/Abstürze sein.
Habe jetzt mal einige GB von der SSD gelöscht und die nächst größere, die noch in den Laptop passt, bestellt. Wir werden sehen.

[Homoran]

@klassisch sagte in history hängt sich auf - SW oder HW?:

die CPU usage des history Adapters liegt normalerweise < 1%. Bei den Hängern springt sie auf > 30%.

dann wäre auf jeden Fall top interessant, ob die load average in die Höhe geht.
Dann deutet das auf mögliche Engstelken beim I/O hin.

[OliverIO]

@homoran

Leider nutzt er Windows.
Bei windowsweiss ich nicht wie/wo man das nachschaut wie der Rechner mit io ausgelastet ist.

Ein Prozess kann, wenn er mit wenig Arbeit viel IO erzeugen kann, nicht besonders ausgelastet sein. Wenn du aber große Datenmengen hin und her schiebst, dann steigt die Auslastung auf dem Datenbus, der Prozessor,ram,Festplatte miteinander verbindet. Auch der Prozessor in der Festplatte und die eigentliche Hardware (bei hd die Platte+die Ansteuerung,bei ssd die ram Chips und auch dort ist ein Prozessor für die Steuerung) benötigt Zeit.

[Homoran]

@oliverio sagte in history hängt sich auf - SW oder HW?:

Wenn du aber große Datenmengen hin und her schiebst, dann steigt die Auslastung auf dem Datenbus, der Prozessor,ram,Festplatte miteinander verbindet.

genau!
Beim RasPi kann es auch durch Interferenzen zu Rückstau am Datenbus kommen.

Daher vermute ich ja fort irgendwelche Komplikationrn. 30% CPU sollte nicht die Ursache sein.

[mcm1957]

@oliverio said in history hängt sich auf - SW oder HW?:

@homoran

Leider nutzt er Windows.
Bei windowsweiss ich nicht wie/wo man das nachschaut wie der Rechner mit io ausgelastet ist.

Taskmgr -> Leistung -> Resourcenmanager (gnaz unten)

[mcm1957]

Übrigends:
Mein PC hatte auch manchmal komische Hänger. Vermutete (da nie 100% gesichert) Ursache war da, dass ich eine Backup-SW laufen habe die VSS (Volume Shadow Service) einsetzt. Und das hat bei gut ausgelasteter Platte und vielen eher sehr kleinen Files massiv gebremst. Da konnte ein npm i schon mal Minuten laufen ... Es ging dann immer ne Zeit top wenn ich den vss cache mittels manager gelöscht habe. Hatte nur den Nachteil dass dann das Backup wieder 100% gelesen hat :-(.

Bei ausreichend Platz hab ich das Problem (?) nicht bemerkt.

[klassisch]

@oliverio sagte in history hängt sich auf - SW oder HW?:

Leider nutzt er Windows.

Mit voller Absicht und gutem Erfolg. Lief über Jahre sehr stabil und besser als meine frühere SBC-Lösung.

Bei windowsweiss ich nicht wie/wo man das nachschaut wie der Rechner mit io ausgelastet ist.

Ich schon, ein Grund mehr warum ich Win nutze, solange es noch geht. Die Auslastungen mit dem Task Manager hatte ich schon kontrolliert. Da tut sich im Normalbetrieb meist gar nichts und ab und an ein kleines Berglein < 5% aktiver Zeit, so ca. alle 2 Minuten.

Wie gesagt, mit Win läuft es bei mir schon etliche Jahre stabil, mit dieser SSD jetzt > 2 Jahre.
Hatte halt eine größere Updatesession gemacht incl. history Adapter und jetzt kamen die Hänger.
Keine Ahnung, ob es da bekannte Probleme gibt, deshalb frage ich hier.
Gleichzeitig ist die history-SSD schon ziemlich voll. Und das ist auch noch einen etwas heikle M.2 SATA mit kleinem Formfaktor und einseitiger Bestückung. Könnte also auch ein Thema sein.

[Homoran]

@klassisch sagte in history hängt sich auf - SW oder HW?:

Die Auslastungen mit dem Task Manager hatte ich schon kontrolliert. Da tut sich im Normalbetrieb meist gar nichts und ab und an ein kleines Berglein < 5% aktiver Zeit, so ca. alle 2 Minuten.

ich nix Windows!

Gemäß dem Screenshot von @mcm1957 würde ich aber in dem Zusammenhang auch mal einen Blick auf die Antwortzeit werfen.
Wenn sich die deutlich verlängert, wäre das ein Hinweis

[klassisch]

@mcm1957 sagte in history hängt sich auf - SW oder HW?:

Übrigends:
Mein PC hatte auch manchmal komische Hänger. Vermutete (da nie 100% gesichert) Ursache war da, dass ich eine Backup-SW laufen habe die VSS (Volume Shadow Service) einsetzt. Und das hat bei gut ausgelasteter Platte und vielen eher sehr kleinen Files massiv gebremst.

Vielen Dank auch für diesen Hinweis.
Ich lasse zu bestimmten Uhrzeiten Robomirror über die History-Files laufen. Da geht die Datenrate mal ein paar Sekunden auf 1MB/s.
So ein Dreckeffeckt könnte es natürlich auch sein. Die history files sind ja Legion. Und wer weiß, was bei einer gut gefüllten SSD alles passiert.
Werde mal weiter beobachen, ob das Hängen mit der Backup-Zeit korreliert.

[mcm1957]

@klassisch

Was du noch checken könntest - wenn du ein wenig programmieren kannst - ist der Zustand der json(l ?) Files. Einfach mal alle per script lesen - incl. json Prüfung. Falls da ein defektes dabei ist, kann das ev. den Adapter ein wenig bremsen / stören.

[klassisch]

@homoran Danke! Hatte ich über den Task Manager bereits gemacht, der ja auch die Datennutzung der Platten ausgibt. Wie oben geschrieben, tut sich auf der History-Platte nicht dramatisch viel im Normalbetrieb. Der Ressourenmanager gibt ein ähnliches Bild.
Habe am Rechner noch eine externe HDD auf der dauernd geschrieben wird. So eine extra Dauerlaufplatte. Aber auch das ist schon seit Jahren so.

[klassisch]

@mcm1957 sagte in history hängt sich auf - SW oder HW?:

Was du noch checken könntest - wenn du ein wenig programmieren kannst - ist der Zustand der json(l ?) Files. Einfach mal alle per script lesen - incl. json Prüfung. Falls da ein defektes dabei ist, kann das ev. den Adapter ein wenig bremsen / stören.

Danke! Das könnte ich mit einem Python Script machen. Ich habe etliche Python-Scripte, die mir die json files über einen bestimmten Zeitraum in XLS und csv umwandeln .
Dann wären hier alle Scripte im heutigen Tagesordner zu öffnen und zu lesen.

[klassisch]

@mcm1957 sagte in history hängt sich auf - SW oder HW?:

Was du noch checken könntest - wenn du ein wenig programmieren kannst - ist der Zustand der json(l ?) Files. Einfach mal alle per script lesen - incl. json Prüfung. Falls da ein defektes dabei ist, kann das ev. den Adapter ein wenig bremsen / stören.

Danke, habe ich gemacht

files von gestern

Summary:
Total JSON files checked: 9083
Valid JSON files        : 9083
Invalid JSON files      : 0

[Homoran]

@klassisch Das sieht doch (leider ) gut aus.

Hast du einen Virenscanner laufen, der bei history Zugriff ggf, jedes einzelne verwendete json öffnet und prüft?

[klassisch]

@homoran sagte in history hängt sich auf - SW oder HW?:

Hast du einen Virenscanner laufen, der bei history Zugriff ggf, jedes einzelne verwendete json öffnet und prüft?

Nur das was Windows von sich aus mitbringt

[Homoran]

@klassisch also der Defender.
ob man bei dem die Historydaten ausnehmen könnte (zumindest testweise) weiss ich leider nicht

[klassisch]

@homoran Ich glaube ich habe das mal versucht, denke aber, es hatte nicht wirklich funktioniert.