history hängt sich auf - SW oder HW?

[mcm1957]

@oliverio said in history hängt sich auf - SW oder HW?:

@homoran

Leider nutzt er Windows.
Bei windowsweiss ich nicht wie/wo man das nachschaut wie der Rechner mit io ausgelastet ist.

Taskmgr -> Leistung -> Resourcenmanager (gnaz unten)

[mcm1957]

Übrigends:
Mein PC hatte auch manchmal komische Hänger. Vermutete (da nie 100% gesichert) Ursache war da, dass ich eine Backup-SW laufen habe die VSS (Volume Shadow Service) einsetzt. Und das hat bei gut ausgelasteter Platte und vielen eher sehr kleinen Files massiv gebremst. Da konnte ein npm i schon mal Minuten laufen ... Es ging dann immer ne Zeit top wenn ich den vss cache mittels manager gelöscht habe. Hatte nur den Nachteil dass dann das Backup wieder 100% gelesen hat :-(.

Bei ausreichend Platz hab ich das Problem (?) nicht bemerkt.

[klassisch]

@oliverio sagte in history hängt sich auf - SW oder HW?:

Leider nutzt er Windows.

Mit voller Absicht und gutem Erfolg. Lief über Jahre sehr stabil und besser als meine frühere SBC-Lösung.

Bei windowsweiss ich nicht wie/wo man das nachschaut wie der Rechner mit io ausgelastet ist.

Ich schon, ein Grund mehr warum ich Win nutze, solange es noch geht. Die Auslastungen mit dem Task Manager hatte ich schon kontrolliert. Da tut sich im Normalbetrieb meist gar nichts und ab und an ein kleines Berglein < 5% aktiver Zeit, so ca. alle 2 Minuten.

Wie gesagt, mit Win läuft es bei mir schon etliche Jahre stabil, mit dieser SSD jetzt > 2 Jahre.
Hatte halt eine größere Updatesession gemacht incl. history Adapter und jetzt kamen die Hänger.
Keine Ahnung, ob es da bekannte Probleme gibt, deshalb frage ich hier.
Gleichzeitig ist die history-SSD schon ziemlich voll. Und das ist auch noch einen etwas heikle M.2 SATA mit kleinem Formfaktor und einseitiger Bestückung. Könnte also auch ein Thema sein.

[Homoran]

@klassisch sagte in history hängt sich auf - SW oder HW?:

Die Auslastungen mit dem Task Manager hatte ich schon kontrolliert. Da tut sich im Normalbetrieb meist gar nichts und ab und an ein kleines Berglein < 5% aktiver Zeit, so ca. alle 2 Minuten.

ich nix Windows!

Gemäß dem Screenshot von @mcm1957 würde ich aber in dem Zusammenhang auch mal einen Blick auf die Antwortzeit werfen.
Wenn sich die deutlich verlängert, wäre das ein Hinweis

[klassisch]

@mcm1957 sagte in history hängt sich auf - SW oder HW?:

Übrigends:
Mein PC hatte auch manchmal komische Hänger. Vermutete (da nie 100% gesichert) Ursache war da, dass ich eine Backup-SW laufen habe die VSS (Volume Shadow Service) einsetzt. Und das hat bei gut ausgelasteter Platte und vielen eher sehr kleinen Files massiv gebremst.

Vielen Dank auch für diesen Hinweis.
Ich lasse zu bestimmten Uhrzeiten Robomirror über die History-Files laufen. Da geht die Datenrate mal ein paar Sekunden auf 1MB/s.
So ein Dreckeffeckt könnte es natürlich auch sein. Die history files sind ja Legion. Und wer weiß, was bei einer gut gefüllten SSD alles passiert.
Werde mal weiter beobachen, ob das Hängen mit der Backup-Zeit korreliert.

[mcm1957]

@klassisch

Was du noch checken könntest - wenn du ein wenig programmieren kannst - ist der Zustand der json(l ?) Files. Einfach mal alle per script lesen - incl. json Prüfung. Falls da ein defektes dabei ist, kann das ev. den Adapter ein wenig bremsen / stören.

[klassisch]

@homoran Danke! Hatte ich über den Task Manager bereits gemacht, der ja auch die Datennutzung der Platten ausgibt. Wie oben geschrieben, tut sich auf der History-Platte nicht dramatisch viel im Normalbetrieb. Der Ressourenmanager gibt ein ähnliches Bild.
Habe am Rechner noch eine externe HDD auf der dauernd geschrieben wird. So eine extra Dauerlaufplatte. Aber auch das ist schon seit Jahren so.

[klassisch]

@mcm1957 sagte in history hängt sich auf - SW oder HW?:

Was du noch checken könntest - wenn du ein wenig programmieren kannst - ist der Zustand der json(l ?) Files. Einfach mal alle per script lesen - incl. json Prüfung. Falls da ein defektes dabei ist, kann das ev. den Adapter ein wenig bremsen / stören.

Danke! Das könnte ich mit einem Python Script machen. Ich habe etliche Python-Scripte, die mir die json files über einen bestimmten Zeitraum in XLS und csv umwandeln .
Dann wären hier alle Scripte im heutigen Tagesordner zu öffnen und zu lesen.

[klassisch]

@mcm1957 sagte in history hängt sich auf - SW oder HW?:

Was du noch checken könntest - wenn du ein wenig programmieren kannst - ist der Zustand der json(l ?) Files. Einfach mal alle per script lesen - incl. json Prüfung. Falls da ein defektes dabei ist, kann das ev. den Adapter ein wenig bremsen / stören.

Danke, habe ich gemacht

files von gestern

Summary:
Total JSON files checked: 9083
Valid JSON files        : 9083
Invalid JSON files      : 0

[Homoran]

@klassisch Das sieht doch (leider ) gut aus.

Hast du einen Virenscanner laufen, der bei history Zugriff ggf, jedes einzelne verwendete json öffnet und prüft?

[klassisch]

@homoran sagte in history hängt sich auf - SW oder HW?:

Hast du einen Virenscanner laufen, der bei history Zugriff ggf, jedes einzelne verwendete json öffnet und prüft?

Nur das was Windows von sich aus mitbringt

[Homoran]

@klassisch also der Defender.
ob man bei dem die Historydaten ausnehmen könnte (zumindest testweise) weiss ich leider nicht

[klassisch]

@homoran Ich glaube ich habe das mal versucht, denke aber, es hatte nicht wirklich funktioniert.

[mcm1957]

@klassisch said in history hängt sich auf - SW oder HW?:

@mcm1957 sagte in history hängt sich auf - SW oder HW?:

Was du noch checken könntest - wenn du ein wenig programmieren kannst - ist der Zustand der json(l ?) Files. Einfach mal alle per script lesen - incl. json Prüfung. Falls da ein defektes dabei ist, kann das ev. den Adapter ein wenig bremsen / stören.

Danke, habe ich gemacht

files von gestern

Scan mal sicherheitshalber ALLE files.
Der history Adapter versucht ja von Zeit zu Zeit alte Files zu löschen. Nicht dass da was klemmt. (Ist nicht sehr wahrscheinlich aber der Aufwand sollte sich in Grenzen halten auch das auszuschließen)

[mcm1957]

@klassisch said in history hängt sich auf - SW oder HW?:

Habe am Rechner noch eine externe HDD auf der dauernd geschrieben wird. So eine extra Dauerlaufplatte. Aber auch das ist schon seit Jahren so.

Falls noch nicht gechecked schau dir bei der auch die SMART Werte an. Da die SSD vis S-ATA angeschlossen ist könnte es ev. sein, dass da eine Platte die andere bei einer Fehlfunktion verzögert.

Weiters kannst noch schaun ob im fraglichen Zeitraum was in den Windows Events steht. Ich hab zwar noch nie wirklich was mit dem was da drinnen steht anfangen können - aber wenns ggF eine Korrelation zu den Hängern gibt wär das auch ein Ansatz.

Der history-Prozess zeigt dann im Taskmanager hohe Auslastung, im Normalbetrieb ist die Auslastung unauffällig.
Neustart History Adapter hilft leider nicht. Restart ioBroker komplett hilft.

Aus dem Bauch heraus klingt das aber eher nach einem SW Problem. Nur keine Idee welches.
Schau jedenfalls ob der History Adapter bei einem Restart wirklich neu gestartet wurde. Nicht dass er hängt und gar nicht neu gestartet wird :-). Ich hab null Idee wieso ein Restart des ganzen ioB hilft wenn History hängt / loopt.

Ja und noch was:
Wenn es die Datenmenge zuläßt kannst noch versuchen den History mit Loglevel DEBUG laufen zu lassen. Ev. sieht man dann was er tut. Oder wenn er hängt (und das System noch ansprechbar ist) den Loglevel OHNE Restart uf Debug umzustellen.

[klassisch]

@mcm1957 sagte in history hängt sich auf - SW oder HW?:

Scan mal sicherheitshalber ALLE files.
Der history Adapter versucht ja von Zeit zu Zeit alte Files zu löschen. Nicht dass da was klemmt. (Ist nicht sehr wahrscheinlich aber der Aufwand sollte sich in Grenzen halten auch das auszuschließen)

Beim Synchronisieren der Dateien mit dem Backup habe ich bisher festgestellt, daß wohl die letzten 3 Tage Änderungen beinhalten können. Ich habe jetzt die letzten 10 Tage auf Integrität getestet und es sieht gut aus.

[klassisch]

@mcm1957 sagte in history hängt sich auf - SW oder HW?:

Falls noch nicht gechecked schau dir bei der auch die SMART Werte an. Da die SSD vis S-ATA angeschlossen ist könnte es ev. sein, dass da eine Platte die andere bei einer Fehlfunktion verzögert.

CrystalDiskInfo schreibt der System SSD (C:) 64% zu. Das ist aber eine NVME. Die History-SSD ist eine SATA und wird auf 95% geschätzt. Die dauerlaufende Vielschreiber-HDD (WD purple mit USB-Adapter) wird mit "gut" bewertet. 47327 Std. mit 57 Einschaltungen.
Die 6TB Archiv HDD (USB) soll ebenfalls gut sein, 2774 Std. und 32293 mal "eingeschaltet" = aus dem Standby geweckt.

Weiters kannst noch schaun ob im fraglichen Zeitraum was in den Windows Events steht. Ich hab zwar noch nie wirklich was mit dem was da drinnen steht anfangen können - aber wenns ggF eine Korrelation zu den Hängern gibt wär das auch ein Ansatz.

Vielen Dank. Hatte ich noch nicht gemacht und mache ich beim nächsten Hänger.
Habe nämlich beim ioBroker Update auch noch Win mit upgedatet. Sollte zwar keine NTFS Probleme machen, aber man weiß ja nie.

Aus dem Bauch heraus klingt das aber eher nach einem SW Problem. Nur keine Idee welches.

So geht es mir auch

Schau jedenfalls ob der History Adapter bei einem Restart wirklich neu gestartet wurde. Nicht dass er hängt und gar nicht neu gestartet wird :-). Ich hab null Idee wieso ein Restart des ganzen ioB hilft wenn History hängt / loopt.

Der Adapter hat bei einem Neustart (nicht bei jedem) mal kurz grün gezeigt und dann kurz drauf wieder rot.

Wenn es die Datenmenge zuläßt kannst noch versuchen den History mit Loglevel DEBUG laufen zu lassen. Ev. sieht man dann was er tut. Oder wenn er hängt (und das System noch ansprechbar ist) den Loglevel OHNE Restart uf Debug umzustellen.

Davor bin ich bisher zurückgeschreckt. Der Absturz ist ja nicht jede Stunde. Ich hatte jetzt 2 im Abstand von ca. 2 Tagen. Da würde das Logfile wohl ziemlich fett...

Da fällt mir ein - ich habe nochwas geändert. Ich habe ein syslog-Programm installiert, eine alte Edition "Syslog Watcher Personal" , welches die Logs meiner Homematic empfängt und auf die Vielschreiber Dauerlauf-HDD schreibt.

[mcm1957]

@klassisch said in history hängt sich auf - SW oder HW?:

Wenn es die Datenmenge zuläßt kannst noch versuchen den History mit Loglevel DEBUG laufen zu lassen. Ev. sieht man dann was er tut. Oder wenn er hängt (und das System noch ansprechbar ist) den Loglevel OHNE Restart uf Debug umzustellen.

Davor bin ich bisher zurückgeschreckt. Der Absturz ist ja nicht jede Stunde. Ich hatte jetzt 2 im Abstand von ca. 2 Tagen. Da würde das Logfile wohl ziemlich fett...

Du kannst den Loglevel auch umschalten OHNE den Adapter neu zu starten. Also wenn der History hängt UND das System prinzipiell noch reagiert würde ich

• LogLevel history auf DEBUG umschalten und "ohne neustart" anhaken.

• etwas später den history mit loglevel debug restarten

Dann sollte sich die Logmenge in Grenzen halten.

[klassisch]

@mcm1957 sagte in history hängt sich auf - SW oder HW?:

Du kannst den Loglevel auch umschalten OHNE den Adapter neu zu starten. Also wenn der History hängt UND das System prinzipiell noch reagiert

Hatte diesen Menuepunkt auch schon gesehen, aber noch nicht getestet.
Beim letzten history-Hänger konnte ich über den admin leider nichts erreichen.
Hatte dieser Tage auch den Fall, daß vis über admin nicht mehr gestoppt werden konnte, aber das ist eine andere Sache.

Status hängender history-Adapter:

• Hatte auf der SSD einige GB gelöscht, um etwas mehr Reserve zu schaffen
• Hatte mit chdsk die SSD wieder in einen konsistenten Zustand gebracht
• Bisher keine Hänger mehr
• eine größere SSD ist angekommen. Das passende USB-Gehäuse ist im Zulauf. Ich möchte die SSD außerhalb des Laptops möglichst weit einsatzbereit machen

Ich hoffe, daß es sich um einen (mir unbekannten) Effekt handelt, der bei vollen SSDs auftritt.