Benchmarktest SD-Karte vs. USB-SSD bzgl. Ladezeiten VIS
-
Hallo Forum,
ich habe bereits seit einigen Jahren eine ioBroker-Installation am Laufen. Natürlich ist sie im Laufe der Zeit gewachsen, neue Adapter wurden installiert, Skripte geschrieben und Datenpunkte in der History gespeichert. Mittlerweile habe ich auf dem Raspberry 4 mit 4GB einiges an Daten mitgeschrieben und kann tolle Auswertungen mittels Vis inkl. Flot machen.
Immer wieder höre ich davon, dass die SD-Karte Geschwindigkeitsnachteile gegenüber USB-SSDs hat und zusätzlich störungsanfälliger ist.
Aus diesem Grund habe mich nun dazu entschlossen ebenfalls auf eine bootbare USB-SSD umzusteigen.
Hierfür habe ich vier unterschiedliche SSDs mit USB 3.2 Port (10GB/s) gekauft und auf jede das Image der SD-Karte geschrieben.Als Benchmark und für den Vergleich der Ladezeiten habe ich mir einer meiner Visualisierungen mit den meisten Datenpunkten und Flot-Grafen genommen und die Zeit bis zum vollständigen Laden gestoppt. Den Cache habe ich bei geöffneten Entwicklertools im Chromebrowser deaktiviert um alle Daten bei jedem Test komplett neu zu laden. Mit jedem der Speicher habe ich jeweils 5 Ladezyklen der o. g. Vis-Seite durchgeführt und die Zeiten gemessen.
Zu meiner großen Verwunderung waren die Ladezeiten meiner Sandisk extreme MicroSD-Karte um 1 Sekunde kürzer als die schnellste der vier USB-SSDs!!!
Der Zeitunterschied von der schnellsten zur langsamsten USB-SSD betrug ca. 10Sekunden.
Die SSDs bestehen aus zwei verschiedenen USB 3.2-SSDs und einer internen 2,5Zoll SATA-SSDs sowie einer internen NVME mit externen USB 3.2-Gehäusen.Ich kann mir das nicht erklären und wollte fragen, ob ihr ähnliche Erfahrungen gemacht habt bzw. warum das so ist.
Mit diesem Ergebnis habe ich nicht gerechnet und frage mich nun, ob ich bei diesem Praxistest etwas falsch gemacht habe.Wie ist eure Meinung ?
Wie kann ich die Ladezeiten mit den USB-SSDs schneller als mit der MicroSD-Karte machen?
Seit Anfang an nutzte ich die History des ioBrokers. Muss ich eine andere Datenbank nutzen?LG
emblitz -
@emblitz mach doch mal einen Benchmark Lesen/schreiben.
Früher habe ich das so gemacht:
sync; time dd if=/dev/zero of=~/test.tmp bs=500K count=1024; time sync dd if=~/test.tmp of=/dev/null bs=500K count=1024 rm ~/test.tmp uname -aDer "Nachteil" der SSD ist das sich alles durch den USB-Port quetschen muss, über den geht auch das Netzwerk, bei einem 5er gingen die SSD über die PCIe-Verbindung
Kann auch vom Chips für die USB-Umsetzung auf den SSDs abhängen, welche Modelle hast du denn gekauft?
-
vielen Dank für die schnelle Antwort.
Meine SSDs und USB-Gehäuse:
https://www.amazon.de/dp/B0D1R7HDJF?ref=ppx_yo2ov_dt_b_fed_asin_title
https://www.amazon.de/dp/B08DCXB3CD?ref=ppx_yo2ov_dt_b_fed_asin_title
https://www.amazon.de/dp/B0BJV16HC6?ref=ppx_yo2ov_dt_b_fed_asin_title
https://www.amazon.de/dp/B07LGKQLT5?ref=ppx_yo2ov_dt_b_fed_asin_title
https://www.amazon.de/dp/B086W944YT?ref=ppx_yo2ov_dt_b_fed_asin_title
https://www.amazon.de/dp/B0742L5SFS?ref=ppx_yo2ov_dt_b_fed_asin_titleYT ist voll mit Videos wie toll und schnell SSDs am USB-Port des Raspberrys mit ioBroker oder anderen Hausautomatisierungen sein soll.
Ich habe leider andere Erfahrungen gemacht und wollte nur kurz bei euch gegenchecken, ob das so i. o. ist?LG
emblitz -
@emblitz sagte in Benchmarktest SD-Karte vs. USB-SSD bzgl. Ladezeiten VIS:
YT ist voll mit Videos wie toll und schnell USB-SSDs amRaspberry mit ioBroker oder anderen Hausautomatisierungen sein soll.
sind Sie ja auch. Sogar schon am Raspberry Pi V4, am V5 erst recht.
Beim "Laden einer VIS" ist ein eher seltsamer Benchmark um auf die Geschwindigkeit einer SSD zu schließen
Lief der Browser mit auf dem Raspberry oder separat über das Netzwerk, wenn separat WLAN oder LAN?Wenn du mal einen Festplattenbenchmark machst, wirst du feststellen das die SSD schneller als die SD-Karte ist, insbesondere beim Schreiben.
-
Die Ladezeiten habe ich über 1GB-LAN (kein WLAN) am Windows 10 PC getestet.
Deinen Vorschlag mit dem echten Benchmark führe ich gern durch aber es werden theoretische Ergebnisse sein.
Daher hatte ich mich für diesen Praxistest entschieden.
Auf anderen Endgeräten wie z.B. Tablet, Handy etc. sind die Ladezeiten vergleichbar mit dem Windows PC.LG
emblitz -
Hallo, auf alle Fälle ist eine SSD schneller (nicht ultimativ) als eine SD-Karte. Grund ist wie schon geschrieben wurde der USB-Port. Jetzt kurzes abschweifen von mir. Aus eigener Erfahrung kann ich einen Leistungsschub von SD-Karte auf USB bestätigen, auch was die VIS angeht. Auch aus eigener Erfahrung: Bei mir hat dann die Umstellung auf REDIS (komplett) einen ultimativen und definitiv merkbaren Schub gebracht.
Ich persönlich ziehe bei meinen PI's SSD einer SD-Karte vor.
Ro75.
-
Wie lang sind denn die Ladezeiten? Mit meinen alten System mit AMD FX-8800P waren das bei mir so 7 bis 10 Sekunden.
Mit dem neuen AMD Ryzen 5 5600G sind es 2 bis 3 Sekunden. Datenspeicher identisch eine M.2 NVMe.
Die im alten System so um die 450MB/s geschafft hat, im neuen ca. 5.000MB/s schafft
Aber währen die VIS aufgerufen wird habe ich keine stärkere/spürbare Festplattenaktivität - allerdings hat mein ioBroker auch 12GB RAMUnd ich habe es auch auf REDIS laufen (aber nicht komplett)
Hängt nämlich auch stark von der CPU ab. Die eine Sekunden könnte am Prozessor hängen bleiben, je nachdem wie sehr der zusätzlich durch die USB-SSD zu tun hat.
-
-
Ich würde auch auf SDD unsteigen, jedoch fehlen mir für mein Verständis die Belege.
Ich dachte aus dem Raspberry 4 4GB wird mittels USB NVME eine Rakete.
Das AHA-Erlebnis hat sich noch nicht gezeigt
LG emblitz
-
@emblitz sagte in Benchmarktest SD-Karte vs. USB-SSD bzgl. Ladezeiten VIS:
Ich dachte aus dem Raspberry 4 4GB wird mittels USB NVME eine Rakete.
USB3??
Da gibt es je nach Kombination Probleme.
USB3 stört dann hochfrequent die CPU -
@emblitz wie hier schon geschrieben wurde. Die Bremse ist der USB-Port, egal ob USB3 oder USB2 und egal ob SSD oder NVMe. Den ULTIMATIVEN Turbo bringt die Umstellung auf REDIS. Mein Editor der VIS öffnet sich in ca. 1,5 Sekunden und bei der Runtime? Eine VIEW früher (SD-Karte ohne Redis) gleich 8 Sekunden. Mit SSD und REDIS gleich 1,5 Sekunden.
Manchmal bringt eine Änderung nicht unbedingt das Ergebnis was man sich erhofft (an anderer Stelle schon, nur nicht da wo gehofft). Manchmal muss man mehrere Dinge ändern um mehrere (auch die gewünschten) Verbesserungen zu bekommen.
Ro75.
-
Hallo homoran,
ja die SSDs habe ich am USB 3 Port.
Wäre jetzt nicht auf die Idee gekomen sie am USB 2 Port laufen zu lassen.
Soll ich das machen, obwohl der Gewschindikeitsunterschied zwischen USB 2 und USB 3 nativ groß ist?LG
emblitz -
@emblitz sagte in Benchmarktest SD-Karte vs. USB-SSD bzgl. Ladezeiten VIS:
USB 3 Port
Achtung. Manche Adapter funktionieren nicht korrekt mit USB3. Nutze besser USB2. Ich hatte bei mir (wenn er unter USB3 bootete) keinen Unterschied festgestellt.
Ro75.
-
@emblitz ich wollte nur darauf hinweisen, dass es beim Pi4 ein Problem mit der Datenrate beim USB3 wegen dieser HF-Interferenzen gibt.
Natürlich ist der USB2 langsamer. -
Alles klar, an Redis oder Influx DB hatte ich auch schon gedacht.
Redis hält wohl alle Daten im Ram statt Influx oder der History.Ist der Wechsel von der History auf Redis aufwendig, wenn ich die historischen Daten und die Visualisierungen behalten möchte?
LG emblitz
-
@emblitz sagte in Benchmarktest SD-Karte vs. USB-SSD bzgl. Ladezeiten VIS:
Redis hält wohl alle Daten im Ram statt Influx oder der History.
nein Redis ist nur für die interne Datenbank (states/objects)
-
Ich hatte schon mal leider erfolglos versucht Redis zum Laufen zu bekommen und dann das Projekt Redis für gescheitert erklärt.
Hast du einen Link für die Installation und Einbindung von Redis in eine bestehende ioBroker-System auf dem RPI 4?Wenn Redis nur für die States der Objekte im Ram hält, bringt Redis vermutl. keine Geschwindikeitsvorteil bei den Flots da diese Daten im Speicher sind?
LG emblitz
-
@emblitz sagte in Benchmarktest SD-Karte vs. USB-SSD bzgl. Ladezeiten VIS:
bringt Redis vermutl. keine Geschwindikeitsvorteil bei den Flots da diese Daten im Speicher sind?
richtig!
Redis war gaaaanz früher bei den SBC empfohlen worden um die Schreibvorgänge bei den states und objects zu verringern.
Sollte heute eigentlich nicht mehr so gravierend sein. -
@emblitz sagte in Benchmarktest SD-Karte vs. USB-SSD bzgl. Ladezeiten VIS:
vermutl. keine Geschwindikeitsvorteil bei den Flots
ja, nur im Gesamtpaket merkt man etwas, subjektiv auch bei den Flots.
Ro75.
-
Hallo,
aufgrund der o. g. Hinweise, dass es bei Nutzung des USB 3.0 Port zu Adapter- oder CPU-Problemen kommen kann, ist mir eingefallen, dass ich mit dem Zigbee-Stick und in Kombination mit USB SDD am USB 3.0 Port seeeeehr lange Schalt- und Dimmzeiten der Beleuchtung hatte! Zum Teil konnte ich die Beleuchtung gar nicht schalten.
Bei der SD-Karte waren vor Nutzung der USB SSD keine Zigbee-Probleme vorhanden.Ich habe nun die SSD an den USB 2.0 Port angeschlossen und die Zigbee-Probleme sind weg !!!
Ich habe meinen Benchmark-Praxistest mit der schnellsten interne NMVE mit ext. USB-Gehäuse an dem USB 2.0 Port wiederholt und bin überrascht, dass die Zeiten genauso schnell wie am USB 3.0 Port sind !!!
Damit hätte ich nicht gerechnet.
Redis ist noch nicht installiert.Hier meine Testergebnisse - zuerst USB 3.0 weiter unten 2.0:
Mit ist aufgefallen, dass ich dem System nach einem Neustart ca. 30 Minuten Zeit geben muss, vermutl. damit sich alles "einpegelt" und die Zeiten bei mehreren Testläufen konstant sind.
Der Wechsel zwischen den einzelnen Visualisierungstabs ging schon immer ausreichend schnell und die Vis-Widgets / Datenpunkte wurden schnelll geladen,
Da die Ladezeiten (ca. 25 Sekunden) der Flot-Grafen in der Vis immer noch "nerven", suche ich weiterhin eine Möglichkeit das Laden von Datenbankdaten zu beschleunigen. Wäre hier eine andere Datenbank die Lösung und wie implementiere ich sie in eine bestehende ioBroker-Installation mit sehr vielen Datenpunkten und historischen Daten und Flot-Grafen?LG emblitz
