mehrere Datenbanken oder nur eine große?

[apollon77]

Hi,

sqlite ist nicht wirklich die beste Option, weil je nach Anzahl an Daten und damit Schreibaktionen kann es durchaus Probleme geben parallel auch Daten abzufragen. sqlite ist nicht unbedingt für viele Daten geeignet.

Also wenn Du schon mit Datenbanken startest dann nutze eine richtige SQL Datenbank oder InfluxDB

So oder so sind mehrere Datenbanken nur mit mehreren SQL-Adapter Instanzen möglich, was recht viel RAM kosten dürfte.

[docadams]

Vielen Dank für deine Antwort.

Ich kann das schleicht einschätzen. Fallen denn bei einer "durchschnittlichen" Hausautomation bereits viele Daten an?
Ich weiß, was ist "durchschnittlich?
Es wird bei mir sicher nicht so viel werden, wie man bei Youtube manchmal sieht, wo praktisch jede Türklinke automatisiert wurde. So faszienierend ich das auch finde.
Was ich mir vorstellen könnte: 10 Fenster-/Türkontakte, 5 Lampen und 5 Temperaturen. Sind das dann schon viele anfallende Daten?

Mein Wissen stammt noch von der RasPi 1bzw.2-Generation. Und da hatte ich gelesen, dass SQL für den RasPi zu gewaltig ist. Ist das überholt?

Du empfiehlst also eine Datenbank für alles? Auch wenn 2 Jahre alte Temperaturen interessant sein können, 2 Jahre alte Infos, wann welche Tür offen stand, eher nicht.
Oder wäre für jeden unterschiedlichen Zeithorizont (z.B. 2 Jahre und 4 Wochen) eine Datenbank, unabhängig, welche Infos das sind.

[Thisoft]

Direkte Antwort auf deine Frage: Auf jeden Fall alles in eine Datenbank! Von mehreren Db's hast du keinerlei Vorteil und brauchst aber entsprechend mehrfache Ressourcen (RAM und CPU). So gewaltige Datenmengen bekommst du mit Sicherheit nicht zusammen dass da eine Db an ihre Grenzen stoßen würde. Allerdings - bitte eine "richtige" Datenbank, also MySQL, InfluxDb oder was es da an SQL-Db's noch so gibt. Oder falls du auf der Windows-Schiene unterwegs bist ist auch der SQL-Server in neueren Windows-Versionen schon mit dabei...

Und du bist richtig informiert dass das auf einem RasPi gleich zweimal nix wird. Einmal wegen des mickrigen RAM's und zum anderen weil eine Db auf SD-Card zu schreiben die SD-Karte im Schnelldurchlauf töten wird.

Wenn du bestimmte Daten nicht über längere Zeit speichern möchtest kannst du die "Aufbewahrungszeit" des entsprechenden Datenpunkts ja entsprechend kurz einstellen.

[docadams]

@Thisoft sagte in mehrere Datenbanken oder nur eine große?:

Einmal wegen des mickrigen RAM's und zum anderen weil eine Db auf SD-Card zu schreiben die SD-Karte im Schnelldurchlauf töten wird.

Hm, naive Frage, machen es nicht die meisten so? Auf alle Fälle soll es auf einem RasPi 3+ laufen und ein NAS habe ich nicht. Wäre der Anschluss eines guten USB-Sticks eine Alternative? Um die Datenbank dahin auszulagern?

[paul53]

@docadams sagte:

Wäre der Anschluss eines guten USB-Sticks eine Alternative? Um die Datenbank dahin auszulagern?

Ja.

[docadams]

Hätte ich das mal eher gefragt, dann hätte ich nicht eine 16GB SD-Karte für das System genommen.
Kann ich da noch später umziehen?

[paul53]

@docadams sagte:

Kann ich da noch später umziehen?

Ja, dann nimm aber einen USB-Stick mit SLC-Flash.

Anleitung1, Anleitung2

Alternativ kann man auch das System auf der SD Card und die Datenbank auf dem USB-Stick halten. Wichtig ist nur, dass der Umfang der Schreibzugriffe auf die SD Card gering bleibt.

[docadams]

@paul53 sagte in mehrere Datenbanken oder nur eine große?:

das System auf der SD Card und die Datenbank auf dem USB-Stick halten

So hatte ich mir das gedacht. Ich bestelle so ein Teil und hoffe mal, dass es kein "Nach 8 Monaten Ausfall"-Teil ist, wie einige berichten.

[paul53]

@docadams sagte:

hoffe mal, dass es kein "Nach 8 Monaten Ausfall"-Teil ist

Ein Montagsprodukt kann man leider erwischen. Mein 16 GB SLC-Stick läuft schon seit 2 Jahren mit dem kompletten root fs drauf.

[Friedhofsblond]

@paul53
Moin,
ja ich weiß - ist ein altes Thema.
Ich habe momentan einen Raspi mit dem Solaranzeiger zu laufen.
Mit der InfluxDB und Grafana-Deskop möchte ich demnächst auf einen NUC mit IOB umziehen.
Ich habe sozusagen eine fertige DB und eine Grafana Visu die darauf aufsetzt.
Der IOB müßte dann die Daten sammeln und in die DB drücken.
Ich habe jetzt bedenken mit dem Import der DB in den IOB.
Ist es hier vielleicht besser eine zweite DB "solaranzeige" auf dem IOB-server anzulegen?
So brauche ich in Garfana nicht die Verknüpfungen alle neu machen (hoffe ich).
Oder doch lieber eine grosse iobroker-db machen?

Danke und schönes WE

[paul53]

@friedhofsblond sagte: InfluxDB und Grafana

Von InfluxDB und Grafana habe ich keine Ahnung.

[A Former User]

@friedhofsblond sagte in mehrere Datenbanken oder nur eine große?:

Oder doch lieber eine grosse iobroker-db machen?

Moin,

ich verstehe noch nicht ganz Dein Problem

Also Du hast ein NUC, mit nacktem Linux oder irgendeine Virtualisierung?

Welche Version von influxDB nutzt Du? Wenn es die Version 2.x, aktuell 2.7, ist, dann kannst Du für jeden Anwendungsfall ein eigenes Bucket anlegen, Buckets sind vergleichbar mit Datenbanken, so hast Du die Daten vom ioBroker im Bucket ioBroker und die vom Solar im Bucket solaranzeige

Beide Buckets liegen aber in der gleichen influxDB installation.

VG
Bernd

[Friedhofsblond]

@dp20eic
Moin,
naja eigentlich hat sich die Frage überholt ;).
Wenn dann wollte ich für den IOB gleich mit InfluxDB2 einsteigen.
Die alte DB von Solaranzeige ist noch V1.
Ich werde mir wohl das ganze Gefrikel ersparen und neu im IO-Broker anfangen.
Müßte ja erst von v1 zu v2 konvertieren - dann importieren - oder als zusätzliche DB laufen lassen ohne neu zu befüllen.
So schlimm ist es nicht. Habe die PV-Anlage erst seit März und ist eh nur informell.
Danke trotzdem und schönes RestWE

[OliverIO]

@docadams

Wenn du auf Datensicherheit aus bist und zusätzlich noch eine bessere Performance erreichen willst, dann würde ich gleich eine ssd anschließen und auch das Betriebssystem von dort aus starten lassen.

https://haus-automatisierung.com/hardware/2021/12/05/raspberry-pi-von-ssd-booten.html

[Friedhofsblond]

@OliverIO
Es gibt auch oft sehr günstige mini-PCs die leistungsfähiger als die Raspis sind.
den gab es neulich für 76€:
Fujitsu
Mein NUC war das deutlich drüber - verbraucht aber auch nur ca. 6W.

[OliverIO]

@friedhofsblond
Ja weiß ich. Hab selbst einen nuc.
Ich wollte eben nur nicht seine ganze bestehende Hardware madig machen. Aber SD Karten und USB Sticks (egal in welcher Qualität Stufe) halte ich für keine gutes Speichermedium für einen Server.
Wenn er jetzt mit Datenbanken anfängt und über Speichermengen sich Gedanken macht, dann sollte man wenigstens diesen Aspekt richtig machen.
Raspi ist für mich ein tolles Gerät , wenn man aber etwas mehr macht, stößt man doch relativ schnell an die Grenzen und dann sollte man sich um eine etwas bessere Hardware kümmern.