@toge88 Servus
Ich bin über Deinen Adapter gestolpert und muss sagen:
Ganz grosses Kino!
Ich habe noch nicht alles ganz verstanden und leider ist meine lokales LLM super langsam. Deswegen bin ich mal bei Anthropic gelandet, aber der haut die Credits dann schon weg.
Vielleicht kannst Du Google Gemini noch einbinden, dort gibt es, wenn ich es richtig verstanden habe ein respektables monatliches freies Kontingent.
Abfragen funktionieren richtig super. Manchmal etwas zu geschwätzig, aber ok und man kann es ja teilweise beeinflussen.
Bei meiner Homematic hat er teilweise Probleme. Die Schaltsteckdose mit dem Namen „Teichpumpe“ schaltet in 95% der Fälle nicht ein oder aus. OBWOHL DAS teil behauptet, es wäre geschaltet.
Wenn ich dann den Befehl dann wiederhole, kann es sein, er behauptet, es wäre die gleiche Anfrage wie eben, man müsse nichts machen. Aha.
Andere Schalter funktionieren wunderbar. Das ist echt seltsam.
Ich bin gerade dabei mit einem Raspberry und einem reSpeaker Hat einen nun endlich wirklich intelligenten Alexa-Ersatz zu bauen, bei der ich nicht mehr exakt sagen muss: „Was ist die Temperatur von Garten“, damit ich eine Antwort kriege.
Der RPi wartet auf das Wakeword, nimmt Audio auf, „bereinigt“ es, sendet es an Whisper (STT) auf einem Docker auf dem Server (leider keine GPU sonst wäre die LLM darauf auch schneller, für Whisper tiny reicht es), dann den Text per MQTT zurück in iobroker, per Script in das request-Feld des ai-assistant. Dann geht die Anfrage an Anthropic. Der Text, der zurückkommt wieder per MQTT an den RPi, der bei einem Docker Piper (TTS) das Audiofile anfragt und abspielt. Läuft noch nicht ganz rund, aber mit dem PoC bin ich soweit zufrieden.
Was mir total gut gefällt ist, dass wie bei Alexa auch allgemeine Sachen gefragt werden können.
An dieser Stelle schon mal ganz lieben Dank für den tollen Adapter!
Michael
