Test Adapter AI Toolbox v0.1.3 GitHub/Latest

[ToGe88]

@halsi82 Danke für das Feedback! Bin gespannt welche Anwendungsfälle den Benutzern hier noch so einfallen

Der Adapter hat heute nochmal ein Update bekommen und sollte dann bald im Beta Repo veröffentlicht werden. Neben kleinen Korrekturen und Verbesserungen wurde Deepseek als API Anbieter mit aufgenommen.

[Neuschwansteini]

@toge88 super, ich wollte gerade fragen, ob deepseek machbar ist.. leider busy.. wegen apikey..

[oxident]

@halsi82 Kannst Du grob umreißen, wie Du das umgesetzt hast?

[haselchen]

Kann ich mich nur @liv-in-sky anschliessen.
Ich denke, hier ist, für den Laien, zuviel Text und zu wenig Beispiel(bilder).
Aus Neugier habe ich es mal installiert und selbst nach dem 100. Durchlesen hab ich kein Plan , was ich damit machen kann , soll oder wie es funktioniert.
Ich zähle mich noch zu der 40+ Generation, also eigentlich noch sehr aufnahmefähig , aber hier bin ich tatsächlich ratlos.

Eventuell gibt es demnächst nen Thread mit ein paar Beispielen , mit Screenshots und leichterer Erklärkost

Edit:
@ToGe88
Damit will ich in keinster Weise Deine Anleitung am Anfang schmälern!
Ich kriege es halt nicht in meine Birne

[David G.]

@haselchen

Ich fand die Anleitung sehr gut, und wusste direkt was los war. Zumindest wenn man den Adapter dann einmal auf hatte.

Im Endeffekt holt der Adapter "nur" Zb ChatGPT in den iobroker, wo du über einen Bot für verschiedene Fälle sein verhalten bestimmen kannst wie er reagiert.

Für mich ist der Adapter eine schlauere Alexa mir mehr Einstellungen.

Nutze Ihn aber auch noch nicht wirklich produktiv, das kommt wenn die Ausenkamera aufgehangen wird.

[halsi82]

Generell kann ich euch allen nur empfehlen, legt euch bei openai oder openrouter oder bei anderen KI Instanzen einen TestAccount/API Account an. Openrouter ist kostenlos bei vielen KI Modellen. Allerdings habe ich meine besten Ergebnise mit GTP-4 bei OpenAI bekommen, ist allerdings kostenpflichtig und wird pro Anfrage abgerechnet.

Wenn ihr dort mal einen Account habt, dann macht den Chat auf.
Schickt die Beschreibung zum Chat - die Beispielanfrage und die Beispielantwort.
Und dann spielt euch mit dem Chatbot herum. Das hilft im Normalfall die KI besser zu verstehen und zu bedienen.

Jedes Werkzeug das man im Adapter anlegt hat ein Text_request und ein Text_response als Objekt. Ähnlich wie ein KI Chat. Thats it.

Ich habe mittlerweile ein Werkzeug angelegt um meine Heizkurve zu steuern. Das bedeutet - je nach Wettervorhersage und Daten der Bewölkung (bei viel Sonne muss ich viel weniger heizen in meinem Haus, weil wir viel Fensterfläche Richtung Süden haben) meine Heizkurve jeden Tag bevor die Heizung startet anhand der Prognose zwischen einer bestimmten Range 0,3-0,5 angepasst wird.
Folgende Beschreibung habe ich da der KI zum Beispiel gegeben.

@oxident
Mit dem AI Adapter gibst du ja der KI zunächst die Beschreibung was die KI tun soll, dann eine Beispielanfrage und eine Beispielantwort. Siehe Screenshot unterhalb.

Danach muss man über ein Javascript dem Adapter für das jeweilige Modell die Daten übermitteln - sprich das muss gleich sein wie die Beispielanfrage.

In meinem Fall ein Javascript das so aussieht:

var day =  new  Date().toLocaleString();
var cloudCover = getState('weatherunderground.0.forecast.0d.cloudCover').val;
var rlf = getState('javascript.0.Wetterstation.Aussenfeuchtigkeit').val;
var pressure = getState('javascript.0.Wetterstation.Druck_absolut').val;
var rain = getState('javascript.0.Wetterstation.Regen_Stunde').val;
var temp = getState('mqtt.0.ebusd.700.DisplayedOutsideTemp').val;
var wind = getState('javascript.0.Wetterstation.Wind').val;
var trend = getState('javascript.0.Wetterstation.Wetter_Trend').val;
var tempmax = getState('weatherunderground.0.forecast.0d.tempMax').val;
var sonnenstrahlung = getState('javascript.0.Wetterstation.Sonnenstrahlung').val;

var message =  'Aktuelles Datum und Uhrzeit '  + day +  '. Wetterdaten: Temperatur '  + temp +  '°C, ' + 'Vorhersage Tageshöchstemperatur' + tempmax +  '°C, ' +  'Luftfeuchtigkeit '  + rlf +  '%, '  +  'Wolkendecke '  + cloudCover +  '%, '  +  'Wind '  + wind +  'kmh, '  +  'Regenmenge pro Stunde '  + rain +  'mm, ' + 'Sonnenstrahlung ' + sonnenstrahlung + +'W/m2, ' + 'Trend: ' + trend +'.';

sendTo('ai-toolbox.0',  'tool_request',  {
	'tool':  'weather-reporter',
	'text': message,
},  async  (result)  =>  {
	log(result);
});

Dann hab ich ein Blockly gebaut, dass mir 2 mal täglich das Javascript auslöst und mir das Ergebnis des AI Adapters und des jeweiligen Modells (Objekt Text-Response) per Push Nachricht auf mein Smartphone schickt.

[mick70]

@halsi82 Die Heizkurve musst du demnach noch manuell anpassen, d.h. deine Heizung hat keinen Datenpunkt für die Heizkurve?

[halsi82]

@mick70 Richtig - mehr oder weniger. Meine Heizung wird über EBUS gesteuert und über ein Skript kann ich die Heizkurve verändern. Nehme den Wert der zurück kommt - z.b. 0.35 - und schreibe den dann im Skript direkt an die Heizung.

var command = "bash /home/Heizkurve.sh "+ heatcurve; - und die heatcurve kommt von dem AI Adapter.

[mick70]

@halsi82 Sehr hübsch!

Ich selbst verwende bisher eigene, parametergesteuerte Modelle, um bei PV-Überschuss innerhalb einer vorgegebenen Bandbreite eine Klimaanlage automatisch entweder zum Heizen oder Kühlen in unterschiedlichen Leistungsstufen mit Berücksichtigung der Schutzzeiten für den Kompressor zu regeln und um Überschusshitze aus einem kollektorgespeisten Boiler in den Pufferspeicher der Wärmepumpe abzuleiten.

Klappt zwar durchaus ordentlich, meine starren Modelle sind bei zusätzlichen Parametern aber nur schwer anzupassen und prädiktiv/adaptiv sind sie natürlich auch nicht. Wenn ich Zeit habe, werde ich mal mit Versuchen ganz ähnlich wie bei dir beginnen, aber vermutlich mit dem Assistant Adapter, der der KI direkten Zugriff auf verschiedene Datenpunkte gibt.

Den Toolbox Adapter nehme ich derzeit (zusammen mit dem iobroker custom skill und den alexa2 sowie text2command Adaptern) im Moment nur als verbesserte Sprach-Antwortmaschine für meine Echos bei schnellen Fragen (zB "Alexa, frage i o broker, welche Auswirkungen kann die Einführung von Deep Search auf den Markt für künstliche Intelligenz haben"). Wird hier im Moment wegen der Hörschwäche von Alexa gerade bei Fachbegriffen aber nicht stark genutzt. Mal sehen, ob mir da noch etwas besseres einfällt.

[ToGe88]

@haselchen haha, kann ich verstehen das es am Anfang etwas überfordernd wirkt. Ich beschäftige mich schon sehr lange mit der ganzen Materie deswegen ist es für mich nicht so leicht das ganze aus den Augen eines Laien zu betrachten.

Aktuell ist der Adapter noch in der Alpha/Test Phase, sobald die Prüfung für die Beta abgeschlossen ist werde ich hier im Forum einige umfangreichere Beispiele präsentieren wie man den Adapter effektiv einsetzen kann. Ein paar gute use cases wurden hier im thread ja bereits genannt.

Schau dir doch zum Einstieg in das Thema mal den AI Assistent Adapter von mir an. Dieser bietet dir eine einfache Möglichkeit per natürlicher Sprache mit deinem iobroker zu interagieren. Solltest du dort an die Grenzen stoßen kannst du den Assistenten dann auch mit weiteren Funktionen erweitern für welche du zb auch den Toolbox Adapter einsetzen kannst. (In Kombination bieten diese beiden Adapter dann eine sehr umfangreiche Möglichkeit sich einen persönlichen KI-Assistenten zu schaffen)

Einfach beschrieben könnte man sagen:

Per Chat/Sprache mit deinem ioBroker interagieren -> AI Assistent

Funktionen, Auswertungen oder Konvertierungen aus komplexen Daten mit KI durchführen -> AI Toolbox

[oxident]

@mick70 Kannst Du grob umreißen, wie Du die Sache mit Alexa machst?
Ich bin immer davon ausgegangen, dass der iot-Adapter nur ganz wenig Zeit lässt, eine Antwort in Javascript zu formulieren. So schnell wird ja bestimmt nichts kommen

[mick70]

OK, war wohl nicht wichtig.

[oxident]

@mick70 said in Test Adapter AI Toolbox v0.1.3 GitHub/Latest:

OK, war wohl nicht wichtig.

Was meinst Du?

[RandyAndy]

Hallo,
Ich verwende nun seit einiger Zeit den ai-toolbox-Adapter in Kombination mit Openrouter.
Es hat sich gezeigt, dass das beste Ergebnis mit Gemini erzeugt wird. DeepSeek ist nicht schlecht aber nicht aud dem gleichen Niveau.
Leider verlangt seit einigen Tagen "Openrouter", dass man Credits in Verbindung mit Gemini haben muss.
Da bei Gemini bis zu 1 Mio Tokens frei sind, frage ich mich, ob man nicht direkt auf Gemini über den Adpater zugreifen kann. Einen API key habe ich.
Hat das schon jemand hinbekommen ?

[RandyAndy]

@randyandy sagte in Test Adapter AI Toolbox v0.1.3 GitHub/Latest:

Hallo,
Ich verwende nun seit einiger Zeit den ai-toolbox-Adapter in Kombination mit Openrouter.
Es hat sich gezeigt, dass das beste Ergebnis mit Gemini erzeugt wird. DeepSeek ist nicht schlecht aber nicht aud dem gleichen Niveau.
Leider verlangt seit einigen Tagen "Openrouter", dass man Credits in Verbindung mit Gemini haben muss.
Da bei Gemini bis zu 1 Mio Tokens frei sind, frage ich mich, ob man nicht direkt auf Gemini über den Adpater zugreifen kann. Einen API key habe ich.
Hat das schon jemand hinbekommen ?

Keiner eine Antwort ?

[RandyAndy]

Wie im Adapter beschrieben ist openrouter.ai gut zum Lernen. Damit kann man erste Schritte gut erledigen. Alle anderen Dienste die im Adpater angeboten werden sind aber nicht oder nur gegen Entgeld nutzbar wie OpenAI. Spannender finde ich hier aber die Google Gemini Lösung die für den Heimgebrauch kostenlos ist (bzw. ich kann mir nicht vorstellen dass man 1 Mio Token per Monat verbrauchen kann). Da Google Gemini nicht unterstützt wird und offensichtlich der Adapter nicht mehr gepflegt wird (Schade eigentlich) mache ich das nun über pyton oder cURL. Die ersten Tests sind recht vielversprechend und ich bin dann hier wieder raus.
Aber Danke an die Entwickler, für den Einstieg war der Adapter recht brauchbar.

[oxident]

@randyandy Guter Hinweis mit Gemini! Ich für meinen Teil fahre mit Qwen-12B unter Ollama (via Open WebUI) auch ganz gut.

Ich glaube, der Adapter ist einfach "zu früh". Will sagen, es fehlen vielleicht noch richtige Use-Cases mit praktischen Beispielen. Dann könnte das vielleicht noch zünden...

[bloop]

@oxident
Ich fahre mit Ollama ebenfalls sehr gut! Funktioniert im Adapter leider noch nicht. Auf GitHub habe ich bereits ein Feature Request für Ollama angefragt. Es wird scheinbar bereits daran gearbeitet.
Leider reagiert der Großteil der Community gegenüber AI use cases sehr abweisend - anders als bei HA…
Ich denke ebenfalls das es hierfür noch zu früh ist und noch keiner der großen Streamer etwas bahnbrechendes dazu veröffentlicht hat.
Ich verwende meine AI aktuell lediglich um regelmässige Benachrichtigungen Kreativer zu gestalten und trainiere meine AI mit Bildern der Kameras um irgendwann zu Personen, Tieren usw. korrekte Namen zuweisen zu können. Als Nächstes möchte ich meine AI mit Datenpunkten usw. trainieren. Alles Lokal versteht sich.
Was sind eure use cases denn so?

[RandyAndy]

@bloop

mein use case ist es automatisiert eMails zu beantworten.
DeepSeek ist da nicht schlecht und 90% - 95% der Antworten sind echt brauchbar. Ich habe parallel mal Gemini (manuel) verwendet und die Antworten wären besser und DeepSeek ist schon recht erfinderisch. Ich bin hier aber noch beim Beobachten und testen und habe die automatisierte Antwort noch nicht scharf geschaltet.
Tendentiell werde ich aber vermutlich mit den POST-Funktionen und Gemini in Zukunft weiter arbeiten und nicht mit DeepSeek. Dazu benötige ich aber ein wenig Zeit, die ich derzeit nicht habe, da mich etwas anderes noch wichtigers aufhält.

Andreas