Rhasspy Offline Sprachsteuerung

LichtAn

ein Amazon oder Google Teil kommen mir nicht ins Haus. Lieber stampfe ich das Sprachsteuerungsprojekt ein. Auch wenn mir bewusst ist das die Bastelei dann deutlich weniger wäre. Ich bleibe Cloudfrei.

Hab jetzt eine neues Probem. Bis jetzt hat sich meine Frau geweiget das Teil zu benutzen. Am WE hat wollte sie es ausprobieren und dann sind wir draufgekommen das der SNOWBOY sie nicht versteht Er regiert gar nicht erst.

So muss ich mich jetzt wenigstens mal wieder mit den Wakewords beschäftigen. Da mir Snowboy im Wohnzimmer auch zu oft falsch erkennt.

@capitaenz @Xsev Was verwendet ihr den aktuell für Wakewords ?

BTW seit gestern gibts anscheinend Rhasspy 2.5.6 zum download.

Xsev

@LichtAn Ich hab Porcupine und grad mit Fraule getestet (wenn auch widerwillig, also das Fraule nicht die Sprachsteuerung...) geht das bei uns beiden.
Falsch erkannte Wakewords hab ich leider auch immer noch, mittlerweile seltener aber immer noch zu viel für meinen Geschmack...
2.5.6 hab ich noch nicht getestet, evtl. die Tage.

capitaenz

@LichtAn

@LichtAn said in Rhasspy Offline Sprachsteuerung:

@capitaenz @Xsev Was verwendet ihr den aktuell für Wakewords ?

Verwende Snowboy, bin über die Testphase nicht hinaus.
Auf meine Frau reagiert es auch nicht.

joergeli

@capitaenz

Mein größtes Problem ist ebenfalls die korrekte Wakeword-Erkennung.
Ich habe so ziemlich alles durch:
Anderes Micro probiert,
Snowboy mit den verschiedensten Wakewords und Sensitivities ( auch selbst erstellte ).
Letzendlich bin ich jetzt bei Porcupine mit Wakeword "blueberry" gelandet.

Aber das Gelbe vom Ei ist das auch noch nicht.
Es passieren - zwar recht selten - immer noch false-Erkennungen und bei meiner Frau reagiert es machmal auch nicht.
Ich habe bzgl. Rhasspy jetzt schon eine Weile nichts mehr gemacht, bin auch noch bei Rhaspy V 2.5.0

jwerlsdf

@LichtAn
danke für die Anleitung. Hier noch mal mein Problem: Ich bekomme den Respeaker nicht wirklich ans Laufen.
Ich habe einen Raspberry Pi 4 mit dem Respeaker 4 Seeed. Das System ist fast frisch, fast nichts installiert. Ich bin nach deiner Anleitung vorgegangen, außer, dass ich die Version 2.5.6 gleich installiert habe. Das problem scheint, dass Raspberry den Respeaker nicht wirklich erkennt. Klicke ich mit der rechten Maustaste oben auf das Audiosymbol, wird mir kein Input angezeigt, für den Output wird der Respeaker angezeigt, aber es steht dann "no volume control..."
Noch eine Frage zur Anleitung (export PATH="/home/pi/.local/bin:$PATH" )
Muss ich hier etwas ändern, also einen Pfad angeben und wie würde dies z.B. aussehen? Vielen Dank für eure Hilfe!!!

LichtAn

@jwerlsdf sagte in Rhasspy Offline Sprachsteuerung:

Hast du den Pixel_Ring Treiber ohne Fehlermeldung im Log installieren können ?

Kam bei der hlc Treiber installation irgendwelche Fehler ?

Und hast du in der Config den SLI aktiviert ?

Unter welchem Benutzer hast du installiert ? Ich habe normal immer meinen eigenen Benutzer angelegt. Aber ich habe es selbst nur unter dem Standard User Pi zum laufen bekommen. Is bestimmt irgend eine Rechte Sache.

Für den User Pi ist der Pfad so richtig. Du machst diese Eintrag damit Programme ausgeführt werden dürfen, hier der pixel_ring, nur durch Aufruf des Datei Names sonst musst du immer den kompletten Pfad mit Programmnamen eintippen.

BTW was meinst du denn mit Audio Symbol ?

jwerlsdf

@LichtAn
ich muss noch dazu sagen, dass ich die Desktop Version habe. Dort gibt es, wie bei Windows ein Audio-Symbol.
Standardnutzer ist Pi. Habe ich auch so gelassen.
SLI ist unter sudo raspi-config aktiviert.

Ich bin nun jetzt so weit, dass wohl der Respeaker funktioniert. Ich darf wohl nicht in den Audioeinstellungen nicht auf den Respeaker klicken, sondern muss es auf Analog lassen.
Das Wakeword habe ich auf Porcupine geändert. Damit geht es nun halbwegs.
Nun noch folgende Frage:
Wie bekomme ich nun z.B. das Licht ausgeschaltet. Ich habe das mit dem Rollladen probiert, aber ich bekomme einen Fehler im iobroker:

{"siteId": "default", "sessionId": "default-porcupine-7ad89984-1b95-4409-b9e7-4e88e64b49e8", "lang": null, "stopOnSilence": true, "sendAudioCaptured": true, "wakewordId": "porcupine", "intentFilter": null}

Woran könnte das liegen?
Weiterhin geht das Wakeword nicht und manchmal geht es:

{"siteId": "default", "sessionId": "ce0f80d9-b586-4526-a073-12d5a197b67e", "lang": null, "stopOnSilence": true, "sendAudioCaptured": true, "wakewordId": null, "intentFilter": null}

Weiterhin habe ich im iobroker bei Objekte keinen "intent" Ordner.

LichtAn

@jwerlsdf sagte in Rhasspy Offline Sprachsteuerung:

8e64b49e8", "lang": null, "stopOnS

wie schaut denn deine sentences.ini im Rhasspy aus ?

Und welche Ordner hast du im iobroker unter mqtt.0.hermes stehen ?

jwerlsdf

@LichtAn said in Rhasspy Offline Sprachsteuerung:
folgende Ordner habe ich:
asr
nlu
info

so sieht die Datei aus:

[GetTime]
wie spät ist es
sag mir die uhrzeit

[GetTemperature]
wie ist die temperatur
wie (heiß | kalt) ist es

[GetGarageState]
ist das garagentor (offen | geschlossen)

[ChangeLightState]
light_name = (wohnzimmerlampe | garagenlicht) {name}
light_state = (ein | aus) {state}
schalte (die | das) <light_name> <light_state>

[Lampen]
lampen_name = (moodlight |stimmungslicht|fernsehlicht|esstischlampe|essecke|wandspots|regal|radio ) {name}
lampen_state = (ein | aus) {state}
schalte [ (die | den | das )]  <lampen_name> <lampen_state>

[Rolladen]
rolladen_name = (rolladen ) {name}
rolladen_state = (hochfahren | runterfahren | stoppen ) {state}
<rolladen_name> <rolladen_state>

LichtAn

@jwerlsdf

Was steht den unter
mqtt.0.hermes.nlu.intentNotRecognized

wenn du z.B. sagst "schalte rolladen aus"

Das sollte dann ca. so aussehen.

{"input": "schalte rolladen aus", "siteId": "default", "id": null, "customData": null, "sessionId": "default-snowboy-764567-1063-4e56-9999-16774ab26140"}

Da stehen die Befehle drin die nicht zugeordnet werden können. Wenn der wert aktualisiert wird geht auf jeden Fall deine Verbindung vom iobroker zum MQTT auf dem Rhasspy.

Ach ja wenn er sonwboy nicht erkennt schalte mal auf Porcupine um.

capitaenz

@joergeli said in Rhasspy Offline Sprachsteuerung:

Aber das Gelbe vom Ei ist das auch noch nicht.
Es passieren - zwar recht selten - immer noch false-Erkennungen und bei meiner Frau reagiert es machmal auch nicht.
Ich habe bzgl. Rhasspy jetzt schon eine Weile nichts mehr gemacht, bin auch noch bei Rhaspy V 2.5.0

Bei mir verhält es sich ähnlich, außer das ich die V 2.5.6 installiert habe.
Die V 2.5.7 ist draußen und dort hängt sich die Spracherkennung beim 2. Mal auf.

VG
Leif

joergeli

@capitaenz
Jo, die Intent-Erkennung funktioniert bei mir recht gut - so gut wie keine Falscherkennungen.

Lediglich das Wakeword macht Probleme.
Was ich so gelesen habe, was man bei eigenen Wakewords beachten sollte:
1.) Wakeword sollte mindestens 3 mögl. unterschiedlliche Silben ( z. B. Lieselotte, Computer, Blueberry) enthalten
2.) Möglichst Zischlaute im Wakeword verwenden

Aber es funktioniert doch nur "mittelprächtig" - entweder zu unempfindlich oder zu empfindlich, wobei das m.E. nur sekundär mit der Sensitivity- (Empfindlichkeits-)Einstellung des Micros zu tun hat.

Außerdem hat m.E. die Stimmfrequenz (Frau höhere Stimmlage als ich) Einfluß: Wenn bei mir Wakeword-Erkennung halbwegs OK ist, tut sich bei meiner Frau nichts und umgekehrt.

Ein weiteres Problem sind Umgebungsgeräusche, wie TV oder Radio.
Da wacht Rhasspy manchmal auf, obwohl weder im TV, noch im Radio, etwas gesagt wurde, was nur annähernd wie das Wakeword klang.
Ich habe deswegen versucht, mein Respeaker 4 Mic-Array akustisch von den Fremdgeräuschen zu isolieren, indem ich einen Kasten um das Mic-Array samt Rhaspy-Raspi gebaut habe, der nur an der TV/Radio abgewandten Seite offen war.
OK, damit schränke ich zwar den Mic-Erfassungsradius ein, aber damit könnte ich leben.
Hat aber leider auch so gut wie nichts gebracht.

Frage: Hat schon mal jemand das neue "Raven"-Wakewordsystem ausprobiert?

Gruß
Jörg

capitaenz

Frage: Hat schon mal jemand das neue "Raven"-Wakewordsystem ausprobiert?

Danke für den Tipp, war mir noch nicht aufgefallen.
Leider habe ich keine genaue Idee wie das funktionieren soll, wenn ich die Dokumentation aufrufen möchte kommt:
See the Raven tutorial for how to get started. -> NotFound: NotFound(404)

LichtAn

@joergeli sagte in Rhasspy Offline Sprachsteuerung:

Raven

https://rhasspy.readthedocs.io/en/latest/wake-word/#raven

Das klingt ja gar nicht so schlecht. Mal schauen ob ich kommendes WE mal ein bis zwei Stündchen zum spielen hab.

Steffen95

Hallo,

sorry bin neu hier und ein Anfänger.
Ich habe Rhasspy 2.5.7 installiert und danach das Respeaker 4.
Ich habe mich in beiden Fällen an die Anleitungen von den Herstellern gehalten.

Den MQTT Server einrichten habe ich relativ problemlos hinbekommen und in IOBroker sehe ich auch schon den Rhasspy Ordner.

Das Auswählen des Mikrofons scheitert leider schon bei mir Bekomme immer die Fehlermeldung Timeout Error.

Hat jemand eine Idee wie ich das behebe?

Wenn ich arecord -L eingebe finde ich das Mikro.

Edit: Mittlerweile finde ich das Mikro und es erkennt auch die Befehle richtig. Aber sobald ich MQTT auf external setze geht nichts mehr.
Wie habt Ihr das gelöst?

joergeli

@Steffen95 sagte in Rhasspy Offline Sprachsteuerung:

Mittlerweile finde ich das Mikro und es erkennt auch die Befehle richtig. Aber sobald ich MQTT auf external setze geht nichts mehr.
Wie habt Ihr das gelöst?

Jo, da habe ich auch lange dran rumgekaspert.

Ich habe es so gemacht:
Auf dem Rhasspy-Raspi einen zusätzlichen MQTT-Broker (Mosquitto) installiert.
In Rhasspy stellst Du dann MQTT auf "External", bei Host trägst Du die IP-Adresse Deines Rhasspy-Raspi ein, Port auf 1883.
Du verweist damit also auf den Mosquitto-Broker, der für Rhasspy selbst (welches ja wahrscheinlich im Docker-Container läuft) als externer Broker betrachtet wird.

In ioBroker musste ich dafür ( für mich nicht ganz klar warum) eine zusätzliche mqtt.1-Instanz als "Client/subscriber" einrichten.
In der mqtt.1-Instanz habe ich bei:
Subscribe patterns: hermes/intent/#, hermes/asr/startListening, hermes/nlu/intentNotRecognized
Prefix für alle Topics: hermes/intent/#, hermes/asr/startListening, hermes/nlu/intentNotRecognized
Haken setzen bei "Publish nur bei Änderung"
(Man könnte wahrscheinlich auch alle Hermes-Topics mit hermes/# abbonieren, aber ich persönlich brauche es nicht)

Danach sollten in den Objekten unter mqtt.1.hermes.intent Deine entspr. Intents angezeigt werden,
nachdem sie zum ersten Mal angesprochen/erkannt wurden.

Gruß
Jörg

LichtAn

@joergeli @Steffen95

Und Vorsicht es dürfen keine Leerzeichen in den Pattern sein sonst passiert auch nix

hermes/intent/#,hermes/asr/startListening,hermes/nlu/intentNotRecognized

Und schau doch mal in Post 301 evtl hilft dir das weiter.

capitaenz

Die neue 2.5.8 ist draußen und nun kann man die Lautstärke(n) direkt im Webinterface anpassen!

brain

@LichtAn
Ich habe mich nun endlich auch an die Installation des Rhasspy gemacht. Zunächst war es etwas mühsam, aber mit der Anleitung https://rhasspy.readthedocs.io/en/latest/tutorials/#from-scratch-on-a-raspberry-pi und Dank der Hilfe in Post 301 hat es funktioniert, sodass ich nun die Befehle im iobroker sehen kann.
Dabei bin ich auf einen möglichen Fehler im Befehl zum Starten des docker in Post 301 gestoßen. Meiner Meinung nach fehlt dort der MQTT-start, sodass der Startbefehl (auch nach Restart des Raspi) wie folgt lauten müsste (aktuelle Rhasspy-Version 2.5.8):

docker run -d -p 12101:12101 \
      --name rhasspy \
      --restart unless-stopped \
      -v "$HOME/.config/rhasspy/profiles:/profiles" \
      -v "/etc/localtime:/etc/localtime:ro" \
      --device /dev/snd:/dev/snd \
      rhasspy/rhasspy \
      --user-profiles /profiles \
      --profile de \
	  --local-mqtt-port 13183

LichtAn

@brain

Der MQTT läuft ja auf dem Debian System nicht im Docker deshalb musst du den nicht mit dem Docker Start Befehl starten.

In der Config von 301wird ja auch auf external gestellt. Früher gab es nämlich Probeme mit dem internen MQTT Server wenn du nicht den Standard Port verwendet hast.

MQTT -> External
Host -> IP Rhasspy
Port -> 1883

NEWS

Rhasspy Offline Sprachsteuerung

Support us

1.0k
Online

31.6k
Users

79.4k
Topics

1.3m
Posts

NEWS

Rhasspy Offline Sprachsteuerung

Support us

1.0kOnline

31.6kUsers

79.4kTopics

1.3mPosts

1.0k
Online

31.6k
Users

79.4k
Topics

1.3m
Posts