Rhasspy Offline Sprachsteuerung
-
@capitaenz sagte in Rhasspy Offline Sprachsteuerung:
Ich fasse jetzt hier die Arbeit der letzten Tage zusammen, damit weitere Leute von Snips zu Rhasspy wechseln können:
Hier wie es bei mir mit einem RP Pi 3b+, einem Respeaker2 und einem externen Lautsprecher funktioniert hat:
Danke an @joergeli und @tobetobe-
Image Flashen mit Win32 DiskImager (Raspian Buster lite)
-
ssh und wpa_supplicant.conf auf SD-Karte anlegen
-
Per SSH (z.B. Putty) einloggen
sudo apt update sudo apt full-upgrade sudo curl -sSL https://get.docker.com | sh sudo usermod -aG docker pi sudo reboot -nsudo docker pull rhasspy/rhasspy:2.5.0-preDies ist eine Zeile:
sudo sudo docker run -d -p 12101:12101 --restart unless-stopped -v "$HOME/.config/rhasspy/profiles:/profiles" --device /dev/snd:/dev/snd rhasspy/rhasspy:2.5.0-pre --user-profiles /profiles --profile desudo wget https://gist.githubusercontent.com/Psychokiller1888/a9826f92c5a3c5d03f34d182fda1ce4c/raw/cbb53252dd55dc4e9f5f6064a493f0981cf133fb/hlc_download.sh sudo chmod +x hlc_download.sh sudo ./hlc_download.sh-
Fragen
-
What assistant engine are you using?
2 (rhasspy) -
What's the path to your assistant config file?
/home/pi/.config/rhasspy/profiles/de/profile.json -
What device do you wish to control with SLC?
1 (respeaker2) -
What pattern do you want to use?
5 (kiboost) -
Do you need to install / configure your respeaker2?
1 (yes) -
SPI Aktivieren
sudo raspi-config->5->P4->YES->EXIT
->7->A1->Expand Filesystem
->7->A3->16->OKsudo reboot -n- onboard Sound deaktivieren, nur bei respeaker2 mit Lautsprecher am "SPEAKER"
sudo nano /boot/config.txtTurn dtparam=audio parameter to off:
von: dtparam=audio=on auf: dtparam=audio=offSTRG+X -> Y -> ENTER
- Lautstärke
sudo alsamixerSpeichern funktioniert nicht:
sudo alsactl store- MQTT
sudo apt update sudo apt install -y mosquitto mosquitto-clients sudo systemctl enable mosquitto.service sudo systemctl start mosquitto-
<IP-Rhasspy>:12101 -> Webinterface aufrufen
-
Rhasspy wie folgt einstellen:
MQTT -> External
Host -> IP Rhasspy
Port -> 1883
Audio Recording -> PyAudio
Wake Word -> Snowboy (Apply Frontend nicht anwählen und Sensitivity auf 0.9)
Speech to Text -> Kaldi (Dateien müssen später über das Webinterface nach einem Neustart von Rhasspy nachinstalliert werden)
Intent Recognition -> Fsticuffs
Text to Speech -> PicoTTS
Audio Playing -> aplay
Dialog Management -> Rhasspy
Intent Handling -> ausgegraut
Auf "Sentences" klicken (die Balken) -
Reboot Rhasspy
Anschließend die restlichen Dateien mit dem "Download" Knopf herunterladen (Kaldi) -
Folgendes zum Test unter [ChangeLightState] eintragen:
[Rolladen] rolladen_name = (rolladen ) {name} rolladen_state = (hochfahren | runterfahren | stoppen ) {state} <rolladen_name> <rolladen_state>Abspeichern (Save Sentences) nicht vergessen und anschließend auf "Train" (oben rechts) drücken
- Im ioBroker einen (weiteren) MQTT-Adapter hinzufügen.
Diesen als "Client/subscriber" einrichten
Unter "URL" die IP des Rhasspy eintragen und den Port 1883
Unter Subscribe patters UND Prefix für alle Topics folgendes eintragen:
hermes/intent/#, hermes/asr/startListening, hermes/nlu/intentNotRecognized
Bekanntgeben eigene States beim Verbinden den Haken raus.
Fertig!
- Jetzt zum Test sagen:
"snowboy" "rolladen hochfahren"
Was fehlt:
- Lautstärke dauerhaft abspeichern, auch nach Reboot
- Sprachausgabe über MQTT oder über Blockly per HTTP
- LEDs zum leuchten bringen
Hallo Zusammen,
ich bin der Flo und wollte mich jetzt auch mal mit dem Rhasspy befassen.
Habe als Testsystem jetzt einen RPI4 mit Respeaker 4Das ganze habe ich nach der oben stehenden Anleitung installiert und es hat grundsätzlich geklappt.
Ich hab das Rhasspy 2.5.0 Pre am laufen und kann mich auf die WebIF verbinden. Die Einstellungen habe ich so übernommen.
Aber ich bekomme es leider nicht hin "Snowboy" als Workward zu aktivieren. BZW es passiert nix wenn ich Snowboy Sage, auch kein Beep aus den Lautsprechern.Wenn ich über Home auf Wake up klicke und z.B. Rolladen hochfahren oder herunterfahren sage wird das richtig erkannt. Da es ja unter Recognize steht und auch die Rolladen als name und hochfahren als state steht.
Auch wird der passende JSON im MQTT unter /names/intent/Rolladen ausgegeben.Also das Mikrofon des Respeaker4 funktioniert.
Hier meine Einstellungen, evtl übersehe ich ja was.
Den Part mit Sound deaktivieren für den respeaker2 habe ich naturlich ausgelassen. Meine Soundausgabe funktioniert über den 3,5 klinken Port und wenn ich mir mit Speak auf der Homeseite was vorlesen lass kommt auch Ton raus.
Habt ihr evtl eine Idee. Das is LED nicht geht ist normal denke ich da ihr sie unter Was fehlt aufführt.
Gibts da eine Möglichkeit die LED generell zu testen ob sich die Treiber bei der installtion richtig installiert haben.
Gruß Flo
-
-
@LichtAn
Hi,Wakeword:
Wenn auch kein Beep kommt, ist evtl. der MQTT nicht richtig eingestellt?
Er sollte auf "External" stehen, IP-Adresse: die vom Rhasspy-Raspi, Port: 1883,
d.h. die Parameter des MOSQUITTO, der zusätzlich auf dem Rhasspy-Raspi läuft.Werden bei dir die verfügbaren Wakewords aufgelistet, wenn du den Refresh-Button (s. Screenshot) drückst?
(liesel und computer sind von mir nachträglich hinzugefügte Wakewords, bitte ignorieren)
Die Empfindlichkeit von 0.9 ist nur zum Testen, das musst du anschließend verringern, bis ein rel. ausgewogenes Verhältnis von korrekter Erkennung und Fehlauslösungen erreicht ist.
Fehlauslösungen: Bei mir ist es so, daß wenn mehrere Leute durcheinander sprechen, ab und zu Rhasspy anspringt, obwohl niemand das Wakeword gesagt hat. Ich habe da schon mit verschiedenen Wakewords und Empfindlichkeiten experimentiert, aber leider lassen sich diese Fehlauslösungen wohl nicht ganz vermeiden.Du kannst auch mal versuchen, das anl. computer.umdl im Ordner /home/pi/.config/rhasspy/profiles/de/snowboy zu speichern und damit zu testen: computer.umdl
LEDs:
Bei mir funktioniert der LED-Ring mit dem ReSpeaker 4.
Dazu muss Hermes LED Control (HLC) installiert werden:
Siehe:
Rhasspy-Community
GitHub
Installation von HLC
( Nicht vergessen, SPI mit sudo raspi-config -> 5 Interfacing Options ->P4 SPI, zu aktivieren)Hinweis:
Der LED-Pattern "Kiboost" funktioniert bei mir nicht richtig, ich würde den ProjectAlice-Pattern empfehlen.
Ich habe den ProjectAlice-Pattern auch ein wenig geforked, s. Anlage:
ProjectAlicePattern.py
Gespeichert wird diese Datei im Ordner /home/pi/hermesLedControl_vx.x.x/ledPatternsGruß
Jörg -
Hallo Jörg,
da kommen wir der Sache schon näher. Ich habe den Unterordner snowboy gar nicht, dementsprechend werden mir die ganzen Wakewords auch nicht im WebIf angezeigt.
-
@LichtAn
Sorry, habe mich nicht klar ausgedrückt: den Ordner gibt es normalerweise auch nicht.
Den musst Du selber anlegen, wenn Du eigene Wakewords verwenden willst.Prüfe aber bitte erst mal das mit den MQTT-Einsellungen und dem Refresh-Button.
-
@LichtAn
...und, hast Du das mal geprüft:
Prüfe aber bitte erst mal das mit den MQTT-Einsellungen und dem Refresh-ButtonGruß
Jörg -
Hallo, so heute habe ich mal wieder Zeit zum testen.
Also der MQTT funktioniert. Ich bekomme vom Externen MOSQUITO auf dem Rhasspy die passenden Meldungen in den IOBroker Client übermittelt.
Wenn ich im Wake Word (Snowboy) auf refresh klicke bekomme ich einen Timeout gemeldet.
Wenn ich auf testweise auf Porcupine umstelle funktioniert "Hey Porcupine" als Wakeword und meine Befehle werden auch erkannt.
In beiden Fällen geht allerdings die LED auf dem Respeker4 nicht.
Habe den HLC jetzt noch mal configuriert mit Project Alice Pattern das hat auch keinen Erfolg gebracht. @joergeli dein pattern.py hab ich jetzt noch nicht verwendet wollte es erst mal im Standard zum laufen bekommen.
EDIT:
Was mir jetzt aufgefallen ist, wenn ich den SPI enable will
sudo raspi-config
mit ja Bestätigen
dann mit finish die Config verlasse und wieder mit
sudo raspi-config
kommt di gleiche ansicht wiederSollte dann da nicht dann "Would you like the SPI interface to be disabled?" stehen damit man es auch wieder ausmachen kann ?
EDIT2
Geil habe die erste Lampe zum schalten bekommen
Aber die Spracherkennung vom Porcupine ist leider nicht sehr flüssig. Da muss man schon im argen Befehlston mit dem Sprechen damit er das auch 100% erkennt. -
@LichtAn
Snowboy:
Kann ich nichts weiter zu sagen, funktionierte bei mir "out of the box".Porcupine:
Hab ich gerade mal getestet, funktioniert bei mir.
"Hey porcupine" ist nicht notwendig, nur "porcupine" reicht auch.
Allerdings musste ich die Empfindlichkeit recht hoch setzen: 0.75Auch hier mal den Refresh-Button drücken, ob auch die anderen Porcupine-Wakewords (blueberry, grapefruit, grashopper, etc.) aufgelistet werden.
HLC:
Evtl HLC nochmals installieren?
Bei der Frage nach dem Profil folgendes eintragen:
/home/pi/.config/rhasspy/profiles/de/profile.jsonSPI:
Ist schon OK so, es kommt immer "Would you like the SPI interface to be enabled?"Gruß
Jörg -
Bei Pocupine zeigt er mir die verschiedenen Wakeword an z.B. Terminator oder Bumblebee etc.
Funktioniert auch damit.Beim HLC nachinstallieren, bekomme ich einige Warnings und hinweise. z.B
WARNING: Skipping pixel-ring as it is not installed.
Skipping pixel-ring as it is not installed.
oder auch
Job for seeed-voicecard.service failed because the control process exited with error code.evtl das es daran liegt. Da müsste ich aber mal sehen wie es bei der erst installation auf einem sauberen System ausgesehen hat.
Beim googeln nach den Meldungen im log haben anscheinend einige Leute mit RPI4 solche Probleme.
Mein Pfad für das Profil sollte passen
/home/BENUTZERNAMEPI/.config/rhasspy/profiles/de/profile.jsondarunter finde ich auch die Config
{ "dialogue": { "system": "rhasspy" }, "intent": { "system": "fsticuffs" }, "microphone": { "system": "pyaudio" }, "mqtt": { "enabled": "true", "host": "192.168.178.15" }, "sounds": { "system": "aplay" }, "speech_to_text": { "system": "kaldi" }, "text_to_speech": { "picotts": { "language": "de-DE" }, "system": "picotts" }, "wake": { "porcupine": { "keyword_path": "terminator.ppn", "sensitivity": "0.9" }, "snowboy": { "sensitivity": "0.9" }, "system": "porcupine" } } -
@LichtAn sagte in Rhasspy Offline Sprachsteuerung:
WARNING: Skipping pixel-ring as it is not installed.
Skipping pixel-ring as it is not installed.Jetzt, wo Du es sagst, meine ich mich zu erinnern, daß irgendwas mit pixel-ring manuell in Raspbian nachinstalliert werden musste
Musst Du mal googeln.Gruß
Jörg -
Hallo zusammen,
habe das Thema noch nicht aufgegeben und experimentiere weiter.
Unter anderem habe ich ein neues Gehäuse entworfen:
Das steuern der Rollos hat mich zum verzweifeln gebracht, denn der Wert für die Höhe kommt als json mit allen anderen Informationen und leider nicht wie bei snips in einem extra Objekt:
{"input": "rolladen wohnzimmer t\u00fcr auf 100", "intent": {"intentName": "Rolladen", "confidenceScore": 1.0}, "siteId": "Rhasspy", "id": null, "slots": [{"entity": "state", "value": {"kind": "Unknown", "value": "auf"}, "slotName": "state", "rawValue": "auf", "confidence": 1.0, "range": {"start": 24, "end": 27, "rawStart": 24, "rawEnd": 27}}, {"entity": "rhasspy/number", "value": {"kind": "Number", "value": 100}, "slotName": "level", "rawValue": "einhundert", "confidence": 1.0, "range": {"start": 28, "end": 31, "rawStart": 28, "rawEnd": 38}}], "sessionId": "Rhasspy-snowboy-65c499ff-4dfb-4c39-96e4-acc8a415c6a0", "customData": null, "asrTokens": [[{"value": "rolladen", "confidence": 1.0, "rangeStart": 0, "rangeEnd": 8, "time": null}, {"value": "wohnzimmer", "confidence": 1.0, "rangeStart": 9, "rangeEnd": 19, "time": null}, {"value": "t\u00fcr", "confidence": 1.0, "rangeStart": 20, "rangeEnd": 23, "time": null}, {"value": "auf", "confidence": 1.0, "rangeStart": 24, "rangeEnd": 27, "time": null}, {"value": "100", "confidence": 1.0, "rangeStart": 28, "rangeEnd": 31, "time": null}]], "asrConfidence": null, "rawInput": "rolladen wohnzimmer t\u00fcr auf einhundert", "wakewordId": "snowboy", "lang": null}Ich habe für mich jetzt eine Lösung mit Blockly gefunden:
Blockly:
<xml xmlns="https://developers.google.com/blockly/xml"> <variables> <variable type="timeout" id="timeout">timeout</variable> <variable id="|A(#s1Q|dT6w7z+zQyHz">value</variable> <variable id="T!V%u*?{Lo@u?5]B+)H$">Zahl</variable> </variables> <block type="timeouts_settimeout" id="n2rB~3*xP|)9ktCE:%lj" x="63" y="62"> <field name="NAME">timeout</field> <field name="DELAY">100</field> <field name="UNIT">ms</field> <statement name="STATEMENT"> <block type="variables_set" id="e{I*$T]o}hp8Q8}L+#{f"> <field name="VAR" id="|A(#s1Q|dT6w7z+zQyHz">value</field> <value name="VALUE"> <block type="math_number" id="DL+[[L|{=(4u](q7eF.o"> <field name="NUM">0</field> </block> </value> <next> <block type="variables_set" id="pGY[b~[G:)cfBCrc91=U"> <field name="VAR" id="|A(#s1Q|dT6w7z+zQyHz">value</field> <value name="VALUE"> <block type="text_indexOf" id="q9ki9#CsxV/{_4TMZasW"> <field name="END">FIRST</field> <value name="VALUE"> <block type="get_value" id="0Zq?tSt?HEJU^`0R-I)|"> <field name="ATTR">val</field> <field name="OID">mqtt.1.hermes.intent.Rolladen</field> </block> </value> <value name="FIND"> <shadow type="text" id=":yfmC+l}Y[Z4v+$t_wOc"> <field name="TEXT">"Number", "value": </field> </shadow> </value> </block> </value> <next> <block type="debug" id="p|S?-jixH7|`sohkqTn5"> <field name="Severity">error</field> <value name="TEXT"> <shadow type="text" id=")PtPR*Hx=,T,6-*17K05"> <field name="TEXT">test</field> </shadow> <block type="text_join" id="$ARqB#;=_c}{qFu~yED!"> <mutation items="2"></mutation> <value name="ADD0"> <block type="text" id="aBE+*t7M(W|$zZSZNUj("> <field name="TEXT">Wert:</field> </block> </value> <value name="ADD1"> <block type="variables_get" id=";LSavN1sdU.Z2v13,d4j"> <field name="VAR" id="|A(#s1Q|dT6w7z+zQyHz">value</field> </block> </value> </block> </value> <next> <block type="variables_set" id="Q.|`xbPB9Kc/4)3tii:,"> <field name="VAR" id="T!V%u*?{Lo@u?5]B+)H$">Zahl</field> <value name="VALUE"> <block type="text_getSubstring" id="goWC9Y]:eah~9zv(DW/t"> <mutation at1="true" at2="true"></mutation> <field name="WHERE1">FROM_START</field> <field name="WHERE2">FROM_START</field> <value name="STRING"> <block type="get_value" id="#M;e|{LS(l^-qYmc.ibq"> <field name="ATTR">val</field> <field name="OID">mqtt.1.hermes.intent.Rolladen</field> </block> </value> <value name="AT1"> <block type="math_arithmetic" id="8SkLCGA1aZ:WeznQlVfR"> <field name="OP">ADD</field> <value name="A"> <shadow type="math_number" id="gmY92N!JXY,+!_^O/6s_"> <field name="NUM">1</field> </shadow> <block type="variables_get" id="I(_okp%snZFDZ{RpU5^c"> <field name="VAR" id="|A(#s1Q|dT6w7z+zQyHz">value</field> </block> </value> <value name="B"> <shadow type="math_number" id="i`$j`5XKn6s~*sq|tvgP"> <field name="NUM">18</field> </shadow> </value> </block> </value> <value name="AT2"> <block type="math_arithmetic" id="_s+dNi*+FuD+/2rp3^oq"> <field name="OP">ADD</field> <value name="A"> <shadow type="math_number" id=")43cmDFXu^?4F*AN~+rD"> <field name="NUM">1</field> </shadow> <block type="variables_get" id="k#tgw*/aI.jc+*`7n+vv"> <field name="VAR" id="|A(#s1Q|dT6w7z+zQyHz">value</field> </block> </value> <value name="B"> <shadow type="math_number" id="fvDbF#_Y$vk*Sm/;hV%f"> <field name="NUM">21</field> </shadow> </value> </block> </value> </block> </value> <next> <block type="debug" id="oP{+iVFcy;[dCS@T{~2e"> <field name="Severity">error</field> <value name="TEXT"> <shadow type="text" id="^%YU2:MyF,0q]KJ7D2_;"> <field name="TEXT">test</field> </shadow> <block type="text_join" id="pX?}nb#3k}V84afg)?[%"> <mutation items="2"></mutation> <value name="ADD0"> <block type="text" id="Ww[lOLd.98~Ei/z^h|Zu"> <field name="TEXT">Zahl:</field> </block> </value> <value name="ADD1"> <block type="convert_tonumber" id="WNXgm]`S(C=E_-`Oc;yz"> <value name="VALUE"> <block type="variables_get" id=".8PZm%eiejMn=Nfew=KJ"> <field name="VAR" id="T!V%u*?{Lo@u?5]B+)H$">Zahl</field> </block> </value> </block> </value> </block> </value> </block> </next> </block> </next> </block> </next> </block> </next> </block> </statement> </block> </xml>Vielleicht hilft es dem einen oder anderen ja.
Übrigens, durch das konvertieren als Zahl werden bei ein oder zwei Stellen die } und oder das " weggefiltert.Hiermit habe ich erste Erfolge:
Blockly:
<xml xmlns="https://developers.google.com/blockly/xml"> <variables> <variable id="|A(#s1Q|dT6w7z+zQyHz">value</variable> <variable id="OP[n8/:%8L#3S*:zFXMV">Wohnzimmer Tür</variable> <variable id="T!V%u*?{Lo@u?5]B+)H$">Zahl</variable> </variables> <block type="variables_set" id="e{I*$T]o}hp8Q8}L+#{f" x="213" y="113"> <field name="VAR" id="|A(#s1Q|dT6w7z+zQyHz">value</field> <value name="VALUE"> <block type="math_number" id="DL+[[L|{=(4u](q7eF.o"> <field name="NUM">0</field> </block> </value> <next> <block type="on" id="iLJj3nj3c/!TmdW8Yh$f"> <field name="OID">mqtt.1.hermes.intent.RolladenLevel</field> <field name="CONDITION">ne</field> <field name="ACK_CONDITION"></field> <statement name="STATEMENT"> <block type="variables_set" id="2Pk.06df8uC29xlRePa*"> <field name="VAR" id="OP[n8/:%8L#3S*:zFXMV">Wohnzimmer Tür</field> <value name="VALUE"> <block type="text_indexOf" id="8+qMs?x;=:Fpi;q~+VMa"> <field name="END">FIRST</field> <value name="VALUE"> <block type="get_value" id="dc!siC#~|0eWHgt4QXqr"> <field name="ATTR">val</field> <field name="OID">mqtt.1.hermes.intent.RolladenLevel</field> </block> </value> <value name="FIND"> <shadow type="text" id="TlK#%NYO+FjqZlfL:HJx"> <field name="TEXT">wohnzimmer t</field> </shadow> </value> </block> </value> <next> <block type="variables_set" id="pGY[b~[G:)cfBCrc91=U"> <field name="VAR" id="|A(#s1Q|dT6w7z+zQyHz">value</field> <value name="VALUE"> <block type="text_indexOf" id="q9ki9#CsxV/{_4TMZasW"> <field name="END">FIRST</field> <value name="VALUE"> <block type="get_value" id="E)6^}Dz7q-pk8uk![1?~"> <field name="ATTR">val</field> <field name="OID">mqtt.1.hermes.intent.RolladenLevel</field> </block> </value> <value name="FIND"> <shadow type="text" id=":yfmC+l}Y[Z4v+$t_wOc"> <field name="TEXT">"Number", "value": </field> </shadow> </value> </block> </value> <next> <block type="variables_set" id="Q.|`xbPB9Kc/4)3tii:,"> <field name="VAR" id="T!V%u*?{Lo@u?5]B+)H$">Zahl</field> <value name="VALUE"> <block type="text_getSubstring" id="goWC9Y]:eah~9zv(DW/t"> <mutation at1="true" at2="true"></mutation> <field name="WHERE1">FROM_START</field> <field name="WHERE2">FROM_START</field> <value name="STRING"> <block type="get_value" id="cfDEoxV:JY?5|uur%#8c"> <field name="ATTR">val</field> <field name="OID">mqtt.1.hermes.intent.RolladenLevel</field> </block> </value> <value name="AT1"> <block type="math_arithmetic" id="8SkLCGA1aZ:WeznQlVfR"> <field name="OP">ADD</field> <value name="A"> <shadow type="math_number" id="gmY92N!JXY,+!_^O/6s_"> <field name="NUM">1</field> </shadow> <block type="variables_get" id="I(_okp%snZFDZ{RpU5^c"> <field name="VAR" id="|A(#s1Q|dT6w7z+zQyHz">value</field> </block> </value> <value name="B"> <shadow type="math_number" id="i`$j`5XKn6s~*sq|tvgP"> <field name="NUM">18</field> </shadow> </value> </block> </value> <value name="AT2"> <block type="math_arithmetic" id="_s+dNi*+FuD+/2rp3^oq"> <field name="OP">ADD</field> <value name="A"> <shadow type="math_number" id=")43cmDFXu^?4F*AN~+rD"> <field name="NUM">1</field> </shadow> <block type="variables_get" id="k#tgw*/aI.jc+*`7n+vv"> <field name="VAR" id="|A(#s1Q|dT6w7z+zQyHz">value</field> </block> </value> <value name="B"> <shadow type="math_number" id="fvDbF#_Y$vk*Sm/;hV%f"> <field name="NUM">21</field> </shadow> </value> </block> </value> </block> </value> <next> <block type="variables_set" id="DYC-tC_HX!sfPbf}bIo#"> <field name="VAR" id="T!V%u*?{Lo@u?5]B+)H$">Zahl</field> <value name="VALUE"> <block type="convert_tonumber" id="WNXgm]`S(C=E_-`Oc;yz"> <value name="VALUE"> <block type="variables_get" id=".8PZm%eiejMn=Nfew=KJ"> <field name="VAR" id="T!V%u*?{Lo@u?5]B+)H$">Zahl</field> </block> </value> </block> </value> <next> <block type="controls_if" id="4PtA40X1C(NhBM}s_7p4"> <value name="IF0"> <block type="logic_compare" id="D}5KH:mC%)Zcbh3mf-Fr"> <field name="OP">GT</field> <value name="A"> <block type="convert_tonumber" id="!nbou9Iq@I^*#33L/M[["> <value name="VALUE"> <block type="variables_get" id="N*B1XtEy++Lm!5XI8N7i"> <field name="VAR" id="OP[n8/:%8L#3S*:zFXMV">Wohnzimmer Tür</field> </block> </value> </block> </value> <value name="B"> <block type="math_number" id="#d[P5e$#w!_|x%nXdi9#"> <field name="NUM">0</field> </block> </value> </block> </value> <statement name="DO0"> <block type="control" id="86iHv3LXsiT1xbiKCp}f"> <mutation xmlns="http://www.w3.org/1999/xhtml" delay_input="false"></mutation> <field name="OID">hm-rpc.0.LEQ1277139.1.LEVEL</field> <field name="WITH_DELAY">FALSE</field> <value name="VALUE"> <block type="variables_get" id="tAqiD9nM/kiPv@BrlrDz"> <field name="VAR" id="T!V%u*?{Lo@u?5]B+)H$">Zahl</field> </block> </value> </block> </statement> </block> </next> </block> </next> </block> </next> </block> </next> </block> </statement> </block> </next> </block> <block type="logic_boolean" id="VJ@nv6*~Q;W,@*6MXJ0b" x="-762" y="238"> <field name="BOOL">TRUE</field> </block> </xml>Rhasspy Sentences:
[RolladenLevel] rolladen_name = (wohnzimmer tür)|(wohnzimmer fenster)|küche|(arbeitszimmer tür)|(arbeitszimmer fenster){name} rolladen_state = auf|level|höhe {state} rolladen_level = (0..100) {level} <rolladen_name> <rolladen_state> <rolladen_level> [Rolladen] rolladen_name = (wohnzimmer tür)|(wohnzimmer fenster)|küche|(arbeitszimmer tür)|(arbeitszimmer fenster){name} rolladen_state = (hochfahren | runterfahren | stoppen) {state} <rolladen_name> <rolladen_state>VG
Leif -
Hallo,
das ist ja sehr erfreulich. Das Gehäuse sieht wirklich gut aus. Komplett selbst gemacht oder ein vorhandenes umgehummelt?@capitaenz said in Rhasspy Offline Sprachsteuerung:
der Wert für die Höhe kommt als json mit allen anderen Informationen und leider nicht wie bei snips in einem extra Objekt
Mit dem neuen JSON-Format habe ich auch eine Weile zu tun gehabt. Mittlerweile verwende ich jedoch nur noch ein Javascript für alle meine Funktionen. Du musst halt die im JSON enthaltenen Werte richtig auslesen.
... falls du das gebrauchen möchtest...
-
@tobetobe Das Gehäuse besteht aus einem Abluftrohr... Die aktuellen Dateien habe ich noch nicht hochgeladen, aber hier das vorherige Gehäuse:
-
Ich hatte zwar schon einmal gefragt, aber vielleicht liest dies jetzt jemand, der eine Antwort parat hat:
Ich bekomme die Lautstärke für das ReSpeaker2MicArray nicht gespeichert.
Ich habe schon praktisch alle Lösungsansätze aus dem Internet durch.
Sobald ich einen Reboot durchführe, ist die Lautstärke im Alsamixer wieder auf 100%...
Die ganzen Sachen wie "alsactl store" und die Dateirechte auf "777" setzen habe ich schon durch.
Mein letzter Versuch war die "asound.state" anzupassen, aber nach einem Neustart sind wieder die alten Werte drin...
Ich nutze "Raspian Buster lite" als System.Bin jetzt schon den Kompromiss eingegangen die Soundausgabe über das Tablet zu generieren (da Rhasspy dies noch nicht über MQTT kann), aber solange die Lautstärke nicht dauerhaft gespeichert werden kann, lebt Snips wohl noch weiter
VG
Leif -
@capitaenz
hast du nach dem Speichern und dann nach dem Neustart auch ein alsactl restore durchgeführt? Wenn nicht, kommen natürlich wieder die Default-Werte. -
@tobetobe
Ich kann den Alsamixer aufrufen, kann "store" durchführen und den Wert mit "restore" auch wieder aufrufen.
Wenn ich allerdings einen Reboot durchführe, dann ist der Wert der mit "restore" aufgerufen wird wieder bei 100%...
Somit funktioniert auch der Eintrag "/usr/sbin/alsactl restore" in der "rc.local" nicht.
Müsste es so funktionieren, oder mache ich einen Fehler?VG
Leif -
So Jungs und Mädels,
ich hatte wieder ein bisschen Zeit zum testen und habe mich jetzt wieder mit meinem Hermes LED Problem befassen können. Ich habe das Problem warum es nicht geht zwar noch nicht gefunden aber ich konnte es eingrenzen.
Es muss mit einem Rechteproblem mit einem von mir zusätslich zu PI angelegten Benutzer handeln. Denn unter Pi habe ich es jetzt zum laufen bekommen. Auch wenn ich die oben von mir benutzte Anleitung für uns alle und ggf. für einen Anfängerthred einfach mal erweitere.
Danke an @joergeli @tobetobe @capitaenz
Also meine Vorraussetzetzungen sind RPI4 mit 4GB Ram und einem ReSpeaker4 für den PI
Ich werde aber auch die Schritte für den ReSpeaker2 von @capitaenz der Vollständigkeit halber mit rein nehmen.- Image Flashen mit balenaEtcher oder Win32 DiskImager (Raspberry Pi OS Lite )
- sh und wpa_supplicant.conf auf SD-Karte anlegen
- Per SSH (z.B. Putty) einloggen
sudo apt update sudo apt full-upgrade sudo curl -sSL https://get.docker.com | sh sudo usermod -aG docker pi- Jetzt wird der Pixel Ring Treiber installiert damit Hermes LED später auch funktioniert. Damit das ganze funktioniert müssen wir manuell Pyton3-pip installieren. Das ist der Paketverwalter von Phyton den wir brauchen, das er uns den Treiber installiert. Ausserdem tragen wir unsere Home/bin Verzeichnis in die PATH Variablen ein sonst kommt es bei der installation den Pixel-Ring Treibes zu einer Fehlermeldung
export PATH="/home/pi/.local/bin:$PATH" sudo apt-get install python3-pip pip3 install pixel_ring- Dann gleich anschliesend den MQTT Server (ob jetzt oder später ist egal aber dann können wir ihn schon mal nicht vergessen )
sudo apt install -y mosquitto mosquitto-clients sudo systemctl enable mosquitto.service sudo systemctl start mosquitto- So und jetzt rebooten wir erstmal
sudo reboot -n- Wieder einloggen und jetzt holen wir uns das Rhasspy Docker Image. Es gibt aktuell
(21.06.2020) die 2.5.0 stable.(10.10.2020) die 2.5.6 stable. (16.01.2021) die 2.5.9 stable
sudo docker pull rhasspy/rhasspy:2.5.9- und starten es
docker run -d -p 12101:12101 --restart unless-stopped -v "$HOME/.config/rhasspy/profiles:/profiles" --device /dev/snd:/dev/snd rhasspy/rhasspy:2.5.9 --user-profiles /profiles --profile de- so nun den Hermes LED Control installieren
sudo wget https://gist.githubusercontent.com/Psychokiller1888/a9826f92c5a3c5d03f34d182fda1ce4c/raw/cbb53252dd55dc4e9f5f6064a493f0981cf133fb/hlc_download.sh sudo chmod +x hlc_download.sh sudo ./hlc_download.shHier mein BSP für meine ReSpeaker 4 installtion. weiter unten dann die ReSpeker 2 config
-
Fragen
-
What assistant engine are you using?
2 (rhasspy) -
What's the path to your assistant config file?
/home/pi/.config/rhasspy/profiles/de/profile.json -
What device do you wish to control with SLC?
2 (respeaker4) -
What pattern do you want to use?
3 (projectalice) oder
5 (kiboost) -
Do you need to install / configure your respeaker4?
1 (yes)
So hier der Teil von Kollege @capitaenz die er für seinen Respeker 2 gemacht hat
-
Fragen
-
What assistant engine are you using?
2 (rhasspy) -
What's the path to your assistant config file?
/home/pi/.config/rhasspy/profiles/de/profile.json -
What device do you wish to control with SLC?
1 (respeaker2) -
What pattern do you want to use?
5 (kiboost) -
Do you need to install / configure your respeaker2?
1 (yes)
Ab hier gehts dann für alle wieder gleich weiter
- Ab in die Raspi Config um SLI zu aktivieren
sudo raspi-config-
->5->P4->YES->EXIT
-
und nochmal ein reboot
sudo reboot -n<IP-Rhasspy>:12101 -> Webinterface aufrufen
-
Rhasspy wie folgt einstellen:
MQTT -> External
Host -> IP Rhasspy
Port -> 1883
Audio Recording -> PyAudio
Wake Word -> Snowboy (Apply Frontend nicht anwählen und Sensitivity auf 0.9) oder bei mir ist es Porcupine da ich mit Sowboy ab dem wechseln der Wake Words ein Problem habe.
Speech to Text -> Kaldi (Dateien müssen später über das Webinterface nach einem Neustart von Rhasspy nachinstalliert werden)
Intent Recognition -> Fsticuffs
Text to Speech -> PicoTTS
Audio Playing -> aplay
Dialog Management -> Rhasspy
Intent Handling -> ausgegraut
Auf "Sentences" klicken (die Balken) -
Reboot Rhasspy
-
Anschließend die restlichen Dateien mit dem "Download" Knopf herunterladen (Kaldi)
-
Folgendes zum Test unter [ChangeLightState] eintragen:
[Rolladen] rolladen_name = (rolladen ) {name} rolladen_state = (hochfahren | runterfahren | stoppen ) {state} <rolladen_name> <rolladen_state>-
Abspeichern (Save Sentences) nicht vergessen und anschließend auf "Train" (oben rechts) drücken
-
Im ioBroker einen (weiteren) MQTT-Adapter hinzufügen.
Diesen als "Client/subscriber" einrichten
Unter "URL" die IP des Rhasspy eintragen und den Port 1883
Unter Subscribe patters UND Prefix für alle Topics folgendes eintragen:
hermes/intent/#,hermes/asr/startListening,hermes/nlu/intentNotRecognized <-- Hier war eine kleines Fehlerchen in der Ausführung vom @capitaenz es dürfen keine Leerzeichen enthalten sein
Bekanntgeben eigene States beim Verbinden den Haken raus.
hermes/intent/#,hermes/asr/startListening,hermes/nlu/intentNotRecognizedFertig!
-
Jetzt zum Test sagen:
"snowboy" "rolladen hochfahren" oder
"porcupine" "rolladen hochfahren" (je nachdem was ihr gewählt habt) -
unter mqqt.0.hermes erscheinen jetzt die Datenpunkte zum Rolladen. (Hier nur als BSP weil es @capitaenz in seiner Ausführung verwendet hat. Das ganze erweitern wie natürlich nach und nach mit [Licht] oder [Themeratur] um das ganze dann in Thematischen blöcken definieren zu können.
Das ganze hilft jetzt hoffentlich dem ein oder anderen Neueinsteiger und erspart ihm viel Zeit
Dank auch an @Xsev für den ein oder anderen kleinen Denkanstoß.
Hier zum Original Posting auf das ich mich beziehe
Gruß Flo
-
Hmmm, das sollte so eigentlich funktionieren. Dieses Alsazeug ist leider kompliziert und ich bin mit meinem Latein am Ende. Höchstens würde ich noch ein paar Lösungsansätze sehen, die du ausprobieren könntest:
ZB könntest du die Dateirechte der rc.local ändern, sodass sie vom System nicht mehr geändert werden kann. Oder du ziehst eine Kopie von der Datei und sorgst mit Hilfe eines Batches dafür, dass diese Kopie über rc.local drüberkopiert wird, bevor restore aufgerufen wird. Oder du schreibst einen Batch, der beim Systemstart eine Kommandozeile mit den richtigen Einstellungen an Alsa schickt.
Falls du eine Lösung findest, veröffentliche sie bitte hier. Gutes Gelingen
-
Das hier habe ich noch gefunden:
https://wiki.roy-bohn.de/index.php?title=Spezial:Pdfprint&page=AlsamixerFalls du nicht exakt so verfährst, wie beschrieben, wäre das auch noch einen Versuch wert.
-
Hallo zusammen,
nach einer gefühlten Ewigkeit schaffe ich es nun endlich mal das Projekt anzugehen.
Ich habe mittlerweile auch einen RPI inkl einem Mikrofon.
Bin jetzt aber am tüfteln welche Variante der Installation die beste ist.Mein Ziel ist es einen zentralen rhasspy Server mit mehreren Satelliten zu haben.
Der Server wird in einem LCX Containter auf einer Proxmox Server laufen und ist somit dediziert nur für rhasspy gemacht.
Als Betriebssystem habe ich Ubuntu 20.04 gewählt.Die Satelliten werden auf einem RPI mit Raspbian laufen betrieben.
Wie sollte ich das System am besten installieren?
Docker? Eigentlich bin ich nicht der Freund davon Docker auf einem Virtuellen Server zu betreiben der nur eine Aufgabe hat.
Das deb Package habe ich irgendwie nicht zum laufen gebracht.Ich habe mich an diese Doku gehalten.
Das Docker Image habe ich trotzdem mal installiert und gestartet.
Das funktioniert auch.
Hier habe ich aber auch schon mal eine Frage.
In der CLI über welche ich den Container gestartet habe ist nun eine Debug-Ausgabe verblieben.
Soll das so sein?
Wie starte ich den container headless und automatisch mit dem System?EDIT:
Die Antwort auf die letzte Frage habe ich schon gefunden
https://hub.docker.com/r/rhasspy/rhasspyDanke für die Hilfe und Gruß
T -
EDIT!
Habe den Fehler gefunden.
Es lag an einem Fehlenden Parameter beim Starten des docker containers auf dem Pi.
Scheinbar ging mir "--local-mqtt-port 13183" beim kopieren verloren.Hallo zusammen,
nochmal ich.
Da es sich um eine neue Frage handelt erstelle ich einen neuen Post und editiere nicht den alten.Ich habe nun sowohl einen Client als auch einen Server über das Docker Image erstellt.
Beide sind online und erreichbar.
Wenn ich nun aber einen Befehl aufzeichne und verarbeiten möchte passiert nichts.Die folgenden Ausgaben habe ich in den Konsolen.
Client
[DEBUG:2020-07-06 15:40:42,893] rhasspyserver_hermes: Waiting for transcription (session_id=fa18980a-6717-4ccf-a879-e6c0c5676778) [DEBUG:2020-07-06 15:40:42,898] rhasspyserver_hermes: -> AsrStartListening(site_id='default', session_id='fa18980a-6717-4ccf-a879-e6c0c5676778', stop_on_silence=True, send_audio_captured=True, wakeword_id=None, intent_filter=None) [DEBUG:2020-07-06 15:40:42,900] rhasspyserver_hermes: Publishing 166 bytes(s) to hermes/asr/startListening [DEBUG:2020-07-06 15:40:42,910] rhasspyremote_http_hermes: <- AsrStartListening(site_id='default', session_id='fa18980a-6717-4ccf-a879-e6c0c5676778', stop_on_silence=True, send_audio_captured=True, wakeword_id=None, intent_filter=None) [DEBUG:2020-07-06 15:40:42,912] rhasspyremote_http_hermes: <- AsrStartListening(site_id='default', session_id='fa18980a-6717-4ccf-a879-e6c0c5676778', stop_on_silence=True, send_audio_captured=True, wakeword_id=None, intent_filter=None) [DEBUG:2020-07-06 15:40:44,962] rhasspyremote_http_hermes: <- AsrStopListening(site_id='default', session_id='fa18980a-6717-4ccf-a879-e6c0c5676778') [DEBUG:2020-07-06 15:40:44,963] rhasspyremote_http_hermes: Received 47084 byte(s) of WAV data [DEBUG:2020-07-06 15:40:44,964] rhasspyremote_http_hermes: http://rhasspy.mydomain.loc:12101/api/speech-to-textServer
[DEBUG:2020-07-06 15:40:45,123] rhasspyserver_hermes: -> AsrStartListening(site_id='default', session_id='3612650b-a994-484e-bf3e-be8abef17fbe', stop_on_silence=False, send_audio_captured=True, wakeword_id=None, intent_filter=None) [DEBUG:2020-07-06 15:40:45,123] rhasspyserver_hermes: Publishing 167 bytes(s) to hermes/asr/startListening [DEBUG:2020-07-06 15:40:45,124] rhasspyserver_hermes: Sent 47304 byte(s) of WAV data [DEBUG:2020-07-06 15:40:45,124] rhasspyserver_hermes: -> AsrStopListening(site_id='default', session_id='3612650b-a994-484e-bf3e-be8abef17fbe') [DEBUG:2020-07-06 15:40:45,124] rhasspyserver_hermes: Publishing 74 bytes(s) to hermes/asr/stopListening [DEBUG:2020-07-06 15:40:45,126] rhasspyasr_kaldi_hermes: <- AsrStartListening(site_id='default', session_id='3612650b-a994-484e-bf3e-be8abef17fbe', stop_on_silence=False, send_audio_captured=True, wakeword_id=None, intent_filter=None) [DEBUG:2020-07-06 15:40:45,127] rhasspyasr_kaldi_hermes: Creating new transcriber session 3612650b-a994-484e-bf3e-be8abef17fbe [DEBUG:2020-07-06 15:40:45,144] rhasspyasr_kaldi.transcribe: Using kaldi at /usr/lib/rhasspy/lib/kaldi [DEBUG:2020-07-06 15:40:45,145] rhasspyasr_kaldi_hermes: Starting listening (session_id=3612650b-a994-484e-bf3e-be8abef17fbe) [DEBUG:2020-07-06 15:40:45,145] rhasspyasr_kaldi_hermes: Receiving audio [DEBUG:2020-07-06 15:40:45,146] rhasspyasr_kaldi.transcribe: ['/usr/lib/rhasspy/lib/kaldi/online2-tcp-nnet3-decode-faster', '--port-num=36203', '--config=/profiles/de/kaldi/model/online/conf/online.conf', '--frame-subsampling-factor=3', '--max-active=7000', '--lattice-beam=8.0', '--acoustic-scale=1.0', '--beam=24.0', '/profiles/de/kaldi/model/model/final.mdl', '/profiles/de/kaldi/model/graph/HCLG.fst', '/profiles/de/kaldi/model/graph/words.txt'] [DEBUG:2020-07-06 15:40:45,193] rhasspyasr_kaldi.transcribe: /usr/lib/rhasspy/lib/kaldi/online2-tcp-nnet3-decode-faster --port-num=36203 --config=/profiles/de/kaldi/model/online/conf/online.conf --frame-subsampling-factor=3 --max-active=7000 --lattice-beam=8.0 --acoustic-scale=1.0 --beam=24.0 /profiles/de/kaldi/model/model/final.mdl /profiles/de/kaldi/model/graph/hclg.fst /profiles/de/kaldi/model/graph/words.txt [DEBUG:2020-07-06 15:40:45,213] rhasspyasr_kaldi_hermes: <- AsrStopListening(site_id='default', session_id='3612650b-a994-484e-bf3e-be8abef17fbe') [DEBUG:2020-07-06 15:40:45,228] rhasspyasr_kaldi.transcribe: log (online2-tcp-nnet3-decode-faster[5.5]:computederivedvars():ivector-extractor.cc:183) computing derived variables for ivector extractor [DEBUG:2020-07-06 15:40:45,720] rhasspyasr_kaldi.transcribe: log (online2-tcp-nnet3-decode-faster[5.5]:computederivedvars():ivector-extractor.cc:204) done. [DEBUG:2020-07-06 15:40:45,749] rhasspyasr_kaldi.transcribe: log (online2-tcp-nnet3-decode-faster[5.5]:removeorphannodes():nnet-nnet.cc:948) removed 1 orphan nodes. [DEBUG:2020-07-06 15:40:45,749] rhasspyasr_kaldi.transcribe: log (online2-tcp-nnet3-decode-faster[5.5]:removeorphancomponents():nnet-nnet.cc:847) removing 2 orphan components. [DEBUG:2020-07-06 15:40:45,749] rhasspyasr_kaldi.transcribe: log (online2-tcp-nnet3-decode-faster[5.5]:collapse():nnet-utils.cc:1472) added 1 components, removed 2 [DEBUG:2020-07-06 15:40:45,790] rhasspyasr_kaldi.transcribe: log (online2-tcp-nnet3-decode-faster[5.5]:compilelooped():nnet-compile-looped.cc:345) spent 0.0377569 seconds in looped compilation. [DEBUG:2020-07-06 15:40:45,791] rhasspyasr_kaldi.transcribe: error (online2-tcp-nnet3-decode-faster[5.5]:input():kaldi-io.cc:756) error opening input stream /profiles/de/kaldi/model/graph/hclg.fst [DEBUG:2020-07-06 15:40:45,791] rhasspyasr_kaldi.transcribe: [ stack-trace: ] [DEBUG:2020-07-06 15:40:45,791] rhasspyasr_kaldi.transcribe: /usr/lib/rhasspy/lib/kaldi/libkaldi-base.so(kaldi::messagelogger::logmessage() const+0xb42) [0x7f12f1e94652] [DEBUG:2020-07-06 15:40:45,791] rhasspyasr_kaldi.transcribe: /usr/lib/rhasspy/lib/kaldi/online2-tcp-nnet3-decode-faster(kaldi::messagelogger::logandthrow::operator=(kaldi::messagelogger const&)+0x21) [0x5591a47651d7] [DEBUG:2020-07-06 15:40:45,791] rhasspyasr_kaldi.transcribe: /usr/lib/rhasspy/lib/kaldi/libkaldi-util.so(kaldi::input::input(std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > const&, bool*)+0xbe) [0x7f12f235aa80] [DEBUG:2020-07-06 15:40:45,791] rhasspyasr_kaldi.transcribe: /usr/lib/rhasspy/lib/kaldi/libkaldi-fstext.so(fst::readfstkaldigeneric(std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> >, bool)+0x4d) [0x7f12f2864626] [DEBUG:2020-07-06 15:40:45,791] rhasspyasr_kaldi.transcribe: /usr/lib/rhasspy/lib/kaldi/online2-tcp-nnet3-decode-faster(main+0xc57) [0x5591a4761a21] [DEBUG:2020-07-06 15:40:45,791] rhasspyasr_kaldi.transcribe: /lib/x86_64-linux-gnu/libc.so.6(__libc_start_main+0xf3) [0x7f12f16db1e3] [DEBUG:2020-07-06 15:40:45,791] rhasspyasr_kaldi.transcribe: /usr/lib/rhasspy/lib/kaldi/online2-tcp-nnet3-decode-faster(_start+0x2a) [0x5591a475f71a] [DEBUG:2020-07-06 15:40:45,791] rhasspyasr_kaldi.transcribe: kaldi::kaldifatalerrorScheinbar gibt es einen Fehler mit kaldi, jedoch weiß ich nicht wo ich mit der Suche anfangen soll.
EDIT!
Mir ist eben noch aufgefallen, dass ich beim Start des Docker Containers ebenfalls einen Fehler im Log sehen.[DEBUG:2020-07-07 11:08:50,405] rhasspyserver_hermes: Starting core [DEBUG:2020-07-07 11:08:50,405] rhasspyserver_hermes: Connecting to localhost:12183 (retries: 0/10) [ERROR:2020-07-07 11:08:50,408] rhasspyserver_hermes: mqtt connect Traceback (most recent call last): File "/usr/lib/rhasspy/lib/python3.7/site-packages/rhasspyserver_hermes/__init__.py", line 223, in start self.client.connect(self.host, self.port) File "/usr/lib/rhasspy/lib/python3.7/site-packages/paho/mqtt/client.py", line 937, in connect return self.reconnect() File "/usr/lib/rhasspy/lib/python3.7/site-packages/paho/mqtt/client.py", line 1071, in reconnect sock = self._create_socket_connection() File "/usr/lib/rhasspy/lib/python3.7/site-packages/paho/mqtt/client.py", line 3522, in _create_socket_connection return socket.create_connection(addr, source_address=source, timeout=self._keepalive) File "/usr/lib/python3.7/socket.py", line 727, in create_connection raise err File "/usr/lib/python3.7/socket.py", line 716, in create_connection sock.connect(sa) ConnectionRefusedError: [Errno 111] Connection refused 2020-07-07 11:08:50,827 INFO spawned: 'mqtt' with pid 175Gruß
T
