[Aufruf] Adapter: Snips - Offline Speak2Text
-
Hallo!
ich spiele gerade mit dem Snips Adapter und der Iobroker App. Schon einmal ein riesen Dankeschön für die Arbeit die ihr hier geleistet habt.
Gibt es eine Übersicht, welche Begriffe/Sätze/Elemente schon in der App trainiert sind?
Wenn ihr die Erkennung von Snips im TextToCommand -Adapter auswertet, geht ihr da über "receive -> text" oder über die Slots? Wenn ich es teste, werden nicht immer alle Slots erkannt (einmal gehts, beim nächsten Versuch wieder nicht).
Ich habe schon einen TextToCommand für Telegram. Muss Snips dann eine zweite Instanz von TextToCommand erhalten?Grüße
Vore
-
@vore
Guten Morgen,
Zu text2command: Du kannst normalerweise die gleiche Instanz verwenden, der Ausgabedatenpunkt muss nur mit all.send.text belegt werden können.Ausgewertet werden sollte der Datenpunkt compiledText, das ist der Punkt Text bei dem die erkannten Slots ersetzt wurden.
Die bereits eingepflegten Wort/Sätze/etc. kannst du einsehen, indem du auf Console.snips.ai einen Ableger (Fork) der App erstellst. Dann kannst du alle Inhalte einsehen.
Wichtig: Bitte trotzdem meine App verwenden, da der Adapter nur darauf reagiert. Wenn du Verbesserungvorschläge hast, gerne hier posten oder per PN. Pflege das dann ein. -
Ich habe noch eine Frage :
Bekommt der Adapter in Verbindung mit dem t2c auch mit, in welchem Raum der Befehl umgesetzt wird.
zB:
In der Küche : Licht ein - statt :Licht in der Küche ein - um das Licht in der Küche zu schalten
Oder
Im Wohnzimmer: Licht ein - statt :Licht im Wohnzimmer ein - um das Licht im WZ zu schalten -
@frank70 sagte in [Aufruf] Adapter: Snips - Offline Speak2Text:
Muss ich deinen Assistant nach dem update neu installieren?
Ich hab es gemacht, stand irgendwo in der Ankündigung. Keine Ahnung, ob es notwendig ist.
sam update-assistantsollte reichen.
-
@rascal sagte in [Aufruf] Adapter: Snips - Offline Speak2Text:
Bekommt der Adapter in Verbindung mit dem t2c auch mit, in welchem Raum der Befehl umgesetzt wird.
Das wird der nächste Schritt. Sobald Rückmeldungen kommen, dass der neue Adapter funktioniert, können wir ihn ins Stable Repository umziehen und weitere Funktionalität einbauen. Ich weiß bisher nicht, ob die testing-Version überhaupt jemand installiert hat und ob es Probleme gibt.
-
@unltdnetworx
Danke!
Text2Command habe ich eingerichtet..läuft, Compiled Text OK, Fork habe ich gemacht und alles mal in eine Textdatei kopiert. Ich melde mich mit wünschen
Noch eine generelle Frage: ich kann mit dem T2C Adapter nur feste Werte an Komponenten weitergeben. Wir habt ihr das z.B. mit Lautstärke gemacht? Es ist ja sehr aufwendig für jede Lautstärkestufe (1..60) einen eigenen Eintrage in den T2C Adapter zu packen. Kann man den erkannten Wert von Snips als Variable in den T2C Adapter übernehmen?testing-Version läuft!
Gruß
VoRe -
@vore sagte in [Aufruf] Adapter: Snips - Offline Speak2Text:
Noch eine generelle Frage: ich kann mit dem T2C Adapter nur feste Werte an Komponenten weitergeben. Wir habt ihr das z.B. mit Lautstärke gemacht? Es ist ja sehr aufwendig für jede Lautstärkestufe (1..60) einen eigenen Eintrage in den T2C Adapter zu packen. Kann man den erkannten Wert von Snips als Variable in den T2C Adapter übernehmen?
testing-Version läuft!
Gruß
VoReStimmt, das Problem hatte ich auch. "Radio auf 40" ist zb nicht gegangen, da er die "40" als "vierzig" ausgegeben hat.
-
@rascal
Also Zahlen sollten in den letzten zwei bis drei Versionen schon als echte Zahlen ausgegeben worden sein. Im Value-Slot bzw. compiledText wohlgemerkt. In Text alleine natürlich nicht. -
Hallo!
Ja, das ist klar. Aber wie bekomme ich den Wert aus "Value" in den T2C-Adapter?
Bis jetzt mache ich das wie im Anhang. Das muss doch noch irgendwie einfacher funktionieren?!
-
Dazu müssten wir eine eigene Regel für text2command erstellen. Es besteht ja die Möglichkeit eigene Regeln zu erstellen. Habe mich damit aber noch nicht genug beschäftigt. Aber im Prinzip kann man damit bestimmt mittels getForeignState auf den Slot Value zugreifen und dann als Lautstärkenwert eintragen lassen.
-
@unltdnetworx said in [Aufruf] Adapter: Snips - Offline Speak2Text:
@frank70 sagte in [Aufruf] Adapter: Snips - Offline Speak2Text:
Muss ich deinen Assistant nach dem update neu installieren?
Ich hab es gemacht, stand irgendwo in der Ankündigung. Keine Ahnung, ob es notwendig ist.
sam update-assistantsollte reichen.
ist wohl notwendig!
Connected to device localhost OS version ................... Debian GNU/Linux 9 (stretch) Installed assistant .......... ASSI-1 Language ..................... de Hotword ...................... hey_snips ASR engine ................... snips Status ....................... Live Service status: snips-analytics .............. 0.61.1 (not running) snips-asr .................... 0.61.1 (running) snips-audio-server ........... 0.61.1 (not running) snips-dialogue ............... 0.61.1 (running) snips-hotword ................ 0.61.1 (running) snips-nlu .................... 0.61.1 (running) snips-skill-server ........... 0.61.1 (not running) snips-tts .................... 0.61.1 (running) -
@frank70
Ist also die Satelliten Konfiguration?
Dann drück ich mal die Daumen, dass alles funktioniert wie erhofft.
-
@unltdnetworx Die Satelliten bekomme ich nicht upgedated. Habs im Snips Forum in einem thread geposted, in dem Fehler der Release diskutiert werden. Hat sich aber leider niemand berufen gefühlt einen Tip abzugeben.
-
Aber du kannst dich mit
sam disconnect sam connect IPdamit verbinden?
-
@unltdnetworx ja, das ist nicht das Problem. Hier ein connect vom Server auf einen Satelliten:
xxxx@SNIPS-SERVER:~# sam disconnect â Disconnected from device root@SNIPS-SERVER:~# sam connect 192.168.90.42 ? Enter username for the device: xxxxx ? Enter password for the device: [hidden] â Connected to 192.168.90.42 i A public key has been generated and copied to the device at 192.168.90.42:~/.ssh/authorized_keys xxxx@SNIPS-SERVER:~# sam update Updating Snips Platform â Finished updating the platform xxxx@SNIPS-SERVER:~# sam status Connected to device 192.168.90.42 OS version ................... Raspbian GNU/Linux 9 (stretch) Installed assistant .......... Not installed Status ....................... Live (no assistant) Service status: snips-analytics .............. 0.60.10 (not running) snips-asr .................... 0.60.10 (not running) snips-audio-server ........... 0.60.10 (not running) snips-dialogue ............... 0.60.10 (not running) snips-hotword ................ 0.60.10 (running) snips-nlu .................... 0.60.10 (not running) snips-skill-server ........... 0.60.10 (running) snips-tts .................... 0.60.10 (running)Edit: Die Satelliten funktionieren übrigens auch mit der alten Plattform mit der neuen Server Version. Bei "sam watch" über einen client werden allerdings die ASR und NLU info, also auch die IOBroker slots, nicht sauber per MQTT angezeigt. sam watch auf dem Server funktioniert und der Adapter ebenso.
-
@frank70
ASR und NLU läuft ja ohnehin auf dem Server. Solange es funktioniert top. -
@Wal
Wir könnten meiner Meinung nach den Testing Branch wieder zusammenführen und als Stable veröffentlichen. Was meinst du?Da Installationen über die github-Katze ohnehin als beta angesehen werden, können wir uns den Testing Branch im Prinzip auch sparen?!
-
@unltdnetworx sagte in [Aufruf] Adapter: Snips - Offline Speak2Text:
Da Installationen über die github-Katze ohnehin als beta angesehen werden, können wir uns den Testing Branch im Prinzip auch sparen?!
mja sogar noch bissl genauer als tip
- GitHub install ==> developer version
- Release in latest (als NPM packet) ==> beta
- Release in stable (als NPM packet) ==> production
So hantiere ich es jedenfalls mit meinen Adaptern, man kan ja auch Versionen wieder von NPM entfernen wen die beta zu verbucht war (mir leider auch bereits passiert)
-
@Dutchman
So wäre es auch vorgesehen. Danke -
Hallo,
ich bin nun mit meinem Projekt etwas weitergekommen.
Habe das Audiostreaming über Mopidy und Snapserver realisiert.
Wenn das Streaming läuft, dann kann der Satellit nur das Hotword wahrnehmen.
Über Blocky prüfe ich das und schreibe dann in eine Datei, welche per ssh auf dem Satelliten den Snapclient stoppt, da sonst der Satellit nichts erkennt und auch nicht zurückgibt.Es gäbe noch die Möglichkeit, dass der MPD client adapter das Abspielen stoppt.
Leider startet das Lied immer von vorn.Ein Mute zu auszulösen hilft nicht. Der Satellit nimmt nichts mehr entgegeben.
Habt Ihr irgendwelche Ideen um den Ablauf schneller hinzubekommen ?
Danke.
