[Aufruf] Adapter: Snips - Offline Speak2Text
-
@unltdnetworx
Hallo, super.
Danke für die schnelle Umsetzung.
Ich werde es Morgen versuchen.
Wie verhält es sich, wenn man dann doch irgendwann ein Mikrofon anschließt? -
@rascal
Das ist dann kein Problem, die restlichen Felder werden einfach ergänzt. -
@popl said in [Aufruf] Adapter: Snips - Offline Speak2Text:
Hat jemand Jalousien die er über snips ansteuert? Wie sprecht ihr die Lamelle an?
Gibt es die Möglichkeit 2 Werte zu übergeben, z.B. Fahre Jalousie(oder Rollo) auf 50% und die Lamelle auf 20%.
Könnte man in T2C noch eine Jalousie Funktion gleich der Rollo-Funktion + (Winkel-)Position der Lamelle integrieren ?
DankeHat niemand Jalousien?
-
@unltdnetworx
Irgendwie ist jetzt bei mir der Wurm drin....Ich habe snips auf einem Rasp installiert und mittels des Scripts von Psychokiller den Satelitten mit dem Main zu verbinden. Dürfte alles ganz gut geklappt haben.
Dann habe ich mittels des neuen Satellite Injekt den Satelliten hinzugefügt und versucht einen Text ausgeben zu lassen.
Dies hat leider nicht funktioniert. Die Lautsprecher des Satelliten funktionieren aber (mit sam test speaker) überprüft.Jetzt fangen die Probleme an... der Main piept jetzt 2x wenn ich "Hey snips" sage und er gibt den Slots nicht an iobroker weiter.
Mittlerweile habe ich snips komplett gelöscht (inklusive config file im /etc/ Ordner), sowie den Adapter in Iobroker.
Der Adapter legt mir auch die Intent Variablen nicht an, sonder nur /devices/default/send/text und /devices/default/sessionID
(Natürlich auch die hotword, info, send...)Ich bin jetzt wieder auf die Adapterversion 1.1.1 zurückgegangen, da funktioniert es, Snips übernimmt die Kommandos, allerdings piepst er zwei Mal. Mir ist auch aufgefallen, dass er zwei SessionID's anlegt.
Vor dem Downgrade habe ich mit der Version 1.1.2 die Satelliten angelegt, leider bekomme ich sie nicht dazu, Sprache auszugeben.
Welche Services müssen nur für eine Sprachausgabe laufen?Hier ein Auszug aus "sam watch" am Main mit der Adapterversion 1.1.2:
[20:57:08] [Asr] was asked to stop listening on site default [20:57:08] [Hotword] was asked to toggle itself 'on' on site default [20:57:17] [Hotword] detected on site default, for model hey_snips [20:57:17] [Asr] was asked to stop listening on site default [20:57:17] [Asr] was asked to stop listening on site default [20:57:17] [Hotword] detected on site default, for model hey_snips [20:57:17] [Hotword] was asked to toggle itself 'off' on site default [20:57:17] [Dialogue] session with id 'a64ddbb5-7833-4584-b2a7-2c687e7fb498' was started on site default [20:57:17] [Hotword] was asked to toggle itself 'off' on site default [20:57:17] [Asr] was asked to listen on site default [20:57:17] [Dialogue] session with id '06f20620-2196-41e0-96bc-f02bfc1e0c92' was started on site default [20:57:17] [Asr] was asked to listen on site default [20:57:21] [Asr] captured text "schalte das licht an" in 3.0s [20:57:21] [Asr] was asked to stop listening on site default [20:57:21] [Nlu] was asked to parse input "schalte das licht an" [20:57:21] [Nlu] intent not recognized for "schalte das licht an" [20:57:21] [Nlu] detected intent unltdnetworx:setDevice with confidence score 1.000 for input "schalte das licht an" Slots -> device -> Licht (confidence: 0.967) command -> true (confidence: 1.000) [20:57:21] [Dialogue] session with id 'a64ddbb5-7833-4584-b2a7-2c687e7fb498' was ended on site default. The session was ended because the platform didn't understand the user [20:57:21] [Asr] was asked to stop listening on site default [20:57:21] [Hotword] was asked to toggle itself 'on' on site default [20:57:33] [Dialogue] session with id '06f20620-2196-41e0-96bc-f02bfc1e0c92' was ended on site default. The session was ended because one of the component didn't respond in a timely manner [20:57:33] [Asr] was asked to stop listening on site default [20:57:33] [Hotword] was asked to toggle itself 'on' on site defaultIch hoffe da ist was für dich dabei
-
Jetzt gibt er mir auch auf meinem Main, wo die Sprachausgabe funktioniert hat, den Text mehrfach aus. (auch in verschiedenen Sprachen deutsch/englisch)
Apr 02 21:57:24 Dachbodenraum snips-dialogue[2415]: INFO:snips_dialogue_lib::coordinator::coordinator: Session [6a0a1f36-cd6e-48b2-b408-ce27b78ad743]: closing session which was active: Nominal Apr 02 21:57:24 Dachbodenraum snips-dialogue[2415]: INFO:snips_dialogue_lib::coordinator::coordinator: Site [default]: reset site -> turn off ASR and turn on Hotword Apr 02 21:57:24 Dachbodenraum snips-hotword[2399]: INFO:snips_hotword_lib::audio : Audio thread for site default started. Apr 02 21:57:25 Dachbodenraum snips-audio-server[2411]: INFO:snips_audio_portaudio : Playing of "8d138c9c-5c7a-4252-970e-ad7d23903372" finished Apr 02 21:57:25 Dachbodenraum snips-audio-server[2411]: INFO:snips_audio_portaudio : Playing "9b231e18-b224-4fe6-a56f-d07000e3f6d6" using output "default", wav spec: WavSpec { channels: 1, sample_rate: 16000, bits_per_sample: 16, sample_format: Int } Apr 02 21:57:25 Dachbodenraum snips-dialogue[2415]: WARN:snips_dialogue_lib::coordinator::coordinator: No Session found for this response: AudioPlayFinished(AudioFinishedPayload) Apr 02 21:57:25 Dachbodenraum snips-tts[2418]: INFO:snips_tts_hermes: Received a play finished message from audio server with an unknown id '8d138c9c-5c7a-4252-970e-ad7d23903372'. Ignoring it. Apr 02 21:57:25 Dachbodenraum snips-dialogue[2415]: WARN:snips_dialogue_lib::coordinator::coordinator: No Session found for this response: TtsSayFinished(TtsFinishedPayload) Apr 02 21:57:26 Dachbodenraum snips-audio-server[2411]: INFO:snips_audio_portaudio : Playing of "9b231e18-b224-4fe6-a56f-d07000e3f6d6" finished Apr 02 21:57:26 Dachbodenraum snips-audio-server[2411]: INFO:snips_audio_portaudio : Playing "b20fab28-569b-47d5-a94f-f0bcdd1ac6c3" using output "default", wav spec: WavSpec { channels: 1, sample_rate: 16000, bits_per_sample: 16, sample_format: Int } Apr 02 21:57:26 Dachbodenraum snips-dialogue[2415]: WARN:snips_dialogue_lib::coordinator::coordinator: No Session found for this response: AudioPlayFinished(AudioFinishedPayload) Apr 02 21:57:26 Dachbodenraum snips-dialogue[2415]: WARN:snips_dialogue_lib::coordinator::coordinator: No Session found for this response: TtsSayFinished(TtsFinishedPayload) Apr 02 21:57:26 Dachbodenraum snips-hotword[2399]: INFO:snips_hotword_lib::audio : Audio thread for site default started. Apr 02 21:57:26 Dachbodenraum snips-audio-server[2411]: INFO:snips_audio_portaudio : Playing of "b20fab28-569b-47d5-a94f-f0bcdd1ac6c3" finished Apr 02 21:57:26 Dachbodenraum snips-audio-server[2411]: INFO:snips_audio_portaudio : Playing "8a099870-6032-4b16-8120-2a26332a5a1a" using output "default", wav spec: WavSpec { channels: 1, sample_rate: 16000, bits_per_sample: 16, sample_format: Int } Apr 02 21:57:26 Dachbodenraum snips-dialogue[2415]: WARN:snips_dialogue_lib::coordinator::coordinator: No Session found for this response: AudioPlayFinished(AudioFinishedPayload) Apr 02 21:57:26 Dachbodenraum snips-tts[2418]: INFO:snips_tts_hermes: Received a play finished message from audio server with an unknown id 'b20fab28-569b-47d5-a94f-f0bcdd1ac6c3'. Ignoring it. Apr 02 21:57:26 Dachbodenraum snips-dialogue[2415]: WARN:snips_dialogue_lib::coordinator::coordinator: No Session found for this response: TtsSayFinished(TtsFinishedPayload) Apr 02 21:57:27 Dachbodenraum snips-audio-server[2411]: INFO:snips_audio_portaudio : Playing of "8a099870-6032-4b16-8120-2a26332a5a1a" finished Apr 02 21:57:27 Dachbodenraum snips-audio-server[2411]: INFO:snips_audio_portaudio : Playing "5603373b-ae62-49ae-b812-6c97a18d1f2f" using output "default", wav spec: WavSpec { channels: 1, sample_rate: 16000, bits_per_sample: 16, sample_format: Int } Apr 02 21:57:27 Dachbodenraum snips-dialogue[2415]: WARN:snips_dialogue_lib::coordinator::coordinator: No Session found for this response: AudioPlayFinished(AudioFinishedPayload) Apr 02 21:57:27 Dachbodenraum snips-dialogue[2415]: WARN:snips_dialogue_lib::coordinator::coordinator: No Session found for this response: TtsSayFinished(TtsFinishedPayload) Apr 02 21:57:27 Dachbodenraum snips-hotword[2399]: INFO:snips_hotword_lib::audio : Audio thread for site default started. Apr 02 21:57:28 Dachbodenraum snips-audio-server[2411]: INFO:snips_audio_portaudio : Playing of "5603373b-ae62-49ae-b812-6c97a18d1f2f" finished Apr 02 21:57:28 Dachbodenraum snips-audio-server[2411]: INFO:snips_audio_portaudio : Playing "541d44b0-a2b1-41df-882b-8d9eb3110e97" using output "default", wav spec: WavSpec { channels: 1, sample_rate: 16000, bits_per_sample: 16, sample_format: Int } Apr 02 21:57:28 Dachbodenraum snips-dialogue[2415]: WARN:snips_dialogue_lib::coordinator::coordinator: No Session found for this response: AudioPlayFinished(AudioFinishedPayload) Apr 02 21:57:28 Dachbodenraum snips-tts[2418]: INFO:snips_tts_hermes: Received a play finished message from audio server with an unknown id '5603373b-ae62-49ae-b812-6c97a18d1f2f'. Ignoring it. Apr 02 21:57:28 Dachbodenraum snips-dialogue[2415]: WARN:snips_dialogue_lib::coordinator::coordinator: No Session found for this response: TtsSayFinished(TtsFinishedPayload) Apr 02 21:57:29 Dachbodenraum snips-audio-server[2411]: INFO:snips_audio_portaudio : Playing of "541d44b0-a2b1-41df-882b-8d9eb3110e97" finished Apr 02 21:57:29 Dachbodenraum snips-audio-server[2411]: INFO:snips_audio_portaudio : Playing "9d863d8d-10d7-4836-af89-dd547713bcf1" using output "default", wav spec: WavSpec { channels: 1, sample_rate: 16000, bits_per_sample: 16, sample_format: Int } Apr 02 21:57:29 Dachbodenraum snips-dialogue[2415]: WARN:snips_dialogue_lib::coordinator::coordinator: No Session found for this response: AudioPlayFinished(AudioFinishedPayload) Apr 02 21:57:29 Dachbodenraum snips-tts[2418]: INFO:snips_tts_hermes: Received a play finished message from audio server with an unknown id '541d44b0-a2b1-41df-882b-8d9eb3110e97'. Ignoring it. Apr 02 21:57:29 Dachbodenraum snips-dialogue[2415]: WARN:snips_dialogue_lib::coordinator::coordinator: No Session found for this response: TtsSayFinished(TtsFinishedPayload) Apr 02 21:57:29 Dachbodenraum snips-audio-server[2411]: INFO:snips_audio_portaudio : Playing of "9d863d8d-10d7-4836-af89-dd547713bcf1" finished Apr 02 21:57:29 Dachbodenraum snips-audio-server[2411]: INFO:snips_audio_portaudio : Playing "652459e2-fa37-4529-ad2e-b03b03af25c4" using output "default", wav spec: WavSpec { channels: 1, sample_rate: 16000, bits_per_sample: 16, sample_format: Int } Apr 02 21:57:29 Dachbodenraum snips-tts[2418]: INFO:snips_tts_hermes: Received a play finished message from audio server with an unknown id '9d863d8d-10d7-4836-af89-dd547713bcf1'. Ignoring it. Apr 02 21:57:29 Dachbodenraum snips-dialogue[2415]: WARN:snips_dialogue_lib::coordinator::coordinator: No Session found for this response: AudioPlayFinished(AudioFinishedPayload) Apr 02 21:57:29 Dachbodenraum snips-dialogue[2415]: WARN:snips_dialogue_lib::coordinator::coordinator: No Session found for this response: TtsSayFinished(TtsFinishedPayload) Apr 02 21:57:30 Dachbodenraum snips-audio-server[2411]: INFO:snips_audio_portaudio : Playing of "652459e2-fa37-4529-ad2e-b03b03af25c4" finished Apr 02 21:57:30 Dachbodenraum snips-dialogue[2415]: WARN:snips_dialogue_lib::coordinator::coordinator: No Session found for this response: AudioPlayFinished(AudioFinishedPayload) Apr 02 21:57:30 Dachbodenraum snips-tts[2418]: INFO:snips_tts_hermes: Received a play finished message from audio server with an unknown id '652459e2-fa37-4529-ad2e-b03b03af25c4'. Ignoring it. Apr 02 21:57:30 Dachbodenraum snips-dialogue[2415]: WARN:snips_dialogue_lib::coordinator::coordinator: No Session found for this response: TtsSayFinished(TtsFinishedPayload) Apr 02 22:01:19 Dachbodenraum snips-dialogue[2415]: INFO:snips_dialogue_lib::coordinator::coordinator: Site [Badezimmer]: reset site -> turn off ASR and turn off Hotword Apr 02 22:01:19 Dachbodenraum snips-dialogue[2415]: INFO:snips_dialogue_lib::coordinator::coordinator: Session [ceea0d0a-c3a2-416d-a5cf-89375c6fea5e]: The session has been created because the site "Badezimmer" is free Apr 02 22:01:19 Dachbodenraum snips-dialogue[2415]: INFO:snips_dialogue_lib::coordinator::coordinator: Session [ceea0d0a-c3a2-416d-a5cf-89375c6fea5e]: closing session which was active: Nominal Apr 02 22:01:19 Dachbodenraum snips-dialogue[2415]: INFO:snips_dialogue_lib::coordinator::coordinator: Site [Badezimmer]: reset site -> turn off ASR and turn on Hotword Apr 02 22:01:19 Dachbodenraum snips-dialogue[2415]: WARN:snips_dialogue_lib::coordinator::coordinator: No Session found for this response: TtsSayFinished(TtsFinishedPayload) Apr 02 22:01:19 Dachbodenraum snips-hotword[2399]: INFO:snips_hotword_lib::audio : Audio thread for site Badezimmer stopped. Apr 02 22:01:19 Dachbodenraum snips-hotword[2399]: INFO:snips_hotword_lib::audio : Audio thread for site Badezimmer stopped. Apr 02 22:01:19 Dachbodenraum snips-hotword[2399]: INFO:snips_hotword_lib::audio : Audio thread for site Badezimmer stopped. Apr 02 22:01:19 Dachbodenraum snips-hotword[2399]: INFO:snips_hotword_lib::audio : Audio thread for site Badezimmer started. Apr 02 22:01:19 Dachbodenraum snips-dialogue[2415]: WARN:snips_dialogue_lib::coordinator::coordinator: No Session found for this response: TtsSayFinished(TtsFinishedPayload) Apr 02 22:01:19 Dachbodenraum snips-dialogue[2415]: WARN:snips_dialogue_lib::coordinator::coordinator: No Session found for this response: TtsSayFinished(TtsFinishedPayload) Apr 02 22:01:19 Dachbodenraum snips-dialogue[2415]: WARN:snips_dialogue_lib::coordinator::coordinator: No Session found for this response: TtsSayFinished(TtsFinishedPayload) Apr 02 22:01:19 Dachbodenraum snips-hotword[2399]: INFO:snips_hotword_lib::audio : Audio thread for site Badezimmer started. Apr 02 22:01:19 Dachbodenraum snips-hotword[2399]: INFO:snips_hotword_lib::audio : Audio thread for site Badezimmer started. -
Hallo,
das Ganze hat mir in der Nacht keine Ruhe gelassen und ich habe Heute das ganze Snips-"Zeugs" deinstalliert.
Alle Snips in allen Räume + Iobroker Adapter komplett gelöscht.Dannach meine vorherige Konfiguration mit einem Master und einem Slave + Iobroker Adapter wieder aufgesetzt.
Siehe da, es funktioniert (mit dem letzten Iobroker Adapter aus Github 1.1.2).Später werde ich nochmals versuchen einen Satelliten ohne Mikro aufzusetzen und einzubinden.
Keine Ahnung, warum die Anlage gestern komplett verrückt gespielt hat. Zum Schluss hat er mir eine Audioausgabe zwischen 4-8x wiedergegeben (Das ist ein Test, Das ist ein Test, Das ist ein .....)Ich melde mich wieder, wenn der "Nur-Ausgabe-Satellit" funktioniert oder mich meine Frau verlassen hat
-
@popl
Ich habe nur Rollladen, kann dir also dazu keine Antwort geben. Mehrere Befehle gleichzeitig sind (noch) nicht möglich.Könntest du dazu evtl. einen Issue auf Github eröffnen? Dann geht die Idee nicht verloren.
-
@rascal
Danke fürs Berichten. Bei mir ging alles ohne Probleme.
Das mit der mehrfachen Sprachausgabe hatte ich ganz kurzzeitig auch mal während der Entwicklung in einer älteren Version, die Version wurde aber so nicht veröffentlicht. Wie du richtig gesehen hast, wurden wirklich pro Eingabe zwei Sessions gestartet. Komisch. Damit hat das Update nämlich nichts zu tun. Es legt wirklich rein nur in ioBroker ein paar Objekte an.Den Namen im Satelliten-Inject hattest du vermutlich genau so geschrieben wie er in Snips auch wirklich heißt? Also auch Groß-/Kleinschreibung.
-
Kurz Offtoptic: jemand von Euch auf dem HM-Usertreffen?
Gruß
Vore -
kein HM verbaut. -
Hallo!
Gibt es schon Neuigkeiten, wann der Adapter die Einträge wieder löscht, die in der vorherigen Anfrage eingegangen sind?
Gruß
VoRe -
-
@unltdnetworx Sieht gut aus.. Einträge werden gelöscht! Danke!
-
von mir aus kannst du den Adapter komplett übernehmen. Die Funktionen für einen Master gehen ja und Satelliten nutze ich nicht, deshalb kann ich i.M. auch nichts dazu beitragen.
-
Hallo Zusammen,
ich habe mir heute auch Snips eingerichtet.
Mein Problem ist das er mir im iobroker Adapter bei received text nix anzeigt. Eigentlich so gut wie nirgends außer bei Hotword detected und wait. Die anderen Datenpunkte bleiben leer. Woran kann das liegen? -
@Matthias-Wohlbrecht
Hallo Matthias,
welche App hast du auf dem Gerät installiert? Das muss zwingend die ioBroker App von unltdnetworx sein. Kein Fork o.ä. -
@unltdnetworx das war der Fehler hatte beim anschauen von der app auf fork geklickt. Jetzt kommen die Befehle. Aber eine Frage hab ich noch. Wenn ich z.B. Sage Hey Snips, schalte das Licht im Wohnzimmer an. Schreibt er nur Licht im Wohnzimmer. Also ohne an oder aus. Ist das normal?
-
Habe nochmal eine Frage bezüglich snips und Blockly. Habe mir jetzt ein Blockly geschrieben aber es passiert nix. Oder steh ich gerade auf dem Schlauch. Die Wörter werden von Snips richtig geschrieben in den jeweiligen Datenpunkt, aber mein Licht schaltet nicht.
-
Triggere auf "ist grösser als letztes",
dann brauchst du die erste Bedingung ...wenn wahr... nicht mehr.
Evtl. muss der Triggerauslöser "hotword detected" am Ende des Programms wieder auf unwahr gesetzt werden. -
@Matthias-Wohlbrecht
Also an und aus müsste schon erkannt werden. Bei Licht sollte an/aus ankommen, bei Rollladen Prozentwerte und beim Rest true/false.Nimm statt Blockly lieber text2command und weise den Licht Objekten die weiter oben bereits erwähnten Werte wie den Zimmernamen zu. Dann brauchst du nur eine Regel. Und zwar "schalte an/aus mit Regel".
Sry, hatte ich vergessen. Schau mal die Version 1.1.3 über die Github-Katze an. Sollte jetzt gelöscht werden.
