[Aufruf] Adapter: Snips - Offline Speak2Text

[unltdnetworx]

@rascal
Das wurde schon mal erörtert. Leider bietet Snips momentan keine Möglichkeit zur Steuerung der Ausgabelautstärke.

[unltdnetworx]

@smartboart
Es war die Überlegung die Werte erst im Adapter zu verwehrten,was auch gemacht wird und alle positiven Werte u.a. hoch mit true auszugeben und alle negativen mit False. Für evtl. spätere automatisierte Auswertung.

[smartboart]

@unltdnetworx ok, aber damit funktioniert die Rolladen Regel in text2command nicht mehr oder...

[unltdnetworx]

@smartboart
Doch doch. Das passt der Adapter entsprechend an.

[Hanni1312]

Moin Männer,

hat einer von euch schonmal erfolgreich seinen Snips MQTT port geändert? Bei mir läuft auf dem 1883 der sonoff adapter und ich will den snips gerne auf einem eigenen laufen lassen.

Außerdem bekomme ich meinen Audi Server nicht mehr ans laufen. Hat das schonmal jemand gehabt?

[ibandy]

@unltdnetworx said in [Aufruf] Adapter: Snips - Offline Speak2Text:

Hatte sogar schon überlegt, mein Hauptgerät auf den Server des ioBroker (Docker auf Synology) zu verlagern und mein derzeitiges Hauptgerät als Satellit einzurichten. Mal schauen wie das Thema weitergeht

das bin ich auch gerade am überlegen. Hat schon jemand ein Dockerimage für das Synology NAS gefunden?

[Wal]

@Hanni1312 sagte in [Aufruf] Adapter: Snips - Offline Speak2Text:

Moin Männer,

hat einer von euch schonmal erfolgreich seinen Snips MQTT port geändert? Bei mir läuft auf dem 1883 der sonoff adapter und ich will den snips gerne auf einem eigenen laufen lassen.

Meiner läuft auf Port 1500, wird in der /etc/snips.toml eingestellt.

[Hanni1312]

@Wal

Genau das habe ich auch gedacht und habe den Port unter Common geändert, danach hatte ich in IObroker keine verbindung mehr leider aber auch nicht nach dem ich den Port im adapter angepasst habe.

Und auch unter Sam Watch stand weiterhin der Port 1883.

Kannst mir mal ein screenshot machen wie das aussieht?

[Wal]

@Hanni1312

[___manalishi]

ich habe seit dem 0.61.1 update mir bisher unbekannte "features" im Ansprechverhalten.

1. NLU: Text wird erkannt, kann aber nicht verarbeitet werden, obwohl injiziert.

[09:15:31] [Nlu] was asked to parse input "h er eins"
[09:15:31] [Nlu] intent not recognized for "h er eins"

2. Ich kanns noch nicht genauer beschreiben, aber hier ein sam watch bei dem Versuch einen Radiosender umzuschalten. Der erkannte Text kann aus dem laufenden Radio erkannt worden sein. Ich habe bei diesem Fall "big fm" ins Mirkrofon gesprochen.

[09:45:15] [Asr] was asked to listen on site kitchen
[09:45:20] [Asr] captured text "rolladen auf zehn straÃe stunden" in 5.0s
[09:45:20] [Asr] was asked to stop listening on site kitchen
[09:45:20] [AudioServer] was asked to play a wav of 93.1 kB with id '8d00b36e-a6                              81-4c9c-9eba-6935f71dbad6' on site kitchen
[09:45:22] [AudioServer] finished playing wav with id '8d00b36e-a681-4c9c-9eba-6                              935f71dbad6'
[09:45:22] [Nlu] was asked to parse input "rolladen auf zehn straÃe stunden"
[09:45:22] [Nlu] detected intent unltdnetworx:setDevice with confidence score 0.                              543 for input "rolladen auf zehn straÃe stunden"
              Slots ->
                 device -> Rollladen (confidence: 0.576)
                  value -> 10 (confidence: 0.438)
                   unit -> Verkehrslage (confidence: 1.000)
                   unit -> Datum (confidence: 0.474)
[09:45:22] [Dialogue] New intent detected unltdnetworx:setDevice with confidence                               0.543
              Slots ->
                 device -> Rollladen (confidence: 0.576)
                  value -> 10 (confidence: 0.438)
                   unit -> Verkehrslage (confidence: 1.000)
                   unit -> Datum (confidence: 0.474)

Habt ihr ähnliche Fälle beobachtet?

[rascal]

Hallo,

kann ich einen Snips-Satelliten ohne Input, d.h. ohne Mikrophone aufsetzen sodass ihn der Snips-Iobroker Adapter dann auch findet?
Soweit ich weiß, benötigt der Adapter eine erste Spracheingabe, damit er den neuen Satelliten auch registriert.
Funktioniert das auch irgendwie ohne Spracheingabe?

Ich möchte ein paar Satellite ohne Eingabemöglichkeit aufsetzen, die sollen nur zur Sprachausgabe dienen.

[unltdnetworx]

@rascal sagte in [Aufruf] Adapter: Snips - Offline Speak2Text:

Ich möchte ein paar Satellite ohne Eingabemöglichkeit aufsetzen, die sollen nur zur Sprachausgabe dienen.

An diese Konstellation hatte ich nicht gedacht. Ich baue ein Eingabefeld ein, mit dem man das say-Feld von Satelliten manuell anlegen kann.

[unltdnetworx]

@rascal sagte in [Aufruf] Adapter: Snips - Offline Speak2Text:

Wie schalte ich am Satelliten den "Ping" aus?

Wird ergänzt.

[unltdnetworx]

@rascal
Guten Abend.
Ich habe gerade auf Github eine Version 1.1.2 gepushed. Darin ist jetzt im Ordner "devices" ein Punkt "createSatellite" enthalten. Damit können manuell Satelliten angelegt werden. Einfach den Namen des vorhandenen Satelliten OHNE Mikro eingeben, dann wird ein Gerät erstellt. Für Geräte MIT Mikro reicht nach wie vor eine Spracheingabe um die Objekte automatisiert erzeugen zu lassen. Für die richtige Schreibweise, etc. ist man dann natürlich selbst verantwortlich.

[rascal]

@unltdnetworx
Hallo, super.
Danke für die schnelle Umsetzung.
Ich werde es Morgen versuchen.
Wie verhält es sich, wenn man dann doch irgendwann ein Mikrofon anschließt?

[unltdnetworx]

@rascal
Das ist dann kein Problem, die restlichen Felder werden einfach ergänzt.

[popl]

@popl said in [Aufruf] Adapter: Snips - Offline Speak2Text:

Hat jemand Jalousien die er über snips ansteuert? Wie sprecht ihr die Lamelle an?

Gibt es die Möglichkeit 2 Werte zu übergeben, z.B. Fahre Jalousie(oder Rollo) auf 50% und die Lamelle auf 20%.

Könnte man in T2C noch eine Jalousie Funktion gleich der Rollo-Funktion + (Winkel-)Position der Lamelle integrieren ?
Danke

Hat niemand Jalousien?

[rascal]

@unltdnetworx
Irgendwie ist jetzt bei mir der Wurm drin....

Ich habe snips auf einem Rasp installiert und mittels des Scripts von Psychokiller den Satelitten mit dem Main zu verbinden. Dürfte alles ganz gut geklappt haben.
Dann habe ich mittels des neuen Satellite Injekt den Satelliten hinzugefügt und versucht einen Text ausgeben zu lassen.
Dies hat leider nicht funktioniert. Die Lautsprecher des Satelliten funktionieren aber (mit sam test speaker) überprüft.

Jetzt fangen die Probleme an... der Main piept jetzt 2x wenn ich "Hey snips" sage und er gibt den Slots nicht an iobroker weiter.
Mittlerweile habe ich snips komplett gelöscht (inklusive config file im /etc/ Ordner), sowie den Adapter in Iobroker.
Der Adapter legt mir auch die Intent Variablen nicht an, sonder nur /devices/default/send/text und /devices/default/sessionID
(Natürlich auch die hotword, info, send...)

Ich bin jetzt wieder auf die Adapterversion 1.1.1 zurückgegangen, da funktioniert es, Snips übernimmt die Kommandos, allerdings piepst er zwei Mal. Mir ist auch aufgefallen, dass er zwei SessionID's anlegt.

Vor dem Downgrade habe ich mit der Version 1.1.2 die Satelliten angelegt, leider bekomme ich sie nicht dazu, Sprache auszugeben.
Welche Services müssen nur für eine Sprachausgabe laufen?

Hier ein Auszug aus "sam watch" am Main mit der Adapterversion 1.1.2:

[20:57:08] [Asr] was asked to stop listening on site default
[20:57:08] [Hotword] was asked to toggle itself 'on' on site default
[20:57:17] [Hotword] detected on site default, for model hey_snips
[20:57:17] [Asr] was asked to stop listening on site default
[20:57:17] [Asr] was asked to stop listening on site default
[20:57:17] [Hotword] detected on site default, for model hey_snips
[20:57:17] [Hotword] was asked to toggle itself 'off' on site default
[20:57:17] [Dialogue] session with id 'a64ddbb5-7833-4584-b2a7-2c687e7fb498' was started on site default
[20:57:17] [Hotword] was asked to toggle itself 'off' on site default
[20:57:17] [Asr] was asked to listen on site default
[20:57:17] [Dialogue] session with id '06f20620-2196-41e0-96bc-f02bfc1e0c92' was started on site default
[20:57:17] [Asr] was asked to listen on site default
[20:57:21] [Asr] captured text "schalte das licht an" in 3.0s
[20:57:21] [Asr] was asked to stop listening on site default
[20:57:21] [Nlu] was asked to parse input "schalte das licht an"
[20:57:21] [Nlu] intent not recognized for "schalte das licht an"
[20:57:21] [Nlu] detected intent unltdnetworx:setDevice with confidence score 1.000 for input "schalte das licht an"
              Slots ->
                  device -> Licht (confidence: 0.967)
                 command -> true (confidence: 1.000)
[20:57:21] [Dialogue] session with id 'a64ddbb5-7833-4584-b2a7-2c687e7fb498' was ended on site default. The session was ended because the platform didn't understand the user
[20:57:21] [Asr] was asked to stop listening on site default
[20:57:21] [Hotword] was asked to toggle itself 'on' on site default
[20:57:33] [Dialogue] session with id '06f20620-2196-41e0-96bc-f02bfc1e0c92' was ended on site default. The session was ended because one of the component didn't respond in a timely manner
[20:57:33] [Asr] was asked to stop listening on site default
[20:57:33] [Hotword] was asked to toggle itself 'on' on site default

Ich hoffe da ist was für dich dabei

[rascal]

Jetzt gibt er mir auch auf meinem Main, wo die Sprachausgabe funktioniert hat, den Text mehrfach aus. (auch in verschiedenen Sprachen deutsch/englisch)

Apr 02 21:57:24 Dachbodenraum snips-dialogue[2415]: INFO:snips_dialogue_lib::coordinator::coordinator: Session [6a0a1f36-cd6e-48b2-b408-ce27b78ad743]: closing session which was active: Nominal
Apr 02 21:57:24 Dachbodenraum snips-dialogue[2415]: INFO:snips_dialogue_lib::coordinator::coordinator: Site [default]: reset site -> turn off ASR and turn on Hotword
Apr 02 21:57:24 Dachbodenraum snips-hotword[2399]: INFO:snips_hotword_lib::audio    : Audio thread for site default started.
Apr 02 21:57:25 Dachbodenraum snips-audio-server[2411]: INFO:snips_audio_portaudio      : Playing of "8d138c9c-5c7a-4252-970e-ad7d23903372" finished
Apr 02 21:57:25 Dachbodenraum snips-audio-server[2411]: INFO:snips_audio_portaudio      : Playing "9b231e18-b224-4fe6-a56f-d07000e3f6d6" using output "default", wav spec: WavSpec { channels: 1, sample_rate: 16000, bits_per_sample: 16, sample_format: Int }
Apr 02 21:57:25 Dachbodenraum snips-dialogue[2415]: WARN:snips_dialogue_lib::coordinator::coordinator: No Session found for this response: AudioPlayFinished(AudioFinishedPayload)
Apr 02 21:57:25 Dachbodenraum snips-tts[2418]: INFO:snips_tts_hermes: Received a play finished message from audio server with an unknown id '8d138c9c-5c7a-4252-970e-ad7d23903372'. Ignoring it.
Apr 02 21:57:25 Dachbodenraum snips-dialogue[2415]: WARN:snips_dialogue_lib::coordinator::coordinator: No Session found for this response: TtsSayFinished(TtsFinishedPayload)
Apr 02 21:57:26 Dachbodenraum snips-audio-server[2411]: INFO:snips_audio_portaudio      : Playing of "9b231e18-b224-4fe6-a56f-d07000e3f6d6" finished
Apr 02 21:57:26 Dachbodenraum snips-audio-server[2411]: INFO:snips_audio_portaudio      : Playing "b20fab28-569b-47d5-a94f-f0bcdd1ac6c3" using output "default", wav spec: WavSpec { channels: 1, sample_rate: 16000, bits_per_sample: 16, sample_format: Int }
Apr 02 21:57:26 Dachbodenraum snips-dialogue[2415]: WARN:snips_dialogue_lib::coordinator::coordinator: No Session found for this response: AudioPlayFinished(AudioFinishedPayload)
Apr 02 21:57:26 Dachbodenraum snips-dialogue[2415]: WARN:snips_dialogue_lib::coordinator::coordinator: No Session found for this response: TtsSayFinished(TtsFinishedPayload)
Apr 02 21:57:26 Dachbodenraum snips-hotword[2399]: INFO:snips_hotword_lib::audio    : Audio thread for site default started.
Apr 02 21:57:26 Dachbodenraum snips-audio-server[2411]: INFO:snips_audio_portaudio      : Playing of "b20fab28-569b-47d5-a94f-f0bcdd1ac6c3" finished
Apr 02 21:57:26 Dachbodenraum snips-audio-server[2411]: INFO:snips_audio_portaudio      : Playing "8a099870-6032-4b16-8120-2a26332a5a1a" using output "default", wav spec: WavSpec { channels: 1, sample_rate: 16000, bits_per_sample: 16, sample_format: Int }
Apr 02 21:57:26 Dachbodenraum snips-dialogue[2415]: WARN:snips_dialogue_lib::coordinator::coordinator: No Session found for this response: AudioPlayFinished(AudioFinishedPayload)
Apr 02 21:57:26 Dachbodenraum snips-tts[2418]: INFO:snips_tts_hermes: Received a play finished message from audio server with an unknown id 'b20fab28-569b-47d5-a94f-f0bcdd1ac6c3'. Ignoring it.
Apr 02 21:57:26 Dachbodenraum snips-dialogue[2415]: WARN:snips_dialogue_lib::coordinator::coordinator: No Session found for this response: TtsSayFinished(TtsFinishedPayload)
Apr 02 21:57:27 Dachbodenraum snips-audio-server[2411]: INFO:snips_audio_portaudio      : Playing of "8a099870-6032-4b16-8120-2a26332a5a1a" finished
Apr 02 21:57:27 Dachbodenraum snips-audio-server[2411]: INFO:snips_audio_portaudio      : Playing "5603373b-ae62-49ae-b812-6c97a18d1f2f" using output "default", wav spec: WavSpec { channels: 1, sample_rate: 16000, bits_per_sample: 16, sample_format: Int }
Apr 02 21:57:27 Dachbodenraum snips-dialogue[2415]: WARN:snips_dialogue_lib::coordinator::coordinator: No Session found for this response: AudioPlayFinished(AudioFinishedPayload)
Apr 02 21:57:27 Dachbodenraum snips-dialogue[2415]: WARN:snips_dialogue_lib::coordinator::coordinator: No Session found for this response: TtsSayFinished(TtsFinishedPayload)
Apr 02 21:57:27 Dachbodenraum snips-hotword[2399]: INFO:snips_hotword_lib::audio    : Audio thread for site default started.
Apr 02 21:57:28 Dachbodenraum snips-audio-server[2411]: INFO:snips_audio_portaudio      : Playing of "5603373b-ae62-49ae-b812-6c97a18d1f2f" finished
Apr 02 21:57:28 Dachbodenraum snips-audio-server[2411]: INFO:snips_audio_portaudio      : Playing "541d44b0-a2b1-41df-882b-8d9eb3110e97" using output "default", wav spec: WavSpec { channels: 1, sample_rate: 16000, bits_per_sample: 16, sample_format: Int }
Apr 02 21:57:28 Dachbodenraum snips-dialogue[2415]: WARN:snips_dialogue_lib::coordinator::coordinator: No Session found for this response: AudioPlayFinished(AudioFinishedPayload)
Apr 02 21:57:28 Dachbodenraum snips-tts[2418]: INFO:snips_tts_hermes: Received a play finished message from audio server with an unknown id '5603373b-ae62-49ae-b812-6c97a18d1f2f'. Ignoring it.
Apr 02 21:57:28 Dachbodenraum snips-dialogue[2415]: WARN:snips_dialogue_lib::coordinator::coordinator: No Session found for this response: TtsSayFinished(TtsFinishedPayload)
Apr 02 21:57:29 Dachbodenraum snips-audio-server[2411]: INFO:snips_audio_portaudio      : Playing of "541d44b0-a2b1-41df-882b-8d9eb3110e97" finished
Apr 02 21:57:29 Dachbodenraum snips-audio-server[2411]: INFO:snips_audio_portaudio      : Playing "9d863d8d-10d7-4836-af89-dd547713bcf1" using output "default", wav spec: WavSpec { channels: 1, sample_rate: 16000, bits_per_sample: 16, sample_format: Int }
Apr 02 21:57:29 Dachbodenraum snips-dialogue[2415]: WARN:snips_dialogue_lib::coordinator::coordinator: No Session found for this response: AudioPlayFinished(AudioFinishedPayload)
Apr 02 21:57:29 Dachbodenraum snips-tts[2418]: INFO:snips_tts_hermes: Received a play finished message from audio server with an unknown id '541d44b0-a2b1-41df-882b-8d9eb3110e97'. Ignoring it.
Apr 02 21:57:29 Dachbodenraum snips-dialogue[2415]: WARN:snips_dialogue_lib::coordinator::coordinator: No Session found for this response: TtsSayFinished(TtsFinishedPayload)
Apr 02 21:57:29 Dachbodenraum snips-audio-server[2411]: INFO:snips_audio_portaudio      : Playing of "9d863d8d-10d7-4836-af89-dd547713bcf1" finished
Apr 02 21:57:29 Dachbodenraum snips-audio-server[2411]: INFO:snips_audio_portaudio      : Playing "652459e2-fa37-4529-ad2e-b03b03af25c4" using output "default", wav spec: WavSpec { channels: 1, sample_rate: 16000, bits_per_sample: 16, sample_format: Int }
Apr 02 21:57:29 Dachbodenraum snips-tts[2418]: INFO:snips_tts_hermes: Received a play finished message from audio server with an unknown id '9d863d8d-10d7-4836-af89-dd547713bcf1'. Ignoring it.
Apr 02 21:57:29 Dachbodenraum snips-dialogue[2415]: WARN:snips_dialogue_lib::coordinator::coordinator: No Session found for this response: AudioPlayFinished(AudioFinishedPayload)
Apr 02 21:57:29 Dachbodenraum snips-dialogue[2415]: WARN:snips_dialogue_lib::coordinator::coordinator: No Session found for this response: TtsSayFinished(TtsFinishedPayload)
Apr 02 21:57:30 Dachbodenraum snips-audio-server[2411]: INFO:snips_audio_portaudio      : Playing of "652459e2-fa37-4529-ad2e-b03b03af25c4" finished
Apr 02 21:57:30 Dachbodenraum snips-dialogue[2415]: WARN:snips_dialogue_lib::coordinator::coordinator: No Session found for this response: AudioPlayFinished(AudioFinishedPayload)
Apr 02 21:57:30 Dachbodenraum snips-tts[2418]: INFO:snips_tts_hermes: Received a play finished message from audio server with an unknown id '652459e2-fa37-4529-ad2e-b03b03af25c4'. Ignoring it.
Apr 02 21:57:30 Dachbodenraum snips-dialogue[2415]: WARN:snips_dialogue_lib::coordinator::coordinator: No Session found for this response: TtsSayFinished(TtsFinishedPayload)
Apr 02 22:01:19 Dachbodenraum snips-dialogue[2415]: INFO:snips_dialogue_lib::coordinator::coordinator: Site [Badezimmer]: reset site -> turn off ASR and turn off Hotword
Apr 02 22:01:19 Dachbodenraum snips-dialogue[2415]: INFO:snips_dialogue_lib::coordinator::coordinator: Session [ceea0d0a-c3a2-416d-a5cf-89375c6fea5e]: The session has been created because the site "Badezimmer" is free
Apr 02 22:01:19 Dachbodenraum snips-dialogue[2415]: INFO:snips_dialogue_lib::coordinator::coordinator: Session [ceea0d0a-c3a2-416d-a5cf-89375c6fea5e]: closing session which was active: Nominal
Apr 02 22:01:19 Dachbodenraum snips-dialogue[2415]: INFO:snips_dialogue_lib::coordinator::coordinator: Site [Badezimmer]: reset site -> turn off ASR and turn on Hotword
Apr 02 22:01:19 Dachbodenraum snips-dialogue[2415]: WARN:snips_dialogue_lib::coordinator::coordinator: No Session found for this response: TtsSayFinished(TtsFinishedPayload)
Apr 02 22:01:19 Dachbodenraum snips-hotword[2399]: INFO:snips_hotword_lib::audio    : Audio thread for site Badezimmer stopped.
Apr 02 22:01:19 Dachbodenraum snips-hotword[2399]: INFO:snips_hotword_lib::audio    : Audio thread for site Badezimmer stopped.
Apr 02 22:01:19 Dachbodenraum snips-hotword[2399]: INFO:snips_hotword_lib::audio    : Audio thread for site Badezimmer stopped.
Apr 02 22:01:19 Dachbodenraum snips-hotword[2399]: INFO:snips_hotword_lib::audio    : Audio thread for site Badezimmer started.
Apr 02 22:01:19 Dachbodenraum snips-dialogue[2415]: WARN:snips_dialogue_lib::coordinator::coordinator: No Session found for this response: TtsSayFinished(TtsFinishedPayload)
Apr 02 22:01:19 Dachbodenraum snips-dialogue[2415]: WARN:snips_dialogue_lib::coordinator::coordinator: No Session found for this response: TtsSayFinished(TtsFinishedPayload)
Apr 02 22:01:19 Dachbodenraum snips-dialogue[2415]: WARN:snips_dialogue_lib::coordinator::coordinator: No Session found for this response: TtsSayFinished(TtsFinishedPayload)
Apr 02 22:01:19 Dachbodenraum snips-hotword[2399]: INFO:snips_hotword_lib::audio    : Audio thread for site Badezimmer started.
Apr 02 22:01:19 Dachbodenraum snips-hotword[2399]: INFO:snips_hotword_lib::audio    : Audio thread for site Badezimmer started.

[rascal]

Hallo,
das Ganze hat mir in der Nacht keine Ruhe gelassen und ich habe Heute das ganze Snips-"Zeugs" deinstalliert.
Alle Snips in allen Räume + Iobroker Adapter komplett gelöscht.

Dannach meine vorherige Konfiguration mit einem Master und einem Slave + Iobroker Adapter wieder aufgesetzt.
Siehe da, es funktioniert (mit dem letzten Iobroker Adapter aus Github 1.1.2).

Später werde ich nochmals versuchen einen Satelliten ohne Mikro aufzusetzen und einzubinden.
Keine Ahnung, warum die Anlage gestern komplett verrückt gespielt hat. Zum Schluss hat er mir eine Audioausgabe zwischen 4-8x wiedergegeben (Das ist ein Test, Das ist ein Test, Das ist ein .....)

Ich melde mich wieder, wenn der "Nur-Ausgabe-Satellit" funktioniert oder mich meine Frau verlassen hat