[Aufruf] Adapter: Snips - Offline Speak2Text

[___manalishi]

@unltdnetworx Die Satelliten bekomme ich nicht upgedated. Habs im Snips Forum in einem thread geposted, in dem Fehler der Release diskutiert werden. Hat sich aber leider niemand berufen gefühlt einen Tip abzugeben.

[unltdnetworx]

Aber du kannst dich mit

sam disconnect
sam connect IP

damit verbinden?

[___manalishi]

@unltdnetworx ja, das ist nicht das Problem. Hier ein connect vom Server auf einen Satelliten:

xxxx@SNIPS-SERVER:~# sam disconnect
â Disconnected from device
root@SNIPS-SERVER:~# sam connect 192.168.90.42
? Enter username for the device: xxxxx
? Enter password for the device: [hidden]
â Connected to 192.168.90.42
i A public key has been generated and copied to the device at 192.168.90.42:~/.ssh/authorized_keys
xxxx@SNIPS-SERVER:~# sam update
Updating Snips Platform
â Finished updating the platform
xxxx@SNIPS-SERVER:~# sam status

Connected to device 192.168.90.42

OS version ................... Raspbian GNU/Linux 9 (stretch)
Installed assistant .......... Not installed
Status ....................... Live (no assistant)

Service status:

snips-analytics .............. 0.60.10 (not running)
snips-asr .................... 0.60.10 (not running)
snips-audio-server ........... 0.60.10 (not running)
snips-dialogue ............... 0.60.10 (not running)
snips-hotword ................ 0.60.10 (running)
snips-nlu .................... 0.60.10 (not running)
snips-skill-server ........... 0.60.10 (running)
snips-tts .................... 0.60.10 (running)

Edit: Die Satelliten funktionieren übrigens auch mit der alten Plattform mit der neuen Server Version. Bei "sam watch" über einen client werden allerdings die ASR und NLU info, also auch die IOBroker slots, nicht sauber per MQTT angezeigt. sam watch auf dem Server funktioniert und der Adapter ebenso.

[unltdnetworx]

@frank70
ASR und NLU läuft ja ohnehin auf dem Server. Solange es funktioniert top.

[unltdnetworx]

@Wal
Wir könnten meiner Meinung nach den Testing Branch wieder zusammenführen und als Stable veröffentlichen. Was meinst du?

Da Installationen über die github-Katze ohnehin als beta angesehen werden, können wir uns den Testing Branch im Prinzip auch sparen?!

[Dutchman]

@unltdnetworx sagte in [Aufruf] Adapter: Snips - Offline Speak2Text:

Da Installationen über die github-Katze ohnehin als beta angesehen werden, können wir uns den Testing Branch im Prinzip auch sparen?!

mja sogar noch bissl genauer als tip

• GitHub install ==> developer version
• Release in latest (als NPM packet) ==> beta
• Release in stable (als NPM packet) ==> production

So hantiere ich es jedenfalls mit meinen Adaptern, man kan ja auch Versionen wieder von NPM entfernen wen die beta zu verbucht war (mir leider auch bereits passiert)

[unltdnetworx]

@Dutchman
So wäre es auch vorgesehen. Danke

[mmaric]

Hallo,

ich bin nun mit meinem Projekt etwas weitergekommen.

Habe das Audiostreaming über Mopidy und Snapserver realisiert.

Wenn das Streaming läuft, dann kann der Satellit nur das Hotword wahrnehmen.
Über Blocky prüfe ich das und schreibe dann in eine Datei, welche per ssh auf dem Satelliten den Snapclient stoppt, da sonst der Satellit nichts erkennt und auch nicht zurückgibt.

Es gäbe noch die Möglichkeit, dass der MPD client adapter das Abspielen stoppt.
Leider startet das Lied immer von vorn.

Ein Mute zu auszulösen hilft nicht. Der Satellit nimmt nichts mehr entgegeben.

Habt Ihr irgendwelche Ideen um den Ablauf schneller hinzubekommen ?

Danke.

[xulkar]

Hallo,

zu allererst danke für die Idee und die Umsetzung des Projekts.

Habe iobroker und snips am laufen. Läuft alles super mit den Slots usw.

Nun komme ich nicht weiter, bzw verstehe das weitere vorgehen nicht.

Soll nun die Snips iobroker app dazu dienen alle Geräte automatisch zu suchen und diese zu steuern, oder muss ich mit javascript, node-red oder t2c die einzelnen Skipte erstellen?

Zum Beispiel: Wenn slotDevice und slotCommand das und das drin steht, dann tue dies.

Wo muss ich nun ansetzen um weiterzukommen, kann mir jemand einen Denkanstoss in die richtige Richtung geben?

Vielen Dank für die Arbeit die bisher hier investiert wurde.

Gruß

Xulkar

[Lightmann]

Guten Morgen zusammen,

Ich habe folgendes Problem:
Trotz das Snips als Room "Flur" ausgibt, es im ioBroker auch als "Flur" ankommt, versteht T2C aus irgend einem Grund "Schlafzimmer".... warum auch immer.

Des Weiteren weiteren kommt es hin und wieder vor, das er zwar meinen Befehl, licht aus zu schalten erkennt und auch im T2C so anzeigt, aber es einfach nicht macht.

Durch lesen der 430 beitrage hier, habe ich das gute stück zumindest zum laufen und kommunizieren bekommen (zwar noch ohne gesprochenes feedback seitens Snips. Aber das sollte doch ich gehen oder?), aber dieser verdrehten Ergebnisse verstehe ich nicht.

[Arnulf]

Was ich mir vorstellen kann, dass es damit zu tun haben könnte, dass die Datenpunkte zu unterschiedlichen Zeiten befüllt werden.
Wärend vielleicht der Triggerpunkt schon "feuert", sind in den anderen Punkten die Daten noch nicht aktualisiert.

Habe zwar noch nicht Snips ausprobiert, aber ich hatte ein ähnliches Problem mit dem Alexa2-Adapter.
Man muss dann schauen, welchen Datenpunkt man wann ausliest bzw. verwendet.

[unltdnetworx]

Hi @xulkar,
ich versuche mal etwas Licht ins Dunkel zu bringen. Soweit das bei individuellen Installationen geht. Alle Einstellungen in den Screenshots unten sind aus der Version 1.1.1 und sollten ab Version 1.1.0 funktionieren.

@xulkar sagte in [Aufruf] Adapter: Snips - Offline Speak2Text:

Nun komme ich nicht weiter, bzw verstehe das weitere vorgehen nicht.

• Im Grunde musst man zuerst das Snips-Geräte installieren und ausschließlich die unltdnetworx Snips-App installieren. Keinen eigenen Fork oder andere Apps.

  • Eigene Forks werden nicht erkannt (bei Wünschen nicht enthaltener Wörter, nicht erkannter Sätze, etc. einfach Meldung hier im Thread, dann kann ich das noch einspielen, alternativ können auch eigene Injections gemacht werden, also eigene Worte angelernt)
  • zusätzlich installierte Apps können dazu führen, dass der gewünschte Satz mit der falschen App erkannt wird und ioBroker nichts davon mitbekommt.

• Als nächsten Schritt muss man den text2command-Adapter installieren, falls noch nicht geschehen, Einstellungen dazu folgen im übernächsten Schritt

• Als dritten Schritt den Adapter Snips installieren und wie folgt konfigurieren
  

  • Die URL ist die IP-Adresse des Snips-Gerätes
  • Port falls weitere MQTT-Adapter bereits 1883 blockieren entsprechend anpassen
  • Text2command-Instanz entsprechend anpassen, falls mehrere Instanzen laufen, Standard ist 0
  • Filter mit "verstehe" befüllen, da sonst alle nicht erkannten Sätze mit "Ich verstehe blablabla nicht." quittiert werden
  • Client-ID kann auch erhöht werden, falls man Satelliten im Einsatz hat. Die laufende Nummer beginnt bei 0 und erhöht sich pro Satellit um 1

• Nach dem Speichern nun den text2command Adapter konfigurieren

  • text2command Oberfläche aufrufen und das Zahnrad rechts oben klicken (Erweiterte Einstellungen)
    

• Nun noch die Regeln in text2command konfigurieren, etwa so
  
  Damit ist das Schalten von Licht und Rollos möglich, sofern diese mit Raum und Funktion bezeichnet wurden.
  

• weitere Regeln könnten etwa so aussehen
  
  Wichtig dabei ist, dass an/aus als true/false rückgemeldet wird.

[unltdnetworx]

Hi @Arnulf
das ist ein guter Ansatz. Das Problem bestand bis zur Version 1.1.0 in der Tat und sollte jetzt behoben sein. Mittlerweile wird direkt mit Snips mittels der Session-IDs von Snips kommuniziert.

@Arnulf sagte in [Aufruf] Adapter: Snips - Offline Speak2Text:

Was ich mir vorstellen kann, dass es damit zu tun haben könnte, dass die Datenpunkte zu unterschiedlichen Zeiten befüllt werden.

[unltdnetworx]

Hi @xulkar

@xulkar sagte in [Aufruf] Adapter: Snips - Offline Speak2Text:

Soll nun die Snips iobroker app dazu dienen alle Geräte automatisch zu suchen und diese zu steuern, oder muss ich mit javascript, node-red oder t2c die einzelnen Skipte erstellen?
Zum Beispiel: Wenn slotDevice und slotCommand das und das drin steht, dann tue dies.

Das ist ntürlich auch möglich, sollte aber über text2command geregelt werden.

[unltdnetworx]

@rascal sagte in [Aufruf] Adapter: Snips - Offline Speak2Text:

snips: "Es steht jemand vor der Türe, soll ich öffnen?"
snips-Datenpunkt: 2 (Sek)
user: "ja" || "sei so lieb"
snips: "Es wird im Wohnzimmer sehr warm, soll ich die Klimaanlage aktivieren?"
snips-Datenpunkt: 4 (Sek)
user: "nein danke" || "Kühle auf 22°"

An einer Möglichkeit eines Dialoges zwischen Snips und dem Adapter bin ich momentan dran. Also etwa "Wie ist der Status der Garage?" - "Die Garage ist offen. Soll ich das Tor schließen?" - "Ja, bitte" - "Tor wird geschlossen".
Ich habe auch eine Möglichkeit gefunden, aber habe nur noch keine Idee, wie man die Eingabe in ioBroker komfortabel lösen kann. Etwa mittels Blockly.

[rascal]

Cool
Im Moment komme ich leider kaum zum Herumbasteln, ich hoffe nächste Woche wird ruhiger

[rascal]

Post verworfen

[rascal]

Hallo,

könntest du bitte bei den Räumen den "Dachbodenraum" hinzufügen (du hast Dachboden, wir sagen aber zu unserem "Gemeindschaftsraum" nicht Dachboden )

[unltdnetworx]

@rascal
Dachbodenraum zu Dachgeschoss hinzugefügt. Also wenn du Dachbodenraum sagst, meldet Snips Dachgeschoss und du kannst es entsprechend auswerten.
Zusätzlich noch Gemeinschaftsraum eingefügt.

[xulkar]

@unltdnetworx

Danke für die Infos und fürs weiterhelfen. Komme nun voran.

Erstelle im iobroker nun die enums Funktionen und Räume gemäß deiner snips app und füge diese meinen ganzen Geräten hinzu. Hoffe ist richtig?

Hätte nun Räume zum hinzufügen die bei mir existieren:

Garderrobe -> kleiderzimmer klamottenzimmer anziehzimmer wäschezimmer
Fernsehzimer -> tvzimmer

Was macht man mit Räumen die min zwei mal vorhanden sind wie zum Beispiel:

Flur kellergeschoss, Flur erdgeschoss, Flur obergeschoss. das gleiche nochmal mit bad?

Bei den funktionen werde ich am wochenende nochmal schauen was noch fehlt, da fällt mir bestimmt noch ein wenig ein