Rhasspy Offline Sprachsteuerung

[MathiasJ]

@tobetobe
super, danke für die Hilfe!
Raspberry Zero w, noch besser.
Brauche dann mindestens 4 Stück davon
Als erstes lese ich mich bei Rhaspy und Proxmox ein, und komme später zurück.
Gruß,
Mathias

[zahnheinrich]

@MathiasJ
"Kann man den Docker auch unter Proxmox installieren?
Dann wäre meine "Cloud" im Netzwerkschrank im Keller."

Warum möchtest du eine Virtualisungsumgebung (Docker) unter eine Virtualisungsumgebung (Proxmox) installieren?

[MathiasJ]

@zahnheinrich
Weil unter Proxmox bereits freePBX, RaspberryMatic und IObroker laufen. Sonst müsste ich einen weiteren PC, sei es nur einen Raspberry bemühen.
Das ist genau das, was ich verhindern will.

[Thomas Braun]

@MathiasJ Und warum installierst du den rasspy nicht in Proxmox?

[MathiasJ]

dazu muß ich in Proxmox wohl erst Docker installieren?

https://community.rhasspy.org/t/rhasspy-voice-server-at-proxmox-possible/590

ja, erst Docker, dann Rhaspy

[capitaenz]

@tobetobe
Wenn man nicht mit Skripten arbeiten möchte, dann benötigt man eine "saubere" Lösung für Blockly.
Ich möchte mich jetzt aber nicht hier in einem Wortgefecht wiederfinden, danke für die Unterstützung.

VG
Leif

[MathiasJ]

das erste ist getan,,,,, Rhasspy läuft auf dem Proxmox
Nur eine Verständnisfrage:
Muß ich die Rhasspy-Sateliten auch wie den Server (dieses mal auf den Raspberries) im Docker installieren.
Ich habe dazu leider nichts gefunden.
Wie kommt man auf das kauderwelsch beim Training?
Als Beispiel nehme ich das Garagenlicht:

G AH RR AAH ZH AX N L IH CC T

Gruß,
Mathias

[tobetobe]

@MathiasJ
Guten Morgen,
das ist ja schon mal erfreulich. Zu deinen weiteren Fragen: Hier findest du ein Tutorial, wie ein Master-Satellite System zu installieren und zu konfigurieren ist:

https://rhasspy.github.io/rhasspy-voltron/tutorials.html#getting-started-guide

Und ja, auch hier Docker. Alternativ geht auch eine Python VENV. Aber warum bei Master und Satellite unterschiedliche Wege einschlagen. Ich empfehle dir Docker. Gleich der Zweite Punkt ganz oben führt dich zur Installationsanweisung. Wichtig: achte auf die unterschiedlichen Ports!!!

Kauderwelsch beim Training: Gibt es nur beim Master. Die Vorschläge kommen automatisch vom System. Du kannst sie dir anhören. Wenn dir die Aussprache nicht gefällt, kannst du sie anpassen. Gelegentlich ist es besser, einen lang gesprochenen Vokal zu verkürzen, damit die Aussprache keinen amerikanischen Akzent hat. Und Achtung: Die Kiste spricht so, wie du es eingibst. Also: 5 als fuenf geschrieben spricht sich "fu-enf", und fünf ist fünf. Auch so kannst du also bestimmte Worte an deine Aussprache anpassen.

Good Luck. Und bei Fragen einfach fragen.

[MathiasJ]

@tobetobe
Danke, schaue ich mir gleich an.
Bin gerade am Server und versuche mich mit den Custom Words.
Gibt es ach andere Stimmen? Die ist richtig grässlich.....
Oder ist die nur zum kontrollieren und die, die ich im laufendem betrieb höre ist eine andere?

ich habe da noch etwas anderes gefunden: https://community.home-assistant.io/t/rhasspy-offline-voice-control-step-by-step-server-client-docker/154015

[tobetobe]

@MathiasJ

@MathiasJ said in Rhasspy Offline Sprachsteuerung:

Gibt es ach andere Stimmen?

Also die Umwandlung von Text in Sprache (TTS - TextToSpeech) wird im Master eingestellt. Es stehen verschiedene Module zur Verfügung, die im Konfigurationsmenü angeboten werden. Standard ist Espeak, was in der tat recht grausig klingt. Weitaus besser ist PicoTTS, was ich aus eigener Erfahrung heraus als recht angenehm empfinde. Wie schon zuvor mitgeteilt, kann es in Ausnahmefällen mal erforderlich sein, die Aussprache etwas anzupassen. Du kannst das ja mal testen, wie sich die verschiedenen Schreibweisen anhören:

G AH RR AAH ZH AX N L IH CC T
G AAH RR AAH ZH AX N L IH CC T
G AAH RR AH ZH AX N L IH CC T
G AH RR AAH ZH AX N L IIH CC T

@MathiasJ said in Rhasspy Offline Sprachsteuerung:

Oder ist die nur zum kontrollieren und die, die ich im laufendem betrieb höre ist eine andere?

Ich bin mir da nicht ganz sicher (weil ich es für dich nicht nochmals überprüfen konnte), aber ich glaube, dass die Aussprache in beiden Fällen vom ausgewählten TTS-System abhängt.

Mary TTS soll übrigens auch sehr gut sein, das habe ich allerdings noch nicht getestet. Warte ein wenig, dann komme ich darauf wieder zurück - oder teste MaryTTS selbst und teile deine Erfahrungen.

@MathiasJ said in Rhasspy Offline Sprachsteuerung:

ich habe da noch etwas anderes gefunden:

Das ist eine alte Quelle aus dem Dezember 2019. Sie bezog sich noch auf Version 2.4.x und ist nicht mehr relevant. Zu 2.5 gab es gravierende Veränderungen. Bitte arbeite mit dem Verweis, den ich dir bereitgestellt habe.

[tobetobe]

@capitaenz said in Rhasspy Offline Sprachsteuerung:

Wenn man nicht mit Skripten arbeiten möchte, dann benötigt man eine "saubere" Lösung für Blockly.

Bitte Leif, bleib bei der Sache. Du erweckst hier im Forum für andere Interessierte mit falschen Aussagen einen irritierenden Eindruck, den ich so nicht stehen lassen kann.

@joergeli hat dir einen sauberen UND stabil funktionierenden UND absolut gleichwertigen Weg im Anschluss an die erfolgreiche Rhasspy-Installation beschrieben:

1. Installation eines Mosquitto-Brokers
2. Installation eines mqtt-Clients unter ioBroker

Das Ganze geht mit minimalem Aufwand und frisst fast keine Ressourcen. Damit stehen dir alle relevanten Datenpunkte, die von Rhasspy generiert werden, zur weiteren Verarbeitung durch irgend eine Skriptsprache, die dir genehm ist zur Verfügung. Unter ioBroker sind dies Javascript, Blockly und Node-Red.

Also: Du willst mit Blockly arbeiten, und kannst es auch. Von daher ist es für andere Interessierte nicht hilfreich, wenn du es so darstellst, wie wenn das Arbeiten mit Blockly bei Rhasspy Version 2.5 nicht möglich wäre.

Und auch wenn du mit Blockly arbeitest, erzeugst du Skripte, die bestimmten Abläufen folgen. Dass Blockly nichts mit Skripten zu tun hat, ist von dir ebenfalls schlichtweg falsch dargestellt.

[MathiasJ]

@tobetobe
Ist erst einmal egal.
Ich muß Rhasspy neu installieren.
Ich bin auf der 2.4.x
Gruß,
Mathias

[tobetobe]

@MathiasJ said in Rhasspy Offline Sprachsteuerung:

Ich muß Rhasspy neu installieren.
Ich bin auf der 2.4.x

dann würde ich dir empfehlen, die 2.5 zu installieren. Die ist mittlerweile wirklich gut und stabil, zudem schneller und überhaupt die Basis für alles weitere. 2.4.x ist out

[capitaenz]

@tobetobe
Ja, richtig, man kann mit der Installation arbeiten, keine Frage.
Wörter werden erkannt und die Übertragung per MQTT funktioniert und ich bin soweit begeistert und euch dankbar für die Hilfe.
Aber es erschließt sich mir nicht, wie ich per MQTT (nicht per Script) eine Sprachausgabe auf dem Rhasspy erzeugen kann, gleichwertig und einfach, wie es bei Snips möglich ist.
Soweit ich @joergeli richtig verstanden habe, hat er deswegen das Script "entwickelt" und mir/uns zur Verfügung gestellt.

VG
Leif

[MathiasJ]

@tobetobe
genau, deshalb will ich ja neu installieren, weil ich auf der 2.5.0 sein will.
Was nimmst Du eigentlich als MQTT? Internen oder für alle den IObroker?

[tobetobe]

@MathiasJ said in Rhasspy Offline Sprachsteuerung:

genau, deshalb will ich ja neu installieren, weil ich auf der 2.5.0 sein will.

Verstehe, das ist gut so.

@MathiasJ said in Rhasspy Offline Sprachsteuerung:

Was nimmst Du eigentlich als MQTT? Internen oder für alle den IObroker?

Weder noch. Du brauchst einen externen MQTT-Broker (Broker = Master/Host). Aber NICHT den ioBroker Adapter im Broker-Modus. Der ist im Zusammenspiel mit Rhasspy nicht geeignet.

Entweder folgst du der Anweisung von @joergeli zur einfachen Installation eines MQTT-Brokers unter Linux oder meiner, zur Installation eines MQTT-Brokers in einem Docker. Beides siehe wenige Posts weiter oben.

Wenn du dann diesen externen Broker hast, kannst du den MQTT-Adapter von ioBroker als CLIENT installieren und so konfigurieren, dass er auf diesen externen MQTT-Broker zugreift. Rhasspy Master und Satellite müssen natürlich auch auf die IP-Adresse dieses externen Broker verweisen. Ist alles einfacher, als es sich jetzt vielleicht liest.

Wie der MQTT-Client in ioBroker zu konfigurieren ist, hat @joergeli ebenfalls gut beschrieben.

[MathiasJ]

und alle Sateliten greifen dann auf diesem MQTT-Broker zu, richtig?
Gruß,
Mathias

[tobetobe]

@MathiasJ said in Rhasspy Offline Sprachsteuerung:

und alle Sateliten greifen dann auf diesem MQTT-Broker zu, richtig?

Richtig, stell dir den MQTT-Broker als Zentrum eines Kreises vor. Von außen greifen alle Satelliten, der Rhasspy-Master und der ioBroker MQTT-Client darauf zu. Bitte vorstellen, bin zu faul zum Malen...

[MathiasJ]

nein, passt schon. ich suche gerade, wo ich den Beitrag finde, wo erklärt wird, wie
man den MQTT-Server auf dem Rasspy aufsetzt

Edit:
Rhasspy versucht schon seit 30 Minuten 41 MB herunter zu laden.
Ich sehe da nur training profile. Wenn ich das Fenster schließe, sehe ich , dass es ca 41MB sind.

Aber es passiert nichts weiter.
genau wie beim letzten Versuch.
das braucht er wohl noch:

{
    "de_pocketsphinx-cmu/acoustic_model/feat.params": {
        "bytes_expected": 112,
        "file_key": "de_pocketsphinx-cmu/acoustic_model/feat.params",
        "file_path": "/profiles/de/acoustic_model/feat.params",
        "human_size": "112.0 B",
        "setting_name": "speech_to_text.system",
        "setting_value": "pocketsphinx",
        "index": 0
    },
    "de_pocketsphinx-cmu/acoustic_model/feature_transform": {
        "bytes_expected": 4568,
        "file_key": "de_pocketsphinx-cmu/acoustic_model/feature_transform",
        "file_path": "/profiles/de/acoustic_model/feature_transform",
        "human_size": "4.5 KiB",
        "setting_name": "speech_to_text.system",
        "setting_value": "pocketsphinx",
        "index": 1
    },
    "de_pocketsphinx-cmu/acoustic_model/mdef": {
        "bytes_expected": 5125554,
        "file_key": "de_pocketsphinx-cmu/acoustic_model/mdef",
        "file_path": "/profiles/de/acoustic_model/mdef",
        "human_size": "4.9 MiB",
        "setting_name": "speech_to_text.system",
        "setting_value": "pocketsphinx",
        "index": 2
    },
    "de_pocketsphinx-cmu/acoustic_model/means": {
        "bytes_expected": 11509124,
        "file_key": "de_pocketsphinx-cmu/acoustic_model/means",
        "file_path": "/profiles/de/acoustic_model/means",
        "human_size": "11.0 MiB",
        "setting_name": "speech_to_text.system",
        "setting_value": "pocketsphinx",
        "index": 3
    },
    "de_pocketsphinx-cmu/acoustic_model/mixture_weights": {
        "bytes_expected": 396928,
        "file_key": "de_pocketsphinx-cmu/acoustic_model/mixture_weights",
        "file_path": "/profiles/de/acoustic_model/mixture_weights",
        "human_size": "387.6 KiB",
        "setting_name": "speech_to_text.system",
        "setting_value": "pocketsphinx",
        "index": 4
    },
    "de_pocketsphinx-cmu/acoustic_model/noisedict": {
        "bytes_expected": 27,
        "file_key": "de_pocketsphinx-cmu/acoustic_model/noisedict",
        "file_path": "/profiles/de/acoustic_model/noisedict",
        "human_size": "27.0 B",
        "setting_name": "speech_to_text.system",
        "setting_value": "pocketsphinx",
        "index": 5
    },
    "de_pocketsphinx-cmu/acoustic_model/transition_matrices": {
        "bytes_expected": 3280,
        "file_key": "de_pocketsphinx-cmu/acoustic_model/transition_matrices",
        "file_path": "/profiles/de/acoustic_model/transition_matrices",
        "human_size": "3.2 KiB",
        "setting_name": "speech_to_text.system",
        "setting_value": "pocketsphinx",
        "index": 6
    },
    "de_pocketsphinx-cmu/acoustic_model/variances": {
        "bytes_expected": 11509124,
        "file_key": "de_pocketsphinx-cmu/acoustic_model/variances",
        "file_path": "/profiles/de/acoustic_model/variances",
        "human_size": "11.0 MiB",
        "setting_name": "speech_to_text.system",
        "setting_value": "pocketsphinx",
        "index": 7
    },
    "de_pocketsphinx-cmu/base_dictionary.txt": {
        "bytes_expected": 1045421,
        "file_key": "de_pocketsphinx-cmu/base_dictionary.txt",
        "file_path": "/profiles/de/base_dictionary.txt",
        "human_size": "1020.9 KiB",
        "setting_name": "speech_to_text.system",
        "setting_value": "pocketsphinx",
        "index": 8
    },
    "de_pocketsphinx-cmu/g2p.fst": {
        "bytes_expected": 14285970,
        "file_key": "de_pocketsphinx-cmu/g2p.fst",
        "file_path": "/profiles/de/g2p.fst",
        "human_size": "13.6 MiB",
        "setting_name": "speech_to_text.system",
        "setting_value": "pocketsphinx",
        "index": 9
    }
}

ich mache für heute mal Schluß.

Edit:
Heute früh gerade grmerkt:
Bei einem Neustart startet Rhasspy nicht mehr mit.
Gruß,
Mathias

[tobetobe]

@MathiasJ said in Rhasspy Offline Sprachsteuerung:

Rhasspy versucht schon seit 30 Minuten 41 MB herunter zu laden.

Also das ist ungewöhnlich. Ich nehme an, das ist dein Master, oder arbeitest du momentan zum Kennenlernen erst einmal nur mit einem System, also quasi Master und Satellit auf einem Pi?

Der Download betrifft ja offensichtlich Pocketsphinx. Wir empfehlen Kaldi, weil es die bessere Erkennung bietet. Damit wäre auch dieser Download für Pocketsphinx hinfällig.

Dann kann es mal Download-Probleme geben, wenn man das deutsche Profil nachträglich installieren möchte. Der einfache und saubere Weg ist, bei der Installation im Kommando "en" gegen "de" auszutauschen. Damit habe ich noch nie ein Problem gehabt. Also zunächster "docker pull ..." und danach für den Master:

docker run -it \
    -v "$HOME/.config/rhasspy/master:/profiles" \
    --network host \
    rhasspy/rhasspy:2.5.0-pre \
    --profile de \
    --user-profiles /profiles

Das Programm läuft dann im DEBUG-Mode, sodass du im Terminal auch sehen kannst, was passiert, bzw. wo ggf Fehler auftreten. Abbrechen mit Ctrl C führt allerdings auch zum Stoppen des Prozesses.

Das ist auch der Grund, warum du neu starten musstest.

Alternative: Zweites Terminal öffnen, mit "docker ps" die laufenden Docker-Prozesse anzeigen lassen und die Rhasspy Prozessnummer kopieren/notieren.

docker rm <nummer> löscht den Container, Konfig bleibt erhalten
docker start/stop <nummer> startet oder stoppt den Container

So kannst du das DEBUG-Fenster bei passender Gelegenheit schließen und den Prozess wieder starten. Bitte beachten: Wenn du den o.g. Installationsbefehl neu ausführst, wird auch eine neue Dockernummer angelegt.
Wie hast du denn

@MathiasJ said in Rhasspy Offline Sprachsteuerung:

Bei einem Neustart startet Rhasspy nicht mehr mit.

Stimmt. Ich hatte ja schon eine teilweise Erklärung hierzu gegeben. Mit der Frage, wie man das dauerhaft ändert habe ich mich bislang noch nicht beschäftigt, weil es mir nicht so wichtig war. Vielleicht wäre diese Klärung ja was für dich?

Gutes Gelingen weiterhin.