Clicmenu: j'écoute puis j'écris

Clicmenu: j'écoute puis j'écris - Version imprimable

+- PrimTux, la distribution éducative (https://forum.primtux.fr)
+-- Forum : PrimTux: LE CONTENU: présentation, aide et développement (https://forum.primtux.fr/forumdisplay.php?fid=4)
+--- Forum : Migration des activités wine (https://forum.primtux.fr/forumdisplay.php?fid=38)
+--- Sujet : Clicmenu: j'écoute puis j'écris (/showthread.php?tid=1305)

Pages : 1 2 3 4

Clicmenu: j'écoute puis j'écris - mothsart - 07-03-2020

Est-ce que le dictionnaire est sensible à la casse ? Oui Cool

Clicmenu: j'écoute puis j'écris - Alain - 07-03-2020

le projet est super intéressant

Le son passe moyennement pour un mot seul, mais avec la phrase exemple, l'exercice trouve tout son intérêt.

Est il possible de définir une adresse web avec un numéro d'échelon et une catégorie préinitialisée ?

( genre http://primtux.fr/applications/ecoute-ecris?listeEchelons=13&listecategories=1 )

Autrement, contrairement au drag and drop qui n'était pas du tout accepté par les tablettes (exercices monnaie et histoires à remettre en ordre ) cet exercice est presque compatible avec des tablettes ou des telephones android même si il y a quelques problèmes de répartition dans l'affichage.

Clicmenu: j'écoute puis j'écris - mothsart - 07-03-2020

Alors, j'ai fini par testé tous tes mots et phrases de l'Échelle Dubois-Buyse. (j'ai pas réussi les autres catégories : en dev ?)

Pour améliorer gspeech (et speechtux), c'était l'occasion rêvé. (pour récupérer : git pull)

J'ai des correctifs simples et d'autres plus élaborés.

Les simples sont "lapin", "bouche", "soeur", "coq".

Pour le dernier, ça m'a mis la puce à l'oreille sur le e dans l'o.
Du coup, je remplace œ par oe partout.

Les plus complexes :

1. les liaisons : "elles ont=elle zont"
C'est du cas par cas et ça va être difficile de tout couvrir

2. plus : quand on prononce le s et quand on le prononce pas.
j'ai mis "ne plus=ne plu" car dans le cas de la négation, le s n'est jamais prononcé

3. tu es => ça chante en é ou en è.
Je dirais que c'est pas prononcé pareille partout en France...

4. certains mots dans une phrase sont très facile à décrypter mais quand c'est un mot unique, c'est plus dur. (comme le souligne Alain)
Je sais pas trop encore comment traiter cet aspect.

Les remarque par rapport à l'app en elle-même :

1. Le œ est obligatoire pour sœur mais dans les faits, tout le monde écrit soeur.
Il faudrait que les deux soit autorisés.
2. les mots ambigus : quand on entend le son "mer", c'est "mère", "maire" ou "mer" ?
Faudrait presque un indice du genre : "tu entends le bon son mais c'est un homonyme." et ne pas incrémenter le nb de tentative dans ce cas précis.
Même genre d'indication pour les verbes conjugués ou à l'infinitif.
Piège aussi pour les féminin : ex "intérieure"
3. pas d'exemple écrit pour "décembre", "coq" (et sans doute d'autres) : "Cannot read property 'replace' of undefined"
4. quand tu appuis sur "J'écoute", l’événement ne devrait plus être actif tant que le texte n'a pas été lu.

Clicmenu: j'écoute puis j'écris - mothsart - 07-03-2020

Ah, je pense également que je vais mettre des tests automatisés sur des phrases types pour éviter des régressions.

Autre point à envisager : l'apprentissage de langues étrangères : principalement l'anglais qui a un bon support sur picovox.

Clicmenu: j'écoute puis j'écris - Philippe Dpt35 - 07-03-2020

Comme je le signalais dans le post donnant le lien vers l'application, c'est encore en cours de développement. Pas d'exemple oral ou écrit à partir de l'échelon 14, et pas d'exercices pour un choix par catégories de mots. Je voulais des premiers retours avant de poursuivre, compte tenu du très gros travail à faire encore pour créer des milliers de phrases exemples.

Pour un accès direct à un type d'exercice par une adresse web, je vais voir ça. Je vois également pour accepter œ ou oe.

Citation :quand on entend le son "mer", c'est "mère", "maire" ou "mer" ?

C'est notamment ce problème, ainsi que la difficulté à parfois distinguer un mot isolé, qui m'a fait avoir l'idée de la phrase exemple, orale d'abord, puis écrite au bout de deux essais infructueux. C'est aussi une des raisons pour lesquelles j'ai introduit la possibilité de régler la vitesse de prononciation.

Citation :Même genre d'indication pour les verbes conjugués ou à l'infinitif.

Normalement, par défaut, si l'on dicte un verbe isolément, il doit être écrit à l'infinitif. As-tu aperçu des cas contraires, mothsart ?
Je pourrai faire une fenêtre modale d'aide donnant ce type d'indication.

Clicmenu: j'écoute puis j'écris - mothsart - 07-03-2020

PhilippeDpt35 a écrit :As-tu aperçu des cas contraires, mothsart ?

Non, il n'y en avait pas, je l'ai déduis mais pour les enfants, c'est effectivement loin d'être aussi évident.
Pourquoi pas pour la modale.

La phrase d'exemple, c'est effectivement une très bonne idée !

Quand l'app sera plus avancé, je la ferais tester par mes enfants. Big Grin

Clicmenu: j'écoute puis j'écris - Philippe Dpt35 - 08-03-2020

@mothsart
Avec ta mise à jour, ça ne fonctionne plus avec ce retour d'erreur:
DEBUG MODE
Traceback (most recent call last):
File "./gspeech-cli", line 18, in <module>
conf = Conf()
File "/home/debian/Développement/Synthèse vocale/gSpeech-old/speech/conf.py", line 59, in __init__
self.path, 'CONFIGURATION', 'USEAPPINDICATOR', 'True' )
File "/home/debian/Développement/Synthèse vocale/gSpeech-old/speech/conf.py", line 17, in ini_read
parser = ConfigParser.SafeConfigParser()
NameError: global name 'ConfigParser' is not defined

Clicmenu: j'écoute puis j'écris - mothsart - 08-03-2020

Ok, désolé : le mainteneur du paquet souhaitais profiter de cette évolution donc j'ai fait un patch rapide sauf que c'était plus compatible python2 et 3.
C'est fait.

Clicmenu: j'écoute puis j'écris - Philippe Dpt35 - 08-03-2020

J'ai fait écouter à mon épouse, notamment les deux premiers mots de ton enregistrement (un parc, une marque).
Elle n'a pas reconnu le premier à la première écoute.
En lui demandant spécifiquement si elle reconnaît le son "k" dans les mots, elle le trouve très peu perceptible, tout juste un léger souffle pour le "k".

Lorsqu'on faite suivre les mots d'une virgule, on entend mieux le "k".
Par exemple
./gspeech-cli "une marque, une marque" test.wav
le "k" est davantage perceptible dans le premier des 2 mots.
Mais si on l'inscrit dans le fr-FR.dic, la virgule n'est pas prise en compte si elle n'est suivie de rien d'autre:
une marque=une marque,
Idem si on tente l'enregistrement de
./gspeech-cli "une marque," test.wav
Y a-t-il moyen de forcer la prise en compte de la virgule s'il n'y a pas de mot après ?

Clicmenu: j'écoute puis j'écris - mothsart - 08-03-2020

Oui, on est au limite du fonctionnement d'un dictionnaire simple. (y'a déjà trop de bidouilles a mon sens)

J'ai effectué des tests et :

Code :
$ ./gspeech-cli "une marque" test1.wav fr_FR && test1.wav

$ md5sum test1.wav                                        

ee20f6e32fc02420d9d329228007d879  test1.wav

Code :
$ ./gspeech-cli "une marque," test2.wav fr_FR && test2.wav

$ md5sum test2.wav                                        

ee20f6e32fc02420d9d329228007d879  test2.wav

Même md5sum donc aucun changement.

En revanche :

Code :
$ ./gspeech-cli "une marque." test3.wav fr_FR && test3.wav

$ md5sum test3.wav                                        

ab8212af5e3befa3927152a06bd38284  test3.wav

La prononciation est effectivement meilleur.

Je pense que je vais créer un second dictionnaire qui se basera sur des expressions régulières pour effectuer ce type de prise en charge (sans trop perturber le reste)
Mais faut être vraiment hyper méticuleux sur ce genre d'évolution car ça peut entraîner des sacrés effets papillons...

Je vais voir si, parallèlement à ça, je vais pas créer un script qui passe des voix à google translate.

Clicmenu: j'écoute puis j'écris - mothsart - 08-03-2020

Voilà, j'ai fait un petit script python qui faire lire à google et enregistre en mp3.

récupération :

Code :
git clone git@github.com:mothsART/speechscripts.git

cd speechscripts

dépendances :

Code :
sudo apt-get install sox libsox-fmt-mp3

sudo pip3 install google_speech

utilisation :

Code :
./google_sound "Ceci est un texte en français !" french.mp3

On peut changer de langue si besoin :

Code :
./google_sound "Hello primtux team" english.mp3 en

Clicmenu: j'écoute puis j'écris - Philippe Dpt35 - 08-03-2020

Personnellement je ne perçois aucune différence entre "une marque" et "une marque."
La différence est en revanche très perceptible, avec un "k" audible, entre "une marque, une marque"

Clicmenu: j'écoute puis j'écris - Philippe Dpt35 - 08-03-2020

J'ai un pip3 introuvable pour
sudo pip3 install google_speech
J'ai essayé avec pip au lieu de pip3, même problème.
Python3 est bien installé.

Clicmenu: j'écoute puis j'écris - mothsart - 08-03-2020

Il manque : "apt-get install python3-pip"

Clicmenu: j'écoute puis j'écris - Philippe Dpt35 - 08-03-2020

J'avais trouvé entre temps, mais en faisant
sudo apt-get install python3-pip

Clicmenu: j'écoute puis j'écris - mothsart - 08-03-2020

Pour la différence sur le son k, j'ai perçu mais ça reste minime (a force d'écouter, on entend plus).
En faite, picovox effectue une intonation montante sur une phrase non terminé et descendante sur une phrase fini.
Du coup, tu perçois la diff avec ça, je suppose :

Code :
./gspeech-cli "une marque et une marque" test.wav

mais pas avec ça

Code :
./gspeech-cli "une marque, " test.wav

Là, ça devient vraiment délicat.
La seule solution qui me vient en tête serait de rajouter un texte derrière (toujours le même) et couper cette partie (toujours de la même durée) dans le son produit.

Clicmenu: j'écoute puis j'écris - Philippe Dpt35 - 08-03-2020

Je viens de tester avec ton script pour Google, et je ne perçois pas vraiment d'amélioration. Pour mon oreille, le "k" n'est pas mieux perçu, sauf, là aussi, lorsqu'il est suivi d'une virgule.

Je confirme le principe du "k" mieux perçu en intonation montante. C'est pourquoi d'ailleurs il n'y a pas, selon moi, de différence entre "une marque." et "une marque", parce, sans point après le mot, c'est prononcé en intonation descendante.

En l'état actuel des choses, je vais rester avec gspeech-cli. Le fait de disposer de phrases exemples dans l'exercice permettra de surmonter le problème dans le cas ou certains sons seraient difficilement perçus.

Je vais également faire en sorte d'éviter les sons "arc" dans les phrases exemples que j'utilise. J'ai déjà fait quelques modifications dans les données.

Avec ton script gspeech-cli, on a déjà dix fois mieux qu'avec ma solution initiale !

Clicmenu: j'écoute puis j'écris - mothsart - 08-03-2020

Philippe Dpt35 a écrit :Je confirme le principe du "k" mieux perçu en intonation montante. C'est pourquoi d'ailleurs il n'y a pas, selon moi, de différence entre "une marque." et "une marque", parce, sans point après le mot, c'est prononcé en intonation descendante.

Oui, tu as tout à fait raison. Je pense que le md5 est juste différent car le "." rajoute un temps mort.

Philippe Dpt35 a écrit :Je vais également faire en sorte d'éviter les sons "arc" dans les phrases exemples que j'utilise. J'ai déjà fait quelques modifications dans les données.

Avec ton script gspeech-cli, on a déjà dix fois mieux qu'avec ma solution initiale !

C'est vrai, on a bien avancé !
Mais tu sais que je n'abandonne pas aussi facilement... :lol:
Avant de trouver une solution plus pérenne, je te propose ce script à base ffmpeg que j'ai rajouté dans https://github.com/mothsART/speechscripts (donc git pull)

Il faut au préalable que ton texte se termine par " et une"

Code :
./gspeech-cli "marque et une" test.wav

puis

Code :
./cute_end test.wav

va écraser ton fichier en enlevant la durée de lecture pour " et une".

Clicmenu: j'écoute puis j'écris - Philippe Dpt35 - 08-03-2020

Essaie ton script avec ces mots
"une marque et une"

Clicmenu: j'écoute puis j'écris - mothsart - 08-03-2020

Pourquoi, t'as un soucis ? Moi ça me me renvoi un fichier son qui me dit : "une marque".
En revanche, faut pas le passer plusieurs fois !!!

Clicmenu: j'écoute puis j'écris - Philippe Dpt35 - 08-03-2020

Chez moi, "marque et une" élimine bien le "et une", mais pas "une marque et une".

Clicmenu: j'écoute puis j'écris - Philippe Dpt35 - 08-03-2020

Attends ! je viens de repérer un problème !

Clicmenu: j'écoute puis j'écris - Philippe Dpt35 - 08-03-2020

Bon, le nom du fichier n'est pas cute_end, mais cut_end, et ffmpeg n'était pas installé chez moi.

Clicmenu: j'écoute puis j'écris - Philippe Dpt35 - 08-03-2020

Alors, sur le principe :
ça fonctionne mais ça fait quand même bricolage, et il faudrait être certain qu'il n'y ait pas d'effet de bord lorsqu'on applique le script sur les phrases exemples.

Clicmenu: j'écoute puis j'écris - mothsart - 08-03-2020

Philippe Dpt35 a écrit :ça fonctionne mais ça fait quand même bricolage, et il faudrait être certain qu'il n'y ait pas d'effet de bord lorsqu'on applique le script sur les phrases exemples.

Bon, écoutes. Oubli le script précédent, j'ai inclus toute la chaîne dans gspeech-cli.
J'ai mis tout ça dans une branche à part parce que c'est du transitoire.

Code :
git fetch && git ck feature/module-cut

Si le texte termine par "que", alors la mécanique énuméré précédemment se met en place.

En réfléchissant au intonation, j'ai pensé à la forme "interrogative" mais je trouve que c'est un peu trop marqué.