Reconnaissance automatique de la parole

La reconnaissance de la parole peut se rattacher à de nombreux plans de la science : traitement automatique des langues, linguistique, théorie de l'information, traitement du signal, réseaux de neurones, intelligence artificielle, etc.

Les travaux sur la reconnaissance de la parole datent du début du XX^e siècle. Le premier système pouvant être considéré comme faisant de la reconnaissance de la parole date de 1952.

Ce système électronique, développé par Davis, Biddulph et Balashek aux laboratoires Laboratoires Bell, était essentiellement composé de relais et ses performances se limitaient à reconnaître des chiffres isolés (voir référence). La recherche s'est ensuite considérablement accrue durant les années 1970 avec les travaux de Jelinek chez IBM (1972-1993). La société Threshold Technologies fut la première à commercialiser en 1972 un système de reconnaissance d'une capacité de 32 mots, le VIP100. Aujourd'hui, la reconnaissance de la parole est un domaine à forte croissance grâce à la déferlante des systèmes embarqués.

Une évolution rapide :

• 1952 : reconnaissance des 10 chiffres par un dispositif électronique câblé.
• 1960 : utilisation des méthodes numériques.
• 1965 : reconnaissance de phonèmes en parole continue.
• 1968 : reconnaissance de mots isolés par des systèmes implantés sur gros ordinateurs (jusqu’à 500 mots).
• 1970 : Leonard E. Baum met au point le modèle caché de Markov, très utilisé en reconnaissance vocale^[1].
• 1971 : lancement du projet ARPA aux États-Unis (15 millions de dollars) pour tester la faisabilité de la compréhension automatique de la parole continue avec des contraintes raisonnables.
• 1972 : premier appareil commercialisé de reconnaissance de mots.
• 1978 : commercialisation d'un système de reconnaissance à microprocesseurs sur une carte de circuits imprimés.
• 1983 : première mondiale de commande vocale à bord d'un avion de chasse en France.
• 1985 : commercialisation des premiers systèmes de reconnaissance de plusieurs milliers de mots.
• 1986 : lancement du projet japonais ATR de téléphone avec traduction automatique en temps réel.
• 1993 : Esprit project SUNDIAL^[2]
• 1997 : La société Dragon lance « NaturallySpeaking », premier logiciel de dictée vocale.
• 2008 : Google lance une application de recherche sur Internet mettant en œuvre une fonctionnalité de reconnaissance vocale
• 2011 : Apple propose l'application Siri sur ses téléphones^[3].
• 2017 : Microsoft annonce égaler les performances de reconnaissance vocale des êtres humains^[4].
• 2019 : Amazon lance la reconnaissance vocale en consultation de médecine^[5]
• 2023 : Nabla lance la transcription puis synthèse de consultation^[6] et classification CISP2 CIM10 du résultat de consultation.

Depuis 2024, de nombreux logiciels de transcriptions utilisent l'intelligence artificielle^[7].

Une phrase enregistrée et numérisée est donnée au programme de reconnaissance automatique de la parole (RAP). Dans le formalisme RAP (ASR en anglais), le découpage fonctionnel est le suivant :

• le traitement acoustique (front-end en anglais) permet principalement d'extraire du signal vocal une image acoustique compacte sous forme de vecteurs acoustiques correspondant à des tranches de 20 à 30ms de signal avec un pas de 10ms (technique de fenêtrage de Hamming). Le signal est numérisé et paramétré par une technique d'analyse fréquentielle utilisant la transformée de Fourier (par exemple MFCC, Mel-Frequency Cepstral Coefficients) ;
• l'apprentissage automatique réalise une association entre les segments élémentaires de la parole et les éléments lexicaux. Cette association fait appel à une modélisation statistique entre autres par modèles de Markov cachés (HMM, Hidden Markov Models) et/ou par réseaux de neurones artificiels (ANN, Artificial Neural Networks) ;
• le décodage en concaténant les modèles élémentaires précédemment appris reconstitue le discours le plus probable. Il s'agit donc d'une correspondance de motif (pattern matching) temporelle, réalisée souvent par l'algorithme de déformation temporelle dynamique (en anglais DTW, dynamic time warping).

La production documentaire dans un système de GDD part d'un enregistrement vocal (dictée numérique). Il s'agit d'enregistrer et restituer la voix sur support numérique. L'enregistrement peut se faire au travers de différents canaux d’enregistrement : microphones, dictaphones, smartphones…

La restitution, pour frappe en secrétariat ou vérification, se fait à l'aide d'enceintes ou casques.

Un tel système s'appuie sur trois modèles principaux :

• modèle de langage : ce modèle donne la probabilité ${\displaystyle P(W)}$  de chaque suite de mots ${\displaystyle W}$  dans le langage cible ;
• modèle de prononciation : ce modèle donne pour chaque suite de mots ${\displaystyle W}$ , la ou les prononciations possibles ${\displaystyle H}$  avec leurs probabilités ${\displaystyle P(H|W)}$  ;
• modèle acoustico-phonétique : ce modèle estime la probabilité ${\displaystyle P(X|H)}$  de la séquence observée de vecteurs acoustiques ${\displaystyle X}$  étant donné une prononciation possible ${\displaystyle H}$  d'une séquence de mots donnée.

La combinaison de ces trois modèles permet de calculer la probabilité de toute suite de mots étant donné un signal vocal observé. La reconnaissance de la parole consiste à trouver la suite de mots qui a la probabilité la plus élevée. Formellement la solution au problème est la suite de mots ${\displaystyle W}$  qui maximise l'expression mathématique suivante : ${\displaystyle \textstyle P(W)\sum _{H}P(H|W)P(X|H)}$ .

Pour caler ces modèles en vue d'une application, il faut utiliser une grande quantité de corpus annoté. Le corpus doit correspondre aux conditions d'utilisation du système visé.

Les systèmes de reconnaissance de la parole peuvent être classifiés selon plusieurs axes :

• le type de signal : signal bruité ou signal non bruité (ex. : microphone casque avec réduction de bruit), signal téléphonique (téléphone fixe ou mobile) ou large bande, signal compressé ou non…
• le type de modèle acoustique : modèle monolocuteur (ex. : dictée vocale), modèle multilocuteur (speaker-independent en anglais) ;
• la nature des enregistrements : dictée de texte, commande vocale, dialogue homme-machine, message téléphonique, radio, TV, podcast, etc. ;
• la langue.

La taille du vocabulaire et la complexité du modèle de langage sont directement liées à la langue et à la nature des données à traiter, de quelques dizaines de mots pour des commandes vocales à quelques centaines de milliers de mots pour couvrir une langue comme le français ou l'allemand.

Les performances brutes d'un moteur de reconnaissance de la parole sont souvent mesurées en taux d'erreur de mots (word error rate). On peut, réciproquement, évaluer le taux de succès. Ce taux varie fortement en fonction de la nature des données à transcrire, du locuteur, et des conditions acoustiques. Il dépend peu de la langue. Voici sa définition formelle :

${\displaystyle {\mathit {WER}}={\frac {S+E+I}{N}}}$ 

où :

• ${\displaystyle S}$  est le nombre de substitutions ;
• ${\displaystyle E}$  est le nombre d'élisions ;
• ${\displaystyle I}$  est le nombre d'insertions ;
• ${\displaystyle N}$  est le nombre de mots dans la transcription de référence (transcription exacte).

Voici quelques résultats moyens pour ce qui est du taux d'erreur :

• textes lus (dictée vocale, système monolocuteur) : 5 %
• journaux radio et TV : 10 %
• conversations téléphoniques informelles : 40 %

La reconnaissance de la parole est évoquée dans Le Premier Cercle de l'écrivain dissident soviétique Alexandre Soljenitsyne, comme un outil de répression au service de Staline.

La reconnaissance de la parole est également évoquée dans un roman policier^[8] :

« Rien à voir avec nos bons vieux rapports de chez nous pianotés sur ordinateur d'un doigt frileux par un pote qui a longtemps hésité entre la carrière de flic et celle de maréchal-ferrant. Chez les Yankees, tu causes et ça s'enregistre, propre et en ordre, sans rature, répétition ni impropriété de termes. N'importe quelle crapule, ayant appris à lire sur une machine à sous, te torche des aveux en comparaison desquels la Confession d'un enfant du siècle passerait pour le mode d'emploi d'une poudre insecticide traduit du romanche.

Pour piloter ce machin, y avait pas besoin de sortir de Princeton. Tout ce qu'avait à branler l'opératrice, en dehors de son touffu joli, c'était de faire répéter un mot mal prononcé, et encore l'appareil suggérait-il une tripotée de synonymes concordant avec le sens de la phrase. En voyant fonctionner l'engin, je pensai à tous mes confrères trémulsés de la coiffe dont il rendrait la prose intelligible. »

— Frédéric Dard alias San Antonio, Du sable dans la vaseline

Il est fait mention de la reconnaissance de la parole comme unique interface entre l'homme et la machine dans La trilogie des prophéties de Pierre Bordage. En effet, dans cette trilogie, il est présenté un super-ordinateur, le D.N.A P-C.

Les systèmes de reconnaissance vocale modernes utilisent des modèles du langage qui peuvent nécessiter des gigaoctets de mémoire ce qui les rend impraticables, en particulier sur les équipements mobiles. Pour cette raison, la plupart des systèmes de reconnaissance vocale modernes sont en fait hébergés par des serveurs distants et nécessitent une connexion internet et l'envoi à travers le réseau du contenu vocal.

• Cortana (Microsoft)
• Siri (Apple)
• Google Now (Google)
• Alexa (Amazon)
• Vocapia Research (VoxSigma suite)
• Vocon Hybrid et Dragon (respectivement dictée par grammaire et dictée libre par Nuance Communications)
• LinTO (logiciel libre développé sous licence open source par Linagora).

Mozilla a lancé un projet communautaire, Common Voice, visant à recueillir des échantillons de voix dans une base de données libres, pour entraîner des moteurs de reconnaissance vocale non-propriétaires.

• Traitement de la parole, par René Boite, Hervé Bourlard, Thierry Dutoit, Joel Hancq et Henri Leich, Presses polytechniques et universitaires romandes, 2000.
• Reconnaissance de la parole : Traitement automatique du langage parlé 2. Hermes Science - Lavoisier (Traité IC2, Informatique et systèmes d'information), J. Mariani (Ed.), 2002
• Jean-Paul Haton, Reconnaissance automatique de la parole : du signal à son interprétation, Dunod Paris, 2006
• Minker Wolfgang, Bennacef Samir (2000). Parole et dialogue homme-machine, Editions Eyrolles et CNRS EDITIONS, Marsat, 212 pages.

• (en) [PDF] Automatic Recognition of Spoken Digits, article historique sur le premier système de reconnaissance de la parole, 1952
• (en) « Rest in Peas: The Unrecognized Death of Speech Recognition », mai 2010
• (en) Glossaire sur la reconnaissance de la parole
• l'identification vocale dans la police scientifique

•   Portail de l’informatique