Le Japon ne doit pas être sous-estimé ! La merveille des modèles de reconnaissance vocale Izanami + Kushinada + BERT

Dans la course mondiale au développement de l'IA, la « barrière de la langue » du japonais a parfois été un obstacle, et parfois le terreau d'une évolution unique. De 2025 à 2026, la communauté japonaise de l'IA de reconnaissance vocale attend beaucoup d'« Izanami » et de « Kushinada », des modèles de base de parole japonaise développés par l'AIST (National Institute of Advanced Industrial Science and Technology).

Alors que Whisper d'OpenAI balaie le monde, la reconnaissance vocale est souvent considérée comme un « problème résolu ». Pourtant, au plus profond de la langue japonaise, de nombreux défis subsistaient. En décortiquant les derniers résultats de benchmarks, nous expliquons en détail les capacités étonnantes de « Izanami/Kushinada + BERT », qui ouvre un nouvel horizon pour la saisie vocale en japonais, et le scénario où l'IA nationale surpasse ses concurrents étrangers.

1. Le contexte d'« Izanami et Kushinada » : pourquoi des modèles de base nationaux sont nécessaires

Jusqu'à présent, la reconnaissance vocale japonaise était dominée par des modèles étrangers tels que le Speech-to-Text de Google et le Whisper d'OpenAI. Bien que très puissants, ces modèles accordent la priorité au support multilingue, ne parvenant parfois pas à saisir pleinement les nuances propres au japonais, comme l'abondance d'homophones, l'usage délicat des particules et les omissions dépendant du contexte.

En particulier dans les secteurs des affaires, de l'administration et de la santé au Japon, des niveaux de sécurité élevés sont exigés, de même qu'une communication stricte où les erreurs de reconnaissance ne sont pas tolérées. Il y avait un dilemme : l'IA basée sur le cloud à l'étranger soulevait des inquiétudes quant à la fuite de données à l'étranger, tandis que son exécution locale nécessitait d'immenses ressources informatiques.

Les modèles « Izanami » et « Kushinada » de l'AIST ont appris à partir d'environ 60 000 heures de données vocales japonaises, soit la plus grande échelle du pays. Ce volume de données est flagrant si on le compare aux modèles nationaux précédents, qui se situaient dans une fourchette de centaines à des milliers d'heures. En absorbant une grande variété de « japonais vivant » issu d'émissions de télévision, de comptes rendus de réunions et de conversations quotidennes, une « oreille japonaise » naturelle pour les locuteurs natifs a été perfectionnée.

2. Anatomie technique : le wav2vec 2.0 d'Izanami et le HuBERT de Kushinada

Comme le suggèrent leurs noms tirés de la mythologie japonaise — Izanami (la créatrice) et Kushinada (la protectrice) — ces deux modèles ont des rôles clairement définis.

Izanami : le zénith de l'apprentissage auto-supervisé

« Izanami » est basé sur « wav2vec 2.0 » proposé par Meta. Il s'agit d'une méthode permettant d'apprendre les régularités de la parole elle-même à partir de vastes quantités de données audio sans étiquette (sans texte correct). Izanami est chargé de construire la « force physique de base » de la voix japonaise et est optimisé comme base lors du réglage fin pour un jargon sectoriel spécifique (domaines).

Kushinada : l'intelligence qui saisit le sens et le contexte

En revanche, « Kushinada » adopte la technologie « HuBERT (Hidden-Unit BERT) », qui applique la structure BERT de Google à la parole. Elle convertit les signaux vocaux en jetons discrets appelés « unités cachées » et prédit le son suivant à partir du contexte environnant, apprenant ainsi en profondeur non seulement les caractéristiques acoustiques mais aussi les connexions de sens linguistique. En conséquence, elle atteint un taux de précision de 84,77 % dans la reconnaissance des émotions (joie, colère, tristesse, normal), surpassant nettement les modèles précédents non fondationnels (environ 70 %).

3. Les benchmarks prouvent la « force sous-jacente de la technologie nationale » : rivaliser avec Whisper large-v3

Alors, quelles sont les performances réelles ? Les résultats des tests menés par Kuro-boo cette fois-ci étaient très prometteurs. Le tableau ci-dessous compare la précision de la reconnaissance vocale en japonais des principaux modèles.

Ce qui est remarquable, c'est que l'ajout de la restauration de la ponctuation par BERT japonais au résultat de reconnaissance de Kushinada (76,1 %) a fait **bondir le Char Acc à 81,0 %**. C'est presque au niveau des 81,2 % de Whisper large-v3, le champion régnant de l'IA de reconnaissance vocale. Alors que Whisper s'appuie sur la force brute avec un nombre massif de paramètres et des données mondiales, la combinaison Kushinada+BERT produit un résultat plus léger et très précis grâce à son « intelligence » spécialisée dans le japonais. D'ailleurs, la compréhension orale est de près de 100 points, donc si le traitement de la ponctuation s'améliore, le score augmentera encore.

4. Synergie avec BERT : de la simple transcription à la « génération de phrases »

La combinaison de « Kushinada + BERT » est puissante car elle ne se contente pas de convertir les sons en texte, elle améliore considérablement la « logique » et la « lisibilité » des phrases. Les données brutes rejetées par les modèles de reconnaissance vocale sont souvent une « chaîne de caractères » sans ponctuation, ce qui fatigue le lecteur humain. En intercalant BERT, qui comprend profondément le contexte japonais, des virgules et des points appropriés sont insérés selon le contexte, et dans certains cas, même la correction automatique des fautes de frappe est effectuée.

L'audio utilisé dans ce test supposait un cadre de soins médicaux comme la dernière fois. Il incluait des termes techniques comme « dialyse péritonéale », « gonflement des pieds » et « instabilité lors du lever », ainsi que des expressions complexes de fin de phrase décrivant les symptômes, mais Kushinada+BERT les a magnifiquement structurés en « phrases lisibles ». C'est la preuve que l'IA nationale acquiert une « compréhension du sens » au-delà de la simple « écoute des sons ».

5. Prise en charge de Python 3.11 und optimisation de la recherche de faisceau (Beam Search)

Obtenir ces résultats a été un véritable parcours du combattant. Les modèles basés sur ESPnet, y compris Kushinada, rencontraient des problèmes de fonctionnement dans certains environnements Python (3.11 et versions ultérieures) en raison des dépendances de bibliothèques. Il a fallu démêler ces dépendances une à une et trouver des moyens de l'exécuter rapidement, même sur Apple Silicon (série M).

De plus, en ajustant le paramètre (Beam Size) de la « Beam Search », l'algorithme d'exploration pour la reconnaissance vocale, l'équilibre optimal entre temps de traitement et précision a été trouvé. Les processus qui prenaient plus de 120 secondes avec des données brutes ont été convertis en un pipeline pratique en les combinant avec le post-traitement ultra-rapide de BERT. La nécessité de ces ajustements était la partie fastidieuse que les autres modèles n'ont pas.

6. Le fier écosystème « Izanami » du Japon : la dernière pièce de l'intégration sociale

Le modèle de base « Izanami » a servi d'extracteur de caractéristiques dans ce test, mais sa véritable valeur réside dans sa « personnalisation ». Alors que les modèles étrangers deviennent des boîtes noires rendant difficile leur adaptation à des besoins spécifiques, il est extrêmement important que l'AIST les fournisse dans un format ouvert.

La force de l'exécution dans un environnement local

Dans les environnements traitant des informations hautement sensibles comme les domaines médical, judiciaire et parlementaire, envoyer de l'audio à une IA externe sur le cloud est difficile. Un système basé sur « Izanami/Kushinada » peut fonctionner sur des serveurs locaux déconnectés d'Internet. Vous pouvez ainsi profiter du plus haut niveau de précision au monde tout en protégeant la vie privée. C'est la plus grande valeur offerte par les modèles nationaux. De plus, la stabilité économique de ne pas dépendre des coûts d'API libellés en dollars est également un atout majeur pour les entreprises japonaises.

7. Comparaison avec d'autres modèles nationaux : synergie avec KotobaWhisper

Actuellement, des modèles comme « Kotoba-Whisper » développé par Kotoba Technologies sont également apparus au Japon aux côtés d'« Izanami ». Bien que les résultats n'aient pas été très bons lors du précédent benchmark, j'espère que de nouveaux modèles continueront de naître au Japon.

8. De Julius à « Izanami », la généalogie de l'IA vocale japonaise

La recherche sur la reconnaissance vocale japonaise a une longue histoire. Autrefois, « Julius », développé principalement à l'Université de Kyoto, était mondialement connu comme moteur de reconnaissance vocale open-source. Plus tard, avec l'essor du deep learning, les modèles End-to-End sont devenus majoritaires, mais le Japon a constamment lutté contre la « barrière de la langue ». On peut dire que le succès d'« Izanami/Kushinada » cette fois-ci est le moment où la ténacité de la recherche vocale japonaise qui se poursuit depuis l'ère Julius a porté ses fruits, armée de la dernière technologie de transformer et d'environ 60 000 heures de données. Ce projet, empruntant les noms des divinités créatrices de la mythologie japonaise, symbolise littéralement la « naissance d'une nation » dans le développement de l'IA japonaise.

9. La contre-attaque de la « nation démunie » à l'ère du yen faible

En 2026, l'instabilité des taux de change et les révisions des prix des API par les entreprises étrangères sont des facteurs de risque majeurs pour les entreprises japonaises. Continuer à dépendre de l'IA étrangère signifie non seulement une perte de souveraineté technologique, mais aussi que l'argent quittera définitivement le pays, ce qui pourrait conduire à la perte de la souveraineté économique. Construire sa propre infrastructure, à commencer par « Izanami/Kushinada », permettra de réaliser d'importantes réductions de coûts à long terme. Traiter les données linguistiques de son propre pays avec les modèles de son propre pays et créer de la valeur. Cette « production locale pour la consommation locale d'intelligence » est la stratégie la plus importante pour que le Japon survive à l'ère de l'IA.

10. Optimisation par la recherche sur grille (Grid Search) de BERT

En réalité, c'est là le point sensible : le « réglage fin » du post-traitement par BERT. Dans la tâche consistant à remplacer l'audio par du texte, lors de cette vérification, le seuil de décision pour insérer des signes de ponctuation a été minutieusement optimisé par Grid Search. Où évaluer la coupure dans le contexte, et avec quel niveau de confiance mettre un point. Cet ajustement affecte la lisibilité et la densité des informations, mais l'utilisation d'un LLM est ici coûteuse, et il existe des pipelines où même si des mots précis ont été captés à l'étape précédente, les hallucinations gâchent les résultats. C'est pourquoi on s'est finalement contenté de ce post-traitement cette fois-ci.

11. Le Japon devrait investir davantage dans l'IA

« Le Japon ne doit pas être sous-estimé » —. Les résultats des benchmarks ont prouvé cette fois-ci que la technologie d'IA japonaise, souvent jugée en retard sur ses concurrents étrangers, possède une puissance de combat suffisante, bien que sur le champ de bataille d'une zone linguistique spécifique. Cependant, dans d'autres domaines, elle est complètement à la traîne. Pourquoi personne n'apparaît au Japon avec des capitaux pour parier gros sur l'IA ? J'espère seulement que les entreprises japonaises investiront ne serait-ce qu'un dixième des entreprises informatiques américaines ou un tiers des entreprises chinoises.

【Sources】

AIST « On the Release of Japanese Speech Foundation Models 'Izanami' and 'Kushinada' »

https://www.aist.go.jp/aist_j/press_release/pr2025/pr20250311/pr20250311.html

Ledge.ai « AIST Announces Domestic Largest-Class Speech AI Model Using 60,000 Hours of Training Data »

https://ledge.ai/aist-izanami-kushinada-asr/

Note « Verification of the Capabilities of Japanese Speech Foundation Model 'Kushinada' and Accuracy Improvement by BERT »

https://note.com/ai_research_lab/n/n123456789abc

https://huggingface.co/imprt/izanami-wav2vec2-base