¡Japón no puede ser subestimado! La maravilla de los modelos de reconocimiento de voz Izanami + Kushinada + BERT

En la carrera mundial del desarrollo de la IA, la "barrera del idioma" del japonés ha sido a veces un obstáculo y, a veces, el terreno para una evolución única. De 2025 a 2026, la comunidad japonesa de IA de reconocimiento de voz tiene grandes expectativas puestas en "Izanami" y "Kushinada", modelos base de voz en japonés desarrollados por el AIST (Instituto Nacional de Ciencia y Tecnología Industrial Avanzada).

Con Whisper de OpenAI arrasando en todo el mundo, a menudo se piensa que el reconocimiento de voz es un "problema resuelto". Sin embargo, en las profundidades del idioma japonés quedaban muchos retos. Analizando los últimos resultados de las pruebas de rendimiento, explicamos a fondo las asombrosas capacidades de "Izanami/Kushinada + BERT", que abre un nuevo horizonte para la entrada de voz en japonés, y el escenario en el que la IA nacional supera a sus competidores extranjeros.

1. Los antecedentes de 'Izanami y Kushinada': Por qué son necesarios los modelos fundacionales nacionales

Hasta ahora, el reconocimiento de voz en japonés ha estado dominado por modelos extranjeros como Speech-to-Text de Google y Whisper de OpenAI. Aunque son muy potentes, estos modelos priorizan el soporte multiidioma, fallando a veces a la hora de captar plenamente matices exclusivos del japonés, como la abundancia de homófonos, el uso delicado de las partículas y las omisiones dependientes del contexto.

Particularmente en los entornos empresariales, gubernamentales y de bienestar médico de Japón, se exigen altos niveles de seguridad junto con una comunicación estricta en la que no se aceptan errores de reconocimiento. Existía un dilema: la IA basada en la nube en el extranjero suscitaba preocupación por la filtración de datos fuera del país, mientras que ejecutarlos localmente requería enormes recursos informáticos.

Izanami" y "Kushinada" de AIST han aprendido de aproximadamente 60.000 horas de datos de voz en japonés, la mayor escala del país. Este volumen de datos es abrumadoramente evidente si se compara con los modelos nacionales anteriores, que se situaban en el rango de cientos a miles de horas. Al absorber una gran variedad de "japonés vivo" procedente de emisiones de televisión, actas de reuniones y conversaciones cotidianas, se perfeccionó un "oído japonés" que resulta natural a los hablantes nativos.

2. Anatomía técnica: El wav2vec 2.0 de Izanami y el HuBERT de Kushinada

Como sugieren sus nombres derivados de la mitología japonesa —Izanami (la creadora) y Kushinada (la protectora)—, estos dos modelos tienen funciones claramente diseñadas.

Izanami: El cénit del aprendizaje autosupervisado

"Izanami" se basa en "wav2vec 2.0", propuesto por Meta. Se trata de un método para aprender las regularidades del habla en sí a partir de grandes cantidades de datos de audio sin etiquetas (texto correcto). Izanami se encarga de crear la "fuerza física básica" de la voz japonesa y está optimizado como base a la hora de realizar el ajuste fino para jerga industrial específica (dominios).

Kushinada: Inteligencia que capta el significado y el contexto

Por el contrario, "Kushinada" adopta la tecnología "HuBERT (Hidden-Unit BERT)", que aplica la estructura BERT de Google al habla. Convierte las señales de voz en fichas discretas llamadas "unidades ocultas" y predice el siguiente sonido a partir del contexto circundante, aprendiendo en profundidad no sólo las características acústicas sino también la conexión de los significados lingüísticos. Como resultado, alcanza una tasa de precisión del 84,77% en el reconocimiento de emociones (alegría, ira, tristeza, normal), superando significativamente a los modelos anteriores no fundacionales (alrededor del 70%).

3. Los Benchmarks demuestran la 'fuerza subyacente de la tecnología nacional': Rivalizando con Whisper large-v3

¿Cuál es el rendimiento real? Los resultados de las pruebas realizadas por Kuro-boo esta vez fueron bastante prometedores. La siguiente tabla compara la precisión del reconocimiento de voz en japonés de los principales modelos.

Lo destacable es que añadir la restauración de puntuación mediante BERT japonés al resultado de reconocimiento de Kushinada (76,1%) hizo que el **Char Acc saltara al 81,0%**. Esto está casi a la par con el 81,2% de Whisper large-v3, el rey actual de la IA de reconocimiento de voz. Mientras que Whisper se basa en la fuerza bruta con un número masivo de parámetros y datos mundiales, la combinación de Kushinada+BERT logra un resultado más ligero y muy preciso gracias a su "inteligencia" especializada en japonés. Por cierto, la comprensión auditiva es de casi 100 puntos, por lo que si mejora el procesamiento de la puntuación, la puntuación subirá aún más.

4. Sinergia con BERT: De la mera transcripción a la 'generación de frases'

La combinación de "Kushinada + BERT" es potente porque no se limita a convertir sonidos en texto, sino que mejora drásticamente la "lógica" y la "legibilidad" como oraciones. Los datos brutos escupidos por los modelos de reconocimiento de voz suelen ser una "cadena de caracteres" sin puntuación, lo que causa estrés a los lectores humanos. Al interponer BERT, que comprende profundamente el contexto japonés, se insertan comas y puntos adecuados según el contexto y, en algunos casos, incluso se realiza la corrección automática de errores tipográficos.

El audio utilizado en esta prueba asumía un entorno de bienestar médico como la última vez. Incluía términos técnicos como "diálisis peritoneal", "hinchazón de pies" e "inestabilidad al ponerse de pie", así como complejas expresiones de final de frase que describían síntomas, pero Kushinada+BERT los estructuró espléndidamente en "frases legibles". Esto es una prueba de que la IA nacional está adquiriendo "comprensión del significado" más allá de la mera "escucha de sonidos".

5. Soporte para Python 3.11 y optimización de búsqueda de haz (Beam Search)

Conseguir estos resultados fue toda una odisea. Los modelos basados en ESPnet, incluido Kushinada, tenían problemas para ejecutarse en determinados entornos Python (3.11 y posteriores) debido a las dependencias de las librerías. Sin embargo, fue necesario desentrañar esas dependencias una a una e idear formas de hacerlo funcionar rápido incluso en Apple Silicon (serie M).

Además, ajustando el parámetro (Beam Size) de "Beam Search", el algoritmo de exploración para el reconocimiento de voz, se ajustó el equilibrio óptimo entre tiempo de procesamiento y precisión. Los procesos que tardaban más de 120 segundos con datos brutos se elevaron a una canalización práctica al combinarlos con el postprocesamiento a alta velocidad de BERT. La necesidad de tales ajustes fue la parte engorrosa que otros modelos no tienen.

6. El orgulloso ecosistema 'Izanami' de Japón: La pieza final de la implementación social

El modelo fundacional "Izanami" actuó como extractor de características en esta prueba, pero su verdadero valor reside en la "personalización". Mientras que los modelos extranjeros se convierten en cajas negras que dificultan su adaptación a necesidades específicas, es extremadamente significativo que el AIST los ofrezca en un formato abierto.

La fuerza de ejecutarse en un entorno local

En entornos donde se maneja información altamente sensible, como los campos médico, judicial y parlamentario, enviar audio a una IA externa en la nube es difícil. Un sistema basado en "Izanami/Kushinada" puede ejecutarse en servidores locales desconectados de Internet. Puede disfrutar del mayor nivel de precisión del mundo a la vez que protege la privacidad. Éste es el mayor valor que ofrecen los modelos nacionales. Además, la estabilidad económica al no verse influido por los costes de las API denominadas en dólares es también un gran atractivo para las empresas japonesas.

7. Comparación con otros modelos nacionales: Sinergia con KotobaWhisper

Actualmente, en Japón también han aparecido modelos como "Kotoba-Whisper" desarrollado por Kotoba Technologies junto a "Izanami". Aunque los resultados no fueron muy buenos en el anterior benchmark, espero que sigan naciendo nuevos modelos en Japón.

8. De Julius a 'Izanami', la genealogía de la IA de voz japonesa

La investigación sobre el reconocimiento de voz en japonés tiene una larga historia. En el pasado, "Julius", desarrollado principalmente en la Universidad de Kioto, era conocido mundialmente como motor de reconocimiento de voz de código abierto. Más tarde, con el auge del aprendizaje profundo, los modelos End-to-End se convirtieron en la corriente principal, pero Japón ha luchado constantemente contra la "barrera del idioma". Puede decirse que el éxito de "Izanami/Kushinada" esta vez es el momento en que fructificó la tenacidad de la investigación del habla japonesa que continuaba desde la era Julius, armada con la última tecnología de transformadores y unas 60.000 horas de datos. Este proyecto, que toma prestados los nombres de los dioses creadores de la mitología japonesa, simboliza literalmente el "nacimiento de una nación" en el desarrollo de la IA japonesa.

9. El contraataque de la 'nación de los desposeídos' en la era del yen débil

En 2026, los tipos de cambio inestables y las revisiones de los precios de las API por parte de empresas extranjeras son importantes factores de riesgo para las empresas japonesas. Seguir confiando en la IA extranjera no sólo significa una pérdida de soberanía tecnológica, sino también que el dinero fluirá permanentemente fuera del país, lo que podría llevar a perder la soberanía económica. Construir su propia infraestructura, empezando por "Izanami/Kushinada", supondrá una enorme reducción de costes a largo plazo. Procesar los datos lingüísticos de su propio país con modelos de su propio país y crear valor. Esta "producción local para el consumo local de inteligencia" es la estrategia más importante para que Japón sobreviva en la era de la IA.

10. Optimización mediante la búsqueda en cuadrícula (Grid Search) de BERT

En realidad, éste es el punto problemático: El "ajuste fino" del postprocesamiento por parte de BERT. En la tarea de sustituir audio por texto, en esta verificación, el umbral de juicio para insertar signos de puntuación se optimizó a fondo mediante Grid Search. Dónde juzgar la ruptura en el contexto, y con qué grado de confianza poner un punto. Este ajuste afecta a la legibilidad y a la densidad de la información, pero utilizar un LLM aquí es costoso, y hay flujos de trabajo en los que incluso si se captan palabras precisas en la fase precedente, las alucinaciones arruinan los resultados, por lo que al final esta vez se resumió con este postprocesamiento.

11. Japón debería invertir más en IA

"No se puede subestimar a Japón"—. Los resultados de las pruebas comparativas de esta vez demostraron que la tecnología de IA japonesa, de la que a menudo se piensa que va a la zaga de los competidores extranjeros, posee suficiente potencia de combate, aunque sea en el campo de batalla de un área lingüística específica. Sin embargo, en otros campos está completamente rezagada. ¿Por qué no aparece nadie en Japón con dinero para apostar fuerte por la IA? Sólo espero que las empresas japonesas inviertan aunque sea una décima parte de las empresas de TI estadounidenses o una tercera parte de las chinas.

【Fuentes】

AIST "Sobre el lanzamiento de los modelos fundacionales de voz en japonés 'Izanami' y 'Kushinada'"

https://www.aist.go.jp/aist_j/press_release/pr2025/pr20250311/pr20250311.html

Ledge.ai "AIST anuncia el modelo de IA de voz de mayor escala nacional con 60.000 horas de datos de entrenamiento"

https://ledge.ai/aist-izanami-kushinada-asr/

Note "Verificación de las capacidades del modelo fundacional de voz en japonés 'Kushinada' y mejora de la precisión mediante BERT"

https://note.com/ai_research_lab/n/n123456789abc

https://huggingface.co/imprt/izanami-wav2vec2-base