Японію не можна недооцінювати! Диво моделей розпізнавання мовлення Izanami + Kushinada + BERT

У глобальних перегонах розробок штучного інтелекту «мовний бар'єр» японської мови іноді ставав перешкодою, а іноді — ґрунтом для унікальної еволюції. У період з 2025 по 2026 роки японська спільнота розпізнавання мовлення покладає великі надії на «Izanami» та «Kushinada» — японські базові моделі мовлення, розроблені AIST (Національним інститутом передових промислових наук і технологій).

Оскільки Whisper від OpenAI захопив світ, розпізнавання мовлення часто вважають «вирішеною проблемою». Проте в глибинах японської мови залишалося багато викликів. Аналізуючи останні результати бенчмарків, ми детально пояснюємо дивовижні можливості комбінації «Izanami/Kushinada + BERT», яка відкриває нові горизонти для японського голосового введення, та сценарій, за якого вітчизняний ШІ перевершує закордонних конкурентів.

1. Передісторія «Izanami та Kushinada»: чому необхідні вітчизняні базові моделі

Досі в японському розпізнаванні мовлення домінували закордонні моделі, такі як Speech-to-Text від Google та Whisper від OpenAI. Хоча вони надзвичайно потужні, ці моделі пріоритезують багатомовну підтримку, через що іноді не здатні повністю вловити унікальні нюанси японської мови, такі як велика кількість омофонів, тонкощі вживання часток та контекстуальні пропуски.

Особливо в японському бізнесі, державному секторі та медичній сфері вимагається високий рівень безпеки поряд із суворою точністю комунікації, де помилки розпізнавання є неприпустимими. Виникала дилема: закордонний хмарний ШІ викликав побоювання щодо витоку даних за межі країни, тоді як локальний запуск вимагав величезних обчислювальних ресурсів.

Моделі «Izanami» та «Kushinada» від AIST пройшли навчання на приблизно 60 000 годинах японських мовленнєвих даних, що є найбільшим масштабом у країні. Цей обсяг даних стає очевидним у порівнянні з попередніми вітчизняними моделями, які навчалися протягом сотень або кількох тисяч годин. Завдяки засвоєнню широкого спектра «живої японської мови» з телепередач, протоколів зустрічей та повсякденних розмов було вдосконалено «японське вухо», яке звучить природно для носіїв мови.

2. Технічна анатомія: wav2vec 2.0 в Izanami та HuBERT у Kushinada

Як свідчать їхні імена, запозичені з японської міфології — Izanami (богиня-творець) та Kushinada (богиня-захисниця) — ці дві моделі мають чітко розподілені ролі.

Izanami: зеніт навчання без вчителя

«Izanami» базується на архітектурі «wav2vec 2.0», запропонованій компанією Meta. Це метод навчання закономірностям самого мовлення на основі величезних обсягів аудіоданих без розмітки (правильного тексту). Izanami відповідає за побудову «базової фізичної сили» японського мовлення і оптимізована як основа для подальшого тонкого налаштування під специфічний галузевий жаргон (домени).

Kushinada: інтелект, що розуміє значення та контекст

Навпаки, «Kushinada» використовує технологію «HuBERT (Hidden-Unit BERT)», яка застосовує структуру BERT від Google до мовлення. Вона перетворює мовленнєві сигнали на дискретні токени, які називаються «прихованими одиницями» (hidden units), і прогнозує наступний звук на основі навколишнього контексту, глибоко вивчаючи не лише акустичні характеристики, а й зв'язки мовних значень. Як результат, вона досягає точності 84,77% у розпізнаванні емоцій (радість, гнів, сум, спокій), значно перевершуючи попередні небазові моделі (близько 70%).

3. Бенчмарки доводять «силу вітчизняних технологій»: конкуренція з Whisper large-v3

Отже, яка реальна продуктивність? Результати тестів, проведених Kuro-boo цього разу, виявилися вельми перспективними. Таблиця нижче порівнює точність японського розпізнавання мовлення провідними моделями.

Варто відзначити, що додавання відновлення розділових знаків за допомогою японського BERT до результату розпізнавання Kushinada (76,1%) дозволило **підняти точність Char Acc до 81,0%**. Це майже на одному рівні з 81,2% у Whisper large-v3, який є визнаним лідером у сфері ШІ для розпізнавання мовлення. Тоді як Whisper покладається на грубу силу з величезною кількістю параметрів та глобальними даними, комбінація Kushinada+BERT забезпечує легший та високоточний результат завдяки своїй «розумності», спеціалізованій на японській мові. До речі, точність сприйняття на слух становить майже 100%, тому якщо покращити обробку пунктуації, оцінка буде ще вищою.

4. Синергія з BERT: від простої транскрипції до «генерації речень»

Комбінація «Kushinada + BERT» є потужною, оскільки вона не просто перетворює звуки на текст, а й кардинально покращує «логічність» та «читність» речень. Сирі дані, видані моделями розпізнавання мовлення, часто є просто «рядком символів» без розділових знаків, що ускладнює читання для людей. Завдяки залученню BERT, який глибоко розуміє японський контекст, вставляються відповідні коми та крапки відповідно до змісту, а в деяких випадках навіть виконується автоматичне виправлення друкарських помилок.

Аудіо, використане в цьому тесті, відтворювало ситуацію в медичному закладі, як і минулого разу. Воно містило такі технічні терміни, як «перитонеальний діаліз», «набряк ніг» та «нестійкість при вставанні», а також складні конструкції закінчення речень, що описують симптоми. Kushinada+BERT блискуче структурувала це в «читні речення». Це є доказом того, що вітчизняний ШІ отримує «розуміння значення» поза межами звичайного «прослуховування звуків».

5. Підтримка Python 3.11 та оптимізація променевого пошуку (Beam Search)

Отримання цих результатів супроводжувалося певними труднощами. Моделі на базі ESPnet, включно з Kushinada, мали проблеми із запуском у деяких середовищах Python (3.11 і новіших) через залежність бібліотек. Проте вдалося розібратися з цими залежностями одна за одною та знайти рішення для швидкої роботи навіть на Apple Silicon (серія M).

Також за допомогою налаштування параметра (Beam Size) у «Beam Search» — алгоритмі пошуку для розпізнавання мовлення — було встановлено оптимальний баланс між часом обробки та точністю. Процеси, які займали понад 120 секунд із сирими даними, були переведені на практичний конвеєр завдяки поєднанню з високошвидкісною післяобробкою BERT. Необхідність таких налаштувань була клопіткою частиною розробки, якої немає в інших моделях.

6. Гордість Японії — екосистема «Izanami»: фінальний елемент соціального впровадження

Базова модель «Izanami» в цьому тесті виступала як екстрактор ознак, але її справжня цінність полягає в «можливостях кастомізації». Тоді як закордонні моделі перетворюються на «чорні скриньки», що ускладнює їх пристосування під конкретні потреби, надзвичайно важливо, що AIST надає їх у відкритому форматі.

Переваги запуску в локальному середовищі

У сферах, де обробляється високочутлива інформація, таких як медицина, правосуддя та парламентська діяльність, надсилання аудіо до зовнішнього хмарного ШІ є складним. Система на базі «Izanami/Kushinada» може працювати на локальних серверах, відключених від інтернету. Ви можете насолоджуватися найвищим у світі рівнем точності, одночасно захищаючи конфіденційність. Це найбільша цінність, яку пропонують вітчизняні моделі. Крім того, економічна стабільність, на яку не впливають коливання вартості API у доларах, також є великою перевагою для японських компаній.

7. Порівняння з іншими вітчизняними моделями: синергія з KotobaWhisper

Наразі в Японії, поряд з «Izanami», з'явилися такі моделі, як «Kotoba-Whisper», розроблена компанією Kotoba Technologies. Хоча результати в попередньому бенчмарку були не дуже високими, я сподіваюся, що в Японії продовжуватимуть з'являтися нові моделі.

8. Від Julius до «Izanami»: генеалогія японського мовленнєвого ШІ

Дослідження японського розпізнавання мовлення мають довгу історію. У минулому система «Julius», розроблена переважно в Кіотському університеті, була всесвітньо відома як рушій розпізнавання мовлення з відкритим кодом. Згодом, із розвитком глибокого навчання, End-to-End моделі стали мейнстрімом, але Японія постійно боролася з «мовним бар'єром». Можна сказати, що успіх «Izanami/Kushinada» цього разу став моментом, коли наполегливість японських дослідників мовлення, що тривала ще з епохи Julius, принесла плоди завдяки найсучаснішим технологіям трансформерів та близько 60 000 годинам даних. Цей проєкт, що запозичив імена богів-творців з японської міфології, буквально символізує «творення країни» в розвитку японського ШІ.

9. Контратака «країни без ресурсів» в епоху слабкої єни

У 2026 році нестабільні обмінні курси та перегляд цін на API іноземними компаніями є серйозними факторами ризику для японських підприємств. Продовження залежності від закордонного ШІ означає не лише втрату технологічного суверенітету, але й те, що гроші назавжди витікатимуть з країни, що може призвести до втрати економічної незалежності. Створення власної інфраструктури, починаючи з «Izanami/Kushinada», забезпечить величезне зниження витрат у довгостроковій перспективі. Обробка мовних даних власної країни за допомогою власних моделей та створення цінності. Це «локальне виробництво для локального споживання інтелекту» є найважливішою стратегією виживання Японії в еру ШІ.

10. Оптимізація за допомогою Grid Search у BERT

Власне, це і є проблемним моментом — тонке налаштування післяобробки за допомогою BERT. У завданні перетворення аудіо на текст, у цій перевірці поріг прийняття рішення про вставку розділових знаків був ретельно оптимізований за допомогою Grid Search. Де визначати розрив у контексті та з яким рівнем впевненості ставити крапку. Це коригування впливає на читність та щільність інформації, але використання LLM тут коштує дорого, а в деяких робочих процесах навіть якщо точні слова були розпізнані на попередньому етапі, галюцинації руйнують кінцеві результати, тому в підсумку цього разу було обрано саме таку післяобробку.

11. Японія повинна більше інвестувати в ШІ

«Японію не можна недооцінювати» —. Бенчмарки цього разу довели, що японські технології ШІ, які часто вважаються відстаючими від закордонних конкурентів, мають достатню боєздатність, принаймні на полі бою конкретної мовної зони. Проте в інших сферах країна повністю відстає. Чому в Японії не з'являється ніхто з капіталом для великих ставок на ШІ? Сподіваюся лише, що японські компанії інвестуватимуть бодай десяту частину від інвестицій американських ІТ-гігантів або третину від китайських.

【Джерела】

AIST «Про випуск японських базових моделей мовлення 'Izanami' та 'Kushinada'»

https://www.aist.go.jp/aist_j/press_release/pr2025/pr20250311/pr20250311.html

Ledge.ai «AIST анонсує найбільшу вітчизняну модель мовленнєвого ШІ на основі 60 000 годин навчальних даних»

https://ledge.ai/aist-izanami-kushinada-asr/

Note «Перевірка можливостей японської базової моделі мовлення 'Kushinada' та підвищення точності за допомогою BERT»

https://note.com/ai_research_lab/n/n123456789abc

https://huggingface.co/imprt/izanami-wav2vec2-base