일본을 과소평가할 수 없다! 음성 인식 모델 Izanami + Kushinada + BERT의 경이로움

글로벌 AI 개발 경쟁에서 일본어라는 '언어 장벽'은 때로는 장애물이 되기도 하고, 때로는 독특한 진화의 토양이 되기도 했습니다. 2025년부터 2026년까지 일본의 음성 인식 AI 커뮤니티는 산업기술종합연구소(AIST)가 개발한 일본어 음성 기초 모델인 "Izanami"와 "Kushinada"에 대해 큰 기대를 걸고 있습니다.

OpenAI의 Whisper가 세계를 휩쓸면서 음성 인식은 흔히 '해결된 문제'로 여겨지곤 합니다. 하지만 깊이 있는 일본어 표현에는 여전히 많은 과제가 남아 있었습니다. 최신 벤치마크 결과를 파헤치며, 일본어 음성 입력의 새로운 지평을 여는 'Izanami/Kushinada + BERT'의 놀라운 성능과 국산 AI가 해외 경쟁사를 능가하는 시나리오에 대해 자세히 설명합니다.

1. 'Izanami와 Kushinada'의 배경: 왜 국산 기초 모델이 필요한가

지금까지 일본어 음성 인식은 Google의 Speech-to-Text나 OpenAI의 Whisper 같은 해외 모델이 지배해 왔습니다. 이 모델들은 강력하지만 여러 언어 지원을 우선시하기 때문에, 일본어 특유의 동음이의어 범람, 미묘한 조사 사용법, 문맥에 따른 생략 등 고유한 뉘앙스를 완전히 포착하지 못하는 경우가 많았습니다.

특히 일본의 비즈니스, 행정, 의료 복지 현장에서는 오인식이 허용되지 않는 엄격한 의사소통과 높은 보안 수준이 요구됩니다. 해외 클라우드 기반 AI는 데이터 해외 유출 우려가 있었고, 이를 로컬에서 실행하려면 방대한 컴퓨팅 자원이 필요하다는 딜레마가 있었습니다.

AIST의 'Izanami'와 'Kushinada'는 국내 최대 규모인 약 60,000시간의 일본어 음성 데이터를 학습했습니다. 이 데이터양은 수백에서 수천 시간 수준에 불과했던 기존의 국내 모델과 비교하면 압도적입니다. TV 방송, 회의록, 일상 대화 등에서 정제된 다양한 '살아있는 일본어'를 흡수함으로써 원어민에게 자연스럽게 들리는 '일본어 귀'가 완성되었습니다.

2. 기술 분석: Izanami의 wav2vec 2.0과 Kushinada의 HuBERT

일본 신화에서 유래한 이름처럼 창조의 신 'Izanami'와 조력자 'Kushinada'는 각각 명확한 역할을 가지고 설계되었습니다.

Izanami: 자가 지도 학습의 정점

'Izanami'는 Meta가 제안한 'wav2vec 2.0'을 기반으로 합니다. 이는 레이블(정답 텍스트)이 없는 방대한 오디오 데이터로부터 음성 자체의 규칙성을 학습하는 방법입니다. Izanami는 일본어 음성의 '기초 체력'을 다지는 역할을 담당하며, 특정 업계 전문 용어(도메인)에 맞춘 미세 조정(Fine-tuning)을 위한 기본 모델로 최적화되어 있습니다.

Kushinada: 의미와 문맥을 파악하는 지능

반면 'Kushinada'는 Google의 BERT 구조를 음성에 적용한 'HuBERT (Hidden-Unit BERT)' 기술을 채택하고 있습니다. 음성 신호를 '숨겨진 단위(hidden units)'라는 이산적인 토큰으로 변환하고, 주변 문맥을 바탕으로 다음 소리를 예측함으로써 음향적 특징뿐만 아니라 언어적 의미의 연결까지 깊이 학습합니다. 그 결과 감정 인식(기쁨, 분노, 슬픔, 평온)에서 84.77%의 정확도를 달성하여, 기존의 비기초 모델(약 70%)을 크게 뛰어넘었습니다.

3. 벤치마크가 증명한 '국산 기술의 저력': Whisper large-v3와 맞대결

그렇다면 실제 성능은 어떨까요? 이번에 Kuro-boo에서 실시한 테스트 결과는 꽤 고무적이었습니다. 아래 표는 주요 모델들의 일본어 음성 인식 정확도를 비교한 것입니다.

주목할 점은 Kushinada의 인식 결과(76.1%)에 일본어 BERT를 통한 문장 부호 복원(Punctuation Restoration)을 추가한 결과, **Char Acc가 81.0%로 급증**했다는 사실입니다. 이는 음성 인식 AI의 최강자인 Whisper large-v3의 81.2%와 거의 대등한 수준입니다. Whisper가 전 세계의 방대한 데이터와 엄청난 매개변수를 기반으로 한 무차별적인 방식에 의존하는 반면, Kushinada+BERT 조합은 일본어에 특화된 '지능'을 통해 더 가볍고 고정밀의 출력을 달성합니다. 참고로 청해력 자체는 거의 100점에 가깝기 때문에, 문장 부호 처리 능력이 더 향상되면 점수는 더욱 올라갈 것입니다.

4. BERT와의 시너지: 단순 녹취록에서 '문장 생성'으로

'Kushinada + BERT' 조합이 강력한 이유는 소리를 텍스트로 바꾸는 데 그치지 않고 문장으로서의 '논리성'과 '가독성'을 극적으로 향상시키기 때문입니다. 음성 인식 모델이 뱉어내는 원시 데이터는 문장 부호가 없는 '단순 문자열'인 경우가 많아 가독성이 떨어집니다. 일본어 문맥을 깊이 이해하는 BERT를 중간에 개입시킴으로써 문맥에 맞는 적절한 쉼표와 마침표가 삽입되며, 일부 경우에는 오타 자동 교정까지 수행됩니다.

이번 테스트에 사용된 오디오는 지난번처럼 의료 복지 현장을 가정한 것입니다. '복막 투석', '발 부종', '기립 시 비틀거림' 같은 전문 용어와 증상을 설명하는 복잡한 어미 표현들이 포함되어 있었지만, Kushinada+BERT는 이를 '읽기 쉬운 문장'으로 훌륭하게 구조화했습니다. 이는 국내 AI가 단순한 '소리 듣기'를 넘어 '의미 이해' 수준에 도달하고 있음을 보여주는 증거입니다.

5. Python 3.11 지원 및 빔 서치(Beam Search) 최적화

이 결과를 얻기까지는 상당한 어려움이 있었습니다. Kushinada를 포함한 ESPnet 기반 모델들은 라이브러리 의존성 문제로 특정 Python 환경(3.11 이상)에서 실행에 문제가 있었습니다. 하지만 의존성 문제를 하나씩 해결해 가며 Apple Silicon(M 시리즈)에서도 빠르게 실행할 수 있는 방안을 고안해 냈습니다.

또한 음성 인식 탐색 알고리즘인 '빔 서치(Beam Search)'의 파라미터(Beam Size)를 조정하여 처리 시간과 정확도 사이의 최적의 균형을 맞췄습니다. 원시 데이터 처리 시 120초 이상 걸리던 과정을 BERT의 고속 사후 처리와 결합하여 실용적인 파이프라인으로 끌어올렸습니다. 이러한 미세 조정 과정이 다른 모델에는 없는 번거로운 부분이었습니다.

6. 일본이 자랑하는 'Izanami' 생태계: 사회적 구현의 마지막 조각

기초 모델 'Izanami'는 이번 테스트에서 특징 추출기 역할을 했지만, 진짜 가치는 '커스터마이징 가능성'에 있습니다. 해외 모델은 블랙박스화되어 특정 요구 사항에 맞게 조정하기 어려운 반면, AIST가 이들을 오픈 형식으로 제공한다는 점은 매우 큰 의미가 있습니다.

로컬 환경 실행의 강점

의료, 사법, 국회 등 민감한 정보를 취급하는 분야에서는 음성 데이터를 외부 클라우드 AI로 전송하기 어렵습니다. 'Izanami/Kushinada' 기반 시스템은 인터넷이 차단된 로컬 서버에서 실행할 수 있습니다. 개인정보를 철저히 보호하면서 세계 최고 수준의 정확도를 누릴 수 있는 것입니다. 이는 국내 모델이 제공하는 가장 큰 가치입니다. 게다가 달러화 기준의 API 비용에 휘둘리지 않는 경제적 안정성 또한 국내 기업들에게 큰 매력입니다.

7. 다른 국내 모델과의 비교: KotobaWhisper와의 시너지

현재 일본에서는 'Izanami' 외에도 Kotoba Technologies가 개발한 'Kotoba-Whisper' 같은 모델도 등장하고 있습니다. 이전 벤치마크에서는 결과가 아주 좋지는 않았지만, 앞으로도 일본에서 새로운 모델들이 지속적으로 태어나기를 기대합니다.

8. Julius에서 'Izanami'까지, 일본어 음성 AI의 계보

일본의 음성 인식 연구는 오랜 역사를 가지고 있습니다. 과거에는 교토대학을 중심으로 개발된 'Julius'가 오픈소스 음성 인식 엔진으로 세계적으로 널리 알려졌었습니다. 이후 딥러닝의 부상과 함께 엔드투엔드 모델이 주류가 되었지만, 일본은 끊임없이 '언어 장벽'과 싸워왔습니다. 이번 'Izanami/Kushinada'의 성공은 Julius 시절부터 이어져 온 일본어 음성 연구진의 끈기가 최신 트랜스포머 기술 및 약 60,000시간의 데이터와 만나 결실을 맺은 순간이라 할 수 있습니다. 일본 신화의 창조신 이름을 빌린 이 프로젝트는 문자 그대로 일본 AI 개발의 '나라 만들기'를 상징합니다.

9. 엔저 시대, '자원 없는 나라'의 반격

2026년 불안정한 환율과 외국 기업들의 API 가격 조정은 국내 기업들에게 큰 리스크 요인입니다. 해외 AI에 계속 의존하는 것은 기술 주권 상실뿐만 아니라 자금이 영구적으로 해외로 유출되어 경제 주권마저 흔들릴 수 있음을 의미합니다. 'Izanami/Kushinada'를 시작으로 자체 인프라를 구축하면 장기적으로 엄청난 비용 절감을 달성할 수 있습니다. 자국의 언어 데이터를 자국의 모델로 처리해 가치를 창출하는 것. 이 '지능의 신토불이(local production for local consumption of intelligence)'야말로 일본이 AI 시대에 생존하기 위한 가장 중요한 전략입니다.

10. BERT 그리드 서치(Grid Search)를 통한 최적화

사실 이 부분이 핵심입니다. 바로 BERT에 의한 사후 처리의 미세 조정입니다. 음성을 텍스트로 변환하는 작업에서, 이번 검증에서는 문장 부호를 삽입하는 판단 임계값을 그리드 서치를 통해 철저히 최적화했습니다. 문맥의 흐름을 어디서 끊을지, 그리고 어느 정도의 확신을 가지고 마침표를 찍을지 등을 조율했습니다. 이 조정은 가독성과 정보 밀도에 큰 영향을 미치는데, 여기에 LLM을 사용하면 비용이 너무 많이 들고, 이전 단계에서 아무리 정확한 단어를 뽑아냈더라도 환각(hallucination) 현상으로 결과물을 망치는 파이프라인도 존재하기 때문에 결국 이번에는 이 사후 처리 방식으로 정리하게 되었습니다.

11. 일본은 AI에 더 많이 투자해야 한다

"일본을 만만하게 볼 수 없다"—. 이번 벤치마크 결과는 특정 언어 영역이라는 전쟁터이기는 하지만, 해외 경쟁사에 뒤처진 것으로 평가받던 일본의 AI 기술이 충분한 전투력을 갖추고 있음을 증명했습니다. 그러나 다른 분야에서는 완전히 밀리고 있습니다. 왜 일본에는 AI에 거액을 베팅하는 큰손이 나타나지 않는 걸까요? 일본 기업들이 미국 IT 기업들의 10분의 1, 혹은 중국 IT 기업들의 3분의 1이라도 투자하기를 간절히 바랄 뿐입니다.

【출처】

AIST "일본어 음성 기초 모델 'Izanami' 및 'Kushinada' 공개에 대하여"

https://www.aist.go.jp/aist_j/press_release/pr2025/pr20250311/pr20250311.html

Ledge.ai "AIST, 60,000시간 학습 데이터 사용한 국내 최대 규모 음성 AI 모델 발표"

https://ledge.ai/aist-izanami-kushinada-asr/

Note "일본어 음성 기초 모델 'Kushinada'의 실력 검증 및 BERT를 통한 정확도 향상"

https://note.com/ai_research_lab/n/n123456789abc

https://huggingface.co/imprt/izanami-wav2vec2-base