TLDR : Mistral AI가 오픈 소스 오디오 모델 패밀리 Voxtral을 출시하여 음성 인텔리전스 분야에 진입했습니다. Voxtral은 다양한 환경에 맞춘 두 가지 모델로 구성되며, 경쟁사보다 더 나은 비용 효율성과 성능을 제공합니다.
목록
지난 화요일, Mistral AI는 자사의 첫 오픈 소스 오디오 모델 패밀리인 Voxtral의 출시를 발표했습니다. 이러한 음성 이해 모델은 전문적인 용도를 위해 설계되었으며, 프랑스의 유니콘 기업인 Mistral AI가 OpenAI, Meta, Google과 같은 기업들이 지배해온 전략적 음성 인텔리전스 분야에 진입했음을 알립니다.
Voxtral 시리즈는 주로 두 가지 모델로 구성됩니다: Voxtral Small (240억 매개변수)과 Voxtral Mini (30억 매개변수), 각각 다른 환경을 목표로 합니다. Small 모델은 복잡한 사용 사례와 대규모 클라우드 배포를 목표로 하며, Mini 버전은 내장형 또는 자원이 제한된 배포를 목표로 합니다. Mistral AI는 또한 Voxtral Mini Transcribe를 제공하여 음성 전사에 최적화된 버전으로, Whisper와 같은 모델보다 더 나은 비용 효율성을 자랑합니다.
전사를 넘어서는 기능
Voxtral은 신뢰성이 떨어지는 ASR(자동 음성 인식) 시스템과 비싼 폐쇄형 및 독점 API에 대한 대안을 제공합니다.
긴 오디오 컨텍스트를 처리하도록 설계되어, 최대 30분의 전사 또는 40분의 이해를 처리할 수 있으며, 32,000 토큰의 윈도우를 제공합니다.
Mistral Small 3.1 언어 모델 아키텍처를 기반으로 하며, 음성 요청에 응답하고 오디오 파일에서 요약을 생성하거나 음성으로 표현된 의도를 API 호출 또는 백엔드 흐름으로 변환할 수 있습니다. 이 모델은 영어, 스페인어, 아랍어, 프랑스어, 포르투갈어, 힌디어, 독일어, 네덜란드어 및 이탈리아어 등 주요 사용 언어를 지원합니다.
최고의 성능
Mistral의 초기 평가에 따르면, Voxtral Small은 Whisper v3 기준 모델을 능가하며, Gemini 2.5 Flash 및 Open AI의 GPT-4o Mini Transcribe를 여러 자동 전사 메트릭에서 능가하고, 자원 소비도 적절히 제어됩니다.
FLEURS(아래)에서, Voxtral Small은 테스트된 모든 언어에서 Whisper보다 높은 정확도로 최고의 성능을 보여줍니다.
© Mistral AI
음성 번역 작업에서, Voxtral Small은 GPT-4o Mini 및 Gemini와 경쟁력을 갖추고 있습니다.
가용성
Apache 2.0 라이선스로 배포되는 두 모델은 Hugging Face에서 다운로드 가능합니다. Voxtral은 0.001달러/분이라는 가격으로 API를 통해 통합할 수 있으며, 이는 경쟁사 제품들보다 절반 이하의 비용입니다. 곧 Mistral AI의 대화형 비서 Le Chat에 통합될 예정입니다.
특정 비즈니스 컨텍스트를 위해 기업들은 특히 법률 또는 의료 분야에서의 개인적이고 안전한 배포를 선택할 수 있습니다.
Mistral AI는 앞으로 몇 달 내에 오디오 세분화, 화자 식별, 감정 탐지 등의 새로운 기능을 추가할 계획입니다.
확장하는 시장 역동성
이 출시 시점은 고객 지원, 상호 작용 분석, 자동화된 문서화 또는 음성 지원 등에서의 사용 사례가 가속화되며, 음성 전사 및 분석 솔루션에 대한 수요가 증가하는 시기입니다. Voxtral은 이미 Whisper(OpenAI, MIT), SeamlessM4T(Meta, 비상업용) 또는 NVIDIA NeMo, ESPnet과 같은 프레임워크가 점유하고 있는 공간에 자리잡고 있습니다.
하지만 현재로선 이들 중 소수가 자유로운 접근, 통합된 의미 이해, 그리고 음성에서 행동을 트리거하는 능력을 하나의 솔루션에서 제공합니다.
Cet article publirédactionnel est publié dans le cadre d'une collaboration commerciale