OVHcloud는 AI Endpoints의 공식 출시를 발표했습니다. 이는 애플리케이션과 비즈니스 서비스에 인공지능 모델을 통합하기 위해 설계된 새로운 서버리스 클라우드 솔루션입니다. AI의 사용을 민주화하기 위해 설계된 이 플랫폼은 40개 이상의 오픈 소스 모델 라이브러리를 제공하며, 다양한 전문적 사용 사례를 포괄합니다.
AI Endpoints는 개발자들이 자연어 처리(LLM), 코드 생성, 음성 인식 또는 이미지 생성 모델에 접근할 수 있도록 하여, 하부 인프라를 관리하거나 기계 학습에 대한 높은 전문 지식이 없어도 가능합니다. 이 솔루션은 OVHcloud의 주권 클라우드 환경을 기반으로 하여, 유럽 내 데이터의 안전한 호스팅을 보장하며 비유럽 규제에 대한 보호를 제공합니다.
플랫폼은 개발자들이 모델의 기능을 완전히 통합하기 전에 실험할 수 있는 테스트 환경(샌드박스)을 제공하며, 기존 개발 환경에 통합하기 쉽게 해주는 API도 제공합니다. 타겟 사용 사례에는 고객 서비스 자동화, 코딩 지원, 비구조화된 문서에서 텍스트 추출, 음성-텍스트 및 텍스트-음성 변환 등이 포함됩니다. OVHcloud는 모델을 오픈 웨이트로 제공하여, 조직의 필요에 따라 타사 인프라 또는 온사이트에서 배포할 수 있는 투명한 접근 방식을 강조합니다.
프리뷰 후, 솔루션은 사용자 피드백(안정적인 모델 지원, API 키 관리 개선 등)을 반영하여 새로운 모델로 점진적으로 강화되었습니다. 현재 AI Endpoints는 40개 이상의 최신 오픈 소스 AI 모델을 제공합니다, 여기에는 다음이 포함됩니다:
LLM : Llama 3.3 70B, Mixtral 8x7B, ...
SLM : Mistral Nemo, Llama 3.1 8B, ...
Code : Qwen 2.5 Coder 32B, Codestral Mamba
Reasoning : DeepSeek-R1 (Llama distillé)
Multimodal : Qwen 2.5 VL 72B, ...
Image Generation : SDXL
Voice and Speech : ASR (speech-to-text), TTS (text-to-speech)
플랫폼은 모델과 분당 소비되는 토큰 수를 기반으로 한 사용량 기반 요금제를 통해 온디맨드 추론을 제공합니다. 그라블린(Gravelines) 데이터 센터에 호스팅되며, 물 냉각 시스템을 사용하여 환경 영향을 최소화하고 있으며, 유럽, 캐나다 및 아시아-태평양 지역에서 이미 사용할 수 있습니다.