„Ene Elevenlabs“, PG startas, kuris ką tik surinko 180 milijonų dolerių vertės mega finansavimo etapą, pirmiausia buvo žinomas dėl savo garso generavimo meistriškumo. Bendrovė žengė žingsnį kita technologine kryptimi, paleisdama pirmąjį savo atskirą kalbėjimo ir teksto modelį, vadinamą „Scribe“.

Pradedantysis, kurio vertė siekia 3,3 milijardo JAV dolerių, padėjo daugeliui kitų bendrovių teikti kalbų ir teksto paslaugas per savo didžiulę balsų biblioteką. Tačiau dabar įmonė siekia įsitraukti į kalbą ir konkuruoti su panašiaisiais „Gladia“, „Speechmatics“, „Assemblyai“, „Deepgram“ ir „Openai Whisper“ modeliais.

„EleveenLabs“ raštininko modelis palaiko daugiau nei 99 kalbas. Bendrovė modeliui skiria daugiau nei 25 kalbas pagal puikų tikslumo kategoriją, kai žodžio klaidų lygis yra mažesnis nei 5%. Į šį sąrašą įeina anglų kalba (nurodytas 97%tikslumo lygis), prancūzų, vokiečių, hindi, indoneziečių, japonų, kanadų, malajalamo, lenkų, portugalų, ispanų ir vietnamiečių. Kitos kalbos yra suskirstytos į skirtingas kategorijas, kurių žodis yra aukštas (5–10% žodžio klaidų lygis), geras (10–20% žodžio klaidų lygis) ir vidutinio sunkumo (25–50%) žodžių klaidų lygis.

Bendrovė teigė, kad modelis pralenkė „Google Gemini 2.0“ „Flash“ ir šnabžda didelius V3 keliomis kalbomis „Fleurs & Common Voice“ etalono testuose.

„EleveenLabs“ sukūrė savo AI pokalbių agento platformos, kuri buvo išleista praėjusiais metais, kalbų ir teksto komponentą. Tačiau tai yra pirmas kartas, kai įmonė išleidžia atskirą kalbos aptikimo modelį. Praėjusį mėnesį pokalbyje su „TechCrunch“ generalinis direktorius Mati Staniszewski kalbėjo apie kalbos aptikimo modelių tobulinimą.

„Mes norime suprasti, ką jūs sakote geriau pokalbyje. Mes stengiamės nutolti tik nuo turinio generavimo ir supratimo bei kalbos perrašymo “, – tuo metu sakė Staniszewski. „Daugelis žmonių sako, kad kalbos ir teksto yra išspręsta problema. Tačiau daugeliui kalbų tai yra gana blogai. Mes manome, kad galime sukurti geresnius kalbos aptikimo modelius, nes turime vidines komandas, kad būtų galima komentuoti duomenis ir pateikti mums greitą atsiliepimą. “

Modelis taip pat turi protingą garsiakalbių dirizavimą, kad pasakytų, kas kalba, „Timestamp“ žodžių lygyje, kad būtų tiksli subtitrai, ir automatiškai pažymėtus garso įvykius, tokius kaip auditorijos juokdamasis. „The Startup“ suteikia galimybę klientams tiesiogiai perrašyti vaizdo įrašų turinį, kad jos studijoje būtų subtitrai ar antraštės.

Šiuo metu „Scribe“ veikia tik su iš anksto įrašytais garso formatais. Bendrovė teigė, kad netrukus išleis mažo latentinio modelio versiją. Tai reiškia, kad jis dar nėra efektyvus norint įvykdyti transkripcijas ar balso užrašų pateikimą.

„EleveNENLABS“ kainų rašymo kainos yra 0,40 USD už valandą perrašyto garso. Nors norma yra konkurencinga, kai kurie konkurentai šiuo metu siūlo mažesnę garso transkripcijos kainą su tam tikra funkcijų diferenciacija.