ElevenLabs ha presentado Eleven v4 y su variante de baja latencia, Eleven v4 Turbo: sus modelos de conversión de texto a voz más rápidos y expresivos hasta la fecha. «La IA está logrando avances extraordinarios en ciencia y programación, pero en muchos ámbitos de la economía y la sociedad, su forma de interactuar será tan importante como su capacidad de razonamiento», afirma Mati Staniszewski, cofundador y consejero delegado de ElevenLabs. «Eleven v4 aporta la riqueza y la expresividad que faltaban en la comunicación con la IA. Gracias a sus matices emocionales y a su comprensión del contexto, el modelo permitirá crear nuevas experiencias artísticas y con agentes de IA en muchos más mercados de todo el mundo».
«Eleven v4 se basa en una nueva arquitectura que ofrece una mayor variedad de registros emocionales y un control más preciso», explica Piotr Dąbkowski, cofundador y director de Tecnología de ElevenLabs. «El modelo comprende en profundidad el audio y la prosodia, lo que se traduce en interpretaciones más ricas y diálogos más naturales. Desde el principio lo diseñamos para aplicaciones que requieren tiempos de respuesta mínimos, y nos alegra poder llevar esa misma expresividad a los agentes conversacionales».
Una voz que interpreta
Mientras que las generaciones anteriores de modelos de conversión de texto a voz se limitaban a leer un texto en voz alta, Eleven v4 lo interpreta. El modelo extrae del texto el tono, el ritmo, el carácter y el contexto para generar una voz capaz de transmitir emociones: desde la urgencia y el dramatismo hasta la ternura o el humor.
Para ajustar la interpretación con precisión, los usuarios pueden describir con lenguaje natural cómo debe pronunciarse una frase o incorporar etiquetas en el propio texto para indicar la emoción, el estilo, los efectos sonoros o la forma de hablar. Algunos ejemplos son [laughs] —risas—, [said angrily in British accent] —dicho con enfado y acento británico—, [light rain] —lluvia suave— o [phone buzzing] —vibración de un teléfono—.
Eleven v4 ofrece una mayor consistencia que Eleven v3 y mejora la generación de conversaciones dinámicas entre varios interlocutores. Gracias a un nuevo método para representar la identidad vocal, conserva los rasgos distintivos de cada voz en las distintas generaciones de audio, manteniendo la coherencia en conversaciones, audiolibros o anuncios. Además, al comprender el contexto de una escena completa, genera diálogos naturales en los que cada interlocutor responde a lo que acaba de escuchar, en lugar de encadenar frases aisladas.
Agentes más expresivos, con respuestas en tiempo real
Hasta ahora, los modelos de voz de alta calidad solían tardar más en generar audio, lo que obligaba a las empresas a elegir entre rapidez y expresividad. Muchas han optado por agentes eficaces, pero monótonos, que pueden resultar robóticos cuando atienden a una persona nerviosa o alterada.
Eleven v4 Turbo permite crear agentes expresivos capaces de mantener conversaciones ágiles y fluidas. El modelo tarda, de media, solo 100 milisegundos en empezar a emitir su primera respuesta, menos que la pausa media entre turnos en una conversación entre dos personas, y traslada la riqueza emocional de Eleven v4 a las interacciones en tiempo real.
Esta combinación de velocidad y expresividad abre nuevas posibilidades en numerosos sectores: desde agentes con una voz cálida y tranquilizadora, capaces de pronunciar correctamente términos médicos en el ámbito sanitario, hasta personajes de videojuegos que hablan con rapidez y utilizan expresiones coloquiales para entretener a los jugadores.
Eleven v4 Turbo está diseñado para integrarse plenamente con ElevenAgents, la plataforma de agentes conversacionales de ElevenLabs. Los equipos de investigación e ingeniería de la compañía han optimizado ambos productos de forma conjunta, como un único sistema, para ofrecer agentes más expresivos y fiables, con tiempos de respuesta más reducidos.
Una IA que habla con la naturalidad de cada idioma
Generar una voz que suene nativa exige algo más que pronunciar correctamente las palabras. Cada idioma tiene sus propios ritmos, y cada entorno cultural, sus convenciones sobre cómo hablar y expresar emociones. Estas también varían en función de quién habla y de a quién se dirige. Por ejemplo, la forma de dirigirse a una persona mayor desconocida en Japón difiere de la habitual en Italia.
Eleven v4 genera voces expresivas y similares a las humanas en más de 90 idiomas, frente a los 70 que admitía v3. El modelo deduce el contexto y el carácter a partir del texto para ofrecer una interpretación más natural en el idioma elegido. La calidad de la voz mejora en todos los idiomas, con avances especialmente destacados en japonés, chino mandarín y portugués de Brasil.
Para las marcas y los creadores que quieren mantener una misma identidad vocal en distintos mercados, Eleven v4 permite cambiar de idioma y acento sin perder las demás características de la voz. Así, una voz grabada en coreano puede leer un texto en inglés con acento nativo, conservando el tono y el timbre originales.
Protección de la identidad y los datos
Los agentes de voz intervienen en algunas de las conversaciones más delicadas que una empresa mantiene con sus clientes: verificar su identidad, hablar sobre su salud o gestionar su dinero. Muchos de los sectores en los que Eleven v4 y Eleven v4 Turbo pueden aportar más valor, como la sanidad, los servicios financieros y las administraciones públicas, están sujetos a exigentes requisitos de seguridad y cumplimiento normativo.
Según ElevenLabs, los modelos cumplen con el Reglamento General de Protección de Datos (RGPD), HIPAA, SOC 2 y PCI, y ofrecen opciones de residencia de datos en la Unión Europea, Estados Unidos, Singapur e India.
Aprovechar las ventajas de modelos más expresivos también exige contar con medidas adecuadas para proteger la identidad. Para utilizar las herramientas de clonación profesional de voz de ElevenLabs, los usuarios deben superar un CAPTCHA de voz: leer, en un plazo breve, una frase generada dinámicamente para verificar su voz. Por su parte, el sistema de protección No-Go Voices bloquea la clonación de voces de políticos y otras personalidades de gran notoriedad pública.
