Research Scientist, Real-Time Video Generation

Al determinar la compensación, se tendrán en cuenta varios factores, incluyendo las habilidades, la experiencia, el alcance del puesto, la ubicación y los datos competitivos del mercado de compensación.

Beneficios para puestos basados en EE. UU.:

• Salario competitivo y generosas acciones de la empresa

• Seguro médico, dental y de la vista: Cantina cubre el 99.99% de las primas

• 42 días de tiempo libre remunerado, que incluyen:

  • 15 días de PTO

  • 10 días de enfermedad

  • 15 festivos de la empresa

  • 2 festivos flotantes

• Generosa baja parental y apoyo a la fertilidad

• Plan de ahorro para la jubilación 401(k)

• Cuenta de gastos para estilo de vida: $500/mes para usar como prefieras

• Almuerzo y snacks gratuitos para empleados en la oficina

• Membresía de One Medical, ¡y más!

Estamos trabajando en la generación de vídeo en tiempo real para personajes interactivos, que abarcan desde humanos realistas y personajes estilizados hasta identidades no humanas. Queremos que estos personajes se sientan presentes: que hablen, reaccionen y se expresen a través de su rostro, gestos y lenguaje corporal.

Esto reúne un conjunto de problemas de investigación estrechamente conectados. Un personaje necesita una apariencia constante, un movimiento expresivo y coherente, y una relación natural entre el habla y el movimiento. El modelo también debe responder rápidamente y seguir generando de forma fiable a medida que se desarrolla la interacción. La calidad, la capacidad de control y la eficiencia son fundamentales.

Trabajarás en generación por streaming, ajuste fino (fine-tuning), destilación, optimización de la inferencia y datos. Algunos problemas requerirán un nuevo enfoque de entrenamiento; otros se reducirán a mejores ejemplos, una evaluación más útil o la comprensión de un cuello de botella en la implementación. Parte del trabajo consiste en determinar qué intervención merece la pena realizar.

Tendrás una libertad sustancial para proponer direcciones, investigar ideas desconocidas y dar forma a lo que trabajaremos a continuación. Buscamos a alguien que disfrute de esa libertad y pueda convertirla en una secuencia constante de experimentos útiles.

Cantina Labs es una empresa de IA social que desarrolla una suite de modelos avanzados en tiempo real que amplían los límites de la expresión, la personalidad y el realismo. Damos vida a los personajes, transformando la forma en que las personas cuentan historias, conectan y crean. Construimos y potenciamos ecosistemas. Cantina, nuestra plataforma insignia de IA social, es solo el comienzo.

Si te entusiasma el potencial que tiene la IA para dar forma a la creatividad humana y a las interacciones sociales, ¡únete a nosotros para construir el futuro!

• Generación en tiempo real y por streaming. Desarrollar modelos que permitan una interacción receptiva manteniendo la calidad visual y la coherencia a lo largo del tiempo. Investigar la latencia, la continuidad y cómo cambia el comportamiento del modelo durante una generación más larga.

• Expresión y movimiento del personaje. Explorar cómo la apariencia, la expresión facial, el gesto y el movimiento corporal se combinan para formar un personaje coherente. Mejorar la relación entre el habla y el movimiento en diferentes identidades y estilos visuales.

• Ajuste fino y post-entrenamiento. Adaptar modelos de vídeo a nuevos datos, comportamientos y capacidades. Investigar objetivos de entrenamiento y métodos de condicionamiento, y seguir las ideas prometedoras a través de su implementación y evaluación.

• Destilación y optimización de la inferencia. Hacer que la generación sea más rápida y eficiente. Trabajar en enfoques a nivel de modelo y en mejoras en tiempo de ejecución, midiendo sus efectos en la calidad, la latencia y la memoria.

• Desarrollo de datos. Dedicar tiempo significativo a los ejemplos de entrenamiento reales. Identificar la cobertura faltante y los modos de fallo recurrentes, mejorar la curación y el muestreo, y desarrollar datos que ayuden a los modelos a aprender el comportamiento que deseamos.

• Evaluación. Construir comparaciones que hagan visible el progreso y comprensibles los fallos. Combinar mediciones cuantitativas con una inspección cuidadosa del vídeo generado y la experiencia de interactuar con el modelo.

• Investigación y colaboración. Leer trabajos relevantes, reproducir y adaptar ideas útiles, y compartir experimentos tempranos, demostraciones y hallazgos. Ayudar al equipo a decidir qué merece más tiempo y capacidad de cómputo.