Gerente de Producto Sénior - EMEA - Remoto

Podrías encajar perfectamente si puedes explicarnos:

• Un problema de calidad, evaluaciones o medición de ML que hayas liderado como producto, con su propia hoja de ruta y usuarios.

• Una medición que hayas implementado en un dominio subjetivo: cómo definiste la calidad y cómo mantuviste la fiabilidad de la señal a medida que escalaba.

• Experiencia directa con la mecánica: golden datasets, diseño de rúbricas, calibración de jueces, fiabilidad entre evaluadores. Dónde fallaron y qué hiciste al respecto.

• Una decisión de producto que derivaste de una necesidad del cliente evidenciada en un dominio que tuviste que aprender. Si tu instinto es empezar por la solución, este no es tu rol.

• Una métrica de la que hayas sido responsable y que haya cambiado decisiones fuera de tu propio equipo.

• Tiempo pasado frente a clientes: presentando o defendiendo la metodología ante los compradores.

Te sentirás a gusto aquí si...

• Move Fast (Muévete rápido). Te sientes cómodo tomando decisiones con información imperfecta, iterando rápidamente y solucionando cosas antes de que se conviertan en un problema grave;

• Stay Human (Mantente humano). Te preocupas profundamente por los usuarios y los compañeros de equipo, y diseñas con empatía por los flujos de trabajo reales;

• Act Like an Owner (Actúa como dueño). Asumes la responsabilidad de los resultados, no solo de las entregas. Detectas los problemas pronto y tomas la iniciativa para solucionarlos.

• Keep It Simple (Mantenlo simple). Luchas contra la complejidad innecesaria, diseñas patrones reutilizables y haces que las cosas difíciles parezcan intuitivas.

• Love to Surprise (Te encanta sorprender). Disfrutas encontrando formas inesperadas de deleitar a los usuarios, especialmente en el último tramo de pulido y usabilidad.

• 25 días de PTO más festivos nacionales, aunque operamos con un esquema de tiempo libre flexible (Flexible Time Off)

• Seguro médico / cobertura médica privada

• Estipendio mensual para bienestar, fitness, y aprendizaje y desarrollo

• Remoto - trabaja desde cualquier lugar de tu país de residencia

• Políticas mejoradas de baja parental, ya sea que seas padre o madre por nacimiento, adopción o gestación subrogada

• Acceso a nuestra oficina de Pencil en The Shard, Londres, para nuestros empleados en el Reino Unido

• Horario de trabajo flexible

En Pencil, estamos impulsando la innovación en la tecnología publicitaria a través de nuestro producto SaaS de última generación, que aprovecha la IA Generativa para redefinir la creación de contenidos. Nuestra misión es hacer que la IA sea la norma en la publicidad sin sustituir a las personas creativas. Para lograrlo, debemos asegurarnos de que nuestra tecnología no esté solo en manos de las grandes marcas: también queremos ayudar a las pequeñas empresas y a los profesionales creativos.

Los agentes de Pencil producen creatividad publicitaria a escala: vídeo, adaptación y múltiples formatos, orquestados por nuestro sistema de agentes, Scribble. El producto solo funciona si el resultado es correcto a la primera. Este rol se encarga de medir la calidad y de mejorarla.

Te encargarás de las evaluaciones (evals) de principio a fin. Internamente, esto significa los sistemas que miden si los agentes, las habilidades y los flujos de trabajo producen un trabajo que un cliente lanzaría. Externamente, significa cómo demostramos la calidad a los clientes y al mercado: la evidencia detrás de las respuestas a las RFP de los clientes, los paquetes de habilitación creativa y adevals.ai, nuestro sitio público de evaluaciones.

Medir la calidad creativa es difícil porque no existe una única respuesta correcta. Tu trabajo es construir una medición fiable de todos modos: rúbricas que definan qué significa "bueno", calibración entre revisores humanos y jueces automatizados, y un "golden dataset" que se mantenga representativo a medida que el producto y la base de clientes evolucionan. Después, harás que esas métricas sean fundamentales para la forma en que la empresa opera y vende.

• Liderar el mandato de Evals & Quality: el problema duradero, las métricas de éxito y una lista explícita de lo que está incluido y lo que no en el alcance.

• Definir las métricas de calidad principales —first-pass-right, cobertura, detección de regresiones— e impulsarlas hacia arriba.

• Liderar la metodología de evaluación: rúbricas para la calidad creativa y el proceso de calibración que mantiene alineados a los jueces automatizados y a los evaluadores humanos a lo largo del tiempo.

• Diseñar y ejecutar el mecanismo de control de calidad (QC) humano: dónde revisan los humanos el resultado, cómo sus juicios alimentan la capa automatizada y cómo se escala.

• Liderar el golden dataset: curación, cobertura en todos los formatos y contextos de clientes, y control de versiones.

• Construir bucles de evaluación que otros equipos puedan utilizar por sí mismos. Un equipo que lance una nueva habilidad de vídeo debería poder configurar evaluaciones sin tu intervención.

• Liderar adevals.ai como producto, incluyendo su calidad de diseño. El sitio debe cumplir con un alto estándar de diseño para ser creíble.

• Proporcionar la capa de evidencia para el trabajo comercial: respuestas a las RFP de los clientes y paquetes de habilitación creativa.

• Colaborar con los Agent Architects en los estándares de calidad específicos de cada cliente, entregados a través de configuración y rúbricas en lugar de código de evaluación personalizado.

• Gestionar el ciclo de vida completo del producto: desde el Discovery hasta la auditoría post-lanzamiento, con una hipótesis escrita antes de cada lanzamiento y una revisión 14 días después del lanzamiento.

Mediremos el éxito a través de los resultados y la calidad, no solo de la producción:

• First-pass-right: la proporción de generaciones que un cliente lanzaría sin necesidad de retrabajo. La métrica principal.

• Eval coverage: la proporción de habilidades y formatos con bucles de evaluación activos.

• Judge-human calibration: el acuerdo entre los jueces automatizados y los evaluadores humanos, mantenido a lo largo del tiempo.

• Golden dataset health: que sea representativo, tenga versiones y esté actualizado en todos los formatos y contextos de clientes.

• Commercial evidence: adevals.ai en funcionamiento; evaluaciones utilizadas en victorias de RFP y paquetes de habilitación.

• Learning velocity (apoyo): cada lanzamiento revisado 14 días después del lanzamiento frente a su hipótesis establecida.