Ingeniero de Prompts Sénior

• Competencias lingüísticas: Fluidez nativa en español y fluidez en inglés. 

• Ubicación: Debe residir en España.

• Educación: Grado, Máster o Doctorado en Informática, Ciencia de Datos, Lingüística Computacional, Interacción Persona-Ordenador (HCI), Ciencia Cognitiva o un campo analítico relacionado. 

• Experiencia en Prompt Engineering e IA: Al menos 4 años de experiencia como Prompt Engineer. Experiencia demostrada en el ajuste de Modelos de Lenguaje Extensos (LLMs) para resultados estrictos y estructurados, tareas de clasificación complejas, y familiaridad con chain-of-thought y few-shot learning. 

• Análisis de datos: Gran capacidad para identificar patrones de error, analizar el rendimiento del modelo y utilizar SQL u otras herramientas de análisis de datos. 

• Agilidad técnica: Capacidad para aprender y dominar rápidamente herramientas propietarias con una supervisión mínima. 

• Comunicación: Excelentes habilidades de comunicación verbal y escrita. 

• Familiaridad con interfaces de LLM de nivel empresarial como la Goose API. 

• Experiencia en evaluación de modelos de IA, ciencia de datos, lingüística computacional o ingeniería de software. 

• Experiencia práctica con sistemas de Optimización Automática de Prompts (APO) o flujos de trabajo de ajuste (tuning). 

• Experiencia lingüística, incluyendo la comprensión de la semántica y la lógica. 

Buscamos un Prompt Engineer que sea responsable del flujo de trabajo de migración técnica de extremo a extremo para la transición de plantillas a autoraterizadores de LLM. El puesto requiere el uso de las herramientas internas del cliente para aprovechar las técnicas de ingeniería de prompts y maximizar el rendimiento del modelo.

• Utilizar herramientas de Automatic Prompt Generation (APG) para crear prompts base para grupos complejos de plantillas padre-hijo.

• Ejecutar y supervisar la herramienta de Optimización Automática de Prompts (APO), revisar los resultados y señalar cuando la APO alcance bloqueos o mesetas.

• Redactar, probar y perfeccionar prompts manualmente para navegar por arquitecturas de plantillas complejas, superar anti-patrones y gestionar casos límite donde las herramientas sean insuficientes o fallen. Resolver escenarios de casos límite mediante el diseño y perfeccionamiento de prompts manuales.

• Monitorizar las ejecuciones de shadowbot para asegurar que se registren, generen y rastreen suficientes discrepancias (entre las calificaciones humanas y las de LLM).

• Ejecutar versiones de prompts contra datos de referencia (gold data) establecidos para medir continuamente la calidad del autoraterizador frente a la base de referencia de humanos, calculando métricas de precisión como las puntuaciones F1, precisión y exhaustividad (recall).

• Redactar justificaciones técnicas de preparación para el lanzamiento (Launch Certification Documentation) para la fase final.