Ingeniero de Prompt Sénior

Buscamos un Prompt Engineer para que sea responsable del flujo de trabajo de migración técnica de extremo a extremo para la transición de plantillas a autoraterizadores de LLM. El puesto requiere el uso de las herramientas internas del cliente para aprovechar las técnicas de ingeniería de prompts y maximizar el rendimiento del modelo.

• Utilizar herramientas de Automatic Prompt Generation (APG) para crear prompts base para grupos complejos de plantillas padre-hijo.
• Ejecutar y supervisar la herramienta de Automated Prompt Optimization (APO), revisar los resultados y señalar cuando la APO alcance bloqueos o mesetas.
• Redactar, probar y perfeccionar prompts manualmente para navegar por arquitecturas de plantillas complejas, superar anti-patrones y gestionar casos límite donde las herramientas sean insuficientes o fallen. Resolver escenarios de casos límite mediante el diseño y perfeccionamiento de prompts manuales.
• Monitorizar las ejecuciones de shadowbot para asegurar que se registren, generen y rastreen suficientes discrepancias (entre las calificaciones humanas y las de los LLM).
• Ejecutar versiones de prompts contra datos de referencia (gold data) establecidos para medir continuamente la calidad del autoraterizador frente a la base de referencia de la multitud humana, calculando métricas de precisión como las puntuaciones F1, precisión y exhaustividad (recall).
• Redactar las justificaciones de preparación para el lanzamiento técnico (Launch Certification Documentation) para la fase final.