Ingeniero Líder de Calidad de IA y Arquitecto de Automatización de Pruebas

• Experiencia y Especialización: Experiencia demostrada como senior/lead en ingeniería de calidad de software con un enfoque dedicado a sistemas de IA/ML y aplicaciones de GenAI.

• Programación y Automatización: Competencia avanzada en Python para la automatización de pruebas, validación de datos y scripts personalizados de pruebas de IA.

• Ecosistemas de GenAI y RAG: Experiencia práctica con frameworks de GenAI, bases de datos vectoriales, estrategias de fragmentación (chunking) y evaluación de recuperación.

• Evaluación de Modelos y Métricas: Comprensión profunda de la validación de datos, métricas de evaluación de modelos, pruebas de imparcialidad/sesgo y detección de deriva (data y concept drift).

• Pruebas de API: Experiencia en la prueba de servicios de IA y endpoints de modelos utilizando herramientas como Postman, REST Assured o clientes REST de Python.

• DevOps, Cloud e Infraestructura

  • Experiencia con pipelines de CI/CD para la integración de pruebas continuas.

  • Exposición a plataformas cloud que alojan despliegues de IA.

  • Conocimientos prácticos de entornos de contenerización y orquestación (p. ej., Docker, Kubernetes).

  • Familiaridad con ecosistemas de Big Data para pruebas de IA a gran escala.

• Seguridad y Gobernanza: Experiencia en ética de la IA, pruebas de cumplimiento, herramientas de observabilidad y pruebas de seguridad para pipelines de datos y endpoints de servicio de modelos.

• Red Teaming Avanzado: Experiencia práctica en la creación de suites de pruebas adversarias automatizadas y generación automatizada de datos sintéticos para casos límite poco comunes.

• Automatización de Frameworks: Implementación directa de frameworks especializados de evaluación de LLM (p. ej., Ragas, DeepEval, TruLens).

• Configuración de Observabilidad: Configuración avanzada de dashboards de monitorización de IA y flujos de trabajo de pruebas de regresión automatizadas para modelos reentrenados.

El inglés es imprescindible

• Diseñar y ejecutar estrategias de pruebas de extremo a extremo específicamente adaptadas para modelos de Machine Learning, sistemas de IA Generativa, arquitecturas RAG y Agentes Autónomos.

• Validar la precisión, imparcialidad, detección de sesgos, explicabilidad, robustez y el rendimiento del modelo a través de diversos conjuntos de datos y casos límite.

• Ejecutar pruebas adversarias, inyección de prompts, jailbreaking y red-teaming para evaluar la robustez de los prompts y las variaciones de comportamiento bajo estrés.

• Validar flujos de trabajo de agentes, incluyendo rutas de razonamiento de múltiples pasos, transiciones de estado, ejecución de herramientas y comportamientos de respaldo durante fallos del servicio.

• Evaluar los resultados de los LLM en cuanto a corrección, fundamentación, veracidad, consistencia, seguridad y reducción de alucinaciones.

• Evaluar el comportamiento del almacén de vectores, la lógica de fragmentación de documentos (chunking), las configuraciones del recuperador (retriever) y la precisión de la búsqueda semántica.

• Realizar pruebas de API, rendimiento, latencia, capacidad de procesamiento (throughput) y concurrencia en endpoints de inferencia de IA y pipelines de datos.

• Garantizar el cumplimiento de la ética de la IA, las leyes de privacidad de datos, las reglas de negocio y las directrices regulatorias de seguros, manteniendo evidencia de pruebas y reportes de comportamiento listos para auditorías.

• Definir KPIs de calidad de IA, establecer la gobernanza de pruebas y construir frameworks de pruebas automatizadas integrados en pipelines de CI/CD.

• Colaborar estrechamente con Data Scientists, ML Engineers, SMEs y equipos de DevOps, además de mentorizar a ingenieros de QA junior y crear aceleradores de pruebas reutilizables.

Barcelona