Científico Sénior - Evaluación de GenAI

Buscamos a alguien con más de 6 años de experiencia práctica en evaluación de IA/ML o ciencia de datos (con Máster) o más de 3 años de experiencia en la industria (con Doctorado). Debes tener experiencia diseñando y ejecutando marcos de evaluación, benchmarks científicos o evaluaciones de calidad para sistemas de IA/ML, y experiencia práctica con IA generativa: modelos de lenguaje extensos (LLM), generación aumentada por recuperación (RAG), marcos de agentes (agentic frameworks) e ingeniería de prompts. También valoramos un sólido dominio de Python y de las herramientas modernas de IA/ML (entornos de evaluación, modelos de embedding, bases de datos vectoriales, APIs de LLM), la capacidad de traducir el juicio científico experto en criterios medibles, rúbricas y protocolos reproducibles, y un enfoque colaborativo y proactivo para trabajar en equipos multidisciplinares.

Nos encantaría encontrar a alguien que también aporte experiencia en la evaluación de IA/ML en entornos regulados (FDA, EMA o equivalentes), conocimiento del proceso de desarrollo de fármacos y tipos de datos biomédicos, o experiencia en el dominio de la oncología, inmunología o neurociencia. La experiencia diseñando o validando sistemas de LLM-as-judge, la implementación de pipelines de evaluación CI/CD o las publicaciones en evaluación de IA, PLN o informática biomédica son un plus.

Advanced Analytics, Business Intelligence (BI), Coaching, Collaboration, Critical Thinking, Data Analysis, Database Management, Data Privacy Standards, Data Reporting, Data Savvy, Data Science, Data Visualization, Econometric Models, Process Improvements, Technical Credibility, Technologically Savvy, Workflow Analysis

Se requiere un Máster en IA/ML, Ciencias de la Computación, Ciencia de Datos, Biología Computacional, Bioinformática, Ingeniería Biomédica, Matemáticas Aplicadas, Bioestadística o un campo relacionado. Se prefiere el Doctorado (PhD).

Se requiere fluidez en inglés (escrito y verbal). Este es un puesto híbrido con base en Madrid o Barcelona, con viajes limitados (<10%), principalmente dentro de Europa.

Análisis de datos y ciencias computacionales

Ciencia de datos

En J&J estamos desarrollando soluciones de IA Generativa para apoyar la I+D farmacéutica: revisión de literatura, síntesis de evidencia, preguntas y respuestas sobre documentos, búsqueda de conocimientos en áreas terapéuticas, flujos de trabajo de ciencia traslacional y soporte para la toma de decisiones en I+D. Estos sistemas deben ser evaluados antes de que los equipos confíen en ellos en flujos de trabajo científicos. En el sector farmacéutico, una respuesta de IA útil depende de la pregunta, el usuario, el material de origen, el área terapéutica y el riesgo de error; por tanto, la calidad debe ser medible, repetible, trazable y científicamente defendible.

Como Senior Scientist en nuestra función de Generative AI Evaluation & Standards (EQS) dentro de Data Science and Digital Health, diseñarás, construirás y ejecutarás los métodos de evaluación de los que dependemos para valorar estos sistemas en toda la I+D. Redactarás rúbricas, organizarás conjuntos de datos de referencia (benchmarks) y conjuntos de datos de referencia de oro (golden datasets), validarás jueces de IA y producirás los informes de calidad que informan las decisiones de lanzamiento. ¿Quieres definir cómo una de las principales empresas farmacéuticas determina si su IA está lista para el trabajo científico real? ¡Este es el puesto!

Necesitamos a alguien que pueda construir los activos de evaluación en los que confían nuestros equipos y mejorarlos continuamente basándose en lo que aprendamos. En el día a día, tú:

• Diseñarás, construirás y mantendrás pipelines de evaluación automatizados para la calidad de LLM, el rendimiento de RAG, la fiabilidad de los agentes, la seguridad y la precisión científica.
• Redactarás rúbricas de evaluación y criterios de puntuación, organizarás conjuntos de datos sintéticos y de referencia de oro con expertos en la materia, y mantendrás nuestro registro de activos de evaluación reutilizables.
• Validarás jueces de IA frente al acuerdo de expertos humanos y ejecutarás benchmarks de modelos, prompts, recuperadores (retrievers) y agentes que produzcan informes de calidad estandarizados.
• Analizarás patrones de fallo (alucinaciones, afirmaciones sin fundamento, trazabilidad débil) y convertirás los hallazgos en recomendaciones accionables.
• Desarrollarás criterios de evaluación específicos para áreas terapéuticas con socios científicos, clínicos y regulatorios, refinándolos en función de la retroalimentación del mundo real.
• Diseñarás métodos de evaluación para el razonamiento científico, la síntesis de evidencia y la calidad de las hipótesis, donde los benchmarks genéricos se quedan cortos.
• Construirás herramientas de evaluación y patrones reutilizables que permitan a otros equipos servirse de forma autónoma.

Cornellà de Llobregat, Barcelona, España, Madrid, España

Científico/Tecnológico