Arquitecto de Soluciones de Infraestructura en la Nube y Fiabilidad Sénior

• Grado/Máster/Doctorado en Ciencias de la Computación, Ingeniería Eléctrica/Informática, Física, Matemáticas o campos relacionados, o experiencia equivalente.

• Más de 8 años en roles de SRE, ingeniería de producción u operaciones de infraestructura a gran escala.

• Práctica de Ingeniería de Fiabilidad: Demostrada responsabilidad sobre la fiabilidad de la producción a escala: definición de SLO y presupuestos de error, guardia (on-call) y mando de incidentes, revisión post-incidente sin culpabilidad (blameless) y mejora medible de la disponibilidad o del tiempo medio entre interrupciones (MTBI).

• Operaciones de Flotas de GPU y HPC: Experiencia práctica operando clústeres de HPC/IA e infraestructura acelerada por GPU de NVIDIA: ciclo de vida de drivers y CUDA toolkit, gestión de firmware, perfilado de cargas de trabajo y resolución de problemas en CPUs, GPUs e interconexiones de alta velocidad.

• Kubernetes a Escala: Amplia experiencia en la ejecución de Kubernetes en entornos de HPC y acelerados por GPU: ciclo de vida de nodos, actualizaciones y vaciado (draining), comportamiento del planificador, planificadores por lotes como Slurm y entornos multi-inquilino mixtos de bare-metal/virtualizados (por ejemplo, KubeVirt).

• Observabilidad y Automatización: Dominio de Python y Bash, Infraestructura como Código y gestión de la configuración (por ejemplo, Ansible, Terraform), gestión del ciclo de vida y actualizaciones de la flota basada en GitOps, y pilas de observabilidad (Prometheus, Grafana, Loki) para monitorización, alertas y construcción de sistemas tolerantes a fallos.

• Fundamentos de Linux, Almacenamiento y Redes: Conocimiento profundo de Linux (RedHat, Ubuntu), ajuste (tuning) y seguridad a nivel de SO, fundamentos de redes de centros de datos y almacenamiento paralelo/empresarial (Lustre, GPFS, ZFS, XFS) en su relación con la estabilidad del clúster.

• Experiencia definiendo y ejecutando campañas proactivas de despliegue de firmware, microcódigo o avisos de campo en una gran flota de producción.

• Familiaridad con las herramientas de telemetría de la flota y la salud de las GPU: diagnósticos DCGM y XID, GPUd, NVSentinel, agentes de salud a nivel de nodo e inteligencia de fiabilidad para toda la flota.

• Experiencia con NVIDIA GPU and Network Operators para la gestión automatizada del ciclo de vida de recursos de red y GPU en Kubernetes, y con NVIDIA Base Command Manager (BCM) para el aprovisionamiento y la monitorización de clústeres de GPU a escala.

• Experiencia práctica en frameworks de inferencia y planificación nativos de IA en Kubernetes (por ejemplo, KAI, Grove, Dynamo, NVIDIA Cloud Functions) y sus modos de fallo bajo carga.

• Experiencia en tejidos basados en RDMA (InfiniBand o RoCE) en entornos de HPC o IA. Es un gran plus tener experiencia con tejidos Cumulus Linux, SONiC o Spectrum-X, servicios de infraestructura DPU/DOCA y operaciones de partición NVLink/NVSwitch (NMX-C / NMX-M) en sistemas de clase NVL72.

NVIDIA busca un Day 2 Site Reliability Engineer para unirse al equipo de operaciones Day 1 / Day 2 de EMEA NVIDIA Cloud Partner (NCP). Las flotas de EMEA NCP se están expandiendo hacia un millón de GPUs desplegadas, y este puesto existe para mantener esas flotas funcionando con el máximo goodput una vez que estén en producción, encargándose de la detección y remediación de fallos, el mantenimiento preventivo y el despliegue proactivo de firmware y avisos de campo (field-notice) en los entornos de los socios.

Buscamos un ingeniero de fiabilidad práctico que piense en SLOs, presupuestos de error (error budgets) y radio de impacto (blast radius) en lugar de en tickets. Medirás e impulsarás el MTBI y el job goodput en clústeres de miles de GPUs, automatizarás el bucle de detección-remediación y trabajarás directamente con los equipos de operaciones de NCP, NVEX y TAMs para revisar incidentes y escaladas, convirtiendo cada uno de ellos en una solución permanente.

Los entornos de NCP se basan primero en código abierto, son propios y heterogéneos (Kubernetes upstream, KubeVirt, Slurm, Prometheus/Grafana, Cumulus/SONiC y una larga lista de herramientas de ISV e internas), por lo que este puesto es deliberadamente agnóstico a las herramientas: conocerás a cada socio en la pila tecnológica que realmente utilizan en lugar de en un único producto propietario, y mantendrás la capacidad de las GPU generando ingresos en lugar de consumir costes en soporte reactivo.

• Responsabilizarte de la estabilidad y fiabilidad de la producción Day 2 a escala de flota en los socios de EMEA NCP: definir, medir y mejorar el MTBI y el job goodput en clústeres de miles de GPUs, y gestionar el presupuesto de error de las plataformas que soportes.

• Construir y operar el bucle de detección de fallos a remediación —firmas de fallos de GPU, nodo, tejido (fabric) y almacenamiento, triaje automatizado, vaciado de nodos (node drain), acordonamiento (cordon), reinicio y flujos de trabajo de retorno al servicio— para que los fallos se detecten y solucionen antes de que afecten a los trabajos de entrenamiento.

• Ejecutar campañas de mantenimiento preventivo y despliegue proactivo de firmware y avisos de campo en las flotas de los socios (por ejemplo, niveles de firmware de CPLD y switches), incluyendo la evaluación de riesgos, el despliegue por etapas, la planificación de ventanas de mantenimiento y la verificación a escala.

• Gestionar las herramientas de observabilidad y fiabilidad para flotas de GPU: Prometheus/Grafana/Loki, diagnósticos DCGM y XID, agentes de salud a nivel de nodo como GPUd y NVSentinel, e inteligencia de fiabilidad para toda la flota, extendiéndolos o integrándolos en la propia pila tecnológica del socio.

• Liderar la respuesta ante incidentes y la revisión post-incidente en colaboración con NVEX, TAM y los equipos de operaciones de los socios: impulsar el análisis de causa raíz en las escaladas, realizar el seguimiento de las acciones correctivas hasta su cierre y convertir cada incidente recurrente en automatización, una comprobación de salud (health check) o un manual de procedimientos (runbook).

• Gestionar el ciclo de vida de los nodos de Kubernetes y la ingeniería de fiabilidad en pilas abiertas heterogéneas —Kubernetes upstream, KubeVirt, Slurm y planificadores (schedulers) con conocimiento de GPU— cubriendo la política de salud de los nodos, la orquestación de actualizaciones y reinicios, y el vaciado seguro de cargas de trabajo en nodos acelerados por GPU.