Ingeniero de Infraestructura GPU Sénior

¿Por qué unirse a Civo?

• Paquete de compensación y beneficios competitivo.

• Empresa con semana laboral de 4 días (a menos que se asista a un evento).

• Vacaciones sin límite.

• Entorno de trabajo remoto con flexibilidad y autonomía.

• Cultura colaborativa e inclusiva que valora la diversidad y la creatividad.

• Oportunidad de trabajar con un equipo dinámico e innovador en la industria de la nube, en rápido crecimiento.

Senior GPU Infrastructure Engineer

Sobre Civo:

Civo es un proveedor de neocloud de alto rendimiento diseñado específicamente para las exigencias de la IA moderna, la computación de alto rendimiento (HPC) y la infraestructura cloud-native. Eliminamos la sobrecarga de la nube tradicional para ofrecer computación de ultra baja latencia, rendimiento de GPU bare-metal y una orquestación de Kubernetes optimizada a escala.

Diseñado específicamente para equipos de ingeniería de IA, empresas e instituciones de investigación, Civo ofrece acceso directo a clústeres de GPU NVIDIA de última generación, redes de alta velocidad (fabrics) y sistemas de almacenamiento paralelo necesarios para entrenar, ajustar y desplegar modelos fundacionales de manera eficiente. Combinamos una infraestructura de alta densidad con precios predecibles y el máximo rendimiento de computación, permitiendo a las organizaciones escalar sus cargas de trabajo de IA sin la complejidad o el aumento de costes de los hiperescaladores tradicionales.

Sobre el puesto:

Como Senior GPU Infrastructure Engineer, serás la autoridad técnica responsable de la fiabilidad, el rendimiento y la orquestación automatizada de la capa de plataforma de IA y GPU de Civo. Actuarás como puente entre la telemetría profunda de hardware/firmware de servidores, las redes de interconexión de gran ancho de banda y los orquestadores cloud-native.

En este puesto, liderarás respuestas de escalada complejas, desarrollarás la observabilidad de la plataforma, dirigirás post-mortems sin culpabilidad (blameless post-mortems) e diseñarás herramientas automatizadas para eliminar la entropía del hardware a escala. Colaborarás estrechamente con fabricantes de hardware (OEMs), la ingeniería de NVIDIA y los equipos de software principales de Civo para garantizar el máximo tiempo de actividad de los clústeres para cargas de trabajo de entrenamiento e inferencia a gran escala.

Telemetría de flota de GPU y SRE de Hardware

• Análisis profundo de causa raíz: Actuar como el punto de escalada técnica interna más alto para fallos persistentes o intermitentes de hardware, bus PCIe, memoria GPU (errores de doble bit ECC) y errores de driver XID en toda la flota.

• Diagnóstico automatizado: Construir y mantener marcos de trabajo de comprobación de salud automatizados (pre-job y post-job) utilizando NVIDIA DCGM, suites de pruebas NCCL y agentes de telemetría personalizados.

• Ciclo de vida de firmware y drivers: Gestionar pipelines de despliegue automatizado para VBIOS de GPU, BIOS del sistema, firmware BMC y stacks de drivers NVIDIA CUDA en clústeres de producción activos.

Integración de almacenamiento y redes de alto rendimiento

• Soporte de ingeniería de redes (Fabric): Diagnosticar cuellos de botella de rendimiento, pérdida de paquetes y degradación de enlaces en interconexiones InfiniBand (Quantum-2/X800) y RoCEv2 (Spectrum-X).

• SRE de almacenamiento paralelo: Optimizar las rutas de datos para GPUDirect Storage (GDS) y sistemas de archivos paralelos (VAST Data) para evitar la inanición de la GPU durante ejecuciones de entrenamiento multinodo.

Orquestación y automatización de la plataforma

• Stack de GPU Kubernetes y Slurm: Mantener y ajustar el NVIDIA GPU Operator, Network Operator, KubeFlow y los plugins de Slurm en entornos bare-metal y contenedorizados.

• Remediaciones automatizadas: Diseñar flujos de trabajo automatizados de acordonamiento de nodos (node-cordoning), desalojo de pods (pod eviction) y reparación, activados por alertas de telemetría de hardware en tiempo real.

• Infraestructura como código: Impulsar la automatización de stack completo utilizando Terraform, Ansible y Python para agilizar la expansión de la flota y la puesta en marcha de regiones.

Gestión de incidentes y excelencia operativa

• Respuesta a incidentes mayores: Liderar la resolución técnica en salas de crisis (war-rooms) durante interrupciones críticas de la plataforma y gestionar escaladas complejas con proveedores y equipos de soporte de NVIDIA y OEMs.

• Post-mortems sin culpabilidad: Realizar revisiones profundas post-incidente, redactar documentos detallados de causa raíz e implementar correcciones de ingeniería preventivas.

Resultados/Objetivos clave:

• Disponibilidad de la flota: Mantener una disponibilidad de la plataforma >= 99.9% en los nodos de computación GPU de producción.

• Recuperación automatizada de nodos: Automatizar la detección y el acordonamiento de hardware degradado para reducir el tiempo medio de reparación (MTTR) en un 40%.

• Actualizaciones sin tiempo de inactividad: Ejecutar actualizaciones de drivers, firmware y orquestación con cero impacto no anunciado en las cargas de trabajo de los clientes.

Experiencia y cualificaciones principales

• Más de 5 años de experiencia en SRE, Ingeniería de Sistemas o Ingeniería de Infraestructura dando soporte a entornos Linux de alta densidad y escala de producción.

• Más de 3 años de experiencia práctica gestionando y resolviendo problemas de GPUs NVIDIA de clase centro de datos (H100, B200 o superiores) en entornos distribuidos.

Experiencia Técnica

• Stack de NVIDIA: Experiencia profunda en drivers de tiempo de ejecución CUDA, métricas de DCGM, topologías NVLink/NVSwitch y resolución de errores XID.

• Orquestación: Competencia avanzada en administración de Kubernetes (nivel CKA), incluyendo CNI, Device Plugins y el gestor de cargas de trabajo Slurm.

• Redes de alto rendimiento (Fabrics): Conocimiento profundo de la gestión de subredes InfiniBand, mecanismos de Ethernet sin pérdidas RoCEv2 (PFC, ECN) y ajuste de comunicación NCCL.

• Automatización y scripting: Sólidas habilidades de programación en Python, Go o Bash, junto con experiencia práctica en el uso de Terraform y Ansible.

• Observabilidad: Experiencia desplegando y escalando stacks de telemetría basados en Prometheus, Grafana y vectores para la monitorización de hardware.

Soft Skills

• Fuerte liderazgo técnico durante incidentes de alta presión.

• Excelentes habilidades de redacción técnica para post-mortems, manuales de arquitectura (runbooks) y documentación entre equipos.