Ingeniero de Machine Learning Sénior, Optimización de Inferencia de LLM

• Sólidas habilidades de ingeniería en Python y PyTorch.

• Experiencia práctica desplegando u optimizando sistemas de inferencia de LLM, VLM o transformers de alto rendimiento.

• Conocimiento práctico de al menos un stack de inferencia moderno como vLLM, SGLang, TensorRT-LLM, Triton Inference Server, NVIDIA Dynamo, Ray Serve, KServe o sistemas internos equivalentes.

• Comprensión profunda de los cuellos de botella de la inferencia de transformers, incluyendo KV cache, atención, ancho de banda de memoria, batching, paralelismo y servicio de contexto largo.

• Capacidad para razonar cuantitativamente sobre las compensaciones (tradeoffs) entre latencia, rendimiento, calidad, utilización y coste.

• Excelentes habilidades de comunicación y capacidad para colaborar con equipos de investigación, kernel, infraestructura, producto y clientes.

• Experiencia con entrenamiento consciente de la cuantización, cuantización post-entrenamiento, FP8, INT8, INT4, NVFP4, MXFP4, AWQ, GPTQ, SmoothQuant o técnicas relacionadas.

• Experiencia con destilación, decodificación especulativa, EAGLE, Medusa, predicción de múltiples tokens u otros métodos de aceleración de inferencia.

• Experiencia con cargas de trabajo agénticas, incluyendo llamada a herramientas (tool calling), salidas estructuradas, APIs de streaming, alta concurrencia y orquestación de múltiples pasos.

• Familiaridad con CUDA o Triton, incluso si el rol no es principalmente de ingeniería de kernels.

• Contribuciones de código abierto a vLLM, SGLang, TensorRT-LLM, FlashInfer, LMCache, PyTorch, Triton, Ray, KServe o proyectos relacionados.

Nebius Token Factory está construyendo servicios de inferencia rápidos, fiables y rentables para modelos de vanguardia. Como Senior Machine Learning Engineer en nuestro equipo de Applied AI, te encargarás de la optimización de modelos y endpoints, desde los artefactos del modelo hasta el despliegue en producción. Tu trabajo abarcará el funcionamiento interno de los modelos, motores de inferencia, arquitectura de servicio y benchmarking, con el objetivo de mejorar la latencia, el rendimiento (throughput), la eficiencia de memoria, la utilización de la GPU y el coste por token, manteniendo al mismo tiempo la calidad y la fiabilidad del modelo.

Este es un rol práctico en el que trabajarás en proyectos de optimización complejos, diagnosticarás problemas de servicio difíciles y ofrecerás mejoras mensurables en producción. Trabajando estrechamente con ingenieros de kernels y de plataforma, evaluarás configuraciones de servicio, resolverás regresiones de rendimiento y calidad, y optimizarás la inferencia para cargas de trabajo del mundo real, con el apoyo de benchmarks reproducibles y despliegues de producción seguros.

• Liderar el trabajo de optimización para familias de modelos específicas, endpoints de clientes o backends de servicio.

• Realizar comparaciones de motores y recomendar configuraciones de servicio prácticas para cargas de trabajo específicas.

• Depurar regresiones de calidad o rendimiento del modelo durante los despliegues en producción.

• Optimizar los endpoints de LLM y VLM en cuanto a latencia, rendimiento, eficiencia de memoria, utilización de la GPU, calidad y coste por token.

• Desplegar, configurar, realizar benchmarks y ampliar motores de inferencia como vLLM, SGLang, TensorRT-LLM, Triton Inference Server, NVIDIA Dynamo o sistemas similares.

• Construir y poner en producción flujos de trabajo de compresión de modelos, incluyendo cuantización, entrenamiento consciente de la cuantización (quantization-aware training), destilación, servicio de pocos bits (low-bit serving) y recuperación de precisión.

• Implementar o integrar decodificación especulativa (speculative decoding), enfoques de modelos de borrador (draft-model), optimización de KV-cache, caché de prefijos, chunked prefill, continuous batching y servicio de prefill/decode desagregado.

• Crear entornos de benchmark reproducibles para TTFT, TPOT, tokens por segundo por GPU, latencia p95/p99, memoria de GPU, fiabilidad y coste por token.

• Colaborar con ingenieros de kernels de GPU e ingenieros de plataforma para diagnosticar cuellos de botella en las capas de código del modelo, kernels, runtime, scheduler, gateway y clúster.

• Redactar documentos de diseño claros, informes de rendimiento, planes de despliegue y explicaciones técnicas orientadas al cliente.

Ritmo rápido - Pensamiento audaz - Crecimiento constante - Impacto significativo - Confianza y responsabilidad real - Oportunidad de dar forma al futuro de la IA