Ingeniero de ML Aplicado Sénior | Kimchi (Model Router)

• Has pasado más de 5 años en ML aplicado o investigación de ML, has entrenado, evaluado y lanzado modelos que toman decisiones en tiempo real (ranking, recomendación, bandits, fijación de precios o enrutamiento de LLM) y puedes demostrar esa trayectoria con pruebas.
• Python y SQL sólidos a escala: puedes extraer, limpiar e interrogar millones de registros a nivel de solicitud sin esperar a nadie.
• Conoces la diferencia entre un modelo que ha mejorado y una evaluación que se ha vuelto más fácil.
• Tienes opiniones reales sobre lo que miden los benchmarks de LLM, incluidos los entornos de agentes.
• Conoces lo suficiente sobre la realidad del servicio (TTFT, velocidad de decodificación, batching, prefix caching, concurrencia) para modelar el objetivo con honestidad.
• Instrumentas antes de optimizar, con márgenes de error y todo lo demás.
• Un mandato amplio te entusiasma más de lo que te inquieta.

• Has trabajado específicamente en enrutamiento de LLM: evaluaciones de clase RouterBench, frentes de Pareto de coste/calidad/latencia.
• Métodos de calibración, abstención o conformes en sistemas de decisión en producción.
• Has ejecutado bucles A/B online con monitorización de deriva (drift) en un modelo que gestiona dinero real.

• Salario competitivo (dependiendo del nivel de experiencia).
• Disfruta de un entorno global flexible y "remote-first".
• Colaborar con un equipo global de expertos e innovadores en la nube, apasionados por ampliar los límites de la tecnología Kubernetes
• Opciones de acciones (equity).
• Recibe feedback rápido con un flujo de trabajo ágil. La mayoría de los proyectos de funcionalidades se completan en un plazo de 1 a 4 semanas.
• Dedica el 10% de tu tiempo de trabajo a proyectos personales o a la superación personal.
• Presupuesto de aprendizaje para el desarrollo profesional y personal, incluyendo el acceso a conferencias internacionales y cursos que eleven tus habilidades.
• Hackathon anual para generar nuevas ideas y fortalecer los vínculos del equipo.
• Presupuesto para team-building y eventos de empresa para conectar con tus compañeros.
• Presupuesto para equipamiento para asegurar que tienes todo lo que necesitas.
• Días libres adicionales para ayudar a mantener un equilibrio saludable entre la vida laboral y personal.

Los grandes modelos son ingredientes en bruto. El kimchi es lo que ocurre cuando los fermentas con una buena ingeniería. Empezamos dentro de CAST AI ayudando a las empresas a ejecutar LLMs en sus propios clústeres de Kubernetes; hoy ejecutamos nuestro propio entorno de codificación en cualquier modelo que elijas, y el router que decide qué modelo responde a cada solicitud también es nuestro.

The Auto Router

Nuestra promesa es una capa de control para tu IA: presupuestos, atribución de gastos y enrutamiento de modelos, aplicada antes de que una solicitud llegue siquiera a un modelo. El Auto Router toma la decisión: para cada solicitud, qué modelo la atiende. Ocho modelos de código abierto cuyos precios de entrada varían en más de 20×, entrada en caché hasta 50× más barata que la nueva, proveedores de vanguardia (frontier) mediante las propias claves de los clientes, y un agente de codificación que lanza cientos de solicitudes antes de terminar su tarea. Éxito en tareas de nivel frontier a una fracción del coste de los tokens: esa frase es el producto, y solo se mantiene cierta si el modelo dentro del router sigue mejorando. Ese modelo es el tuyo.

Cada solicitud recibe una decisión: qué modelo la atiende.

Este es un puesto de ML aplicado, no de infraestructura. Los ingenieros de plataforma se encargan del proxy, la ruta de streaming y la flota. Tú te encargas del modelo dentro de ellos: los datos de entrenamiento, el objetivo, la evaluación y el bucle de iteración que lanza un mejor router en cada ciclo.

El problema: el enrutamiento es un problema de predicción disfrazado de producto. Para cada solicitud, predices la calidad que entregaría cada modelo candidato, cuánto costaría y qué tan rápido decodificaría, y tienes que acertar lo suficiente, en conjunto, para que el ahorro sea real y la calidad nunca caiga por debajo del nivel frontier. Los datos son complejos: resultados de despliegues de entornos de benchmark, registros por solicitud de la flota en vivo, señales de anulación y flujos de tokens cuya velocidad depende de la concurrencia de servicio en ese momento. La velocidad en sí misma es una variable de corrección: en trabajos de agentes sujetos a plazos, un modelo que decodifica tres veces más lento no hace el mismo trabajo más despacio, hace menos trabajo. Por eso, los objetivos ingenuos de coste por token optimizan silenciosamente la cosa equivocada. Y el listón de la evidencia es alto: un cambio en el router solo se lanza tras una evaluación de paridad con producción con márgenes de error, y luego se le exige que cumpla sus cifras en el tráfico real.

Stack: Python; PyTorch; SQL a escala (ClickHouse); APIs de LLM compatibles con OpenAI y Anthropic; entornos de benchmark y despliegue (clase RouterBench); GitLab CI.

• Eres responsable del modelo de enrutamiento de extremo a extremo: características, objetivo, entrenamiento, calibración y cadencia de lanzamientos. Iteras como si fuera un producto, no como un artefacto de investigación.
• Construyes la evaluación que condiciona cada cambio: benchmarks de paridad con producción, comparaciones router-vs-router, grupos de control por familia de tareas, márgenes de error en las tasas de éxito. Nada se lanza por "vibra".
• Transformas los datos de la flota en señales de entrenamiento: resultados por solicitud de producción, despliegues de benchmarks y feedback de anulación, con categorización de fallos (infraestructura vs. tarea) para que las etiquetas contaminadas nunca lleguen a la política.
• Modelas el objetivo que el usuario experimenta realmente: éxito de la tarea × coste de tokens × velocidad de tiempo real bajo el régimen de concurrencia real, teniendo en cuenta la economía de la entrada en caché.
• Ejecutas el bucle online: shadow, A/B, despliegue completo, monitorización de deriva, reentrenamiento. Cuando la producción no coincide con tu evaluación offline, descubres el porqué antes del siguiente lanzamiento.
• Empujas la frontera donde merece la pena: decisiones calibradas, abstención bajo incertidumbre, enrutamiento consciente de la velocidad. Experimentamos sobre lo que debería ser un router, no solo sobre qué modelo elige hoy.
• Colaboras con los ingenieros de plataforma en la instrumentación: las características y etiquetas registradas por solicitud (siendo la velocidad de decodificación una de las principales) y los experimentos que la ruta de datos debe soportar.