Ingeniero de Evaluación de Agentes Freelance

• Más de 5 años en desarrollo de software
• Stack principal: Python (FastAPI), JavaScript/TypeScript (React), Docker, Postgres, Kafka, Redis
• Experiencia escribiendo pruebas (funcionales, de integración)
• Competencia en inglés - B2+

Por qué esto es difícil:
Los modelos de vanguardia ya son buenos programando. Crear una tarea que realmente desafíe a los mejores modelos no es trivial. Necesita comprender profundamente dónde fallan los modelos y qué escenarios revelan la diferencia entre una solución buena y una mala. Las tareas tienen muchas soluciones válidas: escribir pruebas que acepten todas las soluciones correctas y rechacen las incorrectas es más difícil de lo que parece.

Por favor, envíe su CV en inglés e indique su nivel de competencia en inglés.

Cualificaciones educativas

• Máster en Informática, Ingeniería de Software, Ciencia de Datos / Análisis de Datos, Inteligencia Artificial / Aprendizaje Automático, Lingüística Computacional / Procesamiento de Lenguaje Natural (NLP), Sistemas de Información u otros campos relacionados.
• Se acepta el título de Grado si el candidato tiene 5 años de experiencia en el sector.

Experiencia académica y/o profesional

Los candidatos deben tener un mínimo de 3 años de experiencia profesional en roles o dominios relacionados, específicamente para roles de QA-automation/testing o ciberseguridad

Cómo funciona
Solicitud → Superar la(s) cualificación(es) → Unirse a un proyecto → Completar tareas → Cobrar

Compensación:
Pago por tarea aceptada. Su tarifa depende del nivel de cualificación que alcance y de la eficiencia con la que complete las tareas, hasta el equivalente a 40 $/hora. Dado que el pago es por tarea, un ritmo más rápido aumenta su tarifa por hora efectiva.

• 5+ years in software development
• Core stack: Python (FastAPI), JavaScript/TypeScript (React), Docker, Postgres, Kafka, Redis
• Experience writing tests (functional, integration)
• English proficiency - B2+

Why this is hard:
Frontier models are already good at coding. Creating a task that genuinely challenges the best models is non-trivial. You need to deeply understand where models fail and what scenarios reveal the difference between a good and a bad solution. Tasks have many valid solutions - writing tests that accept all correct solutions and reject incorrect ones is harder than it sounds.

Please submit your CV in English and indicate your level of English proficiency.

Educational qualifications

• A Master's Degree in Computer Science, Software Engineering, Data Science / Data Analytics, Artificial Intelligence / Machine Learning, Computational Linguistics / Natural Language Processing (NLP), Information Systems or other related fields.
• Bachelor's degree is accepted if only candidate has 5 years of experience in the field.

Academic and/or Professional Experience

Candidates should have a minimum of 3 years of professional experience in related roles or domain - specifically for QA-automation/testing or cybersecurity roles

How it works
Apply → Pass qualification(s) → Join a project → Complete tasks → Get paid

Compensation:
Paid per accepted task. Your rate depends on the qualification tier you reach and how efficiently you complete tasks - up to the equivalent of $40/hr. Because payment is per task, a faster pace raises your effective hourly rate.