26WD95654
L'affichage de poste en français suivra / The French job posting follows.
26WD95654, Senior Machine Learning Test Developer
Position Overview
As a Senior Machine Learning QA Developer in the Research Enablement team, you will work side-by-side with researchers, Machine Learning developers and developers, and software developers and developers to define and uphold quality standards for ML systems. You are a quality-focused developer who is passionate about reliable, repeatable evaluation of ML models and data. Your skills span test strategy, automation, and a little MLOps, with a strong software engineering base. You are excited to collaborate across research and product to ship ML capabilities with clear quality gates. You are comfortable working at the intersection of research and product and are competent in using Autodesk CAD software.
Reporting Structure: You will report to an Engineering Manager in Research Enablement.
Location: Toronto, Canada (Hybrid). We are a global team, located in London, San Francisco, Toronto, and remotely. Autodesk is a hybrid-first company, allowing workers to work remotely, in an office, or a mix of both.
Responsibilities
Define ML quality strategy and acceptance criteria across data, model, and system levels
Design and maintain model evaluation suites, metrics, and test datasets
Evaluating CAD RL model outputs for geometric validity or policy stability
Defining structured rubrics that translate qualitative findings into measurable evaluation gates
Testing ML Models from product side
API Testing
Automate ML QA workflows using Python and CI/CD (e.g., GitHub Actions, Jenkins)
Create and maintain test harnesses for ML services and APIs
Mentor teams on ML QA best practices and consistent evaluation standards
Build quality gates for training and deployment pipelines (e.g., regression checks, drift detection)
Contribute to multi-team projects and codebases, ensuring code quality and consistency
Participate in code reviews and provide constructive feedback to peers
Document and present findings and ideas across the company
Minimum Qualifications
Bachelor’s degree in Computer Science, Engineering, or equivalent experience
7+ years of professional experience in software engineering or QA for ML/AI systems
Strong programming skills in Python, with experience in test automation
Familiarity with popular CAD environments tooling
Proficient in Automation and UAT test suite/framework
Experience designing QA frameworks or platforms used by multiple teams
Excellent problem-solving skills and attention to detail
Strong communication and collaboration skills
Understanding of software architecture and design patterns
Ability to work in an agile development environment
Preferred Qualifications
Experience with data validation tooling (e.g., Great Expectations) or labeling workflows
Familiarity with ML frameworks (e.g., PyTorch, TensorFlow)
Experience with CI/CD tools and processes
Experience with data pipelines and orchestration tools (e.g., Airflow, Metaflow)
Familiarity with MLOps practices (model monitoring, drift, deployment checks)
Experience with ML evaluation methods, metrics, and benchmarking
Passion for learning new technologies and improving existing systems
Experience with cloud providers (e.g., AWS, Azure, Google Cloud Platform)
Experience testing ML services in production environments
Knowledge of experiment tracking tools (e.g., Comet, MLflow, Weights & Biases)
The Ideal Candidate
You demonstrate initiative to provide solutions and to learn and develop new technologies
Comfortable building QA systems from scratch and writing maintainable automation
You enjoy learning and collaborating across global locations
You are comfortable working in newly forming ambiguous areas
You are comfortable building scalable and maintainable systems that will be relied on by others
You can communicate well with others
-
26WD95654, Développeur principal en tests d’apprentissage automatique
Aperçu du Poste
En tant que développeur senior en assurance qualité pour l'apprentissage automatique au sein de l'équipe « Research Enablement », vous travaillerez en étroite collaboration avec des chercheurs, des développeurs spécialisés en apprentissage automatique, ainsi que des développeurs logiciels afin de définir et de faire respecter les normes de qualité des systèmes d'apprentissage automatique. Vous êtes un développeur soucieux de la qualité, passionné par l'évaluation fiable et reproductible des modèles d'apprentissage automatique et des données.
Vos compétences couvrent la stratégie de test, l'automatisation et un peu de MLOps, avec une solide base en génie logiciel. Vous êtes enthousiaste à l'idée de collaborer entre la recherche et le produit afin de déployer des capacités d'apprentissage automatique avec des critères de qualité clairs. Vous êtes à l'aise pour travailler à la croisée de la recherche et du produit et maîtrisez l'utilisation des logiciels de CAO Autodesk.
Hiérarchie : Vous rendrez compte à un responsable d'ingénierie au sein de l'équipe Research Enablement.
Lieu : Toronto, Canada (hybride). Nous sommes une équipe internationale, basée à Londres, San Francisco, Toronto et en télétravail. Autodesk est une entreprise privilégiant le modèle hybride, permettant à ses collaborateurs de travailler à distance, au bureau ou selon une combinaison des deux.
Responsabilités
Définir la stratégie de qualité ML et les critères d'acceptation aux niveaux des données, des modèles et des systèmes
Concevoir et maintenir des suites d'évaluation de modèles, des métriques et des ensembles de données de test
Évaluer les résultats des modèles de RL CAO pour vérifier la validité géométrique ou la stabilité des politiques
Définir des grilles d'évaluation structurées qui traduisent les résultats qualitatifs en critères d'évaluation mesurables
Tester les modèles d'apprentissage automatique du point de vue du produit
Tester les API
Automatiser les workflows d'assurance qualité de l'apprentissage automatique à l'aide de Python et de CI/CD (par exemple, GitHub Actions, Jenkins)
Créer et maintenir des harnais de test pour les services d'apprentissage automatique et les API
Accompagner les équipes sur les meilleures pratiques en matière d'assurance qualité de l'apprentissage automatique et sur des normes d'évaluation cohérentes
Mettre en place des contrôles de qualité pour les pipelines de formation et de déploiement (par exemple, contrôles de régression, détection de dérive)
Contribuer à des projets et à des bases de code impliquant plusieurs équipes, en garantissant la qualité et la cohérence du code
Participer aux revues de code et fournir des commentaires constructifs à vos pairs
Documenter et présenter les conclusions et les idées à l’ensemble de l’entreprise
Qualifications Minimales
Licence en informatique, en ingénierie ou expérience équivalente
Plus de 7 ans d’expérience professionnelle en génie logiciel ou en assurance qualité pour les systèmes d’apprentissage automatique (ML) et d’intelligence artificielle (IA)
Solides compétences en programmation Python, avec une expérience en automatisation des tests
Connaissance des outils courants des environnements de CAO
Maîtrise des suites/cadres de tests d’automatisation et d’acceptation utilisateur (UAT)
Expérience dans la conception de cadres ou de plateformes d’assurance qualité utilisés par plusieurs équipes
Excellentes compétences en résolution de problèmes et souci du détail
Solides compétences en communication et en collaboration
Compréhension de l’architecture logicielle et des modèles de conception
Capacité à travailler dans un environnement de développement agile
Qualifications Souhaitées
Expérience avec des outils de validation des données (par exemple, Great Expectations) ou des workflows d’étiquetage
Connaissance des frameworks d’apprentissage automatique (par exemple, PyTorch, TensorFlow)
Expérience avec les outils et processus CI/CD
Expérience avec les pipelines de données et les outils d’orchestration (par exemple, Airflow, Metaflow)
Connaissance des pratiques MLOps (surveillance des modèles, dérive, contrôles de déploiement)
Expérience des méthodes d’évaluation, des métriques et des benchmarks en ML
Passion pour l’apprentissage de nouvelles technologies et l’amélioration des systèmes existants
Expérience avec les fournisseurs de cloud (par exemple, AWS, Azure, Google Cloud Platform)
Expérience dans le test de services ML en environnement de production
Connaissance des outils de suivi d’expériences (par exemple, Comet, MLflow, Weights & Biases)
Le Candidat Idéal
Vous faites preuve d'initiative pour proposer des solutions, apprendre et développer de nouvelles technologies
Vous êtes à l'aise pour créer des systèmes d'assurance qualité à partir de zéro et écrire des automatisations faciles à maintenir
Vous appréciez l'apprentissage et la collaboration avec des équipes situées dans le monde entier
Vous êtes à l'aise pour travailler dans des domaines émergents et encore flous
Vous êtes à l'aise pour créer des systèmes évolutifs et faciles à maintenir sur lesquels d'autres pourront compter
Vous savez bien communiquer avec les autres
Learn More
About Autodesk
Welcome to Autodesk! Amazing things are created every day with our software – from the greenest buildings and cleanest cars to the smartest factories and biggest hit movies. We help innovators turn their ideas into reality, transforming not only how things are made, but what can be made.
We take great pride in our culture here at Autodesk – it’s at the core of everything we do. Our culture guides the way we work and treat each other, informs how we connect with customers and partners, and defines how we show up in the world.
When you’re an Autodesker, you can do meaningful work that helps build a better world designed and made for all. Ready to shape the world and your future? Join us!
Salary transparency
Salary is one part of Autodesk’s competitive compensation package. For Canada based roles, we expect a starting base salary between $123,000 and $180,400. Offers are based on the candidate’s experience and geographic location, and may exceed this range. In addition to base salaries, our compensation package may include annual cash bonuses, commissions for sales roles, stock grants, and a comprehensive benefits package.
Belonging
We take pride in cultivating a culture of belonging where everyone can thrive. Learn more here: https://www.autodesk.com/company/global-belonging
Are you an existing contractor or consultant with Autodesk?
Please search for open jobs and apply internally (not on this external site).
