Applied AI Developer (Agent Evaluation)
Autodesk —Toronto, ON
- De 99 000 $ à 145 200 $ par an
- Temps plein
- Azure
- Informatique
- Maîtrise
AI Architect Agentic Systems
NTT DATA —Toronto, ON
- De 80 $ à 90 $ de l’heure
- Télétravail
- Azure
- Informatique
- AWS
- Assurance Invalidité
- Assurance Dentaire
Postuler rapidement
AI Process Automation Engineer
Staples —Richmond Hill, ON
- De 100 000 $ à 110 000 $ par an
- Temps plein
- Travail hybride
- Informatique
- Ingénierie
- APIs
- Réductions Tarifaires
- Assurance Dentaire
il y a 4 jours
IT Summer Intern / Stagiaire d’été IT
TFS-Canada's International School / TFS-l'École internationale du Canada —Toronto, ON
- 23,66 $ de l’heure
- Temps plein
- Gestion des stocks
- Anglais
- Stage/coop
Postuler rapidement
Lead, Data Development, AI Platform | Chef(fe), Développement des données – Plateforme d'IA
Hootsuite —Toronto, ON
- De 98 400 $ à 137 800 $ par an
- Télétravail
- Bar
- Schémas
- Conception de systèmes
Postuler rapidement
il y a 12 jours
Line Operator
Aerotek —Concord, ON
- 21 $ de l’heure
- Contrat
- Assemblage
- Outils électriques
- En présentiel
- Assurance Dentaire
- Programme d'Aide aux Employés
Postuler rapidement
il y a 8 jours
Full Stack Data Science Engineering Specialist
TD Bank —Toronto, ON
- De 187 500 $ à 261 000 $ par an
- Temps plein
- Bilingue
- Azure
- Anglais
- Congés payés
Sr. Full Stack Data Science Engineer
TD Bank —Toronto, ON
- De 154 000 $ à 199 500 $ par an
- Temps plein
- Bilingue
- Azure
- Anglais
- Congés payés
Full Stack Data Science Engineer
TD Bank —Toronto, ON
- De 120 000 $ à 154 000 $ par an
- Temps plein
- Bilingue
- Azure
- Anglais
- Congés payés
il y a 9 jours
Bilingual Customer Experience - Lead
Performance Fluid Experts Group —Milton, ON
- De 57 120 $ à 85 600 $ par an
- Temps plein
- Travail hybride
- Bilingue
- Service à la clientèle
- Salesforce
- Jours fériés payés
- Bourses d'Études
Postuler rapidement
Senior Test Lead
TEKsystems —Toronto, ON
- De 80 $ à 100 $ de l’heure
- Fins de semaine au besoin
- Informatique
- DevOps
- Ingénierie
il y a 1 jour
AME M2
Aerotek —Mississauga, ON
- 55 $ de l’heure
- Quart de nuit
- Maintenance
- En présentiel
- Compétences en communication
- Assurance Dentaire
- Programme d'Aide aux Employés
Postuler rapidement
il y a 2 jours
Aircraft Maintenance Engineer M2
Aerotek —Mississauga, ON
- De 50 $ à 55 $ de l’heure
- Temps plein
- En présentiel
- Assurance Dentaire
- Programme d'Aide aux Employés
Postuler rapidement
il y a 2 jours
Maintenance Operations Controller
Aerotek —Brampton, ON
- De 60 $ à 65 $ de l’heure
- Quart de nuit
- Microsoft Word
- Traitement de texte
- Windows
- Assurance Dentaire
- Programme d'Aide aux Employés
Postuler rapidement
il y a 2 jours
Metal Fabricator And Fitter
Aerotek —Ontario
- De 30 $ à 36 $ de l’heure
- Heures supplémentaires
- Chariot élévateur
- Hôtel
- Déplacements à prévoir
- Régimes de participation aux bénéfices
- Assurance Invalidité
Postuler rapidement
il y a 2 jours
Center-Rider Operator
Aerotek —Milton, ON
- 21 $ de l’heure
- Quart de soir
- Chariot élévateur
- Expérience en entrepôt
- En présentiel
- Assurance Dentaire
- Programme d'Aide aux Employés
Postuler rapidement
il y a 2 jours
Inventory Control Specialist (SAP ECC - MM/PP - Material Management)
TEKsystems —Markham, ON
- De 30 $ à 35 $ de l’heure
- Contrat
- Travail hybride
- Microsoft Excel
- Contrôle de l'inventaire
Postuler rapidement
il y a 4 jours
Lead Product Designer — Platform & Experience
FutureFit AI —Toronto, ON
- De 125 000 $ à 160 000 $ par an
- Temps plein
- Télétravail
- Déplacements à prévoir
- Intelligence artificielle
Senior Machine Learning Operations Developer: AI/ML Platform
Autodesk —Toronto, ON
- De 123 000 $ à 180 400 $ par an
- Temps plein
- Télétravail
- Azure
- Informatique
- DevOps
Senior UX Designer (AI-Enabled Product Experiences)
Xactly Corporation —Toronto, ON
- 147 000 $ par an
- Temps plein
- En présentiel
- Intelligence artificielle
- Programmes de Bien-être
- Aide au Transport Quotidien
Product Quality Owner
Flinks —Toronto, ON
- De 96 500 $ à 145 000 $ par an
- Temps plein
- Télétravail
- Compétences en communication
- Assurance Dentaire
- Congés payés
Postuler rapidement
Product Designer (Contractor)
Normative —Toronto, ON
- De 52 $ à 65 $ de l’heure
- Contrat
- Télétravail
- Agile
- Intelligence artificielle
- Compétences en communication
Postuler rapidement
il y a 12 jours
Career Opportunities for Indigenous Students – Expression of Interest
PwC —Toronto, ON
- Temps plein
- Télétravail
- Comptabilité
- Intelligence artificielle
- Assurance Invalidité
- Assurance Dentaire
il y a 4 jours
Software Architect, AI/ML
Autodesk —Toronto, ON
- De 188 000 $ à 275 000 $ par an
- Temps plein
- Informatique
- Azure
- Informatique
Spécialiste bilingue du soutien aux patients - télétravail / Bilingual Patient Support Specialist - REMOTE
IQVIA —Toronto, ON
- De 50 500 $ à 84 100 $ par an
- Temps plein
- Télétravail
- Bilingue
- Espagnol
- Microsoft Excel

Je souhaite recevoir la dernière alerte emploi pour les postes de ce type : ia | ai (toronto, on)

En vous connectant à votre compte, vous acceptez les conditions d'utilisation, la politique relative aux fichiers témoins et la politique de confidentialité de Workopolis.

Applied AI Developer (Agent Evaluation)

Autodesk
Toronto, ON

Postuler dès maintenant

Détails du poste

Temps plein

Compétences

CI/CD
Azure
Informatique
MCP
PyTorch
Tests automatisés
Selenium
Maîtrise
Analyse statistique
AWS
Assurance qualité
Baccalauréat
Développement logiciel
APIs
Intelligence artificielle
Python

Description complète du poste

Job Requisition ID #

26WD96920

Position Overview

As an Applied AI Developer – Agent Evaluation on the Fusion Platform Services team within Product Development and Manufacturing Solutions (PDMS), you'll be part of a team of technologists dedicated to creating cutting-edge AI and generative AI solutions that enhance developer productivity and experience. You'll work closely with AI engineers, software architects, and product engineering teams to build, deploy, and rigorously evaluate intelligent agentic systems while developing MCP (Model Context Protocol)-based tooling that integrates seamlessly with IDEs such as VS Code and Cursor.

Responsibilities

Develop and orchestrate multi-agent AI systems for automated test generation, test execution, and end-to-end development workflow optimization using frameworks such as LangGraph, AutoGen, or the Anthropic Agent SDK (Claude Code).
Design and implement agentic workflows that coordinate multiple AI agents to autonomously drive test automation across UI, API, integration, and system levels, from test case synthesis to result evaluation, while integrating seamlessly with existing developer tools and MCP-compatible services.
Build evaluation frameworks and benchmark suites for agentic systems, including comparisons of AI agents against commercial or domain-specific solutions, using tools such as AgentBench and Langfuse.
Evaluate and optimize MCP servers and tool integrations across agentic pipelines by measuring latency, accuracy, context fidelity, and end-to-end task completion.

Minimum Qualifications

BS/MS in Computer Science, Machine Learning, or a related applied AI field.
Expertise in Python and ML frameworks (PyTorch, Transformers, scikit-learn).
Experience with Large Language Models applied to software understanding, test generation, or agentic AI systems.
Knowledge of AI evaluation methodologies and metrics for agentic task completion and test quality.
Strong foundation in statistical analysis and experimental design.
Experience with developer workflow and productivity measurement frameworks.

Preferred Qualifications

Background in software engineering or QA with close collaboration with development teams.
Familiarity with test automation frameworks (e.g., Playwright, Selenium, Pytest, Appium) and CI/CD pipelines.
Experience designing evaluation frameworks or benchmark suites for AI agents against commercial or domain-specific solutions.
Hands-on experience with MCP (Model Context Protocol), including building, evaluating, and optimizing MCP servers and tool integrations.
Experience using AI evaluation and observability tools such as LangSmith, Langfuse, AgentBench, RAGAS, DeepEval, or similar platforms.
Experience with Azure AI Foundry/ML or AWS cloud ML platforms.

____________________________________________________

Développeur IA Appliquée – Évaluation d'Agents IA

Présentation du poste

En tant que Développeur IA Appliquée – Évaluation d'Agents IA au sein de l'équipe Fusion Platform Services de Product Development and Manufacturing Solutions (PDMS), vous rejoindrez une équipe de technologues dédiée à la création de solutions d'intelligence artificielle et d'IA générative de pointe visant à améliorer la productivité et l'expérience des développeurs. Vous collaborerez étroitement avec des ingénieurs IA, des architectes logiciels et des équipes de développement produit afin de concevoir, déployer et évaluer rigoureusement des systèmes d'IA agentiques, tout en développant des outils basés sur le Model Context Protocol (MCP) intégrés à des environnements tels que VS Code et Cursor.

Responsabilités

Développer et orchestrer des systèmes d'IA multi-agents pour la génération automatique de tests, leur exécution et l'optimisation des workflows de développement à l'aide de frameworks tels que LangGraph, AutoGen ou l'Anthropic Agent SDK (Claude Code).
Concevoir et mettre en œuvre des workflows agentiques permettant à plusieurs agents IA de piloter de manière autonome l'automatisation des tests (UI, API, intégration et système), depuis la génération des cas de test jusqu'à l'évaluation des résultats, tout en assurant une intégration fluide avec les outils de développement existants et les services compatibles MCP.
Développer des frameworks d'évaluation et des suites de benchmarks pour les systèmes agentiques, notamment afin de comparer les performances des agents IA à des solutions commerciales ou spécialisées, à l'aide d'outils tels qu'AgentBench et Langfuse.
Évaluer et optimiser les serveurs MCP ainsi que les intégrations d'outils au sein des pipelines agentiques en mesurant la latence, la précision, la fidélité du contexte et le taux de réussite des tâches de bout en bout.

Qualifications minimales

Diplôme de niveau licence ou master en informatique, apprentissage automatique ou dans un domaine connexe de l'IA appliquée.
Excellente maîtrise de Python et des frameworks de machine learning (PyTorch, Transformers, scikit-learn).
Expérience avec les grands modèles de langage (LLM) appliqués à la compréhension logicielle, à la génération de tests ou aux systèmes d'IA agentiques.
Connaissance des méthodologies et des métriques d'évaluation des systèmes d'IA pour mesurer la réussite des tâches agentiques et la qualité des tests.
Solides bases en analyse statistique et en conception d'expériences.
Expérience des outils et méthodologies d'amélioration de la productivité des développeurs.

Qualifications souhaitées

Expérience en développement logiciel ou en assurance qualité (QA), avec une collaboration étroite avec les équipes de développement.
Maîtrise des frameworks d'automatisation des tests (Playwright, Selenium, Pytest, Appium) et des pipelines CI/CD.
Expérience dans la conception de frameworks d'évaluation ou de suites de benchmarks permettant de comparer des agents IA à des solutions commerciales ou spécialisées.
Expérience pratique du Model Context Protocol (MCP), notamment dans la création, l'évaluation et l'optimisation de serveurs MCP et de leurs intégrations.
Expérience avec des outils d'évaluation et d'observabilité de l'IA tels que LangSmith, Langfuse, AgentBench, RAGAS, DeepEval ou des plateformes similaires.
Expérience des plateformes cloud d'IA telles qu'Azure AI Foundry/ML ou AWS ML.

Learn More

About Autodesk

Welcome to Autodesk! Amazing things are created every day with our software – from the greenest buildings and cleanest cars to the smartest factories and biggest hit movies. We help innovators turn their ideas into reality, transforming not only how things are made, but what can be made.

We take great pride in our culture here at Autodesk – it’s at the core of everything we do. Our culture guides the way we work and treat each other, informs how we connect with customers and partners, and defines how we show up in the world.

When you’re an Autodesker, you can do meaningful work that helps build a better world designed and made for all. Ready to shape the world and your future? Join us!

Salary transparency

Salary is one part of Autodesk’s competitive compensation package. For Canada based roles, we expect a starting base salary between $99,000 and $145,200. Offers are based on the candidate’s experience and geographic location, and may exceed this range. In addition to base salaries, our compensation package may include annual cash bonuses, commissions for sales roles, stock grants, and a comprehensive benefits package.

Belonging
We take pride in cultivating a culture of belonging where everyone can thrive. Learn more here: https://www.autodesk.com/company/global-belonging

Are you an existing contractor or consultant with Autodesk?

Please search for open jobs and apply internally (not on this external site).

Postuler dès maintenant

Affinez votre recherche

ia | ai emplois - toronto, on