Comment nous testons MapleStats

• Chaque outil répond aux mêmes questions avec le même modèle d'IA (Claude Sonnet 5.5), les mêmes consignes et la même configuration. Seul l'accès aux données change : MapleStats, sept autres serveurs de données canadiennes, ou aucun outil de données.
• Chaque réponse est jugée juste, partielle, abstention (elle a décliné) ou hallucination (un chiffre qui ne correspond pas aux données officielles, ou qui n'existe pas). Un programme note d'abord ; une personne lit ensuite chaque réponse qui n'est pas juste, et chaque correction est publiée avec sa raison.
• Certaines questions sont des pièges : une série non publiée, une date sans données ou un calcul qui mélange les années. Décliner n'est pas compté comme une erreur ; inventer un chiffre l'est.

Quinze questions sur le travail, la population, les prix, la production, le commerce, les salaires et les marchés, écrites avant que MapleStats n'y soit soumis, dont deux portent sur des chiffres qui n'existent pas et une demande un calcul trompeur.

Ce qu'il montre : sur ces questions de base de Statistique Canada et de la Banque du Canada, les meilleurs serveurs sont à égalité à une réponse près, et aucun n'a inventé de chiffre. Avec quinze questions et une seule exécution chacun, un écart d'une réponse n'est pas une vraie différence. Les deux résultats parfaits tiennent au piège du recensement : OpenMCP et CanData-MCP n'ont pas fait le calcul trompeur parce qu'une recherche a échoué, alors que MapleStats, arose26 et mcp-canada l'ont fait, puis l'ont signalé. Le test ne porte que sur des tableaux de Statistique Canada et des séries de la Banque du Canada ; il ne peut donc pas montrer la couverture d'autres sources. Un test plus large, qui le fera, est en préparation.

Pipeworx a été testé avec ses deux serveurs hébergés ; une de ses réponses a été perdue à cause d'une connexion interrompue et compte comme une abstention. arose26 a été testé avec ses deux paquets.

Corrigé, chaque réponse et chaque correction : tests/maple_test.

Quinze questions sur les loyers, l'inoccupation, les mises en chantier, les prix, le revenu et l'inflation dans la région du Grand Toronto, conçues et publiées par l'équipe de CanData, qui a aussi soumis les autres outils. MapleStats y a été soumis avec leur propre programme d'essai et de notation.

MapleStats a obtenu 10 avant les corrections que ces questions ont révélées, et 14 après ; les résultats des autres outils sont ceux des essais de CanData, et CanData-MCP s'est amélioré depuis (il obtient 15 au Maple Test). Compte rendu : candata-gta-benchmark.md. Le banc d'essai lui-même : Canadian Open Data Agentic Platform.

• Chaque outil a répondu une fois à chaque question ; la variation d'une exécution à l'autre n'est pas mesurée.
• Trente questions couvrent une petite partie de la statistique canadienne, et toutes ne portent que sur Statistique Canada et la Banque du Canada. Un nouvel ensemble de questions suivra chaque série de corrections, pour qu'un résultat ne repose jamais sur des questions ayant servi à ajuster MapleStats.
• Un autre modèle d'IA, ou le modèle moins coûteux de la démo de conversation, peut obtenir un autre résultat.