Cleo tourne désormais sur Claude Opus 4.8 — et nous avons fait l’éval pour le prouver.

Pourquoi une mise à jour de modèle compte spécifiquement en conformité

Un assistant de rédaction juridique peut être jugé sur le ton et la structure. Un moteur de conformité est jugé sur un binaire qui engage de l’argent et de la responsabilité : ce produit peut-il être vendu sur ce marché, et au titre de quelle régulation ? Un numéro de régulation fabriqué, ou un vrai numéro appliqué à la mauvaise catégorie de produit, n’est pas un défaut de style — c’est une réponse fausse sur laquelle une marque pourrait agir.

C’est le même risque que celui décrit dans notre article sur l’IA qui fabrique des régulations. Opus 4.8 est positionné par Anthropic comme leur modèle phare plus honnête, et il signe le meilleur score jamais enregistré sur leur Legal Agent Benchmark — premier modèle à franchir les 10 % sur le standard strict « all-pass ». Notre question était plus étroite : cela se traduit-il par moins de réponses de conformité fausses, sur notre type de tâche ?

L’éval : 5 produits, deux modèles, chaque citation vérifiée

Nous avons choisi cinq cas produit-marché dans les catégories couvertes par Cleo — cosmétiques, jouets, électronique, compléments alimentaires, textile enfant — sélectionnés parce que la bonne réponse repose sur des identifiants précis (un numéro de règlement, une norme EN) qu’un modèle plus faible tend à inventer ou mal appliquer. Nous avons envoyé à chaque modèle le prompt identique, en closed-book (sans retrieval), en demandant un verdict et les régulations applicables. Puis nous avons vérifié chaque identifiant cité contre la source officielle : Légifrance, EUR-Lex, le catalogue de normes CEN.

Opus 4.8 a obtenu tous les verdicts justes, rendu une réponse structurée propre à chaque fois, et cité les régulations avec environ un tiers du taux d’erreur — tout en utilisant moins de tokens. Sur le cas le plus difficile (une enceinte Bluetooth sur secteur, la pile réglementaire la plus dense), Opus 4.7 s’est étendu et a été coupé avant de rendre un verdict exploitable ; Opus 4.8 a rendu une réponse complète et correcte largement dans le budget.

Deux erreurs commises par 4.7 et pas par 4.8

Les échecs intéressants n’étaient pas des numéros inventés — c’étaient de vraies régulations appliquées au mauvais produit. C’est précisément le genre d’erreur qui survit à un coup d’œil humain rapide, parce que la citation a l’air sérieuse.

Ce que cela change dans Cleo

Moins de régulations mal appliquées remontées à l’utilisateur, c’est le titre — mais deux gains opérationnels comptent tout autant. Opus 4.8 est le modèle agentique le plus solide testé par Anthropic (84 % sur Online-Mind2Web), avec un tool-calling plus efficace — exactement ce que fait MARIA quand il parcourt Legal Atlas sur 177 juridictions : un retrieval multi-étapes plus fiable, moins d’étapes perdues. Et précision : cette éval était en closed-book, modèle seul. Dans Cleo, le modèle est ancré sur Legal Atlas, ce qui referme l’essentiel de l’écart de citation restant.

Les limites honnêtes de ce test

Cinq cas, c’est illustratif, pas un benchmark à puissance statistique — à lire comme un signal directionnel, pas un classement. C’était un seul run par cas, en closed-book, donc cela mesure la connaissance paramétrique du modèle plutôt que le système ancré complet. Et pour être juste avec 4.7 : sur le cas du complément français, il était en fait plus complet que 4.8 (il incluait l’arrêté du 26 septembre 2016 que 4.8 a omis). Le motif sur l’ensemble restait net — 4.8 plus exact, plus précis sur les citations, plus efficace — c’est pourquoi il est désormais le modèle par défaut derrière MARIA.

Méthodologie et chiffres Opus 4.8 : Anthropic (Introducing Claude Opus 4.8). Citations vérifiées contre Légifrance, EUR-Lex et le catalogue de normes CEN.