Madani Lab · WAB v0.3.4 · open source
Benchmark open-source pour les architectures workspace agentic. Nous évaluons 7 workspaces de référence sur 12 pillars et publions la méthodologie + 18 papers.
§ 02 · le problème
Les taux d’échec des pilots ne se sont pas améliorés, même quand les modèles s’améliorent. Quatre données montrent où les agents en production se cassent réellement.
95%
taux d’échecNon pas parce que les modèles sont trop faibles, mais parce que les workspaces autour sont trop fragiles. Les 5% qui livrent ont conçu leur infrastructure pour être portable, exportable et ré-ancrable dès le premier jour.
MIT Sloan 2025 · Gartner Q4 2025 · Madani field study (47 entreprises UE, WSB-08)
92%
variance expliquéePasser de Claude Sonnet à Opus produit un gain d’environ 15%. Doubler la qualité du workspace (α = Q × Q) produit un gain de 83%. Le capital alloué à la sélection du modèle a des rendements décroissants ; celui alloué à l’engineering du harness se compose.
Madani Lab · 142 tâches en production · R² = 0,78 (WSB-04)
7 sur 8
taux de victoireEn répliquant le principe Data Processing Inequality (DPI) de Stanford en production : un single agent bien structuré gagne 7 confrontations sur 8. L’unique victoire multi-agent est sur une tâche naturellement parallèle — exactement là où la théorie DPI le prédit.
Réplication Madani de Tran & Kiela · arXiv:2604.02460 (WSB-05)
38%
part des échecspass@k cache ce qui se casse réellement en production. Appliquée la taxonomie MAST à 14 modes d’échec, le tableau s’inverse : la reliability est une discipline du harness (clés d’idempotence, écritures atomiques, ré-ancrage mid-task), pas une propriété du modèle.
Madani · 1 200 runs en production · baseline MAST Cleric & Yu 2025 (WSB-07)
§ 03 · méthodologie
Chaque pillar est évalué sur une échelle de maturité L0–L4 inspirée de CMMI. Le composite est une moyenne pondérée sur les quatre clusters, normalisée 0–100, avec des notes lettres (A ≥75 · B 60–74 · C 45–59 · D 30–44 · F <30).
l’esprit de l’agent
Profondeur, fraîcheur et accessibilité des informations disponibles à l’agent au moment de la décision.
État persistant entre sessions · discipline de retrieval · compactage conscient du decay.
Single-thread par défaut · délégation fondée sur l’évidence quand les conditions DPI sont satisfaites.
comment il exécute
Capabilities modulaires, composables, hot-swappables que l’agent peut invoquer sans ré-engineering.
Auto-évaluation pré-tâche · update post-tâche · boucle de feedback cybernétique.
Prompts model-agnostic · état exportable · zéro vendor lock-in.
sécurité & gouvernance
pass@k + taxonomie MAST 14-failure · clés d’idempotence · replay harness.
Hard rules · gates de compliance · audit trail · checkpoints human-in-the-loop.
Référence vault op:// · zéro secret en clair · tokens scoped et rotatifs.
Logging structuré · métriques · trace IDs · télémétrie sur le token-spend.
production readiness
Boucles de Reflexion · dreams · skill discovery · évolution du capability profile.
Réplicable entre contextes · onboarding documenté · install déterministe.
échelle de maturité · notée par pillar
§ 04 · research papers
18 paper-grade · cliquer pour développer l’abstract.
Pourquoi l'intelligence du modèle n'est plus le goulot d'étranglement — et ce qui l'est.
Quatre Clusters orthogonaux · douze dimensions · dérivés de l'analyse des échecs en production sur 142 tâches.
Une matrice d'acceptation à 60 cellules qui opérationnalise « AI-ready » au-delà de la certification marketing.
Du paper à la production — traductions explicites des primitives académiques en composants déployables.
L'information mutuelle de Shannon appliquée à l'abstraction workspace-comme-canal · R² 0,78 sur 142 tâches.
arXiv:2604.02460 dans le contexte PME italien · 7/8 victoires single-thread · la pénalité multi-agent croît non-linéairement par hop.
La calibration s'effondre 2,6× des tâches Easy à Hard · la peer evaluation cross-agent contribue presque autant que l'auto-introspection · ECE 0,24 → 0,087 en 4 jours.
78,7 % des multi-agent failures ne sont PAS des problèmes de modèle · Step Repetition (15,7 %) est le mode d'échec unique n° 1 · l'Hallucination est délibérément exclue de la taxonomie.
Étude de terrain sur 47 enterprises UE · la portability explique 64 % de la variance des outcomes · une checklist à 23 artefacts qui sépare les 5 % de tous les autres.
1,2M agent turns · 340M tokens · half-life du SNR de 340 turns au baseline · trois interventions se composent multiplicativement jusqu'à une half-life de 950 turns.
Steel-man Cognition validé · audit sur 14 déploiements · 12 des 14 déploiements multi-agent rolled back ou abandonnés · dilution du context dominante dans 11 sur 14.
Adapter Shinn et al. (NeurIPS 2023, arXiv:2303.11366) des benchmarks short-horizon aux cycles de production pluri-mensuels · +17pp de task-success soutenus sur 12 mois.
La décision 270s vs 1200s · pourquoi les fenêtres de cache de 5 minutes redessinent toute architecture de loop autonome · −87 % de coût avec zéro impact sur la précision.
De RAGAS benchmark-time à un retrieval QA en exécution continue · pourquoi tout agent long-lived a besoin d'une CI pour sa mémoire · l'axe de recall drift qu'Es et al. n'ont pas mesuré.
Adapter l'autoresearch de Karpathy de l'expérimentation individuelle à un skill durable du workspace · 6 mois de production runs · 7 findings contre-intuitifs sur scoring composite et sleep adaptatif.
Comment coder les règles « ne jamais faire X » pour que les agents en production les respectent dans toutes les conditions, y compris adversariales · 41 302 décisions de gate · zéro violation observée · 7 prises contre-intuitives.
23 services · zéro secrets dans le repo · résolution runtime via 1Password CLI · 12 mois de production · 7 prises contre-intuitives sur les credentials à l'échelle.
Pourquoi les « skills » battent « tools » et « abilities » comme unité de composition des capabilities agentic · 42 skills actifs · usage power-law · 7 prises contre-intuitives sur le design des skills.
Pourquoi la mémoire d'un agent a besoin de cinq tiers séparés — semantic, episodic, procedural, personalized, environment-dynamics — et pourquoi les fusionner est la raison silencieuse pour laquelle les agents de production échouent à la troisième semaine.
Curator, Dreams, Reflexion produisaient 50 propositions par run et en appliquaient zéro. L'engine à cinq layers — gates PP · gates alpha · gates LLM-behavior · snapshot · log — ferme l'écart en codifiant quand une décision machine est plus sûre qu'une décision humaine.
Audit de 7 jours d'un harness agentic dont les boucles d'authentification, d'apprentissage et de gouvernance se mesuraient échouer sans rien changer — et le correctif clé qui a transformé le théâtre du monitoring en boucle cybernétique fermée. Dreams EXTRACT 0→5 · review 0/5→5/5 · violations W22:178→W25:14.
Le contrat opératoire agentique complet — gates, métrique du gap, opérateur de retrieval composé, boucle de convergence, write-back cross-goal — dérivé paramètre par paramètre de la littérature primaire, en deux formes, avec un bloc copier-et-lancer. 32 citations.
§ 05 · contribuer
Le benchmark est ouvert · la méthodologie est ouverte · le tooling d’audit est ouvert. Trois façons d’engager.
01 · github
WAB v0.3.4 · architecture à 12 pillars · maturité L0-L4 · matrice d’audit · tout dans le repo public.
ceomadani/workspace-agentic-benchmark ↗02 · pull request
Audite ton workspace contre la matrice à 60 cellules · ouvre une PR sur /workspaces/{slug}.md · nous répondons sous 7 jours.
ouvrir une PR ↗03 · email
Drafts de papers · études de réplication · procurement enterprise · audits style MAST · nous lisons tout.
lab@madani.agency