WebAgent Failure Atlas — 100 Real Chinese Tasks | 中文真实场景 AI 浏览器 Agent 失败图鉴

100 REAL TASKS · 6 DOMAINS · HONEST RUN 2026-09-11

WebAgent Failure Atlas

中文真实场景 AI 浏览器 Agent 失败图鉴 — 同一套 harness 真抓每一步 HTTP 与快照 hash，失败即数据。镜像英文基准 WebArena / Mind2Web / VisualWebArena / WebVoyager / OSWorld 的方法学，换成中文真网。

总体通过率 Overall

68.0% 68/100

95% Wilson CI 58.3%–76.3%

最硬墙 / 最稳

政务 29% · 电商 100%

ecom 17/17 · gov 5/17 · χ² p=0.0007

失败 Top2

F6×14 · F3×8

中文表单语义 · 动态渲染未等待

干预实证

1/32 3.1%

5s 退避重试仅救回 search-01 (F3)

GitHub 一键复现 → 📊 交互仪表盘 🇨🇳 中文论文 🇺🇸 English Paper ⚡ 复现命令

🇨🇳 中文

研究亮点

100 个中文真实任务：搜索 17 / 电商 17 / 表单 17 / 政务 17 / 地图 16 / 媒体 16
总体成功率 68.0%（95% Wilson CI 58.3%–76.3%）
政务最硬墙（5/17，29%）vs 电商最稳（17/17，100%）
失败 Top2：中文表单语义 F6×14、动态渲染未等待 F3×8
重试只救回 3.1%（1/32），证明软墙需结构性修复
卡方检验 χ²=21.216，p=0.0007，领域差异极显著

🇺🇸 English

Key Findings

100 real Chinese tasks: search 17 / ecom 17 / form 17 / gov 17 / map 16 / media 16
Overall 68.0% (95% Wilson CI 58.3%–76.3%)
Gov = hard wall (5/17, 29%) vs Ecom = trivial (17/17, 100%)
Top failures: F6 Chinese form semantics ×14, F3 dynamic rendering ×8
Retry rescued only 3.1% (1/32) — soft walls need structural fixes
Chi-square χ²=21.216, p=0.0007 — domain matters significantly

分域表现 / By Domain

Domain 领域	n	pass 通过	rate 通过率	95% CI
🛒 ecom 电商	17	17	100.0%	81.6%–100.0%
🔍 search 搜索	17	13	76.5%	52.7%–90.5%
🗺️ map 地图	16	12	75.0%	50.5%–89.8%
📰 media 媒体	16	11	68.8%	44.4%–85.8%
📝 form 表单	17	10	58.8%	36.0%–78.4%
🏛️ gov 政务	17	5	29.4%	13.3%–53.1%

失败分类 / Failure Taxonomy (7 classes, 5 observed)

Class	n	中文含义	English Description
F6	14	中文表单语义误解	Chinese form semantics
F3	8	动态加载未等待	Dynamic rendering not waited
F1	4	元素定位失败	Element locator failure
F5	4	验证码/反爬阻断	Captcha / anti-scrape block
F4	2	登录墙阻断	Login wall block
F2	0	视觉 grounding 错误	Visual grounding error
F7	0	多步遗忘/偏离	Multi-step drift

🇨🇳 给 Builder 的 5 条修复杠杆

先等后断言：动态页固定等待 + 内容长度门限（<20KB 判 JS 壳），能吃掉大半 F3
备选选择器：同一语义 ≥3 种定位（文本/role/URL），一个不行换一个
登录墙早退：命中关键词即停并标记 F4，不浪费步数
反爬退避：403/429 指纹退避 + 降级镜像，保证轨迹不断档
中文表单专项：label→input 关联检查，无 label 直接告警 F6

🇺🇸 5 Fix Levers for Builders

Wait before assert: fixed wait + <20KB JS-shell gate kills most F3
Fallback selectors: ≥3 per semantic (text/role/URL), rotate on failure
Login wall early exit: tag F4 immediately, save steps
Anti-scrape backoff: 403/429 fingerprint + mirror fallback
Chinese form check: label→input association, alert on missing label

一键复现 / One-click Reproduce

# One-click verify (秒级)
python reproduce.py
# → n=100 pass=68 rate=0.680 CI=[0.5834,0.7633]  retry 1/32

# Full rebuild (~2min)
bash verify.sh
# → stats + 9 figs + papers + dashboard

Single source of truth: stats.json → papers / dashboard / landing page all injected from this one file. Numbers are identical across all 4 channels.

单一事实源：stats.json → 论文/仪表盘/落地页均由此注入，四渠道数字完全一致。

9 张图 / 9 Figures

Fig01 总体通过率 Overall Pass Rate

Fig02 分域表现 By Domain

Fig03 失败分布 F6×14 F3×8

Fig04 步数关联 Step Correlation

Fig05 登录墙 Login Wall

Fig06 动态渲染 Dynamic Rendering

Fig07 字节分布 Bytes Distribution

Fig08 热图 Heatmap

Fig09 重试 1/32 (3.1%)

诚实边界 / Honest Limits： 中文：规则执行器 = 自动化下界（真实 LLM Agent 只会更高）；n=100 CI 仍 ±9%；DOM 漂移 2026-09-11；观察性关联非因果；22 参考文献逐条 HTTP 200。AI 使用声明：代码/分析/文稿有 AI 辅助，科学判断与责任由人类作者承担。
English: Rule-based executor = lower bound (real LLM agents score higher); n=100 CI ±9%; DOM drift 2026-09-11; observational not causal; 22 refs HTTP-verified. AI disclosure: code/analysis/drafting had AI assistance; scientific judgments are human authors'.

方法学致谢 / Methodology Acknowledgments

WebArena (2307.13854) · Mind2Web (2306.06070) · VisualWebArena (2401.13649) · WebVoyager (2401.13919) · OSWorld (2404.07972) — 5 篇标杆奠定方法学，本研究镜像其纪律换成中文真网。
These 5 landmarks established the science of web agent evaluation — we port their discipline to the real Chinese web.

引用 / Cite

@dataset{atlas2026webagent,

  title={WebAgent Failure Atlas: 100 Real Chinese Tasks},

  year={2026},

  url={https://github.com/kevindurant735rocket-creator/webagent-failure-atlas}

}