作者 refreshdotdev · refreshdotdev/web-eval-agent
用自然语言编写 Web 应用端到端测试 —— 智能体驱动浏览器、捕获控制台/网络流量并生成报告。
web-eval-agent (refreshdotdev) 让你用英文描述用户任务；MCP 打开浏览器、执行流程并汇报屏幕截图、控制台日志和网络流量。适合在无需编写 Playwright 脚本的情况下进行探索性 UX 测试。注意：原项目已停止维护 —— 团队已转向 withrefresh.com —— 但 MCP 仍在现有许可证下可用。
setup_browser_state 保持登录状态，使测试可在身份验证后运行%APPDATA%\Claude\claude_desktop_config.json{
"mcpServers": {
"web-eval-agent": {
"command": "uvx",
"args": [
"web-eval-agent"
],
"_inferred": true
}
}
}打开 Claude Desktop → Settings → Developer → Edit Config。保存后重启应用。
{
"mcpServers": {
"web-eval-agent": {
"command": "uvx",
"args": [
"web-eval-agent"
],
"_inferred": true
}
}
}Cursor 使用与 Claude Desktop 相同的 mcpServers 格式。项目级配置优先于全局。
{
"mcpServers": {
"web-eval-agent": {
"command": "uvx",
"args": [
"web-eval-agent"
],
"_inferred": true
}
}
}点击 Cline 侧栏中的 MCP Servers 图标，然后选 "Edit Configuration"。
{
"mcpServers": {
"web-eval-agent": {
"command": "uvx",
"args": [
"web-eval-agent"
],
"_inferred": true
}
}
}格式与 Claude Desktop 相同。重启 Windsurf 生效。
{
"mcpServers": [
{
"name": "web-eval-agent",
"command": "uvx",
"args": [
"web-eval-agent"
]
}
]
}Continue 使用服务器对象数组，而非映射。
{
"context_servers": {
"web-eval-agent": {
"command": {
"path": "uvx",
"args": [
"web-eval-agent"
]
}
}
}
}加入 context_servers。Zed 保存后热重载。
claude mcp add web-eval-agent -- uvx web-eval-agent一行命令搞定。用 claude mcp list 验证，claude mcp remove 卸载。
何时使用： 你部署后需要快速检查'有没有破坏什么明显的东西'。
结果： 2 分钟内获得部署后的信心。
何时使用： 你想对一个流程获得外部视角而无需安排用户测试。
结果： 在真实用户接触之前获得廉价的 UX 启发式方法。
何时使用： 你的功能需要登录；你不想让智能体处理你的密码。
结果： 无需与智能体共享凭据的身份验证测试。
使用 web-eval-agent 原型化，硬化为 Playwright 用于 CI
| 工具 | 输入参数 | 何时调用 | 成本 |
|---|---|---|---|
| web_eval_agent | url: str, task: str, headless_browser?: bool | 任何自然语言 Web 测试 | LLM calls + browser time |
| setup_browser_state | url?: str | 每个服务一次，用于保持登录状态 | 0 |
浏览器启动失败安装 Playwright 依赖：npx playwright install-deps
会话不断过期某些网站轮换 cookie；重新运行 setup_browser_state。或使用 Playwright 的 storageState 获得更细粒度的控制
智能体误解任务要具体：URL、选择器或要查找的文本、预期结果
| 替代方案 | 何时用它替代 | 权衡 |
|---|---|---|
| Playwright MCP | 你想要可脚本化、可重复的测试 | 你需要编写代码 |
| Browserbase MCP | 你需要为 CI 提供云托管浏览器 | 按分钟付费 |