作者 refreshdotdev · refreshdotdev/web-eval-agent
網路應用的自然語言端對端測試——代理驅動瀏覽器、擷取主控台/網路日誌，並回報發現結果。
web-eval-agent (refreshdotdev) 讓你用純英文描述使用者任務；MCP 會開啟瀏覽器、執行流程，並回報截圖、主控台日誌和網路流量。對於不想寫 Playwright 指令碼的探索性 UX 測試很有用。注意：原始專案已停止維護——團隊已轉移到 withrefresh.com——但 MCP 仍在既有授權下保持正常運作。
setup_browser_state 保存登入狀態，讓測試可在需身份驗證的環境中執行%APPDATA%\Claude\claude_desktop_config.json{
"mcpServers": {
"web-eval-agent": {
"command": "uvx",
"args": [
"web-eval-agent"
],
"_inferred": true
}
}
}開啟 Claude Desktop → Settings → Developer → Edit Config。儲存後重啟應用。
{
"mcpServers": {
"web-eval-agent": {
"command": "uvx",
"args": [
"web-eval-agent"
],
"_inferred": true
}
}
}Cursor 使用與 Claude Desktop 相同的 mcpServers 格式。專案級設定優先於全域。
{
"mcpServers": {
"web-eval-agent": {
"command": "uvx",
"args": [
"web-eval-agent"
],
"_inferred": true
}
}
}點擊 Cline 側欄中的 MCP Servers 圖示，然後選 "Edit Configuration"。
{
"mcpServers": {
"web-eval-agent": {
"command": "uvx",
"args": [
"web-eval-agent"
],
"_inferred": true
}
}
}格式與 Claude Desktop 相同。重啟 Windsurf 生效。
{
"mcpServers": [
{
"name": "web-eval-agent",
"command": "uvx",
"args": [
"web-eval-agent"
]
}
]
}Continue 使用伺服器物件陣列，而非映射。
{
"context_servers": {
"web-eval-agent": {
"command": {
"path": "uvx",
"args": [
"web-eval-agent"
]
}
}
}
}加入 context_servers。Zed 儲存後熱重載。
claude mcp add web-eval-agent -- uvx web-eval-agent一行命令搞定。用 claude mcp list 驗證，claude mcp remove 移除。
何時使用： 你完成部署，想快速檢查有沒有明顯的功能損壞。
結果： 2 分鐘內獲得部署後的信心指標。
何時使用： 你想了解某個流程的外部看法，而不需要安排正式的使用者測試。
結果： 在將真實使用者引入之前，進行成本低廉的 UX 啟發式評估。
何時使用： 你的功能需要登入；你不想讓代理處理你的密碼。
結果： 不與代理共享認證資訊的情況下進行已驗證的測試。
用 web-eval-agent 製作原型，硬化為 Playwright 用於 CI
| 工具 | 輸入參數 | 何時呼叫 | 成本 |
|---|---|---|---|
| web_eval_agent | url: str, task: str, headless_browser?: bool | 任何自然語言網路測試 | LLM calls + browser time |
| setup_browser_state | url?: str | 每項服務執行一次，保存已登入狀態 | 0 |
瀏覽器無法啟動安裝 Playwright 依賴：npx playwright install-deps
工作階段持續過期某些網站會輪換 cookie；重新執行 setup_browser_state。或對更細緻的控制使用 Playwright 的 storageState
代理誤解任務具體一點：URL、要尋找的選擇器或文字、預期結果
| 替代方案 | 何時用它替代 | 權衡 |
|---|---|---|
| Playwright MCP | 你想要可編碼、可重複的測試 | 你要寫程式碼 |
| Browserbase MCP | 你需要用於 CI 的雲端託管瀏覽器 | 按分鐘付費 |