opik-mcp MCP — ユースケース, インストール & ライブデモ

なぜ使うのか

主な機能

Comet公式メンテナンス
プロンプトのライフサイクル管理：一覧、取得、バージョン管理、プロモート
ワークスペース / プロジェクト / トレースの探索
評価向けのデータセット＋メトリクス操作
Cloud（comet.com）またはセルフホスト対応、HTTP Bearerトークン認証サポート

ライブデモ

実際の動作

opik.replay ▶ 準備完了

0/0

インストール

クライアントを選択

~/Library/Application Support/Claude/claude_desktop_config.json · Windows: %APPDATA%\Claude\claude_desktop_config.json

{
  "mcpServers": {
    "opik": {
      "command": "npx",
      "args": [
        "-y",
        "opik-mcp"
      ],
      "_inferred": true
    }
  }
}

Claude Desktop → Settings → Developer → Edit Config を開く。保存後、アプリを再起動。

~/.cursor/mcp.json · .cursor/mcp.json

{
  "mcpServers": {
    "opik": {
      "command": "npx",
      "args": [
        "-y",
        "opik-mcp"
      ],
      "_inferred": true
    }
  }
}

Cursor は Claude Desktop と同じ mcpServers スキーマを使用。プロジェクト設定はグローバルより優先。

VS Code → Cline → MCP Servers → Edit

{
  "mcpServers": {
    "opik": {
      "command": "npx",
      "args": [
        "-y",
        "opik-mcp"
      ],
      "_inferred": true
    }
  }
}

Cline サイドバーの MCP Servers アイコンをクリックし、"Edit Configuration" を選択。

~/.codeium/windsurf/mcp_config.json

{
  "mcpServers": {
    "opik": {
      "command": "npx",
      "args": [
        "-y",
        "opik-mcp"
      ],
      "_inferred": true
    }
  }
}

Claude Desktop と同じ形式。Windsurf を再起動して反映。

~/.continue/config.json

{
  "mcpServers": [
    {
      "name": "opik",
      "command": "npx",
      "args": [
        "-y",
        "opik-mcp"
      ]
    }
  ]
}

Continue はマップではなくサーバーオブジェクトの配列を使用。

~/.config/zed/settings.json

{
  "context_servers": {
    "opik": {
      "command": {
        "path": "npx",
        "args": [
          "-y",
          "opik-mcp"
        ]
      }
    }
  }
}

context_servers に追加。保存時に Zed がホットリロード。

claude mcp add opik -- npx -y opik-mcp

ワンライナー。claude mcp list で確認、claude mcp remove で削除。

ユースケース

実用的な使い方： opik-mcp

本番環境のトレースをIDEに取り込み、不正なLLMレスポンスをデバッグする

👤 LLMアプリ開発者 ⏱ ~15 min intermediate

使うタイミング： ユーザーから誤った回答の報告があり、トレースがOpikに記録されている場合。Cursorを離れずに調査したいとき。

前提条件

Opik APIキー — comet.com/site > API Keys（またはセルフホストの管理画面）

フロー

トレースを検索する

Search traces in project 'prod-chatbot' where output contains 'I cannot help with that'. Last 24h.✓ コピーしました

→ 該当するトレースIDとタイムスタンプ
詳細を確認する

Open trace ID abc123. Show me the full message chain, tools called, and intermediate reasoning.✓ コピーしました

→ 完全なトレースオブジェクト
仮説を立てる

Why might the model have refused? Compare this trace to a successful one on the same prompt template.✓ コピーしました

→ 差分と仮説

結果： アプリを切り替えずに、トレースベースの高速デバッグが可能になります。

注意点

トレース内の個人情報（PII） — MCPアクセスを広く有効化する前に、Opikのリダクション設定を行ってください

バージョン管理付きでプロンプトテンプレートを反復改善する

👤 プロンプトエンジニア ⏱ ~25 min advanced

使うタイミング： システムプロンプトを調整中で、各バージョンをOpikに保存してロールバック可能にしたいとき。

フロー

現在のバージョンを取得する

Get latest version of prompt 'support-agent-system'.✓ コピーしました

→ 現在のプロンプト本文
編集してコミットする

Propose a change to handle escalations better. Show diff. Commit as a new version with message 'add escalation path'.✓ コピーしました

→ 差分と新しいバージョンID
データセットで評価する

Run this new version against dataset 'support-eval-v1'. Compare pass rate vs previous version.✓ コピーしました

→ メトリクスの比較結果

結果： データに基づいたプロンプト改善がバージョン管理付きで行えます。

注意点

ガードレールなし — 品質低下したプロンプトがそのまま本番適用される — Opikの実験フレームワークを活用し、合格率がベースライン以上になるまでプロモートしないでください

LLMアプリの週次ヘルスレポートを生成する

👤 エンジニアリングリード、LLMアプリのプロダクトマネージャー ⏱ ~30 min intermediate

使うタイミング： 月曜朝にコスト、レイテンシ、エラー率、主要な障害カテゴリのダイジェストが欲しいとき。

フロー

先週のメトリクスを取得する

For project 'prod-chatbot': total traces, total tokens, avg latency p50/p95, error count — over last 7 days.✓ コピーしました

→ メトリクスブロック
障害を分類する

Sample 20 failed traces. Cluster by failure mode. Rank clusters by frequency.✓ コピーしました

→ 障害の分類体系
ダイジェストを作成する

Compose a Markdown digest with the metrics and top 3 failure modes, ready for Slack.✓ コピーしました

→ 共有可能なレポート

結果： ダッシュボードを手動で確認する手間なく、LLM運用状況を週次で把握できます。

注意点

アプリの進化に伴うメトリクスのずれ — レポートテンプレートをバージョン管理し、週ごとに同じ基準で比較してください

組み合わせ： notion

組み合わせ

他のMCPと組み合わせて10倍の力を

opik + github

プロンプトの品質低下が検知された場合、障害トレース付きでGitHub Issueを作成する

If pass rate drops >5% on 'support-eval-v1' vs last week, create a GitHub issue with the top 3 failing trace IDs.✓ コピーしました

opik + notion

LLMの週次ヘルスダイジェストをNotionに公開する

Compose a Monday digest from last week's Opik metrics and create a Notion page in 'LLM Weekly'.✓ コピーしました

ツール

このMCPが提供する機能

ツール	入力	呼び出すタイミング	コスト
list_projects	workspace_id?	ワークスペースを一覧表示する	1 API call
list_traces	project, filter?, start?, end?, limit?	時間範囲やコンテンツでトレースを検索する	1 API call
get_trace	trace_id	単一トレースを詳細に調査する	1 API call
get_prompt	name, version?	プロンプトを編集またはコード内で使用するために取得する	1 API call
create_prompt_version	name, template, message?	新しいプロンプトのイテレーションをコミットする	1 API call
create_dataset	name, items[]	評価用データセットを構築する	1 API call
get_metrics	project, metric, window	コスト / レイテンシ / 品質をモニタリングする	1 API call

コストと制限

運用コスト

APIクォータ: Opik Cloudにはプランごとの制限があります。セルフホストの場合は無制限です
呼び出しあたりのトークン: トレース一覧は1k〜5kトークン、単一トレースは500〜3000トークン
金額: Opikには充実した無料枠があり、大規模利用向けに有料プランがあります。MCP自体は無料です（Apache 2.0）。
ヒント: list_tracesには必ず時間範囲を指定してください。トラフィックの多いプロジェクトでは範囲指定なしで呼び出さないでください。

セキュリティ

権限、シークレット、影響範囲

最小スコープ： Opik API key scope the workspace you intend to expose

認証情報の保管： OPIK_API_KEY環境変数を使用。HTTPトランスポートはAuthorization: Bearerを使用します

データ送信先： トレースにはPII（個人情報）を含むプロンプトやレスポンスが含まれる可能性があります — Opikのリージョンとリダクション設定を確認してください

絶対に付与しない： An admin-scope key to a shared dev machine

トレースデータにはPII（ユーザーのプロンプト）が多く含まれることがあります。Opikに取り込む前に上流でリダクション処理を行ってください。
セルフホスト環境では、MCPからOpikバックエンドへのネットワーク到達性が必要です — VPN/ファイアウォールの設計に含めてください。

トラブルシューティング

よくあるエラーと対処法

401 Unauthorized (Bearer)

OPIK_API_KEYを確認してください。セルフホストの場合は--apiUrl http://host:5173/apiの設定も必要です。

確認： curl -H 'Authorization: Bearer $KEY' $URL/api/v1/workspaces

トラフィックがあるのにトレース一覧が空

プロジェクトまたはワークスペースが間違っている可能性があります。まずプロジェクト一覧を取得してUUIDを確認してください。

セルフホストのMCPがバックエンドに到達できない

コンテナネットワーキング（同一Dockerネットワーク）を使用するか、--apiUrlを外部からアクセス可能なURLに設定してください。

代替案

opik-mcp 他との比較

代替案	代わりに使う場面	トレードオフ
LangSmith MCP	LangSmithをトレーシングに使用している場合	プラットフォームが異なるが、同様の機能を提供
Langfuse MCP	Langfuse（OSS）を使用している場合	同じくOSSでセルフホスト可能。スキーマが異なる
Arize / Phoenix	評価やドリフト検知に重点を置きたい場合	より豊富なMLモニタリング機能を持つが、学習コストが高い

その他

リソース

📖 GitHub の公式 README を読む

🐙 オープンな issue を見る

🔍 400以上のMCPサーバーとSkillsを見る