◉CLAUDE LABEN
●CC 2.1.330 — Claude Code 2.1.330 で、長い会話を圧縮した直後に数分固まる問題が直りました●SONNET 4.5 — Claude API の Sonnet 4.5 は 11/30 で提供終了、残り8日です。推奨の移行先は claude-sonnet-5-5 です●MCP 401 — MCP サーバーが 401 を返しても、エラーにならず無言でタイムアウトする、という報告が出ています●NEW — 新着:Desktop が毎回 worktree を作るとき、確かめる3か所●OPUS 4.5 — Opus 4.5 の 11/24 は「これより前には廃止しない」下限日で、廃止の告知ではありません●SCHEMA — Agent SDK と Messages API の構造化出力は、同じスキーマでも返り値の形を一度見比べると安心です●CC 2.1.330 — Claude Code 2.1.330 で、長い会話を圧縮した直後に数分固まる問題が直りました●SONNET 4.5 — Claude API の Sonnet 4.5 は 11/30 で提供終了、残り8日です。推奨の移行先は claude-sonnet-5-5 です●MCP 401 — MCP サーバーが 401 を返しても、エラーにならず無言でタイムアウトする、という報告が出ています●NEW — 新着:Desktop が毎回 worktree を作るとき、確かめる3か所●OPUS 4.5 — Opus 4.5 の 11/24 は「これより前には廃止しない」下限日で、廃止の告知ではありません●SCHEMA — Agent SDK と Messages API の構造化出力は、同じスキーマでも返り値の形を一度見比べると安心です
記事一覧/Claude.ai
◉ Claude.ai/2026-04-20上級

Claude Computer Use2026 — ブラウザ・デスクトップ・CLIを横断した自動化の全技術

macOSでの一般提供が始まったClaude Computer Useを実務に組み込むための手引きです。スクリーンショットと操作の繰り返しという動作の本質、セットアップ手順、コスト管理の要点、ブラウザとデスクトップの自動化ユースケース、本番環境へ組み込むアーキテクチャの考え方まで解説します。

Claude Computer Useデスクトップ自動化ブラウザ自動化Claude API148RPA

✦ プレミアム記事

Claude Computer Use を本番環境で使い始めて半年ほど経ちますが、最初に感じた「これは本当に動くのか?」という半信半疑は、今では「どこまで任せられるか」という問いに変わっています。macOS での一般提供が始まり、実務での採用事例も増えてきた今、改めてこの機能の全体像と実践的な使い方を整理したいと思います。

Computer Use の本質 — スクリーンショットと操作の繰り返し

Computer Use が他のAI機能と根本的に異なる点は、Claudeが「見る→判断する→操作する」というループを自律的に回す点にあります。内部的には次の流れで動いています。

スクリーンショットを取得 → Claudeがその画像を見てどこをクリックすべきか判断 → 座標を指定してクリック・入力・スクロールを実行 → 再度スクリーンショットを取得して結果を確認 → 次の操作へ

この設計の妙は、GUI を解析する専用のビジョンモデルを使っていないことです。Claude の汎用的なマルチモーダル理解力を使っているため、見たことのないUIにも柔軟に対応できます。その代わり、ピクセル座標の精度に限界があり、密集したUIや動的コンテンツでは誤操作が発生しやすいという特性もあります。

使う前にこの特性を理解しておくことが、実務での成功率を大きく左右します。

セットアップ — APIキーから動作確認まで

1. 必要なもの

pip install anthropic pillow

モデルは claude-opus-4-6 または claude-sonnet-4-6 を使います。Computer Use は現時点で Bedrock や Vertex AI でも利用できますが、最新機能は Anthropic API 直接接続で最も早く使えます。

2. 最小構成のコード

import anthropic
import base64
from PIL import ImageGrab
 
client = anthropic.Anthropic()
 
def take_screenshot():
    """スクリーンショットを取得してbase64エンコードする"""
    screenshot = ImageGrab.grab()
    screenshot = screenshot.resize(
        (screenshot.width // 2, screenshot.height // 2)
    )  # コスト削減のためリサイズ
    screenshot.save("/tmp/screen.png")
    with open("/tmp/screen.png", "rb") as f:
        return base64.standard_b64encode(f.read()).decode("utf-8")
 
def run_computer_use_task(task: str):
    screenshot_b64 = take_screenshot()
    
    response = client.messages.create(
        model="claude-sonnet-4-6",
        max_tokens=4096,
        tools=[
            {
                "type": "computer_20241022",
                "name": "computer",
                "display_width_px": 1280,
                "display_height_px": 800,
            }
        ],
        messages=[
            {
                "role": "user",
                "content": [
                    {
                        "type": "image",
                        "source": {
                            "type": "base64",
                            "media_type": "image/png",
                            "data": screenshot_b64,
                        },
                    },
                    {"type": "text", "text": task}
                ],
            }
        ],
    )
    return response

このコードはClaudeに「現在のスクリーンショットを見て、タスクを実行してください」と指示するものです。実際にはここから操作ループを実装する必要があります。

3. 操作ループの実装

Computer Use の核心は、Claudeが tool_use ブロックで操作を返してきたとき、実際にその操作を実行してから、結果のスクリーンショットをClaudeに返すループです。

import subprocess
import time
 
def execute_action(action: dict) -> str:
    """Claudeが指示したアクションを実行する"""
    action_type = action.get("action")
    
    if action_type == "screenshot":
        return take_screenshot()
    
    elif action_type == "left_click":
        x, y = action["coordinate"]
        subprocess.run(["cliclick", f"c:{x},{y}"])  # macOS
        # Linux の場合: subprocess.run(["xdotool", "click", "--clearmodifiers", "1"])
        time.sleep(0.5)
        return take_screenshot()
    
    elif action_type == "type":
        text = action["text"]
        subprocess.run(["cliclick", f"t:{text}"])
        time.sleep(0.3)
        return take_screenshot()
    
    elif action_type == "key":
        key = action["key"]
        subprocess.run(["cliclick", f"kp:{key}"])
        time.sleep(0.3)
        return take_screenshot()
    
    elif action_type == "scroll":
        x, y = action["coordinate"]
        direction = action.get("direction", "down")
        amount = action.get("amount", 3)
        if direction == "down":
            subprocess.run(["cliclick", f"dd:{x},{y}"])
        return take_screenshot()
    
    return take_screenshot()
 
def run_task_with_loop(task: str, max_iterations: int = 20):
    """操作ループを伴う完全なタスク実行"""
    messages = [
        {
            "role": "user",
            "content": [
                {
                    "type": "image",
                    "source": {
                        "type": "base64",
                        "media_type": "image/png",
                        "data": take_screenshot(),
                    },
                },
                {"type": "text", "text": task}
            ],
        }
    ]
    
    for i in range(max_iterations):
        response = client.messages.create(
            model="claude-sonnet-4-6",
            max_tokens=4096,
            tools=[{
                "type": "computer_20241022",
                "name": "computer",
                "display_width_px": 1280,
                "display_height_px": 800,
            }],
            messages=messages,
        )
        
        # stop_reason が "end_turn" なら完了
        if response.stop_reason == "end_turn":
            print("タスク完了")
            break
        
        # tool_use ブロックを処理
        tool_results = []
        for block in response.content:
            if block.type == "tool_use" and block.name == "computer":
                new_screenshot = execute_action(block.input)
                tool_results.append({
                    "type": "tool_result",
                    "tool_use_id": block.id,
                    "content": [
                        {
                            "type": "image",
                            "source": {
                                "type": "base64",
                                "media_type": "image/png",
                                "data": new_screenshot,
                            },
                        }
                    ],
                })
        
        # メッセージ履歴を更新
        messages.append({"role": "assistant", "content": response.content})
        messages.append({"role": "user", "content": tool_results})
    
    return response
✦

ここまでお読みいただきありがとうございます。

この記事の続きを読む

この先には、実装コードやベンチマーク結果など、実務でお役に立てる内容をご用意しています。このサイトは広告を掲載しておらず、サーバーや開発にかかる費用はメンバーの皆様のご支援で成り立っています。もしお役に立てていましたら、ご支援いただけますと大変ありがたいです。

この記事で得られること
✦macOS一般提供後の最新セットアップから本番環境導入まで、手を動かしながら理解できる
✦ブラウザ・デスクトップ・CLIの3ルートを使い分けるアーキテクチャ設計の考え方
✦スクリーンショットの最適化・エラーリカバリ・コスト管理の実践ノウハウ
Stripe による安全な決済 · いつでもキャンセル可能
✦

この記事を購入する

この先の内容をすべてお読みいただけます。一度のご購入で、いつでも何度でもアクセスできます。このサイトは広告を掲載しておらず、皆さまのご支援がサーバー費用などの運営を支えています。

または
メンバーシップなら全記事が読み放題 →
シェア

お読みいただきありがとうございます

Claude Lab は広告なしで運営しており、サーバー費用などの運営コストはメンバーシップのご支援で賄っています。実装コード・ベンチマーク・本番設計パターンなど、実務でお役立ていただける記事を毎日更新しています。もし読んでよかったと感じていただけましたら、ぜひご覧ください。

  • ✦コピー&ペーストで使える実装コード付き
  • ✦毎日新しい上級ガイドを追加
  • ✦¥580/月 または ¥1,480 の永久アクセス
メンバーシップを見る →

関連記事

◉ Claude.ai2026-10-30
上限が 128MB に上がっても、画像 176 枚は 17.5MB で止まります。バイトより先に当たる壁を、送る前に数える
Messages API の上限が 128MB になった日に、手元の画像 176 枚を調べました。バイトは余裕でも、枚数の上限が先に当たります。枚数・長辺・base64 を送る前に検査する関数と分割コードです。
◉ Claude.ai2026-10-27
「最短 10 月 15 日」を過ぎた Haiku 4.5 は、止まる日が決まったわけではありません
廃止表の Active の日付は予定日ではなく下限です。60 日前通知と過去の退役間隔から、日付が過ぎた Haiku 4.5 の扱いを決め、棚卸しスクリプトにしました。
◉ Claude.ai2026-10-27
提供終了のお知らせが届いた朝に開く画面は3つだけ — コードを書かない人のための確認順
Anthropic から英語の廃止通知メールが届いたとき、慌てて何かを変える前に確かめたい3点を整理しました。自分に関係があるのか、日付はいつか、誰に何を伝えるか。コードを書かない方向けの手順です。