Gemini Screen Automation完全解説｜AIがスマホアプリを自律操作、配車・注文・予約を自動化する新時代

監修者伊東雄歩

株式会社ウォーカー CEO。東北大学卒。MENSA会員、JDLA認定講師、健全AI教育協会理事。生成AI×教育・学習科学を専門とし、2億円超のシステム開発プロジェクトを統括。

Google GeminiがAndroidスマホ上でアプリを自律操作するAIエージェント機能「Screen Automation」を展開
Pixel 10・Galaxy S26シリーズが対応。Geminiがバックグラウンドでアプリを開き、注文・予約・配車を自動実行
仮想ウィンドウで隔離実行。デバイスの他の部分にはアクセスできないセキュアな設計
Lyft、Uber、DoorDash、Starbucks等に対応。無料ユーザーは1日約5回、Ultra契約者は120回まで
操作中もスマホの他の機能を使用可能。リアルタイムで進捗を確認することも可能

「Gemini、今日のランチをDoorDashで注文して」——この一言で、AIがアプリを開き、メニューを選び、カートに追加し、注文確認画面まで進める。Google Geminiの「Screen Automation」は、AIアシスタントが実際にスマートフォンのアプリを操作するという、まったく新しいスマホ体験を実現しました。Pixel 10シリーズとGalaxy S26シリーズから展開が始まり、「AIにタスクを任せる」スマートフォンの使い方が本格化しています。

Gemini Screen Automationとは何か

Screen Automationは、Google Geminiがスマートフォン上のアプリを自律的に操作するAIエージェント機能です。

発表 — 2026年2月25日。Galaxy S26シリーズで先行提供、3月のPixel Feature DropでPixel 10にも展開
仕組み — ユーザーの音声/テキスト指示を理解 → 対象アプリをバックグラウンドで起動 → 画面操作を自動実行
実行環境 — セキュアな仮想ウィンドウ内で動作。デバイスの他の部分にはアクセスできない隔離設計
並行利用 — AI操作中もスマホの他の機能を自由に使用可能
対応OS — Android 16 QPR3以降

たとえるなら、Screen Automationは「スマホの中にもう1人のユーザーがいる」状態。あなたがSNSを見ている間に、もう1人の「デジタルな自分」がバックグラウンドで別のアプリを操作して注文や予約を進めてくれます。

具体的にできること｜配車・フードデリバリー・注文

現在対応しているサービスとタスクは以下の通りです。

配車 — Lyft、Uberでの配車予約。目的地の入力、車種の選択、予約確認までを自動化
フードデリバリー — DoorDash、Uber Eats、GrubHubでの食事注文。メニュー閲覧、カート追加、注文確認
店舗注文 — Starbucksでの事前注文。ドリンクの選択、カスタマイズ、支払い準備

重要なのは、Geminiが単に「アプリを起動する」のではなく、アプリ内の画面を読み取り、ボタンをタップし、テキストを入力し、メニューをスクロールするという、人間と同じ操作を行っている点です。

セキュリティ設計｜仮想ウィンドウによる隔離

AIがスマホを操作するとなると、プライバシーが気になるところです。Googleは以下の設計でセキュリティを確保しています。

仮想ウィンドウ — Geminiは端末上の隔離された仮想画面内でのみ動作。他のアプリやデータには一切アクセスできない
クラウド処理 — 仮想画面の内容はクラウドで処理されるが、デバイスの他の情報は送信されない
リアルタイム確認 — ユーザーはいつでもGeminiの操作をリアルタイムで確認・中断可能
最終確認 — 支払い等の重要なアクションは、ユーザーの最終確認が必要

たとえるなら、「ガラス張りの個室で作業する秘書」。何をしているかはいつでも確認でき、重要な決定の前には必ず確認を求めてくる。自由にアクセスできる範囲は厳密に制限されています。

利用制限と対応デバイス

無料ユーザー — 1日約5回のリクエスト
Gemini Ultra契約者 — 1日最大120回のリクエスト
対応デバイス — Pixel 10、Pixel 10 Pro、Pixel 10 Pro XL、Galaxy S26シリーズ
対応地域 — まず米国から展開。他地域は順次拡大予定

競合との比較

Apple Siri（iPhone） — アプリ間の連携はショートカット経由。画面操作型のエージェント機能はApple Intelligenceで開発中
Samsung Bixby（Galaxy） — Galaxy AI内蔵。Gemini Screen Automationはこれに加えてGoogleのエージェント技術を統合
Anthropic Claude Computer Use — デスクトップPC向け。スマートフォン向けではない
Google Gemini Screen Automation — スマートフォン向けで最も実用的なAIエージェント。仮想ウィンドウ隔離で安全性も確保

よくある質問（FAQ）

Q. 日本でも使えますか？

現在は米国が先行展開です。日本を含む他地域への展開時期は未発表ですが、Google I/O 2026等で対応地域拡大が発表される可能性があります。

Q. どのアプリでも操作できますか？

現時点では対応アプリが限定されています（Lyft、Uber、DoorDash、Uber Eats、GrubHub、Starbucks等）。今後、対応アプリは順次拡大される予定です。

Q. 勝手に支払いが行われませんか？

支払い等の重要なアクションには、ユーザーの最終確認が必要です。Geminiが自動的に決済を完了させることはありません。注文内容を確認し、ユーザーが承認して初めて処理が進みます。

Q. 無料で使えますか？

はい。無料ユーザーは1日約5回利用可能です。より多く使いたい場合は、Gemini Ultraサブスクリプション（1日120回まで）への加入が必要です。

まとめ

この記事のポイントを振り返りましょう。

Gemini Screen Automationはスマホアプリを自律操作するAIエージェント機能。Pixel 10とGalaxy S26に対応
配車（Lyft/Uber）、フードデリバリー（DoorDash/Uber Eats）、店舗注文（Starbucks）を自然言語で指示するだけで自動実行
仮想ウィンドウ内の隔離実行で、他のアプリやデータへのアクセスを遮断。セキュアな設計
操作中もスマホは通常通り使用可能。リアルタイムで進捗確認も可能
無料で1日5回、Gemini Ultraで120回。まず米国から展開、日本は今後に期待

「Hey Google、〇〇して」が本当に「してくれる」時代になりました。Gemini Screen Automationは、音声アシスタントが「情報を教える存在」から「タスクを実行する存在」に進化したことを象徴しています。対応アプリやサービスが増えれば、スマートフォンの操作体験は根本的に変わるでしょう。

参考文献

Google Blog. (2026). Let Gemini handle your multi-step daily tasks on Android. Google Blog
9to5Google. (2026). Gemini automation on Pixel 10, S26 can book rides and place orders. 9to5Google
Android Central. (2026). Gemini on the Pixel 10 can now handle tasks without you touching your apps. Android Central
Android Authority. (2026). First the Galaxy S26 series, now Gemini task automation is rolling out to Pixel 10. Android Authority
Android Police. (2026). Google Gemini’s Screen Automation finally starts hitting the Pixel 10. Android Police