フィジカルAI ― AIに「からだ」を与える
〜 ロボット向けAIモデルと ESP32 で
「AIの判断でモノが動く」までを組み上げる Workshop 〜
AIの判断で、自律的にモノが動くようになる
これまでの生成AIは、人が問いを立て、AIが答えを返し、それを人が読んで次の行動を決める、という流れが一般的でした。フィジカルAIでは、カメラやセンサーが現場を捉え、AIがその場で判断を下し、判断がそのまま機械の動きになります。人の役割は、機械の動きが間違わないようにコーディネートすることになるでしょう。
2026年7月に閣議決定された人工知能基本計画（改定版）は、日本の勝ち筋として「バーティカルAI」と「フィジカルAI」の実装を挙げています。経済産業省・NEDOのマルチモーダル基盤モデル開発事業も動き出しており、製造・物流・インフラ点検・農業など、現場に機械がある産業ほど影響は大きくなります。
とはいえ、現在使われている「フィジカルAI」という言葉は幅広いスペクトルを持っているようです。「世界モデル」「VLA」や「ロボット」と同じ文脈で使われ、それぞれ指すものが違う、という状態です。本Workshopは、まず用語が指し示すものを整理し、実際にコードを動かし、自社の現場にどう持ち込むかまでを扱います。
「考える側」のAIを、実際に呼び出すハンズオン
ロボットを動かすAIは「考える係」と「動く係」に分かれます。動く係（VLA＝Vision-Language-Action モデル）は、まだ一般には公開されていません。一方で考える係にあたるモデルは、2026年7月末からAPIで使えるようになりました。写真を渡すと「どのように動けばいいか」を「座標」として返してくるモデルです。
本Workshopでは、このモデルを Google Colab から実際に呼び出します。日本語化したノートブックを配布しますので、参加者はブラウザだけで、環境構築なしに試せます。
例えば、講座で使った栽培デモ機の写真を渡して「写っているものを全部指してください」と頼むと、「換気ファン」「給水ボトル」「マイコンボード」の3点を、こちらが名前を教えていないにもかかわらず自ら命名した上で、実物の位置を座標で返してきました。何を探すかをこちらから指定する必要はありません。
ER 2 が返した座標を写真に描き戻したもの。ラベルもモデルが自分でつけた日本語です
動画も扱えます。静止画と同じ「どこにあるか」に加えて、「いつ起きたか」が時刻で返ります。作業が始まった時点、異常が現れた瞬間といった時間の情報が取れるため、現場の映像を扱う上で重要になります。
さらに、このモデルは答える前に自分でPythonコードを書いて実行できます。読みにくい画像であれば拡大・切り出し・回転してから読む、といった前処理を、手順を指示しなくても自分の判断で挟みます。講座では発展として、時系列データベース CLOUDSHIP® の可視化画面 RealBoard® のダッシュボードをスクリーンショットのまま渡し、グラフの内容を答えさせます。モデルは見事にチャート画像のみから数値の列に起こし、その上で求められた値を返すコードを書いて答えを組み立てます。
返ってきた座標は、そのまま機械の動作につなげられます。弊社では、シミュレーション上のロボットアームで実際に検証しました。
実施例
高知県のIoP技術者コミュニティ向けに、2026年8月と9月に実施した回の構成です。題材は貴社の設備や現場に合わせて組み替えます。
① センサーの値を、自分のクラウドにためる
ESP32 に温湿度センサを接続し、計測した値を自分のスプレッドシートへ送り続ける仕組みを、参加者それぞれの手で組みます。結線図を見ながらブレッドボードに配線し、プログラムを書き込み、値が流れ始めるところまでを確認します。ここが「現場をデータにする」出発点です。
② ロボット向けAIモデルに、座標を聞く
Colab からモデルを呼び出し、自分で撮った写真を解析させます。「水をやるならどこに差しますか」「センサはどこですか」といった問いに対し、返ってきた座標を画像の上に描いて検証します。数字を鵜呑みにせず、絵にして確かめるところまでを手順に含めています。
③ AIに、方針を決めさせる
植物の鉢に ESP32・温湿度センサ・土壌水分センサ・換気ファン・給水ポンプを組み込んだデモ機を持ち込みます。このシステムの中では、速さの違う2つのサイクルが回っています。速いサイクルはマイコン制御で、数分ごとにセンサ値を見て、暑ければファンを回し、乾けば決められた量だけ給水します。遅いサイクルがAIのもので、1日に数回、株の写真とセンサ・給水の履歴を渡し、目標温度・土壌水分の目標帯・1回の給水量という「方針」そのものを決めさせます。AIが極端な判断をしないよう、安全なガードレールの設計についても解説します。
_edited.jpg)
こんな課題をお持ちの方へ
現場にカメラやセンサーはあるが、目視確認がボトルネックになっている
生成AIを試してはみたが、自社の設備でどう活かすかのイメージが湧かない
AIに設備を操作させることに不安があり、どこまで任せてよいかの判断基準がない
点検・巡回の記録や、熟練者の判断を、仕組みとして残していきたい
特定の作業に合わせて作り込む従来の自動化と違い、同じ仕組みを別の対象へ移しやすいのが特徴です。製造ラインの状態監視、設備の巡回点検、インフラの劣化確認など、カメラやセンサーで現場を捉えられる場面であれば、応用の余地があります。
教材のカスタマイズ
教材は、ご発注をいただいてから、貴社の題材に合わせて作成します。標準的には次の一式をご用意します。
講座資料（フィジカルAI・世界モデル・VLAの概念整理から、実装・設計まで）
ハンズオン用の Jupyter Notebook（Google Colab で開けます。講座後も社内で再実行できます）
使用するデバイスのセットアップ手順書と、ステップ別のサンプルコード
開催形式
半日から1日での開催に対応しています。午前2時間の環境構築、午後に本編3時間という構成が標準です。貴社への出張開催のほか、弊社拠点（高知・鹿児島）での開催、オンライン併用にも対応します。扱う題材・機材など、ご要望をお聞かせください。
プログラミングの経験は必須ではなく、GASとの連携もサポートします。エンジニアの方だけでなく、現場の改善を担当されている方や、技術の導入を検討される立場の方にも適した内容です。