RaspberryPi + AIカメラでオフライン人認識＆3D表示

「人がどこにいるか」を、ネットにつながらない環境でも分かりやすく見える化したい。
そんな目的で、Raspberry Pi 5 と AIカメラ OAK-D S2 を使った、オフライン人認識＆3D表示システムを作りました。

カメラが捉えた映像から人物などを認識し、さらに深度（距離）情報を使って、だいたいの位置や大きさを推測。
その結果をWindows側のアプリに送って、3Dビューワー上にリアルタイム表示しています。

画面上の「枠」だけではなく、空間の中で「どのあたりにいるか」が分かるのがポイントです。

仕組み

サーバー側（Raspberry Pi 5）

OAK-D S2 から映像と認識結果、深度情報を取得
認識した物体の距離・位置・サイズを計算
画像＋情報をセットにして UDPで配信

クライアント側（Windowsアプリ）

UDPを受信して表示に変換
カメラ座標 → ワールド座標に変換
3Dビューワー上に 3Dボックスを表示（リアルタイム）

ポイント

1) オフラインで動く

ネット接続が前提だと、現場によっては使いにくいことがあります。
今回はクラウドに頼らず、ローカルで完結する構成にしました。
AI処理自体は、カメラで行うので、RaspberryPi側の負荷がかなり少ないです。

2) “距離が分かる”ので現場で扱いやすい

通常のカメラ認識は、画面上の枠は出ても「どれくらい近いか」が分かりにくいです。
深度情報を使うことで、近い／遠いや、おおよその位置まで扱えるようになりました。

３) 拡張性が高そう

RaspberryPiとPLCをLANで接続して設備に欲しい情報だけ受け渡す事も可能だし、データベースに位置履歴を保存して後で分析することも可能だと思います。

実際の動きです

使ってみた感想：深度はクセ強め（でも面白い）

正直、深度って思ったよりクセがあって、距離がブレるときもあります（笑）
でも「位置が見える」だけでかなり楽しいので、使えそうな機会があったら、もう少し詰めて実用寄りにしていきたいと思います。