触らずにグリグリできるデジタル地球儀をつくる（３）グリグリする方法を決める

触らずにグリグリできるデジタル地球儀をつくる（３）グリグリする方法を決める　

　DEOS Playerのリノベーションで、デジタル地球儀部分を触らずにグリグリする方法を考えます。
　基本的な原理は、（１）球体スクリーンの上にかざされ手の動きを検知して、（２）座標情報を取得し、（３）投影された”球面用映像の回転”を手の動きと同期させる、という方法です。　

球体スクリーンの上にかざされた手の動きを検知する

　手の動きを検知するために、主に次の４つの方法が考えられます。そして、検知精度、反応速度、コスト、検知用モジュールの設置方法等に、それぞれ違いがあります。

静電容量方式の電極膜をスクリーンに貼り付ける。
サーモグラフィーセンサー（赤外線熱検知センサー）で手を検知する
AIカメラで手を検出する
赤外線距離測定センサーをスクリーン部に設置し、手を検知する

　まず「1.静電容量方式の電極膜」をスクリーンに貼り付ける方法は、調べた所では（2021年）最も検知精度が高く、検知後の座標取得等の処理はシンプルなため高速に検知が可能になりそうです。しかし、球面形状にキャリブレーションされた電極膜製造の特注が必要なこと、さらに、球面スクリーン内部のプロジェクターからの映像を遮断しない透過性を持つ電極膜の必要性、そして何よりコスト面の課題が大きいです。

　次に、「2.サーモグラフィーセンサー（赤外線熱検知センサー）」の活用では、アクリル製の球面スクリーンが赤外線透過を妨げ検出精度が落ちるため、内部にセンサーを設置することは現実的ではありません。よって球面スクリーン周辺にセンサーを設置する必要があります。この設置方法を採用した場合でも、サーモグラフィーセンサーは処理が比較的高負荷で、解像度不足や検出速度の面で課題があります。

　ここで「3.AIカメラで手を検出する」と、「4.赤外線距離測定センサー」の可能性を探ってみます。

AIカメラで手の動きを検出する

　カメラで撮影された手の動きをAIでリアルタイム検出する方法は、Googleがオープンソースで公開しているMediaPipeが試すには便利です。ちなみに、今回のDEOS Playerのリノベーションでは、内部にしこむコンピューターはRaspberry pi4を採用することにしており、次の動画は、カメラが手を直接撮影しRaspberry pi4＋MediaPipeがリアルタイムに検出している様子です。（AIを活用するのであればNvidia Jetson Nanoも適していますが、コスト等を考慮してRaspberry pi4を採用しました。）

　この動画でわかるように、Raspberry pi4で試した場合、平均で7-12fps程度で検出します。つまり1秒間で7-12コマの頻度で手の動きを検出するわけですが、手をゆっくり動かせばかなり高い検出精度になりそうです。一方で子供が地球儀をめいっぱいビューンと回転させるように速く手を動かすと、動き”の検出には課題がありそうです。

　さらに、球体スクリーン内に検知用の赤外線カメラを設置して、スクリーン越しに手を認識できるか確認したところ検知精度に課題があり、この方法を採用するにはMediaPipeのカスタムや教師データの作成が必要なようです。モノ作りとしては非常に興味深いですが、もはやこうなるとアジャイルや試作の範囲を超えてしまいます。

赤外線距離測定センサーで手の動きを検知する

　赤外線距離センサーはその構造は非常にシンプルで速い反応速度が特徴の一つです。一方で検知精度は人の手を「手」と判断するのではなく、センサーの検知範囲に現れた物質を全て検知します。
　また、センサーを複数設置することで「物質の移動量や移動速度、移動方向」のベクトル情報を得ることができるのも特徴です。そのため、センサーが得た情報をコンピューターで処理する場合には都合が良い。つまり消費電力も小さい。エコです、まさに「グリグリ・ビューンのSDGsやぁ～・・」。

　さて、課題として「手の位置」を正確に把握するためには、センサー設定位置を精密にキャリブレーションする必要があるという点がありますが、今回の目的は「触れずにグリグリ・ビューンしたい」という地球儀遊びですので、それほど精密に手の位置を把握する必要はありません。さらにセンサー・モジュールのコストが低いのも魅力的です。今回は、赤外線距離センサーを使った「手の動き検知」を採用することにしました。