仮想タッチスクリーンシステム及び双方向モード自動切換方法
【課題】仮想タッチスクリーンシステムにおける双方向モードの自動切換方法及び仮想タッチスクリーンシステムを提供する。
【解決手段】前記方法は、画像を投影面に投射し、前記投影面の環境の画像を連続取得し、得られた各画像から、前記投影面前の所定間隔内に位置する少なくとも1つの対象の候補ブロブを検知し、前後に隣り合う画像同士から得られたブロブの重心点の、時間と空間における関係から、各ブロブをそれぞれに対応した点配列に繰り入れるステップを含む。
【解決手段】前記方法は、画像を投影面に投射し、前記投影面の環境の画像を連続取得し、得られた各画像から、前記投影面前の所定間隔内に位置する少なくとも1つの対象の候補ブロブを検知し、前後に隣り合う画像同士から得られたブロブの重心点の、時間と空間における関係から、各ブロブをそれぞれに対応した点配列に繰り入れるステップを含む。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、マンマシンインタラクション分野およびデジタル画像処理分野に関し、特に、仮想タッチスクリーンシステム及び双方向モード自動切換方法に関する。
【背景技術】
【0002】
現在、タッチスクリーン技術は、HMI装置となる携帯装置(例えば、スマートフォン)及びPC(例えば、タブレットPC)に幅広く利用されている。タッチスクリーンを用いることで、ユーザの該装置への操作がより快適かつ容易になるとともに、優れた体験をユーザにもたらすことが可能になる。タッチスクリーン技術は、携帯装置においては非常に成功しているものの、大型ディスプレイのタッチスクリーンにおいては、依然として課題と改善のチャンスが残されている。
【0003】
Canesta, Incの、発明の名称が「System and Method for Determining an Input Selected By a User through a Virtual Interface」である米国特許US7151530B2には、1グループのキー値から、現在のキー値と指定されたキー値を選択する方法が提案されており、これにより、仮想インタフェース中の領域と交差する対象の提供が可能となる。該仮想インタフェースは、キー値グループからの単一キー値の選択が可能になるとともに、デプス(depth)センサーによる位置決めが可能になる。なお、該デプスセンサーは、デプスセンサーの位置に関連する位置の深度を決定することができる。なお、対象の変位特性や対象の形状特性の少なくともいずれかを決定することができる。位置情報は、対象の位置センサーや他の基準点に対する深さで近似することができる。カメラの画素配列に十分な数の画素指示対象が存在していると、該対象は検知されたと考えられている。また、仮想入力領域の表面と交差する対象の形状を決定するとともに、複数の既知の形状(たとえば、指やポインティング手段)との比較を行っている。
【0004】
同様に、Canesta, Incの、発明の名称が「Quasi-Three-Dimensional Method And Apparatus To Detect And Localize Interaction Of User-Object And Virtual Transfer Device」である米国特許US6710770B2には、仮想装置による付属装置への情報入力または転送システムが開示され、該システムは、OS1とOS2の二つの光学システムが設けられている。一実施例において、OS1は、仮想装置上に、かつ該仮想装置と平行に、扇ビーム面の光エネルギーを出射し、OS2は、ユーザ対象が関心ビーム面を通ると、該イベントを記録している。三角測量方法は、仮想タッチの位置決めが可能になるとともに、ユーザの所定情報を付属システムへ転送することが可能になる。他の実施例において、OS1は、好ましくはデジタルカメラであり、該デジタルカメラの視野によって、光エネルギー源により照射される関心面が定義される。
【0005】
Apple社の、発明の名称が「identifying contacts on a touch surface」である米国特許US7619618B2には、手の接近、接触接近によるマルチタッチ面の感知や、スライド時の複数の指と掌のコンタクトポイントの同時追跡装置及び方法が開示されている。直観的な手の構造、動作の検知及び分類により、マルチ用途の人間工学コンピュータ出力装置における入力、静止、ポインティング、スクロール、3D操作のような操作が可能になる。
【0006】
Matsushita Electric社の、発明の名称が「Multi-touch surface providing detection and tracking of multiple touch points」である、米国特許出願第US20100073318A1号明細書には、直交線形許容センサーの2つの独立した配列によるマルチタッチポイントの検知及び追跡が可能なマルチタッチ感知面用のシステム及び方法が開示されている。
【0007】
前述の従来技術においては、大多数の大型タッチスクリーンが、電磁ボード(例えば、電子ホワイトボード)や、IR board(例えば、双方向の大型ディスプレイ)等に依存しており、当面の大型タッチスクリーンの解決手段には、依然として多くの問題点がある。例えば、全体的に、このような種別の装置は、通常、ハードウェアに起因するボリューム増と重さから、携帯が困難で、利便性に欠けている。さらに、このような種別の装置のスクリーンは、ハードウェアの制限からサイズが固定され、環境の需要に応じた自由な調整ができず、さらに、特殊な電磁ペンやIRペンによる操作が必要となる。
【0008】
また、仮想ホワイトボードプロジェクタにおいては、ユーザによるレーザペンのオン/オフのスイッチ制御が必要となり、非常に煩わしい作業であるため、レーザペンの制御が困難であるという問題点がある。なお、このような仮想ホワイトボードプロジェクタにおいては、レーザペンがオフになると、レーザペンの次の位置への正確な位置決めが困難であるため、レーザペンの位置決めが容易ではないという問題点がある。仮想ホワイトボードプロジェクタに、手指マウスをレーザペンの代わりに用いるものもあるが、手指マウスを用いる仮想ホワイトボードプロジェクタでは、タッチオン(touch on)や、タッチアップ(touch up)の検知ができない。
【発明の概要】
【発明が解決しようとする課題】
【0009】
本発明の目的は、前述の従来技術における問題を解決するためになされたものであり、仮想タッチスクリーンシステム及び双方向モードの自動切換方法を提供することにある。
【課題を解決するための手段】
【0010】
本発明の一局面においては、画像を投影面に投射し、前記投影面の環境の画像を連続取得し、得られた各画像から、前記投影面前の所定間隔内に位置する少なくとも1つの対象の候補ブロブを検知し、前後に隣り合う画像同士から得られたブロブの重心点の、時間と空間における関係から、各ブロブをそれぞれに対応した点配列に入れる、仮想タッチスクリーンシステムにおける双方向モードの自動切換方法であって、前記投影面前の所定間隔内に位置する少なくとも1つの対象の候補ブロブを検知するステップにおいて、さらに、前記少なくとも1つの対象の候補ブロブ中の特定画素点の深度値を検索し、前記深度値が第1の間隔閾値未満かを判断し、前記深度値が第1の間隔閾値未満であると、前記仮想タッチスクリーンシステムが第1の動作モード状態であると決定し、前記深度値が第1の間隔閾値を越えたか、かつ第2の間隔閾値未満かを判断し、前記深度値が第1の間隔閾値を越え、かつ第2の間隔閾値未満であると、前記仮想タッチスクリーンシステムが第2の動作モード状態であると決定し、前記深度値と、第1の間隔閾値及び第2の間隔閾値との関係から、前記仮想タッチスクリーンシステムの第1の動作モードと第2の動作モード間の自動切換が行われる、仮想タッチスクリーンシステムにおける双方向モードの自動切換方法が提供される。
【0011】
前記仮想タッチスクリーンシステムにおける双方向モードの自動切換方法においては、前記第1の動作モードが、タッチモードであり、前記タッチモードにおいて、ユーザの仮想タッチスクリーン上のタッチ動作が行われ、前記第2の動作モードが、ジェスチャーモードであり、前記ジェスチャーモードにおいて、仮想タッチスクリーンにユーザの手が触れることなく、仮想タッチスクリーンから一定間隔範囲内のジェスチャー動作が行われる。
【0012】
前記仮想タッチスクリーンシステムにおける双方向モードの自動切換方法においては、前記第1の間隔閾値が、1cmである。
【0013】
前記仮想タッチスクリーンシステムにおける双方向モードの自動切換方法においては、前記第2の間隔閾値が、20cmである。
【0014】
前記仮想タッチスクリーンシステムにおける双方向モードの自動切換方法においては、前記少なくとも1つの対象の候補ブロブ中の特定画素点が、前記少なくとも1つの対象の候補ブロブにおける深度値が最も深い画素点である。
【0015】
前記仮想タッチスクリーンシステムにおける双方向モードの自動切換方法においては、前記少なくとも1つの対象の候補ブロブ中の特定画素点の深度値が、前記少なくとも1つの対象の候補ブロブにおける、深度値が他の画素点の深度値よりも大きい画像点の深度値であり、又は、深度値の分布が他の画素点の深度値の分布よりも密集している1グループの画素点の深度値の平均値である。
【0016】
前記仮想タッチスクリーンシステムにおける双方向モードの自動切換方法においては、1画素の深度値が最小間隔閾値を超えたかを判断し、前記深度値が該最小間隔閾値を越えた場合は、前記画素が前記投影面前の所定間隔内に位置する少なくとも1つの対象の候補ブロブの画素であると決定する。
【0017】
前記仮想タッチスクリーンシステムにおける双方向モードの自動切換方法においては、1画素の深度値がある連通域に属しているか否かを判断し、前記深度値がある連通域に属している場合は、前記画素が前記投影面前の所定間隔内に位置する少なくとも1つの対象の候補ブロブの画素であると決定する。
【0018】
本発明の他の局面においては、画像を投影面に投射するプロジェクタと、前記投影面の環境の画像を連続取得するデプスカメラと、デプスカメラから、初期状態で得られた深度情報により、初期深度図を構築し、前記初期深度図により、前記タッチ動作領域の位置を決定する深度図処理装置と、デプスカメラから、初期状態後に連続に得られた各画像から、決定したタッチ動作領域前の所定間隔内に位置する少なくとも1つの対象の候補ブロブを検知する対象検知装置と、前後に隣り合う画像同士から得られたブロブの重心点の、時間と空間における関係から、各ブロブをそれぞれに対応した点配列に入れる追跡装置と、を有する仮想タッチスクリーンシステムにおける双方向モードの自動切換システムであって、前記深度図処理装置は、前記初期深度図における連通成分を検知・マークし、前記検知・マークした連通成分に、前記初期深度図の2本の対角線の交点が含まれているか否かを判定し、前記検知・マークした連通成分に、前記初期深度図の2本の対角線の交点が含まれている場合は、前記初期深度図の対角線と、検知・マークした連通成分との交点を計算し、算出された交点を順次接続するとともに、接続して得られた凸多角形を前記タッチ動作領域とする工程により、前記タッチ動作領域の位置を決定し、前記対象検知装置は、前記少なくとも1つの対象の候補ブロブ中の特定画素点の深度値を検索し、前記深度値が第1の間隔閾値未満かを判断し、前記深度値が第1の間隔閾値未満であると、仮想タッチスクリーンシステムが第1の動作モード状態であると決定し、前記深度値が第1の間隔閾値を越えたか、かつ第2の間隔閾値未満かを判断し、前記深度値が第1の間隔閾値を越え、かつ第2の間隔閾値未満であると、前記仮想タッチスクリーンシステムが第2の動作モード状態であると決定し、前記深度値と、第1の間隔閾値及び第2の間隔閾値との関係から、前記仮想タッチスクリーンシステムの第1の動作モードと第2の動作モード間の自動切換が行われる、仮想タッチスクリーンシステムにおける双方向モードの自動切換システムが提供される。
【0019】
本発明の実施例における仮想タッチスクリーンシステム及び双方向モードの自動切換方法によると、ユーザの手と仮想タッチスクリーンの間隔に基づいて動作モードの自動切換を行うことで、ユーザの利便性を向上することができる。
【図面の簡単な説明】
【0020】
【図1】本発明の実施例における仮想タッチスクリーンシステムの構成図である。
【図2】本発明の実施例における、制御手段による対象検知と対象追跡処理の全体フローチャートである。
【図3A】現在深度図から背景深度図を消去した図である。
【図3B】現在深度図から背景深度図を消去した図である。
【図3C】現在深度図から背景深度図を消去した図である。
【図4A】入力された現シーンの深度図への2値化処理による候補対象のブロブ取得を示した図である。
【図4B】入力された現シーンの深度図への2値化処理による候補対象のブロブ取得を示した図である。
【図5A】本発明の実施例における仮想タッチスクリーンシステムの一種類の動作モードを示した図である。
【図5B】本発明の実施例における仮想タッチスクリーンシステムの他の種類の動作モードを示した図である。
【図6A】ブロブへの付番のための連通域を示す図である。
【図6B】深度図から生成される連通域番号が付されたブロブの2値画像を示す図である。
【図7A】ブロブの2値画像の強調工程を示す図である。
【図7B】ブロブの2値画像の強調工程を示す図である。
【図7C】ブロブの2値画像の強調工程を示す図である。
【図7D】ブロブの2値画像の強調工程を示す図である。
【図8】図7Dに示されたブロブの2値化画像におけるブロブ重心点の座標検知工程を示す図である。
【図9】ユーザの手指やポインターによる仮想タッチスクリーン上の運動軌跡を示す図である。
【図10】検知した対象への追跡フローチャートである。
【図11】本発明の実施例における、すべての既存軌跡の各既存軌跡に最も接近する新規ブロブを検索するフローチャートである。
【図12】入力された既存の軌跡に対し、それに最も接近する新規ブロブを検索するフローチャートである。
【図13】本発明の実施例により得られる検知対象の仮想タッチスクリーン上の移動軌跡の点配列への平滑処理方法を示す図である。
【図14A】本発明の実施例により得られる検知対象の仮想タッチスクリーン上の移動軌跡を示す図である。
【図14B】平滑処理後の対象移動軌跡を示す図である。
【図15】制御手段の詳細配置図である。
【発明を実施するための形態】
【0021】
以下、図面を参照しながら、本発明の具体的な実施例を詳細に説明する。
【0022】
図1は、本発明の実施例における仮想タッチスクリーンシステムの構成図である。図1に示されたように、本発明の実施例における仮想タッチスクリーンシステムは、投影装置1と、光学装置2と、制御手段3と、投影面4(以下、投影スクリーンや、仮想スクリーンと称することがある)を有している。本発明の具体的な実施例において、投影装置は、プロジェクタであり、表示すべき画像を投影面4に投射して仮想スクリーンとすることで、ユーザの仮想スクリーン上の操作が可能になる。光学装置2は、例えば、デプスカメラ(depth camera)のような、画像を取得可能な任意の装置であり、投影面4の環境の深度情報を取得し、該深度情報から深度図を生成している。制御手段3は、前記投影面4から離隔する方向に、前記投影面4から所定間隔内の少なくとも1対象を検知するとともに、検知した対象を追跡し、平滑な点配列を生成している。前記点配列は、例えば、仮想スクリーン上の描画、インタラクション指令の組み合わせ等のさらなるインタラクションジョブに用いられる。
【0023】
投影装置1は、画像を投影面4に投射して仮想スクリーンとすることで、ユーザの該仮想スクリーン上の操作、たとえば、描画やインタラクション指令の組み合わせ等が可能になる。光学装置2は、投影面4と、その前方に位置する対象(例えば、該投影面4をタッチするユーザの指やポインター)とが含まれる環境を取得している。該光学装置2は、投影面4の環境の深度情報を取得するとともに、該深度情報から深度図を生成している。所謂深度図とは、デプスカメラによりカメラレンズ前の環境を撮影し、撮影された環境における各画素点のデプスカメラまでの間隔を計算し、例えば、16ビットの数値を用いて、各画素点で表される被写体のデプスカメラまでの間隔を記録することにより、これらの各画素点に付された間隔を示す16ビット数値から形成された、各画素点のカメラまでの間隔を表した図である。その後、深度図は制御手段3に転送され、制御手段3により、前記投影面4から離隔する方向に沿って、前記投影面4から所定間隔内の少なくとも1つの対象が検知される。該対象が検知されると、該対象の投影面4上のタッチ操作が追跡され、タッチ点配列が形成される。次に、制御手段3により、形成されたタッチ点配列への平滑処理が行われることで、該仮想インタラクションスクリーン上の描画機能が実現可能になる。なお、このようなタッチ点配列が、組み合わせられることでインタラクション指令が生成され、これにより、仮想タッチスクリーンのインタラクション機能が実現可能になり、最終的に仮想タッチスクリーンを、生成されたインタラクション指令に応じて変えられる。本発明は、さらに、他の通常のカメラ及び他の通常の前景対象検知システムを用いて実施することができる。本発明の追跡方法への理解の便宜を図るために、以下、先ず、前景対象への検知工程を説明するが、該検知工程は、複数対象追跡の実現に必要な実施手段ではなく、単に複数対象の追跡の前提となる。換言すると、対象の検知は、対象追跡の内容に含まれるものではない。
【0024】
図15は、制御手段3の詳細配置図である。前記制御手段3は、通常、深度図処理手段31と、対象検知手段32と、画像強調手段33と、座標計算・変換手段34と、追跡手段35と、平滑手段36とを備えている。深度図処理手段31は、先ず、デプスカメラのからの取得された深度図を入力とするとともに、背景を該深度図から除去するように、該深度図を処理し、その後、該深度図上の連通域の付番を行っている。対象検知手段32は、前記深度図処理手段31からの前記深度図の深度情報から、所定の2つの深度閾値を用いて仮想タッチスクリーンシステムの動作モードを判定し、仮想タッチスクリーンシステムの動作モードが判定されると、該判定された動作モードに対応する深度閾値により、深度図への2値化処理を行い、候補対象となる複数のブロブを形成し、その後、各ブロブと連通域の関係及びブロブ面積の大きさから、対象となるブロブを決定する。座標計算・変換手段34は、対象と決定されたブロブの重心点(幾何学的な重心点)座標を計算するとともに、重心点座標を目標座標系である仮想インタラクションスクリーンの座標系に変換する。追跡手段35及び平滑手段36は、連続撮影された複数フレーム画像から検知された複数のブロブを追跡し、複数の重心点変換後の座標点配列を生成するとともに、生成された座標点配列に平滑処理を施す。
【0025】
図2は、本発明の制御手段3による処理のフローチャートである。図2に示されたように、ステップS21において、深度図処理手段31は、デプスカメラ2から得られた深度図を受信し、該深度図は下記方法で得られる。即ち、デプスカメラ2により現環境の画像を撮影するとともに、撮影時に各画素点のデプスカメラまでの間隔を測定し、16ビット(実際の需要に応じて、8ビットあるいは32ビット)値で記録した深度情報からなり、これらの各画素の16ビットの深度値で前記深度図が構成されている。以降の処理のために、現シーンの深度図の取得前に、投影スクリーン前に何ら非検知対象も存在しない背景深度図を予め取得する。次に、ステップS22において、深度図処理手段31は、該深度図から背景を除去し、前景対象の深度情報のみ保留するように、受信した深度図を処理するとともに、保留された深度図における連通域への番号付けを行う。
【0026】
図3A〜図3Cは、現深度図から背景深度図を消去した図である。図示された16ビット数値で表示した深度図は、説明の便宜を図るためのもので、本発明の実施工程で必ず表示しなければならないものではない。図3Aは、背景の深度図の実例を示した図であり、図示された深度図は、背景深度図のみで、即ち、投影面の深度図のみであり、何ら前景物(即ち、対象)の深度画像は含まれていない。背景の深度図の取得方法としては、本発明の実施例における仮想タッチスクリーンシステムで仮想タッチスクリーン機能を実施する方法の初期段階で、先ず、光学装置2から現シーンの深度図を取得するとともに、該深度図の瞬時図を保存することで、背景の深度図が得られる。該背景の深度図の取得時、現シーンにおいて、投影面4の前方(光学装置2と投影面4の間)には投影面4をタッチする動態対象が存在してはならない。背景の深度図の他の取得方法としては、瞬時的な写真を使用することなく、一連の連続した瞬時写真から、平均的な背景深度図を生成するようにする。
【0027】
図3Bは、現シーンの取得された深度図の一実例であり、1つの対象(例えば、ユーザの手やポインター)による投影面へのタッチが示されている。
【0028】
図3Cは、背景が除去された深度図の実例である。背景深度の除去方法としては、現シーンの深度図から、背景の深度図を引き去る方法や、現シーンの深度図をスキャンするとともに該深度図の各点と背景深度図における対応点の深度値比較を行う方法がある。これらの対をなす画素点の深度差の絶対値が近似し、かつ所定の閾値内であると、現シーンにおける深度差の絶対値に近似している対応点を現シーンの深度図から除去し、逆の場合は、該対応点を保留し、何ら変更も加えないようにする。次に、背景深度図除去後の現深度図における連通域への付番を行う。本発明における前記連通域とは、このような領域である。即ち、デプスカメラから2つの3D点が撮影されたとし、これらの点の投影がXY平面(撮影された写真)上で隣接し、かつ深度値差が所定の閾値D未満であると、これらは「D−連通」されているとされる。1グループの3D点における任意の2点間にD−連通路があると、該グループの3D点は、D−連通されているとされる。1グループのD−連通された3D点における各点Pについては、XY平面上の各点Pにこのような連通条件を中断しないように前記グループに添加された隣接点が存在しないと、該グループのD−連通された3D点は、最大D−連通となる。本発明における前記連通域は、深度図における1グループのD−連通点であり、かつ最大のD−連通である。前記深度図の連通域は、前記デプスカメラにより取得される連続集団(mass)領域に対応しており、連通域は、前記深度図におけるD−連通点集合であり、かつ最大のD−連通である。このため、連通域への付番は、実際に、前記D−連通された3D点への同一番号の付加であり、換言すると、同一連通域に属する画素点には同一番号が付されることになる。これにより、連通域の番号マトリクスが生成される。前記深度図の連通域は、前記デプスカメラから取得される連続した集団(mass)に対応している。
【0029】
前記連通域の番号マトリクスは、前記深度図におけるどの点が連通域となるかをマーク可能なデータ構造である。前記番号マトリクスにおける各要素は、深度図における1点に対応し、該要素の値が、該点の属する連通域の番号(1連通域に1番号)となる。
【0030】
次に、ステップS23において、2つの深度条件から、現シーンの背景除去後の深度図における各点への2値化処理を行うことで、候補対象となるブロブが生成され、同一連通域に属するブロブの画素点に連通域番号が付加される。以下、2値化処理について詳細に説明する。
【0031】
図4A、図4Bは、入力された現シーンの深度図への2値化処理による、候補対象のブロブの取得を示す図である。ここで、入力された現シーンの深度図が、図3Cに示されたような背景除去後の深度図となる。即ち、該深度図には、背景の深度が含まれておらず、検知された対象の深度のみが含まれている。図4A、図4Bに示されたように、本発明の実施例は、図3Cに示されたような現シーンの深度図における各画素点と背景深度図の対象画素間の相対的深度情報から、2値化処理を行っている。本発明の実施例において、前記現シーンの深度図から、各画素点の深度値である、デプスカメラと検索された画素点で表される対象点間の間隔を検索する。図4A、図4Bに示されたように、全画素点を遍歴する形式で、入力された現シーンの深度図から、各画素点の深度dを検索し、その後、背景深度図から、現シーンの深度図における検索された画素点に対応する画素点の深度値である背景深度bを検索した後、対応目標画素点の深度dと背景画素点の深度bとの差(subtraction value)sを計算し、即ち、s=b−dを計算する。本発明の実施例においては、現シーンの深度図における最大深度値の画素点により、本発明の実施例の仮想タッチスクリーンシステムの動作モードを判断することができる。即ち、現シーンの深度図における最大深度値の画素点の深度dと、対応する背景画素点の深度bとの差sを計算する。図4Aに示されたように、得られた差が0よりも大きく、かつ所定の第1の間隔閾値t1未満であり、即ち、0<s<t1であると、本発明の実施例の仮想タッチスクリーンシステムはタッチモードで動作していると判断する。該タッチモードは、図5Aに示しているように、ユーザの仮想タッチスクリーン上へのタッチ動作が可能なモードであることを表している。ここで、第1の間隔閾値t1は、該間隔内において、仮想タッチスクリーンシステムがタッチモードで動作可能なことから、タッチ間隔閾値とも称されている。なお、図4Bに示されたように、得られた対応目標画素点の深度dと背景画素点の深度bとの差sが所定の第1の間隔閾値t1よりも大きく、かつ所定の第2の間隔閾値t2未満であると、即ち、t1<s<t2であると、本発明の実施例の仮想タッチスクリーンシステムはジェスチャーモードで動作していると判断する。該ジェスチャーモードは、図5Bに示しているように、ユーザの手が仮想タッチスクリーンに触れることなく、仮想タッチスクリーンとの一定間隔範囲内でジェスチャー動作が可能なモードであることを表している。ここで、第2の間隔閾値t2は、ジェスチャー間隔閾値とも称されている。本発明の実施例の仮想タッチスクリーンシステムにおいては、タッチモードとジェスチャーモードの2種類の動作モード間の自動切換が可能になることから、ユーザの手と仮想スクリーン間の間隔に基づき、所定の動作モードを起動するとともに、前記間隔閾値による制御が可能になる。ここで、第1と第2の間隔閾値t1とt2の大きさにより、対象への検知精度を制御することができ、デプスカメラのハードウェア規格にも関係している。例えば、第1の間隔閾値t1の値は、通常、1指の厚みの大きさや、通常のポインターの直径の大きさとなり、例えば、0.2〜1.5cmであり、0.3cm、0.4cm、0.7cm、1.0cmが好ましい。第2の間隔閾値t2は、人が仮想タッチスクリーン前でジェスチャー動作を行う際の、手と仮想タッチスクリーン間の通常の間隔となる20cmに設定することができる。ここで、図5A、図5Bは、本発明の実施例の仮想タッチスクリーンシステムの2種類の動作モードを示した図である。
【0032】
前述の図4A、図4Bに示された図においては、マークすべき目標画素点と対応背景画素点間の深度値の差による、仮想タッチスクリーンシステムの現動作モードの判断以外にも、マークすべき目標画素点自身も一定の条件を満たす必要があり、このような条件は、該画素に対応する深度情報及び該画素の位置する連通域に関係している。例えば、マークすべき画素がある連通域に属する必要があり、理由としては、マークすべき画素が図3Cに示された背景除去後の深度図における画素であることから、画素がある候補対象のブロブの画素である場合、該画素は必ず連通域におけるある連通域に属する必要がある。同時に、目標画素の深度値dは、最小間隔mを越える(即ち、d>mである)必要があり、理由としては、ユーザが仮想タッチスクリーン前で操作を行う際に、タッチモードでもジェスチャーモードでも、仮想タッチスクリーンに接近する必要があり、かつデプスカメラから一定間隔離れる必要があるからである。ここで、目標画素値の深度値dが最小間隔mを越えるように設定することで、偶然デプスカメラの撮影範囲内に入り込んだ他の被写体のノイズを排除することができ、これにより、システムの動作効率を向上することができる。
【0033】
ここで、前述の実施例においては、現シーンの深度図における最大深度図の画素点の深度dにより、仮想タッチスクリーンシステムの動作モードを判断しており、理由としては、通常、ユーザの仮想タッチスクリーンシステムへの操作時、ユーザの指先と仮想タッチスクリーンの間隔が最も近くなるからである。このため、前述の実施例においては、実際に、ユーザの指先を表せる画素点の深度により、ユーザ指先の位置により、仮想タッチスクリーンシステムのあるべき動作モードを判断しているが、本発明の実施例はこれに限られるものではない。例えば、現シーンの深度図の深度値を降順に並び替え、前に位置する複数の深度値の平均値(即ち、深度値の深い複数の画素点の深度値の平均値)を利用してもよい。或いは、現シーンの深度図における各画素点の深度値の分布に応じて、分布の密集している複数の画素点の深度値の平均値で決定してもよい。このように、他の複雑な状況において、例えば、ユーザが1つの指によるポインティング以外の他のジェスチャーによる動作で、ある指先の正確な位置判断ができない場合は、できる限り、検知した主な候補対象が前述の間隔閾値条件を満たすようにすると、仮想タッチスクリーンシステムの実際の現動作モードへの判断の正確性を向上することができる。用いられる特定画素点の深度値により、タッチモードとジェスチャーモードに対する、現シーンの深度図における画素深度間の差の識別が可能であればよいことは言うまでもない。
【0034】
仮想タッチスクリーンシステムの現動作モードの判断後は、タッチモードとジェスチャーモードのいずれかの動作モードにおいて、対応目標画素点の深度dと背景画素点の深度bとの差sが所定の間隔閾値条件を満たしているか否か、及び前述のような対応目標画素点がある連通域に属するか、その深度値が最小間隔を超えたか否かに応じて、現シーンにおける検索した画素への2値化処理を行うことができる。例えば、タッチモードにおいて、対応目標画素点の深度dと背景画素点の深度bとの差sが第1の間隔閾値t1未満であり、かつ対応目標画素点がある連通域に属し、該深度dが最小間隔mを超えた場合は、現シーンの深度図における検索された画素の階調値を255に設定し、それ以外の場合は、0に設定する。一方、ジェスチャーモードにおいては、対応目標画素点の深度dと背景画素点の深度bとの差sが第1の間隔閾値t1よりも大きく、かつ第2の間隔閾値t2未満であり、対応目標画素点がある連通域に属し、該深度dが最小間隔mを超えた場合は、現シーンの深度図における検索された画素の階調値を255に設定し、それ以外の場合は、0に設定する。もちろん、このような2値化において、直接2つの場合にそれぞれ0や、1を標記してもよく、2つの場合を区別可能な2値化方式であれば、いずれの方式を用いてもよい。
【0035】
前述の2値化方式により、図6Bに示された複数の候補対象を有するブロブが得られる。図6Aは、ブロブへの付番のための連通域を示す図である。ブロブの2値画像の取得後、連通域番号を有する画素点を走査検索し、該連通域番号を2値化ブロブ画像における対応の画素点に付加することで、図6Bに示されたように、一部のブロブは連通域番号が付されるようになる。前記2値画像におけるブロブ(白領域や点)は、投影面上をタッチする可能性のある目標対象の候補者である。前述したように、図6Bにおける連通域番号付きの2値化ブロブは、以下の2つの条件を有する。一つ目の条件は、ブロブが連通域に属すること、2つ目の条件は、ブロブの各画素点に対応する深度dと背景深度bとの差sが必ず間隔閾値条件を満たすこと、即ち、タッチモードでs=b−d<t1であり、ジェスチャーモードでt1<s=b−d<t2であることである。
【0036】
次に、ステップS24において、得られた深度図の2値化ブロブ画像への強調処理を行い、2値化ブロブ画像における不要なノイズを低減するとともに、ブロブの形状がより明確かつ安定になるようにする。該ステップは、画像強調手段33で行われる。具体的に、以下のステップで強調処理が行われる。
【0037】
先ず、連通域に属さないブロブを除去し、即ち、ステップS23において、連通域番号が付されていないブロブは、直接その白黒階調値を最高値から0に変更し、例えば、その画素点の白黒階調値を、255から0に変更する。他の方法においては、1を0に変更する。これにより、図7Aに示されたブロブの2値化画像が得られる。
【0038】
次に、面積Sが面積閾値Ts未満の連通域に属するブロブを除去する。本発明の実施例において、ブロブがある連通域に属するとは、該ブロブの少なくとも1点が連通域に存在することを意味している。該ブロブの属する連通域の面積Sが面積閾値Ts未満であると、該ブロブはノイズと見なされ、ブロブの2値画像から除去される。それ以外の場合は、該ブロブを目標対象の候補者と見なしている。面積閾値Tsは、仮想タッチスクリーンシステムに用いられる環境に応じて調整することができ、通常は、200個の画素点に設定される。これにより、図7Bに示されたブロブの2値化画像が得られる。
【0039】
次に、得られた図7Bに示されたブロブの2値化画像におけるブロブへの形態学(morphology)操作を行う。本実施例においては、拡張(dilation)操作と閉(close)操作を用いている。先ず、1回の拡張操作を行ってから、反復的に閉操作を行う。閉操作の反復回数は、1つの所定値であり、該所定値は、仮想タッチスクリーンシステムに用いられる環境に応じて調整することができる。該反復回数は、例えば、6回に設定することができる。最終的に、図7Cに示されたブロブの2値化画像が得られる。
【0040】
最後に、同一連通域に属する複数のブロブが存在すると、即ち、これらのブロブが同一の連通域番号を有していると、同一連通域番号を有するブロブにおける、最大面積の1ブロブを保留し、他のブロブは除去する。本発明の実施例においては、1つの連通域に、複数のブロブが含まれてもよい。これらのブロブにおいて、最大面積を有するブロブのみが目標対象と見なされ、他のブロブは除去すべきノイズとなる。最終的に、図7Dに示されたブロブの2値化画像が得られる。
【0041】
ステップS25において、得られたブロブの輪郭を検知し、ブロブの重心点の座標を計算するとともに、重心点座標を目標座標に変換する。該検知、計算、及び変換操作は、座標計算・変換手段34で行われる。図8は、図7Dに示されたブロブの2値化画像におけるブロブの重心点座標の検知工程を示す図である。図8において、ブロブの幾何学的情報から、ブロブの重心点の座標を計算する。該計算工程においては、ブロブの輪郭を検知し、該輪郭のHuモーメントを計算し、前記Huモーメントを用いて重心点の座標を計算している。また、本発明の実施例においては、各種の公知方法でブロブの輪郭を検知することができる。また、公知の算法を用いてHuモーメントを計算してもよい。前記輪郭のHuモーメントの取得後は、下記式から、重心点の座標を計算する。
(x0,y0)=(m10/m00,m01/m00)
ここで、(x0,y0)は、重心点の座標であり、m10、m01、m00は、Huモーメントである。
【0042】
座標変換とは、重心点の座標をブロブの2値画像の座標系からユーザインターフェースの座標系に変換することである。座標系の変換は、公知の方法を用いることができる。
【0043】
タッチポイントの連続移動軌跡を取得するために、本発明の実施例の仮想タッチスクリーンシステムにより撮影された連続フレームの深度図におけるタッチポイントへの連続検知により、検知した複数のブロブの追跡を行い、複数点の配列を生成することができ、これにより、タッチポイントの運動軌跡を得ることができる。
【0044】
具体的に、ステップS26において、連続撮影した各フレームの深度図に対し、ステップS21〜S25の実施後に得られた各フレーム画像のブロブのユーザインターフェースにおける重心点座標への追跡を行い、重心点配列(即ち、軌跡)を生成するとともに、得られた重心点配列への平滑処理を行う。該追跡及び平滑操作は、追跡手段35及び平滑手段36で行われる。
【0045】
図9は、ユーザの手指やポインターによる仮想タッチスクリーン上の運動軌跡を示す図であり、2つの対象(手指)の運動軌跡が示されている。これは1例に過ぎず、例えば、3つ、4つ、5つの対象のように複数の対象としてもよく、実際の需要に応じて決めることができる。
【0046】
図10は、検知した対象への追跡フローチャートである。図10に示された追跡フローを繰り返し行い、最終的にスクリーン前の任意の対象の運動軌跡が得られる。具体的に、追跡動作を行うとは、新たに検知した深度図におけるブロブのユーザインターフェースにおける重心点の座標を前に得られた任意の軌跡に繰り入れることである。
【0047】
複数の検知されたブロブのユーザインターフェースにおける重心点座標から、複数の新規検知したブロブの追跡を行うことにより、複数の軌跡を生成するとともに、これらの軌跡に関するタッチイベントを開始している。ブロブへの追跡を行うためには、ブロブを分類するとともに、ブロブの重心点座標を、すべての点の時間と空間上の関連の点配列に置く必要がある。同一配列における点のみ、1つの軌跡に統合することができる。図9に示されたように、仮想タッチスクリーンシステムが描画機能をサポートしていると、図9に示された配列における点は、投影スクリーン上の描画命令を表すことになり、同一配列における点をつなげて図9に示された曲線に形成することができる。
【0048】
本発明の実施例においては、タッチ開始と、タッチ移動と、タッチ終了の3つのタッチイベントを追跡することができる。タッチ開始は、検知すべき対象が投影スクリーンをタッチし、軌跡が開始することをいう。タッチ移動は、検知すべき対象が現在投影スクリーンをタッチし、軌跡が投影面で延伸中であることをいう。また、タッチ終了は、検知すべき対象が投影スクリーンの面から離れ、移動軌跡が終了していることをいう。
【0049】
図10に示されたように、ステップS91において、1フレームの深度図から、ステップS21〜S25で検知された対象の新規ブロブのユーザインターフェースにおける重心点座標を受信し、該重心点座標は、座標計算・変換手段34から出力されたものである。
【0050】
次に、ステップS92において、その前に各フレームの深度図のブロブへの追跡処理後に得られた全点配列(即ち、すべての既存の軌跡であり、以下、既存軌跡と称される)における各点配列について、該既存軌跡に最も近接する新規ブロブを計算する。タッチスクリーン(即ち、投影スクリーン)をタッチする全ての対象の軌跡は、すべて仮想タッチスクリーンシステムに保留される。各軌跡は、1つの被追跡ブロブを保持し、該被追跡ブロブは、該軌跡の最後のブロブに付与される。本発明の実施例の前述の新規ブロブと既存軌跡の間隔は、1新規ブロブと1本の既存軌跡中の最後のブロブ間の間隔を指している。
【0051】
次に、ステップS93において、新規ブロブをそれに最も近接する既存の軌跡に入れるとともに、タッチ移動イベントを開始する。
【0052】
次に、ステップS94において、1本の既存軌跡に対し、それに近接する新規ブロブが存在しない場合、換言すると、全新規ブロブが他の既存軌跡にそれぞれ繰り入れられた場合は、該既存の軌跡を削除するとともに、該既存軌跡に関するタッチ終了イベントを起動する。
【0053】
最後に、ステップS95において、各新規ブロブに対し、近接する既存軌跡が存在しない場合、換言すると、その前に得られた全既存軌跡が、タッチ終了イベントの起動により削除されたか、新規ブロブと全既存軌跡との間隔がすべて所定の間隔閾値範囲内に存在しない場合は、該新規ブロブを新規軌跡の起点とするとともに、タッチ開始イベントを起動する。
【0054】
前記ステップS91〜S95を繰り返し行い、連続フレームの深度図におけるブロブの重心点の、ユーザインターフェースにおける座標の追跡を実現することにより、同一の点配列に属するすべての点を1本の軌跡に構成することができる。
複数の既存軌跡が存在する場合は、各既存軌跡に対し、ステップS92を繰り返し行う。図11は、本発明の追跡手段35により行われる、ステップS92の詳細フローチャートである。
【0055】
先ず、ステップS101において、すべての既存軌跡への追跡が完了したかを確認する。これは簡単な計数器で実現することができる。すべての既存軌跡に対し、ステップS92が行われた場合は、ステップS92を終了し、行われていない場合は、ステップS102に進む。
【0056】
ステップS102において、次の既存軌跡を入力する。次に、ステップS103において、入力された既存軌跡に近接する新規ブロブを検索し、ステップS104に進む。
【0057】
ステップS104において、入力された既存軌跡に近接する新規ブロブが検出されたかを判定する。入力された既存軌跡に近接する新規ブロブが検索された場合は、ステップS105に進み、検出されていない場合は、ステップS108に進む。
【0058】
ステップS108において、入力された既存軌跡に近接する新規ブロブが存在しないため、該入力された既存軌跡は、「削除すべき既存軌跡」とマークされる。その後、ステップS101に戻る。これにより、ステップS94において、該「削除すべき既存軌跡」に対し、タッチ終了イベントを起動する。
【0059】
ステップS105において、入力された既存軌跡に近接する新規ブロブが、他の既存軌跡にも近接する新規ブロブであるかを判定する。換言すると、該新規ブロブが同時に2つ以上の既存軌跡に近接する新規ブロブであるかを判定する。該新規ブロブが2つ以上の既存軌跡に近接する新規ブロブであると判断されると、ステップS106へ処理が進み、それ以外の場合は、ステップS109へ処理が進む。
【0060】
ステップ109において、該新規ブロブが、入力された既存の軌跡のみに近接する新規ブロブであるため、該新規ブロブを入力された既存の軌跡に繰り入れ、最も近接する新規ブロブとし、即ち、該既存軌跡の点配列中の一つの点とする。その後、ステップS102に処理が戻る。
【0061】
ステップS106において、該新規ブロブが、同時に2つ以上の既存の軌跡に近接する新規ブロブであるため、該新規ブロブの、所属する複数の既存軌跡の各軌跡との間隔を計算する。その後、ステップS107において、ステップS106で算出された間隔の大きさを比較するとともに、該新規ブロブと入力された既存軌跡との間隔が、算出された間隔で最小となる間隔かを判定する。即ち、該新規ブロブと入力された既存軌跡との間隔が、他の既存の軌跡との間隔未満であるかを判定する。該新規ブロブと入力された既存軌跡との間隔が、ステップS106で算出された間隔における最小の間隔であると判定されると、ステップS109へ処理が進み、最小の間隔でないと、ステップS108へ処理が進む。
【0062】
前記ステップS101〜S109を繰り返し行うことで、ステップS92による処理を実現することができ、すべての既存軌跡と入力された新たに検索されたブロブへの遍歴が可能になる。
【0063】
図12は、入力された既存の軌跡に近接する新規ブロブを検索するフローチャートである。図12に示されたように、ステップS111において、入力されたすべての新規ブロブに対し、入力された既存の軌跡との近接間隔が算出されたかを確認する。すべての新規ブロブに対し、入力された既存の軌跡との近接間隔が計算されると、ステップS118に処理が進み、それ以外の場合は、ステップS112に処理が進む。
【0064】
ステップS118において、入力された既存の軌跡に近接する新規ブロブのリストが空であるかを判定する。空であれば、処理を終了し、空でなければ、ステップS119に進む。ステップS119において、すべての近接した新規ブロブのリストから、該入力された既存軌跡に最も近接する新規ブロブを検索するとともに、該最近接新規ブロブを入力された既存の軌跡の点配列に繰り入れる。その後、ステップS103を終了する。
【0065】
ステップS112において、次の新規ブロブを入力する。次に、ステップS113において、次の新規ブロブと入力された既存軌跡間の間隔を計算する。次に、ステップS114において、算出された次の新規ブロブと入力された既存軌跡間の間隔が所定の閾値未満であるかを判定する。算出された次の新規ブロブと入力された既存軌跡間の間隔が所定の間隔閾値Td未満であると、ステップS115に処理が進み、それ以外の場合は、ステップS111に戻る。ここで、間隔閾値Tdは、通常、10〜20の画素点の間隔に設定され、15の画素点の間隔が好ましい。該閾値Tdは、仮想タッチスクリーンシステムに用いられる環境に応じて調整される。本発明の実施例においては、1新規ブロブと1既存軌跡間の間隔が、前記間隔閾値Td未満であると、該新規ブロブは該既存軌跡に近接しているとされている。
【0066】
ステップS115において、前述の次の新規ブロブを、入力された既存軌跡に属する候補新規ブロブリストに追加する。次に、ステップS116において、入力された既存の軌跡に属する候補の新規ブロブリストの大きさが、所定の大きさ閾値Tsize未満であるかを判定する。入力された既存の軌跡に属する候補の新規ブロブリストの大きさが、所定の大きさ閾値Tsize未満であると、ステップS111に処理が戻り、それ以外の場合は、ステップS117に処理が進む。
【0067】
ステップS117において、入力された既存の軌跡に属する候補の新規ブロブリストにおける、入力された既存の軌跡との間隔が最長となる候補新規ブロブを、前記リストから削除し、ステップS111に戻る。図12におけるステップを繰り返し行うことで、ステップS103が完成する。
【0068】
以上、図10〜12を参照して、連続画像フレームにおけるブロブの、ユーザインターフェースにおける座標の追跡フローを説明した。前記追跡操作により、検知した対象のタッチ開始イベント、タッチ移動イベントや、タッチ終了イベントを起動することができる。これにより、最終的に、検知した対象の仮想タッチスクリーン上の移動軌跡が得られる。図14Aは、本発明により得られる検知対象の仮想タッチスクリーン上の移動軌跡を示す図である。
【0069】
このように初期的に得られる図14Aに示された検知対象の仮想タッチスクリーン上の移動軌跡は、明らかに雑然としており、平滑な対象移動軌跡を得るためには、さらに該軌跡への平滑処理が必要となる。図14Bは、平滑処理後の対象移動軌跡を示した図である。図13は、本発明により得られる検知対象の仮想タッチスクリーン上の移動軌跡の点配列への平滑処理方法を示す図である。
【0070】
点配列への平滑処理とは、点配列を平滑にするために、該配列中の点の座標の最適化を行うことである。図13に示されたように、1つの軌跡をなす原点配列P0n(nは正の整数)が反復の第1回入力(即ち、ブロブ追跡の出力)として入力される。図13において、原点配列P0nは第1列に配置される。次に、下記式を用いて、前回反復の結果から、次回反復の配列が算出される。
【数1】
【0071】
式中、Pknは、点配列中の点であり、kは、反復記号であり、nは、点配列記号であり、mは、反復点の基数である。
【0072】
該反復計算を所定の反復閾値に達するまで繰り返し行う。本発明の実施例において、パラメータmは、3〜7とすることができ、本発明の実施例では、3に設定されている。これは、各次の階級点は、前の階級の3つの点の反復により得られることを意味している。該反復閾値は、3である。
【0073】
前記反復計算により、最終的に、図14Bに示された平滑処理後の対象移動軌跡が得られる。
【0074】
なお、本明細書においては、プログラムにより、コンピュータで実行される処理は、フローチャートの説明順のように、時間順で行う必要はない。即ち、プログラムによりコンピュータで実行される処理は、並行に行われてもよく、単独に行われてもよい(例えば、並行処理、ターゲット処理でもよい)。
【0075】
同様に、プログラムは、1台のコンピュータ(プロセッサ)で行われてもよく、複数のコンピュータで分散して行われてもよい。なお、プログラムは、プログラムが実行される遠隔コンピュータに移動されてもよい。
【0076】
当業者が、設計要求と他の要素に応じて、添付した特許請求範囲や同等物の範囲内の各種修正や、組み合わせや、サブ組み合わせや、代替が可能なことは言うまでもない。
【技術分野】
【0001】
本発明は、マンマシンインタラクション分野およびデジタル画像処理分野に関し、特に、仮想タッチスクリーンシステム及び双方向モード自動切換方法に関する。
【背景技術】
【0002】
現在、タッチスクリーン技術は、HMI装置となる携帯装置(例えば、スマートフォン)及びPC(例えば、タブレットPC)に幅広く利用されている。タッチスクリーンを用いることで、ユーザの該装置への操作がより快適かつ容易になるとともに、優れた体験をユーザにもたらすことが可能になる。タッチスクリーン技術は、携帯装置においては非常に成功しているものの、大型ディスプレイのタッチスクリーンにおいては、依然として課題と改善のチャンスが残されている。
【0003】
Canesta, Incの、発明の名称が「System and Method for Determining an Input Selected By a User through a Virtual Interface」である米国特許US7151530B2には、1グループのキー値から、現在のキー値と指定されたキー値を選択する方法が提案されており、これにより、仮想インタフェース中の領域と交差する対象の提供が可能となる。該仮想インタフェースは、キー値グループからの単一キー値の選択が可能になるとともに、デプス(depth)センサーによる位置決めが可能になる。なお、該デプスセンサーは、デプスセンサーの位置に関連する位置の深度を決定することができる。なお、対象の変位特性や対象の形状特性の少なくともいずれかを決定することができる。位置情報は、対象の位置センサーや他の基準点に対する深さで近似することができる。カメラの画素配列に十分な数の画素指示対象が存在していると、該対象は検知されたと考えられている。また、仮想入力領域の表面と交差する対象の形状を決定するとともに、複数の既知の形状(たとえば、指やポインティング手段)との比較を行っている。
【0004】
同様に、Canesta, Incの、発明の名称が「Quasi-Three-Dimensional Method And Apparatus To Detect And Localize Interaction Of User-Object And Virtual Transfer Device」である米国特許US6710770B2には、仮想装置による付属装置への情報入力または転送システムが開示され、該システムは、OS1とOS2の二つの光学システムが設けられている。一実施例において、OS1は、仮想装置上に、かつ該仮想装置と平行に、扇ビーム面の光エネルギーを出射し、OS2は、ユーザ対象が関心ビーム面を通ると、該イベントを記録している。三角測量方法は、仮想タッチの位置決めが可能になるとともに、ユーザの所定情報を付属システムへ転送することが可能になる。他の実施例において、OS1は、好ましくはデジタルカメラであり、該デジタルカメラの視野によって、光エネルギー源により照射される関心面が定義される。
【0005】
Apple社の、発明の名称が「identifying contacts on a touch surface」である米国特許US7619618B2には、手の接近、接触接近によるマルチタッチ面の感知や、スライド時の複数の指と掌のコンタクトポイントの同時追跡装置及び方法が開示されている。直観的な手の構造、動作の検知及び分類により、マルチ用途の人間工学コンピュータ出力装置における入力、静止、ポインティング、スクロール、3D操作のような操作が可能になる。
【0006】
Matsushita Electric社の、発明の名称が「Multi-touch surface providing detection and tracking of multiple touch points」である、米国特許出願第US20100073318A1号明細書には、直交線形許容センサーの2つの独立した配列によるマルチタッチポイントの検知及び追跡が可能なマルチタッチ感知面用のシステム及び方法が開示されている。
【0007】
前述の従来技術においては、大多数の大型タッチスクリーンが、電磁ボード(例えば、電子ホワイトボード)や、IR board(例えば、双方向の大型ディスプレイ)等に依存しており、当面の大型タッチスクリーンの解決手段には、依然として多くの問題点がある。例えば、全体的に、このような種別の装置は、通常、ハードウェアに起因するボリューム増と重さから、携帯が困難で、利便性に欠けている。さらに、このような種別の装置のスクリーンは、ハードウェアの制限からサイズが固定され、環境の需要に応じた自由な調整ができず、さらに、特殊な電磁ペンやIRペンによる操作が必要となる。
【0008】
また、仮想ホワイトボードプロジェクタにおいては、ユーザによるレーザペンのオン/オフのスイッチ制御が必要となり、非常に煩わしい作業であるため、レーザペンの制御が困難であるという問題点がある。なお、このような仮想ホワイトボードプロジェクタにおいては、レーザペンがオフになると、レーザペンの次の位置への正確な位置決めが困難であるため、レーザペンの位置決めが容易ではないという問題点がある。仮想ホワイトボードプロジェクタに、手指マウスをレーザペンの代わりに用いるものもあるが、手指マウスを用いる仮想ホワイトボードプロジェクタでは、タッチオン(touch on)や、タッチアップ(touch up)の検知ができない。
【発明の概要】
【発明が解決しようとする課題】
【0009】
本発明の目的は、前述の従来技術における問題を解決するためになされたものであり、仮想タッチスクリーンシステム及び双方向モードの自動切換方法を提供することにある。
【課題を解決するための手段】
【0010】
本発明の一局面においては、画像を投影面に投射し、前記投影面の環境の画像を連続取得し、得られた各画像から、前記投影面前の所定間隔内に位置する少なくとも1つの対象の候補ブロブを検知し、前後に隣り合う画像同士から得られたブロブの重心点の、時間と空間における関係から、各ブロブをそれぞれに対応した点配列に入れる、仮想タッチスクリーンシステムにおける双方向モードの自動切換方法であって、前記投影面前の所定間隔内に位置する少なくとも1つの対象の候補ブロブを検知するステップにおいて、さらに、前記少なくとも1つの対象の候補ブロブ中の特定画素点の深度値を検索し、前記深度値が第1の間隔閾値未満かを判断し、前記深度値が第1の間隔閾値未満であると、前記仮想タッチスクリーンシステムが第1の動作モード状態であると決定し、前記深度値が第1の間隔閾値を越えたか、かつ第2の間隔閾値未満かを判断し、前記深度値が第1の間隔閾値を越え、かつ第2の間隔閾値未満であると、前記仮想タッチスクリーンシステムが第2の動作モード状態であると決定し、前記深度値と、第1の間隔閾値及び第2の間隔閾値との関係から、前記仮想タッチスクリーンシステムの第1の動作モードと第2の動作モード間の自動切換が行われる、仮想タッチスクリーンシステムにおける双方向モードの自動切換方法が提供される。
【0011】
前記仮想タッチスクリーンシステムにおける双方向モードの自動切換方法においては、前記第1の動作モードが、タッチモードであり、前記タッチモードにおいて、ユーザの仮想タッチスクリーン上のタッチ動作が行われ、前記第2の動作モードが、ジェスチャーモードであり、前記ジェスチャーモードにおいて、仮想タッチスクリーンにユーザの手が触れることなく、仮想タッチスクリーンから一定間隔範囲内のジェスチャー動作が行われる。
【0012】
前記仮想タッチスクリーンシステムにおける双方向モードの自動切換方法においては、前記第1の間隔閾値が、1cmである。
【0013】
前記仮想タッチスクリーンシステムにおける双方向モードの自動切換方法においては、前記第2の間隔閾値が、20cmである。
【0014】
前記仮想タッチスクリーンシステムにおける双方向モードの自動切換方法においては、前記少なくとも1つの対象の候補ブロブ中の特定画素点が、前記少なくとも1つの対象の候補ブロブにおける深度値が最も深い画素点である。
【0015】
前記仮想タッチスクリーンシステムにおける双方向モードの自動切換方法においては、前記少なくとも1つの対象の候補ブロブ中の特定画素点の深度値が、前記少なくとも1つの対象の候補ブロブにおける、深度値が他の画素点の深度値よりも大きい画像点の深度値であり、又は、深度値の分布が他の画素点の深度値の分布よりも密集している1グループの画素点の深度値の平均値である。
【0016】
前記仮想タッチスクリーンシステムにおける双方向モードの自動切換方法においては、1画素の深度値が最小間隔閾値を超えたかを判断し、前記深度値が該最小間隔閾値を越えた場合は、前記画素が前記投影面前の所定間隔内に位置する少なくとも1つの対象の候補ブロブの画素であると決定する。
【0017】
前記仮想タッチスクリーンシステムにおける双方向モードの自動切換方法においては、1画素の深度値がある連通域に属しているか否かを判断し、前記深度値がある連通域に属している場合は、前記画素が前記投影面前の所定間隔内に位置する少なくとも1つの対象の候補ブロブの画素であると決定する。
【0018】
本発明の他の局面においては、画像を投影面に投射するプロジェクタと、前記投影面の環境の画像を連続取得するデプスカメラと、デプスカメラから、初期状態で得られた深度情報により、初期深度図を構築し、前記初期深度図により、前記タッチ動作領域の位置を決定する深度図処理装置と、デプスカメラから、初期状態後に連続に得られた各画像から、決定したタッチ動作領域前の所定間隔内に位置する少なくとも1つの対象の候補ブロブを検知する対象検知装置と、前後に隣り合う画像同士から得られたブロブの重心点の、時間と空間における関係から、各ブロブをそれぞれに対応した点配列に入れる追跡装置と、を有する仮想タッチスクリーンシステムにおける双方向モードの自動切換システムであって、前記深度図処理装置は、前記初期深度図における連通成分を検知・マークし、前記検知・マークした連通成分に、前記初期深度図の2本の対角線の交点が含まれているか否かを判定し、前記検知・マークした連通成分に、前記初期深度図の2本の対角線の交点が含まれている場合は、前記初期深度図の対角線と、検知・マークした連通成分との交点を計算し、算出された交点を順次接続するとともに、接続して得られた凸多角形を前記タッチ動作領域とする工程により、前記タッチ動作領域の位置を決定し、前記対象検知装置は、前記少なくとも1つの対象の候補ブロブ中の特定画素点の深度値を検索し、前記深度値が第1の間隔閾値未満かを判断し、前記深度値が第1の間隔閾値未満であると、仮想タッチスクリーンシステムが第1の動作モード状態であると決定し、前記深度値が第1の間隔閾値を越えたか、かつ第2の間隔閾値未満かを判断し、前記深度値が第1の間隔閾値を越え、かつ第2の間隔閾値未満であると、前記仮想タッチスクリーンシステムが第2の動作モード状態であると決定し、前記深度値と、第1の間隔閾値及び第2の間隔閾値との関係から、前記仮想タッチスクリーンシステムの第1の動作モードと第2の動作モード間の自動切換が行われる、仮想タッチスクリーンシステムにおける双方向モードの自動切換システムが提供される。
【0019】
本発明の実施例における仮想タッチスクリーンシステム及び双方向モードの自動切換方法によると、ユーザの手と仮想タッチスクリーンの間隔に基づいて動作モードの自動切換を行うことで、ユーザの利便性を向上することができる。
【図面の簡単な説明】
【0020】
【図1】本発明の実施例における仮想タッチスクリーンシステムの構成図である。
【図2】本発明の実施例における、制御手段による対象検知と対象追跡処理の全体フローチャートである。
【図3A】現在深度図から背景深度図を消去した図である。
【図3B】現在深度図から背景深度図を消去した図である。
【図3C】現在深度図から背景深度図を消去した図である。
【図4A】入力された現シーンの深度図への2値化処理による候補対象のブロブ取得を示した図である。
【図4B】入力された現シーンの深度図への2値化処理による候補対象のブロブ取得を示した図である。
【図5A】本発明の実施例における仮想タッチスクリーンシステムの一種類の動作モードを示した図である。
【図5B】本発明の実施例における仮想タッチスクリーンシステムの他の種類の動作モードを示した図である。
【図6A】ブロブへの付番のための連通域を示す図である。
【図6B】深度図から生成される連通域番号が付されたブロブの2値画像を示す図である。
【図7A】ブロブの2値画像の強調工程を示す図である。
【図7B】ブロブの2値画像の強調工程を示す図である。
【図7C】ブロブの2値画像の強調工程を示す図である。
【図7D】ブロブの2値画像の強調工程を示す図である。
【図8】図7Dに示されたブロブの2値化画像におけるブロブ重心点の座標検知工程を示す図である。
【図9】ユーザの手指やポインターによる仮想タッチスクリーン上の運動軌跡を示す図である。
【図10】検知した対象への追跡フローチャートである。
【図11】本発明の実施例における、すべての既存軌跡の各既存軌跡に最も接近する新規ブロブを検索するフローチャートである。
【図12】入力された既存の軌跡に対し、それに最も接近する新規ブロブを検索するフローチャートである。
【図13】本発明の実施例により得られる検知対象の仮想タッチスクリーン上の移動軌跡の点配列への平滑処理方法を示す図である。
【図14A】本発明の実施例により得られる検知対象の仮想タッチスクリーン上の移動軌跡を示す図である。
【図14B】平滑処理後の対象移動軌跡を示す図である。
【図15】制御手段の詳細配置図である。
【発明を実施するための形態】
【0021】
以下、図面を参照しながら、本発明の具体的な実施例を詳細に説明する。
【0022】
図1は、本発明の実施例における仮想タッチスクリーンシステムの構成図である。図1に示されたように、本発明の実施例における仮想タッチスクリーンシステムは、投影装置1と、光学装置2と、制御手段3と、投影面4(以下、投影スクリーンや、仮想スクリーンと称することがある)を有している。本発明の具体的な実施例において、投影装置は、プロジェクタであり、表示すべき画像を投影面4に投射して仮想スクリーンとすることで、ユーザの仮想スクリーン上の操作が可能になる。光学装置2は、例えば、デプスカメラ(depth camera)のような、画像を取得可能な任意の装置であり、投影面4の環境の深度情報を取得し、該深度情報から深度図を生成している。制御手段3は、前記投影面4から離隔する方向に、前記投影面4から所定間隔内の少なくとも1対象を検知するとともに、検知した対象を追跡し、平滑な点配列を生成している。前記点配列は、例えば、仮想スクリーン上の描画、インタラクション指令の組み合わせ等のさらなるインタラクションジョブに用いられる。
【0023】
投影装置1は、画像を投影面4に投射して仮想スクリーンとすることで、ユーザの該仮想スクリーン上の操作、たとえば、描画やインタラクション指令の組み合わせ等が可能になる。光学装置2は、投影面4と、その前方に位置する対象(例えば、該投影面4をタッチするユーザの指やポインター)とが含まれる環境を取得している。該光学装置2は、投影面4の環境の深度情報を取得するとともに、該深度情報から深度図を生成している。所謂深度図とは、デプスカメラによりカメラレンズ前の環境を撮影し、撮影された環境における各画素点のデプスカメラまでの間隔を計算し、例えば、16ビットの数値を用いて、各画素点で表される被写体のデプスカメラまでの間隔を記録することにより、これらの各画素点に付された間隔を示す16ビット数値から形成された、各画素点のカメラまでの間隔を表した図である。その後、深度図は制御手段3に転送され、制御手段3により、前記投影面4から離隔する方向に沿って、前記投影面4から所定間隔内の少なくとも1つの対象が検知される。該対象が検知されると、該対象の投影面4上のタッチ操作が追跡され、タッチ点配列が形成される。次に、制御手段3により、形成されたタッチ点配列への平滑処理が行われることで、該仮想インタラクションスクリーン上の描画機能が実現可能になる。なお、このようなタッチ点配列が、組み合わせられることでインタラクション指令が生成され、これにより、仮想タッチスクリーンのインタラクション機能が実現可能になり、最終的に仮想タッチスクリーンを、生成されたインタラクション指令に応じて変えられる。本発明は、さらに、他の通常のカメラ及び他の通常の前景対象検知システムを用いて実施することができる。本発明の追跡方法への理解の便宜を図るために、以下、先ず、前景対象への検知工程を説明するが、該検知工程は、複数対象追跡の実現に必要な実施手段ではなく、単に複数対象の追跡の前提となる。換言すると、対象の検知は、対象追跡の内容に含まれるものではない。
【0024】
図15は、制御手段3の詳細配置図である。前記制御手段3は、通常、深度図処理手段31と、対象検知手段32と、画像強調手段33と、座標計算・変換手段34と、追跡手段35と、平滑手段36とを備えている。深度図処理手段31は、先ず、デプスカメラのからの取得された深度図を入力とするとともに、背景を該深度図から除去するように、該深度図を処理し、その後、該深度図上の連通域の付番を行っている。対象検知手段32は、前記深度図処理手段31からの前記深度図の深度情報から、所定の2つの深度閾値を用いて仮想タッチスクリーンシステムの動作モードを判定し、仮想タッチスクリーンシステムの動作モードが判定されると、該判定された動作モードに対応する深度閾値により、深度図への2値化処理を行い、候補対象となる複数のブロブを形成し、その後、各ブロブと連通域の関係及びブロブ面積の大きさから、対象となるブロブを決定する。座標計算・変換手段34は、対象と決定されたブロブの重心点(幾何学的な重心点)座標を計算するとともに、重心点座標を目標座標系である仮想インタラクションスクリーンの座標系に変換する。追跡手段35及び平滑手段36は、連続撮影された複数フレーム画像から検知された複数のブロブを追跡し、複数の重心点変換後の座標点配列を生成するとともに、生成された座標点配列に平滑処理を施す。
【0025】
図2は、本発明の制御手段3による処理のフローチャートである。図2に示されたように、ステップS21において、深度図処理手段31は、デプスカメラ2から得られた深度図を受信し、該深度図は下記方法で得られる。即ち、デプスカメラ2により現環境の画像を撮影するとともに、撮影時に各画素点のデプスカメラまでの間隔を測定し、16ビット(実際の需要に応じて、8ビットあるいは32ビット)値で記録した深度情報からなり、これらの各画素の16ビットの深度値で前記深度図が構成されている。以降の処理のために、現シーンの深度図の取得前に、投影スクリーン前に何ら非検知対象も存在しない背景深度図を予め取得する。次に、ステップS22において、深度図処理手段31は、該深度図から背景を除去し、前景対象の深度情報のみ保留するように、受信した深度図を処理するとともに、保留された深度図における連通域への番号付けを行う。
【0026】
図3A〜図3Cは、現深度図から背景深度図を消去した図である。図示された16ビット数値で表示した深度図は、説明の便宜を図るためのもので、本発明の実施工程で必ず表示しなければならないものではない。図3Aは、背景の深度図の実例を示した図であり、図示された深度図は、背景深度図のみで、即ち、投影面の深度図のみであり、何ら前景物(即ち、対象)の深度画像は含まれていない。背景の深度図の取得方法としては、本発明の実施例における仮想タッチスクリーンシステムで仮想タッチスクリーン機能を実施する方法の初期段階で、先ず、光学装置2から現シーンの深度図を取得するとともに、該深度図の瞬時図を保存することで、背景の深度図が得られる。該背景の深度図の取得時、現シーンにおいて、投影面4の前方(光学装置2と投影面4の間)には投影面4をタッチする動態対象が存在してはならない。背景の深度図の他の取得方法としては、瞬時的な写真を使用することなく、一連の連続した瞬時写真から、平均的な背景深度図を生成するようにする。
【0027】
図3Bは、現シーンの取得された深度図の一実例であり、1つの対象(例えば、ユーザの手やポインター)による投影面へのタッチが示されている。
【0028】
図3Cは、背景が除去された深度図の実例である。背景深度の除去方法としては、現シーンの深度図から、背景の深度図を引き去る方法や、現シーンの深度図をスキャンするとともに該深度図の各点と背景深度図における対応点の深度値比較を行う方法がある。これらの対をなす画素点の深度差の絶対値が近似し、かつ所定の閾値内であると、現シーンにおける深度差の絶対値に近似している対応点を現シーンの深度図から除去し、逆の場合は、該対応点を保留し、何ら変更も加えないようにする。次に、背景深度図除去後の現深度図における連通域への付番を行う。本発明における前記連通域とは、このような領域である。即ち、デプスカメラから2つの3D点が撮影されたとし、これらの点の投影がXY平面(撮影された写真)上で隣接し、かつ深度値差が所定の閾値D未満であると、これらは「D−連通」されているとされる。1グループの3D点における任意の2点間にD−連通路があると、該グループの3D点は、D−連通されているとされる。1グループのD−連通された3D点における各点Pについては、XY平面上の各点Pにこのような連通条件を中断しないように前記グループに添加された隣接点が存在しないと、該グループのD−連通された3D点は、最大D−連通となる。本発明における前記連通域は、深度図における1グループのD−連通点であり、かつ最大のD−連通である。前記深度図の連通域は、前記デプスカメラにより取得される連続集団(mass)領域に対応しており、連通域は、前記深度図におけるD−連通点集合であり、かつ最大のD−連通である。このため、連通域への付番は、実際に、前記D−連通された3D点への同一番号の付加であり、換言すると、同一連通域に属する画素点には同一番号が付されることになる。これにより、連通域の番号マトリクスが生成される。前記深度図の連通域は、前記デプスカメラから取得される連続した集団(mass)に対応している。
【0029】
前記連通域の番号マトリクスは、前記深度図におけるどの点が連通域となるかをマーク可能なデータ構造である。前記番号マトリクスにおける各要素は、深度図における1点に対応し、該要素の値が、該点の属する連通域の番号(1連通域に1番号)となる。
【0030】
次に、ステップS23において、2つの深度条件から、現シーンの背景除去後の深度図における各点への2値化処理を行うことで、候補対象となるブロブが生成され、同一連通域に属するブロブの画素点に連通域番号が付加される。以下、2値化処理について詳細に説明する。
【0031】
図4A、図4Bは、入力された現シーンの深度図への2値化処理による、候補対象のブロブの取得を示す図である。ここで、入力された現シーンの深度図が、図3Cに示されたような背景除去後の深度図となる。即ち、該深度図には、背景の深度が含まれておらず、検知された対象の深度のみが含まれている。図4A、図4Bに示されたように、本発明の実施例は、図3Cに示されたような現シーンの深度図における各画素点と背景深度図の対象画素間の相対的深度情報から、2値化処理を行っている。本発明の実施例において、前記現シーンの深度図から、各画素点の深度値である、デプスカメラと検索された画素点で表される対象点間の間隔を検索する。図4A、図4Bに示されたように、全画素点を遍歴する形式で、入力された現シーンの深度図から、各画素点の深度dを検索し、その後、背景深度図から、現シーンの深度図における検索された画素点に対応する画素点の深度値である背景深度bを検索した後、対応目標画素点の深度dと背景画素点の深度bとの差(subtraction value)sを計算し、即ち、s=b−dを計算する。本発明の実施例においては、現シーンの深度図における最大深度値の画素点により、本発明の実施例の仮想タッチスクリーンシステムの動作モードを判断することができる。即ち、現シーンの深度図における最大深度値の画素点の深度dと、対応する背景画素点の深度bとの差sを計算する。図4Aに示されたように、得られた差が0よりも大きく、かつ所定の第1の間隔閾値t1未満であり、即ち、0<s<t1であると、本発明の実施例の仮想タッチスクリーンシステムはタッチモードで動作していると判断する。該タッチモードは、図5Aに示しているように、ユーザの仮想タッチスクリーン上へのタッチ動作が可能なモードであることを表している。ここで、第1の間隔閾値t1は、該間隔内において、仮想タッチスクリーンシステムがタッチモードで動作可能なことから、タッチ間隔閾値とも称されている。なお、図4Bに示されたように、得られた対応目標画素点の深度dと背景画素点の深度bとの差sが所定の第1の間隔閾値t1よりも大きく、かつ所定の第2の間隔閾値t2未満であると、即ち、t1<s<t2であると、本発明の実施例の仮想タッチスクリーンシステムはジェスチャーモードで動作していると判断する。該ジェスチャーモードは、図5Bに示しているように、ユーザの手が仮想タッチスクリーンに触れることなく、仮想タッチスクリーンとの一定間隔範囲内でジェスチャー動作が可能なモードであることを表している。ここで、第2の間隔閾値t2は、ジェスチャー間隔閾値とも称されている。本発明の実施例の仮想タッチスクリーンシステムにおいては、タッチモードとジェスチャーモードの2種類の動作モード間の自動切換が可能になることから、ユーザの手と仮想スクリーン間の間隔に基づき、所定の動作モードを起動するとともに、前記間隔閾値による制御が可能になる。ここで、第1と第2の間隔閾値t1とt2の大きさにより、対象への検知精度を制御することができ、デプスカメラのハードウェア規格にも関係している。例えば、第1の間隔閾値t1の値は、通常、1指の厚みの大きさや、通常のポインターの直径の大きさとなり、例えば、0.2〜1.5cmであり、0.3cm、0.4cm、0.7cm、1.0cmが好ましい。第2の間隔閾値t2は、人が仮想タッチスクリーン前でジェスチャー動作を行う際の、手と仮想タッチスクリーン間の通常の間隔となる20cmに設定することができる。ここで、図5A、図5Bは、本発明の実施例の仮想タッチスクリーンシステムの2種類の動作モードを示した図である。
【0032】
前述の図4A、図4Bに示された図においては、マークすべき目標画素点と対応背景画素点間の深度値の差による、仮想タッチスクリーンシステムの現動作モードの判断以外にも、マークすべき目標画素点自身も一定の条件を満たす必要があり、このような条件は、該画素に対応する深度情報及び該画素の位置する連通域に関係している。例えば、マークすべき画素がある連通域に属する必要があり、理由としては、マークすべき画素が図3Cに示された背景除去後の深度図における画素であることから、画素がある候補対象のブロブの画素である場合、該画素は必ず連通域におけるある連通域に属する必要がある。同時に、目標画素の深度値dは、最小間隔mを越える(即ち、d>mである)必要があり、理由としては、ユーザが仮想タッチスクリーン前で操作を行う際に、タッチモードでもジェスチャーモードでも、仮想タッチスクリーンに接近する必要があり、かつデプスカメラから一定間隔離れる必要があるからである。ここで、目標画素値の深度値dが最小間隔mを越えるように設定することで、偶然デプスカメラの撮影範囲内に入り込んだ他の被写体のノイズを排除することができ、これにより、システムの動作効率を向上することができる。
【0033】
ここで、前述の実施例においては、現シーンの深度図における最大深度図の画素点の深度dにより、仮想タッチスクリーンシステムの動作モードを判断しており、理由としては、通常、ユーザの仮想タッチスクリーンシステムへの操作時、ユーザの指先と仮想タッチスクリーンの間隔が最も近くなるからである。このため、前述の実施例においては、実際に、ユーザの指先を表せる画素点の深度により、ユーザ指先の位置により、仮想タッチスクリーンシステムのあるべき動作モードを判断しているが、本発明の実施例はこれに限られるものではない。例えば、現シーンの深度図の深度値を降順に並び替え、前に位置する複数の深度値の平均値(即ち、深度値の深い複数の画素点の深度値の平均値)を利用してもよい。或いは、現シーンの深度図における各画素点の深度値の分布に応じて、分布の密集している複数の画素点の深度値の平均値で決定してもよい。このように、他の複雑な状況において、例えば、ユーザが1つの指によるポインティング以外の他のジェスチャーによる動作で、ある指先の正確な位置判断ができない場合は、できる限り、検知した主な候補対象が前述の間隔閾値条件を満たすようにすると、仮想タッチスクリーンシステムの実際の現動作モードへの判断の正確性を向上することができる。用いられる特定画素点の深度値により、タッチモードとジェスチャーモードに対する、現シーンの深度図における画素深度間の差の識別が可能であればよいことは言うまでもない。
【0034】
仮想タッチスクリーンシステムの現動作モードの判断後は、タッチモードとジェスチャーモードのいずれかの動作モードにおいて、対応目標画素点の深度dと背景画素点の深度bとの差sが所定の間隔閾値条件を満たしているか否か、及び前述のような対応目標画素点がある連通域に属するか、その深度値が最小間隔を超えたか否かに応じて、現シーンにおける検索した画素への2値化処理を行うことができる。例えば、タッチモードにおいて、対応目標画素点の深度dと背景画素点の深度bとの差sが第1の間隔閾値t1未満であり、かつ対応目標画素点がある連通域に属し、該深度dが最小間隔mを超えた場合は、現シーンの深度図における検索された画素の階調値を255に設定し、それ以外の場合は、0に設定する。一方、ジェスチャーモードにおいては、対応目標画素点の深度dと背景画素点の深度bとの差sが第1の間隔閾値t1よりも大きく、かつ第2の間隔閾値t2未満であり、対応目標画素点がある連通域に属し、該深度dが最小間隔mを超えた場合は、現シーンの深度図における検索された画素の階調値を255に設定し、それ以外の場合は、0に設定する。もちろん、このような2値化において、直接2つの場合にそれぞれ0や、1を標記してもよく、2つの場合を区別可能な2値化方式であれば、いずれの方式を用いてもよい。
【0035】
前述の2値化方式により、図6Bに示された複数の候補対象を有するブロブが得られる。図6Aは、ブロブへの付番のための連通域を示す図である。ブロブの2値画像の取得後、連通域番号を有する画素点を走査検索し、該連通域番号を2値化ブロブ画像における対応の画素点に付加することで、図6Bに示されたように、一部のブロブは連通域番号が付されるようになる。前記2値画像におけるブロブ(白領域や点)は、投影面上をタッチする可能性のある目標対象の候補者である。前述したように、図6Bにおける連通域番号付きの2値化ブロブは、以下の2つの条件を有する。一つ目の条件は、ブロブが連通域に属すること、2つ目の条件は、ブロブの各画素点に対応する深度dと背景深度bとの差sが必ず間隔閾値条件を満たすこと、即ち、タッチモードでs=b−d<t1であり、ジェスチャーモードでt1<s=b−d<t2であることである。
【0036】
次に、ステップS24において、得られた深度図の2値化ブロブ画像への強調処理を行い、2値化ブロブ画像における不要なノイズを低減するとともに、ブロブの形状がより明確かつ安定になるようにする。該ステップは、画像強調手段33で行われる。具体的に、以下のステップで強調処理が行われる。
【0037】
先ず、連通域に属さないブロブを除去し、即ち、ステップS23において、連通域番号が付されていないブロブは、直接その白黒階調値を最高値から0に変更し、例えば、その画素点の白黒階調値を、255から0に変更する。他の方法においては、1を0に変更する。これにより、図7Aに示されたブロブの2値化画像が得られる。
【0038】
次に、面積Sが面積閾値Ts未満の連通域に属するブロブを除去する。本発明の実施例において、ブロブがある連通域に属するとは、該ブロブの少なくとも1点が連通域に存在することを意味している。該ブロブの属する連通域の面積Sが面積閾値Ts未満であると、該ブロブはノイズと見なされ、ブロブの2値画像から除去される。それ以外の場合は、該ブロブを目標対象の候補者と見なしている。面積閾値Tsは、仮想タッチスクリーンシステムに用いられる環境に応じて調整することができ、通常は、200個の画素点に設定される。これにより、図7Bに示されたブロブの2値化画像が得られる。
【0039】
次に、得られた図7Bに示されたブロブの2値化画像におけるブロブへの形態学(morphology)操作を行う。本実施例においては、拡張(dilation)操作と閉(close)操作を用いている。先ず、1回の拡張操作を行ってから、反復的に閉操作を行う。閉操作の反復回数は、1つの所定値であり、該所定値は、仮想タッチスクリーンシステムに用いられる環境に応じて調整することができる。該反復回数は、例えば、6回に設定することができる。最終的に、図7Cに示されたブロブの2値化画像が得られる。
【0040】
最後に、同一連通域に属する複数のブロブが存在すると、即ち、これらのブロブが同一の連通域番号を有していると、同一連通域番号を有するブロブにおける、最大面積の1ブロブを保留し、他のブロブは除去する。本発明の実施例においては、1つの連通域に、複数のブロブが含まれてもよい。これらのブロブにおいて、最大面積を有するブロブのみが目標対象と見なされ、他のブロブは除去すべきノイズとなる。最終的に、図7Dに示されたブロブの2値化画像が得られる。
【0041】
ステップS25において、得られたブロブの輪郭を検知し、ブロブの重心点の座標を計算するとともに、重心点座標を目標座標に変換する。該検知、計算、及び変換操作は、座標計算・変換手段34で行われる。図8は、図7Dに示されたブロブの2値化画像におけるブロブの重心点座標の検知工程を示す図である。図8において、ブロブの幾何学的情報から、ブロブの重心点の座標を計算する。該計算工程においては、ブロブの輪郭を検知し、該輪郭のHuモーメントを計算し、前記Huモーメントを用いて重心点の座標を計算している。また、本発明の実施例においては、各種の公知方法でブロブの輪郭を検知することができる。また、公知の算法を用いてHuモーメントを計算してもよい。前記輪郭のHuモーメントの取得後は、下記式から、重心点の座標を計算する。
(x0,y0)=(m10/m00,m01/m00)
ここで、(x0,y0)は、重心点の座標であり、m10、m01、m00は、Huモーメントである。
【0042】
座標変換とは、重心点の座標をブロブの2値画像の座標系からユーザインターフェースの座標系に変換することである。座標系の変換は、公知の方法を用いることができる。
【0043】
タッチポイントの連続移動軌跡を取得するために、本発明の実施例の仮想タッチスクリーンシステムにより撮影された連続フレームの深度図におけるタッチポイントへの連続検知により、検知した複数のブロブの追跡を行い、複数点の配列を生成することができ、これにより、タッチポイントの運動軌跡を得ることができる。
【0044】
具体的に、ステップS26において、連続撮影した各フレームの深度図に対し、ステップS21〜S25の実施後に得られた各フレーム画像のブロブのユーザインターフェースにおける重心点座標への追跡を行い、重心点配列(即ち、軌跡)を生成するとともに、得られた重心点配列への平滑処理を行う。該追跡及び平滑操作は、追跡手段35及び平滑手段36で行われる。
【0045】
図9は、ユーザの手指やポインターによる仮想タッチスクリーン上の運動軌跡を示す図であり、2つの対象(手指)の運動軌跡が示されている。これは1例に過ぎず、例えば、3つ、4つ、5つの対象のように複数の対象としてもよく、実際の需要に応じて決めることができる。
【0046】
図10は、検知した対象への追跡フローチャートである。図10に示された追跡フローを繰り返し行い、最終的にスクリーン前の任意の対象の運動軌跡が得られる。具体的に、追跡動作を行うとは、新たに検知した深度図におけるブロブのユーザインターフェースにおける重心点の座標を前に得られた任意の軌跡に繰り入れることである。
【0047】
複数の検知されたブロブのユーザインターフェースにおける重心点座標から、複数の新規検知したブロブの追跡を行うことにより、複数の軌跡を生成するとともに、これらの軌跡に関するタッチイベントを開始している。ブロブへの追跡を行うためには、ブロブを分類するとともに、ブロブの重心点座標を、すべての点の時間と空間上の関連の点配列に置く必要がある。同一配列における点のみ、1つの軌跡に統合することができる。図9に示されたように、仮想タッチスクリーンシステムが描画機能をサポートしていると、図9に示された配列における点は、投影スクリーン上の描画命令を表すことになり、同一配列における点をつなげて図9に示された曲線に形成することができる。
【0048】
本発明の実施例においては、タッチ開始と、タッチ移動と、タッチ終了の3つのタッチイベントを追跡することができる。タッチ開始は、検知すべき対象が投影スクリーンをタッチし、軌跡が開始することをいう。タッチ移動は、検知すべき対象が現在投影スクリーンをタッチし、軌跡が投影面で延伸中であることをいう。また、タッチ終了は、検知すべき対象が投影スクリーンの面から離れ、移動軌跡が終了していることをいう。
【0049】
図10に示されたように、ステップS91において、1フレームの深度図から、ステップS21〜S25で検知された対象の新規ブロブのユーザインターフェースにおける重心点座標を受信し、該重心点座標は、座標計算・変換手段34から出力されたものである。
【0050】
次に、ステップS92において、その前に各フレームの深度図のブロブへの追跡処理後に得られた全点配列(即ち、すべての既存の軌跡であり、以下、既存軌跡と称される)における各点配列について、該既存軌跡に最も近接する新規ブロブを計算する。タッチスクリーン(即ち、投影スクリーン)をタッチする全ての対象の軌跡は、すべて仮想タッチスクリーンシステムに保留される。各軌跡は、1つの被追跡ブロブを保持し、該被追跡ブロブは、該軌跡の最後のブロブに付与される。本発明の実施例の前述の新規ブロブと既存軌跡の間隔は、1新規ブロブと1本の既存軌跡中の最後のブロブ間の間隔を指している。
【0051】
次に、ステップS93において、新規ブロブをそれに最も近接する既存の軌跡に入れるとともに、タッチ移動イベントを開始する。
【0052】
次に、ステップS94において、1本の既存軌跡に対し、それに近接する新規ブロブが存在しない場合、換言すると、全新規ブロブが他の既存軌跡にそれぞれ繰り入れられた場合は、該既存の軌跡を削除するとともに、該既存軌跡に関するタッチ終了イベントを起動する。
【0053】
最後に、ステップS95において、各新規ブロブに対し、近接する既存軌跡が存在しない場合、換言すると、その前に得られた全既存軌跡が、タッチ終了イベントの起動により削除されたか、新規ブロブと全既存軌跡との間隔がすべて所定の間隔閾値範囲内に存在しない場合は、該新規ブロブを新規軌跡の起点とするとともに、タッチ開始イベントを起動する。
【0054】
前記ステップS91〜S95を繰り返し行い、連続フレームの深度図におけるブロブの重心点の、ユーザインターフェースにおける座標の追跡を実現することにより、同一の点配列に属するすべての点を1本の軌跡に構成することができる。
複数の既存軌跡が存在する場合は、各既存軌跡に対し、ステップS92を繰り返し行う。図11は、本発明の追跡手段35により行われる、ステップS92の詳細フローチャートである。
【0055】
先ず、ステップS101において、すべての既存軌跡への追跡が完了したかを確認する。これは簡単な計数器で実現することができる。すべての既存軌跡に対し、ステップS92が行われた場合は、ステップS92を終了し、行われていない場合は、ステップS102に進む。
【0056】
ステップS102において、次の既存軌跡を入力する。次に、ステップS103において、入力された既存軌跡に近接する新規ブロブを検索し、ステップS104に進む。
【0057】
ステップS104において、入力された既存軌跡に近接する新規ブロブが検出されたかを判定する。入力された既存軌跡に近接する新規ブロブが検索された場合は、ステップS105に進み、検出されていない場合は、ステップS108に進む。
【0058】
ステップS108において、入力された既存軌跡に近接する新規ブロブが存在しないため、該入力された既存軌跡は、「削除すべき既存軌跡」とマークされる。その後、ステップS101に戻る。これにより、ステップS94において、該「削除すべき既存軌跡」に対し、タッチ終了イベントを起動する。
【0059】
ステップS105において、入力された既存軌跡に近接する新規ブロブが、他の既存軌跡にも近接する新規ブロブであるかを判定する。換言すると、該新規ブロブが同時に2つ以上の既存軌跡に近接する新規ブロブであるかを判定する。該新規ブロブが2つ以上の既存軌跡に近接する新規ブロブであると判断されると、ステップS106へ処理が進み、それ以外の場合は、ステップS109へ処理が進む。
【0060】
ステップ109において、該新規ブロブが、入力された既存の軌跡のみに近接する新規ブロブであるため、該新規ブロブを入力された既存の軌跡に繰り入れ、最も近接する新規ブロブとし、即ち、該既存軌跡の点配列中の一つの点とする。その後、ステップS102に処理が戻る。
【0061】
ステップS106において、該新規ブロブが、同時に2つ以上の既存の軌跡に近接する新規ブロブであるため、該新規ブロブの、所属する複数の既存軌跡の各軌跡との間隔を計算する。その後、ステップS107において、ステップS106で算出された間隔の大きさを比較するとともに、該新規ブロブと入力された既存軌跡との間隔が、算出された間隔で最小となる間隔かを判定する。即ち、該新規ブロブと入力された既存軌跡との間隔が、他の既存の軌跡との間隔未満であるかを判定する。該新規ブロブと入力された既存軌跡との間隔が、ステップS106で算出された間隔における最小の間隔であると判定されると、ステップS109へ処理が進み、最小の間隔でないと、ステップS108へ処理が進む。
【0062】
前記ステップS101〜S109を繰り返し行うことで、ステップS92による処理を実現することができ、すべての既存軌跡と入力された新たに検索されたブロブへの遍歴が可能になる。
【0063】
図12は、入力された既存の軌跡に近接する新規ブロブを検索するフローチャートである。図12に示されたように、ステップS111において、入力されたすべての新規ブロブに対し、入力された既存の軌跡との近接間隔が算出されたかを確認する。すべての新規ブロブに対し、入力された既存の軌跡との近接間隔が計算されると、ステップS118に処理が進み、それ以外の場合は、ステップS112に処理が進む。
【0064】
ステップS118において、入力された既存の軌跡に近接する新規ブロブのリストが空であるかを判定する。空であれば、処理を終了し、空でなければ、ステップS119に進む。ステップS119において、すべての近接した新規ブロブのリストから、該入力された既存軌跡に最も近接する新規ブロブを検索するとともに、該最近接新規ブロブを入力された既存の軌跡の点配列に繰り入れる。その後、ステップS103を終了する。
【0065】
ステップS112において、次の新規ブロブを入力する。次に、ステップS113において、次の新規ブロブと入力された既存軌跡間の間隔を計算する。次に、ステップS114において、算出された次の新規ブロブと入力された既存軌跡間の間隔が所定の閾値未満であるかを判定する。算出された次の新規ブロブと入力された既存軌跡間の間隔が所定の間隔閾値Td未満であると、ステップS115に処理が進み、それ以外の場合は、ステップS111に戻る。ここで、間隔閾値Tdは、通常、10〜20の画素点の間隔に設定され、15の画素点の間隔が好ましい。該閾値Tdは、仮想タッチスクリーンシステムに用いられる環境に応じて調整される。本発明の実施例においては、1新規ブロブと1既存軌跡間の間隔が、前記間隔閾値Td未満であると、該新規ブロブは該既存軌跡に近接しているとされている。
【0066】
ステップS115において、前述の次の新規ブロブを、入力された既存軌跡に属する候補新規ブロブリストに追加する。次に、ステップS116において、入力された既存の軌跡に属する候補の新規ブロブリストの大きさが、所定の大きさ閾値Tsize未満であるかを判定する。入力された既存の軌跡に属する候補の新規ブロブリストの大きさが、所定の大きさ閾値Tsize未満であると、ステップS111に処理が戻り、それ以外の場合は、ステップS117に処理が進む。
【0067】
ステップS117において、入力された既存の軌跡に属する候補の新規ブロブリストにおける、入力された既存の軌跡との間隔が最長となる候補新規ブロブを、前記リストから削除し、ステップS111に戻る。図12におけるステップを繰り返し行うことで、ステップS103が完成する。
【0068】
以上、図10〜12を参照して、連続画像フレームにおけるブロブの、ユーザインターフェースにおける座標の追跡フローを説明した。前記追跡操作により、検知した対象のタッチ開始イベント、タッチ移動イベントや、タッチ終了イベントを起動することができる。これにより、最終的に、検知した対象の仮想タッチスクリーン上の移動軌跡が得られる。図14Aは、本発明により得られる検知対象の仮想タッチスクリーン上の移動軌跡を示す図である。
【0069】
このように初期的に得られる図14Aに示された検知対象の仮想タッチスクリーン上の移動軌跡は、明らかに雑然としており、平滑な対象移動軌跡を得るためには、さらに該軌跡への平滑処理が必要となる。図14Bは、平滑処理後の対象移動軌跡を示した図である。図13は、本発明により得られる検知対象の仮想タッチスクリーン上の移動軌跡の点配列への平滑処理方法を示す図である。
【0070】
点配列への平滑処理とは、点配列を平滑にするために、該配列中の点の座標の最適化を行うことである。図13に示されたように、1つの軌跡をなす原点配列P0n(nは正の整数)が反復の第1回入力(即ち、ブロブ追跡の出力)として入力される。図13において、原点配列P0nは第1列に配置される。次に、下記式を用いて、前回反復の結果から、次回反復の配列が算出される。
【数1】
【0071】
式中、Pknは、点配列中の点であり、kは、反復記号であり、nは、点配列記号であり、mは、反復点の基数である。
【0072】
該反復計算を所定の反復閾値に達するまで繰り返し行う。本発明の実施例において、パラメータmは、3〜7とすることができ、本発明の実施例では、3に設定されている。これは、各次の階級点は、前の階級の3つの点の反復により得られることを意味している。該反復閾値は、3である。
【0073】
前記反復計算により、最終的に、図14Bに示された平滑処理後の対象移動軌跡が得られる。
【0074】
なお、本明細書においては、プログラムにより、コンピュータで実行される処理は、フローチャートの説明順のように、時間順で行う必要はない。即ち、プログラムによりコンピュータで実行される処理は、並行に行われてもよく、単独に行われてもよい(例えば、並行処理、ターゲット処理でもよい)。
【0075】
同様に、プログラムは、1台のコンピュータ(プロセッサ)で行われてもよく、複数のコンピュータで分散して行われてもよい。なお、プログラムは、プログラムが実行される遠隔コンピュータに移動されてもよい。
【0076】
当業者が、設計要求と他の要素に応じて、添付した特許請求範囲や同等物の範囲内の各種修正や、組み合わせや、サブ組み合わせや、代替が可能なことは言うまでもない。
【特許請求の範囲】
【請求項1】
仮想タッチスクリーンシステムにおける双方向モードの自動切換方法であって、
画像を投影面に投射し、
前記投影面の環境の画像を連続取得し、
得られた各画像から、前記投影面前の所定間隔内に位置する少なくとも1つの対象の候補ブロブを検知し、
前後に隣り合う画像同士から得られたブロブの重心点の、時間と空間における関係から、各ブロブをそれぞれに対応した点配列に入れるステップを含み、
前記投影面前の所定間隔内に位置する少なくとも1つの対象の候補ブロブを検知するステップは、
前記少なくとも1つの対象の候補ブロブ中の特定画素点の深度値を検索し、
前記深度値が第1の間隔閾値未満かを判断し、前記深度値が前記第1の間隔閾値未満であると、前記仮想タッチスクリーンシステムが第1の動作モード状態であると決定し、
前記深度値が前記第1の間隔閾値を越えたか、かつ第2の間隔閾値未満かを判断し、前記深度値が前記第1の間隔閾値を越え、かつ前記第2の間隔閾値未満であると、前記仮想タッチスクリーンシステムが第2の動作モード状態であると決定するステップを含み、
前記深度値と、前記第1の間隔閾値及び前記第2の間隔閾値との関係から、前記仮想タッチスクリーンシステムの前記第1の動作モードと前記第2の動作モード間の自動切換が行われる、仮想タッチスクリーンシステムにおける双方向モードの自動切換方法。
【請求項2】
前記第1の動作モードが、タッチモードであり、前記タッチモードにおいて、ユーザの仮想タッチスクリーン上のタッチ動作が行われ、
前記第2の動作モードが、ジェスチャーモードであり、前記ジェスチャーモードにおいて、前記仮想タッチスクリーンに前記ユーザの手が触れることなく、前記仮想タッチスクリーンから一定間隔範囲内のジェスチャー動作が行われる、請求項1に記載の方法。
【請求項3】
前記第1の間隔閾値が、1cmである、請求項1に記載の方法。
【請求項4】
前記第2の間隔閾値が、20cmである、請求項1に記載の方法。
【請求項5】
前記少なくとも1つの対象の候補ブロブ中の特定画素点が、前記少なくとも1つの対象の候補ブロブにおける、深度値が最も深い画素点である、請求項1に記載の方法。
【請求項6】
前記少なくとも1つの対象の候補ブロブ中の特定画素点の深度値が、前記少なくとも1つの対象の候補ブロブにおける、深度値が他の画素点の深度値よりも大きい画像点の深度値であり、又は、深度値の分布が他の画素点の深度値の分布よりも密集している1グループの画素点の深度値の平均値である、請求項1に記載の方法。
【請求項7】
前記投影面前の所定間隔内に位置する少なくとも1つの対象の候補ブロブを検知するステップにおいて、
1画素の深度値が最小間隔閾値を超えたかを判断し、前記深度値が該最小間隔閾値を越えた場合は、前記画素が前記投影面前の所定間隔内に位置する少なくとも1つの対象の候補ブロブの画素であると決定する、請求項1〜6のいずれかに記載の方法。
【請求項8】
前記投影面前の所定間隔内に位置する少なくとも1つの対象の候補ブロブを検知するステップにおいて、
1画素の深度値がある連通域に属しているか否かを判断し、前記深度値がある連通域に属している場合は、前記画素が前記投影面前の所定間隔内に位置する少なくとも1つの対象の候補ブロブの画素であると決定する、請求項1〜6のいずれかに記載の方法。
【請求項9】
仮想タッチスクリーンシステムにおける双方向モードの自動切換システムであって、
画像を投影面に投射するプロジェクタと、
前記投影面の環境の画像を連続取得するデプスカメラと、
前記デプスカメラから、初期状態で得られた深度情報により、初期深度図を構築し、前記初期深度図により、前記タッチ動作領域の位置を決定する深度図処理装置と、
前記デプスカメラから、前記初期状態後に連続して得られた各画像から、決定した前記タッチ動作領域前の所定間隔内に位置する少なくとも1つの対象の候補ブロブを検知する対象検知装置と、
前後に隣り合う画像同士から得られたブロブの重心点の、時間と空間における関係から、各ブロブをそれぞれに対応した点配列に入れる追跡装置と、を有し、
前記深度図処理装置は、前記初期深度図における連通成分を検知・マークし、前記検知・マークした連通成分に、前記初期深度図の2本の対角線の交点が含まれているか否かを判定し、前記検知・マークした連通成分に、前記初期深度図の2本の対角線の交点が含まれている場合は、前記初期深度図の対角線と、検知・マークした連通成分との交点を計算し、算出された交点を順次接続するとともに、接続して得られた凸多角形を前記タッチ動作領域とする工程により、前記タッチ動作領域の位置を決定し、
前記対象検知装置は、前記少なくとも1つの対象の候補ブロブ中の特定画素点の深度値を検索し、前記深度値が第1の間隔閾値未満かを判断し、前記深度値が第1の間隔閾値未満であると、前記仮想タッチスクリーンシステムが第1の動作モード状態であると決定し、前記深度値が前記第1の間隔閾値を越えたか、かつ第2の間隔閾値未満かを判断し、前記深度値が前記第1の間隔閾値を越え、かつ前記第2の間隔閾値未満であると、前記仮想タッチスクリーンシステムが第2の動作モード状態であると決定し、
前記深度値と、前記第1の間隔閾値及び前記第2の間隔閾値との関係から、前記仮想タッチスクリーンシステムの前記第1の動作モードと前記第2の動作モード間の自動切換が行われる、仮想タッチスクリーンシステムにおける双方向モードの自動切換システム。
【請求項1】
仮想タッチスクリーンシステムにおける双方向モードの自動切換方法であって、
画像を投影面に投射し、
前記投影面の環境の画像を連続取得し、
得られた各画像から、前記投影面前の所定間隔内に位置する少なくとも1つの対象の候補ブロブを検知し、
前後に隣り合う画像同士から得られたブロブの重心点の、時間と空間における関係から、各ブロブをそれぞれに対応した点配列に入れるステップを含み、
前記投影面前の所定間隔内に位置する少なくとも1つの対象の候補ブロブを検知するステップは、
前記少なくとも1つの対象の候補ブロブ中の特定画素点の深度値を検索し、
前記深度値が第1の間隔閾値未満かを判断し、前記深度値が前記第1の間隔閾値未満であると、前記仮想タッチスクリーンシステムが第1の動作モード状態であると決定し、
前記深度値が前記第1の間隔閾値を越えたか、かつ第2の間隔閾値未満かを判断し、前記深度値が前記第1の間隔閾値を越え、かつ前記第2の間隔閾値未満であると、前記仮想タッチスクリーンシステムが第2の動作モード状態であると決定するステップを含み、
前記深度値と、前記第1の間隔閾値及び前記第2の間隔閾値との関係から、前記仮想タッチスクリーンシステムの前記第1の動作モードと前記第2の動作モード間の自動切換が行われる、仮想タッチスクリーンシステムにおける双方向モードの自動切換方法。
【請求項2】
前記第1の動作モードが、タッチモードであり、前記タッチモードにおいて、ユーザの仮想タッチスクリーン上のタッチ動作が行われ、
前記第2の動作モードが、ジェスチャーモードであり、前記ジェスチャーモードにおいて、前記仮想タッチスクリーンに前記ユーザの手が触れることなく、前記仮想タッチスクリーンから一定間隔範囲内のジェスチャー動作が行われる、請求項1に記載の方法。
【請求項3】
前記第1の間隔閾値が、1cmである、請求項1に記載の方法。
【請求項4】
前記第2の間隔閾値が、20cmである、請求項1に記載の方法。
【請求項5】
前記少なくとも1つの対象の候補ブロブ中の特定画素点が、前記少なくとも1つの対象の候補ブロブにおける、深度値が最も深い画素点である、請求項1に記載の方法。
【請求項6】
前記少なくとも1つの対象の候補ブロブ中の特定画素点の深度値が、前記少なくとも1つの対象の候補ブロブにおける、深度値が他の画素点の深度値よりも大きい画像点の深度値であり、又は、深度値の分布が他の画素点の深度値の分布よりも密集している1グループの画素点の深度値の平均値である、請求項1に記載の方法。
【請求項7】
前記投影面前の所定間隔内に位置する少なくとも1つの対象の候補ブロブを検知するステップにおいて、
1画素の深度値が最小間隔閾値を超えたかを判断し、前記深度値が該最小間隔閾値を越えた場合は、前記画素が前記投影面前の所定間隔内に位置する少なくとも1つの対象の候補ブロブの画素であると決定する、請求項1〜6のいずれかに記載の方法。
【請求項8】
前記投影面前の所定間隔内に位置する少なくとも1つの対象の候補ブロブを検知するステップにおいて、
1画素の深度値がある連通域に属しているか否かを判断し、前記深度値がある連通域に属している場合は、前記画素が前記投影面前の所定間隔内に位置する少なくとも1つの対象の候補ブロブの画素であると決定する、請求項1〜6のいずれかに記載の方法。
【請求項9】
仮想タッチスクリーンシステムにおける双方向モードの自動切換システムであって、
画像を投影面に投射するプロジェクタと、
前記投影面の環境の画像を連続取得するデプスカメラと、
前記デプスカメラから、初期状態で得られた深度情報により、初期深度図を構築し、前記初期深度図により、前記タッチ動作領域の位置を決定する深度図処理装置と、
前記デプスカメラから、前記初期状態後に連続して得られた各画像から、決定した前記タッチ動作領域前の所定間隔内に位置する少なくとも1つの対象の候補ブロブを検知する対象検知装置と、
前後に隣り合う画像同士から得られたブロブの重心点の、時間と空間における関係から、各ブロブをそれぞれに対応した点配列に入れる追跡装置と、を有し、
前記深度図処理装置は、前記初期深度図における連通成分を検知・マークし、前記検知・マークした連通成分に、前記初期深度図の2本の対角線の交点が含まれているか否かを判定し、前記検知・マークした連通成分に、前記初期深度図の2本の対角線の交点が含まれている場合は、前記初期深度図の対角線と、検知・マークした連通成分との交点を計算し、算出された交点を順次接続するとともに、接続して得られた凸多角形を前記タッチ動作領域とする工程により、前記タッチ動作領域の位置を決定し、
前記対象検知装置は、前記少なくとも1つの対象の候補ブロブ中の特定画素点の深度値を検索し、前記深度値が第1の間隔閾値未満かを判断し、前記深度値が第1の間隔閾値未満であると、前記仮想タッチスクリーンシステムが第1の動作モード状態であると決定し、前記深度値が前記第1の間隔閾値を越えたか、かつ第2の間隔閾値未満かを判断し、前記深度値が前記第1の間隔閾値を越え、かつ前記第2の間隔閾値未満であると、前記仮想タッチスクリーンシステムが第2の動作モード状態であると決定し、
前記深度値と、前記第1の間隔閾値及び前記第2の間隔閾値との関係から、前記仮想タッチスクリーンシステムの前記第1の動作モードと前記第2の動作モード間の自動切換が行われる、仮想タッチスクリーンシステムにおける双方向モードの自動切換システム。
【図1】
【図2】
【図3A】
【図3B】
【図3C】
【図4A】
【図4B】
【図5A】
【図5B】
【図6A】
【図6B】
【図7A】
【図7B】
【図7C】
【図7D】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14A】
【図14B】
【図15】
【図2】
【図3A】
【図3B】
【図3C】
【図4A】
【図4B】
【図5A】
【図5B】
【図6A】
【図6B】
【図7A】
【図7B】
【図7C】
【図7D】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14A】
【図14B】
【図15】
【公開番号】特開2013−8368(P2013−8368A)
【公開日】平成25年1月10日(2013.1.10)
【国際特許分類】
【出願番号】特願2012−141021(P2012−141021)
【出願日】平成24年6月22日(2012.6.22)
【出願人】(000006747)株式会社リコー (37,907)
【Fターム(参考)】
【公開日】平成25年1月10日(2013.1.10)
【国際特許分類】
【出願日】平成24年6月22日(2012.6.22)
【出願人】(000006747)株式会社リコー (37,907)
【Fターム(参考)】
[ Back to top ]