説明

情報処理装置、情報処理方法及び情報処理プログラム

【課題】ユーザーが入力装置を操作したり、ユーザーにセンサーを装着したりする必要がなく、直感的なユーザーの動作によって簡単に各種制御を実現することのできる情報処理装置、情報処理方法及び情報処理プログラムを提供すること。
【解決手段】この情報入力装置Sは、所定の撮影領域(1a,2a)を撮影して撮影情報(1b,2b)を出力するカメラ(1,2)と、撮影領域(1a,2a)内におけるユーザーの指先U2の3次元座標情報を、カメラ(1,2)からの撮影情報(1b,2b)に基づき取得すると共に、3次元座標情報に基づいて制御指令を出力するコンピュータ8とを有している。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理方法及び情報処理プログラムに係り、特に、撮影情報に基づき種々の制御指令を出力する情報処理装置等に関する。
【背景技術】
【0002】
従来より、パーソナルコンピュータ(以下、PCという。)等においては、入力装置としてキーボードやマウスが用いられている。ユーザーがPCを使用する際に、文字入力や制御指令の入力、画像や映像の操作等をキーボードやマウスを用いて行っている。
【0003】
具体的には、PCから出力された映像は、液晶やCRT等のモニター(映像表示装置)に表示される。そのモニター上にはマウスの動作に対応するマウスポインタも表示され、ユーザーがマウスを操作するとその動作に対応してモニター上でのマウスポインタも動作するようになっている。また、ワープロソフトやメールソフト等を起動すると、文字入力画面がモニター上に表示され、ユーザーがキーボードを用いて所定の文字入力操作を行うと、その入力操作に対応する文字がモニター上の文字入力画面に表示されるようになっている。
【0004】
このような、キーボードやマウスを用いた入力操作は、多数のキーに多くの操作や制御指令を対応させることができるので、多彩な指令入力等を可能としている。その一方で、その入力操作をスムーズに行うためには、キー配列を覚える必要があったりマウスによるクリック操作やドラッグ操作を習得する必要があるので、ある程度の習熟が必要とされる。また操作自体が直感的でなく面白みに欠けるという部分もある。
【0005】
ユーザーによる入力操作を、より直感的に実現し、入力操作を容易とする提案として、例えば特許文献1に開示のものがある。これによれば、入力装置としてペンとタブレットとを用いることにより、キーボード操作やマウス操作よりも直感的でわかり易い入力操作が実現されている。また、ユーザーの動作そのものをセンサーやカメラ等を用いて検出し、直感的な入力操作を可能とした提案もされている(特許文献2,3を参照。)。
【0006】
【特許文献1】特開平11−345071号公報
【特許文献2】特開2004−187043号公報
【特許文献3】特開2006−155244号公報
【発明の開示】
【発明が解決しようとする課題】
【0007】
しかしながら、上記特許文献1に開示のものによれば、ペンやタブレットという入力装置を用いる必要があり、多少直感的になったとはいえユーザーがそれらの操作にある程度習熟する必要がある点においては、キーボードやマウスによる入力操作と大差はない。また、センサーによりユーザーの操作を検出するためには、ユーザーの身体の一部(例えば、腕や指。)にセンサーを取り付ける必要があり、準備が煩雑であったりユーザーが自由に動き回ることができない等制約が多い。
【0008】
特許文献3においては、カメラを用いてユーザーのジェスチャーを撮影し、その動作に基づいて制御を行っているが、飽くまで2次元的な動作把握に留まり、入力指令のバリエーションに乏しい。多くの指令入力に対応させるには、2次元的に選別可能な多くのジェスチャーを準備する必要があり、ときには不自然な動作を必要とする等、ユーザーの直感的な入力操作とはいえない場合が生じる。
【0009】
そのため、ユーザーの直感的な操作、すなわち自然な動作に基づきバリエーションに富む制御指令の入力が可能であり、マウス等の入力装置の使用法に習熟する必要なく、子供や身体の不自由な者にも簡単に入力操作を行うことができる入力装置が従来より求められていた。
【0010】
本発明は、上記の事情に鑑みて為されたもので、ユーザーが入力装置を操作したり、ユーザーにセンサーを装着したりする必要がなく、直感的なユーザーの動作によって簡単に各種制御を実現することのできる情報処理装置、情報処理方法及び情報処理プログラムを提供することを例示的課題とする。
【課題を解決するための手段】
【0011】
上記の課題を解決するために、本発明の例示的側面としての情報処理装置は、所定の撮影領域を撮影して撮影情報を出力する撮影手段と、撮影領域内における被検知体の3次元座標情報を、撮影手段からの撮影情報に基づき取得すると共に、3次元座標情報に基づいて制御指令を出力する制御手段とを有することを特徴とする。
【0012】
被検知体(例えば、ユーザーの手。)の3次元座標情報に基づいて制御指令を出力するので、被検知体の2次元的な位置に基づく制御を行う場合に比べ、多彩な制御を実現することができる。また、被検知体の3次元的な位置に基づく制御が可能であるので、ユーザーが別途の入力装置を操作する必要なく、また、ユーザーがセンサー等の別途の検知手段を装着する必要なく、入力操作を行うことができる。ここで、ユーザーによる入力操作の結果として、制御手段への操作情報の入力が行われ、制御手段による制御指令の出力が行われるので、本願では「入力操作」と「操作情報の入力」と「制御指令の出力」とを略同義で用いることがある。
【0013】
例えば、被写界深度の情報を利用することにより、被検知体の3次元座標情報を1つの撮影手段によって取得することが可能である。すなわち、撮影手段による撮影像から被検知体のXY座標情報を取得し、被検知体のピント位置情報を用いてZ座標情報を取得することができる。
【0014】
撮影手段としては、CCDやCMOS等の撮像素子を用いたビデオカメラ等を含んで概念される。可視光像を撮影可能なものに限らず、赤外線像、超音波像、電波を用いた映像等の物体の輪郭形状を把握可能なあらゆる撮影手段が含まれる。また、撮影手段と制御手段との情報入出力には、例えばUSB(Universal Serial Bus)を用いたもの、RGBコンポジット入出力、パラレルバス入出力、シリアルバス入出力、IEEE1394(いわゆるFire Wire。)入出力、無線(赤外線ワイヤレス、Bloetooth等)入出力等のあらゆる入出力形態を適用することができる。
【0015】
その撮影手段が、1の領域を撮影する第1の撮影手段と、第1の領域と少なくとも部分的に重複する第2の領域を第1の撮影手段とは異なる方向から撮影する第2の撮影手段と、を有して構成され、制御手段が、第1の領域と第2の領域とが重複する重複領域内における被検知体の3次元座標情報を、第1の撮影手段からの撮影情報と第2の撮影手段からの撮影情報とに基づき取得すると共に、3次元座標情報に基づいて制御指令を出力してもよい。
【0016】
複数の撮影手段によって互いに異なる方向から重複領域を撮影するので、その重複領域における被検知体(例えば、ユーザーの手。)の位置(座標情報)を容易に3次元的に把握することができる。
【0017】
被検知体の位置を複数の撮影手段により把握して、その位置に応じた制御を行うので、ユーザーが別途の入力装置を操作する必要なく、また、ユーザーがセンサー等の別途の検知手段を装着する必要なく、入力操作を行うことができる。
【0018】
制御手段が、重複領域内における物体の移動情報又は輪郭情報のうち少なくともいずれか一方に基づき、物体を被検知体であると判断してもよい。
【0019】
背景に対して比較的動きが大きい、あるいは輪郭の際立った物体を被検知体であると判断するので、被検知体の誤認識を低減することができる。例えば、仮想領域内に内包されるように他の物体(例えば、机や椅子等。)が存在しても、それらが静止している場合には被検知体と誤認識しないようにすることができる。また、同様の色合いの背景中に色合いが異なり際立った輪郭を有する物体(例えば、黒い背景の中にある人の手。)を被検知体と認識することができる。
【0020】
ここで、移動情報に基づく判断とは、撮影情報に基づいて重複領域内の物体の移動の有無、移動速度、移動方向等を検知し、その結果に応じて物体が被検知体であるか否かを判断することをいう。また、輪郭情報は、典型的に、色相情報、明度情報(輝度情報)、彩度情報を含み、これらの情報に基づき、背景又は背景同視し得る物体と被検知体との区別を行うことをいう。
【0021】
制御手段が、少なくとも1つの仮想的な境界平面を有する仮想領域を撮影領域内に設定し、仮想領域内に境界平面を介して侵入状態にある物体を被検知体であると判断してもよい。
【0022】
仮想領域内に境界平面を介して侵入した物体を被検知体であると判断するので、被検知体の誤認識を低減することができる。例えば、仮想領域内に内包されるように他の物体(例えば、机や椅子等。)が存在しても、それらの他の物体を被検知体であるとは認識せず、仮想領域外に立っているユーザーが腕を前方に伸ばすことにより、境界平面を介してその手が仮想領域内に侵入した場合に、その手を被検知体であると判断することができる。
【0023】
ユーザーに起因する物体(ユーザーの身体の一部、ユーザーが手に持つ指示棒やペン等。)を正確に被検知体であると判断し、ユーザーに起因しない他の物体を被検知体でないと正確に判断することができるので、ユーザーによる入力操作を的確に把握することができ、入力操作の誤認識を低減することができる。
【0024】
制御手段が、被検知体の3次元座標情報のうち、境界平面から最遠である3次元座標情報に基づいて制御指令を出力してもよい。
【0025】
ユーザーの手が境界平面を介して仮想領域内に侵入した場合に、例えばユーザーが指した人差し指の先端位置に基づいて制御指令を出力することができる。また、ユーザーが手にペン等を持って入力操作を行う場合に、そのペンの先端部分の位置に基づいて制御指令を出力することができる。
【0026】
制御手段が、撮影領域内における被検知体のジェスチャーに基づいて制御指令を出力してもよい。
【0027】
撮影領域内における被検知体のジェスチャー(動作)に基づいて制御指令を出力するので、多彩な制御を実現することができる上に、ユーザーの直感的で自然な動作を入力操作とすることができる。例えば、重複領域内でユーザーが前に伸ばした腕を左から右に動かす動作を行えば、その腕の動きに応じてマウスポインタが左から右に動いたり、左から右に直線が描かれたりするといった制御を実現することができる。また、例えば、重複領域内でユーザーがあたかもノックするような仕草で、指を前後に1回振ればその動作をクリック操作の入力とし、2回前後に振ればその動作をダブルクリック操作の入力とすることもできる。指を前に突き出したまま上下左右に動かせば、その動作をドラッグ操作の入力とすることもできる。
【0028】
制御手段が、撮影領域内においてジェスチャーが実質的に一致する複数の3次元座標情報を1つの被検知体のものであると判断し、撮影領域内においてジェスチャーが実質的に一致しない複数の3次元座標情報を複数の異なる被検知体のものであると判断してもよい。
【0029】
このように構成することで、撮影領域内に被検知体がいくつ存在するかを把握することができる。したがって、複数の被検知体により実質的に同時的に行われる複数の異なる入力操作を的確に把握して受け付けることができる。例えば、被検知体が1つであると判断した場合には、その1つの被検知体による1つのジェスチャーに基づいて制御指令を出力する。一方、例えば、被検知体が2つであると判断した場合には、その各々2つの被検知体による各々2つのジェスチャーに基づいて各々2つの制御指令を出力する。
【0030】
情報処理装置が、所定の映像表示面に映像表示を行う映像表示手段を更に有し、制御手段が、3次元座標情報に基づいて映像表示を制御する制御指令を出力してもよい。
【0031】
映像表示手段としては、例えばCRTディスプレイ、液晶ディスプレイ、プラズマディスプレイ、ELディスプレイ等のディスプレイ装置の他、壁面やスクリーン等に映像を投影するプロジェクターも含む。これらによる映像表示を被検知体の3次元座標情報に基づいて制御するので、例えばユーザーの身体の一部等である被検知体の動きと映像表示等を融合させて、直感的な動作(入力操作)に基づく面白みのある映像表現等を実現することができる。
【0032】
その入力操作が、2次元的でなく3次元的に把握されるので、より一層面白みのある映像表示制御を行うことができる。例えば、流れる滝の映像に対して、ユーザーが一歩前に踏み出して手をかざせば流れる水がユーザーの手を避けるように映像表現し、一歩後退すれば手をかざしても水がユーザーの手を避けないように映像表現することができる。プロジェクターで映像投影するスクリーンの手前に重複領域を設定することにより、ユーザーがスクリーンの手前に立ってスクリーンを見ながら動作することにより、映像表示制御することができる。また、液晶ディスプレイの下方に重複領域を設定し、その重複領域内に現実には存在しないキーボードを仮想的に設定することにより、液晶ディスプレイ下方の何もない空間でユーザーがキー入力動作を行うことにより、現実のキーボードによるキー入力操作と同様の入力結果を得ることができる。
【0033】
本発明の他の例示的側面としての情報処理方法は、第1の領域を撮影する第1の撮影手段からの撮影情報と第1の領域と少なくとも部分的に重複する第2の領域を第1の撮影手段とは異なる方向から撮影する第2の撮影手段からの撮影情報とに基づき、第1の領域と第2の領域とが重複する重複領域内における被検知体の3次元座標情報を取得するステップと、3次元座標情報に基づいて制御指令を出力するステップとを有することを特徴とする。
【0034】
複数の撮影手段によって互いに異なる方向から重複領域を撮影するので、その重複領域における被検知体(例えば、ユーザーの手。)の位置(座標情報)を3次元的に把握することができる。そして、被検知体の3次元座標情報に基づいて制御指令を出力するので、被検知体の2次元的な位置に基づく制御を行う場合に比べ、多彩な制御を実現することができる。
【0035】
被検知体の位置を複数の撮影手段により把握して、その位置に応じた制御を行うので、ユーザーが別途の入力装置を操作する必要なく、また、ユーザーがセンサー等の別途の検知手段を装着する必要なく、入力操作を行うことができる。
【0036】
本発明の更に他の例示的側面としての情報処理プログラムは、コンピュータを、所定の撮影領域を撮影する撮影手段からの撮影情報に基づき、撮影領域内における被検知体の3次元座標情報を取得する情報取得手段、及び、3次元座標情報に基づいて制御指令を出力する制御指令出力手段、として機能させることを特徴とする。
【0037】
被検知体(例えば、ユーザーの手。)の3次元座標情報に基づいて制御指令を出力するので、被検知体の2次元的な位置に基づく制御を行う場合に比べ、多彩な制御を実現することができる。また、被検知体の3次元的な位置に基づく制御が可能であるので、ユーザーが別途の入力装置を操作する必要なく、また、ユーザーがセンサー等の別途の検知手段を装着する必要なく、入力操作を行うことができる。
【0038】
本発明の更なる目的又はその他の特徴は、以下添付図面を参照して説明される好ましい実施の形態によって明らかにされるであろう。
【発明の効果】
【0039】
本発明によれば、ユーザーが入力装置を操作したり、ユーザーにセンサーを装着したりする必要がなく、直感的な操作、すなわち自然な動作に基づきバリエーションに富む制御指令の入力が可能となる。マウス等の入力装置の使用法に習熟する必要なく、子供や身体の不自由な者にも簡単に直感的、斬新かつ面白みのある入力操作を行うことができる。
【発明を実施するための最良の形態】
【0040】
[実施の形態1]
以下、本発明の実施の形態1に係る情報入力システム(情報処理装置)Sについて、図面を用いて説明する。図1は、この情報入力システムSの全体構成の概略を示す概略構成図である。情報入力システムSは、第1カメラ(第1の撮影手段)1、第2カメラ(第2の撮影手段)2、プロジェクター(映像表示手段)6、コンピュータ(制御手段)8を有して大略構成されている。
【0041】
第1カメラ1は、第1領域(第1の撮影領域)1aを撮影するためのカメラであって、例えばCCDやCMOS等の撮像素子を用いたビデオカメラ等が利用される。第1領域1aは、図1において模式的に破線L1で表された撮影視野内の領域を意味する。本実施の形態1においては、第1カメラ1は、スクリーン10の手前上方位置に配置され、下方を臨むように第1領域1aが設定される。したがって、その第1領域1aは、スクリーン10の手前に設定されている。なお、図1において、スクリーン10から見てその手前方向を後方(−Z方向)、その逆方向を前方(Z方向)とする。また、ユーザーUからスクリーン10を見た場合の左方向をX方向、上方向をY方向とし、各々その逆方向を右方向(−X方向)、下方向(−Y方向)とする。
【0042】
第2カメラ2も第1カメラと同様に、CCDやCMOS等の撮像素子を用いたビデオカメラ等が利用され、模式的に破線L2で表される撮影視野内の領域としての第2領域(第2の撮影領域)2aを撮影している。第2領域2aも第1領域1aと同様に、スクリーン10の手前に設定されており、スクリーン10の手前右方位置に配置された第2カメラ2が、この第2領域2aを左方向(−X方向)に臨むように撮影している。このように、第1カメラ1と第2カメラ2とは、互いに異なる方向から各領域1a,2aを撮影している。
【0043】
第1カメラ1は、第1領域1aの撮影情報1bをコンピュータ8へと入力し、第2カメラ2は、第2領域2aの撮影情報2bをコンピュータ8へと入力するように構成されている。そして、第1領域1aと第2領域2aとは少なくとも部分的に重複しており、その重複領域内には後述するコンピュータ8により仮想領域Wが設定される。したがって、重複領域内の映像は、それぞれ異なる角度から撮影されて第1カメラ1及び第2カメラ2の両方からコンピュータ8へと入力されるようになっている。
【0044】
プロジェクター6は、スクリーン(所定の映像表示面)10に映像表示を行うためのものである。プロジェクター6は、コンピュータ8に接続され、コンピュータ8からの映像信号3に基づく表示映像をスクリーン10上に投影することができるようになっている。例えば、図2(a)に示すように、OS(オペレーティングシステム)のデスクトップ上に配置された各種アプリケーションプログラムの実行アイコン12やフォルダ14が表示されたり、図2(b)に示すように、起動中のグラフィックソフトの描画面16が表示されたりするようになっている。
【0045】
コンピュータ8は、第1カメラ1、第2カメラ2、プロジェクター6と接続された制御手段である。以下、このコンピュータ8の概略構成及びその詳細機能について説明する。
【0046】
図3にその内部構成の概略を示すように、コンピュータ8は、内部に記憶装置4とCPU(演算処理装置)5とを有して大略構成される。記憶装置4は、メモリ又はハードディスク等により構成されて情報を格納、保存するための装置であって、本実施の形態1においては、記憶装置4内部に情報処理プログラムP、ジェスチャーデータベースD、仮想領域設定情報Vが格納されている。
【0047】
情報処理プログラムPは、コンピュータ8の主要部としてのCPU5を、情報取得手段5a、ジェスチャー判定手段5b、制御指令出力手段5c、制御指令処理手段5dとして機能させるためのプログラムソフトウェアである。CPU5が発揮するこれらの各機能については詳細を後述する。
【0048】
ジェスチャーデータベースDは、被検知体U1のジェスチャー(動作)パターンとそのジェスチャーに対応する制御指令(コマンド)とが相互に関連付けられて構成されている。例えば、図4に示すように、被検知体U1の「短時間での前後往復1回動作」に対して、「マウスクリック」という制御指令が関連付けられ、「短時間での前後往復2回動作」に対して、「ダブルクリック」という制御指令が関連付けられている。被検知体U1の「前方移動後に後退せずにXY平面内での移動動作」に対して「XY平面内でのドラッグ」という制御指令が関連付けられている。
【0049】
もちろんその他にも、「スクロール」、「削除」、「拡大」、「縮小」、「回転」等の各種制御指令に対して、各々対応するジェスチャーが関連付けられていてもよい。その場合において、2つの被検知体による連係動作(例えば、2つの被検知体が相互に離れると「拡大」、相互に近づくと「縮小」等。)が各々の制御指令と関連付けられていてもよい。
【0050】
仮想領域設定情報Vは、重複領域内に設定される仮想領域Wの3次元座標情報(位置情報、XYZ座標情報)を格納し、実空間上での仮想領域Wの位置を画定している。すなわち、第1カメラ1及び第2カメラ2の各撮影情報1b,2bに基づき、図1に示す実空間上において仮想的に示す頂点t1〜t8の3次元座標情報を格納している。そして、これら各頂点t1〜t8によって囲まれる直方体領域が仮想領域Wとして設定される。その仮想領域Wにおいて、本実施の形態1では、頂点t1〜t4によって画定される最後方の平面が境界平面W1として設定され、頂点t5〜t8はすべてスクリーン10上に設定されている。
【0051】
もちろん、仮想領域Wの形状は直方体に限られず、球形、円柱形、三角錐形等の各種の形状を設定可能である。また、本実施の形態1においては、頂点t5〜t8をスクリーン10上に設定しているが、スクリーン10の手前(−Z方向位置)にt5〜t8を設定してもよい。
【0052】
次に、CPU5が発揮する各機能について説明する。
【0053】
情報取得手段5aは、第1カメラ1及び第2カメラ2から各々の撮影情報1b,2bを取得する機能を有する。そして、その撮影情報1b,2bに基づき、仮想領域W内における被検知体U1の3次元座標情報を取得する機能も有する。
【0054】
すなわち、情報取得手段5aは、第1カメラ1による第1領域1aの撮影情報1bと第2カメラ2による第2領域2aの撮影情報2bとを取得する。そして、その撮影情報1b,2bを用いて画像認識処理を行うことにより、仮想領域W内に被検知体U1が存在するか否かを判定し、被検知体U1が存在する場合にその3次元座標情報を取得する。
【0055】
その画像認識処理は、公知の画像認識処理技術を用いることができるが、例えば、以下のような手順で行うことができる。すなわち、撮影情報1b,2b中の輝度情報、明度情報、彩度情報等に基づき、重複領域内に存在する物体の輪郭抽出を行う。その物体が重複領域内に存在するか否かは、その物体に起因する形状情報が第1領域1a内と第2領域2a内との両方に存在するか否かに基づいて判断することができる。
【0056】
そして、その物体が重複領域内に存在すると判断した場合に、その物体が境界平面W1を介して仮想領域W内に侵入しているか否かを判断し、境界平面W1を介して仮想領域W内に侵入している場合にその物体を被検知体U1であると判断する。画像認識処理によって輪郭形状が抽出された物体の少なくとも一部が頂点t1〜t4により設定される境界平面W1と交差し、かつその物体の少なくとも一部が頂点t1〜t8により設定される仮想領域W内に存在する場合に、その物体を被検知体U1であると判断する。本実施の形態1においては、被検知体U1は、ユーザーUの手である。
【0057】
情報取得手段5aは、仮想領域W内にユーザーUの手(被検知体)U1が存在すると判断すると、その手U1のうち境界平面W1から最遠にある部分(最遠部)U2を認識する。この最遠部U2の3次元座標情報は、仮想領域W内に存在する手U1の輪郭を構成する複数箇所の3次元座標情報のうち、Z座標が最も大きい(すなわち、最もスクリーン10に近い。)部分の3次元座標情報である。本実施の形態1においては、最遠部U2は、ユーザーUの指先である。情報取得手段5aは、この指先U2の3次元座標情報を常に把握し、その位置・動作方向・動作速度等を常に監視している。
【0058】
本実施の形態1においては、この指先U2の位置はマウスポインタ7の位置に対応しており、指先U2の3次元座標情報に基づき、コンピュータ8は、プロジェクター6にマウスポインタ7の映像を表示させる。すなわち、指先U2の3次元座標情報のうちXY座標の2次元座標情報に基づいて、スクリーン10上の対応位置にマウスポインタ7が表示される。指先U2のXY座標位置が変化すると、対応してマウスポインタ7の表示位置も変化するようになっている。
【0059】
ジェスチャー判定手段5bは、ユーザーUの指先U2の動作が予め定められたジェスチャーパターンに対応する動作であるか否かについて判定する機能を有する。具体的には、情報取得手段5aから取得した指先U2の3次元座標情報に基づき、その指先U2の動作がジェスチャーデータベースD内に格納されたジェスチャーパターンと符合するか否かを判定する。
【0060】
そして、指先U2の動作がジェスチャーデータベースD内のいずれかのジェスチャーパターンと符合する場合に、そのジェスチャーパターンに関連付けられた制御指令を制御指令出力手段5cから出力させる。例えば、指先U2の動作が「短時間での前後往復1回動作」であると判断した場合に、制御指令出力手段5cから「マウスクリック」という制御指令を出力させる。
【0061】
一方、指先U2の動作がジェスチャーデータベースD内のいずれのジェスチャーパターンとも符合しない場合には、ジェスチャー判定手段5bは制御指令出力手段5cから映像表示を制御する制御指令を出力させる。この映像表示制御指令に基づいて、指先U2のXY座標位置の変化に対応してマウスポインタ7の表示位置が変化するようになっている。
【0062】
制御指令出力手段5cは、指先U2の3次元座標情報に基づいて制御指令を出力する機能を有する。具体的には、ジェスチャー判定手段5bによる判定結果に応じて、「マウスクリック」、「ダブルクリック」、「ドラッグ」といった制御指令や映像表示を制御する映像表示制御指令を出力する。
【0063】
例えば、指先U2がスクリーン10上の実行アイコン12上に対応する位置にある場合において、ジェスチャー判定手段5bが「マウスクリック」を判定した場合、この制御指令出力手段5cが「マウスクリック」の制御指令を出力して制御指令処理手段5dにその実行アイコン12に対応するアプリケーションプログラムの実行処理を行わせる。例えば、指先U2がスクリーン10上のフォルダ14上に対応する位置にある場合において、ジェスチャー判定手段5bが「ダブルクリック」を判定した場合、この制御指令出力手段5cが「ダブルクリック」の制御指令を出力して制御指令処理手段5dにそのフォルダ14内に格納されたファイルの一覧表示処理を行わせる。
【0064】
また、例えば、既にグラフィックソフトが起動中であってスクリーン10上に描画面16が表示されている場合において、仮想領域W内の左側から右側へと移動する指先U2の動作がいずれのジェスチャーパターンにも符合しないとジェスチャー判定手段5bによって判定された場合、この制御指令出力手段5cがマウスポインタ7をスクリーン10上で左側から右側へと移動する映像表示制御指令を出力する。その映像表示制御指令に基づき、制御指令処理手段5dは描画面16上に左側から右側への線の描画を実行する。
【0065】
制御指令処理手段5dは、制御指令出力手段5cからの制御指令に基づき、コンピュータ8に所定の演算処理を実行させる。その制御指令が「マウスクリック」や「ダブルクリック」等のマウスボタン操作に相当する制御指令である場合には、その制御指令に対応する処理(例えば、アプリケーションの起動、フォルダの内容表示、アイコンやフォルダ等のオブジェクトの移動。)をコンピュータ8に実行させる。一方、その制御指令が映像表示制御指令である場合には、その映像表示制御指令に基づき映像信号3を調整し、プロジェクター6によりスクリーン10上に映像表示させる。
【0066】
次に、この情報入力システムSにおける情報入力の手順について、図5のフローチャートを用いて説明する。
【0067】
第1カメラ1が第1領域1aを撮影し、その撮影情報1bをコンピュータ8へと出力する(S.1)。同時に、第2カメラ2が第2領域2aを撮影し、その撮影情報2bをコンピュータ8へと出力する(S.2)。重複領域内に仮想領域Wを設定し、その頂点t1〜t8の3次元座標情報を仮想領域設定情報V内へと格納する(S.3)。
【0068】
撮影情報1b,2bに基づき、仮想領域W内に物体が存在するか否かを判断し(S.4)、物体が存在する場合に、その物体がユーザーUの手U1であるか否かを判断する(S.5)。具体的には、物体が境界平面W1を介して仮想領域W内に侵入している場合に、その物体が手U1であると判断する。
【0069】
コンピュータ8が手U1を把握すると、その指先U2の位置を認識する(S.6)。具体的には、仮想領域W内の手U1のうち、境界平面W1から最遠となる部分(すなわち、Z座標が最大の点。)を指先U2であると認識し、その3次元座標情報を取得する。指先U2の3次元座標情報のうちのXY座標情報に基づき、プロジェクター6によりその指先U2のXY座標情報に対応するスクリーン10上の位置にマウスポインタ7を表示する(S.7)。
【0070】
コンピュータ8は、その指先U2の動作を3次元座標情報に基づいて把握する(S.8)。その指先U2の動作がジェスチャーデータベースD内のジェスチャーパターンと符合する場合(S.9)、コンピュータ8は、そのジェスチャーパターンに対応する制御指令を出力し(S.10)、例えば、マウスクリックやダブルクリック等の動作を実行する。一方、指先U2の動作がジェスチャーデータベースD内のジェスチャーパターンと符合しない場合(S.9)、指先U2のXY平面内での移動に対応してマウスポインタ7の移動表示を行う(S.11)。そのマウスポインタ7の移動表示に基づいて、例えば、線の描画操作等が実現される。
【0071】
以上、本発明の好ましい実施の形態を説明したが、本発明はこれらに限定されるものではなく、その要旨の範囲内で様々な変形や変更が可能である。
【0072】
例えば、上記実施の形態1においては、仮想領域W内に1つの被検知体が存在する場合について説明したが、仮想領域W内に複数の被検知体が存在してもよい。その場合において、情報取得手段5aにより、複数の被検知体の輪郭を構成する複数箇所からの多数の3次元座標情報が取得される。その多数の3次元座標情報が実質的に同じ動作に基づき移動している場合には、それらの多数の3次元座標情報は1つの被検知体によるものであると判断することができ、仮想領域W内に1つの被検知体が存在すると判断することができる。
【0073】
一方、多数の3次元座標情報が実質的に異なる動作に基づき移動している場合、すなわち、それら多数の3次元座標情報のうちいくつかは実質的に左方向(−X方向)へと移動しているにも拘らず、他の3次元座標情報は実質的に右方向(X方向)へと移動している場合には、仮想領域W内に2つの被検知体(例えば、ユーザーUの右手と左手。)が存在すると判断することができる。したがって、2つの被検知体の動作に基づき、2つの異なる制御指令を略同時的に出力するように構成することもできる。また、2つの被検知体の連係動作に基づき、例えば「拡大」、「縮小」、「回転」等の新たな制御指令を出力するように構成することもできる。
【0074】
[実施の形態2]
図6は、本発明の実施の形態2に係る情報入力システムS’の全体構成の概略を示す概略構成図である。この実施の形態2においては、情報入力システムS’が第1カメラ21、第2カメラ22、液晶ディスプレイ26、コンピュータ28を有して大略構成されている。
【0075】
第1カメラ21及び第2カメラ22は、例えばCMOS等の撮像素子を用いてコンピュータ28とUSB(Universal Serial Bus)接続される、いわゆるUSBカメラ又はWebカメラと呼ばれる簡易なカメラである。この情報入力システムS’においては、液晶ディスプレイ26の左右両側に第1カメラ21及び第2カメラ22が配置されており、これらが、液晶ディスプレイ26の手前下方に設定される仮想領域W’を含む重複領域を撮影している。
【0076】
この仮想領域W’は、頂点t21〜t28によって囲まれるように形成され、上方に位置する頂点t21〜t24によって境界平面W1’が設定される。仮想領域W’内には複数の仮想キー領域Kが設定される。この仮想キー領域Kは、キーボードに対応するキー配列に基づき仮想的に設定されるもので、仮想領域Wと同様に、複数の仮想的な頂点(例えば、頂点k1〜k8)によって囲まれている。
【0077】
そして、仮想キー領域Kには、それぞれキーボードのキーに対応するように異なる文字情報の入力制御指令が関連付けられており、所定の仮想キー領域K内にユーザーの指先U2が境界平面W1’を介して侵入すると、その仮想キー領域Kに対応する文字情報の入力が行われるようになっている。
【0078】
この実施の形態2に係る構成によれば、キーボード等の入力装置を別途用意する必要なく、仮想的なキーボードを設定することができ、例えば液晶ディスプレイ26手前の机上空間でユーザーがキー入力操作を行えば、そのキー入力操作に対応するキー入力が可能となる。別途の入力装置を必要としないので、システム全体としてのコスト低減や可搬性向上を実現することができ、操作スペースも省スペースとすることができる。
【0079】
[変形例]
1つの撮影手段によって、被検知体の3次元座標情報を取得することも可能である。例えば、CCDカメラによって被検知体のYX座標情報を得ると共に、被検知体の被写界深度情報に基づき被検知体のZ座標情報を得ることもできる。
【0080】
具体例としては、例えば、CCDカメラのピント位置を前後(±Z方向)に移動させ、どの位置で被検知体に合焦するかを検出することにより、被検知体のZ方向位置を把握することができる。また、別途準備されたオートフォーカス装置を用いて撮影領域内の被検知体までの距離を赤外線等を用いて計測することにより、被検知体のZ方向位置を把握することもできる。
【0081】
このようなCCDカメラをコンピュータに接続する接続方式としては、上述したUSBを用いる場合の他にも、IEEE1394(Fire Wire)接続方式、赤外線を用いた無線接続方式、bluetooth等の電波を用いた無線接続方式等のあらゆる接続方式を適用することが可能である。
【図面の簡単な説明】
【0082】
【図1】本発明の実施の形態1に係る情報入力システムの全体構成の概略を示す概略構成図である。
【図2】図1に示すスクリーン上に表示される表示映像の例であって、(a)は、OSのデスクトップ上に配置された実行アイコンやフォルダの表示例であり、(b)は、起動中のグラフィックソフトの描画面の表示例である。
【図3】図1に示すコンピュータの内部構成の概略を示す概略構成図である。
【図4】図3に示すコンピュータの記憶装置内に格納されたジェスチャーデータベースのデータ構成図である。
【図5】本発明の実施の形態1に係る情報入力システムにおける情報入力の手順を示すフローチャートである。
【図6】本発明の実施の形態2に係る情報入力システムの全体構成の概略を示す概略構成図である。
【符号の説明】
【0083】
D:ジェスチャーデータベース
K:仮想キー領域
L1,L2:破線
P:情報処理プログラム
S,S’:情報入力システム(情報処理装置)
t1〜t8,t21〜t28,k1〜k8:頂点
U:ユーザー
U1:手(被検知体)
U2:指先(最遠部)
V:仮想領域設定情報
W,W’:仮想領域
W1,W1’:境界平面
1,21:第1カメラ(第1の撮影手段)
1a:第1領域(第1の撮影領域)
1b:撮影情報
2,22:第2カメラ(第2の撮影手段)
2a:第2領域(第2の撮影領域)
2b:撮影情報
3:映像信号
4:記憶装置
5:CPU(演算処理装置)
5a:情報取得手段
5b:ジェスチャー判定手段
5c:制御指令出力手段
5d:制御指令処理手段
6:プロジェクター(映像表示手段)
7:マウスポインタ
8,28:コンピュータ(制御手段)
10:スクリーン(所定の映像表示面)
12:実行アイコン
14:フォルダ
16:描画面
26:液晶ディスプレイ

【特許請求の範囲】
【請求項1】
所定の撮影領域を撮影して撮影情報を出力する撮影手段と、
前記撮影領域内における被検知体の3次元座標情報を、前記撮影手段からの撮影情報に基づき取得すると共に、該3次元座標情報に基づいて制御指令を出力する制御手段と、を有する情報処理装置。
【請求項2】
前記撮影手段が、
第1の領域を撮影する第1の撮影手段と、
前記第1の領域と少なくとも部分的に重複する第2の領域を前記第1の撮影手段とは異なる方向から撮影する第2の撮影手段と、を有して構成され、
前記制御手段が、
前記第1の領域と前記第2の領域とが重複する重複領域内における被検知体の3次元座標情報を、前記第1の撮影手段からの撮影情報と前記第2の撮影手段からの撮影情報とに基づき取得すると共に、該3次元座標情報に基づいて制御指令を出力する請求項1に記載の情報処理装置。
【請求項3】
前記制御手段が、
前記重複領域内における物体の移動情報又は輪郭情報のうち少なくともいずれか一方に基づき、該物体を前記被検知体であると判断する請求項1又は請求項2に記載の情報処理装置。
【請求項4】
前記制御手段が、
少なくとも1つの仮想的な境界平面を有する仮想領域を前記撮影領域内に設定し、
該仮想領域内に前記境界平面を介して侵入状態にある物体を前記被検知体であると判断する請求項1又は請求項2に記載の情報処理装置。
【請求項5】
前記制御手段が、
前記被検知体の3次元座標情報のうち前記境界平面から最遠である3次元座標情報に基づいて前記制御指令を出力する請求項3又は請求項4に記載の情報処理装置。
【請求項6】
前記制御手段が、
前記撮影領域内における前記被検知体のジェスチャーに基づいて前記制御指令を出力する請求項1又は請求項2に記載の情報処理装置。
【請求項7】
前記制御手段が、
前記撮影領域内において前記ジェスチャーが実質的に一致する複数の前記3次元座標情報を1つの被検知体のものであると判断し、
前記撮影領域内において前記ジェスチャーが実質的に一致しない複数の前記3次元座標情報を複数の異なる被検知体のものであると判断する請求項6に記載の情報処理装置。
【請求項8】
所定の映像表示面に映像表示を行う映像表示手段を更に有し、
前記制御手段が、前記3次元座標情報に基づいて該映像表示を制御する制御指令を出力する請求項1から請求項7のうちいずれか1項に記載の情報処理装置。
【請求項9】
第1の領域を撮影する第1の撮影手段からの撮影情報と前記第1の領域と少なくとも部分的に重複する第2の領域を前記第1の撮影手段とは異なる方向から撮影する第2の撮影手段からの撮影情報とに基づき、前記第1の領域と前記第2の領域とが重複する重複領域内における被検知体の3次元座標情報を取得するステップと、
該3次元座標情報に基づいて制御指令を出力するステップと、を有する情報処理方法。
【請求項10】
コンピュータを、
所定の撮影領域を撮影する撮影手段からの撮影情報に基づき、該撮影領域内における被検知体の3次元座標情報を取得する情報取得手段、及び、
該3次元座標情報に基づいて制御指令を出力する制御指令出力手段、として機能させる情報処理プログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate


【公開番号】特開2009−251702(P2009−251702A)
【公開日】平成21年10月29日(2009.10.29)
【国際特許分類】
【出願番号】特願2008−95605(P2008−95605)
【出願日】平成20年4月2日(2008.4.2)
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.Bluetooth
【出願人】(507273231)
【出願人】(508100446)
【出願人】(508100457)
【Fターム(参考)】