情報処理装置およびその動作方法
【課題】 所定の面に対する接触を精度良く判定する。
【解決手段】 距離画像センサを用いて、注目時点における前記面の上に存在する物体の位置を検知し、前記注目時点において、検知された位置および前記位置の周辺を撮影した色画像から前記物体の端部を特定し、前記物体の位置に基づいて、特定された前記端部の位置を推定し、前記端部の位置に応じて前記面に対する接触を判定する。
【解決手段】 距離画像センサを用いて、注目時点における前記面の上に存在する物体の位置を検知し、前記注目時点において、検知された位置および前記位置の周辺を撮影した色画像から前記物体の端部を特定し、前記物体の位置に基づいて、特定された前記端部の位置を推定し、前記端部の位置に応じて前記面に対する接触を判定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、接触を判定する技術に関する。
【背景技術】
【０００２】
テーブル上で情報の表示や入力を行うテーブル（以下、インタラクティブテーブルという。）を用いたユーザインターフェースは、テーブルトップインターフェースと呼ばれる。テーブルトップインターフェースでは、指先による机上へのタップ（入力）が用いられる場合がある。例えば、特許文献１には、投射光を拡散できる程度に半透明な素材を机に使い、机下から机を透過して得られる手の画像に基づき、手指の形状やジェスチャを取得する手法が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−４０２７１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来技術によると、ユーザが接触する机に機械が埋め込まれることになり、机に埋め込まれた機械そのものに対して、衝撃等、物理的な負荷がかかる場合があった。そこで本発明は、機械そのものに対してかかる物理的な負荷を軽減すると共に、机上へのタップ（入力）を精度良く判定することを目的とする。
【課題を解決するための手段】
【０００５】
上記課題を解決するため本発明に係る情報処理装置は、距離画像センサを用いて、注目時点における所定の面の上に存在する物体の位置を検知する検知手段と、前記注目時点において、検知された位置および前記位置の周辺を撮影した色画像から前記物体の端部を特定する特定手段と、前記物体の位置に基づいて、特定された前記端部の位置を推定する推定手段と、前記端部の位置に応じて前記面に対する接触を判定する判定手段とを有する。
【発明の効果】
【０００６】
本発明によれば、機械そのものに対してかかる物理的な負荷を軽減すると共に、机上へのタップを精度良く判定することが可能となる。
【図面の簡単な説明】
【０００７】
【図１】インタラクティブテーブル等を設置した様子を示す図。
【図２】第１の実施形態に係るシステムの機能ブロック図。
【図３】入力位置を特定する処理の流れを示すフローチャート。
【図４】距離画像２０５、２０７の一例および距離画像２０５に対する処理を示す図。
【図５】色画像２１８を示す図。
【図６】指先の位置として推測される位置を示す図。
【発明を実施するための形態】
【０００８】
（第１の実施形態）
以下、図面を参照しながら、本発明を実施するための形態について説明する。尚、同じ要素については同符号を付し、その説明を省略する。図１は、本実施形態に係るシステムを構成する要素（インタラクティブテーブル等）を設置した様子を示す図である。本実施形態に係るシステムは、机１０１、プロジェクタ１０４、距離画像センサ１０５、色画像センサ（ビデオカメラ）１０６、演算装置（情報処理装置）１０７から構成される。
【０００９】
机１０１は標準的な机である。本実施形態において、机１０１は、矩形をなす平面を有し、インタラクティブテーブルとして情報（文字、画像等）を映す投影面（表示面）として機能する。ユーザーは、指先１０２を机１０１に接触させることで、このインタラクティブテーブルに対して所定の指示入力を行う。尚、指先１０２の接触に変えて、ペンなどの物体の先端部を接触させることによって、所定の指示入力をおこなってもよい。例えば、机１０１上にオブジェクト１０３が表示されているときに、ユーザーはオブジェクト１０３の領域に指先を接触させることで、オブジェクト１０３を選択する。プロジェクタ１０４は机１０１上に情報を投射する。尚、オブジェクト１０３はプロジェクタ１０４により投射されているオブジェクトである。
【００１０】
距離画像センサ１０５は机１０１の上方に（机１０１と対向する向きに）設置され、机１０１上の領域を映し、距離画像を出力する。尚、距離画像とは、その画像中の各ピクセルの明度が、距離画像センサからそのピクセルに映る被写体までの距離を表す画像をいう。尚、距離画像は異なる複数の時点のそれぞれ（注目時点）において出力されるものとする。色画像センサ１０６は机１０１の上方に（机１０１と対向する向きに）設置され、机１０１上の領域を映す。尚、画像センサとは、ビデオカメラ、カムコーダ等である。また、色画像センサが出力する色画像は、ビデオカメラ等によって撮影された画像（映像）であり、その画像中の各ピクセルが、そのピクセルに映る被写体の色を表す。尚、色画像も距離画像と同様に各注目時点で出力されるものとし、対応する注目時点の色画像と距離画像とは互いに関連付けて保持されるものとする。
【００１１】
演算装置（情報処理装置）１０７は、ＲＯＭ、ＲＡＭ、ＣＰＵを有し、ＲＯＭに格納されたプログラムやデータをＲＡＭに展開し、ＣＰＵが実行することによってその機能を実現する。また、演算装置（情報処理装置）１０７は、プロジェクタ１０４による情報の投影を制御すると共に、距離画像センサ１０５から距離画像を、色画像センサ１０６から色画像を定期的に（所定の時間間隔で）取得する。
【００１２】
尚、距離画像センサ１０５及び色画像センサ１０６は、画像を取得する画角内に机１０１の全面を含む様に、かつ机１０１から見てユーザーの指先１０２よりも遠方に配置される。本実施形態では、後述するフローチャートの各ステップに対応する処理動作を、演算装置１０７に含まれるＣＰＵを用いてソフトウェアで実現することとする。しかし、その処理の一部または全部を電子回路などのハードウェア、或いは机１０１、プロジェクタ１０４、距離画像センサ１０５や色画像センサ１０６などに含まれるＣＰＵやハードウェアにより実現するようにしても構わない。また、本発明は、プロジェクタ１０４を用いることなく、机１０１を液晶ディスプレイ等に変えて実現してもよい。
【００１３】
図２は第１の実施形態に係るシステムの機能ブロック図である。本システムは、近接判定を行うモジュール２０１、指先座標を取得するモジュール２０２、指先座標を推測するモジュール２０３から構成される。まず、距離画像に基づいて机１０１と指先１０２との近接を判定するモジュール２０１について詳細に説明する。距離画像取得部２０４は距離画像センサ１０５にアクセスし距離画像２０５を取得する。図４（Ａ）は、距離画像２０５の一例を示す図である。本実施形態では、距離画像２０５において、その映る範囲は机１０１と一致するものとする。尚、映る範囲と机１０１とが一致しない場合に、事前のキャリブレーションと画像取得ごとの透視変換により、机１０１に相当する領域のみを切り出しても良い。距離画像において明度はそのピクセルに映る被写体の距離画像センサからの距離を示す。例えば、図４（Ａ）において、距離画像センサの光軸と机の法線とが直交するならば、その明度は同心円状に変化する。そして、距離画像２０５はユーザーの腕１０８を映す事がある。ユーザーの指先１０２が机１０１にある程度（所定の閾値）以上近接していることが検知された場合、指先１０２の位置に対応する画素の明度と机１０１の位置に対応する画素の明度は近くなる。平面画像記録部２０６はユーザーの腕１０８を含まない状態で距離画像センサから机１０１までの距離画像を取得し、平面画像２０７として保存する。
【００１４】
図４（Ｂ）は、平面画像２０７の一例を示す図である。尚、本実施形態において、平面画像２０７を保存した後、机１０１、距離画像センサ１０５、色画像センサ１０６の位置関係は変わらないものとする。距離画像前景背景分離部２０８は距離画像２０５からユーザーの腕１０８にあたる領域とそれ以外の領域とを分離し、ユーザーの腕１０８に相当する領域を距離画像前景２０９として保存する。図４（Ｃ）は、距離画像前景２０９の一例を示す図である。指先距離取得部２１０は、距離画像２０５及び距離画像前景２０９から、距離画像における指先の座標２１１、および距離画像取得手段から指先までの距離２１２を求める。図４（Ｃ）内に距離画像における指先の座標２１１を示す。距離画像取得手段から指先までの距離２１２は、距離画像センサ１０５と指先１０２までの距離に相当する。平面距離取得部２１３は、平面画像２０７及び距離画像における指先の座標２１１から、距離画像取得手段から平面までの距離２１４を求める。距離画像取得手段から平面までの距離２１４は、図１において、距離画像センサ１０５から、距離画像センサ１０５と指先１０２を結んだ線分が机１０１と交差する点１０９までの距離に相当する。
【００１５】
近接判定部２１５は、距離画像取得手段から指先までの距離２１２と距離画像取得手段から平面までの距離２１４、後述する色画像における指先の座標２２２と色画像における指先の推測座標２２６から、指先と平面が近接したか否かを示す情報２１６を求める。尚、近接判定部２１５は、指先と平面が近接したか否かを示す情報２１６を出力する。
【００１６】
次に、色画像に基づいて指先の座標を取得するモジュール２０２の構成要素を説明する。色画像取得部２１７は色画像センサ１０６にアクセスし色画像２１８を取得する。図５（Ａ）は、色画像２１８の一例を示す図である。尚、本実施形態においては、色画像２１８も距離画像２０５と同様にその映る範囲は机１０１と一致するとする。また、映る範囲と机１０１の範囲とが一致しない場合はキャリブレーションと透視変換により机１０１に相当する領域のみを切り出してもよい。また、色画像２１８においては、ユーザーの腕１０８、ユーザーの指先１０２、プロジェクタが投影するオブジェクト１０３が画像中に映る事がある。色画像前景背景分離部２１９は、色画像２１８及び距離画像前景２０９から、色画像前景２２０を求める。図５（Ｂ）は、色画像前景２２０の指先１０２を含む一部を拡大した例を示す図である。指先座標取得部２２１は、色画像前景２２０から、色画像における指先の座標２２２を求める。図５（Ｂ）に色画像における指先の座標２２２を示す。尚、モジュール２０２は、色画像における指先の座標２２２を出力する。
【００１７】
次に、指先の座標を推測するモジュール２０３の構成要素について説明する。腕方向近似部２２３は、距離画像前景２０９から、距離画像における腕方向２２４を求める。図４（Ａ）に図示した腕方向２２４は腕の位置と向きを示している。指先座標推測部２２５は、距離画像における腕方向２２４から、色画像における指先の推測座標２２６を求める。色画像における指先の推測座標２２６を図６に示す。尚、モジュール２０３は、色画像における指先の推測座標２２６を出力する。
【００１８】
図３は、入力位置を特定する処理の流れを示すフローチャートである。このフローチャートに従って、図１に示す構成のテーブルトップインターフェースで、ユーザーの指先１０２が机１０１に近接したか否か、及び近接した場合の指先１０２の座標を求める。尚、図３（Ａ）のステップＳ３０１〜Ｓ３１３の処理は、モジュール２０１が実行する処理である。また、図３（Ｂ）のステップＳ３２０〜Ｓ３２４の処理は、モジュール２０２が実行する処理である。また、図３（Ｃ）のステップＳ３３０〜Ｓ３３３の処理は、モジュール２０３が実行する処理である。尚、各モジュールは、それぞれＣＰＵ、ＲＯＭ、ＲＡＭ等を有する装置によって実現されてもよい。
【００１９】
ステップＳ３０１〜Ｓ３０２はモジュール２０１の前処理に相当する。まず、ステップＳ３０１で、距離画像と色画像との位置をキャリブレーションする。具体的には、まず、全画面単色な画像をプロジェクタ１０４で投影する。次に、距離画像取得部２０４及び色画像取得部２１７でそれぞれ距離画像と色画像とを取得する。距離画像と色画像のそれぞれについて、プロジェクタ１０４で投影したその四頂点を画像内から検出し、その４頂点を結ぶ矩形をプロジェクタの縦横比で表現される矩形に透視変換する行列を求める。ここで、色画像センサは通常距離画像センサよりも解像度が高く、それ故に、キャリブレーション後も色画像の方が距離画像よりも高解像だとする。この後、距離画像取得部２０４と色画像取得部２１７のそれぞれは、画像を取得するたびに先に求めた透視変換を施し、キャリブレーション済みの画像を出力するとする。次に、ステップＳ３０２で、平面画像を取得し保存する。取得した平面画像２０７の例を図４（Ｂ）に示す。具体的には、図１に示される構成において、机１０１上にユーザーの腕１０８が存在しない状態で距離画像センサ１０５から距離画像を取得する。但し、この平面画像２０７も、ステップＳ３０１で得られたキャリブレーションが施されているものとする。
【００２０】
ステップＳ３０３〜Ｓ３１２がモジュール２０１の本処理である。ステップＳ３０３において、オブジェクトをある座標に投影する。例えば、ユーザーに何らかの情報の承認を求めるとする。「ＯＫ」という文字列を含むオブジェクト１０３を、プロジェクタ１０４を用いて、机１０１に投影する。次に、ステップＳ３０４において、距離画像及び色画像を取得する。ここで、図４（Ａ）に示す距離画像２０５、及び図５（Ａ）に示す色画像２１８が得られたとする。図４（Ａ）の距離画像２０５において、ユーザーの指先１０２は机１０１と近接しており、その明度が近しいとする。また、図５（Ａ）の色画像２１８において、ユーザーの腕１０８と、ユーザーの指先１０２が映っているとする。次に、ステップＳ３０５において、距離画像から背景画像を引き、閾値処理し、距離画像前景を得る。具体的には、図４（Ａ）に示す距離画像２０５に含まれる各ピクセルについて、その明度から、図４に示す平面画像２０７の同一座標の明度を引き、その差が事前に設定された閾値以上である場合に、そのピクセルは距離画像前景２０９に含まれるとする。得られた距離画像前景２０９の例を図４（Ｃ）に示す。この閾値処理は、距離画像センサ１０５が一般に持つ測定誤差により、必ずしも画像の明度が測定ごとに一定しない為、この誤差を抑え込む事が目的である。一方で、机１０１から指先１０２の距離が閾値あるいは距離画像センサの量子化精度を下回る場合、その指先の領域は机と区別する事が出来ず、結果として距離画像前景に含まれない。上記の理由により、図５（Ｃ）に示す距離画像前景２０９に、指先１０２に相当する領域は含まれないとする。ここで、得られた画像前景に対し、浸食処理と肥大処理を施し、小さなノイズを削除してもよい。
【００２１】
次に、ステップＳ３０６において、距離画像の前景について連結画素塊を求め、指が含まれる連結画素塊を選択し、近似楕円を求める。連結画素塊の生成手法は任意であり、４結合でも８結合でも構わない。指が含まれる連結画素塊の選択は、例えば、距離画像前景に連結画素塊が一つしか含まれなければそれを選択して良いし、複数の連結画素塊が含まれるならば最大のものを選んでもよい。連結画素塊５０１として距離画像前景２０９と同じ領域が得られたとする。連結画素塊５０１の近似楕円の導出は５つ以上輪郭上の点に対して楕円パラメータを最小二乗推定する手法など周知の手法を用いる。以下、周知の手法を用いて、近似楕円５０２が得られたとする。次に、ステップＳ３０７において、距離画像での指先の座標及び距離画像センサから指先の距離を求める。具体的には、近似楕円５０２の長軸５０３が近似楕円５０２と交差する点を求め、その点を距離画像での指先の座標２１１とする。次に、指先の座標２１１を中心としたある程度の半径の円５０４の範囲内かつ連結画素塊５０１内に含まれる各ピクセルの明度を平均し、距離画像取得手段から指先までの距離２１２とする。次に、ステップＳ３０８において、距離画像センサから机までの距離を求める。ステップＳ３０７で求めた指先の座標２１１に相当する座標の平面画像２０７での明度を求めればよい。
【００２２】
次に、ステップＳ３０９において指先が机に近接しているかを判定し、指先が机に近接していればステップＳ３１０に、近接していなければステップＳ３０３に遷移する。指先と机の近接の判定には、まず、ステップＳ３０７で求めた距離２１２から、ステップＳ３０８で求めた、距離画像センサから机までの距離が事前に設定した閾値よりも低い場合に、指先１０２と机１０１が近接していると判定する。ここで、距離画像前景２０９内の各ピクセルの明度は、机１０１からステップＳ３０５で用いた閾値よりも大きく離れている為、机１０１と指先１０２の識別に用いる閾値は、ステップＳ３０５で用いた閾値よりも大きくなければならない。次に、ステップＳ３１０において、色画像における指先の座標を求める。色画像を図５（Ａ）の２１８、色画像中の指先を含む領域（指先の位置およびその周辺）の拡大図を図５（Ｂ）とする。尚、本図には、色画像における指先の座標２２２が示されている。このステップＳ３１０の詳細については後述する。
【００２３】
次に、ステップＳ３１１において、距離画像の指先から、色画像における指先の位置を推測する。図６に、色画像における指先の推測座標２２６を示す。このステップＳ３１１の詳細については後述する。次に、ステップＳ３１２において、指先が机に近接していればステップＳ３１３に、近接していなければステップＳ３０３に遷移する。ステップＳ３０９と異なり、指先と机の近接の判定には、ステップＳ３１０にて求めた指先の座標２２２、及びステップＳ３１１にて距離画像から推測した指先の推測座標２２６の距離を求め、その距離が閾値以下の場合に、机と指先が近接したと判定する。ここで、距離を無限遠とすれば、常に指先は机に近接していると判断される。すなわち性能の下限は保証されている。
【００２４】
ステップＳ３１３において、指先が机に近接した場合の処理を行う。具体的には、例えば、ステップＳ３０３において「ＯＫ」という文字列を含むボタンが投影されているとして、ステップＳ３１０にて求めた指先の座標２２２がボタン内に含まれていれば、ボタンが押された、と判定する。最後に、ステップＳ３０３に戻り、再度指先座標の検出を繰り返す。ステップＳ３１２で判定した、指先が机に近接しているか否かを示す情報２１６が、モジュール２０１の出力である。以上説明した様に、本発明によれば、容易に指先と机の近接を判定する事ができる。
【００２５】
次に、モジュール２０２を説明する。モジュール２０２による処理は図３（Ａ）のステップＳ３１０の処理に相当する。以下、図３（Ｂ）を参照しながら説明する。図３（Ｂ）は距離画像前景、連結画素塊及びその近似楕円、色画像を入力とする。図４（Ｃ）に距離画像前景２０９、連結画素塊５０１、近似楕円５０２、図５（Ａ）に色画像２１８を示す。
【００２６】
まずステップＳ３２０において、距離画像前景２０９、連結画素塊５０１、近似楕円５０２、色画像２１８を取得する処理を実行する。次に、ステップＳ３２１において、連結画素塊の輪郭上に、前景背景不確定領域を設定する。図４の（Ｄ）に連結画素及び前景背景不確定領域を示す。尚、前景背景不確定領域は、指先と机との近接が検知された位置およびその周辺の領域に相当する。ステップＳ３２１においては、まずステップＳ３０６で得られた連結画素塊５０１の近似楕円５０２の長軸５０３を指先方向に延長し、楕円５０５を作成する。次に、楕円５０５（斜線部）と、ステップＳ３０６で求めた連結画素塊５０１に肥大処理を施した領域５０６（黒塗り）の論理和を求める。この論理和と、連結画素塊５０１に浸食処理を施した領域５０７（白抜き）の否定との論理積を求め、前景背景不確定領域５０８（斜線部＋黒塗り）とする。ここで、近似楕円５０２の拡大率を適切な値にすることで、ステップＳ３０５における距離画像前景取得時の閾値処理により前景に含まれなかった指先１０２の領域も前景背景不確定領域５０８に含める事ができる。
【００２７】
次に、ステップＳ３２２において、色画像上に距離画像上の前景背景不確定領域に相当する不確定領域を求める。ステップＳ３０１に示した通り、色画像２１８は距離画像２０５よりも解像度が荒い。よって、距離画像２０５上のある領域に対応する色画像２１８上の領域を求めるには、単純拡大すればよい。具体的には、距離画像２０５と色画像２１８の解像度比を求め、ステップＳ３２１で求めた連結画素塊に浸食処理を施した領域５０７を求めた解像度比に合わせて拡大した領域を前景６０１とする。同様に、ステップＳ３２１で求めた前景背景不確定領域５０８を求めた解像度比に合わせて拡大した領域を不確定領域６０２とする。その双方の領域に含まれない領域を背景６０３とする。図５（Ａ）に示す色画像の腕部分の拡大図を図５（Ｂ）に示す。前景６０１を成す黒い四角の一つが、転写元の距離画像２０５上の１ピクセル相当にするとする。同様に背景６０３を成す白い四角の一つが転写元の距離画像２０５上の背景の１ピクセルに相当する。不確定領域６０２には腕１０８及び指先１０２の輪郭が含まれる。
【００２８】
次に、ステップＳ３２３において、色画像上の不確定領域内に前景を求める。図５（Ｂ）の斜線部及び黒塗りに分離される色画像前景２２０を示す。すなわち前景２２０はステップＳ３２２で求めた前景６０１を含む。ここで、前景を背景から分離するには、一般にＧｒａｐｈ Ｃｕｔと呼ばれる手法が適用可能である。まず、前景６０１と背景６０３のそれぞれについて、前景６０１もしくは背景６０３に含まれ、かつ不確定領域６０２に近接するピクセル群の色モデルを取得する。色モデルの取得には分布のＧａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ ＭｏｄｅｌをＥＭ ａｌｇｏｒｉｔｈｍで近似する。次に、不確定領域内の各ピクセルについて、各画素をノード、画素同士の隣接関係をリンクとするグラフを生成する。次に、不確定領域６０２内の各ピクセルについて、前景６０１に属する確率及び背景６０３に属する確率をそれぞれのＧａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌに従い求める。各リンクの重みをノードとなる画素の色の類似度とする。上記のグラフについて、前景６０１及び背景６０３からいくつかのノード及びリンクを追加する。このグラフを、例えば、線形計画法を用いて最大流最小切断する。このＧｒａｐｈ Ｃｕｔ法により不確定領域６０２の各ピクセルについて前景２２０に属するか否かが求められる。求めた前景２２０に前景６０１との論理和を求め、前景２２０とする。
【００２９】
次に、ステップＳ３２４において、色画像上の前景を元に、色画像における指先の座標を求める。具体的には、例えば、色画像前景２２０について、その連結画素塊を求め、連結画素塊の輪郭上の各画素について、長軸６０４への垂線の足の座標を取得し、その最大値もしくは最小値のうち画像端から遠い方を求める。得られた輪郭上の画素の座標を色画像における指先の座標２２２とする。
【００３０】
ステップＳ３２４で得られた指先の座標２２２が、モジュール２０２の出力である。以上説明した様に、色画像２１８が距離画像２０５より高解像度であるなら、色画像における指先の座標２２２は距離画像における指先の座標２１１よりも精度が高い。また、距離画像２０５から確度の高い距離画像前景２０９を求め、処理領域を絞り込むことで、色画像２１８全体に対し前景背景分離を施すよりも高速化できる。また、色モデルを生成する前景背景領域を不確定領域６０２に隣接する前景６０１及び背景６０３に限る事で、色モデルの分散を抑える事ができ、前景背景分離の精度を向上させることができる。
【００３１】
次に、モジュール２０３における処理を説明する。モジュール２０３は図３（Ａ）のステップＳ３１１の詳細に相当する。フローチャートを図３（Ｃ）のステップＳ３３０〜Ｓ３３３に示す。図３（Ｃ）は距離画像、前景の連結画素塊及びその近似楕円を入力とする。図４（Ａ）の２０５に距離画像、図４（Ｃ）に前景の連結画素塊５０１、近似楕円５０２を示す。
【００３２】
まず、ステップＳ３３０で、距離画像前景、連結画素塊５０１、近似楕円５０２を取得する処理を実行する。次に、ステップＳ３３１で、楕円の長軸上のうち連結画素塊に含まれる点列から腕方向を求める。具体的には、近似楕円５０２の長軸５０３上の各画素の明度に対して最小二乗法などで直線を近似する。図６に、図４（Ａ）の腕領域を机１０１の平面と平行な視点（側面方向）から見た図を示す。図６には、机１０１、腕１０８が映る。ステップＳ３０５の閾値処理により距離画像前景２０９として含まれない下限を７０１に示す。距離画像前景２０９の各画素は距離画像センサ１０５から腕１０８の上面７０２までの距離を示す。尚、図６に示した斜線部は、上面７０２に相当する。この上面７０２を近似する直線を求め、腕方向２２４とする。次に、ステップＳ３３２で、楕円の長軸上のうち連結画素塊に含まれる点列に対応する平面画像上の点列から机方向を求める。具体的には、図４（Ｃ）の長軸５０３が平面画像上で対応する点列４０１の各点の明度に最小二乗法などで近似する。図６に求める机方向７０３を示す。
【００３３】
次に、ステップＳ３３３で、机方向と腕方向との交点を求め、色画像における指先の推測座標とする。すなわち、腕方向２２４と机方向７０３の交点を求め、色画像における指先の推測座標２２６とする。色画像における指先の推測座標２２６が、モジュール２０３の出力である。以上説明した様に、距離画像２０５では、机１０１に近接する指先１０２の領域は、距離画像前景背景分離部２０８の閾値処理により失われその取得が難しい場合がある。そこで、本実施形態では、指先の推測座標２２６を求める事が出来る。また、腕方向２２４及び机方向７０３は距離画像センサ１０５の複数の画素の明度から推測される為、距離画像センサ１０５の画素ごとに独立である限りの距離計測誤差については、その影響を軽減させることができる。また、距離画像に基づいて近接判定を行うモジュール２０１のステップＳ３１２では、色画像による指先の座標２２２と色画像から推測した指先の推測座標２２６の距離が閾値以下の場合に、机１０１と指先１０２が近接したと判定する。よって、この閾値を適切に設定する事で、ステップＳ３０９で用いた閾値よりも机１０１に近く、かつ机１０１に近接していない場合に、指先１０２は机１０１に近接していないと判定することができる。
【００３４】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【技術分野】
【０００１】
本発明は、接触を判定する技術に関する。
【背景技術】
【０００２】
テーブル上で情報の表示や入力を行うテーブル（以下、インタラクティブテーブルという。）を用いたユーザインターフェースは、テーブルトップインターフェースと呼ばれる。テーブルトップインターフェースでは、指先による机上へのタップ（入力）が用いられる場合がある。例えば、特許文献１には、投射光を拡散できる程度に半透明な素材を机に使い、机下から机を透過して得られる手の画像に基づき、手指の形状やジェスチャを取得する手法が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−４０２７１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来技術によると、ユーザが接触する机に機械が埋め込まれることになり、机に埋め込まれた機械そのものに対して、衝撃等、物理的な負荷がかかる場合があった。そこで本発明は、機械そのものに対してかかる物理的な負荷を軽減すると共に、机上へのタップ（入力）を精度良く判定することを目的とする。
【課題を解決するための手段】
【０００５】
上記課題を解決するため本発明に係る情報処理装置は、距離画像センサを用いて、注目時点における所定の面の上に存在する物体の位置を検知する検知手段と、前記注目時点において、検知された位置および前記位置の周辺を撮影した色画像から前記物体の端部を特定する特定手段と、前記物体の位置に基づいて、特定された前記端部の位置を推定する推定手段と、前記端部の位置に応じて前記面に対する接触を判定する判定手段とを有する。
【発明の効果】
【０００６】
本発明によれば、機械そのものに対してかかる物理的な負荷を軽減すると共に、机上へのタップを精度良く判定することが可能となる。
【図面の簡単な説明】
【０００７】
【図１】インタラクティブテーブル等を設置した様子を示す図。
【図２】第１の実施形態に係るシステムの機能ブロック図。
【図３】入力位置を特定する処理の流れを示すフローチャート。
【図４】距離画像２０５、２０７の一例および距離画像２０５に対する処理を示す図。
【図５】色画像２１８を示す図。
【図６】指先の位置として推測される位置を示す図。
【発明を実施するための形態】
【０００８】
（第１の実施形態）
以下、図面を参照しながら、本発明を実施するための形態について説明する。尚、同じ要素については同符号を付し、その説明を省略する。図１は、本実施形態に係るシステムを構成する要素（インタラクティブテーブル等）を設置した様子を示す図である。本実施形態に係るシステムは、机１０１、プロジェクタ１０４、距離画像センサ１０５、色画像センサ（ビデオカメラ）１０６、演算装置（情報処理装置）１０７から構成される。
【０００９】
机１０１は標準的な机である。本実施形態において、机１０１は、矩形をなす平面を有し、インタラクティブテーブルとして情報（文字、画像等）を映す投影面（表示面）として機能する。ユーザーは、指先１０２を机１０１に接触させることで、このインタラクティブテーブルに対して所定の指示入力を行う。尚、指先１０２の接触に変えて、ペンなどの物体の先端部を接触させることによって、所定の指示入力をおこなってもよい。例えば、机１０１上にオブジェクト１０３が表示されているときに、ユーザーはオブジェクト１０３の領域に指先を接触させることで、オブジェクト１０３を選択する。プロジェクタ１０４は机１０１上に情報を投射する。尚、オブジェクト１０３はプロジェクタ１０４により投射されているオブジェクトである。
【００１０】
距離画像センサ１０５は机１０１の上方に（机１０１と対向する向きに）設置され、机１０１上の領域を映し、距離画像を出力する。尚、距離画像とは、その画像中の各ピクセルの明度が、距離画像センサからそのピクセルに映る被写体までの距離を表す画像をいう。尚、距離画像は異なる複数の時点のそれぞれ（注目時点）において出力されるものとする。色画像センサ１０６は机１０１の上方に（机１０１と対向する向きに）設置され、机１０１上の領域を映す。尚、画像センサとは、ビデオカメラ、カムコーダ等である。また、色画像センサが出力する色画像は、ビデオカメラ等によって撮影された画像（映像）であり、その画像中の各ピクセルが、そのピクセルに映る被写体の色を表す。尚、色画像も距離画像と同様に各注目時点で出力されるものとし、対応する注目時点の色画像と距離画像とは互いに関連付けて保持されるものとする。
【００１１】
演算装置（情報処理装置）１０７は、ＲＯＭ、ＲＡＭ、ＣＰＵを有し、ＲＯＭに格納されたプログラムやデータをＲＡＭに展開し、ＣＰＵが実行することによってその機能を実現する。また、演算装置（情報処理装置）１０７は、プロジェクタ１０４による情報の投影を制御すると共に、距離画像センサ１０５から距離画像を、色画像センサ１０６から色画像を定期的に（所定の時間間隔で）取得する。
【００１２】
尚、距離画像センサ１０５及び色画像センサ１０６は、画像を取得する画角内に机１０１の全面を含む様に、かつ机１０１から見てユーザーの指先１０２よりも遠方に配置される。本実施形態では、後述するフローチャートの各ステップに対応する処理動作を、演算装置１０７に含まれるＣＰＵを用いてソフトウェアで実現することとする。しかし、その処理の一部または全部を電子回路などのハードウェア、或いは机１０１、プロジェクタ１０４、距離画像センサ１０５や色画像センサ１０６などに含まれるＣＰＵやハードウェアにより実現するようにしても構わない。また、本発明は、プロジェクタ１０４を用いることなく、机１０１を液晶ディスプレイ等に変えて実現してもよい。
【００１３】
図２は第１の実施形態に係るシステムの機能ブロック図である。本システムは、近接判定を行うモジュール２０１、指先座標を取得するモジュール２０２、指先座標を推測するモジュール２０３から構成される。まず、距離画像に基づいて机１０１と指先１０２との近接を判定するモジュール２０１について詳細に説明する。距離画像取得部２０４は距離画像センサ１０５にアクセスし距離画像２０５を取得する。図４（Ａ）は、距離画像２０５の一例を示す図である。本実施形態では、距離画像２０５において、その映る範囲は机１０１と一致するものとする。尚、映る範囲と机１０１とが一致しない場合に、事前のキャリブレーションと画像取得ごとの透視変換により、机１０１に相当する領域のみを切り出しても良い。距離画像において明度はそのピクセルに映る被写体の距離画像センサからの距離を示す。例えば、図４（Ａ）において、距離画像センサの光軸と机の法線とが直交するならば、その明度は同心円状に変化する。そして、距離画像２０５はユーザーの腕１０８を映す事がある。ユーザーの指先１０２が机１０１にある程度（所定の閾値）以上近接していることが検知された場合、指先１０２の位置に対応する画素の明度と机１０１の位置に対応する画素の明度は近くなる。平面画像記録部２０６はユーザーの腕１０８を含まない状態で距離画像センサから机１０１までの距離画像を取得し、平面画像２０７として保存する。
【００１４】
図４（Ｂ）は、平面画像２０７の一例を示す図である。尚、本実施形態において、平面画像２０７を保存した後、机１０１、距離画像センサ１０５、色画像センサ１０６の位置関係は変わらないものとする。距離画像前景背景分離部２０８は距離画像２０５からユーザーの腕１０８にあたる領域とそれ以外の領域とを分離し、ユーザーの腕１０８に相当する領域を距離画像前景２０９として保存する。図４（Ｃ）は、距離画像前景２０９の一例を示す図である。指先距離取得部２１０は、距離画像２０５及び距離画像前景２０９から、距離画像における指先の座標２１１、および距離画像取得手段から指先までの距離２１２を求める。図４（Ｃ）内に距離画像における指先の座標２１１を示す。距離画像取得手段から指先までの距離２１２は、距離画像センサ１０５と指先１０２までの距離に相当する。平面距離取得部２１３は、平面画像２０７及び距離画像における指先の座標２１１から、距離画像取得手段から平面までの距離２１４を求める。距離画像取得手段から平面までの距離２１４は、図１において、距離画像センサ１０５から、距離画像センサ１０５と指先１０２を結んだ線分が机１０１と交差する点１０９までの距離に相当する。
【００１５】
近接判定部２１５は、距離画像取得手段から指先までの距離２１２と距離画像取得手段から平面までの距離２１４、後述する色画像における指先の座標２２２と色画像における指先の推測座標２２６から、指先と平面が近接したか否かを示す情報２１６を求める。尚、近接判定部２１５は、指先と平面が近接したか否かを示す情報２１６を出力する。
【００１６】
次に、色画像に基づいて指先の座標を取得するモジュール２０２の構成要素を説明する。色画像取得部２１７は色画像センサ１０６にアクセスし色画像２１８を取得する。図５（Ａ）は、色画像２１８の一例を示す図である。尚、本実施形態においては、色画像２１８も距離画像２０５と同様にその映る範囲は机１０１と一致するとする。また、映る範囲と机１０１の範囲とが一致しない場合はキャリブレーションと透視変換により机１０１に相当する領域のみを切り出してもよい。また、色画像２１８においては、ユーザーの腕１０８、ユーザーの指先１０２、プロジェクタが投影するオブジェクト１０３が画像中に映る事がある。色画像前景背景分離部２１９は、色画像２１８及び距離画像前景２０９から、色画像前景２２０を求める。図５（Ｂ）は、色画像前景２２０の指先１０２を含む一部を拡大した例を示す図である。指先座標取得部２２１は、色画像前景２２０から、色画像における指先の座標２２２を求める。図５（Ｂ）に色画像における指先の座標２２２を示す。尚、モジュール２０２は、色画像における指先の座標２２２を出力する。
【００１７】
次に、指先の座標を推測するモジュール２０３の構成要素について説明する。腕方向近似部２２３は、距離画像前景２０９から、距離画像における腕方向２２４を求める。図４（Ａ）に図示した腕方向２２４は腕の位置と向きを示している。指先座標推測部２２５は、距離画像における腕方向２２４から、色画像における指先の推測座標２２６を求める。色画像における指先の推測座標２２６を図６に示す。尚、モジュール２０３は、色画像における指先の推測座標２２６を出力する。
【００１８】
図３は、入力位置を特定する処理の流れを示すフローチャートである。このフローチャートに従って、図１に示す構成のテーブルトップインターフェースで、ユーザーの指先１０２が机１０１に近接したか否か、及び近接した場合の指先１０２の座標を求める。尚、図３（Ａ）のステップＳ３０１〜Ｓ３１３の処理は、モジュール２０１が実行する処理である。また、図３（Ｂ）のステップＳ３２０〜Ｓ３２４の処理は、モジュール２０２が実行する処理である。また、図３（Ｃ）のステップＳ３３０〜Ｓ３３３の処理は、モジュール２０３が実行する処理である。尚、各モジュールは、それぞれＣＰＵ、ＲＯＭ、ＲＡＭ等を有する装置によって実現されてもよい。
【００１９】
ステップＳ３０１〜Ｓ３０２はモジュール２０１の前処理に相当する。まず、ステップＳ３０１で、距離画像と色画像との位置をキャリブレーションする。具体的には、まず、全画面単色な画像をプロジェクタ１０４で投影する。次に、距離画像取得部２０４及び色画像取得部２１７でそれぞれ距離画像と色画像とを取得する。距離画像と色画像のそれぞれについて、プロジェクタ１０４で投影したその四頂点を画像内から検出し、その４頂点を結ぶ矩形をプロジェクタの縦横比で表現される矩形に透視変換する行列を求める。ここで、色画像センサは通常距離画像センサよりも解像度が高く、それ故に、キャリブレーション後も色画像の方が距離画像よりも高解像だとする。この後、距離画像取得部２０４と色画像取得部２１７のそれぞれは、画像を取得するたびに先に求めた透視変換を施し、キャリブレーション済みの画像を出力するとする。次に、ステップＳ３０２で、平面画像を取得し保存する。取得した平面画像２０７の例を図４（Ｂ）に示す。具体的には、図１に示される構成において、机１０１上にユーザーの腕１０８が存在しない状態で距離画像センサ１０５から距離画像を取得する。但し、この平面画像２０７も、ステップＳ３０１で得られたキャリブレーションが施されているものとする。
【００２０】
ステップＳ３０３〜Ｓ３１２がモジュール２０１の本処理である。ステップＳ３０３において、オブジェクトをある座標に投影する。例えば、ユーザーに何らかの情報の承認を求めるとする。「ＯＫ」という文字列を含むオブジェクト１０３を、プロジェクタ１０４を用いて、机１０１に投影する。次に、ステップＳ３０４において、距離画像及び色画像を取得する。ここで、図４（Ａ）に示す距離画像２０５、及び図５（Ａ）に示す色画像２１８が得られたとする。図４（Ａ）の距離画像２０５において、ユーザーの指先１０２は机１０１と近接しており、その明度が近しいとする。また、図５（Ａ）の色画像２１８において、ユーザーの腕１０８と、ユーザーの指先１０２が映っているとする。次に、ステップＳ３０５において、距離画像から背景画像を引き、閾値処理し、距離画像前景を得る。具体的には、図４（Ａ）に示す距離画像２０５に含まれる各ピクセルについて、その明度から、図４に示す平面画像２０７の同一座標の明度を引き、その差が事前に設定された閾値以上である場合に、そのピクセルは距離画像前景２０９に含まれるとする。得られた距離画像前景２０９の例を図４（Ｃ）に示す。この閾値処理は、距離画像センサ１０５が一般に持つ測定誤差により、必ずしも画像の明度が測定ごとに一定しない為、この誤差を抑え込む事が目的である。一方で、机１０１から指先１０２の距離が閾値あるいは距離画像センサの量子化精度を下回る場合、その指先の領域は机と区別する事が出来ず、結果として距離画像前景に含まれない。上記の理由により、図５（Ｃ）に示す距離画像前景２０９に、指先１０２に相当する領域は含まれないとする。ここで、得られた画像前景に対し、浸食処理と肥大処理を施し、小さなノイズを削除してもよい。
【００２１】
次に、ステップＳ３０６において、距離画像の前景について連結画素塊を求め、指が含まれる連結画素塊を選択し、近似楕円を求める。連結画素塊の生成手法は任意であり、４結合でも８結合でも構わない。指が含まれる連結画素塊の選択は、例えば、距離画像前景に連結画素塊が一つしか含まれなければそれを選択して良いし、複数の連結画素塊が含まれるならば最大のものを選んでもよい。連結画素塊５０１として距離画像前景２０９と同じ領域が得られたとする。連結画素塊５０１の近似楕円の導出は５つ以上輪郭上の点に対して楕円パラメータを最小二乗推定する手法など周知の手法を用いる。以下、周知の手法を用いて、近似楕円５０２が得られたとする。次に、ステップＳ３０７において、距離画像での指先の座標及び距離画像センサから指先の距離を求める。具体的には、近似楕円５０２の長軸５０３が近似楕円５０２と交差する点を求め、その点を距離画像での指先の座標２１１とする。次に、指先の座標２１１を中心としたある程度の半径の円５０４の範囲内かつ連結画素塊５０１内に含まれる各ピクセルの明度を平均し、距離画像取得手段から指先までの距離２１２とする。次に、ステップＳ３０８において、距離画像センサから机までの距離を求める。ステップＳ３０７で求めた指先の座標２１１に相当する座標の平面画像２０７での明度を求めればよい。
【００２２】
次に、ステップＳ３０９において指先が机に近接しているかを判定し、指先が机に近接していればステップＳ３１０に、近接していなければステップＳ３０３に遷移する。指先と机の近接の判定には、まず、ステップＳ３０７で求めた距離２１２から、ステップＳ３０８で求めた、距離画像センサから机までの距離が事前に設定した閾値よりも低い場合に、指先１０２と机１０１が近接していると判定する。ここで、距離画像前景２０９内の各ピクセルの明度は、机１０１からステップＳ３０５で用いた閾値よりも大きく離れている為、机１０１と指先１０２の識別に用いる閾値は、ステップＳ３０５で用いた閾値よりも大きくなければならない。次に、ステップＳ３１０において、色画像における指先の座標を求める。色画像を図５（Ａ）の２１８、色画像中の指先を含む領域（指先の位置およびその周辺）の拡大図を図５（Ｂ）とする。尚、本図には、色画像における指先の座標２２２が示されている。このステップＳ３１０の詳細については後述する。
【００２３】
次に、ステップＳ３１１において、距離画像の指先から、色画像における指先の位置を推測する。図６に、色画像における指先の推測座標２２６を示す。このステップＳ３１１の詳細については後述する。次に、ステップＳ３１２において、指先が机に近接していればステップＳ３１３に、近接していなければステップＳ３０３に遷移する。ステップＳ３０９と異なり、指先と机の近接の判定には、ステップＳ３１０にて求めた指先の座標２２２、及びステップＳ３１１にて距離画像から推測した指先の推測座標２２６の距離を求め、その距離が閾値以下の場合に、机と指先が近接したと判定する。ここで、距離を無限遠とすれば、常に指先は机に近接していると判断される。すなわち性能の下限は保証されている。
【００２４】
ステップＳ３１３において、指先が机に近接した場合の処理を行う。具体的には、例えば、ステップＳ３０３において「ＯＫ」という文字列を含むボタンが投影されているとして、ステップＳ３１０にて求めた指先の座標２２２がボタン内に含まれていれば、ボタンが押された、と判定する。最後に、ステップＳ３０３に戻り、再度指先座標の検出を繰り返す。ステップＳ３１２で判定した、指先が机に近接しているか否かを示す情報２１６が、モジュール２０１の出力である。以上説明した様に、本発明によれば、容易に指先と机の近接を判定する事ができる。
【００２５】
次に、モジュール２０２を説明する。モジュール２０２による処理は図３（Ａ）のステップＳ３１０の処理に相当する。以下、図３（Ｂ）を参照しながら説明する。図３（Ｂ）は距離画像前景、連結画素塊及びその近似楕円、色画像を入力とする。図４（Ｃ）に距離画像前景２０９、連結画素塊５０１、近似楕円５０２、図５（Ａ）に色画像２１８を示す。
【００２６】
まずステップＳ３２０において、距離画像前景２０９、連結画素塊５０１、近似楕円５０２、色画像２１８を取得する処理を実行する。次に、ステップＳ３２１において、連結画素塊の輪郭上に、前景背景不確定領域を設定する。図４の（Ｄ）に連結画素及び前景背景不確定領域を示す。尚、前景背景不確定領域は、指先と机との近接が検知された位置およびその周辺の領域に相当する。ステップＳ３２１においては、まずステップＳ３０６で得られた連結画素塊５０１の近似楕円５０２の長軸５０３を指先方向に延長し、楕円５０５を作成する。次に、楕円５０５（斜線部）と、ステップＳ３０６で求めた連結画素塊５０１に肥大処理を施した領域５０６（黒塗り）の論理和を求める。この論理和と、連結画素塊５０１に浸食処理を施した領域５０７（白抜き）の否定との論理積を求め、前景背景不確定領域５０８（斜線部＋黒塗り）とする。ここで、近似楕円５０２の拡大率を適切な値にすることで、ステップＳ３０５における距離画像前景取得時の閾値処理により前景に含まれなかった指先１０２の領域も前景背景不確定領域５０８に含める事ができる。
【００２７】
次に、ステップＳ３２２において、色画像上に距離画像上の前景背景不確定領域に相当する不確定領域を求める。ステップＳ３０１に示した通り、色画像２１８は距離画像２０５よりも解像度が荒い。よって、距離画像２０５上のある領域に対応する色画像２１８上の領域を求めるには、単純拡大すればよい。具体的には、距離画像２０５と色画像２１８の解像度比を求め、ステップＳ３２１で求めた連結画素塊に浸食処理を施した領域５０７を求めた解像度比に合わせて拡大した領域を前景６０１とする。同様に、ステップＳ３２１で求めた前景背景不確定領域５０８を求めた解像度比に合わせて拡大した領域を不確定領域６０２とする。その双方の領域に含まれない領域を背景６０３とする。図５（Ａ）に示す色画像の腕部分の拡大図を図５（Ｂ）に示す。前景６０１を成す黒い四角の一つが、転写元の距離画像２０５上の１ピクセル相当にするとする。同様に背景６０３を成す白い四角の一つが転写元の距離画像２０５上の背景の１ピクセルに相当する。不確定領域６０２には腕１０８及び指先１０２の輪郭が含まれる。
【００２８】
次に、ステップＳ３２３において、色画像上の不確定領域内に前景を求める。図５（Ｂ）の斜線部及び黒塗りに分離される色画像前景２２０を示す。すなわち前景２２０はステップＳ３２２で求めた前景６０１を含む。ここで、前景を背景から分離するには、一般にＧｒａｐｈ Ｃｕｔと呼ばれる手法が適用可能である。まず、前景６０１と背景６０３のそれぞれについて、前景６０１もしくは背景６０３に含まれ、かつ不確定領域６０２に近接するピクセル群の色モデルを取得する。色モデルの取得には分布のＧａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ ＭｏｄｅｌをＥＭ ａｌｇｏｒｉｔｈｍで近似する。次に、不確定領域内の各ピクセルについて、各画素をノード、画素同士の隣接関係をリンクとするグラフを生成する。次に、不確定領域６０２内の各ピクセルについて、前景６０１に属する確率及び背景６０３に属する確率をそれぞれのＧａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌに従い求める。各リンクの重みをノードとなる画素の色の類似度とする。上記のグラフについて、前景６０１及び背景６０３からいくつかのノード及びリンクを追加する。このグラフを、例えば、線形計画法を用いて最大流最小切断する。このＧｒａｐｈ Ｃｕｔ法により不確定領域６０２の各ピクセルについて前景２２０に属するか否かが求められる。求めた前景２２０に前景６０１との論理和を求め、前景２２０とする。
【００２９】
次に、ステップＳ３２４において、色画像上の前景を元に、色画像における指先の座標を求める。具体的には、例えば、色画像前景２２０について、その連結画素塊を求め、連結画素塊の輪郭上の各画素について、長軸６０４への垂線の足の座標を取得し、その最大値もしくは最小値のうち画像端から遠い方を求める。得られた輪郭上の画素の座標を色画像における指先の座標２２２とする。
【００３０】
ステップＳ３２４で得られた指先の座標２２２が、モジュール２０２の出力である。以上説明した様に、色画像２１８が距離画像２０５より高解像度であるなら、色画像における指先の座標２２２は距離画像における指先の座標２１１よりも精度が高い。また、距離画像２０５から確度の高い距離画像前景２０９を求め、処理領域を絞り込むことで、色画像２１８全体に対し前景背景分離を施すよりも高速化できる。また、色モデルを生成する前景背景領域を不確定領域６０２に隣接する前景６０１及び背景６０３に限る事で、色モデルの分散を抑える事ができ、前景背景分離の精度を向上させることができる。
【００３１】
次に、モジュール２０３における処理を説明する。モジュール２０３は図３（Ａ）のステップＳ３１１の詳細に相当する。フローチャートを図３（Ｃ）のステップＳ３３０〜Ｓ３３３に示す。図３（Ｃ）は距離画像、前景の連結画素塊及びその近似楕円を入力とする。図４（Ａ）の２０５に距離画像、図４（Ｃ）に前景の連結画素塊５０１、近似楕円５０２を示す。
【００３２】
まず、ステップＳ３３０で、距離画像前景、連結画素塊５０１、近似楕円５０２を取得する処理を実行する。次に、ステップＳ３３１で、楕円の長軸上のうち連結画素塊に含まれる点列から腕方向を求める。具体的には、近似楕円５０２の長軸５０３上の各画素の明度に対して最小二乗法などで直線を近似する。図６に、図４（Ａ）の腕領域を机１０１の平面と平行な視点（側面方向）から見た図を示す。図６には、机１０１、腕１０８が映る。ステップＳ３０５の閾値処理により距離画像前景２０９として含まれない下限を７０１に示す。距離画像前景２０９の各画素は距離画像センサ１０５から腕１０８の上面７０２までの距離を示す。尚、図６に示した斜線部は、上面７０２に相当する。この上面７０２を近似する直線を求め、腕方向２２４とする。次に、ステップＳ３３２で、楕円の長軸上のうち連結画素塊に含まれる点列に対応する平面画像上の点列から机方向を求める。具体的には、図４（Ｃ）の長軸５０３が平面画像上で対応する点列４０１の各点の明度に最小二乗法などで近似する。図６に求める机方向７０３を示す。
【００３３】
次に、ステップＳ３３３で、机方向と腕方向との交点を求め、色画像における指先の推測座標とする。すなわち、腕方向２２４と机方向７０３の交点を求め、色画像における指先の推測座標２２６とする。色画像における指先の推測座標２２６が、モジュール２０３の出力である。以上説明した様に、距離画像２０５では、机１０１に近接する指先１０２の領域は、距離画像前景背景分離部２０８の閾値処理により失われその取得が難しい場合がある。そこで、本実施形態では、指先の推測座標２２６を求める事が出来る。また、腕方向２２４及び机方向７０３は距離画像センサ１０５の複数の画素の明度から推測される為、距離画像センサ１０５の画素ごとに独立である限りの距離計測誤差については、その影響を軽減させることができる。また、距離画像に基づいて近接判定を行うモジュール２０１のステップＳ３１２では、色画像による指先の座標２２２と色画像から推測した指先の推測座標２２６の距離が閾値以下の場合に、机１０１と指先１０２が近接したと判定する。よって、この閾値を適切に設定する事で、ステップＳ３０９で用いた閾値よりも机１０１に近く、かつ机１０１に近接していない場合に、指先１０２は机１０１に近接していないと判定することができる。
【００３４】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【特許請求の範囲】
【請求項１】
距離画像センサを用いて、注目時点における所定の面の上に存在する物体の位置を検知する検知手段と、
前記注目時点において、検知された位置および前記位置の周辺を撮影した色画像から前記物体の端部を特定する特定手段と、
前記物体の位置に基づいて、特定された前記端部の位置を推定する推定手段と、
前記端部の位置に応じて前記面に対する接触を判定する判定手段とを有する情報処理装置。
【請求項２】
所定の面に対する接触を判定する情報処理装置の動作方法であって、
距離画像センサを用いて、注目時点における前記面の上に存在する物体の位置を検知する検知工程と、
前記注目時点において、検知された位置および前記位置の周辺を撮影した色画像から前記物体の端部を特定する特定工程と、
前記物体の位置に基づいて、特定された前記端部の位置を推定する推定工程と、
前記端部の位置に応じて前記面に対する接触を判定する判定工程とを有する動作方法。
【請求項３】
請求項２に記載の動作方法をコンピュータに実行させるためのプログラム。
【請求項１】
距離画像センサを用いて、注目時点における所定の面の上に存在する物体の位置を検知する検知手段と、
前記注目時点において、検知された位置および前記位置の周辺を撮影した色画像から前記物体の端部を特定する特定手段と、
前記物体の位置に基づいて、特定された前記端部の位置を推定する推定手段と、
前記端部の位置に応じて前記面に対する接触を判定する判定手段とを有する情報処理装置。
【請求項２】
所定の面に対する接触を判定する情報処理装置の動作方法であって、
距離画像センサを用いて、注目時点における前記面の上に存在する物体の位置を検知する検知工程と、
前記注目時点において、検知された位置および前記位置の周辺を撮影した色画像から前記物体の端部を特定する特定工程と、
前記物体の位置に基づいて、特定された前記端部の位置を推定する推定工程と、
前記端部の位置に応じて前記面に対する接触を判定する判定工程とを有する動作方法。
【請求項３】
請求項２に記載の動作方法をコンピュータに実行させるためのプログラム。
【図１】
【図２】
【図３】
【図５】
【図６】
【図４】
【図２】
【図３】
【図５】
【図６】
【図４】
【公開番号】特開２０１２−４８３９３（Ｐ２０１２−４８３９３Ａ）
【公開日】平成２４年３月８日（２０１２．３．８）
【国際特許分類】
【出願番号】特願２０１０−１８８６５８（Ｐ２０１０−１８８６５８）
【出願日】平成２２年８月２５日（２０１０．８．２５）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２４年３月８日（２０１２．３．８）
【国際特許分類】
【出願日】平成２２年８月２５日（２０１０．８．２５）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]