情報処理装置およびその動作方法
【課題】 接触を検知するペンや画面を用いることなく、ペンと画面との接触による入力を検知することが困難であった。
【解決手段】 上記の課題を解決するために、本発明の情報処理装置は、表示面に画像を表示し、距離画像センサを用いて、所定の形状をもつ物体の三次元空間における位置を特定し、前記表示面と接する面に前記物体が存在するかを判定し、前記表示面と接する面に前記物体が存在すると判定されたことを、前記表示面の前記特定された位置に表示された部分に対する入力として認識する。
【解決手段】 上記の課題を解決するために、本発明の情報処理装置は、表示面に画像を表示し、距離画像センサを用いて、所定の形状をもつ物体の三次元空間における位置を特定し、前記表示面と接する面に前記物体が存在するかを判定し、前記表示面と接する面に前記物体が存在すると判定されたことを、前記表示面の前記特定された位置に表示された部分に対する入力として認識する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、距離画像センサを用いて、位置を指定する技術に関する。
【背景技術】
【０００２】
従来、接触を検知するペンや画面を用いることなく、画面上の所望の位置に対する入力を検知するために、画面を撮影して、ペンを画像認識すると共に、接触音を認識し、入力を検知する技術が知られている（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３−１２２５０５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、ペンと画面とが接触していないにも関わらず、ペンを持った指と画面との接触音によって、入力が検知されてしまう場合がある。
【０００５】
本発明は、上記の課題を解決するため、ペンと画面との接触による入力をより正確に検知することを目的とする。
【課題を解決するための手段】
【０００６】
上記の課題を解決するために、本発明の情報処理装置は、表示面に画像を表示する表示手段と、距離画像センサを用いて、所定の形状をもつ物体の三次元空間における位置を特定する特定手段と、前記表示面と接する面に前記物体が存在するかを判定する判定手段と、前記表示面と接する面に前記物体が存在すると判定されたことを、前記表示面の前記特定された位置に表示された部分に対する入力として認識する認識手段とを有する。
【発明の効果】
【０００７】
本発明により、接触を検知するペンや画面を用いることなく、ペンと画面との接触による入力をより正確に検知することが可能となる。
【図面の簡単な説明】
【０００８】
【図１】情報処理装置１０１の外観と機能構成を示す図である。
【図２】情報処理装置１０１の外観と本実施形態における座標系を示す図である。
【図３】入力を検知する処理の流れの一例を示すフローチャートである。
【図４】論理座標、空間座標、画像座標の一例を模式的に示す図である。
【図５】操作画面１０５に対する入力の一例を示す図である。
【図６】他の音源の影響を打ち消す処理の流れを示すフローチャートである。
【図７】入力の様子を模式的に示す図である。
【図８】第２の実施形態に係る情報処理装置の機能構成と第３の実施形態に係る情報処理装置の外観を示す図である。
【発明を実施するための形態】
【０００９】
（第１の実施形態）
図１（ａ）は、本発明の第１の実施形態に係る情報処理装置の外観を示す図である。
【００１０】
尚、情報処理装置１０１は天井部１０２に設置されているものとし、情報処理装置１０１の真下には机１０３が設置されているものとする。
【００１１】
また、机１０３は、情報処理装置１０１の投影部２０１（後述）によって投影された画像（操作画面１０５）を表示する表示面となっている。
【００１２】
操作画面１０５には種々の情報および操作部品が含まれており、利用者１０６および１０７はそれぞれペン１０８および１０９によってこれらの操作部品が映し出された位置に接触することで画面に対する操作入力を行う。
【００１３】
尚、ペン１０８，１０９についてはペンに限らず、後述する距離画像認識部１２０４が認識する特徴に適合した物体（所定の形状をもつ物体）であればよく、指等でもよい。
【００１４】
また、本実施形態では２名の利用者がそれぞれ１本ずつのペンを用いているが、利用者は何人でも良く、１名の利用者が複数のペンを用いても良い。
【００１５】
図１（ｂ）は情報処理装置１０１の機能構成を示す機能ブロック図である。
【００１６】
情報処理装置１０１は投影部２０１、距離画像撮像部１２０２、集音部２０３、距離画像認識部１２０４、音認識部２０５、操作画面管理部２０６、設定部２０７、固定部２０８を有する。
【００１７】
投影部２０１は、操作画面１０５を投影するプロジェクタである。
【００１８】
距離画像撮像部１２０２は、机上の距離画像を撮像する距離画像センサである。
【００１９】
距離画像センサは、空間上の対象物との距離を画素値とする距離画像を生成する。距離の測定の方法としては、例えば赤外線を発光して対象物からの反射光の到達時間を計測する飛行時間計測方式（ＴＯＦ）などが知られている。
【００２０】
集音部２０３は、音を収録する複数のマイクロホンからなるマイクロホンアレイである。
【００２１】
距離画像認識部１２０４はＭＰＵ等によって構成され、距離画像撮像部１２０２が撮像した映像から、所定の形状をもつ物体として、一方の先端が円錐形をした棒状の物体の認識を行う。なお、他の特徴、例えば人差し指を立てた人間の手の色や形状を認識するようにしてもよい。この場合はペンの代わりに人間の指によって操作を行えるようになる。
【００２２】
音認識部２０５はＭＰＵ等によって構成され、集音部２０３が収録した音から、特定の三次元空間上の点（または領域）における音量を認識する。操作画面管理部２０６はＭＰＵ等によって構成され、投影部２０１が投影する操作画面１０５の映像を管理する。
【００２３】
設定部２０７は、ＭＰＵ、ＲＡＭ等およびスイッチと液晶画面で構成され、利用者の設定入力を受け付けて記憶する。固定部２０８は、情報処理装置１０１を天井部１０２に固定する部品である。
【００２４】
図２（ａ）は、情報処理装置１０１を操作画面１０５から天井部１０２のへ向かって見た場合の外観を示す図である。
【００２５】
本図において、情報処理装置１０１は、発光口３０１、センサ部３０２、集音口３０３、設定Ｉ／Ｆ（インターフェース）３０４、固定金具３０５を有する。
【００２６】
発光口３０１は投影部２０１の発光口であり、下方側（操作画面１０５側）に配置され、下方に向かって操作画面１０５を投影する。
【００２７】
尚、発光口３０１からは、天井と平行な面に対して、発光口３０１の中心軸（光軸）を中心とする矩形（長方形）の操作画面が投影されるものとする。
【００２８】
センサ部３０２は、距離画像撮像部１２０２のセンサ部であり、下方側（操作画面１０５側）に配置され、下方（操作画面１０５および情報処理装置１０１から操作画面１０５までの空間）の距離画像を撮像する。
【００２９】
集音口３０３は集音部２０３を構成する各マイクロホンの集音口である。本実施形態において、各マイクロホンは、天井部１０２の面と平行な同一平面上に配置されているものとする。尚、本図においてマイクロホンは４個であるが、複数であれば何個でもよい。
【００３０】
設定Ｉ／Ｆ３０４は設定部２０７の設定Ｉ／Ｆであり、例えば、数値を入力するためのボタンと、数値を表示するための液晶画面を有する。尚、設定部はボタンと液晶画面による構成に限らず、数値の入力と表示が出来ればよい。
【００３１】
また、設定Ｉ／Ｆは、情報処理装置１０１と一体である必要はなく、例えばリモコンとして、情報処理装置１０１と分離していても良い。固定金具３０５は固定部２０８の一部であり、情報処理装置１０１と天井部１０２と固定している。
【００３２】
図２（ｂ）は、本実施形態において定義する座標を示す図である。
【００３３】
論理座標とは、操作画面管理部２０６が管理する仮想的な二次元の座標であり、操作画面１０５上の位置を表す。
【００３４】
尚、論理座標における二つの座標軸をＸ軸、Ｙ軸とする（論理座標４０１）。また論理座標の原点Ｏｖは任意に、例えば操作画面１０５の一つの隅等に定める。
【００３５】
空間座標とは、情報処理装置１０１が設置された三次元空間における実際の座標である。
【００３６】
尚、空間座標は、情報処理装置の下面上における投影部の発光口の中心を空間座標の原点Ｏｒとし、天井および机の面に平行な面をｘｙ平面、ｘｙ平面に対して天井から机に向かう鉛直方向をｚ軸とする座標系とする（空間座標４０２）。
【００３７】
また、空間座標のｘ軸とｙ軸の方向は、投影部が投影する操作画面１０５の像における論理座標のＸ軸、Ｙ軸に一致させる。
【００３８】
画像座標とは、距離撮像部１２０２が撮像する画像の二次元座標である。
【００３９】
尚、画像座標は、画像中の操作画面の像における論理座標のＸ軸、Ｙ軸の方向と一致する画像座標の軸をそれぞれＵ軸、Ｗ軸とし、任意の点（例えば画像の一つの隅等）を原点Ｏｂと定める（画像座標４０３）。
【００４０】
以上の座標はすべて直交座標である。なお、それぞれの座標系は他の座標、例えば極座標や、射影座標を用いてもよい。これらは操作画面が円形であるときや、操作画面の像および撮像画像に射影的な歪みがある場合に有用である。
【００４１】
また、次元の数についても限ったものではなく、例えば操作画面に立体的なＣＧ等を用いるのであれば、論理座標や画像座標に三次元の座標を用いても良い。
【００４２】
図３は、情報処理装置１０１を用いて、操作画面上の所定の部分に対する入力を検知する処理の流れの一例を示すフローチャートである。
【００４３】
ステップＳ１３５０において、距離画像認識部１２０４は、距離画像中の平坦な面を認識し、それを机と見なして範囲を記憶する。また、その面への距離を、机の面から情報処理装置の下面までの鉛直方向の距離として設定部２０７に記憶する。
【００４４】
次に、ステップＳ１３５１において、距離画像認識部１２０４は、画像座標と空間座標を対応付けるためのキャリブレーションを行う。尚、キャリブレーションの際、例えば、利用者による四隅をペンで指示を検知し、距離画像認識部１２０４は認識したペンの位置を空間座標に対応付ける。
【００４５】
図４（ａ）は距離画像撮像部１２０２によって撮影された距離画像を模式的に示す図である。
【００４６】
像６０１は机１０３に相当する像であり、像６０２は操作画面１０５に相当する像である。
【００４７】
図４（ａ）では、操作画面１０５として四隅に仮想の扇形の図形を配置した映像を表示しているが、操作画面１０５の四隅および論理座標の原点Ｏｖの像が識別できる形態であれば何でもよい。
【００４８】
距離画像認識部１２０４は、操作画面１０５に相当する像における、操作画面１０５の四隅および論理座標の原点Ｏｖの論理座標を記憶しておく。操作画面１０５の四隅の論理座標をそれぞれ（α，γ）（α，ζ）（β，γ）（β，ζ）とする（０＜α＜β、０＜γ＜ζ）。
【００４９】
画像座標の原点Ｏｖは操作画面１０５の四隅のいずれかと必ずしも一致している必要はないが、ここでは画像座標の原点Ｏｖは論理座標の（α，γ）（四隅の１つ）に一致しているものとする。
【００５０】
ステップＳ１３０１において、距離画像撮像部１２０２は、距離画像を撮像する。
【００５１】
ステップＳ１３０２において、距離画像認識部１２０４は、ステップＳ１３５０において認識した机の領域の範囲内において、ステップＳ１３０１において撮像した画像中から一方の先端が円錐形をした棒状の物体を認識し、円錐形の先端をペン先として検出する。
距離画像認識部１２０４は、あらかじめ一方の先端が円錐形をした棒状の物体についての統計的特徴をモデルとして所持しておく。距離の変化から輪郭の検出を行い、テンプレートマッチングを行って画像中から照合する部分を探す。
【００５２】
そして、円錐形の先端に当たる画像座標Ｐを記憶しておく。複数の個所にマッチした場合は全てについて記憶する。尚、ステップＳ１３０２において、周知の他の画像認識の方法を用いても良い。
【００５３】
また、発見されたペン先の各々については等価として扱っているが、動体追跡などを用いてペン先の同一性を判断して、ＩＤ等を振って区別した扱いにしても良い。
【００５４】
これは後述する操作画面管理部が操作を反映する処理に置いて、ペン先が近接した場合の入力状態の判断などに役立つ。また、画像中にペン先がなくても、前後の画像から判断してあるものとして補っても良い。
【００５５】
これは一時的に手の影に隠れてペン先が上方から見えなくなったときも動作を滑らかに継続することができる。
【００５６】
次に、ステップＳ５０３において、距離画像認識部１２０４は、ステップＳ５０２において検出されたペン先のうち、ステップＳ５０４以降の処理がまだ行われていないものがあるかどうかを判定する。
【００５７】
ステップＳ５０４以降の処理がまだ行われていないものがあれば、ステップＳ５０４以降の処理を実行し、ステップＳ５０４以降の処理がまだ行われていないものがない場合、ステップＳ５０１からの処理を繰り返す。
【００５８】
ステップＳ５０４において、距離画像認識部１２０４は、未処理のペン先から任意の一つを選択する。このペン先をＰとする。
【００５９】
次に、ステップＳ１３０５において、距離画像認識部１２０４は、ステップＳ１３０１において撮像した距離画像中におけるＰの画像座標から、対応するＰの空間座標を算出する。
【００６０】
即ち、距離画像認識部１２０４は、ステップＳ１３０１において撮影した画像中におけるペン先Ｐの画像座標ｐから、Ｐの真下に当たる空間座標ｐ’を算出する。
【００６１】
尚、ｘｙ成分については以下に示す方法で算出する。ｚ成分についてはステップＳ１３５０において算出した机までの距離を用いる。
【００６２】
空間座標の原点Ｏｒから机１０３に下ろした垂線の足（０，０，ｈ）をＨとすると、Ｈは操作画面の中心と一致し、机の面における空間座標のｘｙ平面の原点となる。
【００６３】
また、画像中の操作画面の中心の画像座標をＨ’とすると、Ｈ’の画像座標はステップＳ１３５１で得た四隅の座標より、（（β＋α）／２，（ζ＋γ）／２）となる。
【００６４】
一方、四隅の空間座標は投影部２０１と設定部２０７に記憶された高さｈから定まる。
【００６５】
投影部は図４（ｂ）のように、机の面に対して正確に正対して投影を行い、投影される画像は情報処理装置内部のｚ軸上の点Ｑを頂点として、ｘ軸方向の投射角度θ、ｙ軸方向の投射角度φの四角錐状であるものとする。
【００６６】
またθとφは既知であるものとする。机面ｚ＝ｈに投影される操作画面の四隅の空間座標は（±ｈ’ｔａｎθ，±ｈ’ｔａｎφ，ｈ）の四点となる。ここでｈ’とはＱとＨの距離であり、ＱとＯｒとの距離をｆとするとｈ’＝ｈ＋ｆである。
【００６７】
したがって、画像座標から空間座標への変換とは、（α，γ）（α，ζ）（β，γ）（β，ζ）を四隅とする長方形から（±ｈ’ｔａｎθ，±ｈ’ｔａｎφ，ｈ）を四隅とする長方形へのアフィン変換である。
【００６８】
すなわち、画像座標ｐ＝（ｘ，ｙ）について、変換後の空間座標をｐ’＝（２ｈ’ｔａｎθ（ｘ−（α＋β）／２）／（β−α），２ｈ’ｔａｎφ（ｘ−（γ＋ζ）／２）／（ζ−γ），ｈ）とする。
【００６９】
なお、投影部２０１は必ずしも図４（ｂ）のような投影でなくともよく、また変換の方法はここに述べた方法に限らない。例えば、投影部２０１と机１０３の面に正対せず、机上の操作画面の像に歪みが起こる場合などは、アフィン変換ではなく射影変換を用いた座標の変換を行ってもよい。
【００７０】
次に、ステップＳ１３１１において、距離画像認識部１２０４は、画像座標Ｐが操作画面の近傍にあるかどうかを判断する。すなわち、ステップＳ１３０５において求めたＰの空間座標と机上の操作画面の像との距離を求め、所定の閾値、たとえば５ｃｍ未満であるかどうかを判定する。尚、Ｐの空間座標と机上の操作画面の像との距離が所定の閾値未満であった場合、Ｐは操作画面と接しているとみなす。閾値を越えた場合はペン先に相当する座標Ｐが机と接する面に存在していないとみなして、座標Ｐについての処理を終了してステップＳ５０３に戻る。
【００７１】
尚、なお、閾値は他の値でも良いし、例えばｚ軸方向とｘｙ平面上の距離について分けて設けても良い。また、固定値ではなく、設置状況に合わせて設定部２０７などから利用者が入力するようにしても良い。
【００７２】
次に、ステップＳ５０６において、音認識部２０５は、集音部２０３が収録した音から、ステップＳ５０５で求めたペン先Ｐの空間座標ｐ’を音源とする音を抽出する。
【００７３】
尚、音の抽出は、空間座標ｐ’を音源とする音を強調することで行う。
【００７４】
また、空間座標ｐ’を音源とするに音がマイクロホンアレイのそれぞれのマイクに到達するまでの時間の差に応じて音波の位相を遅らせて、それぞれ足し上げる。
【００７５】
こうして空間座標ｐ’から到達した音声が強調され、他の位置から発生した音の影響が軽減される。
【００７６】
【数１】
【００７７】
数１は、強調した音波を算出する式である式８０１である。
【００７８】
式８０１において、Ｗ（ｔ）は求める音波あり、ｔは時刻変数である。また、Ｆｋ（ｔ）はｋ番目のマイクロホンが収録した音声である（ｋ＝１、２、３、４）。
【００７９】
また、Ｖは空気中の音速であり、ここでは３４０ｍ／ｓとする。なお温度や気圧を測定する手段を設けて、設置条件における音速のより正確な値を適宜求めても良い。
【００８０】
Ｌｋはｋ番目のマイクロホンの空間座標と、空間座標ｐ’との距離である。
【００８１】
マイクロホンの空間座標は距離画像撮像部１２０２との位置関係より既知であるものとすると、Ｌｋは三次元の空間座標間の距離として三平方の定理より求められる。尚、ＬｍｉｎはＬｋのうち最小の距離である。
【００８２】
尚、ここでは音波の重ね合わせによって強調を行ったが、他の方法、例えば数１をフーリエ変換した数２（式８０２とする）のように、周波数領域について強調を行っても良い。
【００８３】
【数２】
【００８４】
次に、ステップＳ５０７において、音認識部２０５は、音波Ｗ（ｔ）について音量を算出する。即ち、例えば、Ｗ（ｔ）の二乗の時間平均を求め、適当な底、例えば１０の対数を取ることで空間座標ｐ’における音量を算出する。
【００８５】
次に、ステップＳ５０８において、ステップＳ５０７で取得した音量が所定の閾値、たとえば５０ｄＢを越えたかどうかを判定する。超えない場合はペン先Ｐが机上に接触していないと判断し、ペン先Ｐについての処理を終了してステップＳ５０３に戻る。
【００８６】
なお、閾値は他の固定値でも良いし、設置状況に合わせて設定部などから利用者が入力するようにしても良い。
【００８７】
また、ここでは接触の判断に音量を用いたが、他の方法、例えば隠れマルコフモデル等の統計モデルを用いて、ペン先と机との接触音の周波数分布の特徴などを評価する方法でも良い。
【００８８】
また、接触の判断に前後の認識結果を用いても良い。例えば前後に接触音の少ないペン先から一時的に接触音を検知し、かつ別の机に接触したペン先と近接している場合は、近接したペン先の接触音を誤って検出しているものと考えて、接触していないものと見なす処理を加えても良い。
【００８９】
次に、ステップＳ５０９において、操作画面管理部２０６は、画像座標ｐを対応する論理座標ｐ”に変換する。即ち、ステップＳ１３０１において撮像した画像中の操作画面の像である、（α，γ）（α，ζ）（β，γ）（β，ζ）を四隅とする長方形を、操作画面の四隅の論理座標が成す長方形にアフィン変換することで画像座標から論理座標への変換を行う。すなわち、操作画面の四隅の論理座標を（κ，μ）（λ，μ）（κ，ν）（λ，ν）（κ＜λ、μ＜ν）とする。そして、画像座標ｐ＝（ｘ，ｙ）について、変換後の論理座標をｐ”＝（（λ−κ）（ｘ−（α＋β）／２）／（β−α）＋（κ＋λ）／２，（ν−μ）（ｘ−（γ＋ζ）／２）／（ζ−γ）＋（μ＋ν）／２）とする。
【００９０】
尚、変換の方法はここに述べた方法に限るものではなく、例えば座標に歪みがあればアフィン変換ではなく射影変換を用いてもよい。
【００９１】
次に、ステップＳ５１０において、操作画面管理部２０６は、論理座標ｐ”に対して入力があったものとして操作を反映する。
【００９２】
例として、操作画面１０５が図５のような表示であった場合について説明する。
【００９３】
即ち、操作画面１０５に、オブジェクト１１００の削除を行うかどうかを確認する確認画面１１０１が表示されており、確認画面内にＯＫボタン１１０２とキャンセルボタン１１０３が表示されている場合について説明する。
【００９４】
論理座標ｐ”の位置がＯＫボタン１１０２の範囲内、例えば１１０４の位置であると判定され、かつ接触音が検知された場合、操作画面管理部２０６は、ＯＫボタンの押下と見なしてオブジェクト１１００を削除し、確認画面１１０１を非表示とする。
【００９５】
論理座標ｐ”の位置がキャンセルボタン１１０３の範囲内、例えば１１０５の位置であり、かつ接触音が検知された場合、操作画面管理部２０６はキャンセルボタンの押下と見なして削除を中止し、確認画面１１０１を非表示とする。
【００９６】
論理座標ｐ”の位置がボタンと無関係な、例えば１１０６であった場合は、操作画面管理部２０６は何もしないが、続けて１１０７の位置に入力があれば、１１０６と１１０７の間に線（軌跡）を描画する。尚、本実施形態において、操作画面１０５におけるボタンとは無関係の領域（部分）は、描画領域であるものとする。
【００９７】
また、ステップＳ５０６において、音認識部２０５は、予め種々のペンと表示面（机１０３）との接触音の情報を保持し、保持された情報に基づいて、ペン先が表示面と接する面に存在し、接触音が検知された場合、ペン毎に異なる入力として認識してもよい。
【００９８】
具体的には、第１のペンと表示面との接触音である第１の接触音が検知され、第１のペンのペン先の位置が描画領域であった場合、黒色で軌跡を描画する入力と認識する。
【００９９】
また、第１のペンと異なる第２のペンと表示面との接触音である第２の接触音が検知され、第２のペンのペン先の位置が描画領域であった場合、赤色で軌跡を描画する入力と認識してもよい。
【０１００】
尚、以上の動作はあくまで一例であり、これに限るものではない。
【０１０１】
ステップＳ５１０の処理が完了すると、ペン先Ｐについての処理は終了となり、ステップＳ５０３に戻って別のペン先についての処理を行う。以上のように、複数のペン先が同時に撮像された場合には、各ペン先について処理が順次行われる。
【０１０２】
また、１つの撮像画像中のペン先について、処理が十分に短い時間の間に行われれば、例えば１１０５と１１０６の両方の位置にペン先があった場合には、ＯＫボタンの押下と線の描画がほぼ同時に為されることになる。
【０１０３】
また、ペン先の論理座標を算出するごとに操作画面への反映を行う代わりに、例えば撮像画像中の全てのペン先の論理座標を求めてから、操作画面への反映を同時に行っても良い。
【０１０４】
以上のように、ステップＳ１３０１からステップＳ５１０を十分に短い時間間隔、例えば３０分の１秒毎に繰り返すことによって、複数の利用者の机上に対するペンの接触を操作画面に反映することが実現される。尚、時間間隔は別の長さでも良いし、例えばＭＰＵの負荷等によって適宜変更されてもよい。
【０１０５】
なお、ペン先を音源とする音を算出するために音声の強調を用いたが、他の音源の影響を打ち消す方法もある。
【０１０６】
図６は、他の音源の影響を打ち消す処理の流れを示すフローチャートである。図３に示したフローチャートと同様の工程については、同符号を付し、その説明を省略する。
【０１０７】
尚、本フローチャートにおいては、一度、ステップＳ１３０２で発見されたペン先のそれぞれについて強調した音を求めてから、改めてそれぞれのペン先について他の音源の影響を除去する処理を施すものとする。
【０１０８】
ステップＳ９０１において、距離画像認識部１２０４は、ステップＳ１３０２において検出されたペン先のうち、ステップＳ９０２以降の処理がまだ行われていないものがあるかどうかを判定する。
【０１０９】
尚、ステップＳ１３０２でペン先が一つも発見されなかった場合は、ペン先はないものと判断する。
【０１１０】
ステップＳ９０２において、距離画像認識部１２０４は、未処理のペン先から任意の一つを選択する。このペン先を再びＰとする。
【０１１１】
ステップＳ９０３において、音認識部２０５は、ペン先Ｐ以外の音源からの音を除去する。ここではＰ以外のペン先の音を別音源からのノイズとする。
【０１１２】
ステップＳ５０６で得たＰの強調音から、他のペン先の強調音を減算することで除去を行う。数３は、所望の音波を算出する式である。
【０１１３】
【数３】
【０１１４】
数３において、ＷＰ（ｔ）は、ステップＳ５０６で求められた点Ｐにおける強調音波である。Πは、ステップＳ１３０２で発見されたペン先の集合である。こうして求められたＷ’Ｐ（ｔ）を点Ｐにおける音波として、ステップＳ５０７以降ではＷの代わりに用いる。
【０１１５】
尚、ここでは音波の重ね合わせによって他の音源の影響を除去する処理を行ったが、他の方法、例えば数３の式をフーリエ変換した式を用いて、周波数領域について除去を行っても良い。
【０１１６】
また、他の音源としてペン先を考えたが、例えば人間の話し声を除去するために、顔認識で人間の頭部や口唇を認識して、その位置からの音を除去するなどしても良い。
【０１１７】
図７（ａ）（ｂ）は、入力の様子を模式的に示す図である。
【０１１８】
図７（ａ）において、表示面は、机１０３に相当し、操作画面１０５に相当する画像が表示されているものとする。
【０１１９】
また、距離画像センサにより、表示面と接する領域（面）に所定の形状をもつ物体（例えば、ペン）の先端部（例えば、円錐形のペン先）の三次元空間における位置が特定されているものとする。
【０１２０】
また、表示面と、ペンとはペン先ではなない部分で接触しており、表示面とペンとの接触音が検知されているものとする。
【０１２１】
この場合、ペン先が表示面と接する面に存在しないため、表示面とペンとの接触音が検知された場合であっても、表示面（または操作画面１０５）に対する入力とは認識されない。
【０１２２】
一方、図７（ｂ）において、所定の形状をもつ物体（例えば、ペン）の先端部（例えば、円錐形のペン先）は、表示面と接触しており、表示面とペンとの接触音が検知されている。
【０１２３】
この場合、ペン先が表示面と接する面に存在し、表示面とペンとの接触音が検知されているため、表示面（または操作画面１０５）に対する入力と認識される。
【０１２４】
例えば、ペン先が接している表示面が描画をする領域内である場合、軌跡の描画入力として認識される。
【０１２５】
（第２の実施形態）
また、図８（ａ）は、本実施形態における情報処理装置の機能構成を示す機能ブロック図である。図１（ｂ）に示した機能ブロック図と同一の要素については、同符号を付し、詳細な説明を省略する。
【０１２６】
撮像部２０２は、投影部２０１が投影した操作画面１０５を撮像するカメラである。
【０１２７】
画像認識部１４０１は、撮像部２０２が撮像した画像および距離画像撮像部１２０２が撮像した距離画像の両方を基に、一方の先端が円錐形をした棒状の物体の認識を行う。尚、他の特徴、例えば人差し指を立てた人間の手の色や形状を認識するようにしてもよい。
【０１２８】
画像のみを用いて、距離を判断せず色調の変化のみで判断する場合は、机から大きく離れたペン先についても認識処理を要するため計算量が多くなる懸念がある。一方、距離画像のみを用いて距離の変化のみで判断するためには、解像度の高い距離画像センサが必要である他、色調の情報がないため、動体追跡などを行う場合にペンの個体識別が困難な場合がある。
【０１２９】
本実施形態における画像認識部１４０１は、画像における色調の変化および距離画像における距離の変化の両方から輪郭の検出を行うことで以上の課題による影響を低減できる。
【０１３０】
（第３の実施形態）
操作画面の表示方法は天井からの下方投影である必要はなく、他の方法でもよい。また必ずしも利用者が操作をする場所に操作画面の情報が表示される必要もない。
【０１３１】
図８（ｂ）は本実施形態に係る情報処理装置の外観一例を示す図である。
【０１３２】
操作板１７０１は長方形の平坦な板で、利用者はこの上にペンや指等を接触することで操作画面の操作を行う。
【０１３３】
尚、必ずしも平坦な板である必要はなく、操作の範囲を示すことが出来ればよい。
【０１３４】
パーソナルコンピュータ１７０２は操作板の前方に設置され、操作画面の情報が表示される。また、画像認識部、音認識部、操作画面管理部、設定部として働く。
【０１３５】
センサ装置１７０３は撮像部と集音部を備え、操作画面の上部に設置される。尚、センサ装置はパーソナルコンピュータと一体であっても良い。また位置は操作画面の上部に限らない。
【０１３６】
撮像部は、操作画面の代わりに操作板を撮影し、画像認識部は、操作板上に撮像された所定の物体を認識する。操作画面管理部は、操作板の領域の画像座標を、操作画面の論理座標に対応させる変換を行う。
【０１３７】
撮像部が操作板とその上のペンや指等を撮像し、ペンや指の位置の音を認識することで操作板上へのペンや指の接触を検知し、操作画面に反映する点については第１乃至第４の実施形態と同様である。利用者は操作板にペンや指を接触させることによって、操作画面上の操作を行うことができる。
【０１３８】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【技術分野】
【０００１】
本発明は、距離画像センサを用いて、位置を指定する技術に関する。
【背景技術】
【０００２】
従来、接触を検知するペンや画面を用いることなく、画面上の所望の位置に対する入力を検知するために、画面を撮影して、ペンを画像認識すると共に、接触音を認識し、入力を検知する技術が知られている（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３−１２２５０５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、ペンと画面とが接触していないにも関わらず、ペンを持った指と画面との接触音によって、入力が検知されてしまう場合がある。
【０００５】
本発明は、上記の課題を解決するため、ペンと画面との接触による入力をより正確に検知することを目的とする。
【課題を解決するための手段】
【０００６】
上記の課題を解決するために、本発明の情報処理装置は、表示面に画像を表示する表示手段と、距離画像センサを用いて、所定の形状をもつ物体の三次元空間における位置を特定する特定手段と、前記表示面と接する面に前記物体が存在するかを判定する判定手段と、前記表示面と接する面に前記物体が存在すると判定されたことを、前記表示面の前記特定された位置に表示された部分に対する入力として認識する認識手段とを有する。
【発明の効果】
【０００７】
本発明により、接触を検知するペンや画面を用いることなく、ペンと画面との接触による入力をより正確に検知することが可能となる。
【図面の簡単な説明】
【０００８】
【図１】情報処理装置１０１の外観と機能構成を示す図である。
【図２】情報処理装置１０１の外観と本実施形態における座標系を示す図である。
【図３】入力を検知する処理の流れの一例を示すフローチャートである。
【図４】論理座標、空間座標、画像座標の一例を模式的に示す図である。
【図５】操作画面１０５に対する入力の一例を示す図である。
【図６】他の音源の影響を打ち消す処理の流れを示すフローチャートである。
【図７】入力の様子を模式的に示す図である。
【図８】第２の実施形態に係る情報処理装置の機能構成と第３の実施形態に係る情報処理装置の外観を示す図である。
【発明を実施するための形態】
【０００９】
（第１の実施形態）
図１（ａ）は、本発明の第１の実施形態に係る情報処理装置の外観を示す図である。
【００１０】
尚、情報処理装置１０１は天井部１０２に設置されているものとし、情報処理装置１０１の真下には机１０３が設置されているものとする。
【００１１】
また、机１０３は、情報処理装置１０１の投影部２０１（後述）によって投影された画像（操作画面１０５）を表示する表示面となっている。
【００１２】
操作画面１０５には種々の情報および操作部品が含まれており、利用者１０６および１０７はそれぞれペン１０８および１０９によってこれらの操作部品が映し出された位置に接触することで画面に対する操作入力を行う。
【００１３】
尚、ペン１０８，１０９についてはペンに限らず、後述する距離画像認識部１２０４が認識する特徴に適合した物体（所定の形状をもつ物体）であればよく、指等でもよい。
【００１４】
また、本実施形態では２名の利用者がそれぞれ１本ずつのペンを用いているが、利用者は何人でも良く、１名の利用者が複数のペンを用いても良い。
【００１５】
図１（ｂ）は情報処理装置１０１の機能構成を示す機能ブロック図である。
【００１６】
情報処理装置１０１は投影部２０１、距離画像撮像部１２０２、集音部２０３、距離画像認識部１２０４、音認識部２０５、操作画面管理部２０６、設定部２０７、固定部２０８を有する。
【００１７】
投影部２０１は、操作画面１０５を投影するプロジェクタである。
【００１８】
距離画像撮像部１２０２は、机上の距離画像を撮像する距離画像センサである。
【００１９】
距離画像センサは、空間上の対象物との距離を画素値とする距離画像を生成する。距離の測定の方法としては、例えば赤外線を発光して対象物からの反射光の到達時間を計測する飛行時間計測方式（ＴＯＦ）などが知られている。
【００２０】
集音部２０３は、音を収録する複数のマイクロホンからなるマイクロホンアレイである。
【００２１】
距離画像認識部１２０４はＭＰＵ等によって構成され、距離画像撮像部１２０２が撮像した映像から、所定の形状をもつ物体として、一方の先端が円錐形をした棒状の物体の認識を行う。なお、他の特徴、例えば人差し指を立てた人間の手の色や形状を認識するようにしてもよい。この場合はペンの代わりに人間の指によって操作を行えるようになる。
【００２２】
音認識部２０５はＭＰＵ等によって構成され、集音部２０３が収録した音から、特定の三次元空間上の点（または領域）における音量を認識する。操作画面管理部２０６はＭＰＵ等によって構成され、投影部２０１が投影する操作画面１０５の映像を管理する。
【００２３】
設定部２０７は、ＭＰＵ、ＲＡＭ等およびスイッチと液晶画面で構成され、利用者の設定入力を受け付けて記憶する。固定部２０８は、情報処理装置１０１を天井部１０２に固定する部品である。
【００２４】
図２（ａ）は、情報処理装置１０１を操作画面１０５から天井部１０２のへ向かって見た場合の外観を示す図である。
【００２５】
本図において、情報処理装置１０１は、発光口３０１、センサ部３０２、集音口３０３、設定Ｉ／Ｆ（インターフェース）３０４、固定金具３０５を有する。
【００２６】
発光口３０１は投影部２０１の発光口であり、下方側（操作画面１０５側）に配置され、下方に向かって操作画面１０５を投影する。
【００２７】
尚、発光口３０１からは、天井と平行な面に対して、発光口３０１の中心軸（光軸）を中心とする矩形（長方形）の操作画面が投影されるものとする。
【００２８】
センサ部３０２は、距離画像撮像部１２０２のセンサ部であり、下方側（操作画面１０５側）に配置され、下方（操作画面１０５および情報処理装置１０１から操作画面１０５までの空間）の距離画像を撮像する。
【００２９】
集音口３０３は集音部２０３を構成する各マイクロホンの集音口である。本実施形態において、各マイクロホンは、天井部１０２の面と平行な同一平面上に配置されているものとする。尚、本図においてマイクロホンは４個であるが、複数であれば何個でもよい。
【００３０】
設定Ｉ／Ｆ３０４は設定部２０７の設定Ｉ／Ｆであり、例えば、数値を入力するためのボタンと、数値を表示するための液晶画面を有する。尚、設定部はボタンと液晶画面による構成に限らず、数値の入力と表示が出来ればよい。
【００３１】
また、設定Ｉ／Ｆは、情報処理装置１０１と一体である必要はなく、例えばリモコンとして、情報処理装置１０１と分離していても良い。固定金具３０５は固定部２０８の一部であり、情報処理装置１０１と天井部１０２と固定している。
【００３２】
図２（ｂ）は、本実施形態において定義する座標を示す図である。
【００３３】
論理座標とは、操作画面管理部２０６が管理する仮想的な二次元の座標であり、操作画面１０５上の位置を表す。
【００３４】
尚、論理座標における二つの座標軸をＸ軸、Ｙ軸とする（論理座標４０１）。また論理座標の原点Ｏｖは任意に、例えば操作画面１０５の一つの隅等に定める。
【００３５】
空間座標とは、情報処理装置１０１が設置された三次元空間における実際の座標である。
【００３６】
尚、空間座標は、情報処理装置の下面上における投影部の発光口の中心を空間座標の原点Ｏｒとし、天井および机の面に平行な面をｘｙ平面、ｘｙ平面に対して天井から机に向かう鉛直方向をｚ軸とする座標系とする（空間座標４０２）。
【００３７】
また、空間座標のｘ軸とｙ軸の方向は、投影部が投影する操作画面１０５の像における論理座標のＸ軸、Ｙ軸に一致させる。
【００３８】
画像座標とは、距離撮像部１２０２が撮像する画像の二次元座標である。
【００３９】
尚、画像座標は、画像中の操作画面の像における論理座標のＸ軸、Ｙ軸の方向と一致する画像座標の軸をそれぞれＵ軸、Ｗ軸とし、任意の点（例えば画像の一つの隅等）を原点Ｏｂと定める（画像座標４０３）。
【００４０】
以上の座標はすべて直交座標である。なお、それぞれの座標系は他の座標、例えば極座標や、射影座標を用いてもよい。これらは操作画面が円形であるときや、操作画面の像および撮像画像に射影的な歪みがある場合に有用である。
【００４１】
また、次元の数についても限ったものではなく、例えば操作画面に立体的なＣＧ等を用いるのであれば、論理座標や画像座標に三次元の座標を用いても良い。
【００４２】
図３は、情報処理装置１０１を用いて、操作画面上の所定の部分に対する入力を検知する処理の流れの一例を示すフローチャートである。
【００４３】
ステップＳ１３５０において、距離画像認識部１２０４は、距離画像中の平坦な面を認識し、それを机と見なして範囲を記憶する。また、その面への距離を、机の面から情報処理装置の下面までの鉛直方向の距離として設定部２０７に記憶する。
【００４４】
次に、ステップＳ１３５１において、距離画像認識部１２０４は、画像座標と空間座標を対応付けるためのキャリブレーションを行う。尚、キャリブレーションの際、例えば、利用者による四隅をペンで指示を検知し、距離画像認識部１２０４は認識したペンの位置を空間座標に対応付ける。
【００４５】
図４（ａ）は距離画像撮像部１２０２によって撮影された距離画像を模式的に示す図である。
【００４６】
像６０１は机１０３に相当する像であり、像６０２は操作画面１０５に相当する像である。
【００４７】
図４（ａ）では、操作画面１０５として四隅に仮想の扇形の図形を配置した映像を表示しているが、操作画面１０５の四隅および論理座標の原点Ｏｖの像が識別できる形態であれば何でもよい。
【００４８】
距離画像認識部１２０４は、操作画面１０５に相当する像における、操作画面１０５の四隅および論理座標の原点Ｏｖの論理座標を記憶しておく。操作画面１０５の四隅の論理座標をそれぞれ（α，γ）（α，ζ）（β，γ）（β，ζ）とする（０＜α＜β、０＜γ＜ζ）。
【００４９】
画像座標の原点Ｏｖは操作画面１０５の四隅のいずれかと必ずしも一致している必要はないが、ここでは画像座標の原点Ｏｖは論理座標の（α，γ）（四隅の１つ）に一致しているものとする。
【００５０】
ステップＳ１３０１において、距離画像撮像部１２０２は、距離画像を撮像する。
【００５１】
ステップＳ１３０２において、距離画像認識部１２０４は、ステップＳ１３５０において認識した机の領域の範囲内において、ステップＳ１３０１において撮像した画像中から一方の先端が円錐形をした棒状の物体を認識し、円錐形の先端をペン先として検出する。
距離画像認識部１２０４は、あらかじめ一方の先端が円錐形をした棒状の物体についての統計的特徴をモデルとして所持しておく。距離の変化から輪郭の検出を行い、テンプレートマッチングを行って画像中から照合する部分を探す。
【００５２】
そして、円錐形の先端に当たる画像座標Ｐを記憶しておく。複数の個所にマッチした場合は全てについて記憶する。尚、ステップＳ１３０２において、周知の他の画像認識の方法を用いても良い。
【００５３】
また、発見されたペン先の各々については等価として扱っているが、動体追跡などを用いてペン先の同一性を判断して、ＩＤ等を振って区別した扱いにしても良い。
【００５４】
これは後述する操作画面管理部が操作を反映する処理に置いて、ペン先が近接した場合の入力状態の判断などに役立つ。また、画像中にペン先がなくても、前後の画像から判断してあるものとして補っても良い。
【００５５】
これは一時的に手の影に隠れてペン先が上方から見えなくなったときも動作を滑らかに継続することができる。
【００５６】
次に、ステップＳ５０３において、距離画像認識部１２０４は、ステップＳ５０２において検出されたペン先のうち、ステップＳ５０４以降の処理がまだ行われていないものがあるかどうかを判定する。
【００５７】
ステップＳ５０４以降の処理がまだ行われていないものがあれば、ステップＳ５０４以降の処理を実行し、ステップＳ５０４以降の処理がまだ行われていないものがない場合、ステップＳ５０１からの処理を繰り返す。
【００５８】
ステップＳ５０４において、距離画像認識部１２０４は、未処理のペン先から任意の一つを選択する。このペン先をＰとする。
【００５９】
次に、ステップＳ１３０５において、距離画像認識部１２０４は、ステップＳ１３０１において撮像した距離画像中におけるＰの画像座標から、対応するＰの空間座標を算出する。
【００６０】
即ち、距離画像認識部１２０４は、ステップＳ１３０１において撮影した画像中におけるペン先Ｐの画像座標ｐから、Ｐの真下に当たる空間座標ｐ’を算出する。
【００６１】
尚、ｘｙ成分については以下に示す方法で算出する。ｚ成分についてはステップＳ１３５０において算出した机までの距離を用いる。
【００６２】
空間座標の原点Ｏｒから机１０３に下ろした垂線の足（０，０，ｈ）をＨとすると、Ｈは操作画面の中心と一致し、机の面における空間座標のｘｙ平面の原点となる。
【００６３】
また、画像中の操作画面の中心の画像座標をＨ’とすると、Ｈ’の画像座標はステップＳ１３５１で得た四隅の座標より、（（β＋α）／２，（ζ＋γ）／２）となる。
【００６４】
一方、四隅の空間座標は投影部２０１と設定部２０７に記憶された高さｈから定まる。
【００６５】
投影部は図４（ｂ）のように、机の面に対して正確に正対して投影を行い、投影される画像は情報処理装置内部のｚ軸上の点Ｑを頂点として、ｘ軸方向の投射角度θ、ｙ軸方向の投射角度φの四角錐状であるものとする。
【００６６】
またθとφは既知であるものとする。机面ｚ＝ｈに投影される操作画面の四隅の空間座標は（±ｈ’ｔａｎθ，±ｈ’ｔａｎφ，ｈ）の四点となる。ここでｈ’とはＱとＨの距離であり、ＱとＯｒとの距離をｆとするとｈ’＝ｈ＋ｆである。
【００６７】
したがって、画像座標から空間座標への変換とは、（α，γ）（α，ζ）（β，γ）（β，ζ）を四隅とする長方形から（±ｈ’ｔａｎθ，±ｈ’ｔａｎφ，ｈ）を四隅とする長方形へのアフィン変換である。
【００６８】
すなわち、画像座標ｐ＝（ｘ，ｙ）について、変換後の空間座標をｐ’＝（２ｈ’ｔａｎθ（ｘ−（α＋β）／２）／（β−α），２ｈ’ｔａｎφ（ｘ−（γ＋ζ）／２）／（ζ−γ），ｈ）とする。
【００６９】
なお、投影部２０１は必ずしも図４（ｂ）のような投影でなくともよく、また変換の方法はここに述べた方法に限らない。例えば、投影部２０１と机１０３の面に正対せず、机上の操作画面の像に歪みが起こる場合などは、アフィン変換ではなく射影変換を用いた座標の変換を行ってもよい。
【００７０】
次に、ステップＳ１３１１において、距離画像認識部１２０４は、画像座標Ｐが操作画面の近傍にあるかどうかを判断する。すなわち、ステップＳ１３０５において求めたＰの空間座標と机上の操作画面の像との距離を求め、所定の閾値、たとえば５ｃｍ未満であるかどうかを判定する。尚、Ｐの空間座標と机上の操作画面の像との距離が所定の閾値未満であった場合、Ｐは操作画面と接しているとみなす。閾値を越えた場合はペン先に相当する座標Ｐが机と接する面に存在していないとみなして、座標Ｐについての処理を終了してステップＳ５０３に戻る。
【００７１】
尚、なお、閾値は他の値でも良いし、例えばｚ軸方向とｘｙ平面上の距離について分けて設けても良い。また、固定値ではなく、設置状況に合わせて設定部２０７などから利用者が入力するようにしても良い。
【００７２】
次に、ステップＳ５０６において、音認識部２０５は、集音部２０３が収録した音から、ステップＳ５０５で求めたペン先Ｐの空間座標ｐ’を音源とする音を抽出する。
【００７３】
尚、音の抽出は、空間座標ｐ’を音源とする音を強調することで行う。
【００７４】
また、空間座標ｐ’を音源とするに音がマイクロホンアレイのそれぞれのマイクに到達するまでの時間の差に応じて音波の位相を遅らせて、それぞれ足し上げる。
【００７５】
こうして空間座標ｐ’から到達した音声が強調され、他の位置から発生した音の影響が軽減される。
【００７６】
【数１】
【００７７】
数１は、強調した音波を算出する式である式８０１である。
【００７８】
式８０１において、Ｗ（ｔ）は求める音波あり、ｔは時刻変数である。また、Ｆｋ（ｔ）はｋ番目のマイクロホンが収録した音声である（ｋ＝１、２、３、４）。
【００７９】
また、Ｖは空気中の音速であり、ここでは３４０ｍ／ｓとする。なお温度や気圧を測定する手段を設けて、設置条件における音速のより正確な値を適宜求めても良い。
【００８０】
Ｌｋはｋ番目のマイクロホンの空間座標と、空間座標ｐ’との距離である。
【００８１】
マイクロホンの空間座標は距離画像撮像部１２０２との位置関係より既知であるものとすると、Ｌｋは三次元の空間座標間の距離として三平方の定理より求められる。尚、ＬｍｉｎはＬｋのうち最小の距離である。
【００８２】
尚、ここでは音波の重ね合わせによって強調を行ったが、他の方法、例えば数１をフーリエ変換した数２（式８０２とする）のように、周波数領域について強調を行っても良い。
【００８３】
【数２】
【００８４】
次に、ステップＳ５０７において、音認識部２０５は、音波Ｗ（ｔ）について音量を算出する。即ち、例えば、Ｗ（ｔ）の二乗の時間平均を求め、適当な底、例えば１０の対数を取ることで空間座標ｐ’における音量を算出する。
【００８５】
次に、ステップＳ５０８において、ステップＳ５０７で取得した音量が所定の閾値、たとえば５０ｄＢを越えたかどうかを判定する。超えない場合はペン先Ｐが机上に接触していないと判断し、ペン先Ｐについての処理を終了してステップＳ５０３に戻る。
【００８６】
なお、閾値は他の固定値でも良いし、設置状況に合わせて設定部などから利用者が入力するようにしても良い。
【００８７】
また、ここでは接触の判断に音量を用いたが、他の方法、例えば隠れマルコフモデル等の統計モデルを用いて、ペン先と机との接触音の周波数分布の特徴などを評価する方法でも良い。
【００８８】
また、接触の判断に前後の認識結果を用いても良い。例えば前後に接触音の少ないペン先から一時的に接触音を検知し、かつ別の机に接触したペン先と近接している場合は、近接したペン先の接触音を誤って検出しているものと考えて、接触していないものと見なす処理を加えても良い。
【００８９】
次に、ステップＳ５０９において、操作画面管理部２０６は、画像座標ｐを対応する論理座標ｐ”に変換する。即ち、ステップＳ１３０１において撮像した画像中の操作画面の像である、（α，γ）（α，ζ）（β，γ）（β，ζ）を四隅とする長方形を、操作画面の四隅の論理座標が成す長方形にアフィン変換することで画像座標から論理座標への変換を行う。すなわち、操作画面の四隅の論理座標を（κ，μ）（λ，μ）（κ，ν）（λ，ν）（κ＜λ、μ＜ν）とする。そして、画像座標ｐ＝（ｘ，ｙ）について、変換後の論理座標をｐ”＝（（λ−κ）（ｘ−（α＋β）／２）／（β−α）＋（κ＋λ）／２，（ν−μ）（ｘ−（γ＋ζ）／２）／（ζ−γ）＋（μ＋ν）／２）とする。
【００９０】
尚、変換の方法はここに述べた方法に限るものではなく、例えば座標に歪みがあればアフィン変換ではなく射影変換を用いてもよい。
【００９１】
次に、ステップＳ５１０において、操作画面管理部２０６は、論理座標ｐ”に対して入力があったものとして操作を反映する。
【００９２】
例として、操作画面１０５が図５のような表示であった場合について説明する。
【００９３】
即ち、操作画面１０５に、オブジェクト１１００の削除を行うかどうかを確認する確認画面１１０１が表示されており、確認画面内にＯＫボタン１１０２とキャンセルボタン１１０３が表示されている場合について説明する。
【００９４】
論理座標ｐ”の位置がＯＫボタン１１０２の範囲内、例えば１１０４の位置であると判定され、かつ接触音が検知された場合、操作画面管理部２０６は、ＯＫボタンの押下と見なしてオブジェクト１１００を削除し、確認画面１１０１を非表示とする。
【００９５】
論理座標ｐ”の位置がキャンセルボタン１１０３の範囲内、例えば１１０５の位置であり、かつ接触音が検知された場合、操作画面管理部２０６はキャンセルボタンの押下と見なして削除を中止し、確認画面１１０１を非表示とする。
【００９６】
論理座標ｐ”の位置がボタンと無関係な、例えば１１０６であった場合は、操作画面管理部２０６は何もしないが、続けて１１０７の位置に入力があれば、１１０６と１１０７の間に線（軌跡）を描画する。尚、本実施形態において、操作画面１０５におけるボタンとは無関係の領域（部分）は、描画領域であるものとする。
【００９７】
また、ステップＳ５０６において、音認識部２０５は、予め種々のペンと表示面（机１０３）との接触音の情報を保持し、保持された情報に基づいて、ペン先が表示面と接する面に存在し、接触音が検知された場合、ペン毎に異なる入力として認識してもよい。
【００９８】
具体的には、第１のペンと表示面との接触音である第１の接触音が検知され、第１のペンのペン先の位置が描画領域であった場合、黒色で軌跡を描画する入力と認識する。
【００９９】
また、第１のペンと異なる第２のペンと表示面との接触音である第２の接触音が検知され、第２のペンのペン先の位置が描画領域であった場合、赤色で軌跡を描画する入力と認識してもよい。
【０１００】
尚、以上の動作はあくまで一例であり、これに限るものではない。
【０１０１】
ステップＳ５１０の処理が完了すると、ペン先Ｐについての処理は終了となり、ステップＳ５０３に戻って別のペン先についての処理を行う。以上のように、複数のペン先が同時に撮像された場合には、各ペン先について処理が順次行われる。
【０１０２】
また、１つの撮像画像中のペン先について、処理が十分に短い時間の間に行われれば、例えば１１０５と１１０６の両方の位置にペン先があった場合には、ＯＫボタンの押下と線の描画がほぼ同時に為されることになる。
【０１０３】
また、ペン先の論理座標を算出するごとに操作画面への反映を行う代わりに、例えば撮像画像中の全てのペン先の論理座標を求めてから、操作画面への反映を同時に行っても良い。
【０１０４】
以上のように、ステップＳ１３０１からステップＳ５１０を十分に短い時間間隔、例えば３０分の１秒毎に繰り返すことによって、複数の利用者の机上に対するペンの接触を操作画面に反映することが実現される。尚、時間間隔は別の長さでも良いし、例えばＭＰＵの負荷等によって適宜変更されてもよい。
【０１０５】
なお、ペン先を音源とする音を算出するために音声の強調を用いたが、他の音源の影響を打ち消す方法もある。
【０１０６】
図６は、他の音源の影響を打ち消す処理の流れを示すフローチャートである。図３に示したフローチャートと同様の工程については、同符号を付し、その説明を省略する。
【０１０７】
尚、本フローチャートにおいては、一度、ステップＳ１３０２で発見されたペン先のそれぞれについて強調した音を求めてから、改めてそれぞれのペン先について他の音源の影響を除去する処理を施すものとする。
【０１０８】
ステップＳ９０１において、距離画像認識部１２０４は、ステップＳ１３０２において検出されたペン先のうち、ステップＳ９０２以降の処理がまだ行われていないものがあるかどうかを判定する。
【０１０９】
尚、ステップＳ１３０２でペン先が一つも発見されなかった場合は、ペン先はないものと判断する。
【０１１０】
ステップＳ９０２において、距離画像認識部１２０４は、未処理のペン先から任意の一つを選択する。このペン先を再びＰとする。
【０１１１】
ステップＳ９０３において、音認識部２０５は、ペン先Ｐ以外の音源からの音を除去する。ここではＰ以外のペン先の音を別音源からのノイズとする。
【０１１２】
ステップＳ５０６で得たＰの強調音から、他のペン先の強調音を減算することで除去を行う。数３は、所望の音波を算出する式である。
【０１１３】
【数３】
【０１１４】
数３において、ＷＰ（ｔ）は、ステップＳ５０６で求められた点Ｐにおける強調音波である。Πは、ステップＳ１３０２で発見されたペン先の集合である。こうして求められたＷ’Ｐ（ｔ）を点Ｐにおける音波として、ステップＳ５０７以降ではＷの代わりに用いる。
【０１１５】
尚、ここでは音波の重ね合わせによって他の音源の影響を除去する処理を行ったが、他の方法、例えば数３の式をフーリエ変換した式を用いて、周波数領域について除去を行っても良い。
【０１１６】
また、他の音源としてペン先を考えたが、例えば人間の話し声を除去するために、顔認識で人間の頭部や口唇を認識して、その位置からの音を除去するなどしても良い。
【０１１７】
図７（ａ）（ｂ）は、入力の様子を模式的に示す図である。
【０１１８】
図７（ａ）において、表示面は、机１０３に相当し、操作画面１０５に相当する画像が表示されているものとする。
【０１１９】
また、距離画像センサにより、表示面と接する領域（面）に所定の形状をもつ物体（例えば、ペン）の先端部（例えば、円錐形のペン先）の三次元空間における位置が特定されているものとする。
【０１２０】
また、表示面と、ペンとはペン先ではなない部分で接触しており、表示面とペンとの接触音が検知されているものとする。
【０１２１】
この場合、ペン先が表示面と接する面に存在しないため、表示面とペンとの接触音が検知された場合であっても、表示面（または操作画面１０５）に対する入力とは認識されない。
【０１２２】
一方、図７（ｂ）において、所定の形状をもつ物体（例えば、ペン）の先端部（例えば、円錐形のペン先）は、表示面と接触しており、表示面とペンとの接触音が検知されている。
【０１２３】
この場合、ペン先が表示面と接する面に存在し、表示面とペンとの接触音が検知されているため、表示面（または操作画面１０５）に対する入力と認識される。
【０１２４】
例えば、ペン先が接している表示面が描画をする領域内である場合、軌跡の描画入力として認識される。
【０１２５】
（第２の実施形態）
また、図８（ａ）は、本実施形態における情報処理装置の機能構成を示す機能ブロック図である。図１（ｂ）に示した機能ブロック図と同一の要素については、同符号を付し、詳細な説明を省略する。
【０１２６】
撮像部２０２は、投影部２０１が投影した操作画面１０５を撮像するカメラである。
【０１２７】
画像認識部１４０１は、撮像部２０２が撮像した画像および距離画像撮像部１２０２が撮像した距離画像の両方を基に、一方の先端が円錐形をした棒状の物体の認識を行う。尚、他の特徴、例えば人差し指を立てた人間の手の色や形状を認識するようにしてもよい。
【０１２８】
画像のみを用いて、距離を判断せず色調の変化のみで判断する場合は、机から大きく離れたペン先についても認識処理を要するため計算量が多くなる懸念がある。一方、距離画像のみを用いて距離の変化のみで判断するためには、解像度の高い距離画像センサが必要である他、色調の情報がないため、動体追跡などを行う場合にペンの個体識別が困難な場合がある。
【０１２９】
本実施形態における画像認識部１４０１は、画像における色調の変化および距離画像における距離の変化の両方から輪郭の検出を行うことで以上の課題による影響を低減できる。
【０１３０】
（第３の実施形態）
操作画面の表示方法は天井からの下方投影である必要はなく、他の方法でもよい。また必ずしも利用者が操作をする場所に操作画面の情報が表示される必要もない。
【０１３１】
図８（ｂ）は本実施形態に係る情報処理装置の外観一例を示す図である。
【０１３２】
操作板１７０１は長方形の平坦な板で、利用者はこの上にペンや指等を接触することで操作画面の操作を行う。
【０１３３】
尚、必ずしも平坦な板である必要はなく、操作の範囲を示すことが出来ればよい。
【０１３４】
パーソナルコンピュータ１７０２は操作板の前方に設置され、操作画面の情報が表示される。また、画像認識部、音認識部、操作画面管理部、設定部として働く。
【０１３５】
センサ装置１７０３は撮像部と集音部を備え、操作画面の上部に設置される。尚、センサ装置はパーソナルコンピュータと一体であっても良い。また位置は操作画面の上部に限らない。
【０１３６】
撮像部は、操作画面の代わりに操作板を撮影し、画像認識部は、操作板上に撮像された所定の物体を認識する。操作画面管理部は、操作板の領域の画像座標を、操作画面の論理座標に対応させる変換を行う。
【０１３７】
撮像部が操作板とその上のペンや指等を撮像し、ペンや指の位置の音を認識することで操作板上へのペンや指の接触を検知し、操作画面に反映する点については第１乃至第４の実施形態と同様である。利用者は操作板にペンや指を接触させることによって、操作画面上の操作を行うことができる。
【０１３８】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【特許請求の範囲】
【請求項１】
表示面に画像を表示する表示手段と、
距離画像センサを用いて、所定の形状をもつ物体の三次元空間における位置を特定する特定手段と、
前記表示面と接する面に前記物体が存在するかを判定する判定手段と、
前記表示面と接する面に前記物体が存在すると判定されたことを、前記表示面の前記特定された位置に表示された部分に対する入力として認識する認識手段とを有する情報処理装置。
【請求項２】
更に、複数のマイクロホンを介して収録された音に、特定された前記位置を音源とする前記表示面と前記物体との接触音が含まれるかを検出する検出手段を有し、
前記認識手段は、前記表示面と接する面に前記物体が存在すると判定され、かつ前記接触音が検知されたことを、前記表示面の前記特定された位置に表示された部分に対する入力として認識することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記特定された位置が、描画をする領域内である場合、前記入力とは、描画入力であることを特徴とする請求項１または請求項２に記載の情報処理装置。
【請求項４】
前記特定された位置が、ボタンが表示された領域内である場合、前記入力とは、前記ボタンを指定する入力であることを特徴とする請求項１または請求項２に記載の情報処理装置。
【請求項５】
表示面に対する入力を認識する情報処理装置の動作方法であって、
前記表示面に画像を表示する表示工程と、
距離画像センサを用いて、所定の形状をもつ物体の三次元空間における位置を特定する特定工程と、
前記表示面と接する面に前記物体が存在するかを判定する判定工程と、
前記表示面と接する面に前記物体が存在すると判定されたことを、前記表示面の前記特定された位置に表示された部分に対する入力として認識する認識工程とを有する動作方法。
【請求項６】
請求項５に記載の動作方法をコンピュータに実行させるためのプログラム。
【請求項１】
表示面に画像を表示する表示手段と、
距離画像センサを用いて、所定の形状をもつ物体の三次元空間における位置を特定する特定手段と、
前記表示面と接する面に前記物体が存在するかを判定する判定手段と、
前記表示面と接する面に前記物体が存在すると判定されたことを、前記表示面の前記特定された位置に表示された部分に対する入力として認識する認識手段とを有する情報処理装置。
【請求項２】
更に、複数のマイクロホンを介して収録された音に、特定された前記位置を音源とする前記表示面と前記物体との接触音が含まれるかを検出する検出手段を有し、
前記認識手段は、前記表示面と接する面に前記物体が存在すると判定され、かつ前記接触音が検知されたことを、前記表示面の前記特定された位置に表示された部分に対する入力として認識することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記特定された位置が、描画をする領域内である場合、前記入力とは、描画入力であることを特徴とする請求項１または請求項２に記載の情報処理装置。
【請求項４】
前記特定された位置が、ボタンが表示された領域内である場合、前記入力とは、前記ボタンを指定する入力であることを特徴とする請求項１または請求項２に記載の情報処理装置。
【請求項５】
表示面に対する入力を認識する情報処理装置の動作方法であって、
前記表示面に画像を表示する表示工程と、
距離画像センサを用いて、所定の形状をもつ物体の三次元空間における位置を特定する特定工程と、
前記表示面と接する面に前記物体が存在するかを判定する判定工程と、
前記表示面と接する面に前記物体が存在すると判定されたことを、前記表示面の前記特定された位置に表示された部分に対する入力として認識する認識工程とを有する動作方法。
【請求項６】
請求項５に記載の動作方法をコンピュータに実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１１−２５３２５５（Ｐ２０１１−２５３２５５Ａ）
【公開日】平成２３年１２月１５日（２０１１．１２．１５）
【国際特許分類】
【出願番号】特願２０１０−１２５２４３（Ｐ２０１０−１２５２４３）
【出願日】平成２２年５月３１日（２０１０．５．３１）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２３年１２月１５日（２０１１．１２．１５）
【国際特許分類】
【出願日】平成２２年５月３１日（２０１０．５．３１）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]