物体判断システム、物体判断方法およびプログラム
【課題】物体判断システム、物体判断方法およびプログラムを提供する。
【解決手段】所定方向に電磁波を発する第１の電磁波発生装置と、前記第１の電磁波発生装置から発せられる電磁波と交差する方向に電磁波を発する第２の電磁波発生装置と、前記第１の電磁波発生装置から発せられる電磁波と前記第２の電磁波発生装置から発せられる電磁波の交差範囲に存在する物体を撮像する撮像装置と、前記第１の電磁波発生装置および前記第２の電磁波発生装置による電磁波の発生を切替える制御装置と、前記第１の電磁波発生装置による電磁波の発生時に撮像された第１の画像、および、前記第２の電磁波発生装置による電磁波の発生時に撮像された第２の画像に基づき、前記物体の物理的形状に関する判断を行なう判断部、を有する判断装置と、を備える、物体判断システム。
【解決手段】所定方向に電磁波を発する第１の電磁波発生装置と、前記第１の電磁波発生装置から発せられる電磁波と交差する方向に電磁波を発する第２の電磁波発生装置と、前記第１の電磁波発生装置から発せられる電磁波と前記第２の電磁波発生装置から発せられる電磁波の交差範囲に存在する物体を撮像する撮像装置と、前記第１の電磁波発生装置および前記第２の電磁波発生装置による電磁波の発生を切替える制御装置と、前記第１の電磁波発生装置による電磁波の発生時に撮像された第１の画像、および、前記第２の電磁波発生装置による電磁波の発生時に撮像された第２の画像に基づき、前記物体の物理的形状に関する判断を行なう判断部、を有する判断装置と、を備える、物体判断システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物体判断システム、物体判断方法およびプログラムに関する。
【背景技術】
【０００２】
近日、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）や携帯電話などの情報処理装置に対する情報入力を行なうための新たなインターフェースに関する研究が広く行なわれている。例えば、撮像装置により操作者を撮像し、撮像された画像から操作者の手や指などを抽出し、抽出した手や指の動き（ジェスチャー）を入力操作として検出するインターフェースが提案されている。
【０００３】
かかるインターフェースにおいて操作者の入力操作を適切に検出するためには、操作者の手や指などを背景画像から効率的、かつ正確に抽出することが重要であった。このため、操作者の手や指の抽出に関する研究が広く行なわれている。例えば特許文献１には、操作者による非操作時に撮像された画像を基準画像として記憶しておき、操作者による操作時に撮像された画像と上記基準画像の差分を演算することにより操作者の手や指を検出する方法が記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第３９９７５６６号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記のようなインターフェースにおいて操作者の入力操作を適切に検出するためには、操作者の指や、指し棒などの特定の立体的形状を有する物体を背景画像から効率的、かつ正確に抽出することが重要であった。しかし、撮像される画像はあくまで２次元であるため、撮像された画像から特定の立体的形状を有する物体を抽出することは困難であった。
【０００６】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、特定の立体的形状を有する物体の先端を検出することが可能な、新規かつ改良された物体判断システム、物体判断方法およびプログラムを提供することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明のある観点によれば、電磁波の投影面を撮像する撮像装置と、前記投影面へ電磁波を発する電磁波発生装置と、前記電磁波発生装置による電磁波の発生を制御する制御装置と、前記電磁波発生装置による電磁波の発生時に撮像された投影面の画像と非発生時に撮像された投影面の画像との差分に基づいて前記電磁波発生装置および前記投影面の間に存在する物体の投影像を検出する投影像検出部、および、前記物体の投影像の位置に基づいて前記物体の位置を検出する位置検出部、を有する位置検出装置とを備える、位置検出システムが提供される。
【０００８】
かかる構成においては、電磁波発生装置による電磁波の発生時に、電磁波発生装置および投影面の間に存在する物体が電磁波を遮るため、物体の投影像が形成されている投影面が撮像装置により撮像される。ここで、投影面における物体の投影像以外の背景部分には、電磁波発生装置により発せられた電磁波が到達する。一方、電磁波発生装置による電磁波の非発生時には、投影面の全体に電磁波発生装置を発生源とする電磁波は到達しない。このため、投影像検出部は、電磁波の発生時に撮像された画像と非発生時に撮像された画像の差分に基づいて物体の投影像を検出することができる。また、物体の投影像の形成位置は、電磁波発生装置および物体の位置関係に依存する。したがって、位置検出部は、投影像検出部により検出された物体の投影像の形成位置から、物体の位置を合理的に検出することができる。
【０００９】
前記撮像装置は、所定の同期信号に同期してフレーム画像を撮像し、前記制御装置は、前記同期信号に同期して前記電磁波発生装置による電磁波の発生を制御してもよい。
【００１０】
前記電磁波発生装置は、第１の電磁波発生装置、および前記第１の電磁波発生装置と異なる位置に配される第２の電磁波発生装置を含み、前記制御装置は、前記第１の電磁波発生装置による電磁波の発生、前記第２の電磁波発生装置による電磁波の発生、および前記第１の電磁波発生装置および前記第２の電磁波発生装置における電磁波の非発生を切替え、前記投影像検出部は、前記第１の電磁波発生装置による電磁波の発生時に撮像された第１の画像から前記物体の投影像を検出し、前記第２の電磁波発生装置による電磁波の発生時に撮像された第２の画像から前記物体の投影像を検出し、前記位置検出部は、前記第１の画像および前記第２の画像から検出された前記物体の投影像の位置に基づいて前記物体の空間位置を検出してもよい。
【００１１】
前記位置検出装置は、前記第１の画像から検出された前記物体の投影像の位置に基づき、前記第１の電磁波発生装置および前記物体の投影像を結ぶ直線を推定し、前記第２の画像から検出された前記物体の投影像の位置に基づき、前記第２の電磁波発生装置および前記物体の投影像を結ぶ直線を推定する推定部をさらに備え、前記位置検出部は、前記推定部により推定された双方の直線の交差箇所を前記物体の空間位置として検出してもよい。
【００１２】
前記制御装置は、前記第１の電磁波発生装置による電磁波の発生、前記第２の電磁波発生装置による電磁波の発生、および前記第１の電磁波発生装置および前記第２の電磁波発生装置における電磁波の非発生の切替えを周期的に行い、前記投影像検出部は、前記第１の画像と、前記第１の画像と同一周期であって前記第１の電磁波発生装置および前記第２の電磁波発生装置における電磁波の非発生時に撮像された画像との差分に基づいて前記物体の投影像を検出し、前記第２の画像と、前記第２の画像と同一周期であって前記第１の電磁波発生装置および前記第２の電磁波発生装置における電磁波の非発生時に撮像された画像との差分に基づいて前記物体の投影像を検出してもよい。
【００１３】
前記位置検出システムは、前記電磁波発生装置から発せられる電磁波の波長成分を通過させるフィルタをさらに備え、前記撮像装置は、前記フィルタを介して前記投影面を撮像してもよい。
【００１４】
前記電磁波発生装置は赤外線または可視光線を発してもよい。
【００１５】
また、上記課題を解決するために、本発明の別の観点によれば、電磁波発生装置からの撮像可能な電磁波の発生および非発生を切替えるステップと、前記電磁波発生装置から発せられる電磁波の投影面を撮像するステップと、前記電磁波発生装置による電磁波の発生時に撮像された投影面の画像と非発生時に撮像された投影面の画像との差分に基づいて前記電磁波発生装置および前記投影面の間に存在する物体の投影像を検出するステップと、前記物体の投影像の位置に基づいて前記物体の位置を検出するステップと、を含む位置検出方法が提供される。
【００１６】
また、上記課題を解決するために、本発明の別の観点によれば、コンピュータを、電磁波発生装置からの撮像可能な電磁波の発生および非発生を切替える制御部と、電磁波発生装置から発せられる電磁波の投影面を撮像する撮像装置により前記電磁波発生装置の発生時に撮像された投影面の画像と非発生時に撮像された投影面の画像との差分に基づいて前記電磁波発生装置および前記投影面の間に存在する物体の投影像を検出する投影像検出部と、前記物体の投影像の位置に基づいて前記物体の位置を検出する位置検出部と、として機能させるためのプログラムが提供される。
【００１７】
また、上記課題を解決するために、本発明の別の観点によれば、所定方向に電磁波を発する第１の電磁波発生装置と、前記第１の電磁波発生装置から発せられる電磁波と交差する方向に電磁波を発する第２の電磁波発生装置と、前記第１の電磁波発生装置から発せられる電磁波と前記第２の電磁波発生装置から発せられる電磁波の交差範囲に存在する物体を撮像する、第１の電磁波発生装置および第２の電磁波発生装置により発せられる電磁波を撮像可能な前記撮像装置と、前記第１の電磁波発生装置および前記第２の電磁波発生装置による電磁波の発生を切替える制御装置と、前記第１の電磁波発生装置による電磁波の発生時に撮像された第１の画像から、前記第１の電磁波発生装置により発せられた電磁波の前記物体における受波部位を検出し、前記第２の電磁波発生装置による電磁波の発生時に撮像された第２の画像から、前記第２の電磁波発生装置により発せられた電磁波の前記物体における受波部位を検出する受波部位検出部、および、前記第１の画像および前記第２の画像から検出された受波部位の近接度に応じ、前記物体の物理的形状に関する判断を行なう判断部、を有する判断装置と、を備える物体判断システムが提供される。
【００１８】
前記撮像装置は、所定の同期信号に同期してフレーム画像の各々を撮像し、前記制御装置は、前記同期信号に同期して前記電磁波発生装置による電磁波の発生を制御してもよい。
【００１９】
前記制御装置は、前記第１の電磁波発生装置による電磁波の発生、前記第２の電磁波発生装置による電磁波の発生、および前記第１の電磁波発生装置および前記第２の電磁波発生装置における電磁波の非発生の切替えを周期的に行い、前記受波部位検出部は、前記第１の画像と、前記第１の画像と同一周期であって前記第１の電磁波発生装置および前記第２の電磁波発生装置における電磁波の非発生時に撮像された画像との差分に基づいて前記物体における前記受波部位を検出し、前記第２の画像と、前記第２の画像と同一周期であって前記第１の電磁波発生装置および前記第２の電磁波発生装置における電磁波の非発生時に撮像された画像との差分に基づいて前記物体における前記受波部位を検出してもよい。
【００２０】
前記物体判断システムは、前記第１の電磁波発生装置および前記第２の電磁波発生装置から発せられる電磁波の波長成分を通過させるフィルタをさらに備え、前記撮像装置は、前記フィルタを介して前記物体を撮像してもよい。
【００２１】
前記第１の電磁波発生装置および前記第２の電磁波発生装置は、赤外線または可視光線を発っしてもよい。
【００２２】
また、上記課題を解決するために、本発明の別の観点によれば、所定方向に撮像可能な電磁波を発する第１の電磁波発生装置、および前記第１の電磁波発生装置から発せられる電磁波と交差する方向に電磁波を発する第２の電磁波発生装置による電磁波の発生を切替えるステップと、前記第１の電磁波発生装置から発せられる電磁波と前記第２の電磁波発生装置から発せられる電磁波の交差範囲に存在する物体を撮像するステップと、前記第１の電磁波発生装置による電磁波の発生時に撮像された第１の画像から、前記第１の電磁波発生装置により発せられた電磁波の前記物体における受波部位を検出し、前記第２の電磁波発生装置による電磁波の発生時に撮像された第２の画像から、前記第２の電磁波発生装置により発せられた電磁波の前記物体における受波部位を検出するステップと、前記第１の画像および前記第２の画像から検出された受波部位の近接度に応じ、前記物体の物理的形状に関する判断を行なうステップと、を含む物体判断方法が提供される。
【００２３】
また、上記課題を解決するために、本発明の別の観点によれば、コンピュータを、所定方向に撮像可能な電磁波を発する第１の電磁波発生装置、および前記第１の電磁波発生装置から発せられる電磁波と交差する方向に電磁波を発する第２の電磁波発生装置による電磁波の発生を切替える制御部と、前記第１の電磁波発生装置から発せられる電磁波と前記第２の電磁波発生装置から発せられる電磁波の交差範囲に存在する物体を撮像する撮像装置により前記第１の電磁波発生装置による電磁波の発生時に撮像された第１の画像から、前記第１の電磁波発生装置により発せられた電磁波の前記物体における受波部位を検出し、前記第２の電磁波発生装置による電磁波の発生時に撮像された第２の画像から、前記第２の電磁波発生装置により発せられた電磁波の前記物体における受波部位を検出する受波部位検出部と、前記第１の画像および前記第２の画像から検出された受波部位の近接度に応じ、前記物体の物理的形状に関する判断を行なう判断部と、として機能させるためのプログラムが提供される。
【００２４】
また、上記課題を解決するために、本発明の別の観点によれば、電磁波の投影面を撮像する撮像装置と、前記撮像装置により撮像可能な電磁波を前記投影面へハッスル第１の電磁波発生装置と、前記第１の電磁波発生装置と異なる位置に配される第２の電磁波発生装置と、前記第１の電磁波発生装置および前記第２の電磁波発生装置による電磁波の発生を切替える制御装置と、前記第１の電磁波発生装置による電磁波の発生時に撮像された第１の画像から前記第１の電磁波発生装置および前記投影面の間に存在する物体の投影像を検出し、前記第２の電磁波発生装置による電磁波の発生時に撮像された第２の画像から前記物体の投影像を検出する投影像検出部、および、前記第１の画像および前記第２の画像から検出された前記物体の投影像の位置に基づいて前記物体の空間位置を検出する位置検出部、を有する位置検出装置と、を備える位置検出システムが提供される。
【００２５】
前記位置検出装置は、前記第１の画像から検出された前記物体の投影像の位置に基づき、前記第１の電磁波発生装置および前記物体の投影像を結ぶ直線を推定し、前記第２の画像から検出された前記物体の投影像の位置に基づき、前記第２の電磁波発生装置および前記物体の投影像を結ぶ直線を推定する推定部をさらに備え、前記位置検出部は、前記推定部により推定された双方の直線の交差箇所を前記物体の空間位置として検出してもよい。
【発明の効果】
【００２６】
以上説明したように本発明によれば、特定の立体的形状を有する物体の先端を検出することが可能である。
【図面の簡単な説明】
【００２７】
【図１】本発明の第１の実施形態にかかる位置検出システムの構成例を示した外観図である。
【図２】撮像装置の構成および各装置間の関係を示した説明図である。
【図３】発光制御装置によるＬＥＤの発光制御の具体例を示した説明図である。
【図４】ＬＥＤの発光状態ごとのフレーム画像の具体例を示した説明図である。
【図５】位置検出装置として機能するＰＣの構成を示した機能ブロック図である。
【図６】人差し指の先端の空間位置、投影像の位置、およびＬＥＤの位置関係を示した説明図である。
【図７】第１の実施形態にかかる位置検出システムにおいて実行される位置検出方法の流れを示したフローチャートである。
【図８】第１の実施形態の変形例にかかる位置検出システムの構成を示した説明図である。
【図９】本発明の第２の実施形態にかかる先端検出システムの構成例を示した外観図である。
【図１０】本発明の第２の実施形態にかかる先端検出システムの構成例を示した外観図である。
【図１１】本発明の第２の実施形態にかかるＰＣの構成を示した機能ブロック図である。
【図１２】各発光状態において撮像されたフレーム画像の具体例を示した説明図である。
【図１３】フレーム画像の他の具体例を示した説明図である。
【図１４】本発明の第２の実施形態にかかる先端検出システムにおいて実行される物体判断方法の流れを示したフローチャートである。
【発明を実施するための形態】
【００２８】
以下に添付図面を参照しながら、本発明の実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２９】
また、以下に示す項目順序に従って当該「発明を実施するための最良の形態」を説明する。
〔１〕第１の実施形態
〔１−１〕第１の実施形態に至る経緯
〔１−２〕第１の実施形態にかかる位置検出システムの概要
〔１−３〕発光制御装置による発光制御
〔１−４〕フレーム画像からの投影像の検出
〔１−５〕空間位置検出
〔１−６〕位置検出システムによる一連の動作
〔１−７〕第１の実施形態のまとめ
〔１−８〕第１の実施形態の補足
（変形例１）
（変形例２）
〔２〕第２の実施形態
〔２−１〕第２の実施形態に至る経緯
〔２−２〕第２の実施形態にかかる先端検出システムの概要
〔２−３〕フレーム画像からの先端検出
〔２−４〕先端検出システムによる一連の動作
〔２−５〕第２の実施形態のまとめ
〔２−６〕第２の実施形態の補足
〔３〕全体補足
【００３０】
〔１〕第１の実施形態
〔１−１〕第１の実施形態に至る経緯
従来より、撮像装置により操作者を撮像し、撮像された画像から操作者の手や指などを抽出し、抽出した手や指の動き（ジェスチャー）を入力操作として検出するインターフェースが多く提案されている。
【００３１】
かかるインターフェースにおいて操作者の入力操作を適切に検出するためには、操作者の手や指などを背景画像から効率的、かつ正確に抽出することが重要であった。しかし、背景画像に操作者の身体画像が含まれる場合や、背景画像が静止していない場合があった。この場合、背景画像から操作者の手や指などを適切に検出することは困難であった。また、照明条件も変化する場合があり、この場合にも入力操作の認識率が著しく低下することが予想された。
【００３２】
そこで、上記事情を一着眼点にして本発明の第１の実施形態にかかる位置検出システム１を創作するに至った。本実施形態にかかる位置検出システムは、操作者の手や指そのものでなく、手や指の投影像を認識することにより入力操作を検出する。ここで、投影像は手や指そのものよりもコントラストが高いため、本実施形態にかかる位置検出システム１によれば、容易に背景画像から操作者の手や指などを抽出することができる。また、本実施形態にかかる位置検出システム１によれば、操作者の手や指などの空間位置を検出することも可能である。以下、このような本発明の第１の実施形態にかかる位置検出システム１について説明する。
【００３３】
〔１−２〕第１の実施形態にかかる位置検出システムの概要
まず、図１を参照し、本発明の第１の実施形態にかかる位置検出システム１の概要を説明する。
【００３４】
図１は、本発明の第１の実施形態にかかる位置検出システム１の構成例を示した外観図である。図１に示したように、本実施形態にかかる位置検出システム１は、画像送信装置１０と、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）２０と、を備える。
【００３５】
画像送信装置１０は、湾曲部１１Ａ、湾曲部１１Ｂ、レール部１１Ｃ、撮像装置１２、ＩＲ透過フィルタ１４、発光制御装置１６、ＬＥＤ１８Ａ、ＬＥＤ１８Ｂ、上昇ボタン１９Ａ、下降ボタン１９Ｂ、離隔ボタン１９Ｃ、および近接ボタン１９Ｄを備える。
【００３６】
ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）１８ＡおよびＬＥＤ１８Ｂは、発光制御装置１６による制御に従い、赤外線を間欠的に発光する。かかるＬＥＤ１８ＡおよびＬＥＤ１８Ｂは、レール溝を有するレール部１１Ｃに設けられており、手動、または自動によりレール溝に沿って移動される。なお、本明細書においては、説明の便宜上、ＬＥＤ１８ＡおよびＬＥＤ１８ＢがＸ座標軸をＺ方向に平行移動させた線上に配置されているものとする。
【００３７】
また、本実施形態においては電磁波を発生する電磁波発生装置の一例として赤外線を発光するＬＥＤ１８ＡおよびＬＥＤ１８Ｂをあげて説明するが、電磁波発生装置は赤外線を発光するＬＥＤ１８ＡおよびＬＥＤ１８Ｂに限られない。例えば、電磁波発生装置は、Ｘ線、紫外線、波長が４００ｎｍ〜７００ｎｍ程度である可視光線、ミリ波およびマイクロ波を発生する装置などであってもよい。また、図１においては、ＬＥＤ１８ＡおよびＬＥＤ１８Ｂを区別するために符号の後に大文字のアルファベットを付しているが、ＬＥＤ１８ＡおよびＬＥＤ１８Ｂを特に区別する必要が無い場合、単にＬＥＤ１８と総称する。
【００３８】
撮像装置１２は、ＬＥＤ１８により発光される赤外線の投影面８を複数のフレームにわたって連続的に撮像する。また、撮像装置１２には、赤外線を透過させるＩＲ（Ｉｎｆｒａｒｅｄ）透過フィルタ１４が装着されており、撮像装置１２は、ＩＲ透過フィルタ１４を介して投影面８を撮像する。したがって、撮像装置１２により得られるフレーム画像には、投影面８における赤外線の露光度が反映される。
【００３９】
また、撮像装置１２は、撮像したフレーム画像を任意の通信方式によりＰＣ２０へ送信する。フレーム画像を送信するための通信方式は、ＩＥＥＥ（Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｅｌｅｃｔｒｉｃａｌ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃ Ｅｎｇｉｎｅｅｒｓ）８０２．１１ａ、ｂ、ｇなどに規定される無線通信方式であってもよい。また、通信方式は、ＩＥＥＥ８０２．１１ｎに規定されるＭＩＭＯ（Ｍｕｌｔｉｐｌｅ Ｉｎｐｕｔ Ｍｕｌｔｉｐｌｅ Ｏｕｔｐｕｔ）通信方式であっても、ＩＥＥＥ８０２．３に規定される通信方式であってもよい。なお、図１に示した撮像範囲Ｒは、撮像装置１２が撮像可能な投影面８上の範囲に該当する。また、本実施形態においては、説明の便宜上、撮像範囲Ｒの中心点が座標系の原点Ｏであるものとする。
【００４０】
発光制御装置１６は、ＬＥＤ１８ＡおよびＬＥＤ１８Ｂにおける発光を制御する制御装置として機能する。詳細については「〔１−３〕発光制御装置による発光制御」において説明するが、発光制御装置１６は、撮像装置１２により生成された同期信号が入力され、当該同期信号に基づいてＬＥＤ１８ＡおよびＬＥＤ１８Ｂにおける発光を制御する。図１においては、操作者の手がＬＥＤ１８および投影面８の間に存在し、発光制御装置１６による制御に基づいてＬＥＤ１８が発光したときに、投影面８に操作者の手の投影像３０Ａが形成されている様子を示している。
【００４１】
湾曲部１１Ａおよび湾曲部１１Ｂは、レール部１１Ｃを支持する。画像送信装置１０は、かかる、湾曲部１１Ａおよび湾曲部１１Ｂの曲率を、上昇ボタン１９Ａまたは下降ボタン１９Ｂに対する操作に応じて変更させる。
【００４２】
例えば、画像送信装置１０は、上昇ボタン１９Ａが押圧されると、湾曲部１１Ａおよび湾曲部１１Ｂの曲率を下げ、レール部１１ＣをＺ方向に上昇させる。レール部１１Ｃが上昇されると、ＬＥＤ１８Ａ、およびＬＥＤ１８Ｂの投影面８に対する高さも上昇する。同様に、画像送信装置１０は、下降ボタン１９Ｂが押圧されると、湾曲部１１Ａおよび湾曲部１１Ｂの曲率を上げ、レール部１１ＣをＺ方向に下降させる。レール部１１Ｃが下降されると、ＬＥＤ１８Ａ、およびＬＥＤ１８Ｂの投影面８に対する高さも下降する。
【００４３】
また、画像送信装置１０は、離隔ボタン１９Ｃが押圧されると、ＬＥＤ１８ＡおよびＬＥＤ１８Ｂを離隔させる方向に移動させる。具体的には、画像送信装置１０は、ＬＥＤ１８Ａをレール溝に沿って負のＸ方向に移動させ、ＬＥＤ１８Ｂをレール溝に沿って正のＸ方向に移動させる。同様に、画像送信装置１０は、近接ボタン１９Ｄが押圧されると、ＬＥＤ１８ＡおよびＬＥＤ１８Ｂを近接させる方向に移動させる。具体的には、画像送信装置１０は、ＬＥＤ１８Ａをレール溝に沿って正のＸ方向に移動させ、ＬＥＤ１８Ｂをレール溝に沿って負のＸ方向に移動させる。
【００４４】
操作者は、このようにボタン１９Ａ〜１９Ｄを操作することによりＬＥＤ１８ＡおよびＬＥＤ１８Ｂを移動させることができる。ＬＥＤ１８ＡおよびＬＥＤ１８Ｂを移動させると、投影像の位置、位置検出システム１における位置検出の可能範囲、動きに対する敏感性などのシステム特性も変化する。したがって、操作者はボタン１９Ａ〜１９Ｄを操作することにより、システム特性を調整することができる。
【００４５】
なお、画像送信装置１０は、ＬＥＤ１８Ａ、ＬＥＤ１８Ｂ、および撮像装置１２の位置を検出し、ＰＣ２０に送信してもよい。その結果、ＰＣ２０は、特段のキャリブレーション処理を行うことなくＬＥＤ１８Ａ、ＬＥＤ１８Ｂ、および撮像装置１２の位置を取得することが可能となる。
【００４６】
ＰＣ２０は、撮像装置１２から送信された画像を受信し、受信した画像に基づいてＬＥＤ１８および投影面８の間に存在する操作主体の空間位置を検出する。詳細については「〔１−４〕画像からの投影像の検出」および「〔１−５〕空間位置検出」において説明するが、ＰＣ２０は、受信した画像上の操作主体の投影像の位置を検出し、投影像の位置とＬＥＤ１８の位置関係から操作主体の空間位置を検出することができる。
【００４７】
なお、操作主体は、ＬＥＤ１８が発する光に対して僅かでも遮光性を有する物体を想定する。例えば、ＬＥＤ１８が赤外線を発光する本実施形態においては、手や指などの人体の他、指し棒、携帯電話、および筆記用具などの物体が操作主体に該当し得る。なお、より上位概念では、操作主体は、電磁波発生装置が発生する電磁波の波長成分に対して僅かでも非透過性を有する物体であると表現できる。
【００４８】
また、図１においては、位置検出装置の一例としてＰＣ２０を示したに過ぎず、位置検出装置は、任意の情報処理装置であってもよい。情報処理装置としては、例えば、家庭用映像処理装置（ＤＶＤレコーダ、ビデオデッキなど）、携帯電話、ＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙｐｈｏｎｅ Ｓｙｓｔｅｍ）、携帯用音楽再生装置、携帯用映像処理装置、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）、家庭用ゲーム機器、携帯用ゲーム機器、家電機器などがあげられる。
【００４９】
また、図１においては、ＬＥＤ１８Ａ、ＬＥＤ１８Ｂ、および撮像装置１２が画像送信装置１０上に一体的に設けられる例を示しているが、本実施形態はかかる例に限定されない。例えば、ＬＥＤ１８Ａ、ＬＥＤ１８Ｂ、および撮像装置１２は各々分離構成されてもよい。この場合、位置検出システム１は、動作開始時に、ＬＥＤ１８Ａ、ＬＥＤ１８Ｂ、撮像装置１２、および投影面８の位置関係を自動的に検出しても、操作者による操作に基づいて取得してもよい。
【００５０】
〔１−３〕発光制御装置による発光制御
以上、本実施形態にかかる位置検出システム１について概略的に説明した。続いて、図２〜図４を参照し、発光制御装置１６による発光制御について説明する。
【００５１】
図２は、撮像装置１２の構成および各装置間の関係を示した説明図である。図２に示したように、撮像装置１２は、撮像素子１１０と、同期信号生成部１２０と、ＡＤ変換部１３０と、フレーム番号付与部１４０と、無線通信部１５０と、を備える。
【００５２】
撮像素子１１０は、入射された光を電気信号に変換して出力する光電変換部である。例えば、撮像素子１１０は、各画素に対応するように２次元に配置されたフォトダイオード、およびＣＣＤ（ｃｈａｒｇｅ ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ）を備えてもよい。かかる構成においてフォトダイオードを露光させると、フォトダイオードが電荷を蓄積し、フォトダイオードに蓄積された電荷がＣＣＤにより順次に転送される。
【００５３】
撮像素子１１０は、このようなフォトダイオードの露光から電荷の転送までの撮像処理を、同期信号生成部１２０により生成される同期信号の立ち上がり、または立ち下りに同期して行なう。例えば、撮像素子１１０は、同期信号の立ち上がりに同期してフォトダイオードを露光させてもよい。なお、一回の露光によりＣＣＤから転送される電荷は、１フレーム分の画像に対応する。
【００５４】
同期信号生成部１２０は、撮像素子１１０が撮像する際に利用する上記同期信号を生成する。例えば、同期信号生成部１２０は、立ち上がり回数が６０回／秒、または１８０回／秒である同期信号を生成してもよい。なお、同期信号生成部１２０により立ち上がり回数が１８０回／秒である同期信号が生成された場合、撮像素子１１０は同期信号の立ち上がりに同期して１８０フレーム／秒で画像の撮像処理を行う。
【００５５】
ＡＤ（Ａｎａｌｏｇ Ｄｉｇｉｔａｌ）変換部１３０は、撮像素子１１０から画素ごとに転送される電荷の電荷量をデジタル形式に変換する。そして、ＡＤ変換部１３０は、デジタル形式に変換した画素ごとの電荷量をフレーム画像として出力する。
【００５６】
フレーム番号付与部１４０は、ＡＤ変換部１３０から入力されるフレーム画像の各々にフレーム番号を付与する。例えば、フレーム番号付与部１４０は、フレーム番号を「０」から順に連番で付与してもよい。また、フレーム番号付与部１４０は、各フレーム画像のヘッダ部分にフレーム番号を記載してもよい。
【００５７】
無線通信部１５０は、フレーム番号付与部１４０によりフレーム番号が付与されたフレーム画像をＰＣ２０へ無線で送信する。なお、図１および図２においては無線通信部１５０が無線でフレーム画像を送信する例を説明したが、撮像装置１２は有線でフレーム画像を送信してもよい。
【００５８】
このように、同期信号生成部１２０により生成される同期信号は、撮像素子１１０による撮像処理に利用されることが一般的である。しかし、本実施形態においては、同期信号生成部１２０により生成される同期信号を発光制御装置１６も利用する点で通常と異なる。
【００５９】
発光制御装置１６は、同期信号生成部１２０により生成された同期信号が入力され、当該同期信号に同期してＬＥＤ１８ＡおよびＬＥＤ１８Ｂによる発光を制御する。例えば、発光制御装置１６は、同期信号の立ち上がりにおいて、ＬＥＤ１８Ａの発光、ＬＥＤ１８Ｂの発光、ＬＥＤ１８ＡおよびＬＥＤ１８Ｂの非発光を切替えてもよい。このような発光制御装置１６による発光制御の具体例について図３を参照して説明する。
【００６０】
図３は、発光制御装置１６によるＬＥＤ１８ＡおよびＬＥＤ１８Ｂの発光制御の具体例を示した説明図である。より詳細には、図３には、同期信号生成部１２０により生成される同期信号の波形例、ＬＥＤ１８Ａの発光状態、ＬＥＤ１８Ｂの発光状態、およびフレーム画像の関係を示している。なお、図３において、「０」は非発光を示し、「１」は発光を示す。
【００６１】
図３に示した例では、発光制御装置１６は、同期信号の立ち上がりの度に、ＬＥＤ１８ＡおよびＬＥＤ１８Ｂの非発光、ＬＥＤ１８Ａのみの発光、ＬＥＤ１８Ｂのみの発光、を周期的に繰り返す。ここで、当該同期信号は撮像装置１２によるフレーム画像の撮像にも利用されているため、ＬＥＤ１８ＡおよびＬＥＤ１８Ｂの発光の切り替えタイミングが、フレーム画像の撮像タイミングと同期する。すなわち、撮像装置１２がフレーム画像の各々を撮像する度に、ＬＥＤ１８ＡおよびＬＥＤ１８Ｂの発光状態が切替えられる。
【００６２】
その結果、ＬＥＤ１８ＡおよびＬＥＤ１８Ｂの非発光時、ＬＥＤ１８Ａのみ発光時、ＬＥＤ１８Ｂのみ発光時にフレーム画像が撮像装置１２により順次に撮像される。例えば、図３に示したように、ＬＥＤ１８ＡおよびＬＥＤ１８Ｂの非発光時にフレーム画像（１５）が撮像され、ＬＥＤ１８Ａのみ発光時にフレーム画像（１６）が撮像され、ＬＥＤ１８Ｂのみ発光時にフレーム画像（１７）が撮像される。
【００６３】
図４は、ＬＥＤ１８ＡおよびＬＥＤ１８Ｂの発光状態ごとのフレーム画像の具体例を示した説明図である。より詳細には、図４の上段はＬＥＤ１８ＡおよびＬＥＤ１８Ｂの非発光時のフレーム画像を示し、図４の中段はＬＥＤ１８Ａのみ発光時のフレーム画像を示し、図４の下段はＬＥＤ１８Ｂのみ発光時のフレーム画像を示している。
【００６４】
図４の上段に示したように、ＬＥＤ１８ＡおよびＬＥＤ１８Ｂの非発光時には、投影面８に赤外線が到達せず、また、撮像装置１２にはＩＲ透過フィルタ１４が装着されているため、撮像装置１２による撮像範囲Ｒの全域の輝度が低くなる。
【００６５】
一方、図４の中段に示したように、ＬＥＤ１８Ａの発光時には、投影面８に赤外線が到達し、撮像装置１２による撮像範囲Ｒの輝度が全体的に高くなる。ただし、投影面８には操作者の手の投影像３０Ａが形成されており、投影像３０Ａの形成範囲の輝度は低くなっている。なお、図４の中段においては、後述の説明のために、投影像３０Ａにおける操作者の人差し指の先端座標をＳＡと示している。
【００６６】
また、図４の下段に示したように、ＬＥＤ１８Ｂの発光時にも、投影面８に赤外線が到達し、撮像装置１２による撮像範囲Ｒの輝度が全体的に高くなる。ただし、投影面８には操作者の手の投影像３０Ｂが形成されており、投影像３０Ｂの形成範囲の輝度は低くなっている。なお、図４の下段においては、後述の説明のために、投影像３０Ｂにおける操作者の人差し指の先端座標をＳＢと示している。
【００６７】
このように、ＬＥＤ１８ＡおよびＬＥＤ１８Ｂの発光状態ごとにフレーム画像の内容が異なる。本実施形態においては、詳細については「〔１−４〕画像からの投影像の検出」、および「〔１−５〕空間位置検出」において後述するが、発光状態ごとのフレーム画像の差分に基づき、操作者の人差し指の空間位置を検出することができる。
【００６８】
なお、図３には、ＬＥＤ１８ＡおよびＬＥＤ１８Ｂの非発光、ＬＥＤ１８Ａのみの発光、ＬＥＤ１８Ｂのみの発光が順次に繰り返される例を示したが、本実施形態はかかる例に限定されない。例えば、発光制御装置１６は、一回のＬＥＤ１８ＡおよびＬＥＤ１８Ｂの非発光に対し、複数回にわたってＬＥＤ１８Ａのみの発光およびＬＥＤ１８Ｂのみの発光を繰り返してもよい。
【００６９】
〔１−４〕フレーム画像からの投影像の検出
続いて、図５を参照し、撮像装置１２により撮像されたフレーム画像からの投影像の検出について説明する。
【００７０】
図５は、位置検出装置として機能するＰＣ２０の構成を示した機能ブロック図である。図５に示したように、本実施形態にかかるＰＣ２０は、差分演算部２１０と、投影像検出部２１４と、記憶部２１８と、空間位置検出部２２２と、特定動作検出部２２６と、表示画面生成部２３０と、表示部２３４と、無線通信部２５０と、を備える。
【００７１】
無線通信部２５０は、撮像装置１２とのインターフェースであって、撮像装置１２から送信されたフレーム画像を受信する。また、無線通信部２５０は、ＬＥＤ１８Ａ、ＬＥＤ１８Ｂ、および撮像装置１２の位置などを画像送信装置１０から受信してもよい。
【００７２】
差分演算部２１０は、ＬＥＤ１８ＡおよびＬＥＤ１８Ｂの非発光時に撮像されたフレーム画像と、ＬＥＤ１８Ａの発光時またはＬＥＤ１８Ｂの発光時に撮像されたフレーム画像との差分を演算する。そのために、差分演算部２１０は、まず、無線通信部２５０により受信されたフレーム画像の各々が、どのようなＬＥＤ１８ＡおよびＬＥＤ１８Ｂの発光状態において撮像されたかを判定する。
【００７３】
例えば、差分演算部２１０は、各フレーム画像に付与されているフレーム番号に基づいて各フレーム画像に対応する発光状態を判定してもよい。より具体的には、差分演算部２１０は、フレーム番号を３で除算し、余りが１であればＬＥＤ１８Ａの発光時、余りが２であればＬＥＤ１８Ｂの発光時、余りが０であればＬＥＤ１８ＡおよびＬＥＤ１８Ｂの非発光時に撮像されたフレーム画像であると判定してもよい。
【００７４】
または、差分演算部２１０は、各フレーム画像の全体的な輝度に基づいて各フレーム画像に対応する発光状態を判定してもよい。例えば、差分演算部２１０は、少なくとも３つの連続するフレーム画像の輝度を比較し、最も輝度の低いフレーム画像がＬＥＤ１８ＡおよびＬＥＤ１８Ｂの非発光時に撮像されたフレーム画像であると判定してもよい。そして、差分演算部２１０は、非発光時に撮像されたフレーム画像であると判定したフレーム画像を基準に、次のフレーム画像はＬＥＤ１８Ａの発光時、さらに次のフレーム画像はＬＥＤ１８Ｂの発光時に撮像されたフレーム画像であると判定してもよい。
【００７５】
差分演算部２１０は、各フレーム画像の撮像時の発光状態を判定した後、ＬＥＤ１８ＡおよびＬＥＤ１８Ｂの非発光時に撮像されたフレーム画像と、ＬＥＤ１８Ａの発光時またはＬＥＤ１８Ｂの発光時に撮像されたフレーム画像との差分を演算する。
【００７６】
ここで、ＬＥＤ１８ＡおよびＬＥＤ１８Ｂの非発光時に撮像されたフレーム画像は、周囲の自然光を受けている投影面８の画像である。一方、ＬＥＤ１８Ａの発光時に撮像されたフレーム画像は、周囲の自然光に加え、操作者の手の投影像３０Ａの形成範囲以外にＬＥＤ１８Ａから発せられた赤外線を受けている投影面８の画像である。したがって、差分演算部２１０が、上記のようにＬＥＤ１８ＡおよびＬＥＤ１８Ｂの非発光時に撮像されたフレーム画像と、ＬＥＤ１８Ａの発光時に撮像されたフレーム画像の差分を演算することにより、操作者の手の投影像３０Ａの形成範囲が抽出される。
【００７７】
同様に、ＬＥＤ１８Ｂの発光時に撮像されたフレーム画像は、周囲の自然光に加え、操作者の手の投影像３０Ｂの形成範囲以外にＬＥＤ１８Ｂから発せられた赤外線を受けている投影面８の画像である。したがって、差分演算部２１０は、上記のようにＬＥＤ１８ＡおよびＬＥＤ１８Ｂの非発光時に撮像されたフレーム画像と、ＬＥＤ１８Ｂの発光時に撮像されたフレーム画像の差分を演算することにより、操作者の手の投影像３０Ｂの形成範囲が抽出される。
【００７８】
さらに、差分演算部２１０は、ＬＥＤ１８Ａの発光時に撮像されたフレーム画像と、該フレーム画像と最も撮影時刻が近い、または同一周期の非発光時に撮像されたフレーム画像の差分を演算してもよい。例えば、差分演算部２１０は、図３におけるフレーム画像（１５）とフレーム画像（１６）の差分を演算してもよい。かかる構成により、周囲の照明条件や背景画像が変化している場合であっても、より正確に投影像３０Ａを検出することができる。同様に、差分演算部２１０は、図３におけるフレーム画像（１５）とフレーム画像（１７）の差分を演算してもよい。
【００７９】
投影像検出部２１４は、差分演算部２１０による演算結果に基づいて、各フレーム画面に形成されている投影像３０から特定部分を検出する。例えば、投影像検出部２１４は、図４に示した投影像３０Ａにおける人差し指の先端ＳＡの位置、および投影像３０Ｂにおける人差し指の先端ＳＢの位置を検出する。
【００８０】
具体的には、投影像検出部２１４は、記憶部２１８に事前に記憶されている人差し指の形状パターンと各フレーム画面（差分演算後）のパターンマッチングを行い、投影像３０における人差し指の先端Ｓの位置を検出してもよい。
【００８１】
または、投影像検出部２１４は、投影像３０の形成範囲内で、所定の座標値の値が最も高い位置を人差し指の先端Ｓの位置として検出してもよい。例えば、図４に示した例では、投影像検出部２１４が投影像３０の形成範囲内でｙの値が最大である位置を検出することにより、適確に投影像３０Ａにおける人差し指の先端ＳＡの位置、および投影像３０Ｂにおける人差し指の先端ＳＢの位置を検出できる。
【００８２】
〔１−５〕空間位置検出
次に、人差し指の先端の空間位置の検出について図６を参照して説明する。
【００８３】
図６は、人差し指の先端の空間位置、投影像３０の位置、およびＬＥＤ１８の位置関係を示した説明図である。図６においては、ＬＥＤ１８Ａの座標をＡ（Ａｘ，Ａｙ，Ａｚ）、ＬＥＤ１８Ｂの座標をＢ（Ｂｘ，Ｂｙ，Ｂｚ）、人差し指の先端の空間位置をＰ（以下、人差し指の空間位置Ｐとする。）と示している。
【００８４】
図６に示したように、光の直進性を考慮すると、人差し指の空間位置Ｐは、ＬＥＤ１８Ａの座標Ａ、および座標ＳＡを結ぶ直線Ｌ上に存在することが予測される。同様に、人差し指の先端は、ＬＥＤ１８Ｂの座標Ｂ、および座標ＳＢを結ぶ直線Ｍ上に存在することが予測される。
【００８５】
空間位置検出部２２２は、上記のように人差し指の空間位置Ｐが直線Ｌおよび直線Ｍ上に存在するという仮定に基づき、直線Ｌおよび直線Ｍの交差箇所を人差し指の空間位置Ｐとして検出する。そのために、空間位置検出部２２２（推定部）は、直線Ｌおよび直線Ｍを推定し、いずれかの平面に直線Ｌおよび直線Ｍを投射し、該平面に投射された直線Ｌおよび直線Ｍの交点を算出してもよい。
【００８６】
例えば、空間位置検出部２２２は、ｘ−ｙ平面に直線Ｌおよび直線Ｍを投射し、ｘ−ｙ平面に投射された直線Ｌおよび直線Ｍの交点を算出し、該交点のｘ，ｙ座標、および該交点のｘ，ｙ座標における直線Ｌまたは直線Ｍのｚ座標を空間位置Ｐとして検出してもよい。かかる構成により、厳密には直線Ｌおよび直線Ｍが交差していない場合であっても、ｘ−ｙ平面においては投射された直線Ｌおよび直線Ｍが交差すると考えられるため、直線Ｌおよび直線Ｍが近接している位置（交差箇所）を空間位置Ｐとして検出することができる。なお、空間位置検出部２２２は、同様に直線Ｌおよび直線Ｍをｙ−ｚ平面、またはｘ−ｚ平面に投射することにより人差し指の空間位置Ｐを検出してもよい。
【００８７】
または、空間位置検出部２２２は、直線Ｌおよび直線Ｍをベクトルを用いて表現し、ベクトル演算により直線Ｌ上で直線Ｍと最も近接する位置（交差箇所）を算出し、算出した位置を人差し指の空間位置Ｐとして検出してもよい。さらに、空間位置検出部２２２は、直線Ｌおよび直線Ｍの線上で各々が最も近接する位置を算出し、算出した双方の位置の間、例えば中点を人差し指の空間位置Ｐとして検出してもよい。
【００８８】
表示画面生成部２３０は、空間位置検出部２２２により人差し指の空間位置Ｐが検出されると、人差し指の空間位置Ｐに応じた表示画面を生成する。例えば、表示画面生成部２３０は、３次元的な立体画像を生成している場合、立体画像における人差し指の空間位置Ｐに応じた位置にカーソルを重畳してもよい。また、表示画面生成部２３０は、３次元的なゲーム空間の画像を生成している場合、ゲーム空間中で人差し指の空間位置Ｐの変化に応じてキャラクターを３次元的に移動させてもよい。
【００８９】
表示部２３４は、表示画面生成部２３０により生成された表示画面を表示する。例えば、表示部２３４は、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ装置、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｓｐｌａｙ）装置などの映像出力装置であってもよい。
【００９０】
また、特定動作検出部２２６は、空間位置検出部２２２により検出される人差し指の空間位置Ｐの変化と、記憶部２１８に事前に記録されている特定動作の動きパターンとをマッチングすることにより、人差し指の特定動作を検出する。例えば、記憶部２１８には、特定動作の動きパターンとして、人差し指が円を描く動きパターン、人差し指が前方へ突き出される動きパターン、人差し指が曲げられる動きパターンなどを記憶していてもよい。なお、上記では人差し指の空間位置Ｐが検出される例を説明したが、人差し指に加え、親指の空間位置を検出することも同様に可能である。この場合、記憶部２１８には、特定動作の動きパターンとして、人差し指と親指が開く動作パターン、人差し指と親指が開きながら移動する動作パターン、人差し指と親指が回転する動作パターンなどが記録されていてもよい。
【００９１】
なお、このような記憶部２１８は、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの不揮発性メモリや、ハードディスクおよび円盤型磁性体ディスクなどの磁気ディスクや、ＣＤ−Ｒ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅｃｏｒｄａｂｌｅ）／ＲＷ（ＲｅＷｒｉｔａｂｌｅ）、ＤＶＤ−Ｒ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ Ｒｅｃｏｒｄａｂｌｅ）／ＲＷ／＋Ｒ／＋ＲＷ／ＲＡＭ（Ｒａｍｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）およびＢＤ（Ｂｌｕ−Ｒａｙ Ｄｉｓｃ（登録商標））―Ｒ／ＢＤ−ＲＥなどの光ディスクや、ＭＯ（Ｍａｇｎｅｔｏ Ｏｐｔｉｃａｌ）ディスクなどの記憶媒体であってもよい。
【００９２】
表示画面生成部２３０は、特定動作検出部２２６により特定動作が検出されると、特定動作の内容に応じた処理、あるいは表示画面の生成を行なう。例えば、表示画面生成部２３０は、人差し指が前方へ突き出される動きパターンが検出された場合、生成する画面を拡大してもよい。また、表示画面生成部２３０は、人差し指が円を描く動きパターンが検出された場合、これをクリック動作と捉え、カーソルが当てられている項目の詳細を示す表示画面を生成してもよい。
【００９３】
〔１−６〕位置検出システムによる一連の動作
以上、本実施形態にかかる位置検出システム１の機能について説明した。続いて、図７を参照し、本実施形態にかかる位置検出システム１における一連の動作を説明する。
【００９４】
図７は、第１の実施形態にかかる位置検出システム１において実行される位置検出方法の流れを示したフローチャートである。図７に示したように、まず、撮像装置１２が投影面８の撮像を開始する（Ｓ３０４）。ここで、撮像装置１２は、同期信号生成部１２０により生成された同期信号に同期して投影面８の撮像を行なう。
【００９５】
また、発光制御装置１６は、ＬＥＤ１８ＡおよびＬＥＤ１８Ｂによる発光を、同期信号生成部１２０により生成された同期信号に同期して制御する（Ｓ３０８）。例えば、発光制御装置１６は、ＬＥＤ１８ＡおよびＬＥＤ１８Ｂの非発光、ＬＥＤ１８Ａのみの発光、ＬＥＤ１８Ｂのみの発光を同期信号生成部１２０により生成された同期信号に同期して順次に切替える。
【００９６】
そして、ＰＣ２０の差分演算部２１０および投影像検出部２１４が、ＬＥＤ１８ＡおよびＬＥＤ１８Ｂの非発光時のフレーム画像とＬＥＤ１８Ａのみ発光時のフレーム画像の差分に基づき、投影像３０Ａを検出する（Ｓ３１２）。同様に、差分演算部２１０および投影像検出部２１４が、ＬＥＤ１８ＡおよびＬＥＤ１８Ｂの非発光時のフレーム画像とＬＥＤ１８Ｂのみ発光時のフレーム画像の差分に基づき、投影像３０Ｂを検出する（Ｓ３１６）。
【００９７】
その後、空間位置検出部２２２が、検出された双方の投影像３０の形成位置から、「〔１−５〕空間位置検出」で説明した方法により例えば人差し指の空間位置Ｐを検出する（Ｓ３２０）。そして、空間位置検出システム１は、Ｓ３０４〜Ｓ３２０の処理を繰り返すことにより、人差し指の空間位置Ｐを連続的に検出し、人差し指の空間的な動きを検出することができる。
【００９８】
〔１−７〕第１の実施形態のまとめ
以上説明したように、本発明の第１の実施形態にかかる位置検出システム１は、操作主体そのものでなく、操作主体の投影像を撮像する。ここで、投影像は、操作主体そのものと比較して背景画像とのコントラスト差が大きいため、位置検出システム１は、より高い精度でフレーム画像から操作主体の投影像を検出することができる。
【００９９】
また、本発明の第１の実施形態にかかる位置検出システム１は、フレーム画像の撮像タイミングに同期してＬＥＤ１８ＡおよびＬＥＤ１８Ｂによる発光を制御する。そして、本発明の第１の実施形態にかかる位置検出システム１は、ＬＥＤ１８Ａの発光時に撮像されたフレーム画像と、該フレーム画像と最も撮影時刻が近い、または同一周期の非発光時に撮像されたフレーム画像の差分を演算する。同様に、本発明の第１の実施形態にかかる位置検出システム１は、ＬＥＤ１８Ｂの発光時に撮像されたフレーム画像と、該フレーム画像と最も撮影時刻が近い、または同一周期の非発光時に撮像されたフレーム画像の差分を演算する。かかる構成により、周囲の照明条件や背景画像が変化している場合であっても、継続的に投影像３０Ａおよび３０Ｂを高い精度で検出することができる。
【０１００】
さらに、本発明の第１の実施形態にかかる位置検出システム１は、ＬＥＤ１８ＡおよびＬＥＤ１８Ｂの配置位置と、投影像３０Ａおよび３０Ｂの形成位置とに基づいて、操作主体の空間位置を検出することができる。例えば、同期信号生成部１２０により立ち上がり回数が１８０回／秒である同期信号が生成された場合、本発明の第１の実施形態にかかる位置検出システム１によれば、１秒当たり６０回操作主体の空間位置を検出することが可能である。さらに、本発明の第１の実施形態にかかる位置検出システム１は、継続的に操作主体の空間位置を検出することにより、操作主体の動きを検出することも可能である。
【０１０１】
〔１−８〕第１の実施形態の補足
なお、上述した本発明の第１の実施形態は、適宜変更して実施することが可能である。以下、本発明の第１の実施形態の変形例１および変形例２について説明する。
【０１０２】
（変形例１）
上記第１の実施形態では、複数のＬＥＤ１８ＡおよびＬＥＤ１８Ｂを位置検出システム１に設けることにより操作主体の空間位置を検出する例を説明したが、位置検出システム１に設けるＬＥＤ１８の数は２個に限られない。例えば、位置検出システム１に３個以上の多数のＬＥＤ１８を設けてもよい。また、部屋の天井などにＬＥＤ１８が設置されている場合、位置検出システム１の一部として特別にＬＥＤ１８を設けなくてもよい。
【０１０３】
また、位置検出システム１に設けるＬＥＤ１８の数は１個であってもよい。この場合、発光制御装置１６は、ＬＥＤ１８の発光、および非発光を同期信号生成部１２０により生成された同期信号に同期して切替える。そして、ＰＣ２０の差分演算部２１０がＬＥＤ１８の発光時のフレーム画像および非発光時のフレーム画像の差分を演算し、投影像検出部２１４が演算結果から操作主体の投影像を検出する。
【０１０４】
そして、空間位置検出部２２２が、投影像検出部２１４により検出された投影像から、操作主体の空間位置、または２次元位置を検出する。単一の投影像から操作主体の空間位置を検出することは困難であるとも考えられるが、空間位置検出部２２２は、投影像の形成位置に加え、投影像の大きさの変化に基づいて操作主体の空間位置を検出し得る。
【０１０５】
かかる構成によれば、ＬＥＤ１８を複数個設ける場合と比較し、１秒当たりに操作主体の空間位置を検出できる回数が増加する。例えば、同期信号生成部１２０により立ち上がり回数が１８０回／秒である同期信号が生成された場合、１秒当たり９０回操作主体の空間位置を検出することが可能である。
【０１０６】
（変形例２）
また、上記第１の実施形態では、ＬＥＤ１８の配置位置側から撮像装置１２が投影面８を撮像する例を説明したが、図８に示すように、撮像装置１２は、ＬＥＤ１８の配置位置側の他側から投影面８を撮像してもよい。
【０１０７】
図８は、第１の実施形態の変形例にかかる位置検出システム２の構成を示した説明図である。図８に示したように、変形例にかかる位置検出システム２は、スクリーン９、ＬＥＤ１８Ａ、ＬＥＤ１８Ｂ、撮像装置１２、ＩＲ透過フィルタ１４、およびプロジェクタ２４を備える。
【０１０８】
スクリーン９は、ＬＥＤ１８ＡおよびＬＥＤ１８Ｂから発せられた赤外線の少なくとも一部を裏面へ透過する性質を有する。したがって、撮像装置１２は、スクリーン９の裏面から操作者の手の投影像３０Ａおよび３０Ｂを撮像することができる。そして、撮像装置１２により撮像されたフレーム画像が供給される位置検出装置は、操作者の手のＸ座標値およびＹ座標値に加え、Ｚ座標値も検出することができる。
【０１０９】
ここで、ＬＥＤ１８ＡおよびＬＥＤ１８Ｂは、必ずしも撮像装置１２によるフレームの撮像タイミングに同期して発光を制御されなくてもよい。例えば、ＬＥＤ１８ＡおよびＬＥＤ１８Ｂは、発光状態を維持していてもよい。この場合、位置検出装置は、フレーム画像から２の投影像３０を検出する。しかし、位置検出装置は、ＬＥＤ１８ＡおよびＬＥＤ１８Ｂの配置位置の関係から、いずれの投影像がＬＥＤ１８Ａによる投影像３０Ａであり、いずれの投影像がＬＥＤ１８Ｂによる投影像３０Ｂであるかを検出することができる。
【０１１０】
具体的には、ＬＥＤ１８ＢがＬＥＤ１８Ａより正のＸ方向に配置されている場合、２の投影像のうちで、Ｘ方向の形成位置が相対的に負側である投影像がＬＥＤ１８Ｂによる投影像３０Ｂであると検出できる。同様に、Ｘ方向の形成位置が相対的に正側である投影像がＬＥＤ１８Ａによる投影像３０Ａであると検出することが可能である。
【０１１１】
また、上記実施形態では照明条件の変化などに対応するためにＬＥＤ１８の発光時および非発光時のフレーム画像の差分を演算する例を説明した。しかし、空間位置の単位時間当たりの検出速度を優先する場合、ＬＥＤ１８を非発光にする期間を設けず、また、フレーム画像の差分演算を省略してもよい。
【０１１２】
〔２〕第２の実施形態
以上、本発明の第１の実施形態にかかる位置検出システム１について説明した。続いて、本発明の第２の実施形態に至った経緯を説明した後に、図９〜図１４を参照して本発明の第２の実施形態について説明する。
【０１１３】
〔２−１〕第２の実施形態に至る経緯
従来より、撮像装置により操作者を撮像し、撮像された画像から操作主体を抽出し、抽出した操作主体の動き（ジェスチャー）を入力操作として検出するインターフェースが多く提案されている。ここで、操作主体としては、先細な立体的形状を有する操作者の指や、指し棒などが想定される。
【０１１４】
かかるインターフェースにおいて操作者の入力操作を適切に検出するためには、操作者の指や、指し棒などの特定の立体的形状を有する物体を背景画像から効率的、かつ正確に抽出することが重要であった。しかし、撮像される画像はあくまで２次元であるため、撮像された画像から特定の立体的形状を有する物体を抽出することは困難であった。
【０１１５】
そこで、上記事情を一着眼点にして本発明の第２の実施形態にかかる先端検出システム４を創作するに至った。本発明の第２の実施形態にかかる先端検出システム４によれば、特定の立体的形状を有する物体の先端を検出することが可能である。以下、このような本実施形態にかかる先端検出システム４について説明する。
【０１１６】
〔２−２〕第２の実施形態にかかる先端検出システムの概要
図９および図１０は、本発明の第２の実施形態にかかる先端検出システム４の構成例を示した外観図である。図９に示したように、本実施形態にかかる先端検出システム４（物体判断システム）は、撮像装置１２と、ＩＲ透過フィルタ１４と、発光制御装置１６と、ＬＥＤ１８Ａと、ＬＥＤ１８Ｂと、ＰＣ２１と、を備える。なお、図１０は、図９に示した先端検出システム４をＺ方向側を視点として場合の平面図である。
【０１１７】
図１０に示したように、ＬＥＤ１８ＡおよびＬＥＤ１８Ｂは、各々の赤外線の発光方向が交差するように配置されている。その結果、ＬＥＤ１８Ａにより発せられる赤外線とＬＥＤ１８Ｂにより発せられる赤外線との交差範囲が形成され、当該交差範囲を図１０において実線で囲って示している。
【０１１８】
撮像装置１２は、第１の実施形態と実質的に同一に構成される。ただし、本実施形態にかかる撮像装置１２は、撮像対象が第１の実施形態と異なる。具体的には、本実施形態にかかる撮像装置１２は、ＬＥＤ１８ＡおよびＬＥＤ１８Ｂが発する赤外線の交差範囲を撮像対象とする。また、撮像装置１２には、赤外線を透過させるＩＲ透過フィルタ１４が装着されており、撮像装置１２は、ＩＲ透過フィルタ１４を介して赤外線の交差範囲を撮像する。したがって、撮像装置１２により得られるフレーム画像には、赤外線の交差範囲における赤外線の受光部位が示される。また、撮像装置１２は、撮像したフレーム画像を任意の通信方式によりＰＣ２０へ送信する。
【０１１９】
発光制御装置１６は、第１の実施形態と同様に、ＬＥＤ１８ＡおよびＬＥＤ１８Ｂにおける発光を制御する制御装置として機能する。より詳細には、発光制御装置１６は、撮像装置１２により生成された同期信号が入力され、当該同期信号に基づいてＬＥＤ１８ＡおよびＬＥＤ１８Ｂにおける発光を制御する。例えば、発光制御装置１６は、同期信号の立ち上がりにおいて、ＬＥＤ１８Ａの発光、ＬＥＤ１８Ｂの発光、ＬＥＤ１８ＡおよびＬＥＤ１８Ｂの非発光を切替えてもよい。
【０１２０】
〔２−３〕フレーム画像からの先端検出
次に、図１１〜図１３を参照し、本実施形態によるフレーム画像からの先端検出について説明する。
【０１２１】
図１１は、本発明の第２の実施形態にかかるＰＣ２１の構成を示した機能ブロック図である。図１１に示したように、本実施形態にかかるＰＣ２１（物体判断装置）は、表示部２３４、無線通信部２５０、受光部位検出部２６４、近接パターン判断部２６８、記憶部２７２、入力内容判断部２７６、および表示画面生成部２８０を備える。無線通信部２５０および表示部２３４の機能は、第１の実施形態で説明した内容と実質的に同一であるため、説明を省略する。
【０１２２】
受光部位検出部２６４は、ＬＥＤ１８Ａの発光時に撮像されたフレーム画像、およびＬＥＤ１８Ｂの発光時に撮像されたフレーム画像から、赤外線の受光部位を検出する。かかる受光部位検出部２６４による受光部位の検出について、図１２を参照して説明する。
【０１２３】
図１２は、各発光状態において撮像されたフレーム画像の具体例を示した説明図である。より詳細には、図１２の上段はＬＥＤ１８Ａのみ発光時のフレーム画像を示し、図１２の中段はＬＥＤ１８Ｂのみ発光時のフレーム画像を示し、図１２の下段は双方のＬＥＤ１８が発光していた場合に想定されるフレーム画像を示している。
【０１２４】
図１０に示したように赤外線の交差範囲に人差し指が存在する場合、ＬＥＤ１８Ａのみ発光時には、人差し指のＬＥＤ１８Ａ側の側面が赤外線を受光し、ＬＥＤ１８Ｂ側の側面は赤外線を受光しない。したがって、ＬＥＤ１８Ａのみ発光時に撮像されたフレーム画像は、図１２の上段に示した人差し指のＬＥＤ１８Ａ側の側面に対応する受光部位３２Ａを含む。
【０１２５】
一方、ＬＥＤ１８Ｂのみ発光時には、人差し指のＬＥＤ１８Ｂ側の側面が赤外線を受光し、ＬＥＤ１８Ａ側の側面は赤外線を受光しない。したがって、ＬＥＤ１８Ｂのみ発光時に撮像されたフレーム画像は、図１２の中段に示した人差し指のＬＥＤ１８Ｂ側の側面に対応する受光部位３２Ｂを含む。
【０１２６】
受光部位検出部２６４は、このようなフレーム画像から、受光部位３２Ａおよび受光部位３２Ｂを抽出する。具体的には、第１の実施形態において説明したように、受光部位検出部２６４は、双方のＬＥＤ１８の非発光時に撮像されたフレーム画像と、ＬＥＤ１８Ａのみ発光時に撮像されたフレーム画像との差分に基づいて受光部位３２Ａを検出する。同様に、受光部位検出部２６４は、双方のＬＥＤ１８の非発光時に撮像されたフレーム画像と、ＬＥＤ１８Ｂのみ発光時に撮像されたフレーム画像との差分に基づいて受光部位３２Ｂを検出する。
【０１２７】
近接パターン判断部２６８は、受光部位検出部２６４により検出された受光部位３２Ａおよび受光部位３２Ｂの近接度に応じ、赤外線の交差範囲に存在する物体の物理的形状に関する判断を行なう判断部としての機能を有する。
【０１２８】
例えば、赤外線の交差範囲に人差し指などの先細の物体が存在する場合、物体の一側の側面がＬＥＤ１８Ａから発光される赤外線を受光し、他側の側面がＬＥＤ１８Ｂから発光される赤外線を受光する。また、人差し指などの先細の物体は、一側の側面と他側の側面が近接している。したがって、近接パターン判断部２６８は、フレーム画像における受光部位３２Ａおよび受光部位３２Ｂが近接する場合、赤外線の交差範囲に人体の指や指し棒などの先細の物体が存在すると判断する。近接パターン判断部２６８は、このように受光部位の近接度に基づき、赤外線の交差範囲に存在する指の本数を検出することも可能である。
【０１２９】
一方、赤外線の交差範囲に人体の拳が存在する場合、図１３に示すようなフレーム画像が撮像される。
【０１３０】
図１３は、フレーム画像の他の具体例を示した説明図である。より詳細には、図１３の上段はＬＥＤ１８Ａのみ発光時のフレーム画像を示し、図１３の下段はＬＥＤ１８Ｂのみ発光時のフレーム画像を示している。
【０１３１】
人体の拳の形状は、拳の上方を視点とすると、台形の一部分に近似すると捉えることができる。ここで、台形の上辺が人差し指から小指の付け根に対応し、斜辺が小指外側の付け根から手首方向への部分、および人差し指外側の付け根から親指方向への部分に対応する。
【０１３２】
このため、赤外線の交差範囲に人体の拳が存在した場合、ＬＥＤ１８Ａのみ発光時には、拳のＬＥＤ１８Ａ側の側面である人差し指の外側付近が赤外線を受光し、その他の部分はＬＥＤ１８Ａ側の側面と比較して赤外線の受光量が少ない。したがって、ＬＥＤ１８Ａのみ発光時に撮像されたフレーム画像は、図１３の上段に示した拳のＬＥＤ１８Ａ側の側面に対応する受光部位３４Ａを含む。
【０１３３】
一方、ＬＥＤ１８Ｂのみ発光時には、拳のＬＥＤ１８Ｂ側の側面である小指の外側付近が赤外線を受光し、その他の部分はＬＥＤ１８Ｂ側の側面と比較して赤外線の受光量が少ない。したがって、ＬＥＤ１８Ｂのみ発光時に撮像されたフレーム画像は、図１３の下段に示した拳のＬＥＤ１８Ｂ側の側面に対応する受光部位３４Ｂを含む。
【０１３４】
そして、近接パターン判断部２６８は、図１３に示したように受光部位３４Ａおよび３４Ｂが間隔を有する場合、赤外線の交差範囲に存在する物体が先細の度合いが低い人体の拳などであると判断する。
【０１３５】
さらに、近接パターン判断部２６８は、ＬＥＤ１８Ａのみ発光時の受光部位とＬＥＤ１８Ｂのみ発光時の受光部位の一致部分が大きい場合、赤外線の交差範囲に存在する物体が手の平などの平面的な物体であると判断してもよい。
【０１３６】
入力内容判断部２７６は、近接パターン判断部２６８による判断結果と、フレーム画像における受光部位の位置または動きの組合せに基づき、操作主体からの入力内容を判断する。具体的には、記憶部２７２には、物体、フレーム画像における受光部位の位置または動き、および入力内容が対応付けて記憶されており、入力内容判断部２７６は、上記組合せに対応する入力内容を記憶部２７２から読み出してもよい。例えば、記憶部２７２においては、人差し指による円運動と、拳による円運動などで異なる入力内容が対応付けられていてもよい。
【０１３７】
表示画面生成部２８０は、入力内容判断部２７６により判断された操作主体による入力内容を反映させた表示画面を生成する。表示画面生成部２８０により生成された表示画面は、表示部２３４に表示され、操作者は入力操作が受け入れられたか否かを把握できる。
【０１３８】
〔２−４〕先端検出システムによる一連の動作
以上、本発明の第２の実施形態にかかる先端検出システム４について説明した。続いて、図１４を参照し、本発明の第２の実施形態にかかる先端検出システム４における一連の動作を説明する。
【０１３９】
図１４は、本発明の第２の実施形態にかかる先端検出システム４において実行される物体判断方法の流れを示したフローチャートである。図１４に示したように、まず、撮像装置１２が赤外線の交差範囲の撮像を開始する（Ｓ４０４）。ここで、撮像装置１２は、同期信号生成部１２０により生成された同期信号に同期して赤外線の交差範囲の撮像を行なう。
【０１４０】
また、発光制御装置１６は、ＬＥＤ１８ＡおよびＬＥＤ１８Ｂによる発光を、同期信号生成部１２０により生成された同期信号に同期して制御する（Ｓ４０８）。例えば、発光制御装置１６は、ＬＥＤ１８ＡおよびＬＥＤ１８Ｂの非発光、ＬＥＤ１８Ａのみの発光、ＬＥＤ１８Ｂのみの発光を同期信号生成部１２０により生成された同期信号に同期して順次に切替える。
【０１４１】
そして、ＰＣ２１の受光部位検出部２６４が、ＬＥＤ１８ＡおよびＬＥＤ１８Ｂの非発光時のフレーム画像とＬＥＤ１８Ａのみ発光時のフレーム画像の差分に基づき、フレーム画像における受光部位を検出する（Ｓ４１２）。同様に、受光部位検出部２６４が、ＬＥＤ１８ＡおよびＬＥＤ１８Ｂの非発光時のフレーム画像とＬＥＤ１８Ｂのみ発光時のフレーム画像の差分に基づき、フレーム画像における受光部位を検出する（Ｓ４１６）。
【０１４２】
続いて、近接パターン判断部２６８は、双方の受光部位が一致するか否かを判断し（Ｓ４２０）、一致する場合には交差範囲に存在する物体が平面的な形状を有すると判断する（Ｓ４２４）。一方、近接パターン判断部２６８は、双方の受光部位が一致しないものの（Ｓ４２０）、双方の受光部位が近接するか否かを判断する（Ｓ４２８）。
【０１４３】
そして、近接パターン判断部２６８は、双方の受光部位が近接しない場合、交差範囲に存在する物体が拳などの先細の度合いが低い形状であると判断する（Ｓ４３２）。一方、近接パターン判断部２６８は、双方の受光部位が近接する場合、交差範囲に存在する物体が指先などの先細の度合いが高い形状であると判断する（Ｓ４３６）。
【０１４４】
〔２−５〕第２の実施形態のまとめ
以上説明したように、本発明の第２の実施形態においては、物体におけるＬＥＤ１８Ａによる受光部位、およびＬＥＤ１８Ｂによる受光部位の近接度に応じ、物体の物理的形状に関する判断を行なうことができる。
【０１４５】
また、本発明の第２の実施形態にかかる先端検出システム４は、フレーム画像の撮像タイミングに同期してＬＥＤ１８ＡおよびＬＥＤ１８Ｂによる発光を制御する。そして、本発明の第２の実施形態にかかる先端検出システム４は、ＬＥＤ１８Ａの発光時に撮像されたフレーム画像と、該フレーム画像と最も撮影時刻が近い、または同一周期の非発光時に撮像されたフレーム画像の差分を演算する。同様に、本発明の第２の実施形態にかかる先端検出システム４は、ＬＥＤ１８Ｂの発光時に撮像されたフレーム画像と、該フレーム画像と最も撮影時刻が近い、または同一周期の非発光時に撮像されたフレーム画像の差分を演算する。かかる構成により、周囲の照明条件や背景画像が変化している場合であっても、継続的に受光部位を高い精度で検出することができる。
【０１４６】
〔２−６〕第２の実施形態の補足
なお、上述した本発明の第２の実施形態は、適宜変更して実施することが可能である。例えば、上記第２の実施形態では、２のＬＥＤ１８ＡおよびＬＥＤ１８Ｂを水平方向に離隔して配し、ＬＥＤ１８ＡおよびＬＥＤ１８Ｂが発する赤外線を交差させる例を説明したが、本発明はかかる例に限定されない。例えば、２のＬＥＤ１８ＡおよびＬＥＤ１８Ｂを、垂直方向に離隔して配し、ＬＥＤ１８ＡおよびＬＥＤ１８Ｂが発する赤外線を交差させてもよい。さらに、４つ以上のＬＥＤ１８を垂直方向、および水平方向に離隔して配してもよい。かかる構成においても、各ＬＥＤの発光時の受光部位の近接度に基づいて、赤外線の交差範囲に存在する物体の形状をより精密に判断することが可能となる。
【０１４７】
〔３〕全体補足
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【０１４８】
例えば、上記説明では、操作者の一方の手の位置を検出する場合を説明したが、操作者の両手の位置を検出することも同様に可能である。この場合、位置検出装置は、１のフレーム画像における２の投影像の位置関係、または形状に基づいて各々の投影像がいずれの手の投影像であるかを判断してもよい。
【０１４９】
また、本明細書の位置検出システム１および先端検出システム４の処理における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、位置検出システム１および先端検出システム４における各ステップは、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）を含んでもよい。
【０１５０】
また、発光制御装置１６、ＰＣ２０、およびＰＣ２１に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上述した発光制御装置１６、ＰＣ２０、およびＰＣ２１の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。また、図５および図１１の機能ブロック図で示したそれぞれの機能ブロックをハードウェアで構成することで、一連の処理をハードウェアで実現することもできる。
【符号の説明】
【０１５１】
８ 投影面
１０ 画像送信装置
１２ 撮像装置
１４ ＩＲ透過フィルタ
１６ 発光制御装置
１８、１８Ａ、１８Ｂ ＬＥＤ
２０、２１ ＰＣ
１１０ 撮像素子
１２０ 同期信号生成部
２１０ 差分演算部
２１４ 投影像検出部
２２２ 空間位置検出部
２２６ 特定動作検出部
２３０ 表示画面生成部
２６４ 受光部位検出部
２６８ 近接パターン判断部
【技術分野】
【０００１】
本発明は、物体判断システム、物体判断方法およびプログラムに関する。
【背景技術】
【０００２】
近日、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）や携帯電話などの情報処理装置に対する情報入力を行なうための新たなインターフェースに関する研究が広く行なわれている。例えば、撮像装置により操作者を撮像し、撮像された画像から操作者の手や指などを抽出し、抽出した手や指の動き（ジェスチャー）を入力操作として検出するインターフェースが提案されている。
【０００３】
かかるインターフェースにおいて操作者の入力操作を適切に検出するためには、操作者の手や指などを背景画像から効率的、かつ正確に抽出することが重要であった。このため、操作者の手や指の抽出に関する研究が広く行なわれている。例えば特許文献１には、操作者による非操作時に撮像された画像を基準画像として記憶しておき、操作者による操作時に撮像された画像と上記基準画像の差分を演算することにより操作者の手や指を検出する方法が記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第３９９７５６６号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記のようなインターフェースにおいて操作者の入力操作を適切に検出するためには、操作者の指や、指し棒などの特定の立体的形状を有する物体を背景画像から効率的、かつ正確に抽出することが重要であった。しかし、撮像される画像はあくまで２次元であるため、撮像された画像から特定の立体的形状を有する物体を抽出することは困難であった。
【０００６】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、特定の立体的形状を有する物体の先端を検出することが可能な、新規かつ改良された物体判断システム、物体判断方法およびプログラムを提供することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明のある観点によれば、電磁波の投影面を撮像する撮像装置と、前記投影面へ電磁波を発する電磁波発生装置と、前記電磁波発生装置による電磁波の発生を制御する制御装置と、前記電磁波発生装置による電磁波の発生時に撮像された投影面の画像と非発生時に撮像された投影面の画像との差分に基づいて前記電磁波発生装置および前記投影面の間に存在する物体の投影像を検出する投影像検出部、および、前記物体の投影像の位置に基づいて前記物体の位置を検出する位置検出部、を有する位置検出装置とを備える、位置検出システムが提供される。
【０００８】
かかる構成においては、電磁波発生装置による電磁波の発生時に、電磁波発生装置および投影面の間に存在する物体が電磁波を遮るため、物体の投影像が形成されている投影面が撮像装置により撮像される。ここで、投影面における物体の投影像以外の背景部分には、電磁波発生装置により発せられた電磁波が到達する。一方、電磁波発生装置による電磁波の非発生時には、投影面の全体に電磁波発生装置を発生源とする電磁波は到達しない。このため、投影像検出部は、電磁波の発生時に撮像された画像と非発生時に撮像された画像の差分に基づいて物体の投影像を検出することができる。また、物体の投影像の形成位置は、電磁波発生装置および物体の位置関係に依存する。したがって、位置検出部は、投影像検出部により検出された物体の投影像の形成位置から、物体の位置を合理的に検出することができる。
【０００９】
前記撮像装置は、所定の同期信号に同期してフレーム画像を撮像し、前記制御装置は、前記同期信号に同期して前記電磁波発生装置による電磁波の発生を制御してもよい。
【００１０】
前記電磁波発生装置は、第１の電磁波発生装置、および前記第１の電磁波発生装置と異なる位置に配される第２の電磁波発生装置を含み、前記制御装置は、前記第１の電磁波発生装置による電磁波の発生、前記第２の電磁波発生装置による電磁波の発生、および前記第１の電磁波発生装置および前記第２の電磁波発生装置における電磁波の非発生を切替え、前記投影像検出部は、前記第１の電磁波発生装置による電磁波の発生時に撮像された第１の画像から前記物体の投影像を検出し、前記第２の電磁波発生装置による電磁波の発生時に撮像された第２の画像から前記物体の投影像を検出し、前記位置検出部は、前記第１の画像および前記第２の画像から検出された前記物体の投影像の位置に基づいて前記物体の空間位置を検出してもよい。
【００１１】
前記位置検出装置は、前記第１の画像から検出された前記物体の投影像の位置に基づき、前記第１の電磁波発生装置および前記物体の投影像を結ぶ直線を推定し、前記第２の画像から検出された前記物体の投影像の位置に基づき、前記第２の電磁波発生装置および前記物体の投影像を結ぶ直線を推定する推定部をさらに備え、前記位置検出部は、前記推定部により推定された双方の直線の交差箇所を前記物体の空間位置として検出してもよい。
【００１２】
前記制御装置は、前記第１の電磁波発生装置による電磁波の発生、前記第２の電磁波発生装置による電磁波の発生、および前記第１の電磁波発生装置および前記第２の電磁波発生装置における電磁波の非発生の切替えを周期的に行い、前記投影像検出部は、前記第１の画像と、前記第１の画像と同一周期であって前記第１の電磁波発生装置および前記第２の電磁波発生装置における電磁波の非発生時に撮像された画像との差分に基づいて前記物体の投影像を検出し、前記第２の画像と、前記第２の画像と同一周期であって前記第１の電磁波発生装置および前記第２の電磁波発生装置における電磁波の非発生時に撮像された画像との差分に基づいて前記物体の投影像を検出してもよい。
【００１３】
前記位置検出システムは、前記電磁波発生装置から発せられる電磁波の波長成分を通過させるフィルタをさらに備え、前記撮像装置は、前記フィルタを介して前記投影面を撮像してもよい。
【００１４】
前記電磁波発生装置は赤外線または可視光線を発してもよい。
【００１５】
また、上記課題を解決するために、本発明の別の観点によれば、電磁波発生装置からの撮像可能な電磁波の発生および非発生を切替えるステップと、前記電磁波発生装置から発せられる電磁波の投影面を撮像するステップと、前記電磁波発生装置による電磁波の発生時に撮像された投影面の画像と非発生時に撮像された投影面の画像との差分に基づいて前記電磁波発生装置および前記投影面の間に存在する物体の投影像を検出するステップと、前記物体の投影像の位置に基づいて前記物体の位置を検出するステップと、を含む位置検出方法が提供される。
【００１６】
また、上記課題を解決するために、本発明の別の観点によれば、コンピュータを、電磁波発生装置からの撮像可能な電磁波の発生および非発生を切替える制御部と、電磁波発生装置から発せられる電磁波の投影面を撮像する撮像装置により前記電磁波発生装置の発生時に撮像された投影面の画像と非発生時に撮像された投影面の画像との差分に基づいて前記電磁波発生装置および前記投影面の間に存在する物体の投影像を検出する投影像検出部と、前記物体の投影像の位置に基づいて前記物体の位置を検出する位置検出部と、として機能させるためのプログラムが提供される。
【００１７】
また、上記課題を解決するために、本発明の別の観点によれば、所定方向に電磁波を発する第１の電磁波発生装置と、前記第１の電磁波発生装置から発せられる電磁波と交差する方向に電磁波を発する第２の電磁波発生装置と、前記第１の電磁波発生装置から発せられる電磁波と前記第２の電磁波発生装置から発せられる電磁波の交差範囲に存在する物体を撮像する、第１の電磁波発生装置および第２の電磁波発生装置により発せられる電磁波を撮像可能な前記撮像装置と、前記第１の電磁波発生装置および前記第２の電磁波発生装置による電磁波の発生を切替える制御装置と、前記第１の電磁波発生装置による電磁波の発生時に撮像された第１の画像から、前記第１の電磁波発生装置により発せられた電磁波の前記物体における受波部位を検出し、前記第２の電磁波発生装置による電磁波の発生時に撮像された第２の画像から、前記第２の電磁波発生装置により発せられた電磁波の前記物体における受波部位を検出する受波部位検出部、および、前記第１の画像および前記第２の画像から検出された受波部位の近接度に応じ、前記物体の物理的形状に関する判断を行なう判断部、を有する判断装置と、を備える物体判断システムが提供される。
【００１８】
前記撮像装置は、所定の同期信号に同期してフレーム画像の各々を撮像し、前記制御装置は、前記同期信号に同期して前記電磁波発生装置による電磁波の発生を制御してもよい。
【００１９】
前記制御装置は、前記第１の電磁波発生装置による電磁波の発生、前記第２の電磁波発生装置による電磁波の発生、および前記第１の電磁波発生装置および前記第２の電磁波発生装置における電磁波の非発生の切替えを周期的に行い、前記受波部位検出部は、前記第１の画像と、前記第１の画像と同一周期であって前記第１の電磁波発生装置および前記第２の電磁波発生装置における電磁波の非発生時に撮像された画像との差分に基づいて前記物体における前記受波部位を検出し、前記第２の画像と、前記第２の画像と同一周期であって前記第１の電磁波発生装置および前記第２の電磁波発生装置における電磁波の非発生時に撮像された画像との差分に基づいて前記物体における前記受波部位を検出してもよい。
【００２０】
前記物体判断システムは、前記第１の電磁波発生装置および前記第２の電磁波発生装置から発せられる電磁波の波長成分を通過させるフィルタをさらに備え、前記撮像装置は、前記フィルタを介して前記物体を撮像してもよい。
【００２１】
前記第１の電磁波発生装置および前記第２の電磁波発生装置は、赤外線または可視光線を発っしてもよい。
【００２２】
また、上記課題を解決するために、本発明の別の観点によれば、所定方向に撮像可能な電磁波を発する第１の電磁波発生装置、および前記第１の電磁波発生装置から発せられる電磁波と交差する方向に電磁波を発する第２の電磁波発生装置による電磁波の発生を切替えるステップと、前記第１の電磁波発生装置から発せられる電磁波と前記第２の電磁波発生装置から発せられる電磁波の交差範囲に存在する物体を撮像するステップと、前記第１の電磁波発生装置による電磁波の発生時に撮像された第１の画像から、前記第１の電磁波発生装置により発せられた電磁波の前記物体における受波部位を検出し、前記第２の電磁波発生装置による電磁波の発生時に撮像された第２の画像から、前記第２の電磁波発生装置により発せられた電磁波の前記物体における受波部位を検出するステップと、前記第１の画像および前記第２の画像から検出された受波部位の近接度に応じ、前記物体の物理的形状に関する判断を行なうステップと、を含む物体判断方法が提供される。
【００２３】
また、上記課題を解決するために、本発明の別の観点によれば、コンピュータを、所定方向に撮像可能な電磁波を発する第１の電磁波発生装置、および前記第１の電磁波発生装置から発せられる電磁波と交差する方向に電磁波を発する第２の電磁波発生装置による電磁波の発生を切替える制御部と、前記第１の電磁波発生装置から発せられる電磁波と前記第２の電磁波発生装置から発せられる電磁波の交差範囲に存在する物体を撮像する撮像装置により前記第１の電磁波発生装置による電磁波の発生時に撮像された第１の画像から、前記第１の電磁波発生装置により発せられた電磁波の前記物体における受波部位を検出し、前記第２の電磁波発生装置による電磁波の発生時に撮像された第２の画像から、前記第２の電磁波発生装置により発せられた電磁波の前記物体における受波部位を検出する受波部位検出部と、前記第１の画像および前記第２の画像から検出された受波部位の近接度に応じ、前記物体の物理的形状に関する判断を行なう判断部と、として機能させるためのプログラムが提供される。
【００２４】
また、上記課題を解決するために、本発明の別の観点によれば、電磁波の投影面を撮像する撮像装置と、前記撮像装置により撮像可能な電磁波を前記投影面へハッスル第１の電磁波発生装置と、前記第１の電磁波発生装置と異なる位置に配される第２の電磁波発生装置と、前記第１の電磁波発生装置および前記第２の電磁波発生装置による電磁波の発生を切替える制御装置と、前記第１の電磁波発生装置による電磁波の発生時に撮像された第１の画像から前記第１の電磁波発生装置および前記投影面の間に存在する物体の投影像を検出し、前記第２の電磁波発生装置による電磁波の発生時に撮像された第２の画像から前記物体の投影像を検出する投影像検出部、および、前記第１の画像および前記第２の画像から検出された前記物体の投影像の位置に基づいて前記物体の空間位置を検出する位置検出部、を有する位置検出装置と、を備える位置検出システムが提供される。
【００２５】
前記位置検出装置は、前記第１の画像から検出された前記物体の投影像の位置に基づき、前記第１の電磁波発生装置および前記物体の投影像を結ぶ直線を推定し、前記第２の画像から検出された前記物体の投影像の位置に基づき、前記第２の電磁波発生装置および前記物体の投影像を結ぶ直線を推定する推定部をさらに備え、前記位置検出部は、前記推定部により推定された双方の直線の交差箇所を前記物体の空間位置として検出してもよい。
【発明の効果】
【００２６】
以上説明したように本発明によれば、特定の立体的形状を有する物体の先端を検出することが可能である。
【図面の簡単な説明】
【００２７】
【図１】本発明の第１の実施形態にかかる位置検出システムの構成例を示した外観図である。
【図２】撮像装置の構成および各装置間の関係を示した説明図である。
【図３】発光制御装置によるＬＥＤの発光制御の具体例を示した説明図である。
【図４】ＬＥＤの発光状態ごとのフレーム画像の具体例を示した説明図である。
【図５】位置検出装置として機能するＰＣの構成を示した機能ブロック図である。
【図６】人差し指の先端の空間位置、投影像の位置、およびＬＥＤの位置関係を示した説明図である。
【図７】第１の実施形態にかかる位置検出システムにおいて実行される位置検出方法の流れを示したフローチャートである。
【図８】第１の実施形態の変形例にかかる位置検出システムの構成を示した説明図である。
【図９】本発明の第２の実施形態にかかる先端検出システムの構成例を示した外観図である。
【図１０】本発明の第２の実施形態にかかる先端検出システムの構成例を示した外観図である。
【図１１】本発明の第２の実施形態にかかるＰＣの構成を示した機能ブロック図である。
【図１２】各発光状態において撮像されたフレーム画像の具体例を示した説明図である。
【図１３】フレーム画像の他の具体例を示した説明図である。
【図１４】本発明の第２の実施形態にかかる先端検出システムにおいて実行される物体判断方法の流れを示したフローチャートである。
【発明を実施するための形態】
【００２８】
以下に添付図面を参照しながら、本発明の実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２９】
また、以下に示す項目順序に従って当該「発明を実施するための最良の形態」を説明する。
〔１〕第１の実施形態
〔１−１〕第１の実施形態に至る経緯
〔１−２〕第１の実施形態にかかる位置検出システムの概要
〔１−３〕発光制御装置による発光制御
〔１−４〕フレーム画像からの投影像の検出
〔１−５〕空間位置検出
〔１−６〕位置検出システムによる一連の動作
〔１−７〕第１の実施形態のまとめ
〔１−８〕第１の実施形態の補足
（変形例１）
（変形例２）
〔２〕第２の実施形態
〔２−１〕第２の実施形態に至る経緯
〔２−２〕第２の実施形態にかかる先端検出システムの概要
〔２−３〕フレーム画像からの先端検出
〔２−４〕先端検出システムによる一連の動作
〔２−５〕第２の実施形態のまとめ
〔２−６〕第２の実施形態の補足
〔３〕全体補足
【００３０】
〔１〕第１の実施形態
〔１−１〕第１の実施形態に至る経緯
従来より、撮像装置により操作者を撮像し、撮像された画像から操作者の手や指などを抽出し、抽出した手や指の動き（ジェスチャー）を入力操作として検出するインターフェースが多く提案されている。
【００３１】
かかるインターフェースにおいて操作者の入力操作を適切に検出するためには、操作者の手や指などを背景画像から効率的、かつ正確に抽出することが重要であった。しかし、背景画像に操作者の身体画像が含まれる場合や、背景画像が静止していない場合があった。この場合、背景画像から操作者の手や指などを適切に検出することは困難であった。また、照明条件も変化する場合があり、この場合にも入力操作の認識率が著しく低下することが予想された。
【００３２】
そこで、上記事情を一着眼点にして本発明の第１の実施形態にかかる位置検出システム１を創作するに至った。本実施形態にかかる位置検出システムは、操作者の手や指そのものでなく、手や指の投影像を認識することにより入力操作を検出する。ここで、投影像は手や指そのものよりもコントラストが高いため、本実施形態にかかる位置検出システム１によれば、容易に背景画像から操作者の手や指などを抽出することができる。また、本実施形態にかかる位置検出システム１によれば、操作者の手や指などの空間位置を検出することも可能である。以下、このような本発明の第１の実施形態にかかる位置検出システム１について説明する。
【００３３】
〔１−２〕第１の実施形態にかかる位置検出システムの概要
まず、図１を参照し、本発明の第１の実施形態にかかる位置検出システム１の概要を説明する。
【００３４】
図１は、本発明の第１の実施形態にかかる位置検出システム１の構成例を示した外観図である。図１に示したように、本実施形態にかかる位置検出システム１は、画像送信装置１０と、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）２０と、を備える。
【００３５】
画像送信装置１０は、湾曲部１１Ａ、湾曲部１１Ｂ、レール部１１Ｃ、撮像装置１２、ＩＲ透過フィルタ１４、発光制御装置１６、ＬＥＤ１８Ａ、ＬＥＤ１８Ｂ、上昇ボタン１９Ａ、下降ボタン１９Ｂ、離隔ボタン１９Ｃ、および近接ボタン１９Ｄを備える。
【００３６】
ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）１８ＡおよびＬＥＤ１８Ｂは、発光制御装置１６による制御に従い、赤外線を間欠的に発光する。かかるＬＥＤ１８ＡおよびＬＥＤ１８Ｂは、レール溝を有するレール部１１Ｃに設けられており、手動、または自動によりレール溝に沿って移動される。なお、本明細書においては、説明の便宜上、ＬＥＤ１８ＡおよびＬＥＤ１８ＢがＸ座標軸をＺ方向に平行移動させた線上に配置されているものとする。
【００３７】
また、本実施形態においては電磁波を発生する電磁波発生装置の一例として赤外線を発光するＬＥＤ１８ＡおよびＬＥＤ１８Ｂをあげて説明するが、電磁波発生装置は赤外線を発光するＬＥＤ１８ＡおよびＬＥＤ１８Ｂに限られない。例えば、電磁波発生装置は、Ｘ線、紫外線、波長が４００ｎｍ〜７００ｎｍ程度である可視光線、ミリ波およびマイクロ波を発生する装置などであってもよい。また、図１においては、ＬＥＤ１８ＡおよびＬＥＤ１８Ｂを区別するために符号の後に大文字のアルファベットを付しているが、ＬＥＤ１８ＡおよびＬＥＤ１８Ｂを特に区別する必要が無い場合、単にＬＥＤ１８と総称する。
【００３８】
撮像装置１２は、ＬＥＤ１８により発光される赤外線の投影面８を複数のフレームにわたって連続的に撮像する。また、撮像装置１２には、赤外線を透過させるＩＲ（Ｉｎｆｒａｒｅｄ）透過フィルタ１４が装着されており、撮像装置１２は、ＩＲ透過フィルタ１４を介して投影面８を撮像する。したがって、撮像装置１２により得られるフレーム画像には、投影面８における赤外線の露光度が反映される。
【００３９】
また、撮像装置１２は、撮像したフレーム画像を任意の通信方式によりＰＣ２０へ送信する。フレーム画像を送信するための通信方式は、ＩＥＥＥ（Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｅｌｅｃｔｒｉｃａｌ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃ Ｅｎｇｉｎｅｅｒｓ）８０２．１１ａ、ｂ、ｇなどに規定される無線通信方式であってもよい。また、通信方式は、ＩＥＥＥ８０２．１１ｎに規定されるＭＩＭＯ（Ｍｕｌｔｉｐｌｅ Ｉｎｐｕｔ Ｍｕｌｔｉｐｌｅ Ｏｕｔｐｕｔ）通信方式であっても、ＩＥＥＥ８０２．３に規定される通信方式であってもよい。なお、図１に示した撮像範囲Ｒは、撮像装置１２が撮像可能な投影面８上の範囲に該当する。また、本実施形態においては、説明の便宜上、撮像範囲Ｒの中心点が座標系の原点Ｏであるものとする。
【００４０】
発光制御装置１６は、ＬＥＤ１８ＡおよびＬＥＤ１８Ｂにおける発光を制御する制御装置として機能する。詳細については「〔１−３〕発光制御装置による発光制御」において説明するが、発光制御装置１６は、撮像装置１２により生成された同期信号が入力され、当該同期信号に基づいてＬＥＤ１８ＡおよびＬＥＤ１８Ｂにおける発光を制御する。図１においては、操作者の手がＬＥＤ１８および投影面８の間に存在し、発光制御装置１６による制御に基づいてＬＥＤ１８が発光したときに、投影面８に操作者の手の投影像３０Ａが形成されている様子を示している。
【００４１】
湾曲部１１Ａおよび湾曲部１１Ｂは、レール部１１Ｃを支持する。画像送信装置１０は、かかる、湾曲部１１Ａおよび湾曲部１１Ｂの曲率を、上昇ボタン１９Ａまたは下降ボタン１９Ｂに対する操作に応じて変更させる。
【００４２】
例えば、画像送信装置１０は、上昇ボタン１９Ａが押圧されると、湾曲部１１Ａおよび湾曲部１１Ｂの曲率を下げ、レール部１１ＣをＺ方向に上昇させる。レール部１１Ｃが上昇されると、ＬＥＤ１８Ａ、およびＬＥＤ１８Ｂの投影面８に対する高さも上昇する。同様に、画像送信装置１０は、下降ボタン１９Ｂが押圧されると、湾曲部１１Ａおよび湾曲部１１Ｂの曲率を上げ、レール部１１ＣをＺ方向に下降させる。レール部１１Ｃが下降されると、ＬＥＤ１８Ａ、およびＬＥＤ１８Ｂの投影面８に対する高さも下降する。
【００４３】
また、画像送信装置１０は、離隔ボタン１９Ｃが押圧されると、ＬＥＤ１８ＡおよびＬＥＤ１８Ｂを離隔させる方向に移動させる。具体的には、画像送信装置１０は、ＬＥＤ１８Ａをレール溝に沿って負のＸ方向に移動させ、ＬＥＤ１８Ｂをレール溝に沿って正のＸ方向に移動させる。同様に、画像送信装置１０は、近接ボタン１９Ｄが押圧されると、ＬＥＤ１８ＡおよびＬＥＤ１８Ｂを近接させる方向に移動させる。具体的には、画像送信装置１０は、ＬＥＤ１８Ａをレール溝に沿って正のＸ方向に移動させ、ＬＥＤ１８Ｂをレール溝に沿って負のＸ方向に移動させる。
【００４４】
操作者は、このようにボタン１９Ａ〜１９Ｄを操作することによりＬＥＤ１８ＡおよびＬＥＤ１８Ｂを移動させることができる。ＬＥＤ１８ＡおよびＬＥＤ１８Ｂを移動させると、投影像の位置、位置検出システム１における位置検出の可能範囲、動きに対する敏感性などのシステム特性も変化する。したがって、操作者はボタン１９Ａ〜１９Ｄを操作することにより、システム特性を調整することができる。
【００４５】
なお、画像送信装置１０は、ＬＥＤ１８Ａ、ＬＥＤ１８Ｂ、および撮像装置１２の位置を検出し、ＰＣ２０に送信してもよい。その結果、ＰＣ２０は、特段のキャリブレーション処理を行うことなくＬＥＤ１８Ａ、ＬＥＤ１８Ｂ、および撮像装置１２の位置を取得することが可能となる。
【００４６】
ＰＣ２０は、撮像装置１２から送信された画像を受信し、受信した画像に基づいてＬＥＤ１８および投影面８の間に存在する操作主体の空間位置を検出する。詳細については「〔１−４〕画像からの投影像の検出」および「〔１−５〕空間位置検出」において説明するが、ＰＣ２０は、受信した画像上の操作主体の投影像の位置を検出し、投影像の位置とＬＥＤ１８の位置関係から操作主体の空間位置を検出することができる。
【００４７】
なお、操作主体は、ＬＥＤ１８が発する光に対して僅かでも遮光性を有する物体を想定する。例えば、ＬＥＤ１８が赤外線を発光する本実施形態においては、手や指などの人体の他、指し棒、携帯電話、および筆記用具などの物体が操作主体に該当し得る。なお、より上位概念では、操作主体は、電磁波発生装置が発生する電磁波の波長成分に対して僅かでも非透過性を有する物体であると表現できる。
【００４８】
また、図１においては、位置検出装置の一例としてＰＣ２０を示したに過ぎず、位置検出装置は、任意の情報処理装置であってもよい。情報処理装置としては、例えば、家庭用映像処理装置（ＤＶＤレコーダ、ビデオデッキなど）、携帯電話、ＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙｐｈｏｎｅ Ｓｙｓｔｅｍ）、携帯用音楽再生装置、携帯用映像処理装置、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）、家庭用ゲーム機器、携帯用ゲーム機器、家電機器などがあげられる。
【００４９】
また、図１においては、ＬＥＤ１８Ａ、ＬＥＤ１８Ｂ、および撮像装置１２が画像送信装置１０上に一体的に設けられる例を示しているが、本実施形態はかかる例に限定されない。例えば、ＬＥＤ１８Ａ、ＬＥＤ１８Ｂ、および撮像装置１２は各々分離構成されてもよい。この場合、位置検出システム１は、動作開始時に、ＬＥＤ１８Ａ、ＬＥＤ１８Ｂ、撮像装置１２、および投影面８の位置関係を自動的に検出しても、操作者による操作に基づいて取得してもよい。
【００５０】
〔１−３〕発光制御装置による発光制御
以上、本実施形態にかかる位置検出システム１について概略的に説明した。続いて、図２〜図４を参照し、発光制御装置１６による発光制御について説明する。
【００５１】
図２は、撮像装置１２の構成および各装置間の関係を示した説明図である。図２に示したように、撮像装置１２は、撮像素子１１０と、同期信号生成部１２０と、ＡＤ変換部１３０と、フレーム番号付与部１４０と、無線通信部１５０と、を備える。
【００５２】
撮像素子１１０は、入射された光を電気信号に変換して出力する光電変換部である。例えば、撮像素子１１０は、各画素に対応するように２次元に配置されたフォトダイオード、およびＣＣＤ（ｃｈａｒｇｅ ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ）を備えてもよい。かかる構成においてフォトダイオードを露光させると、フォトダイオードが電荷を蓄積し、フォトダイオードに蓄積された電荷がＣＣＤにより順次に転送される。
【００５３】
撮像素子１１０は、このようなフォトダイオードの露光から電荷の転送までの撮像処理を、同期信号生成部１２０により生成される同期信号の立ち上がり、または立ち下りに同期して行なう。例えば、撮像素子１１０は、同期信号の立ち上がりに同期してフォトダイオードを露光させてもよい。なお、一回の露光によりＣＣＤから転送される電荷は、１フレーム分の画像に対応する。
【００５４】
同期信号生成部１２０は、撮像素子１１０が撮像する際に利用する上記同期信号を生成する。例えば、同期信号生成部１２０は、立ち上がり回数が６０回／秒、または１８０回／秒である同期信号を生成してもよい。なお、同期信号生成部１２０により立ち上がり回数が１８０回／秒である同期信号が生成された場合、撮像素子１１０は同期信号の立ち上がりに同期して１８０フレーム／秒で画像の撮像処理を行う。
【００５５】
ＡＤ（Ａｎａｌｏｇ Ｄｉｇｉｔａｌ）変換部１３０は、撮像素子１１０から画素ごとに転送される電荷の電荷量をデジタル形式に変換する。そして、ＡＤ変換部１３０は、デジタル形式に変換した画素ごとの電荷量をフレーム画像として出力する。
【００５６】
フレーム番号付与部１４０は、ＡＤ変換部１３０から入力されるフレーム画像の各々にフレーム番号を付与する。例えば、フレーム番号付与部１４０は、フレーム番号を「０」から順に連番で付与してもよい。また、フレーム番号付与部１４０は、各フレーム画像のヘッダ部分にフレーム番号を記載してもよい。
【００５７】
無線通信部１５０は、フレーム番号付与部１４０によりフレーム番号が付与されたフレーム画像をＰＣ２０へ無線で送信する。なお、図１および図２においては無線通信部１５０が無線でフレーム画像を送信する例を説明したが、撮像装置１２は有線でフレーム画像を送信してもよい。
【００５８】
このように、同期信号生成部１２０により生成される同期信号は、撮像素子１１０による撮像処理に利用されることが一般的である。しかし、本実施形態においては、同期信号生成部１２０により生成される同期信号を発光制御装置１６も利用する点で通常と異なる。
【００５９】
発光制御装置１６は、同期信号生成部１２０により生成された同期信号が入力され、当該同期信号に同期してＬＥＤ１８ＡおよびＬＥＤ１８Ｂによる発光を制御する。例えば、発光制御装置１６は、同期信号の立ち上がりにおいて、ＬＥＤ１８Ａの発光、ＬＥＤ１８Ｂの発光、ＬＥＤ１８ＡおよびＬＥＤ１８Ｂの非発光を切替えてもよい。このような発光制御装置１６による発光制御の具体例について図３を参照して説明する。
【００６０】
図３は、発光制御装置１６によるＬＥＤ１８ＡおよびＬＥＤ１８Ｂの発光制御の具体例を示した説明図である。より詳細には、図３には、同期信号生成部１２０により生成される同期信号の波形例、ＬＥＤ１８Ａの発光状態、ＬＥＤ１８Ｂの発光状態、およびフレーム画像の関係を示している。なお、図３において、「０」は非発光を示し、「１」は発光を示す。
【００６１】
図３に示した例では、発光制御装置１６は、同期信号の立ち上がりの度に、ＬＥＤ１８ＡおよびＬＥＤ１８Ｂの非発光、ＬＥＤ１８Ａのみの発光、ＬＥＤ１８Ｂのみの発光、を周期的に繰り返す。ここで、当該同期信号は撮像装置１２によるフレーム画像の撮像にも利用されているため、ＬＥＤ１８ＡおよびＬＥＤ１８Ｂの発光の切り替えタイミングが、フレーム画像の撮像タイミングと同期する。すなわち、撮像装置１２がフレーム画像の各々を撮像する度に、ＬＥＤ１８ＡおよびＬＥＤ１８Ｂの発光状態が切替えられる。
【００６２】
その結果、ＬＥＤ１８ＡおよびＬＥＤ１８Ｂの非発光時、ＬＥＤ１８Ａのみ発光時、ＬＥＤ１８Ｂのみ発光時にフレーム画像が撮像装置１２により順次に撮像される。例えば、図３に示したように、ＬＥＤ１８ＡおよびＬＥＤ１８Ｂの非発光時にフレーム画像（１５）が撮像され、ＬＥＤ１８Ａのみ発光時にフレーム画像（１６）が撮像され、ＬＥＤ１８Ｂのみ発光時にフレーム画像（１７）が撮像される。
【００６３】
図４は、ＬＥＤ１８ＡおよびＬＥＤ１８Ｂの発光状態ごとのフレーム画像の具体例を示した説明図である。より詳細には、図４の上段はＬＥＤ１８ＡおよびＬＥＤ１８Ｂの非発光時のフレーム画像を示し、図４の中段はＬＥＤ１８Ａのみ発光時のフレーム画像を示し、図４の下段はＬＥＤ１８Ｂのみ発光時のフレーム画像を示している。
【００６４】
図４の上段に示したように、ＬＥＤ１８ＡおよびＬＥＤ１８Ｂの非発光時には、投影面８に赤外線が到達せず、また、撮像装置１２にはＩＲ透過フィルタ１４が装着されているため、撮像装置１２による撮像範囲Ｒの全域の輝度が低くなる。
【００６５】
一方、図４の中段に示したように、ＬＥＤ１８Ａの発光時には、投影面８に赤外線が到達し、撮像装置１２による撮像範囲Ｒの輝度が全体的に高くなる。ただし、投影面８には操作者の手の投影像３０Ａが形成されており、投影像３０Ａの形成範囲の輝度は低くなっている。なお、図４の中段においては、後述の説明のために、投影像３０Ａにおける操作者の人差し指の先端座標をＳＡと示している。
【００６６】
また、図４の下段に示したように、ＬＥＤ１８Ｂの発光時にも、投影面８に赤外線が到達し、撮像装置１２による撮像範囲Ｒの輝度が全体的に高くなる。ただし、投影面８には操作者の手の投影像３０Ｂが形成されており、投影像３０Ｂの形成範囲の輝度は低くなっている。なお、図４の下段においては、後述の説明のために、投影像３０Ｂにおける操作者の人差し指の先端座標をＳＢと示している。
【００６７】
このように、ＬＥＤ１８ＡおよびＬＥＤ１８Ｂの発光状態ごとにフレーム画像の内容が異なる。本実施形態においては、詳細については「〔１−４〕画像からの投影像の検出」、および「〔１−５〕空間位置検出」において後述するが、発光状態ごとのフレーム画像の差分に基づき、操作者の人差し指の空間位置を検出することができる。
【００６８】
なお、図３には、ＬＥＤ１８ＡおよびＬＥＤ１８Ｂの非発光、ＬＥＤ１８Ａのみの発光、ＬＥＤ１８Ｂのみの発光が順次に繰り返される例を示したが、本実施形態はかかる例に限定されない。例えば、発光制御装置１６は、一回のＬＥＤ１８ＡおよびＬＥＤ１８Ｂの非発光に対し、複数回にわたってＬＥＤ１８Ａのみの発光およびＬＥＤ１８Ｂのみの発光を繰り返してもよい。
【００６９】
〔１−４〕フレーム画像からの投影像の検出
続いて、図５を参照し、撮像装置１２により撮像されたフレーム画像からの投影像の検出について説明する。
【００７０】
図５は、位置検出装置として機能するＰＣ２０の構成を示した機能ブロック図である。図５に示したように、本実施形態にかかるＰＣ２０は、差分演算部２１０と、投影像検出部２１４と、記憶部２１８と、空間位置検出部２２２と、特定動作検出部２２６と、表示画面生成部２３０と、表示部２３４と、無線通信部２５０と、を備える。
【００７１】
無線通信部２５０は、撮像装置１２とのインターフェースであって、撮像装置１２から送信されたフレーム画像を受信する。また、無線通信部２５０は、ＬＥＤ１８Ａ、ＬＥＤ１８Ｂ、および撮像装置１２の位置などを画像送信装置１０から受信してもよい。
【００７２】
差分演算部２１０は、ＬＥＤ１８ＡおよびＬＥＤ１８Ｂの非発光時に撮像されたフレーム画像と、ＬＥＤ１８Ａの発光時またはＬＥＤ１８Ｂの発光時に撮像されたフレーム画像との差分を演算する。そのために、差分演算部２１０は、まず、無線通信部２５０により受信されたフレーム画像の各々が、どのようなＬＥＤ１８ＡおよびＬＥＤ１８Ｂの発光状態において撮像されたかを判定する。
【００７３】
例えば、差分演算部２１０は、各フレーム画像に付与されているフレーム番号に基づいて各フレーム画像に対応する発光状態を判定してもよい。より具体的には、差分演算部２１０は、フレーム番号を３で除算し、余りが１であればＬＥＤ１８Ａの発光時、余りが２であればＬＥＤ１８Ｂの発光時、余りが０であればＬＥＤ１８ＡおよびＬＥＤ１８Ｂの非発光時に撮像されたフレーム画像であると判定してもよい。
【００７４】
または、差分演算部２１０は、各フレーム画像の全体的な輝度に基づいて各フレーム画像に対応する発光状態を判定してもよい。例えば、差分演算部２１０は、少なくとも３つの連続するフレーム画像の輝度を比較し、最も輝度の低いフレーム画像がＬＥＤ１８ＡおよびＬＥＤ１８Ｂの非発光時に撮像されたフレーム画像であると判定してもよい。そして、差分演算部２１０は、非発光時に撮像されたフレーム画像であると判定したフレーム画像を基準に、次のフレーム画像はＬＥＤ１８Ａの発光時、さらに次のフレーム画像はＬＥＤ１８Ｂの発光時に撮像されたフレーム画像であると判定してもよい。
【００７５】
差分演算部２１０は、各フレーム画像の撮像時の発光状態を判定した後、ＬＥＤ１８ＡおよびＬＥＤ１８Ｂの非発光時に撮像されたフレーム画像と、ＬＥＤ１８Ａの発光時またはＬＥＤ１８Ｂの発光時に撮像されたフレーム画像との差分を演算する。
【００７６】
ここで、ＬＥＤ１８ＡおよびＬＥＤ１８Ｂの非発光時に撮像されたフレーム画像は、周囲の自然光を受けている投影面８の画像である。一方、ＬＥＤ１８Ａの発光時に撮像されたフレーム画像は、周囲の自然光に加え、操作者の手の投影像３０Ａの形成範囲以外にＬＥＤ１８Ａから発せられた赤外線を受けている投影面８の画像である。したがって、差分演算部２１０が、上記のようにＬＥＤ１８ＡおよびＬＥＤ１８Ｂの非発光時に撮像されたフレーム画像と、ＬＥＤ１８Ａの発光時に撮像されたフレーム画像の差分を演算することにより、操作者の手の投影像３０Ａの形成範囲が抽出される。
【００７７】
同様に、ＬＥＤ１８Ｂの発光時に撮像されたフレーム画像は、周囲の自然光に加え、操作者の手の投影像３０Ｂの形成範囲以外にＬＥＤ１８Ｂから発せられた赤外線を受けている投影面８の画像である。したがって、差分演算部２１０は、上記のようにＬＥＤ１８ＡおよびＬＥＤ１８Ｂの非発光時に撮像されたフレーム画像と、ＬＥＤ１８Ｂの発光時に撮像されたフレーム画像の差分を演算することにより、操作者の手の投影像３０Ｂの形成範囲が抽出される。
【００７８】
さらに、差分演算部２１０は、ＬＥＤ１８Ａの発光時に撮像されたフレーム画像と、該フレーム画像と最も撮影時刻が近い、または同一周期の非発光時に撮像されたフレーム画像の差分を演算してもよい。例えば、差分演算部２１０は、図３におけるフレーム画像（１５）とフレーム画像（１６）の差分を演算してもよい。かかる構成により、周囲の照明条件や背景画像が変化している場合であっても、より正確に投影像３０Ａを検出することができる。同様に、差分演算部２１０は、図３におけるフレーム画像（１５）とフレーム画像（１７）の差分を演算してもよい。
【００７９】
投影像検出部２１４は、差分演算部２１０による演算結果に基づいて、各フレーム画面に形成されている投影像３０から特定部分を検出する。例えば、投影像検出部２１４は、図４に示した投影像３０Ａにおける人差し指の先端ＳＡの位置、および投影像３０Ｂにおける人差し指の先端ＳＢの位置を検出する。
【００８０】
具体的には、投影像検出部２１４は、記憶部２１８に事前に記憶されている人差し指の形状パターンと各フレーム画面（差分演算後）のパターンマッチングを行い、投影像３０における人差し指の先端Ｓの位置を検出してもよい。
【００８１】
または、投影像検出部２１４は、投影像３０の形成範囲内で、所定の座標値の値が最も高い位置を人差し指の先端Ｓの位置として検出してもよい。例えば、図４に示した例では、投影像検出部２１４が投影像３０の形成範囲内でｙの値が最大である位置を検出することにより、適確に投影像３０Ａにおける人差し指の先端ＳＡの位置、および投影像３０Ｂにおける人差し指の先端ＳＢの位置を検出できる。
【００８２】
〔１−５〕空間位置検出
次に、人差し指の先端の空間位置の検出について図６を参照して説明する。
【００８３】
図６は、人差し指の先端の空間位置、投影像３０の位置、およびＬＥＤ１８の位置関係を示した説明図である。図６においては、ＬＥＤ１８Ａの座標をＡ（Ａｘ，Ａｙ，Ａｚ）、ＬＥＤ１８Ｂの座標をＢ（Ｂｘ，Ｂｙ，Ｂｚ）、人差し指の先端の空間位置をＰ（以下、人差し指の空間位置Ｐとする。）と示している。
【００８４】
図６に示したように、光の直進性を考慮すると、人差し指の空間位置Ｐは、ＬＥＤ１８Ａの座標Ａ、および座標ＳＡを結ぶ直線Ｌ上に存在することが予測される。同様に、人差し指の先端は、ＬＥＤ１８Ｂの座標Ｂ、および座標ＳＢを結ぶ直線Ｍ上に存在することが予測される。
【００８５】
空間位置検出部２２２は、上記のように人差し指の空間位置Ｐが直線Ｌおよび直線Ｍ上に存在するという仮定に基づき、直線Ｌおよび直線Ｍの交差箇所を人差し指の空間位置Ｐとして検出する。そのために、空間位置検出部２２２（推定部）は、直線Ｌおよび直線Ｍを推定し、いずれかの平面に直線Ｌおよび直線Ｍを投射し、該平面に投射された直線Ｌおよび直線Ｍの交点を算出してもよい。
【００８６】
例えば、空間位置検出部２２２は、ｘ−ｙ平面に直線Ｌおよび直線Ｍを投射し、ｘ−ｙ平面に投射された直線Ｌおよび直線Ｍの交点を算出し、該交点のｘ，ｙ座標、および該交点のｘ，ｙ座標における直線Ｌまたは直線Ｍのｚ座標を空間位置Ｐとして検出してもよい。かかる構成により、厳密には直線Ｌおよび直線Ｍが交差していない場合であっても、ｘ−ｙ平面においては投射された直線Ｌおよび直線Ｍが交差すると考えられるため、直線Ｌおよび直線Ｍが近接している位置（交差箇所）を空間位置Ｐとして検出することができる。なお、空間位置検出部２２２は、同様に直線Ｌおよび直線Ｍをｙ−ｚ平面、またはｘ−ｚ平面に投射することにより人差し指の空間位置Ｐを検出してもよい。
【００８７】
または、空間位置検出部２２２は、直線Ｌおよび直線Ｍをベクトルを用いて表現し、ベクトル演算により直線Ｌ上で直線Ｍと最も近接する位置（交差箇所）を算出し、算出した位置を人差し指の空間位置Ｐとして検出してもよい。さらに、空間位置検出部２２２は、直線Ｌおよび直線Ｍの線上で各々が最も近接する位置を算出し、算出した双方の位置の間、例えば中点を人差し指の空間位置Ｐとして検出してもよい。
【００８８】
表示画面生成部２３０は、空間位置検出部２２２により人差し指の空間位置Ｐが検出されると、人差し指の空間位置Ｐに応じた表示画面を生成する。例えば、表示画面生成部２３０は、３次元的な立体画像を生成している場合、立体画像における人差し指の空間位置Ｐに応じた位置にカーソルを重畳してもよい。また、表示画面生成部２３０は、３次元的なゲーム空間の画像を生成している場合、ゲーム空間中で人差し指の空間位置Ｐの変化に応じてキャラクターを３次元的に移動させてもよい。
【００８９】
表示部２３４は、表示画面生成部２３０により生成された表示画面を表示する。例えば、表示部２３４は、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ装置、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｓｐｌａｙ）装置などの映像出力装置であってもよい。
【００９０】
また、特定動作検出部２２６は、空間位置検出部２２２により検出される人差し指の空間位置Ｐの変化と、記憶部２１８に事前に記録されている特定動作の動きパターンとをマッチングすることにより、人差し指の特定動作を検出する。例えば、記憶部２１８には、特定動作の動きパターンとして、人差し指が円を描く動きパターン、人差し指が前方へ突き出される動きパターン、人差し指が曲げられる動きパターンなどを記憶していてもよい。なお、上記では人差し指の空間位置Ｐが検出される例を説明したが、人差し指に加え、親指の空間位置を検出することも同様に可能である。この場合、記憶部２１８には、特定動作の動きパターンとして、人差し指と親指が開く動作パターン、人差し指と親指が開きながら移動する動作パターン、人差し指と親指が回転する動作パターンなどが記録されていてもよい。
【００９１】
なお、このような記憶部２１８は、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの不揮発性メモリや、ハードディスクおよび円盤型磁性体ディスクなどの磁気ディスクや、ＣＤ−Ｒ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅｃｏｒｄａｂｌｅ）／ＲＷ（ＲｅＷｒｉｔａｂｌｅ）、ＤＶＤ−Ｒ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ Ｒｅｃｏｒｄａｂｌｅ）／ＲＷ／＋Ｒ／＋ＲＷ／ＲＡＭ（Ｒａｍｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）およびＢＤ（Ｂｌｕ−Ｒａｙ Ｄｉｓｃ（登録商標））―Ｒ／ＢＤ−ＲＥなどの光ディスクや、ＭＯ（Ｍａｇｎｅｔｏ Ｏｐｔｉｃａｌ）ディスクなどの記憶媒体であってもよい。
【００９２】
表示画面生成部２３０は、特定動作検出部２２６により特定動作が検出されると、特定動作の内容に応じた処理、あるいは表示画面の生成を行なう。例えば、表示画面生成部２３０は、人差し指が前方へ突き出される動きパターンが検出された場合、生成する画面を拡大してもよい。また、表示画面生成部２３０は、人差し指が円を描く動きパターンが検出された場合、これをクリック動作と捉え、カーソルが当てられている項目の詳細を示す表示画面を生成してもよい。
【００９３】
〔１−６〕位置検出システムによる一連の動作
以上、本実施形態にかかる位置検出システム１の機能について説明した。続いて、図７を参照し、本実施形態にかかる位置検出システム１における一連の動作を説明する。
【００９４】
図７は、第１の実施形態にかかる位置検出システム１において実行される位置検出方法の流れを示したフローチャートである。図７に示したように、まず、撮像装置１２が投影面８の撮像を開始する（Ｓ３０４）。ここで、撮像装置１２は、同期信号生成部１２０により生成された同期信号に同期して投影面８の撮像を行なう。
【００９５】
また、発光制御装置１６は、ＬＥＤ１８ＡおよびＬＥＤ１８Ｂによる発光を、同期信号生成部１２０により生成された同期信号に同期して制御する（Ｓ３０８）。例えば、発光制御装置１６は、ＬＥＤ１８ＡおよびＬＥＤ１８Ｂの非発光、ＬＥＤ１８Ａのみの発光、ＬＥＤ１８Ｂのみの発光を同期信号生成部１２０により生成された同期信号に同期して順次に切替える。
【００９６】
そして、ＰＣ２０の差分演算部２１０および投影像検出部２１４が、ＬＥＤ１８ＡおよびＬＥＤ１８Ｂの非発光時のフレーム画像とＬＥＤ１８Ａのみ発光時のフレーム画像の差分に基づき、投影像３０Ａを検出する（Ｓ３１２）。同様に、差分演算部２１０および投影像検出部２１４が、ＬＥＤ１８ＡおよびＬＥＤ１８Ｂの非発光時のフレーム画像とＬＥＤ１８Ｂのみ発光時のフレーム画像の差分に基づき、投影像３０Ｂを検出する（Ｓ３１６）。
【００９７】
その後、空間位置検出部２２２が、検出された双方の投影像３０の形成位置から、「〔１−５〕空間位置検出」で説明した方法により例えば人差し指の空間位置Ｐを検出する（Ｓ３２０）。そして、空間位置検出システム１は、Ｓ３０４〜Ｓ３２０の処理を繰り返すことにより、人差し指の空間位置Ｐを連続的に検出し、人差し指の空間的な動きを検出することができる。
【００９８】
〔１−７〕第１の実施形態のまとめ
以上説明したように、本発明の第１の実施形態にかかる位置検出システム１は、操作主体そのものでなく、操作主体の投影像を撮像する。ここで、投影像は、操作主体そのものと比較して背景画像とのコントラスト差が大きいため、位置検出システム１は、より高い精度でフレーム画像から操作主体の投影像を検出することができる。
【００９９】
また、本発明の第１の実施形態にかかる位置検出システム１は、フレーム画像の撮像タイミングに同期してＬＥＤ１８ＡおよびＬＥＤ１８Ｂによる発光を制御する。そして、本発明の第１の実施形態にかかる位置検出システム１は、ＬＥＤ１８Ａの発光時に撮像されたフレーム画像と、該フレーム画像と最も撮影時刻が近い、または同一周期の非発光時に撮像されたフレーム画像の差分を演算する。同様に、本発明の第１の実施形態にかかる位置検出システム１は、ＬＥＤ１８Ｂの発光時に撮像されたフレーム画像と、該フレーム画像と最も撮影時刻が近い、または同一周期の非発光時に撮像されたフレーム画像の差分を演算する。かかる構成により、周囲の照明条件や背景画像が変化している場合であっても、継続的に投影像３０Ａおよび３０Ｂを高い精度で検出することができる。
【０１００】
さらに、本発明の第１の実施形態にかかる位置検出システム１は、ＬＥＤ１８ＡおよびＬＥＤ１８Ｂの配置位置と、投影像３０Ａおよび３０Ｂの形成位置とに基づいて、操作主体の空間位置を検出することができる。例えば、同期信号生成部１２０により立ち上がり回数が１８０回／秒である同期信号が生成された場合、本発明の第１の実施形態にかかる位置検出システム１によれば、１秒当たり６０回操作主体の空間位置を検出することが可能である。さらに、本発明の第１の実施形態にかかる位置検出システム１は、継続的に操作主体の空間位置を検出することにより、操作主体の動きを検出することも可能である。
【０１０１】
〔１−８〕第１の実施形態の補足
なお、上述した本発明の第１の実施形態は、適宜変更して実施することが可能である。以下、本発明の第１の実施形態の変形例１および変形例２について説明する。
【０１０２】
（変形例１）
上記第１の実施形態では、複数のＬＥＤ１８ＡおよびＬＥＤ１８Ｂを位置検出システム１に設けることにより操作主体の空間位置を検出する例を説明したが、位置検出システム１に設けるＬＥＤ１８の数は２個に限られない。例えば、位置検出システム１に３個以上の多数のＬＥＤ１８を設けてもよい。また、部屋の天井などにＬＥＤ１８が設置されている場合、位置検出システム１の一部として特別にＬＥＤ１８を設けなくてもよい。
【０１０３】
また、位置検出システム１に設けるＬＥＤ１８の数は１個であってもよい。この場合、発光制御装置１６は、ＬＥＤ１８の発光、および非発光を同期信号生成部１２０により生成された同期信号に同期して切替える。そして、ＰＣ２０の差分演算部２１０がＬＥＤ１８の発光時のフレーム画像および非発光時のフレーム画像の差分を演算し、投影像検出部２１４が演算結果から操作主体の投影像を検出する。
【０１０４】
そして、空間位置検出部２２２が、投影像検出部２１４により検出された投影像から、操作主体の空間位置、または２次元位置を検出する。単一の投影像から操作主体の空間位置を検出することは困難であるとも考えられるが、空間位置検出部２２２は、投影像の形成位置に加え、投影像の大きさの変化に基づいて操作主体の空間位置を検出し得る。
【０１０５】
かかる構成によれば、ＬＥＤ１８を複数個設ける場合と比較し、１秒当たりに操作主体の空間位置を検出できる回数が増加する。例えば、同期信号生成部１２０により立ち上がり回数が１８０回／秒である同期信号が生成された場合、１秒当たり９０回操作主体の空間位置を検出することが可能である。
【０１０６】
（変形例２）
また、上記第１の実施形態では、ＬＥＤ１８の配置位置側から撮像装置１２が投影面８を撮像する例を説明したが、図８に示すように、撮像装置１２は、ＬＥＤ１８の配置位置側の他側から投影面８を撮像してもよい。
【０１０７】
図８は、第１の実施形態の変形例にかかる位置検出システム２の構成を示した説明図である。図８に示したように、変形例にかかる位置検出システム２は、スクリーン９、ＬＥＤ１８Ａ、ＬＥＤ１８Ｂ、撮像装置１２、ＩＲ透過フィルタ１４、およびプロジェクタ２４を備える。
【０１０８】
スクリーン９は、ＬＥＤ１８ＡおよびＬＥＤ１８Ｂから発せられた赤外線の少なくとも一部を裏面へ透過する性質を有する。したがって、撮像装置１２は、スクリーン９の裏面から操作者の手の投影像３０Ａおよび３０Ｂを撮像することができる。そして、撮像装置１２により撮像されたフレーム画像が供給される位置検出装置は、操作者の手のＸ座標値およびＹ座標値に加え、Ｚ座標値も検出することができる。
【０１０９】
ここで、ＬＥＤ１８ＡおよびＬＥＤ１８Ｂは、必ずしも撮像装置１２によるフレームの撮像タイミングに同期して発光を制御されなくてもよい。例えば、ＬＥＤ１８ＡおよびＬＥＤ１８Ｂは、発光状態を維持していてもよい。この場合、位置検出装置は、フレーム画像から２の投影像３０を検出する。しかし、位置検出装置は、ＬＥＤ１８ＡおよびＬＥＤ１８Ｂの配置位置の関係から、いずれの投影像がＬＥＤ１８Ａによる投影像３０Ａであり、いずれの投影像がＬＥＤ１８Ｂによる投影像３０Ｂであるかを検出することができる。
【０１１０】
具体的には、ＬＥＤ１８ＢがＬＥＤ１８Ａより正のＸ方向に配置されている場合、２の投影像のうちで、Ｘ方向の形成位置が相対的に負側である投影像がＬＥＤ１８Ｂによる投影像３０Ｂであると検出できる。同様に、Ｘ方向の形成位置が相対的に正側である投影像がＬＥＤ１８Ａによる投影像３０Ａであると検出することが可能である。
【０１１１】
また、上記実施形態では照明条件の変化などに対応するためにＬＥＤ１８の発光時および非発光時のフレーム画像の差分を演算する例を説明した。しかし、空間位置の単位時間当たりの検出速度を優先する場合、ＬＥＤ１８を非発光にする期間を設けず、また、フレーム画像の差分演算を省略してもよい。
【０１１２】
〔２〕第２の実施形態
以上、本発明の第１の実施形態にかかる位置検出システム１について説明した。続いて、本発明の第２の実施形態に至った経緯を説明した後に、図９〜図１４を参照して本発明の第２の実施形態について説明する。
【０１１３】
〔２−１〕第２の実施形態に至る経緯
従来より、撮像装置により操作者を撮像し、撮像された画像から操作主体を抽出し、抽出した操作主体の動き（ジェスチャー）を入力操作として検出するインターフェースが多く提案されている。ここで、操作主体としては、先細な立体的形状を有する操作者の指や、指し棒などが想定される。
【０１１４】
かかるインターフェースにおいて操作者の入力操作を適切に検出するためには、操作者の指や、指し棒などの特定の立体的形状を有する物体を背景画像から効率的、かつ正確に抽出することが重要であった。しかし、撮像される画像はあくまで２次元であるため、撮像された画像から特定の立体的形状を有する物体を抽出することは困難であった。
【０１１５】
そこで、上記事情を一着眼点にして本発明の第２の実施形態にかかる先端検出システム４を創作するに至った。本発明の第２の実施形態にかかる先端検出システム４によれば、特定の立体的形状を有する物体の先端を検出することが可能である。以下、このような本実施形態にかかる先端検出システム４について説明する。
【０１１６】
〔２−２〕第２の実施形態にかかる先端検出システムの概要
図９および図１０は、本発明の第２の実施形態にかかる先端検出システム４の構成例を示した外観図である。図９に示したように、本実施形態にかかる先端検出システム４（物体判断システム）は、撮像装置１２と、ＩＲ透過フィルタ１４と、発光制御装置１６と、ＬＥＤ１８Ａと、ＬＥＤ１８Ｂと、ＰＣ２１と、を備える。なお、図１０は、図９に示した先端検出システム４をＺ方向側を視点として場合の平面図である。
【０１１７】
図１０に示したように、ＬＥＤ１８ＡおよびＬＥＤ１８Ｂは、各々の赤外線の発光方向が交差するように配置されている。その結果、ＬＥＤ１８Ａにより発せられる赤外線とＬＥＤ１８Ｂにより発せられる赤外線との交差範囲が形成され、当該交差範囲を図１０において実線で囲って示している。
【０１１８】
撮像装置１２は、第１の実施形態と実質的に同一に構成される。ただし、本実施形態にかかる撮像装置１２は、撮像対象が第１の実施形態と異なる。具体的には、本実施形態にかかる撮像装置１２は、ＬＥＤ１８ＡおよびＬＥＤ１８Ｂが発する赤外線の交差範囲を撮像対象とする。また、撮像装置１２には、赤外線を透過させるＩＲ透過フィルタ１４が装着されており、撮像装置１２は、ＩＲ透過フィルタ１４を介して赤外線の交差範囲を撮像する。したがって、撮像装置１２により得られるフレーム画像には、赤外線の交差範囲における赤外線の受光部位が示される。また、撮像装置１２は、撮像したフレーム画像を任意の通信方式によりＰＣ２０へ送信する。
【０１１９】
発光制御装置１６は、第１の実施形態と同様に、ＬＥＤ１８ＡおよびＬＥＤ１８Ｂにおける発光を制御する制御装置として機能する。より詳細には、発光制御装置１６は、撮像装置１２により生成された同期信号が入力され、当該同期信号に基づいてＬＥＤ１８ＡおよびＬＥＤ１８Ｂにおける発光を制御する。例えば、発光制御装置１６は、同期信号の立ち上がりにおいて、ＬＥＤ１８Ａの発光、ＬＥＤ１８Ｂの発光、ＬＥＤ１８ＡおよびＬＥＤ１８Ｂの非発光を切替えてもよい。
【０１２０】
〔２−３〕フレーム画像からの先端検出
次に、図１１〜図１３を参照し、本実施形態によるフレーム画像からの先端検出について説明する。
【０１２１】
図１１は、本発明の第２の実施形態にかかるＰＣ２１の構成を示した機能ブロック図である。図１１に示したように、本実施形態にかかるＰＣ２１（物体判断装置）は、表示部２３４、無線通信部２５０、受光部位検出部２６４、近接パターン判断部２６８、記憶部２７２、入力内容判断部２７６、および表示画面生成部２８０を備える。無線通信部２５０および表示部２３４の機能は、第１の実施形態で説明した内容と実質的に同一であるため、説明を省略する。
【０１２２】
受光部位検出部２６４は、ＬＥＤ１８Ａの発光時に撮像されたフレーム画像、およびＬＥＤ１８Ｂの発光時に撮像されたフレーム画像から、赤外線の受光部位を検出する。かかる受光部位検出部２６４による受光部位の検出について、図１２を参照して説明する。
【０１２３】
図１２は、各発光状態において撮像されたフレーム画像の具体例を示した説明図である。より詳細には、図１２の上段はＬＥＤ１８Ａのみ発光時のフレーム画像を示し、図１２の中段はＬＥＤ１８Ｂのみ発光時のフレーム画像を示し、図１２の下段は双方のＬＥＤ１８が発光していた場合に想定されるフレーム画像を示している。
【０１２４】
図１０に示したように赤外線の交差範囲に人差し指が存在する場合、ＬＥＤ１８Ａのみ発光時には、人差し指のＬＥＤ１８Ａ側の側面が赤外線を受光し、ＬＥＤ１８Ｂ側の側面は赤外線を受光しない。したがって、ＬＥＤ１８Ａのみ発光時に撮像されたフレーム画像は、図１２の上段に示した人差し指のＬＥＤ１８Ａ側の側面に対応する受光部位３２Ａを含む。
【０１２５】
一方、ＬＥＤ１８Ｂのみ発光時には、人差し指のＬＥＤ１８Ｂ側の側面が赤外線を受光し、ＬＥＤ１８Ａ側の側面は赤外線を受光しない。したがって、ＬＥＤ１８Ｂのみ発光時に撮像されたフレーム画像は、図１２の中段に示した人差し指のＬＥＤ１８Ｂ側の側面に対応する受光部位３２Ｂを含む。
【０１２６】
受光部位検出部２６４は、このようなフレーム画像から、受光部位３２Ａおよび受光部位３２Ｂを抽出する。具体的には、第１の実施形態において説明したように、受光部位検出部２６４は、双方のＬＥＤ１８の非発光時に撮像されたフレーム画像と、ＬＥＤ１８Ａのみ発光時に撮像されたフレーム画像との差分に基づいて受光部位３２Ａを検出する。同様に、受光部位検出部２６４は、双方のＬＥＤ１８の非発光時に撮像されたフレーム画像と、ＬＥＤ１８Ｂのみ発光時に撮像されたフレーム画像との差分に基づいて受光部位３２Ｂを検出する。
【０１２７】
近接パターン判断部２６８は、受光部位検出部２６４により検出された受光部位３２Ａおよび受光部位３２Ｂの近接度に応じ、赤外線の交差範囲に存在する物体の物理的形状に関する判断を行なう判断部としての機能を有する。
【０１２８】
例えば、赤外線の交差範囲に人差し指などの先細の物体が存在する場合、物体の一側の側面がＬＥＤ１８Ａから発光される赤外線を受光し、他側の側面がＬＥＤ１８Ｂから発光される赤外線を受光する。また、人差し指などの先細の物体は、一側の側面と他側の側面が近接している。したがって、近接パターン判断部２６８は、フレーム画像における受光部位３２Ａおよび受光部位３２Ｂが近接する場合、赤外線の交差範囲に人体の指や指し棒などの先細の物体が存在すると判断する。近接パターン判断部２６８は、このように受光部位の近接度に基づき、赤外線の交差範囲に存在する指の本数を検出することも可能である。
【０１２９】
一方、赤外線の交差範囲に人体の拳が存在する場合、図１３に示すようなフレーム画像が撮像される。
【０１３０】
図１３は、フレーム画像の他の具体例を示した説明図である。より詳細には、図１３の上段はＬＥＤ１８Ａのみ発光時のフレーム画像を示し、図１３の下段はＬＥＤ１８Ｂのみ発光時のフレーム画像を示している。
【０１３１】
人体の拳の形状は、拳の上方を視点とすると、台形の一部分に近似すると捉えることができる。ここで、台形の上辺が人差し指から小指の付け根に対応し、斜辺が小指外側の付け根から手首方向への部分、および人差し指外側の付け根から親指方向への部分に対応する。
【０１３２】
このため、赤外線の交差範囲に人体の拳が存在した場合、ＬＥＤ１８Ａのみ発光時には、拳のＬＥＤ１８Ａ側の側面である人差し指の外側付近が赤外線を受光し、その他の部分はＬＥＤ１８Ａ側の側面と比較して赤外線の受光量が少ない。したがって、ＬＥＤ１８Ａのみ発光時に撮像されたフレーム画像は、図１３の上段に示した拳のＬＥＤ１８Ａ側の側面に対応する受光部位３４Ａを含む。
【０１３３】
一方、ＬＥＤ１８Ｂのみ発光時には、拳のＬＥＤ１８Ｂ側の側面である小指の外側付近が赤外線を受光し、その他の部分はＬＥＤ１８Ｂ側の側面と比較して赤外線の受光量が少ない。したがって、ＬＥＤ１８Ｂのみ発光時に撮像されたフレーム画像は、図１３の下段に示した拳のＬＥＤ１８Ｂ側の側面に対応する受光部位３４Ｂを含む。
【０１３４】
そして、近接パターン判断部２６８は、図１３に示したように受光部位３４Ａおよび３４Ｂが間隔を有する場合、赤外線の交差範囲に存在する物体が先細の度合いが低い人体の拳などであると判断する。
【０１３５】
さらに、近接パターン判断部２６８は、ＬＥＤ１８Ａのみ発光時の受光部位とＬＥＤ１８Ｂのみ発光時の受光部位の一致部分が大きい場合、赤外線の交差範囲に存在する物体が手の平などの平面的な物体であると判断してもよい。
【０１３６】
入力内容判断部２７６は、近接パターン判断部２６８による判断結果と、フレーム画像における受光部位の位置または動きの組合せに基づき、操作主体からの入力内容を判断する。具体的には、記憶部２７２には、物体、フレーム画像における受光部位の位置または動き、および入力内容が対応付けて記憶されており、入力内容判断部２７６は、上記組合せに対応する入力内容を記憶部２７２から読み出してもよい。例えば、記憶部２７２においては、人差し指による円運動と、拳による円運動などで異なる入力内容が対応付けられていてもよい。
【０１３７】
表示画面生成部２８０は、入力内容判断部２７６により判断された操作主体による入力内容を反映させた表示画面を生成する。表示画面生成部２８０により生成された表示画面は、表示部２３４に表示され、操作者は入力操作が受け入れられたか否かを把握できる。
【０１３８】
〔２−４〕先端検出システムによる一連の動作
以上、本発明の第２の実施形態にかかる先端検出システム４について説明した。続いて、図１４を参照し、本発明の第２の実施形態にかかる先端検出システム４における一連の動作を説明する。
【０１３９】
図１４は、本発明の第２の実施形態にかかる先端検出システム４において実行される物体判断方法の流れを示したフローチャートである。図１４に示したように、まず、撮像装置１２が赤外線の交差範囲の撮像を開始する（Ｓ４０４）。ここで、撮像装置１２は、同期信号生成部１２０により生成された同期信号に同期して赤外線の交差範囲の撮像を行なう。
【０１４０】
また、発光制御装置１６は、ＬＥＤ１８ＡおよびＬＥＤ１８Ｂによる発光を、同期信号生成部１２０により生成された同期信号に同期して制御する（Ｓ４０８）。例えば、発光制御装置１６は、ＬＥＤ１８ＡおよびＬＥＤ１８Ｂの非発光、ＬＥＤ１８Ａのみの発光、ＬＥＤ１８Ｂのみの発光を同期信号生成部１２０により生成された同期信号に同期して順次に切替える。
【０１４１】
そして、ＰＣ２１の受光部位検出部２６４が、ＬＥＤ１８ＡおよびＬＥＤ１８Ｂの非発光時のフレーム画像とＬＥＤ１８Ａのみ発光時のフレーム画像の差分に基づき、フレーム画像における受光部位を検出する（Ｓ４１２）。同様に、受光部位検出部２６４が、ＬＥＤ１８ＡおよびＬＥＤ１８Ｂの非発光時のフレーム画像とＬＥＤ１８Ｂのみ発光時のフレーム画像の差分に基づき、フレーム画像における受光部位を検出する（Ｓ４１６）。
【０１４２】
続いて、近接パターン判断部２６８は、双方の受光部位が一致するか否かを判断し（Ｓ４２０）、一致する場合には交差範囲に存在する物体が平面的な形状を有すると判断する（Ｓ４２４）。一方、近接パターン判断部２６８は、双方の受光部位が一致しないものの（Ｓ４２０）、双方の受光部位が近接するか否かを判断する（Ｓ４２８）。
【０１４３】
そして、近接パターン判断部２６８は、双方の受光部位が近接しない場合、交差範囲に存在する物体が拳などの先細の度合いが低い形状であると判断する（Ｓ４３２）。一方、近接パターン判断部２６８は、双方の受光部位が近接する場合、交差範囲に存在する物体が指先などの先細の度合いが高い形状であると判断する（Ｓ４３６）。
【０１４４】
〔２−５〕第２の実施形態のまとめ
以上説明したように、本発明の第２の実施形態においては、物体におけるＬＥＤ１８Ａによる受光部位、およびＬＥＤ１８Ｂによる受光部位の近接度に応じ、物体の物理的形状に関する判断を行なうことができる。
【０１４５】
また、本発明の第２の実施形態にかかる先端検出システム４は、フレーム画像の撮像タイミングに同期してＬＥＤ１８ＡおよびＬＥＤ１８Ｂによる発光を制御する。そして、本発明の第２の実施形態にかかる先端検出システム４は、ＬＥＤ１８Ａの発光時に撮像されたフレーム画像と、該フレーム画像と最も撮影時刻が近い、または同一周期の非発光時に撮像されたフレーム画像の差分を演算する。同様に、本発明の第２の実施形態にかかる先端検出システム４は、ＬＥＤ１８Ｂの発光時に撮像されたフレーム画像と、該フレーム画像と最も撮影時刻が近い、または同一周期の非発光時に撮像されたフレーム画像の差分を演算する。かかる構成により、周囲の照明条件や背景画像が変化している場合であっても、継続的に受光部位を高い精度で検出することができる。
【０１４６】
〔２−６〕第２の実施形態の補足
なお、上述した本発明の第２の実施形態は、適宜変更して実施することが可能である。例えば、上記第２の実施形態では、２のＬＥＤ１８ＡおよびＬＥＤ１８Ｂを水平方向に離隔して配し、ＬＥＤ１８ＡおよびＬＥＤ１８Ｂが発する赤外線を交差させる例を説明したが、本発明はかかる例に限定されない。例えば、２のＬＥＤ１８ＡおよびＬＥＤ１８Ｂを、垂直方向に離隔して配し、ＬＥＤ１８ＡおよびＬＥＤ１８Ｂが発する赤外線を交差させてもよい。さらに、４つ以上のＬＥＤ１８を垂直方向、および水平方向に離隔して配してもよい。かかる構成においても、各ＬＥＤの発光時の受光部位の近接度に基づいて、赤外線の交差範囲に存在する物体の形状をより精密に判断することが可能となる。
【０１４７】
〔３〕全体補足
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【０１４８】
例えば、上記説明では、操作者の一方の手の位置を検出する場合を説明したが、操作者の両手の位置を検出することも同様に可能である。この場合、位置検出装置は、１のフレーム画像における２の投影像の位置関係、または形状に基づいて各々の投影像がいずれの手の投影像であるかを判断してもよい。
【０１４９】
また、本明細書の位置検出システム１および先端検出システム４の処理における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、位置検出システム１および先端検出システム４における各ステップは、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）を含んでもよい。
【０１５０】
また、発光制御装置１６、ＰＣ２０、およびＰＣ２１に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上述した発光制御装置１６、ＰＣ２０、およびＰＣ２１の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。また、図５および図１１の機能ブロック図で示したそれぞれの機能ブロックをハードウェアで構成することで、一連の処理をハードウェアで実現することもできる。
【符号の説明】
【０１５１】
８ 投影面
１０ 画像送信装置
１２ 撮像装置
１４ ＩＲ透過フィルタ
１６ 発光制御装置
１８、１８Ａ、１８Ｂ ＬＥＤ
２０、２１ ＰＣ
１１０ 撮像素子
１２０ 同期信号生成部
２１０ 差分演算部
２１４ 投影像検出部
２２２ 空間位置検出部
２２６ 特定動作検出部
２３０ 表示画面生成部
２６４ 受光部位検出部
２６８ 近接パターン判断部
【特許請求の範囲】
【請求項１】
所定方向に電磁波を発する第１の電磁波発生装置と；
前記第１の電磁波発生装置から発せられる電磁波と交差する方向に電磁波を発する第２の電磁波発生装置と；
前記第１の電磁波発生装置から発せられる電磁波と前記第２の電磁波発生装置から発せられる電磁波の交差範囲に存在する物体を撮像する、第１の電磁波発生装置および第２の電磁波発生装置により発せられる電磁波を撮像可能な撮像装置と；
前記第１の電磁波発生装置および前記第２の電磁波発生装置による電磁波の発生を切替える制御装置と；
前記第１の電磁波発生装置による電磁波の発生時に撮像された第１の画像から、前記第１の電磁波発生装置により発せられた電磁波の前記物体における受波部位を検出し、前記第２の電磁波発生装置による電磁波の発生時に撮像された第２の画像から、前記第２の電磁波発生装置により発せられた電磁波の前記物体における受波部位を検出する受波部位検出部、および、前記第１の画像および前記第２の画像から検出された受波部位の近接度に応じ、前記物体の物理的形状に関する判断を行なう判断部、を有する判断装置と；
を備える、物体判断システム。
【請求項２】
前記撮像装置は、所定の同期信号に同期してフレーム画像の各々を撮像し、
前記制御装置は、前記同期信号に同期して前記電磁波発生装置による電磁波の発生を制御する、請求項１に記載の物体判断システム。
【請求項３】
前記制御装置は、前記第１の電磁波発生装置による電磁波の発生、前記第２の電磁波発生装置による電磁波の発生、および前記第１の電磁波発生装置および前記第２の電磁波発生装置における電磁波の非発生の切替えを周期的に行い、
前記受波部位検出部は、
前記第１の画像と、前記第１の画像と同一周期であって前記第１の電磁波発生装置および前記第２の電磁波発生装置における電磁波の非発生時に撮像された画像との差分に基づいて前記物体における前記受波部位を検出し、
前記第２の画像と、前記第２の画像と同一周期であって前記第１の電磁波発生装置および前記第２の電磁波発生装置における電磁波の非発生時に撮像された画像との差分に基づいて前記物体における前記受波部位を検出する、請求項２に記載の物体判断システム。
【請求項４】
前記物体判断システムは、前記第１の電磁波発生装置および前記第２の電磁波発生装置から発せられる電磁波の波長成分を通過させるフィルタをさらに備え、
前記撮像装置は、前記フィルタを介して前記物体を撮像する、請求項３に記載の物体判断システム。
【請求項５】
前記第１の電磁波発生装置および前記第２の電磁波発生装置は、赤外線または可視光線を発する、請求項４に記載の物体判断システム。
【請求項６】
所定方向に撮像可能な電磁波を発する第１の電磁波発生装置、および前記第１の電磁波発生装置から発せられる電磁波と交差する方向に電磁波を発する第２の電磁波発生装置による電磁波の発生を切替えるステップと；
前記第１の電磁波発生装置から発せられる電磁波と前記第２の電磁波発生装置から発せられる電磁波の交差範囲に存在する物体を撮像するステップと；
前記第１の電磁波発生装置による電磁波の発生時に撮像された第１の画像から、前記第１の電磁波発生装置により発せられた電磁波の前記物体における受波部位を検出し、前記第２の電磁波発生装置による電磁波の発生時に撮像された第２の画像から、前記第２の電磁波発生装置により発せられた電磁波の前記物体における受波部位を検出するステップと；
前記第１の画像および前記第２の画像から検出された受波部位の近接度に応じ、前記物体の物理的形状に関する判断を行なうステップと；
を含む、物体判断方法。
【請求項７】
コンピュータを、
所定方向に撮像可能な電磁波を発する第１の電磁波発生装置、および前記第１の電磁波発生装置から発せられる電磁波と交差する方向に電磁波を発する第２の電磁波発生装置による電磁波の発生を切替える制御部と；
前記第１の電磁波発生装置から発せられる電磁波と前記第２の電磁波発生装置から発せられる電磁波の交差範囲に存在する物体を撮像する撮像装置により前記第１の電磁波発生装置による電磁波の発生時に撮像された第１の画像から、前記第１の電磁波発生装置により発せられた電磁波の前記物体における受波部位を検出し、前記第２の電磁波発生装置による電磁波の発生時に撮像された第２の画像から、前記第２の電磁波発生装置により発せられた電磁波の前記物体における受波部位を検出する受波部位検出部と；
前記第１の画像および前記第２の画像から検出された受波部位の近接度に応じ、前記物体の物理的形状に関する判断を行なう判断部と；
として機能させるための、プログラム。
【請求項１】
所定方向に電磁波を発する第１の電磁波発生装置と；
前記第１の電磁波発生装置から発せられる電磁波と交差する方向に電磁波を発する第２の電磁波発生装置と；
前記第１の電磁波発生装置から発せられる電磁波と前記第２の電磁波発生装置から発せられる電磁波の交差範囲に存在する物体を撮像する、第１の電磁波発生装置および第２の電磁波発生装置により発せられる電磁波を撮像可能な撮像装置と；
前記第１の電磁波発生装置および前記第２の電磁波発生装置による電磁波の発生を切替える制御装置と；
前記第１の電磁波発生装置による電磁波の発生時に撮像された第１の画像から、前記第１の電磁波発生装置により発せられた電磁波の前記物体における受波部位を検出し、前記第２の電磁波発生装置による電磁波の発生時に撮像された第２の画像から、前記第２の電磁波発生装置により発せられた電磁波の前記物体における受波部位を検出する受波部位検出部、および、前記第１の画像および前記第２の画像から検出された受波部位の近接度に応じ、前記物体の物理的形状に関する判断を行なう判断部、を有する判断装置と；
を備える、物体判断システム。
【請求項２】
前記撮像装置は、所定の同期信号に同期してフレーム画像の各々を撮像し、
前記制御装置は、前記同期信号に同期して前記電磁波発生装置による電磁波の発生を制御する、請求項１に記載の物体判断システム。
【請求項３】
前記制御装置は、前記第１の電磁波発生装置による電磁波の発生、前記第２の電磁波発生装置による電磁波の発生、および前記第１の電磁波発生装置および前記第２の電磁波発生装置における電磁波の非発生の切替えを周期的に行い、
前記受波部位検出部は、
前記第１の画像と、前記第１の画像と同一周期であって前記第１の電磁波発生装置および前記第２の電磁波発生装置における電磁波の非発生時に撮像された画像との差分に基づいて前記物体における前記受波部位を検出し、
前記第２の画像と、前記第２の画像と同一周期であって前記第１の電磁波発生装置および前記第２の電磁波発生装置における電磁波の非発生時に撮像された画像との差分に基づいて前記物体における前記受波部位を検出する、請求項２に記載の物体判断システム。
【請求項４】
前記物体判断システムは、前記第１の電磁波発生装置および前記第２の電磁波発生装置から発せられる電磁波の波長成分を通過させるフィルタをさらに備え、
前記撮像装置は、前記フィルタを介して前記物体を撮像する、請求項３に記載の物体判断システム。
【請求項５】
前記第１の電磁波発生装置および前記第２の電磁波発生装置は、赤外線または可視光線を発する、請求項４に記載の物体判断システム。
【請求項６】
所定方向に撮像可能な電磁波を発する第１の電磁波発生装置、および前記第１の電磁波発生装置から発せられる電磁波と交差する方向に電磁波を発する第２の電磁波発生装置による電磁波の発生を切替えるステップと；
前記第１の電磁波発生装置から発せられる電磁波と前記第２の電磁波発生装置から発せられる電磁波の交差範囲に存在する物体を撮像するステップと；
前記第１の電磁波発生装置による電磁波の発生時に撮像された第１の画像から、前記第１の電磁波発生装置により発せられた電磁波の前記物体における受波部位を検出し、前記第２の電磁波発生装置による電磁波の発生時に撮像された第２の画像から、前記第２の電磁波発生装置により発せられた電磁波の前記物体における受波部位を検出するステップと；
前記第１の画像および前記第２の画像から検出された受波部位の近接度に応じ、前記物体の物理的形状に関する判断を行なうステップと；
を含む、物体判断方法。
【請求項７】
コンピュータを、
所定方向に撮像可能な電磁波を発する第１の電磁波発生装置、および前記第１の電磁波発生装置から発せられる電磁波と交差する方向に電磁波を発する第２の電磁波発生装置による電磁波の発生を切替える制御部と；
前記第１の電磁波発生装置から発せられる電磁波と前記第２の電磁波発生装置から発せられる電磁波の交差範囲に存在する物体を撮像する撮像装置により前記第１の電磁波発生装置による電磁波の発生時に撮像された第１の画像から、前記第１の電磁波発生装置により発せられた電磁波の前記物体における受波部位を検出し、前記第２の電磁波発生装置による電磁波の発生時に撮像された第２の画像から、前記第２の電磁波発生装置により発せられた電磁波の前記物体における受波部位を検出する受波部位検出部と；
前記第１の画像および前記第２の画像から検出された受波部位の近接度に応じ、前記物体の物理的形状に関する判断を行なう判断部と；
として機能させるための、プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１０−２１０６４６（Ｐ２０１０−２１０６４６Ａ）
【公開日】平成２２年９月２４日（２０１０．９．２４）
【国際特許分類】
【出願番号】特願２０１０−１４９１０８（Ｐ２０１０−１４９１０８）
【出願日】平成２２年６月３０日（２０１０．６．３０）
【分割の表示】特願２００８−９８６１５（Ｐ２００８−９８６１５）の分割
【原出願日】平成２０年４月４日（２００８．４．４）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２２年９月２４日（２０１０．９．２４）
【国際特許分類】
【出願日】平成２２年６月３０日（２０１０．６．３０）
【分割の表示】特願２００８−９８６１５（Ｐ２００８−９８６１５）の分割
【原出願日】平成２０年４月４日（２００８．４．４）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]