画像インターフェイス装置
【課題】 人間等の移動体の３次元の動作を検出し、場合によっては当該動作に関する時間情報も含めながらこの検出内容をディスプレイ上のキャラクタ等の画像の動作に適正に反映させ、よりリアルな動画像を表示すること。
【解決手段】 マルチライン光センサ１１で得た２画像データＤ１，Ｄ２毎に、対象部位抽出部２２で、人体１の顔と手の画像データを抽出する。対象ノード抽出部２３で、その画像データから顔と手の特徴点である鼻頭と拳のノードを抽出し、この全ノードからセンサ１１までの距離を算出部２４で算出する。算出部２５で、センサ１１から鼻までの距離と、拳までの距離と、これら差分距離とを求め、これに検出時刻を対応付けて距離時刻データし、このデータを別時刻のもの同士で比較して拳の移動距離、移動時間及び移動方向のデータを求める。このデータをもとに作成部２６にて、モニタ３２上の画像の動作を制御する制御データを作成する。
【解決手段】 マルチライン光センサ１１で得た２画像データＤ１，Ｄ２毎に、対象部位抽出部２２で、人体１の顔と手の画像データを抽出する。対象ノード抽出部２３で、その画像データから顔と手の特徴点である鼻頭と拳のノードを抽出し、この全ノードからセンサ１１までの距離を算出部２４で算出する。算出部２５で、センサ１１から鼻までの距離と、拳までの距離と、これら差分距離とを求め、これに検出時刻を対応付けて距離時刻データし、このデータを別時刻のもの同士で比較して拳の移動距離、移動時間及び移動方向のデータを求める。このデータをもとに作成部２６にて、モニタ３２上の画像の動作を制御する制御データを作成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ゲーム機のユーザインタフェイス装置等に用いられ、人間や動物等の移動体の動きを撮像により検出してディスプレイ上のキャラクタ等の画像の動作に反映させる画像インターフェイス装置に関する。
【背景技術】
【０００２】
従来、人等の動きを撮像してゲーム機等のディスプレイの画像に反映させるインターフェイス装置として、例えば特許文献１に記載のものがある。
この内容は、入力コマンドに応答してゲームを進行させるゲーム装置において、人体の少なくとも一部の形状が入力対象であり、画像入力手段によって、その入力対象の動的なジェスチャーによる入力ビデオ信号から二値画像データを取得する。オリエンテーション検出手段によって、その取得された二値画像データに基づいて入力対象のオリエンテーション情報を検出する。シェイプ検出手段によって、画像入力手段で取得された二値画像データに基づいて入力対象のシェイプ情報を検出する。そして、コマンド生成手段によって、オリエンテーション検出手段で検出されたオリエンテーション情報とシェイプ検出手段で検出されたシェイプ情報との組み合わせに応じて、ゲームを進行させるための入力コマンドを生成するようになっている。
【０００３】
このように、ジェスチャー認識の精度についてある程度の許容をもたせることで、入力操作デバイスを用いてコマンド入力した場合と同等のリアルタイム性を簡単に確保できるようになっている。これによって、インタラクティブゲームの進行に必要な高い応答性を実現することを可能としている。また、人間特有の動き（反射神経など）を考慮することで、より高いヒューマンインタフェースを実現することを可能としている。
【特許文献１】特開２００１−２４６１６１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、上記特許文献１においては、画像入力手段によって取得される人体の二値画像データが人体を撮像して得た２次元平面のデータなので、人体の前後方向の動作をディスプレイ上のキャラクタ等の画像の動作に適正に反映させることができない。例えば、従来の画像インターフェイス装置を用いたゲーム機では、撮像対象の移動体の平面方向の動きしか検出できない。このため、その検出内容に制約されたゲームしかできず、よりリアルな動画像によるゲームを実現することができない。つまり、移動体の平面方向の動きしか検出できないので、よりリアルな動画像を表示することができないという問題がある。
本発明は、このような課題に鑑みてなされたものであり、人間等の移動体の３次元の動作を検出し、この検出内容をディスプレイ上のキャラクタ等の画像の動作に適正に反映させ、よりリアルな動画像を表示することができる画像インターフェイス装置を提供することを目的としている。
【課題を解決するための手段】
【０００５】
上記目的を達成するために、本発明の請求項１による画像インターフェイス装置は、移動体の動きを撮像により検出してディスプレイ上の画像の動作に反映させる画像インターフェイス装置において、少なくとも２つのレンズを通して撮像される移動体の２つの画像データを得るセンサと、前記２つの画像データから、該画像データをもとに前記移動体における基準部位と移動部位を抽出する第１の抽出手段と、前記抽出された基準部位における特徴点と移動部位における複数の特徴点とを抽出する第２の抽出手段と、前記第２の抽出手段で抽出された基準部位の特徴点及び移動部位の各特徴点をもとに、それら全ての特徴点から前記センサまでの距離を算出する距離算出手段と、前記算出された全ての距離をもとに、前記センサから前記基準部位までの距離と、前記移動部位までの距離と、これら距離の差分距離とを求め、この求められた距離に前記センサでの検出時刻を対応付けて距離時刻データとし、この距離時刻データを別時刻のもの同士で比較することにより前記移動部位の移動距離、この距離を移動部位が移動する移動時間及び移動方向のデータを求める差分算出手段と、前記差分算出手段で求められた移動部位の移動距離、移動時間及び移動方向のデータをもとに、前記ディスプレイ上の画像の動作を制御する制御データを作成する作成手段とを備えたことを特徴とする。
【０００６】
この構成によれば、移動体の移動部位の３次元の動作を検出し、この検出内容を示す制御データを用いてディスプレイ上の画像の動作を制御させるようにしたので、移動部位の前後方向の動作をディスプレイ上のキャラクタ等の画像の動作に適正に反映させることができる。従って、検出対象の移動体の実際の平面方向に更に実際の前後方向の動きを加えた、よりリアルな動画像をディスプレイ上に表示することができる。
【０００７】
また、本発明の請求項２による画像インターフェイス装置は、請求項１において、前記センサは、２つのレンズを通して前記移動体の映像が結像される一対の１次元光センサアレイを複数配列し、これら光センサの受光強度に応じて画像データを得るマルチライン光センサであることを特徴とする。
この構成によれば、撮像情報量の少ないマルチライン光センサによって移動体の画像データを得るので、エリアセンサ等の撮像情報量が多いセンサに比べ、高速な処理を行うことができる。
【発明の効果】
【０００８】
以上説明したように本発明によれば、人間等の移動体の３次元の動作を検出し、場合によっては当該動作に関する時間情報も含めながらこの検出内容をディスプレイ上のキャラクタ等の画像の動作に適正に反映させ、よりリアルな動画像を表示することができるという効果がある。
【発明を実施するための最良の形態】
【０００９】
以下、本発明の実施の形態を、図面を参照して説明する。
図１は、本発明の実施の形態に係る画像インターフェイス装置の構成を示すブロック図である。
図１に示す画像インターフェイス装置１０は、２つのレンズが取り付けられたマルチライン光センサ１１と、このマルチライン光センサ１１にＡ／Ｄ(Analog/Digital)変換部１２及びＩ／Ｏ(Input/Output)部１３を介して接続された動作解析部１４と、データ転送部１５とを備えて構成されている。
【００１０】
動作解析部１４は、センサ制御部２０と、対象部位抽出部２２と、対象ノード抽出部２３と、距離算出部２４と、前回データ差分算出部２５と、制御データ作成部２６とを備えて構成されている。
マルチライン光センサ１１は、本出願人により既に出願された距離測定装置を用いたものであり、人体１の顔や手などの任意部分を２つのレンズを通して光センサアレイに結像させ、この結像によって得られる２つの画像信号を出力するようになっている。２つの画像信号からは、後述するように、人体１の例えば顔の鼻などの目標部位をノードとして求め、当該センサ１１からノードまでの距離を得ることが可能となっている。
【００１１】
その距離は、三角測距に基づき得られるようになっている。この三角測距の原理を、図２に示す三角測距の原理に基づくマルチライン光センサの原理図を参照して説明する。
被写体である人体１（便宜的に矢印で示してある）の光がレンズ５１、５２により、光センサアレイ５３、５４上に被写体像５６、５７として結像する。点Ｇ、点Ｈは、正面の無限遠からレンズ５１、５２の中心点Ｃ、Ｄを通過する光線（光軸５８、５９）と光センサアレイ５３、５４との交点である。
【００１２】
点Ｇと点Ｈの間の距離をＢ、光センサアレイ５３、５４とレンズ５１、５２との距離をｆｅとする。また、光軸５８、５９からの被写体像５６、５７のずれをＸ１、Ｘ２とする。このＸ１とＸ２を足した長さをＸとする。なお、Ｘは通常位相差と呼ばれる。ここで三角形ＡＣＥと三角形ＣＦＧ及び、三角形ＡＥＤと三角形ＤＨＩは、それぞれ相似であることから、人体１の点Ａに相当する部位、例えば顔までの距離ｄは次の（１）次式で求められる。
ｄ＝Ｂ・ｆｅ／（Ｘ１＋Ｘ２）＝Ｂ・ｆｅ／Ｘ ・・・（１）
位相差Ｘは被写体５５が無限遠にあるとき、すなわち二つの被写体像５６、５７がレンズ５１、５２の光軸５８、５９と光センサアレイの交点にある場合を基準とした２像の相対変移である。Ｂとｆｅは定数であるので、位相差Ｘを検出することで距離ｄを求めることができる。
【００１３】
また、マルチライン光センサ１１の構成は、図３に示すように、各々１対の光センサ回路アレイ１３０ａと１３０ｂ、１３０ｃと１３０ｄ、１３０ｅと１３０ｆを、長手方向ｘｎに対して垂直方向ｙｎに複数個配置した構成となっている。また、１５１ａ，１５１ｂ，１５２ａ，１５２ｂ，１５３ａ，１５３ｂは光センサアレイ（受光部）であり、１５４ａ，１５４ｂ，１５５ａ，１５５ｂ，１５６ａ，１５６ｂは積分回路アレイ（増幅部）である。
【００１４】
更に説明すると、マルチライン光センサ１１は、隣接して配置される上段の光センサアレイ１５１ａ、１５１ｂと中段の光センサアレイ１５２ａ、１５２ｂとの間に、積分回路アレイ１５５ａ、１５５ｂが配置される構成となっている。また、同様に中段と下段の光センサアレイの間にも積分回路アレイが配置されている。なお、図３には光センサ回路アレイを３対配置した例を示すが、３対に限定するものではなく、より多くの光センサ回路アレイを配したものでもよい。５対以上が好ましく、さらに好ましくは１０〜２０対あるとよい。
【００１５】
画像インターフェイス装置１０のＡ／Ｄ変換部１２は、光センサ回路アレイ１３０ａ，１３０ｃ，１３０ｅから出力される第１のアナログ画像信号及び光センサ回路アレイ１３０ｂ，１３０ｄ，１３０ｆから出力される第２のアナログ画像信号を、ディジタルの第１及び第２の画像データＤ１，Ｄ２に変換して出力するものである。
対象部位抽出部２２は、Ａ／Ｄ変換部１２からの第１及び第２の画像データＤ１，Ｄ２をもとに、図４に示す人体１の撮像原画像１ａに対して周知の画像処理によりピクセル単位で平均化処理を行って図５に示すようなピクセル平均化画像１ｂを取得し、このピクセル平均化画像１ｂの明るい部分の面積から顔１ｃ及び手１ｄを判別して抽出し、これら顔１ｃ及び手１ｄの画像データを出力するものである。但し、それら顔１ｃ及び手１ｄの画像データは、第１及び第２の画像データＤ１，Ｄ２毎に抽出されて出力される。
【００１６】
対象ノード抽出部２３は、対象部位抽出部２２からの顔１ｃ及び手１ｄの画像データをもとに、図６に示すように、顔１ｃの特徴部分である鼻１ｅ及び手１ｄの特徴部分である拳１ｆにポイント（○で指示）を定め、このポイント部分をノードとして抽出する。
この際、図７（ａ）から（ｂ）に示すように、鼻１ｅは、鼻頭●を基準のノードＮ０として抽出する。一方、拳１ｆにおいては、人体１が例えばボクシングの動作を行うことを前提とすると、拳１ｆが前方に（マルチライン光センサ１１側に）突き出され、この状態から後方に引かれる。更に、それら前後する際に動きが直線方向のみならず斜め方向であったりする。このような拳１ｆの前後左右上下斜め方向への移動を検出するために、拳１ｆにおいては、複数箇所にポイント●を定め、これらをノードとして抽出する。この例では、拳１ｆに●で示す１８箇所の拳の各ノードＮ１〜Ｎ１８を定めた。
【００１７】
但し、拳の各ノードＮ１〜Ｎ１８と鼻頭のノードＮ０は、上記の第１及び第２の画像データＤ１，Ｄ２毎に抽出されて距離算出部２４へ出力される。
距離算出部２４は、対象ノード抽出部２３で抽出された第１及び第２の画像データＤ１，Ｄ２毎の鼻頭のノードＮ０及び拳の各ノードＮ１〜Ｎ１８をもとに三角測距の原理に従い、マルチライン光センサ１１から各々の対象ノードＮ０及びＮ１〜Ｎ１８までの距離を算出し、これらの距離を前回データ差分算出部２５へ出力するものである。
【００１８】
前回データ差分算出部２５は、距離算出部２４で算出された各々の対象ノードＮ０及びＮ１〜Ｎ１８までの距離をもとに、図８に示すように、マルチライン光センサ１１から鼻１ｅまでの距離Ｚ１と、拳１ｆまでの距離Ｚ２と、これら距離Ｚ１とＺ２との差分距離Ｚ３とを求める。鼻１ｅまでの距離Ｚ１は鼻頭のノードＮ０までの距離である。拳１ｆまでの距離Ｚ２は、例えば拳の各ノードＮ１〜Ｎ１８までの距離の平均値とする。
【００１９】
これによって、例えば、図９（ａ）に示すように、鼻１ｅまでの距離Ｚ１が１０９．５ｃｍ、拳１ｆまでの距離Ｚ２が１００．０ｃｍ、差分距離Ｚ３が９．５ｃｍと算出される。また、距離算出部２４は、図９（ａ）に示すように、マルチライン光センサ１１の該当する検出時刻ｔ１＝１２（時）：００（分）：００（秒）：００として各距離Ｚ１〜Ｚ３に対応付ける。
【００２０】
更に、前回データ差分算出部２５は、各距離Ｚ１〜Ｚ３に検出時刻ｔが対応付けられて成る距離時刻データの前回分と今回分を比較して、図８に示す拳１ｆの移動距離Ｚ４、この距離Ｚ４を拳１ｆが移動する移動時間及び移動方向を求める。ここで、図９（ａ）に示す距離時刻データＤ３を前回分、（ｂ）に示す距離時刻データＤ４を今回分とする。
拳１ｆの移動距離Ｚ４は、今回の距離時刻データＤ４の差分距離Ｚ３ａ＝６３．５ｃｍから前回の距離時刻データＤ３の差分距離Ｚ３＝９．５ｃｍを減算して求める。この例の場合、拳１ｆの移動距離Ｚ４は５４ｃｍとなる。
【００２１】
拳１ｆの移動時間は、今回の距離時刻データＤ４の検出時刻ｔ２＝１２：００：００：０８から前回の距離時刻データＤ３の検出時刻ｔ１＝１２：００：００：００を減算して求める。この例の場合、拳１ｆの移動時間は０．８秒となる。
拳１ｆの移動方向は、まず、差分距離Ｚ３ａ−Ｚ３の結果から拳１ｆの前後方向を求める。つまり、その減算結果が上記の５４ｃｍのようにプラスであれば、マルチライン光センサ１１に向かう前方方向、マイナスであれば逆の後方方向となる。更に、拳１ｆまでの距離Ｚ２を求めた拳の各ノードＮ１〜Ｎ１８の個々のＸＹ平面（図８に示すＺ１〜Ｚ３方向と垂直な面のことであるが、図３に示す方向ｘｎと方向ｙｎで規定される平面、すなわちマルチライン光センサ１１１と考えてもよく、その場合は結像位置の）座標位置を求め、これら値の今回分と前回分との差分と、上記の前後方向とから、拳１ｆの前後左右上下斜めの移動方向を求める。
【００２２】
制御データ作成部２６は、前回データ差分算出部２５にて求められた拳１ｆの移動方向、移動時間、移動距離をもとに、ゲーム機３１によってテレビモニタ３２上に映し出される画像（例えばボクシングキャラクタ画像）の動作を人体１と連動させて制御するための制御データを作成する。
データ転送部１５は、制御データ作成部２６で作成された制御データをゲーム機３１へ転送するものである。
センサ制御部２０は、Ｉ／Ｏ部１３を介してマルチライン光センサ１１の撮像動作を制御するものである。
このような構成の画像インターフェイス装置１０を用いて、ゲーム機３１によってテレビモニタ３２上に映し出されるボクシングキャラクタ画像の動作を制御する際の処理を、図１０に示すフローチャートを参照して説明する。
【００２３】
まず、ステップＳ１において、人体１が図４に示すポーズをとっている際に、センサ制御部２０からＩ／Ｏ部１３を介してマルチライン光センサ１１の撮像制御が行われると、当該センサ１１によって人体１が撮像され、第１及び第２のアナログ画像信号が得られる。そして、それらアナログ信号がＡ／Ｄ変換部１２によって第１及び第２の画像データＤ１，Ｄ２に変換され、対象部位抽出部２２へ出力される。
【００２４】
ステップＳ２において、対象部位抽出部２２にて第１又は第２の画像データＤ１，Ｄ２に対し、図４に示した撮像原画像１ａに対するピクセル単位での平均化画像処理が行われ、これによって図５に示したピクセル平均化画像１ｂが取得される。更に、そのピクセル平均化画像１ｂの明るい部分の面積から顔１ｃ及び手１ｄが抽出され、これら顔１ｃ及び手１ｄの画像データが対象ノード抽出部２３へ出力される。
【００２５】
ステップＳ３において、対象ノード抽出部２３にて、対象部位抽出部２２からの顔１ｃ及び手１ｄの画像データをもとに、図６に示した顔１ｃの特徴部分である鼻１ｅと、手１ｄの特徴部分である拳１ｆとにポイント（○で指示）が定められ、このポイント部分からノードが抽出される。この際、図７（ａ）に示したように、鼻１ｅが、鼻頭●を基準のノードＮ０として抽出される。一方、拳１ｆは、１８箇所にポイント●が定められ、これらがノードＮ１〜Ｎ１８として抽出される。但し、各々のノードＮ０及びＮ１〜Ｎ１８は、第１及び第２の画像データＤ１，Ｄ２の取得毎に当該画像データから抽出される。
ステップＳ４において、距離算出部２４にて、先に抽出された第１及び第２の画像データＤ１，Ｄ２毎の鼻頭のノードＮ０及び拳の各ノードＮ１〜Ｎ１８からマルチライン光センサ１１までの距離が算出され、これらの距離が前回データ差分算出部２５へ出力される。
【００２６】
ステップＳ５において、前回データ差分算出部２５にて、距離算出部２４で算出された各々の対象ノードＮ０及びＮ１〜Ｎ１８までの距離をもとに、図８に示したマルチライン光センサ１１から鼻１ｅまでの距離Ｚ１と、拳１ｆまでの距離Ｚ２と、これら距離Ｚ１とＺ２との差分距離Ｚ３とが求められる。ここで、鼻１ｅまでの距離Ｚ１は鼻頭のノードＮ０までの距離であり、拳１ｆまでの距離Ｚ２は、拳の各ノードＮ１〜Ｎ１８までの距離の平均値である。これらの距離Ｚ１〜Ｚ３は、例えば図９（ａ）に示すように距離Ｚ１が１０９．５ｃｍ、距離Ｚ２が１００．０ｃｍ、差分距離Ｚ３が９．５ｃｍである。更に、マルチライン光センサ１１での該当する検出時刻ｔ１＝１２（時）：００（分）：００（秒）：００として対応付けられる。これらの距離Ｚ１〜Ｚ３及び検出時刻ｔ１から成る距離時刻データＤ３は、前回データ差分算出部２５に記憶される。
【００２７】
次に、ステップＳ６において、人体１が図７（ｂ）に示すように、拳１ｆを突き出したとする。この場合も、上記ステップＳ１〜Ｓ５で説明したと同様に処理が行われ、図８に示す各距離Ｚ１，Ｚ２ａ，Ｚ３ａが求められる。これらの距離Ｚ１，Ｚ２ａ，Ｚ３ａは、例えば図９（ｂ）に示すように、距離Ｚ１が１０９．５ｃｍ、距離Ｚ２ａが４６．０ｃｍ、差分距離Ｚ３ａが６３．５ｃｍである。更に、マルチライン光センサ１１での該当する検出時刻ｔ１＝１２（時）：００（分）：００（秒）：０８として対応付けられ、今回の距離時刻データＤ４が求められる。
【００２８】
この後、ステップＳ７において、前回データ差分算出部２５にて、前回の距離時刻データＤ３と今回の距離時刻データＤ４とが比較され、図８に示す拳１ｆの移動距離Ｚ４と、この距離Ｚ４を拳１ｆが移動する移動時間及び移動方向が求められる。
上記の例では、拳１ｆの移動距離Ｚ４は、今回の距離時刻データＤ４の差分距離Ｚ３ａ＝６３．５ｃｍから前回の距離時刻データＤ３の差分距離Ｚ３＝９．５ｃｍが減算されることによって、５４ｃｍと求められる。
【００２９】
拳１ｆの移動時間は、今回の距離時刻データＤ４の検出時刻ｔ２＝１２：００：００：０８から前回の距離時刻データＤ３の検出時刻ｔ１＝１２：００：００：００が減算されることによって、０．８秒と求められる。
拳１ｆの移動方向は、まず、差分距離Ｚ３ａ−Ｚ３の減算結果が５４ｃｍのようにプラスなので、マルチライン光センサ１１に向かう前方方向と求められる。更に、拳１ｆまでの距離Ｚ２を求めた拳の各ノードＮ１〜Ｎ１８の個々のＸＹ平面座標位置が求められ、この値の今回分と前回分との差分と、先に求めた前方方向とから、拳１ｆの前後左右上下斜めの移動方向が正確に求められる。
【００３０】
次に、ステップＳ８において、制御データ作成部２６にて、前回データ差分算出部２５にて求められた拳１ｆの移動方向、移動時間、移動距離のデータをもとに、テレビモニタ３２上に映し出されているボクシングキャラクタ画像の動作を制御する制御データが作成される。
ステップＳ９において、その作成された制御データが、データ転送部１５でゲーム機３１へ転送され、これに応じてゲーム機３１がテレビモニタ３２上に映し出されているボクシングキャラクタ画像を人体１と連動するように制御し、この制御によってボクシングキャラクタ画像が人体１と連動して動作する。
【００３１】
ここで、ゲーム機３１は転送された制御データからさらに対象の移動速度を求め、これも加味してゲームの進行を決めることができる。例えば上記の例において、拳１ｆの移動速度すなわちパンチスピードを求め、パンチスピードによりパンチの威力を定めて対戦相手に与えるダメージを変えることができる。このように、３次元の空間データに加え時間要素も合わせてデータとすることにより、従来技術では得られなかった効果を得ることができる。なお、移動速度自体はステップ８で求めてもよい。
【００３２】
以上説明したように本実施の形態の画像インターフェイス装置１０によれば、人体１の移動部位である拳１ｆの３次元の動作を検出し、この検出内容を示す制御データを用いてテレビモニタ３２上の画像の動作を制御するようにしたので、拳１ｆの前後方向の動作をテレビモニタ３２上の画像の動作に適正に反映させることができる。従って、検出対象の人体１の拳１ｆの実際の平面方向に更に実際の前後方向の動きを加えた、よりリアルな動画像をテレビモニタ３２上に表示することができる。
【００３３】
また、撮像情報量の少ないマルチライン光センサ１１によって人体１の画像データを得るようにしたので、エリアセンサ等の撮像情報量が多いセンサを用いた場合に比べ、高速な処理を行うことができる。つまり、画像のサンプリングが高速にでき、データ量が少ないので、ＣＰＵの処理能力や必要なメモリが比較的小さなものでもよいため、ゲーム機などの小型機器に搭載可能となる。また、人間の三次元の動作を検出できるので、交通事故体現シミュレーションツールなど移動体の動きを検出してディスプレイ画像に反映させるツールに幅広く使用可能である。
なお、顔１を２箇所の離れた位置にて撮像し、２つの画像信号を得ることが可能なセンサであれば、マルチライン光センサ１１に代え、どの様なセンサを用いても良い。例えば、２つのＣＣＤ(Charge Coupled Device)を使用しても良い。
【図面の簡単な説明】
【００３４】
【図１】本発明の実施の形態に係る画像インターフェイス装置の構成を示すブロック図である。
【図２】三角測距の原理に基づくマルチライン光センサによる距離測定の原理図である。
【図３】上記実施の形態に係る画像インターフェイス装置におけるマルチライン光センサの構成を示す図である。
【図４】マルチライン光センサによる人体の撮像原画像を示す図である。
【図５】撮像原画像から取得したピクセル平均化画像及び当該画像から顔及び手を特定した様態を示す図である。
【図６】ピクセル平均化画像の顔及び手から更に鼻及び拳を特定した様態を示す図である。
【図７】（ａ）は鼻のノード及び拳の各ノードを示す図、（ｂ）は拳が突き出された際の鼻のノード及び拳の各ノードを示す図である。
【図８】マルチライン光センサから鼻及び拳までの距離と、これら差分距離とを示す図である。
【図９】（ａ）は前回の距離時刻データ、（ｂ）は今回の距離時刻データを示す図である。
【図１０】本画像インターフェイス装置によるテレビモニタ上の画像動作の制御処理を説明するためのフローチャートである。
【符号の説明】
【００３５】
１ 人体
１ａ 顔
１ｅ 鼻
１ｆ 拳
１０ 画像インターフェイス装置
１１ マルチライン光センサ
１２ Ａ／Ｄ変換部
１３ Ｉ／Ｏ部
１４ 動作解析部
１５ データ転送部
２０ センサ制御部
２２ 対象部位抽出部
２３ 対象ノード抽出部
２４ 距離算出部
２５ 前回データ差分算出部
２６ 制御データ作成部
３１ ゲーム機
３２ テレビモニタ
【技術分野】
【０００１】
本発明は、ゲーム機のユーザインタフェイス装置等に用いられ、人間や動物等の移動体の動きを撮像により検出してディスプレイ上のキャラクタ等の画像の動作に反映させる画像インターフェイス装置に関する。
【背景技術】
【０００２】
従来、人等の動きを撮像してゲーム機等のディスプレイの画像に反映させるインターフェイス装置として、例えば特許文献１に記載のものがある。
この内容は、入力コマンドに応答してゲームを進行させるゲーム装置において、人体の少なくとも一部の形状が入力対象であり、画像入力手段によって、その入力対象の動的なジェスチャーによる入力ビデオ信号から二値画像データを取得する。オリエンテーション検出手段によって、その取得された二値画像データに基づいて入力対象のオリエンテーション情報を検出する。シェイプ検出手段によって、画像入力手段で取得された二値画像データに基づいて入力対象のシェイプ情報を検出する。そして、コマンド生成手段によって、オリエンテーション検出手段で検出されたオリエンテーション情報とシェイプ検出手段で検出されたシェイプ情報との組み合わせに応じて、ゲームを進行させるための入力コマンドを生成するようになっている。
【０００３】
このように、ジェスチャー認識の精度についてある程度の許容をもたせることで、入力操作デバイスを用いてコマンド入力した場合と同等のリアルタイム性を簡単に確保できるようになっている。これによって、インタラクティブゲームの進行に必要な高い応答性を実現することを可能としている。また、人間特有の動き（反射神経など）を考慮することで、より高いヒューマンインタフェースを実現することを可能としている。
【特許文献１】特開２００１−２４６１６１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、上記特許文献１においては、画像入力手段によって取得される人体の二値画像データが人体を撮像して得た２次元平面のデータなので、人体の前後方向の動作をディスプレイ上のキャラクタ等の画像の動作に適正に反映させることができない。例えば、従来の画像インターフェイス装置を用いたゲーム機では、撮像対象の移動体の平面方向の動きしか検出できない。このため、その検出内容に制約されたゲームしかできず、よりリアルな動画像によるゲームを実現することができない。つまり、移動体の平面方向の動きしか検出できないので、よりリアルな動画像を表示することができないという問題がある。
本発明は、このような課題に鑑みてなされたものであり、人間等の移動体の３次元の動作を検出し、この検出内容をディスプレイ上のキャラクタ等の画像の動作に適正に反映させ、よりリアルな動画像を表示することができる画像インターフェイス装置を提供することを目的としている。
【課題を解決するための手段】
【０００５】
上記目的を達成するために、本発明の請求項１による画像インターフェイス装置は、移動体の動きを撮像により検出してディスプレイ上の画像の動作に反映させる画像インターフェイス装置において、少なくとも２つのレンズを通して撮像される移動体の２つの画像データを得るセンサと、前記２つの画像データから、該画像データをもとに前記移動体における基準部位と移動部位を抽出する第１の抽出手段と、前記抽出された基準部位における特徴点と移動部位における複数の特徴点とを抽出する第２の抽出手段と、前記第２の抽出手段で抽出された基準部位の特徴点及び移動部位の各特徴点をもとに、それら全ての特徴点から前記センサまでの距離を算出する距離算出手段と、前記算出された全ての距離をもとに、前記センサから前記基準部位までの距離と、前記移動部位までの距離と、これら距離の差分距離とを求め、この求められた距離に前記センサでの検出時刻を対応付けて距離時刻データとし、この距離時刻データを別時刻のもの同士で比較することにより前記移動部位の移動距離、この距離を移動部位が移動する移動時間及び移動方向のデータを求める差分算出手段と、前記差分算出手段で求められた移動部位の移動距離、移動時間及び移動方向のデータをもとに、前記ディスプレイ上の画像の動作を制御する制御データを作成する作成手段とを備えたことを特徴とする。
【０００６】
この構成によれば、移動体の移動部位の３次元の動作を検出し、この検出内容を示す制御データを用いてディスプレイ上の画像の動作を制御させるようにしたので、移動部位の前後方向の動作をディスプレイ上のキャラクタ等の画像の動作に適正に反映させることができる。従って、検出対象の移動体の実際の平面方向に更に実際の前後方向の動きを加えた、よりリアルな動画像をディスプレイ上に表示することができる。
【０００７】
また、本発明の請求項２による画像インターフェイス装置は、請求項１において、前記センサは、２つのレンズを通して前記移動体の映像が結像される一対の１次元光センサアレイを複数配列し、これら光センサの受光強度に応じて画像データを得るマルチライン光センサであることを特徴とする。
この構成によれば、撮像情報量の少ないマルチライン光センサによって移動体の画像データを得るので、エリアセンサ等の撮像情報量が多いセンサに比べ、高速な処理を行うことができる。
【発明の効果】
【０００８】
以上説明したように本発明によれば、人間等の移動体の３次元の動作を検出し、場合によっては当該動作に関する時間情報も含めながらこの検出内容をディスプレイ上のキャラクタ等の画像の動作に適正に反映させ、よりリアルな動画像を表示することができるという効果がある。
【発明を実施するための最良の形態】
【０００９】
以下、本発明の実施の形態を、図面を参照して説明する。
図１は、本発明の実施の形態に係る画像インターフェイス装置の構成を示すブロック図である。
図１に示す画像インターフェイス装置１０は、２つのレンズが取り付けられたマルチライン光センサ１１と、このマルチライン光センサ１１にＡ／Ｄ(Analog/Digital)変換部１２及びＩ／Ｏ(Input/Output)部１３を介して接続された動作解析部１４と、データ転送部１５とを備えて構成されている。
【００１０】
動作解析部１４は、センサ制御部２０と、対象部位抽出部２２と、対象ノード抽出部２３と、距離算出部２４と、前回データ差分算出部２５と、制御データ作成部２６とを備えて構成されている。
マルチライン光センサ１１は、本出願人により既に出願された距離測定装置を用いたものであり、人体１の顔や手などの任意部分を２つのレンズを通して光センサアレイに結像させ、この結像によって得られる２つの画像信号を出力するようになっている。２つの画像信号からは、後述するように、人体１の例えば顔の鼻などの目標部位をノードとして求め、当該センサ１１からノードまでの距離を得ることが可能となっている。
【００１１】
その距離は、三角測距に基づき得られるようになっている。この三角測距の原理を、図２に示す三角測距の原理に基づくマルチライン光センサの原理図を参照して説明する。
被写体である人体１（便宜的に矢印で示してある）の光がレンズ５１、５２により、光センサアレイ５３、５４上に被写体像５６、５７として結像する。点Ｇ、点Ｈは、正面の無限遠からレンズ５１、５２の中心点Ｃ、Ｄを通過する光線（光軸５８、５９）と光センサアレイ５３、５４との交点である。
【００１２】
点Ｇと点Ｈの間の距離をＢ、光センサアレイ５３、５４とレンズ５１、５２との距離をｆｅとする。また、光軸５８、５９からの被写体像５６、５７のずれをＸ１、Ｘ２とする。このＸ１とＸ２を足した長さをＸとする。なお、Ｘは通常位相差と呼ばれる。ここで三角形ＡＣＥと三角形ＣＦＧ及び、三角形ＡＥＤと三角形ＤＨＩは、それぞれ相似であることから、人体１の点Ａに相当する部位、例えば顔までの距離ｄは次の（１）次式で求められる。
ｄ＝Ｂ・ｆｅ／（Ｘ１＋Ｘ２）＝Ｂ・ｆｅ／Ｘ ・・・（１）
位相差Ｘは被写体５５が無限遠にあるとき、すなわち二つの被写体像５６、５７がレンズ５１、５２の光軸５８、５９と光センサアレイの交点にある場合を基準とした２像の相対変移である。Ｂとｆｅは定数であるので、位相差Ｘを検出することで距離ｄを求めることができる。
【００１３】
また、マルチライン光センサ１１の構成は、図３に示すように、各々１対の光センサ回路アレイ１３０ａと１３０ｂ、１３０ｃと１３０ｄ、１３０ｅと１３０ｆを、長手方向ｘｎに対して垂直方向ｙｎに複数個配置した構成となっている。また、１５１ａ，１５１ｂ，１５２ａ，１５２ｂ，１５３ａ，１５３ｂは光センサアレイ（受光部）であり、１５４ａ，１５４ｂ，１５５ａ，１５５ｂ，１５６ａ，１５６ｂは積分回路アレイ（増幅部）である。
【００１４】
更に説明すると、マルチライン光センサ１１は、隣接して配置される上段の光センサアレイ１５１ａ、１５１ｂと中段の光センサアレイ１５２ａ、１５２ｂとの間に、積分回路アレイ１５５ａ、１５５ｂが配置される構成となっている。また、同様に中段と下段の光センサアレイの間にも積分回路アレイが配置されている。なお、図３には光センサ回路アレイを３対配置した例を示すが、３対に限定するものではなく、より多くの光センサ回路アレイを配したものでもよい。５対以上が好ましく、さらに好ましくは１０〜２０対あるとよい。
【００１５】
画像インターフェイス装置１０のＡ／Ｄ変換部１２は、光センサ回路アレイ１３０ａ，１３０ｃ，１３０ｅから出力される第１のアナログ画像信号及び光センサ回路アレイ１３０ｂ，１３０ｄ，１３０ｆから出力される第２のアナログ画像信号を、ディジタルの第１及び第２の画像データＤ１，Ｄ２に変換して出力するものである。
対象部位抽出部２２は、Ａ／Ｄ変換部１２からの第１及び第２の画像データＤ１，Ｄ２をもとに、図４に示す人体１の撮像原画像１ａに対して周知の画像処理によりピクセル単位で平均化処理を行って図５に示すようなピクセル平均化画像１ｂを取得し、このピクセル平均化画像１ｂの明るい部分の面積から顔１ｃ及び手１ｄを判別して抽出し、これら顔１ｃ及び手１ｄの画像データを出力するものである。但し、それら顔１ｃ及び手１ｄの画像データは、第１及び第２の画像データＤ１，Ｄ２毎に抽出されて出力される。
【００１６】
対象ノード抽出部２３は、対象部位抽出部２２からの顔１ｃ及び手１ｄの画像データをもとに、図６に示すように、顔１ｃの特徴部分である鼻１ｅ及び手１ｄの特徴部分である拳１ｆにポイント（○で指示）を定め、このポイント部分をノードとして抽出する。
この際、図７（ａ）から（ｂ）に示すように、鼻１ｅは、鼻頭●を基準のノードＮ０として抽出する。一方、拳１ｆにおいては、人体１が例えばボクシングの動作を行うことを前提とすると、拳１ｆが前方に（マルチライン光センサ１１側に）突き出され、この状態から後方に引かれる。更に、それら前後する際に動きが直線方向のみならず斜め方向であったりする。このような拳１ｆの前後左右上下斜め方向への移動を検出するために、拳１ｆにおいては、複数箇所にポイント●を定め、これらをノードとして抽出する。この例では、拳１ｆに●で示す１８箇所の拳の各ノードＮ１〜Ｎ１８を定めた。
【００１７】
但し、拳の各ノードＮ１〜Ｎ１８と鼻頭のノードＮ０は、上記の第１及び第２の画像データＤ１，Ｄ２毎に抽出されて距離算出部２４へ出力される。
距離算出部２４は、対象ノード抽出部２３で抽出された第１及び第２の画像データＤ１，Ｄ２毎の鼻頭のノードＮ０及び拳の各ノードＮ１〜Ｎ１８をもとに三角測距の原理に従い、マルチライン光センサ１１から各々の対象ノードＮ０及びＮ１〜Ｎ１８までの距離を算出し、これらの距離を前回データ差分算出部２５へ出力するものである。
【００１８】
前回データ差分算出部２５は、距離算出部２４で算出された各々の対象ノードＮ０及びＮ１〜Ｎ１８までの距離をもとに、図８に示すように、マルチライン光センサ１１から鼻１ｅまでの距離Ｚ１と、拳１ｆまでの距離Ｚ２と、これら距離Ｚ１とＺ２との差分距離Ｚ３とを求める。鼻１ｅまでの距離Ｚ１は鼻頭のノードＮ０までの距離である。拳１ｆまでの距離Ｚ２は、例えば拳の各ノードＮ１〜Ｎ１８までの距離の平均値とする。
【００１９】
これによって、例えば、図９（ａ）に示すように、鼻１ｅまでの距離Ｚ１が１０９．５ｃｍ、拳１ｆまでの距離Ｚ２が１００．０ｃｍ、差分距離Ｚ３が９．５ｃｍと算出される。また、距離算出部２４は、図９（ａ）に示すように、マルチライン光センサ１１の該当する検出時刻ｔ１＝１２（時）：００（分）：００（秒）：００として各距離Ｚ１〜Ｚ３に対応付ける。
【００２０】
更に、前回データ差分算出部２５は、各距離Ｚ１〜Ｚ３に検出時刻ｔが対応付けられて成る距離時刻データの前回分と今回分を比較して、図８に示す拳１ｆの移動距離Ｚ４、この距離Ｚ４を拳１ｆが移動する移動時間及び移動方向を求める。ここで、図９（ａ）に示す距離時刻データＤ３を前回分、（ｂ）に示す距離時刻データＤ４を今回分とする。
拳１ｆの移動距離Ｚ４は、今回の距離時刻データＤ４の差分距離Ｚ３ａ＝６３．５ｃｍから前回の距離時刻データＤ３の差分距離Ｚ３＝９．５ｃｍを減算して求める。この例の場合、拳１ｆの移動距離Ｚ４は５４ｃｍとなる。
【００２１】
拳１ｆの移動時間は、今回の距離時刻データＤ４の検出時刻ｔ２＝１２：００：００：０８から前回の距離時刻データＤ３の検出時刻ｔ１＝１２：００：００：００を減算して求める。この例の場合、拳１ｆの移動時間は０．８秒となる。
拳１ｆの移動方向は、まず、差分距離Ｚ３ａ−Ｚ３の結果から拳１ｆの前後方向を求める。つまり、その減算結果が上記の５４ｃｍのようにプラスであれば、マルチライン光センサ１１に向かう前方方向、マイナスであれば逆の後方方向となる。更に、拳１ｆまでの距離Ｚ２を求めた拳の各ノードＮ１〜Ｎ１８の個々のＸＹ平面（図８に示すＺ１〜Ｚ３方向と垂直な面のことであるが、図３に示す方向ｘｎと方向ｙｎで規定される平面、すなわちマルチライン光センサ１１１と考えてもよく、その場合は結像位置の）座標位置を求め、これら値の今回分と前回分との差分と、上記の前後方向とから、拳１ｆの前後左右上下斜めの移動方向を求める。
【００２２】
制御データ作成部２６は、前回データ差分算出部２５にて求められた拳１ｆの移動方向、移動時間、移動距離をもとに、ゲーム機３１によってテレビモニタ３２上に映し出される画像（例えばボクシングキャラクタ画像）の動作を人体１と連動させて制御するための制御データを作成する。
データ転送部１５は、制御データ作成部２６で作成された制御データをゲーム機３１へ転送するものである。
センサ制御部２０は、Ｉ／Ｏ部１３を介してマルチライン光センサ１１の撮像動作を制御するものである。
このような構成の画像インターフェイス装置１０を用いて、ゲーム機３１によってテレビモニタ３２上に映し出されるボクシングキャラクタ画像の動作を制御する際の処理を、図１０に示すフローチャートを参照して説明する。
【００２３】
まず、ステップＳ１において、人体１が図４に示すポーズをとっている際に、センサ制御部２０からＩ／Ｏ部１３を介してマルチライン光センサ１１の撮像制御が行われると、当該センサ１１によって人体１が撮像され、第１及び第２のアナログ画像信号が得られる。そして、それらアナログ信号がＡ／Ｄ変換部１２によって第１及び第２の画像データＤ１，Ｄ２に変換され、対象部位抽出部２２へ出力される。
【００２４】
ステップＳ２において、対象部位抽出部２２にて第１又は第２の画像データＤ１，Ｄ２に対し、図４に示した撮像原画像１ａに対するピクセル単位での平均化画像処理が行われ、これによって図５に示したピクセル平均化画像１ｂが取得される。更に、そのピクセル平均化画像１ｂの明るい部分の面積から顔１ｃ及び手１ｄが抽出され、これら顔１ｃ及び手１ｄの画像データが対象ノード抽出部２３へ出力される。
【００２５】
ステップＳ３において、対象ノード抽出部２３にて、対象部位抽出部２２からの顔１ｃ及び手１ｄの画像データをもとに、図６に示した顔１ｃの特徴部分である鼻１ｅと、手１ｄの特徴部分である拳１ｆとにポイント（○で指示）が定められ、このポイント部分からノードが抽出される。この際、図７（ａ）に示したように、鼻１ｅが、鼻頭●を基準のノードＮ０として抽出される。一方、拳１ｆは、１８箇所にポイント●が定められ、これらがノードＮ１〜Ｎ１８として抽出される。但し、各々のノードＮ０及びＮ１〜Ｎ１８は、第１及び第２の画像データＤ１，Ｄ２の取得毎に当該画像データから抽出される。
ステップＳ４において、距離算出部２４にて、先に抽出された第１及び第２の画像データＤ１，Ｄ２毎の鼻頭のノードＮ０及び拳の各ノードＮ１〜Ｎ１８からマルチライン光センサ１１までの距離が算出され、これらの距離が前回データ差分算出部２５へ出力される。
【００２６】
ステップＳ５において、前回データ差分算出部２５にて、距離算出部２４で算出された各々の対象ノードＮ０及びＮ１〜Ｎ１８までの距離をもとに、図８に示したマルチライン光センサ１１から鼻１ｅまでの距離Ｚ１と、拳１ｆまでの距離Ｚ２と、これら距離Ｚ１とＺ２との差分距離Ｚ３とが求められる。ここで、鼻１ｅまでの距離Ｚ１は鼻頭のノードＮ０までの距離であり、拳１ｆまでの距離Ｚ２は、拳の各ノードＮ１〜Ｎ１８までの距離の平均値である。これらの距離Ｚ１〜Ｚ３は、例えば図９（ａ）に示すように距離Ｚ１が１０９．５ｃｍ、距離Ｚ２が１００．０ｃｍ、差分距離Ｚ３が９．５ｃｍである。更に、マルチライン光センサ１１での該当する検出時刻ｔ１＝１２（時）：００（分）：００（秒）：００として対応付けられる。これらの距離Ｚ１〜Ｚ３及び検出時刻ｔ１から成る距離時刻データＤ３は、前回データ差分算出部２５に記憶される。
【００２７】
次に、ステップＳ６において、人体１が図７（ｂ）に示すように、拳１ｆを突き出したとする。この場合も、上記ステップＳ１〜Ｓ５で説明したと同様に処理が行われ、図８に示す各距離Ｚ１，Ｚ２ａ，Ｚ３ａが求められる。これらの距離Ｚ１，Ｚ２ａ，Ｚ３ａは、例えば図９（ｂ）に示すように、距離Ｚ１が１０９．５ｃｍ、距離Ｚ２ａが４６．０ｃｍ、差分距離Ｚ３ａが６３．５ｃｍである。更に、マルチライン光センサ１１での該当する検出時刻ｔ１＝１２（時）：００（分）：００（秒）：０８として対応付けられ、今回の距離時刻データＤ４が求められる。
【００２８】
この後、ステップＳ７において、前回データ差分算出部２５にて、前回の距離時刻データＤ３と今回の距離時刻データＤ４とが比較され、図８に示す拳１ｆの移動距離Ｚ４と、この距離Ｚ４を拳１ｆが移動する移動時間及び移動方向が求められる。
上記の例では、拳１ｆの移動距離Ｚ４は、今回の距離時刻データＤ４の差分距離Ｚ３ａ＝６３．５ｃｍから前回の距離時刻データＤ３の差分距離Ｚ３＝９．５ｃｍが減算されることによって、５４ｃｍと求められる。
【００２９】
拳１ｆの移動時間は、今回の距離時刻データＤ４の検出時刻ｔ２＝１２：００：００：０８から前回の距離時刻データＤ３の検出時刻ｔ１＝１２：００：００：００が減算されることによって、０．８秒と求められる。
拳１ｆの移動方向は、まず、差分距離Ｚ３ａ−Ｚ３の減算結果が５４ｃｍのようにプラスなので、マルチライン光センサ１１に向かう前方方向と求められる。更に、拳１ｆまでの距離Ｚ２を求めた拳の各ノードＮ１〜Ｎ１８の個々のＸＹ平面座標位置が求められ、この値の今回分と前回分との差分と、先に求めた前方方向とから、拳１ｆの前後左右上下斜めの移動方向が正確に求められる。
【００３０】
次に、ステップＳ８において、制御データ作成部２６にて、前回データ差分算出部２５にて求められた拳１ｆの移動方向、移動時間、移動距離のデータをもとに、テレビモニタ３２上に映し出されているボクシングキャラクタ画像の動作を制御する制御データが作成される。
ステップＳ９において、その作成された制御データが、データ転送部１５でゲーム機３１へ転送され、これに応じてゲーム機３１がテレビモニタ３２上に映し出されているボクシングキャラクタ画像を人体１と連動するように制御し、この制御によってボクシングキャラクタ画像が人体１と連動して動作する。
【００３１】
ここで、ゲーム機３１は転送された制御データからさらに対象の移動速度を求め、これも加味してゲームの進行を決めることができる。例えば上記の例において、拳１ｆの移動速度すなわちパンチスピードを求め、パンチスピードによりパンチの威力を定めて対戦相手に与えるダメージを変えることができる。このように、３次元の空間データに加え時間要素も合わせてデータとすることにより、従来技術では得られなかった効果を得ることができる。なお、移動速度自体はステップ８で求めてもよい。
【００３２】
以上説明したように本実施の形態の画像インターフェイス装置１０によれば、人体１の移動部位である拳１ｆの３次元の動作を検出し、この検出内容を示す制御データを用いてテレビモニタ３２上の画像の動作を制御するようにしたので、拳１ｆの前後方向の動作をテレビモニタ３２上の画像の動作に適正に反映させることができる。従って、検出対象の人体１の拳１ｆの実際の平面方向に更に実際の前後方向の動きを加えた、よりリアルな動画像をテレビモニタ３２上に表示することができる。
【００３３】
また、撮像情報量の少ないマルチライン光センサ１１によって人体１の画像データを得るようにしたので、エリアセンサ等の撮像情報量が多いセンサを用いた場合に比べ、高速な処理を行うことができる。つまり、画像のサンプリングが高速にでき、データ量が少ないので、ＣＰＵの処理能力や必要なメモリが比較的小さなものでもよいため、ゲーム機などの小型機器に搭載可能となる。また、人間の三次元の動作を検出できるので、交通事故体現シミュレーションツールなど移動体の動きを検出してディスプレイ画像に反映させるツールに幅広く使用可能である。
なお、顔１を２箇所の離れた位置にて撮像し、２つの画像信号を得ることが可能なセンサであれば、マルチライン光センサ１１に代え、どの様なセンサを用いても良い。例えば、２つのＣＣＤ(Charge Coupled Device)を使用しても良い。
【図面の簡単な説明】
【００３４】
【図１】本発明の実施の形態に係る画像インターフェイス装置の構成を示すブロック図である。
【図２】三角測距の原理に基づくマルチライン光センサによる距離測定の原理図である。
【図３】上記実施の形態に係る画像インターフェイス装置におけるマルチライン光センサの構成を示す図である。
【図４】マルチライン光センサによる人体の撮像原画像を示す図である。
【図５】撮像原画像から取得したピクセル平均化画像及び当該画像から顔及び手を特定した様態を示す図である。
【図６】ピクセル平均化画像の顔及び手から更に鼻及び拳を特定した様態を示す図である。
【図７】（ａ）は鼻のノード及び拳の各ノードを示す図、（ｂ）は拳が突き出された際の鼻のノード及び拳の各ノードを示す図である。
【図８】マルチライン光センサから鼻及び拳までの距離と、これら差分距離とを示す図である。
【図９】（ａ）は前回の距離時刻データ、（ｂ）は今回の距離時刻データを示す図である。
【図１０】本画像インターフェイス装置によるテレビモニタ上の画像動作の制御処理を説明するためのフローチャートである。
【符号の説明】
【００３５】
１ 人体
１ａ 顔
１ｅ 鼻
１ｆ 拳
１０ 画像インターフェイス装置
１１ マルチライン光センサ
１２ Ａ／Ｄ変換部
１３ Ｉ／Ｏ部
１４ 動作解析部
１５ データ転送部
２０ センサ制御部
２２ 対象部位抽出部
２３ 対象ノード抽出部
２４ 距離算出部
２５ 前回データ差分算出部
２６ 制御データ作成部
３１ ゲーム機
３２ テレビモニタ
【特許請求の範囲】
【請求項１】
移動体の動きを撮像により検出してディスプレイ上の画像の動作に反映させる画像インターフェイス装置において、
少なくとも２つのレンズを通して撮像される移動体の２つの画像データを得るセンサと、
前記２つの画像データから、該画像データをもとに前記移動体における基準部位と移動部位を抽出する第１の抽出手段と、
前記抽出された基準部位における特徴点と移動部位における複数の特徴点とを抽出する第２の抽出手段と、
前記第２の抽出手段で抽出された基準部位の特徴点及び移動部位の各特徴点をもとに、それら全ての特徴点から前記センサまでの距離を算出する距離算出手段と、
前記算出された全ての距離をもとに、前記センサから前記基準部位までの距離と、前記移動部位までの距離と、これら距離の差分距離とを求め、この求められた距離に前記センサでの検出時刻を対応付けて距離時刻データとし、この距離時刻データを別時刻のもの同士で比較することにより前記移動部位の移動距離、この距離を移動部位が移動する移動時間及び移動方向のデータを求める差分算出手段と、
前記差分算出手段で求められた移動部位の移動距離、移動時間及び移動方向のデータをもとに、前記ディスプレイ上の画像の動作を制御する制御データを作成する作成手段と
を備えたことを特徴とする画像インターフェイス装置。
【請求項２】
前記センサは、２つのレンズを通して前記移動体の映像が結像される一対の１次元光センサアレイを複数配列し、これら光センサの受光強度に応じて画像データを得るマルチライン光センサである
ことを特徴とする請求項１に記載の画像インターフェイス装置。
【請求項１】
移動体の動きを撮像により検出してディスプレイ上の画像の動作に反映させる画像インターフェイス装置において、
少なくとも２つのレンズを通して撮像される移動体の２つの画像データを得るセンサと、
前記２つの画像データから、該画像データをもとに前記移動体における基準部位と移動部位を抽出する第１の抽出手段と、
前記抽出された基準部位における特徴点と移動部位における複数の特徴点とを抽出する第２の抽出手段と、
前記第２の抽出手段で抽出された基準部位の特徴点及び移動部位の各特徴点をもとに、それら全ての特徴点から前記センサまでの距離を算出する距離算出手段と、
前記算出された全ての距離をもとに、前記センサから前記基準部位までの距離と、前記移動部位までの距離と、これら距離の差分距離とを求め、この求められた距離に前記センサでの検出時刻を対応付けて距離時刻データとし、この距離時刻データを別時刻のもの同士で比較することにより前記移動部位の移動距離、この距離を移動部位が移動する移動時間及び移動方向のデータを求める差分算出手段と、
前記差分算出手段で求められた移動部位の移動距離、移動時間及び移動方向のデータをもとに、前記ディスプレイ上の画像の動作を制御する制御データを作成する作成手段と
を備えたことを特徴とする画像インターフェイス装置。
【請求項２】
前記センサは、２つのレンズを通して前記移動体の映像が結像される一対の１次元光センサアレイを複数配列し、これら光センサの受光強度に応じて画像データを得るマルチライン光センサである
ことを特徴とする請求項１に記載の画像インターフェイス装置。
【図１】
【図２】
【図３】
【図８】
【図９】
【図１０】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図８】
【図９】
【図１０】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２００６−２７７０７６（Ｐ２００６−２７７０７６Ａ）
【公開日】平成１８年１０月１２日（２００６．１０．１２）
【国際特許分類】
【出願番号】特願２００５−９２３６９（Ｐ２００５−９２３６９）
【出願日】平成１７年３月２８日（２００５．３．２８）
【出願人】（５０３３６１２４８）富士電機デバイステクノロジー株式会社 (1,023)
【Ｆターム（参考）】
【公開日】平成１８年１０月１２日（２００６．１０．１２）
【国際特許分類】
【出願日】平成１７年３月２８日（２００５．３．２８）
【出願人】（５０３３６１２４８）富士電機デバイステクノロジー株式会社 (1,023)
【Ｆターム（参考）】
[ Back to top ]