動作認識装置、動作認識方法、プログラム
【課題】より高い精度でジェスチャ動作を認識する。
【解決手段】第１，第２の一次元センサの検出軸について、予め定められた直線的なジェスチャ動作の方向である水平方向及び垂直方向に対して異なるようにして配置する。第１，第２の一次元センサ手段からの信号については、正規化を行った上で、位相平面上に写像することで信号軌跡を形成し、さらに、信号軌跡についての相関係数を求める。信号軌跡から求められる相関係数の正／負は、検出した動きが水平方向の動きと素直方向の動きの何れであるかに対応する。そこで、相関係数の正／負に基づき、水平方向の動きと垂直方向の動きとを弁別するようにして判定する。
【解決手段】第１，第２の一次元センサの検出軸について、予め定められた直線的なジェスチャ動作の方向である水平方向及び垂直方向に対して異なるようにして配置する。第１，第２の一次元センサ手段からの信号については、正規化を行った上で、位相平面上に写像することで信号軌跡を形成し、さらに、信号軌跡についての相関係数を求める。信号軌跡から求められる相関係数の正／負は、検出した動きが水平方向の動きと素直方向の動きの何れであるかに対応する。そこで、相関係数の正／負に基づき、水平方向の動きと垂直方向の動きとを弁別するようにして判定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば人の手などの動きなどの動作（ジェスチャ）について認識する動作認識装置とその方法、及び動作認識装置が実行するプログラムに関する。
【背景技術】
【０００２】
人が行う動作（ジェスチャ）を認識する動作認識（ジェスチャ認識）の技術・手法としては、次のようなものが知られている。
１つには、撮像装置によりジェスチャを行っている被写体を撮像して得られる画像信号について動き解析の画像信号処理を行うことで、ジェスチャ認識を行おうというものが知られている。
また、１つには、加速度センサなどを実装したリモートコントロール装置を提供し、例えばユーザがこのリモートコントロール装置を持つなどして行った動きに応じて得られる加速度センサの検出信号に基づいてジェスチャ認識を行おうとするものである。
また、例えば人体が発する赤外線を検出する赤外線検出素子を利用して人の動きを検知しようとする技術も知られている。
上記のジェスチャ認識の結果は、例えば、電子機器の操作コマンドに適用できる。つまり、ユーザが特定のジェスチャとしての動きをすることにより、電子機器を遠隔操作することが可能になる。
【０００３】
例えば上記したジェスチャ認識手法のうち、赤外線検出素子を利用したものは、撮像画像信号について動き解析のための画像信号処理を行う手法と比べれば、撮像装置が不要であり、処理の負荷が大きい画像信号処理も実行しなくてよい。また、ジェスチャを行う際には、例えばユーザの手などの身体部分自体を使用すればよく、加速度センサを実装したリモートコントロール装置などは必要無い。
【０００４】
例えば、特許文献１には、赤外線検出素子の１種であるデュアル素子型の焦電センサにより同一方向の動きを連続入力できるように、移動方向を決定した信号の入力から所定時間以内に、その信号と同極性の信号を検出したとき、移動方向と同一方向とする構成が記載されている。
また、特許文献２には、焦電センサを用いたうえで、人体と小動物との弁別が行えるようにした侵入検知システムの構成が記載されている。
また、特許文献３には、テレビジョン受像器において上下左右の十字状に４つの赤外線検出素子を配置し、これらの赤外線検出素子により得られる検出信号の時間差に基づいて、ユーザの左右方向に沿った手の動きによるジェスチャに応じてはチャンネルの切り替えを行い、上下方向に沿った手の動きによるジェスチャに応じては音量の調節を行うようにした構成が記載されている。
また、特許文献４には、赤外線検出素子の検出信号について、所定周波数以上の信号のみを通過させるフィルタ部を用いることで、人体の特定部位の特定方向の早い動きのみを認識可能とした構成が記載されている。
また、特許文献５には、それぞれ２つの人体検知エリアを有する焦電型赤外線センサを２つ用いて、一軸方向における人体移動方向判別を行う構成が記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平０５-８１５０３号公報
【特許文献２】特開２００８−１６０１５号公報
【特許文献３】特開平７−３８９７１号公報
【特許文献４】特開平１１―２５９２０６号公報
【特許文献５】特開２００６−２７７６２６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本願発明としては、例えばデュアル型の焦電センサに代表される、一軸方向(一次元)の動きを検出可能な一次元センサを用いることとしたうえで、これまでよりも高い信頼性のジェスチャ認識結果が得られるようにすることを、その課題とする。
【課題を解決するための手段】
【０００７】
そこで本発明は上記した課題を解決する手段として、動作認識装置について次のように構成する。
つまり、１つの検出軸に沿った一次元方向の対象物の動作に応じた動きを検出して、その検出した動きに応じた信号を出力するもので、上記検出軸が、認識対象として定められた直線的な対象物の動作の方向である第１の方向及び第２の方向に対して異なるようにして配置される、第１，第２の一次元センサ手段と、上記第１，第２の一次元センサ手段から出力される第１、第２の信号のそれぞれについて、その振幅値を、ピーク値との比により表される値に変換するようにして正規化する処理を実行する正規化処理手段と、同じ時間ごとの上記正規化された第１の信号の値に基づくｘ座標値と、上記正規化された第２の信号の値に基づくｙ座標値とにより、位相平面上に対して座標をプロットするようにして、上記第１，第２の時系列に応じた信号軌跡を形成する、位相平面写像化処理手段と、上記信号軌跡を形成する座標値を利用して、第１，第２の信号についての相関係数を求める相関係数算出手段と、少なくとも上記相関係数の値が正／負の何れであるのかに基づいて、検出された動きが、上記第１の方向の動作であるか、上記第２の方向の動作であるのかを判定する動作判定手段とを備えることとした。
【０００８】
上記構成では、第１，第２の一次元センサ手段を、検出軸が、予め定められた直線的な対象物の動作の方向である第１の方向及び第２の方向に対して異なるようにして配置することとしている。これにより、第１，第２の一次元センサ手段はともに、第１の方向と第２の方向の何れの動作が行われたとしても、この動きを良好に検出して信号を出力することができる。
そのうえで、第１，第２の一次元センサ手段からの信号については、正規化を行った上で、位相平面上に写像することで信号軌跡を形成し、さらに、信号軌跡についての相関係数を求める。
上記信号軌跡の形状は、第１，第２の一次元センサ手段から出力される信号の位相、極性が反映されている。このために、信号軌跡から求められる相関係数の正／負は、検出した動きが第１の方向の動きと第２の方向の動きの何れであるかに対応する。従って、相関係数に基づいて第１の方向の動きと第２の方向の動きとを弁別するようにして判定できる。
【発明の効果】
【０００９】
このようにして、本発明は、少なくとも、第１の方向と第２の方向とのそれぞれ異なる二軸の方向による動作について、これまでよりも高い精度で判定することが可能になる。
【図面の簡単な説明】
【００１０】
【図１】本実施形態の写真立て型表示装置の外観例と、この写真立て型表示装置に対するジェスチャ操作として定めたジェスチャ動作の例を示す図である。
【図２】写真立て型表示装置の構成例を示すブロック図である。
【図３】一次元センサの構成例を示すブロック図である。
【図４】一次元センサとしてのデュアル型焦電センサの構造例を示す図である。
【図５】デュアル型焦電センサによる動作検出の原理を説明するための波形図である。
【図６】水平／垂直による二軸方向のジェスチャ動作を検出するのに考え得る一次元センサの配置態様を示す図である。
【図７】図６に示す配置態様のもとで得られるセンサ信号の例を示す波形図である。
【図８】本実施形態としての一次元センサの配置態様例を示す図である。
【図９】本実施形態の一次元センサの配置態様のもとで得られるセンサ信号を示す波形図である。
【図１０】本実施形態の一次元センサの配置態様のもとで得られる、左動作、右動作、上動作、下動作ごとに応じたセンサ信号を示す波形図である。
【図１１】センサ信号の正規化処理、位相平面写像化処理を説明するための図である。
【図１２】右動作、左動作に対応して得られるセンサ信号と、位相平面上の信号軌跡の例を示す図である。
【図１３】下動作、上動作に対応して得られるセンサ信号と、位相平面上の信号軌跡の例を示す図である。
【図１４】右回転に対応して得られるセンサ信号と、位相平面上の信号軌跡の例を示す図である。
【図１５】左回転に対応して得られるセンサ信号と、位相平面上の信号軌跡の例を示す図である。
【図１６】ベクトルの外積を説明するための図である。
【図１７】ジェスチャ動作判定部の構成例を示すブロック図である。
【図１８】ジェスチャ動作判定部が実行する処理手順例を示すフローチャートである。
【図１９】ジェスチャ動作期間検出と，これに応じたサンプル記録のための処理手順例を示すフローチャートである。
【図２０】正規化処理を示すフローチャートである。
【図２１】実施形態としての一次センサ（赤外線検出素子）の配置態様についての変形例を示す図である。
【図２２】実施形態としての一次センサ（赤外線検出素子）の配置態様についての変形例を示す図である。
【発明を実施するための形態】
【００１１】
以下、本願発明を実施するための形態（以下、実施形態という）について、下記の順により説明する。
＜１．実施形態におけるジェスチャ操作の態様例＞
＜２．写真立て型表示装置の構成例＞
＜３．一次センサによる移動方向の検出原理＞
＜４．考え得る一次センサの配置態様例＞
＜５．実施形態としての一次センサの配置態様例＞
＜６．ジェスチャ動作判定のための信号処理構成＞
［６−１．正規化処理、位相平面写像化処理］
［６−２．水平・垂直方向のジェスチャ動作判定］
［６−３．左右動作方向判定、上下動作方向判定］
［６−４．左右回転動作判定］
＜７．ジェスチャ動作判定のためのアルゴリズム＞
＜８．位相平面写像化処理の変形例＞
＜９．一次センサの配置態様についての変形例＞
【００１２】
＜１．実施形態におけるジェスチャ操作の態様例＞
本実施形態においては、本願発明のジェスチャ認識装置を、写真立て型表示装置に適用する。本実施形態の写真立て型表示装置は、ユーザが行ったジェスチャ操作としての所定の手の動き・動作（ジェスチャ動作）を認識すると、これを操作コマンドとして受け付け、しかるべき応答動作を実行する。
【００１３】
図１は、本実施形態の写真立て型表示装置の外観例を斜視図により示すとともに、この写真立て型表示装置に対してユーザが行うジェスチャ操作の態様例を示している。
【００１４】
この図に示される写真立て型表示装置１は、所定寸法の幅、高さ、奥行きによる、正面が長方形となる外形形状を有している。
この場合の写真立て型表示装置１は、例えば幅が２０cm〜２５ｃｍ前後、高さが１５ｃｍ前後の外形サイズであり、卓上などに置いておくのに適するものとなっている。
【００１５】
本体部２の正面部には、画像が表示される表示画面部３が設けられている。
上記表示画面部３は、写真立て型表示装置１に採用されたディスプレイデバイスにおける画像パネル部分となる。
【００１６】
また、スタンド４は、写真立て型表示装置１の本体部２を、実際の写真立てのようにして立てられた状態に保つために、本体部２の背面側に取り付けられる部品である。
【００１７】
また、この場合には、本体部２の前面における枠の下側中央部において、センサ部５の窓部分が設けられている。このセンサ部５は、後述するようにして、２組の一次元センサから成る。これら一次元センサが備える検出素子（赤外線検出素子）は、その空間検出領域が写真立て型表示装置１の前方に形成されるようにされたうえで、後述する所定の位置関係により配置されている。
【００１８】
本実施形態においては、ユーザが行うべきジェスチャ操作は、手を動かすことにより行うものとする。ユーザは、写真立て型表示装置１の前面側において、自身の手が上記センサ部５の空間検出領域に入るようにしたうえで、ジェスチャ操作として手を動かすようにする。
【００１９】
本実施形態でのジェスチャ操作として定められる手の動き(ジェスチャ動作)については、先ず、基本として下記の４つの動作であるものとする。
１：手を右から左に向かって直線的に移動させる左動作。
２：手を左から右に向かって直線的に移動させる右動作。
３：手を下から上に向かって直線的に移動させる上動作。
４：手を上から下に向かって直線的に移動させる下動作。
そのうえで、本実施形態では、上記４つの基本のジェスチャ動作を認識する構成を適用して、さらに、下記の２つの動作も、ジェスチャ動作として定めることができる。
５：手を左回り（反時計回り）に円周状に回しながら移動させる左回転動作。
６：手を右回り（時計回り）に円周状に回しながら移動させる右回転動作。
【００２０】
本実施形態の写真立て型表示装置１は、センサ部５のセンサ信号に基づいて、上記６つのうちのジェスチャ動作のうちの何れが行われたのかを認識する。そして、認識したジェスチャ動作に割与えられた操作コマンドに応じた動作を実行する。
【００２１】
ここで、上記６つのジェスチャ動作ごとの操作コマンドの割り当て例について挙げておく。なお、下記の割り当て方は、あくまでも一例であり、他の適用例は多様に考えられる。
先ず、左動作／右動作のそれぞれは、写真立て型表示装置１において表示させている画像の送り／戻しの操作コマンドとして割り当てる。
また、本実施形態の写真立て型表示装置１は、メモリに記憶されている画像を一定時間ごとに順次表示させていくスライドショー表示が可能とされている。上動作／下動作のそれぞれは、このスライドショー表示の開始／停止のための操作コマンドとして割り当てる。
また、本実施形態の写真立て型表示装置１は、例えば写真画像の表示のほか、時計、カレンダーなどを表示させることが可能であり、操作に応じて、これらの表示を切り換えることが可能である。左回転動作／右回転動作は、このような表示切り換えを、所定の送り順、戻し順により切り換えていくための操作コマンドとして割り当てる。
【００２２】
＜２．写真立て型表示装置の構成例＞
図２は、本実施形態に適用できる写真立て型表示装置１の内部構成例を示している。
この図に示すように、本実施形態の写真立て型表示装置１は制御部(ＣＰＵ：Central Processing Unit)１１、ディスプレイデバイス１２、フラッシュメモリ１３、ＳＤＲＡＭ１４、時計部１５、操作部１６、メモリカードインターフェース１７、及びセンサ部５を備えて成るものとしている。
【００２３】
制御部１１は、例えばＣＰＵとしてのハードウェアを備えている。制御部１１としてのＣＰＵは、フラッシュメモリ１３に記憶されているプログラムを読み出して例えばＳＤＲＡＭ１４に展開したうえで、この読み出したプログラムを実行する。これにより、写真立て型表示装置１としての必要な動作が適宜得られる。
ここでのＳＤＲＡＭ１４は、制御部１１の主記憶装置となるもので、補助記憶装置がフラッシュメモリ１３となる。
【００２４】
この場合のフラッシュメモリ１３は、写真立て型表示装置１において固定的に内蔵されている。フラッシュメモリ１３は、上記プログラムのほかに、メモリカード２０から読み出されて転送された画像データを記憶する。
【００２５】
ディスプレイデバイス１２は、ディスプレイパネルと、これを駆動する駆動回路部を有し、制御部１１の画像表示制御に応じて駆動回路が表示駆動のための動作を実行することで、ディスプレイパネルに画像を表示させる。このディスプレイパネルとしての画像が表示される部位が、本体部２の前面部において表出する表示画面部３となる。
本実施形態ではディスプレイデバイス１２として液晶ディスプレイを採用するものとするが、例えば有機ＥＬディスプレイデバイスなどをはじめ、他のディスプレイデバイスが採用されてよい。
【００２６】
時計部１５は、現在時刻を計時するための部位である。ここでは、時計部１５は、現在時刻として、年月日及び時分秒を計時できるものとする。制御部１１は、時計部１５において計時されている現在時刻を読み出して取得することができる。
【００２７】
この場合の操作部１６は、写真立て型表示装置１に備えられる操作子をまとめて示している。操作部１６を形成する操作子に対して操作が行われると、この操作に応じた操作コマンド信号が制御部１１に出力される。制御部１１は、入力される操作信号に応答して、適宜、必要な制御・処理を実行する。
また、写真立て型表示装置１に対する操作をリモートコントローラにより行えるようにされている場合には、この操作部１６には、写真立て型表示装置１とは別体のリモートコントローラと、写真立て型表示装置１側に設けられて、リモートコントローラから送信されたコマンド信号を受信復調して、操作信号として制御部１１に渡す受信部も含まれることになる。
【００２８】
なお、本実施形態の写真立て型表示装置１は、ジェスチャ操作に応答してしかるべき動作を実行するようにされてはいるが、しかるべき操作子などとしての操作部１６の構成を備える。例えば写真立て型表示装置１に対する操作が多様である場合、ジェスチャ操作では対応できない操作もあることになるが、操作部１６を備えることで、これらの操作に対応できる。また、センサ部５などのジェスチャ操作に対応する機能が故障するなどした場合にも、操作部１６に対する操作により同等の操作が可能である。
【００２９】
メモリインターフェース１７は、外部記憶装置であるメモリカード２０が装填される部位を備え、制御部１１の制御に応じて、装填されたメモリカード２０に対するデータのアクセスとして、少なくともデータの読み出しが可能なように構成される部位である。メモリカード２０から読み出したデータは、制御部１１に転送される。
【００３０】
上記構成による写真立て型表示装置１の基本的な利用態様例と、これに応じた写真立て型表示装置１の表示動作について説明する。
ユーザは、例えばデジタルスチルカメラなどで撮影した画像データが保存されているメモリカード２０を、写真立て型表示装置１に対して装填し、画像表示のための操作を行う。
この操作に応じては、制御部１１は、メモリインターフェース１７を介して、メモリカード２０に記憶されている画像データを読み出し、ディスプレイデバイス１２にて画像として表示させるための制御を実行する。
これにより、写真立て型表示装置１の表示画面部３において、ユーザが装填したメモリカード２０に保存されている画像データの画像が表示されることになる。
【００３１】
また、メモリカード２０から読み出した画像データをフラッシュメモリ１３に取り込むようにして保存し、このフラッシュメモリ１３に保存された画像データを表示させることも可能とされている。
この場合には、先ず、ユーザは、写真立て型表示装置１に対してメモリカード２０を装填して、ここに記憶されている画像データを、メモリカード２０に対して転送して記憶させるための操作を実行する。このときには、例えばメモリカード２０に記憶されている画像データのうちから、メモリカード２０に記憶させる画像データを選択する操作が行えるようにされている。
この操作に応じて、制御部１１は、メモリカード２０から選択された画像データを順次読み出し、メモリインターフェース１７を介してフラッシュメモリ１３に対して書き込み命令を実行するとともに、データを転送する。この命令に応じて、フラッシュメモリ１３は、転送されてきた画像データを書き込んで、ファイル単位で管理されるようにして保存させる。なお、フラッシュメモリ１３においてファイル単位で管理される画像データは、静止画像データとされ、ここではＪＰＥＧ（Joint Photographic Expert Group）形式による画像ファイルとして管理されるものとする。また、フラッシュメモリ１３は、ファイルシステムとして、あくまでも一例であるがＦＡＴを採用しているものとする。
【００３２】
この後、ユーザにより、フラッシュメモリ１３に記憶されている画像を表示させるための操作が行われたことに応じては、制御部１１は、フラッシュメモリ１３に記憶されている画像データファイルのうちから必要な画像データファイルを読み出す。制御部１１は、これをディスプレイデバイス１２により画像として再生表示するための制御を実行する。
【００３３】
なお、本実施形態の写真立て型表示装置１は、次のような態様による画像データの再生表示が可能とされている。
先ず、フラッシュメモリ１３若しくはメモリカード２０に記憶されている画像データのうちから選択した１つの画像データのみを継続して表示させる、１枚表示を行うことができる。
また、フラッシュメモリ１３若しくはメモリカード２０に記憶されている画像データのうちから選択した複数の画像を、一定時間ごとに変更させていくようにして順次表示していく、スライドショーといわれる表示を行うことができる。また、このスライドショー表示においては、一定時間ごとに１枚ずつ表示させていくことも可能であるし、一定時間ごとに複数枚ずつを表示させていくことも可能である。
さらに、本実施形態の写真立て型表示装置１は、現在時刻を示す時計、またカレンダーなどを表示することも可能とされているが、これらの時計、カレンダーなどとともに、フラッシュメモリ１３若しくはメモリカード２０に記憶されている画像データを同時に再生表示することも可能である。
また、フラッシュメモリ１３若しくはメモリカード２０に記憶されている画像データのサムネイル画像を一覧して表示させることも可能とされている。
【００３４】
なお、例えば図２に示した構成において、ＵＳＢなどをはじめとしたデータインターフェースを備え、このようなデータインターフェースを介して画像データを読み込めるようにしてもよい。このような構成の変更、追加は適宜おこなわれてよく、写真立て型表示装置１の内部構成としては、図２に示した構成に限定されるものではない。
【００３５】
＜３．一次センサによる移動方向の検出原理＞
本実施形態は、センサ部５として、一次元、即ち一軸方向の動きを検出可能なセンサである一次元センサを採用する。
一次元センサとしてはいつくかの方式が知られているが、本実施形態では、２つの赤外線検出素子を備える、いわゆるデュアル型焦電センサを採用する。焦電センサ自体は周知のようにして、焦電効果を応用した赤外線検出を行うことにより、背景温度と対象物（赤外線放射物体）との温度差に応じた信号を出力するセンサである。
【００３６】
上記のようにして、焦電センサを利用した一次センサとしてのデバイスの構成例を図３に示す。
図３に示す一次センサ４０は、集光器４１、焦電センサ部４２、アンプ・フィルタ４３を有して成るものとされる。
集光器４１は、例えばフレネルレンズなどから成り、入射光を焦電センサ部４２における２つの赤外線検出素子に対して分離して集光させるように形成されている。
デュアル型焦電センサ部４２は、一次元に対応する一軸の検出軸に対応させて配置させた２つの赤外線検出素子を備える。
これら２つの赤外線検出素子のそれぞれは、それぞれの配置位置に対応する空間検出領域における対象物と、背景との温度差を検出し、検出される温度差に応じた信号を出力する。焦電センサ部４２では、これら２つの赤外線検出素子からの信号を合成して検出信号として出力する。この検出信号が、一軸方向における移動方向を示している。
アンプ・フィルタ４３は、上記検出信号について、例えばノイズ成分除去などのための所定以上の周波数成分のみを通過させるフィルタリング処理、また増幅などを行ってセンサ信号として出力する。
【００３７】
図４により、焦電センサ４２による動作方向の検出原理について説明する。
このデュアル型の焦電センサ４２は、図示するようにして、２つの赤外線検出素子５１Ａ，５１Ｂを備えている。これら赤外線検出素子５１Ａ，５１Ｂは、図示するようにして、トランジスタＴｒのゲート端子と、焦電センサ４２の外部ゲート端子Ｇとの間において、直列に接続されるようにして挿入される。ここで、赤外線検出素子５１Ａ，５１Ｂは、その負極同士が直列に接続される。つまり、赤外線検出素子５１Ａ，５１Ｂは、互いに反転した極性により直列接続されている。赤外線検出素子５１Ａの正極はトランジスタのゲート端子に接続され、赤外線検出素子５１Ｂの正極は、外部ゲート端子Ｇに接続される。
また、赤外線検出素子５１Ａ，５１Ｂの直列接続に対しては、並列に抵抗Ｒ１が接続される。また、外部ゲート端子ＧとドレインＤとの間にはゲート−ソース間抵抗Vdが挿入される。
【００３８】
図４により、焦電センサ４２による移動方向の検出原理について説明する。
このデュアル型の焦電センサ４２は、図４（ａ）に示すようにして、２つの赤外線検出素子５１Ａ，５１Ｂを備えている。これら赤外線検出素子５１Ａ，５１Ｂは、物理的には図４（ｂ）により後述する位置関係により配置されたうえで、集光器４１を介して集光された赤外線が入射されるようになっている。
また、これら赤外線検出素子５１Ａ，５１Ｂは、図示するようにして、トランジスタＴｒのゲート端子と、焦電センサ４２の外部ゲート端子Ｇとの間において、直列に接続されるようにして挿入される。ここで、赤外線検出素子５１Ａ，５１Ｂは、その負極同士が直列に接続される。つまり、赤外線検出素子５１Ａ，５１Ｂは、逆極性により直列接続されている。赤外線検出素子５１Ａの正極はトランジスタＴｒのゲート端子に接続され、赤外線検出素子５１Ｂの正極は、外部ゲート端子Ｇに接続される。
また、赤外線検出素子５１Ａ，５１Ｂの直列接続に対しては、抵抗Ｒ１が並列に接続される。また、外部ゲート端子Ｇとドレイン端子Ｄとの間にはゲート−ソース間抵抗Ｒ2が挿入される。
焦電センサ４２の検出信号は、ソース端子Ｓとゲート端子Ｇとの間のゲート-ソース間電圧Ｖｄとして得られる。
【００３９】
一次元センサ４０としてのデバイスにおいては、赤外線検出素子５１Ａ，５１Ｂが、集光器４１を介して外部光を受光可能なように配置される。図４（ｂ）は、一次元センサ４０における赤外線検出素子５１Ａ，５１Ｂの物理的な配置態様を模式的に示している。この図においては、上側に赤外線検出素子５１Ａが位置し，その下側において、或る一定の間隔を有して赤外線検出素子５１Ａが配置されている。この配置に対応しては、縦（垂直方向）に沿って赤外線検出素子５１Ａ，５１Ｂを通過する一点鎖線に対応する方向が、焦電センサ部４２の検出軸Ｌとなる。つまり、図４（ｂ）の紙面対応した赤外線検出素子５１Ａ，５１Ｂの配置方向では、縦（垂直）に沿った移動方向についいて上方向への移動と、下方向への移動の何れであるのかが検出されることになる。なお、図４（ｂ）と図４（ａ）の直線的な動作方向１、２を対応させれば、動作方向１が上方向への移動で、動作方向２が下方向への移動であることになる。
また、動作方向１，２は、互いに逆方向の動きとなるので、動作方向１を正方向とすれば、動作方向２は逆方向となる関係である。
【００４０】
ここで、図４（ａ）において動作方向１による直線的な対象物の動きが生じたとする。これに応じては、先ず、その動きに応じた背景と対象物との温度差の変化が、先ず移動開始位置に近い方の赤外線検出素子５１Ａにて検出され、次に時間差をもって、赤外線検出素子５１Ｂにて検出されることになる。
なお、赤外線検出素子は、厳密には、上記のようにして、検出軸Ｌに沿った対象物の移動に応じては、その動きに応じた背景と対象物の温度差の変化を検出するが、説明の記載を簡単にするために、以降においては、「動きに応じた背景と対象物の温度差の変化の検出」を、赤外線検出素子による「動きの検出」であるとして記載することとする。
【００４１】
図５（ａ）は、上記の動作方向１の動きに応じて出力される赤外線検出素子５１Ａ、５１Ｂの各信号Ｓａ，Ｓｂと、焦電センサ部４２の検出信号Vdを示している。
この場合の赤外線検出素子５１Ａの信号Ｓａは、動きの検出を開始したことに応じて、時点ｔ０において正レベルの正弦波が立ち上がり、時点ｔ２にて０の振幅となって動きの検出が終了したことが示されている。
これに対して、赤外線検出素子５１Ｂは赤外線検出素子５１Ａよりも遅れて動きの検出を開始することになる。図４（ａ）においては、信号Ｓｂは、時点ｔ１にて検出を開始したものとしている。これにより、時点ｔ１において、負のレベルによる正弦波が発生する状態として示されている。そして、時点ｔ３において動きの検出が終了して０レベルとなっている。
図４（ａ）により説明したように、赤外線検出素子５１Ａと赤外線検出素子５１Ｂとは逆極性で接続されている。このために、動きを検出して得られる信号Ｓａ，Ｓｂの波形については互いに反転したものとなっている。
【００４２】
検出信号Vdとしては、図４（ａ）の回路からも理解されるように、信号Ｓａ，Ｓｂを合成したものとなる。
つまり、図５（ａ）に示される検出信号Vdは、先ず、時点ｔ０〜時点ｔ１において、信号Ｓａと同じ正レベルの半周期分の正弦波となる。また、時点ｔ１〜時点ｔ２において、信号Ｓａと信号Ｓｂを合成したことで、時点ｔ０〜時点ｔ１に対して絶対値がほぼ倍となった負のレベルの半周期分の正弦波となる。そして、時点ｔ２〜時点ｔ３において、信号Ｓｂと同じ正レベルの半周期分の正弦波が現れるものとなる。
【００４３】
これに対して、図４（ａ）において動作方向２による直線的な対象物の動きが生じた場合には、先ず、その動きの検出が赤外線検出素子５１Ｂにより開始され、次に、赤外線検出素子５１Ａにて開始される。
このときの赤外線検出素子５１Ａ，５１Ｂの各信号Ｓａ，Ｓｂと、検出信号Vdとを、図５（ｂ）に示す。
図５（ｂ）において、信号Ｓａは、時点ｔ１から正レベルの正弦波が立ち上がるものとなっている。信号Ｓｂは、時点ｔ０において負レベルの正弦波が開始されるものとなっている。
そして、検出信号Vdは、先ず、時点ｔ０〜時点ｔ１において、信号Ｓｂと同じ負レベルの半周期分の正弦波となる。また、時点ｔ１〜時点ｔ２において、信号Ｓａと信号Ｓｂを合成したことで、時点ｔ０〜時点ｔ１に対して絶対値がほぼ倍となった正のレベルの半周期分の正弦波となる。そして、時点ｔ２〜時点ｔ３において、信号Ｓａと同じ負レベルの半周期分の正弦波が現れるものとなる。
【００４４】
ここで、図５（ａ）の検出信号Vdと、図５（ｂ）の検出信号Vdとを比較してみると、その波形パターンは互いに反転したものとなるようにして異なっている。つまり、検出信号Vdの波形パターンにより、検出軸Ｌに沿った移動方向が示されていることになる。
【００４５】
＜４．考え得る一次センサの配置態様例＞
ここで、本実施形態としては、図１により説明したように、ジェスチャ動作として、左動作、右動作、上動作、下動作、また、右回転動作、左回転動作を認識するものとしている。
ここでは説明を簡単で分かりやすいものとするために、より単純に、上記６つのジェスチャ動作のうち、左動作、右動作、上動作、下動作の４つの動作を検出可能とすることを考えてみる。
【００４６】
この場合において、一次元センサとして、上記図３〜図５により説明したデュアル型焦電センサによるものを採用することとした場合について考察してみる。すると、左動作／右動作による水平方向のジェスチャ動作と、上動作／下動作による垂直方向のジェスチャ動作を検出可能とする必要があることになる。即ち、互いに異なる二軸の動作方向を検出すべき必要がある。
このため、一次元センサの検出軸としては、水平（横）方向に対応する検出軸と、垂直（縦）方向に対応する検出軸との２つが必要であり、従って、一次元センサとしても２つが必要であることになる。
【００４７】
上記した２つの一次元センサの配置として単純に考え得る態様を図６に示す。
図６（ａ）には、２つの一次元センサ４０−１、４０−２が示されている。一次元センサ４０−１の検出軸はＬ１であり、一次元センサ４０−２の検出軸はＬ２である。
一次元センサ４０−１については、その検出軸Ｌ１が、垂直（縦）方向と一致する向きにより配置する。これに対して、一次元センサ４０−２については、その検出軸Ｌ２が、水平（横）方向と一致する向きにより配置する。つまり、一次元センサ４０−１，４０−２について、互いの検出軸が直交する位置関係により配置する。
なお、ここでは、一次元センサ４０−１の下に一次元センサ４０−２を配置している。
【００４８】
図６（ｂ）は、図６（ａ）に示した一次元センサ４０−１、４０−２の配置に応じて形成される空間検出領域の例を示している。１つの空間検出領域は、対応する１つの赤外線検出素子５１により対象物の動きを検出可能な空間領域をいう。また、空間検出領域は、模式的には、対応する１つの赤外線検出素子５１の外形枠を、空間に対して検出有効距離まで拡大投射したときの枠の軌跡により形成される限定された空間となる。
【００４９】
先ず、一次元センサ４０−１側に関しては、上側に位置する赤外線検出素子５１Ａ−１に対応して空間検出領域６０Ａ−１が形成され、下側に位置する赤外線検出素子５１Ｂ−１に対応して空間検出領域６０Ｂ−１が形成される。
これらの空間検出領域６０Ａ−１、６０Ｂ−１は、対応する赤外線検出素子５１Ａ−１，５１Ｂ−１の形状と配置角度に応じて、水平方向に長い長方形の断面となる空間を形成している。また、位置関係としては、対応する赤外線検出素子５１Ａ−１，５１Ｂ−１の配置位置関係に応じて、空間検出領域６０Ａ−１のほうが上で、空間検出領域６０Ｂ−１が下となる位置関係となっている。
【００５０】
また、一次元センサ４０−２側に関しては、上側に位置する赤外線検出素子５１Ａ−２に対応して空間検出領域６０Ａ−２が形成され、下側に位置する赤外線検出素子５１Ｂ−２に対応して空間検出領域６０Ｂ−２が形成される。
これらの空間検出領域６０Ａ−２、６０Ｂ−２は、対応する赤外線検出素子５１Ａ−２，５１Ｂ−２の形状と配置角度に応じて、水平方向が長辺となる長方形の断面による空間を形成している。また、位置関係としては、対応する赤外線検出素子５１Ａ−２，５１Ｂ−２の配置位置関係に応じて、空間検出領域６０Ａ−２のほうが左で、空間検出領域６０Ｂ−２が右となる位置関係となっている。
【００５１】
上記した一次元センサ４０−１、４０−２の配置であれば、先に説明した一次元センサの検出原理に基づく限りは、上下左右の各ジェスチャ動作を検出可能であることになる。
一例として右動作が行われたとする場合には、一次元センサ４０−２側においては、先ず、右動作を行っているユーザの手（対象物）が、空間検出領域６０Ａ−２を通過し、次に空間検出領域６０Ａ−１を通過する。これに応じて、図５に示したように、赤外線検出素子５１Ａ−２，５１Ｂ−２においては、時間差を有して動きを検出して信号Ｓａ，Ｓｂを出力し、有意の検出信号Ｖｄを出力する。この検出信号Vdにより、対象物が右方向に移動したことが示されていることになる。
これに対して、垂直方向を検出軸とする一次元センサ４０−１側においては、空間検出領域６０Ａ−１、６０Ａ−２を同時に対象物が通過する。このときに赤外線検出素子５１Ａ−１，５１Ｂ−１から出力される信号Ｓａ，Ｓｂは、例えば図５からも分かるように、互いに逆相となる。従って、検出信号Vdとしては、０レベルとなる。つまり、上下方向に沿った移動は無いことを示す。
【００５２】
また、上下のジェスチャ動作が行われた場合に関しても、上記の説明から自明なように、原理的には、一次元センサ４０−１の検出信号Vdにより、対象物が上若しくは下方向に移動したことが示されることになる。一方、一次元センサ４０−２の検出信号Vdによっては、左右方向の動きは無いことが示される。
【００５３】
しかし、本願発明者は、図６に示した一次元センサの配置によっては、現実には、上下左右のジェスチャ動作を認識することが非常に困難であることを確認した。
図７（ａ）（ｂ）（ｃ）のそれぞれは、本願発明者の実験結果として、図６に示した一次元センサ４０−１、４０−２の配置のもとで、ジェスチャ動作として右動作を行った場合に得られたセンサ信号Ｓ１とセンサ信号Ｓ２とを示している。センサ信号Ｓ１は、垂直方向が検出軸である一次元センサ４０−１から出力され、センサ信号Ｓ２は、水平方向が検出軸である一次元センサ４０−２から出力される信号であり、その波形は、内部の焦電センサ部４２から出力される検出信号Vdに相当する。
【００５４】
図７（ａ）（ｂ）（ｃ）に示されるように、水平方向の検出軸に対応した検出出力となるセンサ信号Ｓ２については、右動作の検出に応じたほぼ同じ波形が得られている。つまり、一次元センサ４０−３２側のみに関すれば、右動作を安定して検出していることになる。
一方、垂直方向の検出軸に対応するセンサ信号Ｓ１については、本来であれば、ほぼ０レベルが維持されるべきであることになる。しかし、実際に得られるセンサ信号Ｓ１は、図７（ａ）に示されるように振幅が非常に小さい場合もあれば、図７（ｂ）（ｃ）のようにして大きな振幅が得られる場合もある。さらには、センサ信号２に対するセンサ信号１の位相として、図７（ｂ）の場合には、ほぼ同位相であるのに対して、図７（ｃ）の場合には、逆相になっている。このようにして、センサ信号１については振幅、位相ともにその出現の仕方に一定性がない。
このように、ジェスチャ動作としての動きに沿った方向を検出軸とする一次元センサのセンサ信号は安定しているが、これと直交する方向を検出軸とする一次元センサのセンサ信号は不安定になる。
【００５５】
上記のようにしてセンサ信号が不安定になることの原因の主たるものの１つとしては下記のようになる。
つまり、現実における対象物の移動方向は、赤外線検出素子の検出軸と厳密に一致するものではない。このために、一方の検出軸に沿って対象物を移動させているつもりでも、その移動方向が、上記一方の検出軸に対して角度を持つと、他方の検出軸に対応する赤外線検出素子にて、その角度のずれに応じた信号の振幅が生じてしまう。
例えば、右動作を行っているとして、そのときに上方向にも或る程度移動していると、一次元センサ４０−１のセンサ信号としては、上方向への移動を示す振幅が生じ、逆に下方向にも或る程度移動していると、一次元センサ４０−１のセンサ信号としては、下方向への移動を示す振幅が生じる。
【００５６】
このようにしてセンサ信号が不安定であることによっては、ジェスチャ動作に対応したセンサ信号が得られたとしても、これが左右（水平）方向におけるジェスチャ動作であるのか、上下（垂直）方向におけるジェスチャ動作であるのかを識別することが非常に難しくなる。
例えば最も分かりやすい場合として、ジェスチャ動作の方向に対して直交する検出軸に対応するセンサ信号の振幅が、ジェスチャ動作の方向に対応する検出軸に対応するセンサ信号の振幅と同程度にまで大きくなった状態を想定してみる。
正しいジェスチャ認識結果を得るには、センサ信号Ｓ１、Ｓ２のうちから、真のジェスチャ動作の方向に対応するセンサ信号を選択する必要がある。ここで、例えば単純に振幅レベルの大小関係に基づいて真のジェスチャ動作の方向に対応するセンサ信号を選択するようにして構成したとすると、上記の状態のときには、選択を誤る可能性が非常に高い。また、ジェスチャ動作に応じて出現し得る波形パターンに、より近似した波形を持つセンサ信号を真のジェスチャ動作の方向に対応するものとして選択するようなアルゴリズムによるとしても、位相，振幅ともに不安定であるから、真のジェスチャ動作の方向に対応していないセンサ信号の波形のほうが、より高い近似率となってしまう可能性も低くはない。
このようにして、図６に示す一次元センサ４０−１、４０−２の配置態様では、信頼性の高いジェスチャ認識結果を得ることが難しい。
【００５７】
＜５．実施形態としての一次センサの配置態様例＞
そこで、本実施形態としては、一次センサを用いたジェスチャ認識について、これまでよりも高い認識精度が得られるようにすることを目的とする。
本実施形態としては、先ず、図１にて述べたように、上下左右に対応した４つのジェスチャ動作が基本となる。即ち、ジェスチャ操作として認識すべき動作方向としては、先ず、水平（横）方向（第１の方向）と、垂直（縦）方向（第２の方向）であることになる。
【００５８】
上記のことを前提とした上で、本実施形態では、図８（ａ）に示すようにして、一次元センサ４０−１、４０−２についての物理的な配置態様を与えることとした。
つまり、一次元センサ４０−１については、その検出軸Ｌ１が水平方向・垂直方向に対して４５°となる角度により傾けて配置する。ここでは、操作者側（正面方向）から見て右に傾けている。また、一次元センサ４０−１の上下の向きについては、赤外線検出素子５１Ａ−１が上側で、赤外線検出素子５１Ｂ−１が下側となる向きで配置している。
また、一次元センサ４０−２についても、その検出軸Ｌ２が水平方向・垂直方向に対して４５°となる角度により傾けて配置する。ただし、傾きの方向は、一次元センサ４０−１とは反対の左向きであり、検出軸Ｌ２が、一次元センサ４０−１の検出軸Ｌ１と直交する向きで４５°の傾きを与えている。
またここでは、上記の傾き状態において、赤外線検出素子５１Ｂ−２が上側で、赤外線検出素子５１Ａ−２が下側となる向きにより配置している。
【００５９】
また、図８（ｂ）により、上記図８（ａ）の一次元センサ４０−１、４０−２の配置に応じて形成される、赤外線検出素子５１Ａ−１，５１Ｂ−１，５１Ａ−２，５１Ｂ−２ごとの空間検出領域６０Ａ−１，６０Ｂ−１，６０Ａ−２，６０Ｂ−２を示しておく。
【００６０】
上記図８（ｂ）に示した配置によると、先ず、一次元センサ４０−１においては、赤外線検出素子５１Ａ−１，５１Ｂ−１について、水平方向に沿った位置のズレが得られる。同じく、垂直方向においてもズレが得られる。
これにより、赤外線検出素子５１Ａ−１，５１Ｂ−１は、垂直方向に沿った上動作・下動作のジェスチャ動作に応じて、時間差をもって動きを検出することが可能になる。同様に、水平方向に沿った左動作・右動作のジェスチャ動作に応じても、時間差をもって動きを検出することが可能になる。これにより、赤外線検出素子５１Ａ−１，５１Ｂ−１、水平・垂直方向の何れのジェスチャ動作にも対応して、図５により説明した信号Ｓａ，Ｓｂを出力できることになる。つまり、一次元センサ４０−１は、水平・垂直方向の何れのジェスチャ動作にも対応して動きを検出して、安定したセンサ信号Ｓ１を出力できる。
同様にして、一次元センサ４０−２も、水平・垂直方向の何れのジェスチャ動作にも対応して動きを検出して、安定したセンサ信号Ｓ２を出力可能になる。
【００６１】
図９は、本願発明者の実験結果として、図８に示した一次元センサ４０−１，４０−２の配置態様の下で、ジェスチャ動作として右動作を行った場合に得られたセンサ信号Ｓ１とセンサ信号Ｓ２とを示している。
図８に示した一次元センサ４０−１，４０−２（赤外線検出素子５１Ａ−１，５１Ｂ−１，５１Ａ−２，５１Ｂ−２）の配置による場合、右動作を検出することによっては、センサ信号Ｓ１，Ｓ２の何れについても、図５（ｂ）の検出信号Vdに対応する波形が得られる。図９に示すセンサ信号Ｓ１，Ｓ２は、何れも図５（ｂ）の検出信号Vdに対応する波形となっている。実験によっては、この図９と同等と見ることのできる波形が、センサ信号Ｓ１，Ｓ２とで安定して得られることが確認されている。
【００６２】
ここで、図１０により、図８に示す一次元センサ４０−１（赤外線検出素子５１Ａ−１，５１Ｂ−１），４０−２（赤外線検出素子５１Ａ−２，５１Ｂ−２）の配置によって、上下左右の各ジェスチャ動作を行った場合に得られるセンサ信号Ｓ１，Ｓ２の波形を模式的に示しておく。
なお、ここにおいて示される波形は、一次元センサ４０−１（赤外線検出素子５１Ａ−１，５１Ｂ−１）に対応する空間検出領域６０Ａ−１，６０Ａ−１の組と、一次元センサ４０−２（赤外線検出素子５１Ａ−２，５１Ｂ−２）に対応する空間検出領域６０Ａ−２，６０Ａ−２の組との物理的な距離差に応じて生じる検出時間差を排除したものとなっている。
空間検出領域が空間上で交差しても、赤外線検出素子側での検出には特に支障はない。従って、実際においても、一次元センサ４０−１（赤外線検出素子５１Ａ−１，５１Ｂ−１）に対応する空間検出領域６０Ａ−１，６０Ａ−１と、一次元センサ４０−２（赤外線検出素子５１Ａ−２，５１Ｂ−２）に対応する空間検出領域６０Ａ−２，６０Ａ−２とが重複するようにして調整し、検出時間差が問題にならなくなるようにすることができる。
【００６３】
図１０（ａ）は、左動作としての動きを検出して得られるセンサ信号Ｓ１、Ｓ２を示している。この図に示すようにして、左動作に応じては、センサ信号Ｓ１、Ｓ２は、図５（ａ）の検出信号Ｖｄに対応した同相の波形が得られる。
図１０（ｂ）は、右動作の場合に得られるセンサ信号Ｓ１，Ｓ２を示している。右動作の場合のセンサ信号Ｓ１，Ｓ２は、それぞれ、上記図１０（ａ）の波形を反転したものとなる。つまり、センサ信号Ｓ１，Ｓ２は、図５（ｂ）の検出信号Ｖｄに対応した同相の波形となる。なお、図９の波形は、この図１０（ｂ）に対応することになる。
【００６４】
図１０（ｃ）は、上動作としての動きを検出して得られるセンサ信号Ｓ１，Ｓ２を示している。
この場合には、センサ信号Ｓ１が図５（ａ）の検出信号Vdに対応する波形で、センサ信号Ｓ２が図５（ｂ）の検出信号Vdに対応する波形とされたうえで、互いに逆相となっている。
【００６５】
図１０（ｄ）は、下動作としての動きを検出して得られるセンサ信号Ｓ１，Ｓ２を示している。
この場合のセンサ信号Ｓ１，Ｓ２は、上記図１０（ｃ）に対してそれぞれ反転した波形となっている。つまり、センサ信号Ｓ１が図５（ｂ）の検出信号Vdに対応する波形で、センサ信号Ｓ２が図５（ａ）の検出信号Vdに対応する波形とされたうえで、互いに逆相となっている。
【００６６】
上記図１０によれば、先ず、ジェスチャ動作が、水平方向に沿ったものであるか、垂直方向に沿ったものであるかの認識は、センサ信号Ｓ１，Ｓ２が同相であるか逆相であるか否かを判断すればよいといえる。さらに、水平方向に沿ったジェスチャ動作として左動作と右動作の何れであるのか、また、垂直方向に沿ったジェスチャ動作として上動作と下動作の何れであるのかについては、センサ信号Ｓ１，Ｓ２の極性に基づいて判断すればよいことになる。
【００６７】
＜６．ジェスチャ動作判定のための信号処理構成＞
［６−１．正規化処理、位相平面写像化処理］
そして本実施形態では、図８の一次元センサ４０−１，４０−２の配置態様としたうえで、以降説明するようにして、センサ信号Ｓ１，Ｓ２について信号処理を行ってジェスチャ認識を行う構成を採ることとした。
【００６８】
ここで、図１１（ａ）に示されるセンサ信号Ｓ１，Ｓ２が得られたとする。なお、このセンサ信号Ｓ１，Ｓ２は、実際においては上動作を検出して得られたものである。
本実施形態においては、このようにして得られたセンサ信号Ｓ１，Ｓ２について、それぞれ、正規化処理を行う。
この正規化処理として、先ず、センサ信号Ｓ１については、ジェスチャ動作に対応する動きを検出したことに応じて振幅が変化したとされる、有意な信号区間（ジェスチャ動作期間）における最大値Vp1を求める。なお、この最大値Vp1は、絶対値として取得する。そのうえで、同じジェスチャ動作期間において得られているセンサ信号Ｓ１の振幅値を、上記最大値Vp1により除算する。これにより、センサ信号Ｓ１の振幅値は、−１〜１の範囲内で、最大値Vp1との比により示される値となるようにして正規化される。
センサ信号Ｓ２についても、同様にして、ジェスチャ動作期間における絶対値による最大値Vp2を求め、同じジェスチャ動作期間において得られているセンサ信号Ｓ２の振幅値を、上記最大値Vp2により除算する。これにより、その振幅値は、−１〜１の範囲において最大値Vp1との比により示される値となるようにして正規化される。
【００６９】
焦電センサは、背景温度と対象物の温度差を検出して、これに応じた振幅値を出力する。しかし、実際に対象物となる操作者の手の温度はまちまちである。例えば体質による基礎的な体温の違いであるとか、手が濡れていたり、冷えていたりするなどして、手の温度はおおきく変わり得る。また、操作者の手から赤外線検出素子までの距離が遠くなるほど、検出信号の振幅も小さくなっている。このようにして、人体の手の温度であるとか、手の距離などの影響があることで、操作者が同じ操作を行っているとしても、一次元センサ４０−１、４０−２から出力されるセンサ信号Ｓ１，Ｓ２の振幅の大きさは、その都度異なるものとなり得る。このようにして、同じジェスチャ動作に応答したものでありながら、センサ信号Ｓ１，Ｓ２の振幅にばらつきのあるままでは、以降の信号処理について適正に評価することは非常に難しくなる。
そこで、本実施形態では、上記の正規化処理を実行することにより、ピーク値（絶対値）との比に応じた−１〜＋１の範囲の値に変換することとしている。これにより、センサ信号Ｓ１，Ｓ２は、実際の振幅のばらつき要因が排除された正規な値を持つことになる。
【００７０】
なお、以降において正規化した振幅値のセンサ信号Ｓ１，Ｓ２については、それぞれ正規化センサ信号NOM_S1、正規化センサ信号NOM_S2という。
【００７１】
上記正規化処理に続けては、正規化センサ信号NOM_S1、正規化センサ信号NOM_S2を、位相平面に対して写像する処理（位相平面写像化処理）を実行する。
図１１（ａ）に示したセンサ信号Ｓ１，Ｓ２に対応する正規化センサ信号NOM_S1、正規化センサ信号NOM_S2により位相平面写像化処理を実行した結果を、図１１（ｂ）に示す。
【００７２】
図１１（ｂ）に示される位相平面は、ｘ座標が正規化センサ信号NOM_S1に対応し、ｙ座標が正規化センサ信号NOM_S2に対応し、ｘ座標とｙ座標とでともに−１〜１の座標の範囲を持つ。
【００７３】
ここでの位相平面写像化処理としては、同じ時間に得られたとされる正規化センサ信号NOM_S1の値をｘ座標値とし、正規化センサ信号NOM_S2の値をｙ座標値として、センサ信号の時間経過に従って、位相平面上に座標をプロットしていく処理となる。
より具体的には、ジェスチャ動作期間に対応して得られるＮ個の正規化センサ信号NOM_S1，NOM_S2のサンプルデータのうち、それぞれ、ｉ番目のサンプルデータの値をxi，yiとすると、N個のサンプルデータに対応する全ての座標(xi，yi)を求める処理となる。
これにより、模式的には、図１１（ｂ）の位相平面上において描かれている曲線は、上記座標のプロットを時間経過に従って行っていた結果、つまり、プロットした点の軌跡として示されることになる。なお、この軌跡としての曲線は、センサ信号Ｓ１，Ｓ２に基づくものであることに因み、以降、信号軌跡ともいう。
【００７４】
［６−２．水平・垂直方向のジェスチャ動作判定］
図１２は、水平方向のジェスチャ動作である、右動作・左動作に対応した位相平面写像化処理の結果例を示している。
図１２（ａ）には、ジェスチャ動作として、右動作に続けて左動作を行った場合において得られたセンサ信号Ｓ１，Ｓ２を示している。この図のセンサ信号Ｓ１，Ｓ２における右動作検出期間は、右動作の検出に応じて有意な振幅が得られたとする波形区間であり、左動作検出期間は、左動作の検出に応じて有意な振幅が得られたとする波形区間である。
【００７５】
そして、右動作検出期間に対応する正規化センサ信号NOM_S1、正規化センサ信号NOM_S2により位相平面写像化処理を実行した結果としては、図１２（ｂ）に示す位相平面上の信号軌跡が得られることになる。
また、左動作検出期間に対応する正規化センサ信号NOM_S1、正規化センサ信号NOM_S2により位相平面写像化処理を実行した結果としては、図１２（ｃ）に示す位相平面上の信号軌跡が得られる。
【００７６】
図１３は、垂直方向のジェスチャ動作である、上動作・下動作に対応した位相平面写像化処理の結果例を示している。
図１３（ａ）には下動作に続けて水平方向のジェスチャ動作である、上動作を行った場合において得られたセンサ信号Ｓ１，Ｓ２を示している。この図のセンサ信号Ｓ１，Ｓ２における下動作検出期間は、下動作の検出に応じて有意な振幅が得られたとする波形区間であり、上動作検出期間は、上動作の検出に応じて有意な振幅が得られたとする波形区間である。
【００７７】
下動作検出期間に対応する正規化センサ信号NOM_S1、正規化センサ信号NOM_S2により位相平面写像化処理を実行した結果としては、図１３（ｂ）に示す位相平面上の信号軌跡が得られる。
また、上動作検出期間に対応する正規化センサ信号NOM_S1、正規化センサ信号NOM_S2により位相平面写像化処理を実行した結果としては、図１３（ｃ）に示す位相平面上の信号軌跡が得られる。
【００７８】
次に、本実施形態では、上記位相平面写像化処理の実行結果として得られる信号軌跡に基づいて、先ず、水平方向に対応するジェスチャ動作（左動作／右動作）であるのか、垂直方向に対応するジェスチャ動作（上動作／下動作）であるのかの判定のための評価項目として信号軌跡の相関係数を求めるものとする。
相関係数ｒは、下記のようにして求めることができる。
【数１】
【００７９】
ここで、水平方向のジェスチャ動作に対応するものとして、図１２（ｂ）（ｃ）の位相平面に示される右動作、左動作の信号軌跡は、共通の特徴を持っている。つまり、例えば信号軌跡の大まかな輪郭に対応して、楕円Ｅをあてはめたとして、この楕円Ｅの長軸に対応する直線Ｌについてみると、右動作と左動作の何れについても、右上がりとなる。なお、これは、一次関数y=ax+bにより表される直線としてみた場合には、a>0の直線となる。
また、垂直方向のジェスチャ動作に対応するものとして、図１３（ｂ）（ｃ）の位相平面に示される下動作、上動作の信号軌跡も共通の特徴を持ちながら、その特徴は、上記図１２（ｂ）（ｃ）とは異なるものとなる。
つまり、図１３（ｂ）（ｃ）の信号軌跡にあてはめた楕円Ｅの長軸に対応する直線Ｌは下動作と右動作の何れについても、右下がりとなるものであり、一次関数y=ax+bにより表される直線としてみた場合には、a<0の直線となる。
このような特徴は、先に図１０にて説明した、センサ信号Ｓ１，Ｓ２の極性、及び相互の位相の関係に応じて現れるものである。
このことからすれば、信号軌跡に対応して得られる直線Ｌの傾きについて、これが右上がりであれば、水平方向のジェスチャ動作であると認識し、右下がりであれば、垂直方向のジェスチャ動作であると認識すればよいことになる。
【００８０】
相関係数ｒの正／負は、上記直線Ｌの右上がり／右下がりに対応する。相関係数ｒは、センサ信号Ｓ１，Ｓ２の位相，振幅が近いほど+１に近くなり、信号軌跡の全体形状としても右上がりの直線に近くなっていく。一方、センサ信号Ｓ１，Ｓ２が互いに同一波形を反転させた逆相の状態に近くなるほど、−１に近づいていき、信号軌跡の形状としては右下がりの直線に近くなっていく。
【００８１】
具体的には、図１２（ｂ）（ｃ）に示される信号軌跡について相関係数ｒを実際に計算してみると、それぞれ、０．８〜０．８程度の値が求められる。
一方、図１３（ｂ）（ｃ）に示される信号軌跡については、実際には、−０．７５〜−０．８程度の値が求められる。
【００８２】
このようにして、本実施形態では、ジェスチャ動作が水平と垂直方向との何れによるものであるのかを認識するのにあたり、正規化センサ信号NOM_S1，NOM_S2についての相関係数ｒを求める。そのうえで、この相関係数ｒについて、原則として、ｒ＞０であれば、水平方向のジェスチャ動作であると認識し、相関係数ｒ＜０であれば、垂直方向のジェスチャ動作であると認識するようにアルゴリズムを構成すればよい。
【００８３】
ただし、本実施形態においては、相関係数ｒの絶対値が一定値以下の場合には、後述するようにして、検出したジェスチャ動作が、回転動作によるものである可能性のほうが高くなる。従って、本実施形態の実際としては、相関係数ｒを求めた上で、検出された動作について、水平／垂直方向のジェスチャ動作と、回転動作との何れであるのかについて判断すべきことになる。この点については後述する。
【００８４】
［６−３．左右動作方向判定、上下動作方向判定］
上記のようにして、ジェスチャ動作が水平方向と垂直方向の何れに沿ったものであるのかについては、正規化センサ信号NOM_S1，NOM_S2の間での位相平面上での相関の度合いを示す相関係数ｒに基づいて判定することができる。
すると、水平方向のジェスチャ動作であると判定したことに応じては、次に左動作・右動作の何れであるのかを認識すべき必要があることになる。また、垂直方向のジェスチャ動作であるとの判定結果に応じては、上動作・下動作の何れであるのかを認識する必要があることになる。
【００８５】
ここで、再度、水平方向のジェスチャ動作に対応する図１２を参照してみる。
図１２（ｂ）に示される右動作に応じた信号軌跡に対応する楕円Ｅは、その直線Ｌが右上がりとなる傾きを有した上で、原点に対して第１象限のほうに偏倚している状態であるとみることができる。
これに対して、図１２（ｃ）に示される左動作に応じた信号軌跡に対応する楕円Ｅは、その直線Ｌが右上がりとなる傾きを有しているのは同様であるが、図１２（ｂ）とは逆に、原点に対して第３象限のほうに偏倚している状態であるとみることができる。
【００８６】
この右動作と左動作とに応じた偏倚の相違は、図１０（ａ）（ｂ）に示したように、各動きに対応するセンサ信号Ｓ１，Ｓ２の組は、同相の関係にあるとされたうえで、右動作と左動作とで比較したときには、センサ信号Ｓ１同士と、センサ信号２同士の何れも逆相になっていることに応じて現れるものである。
【００８７】
また、垂直方向のジェスチャ動作についてみると、図１０（ｃ）（ｄ）に示すようにして、上動作と下動作の各動きに対応するセンサ信号Ｓ１，Ｓ２の組は、互いに逆相の関係にあるとされたうえで、上動作と下動作とで比較したときには、センサ信号Ｓ１同士と、センサ信号２同士の何れも逆相になっている。
このような位相関係により、先ず、下動作に応じて形成される信号軌跡に対応する楕円Ｅは、図１３（ｂ）に示すように、その直線Ｌが右下がりの傾きを有した上で、原点に対して第２象限のほうに偏倚する状態となる。これに対して、上動作に応じた信号軌跡に対応する楕円Ｅは、図１３（ｃ）に示されるように、その直線Ｌが右下がりとなる傾きを有したうえで、図１３（ｂ）とは逆に、原点に対して第４象限のほうに偏倚している状態となる。
【００８８】
このことからすると、先ず、水平方向のジェスチャ動作については、信号軌跡としての包括形状（楕円Ｅ）が、位相平面において第１象限に偏倚していれば右動作であり、第３象限のほうに偏倚していれば左動作であるということがいえる。
同様に、垂直方向のジェスチャ動作については、信号軌跡としての包括形状（楕円Ｅ）が、位相平面において第２象限に偏倚していれば下動作であり、第４象限のほうに偏倚していれば上動作であるということがいえる。
【００８９】
そこで、本実施形態では、上記した信号軌跡の包括形状（楕円Ｅ）がどの象限に偏倚しているのかを評価するために、位相平面写上における信号軌跡の重心Ｇを算出して求める。
この重心Ｇは、位相平面上での座標Ｇ（gx,gy）として求められる。
図１２（ｂ）（ｃ）、図１３（ｂ）（ｃ）においては、直線Ｌとしての楕円Ｌの長径の中点として示されている。但し、これはあくまでも模式的なものであり、実際に求められる重心Ｇの座標は、必ずしも直線Ｌと一致するものではない。
【００９０】
ここで、上記重心Ｇのｘ座標gx、ｙ座標yxの求め方としては、いつくか考えられるが、例えば１つには、それぞれ、正規化センサ信号NOM_S1、NOM_S2についての相加平均値を求めることとすればよい。この場合の演算式は、例えば下記のようになる。
【数２】
【００９１】
上記重心G（gx,gy）は、即ち、信号軌跡としての包括形状の重心の位置を示すものとなる。従って、位相平面上における重心G（gx,gy）の原点からの方向により、信号軌跡包括形状についての原点に対する偏倚の方向が示されることになる。このことに基づき、重心Ｇ（gx,gy）は、水平・垂直各方向における動作方向を認識するための評価値として利用できることになる。
つまり、アルゴリズムとして、水平方向のジェスチャ動作の場合には、重心Ｇ（gx,gy）が第１象限に位置するのであれば右動作であると認識し、第３象限に位置するのであれば左動作であると認識することができる。また、垂直方向のジェスチャ動作の場合には、重心Ｇ（gx,gy）が第２象限に位置するのであれば下動作であると認識し、第４象限に位置するのであれば上動作と認識することができる。
【００９２】
ここで、本実施形態において求める相関係数ｒは、ジェスチャ動作が垂直方向と水平方向の何れであるのかを判断するための評価値である。つまり、動きの検出により得られたセンサ信号Ｓ１，Ｓ２が同位相であるか、逆位相であるのかを評価するための評価値である。
また、重心位置Ｇ（gx,gy）は、水平方向のジェスチャ動作として左動作と右動作の何れであるのかを判断し、垂直方向のジェスチャ動作として上動作とした動作との何れであるのかを判断するための評価値である。つまり、センサ信号Ｓ１，Ｓ２自体の極性（波形パターン）を評価するためのものとしてみることができる。
【００９３】
上記のようなセンサ信号Ｓ１，Ｓ２間の位相差、また、センサ信号Ｓ１，Ｓ２自体の極性を評価・判断する手法として一般に考え得るもとしては、次のようなものを考えることができる。
つまり、センサ信号Ｓ１，Ｓ２について、先ず、センサ信号Ｓ１，Ｓ２の振幅の最大値、最小値を求める。そして、求めた２つの最大値、最小値の時間差について閾値以内であるか否かを判断する。この閾値は、例えば、ジェスチャ動作に応じて一般的、平均的に得られるセンサ信号Ｓ１，Ｓ２の振幅値を基にして設定する。そして、センサ信号Ｓ１，Ｓ２の間でのピーク値の時間差により同位相であるか逆位相であるかを判断しようとするものである。また、センサ信号Ｓ１，Ｓ２の最大値、最小値についての時間的な出現順を判断することで、信号の極性を判断することもできる。
【００９４】
しかし、図８の一次元センサ４０−１，４０−２の配置では、図６の場合と比較すれば、非常に安定したセンサ信号Ｓ１，Ｓ２を得ることはできる。しかし、ジェスチャ動作は、現実には人であるユーザが手の動きにより行うものであるので、移動速度もまちまちであり、検出軸に対する手の動きのぶれも生じる。このような不確定要素の影響で、センサ信号Ｓ１，Ｓ２は、振幅、位相に或る程度の変動を生じる。このような変動要素があるのにもかかわらず、センサ信号Ｓ１，Ｓ２の間でのピーク値の時間差を評価値として、これを固定的な閾値と比較しても、信頼性の高い判定結果を得ることは難しい。
【００９５】
これに対して、本実施形態のようにして、まずは、センサ信号Ｓ１，Ｓ２について正規化処理を行って位相平面写像化を行い、そのうえで、相関係数ｒと重心位置Ｇの座標を求めることとしている。これらの相関係数ｒ、重心位置Ｇは、センサ信号Ｓ１，Ｓ２間の位相差、極性についての評価値として、例えば上記のピークの時間差などと比較して、より高い忠実度を持っている。つまり、本実施形態としては、これまでより高い精度で、上下左右のジェスチャ動作についての認識結果を得ることが可能になる。
【００９６】
［６−４．左右回転動作判定］
また、本実施形態では、位相平面写像化処理により形成される信号軌跡に基づき、対象物が円周形上の移動軌跡を描くようにして動く回転動作についても認識可能である。これに基づき、本実施形態では、図１にて説明したように、ジェスチャ操作として、上下左右の動作に加えて、右回転動作、左回転動作も含めることとしたものである。
そこで、続いては、本実施形態における回転動作の認識手法について説明する。
【００９７】
図１４（ａ）は右回転動作としてのジェスチャ動作を３回連続して行ったことに応じて出力されたセンサ信号Ｓ１，Ｓ２の波形例を示している。
この図に示されるセンサ信号Ｓ１，Ｓ２は、１回の回転動作ごとに得られる波形としては、何れもＭ字状のピークの絶対値が正極側となる極性とされたうえで、センサ信号Ｓ１に対してセンサ信号Ｓ２のほうの位相が進むものとなる。
【００９８】
上記図１４（ａ）のセンサ信号Ｓ１，Ｓ２を正規化して位相平面写像化処理を行った結果は、図１４（ｂ）に示される。
上下左右のジェスチャ動作の場合、センサ信号Ｓ１，Ｓ２は、同相（０°）若しくは逆相（１８０°）とみることのできる位相差の関係であったが、回転動作の場合には、図１４（ａ）にも示されるように、センサ信号Ｓ１，Ｓ２には、１８０°よりも小さい位相差が生じる。このために、相関係数ｒの絶対値としては、上下左右のジェスチャ動作の場合よりも小さい値となる。つまり、信号軌跡の形状としてみた場合には、図１４（ｂ）のようにして、上下左右のジェスチャ動作の場合よりも円形状に近くなる。つまり、楕円形としてみれば、長径と短径の比率が１に近くなる。
従って、ジェスチャ動作が、回転動作であるのかどうかについての判定として、最も簡単な手法としては、相関係数ｒの絶対値について、回転動作に応じて得られるとされる程度に一定以下に小さい値であるか否かを判断すればよいことになる。
【００９９】
そのうえで、ここでは、位相平面写像化処理により、センサ信号Ｓ１，Ｓ２の時間経過に従ってサンプル値をプロットしていったときの、位相平面上での信号軌跡の回転方向について着目する。すると、図１４（ｂ）の信号軌跡の全体としては、矢印Ａｒとして示すように、右方向（時計回り方向）に回転していくようにして軌跡を形成していくものとしてみることができる。
この信号軌跡の回転方向は、センサ信号Ｓ１，Ｓ２の位相差により決まる。つまり、図１４（ａ）では、センサ信号Ｓ２に対してセンサ信号Ｓ１のほうの位相が進んでいるが、これに応じては、信号軌跡の回転方向は右方向となる。
【０１００】
一方、図１５（ａ）は、右回転動作としてのジェスチャ動作を３回連続して行ったことに応じて出力されたセンサ信号Ｓ１，Ｓ２の波形例を示している。
この図のセンサ信号Ｓ１，Ｓ２は、１回の回転動作ごとに得られる波形としては、何れもＭ字状のピークの絶対値が負極側となる極性とされている。そのうえで、センサ信号Ｓ１に対してセンサ信号Ｓ２のほうの位相が遅れたものとなる。つまり、センサ信号Ｓ１，Ｓ２の位相差の関係としては、図１４（ａ）の場合と逆になっている。
【０１０１】
これに応じて、上記図１５（ａ）のセンサ信号Ｓ１，Ｓ２を正規化して位相平面写像化処理を行った場合の信号軌跡は、図１５（ｂ）の矢印Ａｒに示すようにして、全体としては左回り（反時計回り方向）となる。
【０１０２】
このことからすると、例えば相関係数ｒが一定以下であることにより、回転に沿ったジェスチャ動作であると認識した場合において、さらに、その回転方向(プロット回転方向)が右回転動作と左回転動作の何れであるのかを判断するためには、次のようなアルゴリズムとすればよいことになる。
つまり、形成された信号軌跡の回転方向が全体傾向として右回りと左回りの何れの方向であるのかを求める。そして、求められた信号軌跡の回転方向が右回りであれば、ジェスチャ動作は右回転動作であると判定し、信号軌跡の回転方向が左回りであれば、ジェスチャ動作は左回転動作であると判定するものとすればよい。
【０１０３】
このためには、信号処理として、信号軌跡が右回りと左回りの何れであるのかを判定する必要がある。
そこで、本実施形態においては、信号軌跡を形成する座標ごとの外積を算出する。ここで、ｘ軸とｙ軸から成る２次元平面における外積は、これら２つの軸に直交するｚ軸方向成分（ｚ成分）のみを持ち、ｘ方向成分及びｙ方向成分は０となる。この外積のｚ成分の総和の符号が正・負の何れであるのかにより、信号軌跡の回転方向についての全体傾向を求めることができる。
【０１０４】
ここで、信号軌跡の回転方向と外積との関係について、図１６に示す。
先ず、図１６（ａ）には、
ｉ番目の正規化センサ信号NOM_S1，NOM_S2のサンプルにより位相平面にプロットされた座標O(xi,yi,0)、
i+1番目の正規化センサ信号NOM_S1，NOM_S2のサンプルにより位相平面にプロットされた座標A(xi+1,yi+1,0)
i-1番目の正規化センサ信号NOM_S1，NOM_S2のサンプルにより位相平面にプロットされた座標B(xi-1,yi-1,0)
が示されている。
そのうえで、これらの座標の二次元平面上における位置関係は、座標O(xi,yi,0)の左側に座標A(xi+1,yi+1,0)が位置し、右側に座標B(xi-1,yi-1)が位置している状態が示されている。
ここで、座標O(xi,yi,0)を始点とする座標A(xi+1,yi+1,0)までの方向及び距離をベクトルａにより表し、座標O(xi,yi,0)を始点とする座標B(xi-1,yi-1,0)までの方向及び距離をベクトルｂにより表したとする。すると、これらベクトルａ、ｂの外積を求めると、このときのｚ成分の値としては、正の値を取るものになる。なお、ベクトルａ、ｂの外積の絶対値については、１６（ａ）により示される、ベクトルａ、ｂに対応する線分を隣り合う辺として形成される平行四辺形の面積Ｓを表すものとなる。
また、図１６（ｂ）には、図１６（ａ）における座標O(xi,yi,0)、A(xi+1,yi+1,0)、B(xi-1,yi-1,0)について、座標A(xi+1,yi+1,0)、B(xi-1,yi-1,0)の位置が入れ替わっている場合を示している。この場合において求められるベクトルａ、ｂの外積の絶対値については、図１６（ａ）と同じになる。つまり、平行四辺形の面積Ｓを表すものとなる。ただし、ｚ成分の符号については負の値となる。
【０１０５】
本実施形態としては、上記図１６に従ってセンサ信号Ｓ１，Ｓ２のサンプルタイミングごとの外積を算出し、さらに求められた外積の総和を算出する。この外積の総和値ｐは、下記のようにして求めることができる。
【数３】
そして、求められた外積のｚ成分の総和値ｐの符号について正・負の何れであるのかにより、信号軌跡の回転方向の全体傾向を判定する。つまり、ジェスチャ動作が左回転動作と右回転動作の何れであるのかについて認識する。
図１６に従った場合、外積のｚ成分の総和値ｐの符号が正であれば、信号軌跡の回転方向の全体傾向は左回りであると判定される。つまり、ジェスチャ動作として左回転動作であると判定する。また、外積のｚ成分の総和値ｐの符号が負であれば、信号軌跡の回転方向の全体傾向は右回りであると判定される。つまり、ジェスチャ動作として右回転動作であると判定する。
【０１０６】
＜７．ジェスチャ動作判定のためのアルゴリズム＞
これまでに説明した本実施形態のジェスチャ動作判定を実現するためのアルゴリズム例について説明する。
先ず、図１７は、本実施形態の写真立て型表示装置１がジェスチャ判定部１８の構成例を、ブロック構成により示している。このジェスチャ判定部１８は、図２に示しているように、制御部１１がプログラムを実行することにより実現される。この図においては、ジェスチャ判定部１８とともに、一次元センサ４０−１、４０−２から成るセンサ部５も示している。
【０１０７】
一次元センサ４０−１から出力されるセンサ信号Ｓ１は、ジェスチャ動作判定部１８において、第１センサ信号記録部３１及びジェスチャ検出部３３が入力する。また、一次元センサ４０−２から出力されるセンサ信号Ｓ２は、ジェスチャ動作判定部１８において、第２センサ信号記録部３２及びジェスチャ検出部３３が入力する。
なお、ここでは図示していないが、ジェスチャ動作判定部１８に入力される段階のセンサ信号Ｓ１，Ｓ２は、所定のサンプリング周波数と量子化ビット数によりサンプリングされたデジタル信号に変換されたものとなっている。
【０１０８】
ジェスチャ検出部３３は、入力されるセンサ信号Ｓ１，Ｓ２に基づいて、ジェスチャ動作期間を検出するための部位である。なお、このジェスチャ検出部３３の処理については、図１９のフローチャートにより後述する。ジェスチャ検出部３３は、検出したジェスチャ動作の開始／終了を、第１センサ信号記録部３１、第２センサ信号記録部３２に通知する。
【０１０９】
第１センサ信号記録部３１、第２センサ信号記録部３２は、ジェスチャ検出部３３により通知されたジェスチャ動作期間において、それぞれ、センサ信号Ｓ１，Ｓ２を取り込んで、サンプルタイミングごとにデータを記録する。
【０１１０】
第１センサ信号記録部３１により記録されたセンサ信号Ｓ１のサンプルデータは、第１正規化処理部３４に対して出力される。
第１正規化処理部３４は、図１１にて説明したように、センサ信号Ｓ１を対象として正規化処理を実行して、−１〜＋１の範囲で正規化した正規化センサ信号NOM_S1のサンプルデータ群を得る。
同様に、第２正規化処理部３５も、第２センサ信号記録部３２により記録されたセンサ信号Ｓ２のサンプルデータを取り込んで正規化処理を実行して、−１〜＋１の範囲で正規化した正規化センサ信号NOM_S2のサンプルデータ群を得る。
上記正規化センサ信号NOM_S1，NOM_S2のサンプルデータ群は、位相平面写像化処理部３６に対して渡される。
【０１１１】
位相平面写像化処理部３６は、入力された正規化センサ信号NOM_S1，NOM_S2のサンプルデータ群を用いて、図１１にて説明したようにして位相平面上にプロットした信号軌跡のデータを求め、評価項目算出部３７に渡す。ここでは、信号軌跡のデータは、サンプル番号ｉごとに対応させて位相平面にプロットした座標(xi,yi)の値（正規化センサ信号NOM_S1，NOM_S2のサンプル値の組）となる。
【０１１２】
評価項目算出部３７は、相関係数算出部３７ａ、重心算出部３７ｂ、回転方向算出部３７ｃを備える。
相関係数算出部３７ａは、受け取った信号軌跡のデータ（正規化センサ信号NOM_S1，NOM_S2のサンプルタイミングごとのデータ）を利用して、先に(数１)により説明した演算により、信号軌跡のデータ相関係数ｒを算出する処理を実行する。
重心算出部３７ｂは、信号軌跡のデータを利用して、例えば先に(数２)により説明した演算により重心の座標Ｇ（gx,gy）を算出する。
回転方向算出部３７ｃは、先に図１６、(数３)により説明したようにして、信号軌跡のサンプルごとに求めた外積のｚ成分の総和値ｐを求める。
【０１１３】
動作判定部２８は、上記評価項目算出部３７により得られる相関係数ｒ、重心座標Ｇ（gx,gy）、外積のｚ成分の総和値ｐを適宜利用して、ジェスチャ動作として、左動作、右動作、上動作、下動作、左回転動作、右回転動作の何れであるのかを判定する処理を実行し、その判定結果を出力する。
なお、制御部１１は、このジェスチャ判定部１８により出力されるジェスチャ動作の判定結果を操作コマンドとして処理することで、先に例としてあげた写真立て型表示装置１としてのしかるべき動作が得られるように制御を実行する。
【０１１４】
図１８は、上記図１７に示されるジェスチャ動作判定部１８が実行する処理の手順例をフローチャートとして示している。
この図においては、先ずステップＳ１０１により、ジェスチャ動作期間を検出してセンサ信号を記録する処理を実行する。この図に示す処理は、ジェスチャ検出部３３，第１センサ信号記録部３１，第２センサ信号記録部３２が実行する。
【０１１５】
ステップＳ１０１としての処理手順例を図１９のフローチャートに示す。
図１９のステップＳ２０１においては、先ず、ジェスチャ検出部３３がセンサ信号Ｓ１，Ｓ２を入力して閾値と比較する。ここでの閾値は、一次元センサ４０−１においてジェスチャ動作の可能性のある動きを検出したときに得られるセンサ信号の振幅に基づいて定めることができる。また、ここでは一次元センサ４０−１、４０−２から入力したセンサ信号Ｓ１，Ｓ２をそのまま閾値と比較することとしているが、この段階において、正規化したセンサ信号Ｓ１，Ｓ２を求める（NOM_S1,NOM_S2と同じで良い）ようにして、この正規化されたセンサ信号Ｓ１，Ｓ２の値と閾値とを比較するように構成してもよい。
【０１１６】
ステップＳ２０１においては、センサ信号Ｓ１，Ｓ２のレベル値(サンプル値)の少なくともいずれか一方が閾値以上となるのを待機することになる。そして、ステップＳ２０１において肯定の判別結果が得られると、ステップＳ２０２以降の手順に進む。例えば先の図１７の説明との対応では、ジェスチャ検出部３３は、ステップＳ２０１において肯定の判別結果が得られたことに応じて、第１センサ信号記録部３１、第２センサ信号記録部３２に対してジェスチャ動作の開始を通知する。
【０１１７】
ステップＳ２０２においては、第１センサ信号記録部３１、第２センサ信号記録部３２により、センサ信号Ｓ１，Ｓ２のサンプルデータの記録を開始する。つまり、ジェスチャ検出部３３によるジェスチャ動作開始の通知に応じて、センサ信号Ｓ１，Ｓ２の記録を開始する。
【０１１８】
この場合のジェスチャ検出部３３は、上記ステップＳ２０１にて肯定の判別結果が得られたことを以て、ジェスチャ動作の開始タイミングを検出するものとみることができる。ジェスチャ検出部３３は、この後において、ジェスチャ動作の終了タイミングを検出すべきことになる。ここでは、センサ信号Ｓ１，Ｓ２の少なくともいずれか一方が閾値以上である状態からセンサ信号Ｓ１，Ｓ２の双方が閾値未満に遷移し、この閾値未満の状態が一定時間経過した時点を、ジェスチャ動作の終了タイミングとして検出する。ステップＳ２０３以降は、ジェスチャ動作の終了タイミングを検出するための処理となる。
【０１１９】
ステップＳ２０３は、ジェスチャ検出部３３が実行する。ステップＳ２０１にて肯定の判別結果が得られたことに対応しては、センサ信号Ｓ１，Ｓ２の少なくともいずれか一方が閾値以上の状態にある。この後に実行されるステップＳ２０３において、ジェスチャ検出部３３は、現在のセンサ信号Ｓ１，Ｓ２について、両者が閾値未満の状態であるか否かについて判別する。
【０１２０】
ステップＳ２０３において否定の判別結果が得られた場合には、ステップＳ２０４により、タイマが起動中であるか否かについて判別する。このタイマは、次に説明するステップＳ２０７によりリセット・スタートされるもので、センサ信号Ｓ１，Ｓ２が閾値未満となった時点からジェスチャ動作の終了時点としてみなされるまでの時間をカウントする。ステップＳ２０３においてタイマが起動中でないとして否定の判別結果が得られれば、そのままステップＳ２０３に戻る。タイマが起動中であれば、ステップＳ２０５によりタイマを停止させてからステップＳ２０３に戻る。
【０１２１】
ステップＳ２０３において肯定の判別結果が得られた場合には、先ず、ステップＳ２０６により、現在タイマが起動中であるか否かについて判別する。タイマが起動していなければ、ステップＳ２０７により、タイマのカウント値をリセットしたうえで、カウントを開始させ、ステップＳ２０３に戻る。
これに対してステップＳ２０６によりタイマが起動中であるとして肯定の判別結果が得られたのであれば、ステップＳ２０８に進む。
【０１２２】
ステップＳ２０８においては、現在のタイマのカウント値に基づきタイマ時間が経過したか否かについて判別する。タイマ時間を経過していないとして否定の判別結果が得られた場合には、そのままステップＳ２０３に戻る。これに対して、タイマ時間を経過したとして肯定の判別結果が得られた場合には、ステップＳ２０９に進み、タイマのカウントを停止させる。なお、ステップＳ２０８によりタイマ時間が経過したとの判別結果を得ることが、ジェスチャ検出部３３によりジェスチャ動作期間が終了したことを通知する処理に相当する。
【０１２３】
ステップＳ２１０において第２センサ信号記録部３１，第２センサ信号記録部３２は、ジェスチャ動作期間の終了に応じて、これまでのセンサ信号Ｓ１，Ｓ２のサンプルデータの記録を終了させる。
【０１２４】
図１８において、上記ステップＳ１０１としての処理を実行した後は、ステップＳ１０２の処理を実行することになる。ステップＳ１０２においては、第１正規化処理部３４、第２正規化処理部３５が、それぞれ、第１センサ信号記録部３１、第２センサ信号記録部３２により記録されたセンサ信号Ｓ１，Ｓ２のサンプルデータについての正規化処理を実行する。
【０１２５】
正規化処理は、先にも図１１により説明したが、その処理手順例を、図２０のフローチャートとして示した。ここでは、フローチャートのステップの流れとして、先ず、センサ信号Ｓ１について正規化処理を実行し、次に、センサ信号Ｓ２について正規化処理を実行するように構成している。
【０１２６】
先ず、ステップＳ３０１においては、センサ信号Ｓ１，Ｓ２を一般化したセンサ信号Ｓｍに対応させた変数となるｍについて、１を代入する。
次に、ステップＳ３０２により、センサ信号Ｓｍのサンプルデータにおける最大値Ｓｍmaxを取得する。この最大値Ｓｍmaxは、図１１（ａ）により説明したセンサ信号Ｓ１若しくはセンサ信号Ｓ２のいずれかの最大値Vp1,Vp2（絶対値）に対応する。
【０１２７】
ステップＳ３０３においては、センサ信号Ｓｍのサンプルデータについての番号を示す変数ｉについて、１を初期値として代入する。
【０１２８】
次のステップＳ３０４においては、センサ信号Ｓｍにおけるｉ番目のサンプルデータを正規化する。
このための処理としては、例えば、センサ信号におけるｉ番目のサンプルデータの正規化値をNOM_Sm_i、センサ信号Ｓｍにおけるｉ番目のサンプルデータをSm_iとして、
NOM_Sm_i= Sm_i/SmMAX・・・（式１）
により表される演算を実行する。つまり、先に述べたようにして、センサ信号のサンプルデータの値を、同じセンサ信号Smの最大値（絶対値）により除算する。
【０１２９】
ステップＳ３０５においては、変数ｉについて最大値であるか否かについて判別する。この最大値は、ジェスチャ動作期間に対応して記録されたセンサ信号Ｓ１，Ｓ２の各サンプル数Ｎに対応する。
ここで否定の判別結果が得られた場合には、未だ、正規化値を取得していないサンプルが残っていることになる。そこで、ステップＳ３０６により変数ｉをインクリメントしてステップＳ３０４に戻る。これにより、順次、サンプルデータについて正規化値が得られることになる。
【０１３０】
そして、センサ信号Ｓｍについて最後のサンプルデータまで正規化処理が終了したとされると、ステップＳ３０５にて肯定の判別結果が得られることとなって、ステップＳ３０７に進む。ステップＳ３０７においては、変数ｍについて最大値であるか否かについて判別する。これまでの説明との対応では、センサ信号はＳ１，Ｓ２の２つであるから、変数ｍの最大値は２となる。
ステップＳ３０７において否定の判別結果が得られた場合には、未だ正規化処理を行っていないセンサ信号が残っていることになる。そこで、この場合にはステップＳ３０８により変数ｍについてインクリメントしてステップＳ３０２に戻る。これにより、これまでとは別のセンサ信号を対象として正規化処理が開始される。
そして、例えばセンサ信号Ｓ１，Ｓ２について正規化処理が完了したとされると、ステップＳ３０７において肯定の判別結果が得られることになり、ステップＳ１０２としてのセンサ信号正規化処理が終了されることになる。
なお、センサ信号S1,S2ごとに、サンプルデータの正規化値NOM_Sm_iを、時系列に従ったサンプル順で配列させた構造のものが、先に述べた正規化センサ信号NOM_S1、正規化センサ信号NOM_S2であるとしてみることができる。
【０１３１】
また、上記図２０の処理では、先にも述べたように、センサ信号Ｓ１，Ｓ２を対象にして正規化処理を行う手順として、先ず、センサ信号Ｓ１について処理を行い、これに続けてセンサ信号Ｓ２の処理を行うアルゴリズムとなる。しかし、実際においては、例えば図１７に示したブロック構成にそのまま対応するようにして、センサ信号Ｓ１，Ｓ２の正規化処理が併行した処理としてほぼ同時に実行されるようなアルゴリズムとしてもよい。
【０１３２】
説明を図１８に戻す。
上記ステップＳ１０２としての正規化処理を実行した後は、ステップＳ１０３として、位相平面写像化処理部３６が、ステップＳ１０２により得られたセンサ信号Ｓ１，Ｓ２の正規化値（正規化センサ信号NOM_S1、正規化センサ信号NOM_S2）のデータを利用して、位相平面写像化処理を実行する。これにより、位相平面写像化処理部３６は、信号軌跡のデータを取得する。
【０１３３】
ステップＳ１０４においては、評価項目算出部３７における相関係数算出部３７ａが、上記信号軌跡のデータを利用して相関係数ｒを算出する。
【０１３４】
次のステップＳ１０５においては、動作判定部３８により、今回検出されたジェスチャ動作について、水平方向のジェスチャ動作、垂直方向のジェスチャ動作、回転動作のうちの何れであるのかについて推定する処理となる。
ステップＳ１０５において動作判定部３８は、上記ステップＳ１０４にて算出された相関係数ｒを取り込む。そして、この相関係数ｒが、ｒ>0.5、ｒ<-0.5、-0.5≦r≦0.5のどの範囲に属するのかについて判別する。
【０１３５】
先に述べたように、水平方向と垂直方向との間での判定に関しては、原則的に、相関係数ｒが正の値のときに水平方向のジェスチャ動作、負の値のときに垂直方向のジェスチャ動作であると判断する。
但し、判定すべきジェスチャ動作として、回転動作を加える場合には、一定値を定めることとして、相関係数ｒの絶対値が一定値以下であれば回転動作として判定し、相関係数ｒの絶対値が一定値以上であれば水平／垂直方向のジェスチャ動作であると判定する。
【０１３６】
上記ステップＳ１０５において相関係数ｒと比較する閾値である+0.5，-0.5は、水平・垂直方向のジェスチャ動作であるか、回転動作であるかを判定するための上記一定値に相当する。なお、この+0.5，-0.5による閾値としての具体値はあくまでも一例であり、実際との兼ね合いなどで適宜変更されるべきものである。また、正の閾値と負の閾値とで互いに異なる値が設定されても良い。
【０１３７】
この場合には、相関係数ｒ>0.5の場合に水平方向のジェスチャ動作であると判定することになる。そこで、ステップＳ１０５において相関係数ｒ>0.5であると判別した場合に、動作判定部３８は、先ずステップＳ１０６により水平方向のジェスチャ動作であるとの認識結果を出力するものとする。次に、この認識結果に応じた処理として、続くステップＳ１０７以降の手順を実行することで、さらにジェスチャ動作が右動作と左動作の何れであるのかを判定する処理を実行する。
【０１３８】
ステップＳ１０７において動作判定部３８は、重心算出部３７ｂにより、信号軌跡についての重心Ｇ（gx,gy）を算出させる。次に、動作判定部３８は、ステップＳ１０８により、ステップＳ１０７にて算出された重心Ｇを取り込み、この重心Ｇ（gx,gy）の座標が存在する象限を判定する。
【０１３９】
ステップＳ１０８において、動作判定部３８は、第１象限であると判別した場合には、右動作であるとの判定結果を出力する。また、第３象限であると判別した場合には、左動作であるとの判別結果を出力する。
【０１４０】
また、ステップＳ１０８において、第１象限及び第３象限以外の象限（第２象限、第４象限）であると判別した場合として、ここでは、ステップＳ１２２に進み、有意なジェスチャ動作は行われなかったものとの判定結果を出力させることとしている。
なお、例えば予め定めた規則、演算などに従って、第２象限、第４象限に位置する重心Ｇが、第１象限、第３象限のうちで適切とされるほうの象限に位置させるように修正する処理を実行したうえで、その結果に応じて、右動作若しくは左動作の判定結果を出力するというアルゴリズムとすることも考えられる。
【０１４１】
また、ステップＳ１０５にて、相関係数ｒ<-0.5であると判別した場合には、動作判定部３８は、ステップＳ１１１に示すように、先ず、垂直方向のジェスチャ動作であるとの認識結果を出力する。そのうえで、この認識結果に応じた処理として、ステップＳ１１２以降の手順を実行することで、さらにジェスチャ動作が上動作と下動作の何れであるのかを判定する処理を実行する。
【０１４２】
ステップＳ１１２において動作判定部３８は、重心算出部３７ｂにより信号軌跡についての重心Ｇ（gx,gy）を算出させ、次のステップＳ１１３により、重心Ｇ（gx,gy）の座標が存在する象限を判定する。
【０１４３】
ステップＳ１１３において動作判定部３８は、第２象限であると判別した場合には、下動作であるとの判定結果を出力する。また、第４象限であると判別した場合には、上動作であるとの判定結果を出力する。
また、第２象限及び第４象限以外の象限（第１象限、第３象限）であると判別した場合には、ステップＳ１２２により、有意なジェスチャ動作は行われなかったものとして判定する。なお、この場合にも、水平方向のジェスチャ動作判定における場合と同じく、重心Ｇを、第２象限若しくは第４象限のいずれかに位置するものとなるようにして修正し、下動作・上動作の判定結果を出力するようにしてよい。
【０１４４】
また、ステップＳ１０５において相関係数ｒについて-0.5≦r≦0.5であると判別された場合には、先ず、ステップＳ１１６による判別処理を実行する。ステップＳ１１６においては、センサ信号の記録サンプル数Ｎについて、予め設定した閾値以上であるか否かについて判別する。
【０１４５】
先に述べてきたように、前提として、相関係数ｒについて-0.5≦r≦0.5の場合には回転動作であるとして判定してよい。
ただし、実際においては、回転動作以外の動きを検出したときにも、相関係数ｒの絶対値が一定以下となる可能性がある。例えば、例えば直線的な動きではあるが、水平方向若しくは垂直方向に対して相当にずれた角度で対象物を移動させたような動きの場合には、直交する検出軸の間でクロストークが生じて相関係数ｒの絶対値は小さくなる。この結果、相関係数ｒの絶対値が一定以下となる可能性がある。
【０１４６】
ステップＳ１１６の処理は、上記したことを考慮して、相関係数ｒについて-0.5≦r≦0.5であると判別された場合において、検出された動きについて、回転動作としてのジェスチャ動作であるのか、他の動きであるのかを弁別しようとするものである。
ここで、センサ信号の記録サンプル数Ｎは、ジェスチャ検出部３３が検出したジェスチャ動作期間に対応して第１センサ信号記録部３１、第２センサ信号記録部３２のそれぞれが記録したサンプルデータ数を指す。つまり、記録サンプル数Ｎは、ジェスチャ検出部３３が検出したジェスチャ動作期間であり、これは動きが継続して検出された時間長を示している。
【０１４７】
水平・垂直方向のジェスチャ動作は直線的な動きであるので、ジェスチャ動作期間として検出される時間は短い。これに対して、回転動作は、その動きの軌跡が円弧を描くことになるので、相応に長いものとなる。つまり、回転動作としてのジェスチャ動作期間は、相応に長い時間を要するといえる。
そこで、ステップＳ１１６に対応しては、回転動作を行ったときに得られるジェスチャ動作期間としての一般的、平均的な時間長に対応して得られるサンプル数に基づいて閾値を設定することとした。そして、ステップＳ１１６の処理として、記録サンプル数Ｎが閾値以上であると判別すれば、ステップＳ１１７により回転動作であるとの判定結果を得る。これに対して、記録サンプル数Ｎが閾値未満であるとして否定の判別結果を得たのであれば、ステップＳ１２２に進み、有意な動作は無かったものとの判定結果を出力する。
【０１４８】
ステップＳ１１８において動作判定部３８は、信号軌跡の回転方向を算出する。つまり、先の（数３）による演算を実行して、信号軌跡の外積のｚ成分の総和値ｐを求める。この外積のｚ成分の総和値ｐの正／負が回転方向を示していることになる。
【０１４９】
ステップＳ１１９において動作判定部３８は、上記ステップＳ１１８により求められた外積総和値ｐに基づき、信号軌跡の回転方向の全体傾向を判別する。つまり、外積のｚ成分の総和値ｐが正の値であれば、信号軌跡の回転方向の全体傾向は左回りであると判別し、外積のｚ成分の総和値ｐが負の値であれば、信号軌跡の回転方向の全体傾向は右回りであると判別する。
【０１５０】
動作判定部３８は、ステップＳ１１９により右回りであると判別した場合、ステップＳ１２０により、右回転動作であるとの判定結果を出力する。また、左回りであると判別した場合、動作判定部３８は、ステップＳ１２１により、左回転動作であるとの判定結果を出力する。
【０１５１】
＜８．位相平面写像化処理の変形例＞
先に図１１により説明した位相平面写像化処理では、位相平面上に対して、同じサンプルタイミングの正規化センサ信号NOM_S1，正規化センサ信号NOM_S2の値により座標をプロットするものとしていた。つまり、正規化センサ信号NOM_S1，正規化センサ信号NOM_S2についての、Ｎ個の記録サンプルにおるｉ番目のサンプル値を、xi,yiとして、位相平面に対して、順次、座標（xi,yi） （1≦i≦N）をプロットしていく。この場合、プロットする座標の座標値としては、正規化センサ信号NOM_S1，正規化センサ信号NOM_S2の値をそのまま用いているものである。
【０１５２】
これに対して、位相平面写像化処理の変形例では、位相平面上にプロットするためのｘ座標、ｙ座標の値として、それぞれ、元の正規化センサ信号NOM_S1,NOM_S2のサンプル値をべき乗して得られる値を用いることとする。この場合において、べき乗の指数nについては、３以上の奇数を用いる。
つまり、正規化センサ信号NOM_S1，正規化センサ信号NOM_S2についての、Ｎ個の記録サンプルにおるｉ番目のサンプル値を、xi,yiとして、正規化処理としては、座標（xi^n,yi^n）:（1≦i≦N、nは３以上の奇数）をプロットしていくものである。
【０１５３】
先ず、正規化センサ信号NOM_S1，正規化センサ信号NOM_S2をべき乗すると、絶対値の小さな値ほどより小さい値に変換されることになる。このことは、絶対値が大きくなるほど高い重み付けが与えられる、ということになる。すると、位相平面上に形成される信号軌跡としては、座標（xi,yi）をプロットしていった場合よりも、その包括的な形状の傾向が強調される結果になる。例えば、水平・垂直方向のジェスチャ動作に対応しては、その包括的形状は前述のように楕円Ｅとしてみることができるが、この楕円形状としては、より先鋭化されて、長径と短径の比がより大きなものとなっていく。
ただし、べき乗の指数nについて偶数を用いてしまうと、元のサンプル値xi,yiが負の数の場合には、べき乗した値が正に反転してしまう。そこで、べき乗の指数nについて奇数を用いることとして、元のサンプル値xi,yiの正・負の符号が反転することなく残るようにしている。
【０１５４】
このようにして、座標（xi^n,yi^n）により位相平面写像化を行って形成される信号軌跡は、その全体形状が強調されて、先鋭化されるものとなり得る。そして、このようにして形成された信号軌跡を利用して求められる相関係数ｒとしては、例えば水平・垂直方向のジェスチャ動作に対応しては、より極端な一定以上の絶対値が得られることになる。また、回転動作に対応しては、より極端な一定以下の値が得られることになる。つまり、ジェスチャ動作として，水平方向、垂直方向、また、回転方向の何れに応じたものであるのかについての判定精度を高くすることができる。
【０１５５】
また、座標（xi^n,yi^n）により形成される信号軌跡に基づいて重心Ｇの座標を求めた場合にも、この求められた座標としては、検出されたジェスチャ動作に応じてしかるべき象限内に位置するがより原点から遠くなって明確なものとすることができる。つまり、水平方向のジェスチャ動作に関しては、右動作と左動作についての判定精度が向上する。また、垂直方向のジェスチャ動作に関しても、上動作と下動作についての判定精度を向上させることが可能になる。
【０１５６】
なお、座標（xi^n,yi^n）により形成される信号軌跡に基づいて重心Ｇの座標（xg,xy）は、例えば下記の演算により求めることができる。
【数４】
【０１５７】
＜９．一次センサの配置態様についての変形例＞
また、本実施形態として、センサ部５を成す一次元センサ４０−１、４０−２において、一次元の動きを検出する２対の赤外線検出素子５１Ａ−１，５１Ｂ−１、赤外線検出素子５１Ａ−２，５１Ｂ−２の配置態様は、図８に示したものに限定されない。つまり認識・判定すべき二軸の直線的ジェスチャ動作の各移動方向に対して、例えば検出軸に４５°の角度を与えることで、上記二軸の直線的ジェスチャ動作の何れについても、対の赤外線検出素子５１Ａ−１，５１Ｂ−１、及び赤外線検出素子５１Ａ−２，５１Ｂ−２が、時間差をもって動きに応じた信号Ｓａ，Ｓｂを出力できるようになっていればよい。
【０１５８】
そこで、一次センサの配置態様の変形例として、図２１，図２２により、赤外線検出素子５１Ａ−１，５１Ｂ−１、赤外線検出素子５１Ａ−２，５１Ｂ−２についての他の配置態様例を示しておくこととする。
【０１５９】
図２１に示す変形例においては、例として、赤外線検出素子５１Ａ−１，５１Ｂ−１、赤外線検出素子５１Ａ−２，５１Ｂ−２を、センサ部５としての１つの部品・デバイスに実装した例を示している。例えば、図８に示した一次元センサ４０−１、４０−２のようにして、一対の赤外線検出素子５１Ａ，５１Ｂを備えるものは、汎用の焦電センサ部品などとして提供されることが多い。しかし、本実施形態のようにして、直交する２軸の直線的なジェスチャ動作を検出することを前提にする場合には、２対の赤外線検出素子５１Ａ−１，５１Ｂ−１、赤外線検出素子５１Ａ−２，５１Ｂ−２を備えた１つの焦電センサ部品として構成してもよいことになる。
【０１６０】
そして、図２１（ａ）における配置としては、先ず、赤外線検出素子５１Ａ−１，５１Ｂ−１に対応する検出軸Ｌ１、赤外線検出素子５１Ａ−２，５１Ｂ−２に対応する検出軸Ｌ２については、水平／垂直方向に対して、図８（ａ）と同じ角度関係としている。そのうえで、図示する態様により、検出軸Ｌ１を通過する位置に赤外線検出素子５１Ａ−１，５１Ｂ−１を配置し、検出軸Ｌ２を通過する位置に赤外線検出素子５１Ａ−２，５１Ｂ−２を配置したものである。
【０１６１】
上記図２１（ａ）による赤外線検出素子５１Ａ−１，５１Ｂ−１、赤外線検出素子５１Ａ−２，５１Ｂ−２の配置に応じて形成される空間検出領域６０Ａ−１，６０Ｂ−１、空間検出領域６０Ａ−２，６０Ｂ−２は、図２１（ｂ）に示すものとなる。
【０１６２】
次に、図２２の変形例について説明する。
この場合には、図２２（ａ）に示すように、検出軸Ｌ１は、一定距離を隔てた２つの平行な検出軸Ｌ１ａ，Ｌ１ｂに分割して設定している。また、これら検出軸Ｌ１ａ，Ｌ１ｂは、水平／垂直方向に対して図８の検出軸Ｌ１と同じ角度を設定している。この場合には、検出軸Ｌ１ａのほうが下側で、検出軸Ｌ１ｂのほうが上側となる位置関係としている。
同様にして、検出軸Ｌ２も、水平／垂直方向に対して図８の検出軸Ｌ２と同じ角度を設定したうえで、一定距離を隔てた２つの平行な検出軸Ｌ２ａ，Ｌ２ｂに分割して設定している。また、この場合には、検出軸Ｌ２ｂのほうが下側で、検出軸Ｌ２ａのほうが上側となる位置関係としている。
【０１６３】
そのうえで、検出軸Ｌ１ａ上に対しては、赤外線検出素子５１Ａ−１を配置し、検出軸Ｌ１ｂ上には、赤外線検出素子５１Ｂ−１を配置する。また、検出軸Ｌ２ａ上に対しては、赤外線検出素子５１Ａ−２を配置し、検出軸Ｌ２ｂ上には、赤外線検出素子５１Ｂ−２を配置する。
なお、上記赤外線検出素子５１Ａ−１，５１Ｂ−１、赤外線検出素子５１Ａ−２，５１Ｂ−２の配置に応じて形成される空間検出領域６０Ａ−１，６０Ｂ−１、空間検出領域６０Ａ−２，６０Ｂ−２は、図２２（ｂ）に示すものとなる。
【０１６４】
上記図２１，図２２の何れの配置態様によっても、図８と同様に、一方の対となる赤外線検出素子５１Ａ−１，５１Ｂ−１は、水平／垂直の何れの方向の動きについても、時間差をもって動きを検出することができる。
また、他方の対となる赤外線検出素子５１Ａ−２，５１Ｂ−２も、水平／垂直の何れの方向の動きについても、時間差をもって動きを検出できる。
また、赤外線検出素子５１Ａ−１，５１Ｂ−１、赤外線検出素子５１Ａ−２，５１Ｂ−２が水平／垂直方向の直線的動きを検出する順序も、図８と同様になっている。
【０１６５】
なお、先の説明では、図１７のジェスチャ動作判定部１８は、制御部１１としてのＣＰＵがプログラムを実行することにより実現されるソフトウェア処理であることとした。しかし、例えばジェスチャ動作判定部１８としての信号処理を、ＤＳＰ（Dgital Signal Processor）により構成してもよい。つまり、ＤＳＰについて、ジェスチャ動作判定部１８としての信号処理を実行するためのプログラム、インストラクションを記憶させて構成する。
また、ジェスチャ動作判定部１８としての信号処理をハードウェアにより構成することも考えられる。
【０１６６】
また、制御部１１としてのＣＰＵが実行するプログラムは、例えばフラッシュメモリであるとかＲＯＭに対して書き込んで記憶させるほか、リムーバブルの記憶媒体に記憶させておいたうえで、この記憶媒体からインストール(アップデートも含む）させるようにしてフラッシュメモリなどに記憶させることが考えられる。また、所定のデータインターフェースを経由させるなどして、他のホストとなる機器からの制御によってプログラムのインストールを行えるようにすることも考えられる。さらに、ネットワーク上のサーバなどにおける記憶装置に記憶させておいたうえで、例えばジェスチャ認識を実行する装置ネットワーク機能を持たせることとし、サーバからダウンロードして取得してインストールできるように構成することも考えられる。
【０１６７】
また、これまでの説明においては、一次元センサ４０−１、４０−２の検出軸Ｌ１，Ｌ２について、水平／垂直方向に対して４５°の角度を与えている。これは、本実施形態において定めた二軸の直交する直線的ジェスチャ動作が、左右動作に対応する水平方向(第2の方向)と、上下動作に対応する垂直方向(第２の方向)としていることによる。
例えば、逆に二軸の直交する直線的ジェスチャ動作を、それぞれ水平／垂直方向に対して４５°となる方向に沿ったものとして定めたとすれば、検出軸Ｌ１，Ｌ２のそれぞれが水平／垂直方向に一致するようにして一次元センサ４０−１、４０−２を配置させることになる。
【０１６８】
また、実施形態では、最もあり得る態様として、二軸の直線的ジェスチャ動作について相互に直交させる方向であるものとして定めているが、必ずしも、直交させる必要はない。つまり、直線的ジェスチャ動作の各軸が交差する角度が９０°以外であってもよい。
本実施形態では、直線的ジェスチャ動作の各軸が交差する角度について、９０°以外の角度であっても、対の検出素子において必要な検出時間差が得られていれば、それぞれの軸方向のジェスチャ動作を適正に認識可能である。
【０１６９】
なお、これまでにおいては、一次元センサ４０として、デュアル型焦電センサを採用した場合を例に挙げた。しかし、一次元センサとして採用し得るセンサ方式には、焦電効果を利用する以外の方式も挙げることができる。一次元センサとしては、これらの方式に基づいて構成したものを採用してよい。
【０１７０】
また、これまでにおいては、本実施形態のジェスチャ認識・判定のための構成を写真立て型表示装置に適用しているが、これはあくまでも一例である。本実施形態のジェスチャ認識の構成は、他の各種の装置にも多様に適用できる。
【符号の説明】
【０１７１】
１ 写真立て型表示装置、２ 本体部、３ 表示画面部、４ スタンド、５ センサ部、１１ 制御部、１２ ディスプレイデバイス、１３ フラッシュメモリ、１４ ＳＤＲＡＭ、１５ 時計部、１６ 操作部、１７ メモリカードインターフェース、１８ ジェスチャ動作判定部、２０ メモリカード、３１ 第１センサ信号記録部、３２ 第２センサ信号記録部、３３ ジェスチャ検出部、３４ 第１正規化処理部、３５ 第２正規化処理部、３６ 位相平面写像化処理部、３７ 評価項目算出部、３７ａ 相関係数算出部、３７ｂ 重心算出部、３７ｃ 回転方向算出部、３８ 動作判定部、４０ 一次元センサ、４１ 集光器、４２ 焦電センサ部、４３ アンプ・フィルタ、５１Ａ（５１Ａ−１・５１Ａ−２）・５１Ｂ（５１Ｂ−１・５１Ｂ−２） 赤外線検出素子、６０Ａ−１・６０Ａ−２・６０Ｂ−１・６０Ｂ−２ 空間検出領域
【技術分野】
【０００１】
本発明は、例えば人の手などの動きなどの動作（ジェスチャ）について認識する動作認識装置とその方法、及び動作認識装置が実行するプログラムに関する。
【背景技術】
【０００２】
人が行う動作（ジェスチャ）を認識する動作認識（ジェスチャ認識）の技術・手法としては、次のようなものが知られている。
１つには、撮像装置によりジェスチャを行っている被写体を撮像して得られる画像信号について動き解析の画像信号処理を行うことで、ジェスチャ認識を行おうというものが知られている。
また、１つには、加速度センサなどを実装したリモートコントロール装置を提供し、例えばユーザがこのリモートコントロール装置を持つなどして行った動きに応じて得られる加速度センサの検出信号に基づいてジェスチャ認識を行おうとするものである。
また、例えば人体が発する赤外線を検出する赤外線検出素子を利用して人の動きを検知しようとする技術も知られている。
上記のジェスチャ認識の結果は、例えば、電子機器の操作コマンドに適用できる。つまり、ユーザが特定のジェスチャとしての動きをすることにより、電子機器を遠隔操作することが可能になる。
【０００３】
例えば上記したジェスチャ認識手法のうち、赤外線検出素子を利用したものは、撮像画像信号について動き解析のための画像信号処理を行う手法と比べれば、撮像装置が不要であり、処理の負荷が大きい画像信号処理も実行しなくてよい。また、ジェスチャを行う際には、例えばユーザの手などの身体部分自体を使用すればよく、加速度センサを実装したリモートコントロール装置などは必要無い。
【０００４】
例えば、特許文献１には、赤外線検出素子の１種であるデュアル素子型の焦電センサにより同一方向の動きを連続入力できるように、移動方向を決定した信号の入力から所定時間以内に、その信号と同極性の信号を検出したとき、移動方向と同一方向とする構成が記載されている。
また、特許文献２には、焦電センサを用いたうえで、人体と小動物との弁別が行えるようにした侵入検知システムの構成が記載されている。
また、特許文献３には、テレビジョン受像器において上下左右の十字状に４つの赤外線検出素子を配置し、これらの赤外線検出素子により得られる検出信号の時間差に基づいて、ユーザの左右方向に沿った手の動きによるジェスチャに応じてはチャンネルの切り替えを行い、上下方向に沿った手の動きによるジェスチャに応じては音量の調節を行うようにした構成が記載されている。
また、特許文献４には、赤外線検出素子の検出信号について、所定周波数以上の信号のみを通過させるフィルタ部を用いることで、人体の特定部位の特定方向の早い動きのみを認識可能とした構成が記載されている。
また、特許文献５には、それぞれ２つの人体検知エリアを有する焦電型赤外線センサを２つ用いて、一軸方向における人体移動方向判別を行う構成が記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平０５-８１５０３号公報
【特許文献２】特開２００８−１６０１５号公報
【特許文献３】特開平７−３８９７１号公報
【特許文献４】特開平１１―２５９２０６号公報
【特許文献５】特開２００６−２７７６２６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本願発明としては、例えばデュアル型の焦電センサに代表される、一軸方向(一次元)の動きを検出可能な一次元センサを用いることとしたうえで、これまでよりも高い信頼性のジェスチャ認識結果が得られるようにすることを、その課題とする。
【課題を解決するための手段】
【０００７】
そこで本発明は上記した課題を解決する手段として、動作認識装置について次のように構成する。
つまり、１つの検出軸に沿った一次元方向の対象物の動作に応じた動きを検出して、その検出した動きに応じた信号を出力するもので、上記検出軸が、認識対象として定められた直線的な対象物の動作の方向である第１の方向及び第２の方向に対して異なるようにして配置される、第１，第２の一次元センサ手段と、上記第１，第２の一次元センサ手段から出力される第１、第２の信号のそれぞれについて、その振幅値を、ピーク値との比により表される値に変換するようにして正規化する処理を実行する正規化処理手段と、同じ時間ごとの上記正規化された第１の信号の値に基づくｘ座標値と、上記正規化された第２の信号の値に基づくｙ座標値とにより、位相平面上に対して座標をプロットするようにして、上記第１，第２の時系列に応じた信号軌跡を形成する、位相平面写像化処理手段と、上記信号軌跡を形成する座標値を利用して、第１，第２の信号についての相関係数を求める相関係数算出手段と、少なくとも上記相関係数の値が正／負の何れであるのかに基づいて、検出された動きが、上記第１の方向の動作であるか、上記第２の方向の動作であるのかを判定する動作判定手段とを備えることとした。
【０００８】
上記構成では、第１，第２の一次元センサ手段を、検出軸が、予め定められた直線的な対象物の動作の方向である第１の方向及び第２の方向に対して異なるようにして配置することとしている。これにより、第１，第２の一次元センサ手段はともに、第１の方向と第２の方向の何れの動作が行われたとしても、この動きを良好に検出して信号を出力することができる。
そのうえで、第１，第２の一次元センサ手段からの信号については、正規化を行った上で、位相平面上に写像することで信号軌跡を形成し、さらに、信号軌跡についての相関係数を求める。
上記信号軌跡の形状は、第１，第２の一次元センサ手段から出力される信号の位相、極性が反映されている。このために、信号軌跡から求められる相関係数の正／負は、検出した動きが第１の方向の動きと第２の方向の動きの何れであるかに対応する。従って、相関係数に基づいて第１の方向の動きと第２の方向の動きとを弁別するようにして判定できる。
【発明の効果】
【０００９】
このようにして、本発明は、少なくとも、第１の方向と第２の方向とのそれぞれ異なる二軸の方向による動作について、これまでよりも高い精度で判定することが可能になる。
【図面の簡単な説明】
【００１０】
【図１】本実施形態の写真立て型表示装置の外観例と、この写真立て型表示装置に対するジェスチャ操作として定めたジェスチャ動作の例を示す図である。
【図２】写真立て型表示装置の構成例を示すブロック図である。
【図３】一次元センサの構成例を示すブロック図である。
【図４】一次元センサとしてのデュアル型焦電センサの構造例を示す図である。
【図５】デュアル型焦電センサによる動作検出の原理を説明するための波形図である。
【図６】水平／垂直による二軸方向のジェスチャ動作を検出するのに考え得る一次元センサの配置態様を示す図である。
【図７】図６に示す配置態様のもとで得られるセンサ信号の例を示す波形図である。
【図８】本実施形態としての一次元センサの配置態様例を示す図である。
【図９】本実施形態の一次元センサの配置態様のもとで得られるセンサ信号を示す波形図である。
【図１０】本実施形態の一次元センサの配置態様のもとで得られる、左動作、右動作、上動作、下動作ごとに応じたセンサ信号を示す波形図である。
【図１１】センサ信号の正規化処理、位相平面写像化処理を説明するための図である。
【図１２】右動作、左動作に対応して得られるセンサ信号と、位相平面上の信号軌跡の例を示す図である。
【図１３】下動作、上動作に対応して得られるセンサ信号と、位相平面上の信号軌跡の例を示す図である。
【図１４】右回転に対応して得られるセンサ信号と、位相平面上の信号軌跡の例を示す図である。
【図１５】左回転に対応して得られるセンサ信号と、位相平面上の信号軌跡の例を示す図である。
【図１６】ベクトルの外積を説明するための図である。
【図１７】ジェスチャ動作判定部の構成例を示すブロック図である。
【図１８】ジェスチャ動作判定部が実行する処理手順例を示すフローチャートである。
【図１９】ジェスチャ動作期間検出と，これに応じたサンプル記録のための処理手順例を示すフローチャートである。
【図２０】正規化処理を示すフローチャートである。
【図２１】実施形態としての一次センサ（赤外線検出素子）の配置態様についての変形例を示す図である。
【図２２】実施形態としての一次センサ（赤外線検出素子）の配置態様についての変形例を示す図である。
【発明を実施するための形態】
【００１１】
以下、本願発明を実施するための形態（以下、実施形態という）について、下記の順により説明する。
＜１．実施形態におけるジェスチャ操作の態様例＞
＜２．写真立て型表示装置の構成例＞
＜３．一次センサによる移動方向の検出原理＞
＜４．考え得る一次センサの配置態様例＞
＜５．実施形態としての一次センサの配置態様例＞
＜６．ジェスチャ動作判定のための信号処理構成＞
［６−１．正規化処理、位相平面写像化処理］
［６−２．水平・垂直方向のジェスチャ動作判定］
［６−３．左右動作方向判定、上下動作方向判定］
［６−４．左右回転動作判定］
＜７．ジェスチャ動作判定のためのアルゴリズム＞
＜８．位相平面写像化処理の変形例＞
＜９．一次センサの配置態様についての変形例＞
【００１２】
＜１．実施形態におけるジェスチャ操作の態様例＞
本実施形態においては、本願発明のジェスチャ認識装置を、写真立て型表示装置に適用する。本実施形態の写真立て型表示装置は、ユーザが行ったジェスチャ操作としての所定の手の動き・動作（ジェスチャ動作）を認識すると、これを操作コマンドとして受け付け、しかるべき応答動作を実行する。
【００１３】
図１は、本実施形態の写真立て型表示装置の外観例を斜視図により示すとともに、この写真立て型表示装置に対してユーザが行うジェスチャ操作の態様例を示している。
【００１４】
この図に示される写真立て型表示装置１は、所定寸法の幅、高さ、奥行きによる、正面が長方形となる外形形状を有している。
この場合の写真立て型表示装置１は、例えば幅が２０cm〜２５ｃｍ前後、高さが１５ｃｍ前後の外形サイズであり、卓上などに置いておくのに適するものとなっている。
【００１５】
本体部２の正面部には、画像が表示される表示画面部３が設けられている。
上記表示画面部３は、写真立て型表示装置１に採用されたディスプレイデバイスにおける画像パネル部分となる。
【００１６】
また、スタンド４は、写真立て型表示装置１の本体部２を、実際の写真立てのようにして立てられた状態に保つために、本体部２の背面側に取り付けられる部品である。
【００１７】
また、この場合には、本体部２の前面における枠の下側中央部において、センサ部５の窓部分が設けられている。このセンサ部５は、後述するようにして、２組の一次元センサから成る。これら一次元センサが備える検出素子（赤外線検出素子）は、その空間検出領域が写真立て型表示装置１の前方に形成されるようにされたうえで、後述する所定の位置関係により配置されている。
【００１８】
本実施形態においては、ユーザが行うべきジェスチャ操作は、手を動かすことにより行うものとする。ユーザは、写真立て型表示装置１の前面側において、自身の手が上記センサ部５の空間検出領域に入るようにしたうえで、ジェスチャ操作として手を動かすようにする。
【００１９】
本実施形態でのジェスチャ操作として定められる手の動き(ジェスチャ動作)については、先ず、基本として下記の４つの動作であるものとする。
１：手を右から左に向かって直線的に移動させる左動作。
２：手を左から右に向かって直線的に移動させる右動作。
３：手を下から上に向かって直線的に移動させる上動作。
４：手を上から下に向かって直線的に移動させる下動作。
そのうえで、本実施形態では、上記４つの基本のジェスチャ動作を認識する構成を適用して、さらに、下記の２つの動作も、ジェスチャ動作として定めることができる。
５：手を左回り（反時計回り）に円周状に回しながら移動させる左回転動作。
６：手を右回り（時計回り）に円周状に回しながら移動させる右回転動作。
【００２０】
本実施形態の写真立て型表示装置１は、センサ部５のセンサ信号に基づいて、上記６つのうちのジェスチャ動作のうちの何れが行われたのかを認識する。そして、認識したジェスチャ動作に割与えられた操作コマンドに応じた動作を実行する。
【００２１】
ここで、上記６つのジェスチャ動作ごとの操作コマンドの割り当て例について挙げておく。なお、下記の割り当て方は、あくまでも一例であり、他の適用例は多様に考えられる。
先ず、左動作／右動作のそれぞれは、写真立て型表示装置１において表示させている画像の送り／戻しの操作コマンドとして割り当てる。
また、本実施形態の写真立て型表示装置１は、メモリに記憶されている画像を一定時間ごとに順次表示させていくスライドショー表示が可能とされている。上動作／下動作のそれぞれは、このスライドショー表示の開始／停止のための操作コマンドとして割り当てる。
また、本実施形態の写真立て型表示装置１は、例えば写真画像の表示のほか、時計、カレンダーなどを表示させることが可能であり、操作に応じて、これらの表示を切り換えることが可能である。左回転動作／右回転動作は、このような表示切り換えを、所定の送り順、戻し順により切り換えていくための操作コマンドとして割り当てる。
【００２２】
＜２．写真立て型表示装置の構成例＞
図２は、本実施形態に適用できる写真立て型表示装置１の内部構成例を示している。
この図に示すように、本実施形態の写真立て型表示装置１は制御部(ＣＰＵ：Central Processing Unit)１１、ディスプレイデバイス１２、フラッシュメモリ１３、ＳＤＲＡＭ１４、時計部１５、操作部１６、メモリカードインターフェース１７、及びセンサ部５を備えて成るものとしている。
【００２３】
制御部１１は、例えばＣＰＵとしてのハードウェアを備えている。制御部１１としてのＣＰＵは、フラッシュメモリ１３に記憶されているプログラムを読み出して例えばＳＤＲＡＭ１４に展開したうえで、この読み出したプログラムを実行する。これにより、写真立て型表示装置１としての必要な動作が適宜得られる。
ここでのＳＤＲＡＭ１４は、制御部１１の主記憶装置となるもので、補助記憶装置がフラッシュメモリ１３となる。
【００２４】
この場合のフラッシュメモリ１３は、写真立て型表示装置１において固定的に内蔵されている。フラッシュメモリ１３は、上記プログラムのほかに、メモリカード２０から読み出されて転送された画像データを記憶する。
【００２５】
ディスプレイデバイス１２は、ディスプレイパネルと、これを駆動する駆動回路部を有し、制御部１１の画像表示制御に応じて駆動回路が表示駆動のための動作を実行することで、ディスプレイパネルに画像を表示させる。このディスプレイパネルとしての画像が表示される部位が、本体部２の前面部において表出する表示画面部３となる。
本実施形態ではディスプレイデバイス１２として液晶ディスプレイを採用するものとするが、例えば有機ＥＬディスプレイデバイスなどをはじめ、他のディスプレイデバイスが採用されてよい。
【００２６】
時計部１５は、現在時刻を計時するための部位である。ここでは、時計部１５は、現在時刻として、年月日及び時分秒を計時できるものとする。制御部１１は、時計部１５において計時されている現在時刻を読み出して取得することができる。
【００２７】
この場合の操作部１６は、写真立て型表示装置１に備えられる操作子をまとめて示している。操作部１６を形成する操作子に対して操作が行われると、この操作に応じた操作コマンド信号が制御部１１に出力される。制御部１１は、入力される操作信号に応答して、適宜、必要な制御・処理を実行する。
また、写真立て型表示装置１に対する操作をリモートコントローラにより行えるようにされている場合には、この操作部１６には、写真立て型表示装置１とは別体のリモートコントローラと、写真立て型表示装置１側に設けられて、リモートコントローラから送信されたコマンド信号を受信復調して、操作信号として制御部１１に渡す受信部も含まれることになる。
【００２８】
なお、本実施形態の写真立て型表示装置１は、ジェスチャ操作に応答してしかるべき動作を実行するようにされてはいるが、しかるべき操作子などとしての操作部１６の構成を備える。例えば写真立て型表示装置１に対する操作が多様である場合、ジェスチャ操作では対応できない操作もあることになるが、操作部１６を備えることで、これらの操作に対応できる。また、センサ部５などのジェスチャ操作に対応する機能が故障するなどした場合にも、操作部１６に対する操作により同等の操作が可能である。
【００２９】
メモリインターフェース１７は、外部記憶装置であるメモリカード２０が装填される部位を備え、制御部１１の制御に応じて、装填されたメモリカード２０に対するデータのアクセスとして、少なくともデータの読み出しが可能なように構成される部位である。メモリカード２０から読み出したデータは、制御部１１に転送される。
【００３０】
上記構成による写真立て型表示装置１の基本的な利用態様例と、これに応じた写真立て型表示装置１の表示動作について説明する。
ユーザは、例えばデジタルスチルカメラなどで撮影した画像データが保存されているメモリカード２０を、写真立て型表示装置１に対して装填し、画像表示のための操作を行う。
この操作に応じては、制御部１１は、メモリインターフェース１７を介して、メモリカード２０に記憶されている画像データを読み出し、ディスプレイデバイス１２にて画像として表示させるための制御を実行する。
これにより、写真立て型表示装置１の表示画面部３において、ユーザが装填したメモリカード２０に保存されている画像データの画像が表示されることになる。
【００３１】
また、メモリカード２０から読み出した画像データをフラッシュメモリ１３に取り込むようにして保存し、このフラッシュメモリ１３に保存された画像データを表示させることも可能とされている。
この場合には、先ず、ユーザは、写真立て型表示装置１に対してメモリカード２０を装填して、ここに記憶されている画像データを、メモリカード２０に対して転送して記憶させるための操作を実行する。このときには、例えばメモリカード２０に記憶されている画像データのうちから、メモリカード２０に記憶させる画像データを選択する操作が行えるようにされている。
この操作に応じて、制御部１１は、メモリカード２０から選択された画像データを順次読み出し、メモリインターフェース１７を介してフラッシュメモリ１３に対して書き込み命令を実行するとともに、データを転送する。この命令に応じて、フラッシュメモリ１３は、転送されてきた画像データを書き込んで、ファイル単位で管理されるようにして保存させる。なお、フラッシュメモリ１３においてファイル単位で管理される画像データは、静止画像データとされ、ここではＪＰＥＧ（Joint Photographic Expert Group）形式による画像ファイルとして管理されるものとする。また、フラッシュメモリ１３は、ファイルシステムとして、あくまでも一例であるがＦＡＴを採用しているものとする。
【００３２】
この後、ユーザにより、フラッシュメモリ１３に記憶されている画像を表示させるための操作が行われたことに応じては、制御部１１は、フラッシュメモリ１３に記憶されている画像データファイルのうちから必要な画像データファイルを読み出す。制御部１１は、これをディスプレイデバイス１２により画像として再生表示するための制御を実行する。
【００３３】
なお、本実施形態の写真立て型表示装置１は、次のような態様による画像データの再生表示が可能とされている。
先ず、フラッシュメモリ１３若しくはメモリカード２０に記憶されている画像データのうちから選択した１つの画像データのみを継続して表示させる、１枚表示を行うことができる。
また、フラッシュメモリ１３若しくはメモリカード２０に記憶されている画像データのうちから選択した複数の画像を、一定時間ごとに変更させていくようにして順次表示していく、スライドショーといわれる表示を行うことができる。また、このスライドショー表示においては、一定時間ごとに１枚ずつ表示させていくことも可能であるし、一定時間ごとに複数枚ずつを表示させていくことも可能である。
さらに、本実施形態の写真立て型表示装置１は、現在時刻を示す時計、またカレンダーなどを表示することも可能とされているが、これらの時計、カレンダーなどとともに、フラッシュメモリ１３若しくはメモリカード２０に記憶されている画像データを同時に再生表示することも可能である。
また、フラッシュメモリ１３若しくはメモリカード２０に記憶されている画像データのサムネイル画像を一覧して表示させることも可能とされている。
【００３４】
なお、例えば図２に示した構成において、ＵＳＢなどをはじめとしたデータインターフェースを備え、このようなデータインターフェースを介して画像データを読み込めるようにしてもよい。このような構成の変更、追加は適宜おこなわれてよく、写真立て型表示装置１の内部構成としては、図２に示した構成に限定されるものではない。
【００３５】
＜３．一次センサによる移動方向の検出原理＞
本実施形態は、センサ部５として、一次元、即ち一軸方向の動きを検出可能なセンサである一次元センサを採用する。
一次元センサとしてはいつくかの方式が知られているが、本実施形態では、２つの赤外線検出素子を備える、いわゆるデュアル型焦電センサを採用する。焦電センサ自体は周知のようにして、焦電効果を応用した赤外線検出を行うことにより、背景温度と対象物（赤外線放射物体）との温度差に応じた信号を出力するセンサである。
【００３６】
上記のようにして、焦電センサを利用した一次センサとしてのデバイスの構成例を図３に示す。
図３に示す一次センサ４０は、集光器４１、焦電センサ部４２、アンプ・フィルタ４３を有して成るものとされる。
集光器４１は、例えばフレネルレンズなどから成り、入射光を焦電センサ部４２における２つの赤外線検出素子に対して分離して集光させるように形成されている。
デュアル型焦電センサ部４２は、一次元に対応する一軸の検出軸に対応させて配置させた２つの赤外線検出素子を備える。
これら２つの赤外線検出素子のそれぞれは、それぞれの配置位置に対応する空間検出領域における対象物と、背景との温度差を検出し、検出される温度差に応じた信号を出力する。焦電センサ部４２では、これら２つの赤外線検出素子からの信号を合成して検出信号として出力する。この検出信号が、一軸方向における移動方向を示している。
アンプ・フィルタ４３は、上記検出信号について、例えばノイズ成分除去などのための所定以上の周波数成分のみを通過させるフィルタリング処理、また増幅などを行ってセンサ信号として出力する。
【００３７】
図４により、焦電センサ４２による動作方向の検出原理について説明する。
このデュアル型の焦電センサ４２は、図示するようにして、２つの赤外線検出素子５１Ａ，５１Ｂを備えている。これら赤外線検出素子５１Ａ，５１Ｂは、図示するようにして、トランジスタＴｒのゲート端子と、焦電センサ４２の外部ゲート端子Ｇとの間において、直列に接続されるようにして挿入される。ここで、赤外線検出素子５１Ａ，５１Ｂは、その負極同士が直列に接続される。つまり、赤外線検出素子５１Ａ，５１Ｂは、互いに反転した極性により直列接続されている。赤外線検出素子５１Ａの正極はトランジスタのゲート端子に接続され、赤外線検出素子５１Ｂの正極は、外部ゲート端子Ｇに接続される。
また、赤外線検出素子５１Ａ，５１Ｂの直列接続に対しては、並列に抵抗Ｒ１が接続される。また、外部ゲート端子ＧとドレインＤとの間にはゲート−ソース間抵抗Vdが挿入される。
【００３８】
図４により、焦電センサ４２による移動方向の検出原理について説明する。
このデュアル型の焦電センサ４２は、図４（ａ）に示すようにして、２つの赤外線検出素子５１Ａ，５１Ｂを備えている。これら赤外線検出素子５１Ａ，５１Ｂは、物理的には図４（ｂ）により後述する位置関係により配置されたうえで、集光器４１を介して集光された赤外線が入射されるようになっている。
また、これら赤外線検出素子５１Ａ，５１Ｂは、図示するようにして、トランジスタＴｒのゲート端子と、焦電センサ４２の外部ゲート端子Ｇとの間において、直列に接続されるようにして挿入される。ここで、赤外線検出素子５１Ａ，５１Ｂは、その負極同士が直列に接続される。つまり、赤外線検出素子５１Ａ，５１Ｂは、逆極性により直列接続されている。赤外線検出素子５１Ａの正極はトランジスタＴｒのゲート端子に接続され、赤外線検出素子５１Ｂの正極は、外部ゲート端子Ｇに接続される。
また、赤外線検出素子５１Ａ，５１Ｂの直列接続に対しては、抵抗Ｒ１が並列に接続される。また、外部ゲート端子Ｇとドレイン端子Ｄとの間にはゲート−ソース間抵抗Ｒ2が挿入される。
焦電センサ４２の検出信号は、ソース端子Ｓとゲート端子Ｇとの間のゲート-ソース間電圧Ｖｄとして得られる。
【００３９】
一次元センサ４０としてのデバイスにおいては、赤外線検出素子５１Ａ，５１Ｂが、集光器４１を介して外部光を受光可能なように配置される。図４（ｂ）は、一次元センサ４０における赤外線検出素子５１Ａ，５１Ｂの物理的な配置態様を模式的に示している。この図においては、上側に赤外線検出素子５１Ａが位置し，その下側において、或る一定の間隔を有して赤外線検出素子５１Ａが配置されている。この配置に対応しては、縦（垂直方向）に沿って赤外線検出素子５１Ａ，５１Ｂを通過する一点鎖線に対応する方向が、焦電センサ部４２の検出軸Ｌとなる。つまり、図４（ｂ）の紙面対応した赤外線検出素子５１Ａ，５１Ｂの配置方向では、縦（垂直）に沿った移動方向についいて上方向への移動と、下方向への移動の何れであるのかが検出されることになる。なお、図４（ｂ）と図４（ａ）の直線的な動作方向１、２を対応させれば、動作方向１が上方向への移動で、動作方向２が下方向への移動であることになる。
また、動作方向１，２は、互いに逆方向の動きとなるので、動作方向１を正方向とすれば、動作方向２は逆方向となる関係である。
【００４０】
ここで、図４（ａ）において動作方向１による直線的な対象物の動きが生じたとする。これに応じては、先ず、その動きに応じた背景と対象物との温度差の変化が、先ず移動開始位置に近い方の赤外線検出素子５１Ａにて検出され、次に時間差をもって、赤外線検出素子５１Ｂにて検出されることになる。
なお、赤外線検出素子は、厳密には、上記のようにして、検出軸Ｌに沿った対象物の移動に応じては、その動きに応じた背景と対象物の温度差の変化を検出するが、説明の記載を簡単にするために、以降においては、「動きに応じた背景と対象物の温度差の変化の検出」を、赤外線検出素子による「動きの検出」であるとして記載することとする。
【００４１】
図５（ａ）は、上記の動作方向１の動きに応じて出力される赤外線検出素子５１Ａ、５１Ｂの各信号Ｓａ，Ｓｂと、焦電センサ部４２の検出信号Vdを示している。
この場合の赤外線検出素子５１Ａの信号Ｓａは、動きの検出を開始したことに応じて、時点ｔ０において正レベルの正弦波が立ち上がり、時点ｔ２にて０の振幅となって動きの検出が終了したことが示されている。
これに対して、赤外線検出素子５１Ｂは赤外線検出素子５１Ａよりも遅れて動きの検出を開始することになる。図４（ａ）においては、信号Ｓｂは、時点ｔ１にて検出を開始したものとしている。これにより、時点ｔ１において、負のレベルによる正弦波が発生する状態として示されている。そして、時点ｔ３において動きの検出が終了して０レベルとなっている。
図４（ａ）により説明したように、赤外線検出素子５１Ａと赤外線検出素子５１Ｂとは逆極性で接続されている。このために、動きを検出して得られる信号Ｓａ，Ｓｂの波形については互いに反転したものとなっている。
【００４２】
検出信号Vdとしては、図４（ａ）の回路からも理解されるように、信号Ｓａ，Ｓｂを合成したものとなる。
つまり、図５（ａ）に示される検出信号Vdは、先ず、時点ｔ０〜時点ｔ１において、信号Ｓａと同じ正レベルの半周期分の正弦波となる。また、時点ｔ１〜時点ｔ２において、信号Ｓａと信号Ｓｂを合成したことで、時点ｔ０〜時点ｔ１に対して絶対値がほぼ倍となった負のレベルの半周期分の正弦波となる。そして、時点ｔ２〜時点ｔ３において、信号Ｓｂと同じ正レベルの半周期分の正弦波が現れるものとなる。
【００４３】
これに対して、図４（ａ）において動作方向２による直線的な対象物の動きが生じた場合には、先ず、その動きの検出が赤外線検出素子５１Ｂにより開始され、次に、赤外線検出素子５１Ａにて開始される。
このときの赤外線検出素子５１Ａ，５１Ｂの各信号Ｓａ，Ｓｂと、検出信号Vdとを、図５（ｂ）に示す。
図５（ｂ）において、信号Ｓａは、時点ｔ１から正レベルの正弦波が立ち上がるものとなっている。信号Ｓｂは、時点ｔ０において負レベルの正弦波が開始されるものとなっている。
そして、検出信号Vdは、先ず、時点ｔ０〜時点ｔ１において、信号Ｓｂと同じ負レベルの半周期分の正弦波となる。また、時点ｔ１〜時点ｔ２において、信号Ｓａと信号Ｓｂを合成したことで、時点ｔ０〜時点ｔ１に対して絶対値がほぼ倍となった正のレベルの半周期分の正弦波となる。そして、時点ｔ２〜時点ｔ３において、信号Ｓａと同じ負レベルの半周期分の正弦波が現れるものとなる。
【００４４】
ここで、図５（ａ）の検出信号Vdと、図５（ｂ）の検出信号Vdとを比較してみると、その波形パターンは互いに反転したものとなるようにして異なっている。つまり、検出信号Vdの波形パターンにより、検出軸Ｌに沿った移動方向が示されていることになる。
【００４５】
＜４．考え得る一次センサの配置態様例＞
ここで、本実施形態としては、図１により説明したように、ジェスチャ動作として、左動作、右動作、上動作、下動作、また、右回転動作、左回転動作を認識するものとしている。
ここでは説明を簡単で分かりやすいものとするために、より単純に、上記６つのジェスチャ動作のうち、左動作、右動作、上動作、下動作の４つの動作を検出可能とすることを考えてみる。
【００４６】
この場合において、一次元センサとして、上記図３〜図５により説明したデュアル型焦電センサによるものを採用することとした場合について考察してみる。すると、左動作／右動作による水平方向のジェスチャ動作と、上動作／下動作による垂直方向のジェスチャ動作を検出可能とする必要があることになる。即ち、互いに異なる二軸の動作方向を検出すべき必要がある。
このため、一次元センサの検出軸としては、水平（横）方向に対応する検出軸と、垂直（縦）方向に対応する検出軸との２つが必要であり、従って、一次元センサとしても２つが必要であることになる。
【００４７】
上記した２つの一次元センサの配置として単純に考え得る態様を図６に示す。
図６（ａ）には、２つの一次元センサ４０−１、４０−２が示されている。一次元センサ４０−１の検出軸はＬ１であり、一次元センサ４０−２の検出軸はＬ２である。
一次元センサ４０−１については、その検出軸Ｌ１が、垂直（縦）方向と一致する向きにより配置する。これに対して、一次元センサ４０−２については、その検出軸Ｌ２が、水平（横）方向と一致する向きにより配置する。つまり、一次元センサ４０−１，４０−２について、互いの検出軸が直交する位置関係により配置する。
なお、ここでは、一次元センサ４０−１の下に一次元センサ４０−２を配置している。
【００４８】
図６（ｂ）は、図６（ａ）に示した一次元センサ４０−１、４０−２の配置に応じて形成される空間検出領域の例を示している。１つの空間検出領域は、対応する１つの赤外線検出素子５１により対象物の動きを検出可能な空間領域をいう。また、空間検出領域は、模式的には、対応する１つの赤外線検出素子５１の外形枠を、空間に対して検出有効距離まで拡大投射したときの枠の軌跡により形成される限定された空間となる。
【００４９】
先ず、一次元センサ４０−１側に関しては、上側に位置する赤外線検出素子５１Ａ−１に対応して空間検出領域６０Ａ−１が形成され、下側に位置する赤外線検出素子５１Ｂ−１に対応して空間検出領域６０Ｂ−１が形成される。
これらの空間検出領域６０Ａ−１、６０Ｂ−１は、対応する赤外線検出素子５１Ａ−１，５１Ｂ−１の形状と配置角度に応じて、水平方向に長い長方形の断面となる空間を形成している。また、位置関係としては、対応する赤外線検出素子５１Ａ−１，５１Ｂ−１の配置位置関係に応じて、空間検出領域６０Ａ−１のほうが上で、空間検出領域６０Ｂ−１が下となる位置関係となっている。
【００５０】
また、一次元センサ４０−２側に関しては、上側に位置する赤外線検出素子５１Ａ−２に対応して空間検出領域６０Ａ−２が形成され、下側に位置する赤外線検出素子５１Ｂ−２に対応して空間検出領域６０Ｂ−２が形成される。
これらの空間検出領域６０Ａ−２、６０Ｂ−２は、対応する赤外線検出素子５１Ａ−２，５１Ｂ−２の形状と配置角度に応じて、水平方向が長辺となる長方形の断面による空間を形成している。また、位置関係としては、対応する赤外線検出素子５１Ａ−２，５１Ｂ−２の配置位置関係に応じて、空間検出領域６０Ａ−２のほうが左で、空間検出領域６０Ｂ−２が右となる位置関係となっている。
【００５１】
上記した一次元センサ４０−１、４０−２の配置であれば、先に説明した一次元センサの検出原理に基づく限りは、上下左右の各ジェスチャ動作を検出可能であることになる。
一例として右動作が行われたとする場合には、一次元センサ４０−２側においては、先ず、右動作を行っているユーザの手（対象物）が、空間検出領域６０Ａ−２を通過し、次に空間検出領域６０Ａ−１を通過する。これに応じて、図５に示したように、赤外線検出素子５１Ａ−２，５１Ｂ−２においては、時間差を有して動きを検出して信号Ｓａ，Ｓｂを出力し、有意の検出信号Ｖｄを出力する。この検出信号Vdにより、対象物が右方向に移動したことが示されていることになる。
これに対して、垂直方向を検出軸とする一次元センサ４０−１側においては、空間検出領域６０Ａ−１、６０Ａ−２を同時に対象物が通過する。このときに赤外線検出素子５１Ａ−１，５１Ｂ−１から出力される信号Ｓａ，Ｓｂは、例えば図５からも分かるように、互いに逆相となる。従って、検出信号Vdとしては、０レベルとなる。つまり、上下方向に沿った移動は無いことを示す。
【００５２】
また、上下のジェスチャ動作が行われた場合に関しても、上記の説明から自明なように、原理的には、一次元センサ４０−１の検出信号Vdにより、対象物が上若しくは下方向に移動したことが示されることになる。一方、一次元センサ４０−２の検出信号Vdによっては、左右方向の動きは無いことが示される。
【００５３】
しかし、本願発明者は、図６に示した一次元センサの配置によっては、現実には、上下左右のジェスチャ動作を認識することが非常に困難であることを確認した。
図７（ａ）（ｂ）（ｃ）のそれぞれは、本願発明者の実験結果として、図６に示した一次元センサ４０−１、４０−２の配置のもとで、ジェスチャ動作として右動作を行った場合に得られたセンサ信号Ｓ１とセンサ信号Ｓ２とを示している。センサ信号Ｓ１は、垂直方向が検出軸である一次元センサ４０−１から出力され、センサ信号Ｓ２は、水平方向が検出軸である一次元センサ４０−２から出力される信号であり、その波形は、内部の焦電センサ部４２から出力される検出信号Vdに相当する。
【００５４】
図７（ａ）（ｂ）（ｃ）に示されるように、水平方向の検出軸に対応した検出出力となるセンサ信号Ｓ２については、右動作の検出に応じたほぼ同じ波形が得られている。つまり、一次元センサ４０−３２側のみに関すれば、右動作を安定して検出していることになる。
一方、垂直方向の検出軸に対応するセンサ信号Ｓ１については、本来であれば、ほぼ０レベルが維持されるべきであることになる。しかし、実際に得られるセンサ信号Ｓ１は、図７（ａ）に示されるように振幅が非常に小さい場合もあれば、図７（ｂ）（ｃ）のようにして大きな振幅が得られる場合もある。さらには、センサ信号２に対するセンサ信号１の位相として、図７（ｂ）の場合には、ほぼ同位相であるのに対して、図７（ｃ）の場合には、逆相になっている。このようにして、センサ信号１については振幅、位相ともにその出現の仕方に一定性がない。
このように、ジェスチャ動作としての動きに沿った方向を検出軸とする一次元センサのセンサ信号は安定しているが、これと直交する方向を検出軸とする一次元センサのセンサ信号は不安定になる。
【００５５】
上記のようにしてセンサ信号が不安定になることの原因の主たるものの１つとしては下記のようになる。
つまり、現実における対象物の移動方向は、赤外線検出素子の検出軸と厳密に一致するものではない。このために、一方の検出軸に沿って対象物を移動させているつもりでも、その移動方向が、上記一方の検出軸に対して角度を持つと、他方の検出軸に対応する赤外線検出素子にて、その角度のずれに応じた信号の振幅が生じてしまう。
例えば、右動作を行っているとして、そのときに上方向にも或る程度移動していると、一次元センサ４０−１のセンサ信号としては、上方向への移動を示す振幅が生じ、逆に下方向にも或る程度移動していると、一次元センサ４０−１のセンサ信号としては、下方向への移動を示す振幅が生じる。
【００５６】
このようにしてセンサ信号が不安定であることによっては、ジェスチャ動作に対応したセンサ信号が得られたとしても、これが左右（水平）方向におけるジェスチャ動作であるのか、上下（垂直）方向におけるジェスチャ動作であるのかを識別することが非常に難しくなる。
例えば最も分かりやすい場合として、ジェスチャ動作の方向に対して直交する検出軸に対応するセンサ信号の振幅が、ジェスチャ動作の方向に対応する検出軸に対応するセンサ信号の振幅と同程度にまで大きくなった状態を想定してみる。
正しいジェスチャ認識結果を得るには、センサ信号Ｓ１、Ｓ２のうちから、真のジェスチャ動作の方向に対応するセンサ信号を選択する必要がある。ここで、例えば単純に振幅レベルの大小関係に基づいて真のジェスチャ動作の方向に対応するセンサ信号を選択するようにして構成したとすると、上記の状態のときには、選択を誤る可能性が非常に高い。また、ジェスチャ動作に応じて出現し得る波形パターンに、より近似した波形を持つセンサ信号を真のジェスチャ動作の方向に対応するものとして選択するようなアルゴリズムによるとしても、位相，振幅ともに不安定であるから、真のジェスチャ動作の方向に対応していないセンサ信号の波形のほうが、より高い近似率となってしまう可能性も低くはない。
このようにして、図６に示す一次元センサ４０−１、４０−２の配置態様では、信頼性の高いジェスチャ認識結果を得ることが難しい。
【００５７】
＜５．実施形態としての一次センサの配置態様例＞
そこで、本実施形態としては、一次センサを用いたジェスチャ認識について、これまでよりも高い認識精度が得られるようにすることを目的とする。
本実施形態としては、先ず、図１にて述べたように、上下左右に対応した４つのジェスチャ動作が基本となる。即ち、ジェスチャ操作として認識すべき動作方向としては、先ず、水平（横）方向（第１の方向）と、垂直（縦）方向（第２の方向）であることになる。
【００５８】
上記のことを前提とした上で、本実施形態では、図８（ａ）に示すようにして、一次元センサ４０−１、４０−２についての物理的な配置態様を与えることとした。
つまり、一次元センサ４０−１については、その検出軸Ｌ１が水平方向・垂直方向に対して４５°となる角度により傾けて配置する。ここでは、操作者側（正面方向）から見て右に傾けている。また、一次元センサ４０−１の上下の向きについては、赤外線検出素子５１Ａ−１が上側で、赤外線検出素子５１Ｂ−１が下側となる向きで配置している。
また、一次元センサ４０−２についても、その検出軸Ｌ２が水平方向・垂直方向に対して４５°となる角度により傾けて配置する。ただし、傾きの方向は、一次元センサ４０−１とは反対の左向きであり、検出軸Ｌ２が、一次元センサ４０−１の検出軸Ｌ１と直交する向きで４５°の傾きを与えている。
またここでは、上記の傾き状態において、赤外線検出素子５１Ｂ−２が上側で、赤外線検出素子５１Ａ−２が下側となる向きにより配置している。
【００５９】
また、図８（ｂ）により、上記図８（ａ）の一次元センサ４０−１、４０−２の配置に応じて形成される、赤外線検出素子５１Ａ−１，５１Ｂ−１，５１Ａ−２，５１Ｂ−２ごとの空間検出領域６０Ａ−１，６０Ｂ−１，６０Ａ−２，６０Ｂ−２を示しておく。
【００６０】
上記図８（ｂ）に示した配置によると、先ず、一次元センサ４０−１においては、赤外線検出素子５１Ａ−１，５１Ｂ−１について、水平方向に沿った位置のズレが得られる。同じく、垂直方向においてもズレが得られる。
これにより、赤外線検出素子５１Ａ−１，５１Ｂ−１は、垂直方向に沿った上動作・下動作のジェスチャ動作に応じて、時間差をもって動きを検出することが可能になる。同様に、水平方向に沿った左動作・右動作のジェスチャ動作に応じても、時間差をもって動きを検出することが可能になる。これにより、赤外線検出素子５１Ａ−１，５１Ｂ−１、水平・垂直方向の何れのジェスチャ動作にも対応して、図５により説明した信号Ｓａ，Ｓｂを出力できることになる。つまり、一次元センサ４０−１は、水平・垂直方向の何れのジェスチャ動作にも対応して動きを検出して、安定したセンサ信号Ｓ１を出力できる。
同様にして、一次元センサ４０−２も、水平・垂直方向の何れのジェスチャ動作にも対応して動きを検出して、安定したセンサ信号Ｓ２を出力可能になる。
【００６１】
図９は、本願発明者の実験結果として、図８に示した一次元センサ４０−１，４０−２の配置態様の下で、ジェスチャ動作として右動作を行った場合に得られたセンサ信号Ｓ１とセンサ信号Ｓ２とを示している。
図８に示した一次元センサ４０−１，４０−２（赤外線検出素子５１Ａ−１，５１Ｂ−１，５１Ａ−２，５１Ｂ−２）の配置による場合、右動作を検出することによっては、センサ信号Ｓ１，Ｓ２の何れについても、図５（ｂ）の検出信号Vdに対応する波形が得られる。図９に示すセンサ信号Ｓ１，Ｓ２は、何れも図５（ｂ）の検出信号Vdに対応する波形となっている。実験によっては、この図９と同等と見ることのできる波形が、センサ信号Ｓ１，Ｓ２とで安定して得られることが確認されている。
【００６２】
ここで、図１０により、図８に示す一次元センサ４０−１（赤外線検出素子５１Ａ−１，５１Ｂ−１），４０−２（赤外線検出素子５１Ａ−２，５１Ｂ−２）の配置によって、上下左右の各ジェスチャ動作を行った場合に得られるセンサ信号Ｓ１，Ｓ２の波形を模式的に示しておく。
なお、ここにおいて示される波形は、一次元センサ４０−１（赤外線検出素子５１Ａ−１，５１Ｂ−１）に対応する空間検出領域６０Ａ−１，６０Ａ−１の組と、一次元センサ４０−２（赤外線検出素子５１Ａ−２，５１Ｂ−２）に対応する空間検出領域６０Ａ−２，６０Ａ−２の組との物理的な距離差に応じて生じる検出時間差を排除したものとなっている。
空間検出領域が空間上で交差しても、赤外線検出素子側での検出には特に支障はない。従って、実際においても、一次元センサ４０−１（赤外線検出素子５１Ａ−１，５１Ｂ−１）に対応する空間検出領域６０Ａ−１，６０Ａ−１と、一次元センサ４０−２（赤外線検出素子５１Ａ−２，５１Ｂ−２）に対応する空間検出領域６０Ａ−２，６０Ａ−２とが重複するようにして調整し、検出時間差が問題にならなくなるようにすることができる。
【００６３】
図１０（ａ）は、左動作としての動きを検出して得られるセンサ信号Ｓ１、Ｓ２を示している。この図に示すようにして、左動作に応じては、センサ信号Ｓ１、Ｓ２は、図５（ａ）の検出信号Ｖｄに対応した同相の波形が得られる。
図１０（ｂ）は、右動作の場合に得られるセンサ信号Ｓ１，Ｓ２を示している。右動作の場合のセンサ信号Ｓ１，Ｓ２は、それぞれ、上記図１０（ａ）の波形を反転したものとなる。つまり、センサ信号Ｓ１，Ｓ２は、図５（ｂ）の検出信号Ｖｄに対応した同相の波形となる。なお、図９の波形は、この図１０（ｂ）に対応することになる。
【００６４】
図１０（ｃ）は、上動作としての動きを検出して得られるセンサ信号Ｓ１，Ｓ２を示している。
この場合には、センサ信号Ｓ１が図５（ａ）の検出信号Vdに対応する波形で、センサ信号Ｓ２が図５（ｂ）の検出信号Vdに対応する波形とされたうえで、互いに逆相となっている。
【００６５】
図１０（ｄ）は、下動作としての動きを検出して得られるセンサ信号Ｓ１，Ｓ２を示している。
この場合のセンサ信号Ｓ１，Ｓ２は、上記図１０（ｃ）に対してそれぞれ反転した波形となっている。つまり、センサ信号Ｓ１が図５（ｂ）の検出信号Vdに対応する波形で、センサ信号Ｓ２が図５（ａ）の検出信号Vdに対応する波形とされたうえで、互いに逆相となっている。
【００６６】
上記図１０によれば、先ず、ジェスチャ動作が、水平方向に沿ったものであるか、垂直方向に沿ったものであるかの認識は、センサ信号Ｓ１，Ｓ２が同相であるか逆相であるか否かを判断すればよいといえる。さらに、水平方向に沿ったジェスチャ動作として左動作と右動作の何れであるのか、また、垂直方向に沿ったジェスチャ動作として上動作と下動作の何れであるのかについては、センサ信号Ｓ１，Ｓ２の極性に基づいて判断すればよいことになる。
【００６７】
＜６．ジェスチャ動作判定のための信号処理構成＞
［６−１．正規化処理、位相平面写像化処理］
そして本実施形態では、図８の一次元センサ４０−１，４０−２の配置態様としたうえで、以降説明するようにして、センサ信号Ｓ１，Ｓ２について信号処理を行ってジェスチャ認識を行う構成を採ることとした。
【００６８】
ここで、図１１（ａ）に示されるセンサ信号Ｓ１，Ｓ２が得られたとする。なお、このセンサ信号Ｓ１，Ｓ２は、実際においては上動作を検出して得られたものである。
本実施形態においては、このようにして得られたセンサ信号Ｓ１，Ｓ２について、それぞれ、正規化処理を行う。
この正規化処理として、先ず、センサ信号Ｓ１については、ジェスチャ動作に対応する動きを検出したことに応じて振幅が変化したとされる、有意な信号区間（ジェスチャ動作期間）における最大値Vp1を求める。なお、この最大値Vp1は、絶対値として取得する。そのうえで、同じジェスチャ動作期間において得られているセンサ信号Ｓ１の振幅値を、上記最大値Vp1により除算する。これにより、センサ信号Ｓ１の振幅値は、−１〜１の範囲内で、最大値Vp1との比により示される値となるようにして正規化される。
センサ信号Ｓ２についても、同様にして、ジェスチャ動作期間における絶対値による最大値Vp2を求め、同じジェスチャ動作期間において得られているセンサ信号Ｓ２の振幅値を、上記最大値Vp2により除算する。これにより、その振幅値は、−１〜１の範囲において最大値Vp1との比により示される値となるようにして正規化される。
【００６９】
焦電センサは、背景温度と対象物の温度差を検出して、これに応じた振幅値を出力する。しかし、実際に対象物となる操作者の手の温度はまちまちである。例えば体質による基礎的な体温の違いであるとか、手が濡れていたり、冷えていたりするなどして、手の温度はおおきく変わり得る。また、操作者の手から赤外線検出素子までの距離が遠くなるほど、検出信号の振幅も小さくなっている。このようにして、人体の手の温度であるとか、手の距離などの影響があることで、操作者が同じ操作を行っているとしても、一次元センサ４０−１、４０−２から出力されるセンサ信号Ｓ１，Ｓ２の振幅の大きさは、その都度異なるものとなり得る。このようにして、同じジェスチャ動作に応答したものでありながら、センサ信号Ｓ１，Ｓ２の振幅にばらつきのあるままでは、以降の信号処理について適正に評価することは非常に難しくなる。
そこで、本実施形態では、上記の正規化処理を実行することにより、ピーク値（絶対値）との比に応じた−１〜＋１の範囲の値に変換することとしている。これにより、センサ信号Ｓ１，Ｓ２は、実際の振幅のばらつき要因が排除された正規な値を持つことになる。
【００７０】
なお、以降において正規化した振幅値のセンサ信号Ｓ１，Ｓ２については、それぞれ正規化センサ信号NOM_S1、正規化センサ信号NOM_S2という。
【００７１】
上記正規化処理に続けては、正規化センサ信号NOM_S1、正規化センサ信号NOM_S2を、位相平面に対して写像する処理（位相平面写像化処理）を実行する。
図１１（ａ）に示したセンサ信号Ｓ１，Ｓ２に対応する正規化センサ信号NOM_S1、正規化センサ信号NOM_S2により位相平面写像化処理を実行した結果を、図１１（ｂ）に示す。
【００７２】
図１１（ｂ）に示される位相平面は、ｘ座標が正規化センサ信号NOM_S1に対応し、ｙ座標が正規化センサ信号NOM_S2に対応し、ｘ座標とｙ座標とでともに−１〜１の座標の範囲を持つ。
【００７３】
ここでの位相平面写像化処理としては、同じ時間に得られたとされる正規化センサ信号NOM_S1の値をｘ座標値とし、正規化センサ信号NOM_S2の値をｙ座標値として、センサ信号の時間経過に従って、位相平面上に座標をプロットしていく処理となる。
より具体的には、ジェスチャ動作期間に対応して得られるＮ個の正規化センサ信号NOM_S1，NOM_S2のサンプルデータのうち、それぞれ、ｉ番目のサンプルデータの値をxi，yiとすると、N個のサンプルデータに対応する全ての座標(xi，yi)を求める処理となる。
これにより、模式的には、図１１（ｂ）の位相平面上において描かれている曲線は、上記座標のプロットを時間経過に従って行っていた結果、つまり、プロットした点の軌跡として示されることになる。なお、この軌跡としての曲線は、センサ信号Ｓ１，Ｓ２に基づくものであることに因み、以降、信号軌跡ともいう。
【００７４】
［６−２．水平・垂直方向のジェスチャ動作判定］
図１２は、水平方向のジェスチャ動作である、右動作・左動作に対応した位相平面写像化処理の結果例を示している。
図１２（ａ）には、ジェスチャ動作として、右動作に続けて左動作を行った場合において得られたセンサ信号Ｓ１，Ｓ２を示している。この図のセンサ信号Ｓ１，Ｓ２における右動作検出期間は、右動作の検出に応じて有意な振幅が得られたとする波形区間であり、左動作検出期間は、左動作の検出に応じて有意な振幅が得られたとする波形区間である。
【００７５】
そして、右動作検出期間に対応する正規化センサ信号NOM_S1、正規化センサ信号NOM_S2により位相平面写像化処理を実行した結果としては、図１２（ｂ）に示す位相平面上の信号軌跡が得られることになる。
また、左動作検出期間に対応する正規化センサ信号NOM_S1、正規化センサ信号NOM_S2により位相平面写像化処理を実行した結果としては、図１２（ｃ）に示す位相平面上の信号軌跡が得られる。
【００７６】
図１３は、垂直方向のジェスチャ動作である、上動作・下動作に対応した位相平面写像化処理の結果例を示している。
図１３（ａ）には下動作に続けて水平方向のジェスチャ動作である、上動作を行った場合において得られたセンサ信号Ｓ１，Ｓ２を示している。この図のセンサ信号Ｓ１，Ｓ２における下動作検出期間は、下動作の検出に応じて有意な振幅が得られたとする波形区間であり、上動作検出期間は、上動作の検出に応じて有意な振幅が得られたとする波形区間である。
【００７７】
下動作検出期間に対応する正規化センサ信号NOM_S1、正規化センサ信号NOM_S2により位相平面写像化処理を実行した結果としては、図１３（ｂ）に示す位相平面上の信号軌跡が得られる。
また、上動作検出期間に対応する正規化センサ信号NOM_S1、正規化センサ信号NOM_S2により位相平面写像化処理を実行した結果としては、図１３（ｃ）に示す位相平面上の信号軌跡が得られる。
【００７８】
次に、本実施形態では、上記位相平面写像化処理の実行結果として得られる信号軌跡に基づいて、先ず、水平方向に対応するジェスチャ動作（左動作／右動作）であるのか、垂直方向に対応するジェスチャ動作（上動作／下動作）であるのかの判定のための評価項目として信号軌跡の相関係数を求めるものとする。
相関係数ｒは、下記のようにして求めることができる。
【数１】
【００７９】
ここで、水平方向のジェスチャ動作に対応するものとして、図１２（ｂ）（ｃ）の位相平面に示される右動作、左動作の信号軌跡は、共通の特徴を持っている。つまり、例えば信号軌跡の大まかな輪郭に対応して、楕円Ｅをあてはめたとして、この楕円Ｅの長軸に対応する直線Ｌについてみると、右動作と左動作の何れについても、右上がりとなる。なお、これは、一次関数y=ax+bにより表される直線としてみた場合には、a>0の直線となる。
また、垂直方向のジェスチャ動作に対応するものとして、図１３（ｂ）（ｃ）の位相平面に示される下動作、上動作の信号軌跡も共通の特徴を持ちながら、その特徴は、上記図１２（ｂ）（ｃ）とは異なるものとなる。
つまり、図１３（ｂ）（ｃ）の信号軌跡にあてはめた楕円Ｅの長軸に対応する直線Ｌは下動作と右動作の何れについても、右下がりとなるものであり、一次関数y=ax+bにより表される直線としてみた場合には、a<0の直線となる。
このような特徴は、先に図１０にて説明した、センサ信号Ｓ１，Ｓ２の極性、及び相互の位相の関係に応じて現れるものである。
このことからすれば、信号軌跡に対応して得られる直線Ｌの傾きについて、これが右上がりであれば、水平方向のジェスチャ動作であると認識し、右下がりであれば、垂直方向のジェスチャ動作であると認識すればよいことになる。
【００８０】
相関係数ｒの正／負は、上記直線Ｌの右上がり／右下がりに対応する。相関係数ｒは、センサ信号Ｓ１，Ｓ２の位相，振幅が近いほど+１に近くなり、信号軌跡の全体形状としても右上がりの直線に近くなっていく。一方、センサ信号Ｓ１，Ｓ２が互いに同一波形を反転させた逆相の状態に近くなるほど、−１に近づいていき、信号軌跡の形状としては右下がりの直線に近くなっていく。
【００８１】
具体的には、図１２（ｂ）（ｃ）に示される信号軌跡について相関係数ｒを実際に計算してみると、それぞれ、０．８〜０．８程度の値が求められる。
一方、図１３（ｂ）（ｃ）に示される信号軌跡については、実際には、−０．７５〜−０．８程度の値が求められる。
【００８２】
このようにして、本実施形態では、ジェスチャ動作が水平と垂直方向との何れによるものであるのかを認識するのにあたり、正規化センサ信号NOM_S1，NOM_S2についての相関係数ｒを求める。そのうえで、この相関係数ｒについて、原則として、ｒ＞０であれば、水平方向のジェスチャ動作であると認識し、相関係数ｒ＜０であれば、垂直方向のジェスチャ動作であると認識するようにアルゴリズムを構成すればよい。
【００８３】
ただし、本実施形態においては、相関係数ｒの絶対値が一定値以下の場合には、後述するようにして、検出したジェスチャ動作が、回転動作によるものである可能性のほうが高くなる。従って、本実施形態の実際としては、相関係数ｒを求めた上で、検出された動作について、水平／垂直方向のジェスチャ動作と、回転動作との何れであるのかについて判断すべきことになる。この点については後述する。
【００８４】
［６−３．左右動作方向判定、上下動作方向判定］
上記のようにして、ジェスチャ動作が水平方向と垂直方向の何れに沿ったものであるのかについては、正規化センサ信号NOM_S1，NOM_S2の間での位相平面上での相関の度合いを示す相関係数ｒに基づいて判定することができる。
すると、水平方向のジェスチャ動作であると判定したことに応じては、次に左動作・右動作の何れであるのかを認識すべき必要があることになる。また、垂直方向のジェスチャ動作であるとの判定結果に応じては、上動作・下動作の何れであるのかを認識する必要があることになる。
【００８５】
ここで、再度、水平方向のジェスチャ動作に対応する図１２を参照してみる。
図１２（ｂ）に示される右動作に応じた信号軌跡に対応する楕円Ｅは、その直線Ｌが右上がりとなる傾きを有した上で、原点に対して第１象限のほうに偏倚している状態であるとみることができる。
これに対して、図１２（ｃ）に示される左動作に応じた信号軌跡に対応する楕円Ｅは、その直線Ｌが右上がりとなる傾きを有しているのは同様であるが、図１２（ｂ）とは逆に、原点に対して第３象限のほうに偏倚している状態であるとみることができる。
【００８６】
この右動作と左動作とに応じた偏倚の相違は、図１０（ａ）（ｂ）に示したように、各動きに対応するセンサ信号Ｓ１，Ｓ２の組は、同相の関係にあるとされたうえで、右動作と左動作とで比較したときには、センサ信号Ｓ１同士と、センサ信号２同士の何れも逆相になっていることに応じて現れるものである。
【００８７】
また、垂直方向のジェスチャ動作についてみると、図１０（ｃ）（ｄ）に示すようにして、上動作と下動作の各動きに対応するセンサ信号Ｓ１，Ｓ２の組は、互いに逆相の関係にあるとされたうえで、上動作と下動作とで比較したときには、センサ信号Ｓ１同士と、センサ信号２同士の何れも逆相になっている。
このような位相関係により、先ず、下動作に応じて形成される信号軌跡に対応する楕円Ｅは、図１３（ｂ）に示すように、その直線Ｌが右下がりの傾きを有した上で、原点に対して第２象限のほうに偏倚する状態となる。これに対して、上動作に応じた信号軌跡に対応する楕円Ｅは、図１３（ｃ）に示されるように、その直線Ｌが右下がりとなる傾きを有したうえで、図１３（ｂ）とは逆に、原点に対して第４象限のほうに偏倚している状態となる。
【００８８】
このことからすると、先ず、水平方向のジェスチャ動作については、信号軌跡としての包括形状（楕円Ｅ）が、位相平面において第１象限に偏倚していれば右動作であり、第３象限のほうに偏倚していれば左動作であるということがいえる。
同様に、垂直方向のジェスチャ動作については、信号軌跡としての包括形状（楕円Ｅ）が、位相平面において第２象限に偏倚していれば下動作であり、第４象限のほうに偏倚していれば上動作であるということがいえる。
【００８９】
そこで、本実施形態では、上記した信号軌跡の包括形状（楕円Ｅ）がどの象限に偏倚しているのかを評価するために、位相平面写上における信号軌跡の重心Ｇを算出して求める。
この重心Ｇは、位相平面上での座標Ｇ（gx,gy）として求められる。
図１２（ｂ）（ｃ）、図１３（ｂ）（ｃ）においては、直線Ｌとしての楕円Ｌの長径の中点として示されている。但し、これはあくまでも模式的なものであり、実際に求められる重心Ｇの座標は、必ずしも直線Ｌと一致するものではない。
【００９０】
ここで、上記重心Ｇのｘ座標gx、ｙ座標yxの求め方としては、いつくか考えられるが、例えば１つには、それぞれ、正規化センサ信号NOM_S1、NOM_S2についての相加平均値を求めることとすればよい。この場合の演算式は、例えば下記のようになる。
【数２】
【００９１】
上記重心G（gx,gy）は、即ち、信号軌跡としての包括形状の重心の位置を示すものとなる。従って、位相平面上における重心G（gx,gy）の原点からの方向により、信号軌跡包括形状についての原点に対する偏倚の方向が示されることになる。このことに基づき、重心Ｇ（gx,gy）は、水平・垂直各方向における動作方向を認識するための評価値として利用できることになる。
つまり、アルゴリズムとして、水平方向のジェスチャ動作の場合には、重心Ｇ（gx,gy）が第１象限に位置するのであれば右動作であると認識し、第３象限に位置するのであれば左動作であると認識することができる。また、垂直方向のジェスチャ動作の場合には、重心Ｇ（gx,gy）が第２象限に位置するのであれば下動作であると認識し、第４象限に位置するのであれば上動作と認識することができる。
【００９２】
ここで、本実施形態において求める相関係数ｒは、ジェスチャ動作が垂直方向と水平方向の何れであるのかを判断するための評価値である。つまり、動きの検出により得られたセンサ信号Ｓ１，Ｓ２が同位相であるか、逆位相であるのかを評価するための評価値である。
また、重心位置Ｇ（gx,gy）は、水平方向のジェスチャ動作として左動作と右動作の何れであるのかを判断し、垂直方向のジェスチャ動作として上動作とした動作との何れであるのかを判断するための評価値である。つまり、センサ信号Ｓ１，Ｓ２自体の極性（波形パターン）を評価するためのものとしてみることができる。
【００９３】
上記のようなセンサ信号Ｓ１，Ｓ２間の位相差、また、センサ信号Ｓ１，Ｓ２自体の極性を評価・判断する手法として一般に考え得るもとしては、次のようなものを考えることができる。
つまり、センサ信号Ｓ１，Ｓ２について、先ず、センサ信号Ｓ１，Ｓ２の振幅の最大値、最小値を求める。そして、求めた２つの最大値、最小値の時間差について閾値以内であるか否かを判断する。この閾値は、例えば、ジェスチャ動作に応じて一般的、平均的に得られるセンサ信号Ｓ１，Ｓ２の振幅値を基にして設定する。そして、センサ信号Ｓ１，Ｓ２の間でのピーク値の時間差により同位相であるか逆位相であるかを判断しようとするものである。また、センサ信号Ｓ１，Ｓ２の最大値、最小値についての時間的な出現順を判断することで、信号の極性を判断することもできる。
【００９４】
しかし、図８の一次元センサ４０−１，４０−２の配置では、図６の場合と比較すれば、非常に安定したセンサ信号Ｓ１，Ｓ２を得ることはできる。しかし、ジェスチャ動作は、現実には人であるユーザが手の動きにより行うものであるので、移動速度もまちまちであり、検出軸に対する手の動きのぶれも生じる。このような不確定要素の影響で、センサ信号Ｓ１，Ｓ２は、振幅、位相に或る程度の変動を生じる。このような変動要素があるのにもかかわらず、センサ信号Ｓ１，Ｓ２の間でのピーク値の時間差を評価値として、これを固定的な閾値と比較しても、信頼性の高い判定結果を得ることは難しい。
【００９５】
これに対して、本実施形態のようにして、まずは、センサ信号Ｓ１，Ｓ２について正規化処理を行って位相平面写像化を行い、そのうえで、相関係数ｒと重心位置Ｇの座標を求めることとしている。これらの相関係数ｒ、重心位置Ｇは、センサ信号Ｓ１，Ｓ２間の位相差、極性についての評価値として、例えば上記のピークの時間差などと比較して、より高い忠実度を持っている。つまり、本実施形態としては、これまでより高い精度で、上下左右のジェスチャ動作についての認識結果を得ることが可能になる。
【００９６】
［６−４．左右回転動作判定］
また、本実施形態では、位相平面写像化処理により形成される信号軌跡に基づき、対象物が円周形上の移動軌跡を描くようにして動く回転動作についても認識可能である。これに基づき、本実施形態では、図１にて説明したように、ジェスチャ操作として、上下左右の動作に加えて、右回転動作、左回転動作も含めることとしたものである。
そこで、続いては、本実施形態における回転動作の認識手法について説明する。
【００９７】
図１４（ａ）は右回転動作としてのジェスチャ動作を３回連続して行ったことに応じて出力されたセンサ信号Ｓ１，Ｓ２の波形例を示している。
この図に示されるセンサ信号Ｓ１，Ｓ２は、１回の回転動作ごとに得られる波形としては、何れもＭ字状のピークの絶対値が正極側となる極性とされたうえで、センサ信号Ｓ１に対してセンサ信号Ｓ２のほうの位相が進むものとなる。
【００９８】
上記図１４（ａ）のセンサ信号Ｓ１，Ｓ２を正規化して位相平面写像化処理を行った結果は、図１４（ｂ）に示される。
上下左右のジェスチャ動作の場合、センサ信号Ｓ１，Ｓ２は、同相（０°）若しくは逆相（１８０°）とみることのできる位相差の関係であったが、回転動作の場合には、図１４（ａ）にも示されるように、センサ信号Ｓ１，Ｓ２には、１８０°よりも小さい位相差が生じる。このために、相関係数ｒの絶対値としては、上下左右のジェスチャ動作の場合よりも小さい値となる。つまり、信号軌跡の形状としてみた場合には、図１４（ｂ）のようにして、上下左右のジェスチャ動作の場合よりも円形状に近くなる。つまり、楕円形としてみれば、長径と短径の比率が１に近くなる。
従って、ジェスチャ動作が、回転動作であるのかどうかについての判定として、最も簡単な手法としては、相関係数ｒの絶対値について、回転動作に応じて得られるとされる程度に一定以下に小さい値であるか否かを判断すればよいことになる。
【００９９】
そのうえで、ここでは、位相平面写像化処理により、センサ信号Ｓ１，Ｓ２の時間経過に従ってサンプル値をプロットしていったときの、位相平面上での信号軌跡の回転方向について着目する。すると、図１４（ｂ）の信号軌跡の全体としては、矢印Ａｒとして示すように、右方向（時計回り方向）に回転していくようにして軌跡を形成していくものとしてみることができる。
この信号軌跡の回転方向は、センサ信号Ｓ１，Ｓ２の位相差により決まる。つまり、図１４（ａ）では、センサ信号Ｓ２に対してセンサ信号Ｓ１のほうの位相が進んでいるが、これに応じては、信号軌跡の回転方向は右方向となる。
【０１００】
一方、図１５（ａ）は、右回転動作としてのジェスチャ動作を３回連続して行ったことに応じて出力されたセンサ信号Ｓ１，Ｓ２の波形例を示している。
この図のセンサ信号Ｓ１，Ｓ２は、１回の回転動作ごとに得られる波形としては、何れもＭ字状のピークの絶対値が負極側となる極性とされている。そのうえで、センサ信号Ｓ１に対してセンサ信号Ｓ２のほうの位相が遅れたものとなる。つまり、センサ信号Ｓ１，Ｓ２の位相差の関係としては、図１４（ａ）の場合と逆になっている。
【０１０１】
これに応じて、上記図１５（ａ）のセンサ信号Ｓ１，Ｓ２を正規化して位相平面写像化処理を行った場合の信号軌跡は、図１５（ｂ）の矢印Ａｒに示すようにして、全体としては左回り（反時計回り方向）となる。
【０１０２】
このことからすると、例えば相関係数ｒが一定以下であることにより、回転に沿ったジェスチャ動作であると認識した場合において、さらに、その回転方向(プロット回転方向)が右回転動作と左回転動作の何れであるのかを判断するためには、次のようなアルゴリズムとすればよいことになる。
つまり、形成された信号軌跡の回転方向が全体傾向として右回りと左回りの何れの方向であるのかを求める。そして、求められた信号軌跡の回転方向が右回りであれば、ジェスチャ動作は右回転動作であると判定し、信号軌跡の回転方向が左回りであれば、ジェスチャ動作は左回転動作であると判定するものとすればよい。
【０１０３】
このためには、信号処理として、信号軌跡が右回りと左回りの何れであるのかを判定する必要がある。
そこで、本実施形態においては、信号軌跡を形成する座標ごとの外積を算出する。ここで、ｘ軸とｙ軸から成る２次元平面における外積は、これら２つの軸に直交するｚ軸方向成分（ｚ成分）のみを持ち、ｘ方向成分及びｙ方向成分は０となる。この外積のｚ成分の総和の符号が正・負の何れであるのかにより、信号軌跡の回転方向についての全体傾向を求めることができる。
【０１０４】
ここで、信号軌跡の回転方向と外積との関係について、図１６に示す。
先ず、図１６（ａ）には、
ｉ番目の正規化センサ信号NOM_S1，NOM_S2のサンプルにより位相平面にプロットされた座標O(xi,yi,0)、
i+1番目の正規化センサ信号NOM_S1，NOM_S2のサンプルにより位相平面にプロットされた座標A(xi+1,yi+1,0)
i-1番目の正規化センサ信号NOM_S1，NOM_S2のサンプルにより位相平面にプロットされた座標B(xi-1,yi-1,0)
が示されている。
そのうえで、これらの座標の二次元平面上における位置関係は、座標O(xi,yi,0)の左側に座標A(xi+1,yi+1,0)が位置し、右側に座標B(xi-1,yi-1)が位置している状態が示されている。
ここで、座標O(xi,yi,0)を始点とする座標A(xi+1,yi+1,0)までの方向及び距離をベクトルａにより表し、座標O(xi,yi,0)を始点とする座標B(xi-1,yi-1,0)までの方向及び距離をベクトルｂにより表したとする。すると、これらベクトルａ、ｂの外積を求めると、このときのｚ成分の値としては、正の値を取るものになる。なお、ベクトルａ、ｂの外積の絶対値については、１６（ａ）により示される、ベクトルａ、ｂに対応する線分を隣り合う辺として形成される平行四辺形の面積Ｓを表すものとなる。
また、図１６（ｂ）には、図１６（ａ）における座標O(xi,yi,0)、A(xi+1,yi+1,0)、B(xi-1,yi-1,0)について、座標A(xi+1,yi+1,0)、B(xi-1,yi-1,0)の位置が入れ替わっている場合を示している。この場合において求められるベクトルａ、ｂの外積の絶対値については、図１６（ａ）と同じになる。つまり、平行四辺形の面積Ｓを表すものとなる。ただし、ｚ成分の符号については負の値となる。
【０１０５】
本実施形態としては、上記図１６に従ってセンサ信号Ｓ１，Ｓ２のサンプルタイミングごとの外積を算出し、さらに求められた外積の総和を算出する。この外積の総和値ｐは、下記のようにして求めることができる。
【数３】
そして、求められた外積のｚ成分の総和値ｐの符号について正・負の何れであるのかにより、信号軌跡の回転方向の全体傾向を判定する。つまり、ジェスチャ動作が左回転動作と右回転動作の何れであるのかについて認識する。
図１６に従った場合、外積のｚ成分の総和値ｐの符号が正であれば、信号軌跡の回転方向の全体傾向は左回りであると判定される。つまり、ジェスチャ動作として左回転動作であると判定する。また、外積のｚ成分の総和値ｐの符号が負であれば、信号軌跡の回転方向の全体傾向は右回りであると判定される。つまり、ジェスチャ動作として右回転動作であると判定する。
【０１０６】
＜７．ジェスチャ動作判定のためのアルゴリズム＞
これまでに説明した本実施形態のジェスチャ動作判定を実現するためのアルゴリズム例について説明する。
先ず、図１７は、本実施形態の写真立て型表示装置１がジェスチャ判定部１８の構成例を、ブロック構成により示している。このジェスチャ判定部１８は、図２に示しているように、制御部１１がプログラムを実行することにより実現される。この図においては、ジェスチャ判定部１８とともに、一次元センサ４０−１、４０−２から成るセンサ部５も示している。
【０１０７】
一次元センサ４０−１から出力されるセンサ信号Ｓ１は、ジェスチャ動作判定部１８において、第１センサ信号記録部３１及びジェスチャ検出部３３が入力する。また、一次元センサ４０−２から出力されるセンサ信号Ｓ２は、ジェスチャ動作判定部１８において、第２センサ信号記録部３２及びジェスチャ検出部３３が入力する。
なお、ここでは図示していないが、ジェスチャ動作判定部１８に入力される段階のセンサ信号Ｓ１，Ｓ２は、所定のサンプリング周波数と量子化ビット数によりサンプリングされたデジタル信号に変換されたものとなっている。
【０１０８】
ジェスチャ検出部３３は、入力されるセンサ信号Ｓ１，Ｓ２に基づいて、ジェスチャ動作期間を検出するための部位である。なお、このジェスチャ検出部３３の処理については、図１９のフローチャートにより後述する。ジェスチャ検出部３３は、検出したジェスチャ動作の開始／終了を、第１センサ信号記録部３１、第２センサ信号記録部３２に通知する。
【０１０９】
第１センサ信号記録部３１、第２センサ信号記録部３２は、ジェスチャ検出部３３により通知されたジェスチャ動作期間において、それぞれ、センサ信号Ｓ１，Ｓ２を取り込んで、サンプルタイミングごとにデータを記録する。
【０１１０】
第１センサ信号記録部３１により記録されたセンサ信号Ｓ１のサンプルデータは、第１正規化処理部３４に対して出力される。
第１正規化処理部３４は、図１１にて説明したように、センサ信号Ｓ１を対象として正規化処理を実行して、−１〜＋１の範囲で正規化した正規化センサ信号NOM_S1のサンプルデータ群を得る。
同様に、第２正規化処理部３５も、第２センサ信号記録部３２により記録されたセンサ信号Ｓ２のサンプルデータを取り込んで正規化処理を実行して、−１〜＋１の範囲で正規化した正規化センサ信号NOM_S2のサンプルデータ群を得る。
上記正規化センサ信号NOM_S1，NOM_S2のサンプルデータ群は、位相平面写像化処理部３６に対して渡される。
【０１１１】
位相平面写像化処理部３６は、入力された正規化センサ信号NOM_S1，NOM_S2のサンプルデータ群を用いて、図１１にて説明したようにして位相平面上にプロットした信号軌跡のデータを求め、評価項目算出部３７に渡す。ここでは、信号軌跡のデータは、サンプル番号ｉごとに対応させて位相平面にプロットした座標(xi,yi)の値（正規化センサ信号NOM_S1，NOM_S2のサンプル値の組）となる。
【０１１２】
評価項目算出部３７は、相関係数算出部３７ａ、重心算出部３７ｂ、回転方向算出部３７ｃを備える。
相関係数算出部３７ａは、受け取った信号軌跡のデータ（正規化センサ信号NOM_S1，NOM_S2のサンプルタイミングごとのデータ）を利用して、先に(数１)により説明した演算により、信号軌跡のデータ相関係数ｒを算出する処理を実行する。
重心算出部３７ｂは、信号軌跡のデータを利用して、例えば先に(数２)により説明した演算により重心の座標Ｇ（gx,gy）を算出する。
回転方向算出部３７ｃは、先に図１６、(数３)により説明したようにして、信号軌跡のサンプルごとに求めた外積のｚ成分の総和値ｐを求める。
【０１１３】
動作判定部２８は、上記評価項目算出部３７により得られる相関係数ｒ、重心座標Ｇ（gx,gy）、外積のｚ成分の総和値ｐを適宜利用して、ジェスチャ動作として、左動作、右動作、上動作、下動作、左回転動作、右回転動作の何れであるのかを判定する処理を実行し、その判定結果を出力する。
なお、制御部１１は、このジェスチャ判定部１８により出力されるジェスチャ動作の判定結果を操作コマンドとして処理することで、先に例としてあげた写真立て型表示装置１としてのしかるべき動作が得られるように制御を実行する。
【０１１４】
図１８は、上記図１７に示されるジェスチャ動作判定部１８が実行する処理の手順例をフローチャートとして示している。
この図においては、先ずステップＳ１０１により、ジェスチャ動作期間を検出してセンサ信号を記録する処理を実行する。この図に示す処理は、ジェスチャ検出部３３，第１センサ信号記録部３１，第２センサ信号記録部３２が実行する。
【０１１５】
ステップＳ１０１としての処理手順例を図１９のフローチャートに示す。
図１９のステップＳ２０１においては、先ず、ジェスチャ検出部３３がセンサ信号Ｓ１，Ｓ２を入力して閾値と比較する。ここでの閾値は、一次元センサ４０−１においてジェスチャ動作の可能性のある動きを検出したときに得られるセンサ信号の振幅に基づいて定めることができる。また、ここでは一次元センサ４０−１、４０−２から入力したセンサ信号Ｓ１，Ｓ２をそのまま閾値と比較することとしているが、この段階において、正規化したセンサ信号Ｓ１，Ｓ２を求める（NOM_S1,NOM_S2と同じで良い）ようにして、この正規化されたセンサ信号Ｓ１，Ｓ２の値と閾値とを比較するように構成してもよい。
【０１１６】
ステップＳ２０１においては、センサ信号Ｓ１，Ｓ２のレベル値(サンプル値)の少なくともいずれか一方が閾値以上となるのを待機することになる。そして、ステップＳ２０１において肯定の判別結果が得られると、ステップＳ２０２以降の手順に進む。例えば先の図１７の説明との対応では、ジェスチャ検出部３３は、ステップＳ２０１において肯定の判別結果が得られたことに応じて、第１センサ信号記録部３１、第２センサ信号記録部３２に対してジェスチャ動作の開始を通知する。
【０１１７】
ステップＳ２０２においては、第１センサ信号記録部３１、第２センサ信号記録部３２により、センサ信号Ｓ１，Ｓ２のサンプルデータの記録を開始する。つまり、ジェスチャ検出部３３によるジェスチャ動作開始の通知に応じて、センサ信号Ｓ１，Ｓ２の記録を開始する。
【０１１８】
この場合のジェスチャ検出部３３は、上記ステップＳ２０１にて肯定の判別結果が得られたことを以て、ジェスチャ動作の開始タイミングを検出するものとみることができる。ジェスチャ検出部３３は、この後において、ジェスチャ動作の終了タイミングを検出すべきことになる。ここでは、センサ信号Ｓ１，Ｓ２の少なくともいずれか一方が閾値以上である状態からセンサ信号Ｓ１，Ｓ２の双方が閾値未満に遷移し、この閾値未満の状態が一定時間経過した時点を、ジェスチャ動作の終了タイミングとして検出する。ステップＳ２０３以降は、ジェスチャ動作の終了タイミングを検出するための処理となる。
【０１１９】
ステップＳ２０３は、ジェスチャ検出部３３が実行する。ステップＳ２０１にて肯定の判別結果が得られたことに対応しては、センサ信号Ｓ１，Ｓ２の少なくともいずれか一方が閾値以上の状態にある。この後に実行されるステップＳ２０３において、ジェスチャ検出部３３は、現在のセンサ信号Ｓ１，Ｓ２について、両者が閾値未満の状態であるか否かについて判別する。
【０１２０】
ステップＳ２０３において否定の判別結果が得られた場合には、ステップＳ２０４により、タイマが起動中であるか否かについて判別する。このタイマは、次に説明するステップＳ２０７によりリセット・スタートされるもので、センサ信号Ｓ１，Ｓ２が閾値未満となった時点からジェスチャ動作の終了時点としてみなされるまでの時間をカウントする。ステップＳ２０３においてタイマが起動中でないとして否定の判別結果が得られれば、そのままステップＳ２０３に戻る。タイマが起動中であれば、ステップＳ２０５によりタイマを停止させてからステップＳ２０３に戻る。
【０１２１】
ステップＳ２０３において肯定の判別結果が得られた場合には、先ず、ステップＳ２０６により、現在タイマが起動中であるか否かについて判別する。タイマが起動していなければ、ステップＳ２０７により、タイマのカウント値をリセットしたうえで、カウントを開始させ、ステップＳ２０３に戻る。
これに対してステップＳ２０６によりタイマが起動中であるとして肯定の判別結果が得られたのであれば、ステップＳ２０８に進む。
【０１２２】
ステップＳ２０８においては、現在のタイマのカウント値に基づきタイマ時間が経過したか否かについて判別する。タイマ時間を経過していないとして否定の判別結果が得られた場合には、そのままステップＳ２０３に戻る。これに対して、タイマ時間を経過したとして肯定の判別結果が得られた場合には、ステップＳ２０９に進み、タイマのカウントを停止させる。なお、ステップＳ２０８によりタイマ時間が経過したとの判別結果を得ることが、ジェスチャ検出部３３によりジェスチャ動作期間が終了したことを通知する処理に相当する。
【０１２３】
ステップＳ２１０において第２センサ信号記録部３１，第２センサ信号記録部３２は、ジェスチャ動作期間の終了に応じて、これまでのセンサ信号Ｓ１，Ｓ２のサンプルデータの記録を終了させる。
【０１２４】
図１８において、上記ステップＳ１０１としての処理を実行した後は、ステップＳ１０２の処理を実行することになる。ステップＳ１０２においては、第１正規化処理部３４、第２正規化処理部３５が、それぞれ、第１センサ信号記録部３１、第２センサ信号記録部３２により記録されたセンサ信号Ｓ１，Ｓ２のサンプルデータについての正規化処理を実行する。
【０１２５】
正規化処理は、先にも図１１により説明したが、その処理手順例を、図２０のフローチャートとして示した。ここでは、フローチャートのステップの流れとして、先ず、センサ信号Ｓ１について正規化処理を実行し、次に、センサ信号Ｓ２について正規化処理を実行するように構成している。
【０１２６】
先ず、ステップＳ３０１においては、センサ信号Ｓ１，Ｓ２を一般化したセンサ信号Ｓｍに対応させた変数となるｍについて、１を代入する。
次に、ステップＳ３０２により、センサ信号Ｓｍのサンプルデータにおける最大値Ｓｍmaxを取得する。この最大値Ｓｍmaxは、図１１（ａ）により説明したセンサ信号Ｓ１若しくはセンサ信号Ｓ２のいずれかの最大値Vp1,Vp2（絶対値）に対応する。
【０１２７】
ステップＳ３０３においては、センサ信号Ｓｍのサンプルデータについての番号を示す変数ｉについて、１を初期値として代入する。
【０１２８】
次のステップＳ３０４においては、センサ信号Ｓｍにおけるｉ番目のサンプルデータを正規化する。
このための処理としては、例えば、センサ信号におけるｉ番目のサンプルデータの正規化値をNOM_Sm_i、センサ信号Ｓｍにおけるｉ番目のサンプルデータをSm_iとして、
NOM_Sm_i= Sm_i/SmMAX・・・（式１）
により表される演算を実行する。つまり、先に述べたようにして、センサ信号のサンプルデータの値を、同じセンサ信号Smの最大値（絶対値）により除算する。
【０１２９】
ステップＳ３０５においては、変数ｉについて最大値であるか否かについて判別する。この最大値は、ジェスチャ動作期間に対応して記録されたセンサ信号Ｓ１，Ｓ２の各サンプル数Ｎに対応する。
ここで否定の判別結果が得られた場合には、未だ、正規化値を取得していないサンプルが残っていることになる。そこで、ステップＳ３０６により変数ｉをインクリメントしてステップＳ３０４に戻る。これにより、順次、サンプルデータについて正規化値が得られることになる。
【０１３０】
そして、センサ信号Ｓｍについて最後のサンプルデータまで正規化処理が終了したとされると、ステップＳ３０５にて肯定の判別結果が得られることとなって、ステップＳ３０７に進む。ステップＳ３０７においては、変数ｍについて最大値であるか否かについて判別する。これまでの説明との対応では、センサ信号はＳ１，Ｓ２の２つであるから、変数ｍの最大値は２となる。
ステップＳ３０７において否定の判別結果が得られた場合には、未だ正規化処理を行っていないセンサ信号が残っていることになる。そこで、この場合にはステップＳ３０８により変数ｍについてインクリメントしてステップＳ３０２に戻る。これにより、これまでとは別のセンサ信号を対象として正規化処理が開始される。
そして、例えばセンサ信号Ｓ１，Ｓ２について正規化処理が完了したとされると、ステップＳ３０７において肯定の判別結果が得られることになり、ステップＳ１０２としてのセンサ信号正規化処理が終了されることになる。
なお、センサ信号S1,S2ごとに、サンプルデータの正規化値NOM_Sm_iを、時系列に従ったサンプル順で配列させた構造のものが、先に述べた正規化センサ信号NOM_S1、正規化センサ信号NOM_S2であるとしてみることができる。
【０１３１】
また、上記図２０の処理では、先にも述べたように、センサ信号Ｓ１，Ｓ２を対象にして正規化処理を行う手順として、先ず、センサ信号Ｓ１について処理を行い、これに続けてセンサ信号Ｓ２の処理を行うアルゴリズムとなる。しかし、実際においては、例えば図１７に示したブロック構成にそのまま対応するようにして、センサ信号Ｓ１，Ｓ２の正規化処理が併行した処理としてほぼ同時に実行されるようなアルゴリズムとしてもよい。
【０１３２】
説明を図１８に戻す。
上記ステップＳ１０２としての正規化処理を実行した後は、ステップＳ１０３として、位相平面写像化処理部３６が、ステップＳ１０２により得られたセンサ信号Ｓ１，Ｓ２の正規化値（正規化センサ信号NOM_S1、正規化センサ信号NOM_S2）のデータを利用して、位相平面写像化処理を実行する。これにより、位相平面写像化処理部３６は、信号軌跡のデータを取得する。
【０１３３】
ステップＳ１０４においては、評価項目算出部３７における相関係数算出部３７ａが、上記信号軌跡のデータを利用して相関係数ｒを算出する。
【０１３４】
次のステップＳ１０５においては、動作判定部３８により、今回検出されたジェスチャ動作について、水平方向のジェスチャ動作、垂直方向のジェスチャ動作、回転動作のうちの何れであるのかについて推定する処理となる。
ステップＳ１０５において動作判定部３８は、上記ステップＳ１０４にて算出された相関係数ｒを取り込む。そして、この相関係数ｒが、ｒ>0.5、ｒ<-0.5、-0.5≦r≦0.5のどの範囲に属するのかについて判別する。
【０１３５】
先に述べたように、水平方向と垂直方向との間での判定に関しては、原則的に、相関係数ｒが正の値のときに水平方向のジェスチャ動作、負の値のときに垂直方向のジェスチャ動作であると判断する。
但し、判定すべきジェスチャ動作として、回転動作を加える場合には、一定値を定めることとして、相関係数ｒの絶対値が一定値以下であれば回転動作として判定し、相関係数ｒの絶対値が一定値以上であれば水平／垂直方向のジェスチャ動作であると判定する。
【０１３６】
上記ステップＳ１０５において相関係数ｒと比較する閾値である+0.5，-0.5は、水平・垂直方向のジェスチャ動作であるか、回転動作であるかを判定するための上記一定値に相当する。なお、この+0.5，-0.5による閾値としての具体値はあくまでも一例であり、実際との兼ね合いなどで適宜変更されるべきものである。また、正の閾値と負の閾値とで互いに異なる値が設定されても良い。
【０１３７】
この場合には、相関係数ｒ>0.5の場合に水平方向のジェスチャ動作であると判定することになる。そこで、ステップＳ１０５において相関係数ｒ>0.5であると判別した場合に、動作判定部３８は、先ずステップＳ１０６により水平方向のジェスチャ動作であるとの認識結果を出力するものとする。次に、この認識結果に応じた処理として、続くステップＳ１０７以降の手順を実行することで、さらにジェスチャ動作が右動作と左動作の何れであるのかを判定する処理を実行する。
【０１３８】
ステップＳ１０７において動作判定部３８は、重心算出部３７ｂにより、信号軌跡についての重心Ｇ（gx,gy）を算出させる。次に、動作判定部３８は、ステップＳ１０８により、ステップＳ１０７にて算出された重心Ｇを取り込み、この重心Ｇ（gx,gy）の座標が存在する象限を判定する。
【０１３９】
ステップＳ１０８において、動作判定部３８は、第１象限であると判別した場合には、右動作であるとの判定結果を出力する。また、第３象限であると判別した場合には、左動作であるとの判別結果を出力する。
【０１４０】
また、ステップＳ１０８において、第１象限及び第３象限以外の象限（第２象限、第４象限）であると判別した場合として、ここでは、ステップＳ１２２に進み、有意なジェスチャ動作は行われなかったものとの判定結果を出力させることとしている。
なお、例えば予め定めた規則、演算などに従って、第２象限、第４象限に位置する重心Ｇが、第１象限、第３象限のうちで適切とされるほうの象限に位置させるように修正する処理を実行したうえで、その結果に応じて、右動作若しくは左動作の判定結果を出力するというアルゴリズムとすることも考えられる。
【０１４１】
また、ステップＳ１０５にて、相関係数ｒ<-0.5であると判別した場合には、動作判定部３８は、ステップＳ１１１に示すように、先ず、垂直方向のジェスチャ動作であるとの認識結果を出力する。そのうえで、この認識結果に応じた処理として、ステップＳ１１２以降の手順を実行することで、さらにジェスチャ動作が上動作と下動作の何れであるのかを判定する処理を実行する。
【０１４２】
ステップＳ１１２において動作判定部３８は、重心算出部３７ｂにより信号軌跡についての重心Ｇ（gx,gy）を算出させ、次のステップＳ１１３により、重心Ｇ（gx,gy）の座標が存在する象限を判定する。
【０１４３】
ステップＳ１１３において動作判定部３８は、第２象限であると判別した場合には、下動作であるとの判定結果を出力する。また、第４象限であると判別した場合には、上動作であるとの判定結果を出力する。
また、第２象限及び第４象限以外の象限（第１象限、第３象限）であると判別した場合には、ステップＳ１２２により、有意なジェスチャ動作は行われなかったものとして判定する。なお、この場合にも、水平方向のジェスチャ動作判定における場合と同じく、重心Ｇを、第２象限若しくは第４象限のいずれかに位置するものとなるようにして修正し、下動作・上動作の判定結果を出力するようにしてよい。
【０１４４】
また、ステップＳ１０５において相関係数ｒについて-0.5≦r≦0.5であると判別された場合には、先ず、ステップＳ１１６による判別処理を実行する。ステップＳ１１６においては、センサ信号の記録サンプル数Ｎについて、予め設定した閾値以上であるか否かについて判別する。
【０１４５】
先に述べてきたように、前提として、相関係数ｒについて-0.5≦r≦0.5の場合には回転動作であるとして判定してよい。
ただし、実際においては、回転動作以外の動きを検出したときにも、相関係数ｒの絶対値が一定以下となる可能性がある。例えば、例えば直線的な動きではあるが、水平方向若しくは垂直方向に対して相当にずれた角度で対象物を移動させたような動きの場合には、直交する検出軸の間でクロストークが生じて相関係数ｒの絶対値は小さくなる。この結果、相関係数ｒの絶対値が一定以下となる可能性がある。
【０１４６】
ステップＳ１１６の処理は、上記したことを考慮して、相関係数ｒについて-0.5≦r≦0.5であると判別された場合において、検出された動きについて、回転動作としてのジェスチャ動作であるのか、他の動きであるのかを弁別しようとするものである。
ここで、センサ信号の記録サンプル数Ｎは、ジェスチャ検出部３３が検出したジェスチャ動作期間に対応して第１センサ信号記録部３１、第２センサ信号記録部３２のそれぞれが記録したサンプルデータ数を指す。つまり、記録サンプル数Ｎは、ジェスチャ検出部３３が検出したジェスチャ動作期間であり、これは動きが継続して検出された時間長を示している。
【０１４７】
水平・垂直方向のジェスチャ動作は直線的な動きであるので、ジェスチャ動作期間として検出される時間は短い。これに対して、回転動作は、その動きの軌跡が円弧を描くことになるので、相応に長いものとなる。つまり、回転動作としてのジェスチャ動作期間は、相応に長い時間を要するといえる。
そこで、ステップＳ１１６に対応しては、回転動作を行ったときに得られるジェスチャ動作期間としての一般的、平均的な時間長に対応して得られるサンプル数に基づいて閾値を設定することとした。そして、ステップＳ１１６の処理として、記録サンプル数Ｎが閾値以上であると判別すれば、ステップＳ１１７により回転動作であるとの判定結果を得る。これに対して、記録サンプル数Ｎが閾値未満であるとして否定の判別結果を得たのであれば、ステップＳ１２２に進み、有意な動作は無かったものとの判定結果を出力する。
【０１４８】
ステップＳ１１８において動作判定部３８は、信号軌跡の回転方向を算出する。つまり、先の（数３）による演算を実行して、信号軌跡の外積のｚ成分の総和値ｐを求める。この外積のｚ成分の総和値ｐの正／負が回転方向を示していることになる。
【０１４９】
ステップＳ１１９において動作判定部３８は、上記ステップＳ１１８により求められた外積総和値ｐに基づき、信号軌跡の回転方向の全体傾向を判別する。つまり、外積のｚ成分の総和値ｐが正の値であれば、信号軌跡の回転方向の全体傾向は左回りであると判別し、外積のｚ成分の総和値ｐが負の値であれば、信号軌跡の回転方向の全体傾向は右回りであると判別する。
【０１５０】
動作判定部３８は、ステップＳ１１９により右回りであると判別した場合、ステップＳ１２０により、右回転動作であるとの判定結果を出力する。また、左回りであると判別した場合、動作判定部３８は、ステップＳ１２１により、左回転動作であるとの判定結果を出力する。
【０１５１】
＜８．位相平面写像化処理の変形例＞
先に図１１により説明した位相平面写像化処理では、位相平面上に対して、同じサンプルタイミングの正規化センサ信号NOM_S1，正規化センサ信号NOM_S2の値により座標をプロットするものとしていた。つまり、正規化センサ信号NOM_S1，正規化センサ信号NOM_S2についての、Ｎ個の記録サンプルにおるｉ番目のサンプル値を、xi,yiとして、位相平面に対して、順次、座標（xi,yi） （1≦i≦N）をプロットしていく。この場合、プロットする座標の座標値としては、正規化センサ信号NOM_S1，正規化センサ信号NOM_S2の値をそのまま用いているものである。
【０１５２】
これに対して、位相平面写像化処理の変形例では、位相平面上にプロットするためのｘ座標、ｙ座標の値として、それぞれ、元の正規化センサ信号NOM_S1,NOM_S2のサンプル値をべき乗して得られる値を用いることとする。この場合において、べき乗の指数nについては、３以上の奇数を用いる。
つまり、正規化センサ信号NOM_S1，正規化センサ信号NOM_S2についての、Ｎ個の記録サンプルにおるｉ番目のサンプル値を、xi,yiとして、正規化処理としては、座標（xi^n,yi^n）:（1≦i≦N、nは３以上の奇数）をプロットしていくものである。
【０１５３】
先ず、正規化センサ信号NOM_S1，正規化センサ信号NOM_S2をべき乗すると、絶対値の小さな値ほどより小さい値に変換されることになる。このことは、絶対値が大きくなるほど高い重み付けが与えられる、ということになる。すると、位相平面上に形成される信号軌跡としては、座標（xi,yi）をプロットしていった場合よりも、その包括的な形状の傾向が強調される結果になる。例えば、水平・垂直方向のジェスチャ動作に対応しては、その包括的形状は前述のように楕円Ｅとしてみることができるが、この楕円形状としては、より先鋭化されて、長径と短径の比がより大きなものとなっていく。
ただし、べき乗の指数nについて偶数を用いてしまうと、元のサンプル値xi,yiが負の数の場合には、べき乗した値が正に反転してしまう。そこで、べき乗の指数nについて奇数を用いることとして、元のサンプル値xi,yiの正・負の符号が反転することなく残るようにしている。
【０１５４】
このようにして、座標（xi^n,yi^n）により位相平面写像化を行って形成される信号軌跡は、その全体形状が強調されて、先鋭化されるものとなり得る。そして、このようにして形成された信号軌跡を利用して求められる相関係数ｒとしては、例えば水平・垂直方向のジェスチャ動作に対応しては、より極端な一定以上の絶対値が得られることになる。また、回転動作に対応しては、より極端な一定以下の値が得られることになる。つまり、ジェスチャ動作として，水平方向、垂直方向、また、回転方向の何れに応じたものであるのかについての判定精度を高くすることができる。
【０１５５】
また、座標（xi^n,yi^n）により形成される信号軌跡に基づいて重心Ｇの座標を求めた場合にも、この求められた座標としては、検出されたジェスチャ動作に応じてしかるべき象限内に位置するがより原点から遠くなって明確なものとすることができる。つまり、水平方向のジェスチャ動作に関しては、右動作と左動作についての判定精度が向上する。また、垂直方向のジェスチャ動作に関しても、上動作と下動作についての判定精度を向上させることが可能になる。
【０１５６】
なお、座標（xi^n,yi^n）により形成される信号軌跡に基づいて重心Ｇの座標（xg,xy）は、例えば下記の演算により求めることができる。
【数４】
【０１５７】
＜９．一次センサの配置態様についての変形例＞
また、本実施形態として、センサ部５を成す一次元センサ４０−１、４０−２において、一次元の動きを検出する２対の赤外線検出素子５１Ａ−１，５１Ｂ−１、赤外線検出素子５１Ａ−２，５１Ｂ−２の配置態様は、図８に示したものに限定されない。つまり認識・判定すべき二軸の直線的ジェスチャ動作の各移動方向に対して、例えば検出軸に４５°の角度を与えることで、上記二軸の直線的ジェスチャ動作の何れについても、対の赤外線検出素子５１Ａ−１，５１Ｂ−１、及び赤外線検出素子５１Ａ−２，５１Ｂ−２が、時間差をもって動きに応じた信号Ｓａ，Ｓｂを出力できるようになっていればよい。
【０１５８】
そこで、一次センサの配置態様の変形例として、図２１，図２２により、赤外線検出素子５１Ａ−１，５１Ｂ−１、赤外線検出素子５１Ａ−２，５１Ｂ−２についての他の配置態様例を示しておくこととする。
【０１５９】
図２１に示す変形例においては、例として、赤外線検出素子５１Ａ−１，５１Ｂ−１、赤外線検出素子５１Ａ−２，５１Ｂ−２を、センサ部５としての１つの部品・デバイスに実装した例を示している。例えば、図８に示した一次元センサ４０−１、４０−２のようにして、一対の赤外線検出素子５１Ａ，５１Ｂを備えるものは、汎用の焦電センサ部品などとして提供されることが多い。しかし、本実施形態のようにして、直交する２軸の直線的なジェスチャ動作を検出することを前提にする場合には、２対の赤外線検出素子５１Ａ−１，５１Ｂ−１、赤外線検出素子５１Ａ−２，５１Ｂ−２を備えた１つの焦電センサ部品として構成してもよいことになる。
【０１６０】
そして、図２１（ａ）における配置としては、先ず、赤外線検出素子５１Ａ−１，５１Ｂ−１に対応する検出軸Ｌ１、赤外線検出素子５１Ａ−２，５１Ｂ−２に対応する検出軸Ｌ２については、水平／垂直方向に対して、図８（ａ）と同じ角度関係としている。そのうえで、図示する態様により、検出軸Ｌ１を通過する位置に赤外線検出素子５１Ａ−１，５１Ｂ−１を配置し、検出軸Ｌ２を通過する位置に赤外線検出素子５１Ａ−２，５１Ｂ−２を配置したものである。
【０１６１】
上記図２１（ａ）による赤外線検出素子５１Ａ−１，５１Ｂ−１、赤外線検出素子５１Ａ−２，５１Ｂ−２の配置に応じて形成される空間検出領域６０Ａ−１，６０Ｂ−１、空間検出領域６０Ａ−２，６０Ｂ−２は、図２１（ｂ）に示すものとなる。
【０１６２】
次に、図２２の変形例について説明する。
この場合には、図２２（ａ）に示すように、検出軸Ｌ１は、一定距離を隔てた２つの平行な検出軸Ｌ１ａ，Ｌ１ｂに分割して設定している。また、これら検出軸Ｌ１ａ，Ｌ１ｂは、水平／垂直方向に対して図８の検出軸Ｌ１と同じ角度を設定している。この場合には、検出軸Ｌ１ａのほうが下側で、検出軸Ｌ１ｂのほうが上側となる位置関係としている。
同様にして、検出軸Ｌ２も、水平／垂直方向に対して図８の検出軸Ｌ２と同じ角度を設定したうえで、一定距離を隔てた２つの平行な検出軸Ｌ２ａ，Ｌ２ｂに分割して設定している。また、この場合には、検出軸Ｌ２ｂのほうが下側で、検出軸Ｌ２ａのほうが上側となる位置関係としている。
【０１６３】
そのうえで、検出軸Ｌ１ａ上に対しては、赤外線検出素子５１Ａ−１を配置し、検出軸Ｌ１ｂ上には、赤外線検出素子５１Ｂ−１を配置する。また、検出軸Ｌ２ａ上に対しては、赤外線検出素子５１Ａ−２を配置し、検出軸Ｌ２ｂ上には、赤外線検出素子５１Ｂ−２を配置する。
なお、上記赤外線検出素子５１Ａ−１，５１Ｂ−１、赤外線検出素子５１Ａ−２，５１Ｂ−２の配置に応じて形成される空間検出領域６０Ａ−１，６０Ｂ−１、空間検出領域６０Ａ−２，６０Ｂ−２は、図２２（ｂ）に示すものとなる。
【０１６４】
上記図２１，図２２の何れの配置態様によっても、図８と同様に、一方の対となる赤外線検出素子５１Ａ−１，５１Ｂ−１は、水平／垂直の何れの方向の動きについても、時間差をもって動きを検出することができる。
また、他方の対となる赤外線検出素子５１Ａ−２，５１Ｂ−２も、水平／垂直の何れの方向の動きについても、時間差をもって動きを検出できる。
また、赤外線検出素子５１Ａ−１，５１Ｂ−１、赤外線検出素子５１Ａ−２，５１Ｂ−２が水平／垂直方向の直線的動きを検出する順序も、図８と同様になっている。
【０１６５】
なお、先の説明では、図１７のジェスチャ動作判定部１８は、制御部１１としてのＣＰＵがプログラムを実行することにより実現されるソフトウェア処理であることとした。しかし、例えばジェスチャ動作判定部１８としての信号処理を、ＤＳＰ（Dgital Signal Processor）により構成してもよい。つまり、ＤＳＰについて、ジェスチャ動作判定部１８としての信号処理を実行するためのプログラム、インストラクションを記憶させて構成する。
また、ジェスチャ動作判定部１８としての信号処理をハードウェアにより構成することも考えられる。
【０１６６】
また、制御部１１としてのＣＰＵが実行するプログラムは、例えばフラッシュメモリであるとかＲＯＭに対して書き込んで記憶させるほか、リムーバブルの記憶媒体に記憶させておいたうえで、この記憶媒体からインストール(アップデートも含む）させるようにしてフラッシュメモリなどに記憶させることが考えられる。また、所定のデータインターフェースを経由させるなどして、他のホストとなる機器からの制御によってプログラムのインストールを行えるようにすることも考えられる。さらに、ネットワーク上のサーバなどにおける記憶装置に記憶させておいたうえで、例えばジェスチャ認識を実行する装置ネットワーク機能を持たせることとし、サーバからダウンロードして取得してインストールできるように構成することも考えられる。
【０１６７】
また、これまでの説明においては、一次元センサ４０−１、４０−２の検出軸Ｌ１，Ｌ２について、水平／垂直方向に対して４５°の角度を与えている。これは、本実施形態において定めた二軸の直交する直線的ジェスチャ動作が、左右動作に対応する水平方向(第2の方向)と、上下動作に対応する垂直方向(第２の方向)としていることによる。
例えば、逆に二軸の直交する直線的ジェスチャ動作を、それぞれ水平／垂直方向に対して４５°となる方向に沿ったものとして定めたとすれば、検出軸Ｌ１，Ｌ２のそれぞれが水平／垂直方向に一致するようにして一次元センサ４０−１、４０−２を配置させることになる。
【０１６８】
また、実施形態では、最もあり得る態様として、二軸の直線的ジェスチャ動作について相互に直交させる方向であるものとして定めているが、必ずしも、直交させる必要はない。つまり、直線的ジェスチャ動作の各軸が交差する角度が９０°以外であってもよい。
本実施形態では、直線的ジェスチャ動作の各軸が交差する角度について、９０°以外の角度であっても、対の検出素子において必要な検出時間差が得られていれば、それぞれの軸方向のジェスチャ動作を適正に認識可能である。
【０１６９】
なお、これまでにおいては、一次元センサ４０として、デュアル型焦電センサを採用した場合を例に挙げた。しかし、一次元センサとして採用し得るセンサ方式には、焦電効果を利用する以外の方式も挙げることができる。一次元センサとしては、これらの方式に基づいて構成したものを採用してよい。
【０１７０】
また、これまでにおいては、本実施形態のジェスチャ認識・判定のための構成を写真立て型表示装置に適用しているが、これはあくまでも一例である。本実施形態のジェスチャ認識の構成は、他の各種の装置にも多様に適用できる。
【符号の説明】
【０１７１】
１ 写真立て型表示装置、２ 本体部、３ 表示画面部、４ スタンド、５ センサ部、１１ 制御部、１２ ディスプレイデバイス、１３ フラッシュメモリ、１４ ＳＤＲＡＭ、１５ 時計部、１６ 操作部、１７ メモリカードインターフェース、１８ ジェスチャ動作判定部、２０ メモリカード、３１ 第１センサ信号記録部、３２ 第２センサ信号記録部、３３ ジェスチャ検出部、３４ 第１正規化処理部、３５ 第２正規化処理部、３６ 位相平面写像化処理部、３７ 評価項目算出部、３７ａ 相関係数算出部、３７ｂ 重心算出部、３７ｃ 回転方向算出部、３８ 動作判定部、４０ 一次元センサ、４１ 集光器、４２ 焦電センサ部、４３ アンプ・フィルタ、５１Ａ（５１Ａ−１・５１Ａ−２）・５１Ｂ（５１Ｂ−１・５１Ｂ−２） 赤外線検出素子、６０Ａ−１・６０Ａ−２・６０Ｂ−１・６０Ｂ−２ 空間検出領域
【特許請求の範囲】
【請求項１】
１つの検出軸に沿った一次元方向の対象物の動作に応じた動きを検出して、その検出した動きに応じた信号を出力するもので、上記検出軸が、認識対象として定められた直線的な対象物の動作の方向である第１の方向及び第２の方向に対して異なるようにして配置される、第１，第２の一次元センサ手段と、
上記第１，第２の一次元センサ手段から出力される第１、第２の信号のそれぞれについて、その振幅値を、ピーク値との比により表される値に変換するようにして正規化する処理を実行する正規化処理手段と、
同じ時間ごとの上記正規化された第１の信号の値に基づくｘ座標値と、上記正規化された第２の信号の値に基づくｙ座標値とにより、位相平面上に対して座標をプロットするようにして、上記第１，第２の時系列に応じた信号軌跡を形成する、位相平面写像化処理手段と、
上記信号軌跡を形成する座標値を利用して、第１，第２の信号についての相関係数を求める相関係数算出手段と、
少なくとも上記相関係数の値が正／負の何れであるのかに基づいて、検出された動きが、上記第１の方向の動作であるか、上記第２の方向の動作であるのかを判定する動作判定手段と、
を備える動作認識装置。
【請求項２】
上記信号軌跡についての位相平面上での重心の座標を算出する重心算出手段をさらに備え、
上記動作判定手段は、
上記第１の方向であるとの判定結果に対応する上記相関係数の場合には、算出された上記重心の座標に基づいて、上記第１の方向における正方向の動作と逆方向の動作の何れであるのかを判定し、
上記第２の方向であるとの判定結果に対応する上記相関係数の場合には、算出された上記重心の座標に基づいて、上記第２の方向における正方向の動作と逆方向の動作の何れであるのかを判定する、
請求項１に記載の動作認識装置。
【請求項３】
対象物の動作として、対象物を略円周状に動かす回転動作が認識対象として定められているうえで、
上記信号軌跡の座標を時系列に従ってプロットしたときの回転方向であるプロット回転方向を認識するプロット回転方向認識手段をさらに備え、
上記動作判定手段は、
上記相関係数の絶対値が、検出された対象物の動きが上記回転動作であるとの判定結果に対応する一定以下である場合には、上記認識されたプロット回転方向に基づいて、右回転動作と左回転動作の何れであるのかを判定する、
請求項１又は請求項２に記載の動作認識装置。
【請求項４】
上記プロット回転方向認識手段は、
プロットした座標ごとの外積ののｚ成分の総和値を求めたうえで、この総和値の正／負に基づいてプロット回転方向を認識する、
請求項３に記載の動作認識装置。
【請求項５】
上記動作判定手段は、
上記相関係数の絶対値が一定以下であり、かつ、対象物の動きが検出されていたとされる期間としての時間長が一定以上である場合に、検出された対象物の動きが上記回転動作であるとの判定結果を得るようにされている、
請求項３又は請求項４に記載の動作認識装置。
【請求項６】
上記位相平面写像化処理手段は、
上記正規化された第１の信号の値に基づくｘ座標値として、この正規化された第１の信号の値を、奇数の指数によりべき乗した値を用い、
上記正規化された第２の信号の値に基づくｙ座標値として、この正規化された第２の信号の値を、上記奇数の指数によりべき乗した値を用いる、
請求項１乃至請求項５のいずれかに記載の動作認識装置。
【請求項７】
１つの検出軸に沿った一次元方向の対象物の動作に応じた動きを検出して、その検出した動きに応じた信号を出力するもので、上記検出軸が、認識対象として定められた直線的な対象物の動作の方向である第１の方向及び第２の方向に対して異なるようにして配置される、第１，第２の一次元センサ部から出力される第１、第２の信号のそれぞれについて、その振幅値を、ピーク値との比により表される値に変換するようにして正規化する処理を実行する正規化処理手順と、
同じ時間ごとの上記正規化された第１の信号の値に基づくｘ座標値と、上記正規化された第２の信号の値に基づくｙ座標値とにより、位相平面上に対して座標をプロットするようにして、上記第１，第２の時系列に応じた信号軌跡を形成する、位相平面写像化処理手順と、
上記信号軌跡を形成する座標値を利用して、第１，第２の信号についての相関係数を求める相関係数算出手順と、
少なくとも上記相関係数の値が正／負の何れであるのかに基づいて、検出された動きが、上記第１の方向の動作であるか、上記第２の方向の動作であるのかを判定する動作判定手順と、
を実行する動作認識方法。
【請求項８】
動作認識装置に、
１つの検出軸に沿った一次元方向の対象物の動作に応じた動きを検出して、その検出した動きに応じた信号を出力するもので、上記検出軸が、認識対象として定められた直線的な対象物の動作の方向である第１の方向及び第２の方向に対して異なるようにして配置される、第１，第２の一次元センサ部から出力される第１、第２の信号のそれぞれについて、その振幅値を、ピーク値との比により表される値に変換するようにして正規化する処理を実行する正規化処理手順と、
同じ時間ごとの上記正規化された第１の信号の値に基づくｘ座標値と、上記正規化された第２の信号の値に基づくｙ座標値とにより、位相平面上に対して座標をプロットするようにして、上記第１，第２の時系列に応じた信号軌跡を形成する、位相平面写像化処理手順と、
上記信号軌跡を形成する座標値を利用して、第１，第２の信号についての相関係数を求める相関係数算出手順と、
少なくとも上記相関係数の値が正／負の何れであるのかに基づいて、検出された動きが、上記第１の方向の動作であるか、上記第２の方向の動作であるのかを判定する動作判定手順と、
を実行させるためのプログラム。
【請求項１】
１つの検出軸に沿った一次元方向の対象物の動作に応じた動きを検出して、その検出した動きに応じた信号を出力するもので、上記検出軸が、認識対象として定められた直線的な対象物の動作の方向である第１の方向及び第２の方向に対して異なるようにして配置される、第１，第２の一次元センサ手段と、
上記第１，第２の一次元センサ手段から出力される第１、第２の信号のそれぞれについて、その振幅値を、ピーク値との比により表される値に変換するようにして正規化する処理を実行する正規化処理手段と、
同じ時間ごとの上記正規化された第１の信号の値に基づくｘ座標値と、上記正規化された第２の信号の値に基づくｙ座標値とにより、位相平面上に対して座標をプロットするようにして、上記第１，第２の時系列に応じた信号軌跡を形成する、位相平面写像化処理手段と、
上記信号軌跡を形成する座標値を利用して、第１，第２の信号についての相関係数を求める相関係数算出手段と、
少なくとも上記相関係数の値が正／負の何れであるのかに基づいて、検出された動きが、上記第１の方向の動作であるか、上記第２の方向の動作であるのかを判定する動作判定手段と、
を備える動作認識装置。
【請求項２】
上記信号軌跡についての位相平面上での重心の座標を算出する重心算出手段をさらに備え、
上記動作判定手段は、
上記第１の方向であるとの判定結果に対応する上記相関係数の場合には、算出された上記重心の座標に基づいて、上記第１の方向における正方向の動作と逆方向の動作の何れであるのかを判定し、
上記第２の方向であるとの判定結果に対応する上記相関係数の場合には、算出された上記重心の座標に基づいて、上記第２の方向における正方向の動作と逆方向の動作の何れであるのかを判定する、
請求項１に記載の動作認識装置。
【請求項３】
対象物の動作として、対象物を略円周状に動かす回転動作が認識対象として定められているうえで、
上記信号軌跡の座標を時系列に従ってプロットしたときの回転方向であるプロット回転方向を認識するプロット回転方向認識手段をさらに備え、
上記動作判定手段は、
上記相関係数の絶対値が、検出された対象物の動きが上記回転動作であるとの判定結果に対応する一定以下である場合には、上記認識されたプロット回転方向に基づいて、右回転動作と左回転動作の何れであるのかを判定する、
請求項１又は請求項２に記載の動作認識装置。
【請求項４】
上記プロット回転方向認識手段は、
プロットした座標ごとの外積ののｚ成分の総和値を求めたうえで、この総和値の正／負に基づいてプロット回転方向を認識する、
請求項３に記載の動作認識装置。
【請求項５】
上記動作判定手段は、
上記相関係数の絶対値が一定以下であり、かつ、対象物の動きが検出されていたとされる期間としての時間長が一定以上である場合に、検出された対象物の動きが上記回転動作であるとの判定結果を得るようにされている、
請求項３又は請求項４に記載の動作認識装置。
【請求項６】
上記位相平面写像化処理手段は、
上記正規化された第１の信号の値に基づくｘ座標値として、この正規化された第１の信号の値を、奇数の指数によりべき乗した値を用い、
上記正規化された第２の信号の値に基づくｙ座標値として、この正規化された第２の信号の値を、上記奇数の指数によりべき乗した値を用いる、
請求項１乃至請求項５のいずれかに記載の動作認識装置。
【請求項７】
１つの検出軸に沿った一次元方向の対象物の動作に応じた動きを検出して、その検出した動きに応じた信号を出力するもので、上記検出軸が、認識対象として定められた直線的な対象物の動作の方向である第１の方向及び第２の方向に対して異なるようにして配置される、第１，第２の一次元センサ部から出力される第１、第２の信号のそれぞれについて、その振幅値を、ピーク値との比により表される値に変換するようにして正規化する処理を実行する正規化処理手順と、
同じ時間ごとの上記正規化された第１の信号の値に基づくｘ座標値と、上記正規化された第２の信号の値に基づくｙ座標値とにより、位相平面上に対して座標をプロットするようにして、上記第１，第２の時系列に応じた信号軌跡を形成する、位相平面写像化処理手順と、
上記信号軌跡を形成する座標値を利用して、第１，第２の信号についての相関係数を求める相関係数算出手順と、
少なくとも上記相関係数の値が正／負の何れであるのかに基づいて、検出された動きが、上記第１の方向の動作であるか、上記第２の方向の動作であるのかを判定する動作判定手順と、
を実行する動作認識方法。
【請求項８】
動作認識装置に、
１つの検出軸に沿った一次元方向の対象物の動作に応じた動きを検出して、その検出した動きに応じた信号を出力するもので、上記検出軸が、認識対象として定められた直線的な対象物の動作の方向である第１の方向及び第２の方向に対して異なるようにして配置される、第１，第２の一次元センサ部から出力される第１、第２の信号のそれぞれについて、その振幅値を、ピーク値との比により表される値に変換するようにして正規化する処理を実行する正規化処理手順と、
同じ時間ごとの上記正規化された第１の信号の値に基づくｘ座標値と、上記正規化された第２の信号の値に基づくｙ座標値とにより、位相平面上に対して座標をプロットするようにして、上記第１，第２の時系列に応じた信号軌跡を形成する、位相平面写像化処理手順と、
上記信号軌跡を形成する座標値を利用して、第１，第２の信号についての相関係数を求める相関係数算出手順と、
少なくとも上記相関係数の値が正／負の何れであるのかに基づいて、検出された動きが、上記第１の方向の動作であるか、上記第２の方向の動作であるのかを判定する動作判定手順と、
を実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【公開番号】特開２０１０−２１１７８１（Ｐ２０１０−２１１７８１Ａ）
【公開日】平成２２年９月２４日（２０１０．９．２４）
【国際特許分類】
【出願番号】特願２００９−１２０１９３（Ｐ２００９−１２０１９３）
【出願日】平成２１年５月１８日（２００９．５．１８）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２２年９月２４日（２０１０．９．２４）
【国際特許分類】
【出願日】平成２１年５月１８日（２００９．５．１８）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]