電子装置、データ生成方法およびデータ生成プログラム
【課題】異なる種類のセンサで検出された信号を比較する。
【解決手段】入力された情報を抽象化する抽象化部２４と、抽象化された情報を正規化する正規化部２５と、正規化された情報を２つ以上比較し、該比較結果に基づいて該２つ以上の正規化された情報が同種の情報であるか否か判定する比較判定部２７と、を備える。
【解決手段】入力された情報を抽象化する抽象化部２４と、抽象化された情報を正規化する正規化部２５と、正規化された情報を２つ以上比較し、該比較結果に基づいて該２つ以上の正規化された情報が同種の情報であるか否か判定する比較判定部２７と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電子装置、データ生成方法およびデータ生成プログラムに関する。
【背景技術】
【０００２】
従来、入力する画像信号中から被写体の動きを検出する方法が開示されている。例えば、特許文献１では、予め、全画面領域を所定数の検出領域に分割した設定と、輝度変化を判定するための輝度しきい値と、照明のオン／オフ切替時の輝度変化パターンを格納するステップと、入力する画像信号から、前記検出領域毎に輝度信号を選択するステップと、
画像フレーム毎に同じ検出領域の輝度信号を検出し、前記輝度しきい値と比較することで輝度変化を検出するステップと、前記輝度変化が検出された場合に前記輝度変化パターンと照合することにより、前記輝度変化パターンが照明切替時であるか否かを判別し、照明切替時ではないと判別された場合に被写体動きを検出したと判別するステップを有する被写体動き検出方法が示されている。
【０００３】
一方、自装置の動きを検出するモーションセンサを備えた携帯情報処理装置が開示されている。例えば、特許文献２では、モーションセンサ部と、前記モーションセンサ部の出力に所定の処理を施す処理手段と、ユーザによる携帯情報処理装置の使用状態を検知する使用状態検知手段と、使用状態が検知されると前記モーションセンサ部および前記処理手段の少なくとも１つを停止させる制御手段とを備えている携帯情報処理装置が示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−１９３９４０号公報
【特許文献２】特開２００５−２８６８０９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
例えば、電子装置が、モーションセンサで検出した自電子装置の動きと同じ動きをしている他の電子装置を、イメージセンサにより得られた映像の中から抽出しようとした場合、モーションセンサで検出された自装置の動きを示す波形と、映像中の他の電子装置の動きを示す波形とを比較して、それらの波形から同じ動きをしているか否か判定する必要がある。
【０００６】
しかし、そもそもモーションセンサで得られる信号の振幅と、イメージセンサで得られる映像信号の振幅とは、スケールが異なっているので、電子装置は、それらの波形を単純に比較することができなかった。
このように、異なるセンサ（例えば、モーションセンサ、イメージセンサ）から得られる信号を比較することができないという問題があった。
【０００７】
そこで本発明は、上記問題に鑑みてなされたものであり、異なるセンサから得られた信号を比較することを可能とする電子装置、データ生成方法およびデータ生成プログラムを提供することを課題とする。
【課題を解決するための手段】
【０００８】
上記の課題を解決するために、本発明の一態様である電子装置は、入力された情報を抽象化する抽象化部と、前記抽象化された情報を正規化する正規化部と、前記正規化された情報を２つ以上比較し、該比較結果に基づいて該２つ以上の正規化された情報が同種の情報であるか否か判定する比較判定部と、を備えることを特徴とする。
【０００９】
また、本発明の一態様であるデータ生成方法は、入力された情報を抽象化する抽象化手順と、前記抽象化された情報を正規化する正規化手順と、前記正規化された情報を２つ以上比較し、該比較結果に基づいて該２つ以上の正規化された情報が同種の情報であるか否か判定する比較判定手順と、を有することを特徴とする。
【００１０】
また、本発明の一態様であるデータ生成プログラムは、コンピュータに、入力された情報を抽象化する抽象化ステップと、前記抽象化された情報を正規化する正規化ステップと、前記正規化された情報を２つ以上比較し、該比較結果に基づいて該２つ以上の正規化された情報が同種の情報であるか否か判定する比較判定ステップと、を実行させるためのデータ生成プログラムである。
【発明の効果】
【００１１】
本発明によれば、異なるセンサから得られた信号を比較することができる。
【図面の簡単な説明】
【００１２】
【図１】第１の実施形態における電子装置のブロック構成図である。
【図２】第１の実施形態における画像領域抽出部の処理を説明するための図である。
【図３】第１の実施形態における移動画素量算出部の処理について説明するための図である。
【図４】動きを示す情報を平滑化する抽象化部の処理を説明するための図である。
【図５】移動画素量を示す情報を平滑化する抽象化部の処理を説明するための図である。
【図６】抽象化部に入力される入力データの一例とその入力データから算出される自己相関関数の一例とが示された図である。
【図７】１周期平均データａｖｅ（ｎ）の波形の一例が示された図である。
【図８】抽象化部に入力される入力データの一例と、その入力データが抽象化されたデータの一例とが示されている。
【図９】抽象化された相対距離を示す情報を正規化する正規化部の処理を説明するための図である。
【図１０】抽象化された移動画素量を示す情報を正規化する正規化部の処理を説明するための図である。
【図１１】比較判定部による処理を説明するための図である。
【図１２】第１の実施形態の電子装置の処理の流れを示したフローチャートである。
【図１３】第２の実施形態の対象特定システムを概略図である。
【図１４】第２の実施形態における第１の電子装置のブロック構成図である。
【図１５】第２の実施形態における第２の電子装置のブロック構成図である。
【図１６】第２の実施形態の第２の電子装置ｓの処理の流れを示したフローチャートである。
【発明を実施するための形態】
【００１３】
＜第１の実施形態＞
以下、本発明の実施形態について、図面を参照して詳細に説明する。まず、第１の実施形態の電子装置１の概要について説明する。電子装置１は、予め自装置が備える動き検出部１１によって検出された自装置の動きと、同じ動きで動かされている他の電子装置を撮像部１２により得られた映像から抽出する。
【００１４】
その際、電子装置１は、基準位置からの自装置の相対距離を示す情報および映像信号中の他の電子装置の画像領域の移動画素量を示す情報を抽象化し、抽象化されたそれらの情報を正規化し、正規化された２つの情報を比較し、該比較結果に基づいて該正規化された２つの情報が同種の情報であるか否か判定する。これにより、異なるセンサ（動き検出部、撮像部）から得られる信号を比較することができる。
【００１５】
図１は、第１の実施形態における電子装置１のブロック構成図である。電子装置１は、検出部１０と、制御部２０と、通信部３０とを備える。
検出部１０は、検出の対象から該対象の特徴を示す信号を検出する複数種類の検出部を備える。本実施形態では、一例として、検出部１０は、動き検出部１１と、撮像部１２とを備える。
通信部３０は、有線または無線方式で、他の電子装置と通信可能に構成されている。
【００１６】
動き検出部１１は、自装置の動きを検出し、検出した動きを示す情報を相対距離算出部２１に出力する。ここで、動きを示す情報とは、自装置の３次元方向の動きを示す情報である。動き検出部１１は、例えば、３次元加速度センサを備える。
撮像部１２は、例えば、ＣＣＤイメージセンサと、ＡＤＣ（ＡＤコンバータ）とを備える。撮像部１２は、ＣＣＤイメージセンサにより被写体である他の電子装置を所定のフレームレート（例えば、１秒間に３０フレーム）で撮像し、撮像により得られた信号をＡＤＣによりデジタル信号に変換し、変換されたデジタル信号を画像領域抽出部２２に出力する。
【００１７】
制御部２０は、相対距離算出部２１と、画像領域抽出部２２と、移動画素量算出部２３と、抽象化部２４と、正規化部２５と、記憶部２６と、比較判定部２７とを備える。
相対距離算出部２１は、動き検出部１１から入力された動きを示す情報から、所定の時刻における自装置の位置を基準とした自装置の相対距離を時刻毎に算出する。そして、相対距離算出部２１は、自装置の相対距離を示す情報を抽象化部２４に出力する。
【００１８】
画像領域抽出部２２は、撮像部１２により得られたデジタル信号を用いて、撮像部１２により得られた上記所定のフレームレートで撮像された映像から被写体である他の電子装置の画像領域を抽出する。
【００１９】
図２は、第１の実施形態における画像領域抽出部２２の処理を説明するための図である。同図において、向かって左側に、画像領域（オブジェクト）が抽出される前のｋ番目（ｋは正の整数）のフレームの画像の一例が示されている。ｋ番目のフレームの画像内には、５つの電子装置の画像領域４１〜４５が示されている。
【００２０】
同図の向かって右側には、画像領域抽出部２２の処理によって抽出された電子装置のそれぞれの画像領域４１〜４５を構成する座標を要素とするベクトル（それぞれ［Ｘ１，Ｙ１］、［Ｘ２，Ｙ２］、［Ｘ３，Ｙ３］、［Ｘ４，Ｙ４］、［Ｘ５，Ｙ５］）が示されている。
【００２１】
ここで、記憶部２６には、テンプレートマッチングで参照される電子装置１が撮像された参照画像データが予め記憶されている。
例えば、画像領域抽出部２２は、記憶部２６からテンプレートマッチングで参照する電子装置１が撮像された参照画像データを読み出す。画像領域抽出部２２は、入力されたｋ番目のフレームの画像データから所定の大きさの画像領域のデータを抽出し、抽出した画像データ（例えば、図２の画像領域４１〜４５のデータ）と読み出した参照画像データとのテンプレートマッチングを行う。
【００２２】
具体的には、例えば、画像領域抽出部２２は、抽出した画像領域のデータと読み出した参照画像データをそれぞれ、所定の数の行と所定の数の列（例えば、３×３）のブロックに分割する。そして、画像領域抽出部２２は、分割されたブロック毎に、抽出した画像領域のデータと読み出した参照画像データとの間でＲＧＢ（赤、緑、青）それぞれの輝度値の差の絶対値を算出し、その差の絶対値の和を算出する。画像領域抽出部２２は、分割されたブロック全てで、当該差の絶対値の和を算出し、その絶対値の和の総和を算出する。
【００２３】
そして、画像領域抽出部２２は、算出した絶対値の和の総和が所定の閾値よりも小さい場合、抽出した画像領域のデータを電子装置の画像領域として抽出する。
画像領域抽出部２２は、この処理を所定の画素ずらしながら画像全体で行う。これにより、画像領域抽出部２２は、被写体（ここでは、電子装置）が撮像された各フレームの画像から、その被写体の画像領域を抽出することができる。
画像領域抽出部２２は、抽出した被写体の画像領域の画素位置を示す情報を移動画素量算出部２３に出力する。
【００２４】
移動画素量算出部２３は、抽出された各画像領域が所定のフレームにおけるそれぞれの画像領域の画素位置からの画素間隔を移動画素量として算出する。具体的には、例えば、移動画素量算出部２３は、各フレームから画像領域抽出部２２により抽出された画像領域それぞれについて、重心の画素位置を抽出する。そして、移動画素量算出部２３は、所定のフレームにおける重心の画素位置を基準として、その基準となる重心の画素位置から各フレームにおける重心の画素位置がどれだけ離れているかを示す移動画素量を算出する。移動画素量算出部２３は、算出した移動画素量を示す情報を抽象化部２４に出力する。
【００２５】
図３は、第１の実施形態における移動画素量算出部２３の処理について説明するための図である。同図において、向かって左側に、上からｋ−１番目のフレームの画像と、ｋ番目のフレームの画像と、ｋ＋１番目のフレームの画像とが示されている。
ｋ−１番目のフレームの画像において、電子装置の画像領域５１と、その電子装置の画像領域５１の重心の画素位置である基準画素位置５４が示されている。
同様に、ｋ番目のフレームの画像において、電子装置の画像領域５２が示され、ｋ＋１番目のフレームの画像において、電子装置の画像領域５３が示されている。
【００２６】
同図において、向かって右側に、上からｋ−１番目のフレームにおける移動画素量０と、ｋ番目のフレームにおける移動画素量２５０と、ｋ＋１番目のフレームにおける移動画素量５００とが示されている。
【００２７】
同図において、移動画素量算出部２３は、一例として、ｋ−１番目のフレームの画像中における電子装置の画像領域５１の画素位置を示す情報を受け取り、電子装置の画像領域５１の重心の画素位置である基準画素位置５４を算出し、移動画素量０を算出する。
同様に、移動画素量算出部２３は、一例として、ｋ番目のフレームの画像中における電子装置の画像領域５２の画素位置を示す情報を受け取り、電子装置の画像領域５２の重心の画素位置を算出し、重心の画素位置が基準画素位置５４から離れているピクセル数を移動画素量（ここでは、例として２５０）として算出する。
【００２８】
同様に、移動画素量算出部２３は、一例として、ｋ＋１番目のフレームの画像中における電子装置の画像領域５３の画素位置を示す情報を受け取り、電子装置の画像領域５３の重心の画素位置を算出し、重心の画素位置が基準画素位置５４から離れているピクセル数を移動画素量（ここでは、例として５００）として算出する。
【００２９】
図１に戻って、抽象化部２４は、入力された情報を抽象化する。詳細には、抽象化部２４は、複数種類の検出部によりそれぞれ検出された信号に基づく情報を抽象化する。まず、抽象化部２４の処理の概要について説明する。
【００３０】
図４を用いて、抽象化部２４の処理の一例について説明する。図４は、動きを示す情報を平滑化する抽象化部２４の処理を説明するための図である。同図の向かって左側には、動きを示す情報として、あるフレームにおける自装置の位置を基準位置とした時刻毎の自装置の相対距離が滑らかに繋がれた曲線６１が示されている。同図の向かって右側には、抽象化部２４により曲線６１が平滑化された曲線６２が示されている。
【００３１】
抽象化部２４は、相対距離算出部２１から入力された自装置の相対距離を示す情報を抽象化する。具体的には、例えば、抽象化部２４は、自装置の相対距離を示す情報が時系列順に並んだデータの自己相関関数を算出し、該算出された自己相関関数に基づいて、自装置の相対距離を示す情報を抽象化する。抽象化部２４は、抽象化した相対距離を示す情報を正規化部２５に出力する。その処理の詳細は、後述する。
【００３２】
図５を用いて、抽象化部２４の処理の一例について説明する。図５は、移動画素量を示す情報を平滑化する抽象化部２４の処理を説明するための図である。同図の向かって左側には、移動画素量を示す情報として、時刻毎の移動画素量が滑らかに繋がれた曲線７１が示されている。同図の向かって右側には、抽象化部２４により曲線７１が抽象化された曲線７２が示されている。
【００３３】
抽象化部２４は、移動画素量算出部２３から入力された移動画素量を抽象化する。具体的には、例えば、抽象化部２４は、被写体である電子装置の移動画素量を時系列順に並んだデータの自己相関関数を算出し、該算出された自己相関関数に基づいて、移動画素量を示す情報を抽象化する。そして、抽象化部２４は、抽象化された移動画素量を示す情報を正規化部２５に出力する。
【００３４】
続いて、抽象化部２４の処理の詳細について説明する。まず、抽象化部２４により算出される自己相関関数の算出方法について説明する。図６は、抽象化部２４に入力される入力データと抽象化部２４により算出される自己相関関数とが示された図である。図６（ａ）には、抽象化部２４に入力される入力データが繋がれた折れ線８１が示されている。ここで、縦軸は振幅、横軸はサンプル数である。
【００３５】
図６（ｂ）には、抽象化部２４に算出される自己相関関数を示す折れ線８２の一例が示されている。ここで、縦軸は自己相関関数の値、横軸はサンプル数である。また、自己相関関数の極大値であるピーク８３と、１番目のサンプルからピーク８３のサンプルまでが１周期τであることが示されている。
【００３６】
例えば、図６（ａ）に示された抽象化部２４に入力されるｎ項からなる入力データＡが、下記の式（１）で表される。
【００３７】
【数１】
【００３８】
また、図６（ａ）に示された入力データＡの配列の一部であるｍ項（ｍ＝ｎ／２）の配列Ａ´は、下記の式（２）で表される（ｎは２以上の偶数、ｍは正の整数）。
【００３９】
【数２】
【００４０】
ここで、Ａ´は固定である。また、図６（ａ）に示された入力データＡの配列をｔ（０≦ｔ≦ｎ／２）だけずらしたｍ項の配列Ｂは、下記の式（３）で表される。
【００４１】
【数３】
【００４２】
ここで、Ｂは可変である。
【００４３】
抽象化部２４は、このずらし幅ｔによって得られる配列Ａ´と配列Ｂによる自己相関関数は、以下の式（４）に従って、算出する。
【００４４】
【数４】
【００４５】
配列Ａ´と配列Ｂの各要素が所定の間隔で描画された波形が似ているほど値は１に近づくこととなる。
抽象化部２４は、自己相関関数Ｒ（ｔ）上で、上に凸の頂点のデータ（ピーク値）を抽出する。そして、抽象化部２４は、抽出したピーク値が所定の閾値を越えている場合、そのピーク値をとるサンプル番号（または時刻）を抽出する。抽象化部２４は、ピーク値をとるサンプル番号の間隔（または時間間隔）を周期τとして抽出する。
【００４６】
抽象化部２４は、入力データＡを自己相関関数で求めた周期τで１周期ごとに分割する。そして、繰り返し回数ｎｕｍとすると、抽象化部２４は、１周期平均データａｖｅ（ｎ）は以下の式（５）に従って算出する。
【００４７】
【数５】
【００４８】
図７は、１周期平均データａｖｅ（ｎ）の波形の一例と４サンプル毎の平均とが示された図である。図７（ａ）は、１周期平均データａｖｅ（ｎ）の波形８４が示されている。図７（ｂ）は、１周期平均データａｖｅ（ｎ）を４サンプル毎に平均された値が繋がれた線８５が示されている。
【００４９】
図８には、抽象化部２４に入力される入力データの一例と、その入力データが抽象化されたデータの一例とが示されている。同図において、入力データが繋がれた折れ線８１と、その入力データが抽象化されたデータが繋がれた折れ線８６とが示されている。折れ線８６は、１周期平均データａｖｅ（ｎ）を４サンプル毎に平均された値が繋がれた線８５を１周期分のデータとして、入力データＡが有する周期数だけ繋がれた折れ線である。
【００５０】
抽象化部２４は、１周期平均データａｖｅ（ｎ）を所定の分割数（例えば、４）で区切り、区切った範囲の平均値を算出する。そして、抽象化部２４は、算出された区切った範囲のデータを１周期のデータとして、入力データの周期数だけデータを抽象化されたデータとして生成する。そして、抽象化部２４は、抽象化されたデータを正規化部２５に出力する。
これにより、抽象化部２４は、入力されたデータから大きな変化を抽出した抽象化されたデータを生成することができるので、電子装置１は同じ種類のデバイスによって得られたデータを比較することができる。
【００５１】
なお、本実施形態では、抽象化部２４は、自己相関関数の値を用いて抽象化をしたが、これに限らず、ローパスフィルタを掛けて抽象化してもよい。
【００５２】
正規化部２５は、抽象化部２４から入力された抽象化された相対距離を示す情報を正規化し、正規化された相対距離（正規化相対距離）を示す情報を記憶部２６に記憶させる。具体的には、例えば、正規化部２５は、各時刻における抽象化された相対距離を正規化し、−１から１までの値にする。
【００５３】
図９を用いて、その処理について説明する。図９は、抽象化された相対距離を示す情報を正規化する正規化部２５の処理を説明するための図である。同図の向かって左側には、各時刻における平滑化された相対距離が滑らかに繋がれた曲線６２が示されている。同図の向かって右側には、正規化部２５により、各時刻における正規化された相対距離が滑らかに繋がれた曲線６３が示されている。
【００５４】
また、正規化部２５は、抽象化部２４から入力された抽象化された移動画素量を示す情報を正規化する。具体的には、例えば、正規化部２５は、各時刻における抽象化された移動画素量を正規化し、−１から１までの値にする。
【００５５】
図１０を用いて、その処理について説明する。図１０は、抽象化された移動画素量を示す情報を正規化する正規化部２５の処理を説明するための図である。同図の向かって左側には、各時刻における平滑化された移動画素量が滑らかに繋がれた曲線７２が示されている。同図の向かって右側には、正規化部２５により、各時刻における正規化された移動画素量が滑らかに繋がれた曲線７３が示されている。
【００５６】
正規化部２５は、正規化された移動画素量（正規化移動画素量）を示す情報を比較判定部２７に出力する。
以上、正規化部２５は、抽象化されたデータを正規化することにより、電子装置１は異なる種類のデバイスによって得られたデータを比較することができる。
【００５７】
図１に戻って、比較判定部２７は、正規化された相対距離Ｎｍを示す情報を記憶部２６から読み出す。そして、比較判定部２７は、正規化された相対距離Ｎｄと正規化移動画素量Ｎｍとに基づいて、動き検出部１１により検出された動きと同種の動きをしている画像領域を特定する。
【００５８】
図１１は、比較判定部２７による処理を説明するための図である。各時刻における正規化相対距離を示す曲線６３と、各時刻における正規化移動画素量を示す曲線７３とが示されている。例えば、比較判定部２７は、各時刻における正規化相対距離と各時刻における正規化移動画素量との差の絶対値を算出し、算出した各時刻における差の絶対値の総和を差算出する。そして、比較判定部２７は、その差の絶対値の総和が所定の閾値以下の場合、その正規化移動画素量が算出された画像領域を、動き検出部１１により検出された動きと同種の動きをしている画像領域と判定する。比較判定部２７は、判定結果を示す情報を自装置の外部に出力する。
【００５９】
なお、本実施形態では、比較判定部２７は、正規化された相対距離Ｎｄと正規化移動画素量Ｎｍとを比較したがこれに限らず、比較判定部２７は、正規化された情報を２つ以上比較し、該比較結果に基づいて該２つ以上の正規化された情報が同種の情報であるか否か判定すればよい。
【００６０】
図１２は、第１の実施形態の電子装置１の処理の流れを示したフローチャートである。まず、動き検出部１１は、自装置の動きを検出する（ステップＳ１０１）。次に、相対距離算出部２１は、相対距離を示す情報を算出する（ステップＳ１０２）。次に、抽象化部２４は、相対距離を示す情報を抽象化する（ステップＳ１０３）。
【００６１】
次に、正規化部２５は、抽象化された相対距離を示す情報を正規化する（ステップＳ１０４）。次に、正規化部２５は、正規化により得られた相対距離を示す情報を記憶部２６に記憶させる（ステップＳ１０５）。
次に、撮像部１２は、所定の数のフレーム数だけ、ユーザにより振られている複数の電子装置を１枚の画像に入るように撮像する（ステップＳ１０６）。次に、画像領域抽出部２２は、全てのフレームにおいて、複数の電子装置が撮像された画像領域を、それぞれ抽出する（ステップＳ１０７）。
【００６２】
次に、移動画素量算出部２３は、一の電子装置の画像領域の移動画素量を算出する（ステップＳ１０８）。次に、抽象化部２４は、一の電子装置の画像領域の移動画素量を抽象化する（ステップＳ１０９）。次に、正規化部２５は、抽象化した移動画素量を正規化する（ステップＳ１１０）。次に、比較判定部２７は、正規化相対距離を示す情報を記憶部２６から読み出す（ステップＳ１１１）。
【００６３】
次に、比較判定部２７は、正規化相対距離と正規化移動画素量の差の絶対値の和が閾値以下であるか否か判定する（ステップＳ１１２）。当該差の絶対値の和が閾値以下の場合（ステップＳ１１２ ＹＥＳ）、比較判定部２７は、一の電子装置が、動き検出部１１で検出された動きと同種の動きをしていると判定する（ステップＳ１１３）。
一方、当該差の絶対値の和が閾値を越える場合（ステップＳ１１２ ＮＯ）、比較判定部２７は、一の電子装置が、動き検出部１１で検出された動きと異種の動きをしていると判定する（ステップＳ１１４）。
【００６４】
次に、電子装置１は、他の電子装置が撮像された全ての画像領域で上記判定をしたか否か判定する（ステップＳ１１４）。他の電子装置が撮像された全ての画像領域で上記判定をしていない場合（ステップＳ１１４ ＮＯ）、電子装置１は、ステップＳ１０８の処理に戻る。一方、他の電子装置が撮像された全ての画像領域で上記判定をした場合（ステップＳ１１４ ＹＥＳ）、電子装置１は、その処理を終了する。
【００６５】
以上、電子装置１は、自装置の相対距離を抽象化し、正規化した正規化相対距離と、撮像により得られた他の電子装置の移動画素量を抽象化し正規化した正規化移動画素量とを比較する。
これにより、電子装置１は、異なるセンサで検出された情報をそれぞれ抽象化し正規化することにより、異なるセンサで検出した情報を比較することができる。
【００６６】
なお、本実施形態では、電子装置１は、情報を抽象化した後に、抽象化した情報を正規化したが、これに限らず、情報を正規化した後に、抽象化してもよい。
【００６７】
＜第２の実施形態＞
続いて、第２の実施形態について説明する。上述の第１の実施形態では、電子装置１は、自装置が備える２種類の検出部により順番に検出された情報を比較することにより、自装置が過去に動かされた動きと同種の動きをしている他の電子装置を映像から特定した。第２の実施形態では、第１の電子装置２＿１がユーザに動かされている最中に、第２の電子装置２＿２は、第１の電子装置２＿１が動かされている動きと同種の動きをしている他の電子装置を映像からリアルタイムで特定する。
【００６８】
図１３は、第２の実施形態の対象特定システム２を概略図である。対象特定システム２は、第１の電子装置２＿１と、第２の電子装置２＿２とを備える。同図において、第１の電子装置２＿１は、ユーザにより振られる方向が示されている。第１の電子装置２＿１は、ユーザにより振られている最中に、正規化相対距離Ｎｄを示す情報を第２の電子装置２＿２に無線で送信する。
【００６９】
図１４は、第２の実施形態における第１の電子装置２＿１のブロック構成図である。なお、図１と共通する要素には同一の符号を付し、その具体的な説明を省略する。図１４の電子装置２＿１の構成は、図１の電子装置１の構成に対して、検出部１０が検出部１０ｂに変更され、制御部２０が制御部２０ｂに変更され、通信部３０が通信部３０ｂに変更されたものとなっている。
【００７０】
検出部１０ｂは、動き検出部１１を備える。動き検出部１１は、第１の実施形態と同様に、自装置の動きを検出する。
制御部２０ｂは、相対距離算出部２１と、抽象化部２４と、正規化部２４ｂとを備える。
正規化部２４ｂは、自装置の動きに基づき正規化相対距離Ｎｄを示す情報を通信部３０ｂに出力する。
通信部３０ｂは、正規化部２４ｂから入力された正規化相対距離Ｎｄを示す情報を符号化し、符号化した正規化相対距離Ｎｄを示す情報を無線で第２の電子装置２＿２に送信する。
【００７１】
図１５は、第２の実施形態における第２の電子装置２＿２のブロック構成図である。なお、図１と共通する要素には同一の符号を付し、その具体的な説明を省略する。図１５の電子装置２＿２の構成は、図１の電子装置１の構成に対して、検出部１０が検出部１０ｃに変更され、制御部２０が制御部２０ｃに変更され、記憶部２６が記憶部２６ｃに変更され、通信部３０が通信部３０ｃに変更されたものとなっている。
【００７２】
検出部１０ｂは、撮像部１２を備える。撮像部１２は、第１の実施形態と同様に、被写体を撮像する。
通信部３０ｃは、第１の電子装置２＿１から送信された符号化された正規化相対距離Ｎｄを受信し、受信した符号化された正規化相対距離Ｎｄを復号し、復号した正規化相対距離Ｎｄを示す情報を記憶部２６ｃに記憶させる。
【００７３】
図１６は、第２の実施形態の第２の電子装置２＿２の処理の流れを示したフローチャートである。まず、通信部３０ｃは、符号化された正規化相対距離Ｎｄを示す情報を第１の電子装置２＿１から受信する（ステップＳ２０１）。ステップＳ２０２からステップＳ２０７までの処理は、図１２のステップＳ１０６からステップＳ１１１までの処理と同一であるので、その説明を省略する。
【００７４】
次に、ステップＳ２０８において、比較判定部２７は、正規化相対距離と正規化移動画素量の差の絶対値の和が閾値以下か否か判定する。正規化相対距離と正規化移動画素量の差の絶対値の和が閾値以下の場合（ステップＳ２０８ ＹＥＳ）、比較判定部２７は、抽出された電子装置の画像領域は、電子装置２＿１で検出された動きと同種の動きをしていると判定する（ステップＳ２０９）。一方、正規化相対距離と正規化移動画素量の差の絶対値の和が閾値を超える場合（ステップＳ２０８ ＮＯ）、比較判定部２７は、抽出された電子装置の画像領域は、電子装置２＿１で検出された動きとは異なる種類の動きをしていると判定する（ステップＳ２１０）。
【００７５】
次に、電子装置２＿２は、他の電子装置が撮像された全ての画像領域で上記判定をしたか否か判定する（ステップＳ２１１）。他の電子装置が撮像された全ての画像領域で上記判定をしていない場合（ステップＳ２１１ ＮＯ）、電子装置２＿２は、ステップＳ２０４の処理に戻る。一方、他の電子装置が撮像された全ての画像領域で上記判定をした場合（ステップＳ２１１ ＹＥＳ）、電子装置２＿２は、その処理を終了する。
【００７６】
以上、第２の実施形態では、ユーザにより振られている第１の電子装置２＿１が、自装置が備える動き検出部１１により自装置の動きを検出し、自装置の動きに基づき正規化相対距離Ｎｄを示す情報を第２の電子装置２＿２に無線で送信する。
そして、第２の電子装置２＿２は、自装置が備える撮像部１２によって他の電子装置の映像を取得し、他の電子装置の画像領域から算出された正規化移動画素量と、第１の電子装置２＿１から受信した正規化相対距離Ｎｄとを比較する。
【００７７】
これにより、第２の電子装置２＿２は、第１の電子装置２＿１が動かされている最中に、第１の電子装置２＿１の動きと同種の動きをしている他の電子装置を映像からリアルタイムに特定することができる。
【００７８】
また、本実施形態の電子装置１の各処理を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、当該記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、電子装置１に係る上述した種々の処理を行ってもよい。
【００７９】
なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【００８０】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【００８１】
以上、本発明の実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【００８２】
１ 電子装置
２ 対象特定システム
２＿１ 第１の電子装置
２＿２ 第２の電子装置
１０、１０ｂ、１０ｃ 検出部
１１ 動き検出部
１２ 撮像部
２０、２０ｂ、２０ｃ 制御部
２１ 相対距離算出部
２２ 画像領域抽出部
２３ 移動画素量算出部
２４、２４ｂ 抽象化部
２５ 正規化部
２６、２６ｃ 記憶部
２７ 比較判定部
３０、３０ｂ、３０ｃ 通信部
【技術分野】
【０００１】
本発明は、電子装置、データ生成方法およびデータ生成プログラムに関する。
【背景技術】
【０００２】
従来、入力する画像信号中から被写体の動きを検出する方法が開示されている。例えば、特許文献１では、予め、全画面領域を所定数の検出領域に分割した設定と、輝度変化を判定するための輝度しきい値と、照明のオン／オフ切替時の輝度変化パターンを格納するステップと、入力する画像信号から、前記検出領域毎に輝度信号を選択するステップと、
画像フレーム毎に同じ検出領域の輝度信号を検出し、前記輝度しきい値と比較することで輝度変化を検出するステップと、前記輝度変化が検出された場合に前記輝度変化パターンと照合することにより、前記輝度変化パターンが照明切替時であるか否かを判別し、照明切替時ではないと判別された場合に被写体動きを検出したと判別するステップを有する被写体動き検出方法が示されている。
【０００３】
一方、自装置の動きを検出するモーションセンサを備えた携帯情報処理装置が開示されている。例えば、特許文献２では、モーションセンサ部と、前記モーションセンサ部の出力に所定の処理を施す処理手段と、ユーザによる携帯情報処理装置の使用状態を検知する使用状態検知手段と、使用状態が検知されると前記モーションセンサ部および前記処理手段の少なくとも１つを停止させる制御手段とを備えている携帯情報処理装置が示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−１９３９４０号公報
【特許文献２】特開２００５−２８６８０９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
例えば、電子装置が、モーションセンサで検出した自電子装置の動きと同じ動きをしている他の電子装置を、イメージセンサにより得られた映像の中から抽出しようとした場合、モーションセンサで検出された自装置の動きを示す波形と、映像中の他の電子装置の動きを示す波形とを比較して、それらの波形から同じ動きをしているか否か判定する必要がある。
【０００６】
しかし、そもそもモーションセンサで得られる信号の振幅と、イメージセンサで得られる映像信号の振幅とは、スケールが異なっているので、電子装置は、それらの波形を単純に比較することができなかった。
このように、異なるセンサ（例えば、モーションセンサ、イメージセンサ）から得られる信号を比較することができないという問題があった。
【０００７】
そこで本発明は、上記問題に鑑みてなされたものであり、異なるセンサから得られた信号を比較することを可能とする電子装置、データ生成方法およびデータ生成プログラムを提供することを課題とする。
【課題を解決するための手段】
【０００８】
上記の課題を解決するために、本発明の一態様である電子装置は、入力された情報を抽象化する抽象化部と、前記抽象化された情報を正規化する正規化部と、前記正規化された情報を２つ以上比較し、該比較結果に基づいて該２つ以上の正規化された情報が同種の情報であるか否か判定する比較判定部と、を備えることを特徴とする。
【０００９】
また、本発明の一態様であるデータ生成方法は、入力された情報を抽象化する抽象化手順と、前記抽象化された情報を正規化する正規化手順と、前記正規化された情報を２つ以上比較し、該比較結果に基づいて該２つ以上の正規化された情報が同種の情報であるか否か判定する比較判定手順と、を有することを特徴とする。
【００１０】
また、本発明の一態様であるデータ生成プログラムは、コンピュータに、入力された情報を抽象化する抽象化ステップと、前記抽象化された情報を正規化する正規化ステップと、前記正規化された情報を２つ以上比較し、該比較結果に基づいて該２つ以上の正規化された情報が同種の情報であるか否か判定する比較判定ステップと、を実行させるためのデータ生成プログラムである。
【発明の効果】
【００１１】
本発明によれば、異なるセンサから得られた信号を比較することができる。
【図面の簡単な説明】
【００１２】
【図１】第１の実施形態における電子装置のブロック構成図である。
【図２】第１の実施形態における画像領域抽出部の処理を説明するための図である。
【図３】第１の実施形態における移動画素量算出部の処理について説明するための図である。
【図４】動きを示す情報を平滑化する抽象化部の処理を説明するための図である。
【図５】移動画素量を示す情報を平滑化する抽象化部の処理を説明するための図である。
【図６】抽象化部に入力される入力データの一例とその入力データから算出される自己相関関数の一例とが示された図である。
【図７】１周期平均データａｖｅ（ｎ）の波形の一例が示された図である。
【図８】抽象化部に入力される入力データの一例と、その入力データが抽象化されたデータの一例とが示されている。
【図９】抽象化された相対距離を示す情報を正規化する正規化部の処理を説明するための図である。
【図１０】抽象化された移動画素量を示す情報を正規化する正規化部の処理を説明するための図である。
【図１１】比較判定部による処理を説明するための図である。
【図１２】第１の実施形態の電子装置の処理の流れを示したフローチャートである。
【図１３】第２の実施形態の対象特定システムを概略図である。
【図１４】第２の実施形態における第１の電子装置のブロック構成図である。
【図１５】第２の実施形態における第２の電子装置のブロック構成図である。
【図１６】第２の実施形態の第２の電子装置ｓの処理の流れを示したフローチャートである。
【発明を実施するための形態】
【００１３】
＜第１の実施形態＞
以下、本発明の実施形態について、図面を参照して詳細に説明する。まず、第１の実施形態の電子装置１の概要について説明する。電子装置１は、予め自装置が備える動き検出部１１によって検出された自装置の動きと、同じ動きで動かされている他の電子装置を撮像部１２により得られた映像から抽出する。
【００１４】
その際、電子装置１は、基準位置からの自装置の相対距離を示す情報および映像信号中の他の電子装置の画像領域の移動画素量を示す情報を抽象化し、抽象化されたそれらの情報を正規化し、正規化された２つの情報を比較し、該比較結果に基づいて該正規化された２つの情報が同種の情報であるか否か判定する。これにより、異なるセンサ（動き検出部、撮像部）から得られる信号を比較することができる。
【００１５】
図１は、第１の実施形態における電子装置１のブロック構成図である。電子装置１は、検出部１０と、制御部２０と、通信部３０とを備える。
検出部１０は、検出の対象から該対象の特徴を示す信号を検出する複数種類の検出部を備える。本実施形態では、一例として、検出部１０は、動き検出部１１と、撮像部１２とを備える。
通信部３０は、有線または無線方式で、他の電子装置と通信可能に構成されている。
【００１６】
動き検出部１１は、自装置の動きを検出し、検出した動きを示す情報を相対距離算出部２１に出力する。ここで、動きを示す情報とは、自装置の３次元方向の動きを示す情報である。動き検出部１１は、例えば、３次元加速度センサを備える。
撮像部１２は、例えば、ＣＣＤイメージセンサと、ＡＤＣ（ＡＤコンバータ）とを備える。撮像部１２は、ＣＣＤイメージセンサにより被写体である他の電子装置を所定のフレームレート（例えば、１秒間に３０フレーム）で撮像し、撮像により得られた信号をＡＤＣによりデジタル信号に変換し、変換されたデジタル信号を画像領域抽出部２２に出力する。
【００１７】
制御部２０は、相対距離算出部２１と、画像領域抽出部２２と、移動画素量算出部２３と、抽象化部２４と、正規化部２５と、記憶部２６と、比較判定部２７とを備える。
相対距離算出部２１は、動き検出部１１から入力された動きを示す情報から、所定の時刻における自装置の位置を基準とした自装置の相対距離を時刻毎に算出する。そして、相対距離算出部２１は、自装置の相対距離を示す情報を抽象化部２４に出力する。
【００１８】
画像領域抽出部２２は、撮像部１２により得られたデジタル信号を用いて、撮像部１２により得られた上記所定のフレームレートで撮像された映像から被写体である他の電子装置の画像領域を抽出する。
【００１９】
図２は、第１の実施形態における画像領域抽出部２２の処理を説明するための図である。同図において、向かって左側に、画像領域（オブジェクト）が抽出される前のｋ番目（ｋは正の整数）のフレームの画像の一例が示されている。ｋ番目のフレームの画像内には、５つの電子装置の画像領域４１〜４５が示されている。
【００２０】
同図の向かって右側には、画像領域抽出部２２の処理によって抽出された電子装置のそれぞれの画像領域４１〜４５を構成する座標を要素とするベクトル（それぞれ［Ｘ１，Ｙ１］、［Ｘ２，Ｙ２］、［Ｘ３，Ｙ３］、［Ｘ４，Ｙ４］、［Ｘ５，Ｙ５］）が示されている。
【００２１】
ここで、記憶部２６には、テンプレートマッチングで参照される電子装置１が撮像された参照画像データが予め記憶されている。
例えば、画像領域抽出部２２は、記憶部２６からテンプレートマッチングで参照する電子装置１が撮像された参照画像データを読み出す。画像領域抽出部２２は、入力されたｋ番目のフレームの画像データから所定の大きさの画像領域のデータを抽出し、抽出した画像データ（例えば、図２の画像領域４１〜４５のデータ）と読み出した参照画像データとのテンプレートマッチングを行う。
【００２２】
具体的には、例えば、画像領域抽出部２２は、抽出した画像領域のデータと読み出した参照画像データをそれぞれ、所定の数の行と所定の数の列（例えば、３×３）のブロックに分割する。そして、画像領域抽出部２２は、分割されたブロック毎に、抽出した画像領域のデータと読み出した参照画像データとの間でＲＧＢ（赤、緑、青）それぞれの輝度値の差の絶対値を算出し、その差の絶対値の和を算出する。画像領域抽出部２２は、分割されたブロック全てで、当該差の絶対値の和を算出し、その絶対値の和の総和を算出する。
【００２３】
そして、画像領域抽出部２２は、算出した絶対値の和の総和が所定の閾値よりも小さい場合、抽出した画像領域のデータを電子装置の画像領域として抽出する。
画像領域抽出部２２は、この処理を所定の画素ずらしながら画像全体で行う。これにより、画像領域抽出部２２は、被写体（ここでは、電子装置）が撮像された各フレームの画像から、その被写体の画像領域を抽出することができる。
画像領域抽出部２２は、抽出した被写体の画像領域の画素位置を示す情報を移動画素量算出部２３に出力する。
【００２４】
移動画素量算出部２３は、抽出された各画像領域が所定のフレームにおけるそれぞれの画像領域の画素位置からの画素間隔を移動画素量として算出する。具体的には、例えば、移動画素量算出部２３は、各フレームから画像領域抽出部２２により抽出された画像領域それぞれについて、重心の画素位置を抽出する。そして、移動画素量算出部２３は、所定のフレームにおける重心の画素位置を基準として、その基準となる重心の画素位置から各フレームにおける重心の画素位置がどれだけ離れているかを示す移動画素量を算出する。移動画素量算出部２３は、算出した移動画素量を示す情報を抽象化部２４に出力する。
【００２５】
図３は、第１の実施形態における移動画素量算出部２３の処理について説明するための図である。同図において、向かって左側に、上からｋ−１番目のフレームの画像と、ｋ番目のフレームの画像と、ｋ＋１番目のフレームの画像とが示されている。
ｋ−１番目のフレームの画像において、電子装置の画像領域５１と、その電子装置の画像領域５１の重心の画素位置である基準画素位置５４が示されている。
同様に、ｋ番目のフレームの画像において、電子装置の画像領域５２が示され、ｋ＋１番目のフレームの画像において、電子装置の画像領域５３が示されている。
【００２６】
同図において、向かって右側に、上からｋ−１番目のフレームにおける移動画素量０と、ｋ番目のフレームにおける移動画素量２５０と、ｋ＋１番目のフレームにおける移動画素量５００とが示されている。
【００２７】
同図において、移動画素量算出部２３は、一例として、ｋ−１番目のフレームの画像中における電子装置の画像領域５１の画素位置を示す情報を受け取り、電子装置の画像領域５１の重心の画素位置である基準画素位置５４を算出し、移動画素量０を算出する。
同様に、移動画素量算出部２３は、一例として、ｋ番目のフレームの画像中における電子装置の画像領域５２の画素位置を示す情報を受け取り、電子装置の画像領域５２の重心の画素位置を算出し、重心の画素位置が基準画素位置５４から離れているピクセル数を移動画素量（ここでは、例として２５０）として算出する。
【００２８】
同様に、移動画素量算出部２３は、一例として、ｋ＋１番目のフレームの画像中における電子装置の画像領域５３の画素位置を示す情報を受け取り、電子装置の画像領域５３の重心の画素位置を算出し、重心の画素位置が基準画素位置５４から離れているピクセル数を移動画素量（ここでは、例として５００）として算出する。
【００２９】
図１に戻って、抽象化部２４は、入力された情報を抽象化する。詳細には、抽象化部２４は、複数種類の検出部によりそれぞれ検出された信号に基づく情報を抽象化する。まず、抽象化部２４の処理の概要について説明する。
【００３０】
図４を用いて、抽象化部２４の処理の一例について説明する。図４は、動きを示す情報を平滑化する抽象化部２４の処理を説明するための図である。同図の向かって左側には、動きを示す情報として、あるフレームにおける自装置の位置を基準位置とした時刻毎の自装置の相対距離が滑らかに繋がれた曲線６１が示されている。同図の向かって右側には、抽象化部２４により曲線６１が平滑化された曲線６２が示されている。
【００３１】
抽象化部２４は、相対距離算出部２１から入力された自装置の相対距離を示す情報を抽象化する。具体的には、例えば、抽象化部２４は、自装置の相対距離を示す情報が時系列順に並んだデータの自己相関関数を算出し、該算出された自己相関関数に基づいて、自装置の相対距離を示す情報を抽象化する。抽象化部２４は、抽象化した相対距離を示す情報を正規化部２５に出力する。その処理の詳細は、後述する。
【００３２】
図５を用いて、抽象化部２４の処理の一例について説明する。図５は、移動画素量を示す情報を平滑化する抽象化部２４の処理を説明するための図である。同図の向かって左側には、移動画素量を示す情報として、時刻毎の移動画素量が滑らかに繋がれた曲線７１が示されている。同図の向かって右側には、抽象化部２４により曲線７１が抽象化された曲線７２が示されている。
【００３３】
抽象化部２４は、移動画素量算出部２３から入力された移動画素量を抽象化する。具体的には、例えば、抽象化部２４は、被写体である電子装置の移動画素量を時系列順に並んだデータの自己相関関数を算出し、該算出された自己相関関数に基づいて、移動画素量を示す情報を抽象化する。そして、抽象化部２４は、抽象化された移動画素量を示す情報を正規化部２５に出力する。
【００３４】
続いて、抽象化部２４の処理の詳細について説明する。まず、抽象化部２４により算出される自己相関関数の算出方法について説明する。図６は、抽象化部２４に入力される入力データと抽象化部２４により算出される自己相関関数とが示された図である。図６（ａ）には、抽象化部２４に入力される入力データが繋がれた折れ線８１が示されている。ここで、縦軸は振幅、横軸はサンプル数である。
【００３５】
図６（ｂ）には、抽象化部２４に算出される自己相関関数を示す折れ線８２の一例が示されている。ここで、縦軸は自己相関関数の値、横軸はサンプル数である。また、自己相関関数の極大値であるピーク８３と、１番目のサンプルからピーク８３のサンプルまでが１周期τであることが示されている。
【００３６】
例えば、図６（ａ）に示された抽象化部２４に入力されるｎ項からなる入力データＡが、下記の式（１）で表される。
【００３７】
【数１】
【００３８】
また、図６（ａ）に示された入力データＡの配列の一部であるｍ項（ｍ＝ｎ／２）の配列Ａ´は、下記の式（２）で表される（ｎは２以上の偶数、ｍは正の整数）。
【００３９】
【数２】
【００４０】
ここで、Ａ´は固定である。また、図６（ａ）に示された入力データＡの配列をｔ（０≦ｔ≦ｎ／２）だけずらしたｍ項の配列Ｂは、下記の式（３）で表される。
【００４１】
【数３】
【００４２】
ここで、Ｂは可変である。
【００４３】
抽象化部２４は、このずらし幅ｔによって得られる配列Ａ´と配列Ｂによる自己相関関数は、以下の式（４）に従って、算出する。
【００４４】
【数４】
【００４５】
配列Ａ´と配列Ｂの各要素が所定の間隔で描画された波形が似ているほど値は１に近づくこととなる。
抽象化部２４は、自己相関関数Ｒ（ｔ）上で、上に凸の頂点のデータ（ピーク値）を抽出する。そして、抽象化部２４は、抽出したピーク値が所定の閾値を越えている場合、そのピーク値をとるサンプル番号（または時刻）を抽出する。抽象化部２４は、ピーク値をとるサンプル番号の間隔（または時間間隔）を周期τとして抽出する。
【００４６】
抽象化部２４は、入力データＡを自己相関関数で求めた周期τで１周期ごとに分割する。そして、繰り返し回数ｎｕｍとすると、抽象化部２４は、１周期平均データａｖｅ（ｎ）は以下の式（５）に従って算出する。
【００４７】
【数５】
【００４８】
図７は、１周期平均データａｖｅ（ｎ）の波形の一例と４サンプル毎の平均とが示された図である。図７（ａ）は、１周期平均データａｖｅ（ｎ）の波形８４が示されている。図７（ｂ）は、１周期平均データａｖｅ（ｎ）を４サンプル毎に平均された値が繋がれた線８５が示されている。
【００４９】
図８には、抽象化部２４に入力される入力データの一例と、その入力データが抽象化されたデータの一例とが示されている。同図において、入力データが繋がれた折れ線８１と、その入力データが抽象化されたデータが繋がれた折れ線８６とが示されている。折れ線８６は、１周期平均データａｖｅ（ｎ）を４サンプル毎に平均された値が繋がれた線８５を１周期分のデータとして、入力データＡが有する周期数だけ繋がれた折れ線である。
【００５０】
抽象化部２４は、１周期平均データａｖｅ（ｎ）を所定の分割数（例えば、４）で区切り、区切った範囲の平均値を算出する。そして、抽象化部２４は、算出された区切った範囲のデータを１周期のデータとして、入力データの周期数だけデータを抽象化されたデータとして生成する。そして、抽象化部２４は、抽象化されたデータを正規化部２５に出力する。
これにより、抽象化部２４は、入力されたデータから大きな変化を抽出した抽象化されたデータを生成することができるので、電子装置１は同じ種類のデバイスによって得られたデータを比較することができる。
【００５１】
なお、本実施形態では、抽象化部２４は、自己相関関数の値を用いて抽象化をしたが、これに限らず、ローパスフィルタを掛けて抽象化してもよい。
【００５２】
正規化部２５は、抽象化部２４から入力された抽象化された相対距離を示す情報を正規化し、正規化された相対距離（正規化相対距離）を示す情報を記憶部２６に記憶させる。具体的には、例えば、正規化部２５は、各時刻における抽象化された相対距離を正規化し、−１から１までの値にする。
【００５３】
図９を用いて、その処理について説明する。図９は、抽象化された相対距離を示す情報を正規化する正規化部２５の処理を説明するための図である。同図の向かって左側には、各時刻における平滑化された相対距離が滑らかに繋がれた曲線６２が示されている。同図の向かって右側には、正規化部２５により、各時刻における正規化された相対距離が滑らかに繋がれた曲線６３が示されている。
【００５４】
また、正規化部２５は、抽象化部２４から入力された抽象化された移動画素量を示す情報を正規化する。具体的には、例えば、正規化部２５は、各時刻における抽象化された移動画素量を正規化し、−１から１までの値にする。
【００５５】
図１０を用いて、その処理について説明する。図１０は、抽象化された移動画素量を示す情報を正規化する正規化部２５の処理を説明するための図である。同図の向かって左側には、各時刻における平滑化された移動画素量が滑らかに繋がれた曲線７２が示されている。同図の向かって右側には、正規化部２５により、各時刻における正規化された移動画素量が滑らかに繋がれた曲線７３が示されている。
【００５６】
正規化部２５は、正規化された移動画素量（正規化移動画素量）を示す情報を比較判定部２７に出力する。
以上、正規化部２５は、抽象化されたデータを正規化することにより、電子装置１は異なる種類のデバイスによって得られたデータを比較することができる。
【００５７】
図１に戻って、比較判定部２７は、正規化された相対距離Ｎｍを示す情報を記憶部２６から読み出す。そして、比較判定部２７は、正規化された相対距離Ｎｄと正規化移動画素量Ｎｍとに基づいて、動き検出部１１により検出された動きと同種の動きをしている画像領域を特定する。
【００５８】
図１１は、比較判定部２７による処理を説明するための図である。各時刻における正規化相対距離を示す曲線６３と、各時刻における正規化移動画素量を示す曲線７３とが示されている。例えば、比較判定部２７は、各時刻における正規化相対距離と各時刻における正規化移動画素量との差の絶対値を算出し、算出した各時刻における差の絶対値の総和を差算出する。そして、比較判定部２７は、その差の絶対値の総和が所定の閾値以下の場合、その正規化移動画素量が算出された画像領域を、動き検出部１１により検出された動きと同種の動きをしている画像領域と判定する。比較判定部２７は、判定結果を示す情報を自装置の外部に出力する。
【００５９】
なお、本実施形態では、比較判定部２７は、正規化された相対距離Ｎｄと正規化移動画素量Ｎｍとを比較したがこれに限らず、比較判定部２７は、正規化された情報を２つ以上比較し、該比較結果に基づいて該２つ以上の正規化された情報が同種の情報であるか否か判定すればよい。
【００６０】
図１２は、第１の実施形態の電子装置１の処理の流れを示したフローチャートである。まず、動き検出部１１は、自装置の動きを検出する（ステップＳ１０１）。次に、相対距離算出部２１は、相対距離を示す情報を算出する（ステップＳ１０２）。次に、抽象化部２４は、相対距離を示す情報を抽象化する（ステップＳ１０３）。
【００６１】
次に、正規化部２５は、抽象化された相対距離を示す情報を正規化する（ステップＳ１０４）。次に、正規化部２５は、正規化により得られた相対距離を示す情報を記憶部２６に記憶させる（ステップＳ１０５）。
次に、撮像部１２は、所定の数のフレーム数だけ、ユーザにより振られている複数の電子装置を１枚の画像に入るように撮像する（ステップＳ１０６）。次に、画像領域抽出部２２は、全てのフレームにおいて、複数の電子装置が撮像された画像領域を、それぞれ抽出する（ステップＳ１０７）。
【００６２】
次に、移動画素量算出部２３は、一の電子装置の画像領域の移動画素量を算出する（ステップＳ１０８）。次に、抽象化部２４は、一の電子装置の画像領域の移動画素量を抽象化する（ステップＳ１０９）。次に、正規化部２５は、抽象化した移動画素量を正規化する（ステップＳ１１０）。次に、比較判定部２７は、正規化相対距離を示す情報を記憶部２６から読み出す（ステップＳ１１１）。
【００６３】
次に、比較判定部２７は、正規化相対距離と正規化移動画素量の差の絶対値の和が閾値以下であるか否か判定する（ステップＳ１１２）。当該差の絶対値の和が閾値以下の場合（ステップＳ１１２ ＹＥＳ）、比較判定部２７は、一の電子装置が、動き検出部１１で検出された動きと同種の動きをしていると判定する（ステップＳ１１３）。
一方、当該差の絶対値の和が閾値を越える場合（ステップＳ１１２ ＮＯ）、比較判定部２７は、一の電子装置が、動き検出部１１で検出された動きと異種の動きをしていると判定する（ステップＳ１１４）。
【００６４】
次に、電子装置１は、他の電子装置が撮像された全ての画像領域で上記判定をしたか否か判定する（ステップＳ１１４）。他の電子装置が撮像された全ての画像領域で上記判定をしていない場合（ステップＳ１１４ ＮＯ）、電子装置１は、ステップＳ１０８の処理に戻る。一方、他の電子装置が撮像された全ての画像領域で上記判定をした場合（ステップＳ１１４ ＹＥＳ）、電子装置１は、その処理を終了する。
【００６５】
以上、電子装置１は、自装置の相対距離を抽象化し、正規化した正規化相対距離と、撮像により得られた他の電子装置の移動画素量を抽象化し正規化した正規化移動画素量とを比較する。
これにより、電子装置１は、異なるセンサで検出された情報をそれぞれ抽象化し正規化することにより、異なるセンサで検出した情報を比較することができる。
【００６６】
なお、本実施形態では、電子装置１は、情報を抽象化した後に、抽象化した情報を正規化したが、これに限らず、情報を正規化した後に、抽象化してもよい。
【００６７】
＜第２の実施形態＞
続いて、第２の実施形態について説明する。上述の第１の実施形態では、電子装置１は、自装置が備える２種類の検出部により順番に検出された情報を比較することにより、自装置が過去に動かされた動きと同種の動きをしている他の電子装置を映像から特定した。第２の実施形態では、第１の電子装置２＿１がユーザに動かされている最中に、第２の電子装置２＿２は、第１の電子装置２＿１が動かされている動きと同種の動きをしている他の電子装置を映像からリアルタイムで特定する。
【００６８】
図１３は、第２の実施形態の対象特定システム２を概略図である。対象特定システム２は、第１の電子装置２＿１と、第２の電子装置２＿２とを備える。同図において、第１の電子装置２＿１は、ユーザにより振られる方向が示されている。第１の電子装置２＿１は、ユーザにより振られている最中に、正規化相対距離Ｎｄを示す情報を第２の電子装置２＿２に無線で送信する。
【００６９】
図１４は、第２の実施形態における第１の電子装置２＿１のブロック構成図である。なお、図１と共通する要素には同一の符号を付し、その具体的な説明を省略する。図１４の電子装置２＿１の構成は、図１の電子装置１の構成に対して、検出部１０が検出部１０ｂに変更され、制御部２０が制御部２０ｂに変更され、通信部３０が通信部３０ｂに変更されたものとなっている。
【００７０】
検出部１０ｂは、動き検出部１１を備える。動き検出部１１は、第１の実施形態と同様に、自装置の動きを検出する。
制御部２０ｂは、相対距離算出部２１と、抽象化部２４と、正規化部２４ｂとを備える。
正規化部２４ｂは、自装置の動きに基づき正規化相対距離Ｎｄを示す情報を通信部３０ｂに出力する。
通信部３０ｂは、正規化部２４ｂから入力された正規化相対距離Ｎｄを示す情報を符号化し、符号化した正規化相対距離Ｎｄを示す情報を無線で第２の電子装置２＿２に送信する。
【００７１】
図１５は、第２の実施形態における第２の電子装置２＿２のブロック構成図である。なお、図１と共通する要素には同一の符号を付し、その具体的な説明を省略する。図１５の電子装置２＿２の構成は、図１の電子装置１の構成に対して、検出部１０が検出部１０ｃに変更され、制御部２０が制御部２０ｃに変更され、記憶部２６が記憶部２６ｃに変更され、通信部３０が通信部３０ｃに変更されたものとなっている。
【００７２】
検出部１０ｂは、撮像部１２を備える。撮像部１２は、第１の実施形態と同様に、被写体を撮像する。
通信部３０ｃは、第１の電子装置２＿１から送信された符号化された正規化相対距離Ｎｄを受信し、受信した符号化された正規化相対距離Ｎｄを復号し、復号した正規化相対距離Ｎｄを示す情報を記憶部２６ｃに記憶させる。
【００７３】
図１６は、第２の実施形態の第２の電子装置２＿２の処理の流れを示したフローチャートである。まず、通信部３０ｃは、符号化された正規化相対距離Ｎｄを示す情報を第１の電子装置２＿１から受信する（ステップＳ２０１）。ステップＳ２０２からステップＳ２０７までの処理は、図１２のステップＳ１０６からステップＳ１１１までの処理と同一であるので、その説明を省略する。
【００７４】
次に、ステップＳ２０８において、比較判定部２７は、正規化相対距離と正規化移動画素量の差の絶対値の和が閾値以下か否か判定する。正規化相対距離と正規化移動画素量の差の絶対値の和が閾値以下の場合（ステップＳ２０８ ＹＥＳ）、比較判定部２７は、抽出された電子装置の画像領域は、電子装置２＿１で検出された動きと同種の動きをしていると判定する（ステップＳ２０９）。一方、正規化相対距離と正規化移動画素量の差の絶対値の和が閾値を超える場合（ステップＳ２０８ ＮＯ）、比較判定部２７は、抽出された電子装置の画像領域は、電子装置２＿１で検出された動きとは異なる種類の動きをしていると判定する（ステップＳ２１０）。
【００７５】
次に、電子装置２＿２は、他の電子装置が撮像された全ての画像領域で上記判定をしたか否か判定する（ステップＳ２１１）。他の電子装置が撮像された全ての画像領域で上記判定をしていない場合（ステップＳ２１１ ＮＯ）、電子装置２＿２は、ステップＳ２０４の処理に戻る。一方、他の電子装置が撮像された全ての画像領域で上記判定をした場合（ステップＳ２１１ ＹＥＳ）、電子装置２＿２は、その処理を終了する。
【００７６】
以上、第２の実施形態では、ユーザにより振られている第１の電子装置２＿１が、自装置が備える動き検出部１１により自装置の動きを検出し、自装置の動きに基づき正規化相対距離Ｎｄを示す情報を第２の電子装置２＿２に無線で送信する。
そして、第２の電子装置２＿２は、自装置が備える撮像部１２によって他の電子装置の映像を取得し、他の電子装置の画像領域から算出された正規化移動画素量と、第１の電子装置２＿１から受信した正規化相対距離Ｎｄとを比較する。
【００７７】
これにより、第２の電子装置２＿２は、第１の電子装置２＿１が動かされている最中に、第１の電子装置２＿１の動きと同種の動きをしている他の電子装置を映像からリアルタイムに特定することができる。
【００７８】
また、本実施形態の電子装置１の各処理を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、当該記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、電子装置１に係る上述した種々の処理を行ってもよい。
【００７９】
なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【００８０】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【００８１】
以上、本発明の実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【００８２】
１ 電子装置
２ 対象特定システム
２＿１ 第１の電子装置
２＿２ 第２の電子装置
１０、１０ｂ、１０ｃ 検出部
１１ 動き検出部
１２ 撮像部
２０、２０ｂ、２０ｃ 制御部
２１ 相対距離算出部
２２ 画像領域抽出部
２３ 移動画素量算出部
２４、２４ｂ 抽象化部
２５ 正規化部
２６、２６ｃ 記憶部
２７ 比較判定部
３０、３０ｂ、３０ｃ 通信部
【特許請求の範囲】
【請求項１】
入力された情報を抽象化する抽象化部と、
前記抽象化された情報を正規化する正規化部と、
前記正規化された情報を２つ以上比較し、該比較結果に基づいて該２つ以上の正規化された情報が同種の情報であるか否か判定する比較判定部と、
を備えることを特徴とする電子装置。
【請求項２】
検出の対象から該対象の特徴を示す信号を検出する複数種類の検出部を備え、
前記抽象化部は、前記複数種類の検出部によりそれぞれ検出された信号を示す情報を抽象化し、
前記正規化部は、前記抽象化部によりそれぞれ抽象化された情報を正規化し、
前記比較判定部は、前記正規化部により正規化された複数の情報を比較することを特徴とする請求項１に記載に電子装置。
【請求項３】
前記検出部は、被写体を撮像する撮像部と、自装置の動きを検出する動き検出部とを備え、
前記動き検出部により検出された動きを示す情報から所定の時刻における自装置の位置を基準とした自装置の相対距離を時刻毎に算出する相対距離算出部と、
前記撮像部により得られた映像から前記被写体の画像領域を抽出する画像領域抽出部と、
前記抽出された各画像領域が所定のフレームにおける画像領域を基準として移動した移動画素量を算出する移動画素量算出部と、
を備え、
前記抽象化部は、前記算出された相対距離を抽象化し、前記算出された移動画素量を抽象化し、
前記正規化部は、前記抽象化された相対距離を正規化し、前記抽象化された移動画素量を正規化し、
前記比較判定部は、前記正規化された相対距離と前記正規化された移動画素量とに基づいて、前記動き検出部により検出された動きと同種の動きをしている画像領域を特定することを特徴とする請求項２に記載の電子装置。
【請求項４】
被写体を撮像する撮像部と、
前記撮像部により得られた映像から前記被写体の画像領域を抽出する画像領域抽出部と、
前記抽出された各画像領域が所定のフレームにおける画像領域を基準として移動した移動画素量を算出する移動画素量算出部と、
を更に備え、
前記抽象化部は、前記算出された移動画素量を抽象化し、
前記正規化部は、前記抽象化された移動画素量を正規化した正規化移動画素量を生成し、
前記比較判定部は、自装置の外部から入力された正規化された相対距離を示す情報と、前記正規化された相対距離と正規化移動画素量とに基づいて、前記動き検出部により検出された動きと同種の動きをしている画像領域を特定することを特徴とする請求項１に記載の電子装置。
【請求項５】
前記正規化された相対距離を示す情報を受信する通信部を更に備えることを特徴とする請求項４に記載の電子装置。
【請求項６】
前記抽象化部は、前記信号を示す情報の自己相関関数を算出し、該算出された自己相関関数に基づいて、前記入力された情報を抽象化することを特徴とする請求項１から請求項５のいずれか１項に記載の電子装置。
【請求項７】
入力された情報を抽象化する抽象化手順と、
前記抽象化された情報を正規化する正規化手順と、
前記正規化された情報を２つ以上比較し、該比較結果に基づいて該２つ以上の正規化された情報が同種の情報であるか否か判定する比較判定手順と、
を有することを特徴とするデータ生成方法。
【請求項８】
コンピュータに、
入力された情報を抽象化する抽象化ステップと、
前記抽象化された情報を正規化する正規化ステップと、
前記正規化された情報を２つ以上比較し、該比較結果に基づいて該２つ以上の正規化された情報が同種の情報であるか否か判定する比較判定ステップと、
を実行させるためのデータ生成プログラム。
【請求項１】
入力された情報を抽象化する抽象化部と、
前記抽象化された情報を正規化する正規化部と、
前記正規化された情報を２つ以上比較し、該比較結果に基づいて該２つ以上の正規化された情報が同種の情報であるか否か判定する比較判定部と、
を備えることを特徴とする電子装置。
【請求項２】
検出の対象から該対象の特徴を示す信号を検出する複数種類の検出部を備え、
前記抽象化部は、前記複数種類の検出部によりそれぞれ検出された信号を示す情報を抽象化し、
前記正規化部は、前記抽象化部によりそれぞれ抽象化された情報を正規化し、
前記比較判定部は、前記正規化部により正規化された複数の情報を比較することを特徴とする請求項１に記載に電子装置。
【請求項３】
前記検出部は、被写体を撮像する撮像部と、自装置の動きを検出する動き検出部とを備え、
前記動き検出部により検出された動きを示す情報から所定の時刻における自装置の位置を基準とした自装置の相対距離を時刻毎に算出する相対距離算出部と、
前記撮像部により得られた映像から前記被写体の画像領域を抽出する画像領域抽出部と、
前記抽出された各画像領域が所定のフレームにおける画像領域を基準として移動した移動画素量を算出する移動画素量算出部と、
を備え、
前記抽象化部は、前記算出された相対距離を抽象化し、前記算出された移動画素量を抽象化し、
前記正規化部は、前記抽象化された相対距離を正規化し、前記抽象化された移動画素量を正規化し、
前記比較判定部は、前記正規化された相対距離と前記正規化された移動画素量とに基づいて、前記動き検出部により検出された動きと同種の動きをしている画像領域を特定することを特徴とする請求項２に記載の電子装置。
【請求項４】
被写体を撮像する撮像部と、
前記撮像部により得られた映像から前記被写体の画像領域を抽出する画像領域抽出部と、
前記抽出された各画像領域が所定のフレームにおける画像領域を基準として移動した移動画素量を算出する移動画素量算出部と、
を更に備え、
前記抽象化部は、前記算出された移動画素量を抽象化し、
前記正規化部は、前記抽象化された移動画素量を正規化した正規化移動画素量を生成し、
前記比較判定部は、自装置の外部から入力された正規化された相対距離を示す情報と、前記正規化された相対距離と正規化移動画素量とに基づいて、前記動き検出部により検出された動きと同種の動きをしている画像領域を特定することを特徴とする請求項１に記載の電子装置。
【請求項５】
前記正規化された相対距離を示す情報を受信する通信部を更に備えることを特徴とする請求項４に記載の電子装置。
【請求項６】
前記抽象化部は、前記信号を示す情報の自己相関関数を算出し、該算出された自己相関関数に基づいて、前記入力された情報を抽象化することを特徴とする請求項１から請求項５のいずれか１項に記載の電子装置。
【請求項７】
入力された情報を抽象化する抽象化手順と、
前記抽象化された情報を正規化する正規化手順と、
前記正規化された情報を２つ以上比較し、該比較結果に基づいて該２つ以上の正規化された情報が同種の情報であるか否か判定する比較判定手順と、
を有することを特徴とするデータ生成方法。
【請求項８】
コンピュータに、
入力された情報を抽象化する抽象化ステップと、
前記抽象化された情報を正規化する正規化ステップと、
前記正規化された情報を２つ以上比較し、該比較結果に基づいて該２つ以上の正規化された情報が同種の情報であるか否か判定する比較判定ステップと、
を実行させるためのデータ生成プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１２−２３４４８９（Ｐ２０１２−２３４４８９Ａ）
【公開日】平成２４年１１月２９日（２０１２．１１．２９）
【国際特許分類】
【出願番号】特願２０１１−１０４４７４（Ｐ２０１１−１０４４７４）
【出願日】平成２３年５月９日（２０１１．５．９）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２４年１１月２９日（２０１２．１１．２９）
【国際特許分類】
【出願日】平成２３年５月９日（２０１１．５．９）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]