電子装置、合成方法および合成プログラム
【課題】検出された情報を豊かに表現する。
【解決手段】検出の対象から該対象の特徴を示す複数の信号を検出する複数の検出部１１、１２と、複数の検出部１１、１２により検出された複数の信号から、繰り返し現れる該信号のパターンをそれぞれ抽出する抽出部２１と、抽出された各パターンを合成する合成部２６と、を備える。
【解決手段】検出の対象から該対象の特徴を示す複数の信号を検出する複数の検出部１１、１２と、複数の検出部１１、１２により検出された複数の信号から、繰り返し現れる該信号のパターンをそれぞれ抽出する抽出部２１と、抽出された各パターンを合成する合成部２６と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電子装置、合成方法および合成プログラムに関する。
【背景技術】
【０００２】
従来、音曲のリズムを抽出する方法が知られている。例えば、特許文献１では、人体に取付けられ取付け個所の動きを検出するセンサ手段と、センサ手段により検出された検出値の検出テンポを抽出するテンポ抽出手段と、音曲を出力する音曲出力手段と、音曲のリズムを抽出するリズム抽出手段と、テンポ抽出手段により抽出された検出テンポがリズム抽出手段により抽出された音曲リズムに同期しているかを評価する評価手段とを備えるビデオゲーム装置が示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−１９２２７６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来、電子装置は、自装置が備える加速度センサなどの動きを検出するセンサから検出された信号からテンポを抽出し、そのテンポを示す情報を表示装置に表示させることができる。しかしながら、そのテンポは、操作者の動きという情報のみしか反映していないので、表現のバリエーションが少ないという問題があった。
【０００５】
そこで本発明は、上記問題に鑑みてなされたものであり、検出された情報を豊かに表現することを可能とする技術を提供することを課題とする。
【課題を解決するための手段】
【０００６】
上記の課題を解決するために、本発明の一態様である電子装置は、検出の対象から該対象の特徴を示す複数の信号を検出する複数の検出部と、前記複数の検出部により検出された複数の信号から、繰り返し現れる該信号のパターンをそれぞれ抽出する抽出部と、前記抽出された各パターンを合成する合成部と、を備えることを特徴とする。
【０００７】
また、本発明の一態様である合成方法は、検出の対象から該対象の特徴を示す複数の信号を検出する複数の検出手順と、前記複数の検出手順により検出された複数の信号から、繰り返し現れる該信号のパターンをそれぞれ抽出する抽出手順と、前記抽出された各パターンを合成する合成手順と、を有することを特徴とする。
【０００８】
また、本発明の一態様である合成プログラムは、複数の検出部により検出された複数の信号を示す情報が記憶されている記憶部を備えるコンピュータに、前記記憶部から複数の信号を示す情報を読み出し、該読み出された複数の信号を示す情報から繰り返し現れる該信号のパターンをそれぞれ抽出する抽出ステップと、前記抽出された各パターンを合成する合成ステップと、を実行させるための合成プログラムである。
【発明の効果】
【０００９】
本発明によれば、検出された情報を豊かに表現することができる。
【図面の簡単な説明】
【００１０】
【図１】本実施形態における電子装置のブロック構成図である。
【図２】本実施形態における電子装置が振られる方向について説明するための図である。
【図３】パターン抽出部の処理を説明するための図である。
【図４】パターン抽出部に入力される正規化後の動きを示す信号の別の一例とパターン抽出部により算出される自己相関関数とが示された図である。
【図５】正規化部の処理を説明するための図である。
【図６】合成部の処理について説明するための図である。
【図７】第１の実施形態の電子装置の処理の流れを示したフローチャートである。
【図８】第２の実施形態における通信システム２の構成例である。
【図９】第２の実施形態における電子装置のブロック構成図である。
【図１０】データ抽出部の処理について説明するための図である。
【図１１】動き映像合成部の処理について説明するための図である。
【図１２】雰囲気データ記憶部に記憶されているテーブルＴ１の一例が示された図である。
【図１３】第２の実施形態の電子装置の処理の流れを示したフローチャートである。
【発明を実施するための形態】
【００１１】
以下、本発明の実施形態について、図面を参照して詳細に説明する。図１は、本実施形態における電子装置１のブロック構成図である。
電子装置１は、検出部１０と、制御部２０と、パターン記憶部２５と、出力部３０とを備える。
【００１２】
まず、本実施形態の電子装置１の概要について説明する。電子装置１は、自装置が操作者により握られて振られているときに、自装置の動きと自装置の側面に加えられる圧力を検出し、検出された動きを示す信号と圧力を示す信号から、繰り返し現れるそれらの信号のパターンをそれぞれ抽出し、抽出された各パターンを合成する。これにより、電子装置１は、複数のパターンを合成することにより合成されたパターンのバリエーションを増やすことができ、その合成されたパターンを出力部３０を介して外部に報知するようにするので、自装置により検出された情報を豊かに表現することができる。
【００１３】
以下、各部の処理について説明する。検出部１０は、検出の対象（例えば、自装置）から該対象の特徴（例えば、自装置の動き、自装置の側面にかかる圧力）を示す複数の信号を検出する。ここで、検出部１０は、動き検出部１１と圧力検出部１２とを備える。
動き検出部１１は、自装置の動きを検出し、検出した動きを示す信号をパターン抽出部２３に供給する。具体的には、例えば、動き検出部１１は、自装置が操作者により握られて動かされているときの自装置の動きを検出する。動き検出部１１としては、例えば、加速度センサが設けられている。
【００１４】
圧力検出部１２は、電子装置１の側面に配置され、側面に加えられる圧力を検出し、検出した圧力を示す信号をパターン抽出部２３に出力する。具体的には、例えば、圧力検出部１２は、自装置が操作者により握られて動かされているときに、自装置に側面に加えられる圧力を所定の段階（例えば、２５６段階）で検出する。例えば、圧力検出部１２が５点に分割されているとすると、圧力検出部１２は５点で、圧力を検出することができる。圧力検出部１２としては、例えば、静電容量型の圧力感知センサが設けられている。
【００１５】
動き検出部１１と圧力検出部１２の処理を、図２の具体例を用いて説明する。
図２は、電子装置１が自装置の操作者（ユーザ）により握られて振られる方向について説明するための図である。同図におけるｘｙｚ座標系において、電子装置１が振られる方向４１が示され、電子装置１がｚ軸方向に振られることが示されている。また、電子装置１の側面には、圧力検出部２２が設けられている。
【００１６】
同図の例において、例えば、動き検出部１１は、３次元加速度センサを備え、３軸（ｘ、ｙ、ｚ軸）の加速度を検出する。動き検出部１１は、３軸の加速度を示す信号を制御部２０の後述するパターン抽出部２３に出力する。
圧力検出部１２は、操作者（ユーザ）により自装置が握られたときの、自装置の側面にかかる圧力を検出し、検出した圧力を示す信号をパターン抽出部２３に出力する。
【００１７】
図１に戻って、制御部２０は、抽出部２１と合成部２６とを備える。抽出部２１は、複数の検出部（本実施形態では、動き検出部１１と圧力検出部１２）により検出された複数の信号から、繰り返し現れる該信号のパターンをそれぞれ抽出する。ここで、抽出部２１は、パターン抽出部２３と正規化部２４とを備える。
【００１８】
続いて、パターン抽出部２３による処理の概要について説明する。パターン抽出部２３は、動きを示す信号と圧力を示す信号とから、繰り返し現れるパターンをそれぞれ動きのパターンと圧力のパターンとして抽出する。パターン抽出部２３は、抽出した動きのパターンを示す情報と圧力のパターンを示す情報とを正規化部２４に出力する。
【００１９】
上記パターン抽出部２３の処理の例について、図３を用いて説明する。図３は、パターン抽出部２３の処理を説明するための図である。ここでは、自装置が操作者（ユーザ）によりｚ軸方向に一定のパターンで繰り返し振られている場合を想定する。また、本実施形態では、説明を分かりやすくするために、ｚ軸方向の加速度についてのみ説明する。
【００２０】
同図の上側には、動き検出部１１によって検出されたｚ軸方向の加速度の時間変化を表す曲線Ｗ４２が示されている。また、曲線Ｗ４２は、破線により３つの時間領域に分けられ、１つの時間領域における正規化後の加速度の時間変化が繰り返されていることが示されている。
同図の下側には、パターン抽出部２３により抽出されたパターンを示す曲線Ｗ４３が示されている。同図の例において、パターン抽出部２３は、動きを示す信号から、繰り返し現れる時間変化を動きのパターンとして抽出する。
【００２１】
続いて、パターン抽出部２３によるパターン抽出の処理の詳細について説明する。図４は、パターン抽出部２３に入力される動きを示す信号の別の一例とパターン抽出部２３により算出される自己相関関数とが示された図である。図４（ａ）には、パターン抽出部２３に入力される動きを示す信号の別の一例を示す曲線Ｗ５１が示されている。ここで、縦軸は振幅、横軸はサンプル数である。
【００２２】
図４（ｂ）には、パターン抽出部２３によって、曲線Ｗ５１を構成する各点から算出される自己相関関数を示す曲線Ｗ５２の一例が示されている。ここで、縦軸は自己相関関数の値、横軸はサンプル数である。また、自己相関関数の極大値であるピークＰ５３と、１番目のサンプルからピークＰ５３のサンプルまでが１周期τであることが示されている。
【００２３】
例えば、図４（ａ）に示されたパターン抽出部２３に入力されるｎ項からなる入力データＡが、下記の式（１）で表される。
【００２４】
【数１】
【００２５】
また、図４（ａ）に示された入力データＡの配列の一部であるｍ項（ｍ＝ｎ／２）の配列Ａ´は、下記の式（２）で表される（ｎは２以上の偶数、ｍは正の整数）。
【００２６】
【数２】
【００２７】
ここで、Ａ´は固定である。また、図４（ａ）に示された入力データＡの配列をｔ（０≦ｔ≦ｎ／２）だけずらしたｍ項の配列Ｂは、下記の式（３）で表される。
【００２８】
【数３】
【００２９】
ここで、Ｂは可変である。
【００３０】
パターン抽出部２３は、このずらし幅ｔによって得られる配列Ａ´と配列Ｂによる自己相関関数を、以下の式（４）に従って算出する。
【００３１】
【数４】
【００３２】
ここで、ｉは各配列の要素のインデックスである。また、配列Ａ´と配列Ｂの各要素が所定の間隔で描画された波形が似ているほど値は１に近づくこととなる。
パターン抽出部２３は、自己相関関数Ｒ（ｔ）上で、上に凸の頂点のデータ（ピーク値）を抽出する。そして、パターン抽出部２３は、抽出したピーク値が所定の閾値を越えている場合、そのピーク値をとるサンプル番号（または時刻）を抽出する。パターン抽出部２３は、ピーク値をとるサンプル間隔（または時間間隔）を周期τとして抽出する。
【００３３】
パターン抽出部２３は、入力データＡを自己相関関数で求めた周期τで１周期ごとに分割する。そして、繰り返し回数ｎｕｍとすると、パターン抽出部２３は、１周期平均データａｖｅ（ｎ）を、以下の式（５）に従って算出する。
【００３４】
【数５】
【００３５】
ここで、ｋは整数である。１周期平均データａｖｅ（ｎ）は、パターン抽出部２３の出力データであり、図３の曲線Ｗ４３に相当する。パターン抽出部２３は、算出した１周期平均データａｖｅ（ｎ）を動きのパターンを示す情報として正規化部２４に出力する。同様に、パターン抽出部２３は、圧力についても、１周期平均データａｖｅ（ｎ）を算出し、算出した１周期平均データａｖｅ（ｎ）を圧力のパターンを示す情報として正規化部２４に出力する。
【００３６】
正規化部２４は、動きのパターンを示す情報と圧力のパターンを示す情報とを並列で、所定の範囲の値（例えば、−１から１までの値）に正規化し、正規化後の動きのパターンを示す情報と正規化後の圧力のパターンを示す情報とをパターン記憶部２５に記憶させる。
【００３７】
上記正規化部２４の処理の例について、図５を用いて説明する。図５は、正規化部の処理を説明するための図である。同図の上側には、パターンを示す曲線Ｗ４３が示されている。縦軸はｚ軸方向の加速度であり、横軸は時刻である。同図の下側には、ｚ軸方向の加速度が−１から１までの値に正規化された後の加速度の時間変化を示す曲線Ｗ４４が示されている。縦軸は正規化された後の加速度であり、横軸は時刻である。
同図の例において、正規化部２４は、３軸の加速度を示す信号のうち、ｚ軸方向の加速度を示す信号を−１から１までの値に正規化する。
【００３８】
また、本実施形態では、正規化部２４は、動きを示す信号と圧力を示す信号とを並列に正規化したが、これに限ったものではなく、順番に正規化してもよい。その場合、正規化部２４は、動きを示す信号と圧力を示す信号とのいずれかの信号を正規化部２４が備える遅延素子により、遅延させることにより、ハードウェアのみで構成してもよい。また、正規化部２４は、動きを示す信号と圧力を示す信号とのいずれかの信号をデジタル信号に変換し、変換したデジタル信号を正規化部２４が備えるバッファに一時的に保存し、順次保存されたデジタル信号を読み出して、読み出したデジタル信号を正規化してもよい。
【００３９】
合成部２６は、バターン記憶部２５から正規化後の動きのパターンを示す情報と正規化後の圧力のパターンを示す情報とを読み出す。合成部２６は、各パターンの振幅がいずれも所定の閾値（例えば、０．５）よりも大きくなっている場合、各パターンの振幅に基づいて、合成により得られるパターンの振幅を決定し、各パターンを合成する。
【００４０】
図６を用いて、上記合成部２６の処理の一例について説明する。図６は、合成部２６の処理について説明するための図である。同図において、縦軸は正規化された振幅であり、横軸は時刻である。同図において、正規化後の動きのパターンを示す曲線Ｗ５１と、正規化後の圧力のパターンを示す曲線Ｗ５２と、正規化後の動きのパターンと正規化後の圧力のパターンとが合成部２６により合成された後の合成信号を示す曲線Ｗ５３とが示されている。
【００４１】
例えば、合成部２６は、正規化後の動きのパターンの曲線Ｗ５１上の値０．６と、正規化後の圧力のパターンの曲線Ｗ５２上の値０．８とを加算し、加算により得られた値１．４に、各パターンの振幅の組み合わせ（０．６と０．８）に応じた係数０．８を乗じた値１．１２を、合成信号を示す曲線Ｗ５３上のピークＰ５４の振幅とする。
【００４２】
同様に、例えば、合成部２６は、正規化後の動きのパターンの曲線Ｗ５１上の値０．８と、正規化後の圧力のパターンの曲線Ｗ５２上の値０．８とを加算し、加算により得られた値１．６に、各パターンの振幅の組み合わせ（０．８と０．８）に応じた係数０．８５を乗じた値１．３６を、合成信号を示す曲線Ｗ５３上のピークＰ５５の振幅とする。
同様に、例えば、合成部２６は、正規化後の動きのパターンの曲線Ｗ５１上の値１．０と、正規化後の圧力のパターンの曲線Ｗ５２上の値０．８とを加算し、加算により得られた値１．８に各パターンの振幅の組み合わせ（１．０と０．８）に応じた係数０．９を乗じた値１．６２を、合成信号を示す曲線Ｗ５３上のピークＰ５６の振幅とする。
【００４３】
合成部２６は、合成後のパターンに基づく画像データを出力部３０の後述する表示部３１に出力する。また、合成部２６は、合成後のパターンに基づいて電気信号を生成し、電気信号を音声出力部３２に出力する。
【００４４】
出力部３０は、合成部２６により合成されたパターンに基づいて自装置の外部に報知する。ここで、出力部３０は、表示部３１と音声出力部３２とを備える。
表示部３１は、合成部２６から入力されたに基づく画像データを表示する。
音声出力部３２は、合成部２６から供給された電気信号に基づき、音声を外部に出力する。
【００４５】
図７は、第１の実施形態の電子装置１の処理の流れを示したフローチャートである。まず、検出部１０は、自装置の動きと自装置の側面にかかる圧力とを検出する（ステップＳ１０１）。次に、パターン抽出部２３は、動きのパターンを抽出する（ステップＳ１０２）。それと並行して、パターン抽出部２３は、圧力のパターンを抽出する（ステップＳ１０３）。
【００４６】
次に、正規化部２４は、動きのパターンを正規化する（ステップＳ１０４）。それと並行して、正規化部２４は、圧力のパターンを正規化する（ステップＳ１０５）。次に、合成部２６は、動きのパターンと圧力のパターンを合成する（ステップＳ１０６）。次に、表示部３１は、合成したパターンに基づく画像を表示する（ステップＳ１０７）。次に、音声出力部３２は、合成したパターンに基づく音声を出力する（ステップＳ１０８）。以上で、本フローチャートの処理を終了する。
【００４７】
以上、本実施形態の電子装置１は、自装置が操作者により握られて振られているときに、自装置の動きと自装置の側面に加えられる圧力を検出し、検出された動きを示す信号と圧力を示す信号から、繰り返し現れる当該信号のパターンをそれぞれ抽出する。そして、電子装置１は、抽出された各パターンを正規化し、正規化された各パターンを、それぞれの振幅に基づいて合成する。
【００４８】
これにより、電子装置１は、複数のパターンを合成することにより合成されたパターンのバリエーションを増やすことができ、その合成されたパターンに基づいて、出力部３０により外部に報知できるので、自装置により検出された情報を豊かに表現することができる。
【００４９】
＜第２の実施形態＞
続いて、第２の実施形態における通信システム２について説明する。図８は、第２の実施形態における通信システム２の構成例である。通信システム２は、複数の電子装置１００を備える。
図８（Ａ）には、通信システムの構成例として、電子装置１００−２が、自装置の検出部により検出された信号のパターンを示す情報を電子装置１００−１に送信する場合の構成例が示されている。
【００５０】
また、図８（Ｂ）には、通信システムの別の構成例として、複数の電子装置１００−２、１００−３、１００−４が電子装置１００−１に、自装置の検出部により検出された信号のパターンを示す情報を送信する場合の構成例が示されている。図８に示されているように、電子装置１００−１は、１つ又は複数の他の電子装置から、自装置の検出部により検出された信号のパターンを示す情報を受信する。
【００５１】
図９は、第２の実施形態における電子装置１００−Ｉ（Ｉは正の整数）のブロック構成図である。なお、図１と共通する要素には同一の符号を付し、その具体的な説明を省略する。
図９の電子装置１００−Ｉの構成は、図１の電子装置１の構成に対して、検出部１０が検出部１０ｂに変更され、制御部２０が制御部２０ｂに変更され、雰囲気データ記憶部２８と通信部４０とが追加されたものになっている。
検出部１０ｂは、図１の検出部１０の構成に対して、圧力検出部１２が除かれ、イメージセンサ１３が追加されたものになっている。
【００５２】
イメージセンサ１３は、被写体を撮像する。具体的には、例えば、１つ又は複数の他の電子装置１００が、それぞれ１人または複数の操作者により所定の方向に振られている場合を想定すると、イメージセンサ１３は、当該１つ又は複数の他の電子装置１００―Ｊ（ＪはＩ以外の正の整数）を被写体として撮像する。
イメージセンサ１３は、撮像により得られた映像信号を抽出部２１ｂの後述するデータ抽出部２２に供給する。イメージセンサ１３としては、例えば、ＣＣＤイメージセンサが設けられている。
【００５３】
制御部２０ｂは、図１の制御部２０の構成に対して、抽出部２１が抽出部２１ｂに変更され、合成部２６が合成部２６ｂに変更され、動き映像合成部２７と、照合部２９とが追加されたものになっている。
抽出部２１ｂは、データ抽出部２２と、正規化部２３ｂと、パターン抽出部２４ｂとを備える。
【００５４】
データ抽出部２２は、イメージセンサ１３から供給された映像信号から、フレームの対角線上の画素に相当する信号を抽出する。そして、データ抽出部２２は、抽出した信号（抽出映像信号）をパターン抽出部に出力する。
【００５５】
上記、データ抽出部２２の処理について図１０を用いて説明する。図１０は、データ抽出部２２の処理について説明するための図である。同図の向かって左側に、ｐ−１番目のフレームの画像（ｐは整数）と、ｐ番目のフレームの画像と、ｐ＋１番目のフレームの画像とが示されている。また、各フレームにおいて、左上の画素と右下の画素を結ぶ対角線上の画素が示されている。
【００５６】
同図の向かって右側に、データ抽出部２２により抽出されたフレーム内の対角線上の画素の輝度値から構成される抽出映像信号を示す曲線Ｗ１２２が示されている。この曲線Ｗ１２２を構成する各点は、同図の向かって左側の各フレームにおける左上の画素と右下の画素を結ぶ対角線上の画素の輝度信号をフレームの順に並べたものである。
同図の例において、データ抽出部２２は、各フレームにおいて、左上の画素と右下の画素を結ぶ対角線上の画素の輝度値を抽出し、抽出した輝度値のデータ列を抽出映像信号としてパターン抽出部２３ｂに出力する。
【００５７】
図９に戻って、パターン抽出部２３ｂは、第１の実施形態のパターン抽出部２３と同様に、動き検出部１１から供給された動きを示す信号から自己相関関数Ｒ（ｔ）を算出し、算出した自己相関関数Ｒ（ｔ）に基づいて、動きのパターンを算出する。そして、パターン抽出部２３ｂは、算出した動きのパターンを示す情報を正規化部２４ｂに出力する。
【００５８】
また、パターン抽出部２３ｂは、第１の実施形態のパターン抽出部２３と同様の方法により、データ抽出部２２から供給された抽出映像信号から自己相関関数Ｒ（ｔ）を算出し、算出した自己相関関数Ｒ（ｔ）に基づいて、映像のパターンを算出する。そして、パターン抽出部２３ｂは、算出した映像のパターンを示す情報を正規化部２４ｂに出力する。
【００５９】
正規化部２４ｂは、第１の実施形態の正規化部２４と同様に、パターン抽出部２３ｂから入力された動きのパターンを示す情報を−１から１までの値に正規化する。そして、正規化部２４ｂは、正規化後の動きのパターンを示す情報Ｒｍ＿Ｉをパターン記憶部２５に記憶させる。
【００６０】
また、正規化部２４ｂは、パターン抽出部２３ｂから入力された映像のパターンを示す情報を−１から１までの値に正規化する。そして、正規化部２４ｂは、正規化後の映像のパターンを示す情報Ｒｖをパターン記憶部２５に記憶させる。
【００６１】
制御部２０ｂは、パターン記憶部２５から正規化後の動きのパターンを示す情報Ｒｍ＿Ｉを読み出し、読み出した正規化後の動きのパターンを示す情報Ｒｍ＿Ｉを通信部４０に出力する。そして、制御部２０ｂは、正規化後の動きのパターンを示す情報Ｒｍ＿Ｉを通信部４０から他の電子装置１００−Ｊ（ＪはＩ以外の整数）に送信するよう制御する。
【００６２】
通信部４０は、有線または無線方式で、他の電子装置１００−Ｊと通信可能に構成されている。通信部４０は、他の電子装置１００−Ｊの正規化後の動きのパターンを示す情報Ｒｍ＿Ｊを他の電子装置１００−Ｊから受信し、受信した正規化後の動きのパターンを示す情報Ｒｍ＿Ｊを合成部２６ｂに出力する。
【００６３】
合成部２６ｂは、第１の実施形態の合成部２６と同様に、パターン記憶部２５から正規化後の動きのパターンを示す情報Ｒｍ＿Ｉを読み出す。また、合成部２６ｂは、第１の実施形態における合成部２６と同様の方法により、読み出した正規化後の動きのパターンを示す情報Ｒｍ＿Ｉと、通信部４０により入力された正規化後の動きのパターンを示す情報Ｒｍ＿Ｊとを、各振幅値に応じて合成する。
【００６４】
これにより、合成部２６ｂは、自装置の動きのパターンと他の電子装置１００−Ｊの動きのパターンを合成したパターンを生成することができる。
そして、合成部２６ｂは、合成により得られたパターンを集合の動きのパターンを示す情報Ｒａとして動き映像合成部２７に出力する。
【００６５】
動き映像合成部２７は、パターン記憶部２５から正規化後の映像のパターンを示す情報Ｒｖを読み出す。動き映像合成部２７は、合成部２６ｂにより合成された集合の動きのパターンと、抽出された映像のパターンとを合成する。具体的には、動き映像合成部２７は、合成部２６ｂから入力された集合の動きのパターンを示す情報Ｒａと、読み出した正規化後の映像のパターンを示す情報Ｒｖとを、それらの振幅に応じて合成する。
【００６６】
図１１を用いて、上記、動き映像合成部２７の処理について説明する。図１１は、動き映像合成部２７の処理について説明するための図である。同図において、縦軸は正規化された振幅であり、横軸は時刻である。同図において、集合の動きパターンを示す曲線Ｗ１２１と、正規化後の映像のパターンを示す曲線Ｗ１２２と、動き映像合成部２７により合成された合成パターンを示す曲線Ｗ１２３とが示されている。
【００６７】
例えば、動き映像合成部２７は、集合の動きパターンを示す曲線Ｗ１２１上の値０．６と、正規化後の映像のパターンを示す曲線Ｗ１２２上の値０．８とを加算し、加算により得られた値１．４に各パターンの振幅の組み合わせ（０．６と０．８）に応じた係数０．８を乗じることにより得られる値１．１２を、合成パターンを示す曲線Ｗ１２３上のピークＰ１２４の振幅とする。
図１に戻って、動き映像合成部２７は、合成により得られた合成パターンを場のパターンを示す情報Ｒｐとして照合部２９に出力する。
【００６８】
雰囲気データ記憶部２８は、場のパターンを示す情報Ｒｐと、雰囲気を示す情報Ａとが関連付けられて記憶されている。図１２は、雰囲気データ記憶部２８に記憶されているテーブルＴ１の一例が示された図である。
テーブルＴ１には、場のパターン固有の識別情報（ＩＤ）と、場のパターンと、雰囲気とが関連付けられている。例えば、ＩＤが１の場合、場のパターン（０．１、０．３、…、０．１）に対して、明るい雰囲気が関連付けられている。
【００６９】
図９に戻って、照合部２９は、動き映像合成部２７から入力された場のパターンを示す情報Ｒｐに対応する雰囲気を示す情報Ａをデータ記憶部２８から読み出す。そして、照合部２９は、読み出した雰囲気を示す情報Ａを表示部３１に出力する。また、照合部２９は、雰囲気を示す情報Ａに基づく電気信号を音声出力部３２に出力する。
【００７０】
なお、照合部２９は、場のパターンを示す情報Ｒｐに対応する雰囲気を示す情報Ａがデータ記憶部２８のレコードに存在しない場合、当該場のパターンを示す情報Ｒｐに最も近い場のパターンを抽出し、抽出した場のパターンに対応する雰囲気を示す情報Ａをデータ記憶部２８から読み出してもよい。
【００７１】
表示部３１は、照合部２９から入力された雰囲気を示す情報Ａに基づいて、雰囲気を示す情報を表示する。また、音声出力部３２は、照合部２９から入力された電気信号に基づいて、音声を出力する。
【００７２】
図１３は、第２の実施形態の電子装置１００―Ｉの処理の流れを示したフローチャートである。まず、検出部１０ｂは、自装置の動きを検出し、並行して他の電子装置１００―Ｊを被写体とする映像を取得する（ステップＳ２０１）。
次に、パターン抽出部２３ｂは、自装置の動きから動きのパターンを抽出する（ステップＳ２０２）。パターン抽出部２３ｂは、並行して、取得された映像のパターンを抽出する（ステップＳ２０３）。
【００７３】
次に、正規化部２４ｂは、抽出された動きのパターンを正規化する（ステップＳ２０４）。正規化部２４ｂは、並行して、抽出された映像のパターンを正規化する（ステップＳ２０５）。
【００７４】
次に、通信部４０は、正規化後の他の電子装置の動きのパターンを示す情報を他の電子装置から受信する（ステップＳ２０６）。次に、合成部２６ｂは、正規化後の自装置の動きのパターンと、正規化後の他の電子装置の動きのパターンとを合成した集合の動きパターンを生成する（ステップＳ２０７）。
【００７５】
次に、動き映像合成部２７は、集合の動きパターンと映像のパターンとを合成する（ステップＳ２０８）。照合部２９は、動き映像合成部２７により合成された場のパターンに対応する雰囲気を示す情報を読み出す（ステップＳ２０９）。次に、表示部３１は、読み出した雰囲気を示す情報を表示する（ステップＳ２１０）。次に、音声出力部３２は、雰囲気を示す情報に基づく音声を出力する（ステップＳ２１１）。以上で、本フローチャートの処理を終了する。
【００７６】
以上、第２の実施形態における電子装置１００―Ｉは、個々の電子装置１００―Ｉの動きから動きのパターンを抽出する。そして、電子装置１００―Ｉは、自装置の動きパターンと、他の電子装置１００―Ｊの動きパターンを合成して、集合の動きパターンを生成する。電子装置１００―Ｉは、生成した集合の動きパターンと、被写体である他の電子装置１００―Ｊを撮像した映像から得られる輝度変化に基づく映像パターンとを更に合成することにより、被写体が存在するその場のパターンを生成する。そして、電子装置１００―Ｉは、雰囲気データ記憶部２８からその場のパターンに対応する雰囲気を示す情報を読み出す。
【００７７】
これにより、電子装置１００―Ｉは、その場を撮像した映像信号と、自装置および他の電子装置１００―Ｊの動きを示す情報とから、その場のパターンを生成することができる。その結果、電子装置１００―Ｉは、生成されたその場のパターンからその場の雰囲気を推定することができる。
【００７８】
なお、本実施形態において、電子装置１００―Ｉは、自装置の動きのパターンと他の電子装置の動きのパターンを合成したが、これに限ったものではない。例えば、電子装置１００―Ｉは、自装置の側面にかかる圧力のパターンと、他の電子装置１００―Ｊの側面にかかる圧力のパターンを合成してもよい。
【００７９】
本実施形態において、動き映像合成部２７は、各パターンの振幅がいずれも所定の閾値よりも大きくなっている場合、各パターンの振幅に基づいて、合成により得られるパターンの振幅を決定したが、これに限ったものではない。動き映像合成部２７は、各パターンの平均値を、合成により得られるパターンの振幅としてもよい。
【００８０】
また、全ての実施形態において、合成部（２６、２６ｂ）は、各パターンの振幅がいずれも所定の閾値よりも大きくなっている場合、各パターンの振幅に基づいて、合成により得られるパターンの振幅を決定したが、これに限ったものではない。合成部（２６、２６ｂ）は、各パターンの平均値を、合成により得られるパターンの振幅としてもよい。
【００８１】
全ての実施形態において、出力部３０は、画像と音声とを用いて外部に報知したがこれに限らず、光または振動によって、外部に報知するようにしてもよい。
【００８２】
また、本実施形態の制御部（２０、２０ｂ）の各処理を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、当該記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、制御部（２０、２０ｂ）に係る上述した種々の処理を行ってもよい。その場合、記録媒体には、複数の検出部により検出された複数の信号を示す情報が記憶されているものとする。
【００８３】
なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【００８４】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【００８５】
以上、本発明の実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【００８６】
１、１００−Ｉ 電子装置
２ 通信システム
１０、１０ｂ 検出部
１１ 動き検出部
１２ 圧力検出部
１３ イメージセンサ
２１、２１ｂ 抽出部
２２ データ抽出部
２３ パターン抽出部
２４ 正規化部
２５ パターン記憶部
２６、２６ｂ 合成部
２７ 動き映像合成部
２８ 雰囲気データ記憶部
２９ 照合部
３０ 出力部
３１ 表示部
３２ 音声出力部
４０ 通信部
【技術分野】
【０００１】
本発明は、電子装置、合成方法および合成プログラムに関する。
【背景技術】
【０００２】
従来、音曲のリズムを抽出する方法が知られている。例えば、特許文献１では、人体に取付けられ取付け個所の動きを検出するセンサ手段と、センサ手段により検出された検出値の検出テンポを抽出するテンポ抽出手段と、音曲を出力する音曲出力手段と、音曲のリズムを抽出するリズム抽出手段と、テンポ抽出手段により抽出された検出テンポがリズム抽出手段により抽出された音曲リズムに同期しているかを評価する評価手段とを備えるビデオゲーム装置が示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−１９２２７６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来、電子装置は、自装置が備える加速度センサなどの動きを検出するセンサから検出された信号からテンポを抽出し、そのテンポを示す情報を表示装置に表示させることができる。しかしながら、そのテンポは、操作者の動きという情報のみしか反映していないので、表現のバリエーションが少ないという問題があった。
【０００５】
そこで本発明は、上記問題に鑑みてなされたものであり、検出された情報を豊かに表現することを可能とする技術を提供することを課題とする。
【課題を解決するための手段】
【０００６】
上記の課題を解決するために、本発明の一態様である電子装置は、検出の対象から該対象の特徴を示す複数の信号を検出する複数の検出部と、前記複数の検出部により検出された複数の信号から、繰り返し現れる該信号のパターンをそれぞれ抽出する抽出部と、前記抽出された各パターンを合成する合成部と、を備えることを特徴とする。
【０００７】
また、本発明の一態様である合成方法は、検出の対象から該対象の特徴を示す複数の信号を検出する複数の検出手順と、前記複数の検出手順により検出された複数の信号から、繰り返し現れる該信号のパターンをそれぞれ抽出する抽出手順と、前記抽出された各パターンを合成する合成手順と、を有することを特徴とする。
【０００８】
また、本発明の一態様である合成プログラムは、複数の検出部により検出された複数の信号を示す情報が記憶されている記憶部を備えるコンピュータに、前記記憶部から複数の信号を示す情報を読み出し、該読み出された複数の信号を示す情報から繰り返し現れる該信号のパターンをそれぞれ抽出する抽出ステップと、前記抽出された各パターンを合成する合成ステップと、を実行させるための合成プログラムである。
【発明の効果】
【０００９】
本発明によれば、検出された情報を豊かに表現することができる。
【図面の簡単な説明】
【００１０】
【図１】本実施形態における電子装置のブロック構成図である。
【図２】本実施形態における電子装置が振られる方向について説明するための図である。
【図３】パターン抽出部の処理を説明するための図である。
【図４】パターン抽出部に入力される正規化後の動きを示す信号の別の一例とパターン抽出部により算出される自己相関関数とが示された図である。
【図５】正規化部の処理を説明するための図である。
【図６】合成部の処理について説明するための図である。
【図７】第１の実施形態の電子装置の処理の流れを示したフローチャートである。
【図８】第２の実施形態における通信システム２の構成例である。
【図９】第２の実施形態における電子装置のブロック構成図である。
【図１０】データ抽出部の処理について説明するための図である。
【図１１】動き映像合成部の処理について説明するための図である。
【図１２】雰囲気データ記憶部に記憶されているテーブルＴ１の一例が示された図である。
【図１３】第２の実施形態の電子装置の処理の流れを示したフローチャートである。
【発明を実施するための形態】
【００１１】
以下、本発明の実施形態について、図面を参照して詳細に説明する。図１は、本実施形態における電子装置１のブロック構成図である。
電子装置１は、検出部１０と、制御部２０と、パターン記憶部２５と、出力部３０とを備える。
【００１２】
まず、本実施形態の電子装置１の概要について説明する。電子装置１は、自装置が操作者により握られて振られているときに、自装置の動きと自装置の側面に加えられる圧力を検出し、検出された動きを示す信号と圧力を示す信号から、繰り返し現れるそれらの信号のパターンをそれぞれ抽出し、抽出された各パターンを合成する。これにより、電子装置１は、複数のパターンを合成することにより合成されたパターンのバリエーションを増やすことができ、その合成されたパターンを出力部３０を介して外部に報知するようにするので、自装置により検出された情報を豊かに表現することができる。
【００１３】
以下、各部の処理について説明する。検出部１０は、検出の対象（例えば、自装置）から該対象の特徴（例えば、自装置の動き、自装置の側面にかかる圧力）を示す複数の信号を検出する。ここで、検出部１０は、動き検出部１１と圧力検出部１２とを備える。
動き検出部１１は、自装置の動きを検出し、検出した動きを示す信号をパターン抽出部２３に供給する。具体的には、例えば、動き検出部１１は、自装置が操作者により握られて動かされているときの自装置の動きを検出する。動き検出部１１としては、例えば、加速度センサが設けられている。
【００１４】
圧力検出部１２は、電子装置１の側面に配置され、側面に加えられる圧力を検出し、検出した圧力を示す信号をパターン抽出部２３に出力する。具体的には、例えば、圧力検出部１２は、自装置が操作者により握られて動かされているときに、自装置に側面に加えられる圧力を所定の段階（例えば、２５６段階）で検出する。例えば、圧力検出部１２が５点に分割されているとすると、圧力検出部１２は５点で、圧力を検出することができる。圧力検出部１２としては、例えば、静電容量型の圧力感知センサが設けられている。
【００１５】
動き検出部１１と圧力検出部１２の処理を、図２の具体例を用いて説明する。
図２は、電子装置１が自装置の操作者（ユーザ）により握られて振られる方向について説明するための図である。同図におけるｘｙｚ座標系において、電子装置１が振られる方向４１が示され、電子装置１がｚ軸方向に振られることが示されている。また、電子装置１の側面には、圧力検出部２２が設けられている。
【００１６】
同図の例において、例えば、動き検出部１１は、３次元加速度センサを備え、３軸（ｘ、ｙ、ｚ軸）の加速度を検出する。動き検出部１１は、３軸の加速度を示す信号を制御部２０の後述するパターン抽出部２３に出力する。
圧力検出部１２は、操作者（ユーザ）により自装置が握られたときの、自装置の側面にかかる圧力を検出し、検出した圧力を示す信号をパターン抽出部２３に出力する。
【００１７】
図１に戻って、制御部２０は、抽出部２１と合成部２６とを備える。抽出部２１は、複数の検出部（本実施形態では、動き検出部１１と圧力検出部１２）により検出された複数の信号から、繰り返し現れる該信号のパターンをそれぞれ抽出する。ここで、抽出部２１は、パターン抽出部２３と正規化部２４とを備える。
【００１８】
続いて、パターン抽出部２３による処理の概要について説明する。パターン抽出部２３は、動きを示す信号と圧力を示す信号とから、繰り返し現れるパターンをそれぞれ動きのパターンと圧力のパターンとして抽出する。パターン抽出部２３は、抽出した動きのパターンを示す情報と圧力のパターンを示す情報とを正規化部２４に出力する。
【００１９】
上記パターン抽出部２３の処理の例について、図３を用いて説明する。図３は、パターン抽出部２３の処理を説明するための図である。ここでは、自装置が操作者（ユーザ）によりｚ軸方向に一定のパターンで繰り返し振られている場合を想定する。また、本実施形態では、説明を分かりやすくするために、ｚ軸方向の加速度についてのみ説明する。
【００２０】
同図の上側には、動き検出部１１によって検出されたｚ軸方向の加速度の時間変化を表す曲線Ｗ４２が示されている。また、曲線Ｗ４２は、破線により３つの時間領域に分けられ、１つの時間領域における正規化後の加速度の時間変化が繰り返されていることが示されている。
同図の下側には、パターン抽出部２３により抽出されたパターンを示す曲線Ｗ４３が示されている。同図の例において、パターン抽出部２３は、動きを示す信号から、繰り返し現れる時間変化を動きのパターンとして抽出する。
【００２１】
続いて、パターン抽出部２３によるパターン抽出の処理の詳細について説明する。図４は、パターン抽出部２３に入力される動きを示す信号の別の一例とパターン抽出部２３により算出される自己相関関数とが示された図である。図４（ａ）には、パターン抽出部２３に入力される動きを示す信号の別の一例を示す曲線Ｗ５１が示されている。ここで、縦軸は振幅、横軸はサンプル数である。
【００２２】
図４（ｂ）には、パターン抽出部２３によって、曲線Ｗ５１を構成する各点から算出される自己相関関数を示す曲線Ｗ５２の一例が示されている。ここで、縦軸は自己相関関数の値、横軸はサンプル数である。また、自己相関関数の極大値であるピークＰ５３と、１番目のサンプルからピークＰ５３のサンプルまでが１周期τであることが示されている。
【００２３】
例えば、図４（ａ）に示されたパターン抽出部２３に入力されるｎ項からなる入力データＡが、下記の式（１）で表される。
【００２４】
【数１】
【００２５】
また、図４（ａ）に示された入力データＡの配列の一部であるｍ項（ｍ＝ｎ／２）の配列Ａ´は、下記の式（２）で表される（ｎは２以上の偶数、ｍは正の整数）。
【００２６】
【数２】
【００２７】
ここで、Ａ´は固定である。また、図４（ａ）に示された入力データＡの配列をｔ（０≦ｔ≦ｎ／２）だけずらしたｍ項の配列Ｂは、下記の式（３）で表される。
【００２８】
【数３】
【００２９】
ここで、Ｂは可変である。
【００３０】
パターン抽出部２３は、このずらし幅ｔによって得られる配列Ａ´と配列Ｂによる自己相関関数を、以下の式（４）に従って算出する。
【００３１】
【数４】
【００３２】
ここで、ｉは各配列の要素のインデックスである。また、配列Ａ´と配列Ｂの各要素が所定の間隔で描画された波形が似ているほど値は１に近づくこととなる。
パターン抽出部２３は、自己相関関数Ｒ（ｔ）上で、上に凸の頂点のデータ（ピーク値）を抽出する。そして、パターン抽出部２３は、抽出したピーク値が所定の閾値を越えている場合、そのピーク値をとるサンプル番号（または時刻）を抽出する。パターン抽出部２３は、ピーク値をとるサンプル間隔（または時間間隔）を周期τとして抽出する。
【００３３】
パターン抽出部２３は、入力データＡを自己相関関数で求めた周期τで１周期ごとに分割する。そして、繰り返し回数ｎｕｍとすると、パターン抽出部２３は、１周期平均データａｖｅ（ｎ）を、以下の式（５）に従って算出する。
【００３４】
【数５】
【００３５】
ここで、ｋは整数である。１周期平均データａｖｅ（ｎ）は、パターン抽出部２３の出力データであり、図３の曲線Ｗ４３に相当する。パターン抽出部２３は、算出した１周期平均データａｖｅ（ｎ）を動きのパターンを示す情報として正規化部２４に出力する。同様に、パターン抽出部２３は、圧力についても、１周期平均データａｖｅ（ｎ）を算出し、算出した１周期平均データａｖｅ（ｎ）を圧力のパターンを示す情報として正規化部２４に出力する。
【００３６】
正規化部２４は、動きのパターンを示す情報と圧力のパターンを示す情報とを並列で、所定の範囲の値（例えば、−１から１までの値）に正規化し、正規化後の動きのパターンを示す情報と正規化後の圧力のパターンを示す情報とをパターン記憶部２５に記憶させる。
【００３７】
上記正規化部２４の処理の例について、図５を用いて説明する。図５は、正規化部の処理を説明するための図である。同図の上側には、パターンを示す曲線Ｗ４３が示されている。縦軸はｚ軸方向の加速度であり、横軸は時刻である。同図の下側には、ｚ軸方向の加速度が−１から１までの値に正規化された後の加速度の時間変化を示す曲線Ｗ４４が示されている。縦軸は正規化された後の加速度であり、横軸は時刻である。
同図の例において、正規化部２４は、３軸の加速度を示す信号のうち、ｚ軸方向の加速度を示す信号を−１から１までの値に正規化する。
【００３８】
また、本実施形態では、正規化部２４は、動きを示す信号と圧力を示す信号とを並列に正規化したが、これに限ったものではなく、順番に正規化してもよい。その場合、正規化部２４は、動きを示す信号と圧力を示す信号とのいずれかの信号を正規化部２４が備える遅延素子により、遅延させることにより、ハードウェアのみで構成してもよい。また、正規化部２４は、動きを示す信号と圧力を示す信号とのいずれかの信号をデジタル信号に変換し、変換したデジタル信号を正規化部２４が備えるバッファに一時的に保存し、順次保存されたデジタル信号を読み出して、読み出したデジタル信号を正規化してもよい。
【００３９】
合成部２６は、バターン記憶部２５から正規化後の動きのパターンを示す情報と正規化後の圧力のパターンを示す情報とを読み出す。合成部２６は、各パターンの振幅がいずれも所定の閾値（例えば、０．５）よりも大きくなっている場合、各パターンの振幅に基づいて、合成により得られるパターンの振幅を決定し、各パターンを合成する。
【００４０】
図６を用いて、上記合成部２６の処理の一例について説明する。図６は、合成部２６の処理について説明するための図である。同図において、縦軸は正規化された振幅であり、横軸は時刻である。同図において、正規化後の動きのパターンを示す曲線Ｗ５１と、正規化後の圧力のパターンを示す曲線Ｗ５２と、正規化後の動きのパターンと正規化後の圧力のパターンとが合成部２６により合成された後の合成信号を示す曲線Ｗ５３とが示されている。
【００４１】
例えば、合成部２６は、正規化後の動きのパターンの曲線Ｗ５１上の値０．６と、正規化後の圧力のパターンの曲線Ｗ５２上の値０．８とを加算し、加算により得られた値１．４に、各パターンの振幅の組み合わせ（０．６と０．８）に応じた係数０．８を乗じた値１．１２を、合成信号を示す曲線Ｗ５３上のピークＰ５４の振幅とする。
【００４２】
同様に、例えば、合成部２６は、正規化後の動きのパターンの曲線Ｗ５１上の値０．８と、正規化後の圧力のパターンの曲線Ｗ５２上の値０．８とを加算し、加算により得られた値１．６に、各パターンの振幅の組み合わせ（０．８と０．８）に応じた係数０．８５を乗じた値１．３６を、合成信号を示す曲線Ｗ５３上のピークＰ５５の振幅とする。
同様に、例えば、合成部２６は、正規化後の動きのパターンの曲線Ｗ５１上の値１．０と、正規化後の圧力のパターンの曲線Ｗ５２上の値０．８とを加算し、加算により得られた値１．８に各パターンの振幅の組み合わせ（１．０と０．８）に応じた係数０．９を乗じた値１．６２を、合成信号を示す曲線Ｗ５３上のピークＰ５６の振幅とする。
【００４３】
合成部２６は、合成後のパターンに基づく画像データを出力部３０の後述する表示部３１に出力する。また、合成部２６は、合成後のパターンに基づいて電気信号を生成し、電気信号を音声出力部３２に出力する。
【００４４】
出力部３０は、合成部２６により合成されたパターンに基づいて自装置の外部に報知する。ここで、出力部３０は、表示部３１と音声出力部３２とを備える。
表示部３１は、合成部２６から入力されたに基づく画像データを表示する。
音声出力部３２は、合成部２６から供給された電気信号に基づき、音声を外部に出力する。
【００４５】
図７は、第１の実施形態の電子装置１の処理の流れを示したフローチャートである。まず、検出部１０は、自装置の動きと自装置の側面にかかる圧力とを検出する（ステップＳ１０１）。次に、パターン抽出部２３は、動きのパターンを抽出する（ステップＳ１０２）。それと並行して、パターン抽出部２３は、圧力のパターンを抽出する（ステップＳ１０３）。
【００４６】
次に、正規化部２４は、動きのパターンを正規化する（ステップＳ１０４）。それと並行して、正規化部２４は、圧力のパターンを正規化する（ステップＳ１０５）。次に、合成部２６は、動きのパターンと圧力のパターンを合成する（ステップＳ１０６）。次に、表示部３１は、合成したパターンに基づく画像を表示する（ステップＳ１０７）。次に、音声出力部３２は、合成したパターンに基づく音声を出力する（ステップＳ１０８）。以上で、本フローチャートの処理を終了する。
【００４７】
以上、本実施形態の電子装置１は、自装置が操作者により握られて振られているときに、自装置の動きと自装置の側面に加えられる圧力を検出し、検出された動きを示す信号と圧力を示す信号から、繰り返し現れる当該信号のパターンをそれぞれ抽出する。そして、電子装置１は、抽出された各パターンを正規化し、正規化された各パターンを、それぞれの振幅に基づいて合成する。
【００４８】
これにより、電子装置１は、複数のパターンを合成することにより合成されたパターンのバリエーションを増やすことができ、その合成されたパターンに基づいて、出力部３０により外部に報知できるので、自装置により検出された情報を豊かに表現することができる。
【００４９】
＜第２の実施形態＞
続いて、第２の実施形態における通信システム２について説明する。図８は、第２の実施形態における通信システム２の構成例である。通信システム２は、複数の電子装置１００を備える。
図８（Ａ）には、通信システムの構成例として、電子装置１００−２が、自装置の検出部により検出された信号のパターンを示す情報を電子装置１００−１に送信する場合の構成例が示されている。
【００５０】
また、図８（Ｂ）には、通信システムの別の構成例として、複数の電子装置１００−２、１００−３、１００−４が電子装置１００−１に、自装置の検出部により検出された信号のパターンを示す情報を送信する場合の構成例が示されている。図８に示されているように、電子装置１００−１は、１つ又は複数の他の電子装置から、自装置の検出部により検出された信号のパターンを示す情報を受信する。
【００５１】
図９は、第２の実施形態における電子装置１００−Ｉ（Ｉは正の整数）のブロック構成図である。なお、図１と共通する要素には同一の符号を付し、その具体的な説明を省略する。
図９の電子装置１００−Ｉの構成は、図１の電子装置１の構成に対して、検出部１０が検出部１０ｂに変更され、制御部２０が制御部２０ｂに変更され、雰囲気データ記憶部２８と通信部４０とが追加されたものになっている。
検出部１０ｂは、図１の検出部１０の構成に対して、圧力検出部１２が除かれ、イメージセンサ１３が追加されたものになっている。
【００５２】
イメージセンサ１３は、被写体を撮像する。具体的には、例えば、１つ又は複数の他の電子装置１００が、それぞれ１人または複数の操作者により所定の方向に振られている場合を想定すると、イメージセンサ１３は、当該１つ又は複数の他の電子装置１００―Ｊ（ＪはＩ以外の正の整数）を被写体として撮像する。
イメージセンサ１３は、撮像により得られた映像信号を抽出部２１ｂの後述するデータ抽出部２２に供給する。イメージセンサ１３としては、例えば、ＣＣＤイメージセンサが設けられている。
【００５３】
制御部２０ｂは、図１の制御部２０の構成に対して、抽出部２１が抽出部２１ｂに変更され、合成部２６が合成部２６ｂに変更され、動き映像合成部２７と、照合部２９とが追加されたものになっている。
抽出部２１ｂは、データ抽出部２２と、正規化部２３ｂと、パターン抽出部２４ｂとを備える。
【００５４】
データ抽出部２２は、イメージセンサ１３から供給された映像信号から、フレームの対角線上の画素に相当する信号を抽出する。そして、データ抽出部２２は、抽出した信号（抽出映像信号）をパターン抽出部に出力する。
【００５５】
上記、データ抽出部２２の処理について図１０を用いて説明する。図１０は、データ抽出部２２の処理について説明するための図である。同図の向かって左側に、ｐ−１番目のフレームの画像（ｐは整数）と、ｐ番目のフレームの画像と、ｐ＋１番目のフレームの画像とが示されている。また、各フレームにおいて、左上の画素と右下の画素を結ぶ対角線上の画素が示されている。
【００５６】
同図の向かって右側に、データ抽出部２２により抽出されたフレーム内の対角線上の画素の輝度値から構成される抽出映像信号を示す曲線Ｗ１２２が示されている。この曲線Ｗ１２２を構成する各点は、同図の向かって左側の各フレームにおける左上の画素と右下の画素を結ぶ対角線上の画素の輝度信号をフレームの順に並べたものである。
同図の例において、データ抽出部２２は、各フレームにおいて、左上の画素と右下の画素を結ぶ対角線上の画素の輝度値を抽出し、抽出した輝度値のデータ列を抽出映像信号としてパターン抽出部２３ｂに出力する。
【００５７】
図９に戻って、パターン抽出部２３ｂは、第１の実施形態のパターン抽出部２３と同様に、動き検出部１１から供給された動きを示す信号から自己相関関数Ｒ（ｔ）を算出し、算出した自己相関関数Ｒ（ｔ）に基づいて、動きのパターンを算出する。そして、パターン抽出部２３ｂは、算出した動きのパターンを示す情報を正規化部２４ｂに出力する。
【００５８】
また、パターン抽出部２３ｂは、第１の実施形態のパターン抽出部２３と同様の方法により、データ抽出部２２から供給された抽出映像信号から自己相関関数Ｒ（ｔ）を算出し、算出した自己相関関数Ｒ（ｔ）に基づいて、映像のパターンを算出する。そして、パターン抽出部２３ｂは、算出した映像のパターンを示す情報を正規化部２４ｂに出力する。
【００５９】
正規化部２４ｂは、第１の実施形態の正規化部２４と同様に、パターン抽出部２３ｂから入力された動きのパターンを示す情報を−１から１までの値に正規化する。そして、正規化部２４ｂは、正規化後の動きのパターンを示す情報Ｒｍ＿Ｉをパターン記憶部２５に記憶させる。
【００６０】
また、正規化部２４ｂは、パターン抽出部２３ｂから入力された映像のパターンを示す情報を−１から１までの値に正規化する。そして、正規化部２４ｂは、正規化後の映像のパターンを示す情報Ｒｖをパターン記憶部２５に記憶させる。
【００６１】
制御部２０ｂは、パターン記憶部２５から正規化後の動きのパターンを示す情報Ｒｍ＿Ｉを読み出し、読み出した正規化後の動きのパターンを示す情報Ｒｍ＿Ｉを通信部４０に出力する。そして、制御部２０ｂは、正規化後の動きのパターンを示す情報Ｒｍ＿Ｉを通信部４０から他の電子装置１００−Ｊ（ＪはＩ以外の整数）に送信するよう制御する。
【００６２】
通信部４０は、有線または無線方式で、他の電子装置１００−Ｊと通信可能に構成されている。通信部４０は、他の電子装置１００−Ｊの正規化後の動きのパターンを示す情報Ｒｍ＿Ｊを他の電子装置１００−Ｊから受信し、受信した正規化後の動きのパターンを示す情報Ｒｍ＿Ｊを合成部２６ｂに出力する。
【００６３】
合成部２６ｂは、第１の実施形態の合成部２６と同様に、パターン記憶部２５から正規化後の動きのパターンを示す情報Ｒｍ＿Ｉを読み出す。また、合成部２６ｂは、第１の実施形態における合成部２６と同様の方法により、読み出した正規化後の動きのパターンを示す情報Ｒｍ＿Ｉと、通信部４０により入力された正規化後の動きのパターンを示す情報Ｒｍ＿Ｊとを、各振幅値に応じて合成する。
【００６４】
これにより、合成部２６ｂは、自装置の動きのパターンと他の電子装置１００−Ｊの動きのパターンを合成したパターンを生成することができる。
そして、合成部２６ｂは、合成により得られたパターンを集合の動きのパターンを示す情報Ｒａとして動き映像合成部２７に出力する。
【００６５】
動き映像合成部２７は、パターン記憶部２５から正規化後の映像のパターンを示す情報Ｒｖを読み出す。動き映像合成部２７は、合成部２６ｂにより合成された集合の動きのパターンと、抽出された映像のパターンとを合成する。具体的には、動き映像合成部２７は、合成部２６ｂから入力された集合の動きのパターンを示す情報Ｒａと、読み出した正規化後の映像のパターンを示す情報Ｒｖとを、それらの振幅に応じて合成する。
【００６６】
図１１を用いて、上記、動き映像合成部２７の処理について説明する。図１１は、動き映像合成部２７の処理について説明するための図である。同図において、縦軸は正規化された振幅であり、横軸は時刻である。同図において、集合の動きパターンを示す曲線Ｗ１２１と、正規化後の映像のパターンを示す曲線Ｗ１２２と、動き映像合成部２７により合成された合成パターンを示す曲線Ｗ１２３とが示されている。
【００６７】
例えば、動き映像合成部２７は、集合の動きパターンを示す曲線Ｗ１２１上の値０．６と、正規化後の映像のパターンを示す曲線Ｗ１２２上の値０．８とを加算し、加算により得られた値１．４に各パターンの振幅の組み合わせ（０．６と０．８）に応じた係数０．８を乗じることにより得られる値１．１２を、合成パターンを示す曲線Ｗ１２３上のピークＰ１２４の振幅とする。
図１に戻って、動き映像合成部２７は、合成により得られた合成パターンを場のパターンを示す情報Ｒｐとして照合部２９に出力する。
【００６８】
雰囲気データ記憶部２８は、場のパターンを示す情報Ｒｐと、雰囲気を示す情報Ａとが関連付けられて記憶されている。図１２は、雰囲気データ記憶部２８に記憶されているテーブルＴ１の一例が示された図である。
テーブルＴ１には、場のパターン固有の識別情報（ＩＤ）と、場のパターンと、雰囲気とが関連付けられている。例えば、ＩＤが１の場合、場のパターン（０．１、０．３、…、０．１）に対して、明るい雰囲気が関連付けられている。
【００６９】
図９に戻って、照合部２９は、動き映像合成部２７から入力された場のパターンを示す情報Ｒｐに対応する雰囲気を示す情報Ａをデータ記憶部２８から読み出す。そして、照合部２９は、読み出した雰囲気を示す情報Ａを表示部３１に出力する。また、照合部２９は、雰囲気を示す情報Ａに基づく電気信号を音声出力部３２に出力する。
【００７０】
なお、照合部２９は、場のパターンを示す情報Ｒｐに対応する雰囲気を示す情報Ａがデータ記憶部２８のレコードに存在しない場合、当該場のパターンを示す情報Ｒｐに最も近い場のパターンを抽出し、抽出した場のパターンに対応する雰囲気を示す情報Ａをデータ記憶部２８から読み出してもよい。
【００７１】
表示部３１は、照合部２９から入力された雰囲気を示す情報Ａに基づいて、雰囲気を示す情報を表示する。また、音声出力部３２は、照合部２９から入力された電気信号に基づいて、音声を出力する。
【００７２】
図１３は、第２の実施形態の電子装置１００―Ｉの処理の流れを示したフローチャートである。まず、検出部１０ｂは、自装置の動きを検出し、並行して他の電子装置１００―Ｊを被写体とする映像を取得する（ステップＳ２０１）。
次に、パターン抽出部２３ｂは、自装置の動きから動きのパターンを抽出する（ステップＳ２０２）。パターン抽出部２３ｂは、並行して、取得された映像のパターンを抽出する（ステップＳ２０３）。
【００７３】
次に、正規化部２４ｂは、抽出された動きのパターンを正規化する（ステップＳ２０４）。正規化部２４ｂは、並行して、抽出された映像のパターンを正規化する（ステップＳ２０５）。
【００７４】
次に、通信部４０は、正規化後の他の電子装置の動きのパターンを示す情報を他の電子装置から受信する（ステップＳ２０６）。次に、合成部２６ｂは、正規化後の自装置の動きのパターンと、正規化後の他の電子装置の動きのパターンとを合成した集合の動きパターンを生成する（ステップＳ２０７）。
【００７５】
次に、動き映像合成部２７は、集合の動きパターンと映像のパターンとを合成する（ステップＳ２０８）。照合部２９は、動き映像合成部２７により合成された場のパターンに対応する雰囲気を示す情報を読み出す（ステップＳ２０９）。次に、表示部３１は、読み出した雰囲気を示す情報を表示する（ステップＳ２１０）。次に、音声出力部３２は、雰囲気を示す情報に基づく音声を出力する（ステップＳ２１１）。以上で、本フローチャートの処理を終了する。
【００７６】
以上、第２の実施形態における電子装置１００―Ｉは、個々の電子装置１００―Ｉの動きから動きのパターンを抽出する。そして、電子装置１００―Ｉは、自装置の動きパターンと、他の電子装置１００―Ｊの動きパターンを合成して、集合の動きパターンを生成する。電子装置１００―Ｉは、生成した集合の動きパターンと、被写体である他の電子装置１００―Ｊを撮像した映像から得られる輝度変化に基づく映像パターンとを更に合成することにより、被写体が存在するその場のパターンを生成する。そして、電子装置１００―Ｉは、雰囲気データ記憶部２８からその場のパターンに対応する雰囲気を示す情報を読み出す。
【００７７】
これにより、電子装置１００―Ｉは、その場を撮像した映像信号と、自装置および他の電子装置１００―Ｊの動きを示す情報とから、その場のパターンを生成することができる。その結果、電子装置１００―Ｉは、生成されたその場のパターンからその場の雰囲気を推定することができる。
【００７８】
なお、本実施形態において、電子装置１００―Ｉは、自装置の動きのパターンと他の電子装置の動きのパターンを合成したが、これに限ったものではない。例えば、電子装置１００―Ｉは、自装置の側面にかかる圧力のパターンと、他の電子装置１００―Ｊの側面にかかる圧力のパターンを合成してもよい。
【００７９】
本実施形態において、動き映像合成部２７は、各パターンの振幅がいずれも所定の閾値よりも大きくなっている場合、各パターンの振幅に基づいて、合成により得られるパターンの振幅を決定したが、これに限ったものではない。動き映像合成部２７は、各パターンの平均値を、合成により得られるパターンの振幅としてもよい。
【００８０】
また、全ての実施形態において、合成部（２６、２６ｂ）は、各パターンの振幅がいずれも所定の閾値よりも大きくなっている場合、各パターンの振幅に基づいて、合成により得られるパターンの振幅を決定したが、これに限ったものではない。合成部（２６、２６ｂ）は、各パターンの平均値を、合成により得られるパターンの振幅としてもよい。
【００８１】
全ての実施形態において、出力部３０は、画像と音声とを用いて外部に報知したがこれに限らず、光または振動によって、外部に報知するようにしてもよい。
【００８２】
また、本実施形態の制御部（２０、２０ｂ）の各処理を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、当該記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、制御部（２０、２０ｂ）に係る上述した種々の処理を行ってもよい。その場合、記録媒体には、複数の検出部により検出された複数の信号を示す情報が記憶されているものとする。
【００８３】
なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【００８４】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【００８５】
以上、本発明の実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【００８６】
１、１００−Ｉ 電子装置
２ 通信システム
１０、１０ｂ 検出部
１１ 動き検出部
１２ 圧力検出部
１３ イメージセンサ
２１、２１ｂ 抽出部
２２ データ抽出部
２３ パターン抽出部
２４ 正規化部
２５ パターン記憶部
２６、２６ｂ 合成部
２７ 動き映像合成部
２８ 雰囲気データ記憶部
２９ 照合部
３０ 出力部
３１ 表示部
３２ 音声出力部
４０ 通信部
【特許請求の範囲】
【請求項１】
検出の対象から該対象の特徴を示す複数の信号を検出する複数の検出部と、
前記複数の検出部により検出された複数の信号から、繰り返し現れる該信号のパターンをそれぞれ抽出する抽出部と、
前記抽出された各パターンを合成する合成部と、
を備えることを特徴とする電子装置。
【請求項２】
検出の対象から該対象の特徴を示す信号を検出する検出部と、
前記検出部により検出された信号から、繰り返し現れる該信号のパターンを抽出する抽出部と、
他の電子装置により検出された信号のパターンを示す情報を受信する通信部と、
前記通信部により受信されたパターンと、前記抽出部により抽出されたパターンとを合成する合成部と、
を備えることを特徴とする電子装置。
【請求項３】
前記合成部は、前記各パターンの振幅がいずれも所定の閾値よりも大きくなっている場合、前記各パターンの振幅に基づいて、合成により得られるパターンの振幅を決定することを特徴とする請求項１または請求項２に記載の電子装置。
【請求項４】
前記合成部は、前記各パターンの平均値を、合成により得られるパターンの振幅とすることを特徴とする請求項１または請求項２に記載の電子装置。
【請求項５】
前記合成部により合成されたパターンに基づき自装置の外部に報知する出力部を更に備えることを特徴とする請求項１から請求項４のいずれか１項に記載の電子装置。
【請求項６】
前記検出部は、自装置の動きを検出し、
前記抽出部は、前記検出された動きから自装置の動きのパターンを抽出し、
前記通信部は、他の電子装置により検出された他の電子装置の動きのパターンを示す情報を受信し、
前記合成部は、自装置の動きのパターンと、他の電子装置の動きのパターンとを合成することを特徴とする請求項２に記載の電子装置。
【請求項７】
前記検出部は、被写体を撮影し、
前記抽出部は、前記検出部による撮影により得られた映像から映像のパターンを抽出し、
前記合成部により合成された動きのパターンと、前記抽出された映像のパターンとを合成する動き映像合成部を備えることを特徴とする請求項６に記載の電子装置。
【請求項８】
検出の対象から該対象の特徴を示す複数の信号を検出する複数の検出手順と、
前記複数の検出手順により検出された複数の信号から、繰り返し現れる該信号のパターンをそれぞれ抽出する抽出手順と、
前記抽出された各パターンを合成する合成手順と、
を有することを特徴とする合成方法。
【請求項９】
複数の検出部により検出された複数の信号を示す情報が記憶されている記憶部を備えるコンピュータに、
前記記憶部から複数の信号を示す情報を読み出し、該読み出された複数の信号を示す情報から繰り返し現れる該信号のパターンをそれぞれ抽出する抽出ステップと、
前記抽出された各パターンを合成する合成ステップと、
を実行させるための合成プログラム。
【請求項１】
検出の対象から該対象の特徴を示す複数の信号を検出する複数の検出部と、
前記複数の検出部により検出された複数の信号から、繰り返し現れる該信号のパターンをそれぞれ抽出する抽出部と、
前記抽出された各パターンを合成する合成部と、
を備えることを特徴とする電子装置。
【請求項２】
検出の対象から該対象の特徴を示す信号を検出する検出部と、
前記検出部により検出された信号から、繰り返し現れる該信号のパターンを抽出する抽出部と、
他の電子装置により検出された信号のパターンを示す情報を受信する通信部と、
前記通信部により受信されたパターンと、前記抽出部により抽出されたパターンとを合成する合成部と、
を備えることを特徴とする電子装置。
【請求項３】
前記合成部は、前記各パターンの振幅がいずれも所定の閾値よりも大きくなっている場合、前記各パターンの振幅に基づいて、合成により得られるパターンの振幅を決定することを特徴とする請求項１または請求項２に記載の電子装置。
【請求項４】
前記合成部は、前記各パターンの平均値を、合成により得られるパターンの振幅とすることを特徴とする請求項１または請求項２に記載の電子装置。
【請求項５】
前記合成部により合成されたパターンに基づき自装置の外部に報知する出力部を更に備えることを特徴とする請求項１から請求項４のいずれか１項に記載の電子装置。
【請求項６】
前記検出部は、自装置の動きを検出し、
前記抽出部は、前記検出された動きから自装置の動きのパターンを抽出し、
前記通信部は、他の電子装置により検出された他の電子装置の動きのパターンを示す情報を受信し、
前記合成部は、自装置の動きのパターンと、他の電子装置の動きのパターンとを合成することを特徴とする請求項２に記載の電子装置。
【請求項７】
前記検出部は、被写体を撮影し、
前記抽出部は、前記検出部による撮影により得られた映像から映像のパターンを抽出し、
前記合成部により合成された動きのパターンと、前記抽出された映像のパターンとを合成する動き映像合成部を備えることを特徴とする請求項６に記載の電子装置。
【請求項８】
検出の対象から該対象の特徴を示す複数の信号を検出する複数の検出手順と、
前記複数の検出手順により検出された複数の信号から、繰り返し現れる該信号のパターンをそれぞれ抽出する抽出手順と、
前記抽出された各パターンを合成する合成手順と、
を有することを特徴とする合成方法。
【請求項９】
複数の検出部により検出された複数の信号を示す情報が記憶されている記憶部を備えるコンピュータに、
前記記憶部から複数の信号を示す情報を読み出し、該読み出された複数の信号を示す情報から繰り返し現れる該信号のパターンをそれぞれ抽出する抽出ステップと、
前記抽出された各パターンを合成する合成ステップと、
を実行させるための合成プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１２−２２７８６５（Ｐ２０１２−２２７８６５Ａ）
【公開日】平成２４年１１月１５日（２０１２．１１．１５）
【国際特許分類】
【出願番号】特願２０１１−９５９８６（Ｐ２０１１−９５９８６）
【出願日】平成２３年４月２２日（２０１１．４．２２）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２４年１１月１５日（２０１２．１１．１５）
【国際特許分類】
【出願日】平成２３年４月２２日（２０１１．４．２２）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]