電子機器及び選択方法
【課題】オブジェクト同士を簡便に比較可能な、オブジェクト自体を示す数値を簡便に取得する。
【解決手段】電子機器１は、撮像部１０と、撮像部１０によって撮像された動画像内のオブジェクトの色の変化のパターンを表すリズム情報を抽出する抽出部２０とを備える。抽出部２０は、オブジェクトを構成する単位領域の色の変化のパターンに対応付けてリズム情報を記憶する第１記憶部２２と、動画像における単位領域の色の変化のパターンを算出する算出部２４と、算出部２４によって算出された単位領域の色の変化のパターンに対応するリズム情報を第１記憶部２２から選択する選択部２６とを有する。
【解決手段】電子機器１は、撮像部１０と、撮像部１０によって撮像された動画像内のオブジェクトの色の変化のパターンを表すリズム情報を抽出する抽出部２０とを備える。抽出部２０は、オブジェクトを構成する単位領域の色の変化のパターンに対応付けてリズム情報を記憶する第１記憶部２２と、動画像における単位領域の色の変化のパターンを算出する算出部２４と、算出部２４によって算出された単位領域の色の変化のパターンに対応するリズム情報を第１記憶部２２から選択する選択部２６とを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電子機器及び選択方法に関するものである。
【背景技術】
【０００２】
従来、動画像からパターンマッチングにより所定のオブジェクト（例えば人の顔）を抽出する技術が開示されている（例えば、特許文献１参照）。特許文献１によれば、表示画面上に所定のオブジェクトの撮像領域を示すことができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−３１４６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に開示された技術では、オブジェクト自体を数値化（指標化）していないので、オブジェクト同士を比較することができないという問題がある。更に、オブジェクト同士を比較することができないので、オブジェクト同士の比較結果を応用した種々の応用処理（例えば、オブジェクトの類似度に基づくオブジェクトのクループ化、各撮像機器によるオブジェクトの類似度に基づく撮像機器のクループ化、基準とするオブジェクトに類似するオブジェクトの抽出）を実現することができないという問題がある。
本発明は、上記問題に鑑みてなされたものであり、オブジェクト同士を簡便に比較可能な、オブジェクト自体を示す数値（指標）を簡便に取得する電子機器を提供する。
【課題を解決するための手段】
【０００５】
上記問題を解決するために、本発明の一態様である電子機器は、撮像部と、前記撮像部によって撮像された動画像内のオブジェクトの色の変化のパターンを表すリズム情報を抽出する抽出部とを備えることを特徴とする。
【０００６】
上記電子機器において、予め定めた基準となる光の下において撮像した場合の色に前記動画像を補正する補正部を更に備え、前記抽出部は、前記補正部によって補正された動画像から前記リズム情報を抽出するようにしてもよい。
【０００７】
上記電子機器において、前記抽出部は、前記オブジェクトを構成する単位領域の色の変化のパターンに対応付けて前記リズム情報を記憶する記憶部と、前記動画像における前記単位領域の色の変化のパターンを算出する算出部と、前記算出部によって算出された前記単位領域の色の変化のパターンに対応する前記リズム情報を前記記憶部から選択する選択部とを有するようにしてもよい。
【０００８】
上記電子機器において、前記単位領域は、所定数の隣接画素からなる画素グループであって、前記単位領域の色の変化のパターンは、前記画素グループ毎の平均画素値、最大画素値、最小画素値、又は、画素値の中央値の時間的な変化を示す情報であってもよい。
【０００９】
上記電子機器において、前記単位領域は、画素値の差が所定値以下である隣接画素からなる画素グループであって、前記単位領域の色の変化のパターンは、前記画素グループ毎の平均画素値、最大画素値、最小画素値、又は、画素値の中央値の時間的な変化を示す情報であってもよい。
【００１０】
上記電子機器において、前記単位領域は、画素値の差が所定値以下である隣接画素からなる画素グループであって、前記単位領域の色の変化のパターンは、前記画素グループの分布の時間的な変化を示す情報であってもよい。
【００１１】
上記電子機器において、前記色の変化は、色相、彩度、明度、色度、コントラスト比の何れか１つ、又は２以上を含む変化であってもよい。
【００１２】
上記問題を解決するために、本発明の他の態様である選択方法は、動画像内のオブジェクトを構成する単位領域の色の変化のパターンに対応付けて動画像内のオブジェクトの色の変化のパターンを表すリズム情報を記憶する記憶部を備える電子機器において、撮像部によって撮像された動画像の前記リズム情報を選択する選択方法であって、前記電子機器の算出手段が、前記動画像における前記単位領域の色の変化のパターンを算出し、前記電子機器の選択手段が、前記算出手段によって算出された前記単位領域の色の変化のパターンに対応する前記リズム情報を前記記憶部から選択することを特徴とする。
【発明の効果】
【００１３】
本発明によれば、オブジェクト自体を示す数値（リズム情報）を当該オブジェクトから簡便に取得することができる。また、当該数値を用いてオブジェクト同士を簡便に比較することができる。更に、オブジェクト同士の比較結果を種々の応用処理（例えば、オブジェクトの類似度に基づくオブジェクトのクループ化、各撮像機器によるオブジェクトの類似度に基づく撮像機器のクループ化、基準とするオブジェクトに類似するオブジェクトの抽出）に活用することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の一実施形態による電子機器１の一例を示す構成図である。
【図２】抽出部２０の処理を説明するための説明図である。
【図３】抽出部２０の処理を説明するための説明図である。
【図４】抽出部２０の処理を説明するための説明図である。
【図５】電子機器１の動作の一例を示すフローチャートである。
【図６】抽出部２０の他の処理を説明するための説明図である。
【図７】抽出部２０の他の処理を説明するための説明図である。
【発明を実施するための形態】
【００１５】
以下、図面を参照しながら本発明の一実施形態について説明する。図１は、本発明の一実施形態による電子機器１の一例を示す構成図である。
【００１６】
電子機器１は、例えば、デジタルカメラであって、図１に示すように、撮像部１０、抽出部２０及び第２記憶部４０を備える。抽出部２０は、第１記憶部２２、算出部２４及び選択部２６を有する。
【００１７】
撮像部１０は、静止画像及び動画像を撮像するカメラである。抽出部２０は、撮像部１０によって撮像された動画像からオブジェクトを抽出し、動画像から抽出したオブジェクトの色の変化のパターンを表すリズム情報を抽出する。第２記憶部４０は、抽出部２０によって抽出されたリズム情報を記憶する。以下、図２乃至図４を用いて、抽出部２０による処理を詳細に説明する。図２乃至図４は、抽出部２０の処理を説明するための説明図である。
【００１８】
図２は、動画像（Ｐ１、Ｐ２、Ｐ３）から抽出された信号機のオブジェクト（Ｏ１）を模式的に表したものである。図２（ａ）は信号機が青、図２（ｂ）は信号機が黄、図２（ｃ）は信号機が赤であるときのオブジェクトを示している。図２（ａ）〜図２（ｃ）において、ｒ１は信号機本体の撮像領域、ｒ２は信号機本体を支持する支持部の撮像領域である。ｒ１−１はｒ１内の領域であって青ランプを保持する保持部の撮像領域、ｒ１−２はｒ１内の領域であって黄ランプを保持する保持部の撮像領域、ｒ１−３はｒ１内の領域であって赤ランプを保持する保持部の撮像領域である。ｒ１−１−１はｒ１−１内の領域であって青ランプの撮像領域、ｒ１−２−１はｒ１−２内の領域であって黄ランプの撮像領域、ｒ１−３−１はｒ１−３内の領域であって赤ランプの領域である。
【００１９】
なお、説明の便宜上、信号機が青の場合、点灯中の青ランプの色は青緑色、消灯中の黄ランプ及び赤ランプの色は黒色であるものとする。即ち、図２（ａ）における、青ランプの領域ｒ１−１−１の色は青緑色、黄ランプの領域ｒ１−２−１の色は黒色、赤ランプの領域ｒ１−３−１の色は黒色であるものとする。
信号機が黄の場合、点灯中の黄ランプの色は黄色、消灯中の青ランプ及び赤ランプの色は黒色であるものとする。即ち、図２（ｂ）における、青ランプの領域ｒ１−１−１の色は黒色、黄ランプの領域ｒ１−２−１の色は黄色、赤ランプの領域ｒ１−３−１の色は黒色であるものとする。
信号機が赤の場合、点灯中の赤ランプの色は赤色、消灯中の青ランプ及び黄ランプの色は黒色であるものとする。即ち、図２（ｃ）における、青ランプの領域ｒ１−１−１の色は黒色、黄ランプの領域ｒ１−２−１の色は黒色、赤ランプの領域ｒ１−３−１の色は赤色であるものとする。
また、信号機が青、黄、赤の何れの場合において、ランプ以外の領域は全て灰色であるものとする。
【００２０】
図３（ａ）は、図２に示す信号機のオブジェクト（Ｏ１）を構成する単位領域を模式的に表したものである。単位領域は、所定数の隣接画素から構成され、画素グループとも称する。
【００２１】
図３（ｂ）は、図２に示す信号機のオブジェクト（Ｏ１）を構成する画素グループ毎（即ち、図３（ａ）に示す画素グループ毎）の色の変化のパターンを表したリズム情報「Ｒ０００１」である。画素グループの色の変化のパターンは、画素グループ毎の平均画素値（画素グループ内の複数の画素の画素値の平均値）の時間的な変化を示す情報である。
【００２２】
図３（ｂ）に示す画素グループＩＤ（ａ−４、ａ−５、…）は、図２に示す信号機のオブジェクト（Ｏ１）を構成する画素グループ（即ち、図３（ａ）に示す画素グループ）を識別する識別情報である。例えば、図３（ｂ）に示す画素グループＩＤ「ａ−４」は、図３（ａ）に示す符号Ｇの画素グループ（横方向のインデックス「４」及び縦方向のインデックス「ａ」によって規定される画素グループ）を示している。
【００２３】
図３（ｂ）に示す各時刻（ｔ１、ｔ２、…）は、図２に示す信号機の撮像タイミングである。ｔ１〜ｔ３は、図２（ａ）に示すように信号が青のときの撮像タイミングである。ｔ４は、図２（ｂ）に示すように信号が黄のときの撮像タイミングである。ｔ５〜ｔ７は、図２（ｃ）に示すように信号が赤のときの撮像タイミングである。即ち、ｔ１〜ｔ７は、図２に示す信号機のオブジェクト（Ｏ１）の色の変化の１周期である。なお、図３（ｂ）に示す時刻は、説明の便宜上の時刻である（実際の信号機の場合、通常、黄の時間に対する青（及び赤）の時間は長い。
【００２４】
図３（ｂ）に示す各値（Ｄ１〜Ｄ７）は、図２に示す信号機の各撮像タイミング（ｔ１、ｔ２、…）における、図２に示す信号機のオブジェクト（Ｏ１）を構成する各画素グループ（即ち、図３（ａ）に示す各画素グループ）の平均画素値である。なお、Ｄ１は灰色を示す画素値、Ｄ２は青緑色を示す画素値、Ｄ３は黒色を示す画素値、Ｄ４は黒色を示す画素値、Ｄ５は黄色を示す画素値、Ｄ６は黒色を示す画素値、Ｄ７は赤色を表す画素値である。
【００２５】
つまり、図３（ｂ）は、上述の如く、図２に示す信号機のオブジェクト（Ｏ１）を構成する画素グループ毎の色の変化のパターンを表したリズム情報であるが、当該リズム情報は、具体的には、当該オブジェクト（Ｏ１）の色の変化として、例えば、以下の特徴１〜特徴１０を示している。
【００２６】
特徴１：オブジェクト（Ｏ１）の主要部の領域（図２に示す領域ｒ１）のうち、中央の領域（図２に示す領域ｒ１−２−１）の左側に位置する領域（図２に示す領域ｒ１−１−１）は、色が、青緑色（Ｄ２）と黒色（Ｄ３）とに周期的に変化する。
特徴２：オブジェクト（Ｏ１）の主要部の領域のうち、中央の領域は、色が、黒色（Ｄ４）と黄色（Ｄ５）とに周期的に変化する。
特徴３：オブジェクト（Ｏ１）の主要部の領域のうち、中央の領域の右側に位置する領域（図２に示す領域ｒ１−３−１）は、色が、黒色（Ｄ６）と赤色（Ｄ７）とに周期的に変化する。
特徴４：オブジェクト（Ｏ１）の主要部の領域のうち、中央の領域、中央の領域の左側に位置する領域、中央の領域の右側に位置する領域を除いた領域（図２に示す領域ｒ１から領域ｒ１−１−１、領域ｒ１−２−１及び領域ｒ１−３−１を除いた領域）は、常に、灰色（Ｄ１）であって色の変化がない。
特徴５：オブジェクト（Ｏ１）の主要部以外の領域（図２に示す領域ｒ２）は、常に、灰色（Ｄ１）であって色の変化がない。
特徴６：中央の領域の左側に位置する領域（領域ｒ１−１−１）が青緑色（Ｄ２）から黒色（Ｄ３）に変化した後に、中央の領域（領域ｒ１−２−１）が黒色（Ｄ４）から黄色（Ｄ５）に変化する。
特徴７：中央の領域（領域ｒ１−２−１）が黄色（Ｄ５）から黒色（Ｄ４）に変化した後に、中央の領域の右側に位置する領域（領域ｒ１−３−１）が黒色（Ｄ６）から赤色（Ｄ７）に変化する。
特徴８：中央の領域の右側に位置する領域（領域ｒ１−３−１）が赤色（Ｄ７）から黒色（Ｄ６）に変化した後に、中央の領域の左側に位置する領域（領域ｒ１−１−１）が黒色（Ｄ３）から青緑色（Ｄ２）に変化する。
特徴９：青緑色（Ｄ２）に変化する中央の領域の左側に位置する領域（領域ｒ１−１−１）と、黄色（Ｄ５）に変化する中央の領域（領域ｒ１−２−１）と、赤色（Ｄ７）に変化する中央の領域の右側に位置する領域（領域ｒ１−３−１）とは、略同じ大きさである。
特徴１０：中央の領域の左側に位置する領域（領域ｒ１−１−１）が青緑色（Ｄ２）である時間と、中央の領域の右側に位置する領域（領域ｒ１−３−１）が赤色（Ｄ７）である時間は等しく、中央（領域ｒ１−２−１）の領域が黄色（Ｄ５）である時間の略３倍である。
【００２７】
第１記憶部２２は、図４に示すように、リズム情報に対応付けて、各オブジェクトを構成する画素グループの色の変化のパターンを記憶する。例えば、第１記憶部２２は、図２に示す信号機のオブジェクト（Ｏ１）のリズム情報「Ｒ０００１」に対応付けて、図３（ｂ）に示す、当該オブジェクト（Ｏ１）を構成する画素グループ毎の色の変化のパターン（画素グループ毎の平均画素値の時間的な変化を示す情報）を記憶する。
【００２８】
第１記憶部２２が記憶する情報（オブジェクトを構成する画素グループ毎の色の変化のパターン）は、電子機器１が作成したものであってもよいし、電子機器１が外部から取得したものであってもよいし、電子機器１のユーザが入力したものであってもよい。なお、電子機器１が作成する態様としては、算出部２４が、予め、サンプルとする動画像（撮像部１０によって撮像された動画像でもよい）に基づいて、オブジェクトを構成する画素グループの色の変化のパターンを算出し、第１記憶部２２に記憶する。
【００２９】
第１記憶部２２に、図４に示すように、リズム情報に対応付けて、各オブジェクトを構成する画素グループの色の変化のパターンを記憶されている状態において、算出部２４は、撮像部１０によって逐次撮像された動画像（各コマ）からオブジェクト（例えば、中央領域に撮像されているオブジェクト）を抽出する。
【００３０】
各撮像タイミングにおいてオブジェクトを抽出した算出部２４は、各撮像タイミングにおいて、オブジェクトを構成する画素グループ毎の平均画素値を算出する。即ち、算出部２４は、オブジェクトを構成する画素グループの色の変化のパターンを算出する。オブジェクトを構成する画素グループの色の変化のパターンを算出した算出部２４は、算出した色の変化のパターンを選択部２６に供給する。
【００３１】
算出部２４から変化のパターンを取得した選択部２６は、当該変化のパターンに対応するリズム情報を第１記憶部２２から選択する。より詳細には、選択部２６は、算出部２４から取得した変化のパターンの１周期分と、第１記憶部２２に記憶されているリズム情報毎の変化のパターンの１周期分とを比較し、算出部２４から取得した変化のパターンと一致若しくは最も類似する一の変化のパターンを選択し、選択した変化のパターンに対応するリズム情報を取得する。選択部２６は、取得したリズム情報を第２記憶部４０に記憶する。なお、第２記憶部４０に記憶されたリズム情報は、オブジェクト同士の比較などに用いられる。
【００３２】
以下、フローチャートを用いて、電子機器１の動作を説明する。図５は、電子機器１の動作の一例を示すフローチャートである。なお、本フローチャートの開示時において、第１記憶部２２には、リズム情報に対応付けて各オブジェクトを構成する画素グループの色の変化のパターンが記憶されているものとする。
【００３３】
算出部２４は、動画像からオブジェクトを抽出する（ステップＳ１０）。算出部２４は、抽出したオブジェクトを構成する画素グループ毎の平均画素値を算出し（ステップＳ１２）、撮像タイミング（時刻）に対応付けて一時記憶する。
【００３４】
算出部２４は、色の変化の１周期分のオブジェクトを抽出したか否かを判断する（ステップＳ１４）。換言すれば、算出部２４は、当該オブジェクトを構成する画素グループの色の変化のパターンに周期性を見つけたか否かを判断する。算出部２４は、色の変化の１周期分のオブジェクトを未だ抽出していないと判断した場合（ステップＳ１４：Ｎｏ）、ステップＳ１０に戻る。即ち、算出部２４は、色の変化に周期性を見つける迄、ステップＳ１０、Ｓ１２を繰り返す。
【００３５】
一方、算出部２４は、色の変化の１周期分のオブジェクトを抽出したと判断した場合（ステップＳ１４：Ｙｅｓ）、一時記憶した、各撮像タイミングにおける、オブジェクトを構成する画素グループ毎の平均画素値（オブジェクトを構成する画素グループの色の変化のパターン）を選択部２６に供給する。
【００３６】
算出部２４から変化のパターンを取得した選択部２６は、当該変化のパターンに対応するリズム情報を第１記憶部２２から選択し（ステップＳ１６）、選択したリズム情報を第２記憶部４０に記憶する。そして本フローチャートは終了する。
【００３７】
なお、図５に示すフローチャートは、逐次撮像される動画像から、色の変化の１周期分のオブジェクトを抽出（記憶）した場合に、抽出したオブジェクトを用いて、オブジェクトを構成する画素グループの色の変化のパターンを算出するという態様、即ち、撮像中に、リズム情報を抽出するという態様における動作を示すものである。但し、リズム情報を抽出する態様は、撮像中に限定されない。例えば、抽出部２０が、逐次撮像される動画像の全体を第１記憶部２２に記憶した後に、算出部２４及び選択部２６が、動画像の全体の中の１周期分のオブジェクト図形に基づいて、リズム情報を抽出するようにしてもよい。
【００３８】
以上、図１乃至図５を用いて説明したように、電子機器１によれば、オブジェクト自体を示す数値であるリズム情報を当該オブジェクトから簡便に取得することができる。また、数値によって表されるリズム情報を用いてオブジェクト同士を簡便に比較することができる。更に、オブジェクト同士の比較結果を種々の応用処理（例えば、オブジェクトの類似度に基づくオブジェクトのクループ化、各撮像機器によるオブジェクトの類似度に基づく撮像機器のクループ化、基準とするオブジェクトに類似するオブジェクトの抽出）に活用することができる。
【００３９】
なお、上記実施形態は、画素グループの色の変化のパターンとして、画素グループ毎の平均画素値（画素グループ内の複数の画素の画素値の平均値）の時間的な変化を示す情報を用いる例であったが、画素グループの色の変化のパターンとして用いる値はこれに限定されない。例えば、画素グループ毎の最大画素値（画素グループ内の複数の画素の画素値の最大値）の時間的な変化を示す情報、画素グループ毎の最小画素値（画素グループ内の複数の画素の画素値の最小値）の時間的な変化を示す情報、画素グループ毎の画素値の中央値（画素グループ内の複数の画素の画素値の中央値）の時間的な変化を示す情報などを画素グループの色の変化のパターンとして用いてもよい。
【００４０】
また、上記実施形態は、所定数の隣接画素を画素グループとし、また、画素グループ毎の平均画素値（最大画素値、最小画素値又は画素値の中央値）の時間的な変化を示す情報を画素グループの色の変化のパターンとし、画素グループの色の変化に対応するリズム情報を抽出する態様であるが、画素グループの色の変化に対応するリズム情報を抽出する態様はこれに限定されない。
【００４１】
一例として、画素値の差が所定値以下である隣接画素を画素グループとし、また、画素グループ毎の平均画素値（最大画素値、最小画素値又は画素値の中央値）の時間的な変化を示す情報を画素グループの色の変化のパターンとし、画素グループの色の変化に対応するリズム情報を抽出してもよい。図６は、抽出部２０の他の処理を説明するための説明図である。
【００４２】
図６（ａ）は、図２に示した信号機のオブジェクト（Ｏ１）を構成する画素において、画素値の差が所定数以下である隣接画像を画素グループとして模式的に表したものである。図６（ａ）において、Ｇａ１〜Ｇａ４は、各撮像タイミング（ｔ１〜ｔ７）の何れにおいても画素値の差が所定数以下である隣接画像を画素グループである（図３（ｂ）参照）。具体的には、Ｇａ１は青ランプの領域ｒ１−１−１、Ｇａ２は黄ランプの領域ｒ１−２−１、Ｇａ３は赤ランプの領域ｒ１−３−１、Ｇａ４はランプ以外の領域を表している（図２参照）。
【００４３】
図６（ｂ）は、図２に示した信号機のオブジェクト（Ｏ１）を構成する画素グループ毎（図６（ａ）に示した画素グループ毎）の色の時間的な変化のパターンを表したリズム情報「Ｒ０００１’」である。なお、各値（Ｄ１〜Ｄ７）は、画素グループ内の複数の画素の画素値の平均値であって、図３（ｂ）と同様である。但し、上述した様に、平均値に代えて、最大画素値（画素グループ内の複数の画素の画素値の最大値）、最小画素値（画素グループ内の複数の画素の画素値の最小値）、中央値（画素グループ内の複数の画素の画素値の中央値）を用いてもよい。
【００４４】
つまり、抽出部２０は、図６に示すように、画素値の差が所定値以下である隣接画素を画素グループとし、また、画素グループ毎の平均画素値（最大画素値、最小画素値又は画素値の中央値）の時間的な変化を示す情報を画素グループの色の変化のパターンとし、画素グループの色の変化に対応するリズム情報を抽出してもよく、抽出部２０が図６に示すようにリズム情報を抽出した場合であっても、図３の示すようにリズム情報を抽出した場合と同様の効果を得ることができる。
【００４５】
他の一例として、画素値の差が所定値以下である隣接画素を画素グループとし、また、
画素グループの分布の時間的な変化を示す情報を画素グループの色の変化のパターンとし、画素グループの色の変化に対応するリズム情報を抽出してもよい。図７は、抽出部２０の他の処理を説明するための説明図である。
【００４６】
図７（ａ）は、図２に示した信号機のオブジェクト（Ｏ１）を構成する画素において、画素値の差が所定数以下である隣接画像を画素グループとして模式的に表したものである。図７（ａ）において、Ｇｂ１及びＧｂ４は、信号が青のときの撮像タイミング（ｔ１〜ｔ３）において画素値の差が所定数以下である隣接画像を画素グループである（図３（ｂ）参照）。具体的には、Ｇｂ１は青色の領域、Ｇｂ４は黒色及び灰色の領域を表している（図２参照）。即ち、消灯中の黄ランプ及び赤ランプの領域の画素値（黒色を示す値）とランプ以外の領域の画素値（灰色を示す値）の差は、所定値以下であるものとする。
図７（ｂ）において、Ｇｂ２及びＧｂ４は、信号が黄のときの撮像タイミング（ｔ４）において画素値の差が所定数以下である隣接画像を画素グループである（図３（ｂ）参照）。具体的には、Ｇｂ２は黄色の領域、Ｇｂ４は黒色及び灰色の領域を表している（図２参照）。即ち、消灯中の青ランプ及び赤ランプの領域の画素値（黒色を示す値）とランプ以外の領域の画素値（灰色を示す値）の差は、所定値以下であるものとする。
図７（ｃ）において、Ｇｂ３及びＧｂ４は、信号が赤のときの撮像タイミング（ｔ５〜ｔ７）において画素値の差が所定数以下である隣接画像を画素グループである（図３（ｂ）参照）。具体的には、Ｇｂ３は赤色の領域、Ｇｂ４は黒色及び灰色の領域を表している（図２参照）。即ち、消灯中の青ランプ及び黄ランプの領域の画素値（黒色を示す値）とランプ以外の領域の画素値（灰色を示す値）の差は、所定値以下であるものとする。
【００４７】
図７（ｄ）は、図２に示した信号機のオブジェクト（Ｏ１）を構成する画素グループ毎（図７（ａ）〜（ｃ）に示した画素グループ毎）の分布の時間的な変化のパターンを表したリズム情報「Ｒ０００１’’」である。
図７（ｄ）の表内の各値（Ｓ１〜Ｓ７）は、各撮像タイミングにおける各画素グループの分布（領域の形状）である。具体的には、Ｓ１は青ランプの領域ｒ１−１−１、Ｓ２は黄ランプの領域ｒ１−２−１、Ｓ３は赤ランプの領域ｒ１−３−１、Ｓ４は青ランプ以外の領域、Ｓ５は黄ランプ以外の領域、Ｓ６は赤ランプ以外の領域の分布を表している。
【００４８】
つまり、抽出部２０は、図７に示すように、画素値の差が所定値以下である隣接画素を画素グループとし、また、画素グループの分布の時間的な変化を示す情報を画素グループの色の変化のパターンとし、画素グループの色の変化に対応するリズム情報を抽出してもよく、図７に示すようにリズム情報を抽出した場合であっても、図３の示すようにリズム情報を抽出した場合と同様の効果を得ることができる。
【００４９】
以上、電子機器１によれば、オブジェクト自体を示す数値であるリズム情報を当該オブジェクトから簡便に取得することができる。なお、図３に示す態様は、画素グループにおける色の変化のパターンをリズム情報とする態様であるが、色の変化のパターンは、色相、彩度、明度、色度、コントラスト（比）の何れか１つ、又は２以上を含む変化のパターンを表現するものであればよい（図６に示す態様も同様）。例えば、図３、図６に示す態様において、画素グループ毎のコントラストの変化（即ち、画素グループ毎の明暗、輝度の経時的な変化）のパターンをリズム情報としてもよい。また、例えば、図３、図６に示す態様において、画素グループ間のコントラストの変化（即ち、画素グループ間の明暗、輝度の差の経時的な変化）のパターンをリズム情報としてもよい（図６に示す態様も同様）。また、図６に示す態様は、画素値の差が所定数以下である隣接画像を画素グループとする態様であるが、画素値とは、色相、彩度、明度、色度、コントラスト（比）の何れか１つ以上を表現するものであればよい（図７に示す態様も同様）。例えば、図６、図７に示す態様において、コントラスト（明暗、輝度）の差が所定数以下である隣接画像を画素グループとしてもよい。
【００５０】
また、図７に示す態様は、画素グループの分布を時間的な変化をリズム情報とする態様であるが、当該リズム情報は、オブジェクトを構成する各部分（各画素グループ）の形状の変化を表現したものでもある。例えば、当該リズム情報は、図７に示すように、画素グループＧｂ４の形状の周期的な変化を表現している。
また、図７に示す態様は、オブジェクトを構成する各部分（各画素グループ）の配置の変化を表現したものでもある。例えば、仮に、画素グループＧｂ１と画素グループＧｂ３とが同じ画素グループ（共にＧｂ１とする）である場合（例えば、Ｇｂ３が赤ではなく青の場合）、当該リズム情報は、画素グループＧｂ１の配置の周期的な変化を表現することになる。
【００５１】
また、上記実施形態では、図１に示すように、撮像部１０によって撮像された動画像から、直接、リズム情報を抽出する態様であるが、外光の状況により、基準となる光（所定の色温度の光、例えば、自然光）が当ったような状態になるようにフィルタリング（色を補正）し、フィルタリングした後の動画像からリズム情報を抽出するようにしてもよい。
具体的には、電子機器１は、撮像部１０によって撮像された動画像の色を補正する補正部１１（非図示）を更に備えるようにしてもよい。即ち、補正部１１は、予め定めた基準となる光の下において撮像した場合の色に、撮像部１０によって撮像された動画像の色を補正し、抽出部２０に出力し、抽出部２０は、補正部１１によって補正された動画像からリズム情報を抽出するようにしてもよい。これにより、動画像を撮像したときの外光の状況によらずに安定したリズム情報を抽出することができるようになる。
【００５２】
なお、本発明の一実施形態による電子機器１の各処理を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、当該記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、電子機器１の各処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【００５３】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【００５４】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【００５５】
１…電子機器、１０…撮像部、１１…補正部 ２０…抽出部、２２…第１記憶部、２４…算出部、２６…選択部、４０…第２記憶部
【技術分野】
【０００１】
本発明は、電子機器及び選択方法に関するものである。
【背景技術】
【０００２】
従来、動画像からパターンマッチングにより所定のオブジェクト（例えば人の顔）を抽出する技術が開示されている（例えば、特許文献１参照）。特許文献１によれば、表示画面上に所定のオブジェクトの撮像領域を示すことができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−３１４６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に開示された技術では、オブジェクト自体を数値化（指標化）していないので、オブジェクト同士を比較することができないという問題がある。更に、オブジェクト同士を比較することができないので、オブジェクト同士の比較結果を応用した種々の応用処理（例えば、オブジェクトの類似度に基づくオブジェクトのクループ化、各撮像機器によるオブジェクトの類似度に基づく撮像機器のクループ化、基準とするオブジェクトに類似するオブジェクトの抽出）を実現することができないという問題がある。
本発明は、上記問題に鑑みてなされたものであり、オブジェクト同士を簡便に比較可能な、オブジェクト自体を示す数値（指標）を簡便に取得する電子機器を提供する。
【課題を解決するための手段】
【０００５】
上記問題を解決するために、本発明の一態様である電子機器は、撮像部と、前記撮像部によって撮像された動画像内のオブジェクトの色の変化のパターンを表すリズム情報を抽出する抽出部とを備えることを特徴とする。
【０００６】
上記電子機器において、予め定めた基準となる光の下において撮像した場合の色に前記動画像を補正する補正部を更に備え、前記抽出部は、前記補正部によって補正された動画像から前記リズム情報を抽出するようにしてもよい。
【０００７】
上記電子機器において、前記抽出部は、前記オブジェクトを構成する単位領域の色の変化のパターンに対応付けて前記リズム情報を記憶する記憶部と、前記動画像における前記単位領域の色の変化のパターンを算出する算出部と、前記算出部によって算出された前記単位領域の色の変化のパターンに対応する前記リズム情報を前記記憶部から選択する選択部とを有するようにしてもよい。
【０００８】
上記電子機器において、前記単位領域は、所定数の隣接画素からなる画素グループであって、前記単位領域の色の変化のパターンは、前記画素グループ毎の平均画素値、最大画素値、最小画素値、又は、画素値の中央値の時間的な変化を示す情報であってもよい。
【０００９】
上記電子機器において、前記単位領域は、画素値の差が所定値以下である隣接画素からなる画素グループであって、前記単位領域の色の変化のパターンは、前記画素グループ毎の平均画素値、最大画素値、最小画素値、又は、画素値の中央値の時間的な変化を示す情報であってもよい。
【００１０】
上記電子機器において、前記単位領域は、画素値の差が所定値以下である隣接画素からなる画素グループであって、前記単位領域の色の変化のパターンは、前記画素グループの分布の時間的な変化を示す情報であってもよい。
【００１１】
上記電子機器において、前記色の変化は、色相、彩度、明度、色度、コントラスト比の何れか１つ、又は２以上を含む変化であってもよい。
【００１２】
上記問題を解決するために、本発明の他の態様である選択方法は、動画像内のオブジェクトを構成する単位領域の色の変化のパターンに対応付けて動画像内のオブジェクトの色の変化のパターンを表すリズム情報を記憶する記憶部を備える電子機器において、撮像部によって撮像された動画像の前記リズム情報を選択する選択方法であって、前記電子機器の算出手段が、前記動画像における前記単位領域の色の変化のパターンを算出し、前記電子機器の選択手段が、前記算出手段によって算出された前記単位領域の色の変化のパターンに対応する前記リズム情報を前記記憶部から選択することを特徴とする。
【発明の効果】
【００１３】
本発明によれば、オブジェクト自体を示す数値（リズム情報）を当該オブジェクトから簡便に取得することができる。また、当該数値を用いてオブジェクト同士を簡便に比較することができる。更に、オブジェクト同士の比較結果を種々の応用処理（例えば、オブジェクトの類似度に基づくオブジェクトのクループ化、各撮像機器によるオブジェクトの類似度に基づく撮像機器のクループ化、基準とするオブジェクトに類似するオブジェクトの抽出）に活用することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の一実施形態による電子機器１の一例を示す構成図である。
【図２】抽出部２０の処理を説明するための説明図である。
【図３】抽出部２０の処理を説明するための説明図である。
【図４】抽出部２０の処理を説明するための説明図である。
【図５】電子機器１の動作の一例を示すフローチャートである。
【図６】抽出部２０の他の処理を説明するための説明図である。
【図７】抽出部２０の他の処理を説明するための説明図である。
【発明を実施するための形態】
【００１５】
以下、図面を参照しながら本発明の一実施形態について説明する。図１は、本発明の一実施形態による電子機器１の一例を示す構成図である。
【００１６】
電子機器１は、例えば、デジタルカメラであって、図１に示すように、撮像部１０、抽出部２０及び第２記憶部４０を備える。抽出部２０は、第１記憶部２２、算出部２４及び選択部２６を有する。
【００１７】
撮像部１０は、静止画像及び動画像を撮像するカメラである。抽出部２０は、撮像部１０によって撮像された動画像からオブジェクトを抽出し、動画像から抽出したオブジェクトの色の変化のパターンを表すリズム情報を抽出する。第２記憶部４０は、抽出部２０によって抽出されたリズム情報を記憶する。以下、図２乃至図４を用いて、抽出部２０による処理を詳細に説明する。図２乃至図４は、抽出部２０の処理を説明するための説明図である。
【００１８】
図２は、動画像（Ｐ１、Ｐ２、Ｐ３）から抽出された信号機のオブジェクト（Ｏ１）を模式的に表したものである。図２（ａ）は信号機が青、図２（ｂ）は信号機が黄、図２（ｃ）は信号機が赤であるときのオブジェクトを示している。図２（ａ）〜図２（ｃ）において、ｒ１は信号機本体の撮像領域、ｒ２は信号機本体を支持する支持部の撮像領域である。ｒ１−１はｒ１内の領域であって青ランプを保持する保持部の撮像領域、ｒ１−２はｒ１内の領域であって黄ランプを保持する保持部の撮像領域、ｒ１−３はｒ１内の領域であって赤ランプを保持する保持部の撮像領域である。ｒ１−１−１はｒ１−１内の領域であって青ランプの撮像領域、ｒ１−２−１はｒ１−２内の領域であって黄ランプの撮像領域、ｒ１−３−１はｒ１−３内の領域であって赤ランプの領域である。
【００１９】
なお、説明の便宜上、信号機が青の場合、点灯中の青ランプの色は青緑色、消灯中の黄ランプ及び赤ランプの色は黒色であるものとする。即ち、図２（ａ）における、青ランプの領域ｒ１−１−１の色は青緑色、黄ランプの領域ｒ１−２−１の色は黒色、赤ランプの領域ｒ１−３−１の色は黒色であるものとする。
信号機が黄の場合、点灯中の黄ランプの色は黄色、消灯中の青ランプ及び赤ランプの色は黒色であるものとする。即ち、図２（ｂ）における、青ランプの領域ｒ１−１−１の色は黒色、黄ランプの領域ｒ１−２−１の色は黄色、赤ランプの領域ｒ１−３−１の色は黒色であるものとする。
信号機が赤の場合、点灯中の赤ランプの色は赤色、消灯中の青ランプ及び黄ランプの色は黒色であるものとする。即ち、図２（ｃ）における、青ランプの領域ｒ１−１−１の色は黒色、黄ランプの領域ｒ１−２−１の色は黒色、赤ランプの領域ｒ１−３−１の色は赤色であるものとする。
また、信号機が青、黄、赤の何れの場合において、ランプ以外の領域は全て灰色であるものとする。
【００２０】
図３（ａ）は、図２に示す信号機のオブジェクト（Ｏ１）を構成する単位領域を模式的に表したものである。単位領域は、所定数の隣接画素から構成され、画素グループとも称する。
【００２１】
図３（ｂ）は、図２に示す信号機のオブジェクト（Ｏ１）を構成する画素グループ毎（即ち、図３（ａ）に示す画素グループ毎）の色の変化のパターンを表したリズム情報「Ｒ０００１」である。画素グループの色の変化のパターンは、画素グループ毎の平均画素値（画素グループ内の複数の画素の画素値の平均値）の時間的な変化を示す情報である。
【００２２】
図３（ｂ）に示す画素グループＩＤ（ａ−４、ａ−５、…）は、図２に示す信号機のオブジェクト（Ｏ１）を構成する画素グループ（即ち、図３（ａ）に示す画素グループ）を識別する識別情報である。例えば、図３（ｂ）に示す画素グループＩＤ「ａ−４」は、図３（ａ）に示す符号Ｇの画素グループ（横方向のインデックス「４」及び縦方向のインデックス「ａ」によって規定される画素グループ）を示している。
【００２３】
図３（ｂ）に示す各時刻（ｔ１、ｔ２、…）は、図２に示す信号機の撮像タイミングである。ｔ１〜ｔ３は、図２（ａ）に示すように信号が青のときの撮像タイミングである。ｔ４は、図２（ｂ）に示すように信号が黄のときの撮像タイミングである。ｔ５〜ｔ７は、図２（ｃ）に示すように信号が赤のときの撮像タイミングである。即ち、ｔ１〜ｔ７は、図２に示す信号機のオブジェクト（Ｏ１）の色の変化の１周期である。なお、図３（ｂ）に示す時刻は、説明の便宜上の時刻である（実際の信号機の場合、通常、黄の時間に対する青（及び赤）の時間は長い。
【００２４】
図３（ｂ）に示す各値（Ｄ１〜Ｄ７）は、図２に示す信号機の各撮像タイミング（ｔ１、ｔ２、…）における、図２に示す信号機のオブジェクト（Ｏ１）を構成する各画素グループ（即ち、図３（ａ）に示す各画素グループ）の平均画素値である。なお、Ｄ１は灰色を示す画素値、Ｄ２は青緑色を示す画素値、Ｄ３は黒色を示す画素値、Ｄ４は黒色を示す画素値、Ｄ５は黄色を示す画素値、Ｄ６は黒色を示す画素値、Ｄ７は赤色を表す画素値である。
【００２５】
つまり、図３（ｂ）は、上述の如く、図２に示す信号機のオブジェクト（Ｏ１）を構成する画素グループ毎の色の変化のパターンを表したリズム情報であるが、当該リズム情報は、具体的には、当該オブジェクト（Ｏ１）の色の変化として、例えば、以下の特徴１〜特徴１０を示している。
【００２６】
特徴１：オブジェクト（Ｏ１）の主要部の領域（図２に示す領域ｒ１）のうち、中央の領域（図２に示す領域ｒ１−２−１）の左側に位置する領域（図２に示す領域ｒ１−１−１）は、色が、青緑色（Ｄ２）と黒色（Ｄ３）とに周期的に変化する。
特徴２：オブジェクト（Ｏ１）の主要部の領域のうち、中央の領域は、色が、黒色（Ｄ４）と黄色（Ｄ５）とに周期的に変化する。
特徴３：オブジェクト（Ｏ１）の主要部の領域のうち、中央の領域の右側に位置する領域（図２に示す領域ｒ１−３−１）は、色が、黒色（Ｄ６）と赤色（Ｄ７）とに周期的に変化する。
特徴４：オブジェクト（Ｏ１）の主要部の領域のうち、中央の領域、中央の領域の左側に位置する領域、中央の領域の右側に位置する領域を除いた領域（図２に示す領域ｒ１から領域ｒ１−１−１、領域ｒ１−２−１及び領域ｒ１−３−１を除いた領域）は、常に、灰色（Ｄ１）であって色の変化がない。
特徴５：オブジェクト（Ｏ１）の主要部以外の領域（図２に示す領域ｒ２）は、常に、灰色（Ｄ１）であって色の変化がない。
特徴６：中央の領域の左側に位置する領域（領域ｒ１−１−１）が青緑色（Ｄ２）から黒色（Ｄ３）に変化した後に、中央の領域（領域ｒ１−２−１）が黒色（Ｄ４）から黄色（Ｄ５）に変化する。
特徴７：中央の領域（領域ｒ１−２−１）が黄色（Ｄ５）から黒色（Ｄ４）に変化した後に、中央の領域の右側に位置する領域（領域ｒ１−３−１）が黒色（Ｄ６）から赤色（Ｄ７）に変化する。
特徴８：中央の領域の右側に位置する領域（領域ｒ１−３−１）が赤色（Ｄ７）から黒色（Ｄ６）に変化した後に、中央の領域の左側に位置する領域（領域ｒ１−１−１）が黒色（Ｄ３）から青緑色（Ｄ２）に変化する。
特徴９：青緑色（Ｄ２）に変化する中央の領域の左側に位置する領域（領域ｒ１−１−１）と、黄色（Ｄ５）に変化する中央の領域（領域ｒ１−２−１）と、赤色（Ｄ７）に変化する中央の領域の右側に位置する領域（領域ｒ１−３−１）とは、略同じ大きさである。
特徴１０：中央の領域の左側に位置する領域（領域ｒ１−１−１）が青緑色（Ｄ２）である時間と、中央の領域の右側に位置する領域（領域ｒ１−３−１）が赤色（Ｄ７）である時間は等しく、中央（領域ｒ１−２−１）の領域が黄色（Ｄ５）である時間の略３倍である。
【００２７】
第１記憶部２２は、図４に示すように、リズム情報に対応付けて、各オブジェクトを構成する画素グループの色の変化のパターンを記憶する。例えば、第１記憶部２２は、図２に示す信号機のオブジェクト（Ｏ１）のリズム情報「Ｒ０００１」に対応付けて、図３（ｂ）に示す、当該オブジェクト（Ｏ１）を構成する画素グループ毎の色の変化のパターン（画素グループ毎の平均画素値の時間的な変化を示す情報）を記憶する。
【００２８】
第１記憶部２２が記憶する情報（オブジェクトを構成する画素グループ毎の色の変化のパターン）は、電子機器１が作成したものであってもよいし、電子機器１が外部から取得したものであってもよいし、電子機器１のユーザが入力したものであってもよい。なお、電子機器１が作成する態様としては、算出部２４が、予め、サンプルとする動画像（撮像部１０によって撮像された動画像でもよい）に基づいて、オブジェクトを構成する画素グループの色の変化のパターンを算出し、第１記憶部２２に記憶する。
【００２９】
第１記憶部２２に、図４に示すように、リズム情報に対応付けて、各オブジェクトを構成する画素グループの色の変化のパターンを記憶されている状態において、算出部２４は、撮像部１０によって逐次撮像された動画像（各コマ）からオブジェクト（例えば、中央領域に撮像されているオブジェクト）を抽出する。
【００３０】
各撮像タイミングにおいてオブジェクトを抽出した算出部２４は、各撮像タイミングにおいて、オブジェクトを構成する画素グループ毎の平均画素値を算出する。即ち、算出部２４は、オブジェクトを構成する画素グループの色の変化のパターンを算出する。オブジェクトを構成する画素グループの色の変化のパターンを算出した算出部２４は、算出した色の変化のパターンを選択部２６に供給する。
【００３１】
算出部２４から変化のパターンを取得した選択部２６は、当該変化のパターンに対応するリズム情報を第１記憶部２２から選択する。より詳細には、選択部２６は、算出部２４から取得した変化のパターンの１周期分と、第１記憶部２２に記憶されているリズム情報毎の変化のパターンの１周期分とを比較し、算出部２４から取得した変化のパターンと一致若しくは最も類似する一の変化のパターンを選択し、選択した変化のパターンに対応するリズム情報を取得する。選択部２６は、取得したリズム情報を第２記憶部４０に記憶する。なお、第２記憶部４０に記憶されたリズム情報は、オブジェクト同士の比較などに用いられる。
【００３２】
以下、フローチャートを用いて、電子機器１の動作を説明する。図５は、電子機器１の動作の一例を示すフローチャートである。なお、本フローチャートの開示時において、第１記憶部２２には、リズム情報に対応付けて各オブジェクトを構成する画素グループの色の変化のパターンが記憶されているものとする。
【００３３】
算出部２４は、動画像からオブジェクトを抽出する（ステップＳ１０）。算出部２４は、抽出したオブジェクトを構成する画素グループ毎の平均画素値を算出し（ステップＳ１２）、撮像タイミング（時刻）に対応付けて一時記憶する。
【００３４】
算出部２４は、色の変化の１周期分のオブジェクトを抽出したか否かを判断する（ステップＳ１４）。換言すれば、算出部２４は、当該オブジェクトを構成する画素グループの色の変化のパターンに周期性を見つけたか否かを判断する。算出部２４は、色の変化の１周期分のオブジェクトを未だ抽出していないと判断した場合（ステップＳ１４：Ｎｏ）、ステップＳ１０に戻る。即ち、算出部２４は、色の変化に周期性を見つける迄、ステップＳ１０、Ｓ１２を繰り返す。
【００３５】
一方、算出部２４は、色の変化の１周期分のオブジェクトを抽出したと判断した場合（ステップＳ１４：Ｙｅｓ）、一時記憶した、各撮像タイミングにおける、オブジェクトを構成する画素グループ毎の平均画素値（オブジェクトを構成する画素グループの色の変化のパターン）を選択部２６に供給する。
【００３６】
算出部２４から変化のパターンを取得した選択部２６は、当該変化のパターンに対応するリズム情報を第１記憶部２２から選択し（ステップＳ１６）、選択したリズム情報を第２記憶部４０に記憶する。そして本フローチャートは終了する。
【００３７】
なお、図５に示すフローチャートは、逐次撮像される動画像から、色の変化の１周期分のオブジェクトを抽出（記憶）した場合に、抽出したオブジェクトを用いて、オブジェクトを構成する画素グループの色の変化のパターンを算出するという態様、即ち、撮像中に、リズム情報を抽出するという態様における動作を示すものである。但し、リズム情報を抽出する態様は、撮像中に限定されない。例えば、抽出部２０が、逐次撮像される動画像の全体を第１記憶部２２に記憶した後に、算出部２４及び選択部２６が、動画像の全体の中の１周期分のオブジェクト図形に基づいて、リズム情報を抽出するようにしてもよい。
【００３８】
以上、図１乃至図５を用いて説明したように、電子機器１によれば、オブジェクト自体を示す数値であるリズム情報を当該オブジェクトから簡便に取得することができる。また、数値によって表されるリズム情報を用いてオブジェクト同士を簡便に比較することができる。更に、オブジェクト同士の比較結果を種々の応用処理（例えば、オブジェクトの類似度に基づくオブジェクトのクループ化、各撮像機器によるオブジェクトの類似度に基づく撮像機器のクループ化、基準とするオブジェクトに類似するオブジェクトの抽出）に活用することができる。
【００３９】
なお、上記実施形態は、画素グループの色の変化のパターンとして、画素グループ毎の平均画素値（画素グループ内の複数の画素の画素値の平均値）の時間的な変化を示す情報を用いる例であったが、画素グループの色の変化のパターンとして用いる値はこれに限定されない。例えば、画素グループ毎の最大画素値（画素グループ内の複数の画素の画素値の最大値）の時間的な変化を示す情報、画素グループ毎の最小画素値（画素グループ内の複数の画素の画素値の最小値）の時間的な変化を示す情報、画素グループ毎の画素値の中央値（画素グループ内の複数の画素の画素値の中央値）の時間的な変化を示す情報などを画素グループの色の変化のパターンとして用いてもよい。
【００４０】
また、上記実施形態は、所定数の隣接画素を画素グループとし、また、画素グループ毎の平均画素値（最大画素値、最小画素値又は画素値の中央値）の時間的な変化を示す情報を画素グループの色の変化のパターンとし、画素グループの色の変化に対応するリズム情報を抽出する態様であるが、画素グループの色の変化に対応するリズム情報を抽出する態様はこれに限定されない。
【００４１】
一例として、画素値の差が所定値以下である隣接画素を画素グループとし、また、画素グループ毎の平均画素値（最大画素値、最小画素値又は画素値の中央値）の時間的な変化を示す情報を画素グループの色の変化のパターンとし、画素グループの色の変化に対応するリズム情報を抽出してもよい。図６は、抽出部２０の他の処理を説明するための説明図である。
【００４２】
図６（ａ）は、図２に示した信号機のオブジェクト（Ｏ１）を構成する画素において、画素値の差が所定数以下である隣接画像を画素グループとして模式的に表したものである。図６（ａ）において、Ｇａ１〜Ｇａ４は、各撮像タイミング（ｔ１〜ｔ７）の何れにおいても画素値の差が所定数以下である隣接画像を画素グループである（図３（ｂ）参照）。具体的には、Ｇａ１は青ランプの領域ｒ１−１−１、Ｇａ２は黄ランプの領域ｒ１−２−１、Ｇａ３は赤ランプの領域ｒ１−３−１、Ｇａ４はランプ以外の領域を表している（図２参照）。
【００４３】
図６（ｂ）は、図２に示した信号機のオブジェクト（Ｏ１）を構成する画素グループ毎（図６（ａ）に示した画素グループ毎）の色の時間的な変化のパターンを表したリズム情報「Ｒ０００１’」である。なお、各値（Ｄ１〜Ｄ７）は、画素グループ内の複数の画素の画素値の平均値であって、図３（ｂ）と同様である。但し、上述した様に、平均値に代えて、最大画素値（画素グループ内の複数の画素の画素値の最大値）、最小画素値（画素グループ内の複数の画素の画素値の最小値）、中央値（画素グループ内の複数の画素の画素値の中央値）を用いてもよい。
【００４４】
つまり、抽出部２０は、図６に示すように、画素値の差が所定値以下である隣接画素を画素グループとし、また、画素グループ毎の平均画素値（最大画素値、最小画素値又は画素値の中央値）の時間的な変化を示す情報を画素グループの色の変化のパターンとし、画素グループの色の変化に対応するリズム情報を抽出してもよく、抽出部２０が図６に示すようにリズム情報を抽出した場合であっても、図３の示すようにリズム情報を抽出した場合と同様の効果を得ることができる。
【００４５】
他の一例として、画素値の差が所定値以下である隣接画素を画素グループとし、また、
画素グループの分布の時間的な変化を示す情報を画素グループの色の変化のパターンとし、画素グループの色の変化に対応するリズム情報を抽出してもよい。図７は、抽出部２０の他の処理を説明するための説明図である。
【００４６】
図７（ａ）は、図２に示した信号機のオブジェクト（Ｏ１）を構成する画素において、画素値の差が所定数以下である隣接画像を画素グループとして模式的に表したものである。図７（ａ）において、Ｇｂ１及びＧｂ４は、信号が青のときの撮像タイミング（ｔ１〜ｔ３）において画素値の差が所定数以下である隣接画像を画素グループである（図３（ｂ）参照）。具体的には、Ｇｂ１は青色の領域、Ｇｂ４は黒色及び灰色の領域を表している（図２参照）。即ち、消灯中の黄ランプ及び赤ランプの領域の画素値（黒色を示す値）とランプ以外の領域の画素値（灰色を示す値）の差は、所定値以下であるものとする。
図７（ｂ）において、Ｇｂ２及びＧｂ４は、信号が黄のときの撮像タイミング（ｔ４）において画素値の差が所定数以下である隣接画像を画素グループである（図３（ｂ）参照）。具体的には、Ｇｂ２は黄色の領域、Ｇｂ４は黒色及び灰色の領域を表している（図２参照）。即ち、消灯中の青ランプ及び赤ランプの領域の画素値（黒色を示す値）とランプ以外の領域の画素値（灰色を示す値）の差は、所定値以下であるものとする。
図７（ｃ）において、Ｇｂ３及びＧｂ４は、信号が赤のときの撮像タイミング（ｔ５〜ｔ７）において画素値の差が所定数以下である隣接画像を画素グループである（図３（ｂ）参照）。具体的には、Ｇｂ３は赤色の領域、Ｇｂ４は黒色及び灰色の領域を表している（図２参照）。即ち、消灯中の青ランプ及び黄ランプの領域の画素値（黒色を示す値）とランプ以外の領域の画素値（灰色を示す値）の差は、所定値以下であるものとする。
【００４７】
図７（ｄ）は、図２に示した信号機のオブジェクト（Ｏ１）を構成する画素グループ毎（図７（ａ）〜（ｃ）に示した画素グループ毎）の分布の時間的な変化のパターンを表したリズム情報「Ｒ０００１’’」である。
図７（ｄ）の表内の各値（Ｓ１〜Ｓ７）は、各撮像タイミングにおける各画素グループの分布（領域の形状）である。具体的には、Ｓ１は青ランプの領域ｒ１−１−１、Ｓ２は黄ランプの領域ｒ１−２−１、Ｓ３は赤ランプの領域ｒ１−３−１、Ｓ４は青ランプ以外の領域、Ｓ５は黄ランプ以外の領域、Ｓ６は赤ランプ以外の領域の分布を表している。
【００４８】
つまり、抽出部２０は、図７に示すように、画素値の差が所定値以下である隣接画素を画素グループとし、また、画素グループの分布の時間的な変化を示す情報を画素グループの色の変化のパターンとし、画素グループの色の変化に対応するリズム情報を抽出してもよく、図７に示すようにリズム情報を抽出した場合であっても、図３の示すようにリズム情報を抽出した場合と同様の効果を得ることができる。
【００４９】
以上、電子機器１によれば、オブジェクト自体を示す数値であるリズム情報を当該オブジェクトから簡便に取得することができる。なお、図３に示す態様は、画素グループにおける色の変化のパターンをリズム情報とする態様であるが、色の変化のパターンは、色相、彩度、明度、色度、コントラスト（比）の何れか１つ、又は２以上を含む変化のパターンを表現するものであればよい（図６に示す態様も同様）。例えば、図３、図６に示す態様において、画素グループ毎のコントラストの変化（即ち、画素グループ毎の明暗、輝度の経時的な変化）のパターンをリズム情報としてもよい。また、例えば、図３、図６に示す態様において、画素グループ間のコントラストの変化（即ち、画素グループ間の明暗、輝度の差の経時的な変化）のパターンをリズム情報としてもよい（図６に示す態様も同様）。また、図６に示す態様は、画素値の差が所定数以下である隣接画像を画素グループとする態様であるが、画素値とは、色相、彩度、明度、色度、コントラスト（比）の何れか１つ以上を表現するものであればよい（図７に示す態様も同様）。例えば、図６、図７に示す態様において、コントラスト（明暗、輝度）の差が所定数以下である隣接画像を画素グループとしてもよい。
【００５０】
また、図７に示す態様は、画素グループの分布を時間的な変化をリズム情報とする態様であるが、当該リズム情報は、オブジェクトを構成する各部分（各画素グループ）の形状の変化を表現したものでもある。例えば、当該リズム情報は、図７に示すように、画素グループＧｂ４の形状の周期的な変化を表現している。
また、図７に示す態様は、オブジェクトを構成する各部分（各画素グループ）の配置の変化を表現したものでもある。例えば、仮に、画素グループＧｂ１と画素グループＧｂ３とが同じ画素グループ（共にＧｂ１とする）である場合（例えば、Ｇｂ３が赤ではなく青の場合）、当該リズム情報は、画素グループＧｂ１の配置の周期的な変化を表現することになる。
【００５１】
また、上記実施形態では、図１に示すように、撮像部１０によって撮像された動画像から、直接、リズム情報を抽出する態様であるが、外光の状況により、基準となる光（所定の色温度の光、例えば、自然光）が当ったような状態になるようにフィルタリング（色を補正）し、フィルタリングした後の動画像からリズム情報を抽出するようにしてもよい。
具体的には、電子機器１は、撮像部１０によって撮像された動画像の色を補正する補正部１１（非図示）を更に備えるようにしてもよい。即ち、補正部１１は、予め定めた基準となる光の下において撮像した場合の色に、撮像部１０によって撮像された動画像の色を補正し、抽出部２０に出力し、抽出部２０は、補正部１１によって補正された動画像からリズム情報を抽出するようにしてもよい。これにより、動画像を撮像したときの外光の状況によらずに安定したリズム情報を抽出することができるようになる。
【００５２】
なお、本発明の一実施形態による電子機器１の各処理を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、当該記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、電子機器１の各処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【００５３】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【００５４】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【００５５】
１…電子機器、１０…撮像部、１１…補正部 ２０…抽出部、２２…第１記憶部、２４…算出部、２６…選択部、４０…第２記憶部
【特許請求の範囲】
【請求項１】
撮像部と、
前記撮像部によって撮像された動画像内のオブジェクトの色の変化のパターンを表すリズム情報を抽出する抽出部と
を備えることを特徴とする電子機器。
【請求項２】
請求項１に記載の電子機器において、
予め定めた基準となる光の下において撮像した場合の色に前記動画像を補正する補正部を更に備え、
前記抽出部は、
前記補正部によって補正された動画像から前記リズム情報を抽出する
ことを特徴とする電子機器。
【請求項３】
請求項１又は請求項２に記載の電子機器において、
前記抽出部は、
前記オブジェクトを構成する単位領域の色の変化のパターンに対応付けて前記リズム情報を記憶する記憶部と、
前記動画像における前記単位領域の色の変化のパターンを算出する算出部と、
前記算出部によって算出された前記単位領域の色の変化のパターンに対応する前記リズム情報を前記記憶部から選択する選択部と
を有することを特徴とする電子機器。
【請求項４】
請求項３に記載の電子機器において、
前記単位領域は、
所定数の隣接画素からなる画素グループであって、
前記単位領域の色の変化のパターンは、
前記画素グループ毎の平均画素値、最大画素値、最小画素値、又は、画素値の中央値の時間的な変化を示す情報であることを特徴とする電子機器。
【請求項５】
請求項３に記載の電子機器において、
前記単位領域は、
画素値の差が所定値以下である隣接画素からなる画素グループであって、
前記単位領域の色の変化のパターンは、
前記画素グループ毎の平均画素値、最大画素値、最小画素値、又は、画素値の中央値の時間的な変化を示す情報であることを特徴とする電子機器。
【請求項６】
請求項３に記載の電子機器において、
前記単位領域は、
画素値の差が所定値以下である隣接画素からなる画素グループであって、
前記単位領域の色の変化のパターンは、
前記画素グループの分布の時間的な変化を示す情報であることを特徴とする電子機器。
【請求項７】
請求項１から請求項６の何れか１項に記載の電子機器において、
前記色の変化は、
色相、彩度、明度、色度、コントラスト比の何れか１つ、又は２以上を含む変化であることを特徴とする電子機器。
【請求項８】
動画像内のオブジェクトを構成する単位領域の色の変化のパターンに対応付けて動画像内のオブジェクトの色の変化のパターンを表すリズム情報を記憶する記憶部を備える電子機器において、撮像部によって撮像された動画像の前記リズム情報を選択する選択方法であって、
前記電子機器の算出手段が、前記動画像における前記単位領域の色の変化のパターンを算出し、
前記電子機器の選択手段が、前記算出手段によって算出された前記単位領域の色の変化のパターンに対応する前記リズム情報を前記記憶部から選択する
ことを特徴とする選択方法。
【請求項１】
撮像部と、
前記撮像部によって撮像された動画像内のオブジェクトの色の変化のパターンを表すリズム情報を抽出する抽出部と
を備えることを特徴とする電子機器。
【請求項２】
請求項１に記載の電子機器において、
予め定めた基準となる光の下において撮像した場合の色に前記動画像を補正する補正部を更に備え、
前記抽出部は、
前記補正部によって補正された動画像から前記リズム情報を抽出する
ことを特徴とする電子機器。
【請求項３】
請求項１又は請求項２に記載の電子機器において、
前記抽出部は、
前記オブジェクトを構成する単位領域の色の変化のパターンに対応付けて前記リズム情報を記憶する記憶部と、
前記動画像における前記単位領域の色の変化のパターンを算出する算出部と、
前記算出部によって算出された前記単位領域の色の変化のパターンに対応する前記リズム情報を前記記憶部から選択する選択部と
を有することを特徴とする電子機器。
【請求項４】
請求項３に記載の電子機器において、
前記単位領域は、
所定数の隣接画素からなる画素グループであって、
前記単位領域の色の変化のパターンは、
前記画素グループ毎の平均画素値、最大画素値、最小画素値、又は、画素値の中央値の時間的な変化を示す情報であることを特徴とする電子機器。
【請求項５】
請求項３に記載の電子機器において、
前記単位領域は、
画素値の差が所定値以下である隣接画素からなる画素グループであって、
前記単位領域の色の変化のパターンは、
前記画素グループ毎の平均画素値、最大画素値、最小画素値、又は、画素値の中央値の時間的な変化を示す情報であることを特徴とする電子機器。
【請求項６】
請求項３に記載の電子機器において、
前記単位領域は、
画素値の差が所定値以下である隣接画素からなる画素グループであって、
前記単位領域の色の変化のパターンは、
前記画素グループの分布の時間的な変化を示す情報であることを特徴とする電子機器。
【請求項７】
請求項１から請求項６の何れか１項に記載の電子機器において、
前記色の変化は、
色相、彩度、明度、色度、コントラスト比の何れか１つ、又は２以上を含む変化であることを特徴とする電子機器。
【請求項８】
動画像内のオブジェクトを構成する単位領域の色の変化のパターンに対応付けて動画像内のオブジェクトの色の変化のパターンを表すリズム情報を記憶する記憶部を備える電子機器において、撮像部によって撮像された動画像の前記リズム情報を選択する選択方法であって、
前記電子機器の算出手段が、前記動画像における前記単位領域の色の変化のパターンを算出し、
前記電子機器の選択手段が、前記算出手段によって算出された前記単位領域の色の変化のパターンに対応する前記リズム情報を前記記憶部から選択する
ことを特徴とする選択方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１２−２２１０３３（Ｐ２０１２−２２１０３３Ａ）
【公開日】平成２４年１１月１２日（２０１２．１１．１２）
【国際特許分類】
【出願番号】特願２０１１−８３５９５（Ｐ２０１１−８３５９５）
【出願日】平成２３年４月５日（２０１１．４．５）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２４年１１月１２日（２０１２．１１．１２）
【国際特許分類】
【出願日】平成２３年４月５日（２０１１．４．５）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]