物体検出装置

【課題】ユーザーによるモーション操作の検出精度を向上する。
【解決手段】所定のフレームレートで逐次撮影し、撮影画像を取得する撮影部と、前記撮影部で撮影する際の照明光を発光する照明部と、前記照明部が第１光強度と前記第１光強度よりも小さい第２光強度とを選択的に発光するように切換制御する制御部とを備える。

【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物体検出装置に関する。
【背景技術】
【０００２】
表示画面の外枠部分にカメラを備え、ユーザーの手の動きに応じたモーション操作を可能とした画像表示装置が提案されている（例えば、特許文献１）。このような画像表示装置においては、カメラに隣接して発光部を設けて、カメラのフレームレートに同期させて点滅させ、発光部を発光させて撮影した画像と消灯させて撮影した画像との差分をとって、対象物体としてのユーザーの手を検出するようにしている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−８１４６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、カメラの視野内に蛍光灯やＬＥＤ照明等の点滅照明が存在した場合には、従来技術では、その照明に係る画像が差分画像として残ってしまう場合があり、対象物体としてのユーザーの手の検出精度を低下させる場合があるという問題があった。
【０００５】
本発明は、ユーザーによるモーション操作の検出精度を向上することを目的とする。
【課題を解決するための手段】
【０００６】
本発明に係る物体検出装置は、所定のフレームレートで逐次撮影し、撮影画像を取得する撮影部と、前記撮影部で撮影する際の照明光を発光する照明部と、前記照明部が第１光強度と前記第１光強度よりも小さい第２光強度とを選択的に発光するように切換制御する制御部とを備えることを特徴とする。
【発明の効果】
【０００７】
本発明によれば、ユーザーによるモーション操作の検出精度を向上することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施形態のデジタルフォトフレームおよびこれを操作するユーザーを模式的に示す側面図である。
【図２】本発明の実施形態のデジタルフォトフレームの正面図である。
【図３】本発明の実施形態のデジタルフォトフレームの制御部の構成を示すブロック図である。
【図４】本発明の実施形態のデジタルフォトフレームの制御部の処理を示すフローチャート図である。
【図５】本発明の実施形態のデジタルフォトフレームの第１変形例を示す側面図である。
【図６】本発明の実施形態のデジタルフォトフレームの第１変形例を示す側面図である。
【図７】本発明の実施形態のデジタルフォトフレームの第２変形例を示す側面図である。
【図８】本発明の実施形態のデジタルフォトフレームの第２変形例を示す側面図である。
【図９】本発明の他の実施形態のデジタルフォトフレームを示す側面図である。
【図１０】本発明の他の実施形態のデジタルフォトフレームの第１変形例を示す側面図である。
【図１１】本発明の他の実施形態のデジタルフォトフレームの第２変形例を示す側面図である。
【図１２】本発明の他の実施形態のデジタルフォトフレームの第３変形例を示す側面図である。
【図１３】本発明の実施形態の第１の物体検出処理における赤外光の発光タイミングおよび光強度変化を示す図である。
【図１４】本発明の実施形態の第１の物体検出処理を説明するための図である。
【図１５】本発明の実施形態の第２の物体検出処理における赤外光の発光タイミングおよび光強度変化を示す図である。
【図１６】本発明の実施形態の第２の物体検出処理を説明するための図である。
【図１７】本発明の実施形態の第３の物体検出処理における赤外光の発光タイミングおよび光強度変化を示す図である。
【図１８】本発明の実施形態の第３の物体検出処理を説明するための図である。
【図１９】本発明の実施形態の第４の物体検出処理における赤外光の発光タイミングおよび光強度変化を示す図である。
【図２０】本発明の実施形態の第４の物体検出処理を説明するための図である。
【発明を実施するための形態】
【０００９】
以下、本発明が適用された画像表示装置として、デジタルフォトフレームを例にとり、本発明の実施形態について説明する。まず、図１および図２を参照する。本実施形態のデジタルフォトフレーム１は、略矩形状の表示画面２ａを有するディスプレイ２と、撮影部としてのカメラ３を概略備えて構成されている。ディスプレイ２としては、例えば液晶パネルを用いることができる。
【００１０】
カメラ３は、図示は省略しているが、被写体の像を撮像するＣＣＤなどのイメージセンサおよび被写体の像を該イメージセンサの結像面上に結像させるレンズを備えている。カメラ３は、本実施形態では、ディスプレイ２の正面側であって、表示画面２ａの外周に配置されるフレーム（枠部材）の下辺部の略中央部に一体的に固定されており、このデジタルフォトフレーム１に対面するユーザー７の主として手７ａを被写体として撮影するものである。カメラ３はその光軸Ａの方向（指向方向）が表示画面２ａ内を通る法線の方向に対して該表示画面２ａの前面（正面）側において斜交するように、表示画面２ａの外側に配置されている。ここで、カメラ３の光軸Ａと表示画面２ａの中心（またはその近傍）を通る法線Ｂとのなす角度をθａ、表示画面２ａと設置面６ａの法線Ｄとのなす角度をθｂとして、θｂ＝０°〜４０°の範囲ではθａ＋θｂ＝７０°±１０°、θｂ＝４０°〜６０°の範囲ではθａ＝３０°±１０°、θｂ＝６０°〜９０°の範囲ではθａ＋θｂ＝９０°±１０°となるように設定することが好ましい。
【００１１】
本実施形態では、カメラ３に隣接して、カメラ３で撮影する際の照明光としての赤外光を発光するＬＥＤ４が設けられている。ＬＥＤ４は、その光軸の方向（主光線の方向）がカメラ３の光軸Ａの方向に略一致するように（すなわち、略平行となるように）フレーム２ｂに固定されている。但し、後述するように、ＬＥＤ４の光軸の方向は、カメラ３の光軸Ａの方向とは異なる方向に設定してもよい。なお、ＬＥＤ４は赤外光を発光するものでなく、可視光を発光するものであってもよい。
【００１２】
ディスプレイ２の背面側には、ディスプレイ２を設置面（テープル６の上面）６ａに設置するためのディスプレイ支持部材としてのスタンド５が回転可能に取り付けられている。スタンド５をディスプレイ２の背面に対して開く方向または閉じる方向に回転させて、所定の角度範囲内の任意の角度に設定することにより、表示画面２ａの設置面６ａに対する傾き角度を変更することができる。
【００１３】
デジタルフォトフレーム１は、フレーム２ｂの下辺とスタンド５の下端を設置面６ａ上に当接させて載置することにより、所定の姿勢で設置面６ａ上に設置される。なお、本実施形態では、カメラ３およびＬＥＤ４は、フレーム２ｂに固定されているため、スタンド５の角度を調整して表示画面２ａの設置面６ａに対する傾き角度を変更した場合には、これに応じてカメラ３の光軸ＡおよびＬＥＤ４の光軸Ｃの設置面６ａに対する角度も変更される。なお、表示画面２ａの設置面６ａに対する傾き角度を変更しても、カメラ３の光軸ＡおよびＬＥＤ４の光軸Ｃの表示画面２ａの中心を通る法線Ｂに対する角度θａは変わらない。
【００１４】
図３に示すように、このデジタルフォトフレーム１は、ディスプレイ２、カメラ３およびＬＥＤ４を制御する制御装置１１を備えており、制御装置１１には、操作部材１２、接続ＩＦ１３および記憶媒体１４が接続されている。
【００１５】
制御装置１１は、ＣＰＵ、メモリ、およびその他の周辺回路によって構成され、デジタルフォトフレーム１の全体を制御する。なお、制御装置１１を構成するメモリは、例えばＳＤＲＡＭ等の揮発性のメモリである。このメモリは、ＣＰＵがプログラム実行時にプログラムを展開するためのワークメモリや、データを一時的に記録するためのバッファメモリを含む。
【００１６】
制御装置１１は、カメラ３が備えるイメージセンサから出力される画像信号に基づいて、画像データを生成する。また、制御装置１１はカメラ３による撮影の際に、ＬＥＤ４の点灯もしくは点灯（発光）の強度、または消灯を制御する。
【００１７】
操作部材１２は、デジタルフォトフレーム１のユーザー７によって操作される操作ボタン等を含む。接続ＩＦ１３は、デジタルフォトフレーム１と外部機器とを接続するためのインターフェースである。本実施形態では、デジタルフォトフレーム１は、この接続ＩＦ１３を介して画像データが記録されている外部機器、例えばデジタルカメラ等と接続される。そして、制御装置１１は、接続ＩＦ１３を介して外部機器から画像データを取り込んで、記憶媒体１４に記録する。なお、接続ＩＦ１３としては、外部機器とデジタルフォトフレーム１とを有線接続するためのＵＳＢインターフェースや、無線接続するための無線ＬＡＮモジュールなどが用いられる。あるいは、接続ＩＦ１３の代わりにメモリカードスロットを設け、該メモリカードスロットに画像データが記録されたメモリカードを挿入することにより、画像データを取り込むようにしてもよい。
【００１８】
記憶媒体１４は、フラッシュメモリ等の不揮発性のメモリであって、制御装置１１によって実行されるプログラムや、接続ＩＦ１３を介して取り込まれた画像データ等が記録される。
【００１９】
本実施形態におけるデジタルフォトフレーム１において、制御装置１１は、カメラ３によって撮影された画像に基づいてユーザー７の手７ａの位置、およびフレーム間での位置の変化を検出し、その検出結果に応じてディスプレイ２上の表示画像２ａの再生状態を変更する。再生状態の変更としては、例えば、画像の送り（現在表示中の画像を次に表示予定の画像に変更する）または戻し（現在表示中の画像を直前に表示された画像に変更する）を例示できる。以下、制御装置１１による、ユーザー７の手７ａの位置、およびフレーム間での位置の変化に応じた画像の再生状態の変更処理について説明する。
【００２０】
図４は、ユーザー７の手７ａの位置、およびフレーム間での位置の変化に応じた画像の再生状態の変更処理の流れを示すフローチャートである。図４に示す処理は、ディスプレイ２への画像の再生表示が開始されると起動するプログラムとして、制御装置１１によって実行される。
【００２１】
ステップＳ１において、制御装置１１は、カメラ３による画像の撮影を開始する。ここでは、カメラ３は、所定のフレームレート（例えば、３０ｆｐｓ）で撮影を行うこととし、制御装置１１は、カメラ３から該フレームレートに応じた所定の時間間隔で連続して入力された画像データを処理するものとする。また、ＬＥＤ４は点灯させないものとする。但し、制御装置１１は、ＬＥＤ４を点灯させて１フレーム分の画像を取り込み、次いでＬＥＤ４を消灯させて１フレーム分の画像を取り込んで、これらの画像の差分演算を実施して、当該差分に相当する画像（差分画像）に係る画像データを処理するようにしてもよい。このような差分画像を処理することにより、撮影画像内の背景に生じる外乱の影響を軽減することができる。なお、このようにＬＥＤ４の点灯等を制御して、対象物体の検出精度を高めるための処理（物体検出処理）については、後述する。その後、ステップＳ２へ進む。
【００２２】
ステップＳ２では、制御装置１１は、カメラ３から入力される画像データ（差分演算を実施する場合には当該差分画像に係る画像データ）に基づいて、画像内におけるユーザー７の手７ａを検出したか否かを判断する。例えば、あらかじめユーザー７の手７ａの画像をテンプレート画像として記録しておき、制御装置１１は、対象画像とテンプレート画像とをマッチングすることにより、対象画像内にユーザー７の手７ａが写っているか否かを判定し、写っていた場合には、その手７ａの位置を検出する。ステップＳ２において、制御装置１１は、手７ａの位置が検出された場合（Ｙｅｓの場合）にはステップＳ３に進み、手７ａが検出されなかった場合（Ｎｏの場合）にはステップＳ５に進む。
【００２３】
ステップＳ３において、制御装置１１は、カメラ３から時系列で入力される画像データ（差分演算を実施する場合には時系列に算出される差部画像に係る画像データ）間での画像内における手７ａの位置の変化を監視することにより、ユーザー７の手７ａの動きを検出する。ステップＳ３でユーザー７の手７ａの動きを検出しない場合（Ｎｏの場合）には、ステップＳ５へ進む。これに対して、ステップＳ３でユーザー７の手７ａの動きを検出した場合（Ｙｅｓの場合）には、ステップＳ４へ進む。
【００２４】
ステップＳ４において、制御装置１１は、手７ａの動きに応じて再生画像を変更する。すなわち、制御装置１１は、手７ａが右から左に移動したことが検出された場合には、ユーザー７により画像送りが指示されたと判断し、ディスプレイ２上に現在表示中の画像を左方向に移動して画面左辺から画面外に排出するように表示させるとともに、次に表示予定の画像を画面右辺から画面内に導入するように表示させて、当該次に表示予定の画像をディスプレイ２上に表示させる。
【００２５】
これと逆に、制御装置１１は、手７ａが左から右に移動したことが検出された場合には、ユーザー７により画像戻しが指示されたと判断し、ディスプレイ２上に現在表示中の画像を右方向に移動して画面右辺から画面外に排出するように表示させるとともに、直前に表示した画像を画面左辺から画面内に導入するように表示させて、当該直前に表示させた画像をディスプレイ２上に表示させる。
【００２６】
なお、ここでは、ユーザー７の手７ａの左右の動きに応じて、画像送りまたは戻しを行うようにしたが、他の動きを検出して、他の処理を行うようにしてもよい。例えば、ユーザー７の手７ａの位置に対応して画面内に所定形状のカーソルを表示し、手７ａの動きに応じて該カーソルを画面内で移動させて、画面内に表示させた指示入力用のアイコンなどを選択させるようにしてもよい。また、例えば、手７ａの上下の動きを検出して、画像の表示倍率を変更するようにしてもよい。
【００２７】
その後、ステップＳ５において、制御装置１１は、ユーザー７によって、画像の再生を終了するように指示されたか否かを判断する。ステップＳ５で終了が指示されていない場合（Ｎｏの場合）にはステップＳ２に戻り、終了が指示された場合（Ｙｅｓの場合）にはこの処理を終了する。
【００２８】
以上説明した本実施形態によれば、カメラ３の光軸Ａの方向が表示画面２ａ内を通る法線（本実施形態では一例として表示画面２ａ内の中心を通る法線Ｂ）の方向に対して該表示画面２ａの前面側において例えば３０°程度で斜交するように、表示画面２ａの外側に配置されている。これにより、ユーザー７のモーション操作を行う手７ａの検出範囲を装置近辺に限定することができる。すなわち、カメラ３の視野内には、ユーザー７のモーション操作を行う手７ａまたはその近傍は入るが、ユーザー７の後方の背景は入らないようにできるため、例えばユーザー７の後方を他人が横切った場合でも、撮影範囲に入らず、当該他人の一部を検出してしまうことによる誤検出を防止することができる。
【００２９】
次に、上述したデジタルフォトフレーム１の第１変形例について、図５および図６を参照して説明する。図１〜図３と実質的に同一の構成部分については同一の符号を付し、その説明は省略する。すなわち、上述した実施形態では、カメラ３はディスプレイ２のフレーム２ｂの下辺部の略中央部に固定されているものとして説明した。したがって、スタンド５の角度を変更して表示画面２ａの傾きを変更した場合には、これに伴いカメラ３の指向方向も変更されることになる。
【００３０】
これに対し、この第１変形例では、ディスプレイ支持部材としてのスタンド５の角度を変更して表示画面２ａの傾きを変更した場合であっても、カメラ３の指向方向は変更されないような構成としている。すなわち、カメラ３はカメラ支持部材８に固定されており、カメラ支持部材８はフレーム２ｂの下辺近傍に該下辺に略平行な方向に設定された回転軸８ａを介して回転自在に支持されている。また、カメラ支持部材８は、このデジタルフォトフレーム１を持ち上げた状態で、重力の作用によりカメラ３を略一定方向を指向させるようなある程度の偏荷重を有しており、その下面は平坦に形成された当接面８ｂとなっている。このデジタルフォトフレーム１を設置面６ａ上に設置すると、カメラ支持部材８の当接面８ｂが設置面６ａに当接して、カメラ支持部材８の回転が制限され、カメラ３が一定方向を指向するようになっている。これにより、例えば、図５の状態から図６の状態となるように、ディスプレイ２の傾きを変更しても、カメラ３の指向方向（光軸Ａの方向）は変更されず、一定方向を指向することになる。
【００３１】
なお、ＬＥＤ４をカメラ支持部材８に固定して、ディスプレイ２の傾きを変更した場合にも、ＬＥＤ４の指向方向（光軸の方向）がカメラ３の指向方向（光軸Ａの方向）と同様に一定方向を指向するようにしてもよい。
【００３２】
次に、上述したデジタルフォトフレーム１の第２変形例について、図７および図８を参照して説明する。図１〜図３と実質的に同一の構成部分については同一の符号を付し、その説明は省略する。すなわち、この第２変形例も、上述した第１変形例と同様に、表示画面２ａの傾きを変更した場合であっても、カメラ３の指向方向は変更されないような構成としている。すなわち、この第２変形例では、スタンド５の代わりに、ディスプレイ支持部材としての台座９を設け、この台座９にディスプレイ２と回転軸９ａを介して回転可能に軸支している。ディスプレイ２の回転は台座９に対する支持部において自己の姿勢を保持し得る程度の抵抗を受けており、ユーザー７が手で押圧することにより姿勢変更できるが、押圧しない状態ではその姿勢を保つようになっている。カメラ３は、台座９に所定方向を指向して固定されている。これにより、例えば、図７の状態から図８の状態となるように、ディスプレイ２の傾きを変更しても、カメラ３の指向方向（光軸Ａの方向）は変更されず、一定方向を指向することになる。
【００３３】
なお、ＬＥＤ４を台座９に所定方向を指向させて固定して、ディスプレイ２の傾きを変更した場合にも、ＬＥＤ４の指向方向（光軸Ｃの方向）がカメラ３の指向方向（光軸Ａの方向）と同様に一定方向を指向するようにしてもよい。
【００３４】
次に、本発明の他の実施形態として、ＬＥＤ４の配置について、詳述する。例えば、図９に示すように、ＬＥＤ４は、ディスプレイ２の正面側であって、表示画面２ａの外周に配置されるフレーム（枠部材）の下辺部の略中央部に一体的に固定するとともに、その光軸Ｃの方向（指向方向）が表示画面２ａ内を通る法線Ｂの方向に対して該表示画面２ａの前面（正面）側において斜交するように、表示画面２ａの外側に配置するようにできる。
【００３５】
ＬＥＤ４の光軸Ｃの表示画面２ａの中心（またはその近傍）を通る法線Ｂに対する角度θ２は、例えば、θ２＝４０°±２０°の範囲内となるように設定されている。この角度θ２は、ディスプレイ２の表示画面２ａのサイズに応じて適宜に設定され、角度θ２は、θ２＝４０°±１０°程度がより好ましく、θ２＝４０°程度が最も好ましい。
【００３６】
このように、ＬＥＤ４をその光軸Ｃの方向が表示画面２ａ内を通る法線Ｂに対して斜交するように配置することにより、検出の対象物体としてのユーザー７のモーション操作を行う手７ａはＬＥＤ４からの照明光により照明されるが、該手７ａ以外のユーザーの身体や後方の背景は照明されず、撮影画像内では、対象物体としての手７ａが明るく、その余の部分は暗くなるため、適宜なしきい値を設定することによって、当該手７ａの検出精度を向上させることができる。
【００３７】
なお、図９では、カメラ３は、表示画面２ａの外周に配置されるフレームの上辺の略中央部に固定しているが、図１０に示すように、該フレームの側辺（左辺または右辺）の略中央部に固定してもよい。また、図示は省略するが、図９において、カメラ３とＬＥＤ４の位置を逆に、すなわち、カメラ３の位置にＬＥＤ４を、ＬＥＤ４の位置にカメラ３を配置するようにしてもよい。なお、これらの場合におけるカメラ３の光軸Ａの方向は、表示画面２ａ内を通る法線Ｂに対して実質的に平行であっても、上述したように斜交していても何れでもよい。
【００３８】
カメラ３の光軸Ａの方向とＬＥＤ４の光軸Ｃの方向との両者を、表示画面２ａ内を通る法線Ｂに対して斜交させる場合には、例えば、図１１に示すように、カメラ３およびＬＥＤ４を表示画面２ａの外周を構成するフレームの下辺の略中央部に互いに隣接させて配置し、カメラ３の光軸Ａの表示画面２ａ内を通る法線Ｂに対する角度θａとＬＥＤ４の光軸Ｃの該法線Ｂに対する角度θ２を実質的に等しく設定してもよい。こうすることにより、カメラ３の光軸Ａを該法線Ｂに対して斜交させることによる検出精度の向上の効果と、ＬＥＤ４の光軸Ｃを該法線Ｂに対して斜交させることによる検出精度の向上の効果とを相乗的に実現することが可能である。
【００３９】
なお、図１２に示したようにカメラ３およびＬＥＤ４を配置して、カメラ３の光軸Ａの表示画面２ａ内を通る法線Ｂに対する角度θａとＬＥＤ４の光軸Ｃの該法線Ｂに対する角度θ２を実質的に等しく設定しても同様に効果的である。
【００４０】
また、カメラ３の光軸Ａの方向とＬＥＤ４の光軸Ｃの方向との両者を、表示画面２ａ内を通る法線Ｂに対して斜交させる場合において、カメラ３の光軸Ａの表示画面２ａ内を通る法線Ｂに対する角度θａとＬＥＤ４の光軸Ｃの該法線Ｂに対する角度θ２を互いに異なる角度に設定する場合（例えば、図９に示すような場合）には、θａ＜θ２となるように設定することが好ましく、この場合の相対的な角度差（θ２−θａ）は１０°程度に設定することができる。この場合において、カメラ３とＬＥＤ４とを一体的に構成してユニット化し、相対的な角度差（θ２−θａ）は固定として、当該ユニットをフレームに対して回転可能に軸支して、その傾きを調整できるようにするとよい。カメラ３単体またはＬＥＤ４単体をフレームに対してそれぞれ回転可能に軸支して、それぞれの傾きを調整できるようにしてもよい。
【００４１】
カメラ３、ＬＥＤ４、またはこれらを一体化したユニットの傾きの調整は、手動で行い得るようにしてもよいし、モータ駆動等により行うようにしてもよい。モータ駆動等により行う場合には、ディスプレイ２に加速度センサを設けて、表示画面２ａの設置面に対する角度を検出し得るようにして、検出した角度に応じて、カメラ３、ＬＥＤ４、またはカメラ３及びＬＥＤ４を一体化したユニットの傾きを自動的に調整できるようにしてもよい。また、スタンド５の開閉角度または開閉位置を検出して、設置面が机か壁か等を判断し、その状況に応じて、カメラ３、ＬＥＤ４、またはカメラ３及びＬＥＤ４を一体化したユニットの傾きを自動的に調整できるようにしてもよい。さらに、気圧センサ等を設けて、ディスプレイ２の高さ位置を検出し、検出された高さ位置に応じて、カメラ３、ＬＥＤ４、またはカメラ３及びＬＥＤ４を一体化したユニットの傾きを自動的に調整できるようにしてもよい。上述した各検出結果を組み合わせた検出結果に応じて、カメラ３、ＬＥＤ４、またはカメラ３及びＬＥＤ４を一体化したユニットの傾きを自動的に調整できるようにしてもよい。
【００４２】
次に、本実施形態の画像表示装置において、検出の対象物体としてのユーザーの手７ａを検出するための第１の物体検出処理（物体検出装置）について、図１３および図１４を参照して説明する。
【００４３】
図１３において、上段「ｖｓｙｎｃ」はカメラ３を構成する撮像素子（イメージセンサ）の画像取込のタイミング（左からｎフレーム、ｎ＋１フレーム、ｎ＋２フレーム、ｎ＋３フレーム：ｎは１，２，３，…）であり、下段「赤外光」はＬＥＤ４の照明光（ここでは赤外光とする）の光強度変化のタイミングを示している。
【００４４】
制御装置１１は、カメラ３の撮像素子のフレームレートに同期して、ＬＥＤ４に第１光強度で発光するよう電圧を印加する強発光モードと、該第１光強度よりも小さく且つ光強度零よりも大きい第２光強度で発光するよう電圧を印加する弱発光モードとを選択的に順次に（交互に）切換制御する。ここで、光強度零とは、電圧を印加しない状態、すなわち消灯した状態を示し、したがって、ここでの弱発光モードは消灯した状態を含まない。なお、簡単のため、本実施形態では、第１光強度を１００％として、第２光強度は半分の５０％の光強度であるものとする。すなわち、ｎフレーム目の画像が取得される際には、ＬＥＤ４が強発光モードで発光され、ｎ＋１フレーム目の画像が取得される際には、ＬＥＤ４は弱発光モードで発光され、順次、強発光モード及び弱発光モードが繰り返される。
【００４５】
図１４（ａ）〜図１４（ｄ）は、第１の物体検出処理を説明するための図である。図１４（ａ）はＬＥＤ４が強発光モード（第１光強度）で発光された際に取得されたｎフレーム目の画像を、図１４（ｂ）はＬＥＤ４が弱発光モード（第２光強度）で発光された際に取得されたｎ＋１フレーム目の画像を模式的に示している。
【００４６】
なお、図１４（ａ）において、左上部の横長長方形で示すのは、点滅照明（蛍光灯や粗悪なＬＥＤ電球等）が点灯した際の光が外乱として写り込んでいることを示しており、図１４（ｂ）では当該点滅光源が消灯しているため、そのような外乱が写り込んでいないことを示している。画像の中央部に略手の形状で示すのは、検出対象物体としてのユーザーの手７ａに係る画像であり、図１４（ａ）ではＬＥＤ４が強発光モードで発光されているため白色（１００％の光強度）で写り込んでおり、図１４（ｂ）ではＬＥＤ４が弱発光モードで発光されているため灰色（５０％の光強度）で写り込んでいる状態が示されている。
【００４７】
まず、図１４（ａ）のｎフレーム目取得画像と、図１４（ｂ）のｎ＋１フレーム目取得画像との差分｛（ｎ＋１）−（ｎ）｝の画像を求める。この差分の画像は、両画像の対応する画素の輝度値の差をとった画像である。この差分の画像が図１４（ｃ）に示されている。この段階では、差分をとっただけなので、外乱（横長長方形）が残っており、このままでは、検出対象としての手７ａに係る画像の十分な検出精度を得ることはできない。
【００４８】
そこで、この第１の物体検出処理では、照明光の光強度を変化させることにより、外乱に係る部分を、検出対象としての手７ａに係る画像と区別して、外乱のみを排除するようにしている。すなわち、図１４（ｄ）に示すように、ｎフレーム目では強発光モードに係る第１光強度（１００％）で発光させているのに対して、ｎ＋１フレーム目では弱発光モードに係る第２光強度（５０％）で発光させているので、検出対象としての手７ａに係る画像の明るさ（輝度）は、略｛（第２光強度）−（第１光強度）｝、すなわち、５０％−１００％＝−５０％程度となる。したがって、−５０％近傍の輝度をもつ画素に係る画像は検出対象としての手７ａに係る画像であると判断でき、これに対して、外乱がｎフレーム目では例えば９０％であるならば、ｎ＋１フレーム目では０％であるから、第２光強度と第１光強度との差分は０％−９０％＝−９０％となり、検出対象としての手７ａに係る画像と、外乱に係る画像とを区別することができる。
【００４９】
したがって、画像抽出のしきい値として、例えば、−５０±１０％を設定して、この範囲以外の輝度をもつ画素に係る画像は外乱として消去することにより、図１４（ｄ）に示すように、手７ａに係る画像部分のみを抽出した画像を得ることができる。したがって、検出対象としての手７ａに係る画像の検出精度を向上させることができる。
【００５０】
次に、本実施形態の画像表示装置において、検出の対象物体としてのユーザーの手７ａを検出するための第２の物体検出処理（物体検出装置）について、図１５および図１６を参照して説明する。
【００５１】
図１５において、上段「ｖｓｙｎｃ」はカメラ３を構成する撮像素子（イメージセンサ）の画像取込のタイミング（左からｎフレーム、ｎ＋１フレーム、ｎ＋２フレーム、ｎ＋３フレーム：ｎは１，２，３，…）であり、下段「赤外光」はＬＥＤ４の照明光（ここでは赤外光とする）の強度変化のタイミングを示している。
【００５２】
制御装置１１は、カメラ３の撮像素子のフレームレートに同期して、ＬＥＤ４に第１光強度で発光するよう電圧を印加する強発光モードと、該第１光強度よりも小さく且つ光強度零よりも大きい第２光強度で発光するよう電圧を印加する弱発光モードと、光強度零とする（すなわち電圧を印加しなで消灯させる）消灯モードとを選択的に順次に切換制御する。ここでは、消灯モード、弱発光モード、強発光モードの順に繰り返し発光させるものとする。なお、簡単のため、ここでは、第１光強度（強）を１００％として、第２光強度（弱）は半分の５０％の光強度であるものとし、消灯は光強度零である。すなわち、ｎフレーム目の画像が取得される際には、ＬＥＤ４が消灯され、ｎ＋１フレーム目の画像が取得される際には、ＬＥＤ４は弱発光モードで発光され、ｎ＋２フレーム目の画像が取得される際には、ＬＥＤ４は強発光モードで発光され、順次、消灯モード、弱発光モード、強発光モードが繰り返される。
【００５３】
図１６（ａ）〜図１６（ｄ）は、この第２物体検出処理を説明するための図である。図１６（ａ）はＬＥＤ４が消灯された際に取得されたｎフレーム目の画像を示しており、図１６（ｂ）はＬＥＤ４が弱発光モード（第２光強度）で発光された際に取得されたｎ＋１フレーム目の画像を示しており、図１６（ｃ）がＬＥＤ４が強発光モードで発光された際に取得されたｎ＋２フレーム目の画像を示している。
【００５４】
なお、図１６（ａ）および図１６（ｃ）において、左上部に横長長方形で示すのは、点滅照明（蛍光灯や粗悪なＬＥＤ電球等）が点灯した際の光が外乱として写り込んでいることを示しており、図１６（ｂ）では当該点滅照明が消灯しているため、そのような外乱が写り込んでいないことを示している。画像の中央部に略手の形状で示すのは、検出対象物体としてのユーザーの手７ａに係る画像であり、図１６（ａ）ではＬＥＤ４が消灯されているため殆ど移っておらず、図１６（ｂ）ではＬＥＤ４が弱発光モードで発光されているため灰色（５０％の光強度）で写り込んでおり、図１６（ｃ）ではＬＥＤ４が強発光モードで発光されているため白色（５０％の光強度）で写り込んでいる状態が示されている。
【００５５】
ｎフレーム〜ｎ＋２フレームに着目すると、ＬＥＤ４によって照明された検出対象としての手７ａに係る部分（画素）は、ＬＥＤ４の発光強度の変化に応じて段階的に変化する（ここでは、明るくなる）。したがって、図１６（ａ）のｎフレーム目取得画像、図１６（ｂ）のｎ＋１フレーム目取得画像、および図１６（ｃ）のｎ＋２フレーム目取得画像の３つのフレームに係る画像を比較して、（ｎ＜ｎ＋１＜ｎ＋２）と変化する画素値だけを抽出することで、外乱を排除することができる。
【００５６】
上述した第２の物体検出処理においては、ＬＥＤ４を強発光モード、弱発光モード、および消灯モードの３つのモードで発光（または消灯）させるようにしたが、強発光モードと弱発光モードの間の光強度で発光するモード、および／または弱発光モードと消灯モードの間の光強度で発光するモードを設定するなどして、４フレーム以上に係る画像を用いるようにしてもよい。また、消灯モードを省略して、弱発光モードに係る第２光強度よりも小さい第３光強度で発光するモードを設定してもよい。
【００５７】
ここで、図１７および図１８に示すように、ＬＥＤ４による発光（光強度変化）の順番を上記とは逆にしてもよい。すなわち、強発光モード、弱発光モード、消灯モードの順に繰り返し発光させるようにしてもよい。この場合の処理は、図１５および図１６に示したものと同様であるのでその説明は省略する。なお、この場合には、図１８（ａ）のｎフレーム目取得画像、図１８（ｂ）のｎ＋１フレーム目取得画像、および図１８（ｃ）のｎ＋２フレーム目取得画像の３つのフレームに係る画像を比較して、（ｎ＞ｎ＋１＞ｎ＋２）と変化する画素値だけを抽出することで、外乱を排除することができる。
【００５８】
次に、本実施形態の画像表示装置において、検出の対象物体としてのユーザーの手７ａを検出するための第３の物体検出処理（物体検出装置）について、図１９および図２０を参照して説明する。
【００５９】
図１９において、上段「ｖｓｙｎｃ」はカメラ３を構成する撮像素子（イメージセンサ）の画像取込のタイミング（左からｎフレーム、ｎ＋１フレーム、ｎ＋２フレーム、ｎ＋３フレーム：ｎは１，２，３，…）であり、下段「赤外光」はＬＥＤ４の照明光（ここでは赤外光とする）の光強度変化のタイミングを示している。
【００６０】
制御装置１１は、カメラ３の撮像素子のフレームレートに同期して、ＬＥＤ４に第１光強度で発光するよう電圧を印加する強発光モードと、該第１光強度よりも小さく且つ光強度零よりも大きい第２光強度で発光するよう電圧を印加する弱発光モードと、光強度零とする（すなわち電圧を印加しなで消灯させる）消灯モードとを選択的に順次に切換制御する。ここでは、消灯モード、弱発光モード、強発光モードの順に繰り返し発光させるものとする。なお、簡単のため、本実施形態では、第１光強度を１００％として、第２光強度は半分の５０％の光強度であるものとし、消灯は光強度零である。すなわち、ｎフレーム目の画像が取得される際には、ＬＥＤ４が消灯され、ｎ＋１フレーム目の画像が取得される際には、ＬＥＤ４は弱発光モードで発光され、ｎ＋２フレーム目の画像が取得される際には、ＬＥＤ４は強発光モードで発光され、順次、消灯モード、弱発光モード、強発光モードが繰り返される。
【００６１】
図２０（ａ）〜図２０（ｄ）は、この第３の物体検出処理を説明するための図である。図２０（ａ）はＬＥＤ４が消灯された際に取得されたｎフレーム目の画像を示しており、図２０（ｂ）はＬＥＤ４が弱発光モード（第２光強度）で発光された際に取得されたｎ＋１フレーム目の画像を示しており、図２０（ｃ）はＬＥＤ４が強発光モードで発光された際に取得されたｎ＋２フレーム目の画像を示している。
【００６２】
なお、図２０（ａ）および図２０（ｃ）において、左上部に横長長方形で示すのは、点滅照明（蛍光灯や粗悪なＬＥＤ電球等）が点灯した際の光が外乱として写り込んでいることを示しており、図２０（ｂ）では当該点滅照明が消灯しているため、そのような外乱が写り込んでいないことを示している。画像中央部に略手の形状で示すのは、検出対象物体としてのユーザーの手７ａに係る画像であり、図２０（ａ）ではＬＥＤ４が消灯されているため殆ど移っておらず、図２０（ｂ）ではＬＥＤ４が弱発光モードで発光されているため灰色（５０％の光強度）で写り込んでおり、図２０（ｃ）ではＬＥＤ４が強発光モードで発光されているため白色（５０％の光強度）で写り込んでいる状態が示されている。
【００６３】
上述した第２の物体検出処理では、３つのフレームに係る画像間で輝度変化の大小関係で画素を抽出し、対象物体の検出を行うようにしたが、この第３の物体検出処理では、ＬＥＤ４の発光強度の変化率（例えば、ここでは増加量に対する比率）で抽出する画素を選択するようにしている。
【００６４】
まず、図２０（ａ）のｎフレーム目取得画像と、図２０（ｂ）のｎ＋１フレーム目取得画像とで差分を取って、発光強度の増加量にあった比率で画像の輝度が上がった箇所だけを取得する。この中にも含まれるノイズ（例えば、点滅した照明光）を消すために、さらにｎ＋２フレーム目取得画像で差分を取る。このときも同様に発光強度の増加量にあった比率で明るくなった画素を抽出することで、対象物体だけを抽出することができる。このような処理とすることにより、物体の検出精度をさらに高めることができる。
【００６５】
なお、上述した第１〜第３の物体検出処理を、点滅光源等による外乱の性質に応じて、選択的に実施できるようにするとよい。例えば、カメラ３の視野内に存在する照明（点滅光源等）の特性を検出する照明特性検出部として、輝度センサを設けて、点滅光源の点滅の周波数を検出し、検出した周波数に基づいて、第１〜第３の物体検出処理のうち最適なものを自動的に選択して、実行するようにしてもよい。このような輝度センサに代えて、カメラ３で撮像した画像から視野内に存在する照明（点滅光源等）の特性を検出するようにしてもよい。
【００６６】
上述した実施形態では、画像表示装置としてデジタルフォトフレームを用いる場合について説明した。しかしながら、モーション検出用のカメラとディスプレイとを備え、画像再生機能を有する他の機器、例えば、パーソナルコンピュータ、タブレット型コンピュータ、デジタルカメラ、携帯電話、ＰＤＡ、デジタルテレビジョン受像機などにも本発明を適用することができる。
【００６７】
なお、以上説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。
【符号の説明】
【００６８】
１…デジタルフォトフレーム、２…ディスプレイ、２ａ…表示画面、３…カメラ、４…ＬＥＤ、５…スタンド、６…テーブル、６ａ…設置面、７…ユーザー、７ａ…手、８…カメラ支持部材、８ａ…回転軸、８ｂ…当接面、９…台座、９ａ…回転軸、１１…制御装置、Ａ…カメラの光軸、Ｂ…表示画面の中心を通る法線、Ｃ…ＬＥＤの光軸、Ｄ…設置面の法線。

【特許請求の範囲】
【請求項１】
所定のフレームレートで逐次撮影し、撮影画像を取得する撮影部と、
前記撮影部で撮影する際の照明光を発光する照明部と、
前記照明部が第１光強度と前記第１光強度よりも小さい第２光強度とで選択的に発光するように切換制御する制御部とを備えることを特徴とする物体検出装置。
【請求項２】
前記照明部は赤外光を発光することを特徴とする請求項１に記載の物体検出装置
【請求項３】
前記制御部は、前記切換制御を前記フレームレートに同期して行うことを特徴とする請求項１又は２に記載の物体検出装置。
【請求項４】
前記撮影部で撮影された撮影画像の変化を検出する検出部をさらに備え、
前記検出部は、前記照明部を前記第１光強度で照明させて前記撮影部により撮影した撮影画像と前記照明部を前記第２光強度で照明させて前記撮影部により撮影した撮影画像との差分に基づいて、撮影画像の変化を検出することを特徴とする請求項１〜３の何れか一項に記載の物体検出装置。
【請求項５】
前記撮影部で撮影された撮影画像の変化を検出する検出部をさらに備え、
前記検出部は、前記照明部を前記第１光強度で照明させて前記撮影部により撮影した撮影画像と前記照明部を前記第２光強度で照明させて前記撮影部により撮影した撮影画像との差分、及び前記第１光強度と前記第２光強度との比率に基づいて、前記撮影画像の変化を検出することを特徴とする請求項１〜３の何れか一項に記載の物体検出装置。
【請求項６】
前記制御部は、前記照明部が前記第１光強度、前記第２光強度、及び前記第２光強度よりも小さい第３光強度で選択的に発光するように、前記第１光強度、前記第２光強度、前記第３光強度の順に、又は前記第３光強度、前記第２光強度、前記第１光強度の順に順次に切換制御することを特徴とする請求項１〜３の何れか一項に記載の物体検出装置。
【請求項７】
前記第３光強度は光強度零であることを特徴とする請求項６に記載の物体検出装置。
【請求項８】
前記撮影部で撮影された撮影画像の変化を検出する検出部をさらに備え、
前記検出部は、前記照明部を前記第１光強度で照明させて前記撮影部により撮影した撮影画像、前記照明部を前記第２光強度で照明させて前記撮影部により撮影した撮影画像、及び前記照明部を前記第３光強度で照明させて前記撮影部により撮影した撮影画像内において、前記第１光強度、前記第２光強度、及び前記第３光強度の変化と同様に変化した部分を、前記撮影画像の変化として検出することを特徴とする請求項６又は７に記載の物体検出装置。
【請求項９】
前記撮影部で撮影された撮影画像の変化を検出する変化検出部と、
前記カメラの視野内に存在する照明の特性を検出する照明特性検出部とをさらに備え、
前記変化検出部は、
前記照明部を前記第１光強度で照明させて前記撮影部により撮影した撮影画像と前記照明部を前記第２光強度で照明させて前記撮影部により撮影した撮影画像との差分に基づいて、前記撮影画像の変化を検出する第１モード、
前記照明部を前記第１光強度で照明させて前記撮影部により撮影した撮影画像と前記照明部を前記第２光強度で照明させて前記撮影部により撮影した撮影画像との差分、及び前記第１光強度と前記第２光強度との比率に基づいて、前記撮影画像の変化を検出する第２モード、及び
前記照明部を前記第１光強度で照明させて前記撮影部により撮影した撮影画像、前記照明部を前記第２光強度で照明させて前記撮影部により撮影した撮影画像、及び前記照明部を前記第３光強度で照明させて前記撮影部により撮影した撮影画像内において、前記第１光強度、前記第２光強度、及び前記第３光強度の変化と同様に変化した部分を、前記撮影画像の変化として検出する第３モードのうちの何れかを選択的に実行し、
前記制御部は、前記照明特性検出部による検出結果に基づいて、前記変化検出部が実行すべきモードを決定することを特徴とする請求項６又は７に記載の物体検出装置。
【請求項１０】
表示画面を有するディスプレイと、
請求項１〜９の何れか一項に記載の物体検出装置とを備えることを特徴とする画像表示装置。
【請求項１１】
前記撮影部は、光軸と前記表示画面の法線とが前記表示画面の前面側において斜交するように前記表示画面の外側に配置されることを特徴とする請求項１０に記載の画像表示装置。
【請求項１２】
前記照明部は、照明光の光線と前記表示画面の法線とが前記表示画面の前面側において斜交するように前記表示画面の外側に配置されることを特徴とする請求項１０又は１１に記載の画像表示装置。
【請求項１３】
請求項１０〜１２の何れか一項に記載の画像表示装置を備えることを特徴とするデジタルフォトフレーム。

【図１】