撮像制御装置、テンプレート取得装置、及びプログラム
【課題】環境光を精度良く推定できる撮像制御装置及びプログラムを提供する。また、視点検出における成功率の個人差を少なくすることができるテンプレート取得装置及びプログラムを提供する。
【解決手段】制御装置７０は、被写体を撮像する撮像部２０の、奇数フィールドの撮像において光源１０を発光させる。ＣＰＵ７１は、被写体に対する太陽光の方向を照明環境検知装置６０の測定値に基づいて特定し、特定した太陽光の方向に基づき、光源１０の発光時間を制御する。また、制御装置７０のＣＰＵ７１は、被写体である人物に対して、スピーカ５０により複数回所定の指示を行い、指示ごとに撮像部２０に撮像させ、撮像回数分の被写体画像を取得し、これらを比較することで、被写体画像における人物の特徴領域を検知し、特徴領域画像を取得する。ＣＰＵ７１は、特徴領域画像をテンプレートとして記憶手段に記憶させる。
【解決手段】制御装置７０は、被写体を撮像する撮像部２０の、奇数フィールドの撮像において光源１０を発光させる。ＣＰＵ７１は、被写体に対する太陽光の方向を照明環境検知装置６０の測定値に基づいて特定し、特定した太陽光の方向に基づき、光源１０の発光時間を制御する。また、制御装置７０のＣＰＵ７１は、被写体である人物に対して、スピーカ５０により複数回所定の指示を行い、指示ごとに撮像部２０に撮像させ、撮像回数分の被写体画像を取得し、これらを比較することで、被写体画像における人物の特徴領域を検知し、特徴領域画像を取得する。ＣＰＵ７１は、特徴領域画像をテンプレートとして記憶手段に記憶させる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像制御装置、テンプレート取得装置、及びプログラムに関する。
【背景技術】
【０００２】
車両等の移動体に搭載された所定の装置により、ユーザ（主に、運転者）の視点を検出するための画像処理技術が知られている。
【０００３】
特許文献１には、車両のインストパネル上面に設けられた日射センサ（ライトセンサ）から情報を取得し、この情報等に基づいて外光強度を算出し、カメラ照明の出力を演算する技術が開示されている。
【０００４】
特許文献２には、撮像装置で撮像した画像に対して標準的なテンプレートと相関演算を行うことによってユーザの目の位置を検出する技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−９６３２３号公報
【特許文献２】特開平０６−２５５３８８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１に開示された技術では、日射センサのみが電柱等の影に隠れてしまうと、撮像対象のユーザには太陽光等の外光が照射されているにもかかわらず、影に隠れて暗くなった日射センサからのデータを基に外光強度を算出してしまうので、車両等の内部の環境光を正確に判別することができなかった。
【０００７】
また、特許文献２に開示された技術では、標準的なテンプレートに基づいて様々なユーザの目の位置を検出しているため、視点検出の成功率に個人差があるという問題があった。
【０００８】
本発明は上記実状に鑑みてなされたものであり、その第１の目的は、環境光を精度良く推定できる撮像制御装置及びプログラムを提供することにある。また、本発明の第２の目的は、視点検出における成功率の個人差を少なくすることができるテンプレート取得装置及びプログラムを提供することにある。
【課題を解決するための手段】
【０００９】
上記第１の目的を達成するため、本発明の第１の観点に係る撮像制御装置は、
被写体の撮像を複数フィールドの撮像に分けて行う撮像部と前記撮像部が撮像する前記被写体に光を照射する光源とを制御し、前記複数フィールドの撮像のうちの所定の一部のフィールドの撮像においてのみ前記光源を発光させる撮像制御装置であって、
所定の測定装置によって測定した測定値に基づいて、前記被写体に対する太陽光の方向を特定する方向特定手段と、
前記方向特定手段が特定した前記太陽光の方向に基づいて、前記光源の発光時間を制御する制御手段と、を備える。
【００１０】
上記第１の目的を達成するため、本発明の第２の観点に係るプログラムは、
コンピュータに、
被写体の撮像を複数フィールドの撮像に分けて行う撮像部と前記撮像部が撮像する前記被写体に光を照射する光源とを制御し、前記複数フィールドの撮像のうちの所定の一部のフィールドの撮像においてのみ前記光源を発光させる処理を実行させるプログラムであって、
所定の測定装置によって測定した測定値に基づいて、前記被写体に対する太陽光の方向を特定する処理と、
特定した前記太陽光の方向に基づいて、前記光源の発光時間を制御する処理と、
を実行させる。
【００１１】
上記第２の目的を達成するため、本発明の第３の観点に係るテンプレート取得装置は、
被写体である人物に対して、複数回、所定の指示を行う指示手段と、
前記所定の指示ごとに撮像部に前記被写体を撮像させる撮像制御手段と、
前記被写体を撮像した前記撮像部から、撮像回数分の被写体画像を取得する被写体画像取得手段と、
取得した前記撮像回数分の被写体画像を比較することによって、被写体画像における人物の特徴領域を検知し、検知した特徴領域を示す特徴領域画像を取得する特徴領域画像取得手段と、
前記特徴領域画像取得手段が取得した前記特徴領域画像を前記人物の視点を検出する処理におけるパタンマッチング用のテンプレートとして記憶手段に記憶させる記憶制御手段と、を備える。
【００１２】
上記第２の目的を達成するため、本発明の第４の観点に係るプログラムは、
コンピュータに、
被写体である人物に対して、複数回、所定の指示を行う処理と、
前記所定の指示ごとに撮像部に前記被写体を撮像させる処理と、
前記被写体を撮像した前記撮像部から、撮像回数分の被写体画像を取得する処理と、
取得した前記撮像回数分の被写体画像を比較することによって、被写体画像における人物の特徴領域を検知し、検知した特徴領域を示す特徴領域画像を取得する処理と、
取得した前記特徴領域画像を前記人物の視点を検出する処理におけるパタンマッチング用のテンプレートとして記憶手段に記憶させる処理と、
を実行させる。
【発明の効果】
【００１３】
本発明の第１の観点に係る撮像制御装置及び本発明の第２の観点に係るプログラムによれば、環境光を精度良く推定できる。また、本発明の第３の観点に係るテンプレート取得装置及び本発明の第４の観点に係るプログラムによれば、視点検出における成功率の個人差を少なくすることができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の一実施形態に係る視点検出システムの概略構成を示すブロック図である。
【図２】制御装置の機能を説明するためのブロック図である。
【図３】フレームの構成を説明するための図である。
【図４】太陽高度・太陽方位特定テーブルを説明するための図である。
【図５】（ａ）は、太陽光強度特定テーブルを説明するための図であり、（ｂ）は、太陽方位係数特定テーブルを説明するための図であり、（ｃ）は、測定環境光強度特定テーブルを説明するための図である。
【図６】（ａ）は、点灯時間決定テーブルを説明するための図であり、（ｂ）は、シャッター時間決定テーブルを説明するための図である。
【図７】（ａ）〜（ｃ）は、光源制御処理において、光源制御信号の送信タイミングを説明するためのタイミングチャートである。
【図８】光源制御処理のフローチャートである。
【図９】被写体検出処理のフローチャートである。
【図１０】フレーム画像の一例を示した図である。
【図１１】（ａ）は、奇数フィールド画像の一例を示した図であり、（ｂ）は、偶数フィールド画像の一例を示した図である。
【図１２】（ａ）は、第１補間フレーム画像の一例を示した図であり、（ｂ）は、第２補間フレーム画像の一例を示した図である。
【図１３】被写体検出画像の一例を示した図である。
【図１４】（ａ）及び（ｂ）は、ある人物を被写体として、被写体検出処理を実行した場合に、どのような被写体検出画像が得られるかを説明するための図である。
【図１５】被写体検出処理における視点検出処理を説明するための概念図である。
【図１６】テンプレート取得処理のフローチャートである。
【図１７】（ａ）〜（ｄ）は、ある人物を被写体として、テンプレート取得処理を実行した場合の具体例を説明するための図である。
【発明を実施するための形態】
【００１５】
以下に本発明の一実施形態を、図１〜図１７を参照して説明する。
【００１６】
本実施形態に係る視点検出システム１は、図１に示すように、光源１０と、撮像部２０と、表示装置３０と、入力装置４０と、スピーカ５０と、照明環境検知装置６０と、制御装置７０と、を備える。
このような構成からなる視点検出システム１においては、まず、制御装置７０が、照明環境検知装置６０からの取得した各種情報に基づき、光源１０の点灯時間（発光時間）と撮像部２０のシャッター時間（シャッターが開いている時間）とを決定する。次に、制御装置７０は、決定したシャッター時間で、撮像部２０に被写体２（図２参照）を撮像させるとともに、決定した点灯時間で光源１０を点灯させる。そして、撮像画像における被写体２が写っている領域（以下、「被写体領域」という）を検出し、所定の被写体検出処理を実行し、被写体２の視点を検出する。
以下、視点検出システム１が備える各構成要素を詳細に説明する。
【００１７】
光源１０は、被写体２に光を照射するものである。光源１０は、例えば、赤外線光源であり、制御装置７０から出力される光源制御信号に基づいて点灯・消灯する。
【００１８】
撮像部２０は、被写体２を撮像するものである。撮像部２０は、例えば、レンズと、ＣＣＤ（Charged Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）、シャッター等の周知の固体撮像素子とを含むビデオカメラである。撮像部２０は、シャッターが開いているときにレンズを用いて固体撮像素子の受光面に被写体２の像を結像させ、結像させた像の光の強弱を電気信号に変換し、その電気信号に基づく画像信号を含むビデオ信号を制御装置７０に出力する。
【００１９】
撮像部２０の固体撮像素子の受光面に、例えば図３に示すような２Ｍ行Ｎ列の画素から成る画像（フレーム）Ａが結像された場合について説明する。この場合、固体撮像素子を構成するマトリックス状に配置されたフォトダイオード（前記の各画素に対応して配置されている。）は、シャッターが開いているときに受光した光量に応じた電荷を生成する。そして、撮像部２０は、シャッターが閉じたあとに、同期信号発生回路（図示せず）により出力される垂直同期信号及び水平同期信号に同期して、フレームＡを構成する各ラインのフォトダイオードの電荷を電気信号として読み取る。
【００２０】
ここで、図３に示すように、ラインを上から順に数えたときの番号をライン番号という（つまり、２Ｍ行Ｎ列のフレームにおいて、ライン番号１は１行目を示し、ライン番号２Ｍは２Ｍ行目を示す）。また、フレームＡを構成する各ラインの電荷のうち、ライン番号が奇数のラインから構成されるライン群を「奇数フィールド」といい、ライン番号が偶数のラインから構成されるライン群を「偶数フィールド」という。撮像部２０は、１フレームの画像の撮像において、奇数フィールドの撮像と、偶数フィールドの撮像とを行う。撮像部２０は、各撮像において、シャッターを開閉し、受光素子に電荷を貯めさせる。撮像部２０は、フォトダイオードの電荷を読み取る際に、奇数フィールドの撮像では、奇数フィールドの各電荷を読み取り、偶数フィールドの撮像では、偶数フィールドの各電荷を読み取る。撮像２０は、このような読み取りを、水平同期信号に同期して行う。奇数フィールドの各ラインと、奇数フィールドの各ラインとは、それぞれ交互に配置されている。
【００２１】
具体的には、ｉ）フレームＡにおいて、撮像部２０は、垂直同期信号に同期して、ライン番号が奇数のラインの電荷の読み取りを開始する。すなわち、撮像部２０は、ライン番号１，３，…，２Ｍ−１の順で水平同期信号に同期して各ラインの電荷を読み取る。このようにして、撮像部２０は、奇数フィールドを表す電荷を読み取ることになる。ｉｉ）その後、撮像部２０は、垂直同期信号に同期して、ライン番号が偶数のラインの電荷の読み取りを開始する。すなわち、撮像部２０は、ライン番号２，４，…，２Ｍの順で水平同期信号に同期して各ラインの電荷を読み取る。このようにして、撮像部２０は、偶数フィールドを表す電荷を読み取ることになる。つまり、撮像部２０は、被写体２の撮像を偶数フィールドと奇数フィールドの撮像に分けて行う。
【００２２】
このような１つのフレームを構成する奇数フィールドと偶数フィールドを表す電荷の読み取りは、それぞれ例えば１／６０秒の間隔で行われるため、１つのフレームを表す電荷の読み取りは、１／３０秒間隔で行われる。すなわち、撮像部２０は、１秒間に３０フレームの画像を撮影する。そして、撮像部２０は、読み取った電荷が表す電気信号である画像信号と、垂直同期信号と、水平同期信号とを重畳したビデオ信号を、制御装置７０に出力する。
【００２３】
図１に戻って、表示装置３０は、制御装置７０が出力する被写体検出画像（被写体検出画像については後述する）を表示するものであり、例えばＬＣＤ（Liquid Crystal Display）から構成される。
【００２４】
入力装置４０は、ユーザの所定の入力操作を受け付けるものであり、例えばユーザの数値入力を受け付けるキーボード、マウス、タッチパネルから構成される。入力装置４０に入力されたデータは、制御装置７０に出力される。
【００２５】
スピーカ５０は、後述のテンプレート取得処理において、ユーザに所定の指示を行うためのものである。スピーカ５０は、制御装置７０の制御の下、鳴動し、所定の音声を発生させる。
【００２６】
照明環境検知装置６０は、被写体２の周囲の推定環境光の強度（以下、「推定環境光強度」という。）を算出するため、現在の日時、緯度・経度等の種々の値を測定し、これら測定値に基づくデータを制御装置７０に供給するためのものである。推定環境光強度の算出については、後に詳細に述べる。例えば、視点検出システム１が車両に搭載されている場合、この照明環境検知装置６０は、運転席付近の推定環境光強度を算出するための種々のデータを制御装置７０に供給する。照明環境検知装置６０は、時計６１と、ＧＰＳ（Global Positioning System）受信機６２と、方位センサ６３と、ライトセンサ６４と、を備える。
【００２７】
時計６１は、制御装置７０に、現在の日付及び時刻を示すデータ（以下、「日時データ」という。）を供給するためのものである。時計６１は、例えば電波時計であり、内蔵された受信機（図示せず）により、所定の送信所から電波を受信する。そして、電波信号を読み取り、現在の時刻を表示する。また、時計６１は、日時データを制御装置７０に供給する。
【００２８】
ＧＰＳ受信機６２は、ＧＰＳ衛星からの信号を受信し、現在の自機の位置（緯度・経度）を示すデータ（以下、「位置データ」という。）を、制御装置７０に供給する。例えば、視点検出システム１が車両に搭載されている場合、ＧＰＳ受信機６２、撮像部２０は車両内に位置し、また、撮像部２０の撮像対象である被写体２は運転者等の搭乗者であるため、この位置データは、撮像装置２０（または、その撮像対象である被写体２）の緯度・経度を略示する。
【００２９】
方位センサ６３は、撮像部２０が含む撮像素子の受光面がどの方位に向いているか（つまり、撮像部２０の向く方位）を検知するものである。方位センサ６３は、例えば撮像部２０の所定の位置に搭載され、撮像部２０の向く方位を示すデータ（以下、「方位データ」という。）を制御装置７０に供給する。
【００３０】
なお、時計６１、ＧＰＳ受信機６２、及び方位センサ６３は、請求項における測定装置を構成する。また、日時データとして、ＧＰＳ受信機６２がＧＰＳ衛生から受信した日時情報を用いてもよい。また、方位データとして、例えば視点検出システム１が車両等の移動体に搭載されている場合には、移動体の移動に伴って算出できる方位情報を利用してもよい。
【００３１】
ライトセンサ６４は、受光した光の強度を検知（測定）するものである。例えば、視点検出システム１が車両に搭載されている場合、このライトセンサ６４は、ルームミラーの背面部に設けられ、フロントガラスから入射する外光の強度を検知する。ライトセンサ６４は、このようにして受光を検知し、光検知信号を制御装置７０に供給する。
【００３２】
照明環境検知装置６０のうち、時計６１、ＧＰＳ受信機６２、及び方位センサ６３は、被写体２に対する太陽光の方向に関する情報を数値化するために設けられるものである（どのように数値化するかについては、後に詳細に述べる）。受光した光の強度を直接検知するライトセンサ６４に加えて、これらの、被写体２に対する太陽光の方向に関する情報を数値化するための装置を設けた理由は、例えば、視点検出システム１を車両等の移動体に搭載した場合、ライトセンサ６４が影に隠れ、被写体２が外光により照光されるときや、反対に、被写体２が影に隠れ、ライトセンサ６４が外光により照光されるときには、ライトセンサ６４だけでは、撮像対象である被写体２近傍の照明環境を正確に検知することができないためである。
【００３３】
照明環境検知装置６０を以上のように構成することで、ライトセンサ６４が影に隠れ、被写体２が外光により照光されるときや、反対に、被写体２が影に隠れ、ライトセンサ６４が外光により照光されるときであっても、時計６１、ＧＰＳ受信機６２、方位センサ６３から供給された「日時データ」、「位置データ」、「方位データ」に基づいて算出した太陽光強度等と、ライトセンサ６４からの「光検出信号」に基づいて算出した測定環境光強度とから推定環境光強度を導出することで、被写体２近傍の照明環境を正確に検知することができる。なお、太陽光強度等、測定環境光強度、推定環境光強度の算出については、後の光源制御処理において詳細に述べる。
【００３４】
制御装置７０は、例えばマイクロコンピュータから構成され、ＣＰＵ（Central Processing Unit）７１と、ＲＯＭ（Read-Only Memory)７２と、汎用メモリ７３と、ビデオメモリ７４と、同期分離回路７５と、フィールド識別回路７６と、外部デバイスインターフェイス（Ｉ／Ｆ）７７と、を備える。なお、制御装置７０は、請求項における撮像制御装置、テンプレート取得装置を構成する。
【００３５】
ＣＰＵ７１は、ＲＯＭ７２内に予め記憶された、後述する光源制御処理、被写体検出処理、テンプレート取得処理等を実行するための所定プログラムを読み出し、実行する。そして、ＣＰＵ７１は、ｉ）照明環境検知装置６０から取得した、日時データ、位置データ、方位データ、及び光検出信号、ｉｉ）撮像部２０から取得したビデオ信号、ｉｉｉ）処理後の演算結果、画像データ等、を汎用メモリ７３に一時的に記憶させる。また、ＣＰＵ７１は、汎用メモリ７３に記憶された出力画像データをビデオメモリ７４に転送し、転送した出力画像データに基づいて表示装置３０に出力画像データが表す画像を出力する。また、ＣＰＵ７１は、図示しないタイマに、適宜、計時をさせる。
【００３６】
なお、ＣＰＵ７１は、後述する光源制御処理、被写体検出処理を実行して、請求項における方向特定手段、制御手段として機能する。また、ＣＰＵ７１は、後述するテンプレート取得処理を実行し、請求項における撮像制御手段、被写体画像取得手段、特徴領域画像取得手段、記憶制御手段として機能する。また、ＣＰＵ７１は、スピーカ５０を鳴動させ、所定の音声を発生させることで請求項における指示手段として機能する。
【００３７】
ＲＯＭ７２には、各種データ、前記所定プログラムの他、後述する光源制御処理及び被写体検出処理において参照される、太陽高度・太陽方位特定テーブルＴ１（図４）、太陽光強度特定テーブルＴ２（図５（ａ））、太陽方位係数特定テーブルＴ３（図５（ｂ））、測定環境光強度特定テーブルＴ４（図５（ｃ））、点灯時間決定テーブルＴ５（図６（ａ））、シャッター時間決定テーブルＴ６（図６（ｂ））等が予め格納されている。これらの各種テーブルは、光源１０を点灯する時間（以下、「点灯時間Ｔ」という）、撮像部２０のシャッター時間を求めるために参照されるテーブルである。以下、各種テーブルについて詳細に説明する。
【００３８】
図４に示す、太陽高度・太陽方位特定テーブルＴ１は、照明環境検知装置６０から制御装置７０に供給される、位置データ及び日時データから、「太陽高度」及び「太陽方位」を算出するためのテーブルである。「太陽高度」は、水平線を０°とした太陽の仰角である。「太陽方位」は、北を０°、東を９０°、南を１８０°、西を２７０°としたときの太陽の方位角である。太陽高度・太陽方位特定テーブルＴ１は、「緯度・経度」、「日付」、「時刻」各々の複数の設定値と、これら設定値の組み合わせに対応して定まる「太陽高度」及び「太陽方位」を予め表した格納データである。ＣＰＵ７１は、この太陽高度・太陽方位特定テーブルＴ１を参照して、ＧＰＳ受信機６２から取得した位置データが示す「緯度・経度」と、時計６１から取得した日時データが示す「日付」及び「時刻」とに対応した「太陽高度」と「太陽方位」を特定する。例えば、図示するように、「緯度・経度」が“北緯３７度２６分・東経１３８度５０分”、「日付」が“１月”、「時刻」が“１２：００〜１３：００”であった場合、「太陽高度」は“３２”、「太陽方位」は“１９１”と特定される。
【００３９】
図５（ａ）に示す、太陽光強度特定テーブルＴ２は、「太陽高度」から「太陽光強度」を算出するためのテーブルである。「太陽強度」は、被写体に到達する太陽光の明るさ（照度）を推定した推定値である。太陽光強度特定テーブルＴ２は、「太陽高度」の複数の設定値と、これらの複数の設定値に対応して定まる「太陽港強度」を予め表した格納データである。ＣＰＵ７１は、この太陽光強度特定テーブルＴ２を参照して、太陽高度・太陽方位特定テーブルＴ１に基づいて特定した「太陽高度」に対応した「太陽光強度」を特定する。例えば、図示するように、「太陽高度」が“５°〜１０°”であった場合、「太陽光強度」は“０．１３１”と特定される。
なお、図５（ａ）に示す太陽光強度特定テーブルＴ２は、太陽高度の値が増加するに従って、太陽光強度も増加するように構成されているが、これに限られない。例えば、太陽高度が０°〜４５°の範囲では、太陽光強度は太陽高度の増加に従って増加し、太陽高度が４５〜９０°の範囲では、太陽光強度は太陽高度の増加に従って減少するように太陽強度特定テーブルを構成してもよい。このように構成する場合として、例えば、視点検出システム１が車両に搭載され、太陽光を遮る車体の影響（車両の天井等）を考慮した場合が考えられる。
【００４０】
図５（ｂ）に示す、太陽方位係数特定テーブルＴ３は、「太陽方位との角度」から「太陽方位係数」を算出するためのテーブルである。ここで、「太陽方位との角度」とは、ＣＰＵ７１が、太陽高度・太陽方位特定テーブルＴ１を参照して算出した「太陽方位」と、方位センサ６３から取得した方位データが示す「撮像部２０の向く方位」との差をとることで、算出される値である。このように算出される「太陽方位との角度」は、撮像部２０の向く方位を基準とした場合における、その基準方位から太陽の位置までの方位角を示し、これにより、撮像部２０に対して太陽光の入射方位（つまり、撮像部２０が撮像しようとしている被写体に対する太陽光の入射方位）を特定することができる。そして、「太陽方位係数」とは、その入射方位の影響を考慮して、太陽光の強度を係数化したものである。太陽方位係数特定テーブルＴ３は、「太陽方位との角度」の複数の設定値と、これら複数の設定値に対応して定まる「太陽方位係数」を予め表した格納データである。ＣＰＵ７１は、この太陽方位係数特定テーブルＴ３を参照して、上記のように算出した「太陽方位との角度」に対応した「太陽方位係数」を特定する。例えば、図示するように、「太陽方位との角度」が“５°〜１０°”であった場合、「太陽方位係数」は“０．９９１”と特定される。
なお、太陽方位係数特定テーブルＴ３は、図示してないが、例えば、太陽方位との角度が１８０°の値を太陽方位係数が最小の値となるように構成されている。
【００４１】
図５（ｃ）に示す、測定環境光強度特定テーブルＴ４は、ライトセンサ６４からの光検出信号の出力（以下、「ライトセンサ出力」という）から「測定環境光強度」を算出するためのテーブルである。「測定環境光強度」は、被写体を照らしている環境光（つまり太陽光）の明るさ（照度）を推定した値である。測定環境光強度特定テーブルＴ４は、「ライトセンサ出力」の複数の設定値と、これら複数の設定値に対応して定まる「測定環境光強度」を予め表した格納データである。ＣＰＵ７１は、この測定環境光強度特定テーブルＴ４を参照して、「ライトセンサ出力」に対応した「測定環境光強度」を特定する。例えば、図示するように、「ライトセンサ出力」が“５〜１０”であった場合、「測定環境光強度」は、“０．９９１”と算出される。
【００４２】
図６（ａ）に示す、点灯時間決定テーブルＴ５は、推定環境光強度から光源１０の点灯時間Ｔを決定するためのテーブルであり、図６（ｂ）に示す、シャッター時間決定テーブルＴ６は、推定環境光強度から撮像部２０のシャッター時間を決定するためのテーブルである。
【００４３】
ここで、推定環境光強度とは、太陽光強度、太陽方位係数、測定環境光強度に基づいて、次の（式１）又は（式２）により算出される値である。
【００４４】
θ０を予め定められた任意の閾値として、
［測定環境光強度］＞θ０ならば、
［推定環境光強度］＝［太陽方位係数］×［太陽光強度］・・・（式１）
一方、
［測定環境光強度］≦θ０ならば、
［推定環境光強度］＝０・・・（式２）
【００４５】
例えば、閾値θ０を０．３と予め設定していた場合に、ＣＰＵ７１が、「太陽光強度」を０．１３１、太陽方位係数を０．９９１、測定環境光強度を０．９９１と各々算出したとすると、この場合、測定環境光強度の値は、０．９９１と、閾値θ０＝０．３の値よりも大きいので、（式１）により、推定環境光強度は、０．９９１×０．１３１で求められ、約０．１３０となる。推定環境光強度は、被写体２を照らす光の明るさを推定したもので、例えば、推定した明るさが明るいほど大きい値をとる。
【００４６】
点灯時間決定テーブルＴ５は、「推定環境光強度」の複数の設定値と、これら複数の設定値に対応して定まる「点灯時間Ｔ」を予め表した格納データである。ＣＰＵ７１は、この点灯時間決定テーブルＴ５を参照して、上記（式１）又は（式２）により算出した「推定環境光強度」に対応した「点灯時間Ｔ」を決定する。例えば、図示するように、「推定環境光強度」が“０．０１〜０．０２”であった場合、「点灯時間Ｔ」は、“１／１００ｍｓ”と決定される。
【００４７】
シャッター時間決定テーブルＴ６は、「推定環境光強度」の複数の設定値と、これら複数の設定値に対応して定まる「シャッター時間」を予め表した格納データである。ＣＰＵ７１は、このシャッター時間決定テーブルＴ６を参照して、上記（式１）又は（式２）により算出した「推定環境光強度」に対応した「シャッター時間」を決定する。例えば、図示するように、「推定環境光強度」が“０．０１〜０．０２”であった場合、「シャッター時間」は、“１／１０ｓ”と決定される。ＣＰＵ７１は、このようにしてシャッター時間を決定すると、撮像部２０に、そのシャッター時間で、奇数フィールドの撮像と偶数フィールドの撮像とを交互に行わせる。加えて、ＣＰＵ７１は、後述の光源制御処理を実行することによって、撮像部２０が行う奇数フィールドの撮像においてのみ、光源１０を点灯させる。
【００４８】
つまり、上記各種テーブルのうち、テーブルＴ１〜Ｔ４は、照明環境検知装置６０からの各種情報に基づいて、上記（式１）又は（式２）により、推定環境光強度を算出するための各種パラメータを求めるためのテーブルである。また、点灯時間決定テーブルＴ５は、算出された推定環境光強度から点灯時間Ｔを決定するためのテーブルであり、シャッター時間決定テーブルＴ６は、算出された推定環境光強度からシャッター時間を決定するためのテーブルである。
【００４９】
図１に戻って、同期分離回路７５は、撮像部２０からのビデオ信号を、画像信号と、垂直同期信号と、水平信号とに分離する回路である。
【００５０】
フィールド識別回路７６は、同期分離回路７５により分離された、垂直同期信号及び水平同期信号から、ビデオ信号に含まれる画像信号が奇数フィールドと偶数フィールドのいずれであるかを示すフィールド識別信号を生成する。フィールド識別信号は、一例として、図７（ｂ）に示すように構成され、このようなフィールド識別信号に基づいて、ＣＰＵ７１は、撮像部２０から取得した画像信号が、奇数フィールドが、偶数フィールドかを判別することができる。
【００５１】
外部デバイスＩ／Ｆ７７は、光源１０、撮像部２０、表示装置３０、入力装置４０、スピーカ５０、照明環境検知装置６０の各々と、制御装置７０の各部とを接続するものである。
【００５２】
（光源制御処理）
制御装置７０のＣＰＵ７１が実行する光源制御処理を、図８等を参照して説明する。この処理は、例えば制御装置７０の起動を条件に開始される。
【００５３】
ＣＰＵ７１は、光源制御処理を開始すると、まず、照明環境検知装置６０から、日時データ、位置データ、方位データ、光検知信号からなる各種情報を取得する（ステップＳ１０１）。
【００５４】
次に、ＣＰＵ７１は、ステップＳ１０１で取得した各種情報に基づいて光源１０を点灯させる期間（以下、「点灯時間Ｔ」という）を決定する（ステップＳ１０２）。
【００５５】
具体的には、ＣＰＵ７１は、以下の手順により、点灯時間Ｔを決定する。
１）ＣＰＵ７１は、まず、ＧＰＳ受信機６２から取得した位置データに基づき「緯度・経度」を決定し、時計６１から取得した日時データに基づき「日付」及び「時刻」を決定する。そして、ＣＰＵ７１は、太陽高度、太陽方位特定テーブルＴ１を参照して、「太陽高度」「太陽方位」を算出する。
２）次に、ＣＰＵ７１は、太陽光強度特定テーブルＴ２を参照して、上記１）で、算出した「太陽高度」から「太陽光強度」を算出する。
３）また、ＣＰＵ７１は、上記１）で、算出した「太陽方位」と、方位センサ６３から取得した方位データが示す「撮像部２０の方位」との差をとり、「太陽方位との角度」を算出する。そして、ＣＰＵ７１は、太陽方位係数特定テーブルＴ３を参照して、「太陽方位係数」を算出する。
４）また、ＣＰＵ７１は、ライトセンサ出力を特定し、測定環境光特定テーブルＴ４を参照して、「測定環境光強度」を算出する。
５）そして、ＣＰＵ７１は、上記２）で得られた「太陽光強度」と、上記３）で得られた「太陽方位係数」から、上記（式１）又は（式２）により、「推定環境光強度」を算出する。
６）そして、ＣＰＵ７１は、推定環境光強度特定テーブルＴ５を参照して、上記５）で算出した「推定環境光強度」に対応する「点灯時間Ｔ」を決定する。また、ＣＰＵ７１は、決定した点灯時間Ｔを一時的に汎用メモリ７３に記憶させる。ここで決定された点灯時間Ｔは、例えば、次回の処理において、新たに点灯時間Ｔが決定されるまで、記憶される。
【００５６】
続いて、ステップＳ１０３で、ＣＰＵ７１は、垂直同期信号の立ち下がり（図７（ａ）参照）を検出した否かを判別する。この垂直同期信号は、前述のように、撮像部２０からのビデオ信号を画像信号と垂直同期信号と水平信号とに分離する同期分離回路７５から出力される。ＣＰＵ７１は、垂直同期信号の立ち下がりを検出していないと判別した場合（ステップＳ１０３；Ｎｏ）、ステップＳ１０６に処理を進める。一方、ＣＰＵ７１は、垂直同期信号の立ち下がりを検出したと判別した場合（ステップＳ１０３；Ｙｅｓ）、ステップＳ１０４に処理を進める。
【００５７】
ステップＳ１０４で、ＣＰＵ７１は、フィールド識別回路７６から取得したフィールド識別信号が、奇数フィールド（図７（ｂ）参照）を示しているか否かを判別する。具体的には、ＣＰＵ７１は、フィールド識別信号の立ち上がりを検出した場合に、フィールド識別信号が奇数フィールドであると判別する。
フィールド識別信号が奇数フィールドを示していない（つまり、偶数フィールドを示している）と判別した場合（ステップＳ１０４；Ｎｏ）、ＣＰＵ７１は、ステップＳ１０３に処理を戻す。一方、フィールド識別信号が奇数フィールドを示していると判別した場合（ステップＳ１０４；Ｙｅｓ）、ＣＰＵ７１は、ステップＳ１０５に処理を進める。
【００５８】
ステップＳ１０５で、ＣＰＵ７１は、タイマ（図示せず）の時刻をｔ＝０に設定し、タイマに計時を開始させる。
【００５９】
続いて、ステップＳ１０６で、ＣＰＵ７１は、時刻ｔがＴＯＮ≦ｔ≦ＴＯＦＦを満たすか否かを判別する。ここで、ＴＯＮ及びＴＯＦＦは、撮像部２０の固体撮像素子を構成するフォトダイオードのうち、奇数フィールドに対応するフォトダイオードが受光している光量に応じた電荷を生成している時間の開始時刻及び終了時刻に対応する。また、（ＴＯＦＦ−ＴＯＮ）、即ち、点灯時間Ｔは、ステップＳ１０２における処理で決定され、汎用メモリ７３に一時的に記憶されている値である。なお、ＴＯＮは、予めＲＯＭ７２にデフォルト値として記憶されているか、ユーザにより入力装置４０を介して設定され記憶される。
【００６０】
計時時間ｔがＴＯＮ≦ｔ≦ＴＯＦＦを満たすと判別した場合（ステップＳ１０６；Ｙｅｓ）、ＣＰＵ７１は、点灯を示す光源制御信号（図７（ｃ）参照）を光源１０に出力する（ステップＳ１０７）。そして、処理をステップＳ１０１に戻す。一方、計時時間ｔがＴＯＮ≦ｔ≦ＴＯＦＦを満たさないと判別した場合（ステップＳ１０６；Ｎｏ）、ＣＰＵ７１は、消灯を示す光源制御信号を光源１０に出力する（ステップＳ１０８）。そして、処理をステップＳ１０１に戻す。
【００６１】
以上の処理からなる光源制御処理を、ＣＰＵ７１は、例えば、制御装置７０の電源がオフされるまで繰り返す。本処理により、撮像部２０が奇数フィールドを撮像しているときに光源１０を点灯させ、撮像部２０が偶数フィールドを撮像しているときに光源１０を消灯させることができる。
【００６２】
（視点検出処理）
次に、制御装置７０のＣＰＵ７１が実行する視点検出処理を、図９等を参照して説明する。この処理は、例えば制御装置７０の起動を条件に開始される。
【００６３】
ＣＰＵ７１は、被写体検出処理を開始すると、まず、前述の光源制御処理におけるステップＳ１０１の処理と同様に、照明環境検知装置６０から、日時データ、位置データ、方位データ、光検知信号からなる各種情報を取得する（ステップＳ２０１）。
【００６４】
次に、ＣＰＵ７１は、ステップＳ２０１で取得した各種情報に基づいて撮像層２０のシャッター時間を決定し、そのシャッター時間で撮像部２０に撮像させる（ステップＳ２０２）。具体的には、前述の光源制御処理におけるステップＳ１０２と、同様な手法により、推定環境光強度を算出し、シャッター時間決定テーブルＴ６（図６（ｂ））を参照して、算出した推定環境光強度に対応する「シャッター時間」を決定する。そして、決定したシャッター時間で、撮像部２０に撮像させる。
【００６５】
続いて、ステップＳ２０３で、ＣＰＵ７１は、撮像部２０が出力するビデオ信号に含まれる画像信号から、垂直同期信号に基づいて１フレーム分の画像信号が表すフレーム画像を取得する（ステップＳ２０３）。具体的には、ＣＰＵ７１は、垂直同期信号に同期して、撮像部２０から出力されたビデオ信号に含まれる画像信号から、１つの奇数フィールドの画像信号と１つの偶数フィールドの画像信号とにより構成される１フレーム分の画像信号を取得する。例えば、撮像部２０が、図２に示すような、被写体２を撮像した場合、ＣＰＵ７１が取得するフレーム画像は、図１０に示すようなフレーム画像Ｂである。撮像部２０の撮像中において、ＣＰＵ７１は、前述の光源制御処理を実行するため、フレーム画像Ｂでは、奇数フィールド中の被写体像は明るく、偶数フィールド中の被写体像は暗く表される。これは、撮像部２０に撮像される被写体２を照らす光源１０を、撮像部２０が奇数フィールドを撮像しているときに光源１０を点灯させ、撮像部２０が偶数フィールドを撮像しているときに光源１０を消灯させることができるためである。なお、図２に示す背景３は光源１０から十分離れているため、この背景３に対応するフレーム画像Ｂの背景部分は、光源１０の影響を受けていない。
【００６６】
続いて、ステップＳ２０４で、ＣＰＵ７１は、ステップＳ２０３で取得したフレーム画像を奇数フィールドと偶数フィールドとに分離して、各フィールドから構成される奇数フィールド画像と偶数フィールド画像を取得する。具体的には、例えば図１０に示すフレーム画像Ｂを取得した場合、ＣＰＵ７１は、図１１（ａ）に示す奇数フィールドの画像を表す奇数フィールド画像Ｃ１と、図１１（ｂ）に示す偶数フィールドの画像を表す偶数フィールド画像Ｃ２と、を取得する。奇数フィールド画像Ｃ１と偶数フィールド画像Ｃ２は、ともにフレーム画像Ｂの半分のライン数で構成されている。
【００６７】
続いて、ステップＳ２０５で、ＣＰＵ７１は、ステップＳ２０４で取得した奇数フィールド画像と偶数フィールド画像とから、第１補間フレーム画像、第２補間フレーム画像を取得する（ステップＳ２０５）。
【００６８】
ここで、第１フレーム画像とは、奇数フィールド画像の各ラインの間に新たにラインを補間したフレーム画像であり、第２フレーム画像とは、偶数フィールド画像の各ラインの間に新たにラインを補間したフレーム画像である。具体的には、図１１（ａ）、（ｂ）に示すように、フレーム画像Ｂの半分のライン数で構成されている奇数フィールド画像Ｃ１と、偶数フィールド画像Ｃ２について、それぞれフレーム画像Ｂと同じライン数となるように、各ラインの間に新たにラインを補間することにより、奇数フィールド画像Ｃ１から、図１２（ａ）に示す、第１補間フレーム画像Ｄ１と、偶数フィールド画像Ｃ２から、図１２（ｂ）に示す、第２補間フレーム画像Ｄ２を取得する。
【００６９】
補間方法の一例として、奇数フィールド画像Ｃ１の各ラインの間に、輝度値として上下の画素の輝度値の平均値を有するラインを補間することで、第１補間フレーム画像Ｄ１を取得できる。同様に、偶数フィールド画像Ｃ２の各ラインの間に、輝度値として上下の画素の輝度値の平均値を有するラインを補間することで、第２補間フレーム画像Ｄ２を取得できる。
【００７０】
具体的には、２Ｍ行Ｎ列の画像数を有し、ｉ行ｊ列目の画素の輝度値がＩｉ，ｊで表されるフレーム画像Ｂがフレーム画像取得部７０ｃで取得された場合、第１補間フレーム画像Ｄ１の輝度値Ｉ’ｉ，ｊと、第２補間フレーム画像Ｄ２の輝度値Ｉ’’ｉ，ｊは、以下の式で表すことができる。
【数１】
なお、Ｉｍｉｎは、フレーム画像Ｂの輝度値Ｉの最小値を表す。
【００７１】
図９に戻って、ＣＰＵ７１は、ステップＳ２０５において、第１補間フレーム画像と第２補間フレーム画像を取得すると、ステップＳ２０６に処理を進める。
【００７２】
ステップＳ２０６で、ＣＰＵ７１は、第１補間フレーム画像と第２補間フレーム画像との比較に基づいて、被写体検出画像を取得する。具体的には、ＣＰＵ７１は、図１２（ａ）、（ｂ）に示すような第１補間フレーム画像Ｄ１と、第２補間フレーム画像Ｄ２とについて、対応する位置にある画素の輝度値を比較し、その画素の輝度値の差が所定値θよりも大きい場合に、その位置にある画素は被写体領域内の画素であると判別する。そして、ＣＰＵ７１は、この判別処理を第１補間フレーム画像Ｄ１及び第２補間フレーム画像Ｄ２の全域に対して行い、被写体領域内の画素であると判別した画素について、フレーム画像Ｂの輝度値の最小値Ｉｍｉｎを輝度値とし、それ以外の画素についてはフレーム画像Ｂの輝度値の最大値Ｉｍａｘを輝度値として有する、図１３に示す、被写体検出画像Ｅを取得する。具体的には、被写体検出画像Ｅの輝度値Ｉ’’’ｉ，ｊは以下の式で与えられる。
【数２】
【００７３】
具体的には、例えば、ステップＳ２０５において図１２（ａ）、（ｂ）に示すような第１補間フレーム画像Ｄ１と第２補間フレーム画像Ｄ２とを取得した場合、ＣＰＵ７１は、第１補間フレーム画像Ｄ１と第２補間フレーム画像Ｄ２とについて、上述の（式９）を用いて、対応する位置にある画素の輝度値を比較し、その画素の輝度値の差が所定値θよりも大きい場合に、その位置にある画素は被写体領域内の画素であると判別する。そして被写体領域と判別された位置にある画素の輝度値がフレーム画像Ｂの輝度値の最小値Ｉｍｉｎであり、それ以外の画素の輝度値がフレーム画像Ｂの輝度値の最大値Ｉｍａｘである被写体検出画像Ｅ（図１３）を取得する。
【００７４】
例えば、本処理において、図１４（ａ）に示すような、車両に乗車した人物を撮像部２０で撮像した場合、ＣＰＵ７１が取得する被写体検出画像は、図１４（ｂ）に示すようなものとなる。このように、被写体検出処理によれば、撮像対象である人物の画像のみを被写体検出画像として、得ることができる。
【００７５】
続いて、ステップＳ２０７で、ＣＰＵ７１は、視点検出処理を実行して、ステップＳ２０６で得た被写体検出画像上における、目の座標を検出する。この視点検出処理は、図１５に概念的に示すように、周知の技術であるパタンマッチングにより実現される。具体的には、ＣＰＵ７１が、汎用メモリ７３に記憶されているテンプレートＴＥを読み出し、このテンプレートＴＥに最も近い領域を画像中でサーチすることによって、目の座標を検出する。なお、このテンプレートＴＥは、ＣＰＵ７１が、後に詳細に述べる、テンプレート取得処理を実行することで取得し、汎用メモリ７３に記憶させているものである。
【００７６】
続いて、ステップＳ２０８で、ＣＰＵ７１は、表示装置３０に被写体検出画像Ｅを表示させる。この表示により、ユーザは検出結果を確認することができる。
【００７７】
以上の処理からなる被写体検出処理を、ＣＰＵ７１は、例えば制御装置７０の電源がオフされるまで繰り返す。
【００７８】
（テンプレート取得処理）
次に、制御装置７０のＣＰＵ７１が実行するテンプレート取得処理を、図１６及び図１７を参照して説明する。この処理は、例えば入力装置４０からのユーザ操作により、所定の指令信号を制御装置７０が取得したことを合図に開始される。
【００７９】
ＣＰＵ７１は、テンプレート取得処理を開始すると、まず、スピーカ５０を鳴動させることで、開眼指示を行う（ステップＳ３０１）。具体的には、スピーカ５０を鳴動させて、予めＲＯＭ７２等に格納された所定の音声、例えば、「目を開けてください」という音声を発生させ、ユーザ（被写体２）に開眼を促す。
【００８０】
続いて、ステップＳ３０２で、ＣＰＵ７１は、撮像部２０に撮像させ、フレーム画像を取得する（ここで取得したフレーム画像を「開眼フレーム画像」という）。具体的には、ステップＳ３０１における開眼指示に従った人物を撮像部２０が撮像した場合、ＣＰＵ７１は、図１７（ａ）に示すような、開眼フレーム画像Ｆ０を取得する。
【００８１】
続いて、ステップＳ３０３で、ＣＰＵ７１は、スピーカ５０を鳴動させることで、閉眼指示を行う（ステップＳ３０３）。具体的には、スピーカ５０を鳴動させて、予めＲＯＭ７２等に格納された所定の音声、例えば、「目を閉じてください」という音声を発生させ、ユーザ（被写体２）に閉眼を促す。
【００８２】
続いて、ステップＳ３０４で、ＣＰＵ７１は、撮像部２０に撮影させ、フレーム画像を取得する（ここで取得したフレーム画像を「閉眼フレーム画像」という）。具体的には、ステップＳ３０３における閉眼指示に従った人物を撮像部２０が撮像した場合、ＣＰＵ７１は、図１７（ｂ）に示すような、閉眼フレーム画像Ｆ１を取得する。
【００８３】
なお、ステップＳ３０２及びステップＳ３０４における撮像部２０による撮像は、ＣＰＵ７１の制御の下、スピーカ５０の鳴動から所定時間経過を条件に開始されてもよいし、撮像の準備ができたユーザが入力装置４０から所定の入力操作をしたことを合図に開始されてもよい。
【００８４】
次に、ＣＰＵ７１は、取得した開眼フレーム画像と閉眼フレーム画像との差分絶対値を、周知の画像処理方法により算出する（ステップＳ３０５）。そして、ＣＰＵ７１は、周知の画像処理方法により、二値化処理を行う（ステップＳ３０６）。具体的には、取得した、図１７（ａ）に示す開眼フレーム画像Ｆ０と図１７（ｂ）に示す閉眼フレーム画像Ｆ１との差分絶対値を算出し、二値化処理を実行した場合、ＣＰＵ７１は、開眼フレーム画像Ｆ０と閉眼フレーム画像Ｆ１とで変化した領域が強調された、図１７（ｃ）に示すような２値画像Ｆ２を得ることができる。つまり、ここで、ＣＰＵ７１は、被写体画像中における目の領域が強調された２値画像Ｆ２を得る。なお、図１７（ｃ）における点線は、フレーム画像の一部を示すものでなく、補助線である。
【００８５】
ステップＳ３０６で得られる２値画像は、背景や被写体の動き等の影響により、通常は、目の領域以外に、様々なノイズが含んだものとなる。そこで、ステップＳ３０７において、ＣＰＵ７１は、目以外の領域を取り除くために、２値画像中の対象領域（予め設定された白または黒の領域）の面積を算出する。そして、ステップＳ３０７で、ＣＰＵ７１は、ステップＳ３０６で算出した面積のうち、面積の大きさの順で、上位２つを選択し（ここで、面積が最も大きい領域をＲ１、次に面積が大きい領域をＲ２とする）、Ｒ１、Ｒ２の位置関係を考慮して、Ｒ１、Ｒ２を、それぞれ、右目と左目の領域とする。具体的には、ＣＰＵ７１は、図１７（ｃ）のような２値画像Ｆ２においては、図示するように、Ｒ１を左目、Ｒ２を右目の領域としている。
【００８６】
続いて、ステップＳ３０９で、ＣＰＵ７１は、Ｒ１、Ｒ２各々の重心を算出する。そして、ステップＳ３１０で、ＣＰＵ７１は、Ｒ１、Ｒ２各々の重心を中心とする矩形パターンＳ１、Ｓ２（図１７（ｄ）参照）を開眼フレーム画像Ｆ０中から切り出し、これらをテンプレートＴＥとして、汎用メモリ７３等に記憶させ、処理を終了させる。ここで、記憶した、テンプレートＴＥが、前記の視点検出処理（被写体検出処理のステップＳ２０７）で用いられるテンプレートとなる。
以上がテンプレート取得処理である。
【００８７】
本実施形態にかかる制御装置７０は、被写体２（人物）の撮像を奇数フィールド／偶数フィールドの撮像に分けて行う撮像部２０と撮像部２０が撮像する被写体２に光を照射する光源１０とを制御し、奇数フィールドの撮像においてのみ光源１０を発光させ、そのＣＰＵ７１が、被写体２に対する太陽光の方向を照明環境検知装置６０によって測定した測定値に基づいて（各種データ、光検知信号に基づいて）特定し（ここで、特定とは、被写体２に対する太陽光の方向を各種データ、光検知信号に基づいて算出することも含む。）、特定した前記太陽光の方向に基づいて、光源１０の点灯時間Ｔ（発光時間）を制御する。このような構成からなる制御装置７０（ＣＰＵ７１）は、時計６１、ＧＰＳ受信機６２、方位センサ６３の各々から取得した日時データ、位置データ、及び方位データと、ライトセンサ６４から取得した光検知信号とに基づいて、被写体２周囲の推定環境光強度を算出する。このようにして、本実施形態に係る制御装置７０によれば、環境光を精度良く推定することができる。特に、例えば、視点検出システム１が車等の移動体に搭載されている場合、車内の一部が電柱等の影に隠れたときであっても、撮像対象である被写体２周囲の環境光を精度良く推定することができる。また、例えば、視点検出システム１が車両に搭載される場合、照明環境検知装置６０を構成する各部のうち、少なくとも時計６１、ＧＰＳ受信機６２は、一般的に車両の搭載機器であるため、視点検出システム１を簡単に構成することができる。
【００８８】
また、制御装置７０のＣＰＵ７１は、特定した前記太陽光の方向に基づいて、被写体２を照らす光の明るさを推定し（推定環境光強度を算出し）、推定した明るさが明るいほど、光源１０の点灯時間Ｔを長く制御する。このようにすれば、例えば、被写体２周囲の環境光が明るすぎる場合であっても、光源１０の点灯時間Ｔを長く制御することができ、第１補間フレーム画像と第２補間フレーム画像との輝度の差を出すことができる。これにより、精度良く被写体検出画像を取得することができる。
【００８９】
また、制御装置７０は、上記のように算出した推定環境光強度により、光源１０の点灯時間Ｔ（発光時間）と、撮像部２０のシャッター時間とを算出し、これらに基づいて光源１０と撮像部２０を駆動制御する。これにより、制御装置７０は、図１３、図１４（ｂ）に例示したように、背景の影響を受けにくい被写体検出画像を取得することができる。つまり、制御装置７０は、視点検出処理のための人物の顔等の被写体検出画像を精度よく取得することができるため、視点検出における検出結果の変動を小さくすることができる。
【００９０】
また、制御装置７０のＣＰＵ７１は、照明環境検知装置６０によって測定した、現在の日時と、前記撮像部の緯度・経度と、前記撮像部が向く方位と（日時データと、位置データと、方位データと）、に基づいて被写体２に対する太陽光の方向を特定しているため、被写体２周囲の外光の影響を精度良く推定することができる。さらに、本実施形態における制御装置７０は、ライトセンサ６４によって測定した被写体２の周囲の環境光の照度（ライトセンサ６４から取得した光検出信号に基づいて算出される測定環境光強度）にも基づいて、光源１０の点灯時間Ｔ（発光時間）及び撮像装置２０のシャッター時間を決定しているため、被写体２周囲の照明環境を精度良く推定した上で、照明環境に適した設定で被写体２を撮像することができる。
【００９１】
また、本実施形態に係る制御装置７０のＣＰＵ７１は、テンプレート取得処理を実行し、被写体である人物に対して、開眼指示、閉眼指示を行い、その指示ごとに撮像部２０に被写体２を撮像させ、撮像部２０から、撮像回数分の被写体画像を取得し、取得した被写体画像を比較することによって、被写体画像における人物の目の近傍の領域を検知し、検知した領域を示す画像を取得する。そして、取得した画像を人物の視点を検出する視点検出処理におけるパタンマッチング用のテンプレートとして記憶手段に記憶させる。これにより、標準的なテンプレートでなく、視点検出の対象となる人物ごとの特徴を捉えたテンプレートに基づいてパタンマッチングが可能となるため、視点検出における成功率の個人差を少なくすることができる。
【００９２】
また、本実施形態に係る制御装置７０は、撮像部２０が出力するビデオ信号に含まれる垂直同期信号に基づいて、光源１０を、撮像部２０が奇数フィールドを撮像しているときに光源１０を点灯させ、撮像部２０が偶数フィールドを撮像しているときに光源１０を消灯させることができる。そして、撮像部２０が出力するビデオ信号に含まれる画像信号が表す撮像画像において、奇数フィールドと偶数フィールドの被写体像の画素の輝度値が異なることを利用して、被写体領域を検出している。従って、制御装置７０は、高速撮影可能なカメラを必要とすることなく、簡単な構成で画像中の物体が存在する領域を検出することが可能である。
【００９３】
（変形例）
なお、本発明は、以上の実施形態に限定されず、種々の変形及び応用が可能である。以上の実施形態においては、照明環境検知装置６０からの各種情報に基づいて、光源１０の点灯時間Ｔ及び撮像部２０のシャッター時間を決定したが、点灯時間Ｔのみを決定してもよい。この場合、シャッター時間は、予め設定された値であってもよいし、入力装置４０からのユーザ操作によって適宜設定することができる値であってもよい。このように、点灯時間Ｔのみを決定しても、制御装置７０は、被写体の周囲の照明環境に適した設定で、撮像部２０に被写体２を撮像させることができる。
【００９４】
また、以上の実施形態においては、照明環境検知装置６０がライトセンサ６４を備える例を示したが、これに限られない。時計、ＧＰＳ受信機、方位センサから構成される照明環境検知装置から供給される情報に基づいて、制御装置が推定環境光強度を算出してもよい。この場合、制御装置に、上記（式１）により、推定環境光強度を算出させるようにすればよい。
【００９５】
また、照明環境検知装置は、例えば、ＧＰＳ受信機能、方位センサ機能を少なくとも備える携帯端末（携帯電話、スマートフォン等）であってもよい。
【００９６】
また、以上の実施形態では、方位センサ６３は、撮像部２０の受光面がどの方位に向いているかを検知するものとしたがこれに限られない。方位センサは、受光面の法線方向の方位を検知するものでなくともよく、例えば、受光面と平行方向の方位を検知してもよい。その検知する方位は、太陽と撮像部２０（または、被写体２）との位置関係を特定することができれば任意である。
【００９７】
また、上記の実施形態では、制御装置７０（ＣＰＵ７１）が、垂直同期信号の立ち下がりを検出し、かつフィールド識別信号が奇数フィールドを示すときに、時刻ｔ＝０としてタイマを設定している。しかし、制御装置７０は、垂直同期信号の立ち上りを検出し、かつフィールド識別信号が奇数フィールドを示すときに、時刻ｔ＝０としてタイマを設定してもよい。この場合も、制御装置７０は、上記の実施形態と同様に、光源１０を制御することができる。
【００９８】
また、上記の実施形態に係る制御装置７０は、撮像部２０が奇数フィールドを撮像しているときに光源１０を点灯させ、撮像部２０が偶数フィールドを撮像しているときに光源１０を消灯させたがこれに限られない。撮像部２０が偶数フィールドを撮像しているときに光源１０を点灯させ、撮像部２０が奇数フィールドを撮像しているときに光源１０を消灯させてもよい。
【００９９】
以上の実施形態に係るテンプレート取得処理において、ＣＰＵ７１は、開眼フレーム画像Ｆ０から切り出した矩形パターンＳ１，Ｓ２をテンプレートＴＥとして汎用メモリ７３等に記憶させたが、これに限られない。矩形パターンＳ１，Ｓ２を閉眼フレーム画像Ｆ１から切り出し、これをテンプレートとして記憶させてもよい。また、ＣＰＵ７１は、開眼フレーム画像Ｆ０から切り出したテンプレートと閉眼フレーム画像Ｆ１から切り出したテンプレートの両者を汎用メモリ７３等に記憶させてもよい。この場合において、視点検出処理（被写体検出処理のステップＳ２０７）で人物（被写体）の視点を検出する際に、ＣＰＵ７１は、開眼フレーム画像Ｆ０からのテンプレートＴＥを参照して視点を検出するに限られず、閉眼フレーム画像Ｆ１からのテンプレートを参照することで視点を検出してもよいし、開眼フレーム画像Ｆ０・閉眼フレーム画像Ｆ１の両者に係るテンプレートを参照して視点を検出してもよい。また、開眼フレーム画像Ｆ０、閉眼フレーム画像Ｆ１から切り出して、テンプレートとする画像は矩形パターンでなくともよい。
【０１００】
また、以上の実施形態に係るテンプレート取得処理においては、開眼、閉眼の指示を行うことで、被写体である人物の目近傍の画像を取得したが、これに限られない。例えば、人物に開口、閉口の指示を行うことで、被写体である人物の口近傍の画像を取得し、その画像をパタンマッチングにおけるテンプレートとしてもよい。この場合、口の位置から推定することで、被写体である人物の視点や人物の顔が向いている方向を検出することができる。
【０１０１】
また、以上の実施形態に係るテンプレート取得処理においては、音声により、人物に対して開眼、閉眼の指示を行ったが、これに限られない。電気的な刺激、振動による物理刺激等によって、指示をしてもよい。
【０１０２】
なお、本発明の実施形態に係る制御装置７０は、専用の装置によらず、通常のコンピュータシステムを用いて実現可能である。例えば、ネットワークカード等を備えたコンピュータに上述の処理を実行するためのプログラムを格納した媒体（フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等）から当該プログラムをインストールすることにより、上述の処理を実行する制御装置を構成することができる。
【０１０３】
また、コンピュータにプログラムを供給するための手法は任意である。例えば、通信回線、通信ネットワーク、通信システム等を介して供給してもよい。一例を挙げると、通信ネットワークの掲示板（ＢＢＳ）に当該プログラムを掲示し、これをネットワークを介して搬送波に重畳して配信することにより、上述の処理を実行することができる。
【符号の説明】
【０１０４】
１ 視点検出システム
１０ 光源
２０ 撮像部
３０ 表示装置
４０ 入力装置
５０ スピーカ
６０ 照明環境検知装置
６１ 時計
６２ ＧＰＳ受信機
６３ 方位センサ
６４ ライトセンサ
７０ 制御装置
７１ ＣＰＵ
７２ ＲＯＭ
７３ 汎用メモリ
７４ ビデオメモリ
７５ 同期分離回路
７６ フィールド識別回路
７７ 外部デバイスＩ／Ｆ
２ 被写体
３ 背景
【技術分野】
【０００１】
本発明は、撮像制御装置、テンプレート取得装置、及びプログラムに関する。
【背景技術】
【０００２】
車両等の移動体に搭載された所定の装置により、ユーザ（主に、運転者）の視点を検出するための画像処理技術が知られている。
【０００３】
特許文献１には、車両のインストパネル上面に設けられた日射センサ（ライトセンサ）から情報を取得し、この情報等に基づいて外光強度を算出し、カメラ照明の出力を演算する技術が開示されている。
【０００４】
特許文献２には、撮像装置で撮像した画像に対して標準的なテンプレートと相関演算を行うことによってユーザの目の位置を検出する技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−９６３２３号公報
【特許文献２】特開平０６−２５５３８８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１に開示された技術では、日射センサのみが電柱等の影に隠れてしまうと、撮像対象のユーザには太陽光等の外光が照射されているにもかかわらず、影に隠れて暗くなった日射センサからのデータを基に外光強度を算出してしまうので、車両等の内部の環境光を正確に判別することができなかった。
【０００７】
また、特許文献２に開示された技術では、標準的なテンプレートに基づいて様々なユーザの目の位置を検出しているため、視点検出の成功率に個人差があるという問題があった。
【０００８】
本発明は上記実状に鑑みてなされたものであり、その第１の目的は、環境光を精度良く推定できる撮像制御装置及びプログラムを提供することにある。また、本発明の第２の目的は、視点検出における成功率の個人差を少なくすることができるテンプレート取得装置及びプログラムを提供することにある。
【課題を解決するための手段】
【０００９】
上記第１の目的を達成するため、本発明の第１の観点に係る撮像制御装置は、
被写体の撮像を複数フィールドの撮像に分けて行う撮像部と前記撮像部が撮像する前記被写体に光を照射する光源とを制御し、前記複数フィールドの撮像のうちの所定の一部のフィールドの撮像においてのみ前記光源を発光させる撮像制御装置であって、
所定の測定装置によって測定した測定値に基づいて、前記被写体に対する太陽光の方向を特定する方向特定手段と、
前記方向特定手段が特定した前記太陽光の方向に基づいて、前記光源の発光時間を制御する制御手段と、を備える。
【００１０】
上記第１の目的を達成するため、本発明の第２の観点に係るプログラムは、
コンピュータに、
被写体の撮像を複数フィールドの撮像に分けて行う撮像部と前記撮像部が撮像する前記被写体に光を照射する光源とを制御し、前記複数フィールドの撮像のうちの所定の一部のフィールドの撮像においてのみ前記光源を発光させる処理を実行させるプログラムであって、
所定の測定装置によって測定した測定値に基づいて、前記被写体に対する太陽光の方向を特定する処理と、
特定した前記太陽光の方向に基づいて、前記光源の発光時間を制御する処理と、
を実行させる。
【００１１】
上記第２の目的を達成するため、本発明の第３の観点に係るテンプレート取得装置は、
被写体である人物に対して、複数回、所定の指示を行う指示手段と、
前記所定の指示ごとに撮像部に前記被写体を撮像させる撮像制御手段と、
前記被写体を撮像した前記撮像部から、撮像回数分の被写体画像を取得する被写体画像取得手段と、
取得した前記撮像回数分の被写体画像を比較することによって、被写体画像における人物の特徴領域を検知し、検知した特徴領域を示す特徴領域画像を取得する特徴領域画像取得手段と、
前記特徴領域画像取得手段が取得した前記特徴領域画像を前記人物の視点を検出する処理におけるパタンマッチング用のテンプレートとして記憶手段に記憶させる記憶制御手段と、を備える。
【００１２】
上記第２の目的を達成するため、本発明の第４の観点に係るプログラムは、
コンピュータに、
被写体である人物に対して、複数回、所定の指示を行う処理と、
前記所定の指示ごとに撮像部に前記被写体を撮像させる処理と、
前記被写体を撮像した前記撮像部から、撮像回数分の被写体画像を取得する処理と、
取得した前記撮像回数分の被写体画像を比較することによって、被写体画像における人物の特徴領域を検知し、検知した特徴領域を示す特徴領域画像を取得する処理と、
取得した前記特徴領域画像を前記人物の視点を検出する処理におけるパタンマッチング用のテンプレートとして記憶手段に記憶させる処理と、
を実行させる。
【発明の効果】
【００１３】
本発明の第１の観点に係る撮像制御装置及び本発明の第２の観点に係るプログラムによれば、環境光を精度良く推定できる。また、本発明の第３の観点に係るテンプレート取得装置及び本発明の第４の観点に係るプログラムによれば、視点検出における成功率の個人差を少なくすることができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の一実施形態に係る視点検出システムの概略構成を示すブロック図である。
【図２】制御装置の機能を説明するためのブロック図である。
【図３】フレームの構成を説明するための図である。
【図４】太陽高度・太陽方位特定テーブルを説明するための図である。
【図５】（ａ）は、太陽光強度特定テーブルを説明するための図であり、（ｂ）は、太陽方位係数特定テーブルを説明するための図であり、（ｃ）は、測定環境光強度特定テーブルを説明するための図である。
【図６】（ａ）は、点灯時間決定テーブルを説明するための図であり、（ｂ）は、シャッター時間決定テーブルを説明するための図である。
【図７】（ａ）〜（ｃ）は、光源制御処理において、光源制御信号の送信タイミングを説明するためのタイミングチャートである。
【図８】光源制御処理のフローチャートである。
【図９】被写体検出処理のフローチャートである。
【図１０】フレーム画像の一例を示した図である。
【図１１】（ａ）は、奇数フィールド画像の一例を示した図であり、（ｂ）は、偶数フィールド画像の一例を示した図である。
【図１２】（ａ）は、第１補間フレーム画像の一例を示した図であり、（ｂ）は、第２補間フレーム画像の一例を示した図である。
【図１３】被写体検出画像の一例を示した図である。
【図１４】（ａ）及び（ｂ）は、ある人物を被写体として、被写体検出処理を実行した場合に、どのような被写体検出画像が得られるかを説明するための図である。
【図１５】被写体検出処理における視点検出処理を説明するための概念図である。
【図１６】テンプレート取得処理のフローチャートである。
【図１７】（ａ）〜（ｄ）は、ある人物を被写体として、テンプレート取得処理を実行した場合の具体例を説明するための図である。
【発明を実施するための形態】
【００１５】
以下に本発明の一実施形態を、図１〜図１７を参照して説明する。
【００１６】
本実施形態に係る視点検出システム１は、図１に示すように、光源１０と、撮像部２０と、表示装置３０と、入力装置４０と、スピーカ５０と、照明環境検知装置６０と、制御装置７０と、を備える。
このような構成からなる視点検出システム１においては、まず、制御装置７０が、照明環境検知装置６０からの取得した各種情報に基づき、光源１０の点灯時間（発光時間）と撮像部２０のシャッター時間（シャッターが開いている時間）とを決定する。次に、制御装置７０は、決定したシャッター時間で、撮像部２０に被写体２（図２参照）を撮像させるとともに、決定した点灯時間で光源１０を点灯させる。そして、撮像画像における被写体２が写っている領域（以下、「被写体領域」という）を検出し、所定の被写体検出処理を実行し、被写体２の視点を検出する。
以下、視点検出システム１が備える各構成要素を詳細に説明する。
【００１７】
光源１０は、被写体２に光を照射するものである。光源１０は、例えば、赤外線光源であり、制御装置７０から出力される光源制御信号に基づいて点灯・消灯する。
【００１８】
撮像部２０は、被写体２を撮像するものである。撮像部２０は、例えば、レンズと、ＣＣＤ（Charged Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）、シャッター等の周知の固体撮像素子とを含むビデオカメラである。撮像部２０は、シャッターが開いているときにレンズを用いて固体撮像素子の受光面に被写体２の像を結像させ、結像させた像の光の強弱を電気信号に変換し、その電気信号に基づく画像信号を含むビデオ信号を制御装置７０に出力する。
【００１９】
撮像部２０の固体撮像素子の受光面に、例えば図３に示すような２Ｍ行Ｎ列の画素から成る画像（フレーム）Ａが結像された場合について説明する。この場合、固体撮像素子を構成するマトリックス状に配置されたフォトダイオード（前記の各画素に対応して配置されている。）は、シャッターが開いているときに受光した光量に応じた電荷を生成する。そして、撮像部２０は、シャッターが閉じたあとに、同期信号発生回路（図示せず）により出力される垂直同期信号及び水平同期信号に同期して、フレームＡを構成する各ラインのフォトダイオードの電荷を電気信号として読み取る。
【００２０】
ここで、図３に示すように、ラインを上から順に数えたときの番号をライン番号という（つまり、２Ｍ行Ｎ列のフレームにおいて、ライン番号１は１行目を示し、ライン番号２Ｍは２Ｍ行目を示す）。また、フレームＡを構成する各ラインの電荷のうち、ライン番号が奇数のラインから構成されるライン群を「奇数フィールド」といい、ライン番号が偶数のラインから構成されるライン群を「偶数フィールド」という。撮像部２０は、１フレームの画像の撮像において、奇数フィールドの撮像と、偶数フィールドの撮像とを行う。撮像部２０は、各撮像において、シャッターを開閉し、受光素子に電荷を貯めさせる。撮像部２０は、フォトダイオードの電荷を読み取る際に、奇数フィールドの撮像では、奇数フィールドの各電荷を読み取り、偶数フィールドの撮像では、偶数フィールドの各電荷を読み取る。撮像２０は、このような読み取りを、水平同期信号に同期して行う。奇数フィールドの各ラインと、奇数フィールドの各ラインとは、それぞれ交互に配置されている。
【００２１】
具体的には、ｉ）フレームＡにおいて、撮像部２０は、垂直同期信号に同期して、ライン番号が奇数のラインの電荷の読み取りを開始する。すなわち、撮像部２０は、ライン番号１，３，…，２Ｍ−１の順で水平同期信号に同期して各ラインの電荷を読み取る。このようにして、撮像部２０は、奇数フィールドを表す電荷を読み取ることになる。ｉｉ）その後、撮像部２０は、垂直同期信号に同期して、ライン番号が偶数のラインの電荷の読み取りを開始する。すなわち、撮像部２０は、ライン番号２，４，…，２Ｍの順で水平同期信号に同期して各ラインの電荷を読み取る。このようにして、撮像部２０は、偶数フィールドを表す電荷を読み取ることになる。つまり、撮像部２０は、被写体２の撮像を偶数フィールドと奇数フィールドの撮像に分けて行う。
【００２２】
このような１つのフレームを構成する奇数フィールドと偶数フィールドを表す電荷の読み取りは、それぞれ例えば１／６０秒の間隔で行われるため、１つのフレームを表す電荷の読み取りは、１／３０秒間隔で行われる。すなわち、撮像部２０は、１秒間に３０フレームの画像を撮影する。そして、撮像部２０は、読み取った電荷が表す電気信号である画像信号と、垂直同期信号と、水平同期信号とを重畳したビデオ信号を、制御装置７０に出力する。
【００２３】
図１に戻って、表示装置３０は、制御装置７０が出力する被写体検出画像（被写体検出画像については後述する）を表示するものであり、例えばＬＣＤ（Liquid Crystal Display）から構成される。
【００２４】
入力装置４０は、ユーザの所定の入力操作を受け付けるものであり、例えばユーザの数値入力を受け付けるキーボード、マウス、タッチパネルから構成される。入力装置４０に入力されたデータは、制御装置７０に出力される。
【００２５】
スピーカ５０は、後述のテンプレート取得処理において、ユーザに所定の指示を行うためのものである。スピーカ５０は、制御装置７０の制御の下、鳴動し、所定の音声を発生させる。
【００２６】
照明環境検知装置６０は、被写体２の周囲の推定環境光の強度（以下、「推定環境光強度」という。）を算出するため、現在の日時、緯度・経度等の種々の値を測定し、これら測定値に基づくデータを制御装置７０に供給するためのものである。推定環境光強度の算出については、後に詳細に述べる。例えば、視点検出システム１が車両に搭載されている場合、この照明環境検知装置６０は、運転席付近の推定環境光強度を算出するための種々のデータを制御装置７０に供給する。照明環境検知装置６０は、時計６１と、ＧＰＳ（Global Positioning System）受信機６２と、方位センサ６３と、ライトセンサ６４と、を備える。
【００２７】
時計６１は、制御装置７０に、現在の日付及び時刻を示すデータ（以下、「日時データ」という。）を供給するためのものである。時計６１は、例えば電波時計であり、内蔵された受信機（図示せず）により、所定の送信所から電波を受信する。そして、電波信号を読み取り、現在の時刻を表示する。また、時計６１は、日時データを制御装置７０に供給する。
【００２８】
ＧＰＳ受信機６２は、ＧＰＳ衛星からの信号を受信し、現在の自機の位置（緯度・経度）を示すデータ（以下、「位置データ」という。）を、制御装置７０に供給する。例えば、視点検出システム１が車両に搭載されている場合、ＧＰＳ受信機６２、撮像部２０は車両内に位置し、また、撮像部２０の撮像対象である被写体２は運転者等の搭乗者であるため、この位置データは、撮像装置２０（または、その撮像対象である被写体２）の緯度・経度を略示する。
【００２９】
方位センサ６３は、撮像部２０が含む撮像素子の受光面がどの方位に向いているか（つまり、撮像部２０の向く方位）を検知するものである。方位センサ６３は、例えば撮像部２０の所定の位置に搭載され、撮像部２０の向く方位を示すデータ（以下、「方位データ」という。）を制御装置７０に供給する。
【００３０】
なお、時計６１、ＧＰＳ受信機６２、及び方位センサ６３は、請求項における測定装置を構成する。また、日時データとして、ＧＰＳ受信機６２がＧＰＳ衛生から受信した日時情報を用いてもよい。また、方位データとして、例えば視点検出システム１が車両等の移動体に搭載されている場合には、移動体の移動に伴って算出できる方位情報を利用してもよい。
【００３１】
ライトセンサ６４は、受光した光の強度を検知（測定）するものである。例えば、視点検出システム１が車両に搭載されている場合、このライトセンサ６４は、ルームミラーの背面部に設けられ、フロントガラスから入射する外光の強度を検知する。ライトセンサ６４は、このようにして受光を検知し、光検知信号を制御装置７０に供給する。
【００３２】
照明環境検知装置６０のうち、時計６１、ＧＰＳ受信機６２、及び方位センサ６３は、被写体２に対する太陽光の方向に関する情報を数値化するために設けられるものである（どのように数値化するかについては、後に詳細に述べる）。受光した光の強度を直接検知するライトセンサ６４に加えて、これらの、被写体２に対する太陽光の方向に関する情報を数値化するための装置を設けた理由は、例えば、視点検出システム１を車両等の移動体に搭載した場合、ライトセンサ６４が影に隠れ、被写体２が外光により照光されるときや、反対に、被写体２が影に隠れ、ライトセンサ６４が外光により照光されるときには、ライトセンサ６４だけでは、撮像対象である被写体２近傍の照明環境を正確に検知することができないためである。
【００３３】
照明環境検知装置６０を以上のように構成することで、ライトセンサ６４が影に隠れ、被写体２が外光により照光されるときや、反対に、被写体２が影に隠れ、ライトセンサ６４が外光により照光されるときであっても、時計６１、ＧＰＳ受信機６２、方位センサ６３から供給された「日時データ」、「位置データ」、「方位データ」に基づいて算出した太陽光強度等と、ライトセンサ６４からの「光検出信号」に基づいて算出した測定環境光強度とから推定環境光強度を導出することで、被写体２近傍の照明環境を正確に検知することができる。なお、太陽光強度等、測定環境光強度、推定環境光強度の算出については、後の光源制御処理において詳細に述べる。
【００３４】
制御装置７０は、例えばマイクロコンピュータから構成され、ＣＰＵ（Central Processing Unit）７１と、ＲＯＭ（Read-Only Memory)７２と、汎用メモリ７３と、ビデオメモリ７４と、同期分離回路７５と、フィールド識別回路７６と、外部デバイスインターフェイス（Ｉ／Ｆ）７７と、を備える。なお、制御装置７０は、請求項における撮像制御装置、テンプレート取得装置を構成する。
【００３５】
ＣＰＵ７１は、ＲＯＭ７２内に予め記憶された、後述する光源制御処理、被写体検出処理、テンプレート取得処理等を実行するための所定プログラムを読み出し、実行する。そして、ＣＰＵ７１は、ｉ）照明環境検知装置６０から取得した、日時データ、位置データ、方位データ、及び光検出信号、ｉｉ）撮像部２０から取得したビデオ信号、ｉｉｉ）処理後の演算結果、画像データ等、を汎用メモリ７３に一時的に記憶させる。また、ＣＰＵ７１は、汎用メモリ７３に記憶された出力画像データをビデオメモリ７４に転送し、転送した出力画像データに基づいて表示装置３０に出力画像データが表す画像を出力する。また、ＣＰＵ７１は、図示しないタイマに、適宜、計時をさせる。
【００３６】
なお、ＣＰＵ７１は、後述する光源制御処理、被写体検出処理を実行して、請求項における方向特定手段、制御手段として機能する。また、ＣＰＵ７１は、後述するテンプレート取得処理を実行し、請求項における撮像制御手段、被写体画像取得手段、特徴領域画像取得手段、記憶制御手段として機能する。また、ＣＰＵ７１は、スピーカ５０を鳴動させ、所定の音声を発生させることで請求項における指示手段として機能する。
【００３７】
ＲＯＭ７２には、各種データ、前記所定プログラムの他、後述する光源制御処理及び被写体検出処理において参照される、太陽高度・太陽方位特定テーブルＴ１（図４）、太陽光強度特定テーブルＴ２（図５（ａ））、太陽方位係数特定テーブルＴ３（図５（ｂ））、測定環境光強度特定テーブルＴ４（図５（ｃ））、点灯時間決定テーブルＴ５（図６（ａ））、シャッター時間決定テーブルＴ６（図６（ｂ））等が予め格納されている。これらの各種テーブルは、光源１０を点灯する時間（以下、「点灯時間Ｔ」という）、撮像部２０のシャッター時間を求めるために参照されるテーブルである。以下、各種テーブルについて詳細に説明する。
【００３８】
図４に示す、太陽高度・太陽方位特定テーブルＴ１は、照明環境検知装置６０から制御装置７０に供給される、位置データ及び日時データから、「太陽高度」及び「太陽方位」を算出するためのテーブルである。「太陽高度」は、水平線を０°とした太陽の仰角である。「太陽方位」は、北を０°、東を９０°、南を１８０°、西を２７０°としたときの太陽の方位角である。太陽高度・太陽方位特定テーブルＴ１は、「緯度・経度」、「日付」、「時刻」各々の複数の設定値と、これら設定値の組み合わせに対応して定まる「太陽高度」及び「太陽方位」を予め表した格納データである。ＣＰＵ７１は、この太陽高度・太陽方位特定テーブルＴ１を参照して、ＧＰＳ受信機６２から取得した位置データが示す「緯度・経度」と、時計６１から取得した日時データが示す「日付」及び「時刻」とに対応した「太陽高度」と「太陽方位」を特定する。例えば、図示するように、「緯度・経度」が“北緯３７度２６分・東経１３８度５０分”、「日付」が“１月”、「時刻」が“１２：００〜１３：００”であった場合、「太陽高度」は“３２”、「太陽方位」は“１９１”と特定される。
【００３９】
図５（ａ）に示す、太陽光強度特定テーブルＴ２は、「太陽高度」から「太陽光強度」を算出するためのテーブルである。「太陽強度」は、被写体に到達する太陽光の明るさ（照度）を推定した推定値である。太陽光強度特定テーブルＴ２は、「太陽高度」の複数の設定値と、これらの複数の設定値に対応して定まる「太陽港強度」を予め表した格納データである。ＣＰＵ７１は、この太陽光強度特定テーブルＴ２を参照して、太陽高度・太陽方位特定テーブルＴ１に基づいて特定した「太陽高度」に対応した「太陽光強度」を特定する。例えば、図示するように、「太陽高度」が“５°〜１０°”であった場合、「太陽光強度」は“０．１３１”と特定される。
なお、図５（ａ）に示す太陽光強度特定テーブルＴ２は、太陽高度の値が増加するに従って、太陽光強度も増加するように構成されているが、これに限られない。例えば、太陽高度が０°〜４５°の範囲では、太陽光強度は太陽高度の増加に従って増加し、太陽高度が４５〜９０°の範囲では、太陽光強度は太陽高度の増加に従って減少するように太陽強度特定テーブルを構成してもよい。このように構成する場合として、例えば、視点検出システム１が車両に搭載され、太陽光を遮る車体の影響（車両の天井等）を考慮した場合が考えられる。
【００４０】
図５（ｂ）に示す、太陽方位係数特定テーブルＴ３は、「太陽方位との角度」から「太陽方位係数」を算出するためのテーブルである。ここで、「太陽方位との角度」とは、ＣＰＵ７１が、太陽高度・太陽方位特定テーブルＴ１を参照して算出した「太陽方位」と、方位センサ６３から取得した方位データが示す「撮像部２０の向く方位」との差をとることで、算出される値である。このように算出される「太陽方位との角度」は、撮像部２０の向く方位を基準とした場合における、その基準方位から太陽の位置までの方位角を示し、これにより、撮像部２０に対して太陽光の入射方位（つまり、撮像部２０が撮像しようとしている被写体に対する太陽光の入射方位）を特定することができる。そして、「太陽方位係数」とは、その入射方位の影響を考慮して、太陽光の強度を係数化したものである。太陽方位係数特定テーブルＴ３は、「太陽方位との角度」の複数の設定値と、これら複数の設定値に対応して定まる「太陽方位係数」を予め表した格納データである。ＣＰＵ７１は、この太陽方位係数特定テーブルＴ３を参照して、上記のように算出した「太陽方位との角度」に対応した「太陽方位係数」を特定する。例えば、図示するように、「太陽方位との角度」が“５°〜１０°”であった場合、「太陽方位係数」は“０．９９１”と特定される。
なお、太陽方位係数特定テーブルＴ３は、図示してないが、例えば、太陽方位との角度が１８０°の値を太陽方位係数が最小の値となるように構成されている。
【００４１】
図５（ｃ）に示す、測定環境光強度特定テーブルＴ４は、ライトセンサ６４からの光検出信号の出力（以下、「ライトセンサ出力」という）から「測定環境光強度」を算出するためのテーブルである。「測定環境光強度」は、被写体を照らしている環境光（つまり太陽光）の明るさ（照度）を推定した値である。測定環境光強度特定テーブルＴ４は、「ライトセンサ出力」の複数の設定値と、これら複数の設定値に対応して定まる「測定環境光強度」を予め表した格納データである。ＣＰＵ７１は、この測定環境光強度特定テーブルＴ４を参照して、「ライトセンサ出力」に対応した「測定環境光強度」を特定する。例えば、図示するように、「ライトセンサ出力」が“５〜１０”であった場合、「測定環境光強度」は、“０．９９１”と算出される。
【００４２】
図６（ａ）に示す、点灯時間決定テーブルＴ５は、推定環境光強度から光源１０の点灯時間Ｔを決定するためのテーブルであり、図６（ｂ）に示す、シャッター時間決定テーブルＴ６は、推定環境光強度から撮像部２０のシャッター時間を決定するためのテーブルである。
【００４３】
ここで、推定環境光強度とは、太陽光強度、太陽方位係数、測定環境光強度に基づいて、次の（式１）又は（式２）により算出される値である。
【００４４】
θ０を予め定められた任意の閾値として、
［測定環境光強度］＞θ０ならば、
［推定環境光強度］＝［太陽方位係数］×［太陽光強度］・・・（式１）
一方、
［測定環境光強度］≦θ０ならば、
［推定環境光強度］＝０・・・（式２）
【００４５】
例えば、閾値θ０を０．３と予め設定していた場合に、ＣＰＵ７１が、「太陽光強度」を０．１３１、太陽方位係数を０．９９１、測定環境光強度を０．９９１と各々算出したとすると、この場合、測定環境光強度の値は、０．９９１と、閾値θ０＝０．３の値よりも大きいので、（式１）により、推定環境光強度は、０．９９１×０．１３１で求められ、約０．１３０となる。推定環境光強度は、被写体２を照らす光の明るさを推定したもので、例えば、推定した明るさが明るいほど大きい値をとる。
【００４６】
点灯時間決定テーブルＴ５は、「推定環境光強度」の複数の設定値と、これら複数の設定値に対応して定まる「点灯時間Ｔ」を予め表した格納データである。ＣＰＵ７１は、この点灯時間決定テーブルＴ５を参照して、上記（式１）又は（式２）により算出した「推定環境光強度」に対応した「点灯時間Ｔ」を決定する。例えば、図示するように、「推定環境光強度」が“０．０１〜０．０２”であった場合、「点灯時間Ｔ」は、“１／１００ｍｓ”と決定される。
【００４７】
シャッター時間決定テーブルＴ６は、「推定環境光強度」の複数の設定値と、これら複数の設定値に対応して定まる「シャッター時間」を予め表した格納データである。ＣＰＵ７１は、このシャッター時間決定テーブルＴ６を参照して、上記（式１）又は（式２）により算出した「推定環境光強度」に対応した「シャッター時間」を決定する。例えば、図示するように、「推定環境光強度」が“０．０１〜０．０２”であった場合、「シャッター時間」は、“１／１０ｓ”と決定される。ＣＰＵ７１は、このようにしてシャッター時間を決定すると、撮像部２０に、そのシャッター時間で、奇数フィールドの撮像と偶数フィールドの撮像とを交互に行わせる。加えて、ＣＰＵ７１は、後述の光源制御処理を実行することによって、撮像部２０が行う奇数フィールドの撮像においてのみ、光源１０を点灯させる。
【００４８】
つまり、上記各種テーブルのうち、テーブルＴ１〜Ｔ４は、照明環境検知装置６０からの各種情報に基づいて、上記（式１）又は（式２）により、推定環境光強度を算出するための各種パラメータを求めるためのテーブルである。また、点灯時間決定テーブルＴ５は、算出された推定環境光強度から点灯時間Ｔを決定するためのテーブルであり、シャッター時間決定テーブルＴ６は、算出された推定環境光強度からシャッター時間を決定するためのテーブルである。
【００４９】
図１に戻って、同期分離回路７５は、撮像部２０からのビデオ信号を、画像信号と、垂直同期信号と、水平信号とに分離する回路である。
【００５０】
フィールド識別回路７６は、同期分離回路７５により分離された、垂直同期信号及び水平同期信号から、ビデオ信号に含まれる画像信号が奇数フィールドと偶数フィールドのいずれであるかを示すフィールド識別信号を生成する。フィールド識別信号は、一例として、図７（ｂ）に示すように構成され、このようなフィールド識別信号に基づいて、ＣＰＵ７１は、撮像部２０から取得した画像信号が、奇数フィールドが、偶数フィールドかを判別することができる。
【００５１】
外部デバイスＩ／Ｆ７７は、光源１０、撮像部２０、表示装置３０、入力装置４０、スピーカ５０、照明環境検知装置６０の各々と、制御装置７０の各部とを接続するものである。
【００５２】
（光源制御処理）
制御装置７０のＣＰＵ７１が実行する光源制御処理を、図８等を参照して説明する。この処理は、例えば制御装置７０の起動を条件に開始される。
【００５３】
ＣＰＵ７１は、光源制御処理を開始すると、まず、照明環境検知装置６０から、日時データ、位置データ、方位データ、光検知信号からなる各種情報を取得する（ステップＳ１０１）。
【００５４】
次に、ＣＰＵ７１は、ステップＳ１０１で取得した各種情報に基づいて光源１０を点灯させる期間（以下、「点灯時間Ｔ」という）を決定する（ステップＳ１０２）。
【００５５】
具体的には、ＣＰＵ７１は、以下の手順により、点灯時間Ｔを決定する。
１）ＣＰＵ７１は、まず、ＧＰＳ受信機６２から取得した位置データに基づき「緯度・経度」を決定し、時計６１から取得した日時データに基づき「日付」及び「時刻」を決定する。そして、ＣＰＵ７１は、太陽高度、太陽方位特定テーブルＴ１を参照して、「太陽高度」「太陽方位」を算出する。
２）次に、ＣＰＵ７１は、太陽光強度特定テーブルＴ２を参照して、上記１）で、算出した「太陽高度」から「太陽光強度」を算出する。
３）また、ＣＰＵ７１は、上記１）で、算出した「太陽方位」と、方位センサ６３から取得した方位データが示す「撮像部２０の方位」との差をとり、「太陽方位との角度」を算出する。そして、ＣＰＵ７１は、太陽方位係数特定テーブルＴ３を参照して、「太陽方位係数」を算出する。
４）また、ＣＰＵ７１は、ライトセンサ出力を特定し、測定環境光特定テーブルＴ４を参照して、「測定環境光強度」を算出する。
５）そして、ＣＰＵ７１は、上記２）で得られた「太陽光強度」と、上記３）で得られた「太陽方位係数」から、上記（式１）又は（式２）により、「推定環境光強度」を算出する。
６）そして、ＣＰＵ７１は、推定環境光強度特定テーブルＴ５を参照して、上記５）で算出した「推定環境光強度」に対応する「点灯時間Ｔ」を決定する。また、ＣＰＵ７１は、決定した点灯時間Ｔを一時的に汎用メモリ７３に記憶させる。ここで決定された点灯時間Ｔは、例えば、次回の処理において、新たに点灯時間Ｔが決定されるまで、記憶される。
【００５６】
続いて、ステップＳ１０３で、ＣＰＵ７１は、垂直同期信号の立ち下がり（図７（ａ）参照）を検出した否かを判別する。この垂直同期信号は、前述のように、撮像部２０からのビデオ信号を画像信号と垂直同期信号と水平信号とに分離する同期分離回路７５から出力される。ＣＰＵ７１は、垂直同期信号の立ち下がりを検出していないと判別した場合（ステップＳ１０３；Ｎｏ）、ステップＳ１０６に処理を進める。一方、ＣＰＵ７１は、垂直同期信号の立ち下がりを検出したと判別した場合（ステップＳ１０３；Ｙｅｓ）、ステップＳ１０４に処理を進める。
【００５７】
ステップＳ１０４で、ＣＰＵ７１は、フィールド識別回路７６から取得したフィールド識別信号が、奇数フィールド（図７（ｂ）参照）を示しているか否かを判別する。具体的には、ＣＰＵ７１は、フィールド識別信号の立ち上がりを検出した場合に、フィールド識別信号が奇数フィールドであると判別する。
フィールド識別信号が奇数フィールドを示していない（つまり、偶数フィールドを示している）と判別した場合（ステップＳ１０４；Ｎｏ）、ＣＰＵ７１は、ステップＳ１０３に処理を戻す。一方、フィールド識別信号が奇数フィールドを示していると判別した場合（ステップＳ１０４；Ｙｅｓ）、ＣＰＵ７１は、ステップＳ１０５に処理を進める。
【００５８】
ステップＳ１０５で、ＣＰＵ７１は、タイマ（図示せず）の時刻をｔ＝０に設定し、タイマに計時を開始させる。
【００５９】
続いて、ステップＳ１０６で、ＣＰＵ７１は、時刻ｔがＴＯＮ≦ｔ≦ＴＯＦＦを満たすか否かを判別する。ここで、ＴＯＮ及びＴＯＦＦは、撮像部２０の固体撮像素子を構成するフォトダイオードのうち、奇数フィールドに対応するフォトダイオードが受光している光量に応じた電荷を生成している時間の開始時刻及び終了時刻に対応する。また、（ＴＯＦＦ−ＴＯＮ）、即ち、点灯時間Ｔは、ステップＳ１０２における処理で決定され、汎用メモリ７３に一時的に記憶されている値である。なお、ＴＯＮは、予めＲＯＭ７２にデフォルト値として記憶されているか、ユーザにより入力装置４０を介して設定され記憶される。
【００６０】
計時時間ｔがＴＯＮ≦ｔ≦ＴＯＦＦを満たすと判別した場合（ステップＳ１０６；Ｙｅｓ）、ＣＰＵ７１は、点灯を示す光源制御信号（図７（ｃ）参照）を光源１０に出力する（ステップＳ１０７）。そして、処理をステップＳ１０１に戻す。一方、計時時間ｔがＴＯＮ≦ｔ≦ＴＯＦＦを満たさないと判別した場合（ステップＳ１０６；Ｎｏ）、ＣＰＵ７１は、消灯を示す光源制御信号を光源１０に出力する（ステップＳ１０８）。そして、処理をステップＳ１０１に戻す。
【００６１】
以上の処理からなる光源制御処理を、ＣＰＵ７１は、例えば、制御装置７０の電源がオフされるまで繰り返す。本処理により、撮像部２０が奇数フィールドを撮像しているときに光源１０を点灯させ、撮像部２０が偶数フィールドを撮像しているときに光源１０を消灯させることができる。
【００６２】
（視点検出処理）
次に、制御装置７０のＣＰＵ７１が実行する視点検出処理を、図９等を参照して説明する。この処理は、例えば制御装置７０の起動を条件に開始される。
【００６３】
ＣＰＵ７１は、被写体検出処理を開始すると、まず、前述の光源制御処理におけるステップＳ１０１の処理と同様に、照明環境検知装置６０から、日時データ、位置データ、方位データ、光検知信号からなる各種情報を取得する（ステップＳ２０１）。
【００６４】
次に、ＣＰＵ７１は、ステップＳ２０１で取得した各種情報に基づいて撮像層２０のシャッター時間を決定し、そのシャッター時間で撮像部２０に撮像させる（ステップＳ２０２）。具体的には、前述の光源制御処理におけるステップＳ１０２と、同様な手法により、推定環境光強度を算出し、シャッター時間決定テーブルＴ６（図６（ｂ））を参照して、算出した推定環境光強度に対応する「シャッター時間」を決定する。そして、決定したシャッター時間で、撮像部２０に撮像させる。
【００６５】
続いて、ステップＳ２０３で、ＣＰＵ７１は、撮像部２０が出力するビデオ信号に含まれる画像信号から、垂直同期信号に基づいて１フレーム分の画像信号が表すフレーム画像を取得する（ステップＳ２０３）。具体的には、ＣＰＵ７１は、垂直同期信号に同期して、撮像部２０から出力されたビデオ信号に含まれる画像信号から、１つの奇数フィールドの画像信号と１つの偶数フィールドの画像信号とにより構成される１フレーム分の画像信号を取得する。例えば、撮像部２０が、図２に示すような、被写体２を撮像した場合、ＣＰＵ７１が取得するフレーム画像は、図１０に示すようなフレーム画像Ｂである。撮像部２０の撮像中において、ＣＰＵ７１は、前述の光源制御処理を実行するため、フレーム画像Ｂでは、奇数フィールド中の被写体像は明るく、偶数フィールド中の被写体像は暗く表される。これは、撮像部２０に撮像される被写体２を照らす光源１０を、撮像部２０が奇数フィールドを撮像しているときに光源１０を点灯させ、撮像部２０が偶数フィールドを撮像しているときに光源１０を消灯させることができるためである。なお、図２に示す背景３は光源１０から十分離れているため、この背景３に対応するフレーム画像Ｂの背景部分は、光源１０の影響を受けていない。
【００６６】
続いて、ステップＳ２０４で、ＣＰＵ７１は、ステップＳ２０３で取得したフレーム画像を奇数フィールドと偶数フィールドとに分離して、各フィールドから構成される奇数フィールド画像と偶数フィールド画像を取得する。具体的には、例えば図１０に示すフレーム画像Ｂを取得した場合、ＣＰＵ７１は、図１１（ａ）に示す奇数フィールドの画像を表す奇数フィールド画像Ｃ１と、図１１（ｂ）に示す偶数フィールドの画像を表す偶数フィールド画像Ｃ２と、を取得する。奇数フィールド画像Ｃ１と偶数フィールド画像Ｃ２は、ともにフレーム画像Ｂの半分のライン数で構成されている。
【００６７】
続いて、ステップＳ２０５で、ＣＰＵ７１は、ステップＳ２０４で取得した奇数フィールド画像と偶数フィールド画像とから、第１補間フレーム画像、第２補間フレーム画像を取得する（ステップＳ２０５）。
【００６８】
ここで、第１フレーム画像とは、奇数フィールド画像の各ラインの間に新たにラインを補間したフレーム画像であり、第２フレーム画像とは、偶数フィールド画像の各ラインの間に新たにラインを補間したフレーム画像である。具体的には、図１１（ａ）、（ｂ）に示すように、フレーム画像Ｂの半分のライン数で構成されている奇数フィールド画像Ｃ１と、偶数フィールド画像Ｃ２について、それぞれフレーム画像Ｂと同じライン数となるように、各ラインの間に新たにラインを補間することにより、奇数フィールド画像Ｃ１から、図１２（ａ）に示す、第１補間フレーム画像Ｄ１と、偶数フィールド画像Ｃ２から、図１２（ｂ）に示す、第２補間フレーム画像Ｄ２を取得する。
【００６９】
補間方法の一例として、奇数フィールド画像Ｃ１の各ラインの間に、輝度値として上下の画素の輝度値の平均値を有するラインを補間することで、第１補間フレーム画像Ｄ１を取得できる。同様に、偶数フィールド画像Ｃ２の各ラインの間に、輝度値として上下の画素の輝度値の平均値を有するラインを補間することで、第２補間フレーム画像Ｄ２を取得できる。
【００７０】
具体的には、２Ｍ行Ｎ列の画像数を有し、ｉ行ｊ列目の画素の輝度値がＩｉ，ｊで表されるフレーム画像Ｂがフレーム画像取得部７０ｃで取得された場合、第１補間フレーム画像Ｄ１の輝度値Ｉ’ｉ，ｊと、第２補間フレーム画像Ｄ２の輝度値Ｉ’’ｉ，ｊは、以下の式で表すことができる。
【数１】
なお、Ｉｍｉｎは、フレーム画像Ｂの輝度値Ｉの最小値を表す。
【００７１】
図９に戻って、ＣＰＵ７１は、ステップＳ２０５において、第１補間フレーム画像と第２補間フレーム画像を取得すると、ステップＳ２０６に処理を進める。
【００７２】
ステップＳ２０６で、ＣＰＵ７１は、第１補間フレーム画像と第２補間フレーム画像との比較に基づいて、被写体検出画像を取得する。具体的には、ＣＰＵ７１は、図１２（ａ）、（ｂ）に示すような第１補間フレーム画像Ｄ１と、第２補間フレーム画像Ｄ２とについて、対応する位置にある画素の輝度値を比較し、その画素の輝度値の差が所定値θよりも大きい場合に、その位置にある画素は被写体領域内の画素であると判別する。そして、ＣＰＵ７１は、この判別処理を第１補間フレーム画像Ｄ１及び第２補間フレーム画像Ｄ２の全域に対して行い、被写体領域内の画素であると判別した画素について、フレーム画像Ｂの輝度値の最小値Ｉｍｉｎを輝度値とし、それ以外の画素についてはフレーム画像Ｂの輝度値の最大値Ｉｍａｘを輝度値として有する、図１３に示す、被写体検出画像Ｅを取得する。具体的には、被写体検出画像Ｅの輝度値Ｉ’’’ｉ，ｊは以下の式で与えられる。
【数２】
【００７３】
具体的には、例えば、ステップＳ２０５において図１２（ａ）、（ｂ）に示すような第１補間フレーム画像Ｄ１と第２補間フレーム画像Ｄ２とを取得した場合、ＣＰＵ７１は、第１補間フレーム画像Ｄ１と第２補間フレーム画像Ｄ２とについて、上述の（式９）を用いて、対応する位置にある画素の輝度値を比較し、その画素の輝度値の差が所定値θよりも大きい場合に、その位置にある画素は被写体領域内の画素であると判別する。そして被写体領域と判別された位置にある画素の輝度値がフレーム画像Ｂの輝度値の最小値Ｉｍｉｎであり、それ以外の画素の輝度値がフレーム画像Ｂの輝度値の最大値Ｉｍａｘである被写体検出画像Ｅ（図１３）を取得する。
【００７４】
例えば、本処理において、図１４（ａ）に示すような、車両に乗車した人物を撮像部２０で撮像した場合、ＣＰＵ７１が取得する被写体検出画像は、図１４（ｂ）に示すようなものとなる。このように、被写体検出処理によれば、撮像対象である人物の画像のみを被写体検出画像として、得ることができる。
【００７５】
続いて、ステップＳ２０７で、ＣＰＵ７１は、視点検出処理を実行して、ステップＳ２０６で得た被写体検出画像上における、目の座標を検出する。この視点検出処理は、図１５に概念的に示すように、周知の技術であるパタンマッチングにより実現される。具体的には、ＣＰＵ７１が、汎用メモリ７３に記憶されているテンプレートＴＥを読み出し、このテンプレートＴＥに最も近い領域を画像中でサーチすることによって、目の座標を検出する。なお、このテンプレートＴＥは、ＣＰＵ７１が、後に詳細に述べる、テンプレート取得処理を実行することで取得し、汎用メモリ７３に記憶させているものである。
【００７６】
続いて、ステップＳ２０８で、ＣＰＵ７１は、表示装置３０に被写体検出画像Ｅを表示させる。この表示により、ユーザは検出結果を確認することができる。
【００７７】
以上の処理からなる被写体検出処理を、ＣＰＵ７１は、例えば制御装置７０の電源がオフされるまで繰り返す。
【００７８】
（テンプレート取得処理）
次に、制御装置７０のＣＰＵ７１が実行するテンプレート取得処理を、図１６及び図１７を参照して説明する。この処理は、例えば入力装置４０からのユーザ操作により、所定の指令信号を制御装置７０が取得したことを合図に開始される。
【００７９】
ＣＰＵ７１は、テンプレート取得処理を開始すると、まず、スピーカ５０を鳴動させることで、開眼指示を行う（ステップＳ３０１）。具体的には、スピーカ５０を鳴動させて、予めＲＯＭ７２等に格納された所定の音声、例えば、「目を開けてください」という音声を発生させ、ユーザ（被写体２）に開眼を促す。
【００８０】
続いて、ステップＳ３０２で、ＣＰＵ７１は、撮像部２０に撮像させ、フレーム画像を取得する（ここで取得したフレーム画像を「開眼フレーム画像」という）。具体的には、ステップＳ３０１における開眼指示に従った人物を撮像部２０が撮像した場合、ＣＰＵ７１は、図１７（ａ）に示すような、開眼フレーム画像Ｆ０を取得する。
【００８１】
続いて、ステップＳ３０３で、ＣＰＵ７１は、スピーカ５０を鳴動させることで、閉眼指示を行う（ステップＳ３０３）。具体的には、スピーカ５０を鳴動させて、予めＲＯＭ７２等に格納された所定の音声、例えば、「目を閉じてください」という音声を発生させ、ユーザ（被写体２）に閉眼を促す。
【００８２】
続いて、ステップＳ３０４で、ＣＰＵ７１は、撮像部２０に撮影させ、フレーム画像を取得する（ここで取得したフレーム画像を「閉眼フレーム画像」という）。具体的には、ステップＳ３０３における閉眼指示に従った人物を撮像部２０が撮像した場合、ＣＰＵ７１は、図１７（ｂ）に示すような、閉眼フレーム画像Ｆ１を取得する。
【００８３】
なお、ステップＳ３０２及びステップＳ３０４における撮像部２０による撮像は、ＣＰＵ７１の制御の下、スピーカ５０の鳴動から所定時間経過を条件に開始されてもよいし、撮像の準備ができたユーザが入力装置４０から所定の入力操作をしたことを合図に開始されてもよい。
【００８４】
次に、ＣＰＵ７１は、取得した開眼フレーム画像と閉眼フレーム画像との差分絶対値を、周知の画像処理方法により算出する（ステップＳ３０５）。そして、ＣＰＵ７１は、周知の画像処理方法により、二値化処理を行う（ステップＳ３０６）。具体的には、取得した、図１７（ａ）に示す開眼フレーム画像Ｆ０と図１７（ｂ）に示す閉眼フレーム画像Ｆ１との差分絶対値を算出し、二値化処理を実行した場合、ＣＰＵ７１は、開眼フレーム画像Ｆ０と閉眼フレーム画像Ｆ１とで変化した領域が強調された、図１７（ｃ）に示すような２値画像Ｆ２を得ることができる。つまり、ここで、ＣＰＵ７１は、被写体画像中における目の領域が強調された２値画像Ｆ２を得る。なお、図１７（ｃ）における点線は、フレーム画像の一部を示すものでなく、補助線である。
【００８５】
ステップＳ３０６で得られる２値画像は、背景や被写体の動き等の影響により、通常は、目の領域以外に、様々なノイズが含んだものとなる。そこで、ステップＳ３０７において、ＣＰＵ７１は、目以外の領域を取り除くために、２値画像中の対象領域（予め設定された白または黒の領域）の面積を算出する。そして、ステップＳ３０７で、ＣＰＵ７１は、ステップＳ３０６で算出した面積のうち、面積の大きさの順で、上位２つを選択し（ここで、面積が最も大きい領域をＲ１、次に面積が大きい領域をＲ２とする）、Ｒ１、Ｒ２の位置関係を考慮して、Ｒ１、Ｒ２を、それぞれ、右目と左目の領域とする。具体的には、ＣＰＵ７１は、図１７（ｃ）のような２値画像Ｆ２においては、図示するように、Ｒ１を左目、Ｒ２を右目の領域としている。
【００８６】
続いて、ステップＳ３０９で、ＣＰＵ７１は、Ｒ１、Ｒ２各々の重心を算出する。そして、ステップＳ３１０で、ＣＰＵ７１は、Ｒ１、Ｒ２各々の重心を中心とする矩形パターンＳ１、Ｓ２（図１７（ｄ）参照）を開眼フレーム画像Ｆ０中から切り出し、これらをテンプレートＴＥとして、汎用メモリ７３等に記憶させ、処理を終了させる。ここで、記憶した、テンプレートＴＥが、前記の視点検出処理（被写体検出処理のステップＳ２０７）で用いられるテンプレートとなる。
以上がテンプレート取得処理である。
【００８７】
本実施形態にかかる制御装置７０は、被写体２（人物）の撮像を奇数フィールド／偶数フィールドの撮像に分けて行う撮像部２０と撮像部２０が撮像する被写体２に光を照射する光源１０とを制御し、奇数フィールドの撮像においてのみ光源１０を発光させ、そのＣＰＵ７１が、被写体２に対する太陽光の方向を照明環境検知装置６０によって測定した測定値に基づいて（各種データ、光検知信号に基づいて）特定し（ここで、特定とは、被写体２に対する太陽光の方向を各種データ、光検知信号に基づいて算出することも含む。）、特定した前記太陽光の方向に基づいて、光源１０の点灯時間Ｔ（発光時間）を制御する。このような構成からなる制御装置７０（ＣＰＵ７１）は、時計６１、ＧＰＳ受信機６２、方位センサ６３の各々から取得した日時データ、位置データ、及び方位データと、ライトセンサ６４から取得した光検知信号とに基づいて、被写体２周囲の推定環境光強度を算出する。このようにして、本実施形態に係る制御装置７０によれば、環境光を精度良く推定することができる。特に、例えば、視点検出システム１が車等の移動体に搭載されている場合、車内の一部が電柱等の影に隠れたときであっても、撮像対象である被写体２周囲の環境光を精度良く推定することができる。また、例えば、視点検出システム１が車両に搭載される場合、照明環境検知装置６０を構成する各部のうち、少なくとも時計６１、ＧＰＳ受信機６２は、一般的に車両の搭載機器であるため、視点検出システム１を簡単に構成することができる。
【００８８】
また、制御装置７０のＣＰＵ７１は、特定した前記太陽光の方向に基づいて、被写体２を照らす光の明るさを推定し（推定環境光強度を算出し）、推定した明るさが明るいほど、光源１０の点灯時間Ｔを長く制御する。このようにすれば、例えば、被写体２周囲の環境光が明るすぎる場合であっても、光源１０の点灯時間Ｔを長く制御することができ、第１補間フレーム画像と第２補間フレーム画像との輝度の差を出すことができる。これにより、精度良く被写体検出画像を取得することができる。
【００８９】
また、制御装置７０は、上記のように算出した推定環境光強度により、光源１０の点灯時間Ｔ（発光時間）と、撮像部２０のシャッター時間とを算出し、これらに基づいて光源１０と撮像部２０を駆動制御する。これにより、制御装置７０は、図１３、図１４（ｂ）に例示したように、背景の影響を受けにくい被写体検出画像を取得することができる。つまり、制御装置７０は、視点検出処理のための人物の顔等の被写体検出画像を精度よく取得することができるため、視点検出における検出結果の変動を小さくすることができる。
【００９０】
また、制御装置７０のＣＰＵ７１は、照明環境検知装置６０によって測定した、現在の日時と、前記撮像部の緯度・経度と、前記撮像部が向く方位と（日時データと、位置データと、方位データと）、に基づいて被写体２に対する太陽光の方向を特定しているため、被写体２周囲の外光の影響を精度良く推定することができる。さらに、本実施形態における制御装置７０は、ライトセンサ６４によって測定した被写体２の周囲の環境光の照度（ライトセンサ６４から取得した光検出信号に基づいて算出される測定環境光強度）にも基づいて、光源１０の点灯時間Ｔ（発光時間）及び撮像装置２０のシャッター時間を決定しているため、被写体２周囲の照明環境を精度良く推定した上で、照明環境に適した設定で被写体２を撮像することができる。
【００９１】
また、本実施形態に係る制御装置７０のＣＰＵ７１は、テンプレート取得処理を実行し、被写体である人物に対して、開眼指示、閉眼指示を行い、その指示ごとに撮像部２０に被写体２を撮像させ、撮像部２０から、撮像回数分の被写体画像を取得し、取得した被写体画像を比較することによって、被写体画像における人物の目の近傍の領域を検知し、検知した領域を示す画像を取得する。そして、取得した画像を人物の視点を検出する視点検出処理におけるパタンマッチング用のテンプレートとして記憶手段に記憶させる。これにより、標準的なテンプレートでなく、視点検出の対象となる人物ごとの特徴を捉えたテンプレートに基づいてパタンマッチングが可能となるため、視点検出における成功率の個人差を少なくすることができる。
【００９２】
また、本実施形態に係る制御装置７０は、撮像部２０が出力するビデオ信号に含まれる垂直同期信号に基づいて、光源１０を、撮像部２０が奇数フィールドを撮像しているときに光源１０を点灯させ、撮像部２０が偶数フィールドを撮像しているときに光源１０を消灯させることができる。そして、撮像部２０が出力するビデオ信号に含まれる画像信号が表す撮像画像において、奇数フィールドと偶数フィールドの被写体像の画素の輝度値が異なることを利用して、被写体領域を検出している。従って、制御装置７０は、高速撮影可能なカメラを必要とすることなく、簡単な構成で画像中の物体が存在する領域を検出することが可能である。
【００９３】
（変形例）
なお、本発明は、以上の実施形態に限定されず、種々の変形及び応用が可能である。以上の実施形態においては、照明環境検知装置６０からの各種情報に基づいて、光源１０の点灯時間Ｔ及び撮像部２０のシャッター時間を決定したが、点灯時間Ｔのみを決定してもよい。この場合、シャッター時間は、予め設定された値であってもよいし、入力装置４０からのユーザ操作によって適宜設定することができる値であってもよい。このように、点灯時間Ｔのみを決定しても、制御装置７０は、被写体の周囲の照明環境に適した設定で、撮像部２０に被写体２を撮像させることができる。
【００９４】
また、以上の実施形態においては、照明環境検知装置６０がライトセンサ６４を備える例を示したが、これに限られない。時計、ＧＰＳ受信機、方位センサから構成される照明環境検知装置から供給される情報に基づいて、制御装置が推定環境光強度を算出してもよい。この場合、制御装置に、上記（式１）により、推定環境光強度を算出させるようにすればよい。
【００９５】
また、照明環境検知装置は、例えば、ＧＰＳ受信機能、方位センサ機能を少なくとも備える携帯端末（携帯電話、スマートフォン等）であってもよい。
【００９６】
また、以上の実施形態では、方位センサ６３は、撮像部２０の受光面がどの方位に向いているかを検知するものとしたがこれに限られない。方位センサは、受光面の法線方向の方位を検知するものでなくともよく、例えば、受光面と平行方向の方位を検知してもよい。その検知する方位は、太陽と撮像部２０（または、被写体２）との位置関係を特定することができれば任意である。
【００９７】
また、上記の実施形態では、制御装置７０（ＣＰＵ７１）が、垂直同期信号の立ち下がりを検出し、かつフィールド識別信号が奇数フィールドを示すときに、時刻ｔ＝０としてタイマを設定している。しかし、制御装置７０は、垂直同期信号の立ち上りを検出し、かつフィールド識別信号が奇数フィールドを示すときに、時刻ｔ＝０としてタイマを設定してもよい。この場合も、制御装置７０は、上記の実施形態と同様に、光源１０を制御することができる。
【００９８】
また、上記の実施形態に係る制御装置７０は、撮像部２０が奇数フィールドを撮像しているときに光源１０を点灯させ、撮像部２０が偶数フィールドを撮像しているときに光源１０を消灯させたがこれに限られない。撮像部２０が偶数フィールドを撮像しているときに光源１０を点灯させ、撮像部２０が奇数フィールドを撮像しているときに光源１０を消灯させてもよい。
【００９９】
以上の実施形態に係るテンプレート取得処理において、ＣＰＵ７１は、開眼フレーム画像Ｆ０から切り出した矩形パターンＳ１，Ｓ２をテンプレートＴＥとして汎用メモリ７３等に記憶させたが、これに限られない。矩形パターンＳ１，Ｓ２を閉眼フレーム画像Ｆ１から切り出し、これをテンプレートとして記憶させてもよい。また、ＣＰＵ７１は、開眼フレーム画像Ｆ０から切り出したテンプレートと閉眼フレーム画像Ｆ１から切り出したテンプレートの両者を汎用メモリ７３等に記憶させてもよい。この場合において、視点検出処理（被写体検出処理のステップＳ２０７）で人物（被写体）の視点を検出する際に、ＣＰＵ７１は、開眼フレーム画像Ｆ０からのテンプレートＴＥを参照して視点を検出するに限られず、閉眼フレーム画像Ｆ１からのテンプレートを参照することで視点を検出してもよいし、開眼フレーム画像Ｆ０・閉眼フレーム画像Ｆ１の両者に係るテンプレートを参照して視点を検出してもよい。また、開眼フレーム画像Ｆ０、閉眼フレーム画像Ｆ１から切り出して、テンプレートとする画像は矩形パターンでなくともよい。
【０１００】
また、以上の実施形態に係るテンプレート取得処理においては、開眼、閉眼の指示を行うことで、被写体である人物の目近傍の画像を取得したが、これに限られない。例えば、人物に開口、閉口の指示を行うことで、被写体である人物の口近傍の画像を取得し、その画像をパタンマッチングにおけるテンプレートとしてもよい。この場合、口の位置から推定することで、被写体である人物の視点や人物の顔が向いている方向を検出することができる。
【０１０１】
また、以上の実施形態に係るテンプレート取得処理においては、音声により、人物に対して開眼、閉眼の指示を行ったが、これに限られない。電気的な刺激、振動による物理刺激等によって、指示をしてもよい。
【０１０２】
なお、本発明の実施形態に係る制御装置７０は、専用の装置によらず、通常のコンピュータシステムを用いて実現可能である。例えば、ネットワークカード等を備えたコンピュータに上述の処理を実行するためのプログラムを格納した媒体（フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等）から当該プログラムをインストールすることにより、上述の処理を実行する制御装置を構成することができる。
【０１０３】
また、コンピュータにプログラムを供給するための手法は任意である。例えば、通信回線、通信ネットワーク、通信システム等を介して供給してもよい。一例を挙げると、通信ネットワークの掲示板（ＢＢＳ）に当該プログラムを掲示し、これをネットワークを介して搬送波に重畳して配信することにより、上述の処理を実行することができる。
【符号の説明】
【０１０４】
１ 視点検出システム
１０ 光源
２０ 撮像部
３０ 表示装置
４０ 入力装置
５０ スピーカ
６０ 照明環境検知装置
６１ 時計
６２ ＧＰＳ受信機
６３ 方位センサ
６４ ライトセンサ
７０ 制御装置
７１ ＣＰＵ
７２ ＲＯＭ
７３ 汎用メモリ
７４ ビデオメモリ
７５ 同期分離回路
７６ フィールド識別回路
７７ 外部デバイスＩ／Ｆ
２ 被写体
３ 背景
【特許請求の範囲】
【請求項１】
被写体の撮像を複数フィールドの撮像に分けて行う撮像部と前記撮像部が撮像する前記被写体に光を照射する光源とを制御し、前記複数フィールドの撮像のうちの所定の一部のフィールドの撮像においてのみ前記光源を発光させる撮像制御装置であって、
所定の測定装置によって測定した測定値に基づいて、前記被写体に対する太陽光の方向を特定する方向特定手段と、
前記方向特定手段が特定した前記太陽光の方向に基づいて、前記光源の発光時間を制御する制御手段と、を備える、
ことを特徴とする撮像制御装置。
【請求項２】
前記制御手段は、
前記方向特定手段が特定した前記太陽光の方向に基づいて、前記被写体を照らす光の明るさを推定し、推定した明るさが明るいほど、前記光源の発光時間を長く制御する、
ことを特徴とする請求項１に記載の撮像制御装置。
【請求項３】
前記制御手段は、
前記方向特定手段が特定した前記太陽光の方向に基づいて、前記光源の発光時間と前記撮像部のシャッター時間とを制御する、
ことを特徴とする請求項１又は２に記載の撮像制御装置。
【請求項４】
前記制御手段は、
前記方向特定手段が特定した前記太陽光の方向に基づいて、前記被写体を照らす光の明るさを推定し、推定した明るさが明るいほど、前記撮像部のシャッター時間を長く制御する、
ことを特徴とする請求項３に記載の撮像制御装置。
【請求項５】
前記方向特定手段は、
前記所定の測定装置によって測定した、現在の日時と、前記撮像部の緯度・経度と、前記撮像部が向く方位と、に基づいて前記被写体に対する太陽光の方向を特定する、
ことを特徴とする請求項１乃至４のいずれか１項に記載の撮像制御装置。
【請求項６】
前記制御手段は、
前記方向特定手段が特定した前記太陽光の方向とライトセンサによって測定した前記被写体の周囲の環境光の照度とに基づいて、前記光源の発光時間を制御する、
ことを特徴とする請求項１乃至５のいずれか１項に記載の撮像制御装置。
【請求項７】
前記制御手段は、
前記方向特定手段が特定した前記太陽光の方向とライトセンサによって測定した前記被写体の周囲の環境光の照度とに基づいて、前記撮像部のシャッター時間を制御する、
ことを特徴とする請求項３又は４に記載の撮像制御装置。
【請求項８】
コンピュータに、
被写体の撮像を複数フィールドの撮像に分けて行う撮像部と前記撮像部が撮像する前記被写体に光を照射する光源とを制御し、前記複数フィールドの撮像のうちの所定の一部のフィールドの撮像においてのみ前記光源を発光させる処理を実行させるプログラムであって、
所定の測定装置によって測定した測定値に基づいて、前記被写体に対する太陽光の方向を特定する処理と、
特定した前記太陽光の方向に基づいて、前記光源の発光時間を制御する処理と、
を実行させるプログラム。
【請求項９】
被写体である人物に対して、複数回、所定の指示を行う指示手段と、
前記所定の指示ごとに撮像部に前記被写体を撮像させる撮像制御手段と、
前記被写体を撮像した前記撮像部から、撮像回数分の被写体画像を取得する被写体画像取得手段と、
取得した前記撮像回数分の被写体画像を比較することによって、被写体画像における人物の特徴領域を検知し、検知した特徴領域を示す特徴領域画像を取得する特徴領域画像取得手段と、
前記特徴領域画像取得手段が取得した前記特徴領域画像を前記人物の視点を検出する処理におけるパタンマッチング用のテンプレートとして記憶手段に記憶させる記憶制御手段と、を備える、
ことを特徴とするテンプレート取得装置。
【請求項１０】
前記指示手段が行う複数回の指示は、開眼指示と閉眼指示とを含み、
前記被写体画像取得手段は、
開眼指示に対応した第１の被写体画像と、閉眼指示に対応した第２の被写体画像を取得し、
前記特徴領域画像取得手段は、
前記第１の被写体画像と前記第２の被写体画像を比較することによって、被写体画像における人物の目近傍の領域を検知し、その目近傍の領域を示す画像を取得し、
前記記憶制御手段は、
取得した前記人物の目近傍の領域を示す画像を前記人物の視点を検出する処理におけるパタンマッチング用のテンプレートとして記憶手段に記憶させる、
ことを特徴とする請求項９に記載のテンプレート取得装置。
【請求項１１】
コンピュータに、
被写体である人物に対して、複数回、所定の指示を行う処理と、
前記所定の指示ごとに撮像部に前記被写体を撮像させる処理と、
前記被写体を撮像した前記撮像部から、撮像回数分の被写体画像を取得する処理と、
取得した前記撮像回数分の被写体画像を比較することによって、被写体画像における人物の特徴領域を検知し、検知した特徴領域を示す特徴領域画像を取得する処理と、
取得した前記特徴領域画像を前記人物の視点を検出する処理におけるパタンマッチング用のテンプレートとして記憶手段に記憶させる処理と、
を実行させるプログラム。
【請求項１】
被写体の撮像を複数フィールドの撮像に分けて行う撮像部と前記撮像部が撮像する前記被写体に光を照射する光源とを制御し、前記複数フィールドの撮像のうちの所定の一部のフィールドの撮像においてのみ前記光源を発光させる撮像制御装置であって、
所定の測定装置によって測定した測定値に基づいて、前記被写体に対する太陽光の方向を特定する方向特定手段と、
前記方向特定手段が特定した前記太陽光の方向に基づいて、前記光源の発光時間を制御する制御手段と、を備える、
ことを特徴とする撮像制御装置。
【請求項２】
前記制御手段は、
前記方向特定手段が特定した前記太陽光の方向に基づいて、前記被写体を照らす光の明るさを推定し、推定した明るさが明るいほど、前記光源の発光時間を長く制御する、
ことを特徴とする請求項１に記載の撮像制御装置。
【請求項３】
前記制御手段は、
前記方向特定手段が特定した前記太陽光の方向に基づいて、前記光源の発光時間と前記撮像部のシャッター時間とを制御する、
ことを特徴とする請求項１又は２に記載の撮像制御装置。
【請求項４】
前記制御手段は、
前記方向特定手段が特定した前記太陽光の方向に基づいて、前記被写体を照らす光の明るさを推定し、推定した明るさが明るいほど、前記撮像部のシャッター時間を長く制御する、
ことを特徴とする請求項３に記載の撮像制御装置。
【請求項５】
前記方向特定手段は、
前記所定の測定装置によって測定した、現在の日時と、前記撮像部の緯度・経度と、前記撮像部が向く方位と、に基づいて前記被写体に対する太陽光の方向を特定する、
ことを特徴とする請求項１乃至４のいずれか１項に記載の撮像制御装置。
【請求項６】
前記制御手段は、
前記方向特定手段が特定した前記太陽光の方向とライトセンサによって測定した前記被写体の周囲の環境光の照度とに基づいて、前記光源の発光時間を制御する、
ことを特徴とする請求項１乃至５のいずれか１項に記載の撮像制御装置。
【請求項７】
前記制御手段は、
前記方向特定手段が特定した前記太陽光の方向とライトセンサによって測定した前記被写体の周囲の環境光の照度とに基づいて、前記撮像部のシャッター時間を制御する、
ことを特徴とする請求項３又は４に記載の撮像制御装置。
【請求項８】
コンピュータに、
被写体の撮像を複数フィールドの撮像に分けて行う撮像部と前記撮像部が撮像する前記被写体に光を照射する光源とを制御し、前記複数フィールドの撮像のうちの所定の一部のフィールドの撮像においてのみ前記光源を発光させる処理を実行させるプログラムであって、
所定の測定装置によって測定した測定値に基づいて、前記被写体に対する太陽光の方向を特定する処理と、
特定した前記太陽光の方向に基づいて、前記光源の発光時間を制御する処理と、
を実行させるプログラム。
【請求項９】
被写体である人物に対して、複数回、所定の指示を行う指示手段と、
前記所定の指示ごとに撮像部に前記被写体を撮像させる撮像制御手段と、
前記被写体を撮像した前記撮像部から、撮像回数分の被写体画像を取得する被写体画像取得手段と、
取得した前記撮像回数分の被写体画像を比較することによって、被写体画像における人物の特徴領域を検知し、検知した特徴領域を示す特徴領域画像を取得する特徴領域画像取得手段と、
前記特徴領域画像取得手段が取得した前記特徴領域画像を前記人物の視点を検出する処理におけるパタンマッチング用のテンプレートとして記憶手段に記憶させる記憶制御手段と、を備える、
ことを特徴とするテンプレート取得装置。
【請求項１０】
前記指示手段が行う複数回の指示は、開眼指示と閉眼指示とを含み、
前記被写体画像取得手段は、
開眼指示に対応した第１の被写体画像と、閉眼指示に対応した第２の被写体画像を取得し、
前記特徴領域画像取得手段は、
前記第１の被写体画像と前記第２の被写体画像を比較することによって、被写体画像における人物の目近傍の領域を検知し、その目近傍の領域を示す画像を取得し、
前記記憶制御手段は、
取得した前記人物の目近傍の領域を示す画像を前記人物の視点を検出する処理におけるパタンマッチング用のテンプレートとして記憶手段に記憶させる、
ことを特徴とする請求項９に記載のテンプレート取得装置。
【請求項１１】
コンピュータに、
被写体である人物に対して、複数回、所定の指示を行う処理と、
前記所定の指示ごとに撮像部に前記被写体を撮像させる処理と、
前記被写体を撮像した前記撮像部から、撮像回数分の被写体画像を取得する処理と、
取得した前記撮像回数分の被写体画像を比較することによって、被写体画像における人物の特徴領域を検知し、検知した特徴領域を示す特徴領域画像を取得する処理と、
取得した前記特徴領域画像を前記人物の視点を検出する処理におけるパタンマッチング用のテンプレートとして記憶手段に記憶させる処理と、
を実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２０１２−１６０９７８（Ｐ２０１２−１６０９７８Ａ）
【公開日】平成２４年８月２３日（２０１２．８．２３）
【国際特許分類】
【出願番号】特願２０１１−２０２４４（Ｐ２０１１−２０２４４）
【出願日】平成２３年２月１日（２０１１．２．１）
【出願人】（０００２３１５１２）日本精機株式会社 (1,561)
【Ｆターム（参考）】
【公開日】平成２４年８月２３日（２０１２．８．２３）
【国際特許分類】
【出願日】平成２３年２月１日（２０１１．２．１）
【出願人】（０００２３１５１２）日本精機株式会社 (1,561)
【Ｆターム（参考）】
[ Back to top ]