撮像システム、撮像方法及びプログラム
【課題】被写体の動作に対応した適切なタイミングで可視光撮像する。
【解決手段】赤外光により被写体の複数の赤外光画像を連続して撮像する赤外光撮像部と、複数の赤外光画像のそれぞれが撮像されたタイミング及び複数の赤外光画像の画像内容に基づいて、複数の赤外光画像に含まれる被写体が予め定められた条件に適合するタイミングを予測するタイミング予測部と、タイミング予測部が予測したタイミングにおいて、可視光により可視光画像を撮像する可視光撮像部とを備える。
【解決手段】赤外光により被写体の複数の赤外光画像を連続して撮像する赤外光撮像部と、複数の赤外光画像のそれぞれが撮像されたタイミング及び複数の赤外光画像の画像内容に基づいて、複数の赤外光画像に含まれる被写体が予め定められた条件に適合するタイミングを予測するタイミング予測部と、タイミング予測部が予測したタイミングにおいて、可視光により可視光画像を撮像する可視光撮像部とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像システム、撮像方法、及びプログラムに関し、特に、赤外光画像から被写体が所定の条件を満たすタイミングを予測して、予測したタイミングで可視光画像を撮像する撮像システム、撮像方法、及びプログラムに関する。
【背景技術】
【０００２】
特許文献１及び特許文献２には、近赤外光撮像により侵入者を検出し、侵入者が検出された場合に可視光撮像する撮像装置が記載されている。また、特許文献３には、可視光画像と遠赤外線画像とを同時に撮像し、遠赤外線画像から認識した動物の輪郭形状の画像を可視光画像から特定する人体検知方法が記載されている。特許文献４には、対象者の網膜からの赤外線を検出することで、対象者が所定の方向を向いていることを検知する顔画像データ取り込み方法が記載されている。
【特許文献１】特開２００１−２７５０２１号公報
【特許文献２】特開２０００−１７５１７６号公報
【特許文献３】特開２００４−２１９２７７号公報
【特許文献４】特許第３１１９５５８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、監視カメラとして利用される撮像システムには、侵入者を識別するために、侵入者の顔が大きく写っている画像、侵入者に焦点が合っている画像等の証拠能力の高い画像を撮像することが求められる。このため、被写体の動作に対応した適切なタイミングで可視光撮像することが大切である。
【０００４】
そこで本発明は、上記の課題を解決することができる撮像システム、撮像方法およびプログラムを提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。
【課題を解決するための手段】
【０００５】
上記課題を解決するために、本発明の第１の形態においては、撮像システムは、赤外光により被写体の複数の赤外光画像を連続して撮像する赤外光撮像部と、複数の赤外光画像のそれぞれが撮像されたタイミング及び複数の赤外光画像の画像内容に基づいて、複数の赤外光画像に含まれる被写体が予め定められた条件に適合するタイミングを予測するタイミング予測部と、タイミング予測部が予測したタイミングにおいて、可視光により可視光画像を撮像する可視光撮像部とを備える。
【０００６】
本発明の第２の形態においては、撮像方法は、赤外光により被写体の複数の赤外光画像を連続して撮像する赤外光撮像段階と、複数の赤外光画像のそれぞれが撮像されたタイミング及び複数の赤外光画像の画像内容に基づいて、複数の赤外光画像に含まれる被写体が予め定められた条件に適合するタイミングを予測するタイミング予測段階と、タイミング予測段階で予測されたタイミングにおいて、可視光により可視光画像を撮像する可視光撮像段階とを備える。
【０００７】
本発明の第３の形態においては、撮像システム用のプログラムであって、撮像システムを、赤外光により被写体の複数の赤外光画像を連続して撮像する赤外光撮像部、複数の赤外光画像のそれぞれが撮像されたタイミング及び複数の赤外光画像の画像内容に基づいて、複数の赤外光画像に含まれる被写体が予め定められた条件に適合するタイミングを予測するタイミング予測部、及びタイミング予測部が予測したタイミングにおいて、可視光により可視光画像を撮像する可視光撮像部として機能させる。
【０００８】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【発明の効果】
【０００９】
以上の説明から明らかなように、本発明によれば、赤外光画像に含まれる画像内容から、被写体の動作を予測して、適切なタイミングで可視光画像を撮像することができる。
【発明を実施するための最良の形態】
【００１０】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００１１】
図１は、本発明の一実施形態に係る撮像システム１００の全体構成を示す。撮像システム１００は、赤外光により監視領域を撮像する赤外光撮像部１０２と、監視領域を可視光により撮像する複数の可視光撮像部１０３ａおよび可視光撮像部１０３ｂ（以下、可視光撮像部１０３と総称する。）と、可視光を照射する複数の可視光照射部１０４ａおよび可視光照射部１０４ｂ（以下、可視光照射部１０４と総称する。）と、赤外光撮像部１０２、可視光撮像部１０３、および可視光照射部１０４を制御する制御部１０１とを備える。
【００１２】
制御部１０１は、赤外光撮像部１０２が撮像した赤外光画像を、赤外光撮像部１０２から受信する。制御部１０１は、受信した赤外光画像の内容に基づいて、複数の赤外光画像に含まれる被写体を検出する。制御部１０１は、検出した被写体が、所定の条件に適合する状態になるタイミングを予測する。そして、制御部１０１は、予測したタイミングで、可視光撮像部１０３に被写体を撮像させる。このとき、制御部１０１は、複数の可視光撮像部１０３の中から、被写体をより適切な角度から撮像することができる可視光撮像部１０３をより優先して選択して、選択した可視光撮像部１０３に被写体を撮像させる。
【００１３】
また、制御部１０１は、現在の監視領域の明るさに基づいて、可視光撮像部１０３が撮像するタイミングにおける監視領域の明さを判断する。例えば、撮像システム１００は、可視光撮像部１０３の撮像範囲の明るさを測定するセンサを有し、制御部１０１は、センサの測定値に応じて、明るさが十分であるか否かを判断する。制御部１０１は、可視光撮像部１０３の撮像に明るさが不十分であると判断した場合に、可視光照射部１０４に対して可視光の照射を指示する。制御部１０１は、可視光撮像部１０３の撮像と可視光照射部１０４の照射とを同時に実行させるべく、撮像及び照射を指示する。センサには、ＣｄＳ（硫酸カドミウムセル）や、アモルファスシリコン半導体可視光センサ等を利用できる。なお、制御部１０１は、選択した可視光撮像部１０３を撮像する場合に、複数の可視光照射部１０４の中から、選択された可視光撮像部１０３が撮像する被写体により適切な角度から可視光を照射することができる可視光照射部１０４をより優先して選択して、選択した可視光照射部１０４に対して可視光の照射を指示する。
【００１４】
可視光撮像部１０３は、制御部１０１の予測したタイミングにおいて被写体を撮像するので、予め定められた条件に適合すると予測される被写体を撮像することができる。また、可視光撮像部１０３は、予め定められた条件に適合すると予測されるタイミング以外の撮像を実行せずともよいので、監視領域を常時撮像する場合、または被写体の赤外光を感知して撮像を開始する場合に比べ、画像データ量を削減することができる。また、監視領域の明るさが、可視光撮像部１０３の撮像に不十分である場合であっても、制御部１０１が、可視光照射部１０４に可視光を照射させることで、明瞭な被写体の像を撮像することができる。さらに、可視光照射部１０４の可視光の照射は、可視光撮像部１０３による被写体の撮像と同期して、撮像のときだけ実行されるので、可視光撮像部１０３によって被写体が撮像されることを、被写体に意識させずに実行することができる。
【００１５】
なお、撮像システム１００は、１つの監視領域を監視する複数の赤外光撮像部１０２を有してもよい。複数の赤外光撮像部１０２のそれぞれは、監視領域における異なる複数の撮像領域をそれぞれ撮像して、複数の赤外光撮像部１０２が共同して監視領域の全体を撮像する。この場合、複数の赤外光撮像部１０２のいずれの撮像領域にも含まれない部分、即ち監視領域における死角が存在しないのが好ましい。
【００１６】
また、複数の可視光撮像部１０３は、１つの監視領域を撮像することにより監視領域を監視してもよい。複数の可視光撮像部１０３のそれぞれは、監視領域における異なる複数の撮像領域をそれぞれ撮像して、複数の可視光撮像部１０３が共同して監視領域の全体を撮像する。この場合、複数の可視光撮像部１０３のいずれの撮像領域にも含まれない部分、即ち監視領域における死角が存在しないのが好ましい。可視光撮像部１０３は、静止画像に限らず、フレーム画像、フィールド画像等の動画構成画像を含む動画像を撮像してもよい。
【００１７】
さらに、赤外光撮像部１０２と可視光撮像部１０３とは、一体構成を有し、同一の筐体内に設置されてもよい。また、赤外光撮像部１０２及び可視光撮像部１０３のそれぞれが、被写体からの光を結像する光学ユニットと、ＣＣＤ、ＣＭＯＳ等の撮像デバイスとをそれぞれ有してもよい。
【００１８】
また、１つの光学系及び１つの撮像デバイスを有する撮像ユニットが、赤外光撮像部１０２及び可視光撮像部１０３の機能を有してもよい。この場合、１つの撮像デバイスは、可視光を光電変換する複数の画素と、赤外光を光電変換する複数の画素とが配列された構成を有する。
【００１９】
また、１つの光学系及び２つの撮像デバイスを有する撮像ユニットが、赤外光撮像部１０２及び可視光撮像部１０３の機能を有してもよい。この場合、撮像ユニットは、被写体からの光を分光する分光器を含む１つの光学系と、分光器によって分光された一方の光を受光する赤外光用の撮像デバイスと、分光器によって分光された他方の光を受光する可視光用の撮像デバイスとを有する。
【００２０】
図２は、制御部１０１のブロック構成図の一例を示す。制御部１０１は、赤外光画像格納部１０５、顔向き特定部１０６、被写体位置特定部１０７、タイミング予測部１０８、被写体位置予測部１０９、被写体速さ予測部１１０、撮像条件決定部１１１、可視光撮像制御ユニット１２０および可視光画像格納部１１２を有する。
【００２１】
赤外光画像格納部１０５は、赤外光撮像部１０２によって撮像された赤外光画像を格納する。顔向き特定部１０６は、赤外光画像格納部１０５に格納された赤外光画像の画像内容から、人物の顔の向きを特定する。例えば、顔向き特定部１０６は、赤外光画像に含まれるオブジェクトの形状と、顔の向き毎に予め定められた人物の顔の形状との間のパターンマッチング等により、赤外光画像における人物の顔の向きを検出する。なお、顔向き特定部１０６は、赤外光画像の画像内容に含まれる温度分布に基づいて、人物の顔の位置を検出してもよい。顔向き特定部１０６はさらに、温度分布に基づいて、検出した人物の顔の位置から顔の向きを特定してもよい。
【００２２】
被写体位置特定部１０７は、赤外光画像格納部１０５に格納された赤外光画像の画像内容から、被写体の位置を特定する。例えば、被写体位置特定部１０７は、赤外光画像に含まれるオブジェクトの形状と、予め定められた被写体の形状との間のパターンマッチング等により、赤外光画像における被写体の位置を検出する。なお、被写体位置特定部１０７は、赤外光画像の画像内容に含まれる温度分布に基づいて、被写体の位置を検出する。そして、被写体位置特定部１０７は、検出された被写体の位置と、赤外光撮像部１０２の設置されている位置とから、監視領域における被写体の位置を特定する。
【００２３】
タイミング予測部１０８は、赤外光画像格納部１０５に格納された連続する複数の赤外光画像の画像内容に基づいて、画像内容に含まれる被写体を検出する。そして、タイミング予測部１０８は、被写体が予め定められた条件に適合するタイミングを予測する。例えば、タイミング予測部１０８は、顔向き特定部１０６が特定した、複数の赤外光画像のそれぞれにおける被写体の顔の向きのそれぞれから、被写体の顔の向きが予め定められた方向を向くタイミングを予測する。また、タイミング予測部１０８は、被写体位置特定部１０７が特定した、複数の赤外光画像のそれぞれにおける被写体の位置のそれぞれから、被写体の位置が予め定められた地点に到達するタイミングを予測する。そして、タイミング予測部１０８は、可視光撮像部１０３及び可視光照射部１０４に対して、予測したタイミングを送信する。
【００２４】
なお、予め適合する条件は、可視光撮像部１０３に対して正対する方向に人物の顔の向きが向くという条件、可視光撮像部１０３が撮像可能な位置に被写体が到達するという条件の他、金庫等が設置された重要地点に被写体が到達するという条件、または可視光照射部１０４による可視光の照射される位置に被写体が到達するという条件であってもよい。
【００２５】
被写体位置予測部１０９は、被写体位置特定部１０７によって特定された、複数の時刻におけるそれぞれの被写体の監視領域での位置に基づいて、タイミング予測部１０８によって予測されたタイミングにおける被写体の位置を予測する。被写体速さ予測部１１０は、被写体位置特定部１０７によって特定された、複数の時刻におけるそれぞれの被写体の監視領域での位置に基づいて、タイミング予測部１０８によって予測されたタイミングにおける被写体の速さを予測する。なお、被写体速さ予測部１１０は、被写体の速さおよび加速度を予測してもよい。
【００２６】
撮像条件決定部１１１は、タイミング予測部１０８によって予測されたタイミングにおける被写体の予測される位置、速さ、または加速度に基づいて、可視光撮像部１０３が撮像する場合の撮像条件を決定する。また、撮像条件決定部１１１は、タイミング予測部１０８によって予測されたタイミングにおける監視領域の明るさを判断して、可視光照射部１０４に可視光を照射させるか否かの決定をする。
【００２７】
なお、可視光撮像制御ユニット１２０は、顔向き特定部１０６が特定した顔の向きまたは被写体位置特定部１０７が特定した被写体の位置に基づいて、可視光画像を撮像すべき可視光撮像部１０３および被写体に可視光を照射すべき可視光照射部１０４を選択する。そして、選択した可視光撮像部１０３を特定する情報をタイミング予測部１０８に供給する。タイミング予測部１０８は、可視光撮像制御ユニット１２０から供給された情報によって特定される可視光撮像部１０３が撮像するタイミングを、上述した方法で予測する。また、可視光撮像制御ユニット１２０は、選択した可視光撮像部１０３を特定する情報および選択した可視光照射部１０４を特定する情報を撮像条件決定部１１１に供給する。タイミング予測部１０８は、可視光撮像制御ユニット１２０から供給された情報によって特定される可視光撮像部１０３の撮像条件を、上述した方法で決定する。また、タイミング予測部１０８は、可視光撮像制御ユニット１２０から供給された情報によって特定される可視光照射部１０４に可視光を照射させるか否かの決定をしてもよい。なお、可視光撮像制御ユニット１２０の機能および動作は、図３に関連してより詳細に説明する。
【００２８】
なお、赤外光撮像部１０２は、監視領域に対して赤外光を照射する赤外光照射部（図示しない）を有してもよい。赤外光撮像部１０２は、赤外光照射部が照射した赤外光の反射像を赤外光画像として撮像する。反射像を撮像した赤外光画像は、目など、赤外光を良好に反射する部分が強調された画像となり、赤外光画像に含まれる被写体の検出、および人物の顔の向きを特定するのに好ましい画像となる。
【００２９】
また、制御部１０１は、監視領域において固定して存在する物体の位置と、物体の発生する温度を予め記憶している監視領域温度記憶部（図示しない）をさらに有してもよい。タイミング予測部１０８、顔向き特定部１０６、および被写体位置特定部１０７は、赤外光撮像部１０２が撮像した赤外光画像の画像内容に含まれる物体の温度および位置と、監視領域温度記憶部に記憶された物体の温度および物体の位置とを比較する。タイミング予測部１０８、顔向き特定部１０６、および被写体位置特定部１０７は、比較した結果から、赤外光画像に含まれる物体が、監視領域に固定された物体であるか否かを特定する。タイミング予測部１０８、顔向き特定部１０６、および被写体位置特定部１０７は、赤外光画像に含まれる物体のうち、固定された物体でないと特定された物体を被写体として検出して、固定された物体と被写体との相対位置から、被写体の位置を特定しても良い。
【００３０】
図３は、可視光撮像制御ユニット１２０のブロック構成の一例を示す。可視光照射部選択部３１０は、複数の赤外光画像のそれぞれが撮像されたタイミングおよび複数の赤外光画像の画像内容に基づいて、タイミング予測部１０８が予測したタイミングで可視光を照射する可視光照射部１０４を複数の可視光照射部１０４の中から選択する。具体的には、可視光照射部選択部３１０は、複数の赤外光画像のそれぞれが撮像されたタイミングおよび複数の赤外光画像の画像内容に基づいて特定された予め定められた被写体の動きに基づいて、タイミング予測部１０８が予測したタイミングで可視光を照射する可視光照射部１０４を複数の可視光照射部１０４の中から選択する。例えば、可視光照射部選択部３１０は、予め定められた被写体の動きに基づいて、予め定められた被写体の位置との間の位置関係、および、予め定められた被写体の向きと可視光の照射方向との間の関係の少なくとも一方が予め定められた条件に適合することが予測される可視光照射部１０４を、複数の可視光照射部１０４の中から選択する。そして、可視光照射制御部３３０は、可視光照射部選択部３１０が選択した可視光照射部１０４に、タイミング予測部１０８が予測したタイミングで可視光を照射させる。
【００３１】
可視光撮像部選択部３２０は、複数の赤外光画像のそれぞれが撮像されたタイミングおよび複数の赤外光画像の画像内容に基づいて、可視光画像を撮像する可視光撮像部１０３を複数の可視光撮像部１０３の中から選択する。具体的には、可視光撮像部選択部３２０は、複数の赤外光画像のそれぞれが撮像されたタイミングおよび複数の赤外光画像の画像内容に基づいて特定された予め定められた被写体の動きに基づいて、可視光画像を撮像する可視光撮像部１０３を複数の可視光撮像部１０３の中から選択する。例えば、可視光撮像部選択部３２０は、予め定められた被写体の動きに基づいて、予め定められた被写体の位置との間の位置関係、および、予め定められた被写体の向きと撮像方向との間の関係の少なくとも一方が予め定められた条件に適合することが予測される可視光撮像部１０３を、可視光画像を撮像する可視光撮像部１０３として複数の可視光撮像部１０３の中から選択する。
【００３２】
可視光撮像制御部３４０は、可視光撮像部選択部３２０が選択した可視光撮像部１０３に、タイミング予測部１０８が予測したタイミングで可視光画像を撮像させる。なお、タイミング予測部１０８は、予め定められた被写体の動きに基づいて、予め定められた被写体が予め定められた条件に適合するタイミングを予測する。具体的には、タイミング予測部１０８は、予め定められた被写体の動きに基づいて、可視光撮像部選択部３２０により選択された可視光撮像部１０３と予め定められた被写体の位置との間の位置関係、および、可視光撮像部選択部３２０により選択された可視光撮像部１０３の撮像方向と予め定められた被写体の向きとの間の関係の少なくとも一方が予め定められた条件に適合するタイミングを予測する。
【００３３】
図４は、顔向き特定部１０６が赤外光画像に含まれる人物の顔の向きを特定する方法の一例を示す。顔向き特定部１０６は、時刻ｔ１において撮像された赤外光画像ａ１に含まれる人物の顔部分の画像から、人物の顔の向きを特定する。顔向き特定部１０６は、赤外光画像に含まれる人物の顔部分が発する温度分布を取得する。顔向き特定部１０６は、取得した温度分布から目の位置を特定する。顔向き特定部１０６は、特定した目の位置から目の偏度を測定して、人物の顔の向きを特定する。顔向き特定部１０６は、時刻ｔ１において撮像された赤外光画像ａ１において目の位置が検出できないので、赤外光撮像部１０２に対して人物が後ろを向いていると特定する。顔向き特定部１０６は、時刻ｔ２において撮像された赤外光画像ａ２において目の位置を一点検出して、検出した一点の目の位置と顔部分の偏度とから、赤外光撮像部１０２に対して人物が横を向いていると特定する。顔向き特定部１０６は、時刻ｔ３において撮像された赤外光画像ａ３において目の位置を二点検出して、検出した二点の目の位置と顔部分の偏度とから、赤外光撮像部１０２に対して人物が斜め前方を向いていると特定する。このようにして、顔向き特定部１０６は、赤外光撮像部１０２に対する人物の顔の向きを特定する。
【００３４】
タイミング予測部１０８は、顔向き特定部１０６がそれぞれ特定した目の位置と、赤外光画像ａ１〜ａ４を撮像したそれぞれの時刻ｔ１〜ｔ３と、可視光撮像部１０３が設置された位置とから、人物の回転速度を算出して、人物が可視光撮像部１０３に対して正対するタイミングｔｍを予測する。タイミング予測部１０８は、タイミングｔｍにおいて可視光撮像部１０３に撮像させることで、可視光撮像部１０３が人物の顔の正面を捉えると予測された可視光画像Ａｍが得られる。
【００３５】
なお、顔向き特定部１０６は、人物の顔部分の温度分布から、鼻、耳、又は口の位置を取得して顔の向きを特定してもよい。また、タイミング予測部１０８が予測するタイミングは、人物が可視光撮像部１０３に対して正対するタイミングに限らず、人物が特定の向きを向く場合、例として可視光撮像部１０３に対して横方向を向く場合等であってもよい。さらに、顔向き特定部１０６は、連続する赤外光画像ａ１〜ａ３のそれぞれに含まれる人物の顔の向きを特定しているが、少なくとも２枚以上の連続する赤外光画像のそれぞれに含まれる人物の顔の向きを特定すればよい。タイミング予測部１０８がより正確なタイミングを予測するためには、顔向き特定部１０６がより複数の連続する赤外光画像に含まれる、可視光撮像部１０３に対する人物の顔の向きをそれぞれ特定するのが好ましい。
【００３６】
図５は、被写体位置特定部１０７が、赤外光画像に含まれる監視領域における被写体の位置を特定する方法の一例を示す。被写体位置特定部１０７は、赤外光画像に含まれる温度分布を取得する。被写体位置特定部１０７は、取得した温度分布から、赤外光画像に含まれる物体を検出する。被写体位置特定部１０７は、検出した物体から被写体を特定する。被写体位置特定部１０７は、被写体を撮像した赤外光撮像部１０２の設置位置を取得する。被写体位置特定部１０７は、赤外光撮像部１０２の設置位置と、赤外光画像に含まれる検出した物体の位置および特定した被写体の位置とから、監視領域における被写体の位置を特定する。
【００３７】
被写体位置特定部１０７は、連続する時刻ｔ１〜ｔ３にそれぞれ撮像された赤外光画像ａ１〜ａ３に含まれる温度分布をそれぞれ取得して、赤外光画像における被写体の位置を取得する。被写体位置特定部１０７はさらに、被写体を撮像した赤外光撮像部１０２の設置位置を取得する。被写体位置特定部１０７は、赤外光画像における被写体の位置と、被写体を撮像した赤外光撮像部１０２の設置位置とから、赤外光画像ａ１〜ａ３のそれぞれに含まれる被写体の監視領域における位置をそれぞれ特定する。タイミング予測部１０８は、被写体位置特定部１０７が特定した被写体の監視領域におけるそれぞれの位置と、赤外光画像ａ１〜ａ３を撮像したそれぞれの時刻ｔ１〜ｔ３とから、被写体の動く速さを算出して、被写体が特定の位置に到達するタイミングｔｍを予測する。タイミング予測部１０８は、タイミングｔｍにおいて可視光撮像部１０３に撮像を実行させることで、被写体が存在すると予測された位置を含む可視光画像Ａｍが得られる。
【００３８】
なお、被写体位置特定部１０７は、温度分布から、例として目、鼻、耳、又は口のような部位の温度分布を検出して、被写体を特定してもよい。また、被写体位置特定部１０７は、赤外光画像の画像内容から、被写体の位置の他、金庫の位置等を取得して、被写体の位置、金庫の位置、および赤外光撮像部１０２の設置位置から相対的に被写体の監視領域の位置を取得しても良い。さらには、被写体位置特定部１０７が被写体の位置を特定する赤外光画像を連続するａ１〜ａ３としたが、少なくとも２枚以上の連続する赤外光画像に含まれる被写体の位置を特定すればよい。タイミング予測部１０８が、より正確なタイミングを予測するためには、被写体位置特定部１０７がより複数の連続する赤外光画像に含まれる被写体の位置を特定するのが好ましい。
【００３９】
図６は、撮像条件決定部１１１が可視光撮像部１０３の撮像方向を決定する方法の一例を示す。被写体位置予測部１０９は、連続する複数の赤外光画像ａ１〜ａ４から特定された被写体のそれぞれの位置と、それぞれの赤外光画像が撮像された時刻ｔ１〜ｔ４とを取得する。また、被写体位置予測部１０９は、タイミング予測部１０８から可視光撮像部１０３に撮像を実行させるタイミングｔｍを取得する。被写体位置予測部１０９は、監視領域における被写体のそれぞれの位置と、赤外光画像が撮像されたそれぞれの時刻と、タイミングｔｍとから、タイミングｔｍにおける被写体の監視領域における位置を予測する。撮像条件決定部１１１は、被写体位置予測部１０９が予測した被写体の監視領域における予測位置と、可視光撮像部１０３が現在向いている撮像方向および画角とを取得する。撮像条件決定部１１１は、タイミングｔｍにおいて可視光撮像部１０３が被写体を撮像できる方向に、可視光撮像部１０３の撮像方向を決定する。すなわち、撮像条件決定部１１１は、タイミングｔｍにおいて被写体が撮像できるように、撮像領域αから撮像領域βに可視光撮像部１０３の撮像方向を決定する。
【００４０】
なお、撮像条件決定部１１１は、被写体速さ予測部１１０によって予測された被写体の動きの速さおよび加速度をさらに取得して、可視光撮像部１０３の撮像方向を決定してもよい。この場合、被写体位置予測部１０９はさらに、被写体速さ予測部１１０から取得した、タイミングｔｍにおいて予測される被写体の速さおよび加速度から被写体の位置を予測する。撮像条件決定部１１１は、予測された被写体の位置を撮像できる方向に、可視光撮像部１０３の撮像方向を決定する。
【００４１】
図７は、撮像条件決定部１１１が可視光撮像部１０３の画角を決定する方法の一例を示す。被写体位置予測部１０９は、連続する複数の赤外光画像ａ１〜ａ４から特定された被写体のそれぞれの位置と、それぞれの赤外光画像が撮像された時刻ｔ１〜ｔ４とを取得する。また、被写体位置予測部１０９は、タイミング予測部１０８から可視光撮像部１０３に撮像を実行させるタイミングｔｍを取得する。被写体位置予測部１０９は、監視領域における被写体のそれぞれの位置と、赤外光画像が撮像されたそれぞれの時刻と、タイミングｔｍとから、タイミングｔｍにおける被写体の監視領域における位置を予測する。撮像条件決定部１１１は、被写体位置予測部１０９が予測した被写体の監視領域における予測位置と、可視光撮像部１０３が現在向いている撮像の向きおよび画角とを取得する。撮像条件決定部１１１は、タイミングｔｍにおいて可視光撮像部１０３が被写体を撮像できる画角に、可視光撮像部１０３の画角を決定する。すなわち、撮像条件決定部１１１は、タイミングｔｍにおいて被写体が撮像できるように、撮像領域αから撮像領域βに可視光撮像部１０３の画角を決定する。
【００４２】
なお、撮像条件決定部１１１は、被写体速さ予測部１１０によって予測された被写体の動きの速さの変化をさらに取得して、可視光撮像部１０３の画角を決定してもよい。この場合、被写体位置予測部１０９はさらに、被写体速さ予測部１１０から取得した、タイミングｔｍにおいて予測される被写体の速さおよび加速度から被写体の位置を予測する。撮像条件決定部１１１は、予測された被写体の位置を撮像できる画角に、可視光撮像部１０３の画角を決定する。また、本例では画角を広げる例を示したが、撮像条件決定部１１１は、画角を狭めて被写体をフレーム全体に捉える決定をしてもよい。
【００４３】
図８は、赤外光撮像部１０２および可視光撮像部１０３が撮像する画像の一例を示す。本例では、赤外光撮像部１０２および可視光撮像部１０３が一体構成を有して、同一の筐体内に設置されている。赤外光撮像部１０２および可視光撮像部１０３は同一筐体内に設置されているので、撮像方向を変更して可視光画像を撮像する場合に、赤外光撮像部１０２および可視光撮像部１０３は、赤外光用の撮像デバイスまたは赤外光を光電変換する複数の画素による赤外光画像の取り込みを停止してもよい。本例では、撮像システム１００が、人物の顔の向きを特定して、赤外光撮像部１０２および可視光撮像部１０３が赤外光画像と可視光画像とを撮像する場合を示す。
【００４４】
赤外光撮像部１０２は、赤外光用の撮像デバイスまたは赤外光を光電変換する複数の画素を利用して、監視領域の赤外光画像を撮像する。可視光撮像部１０３は、可視光を撮像するタイミングおよび決定された撮像条件を制御部１０１から受け取る。赤外光撮像部１０２および可視光撮像部１０３は、可視光を撮像するタイミングに合わせて、赤外光用の撮像デバイスまたは赤外光を光電変換する複数の画素を利用した赤外光画像の取り込みを停止して、可視光用の撮像デバイスまたは可視光を光電変換する複数の画素を利用した可視光画像の取り込みを開始する。また、赤外光撮像部１０２および可視光撮像部１０３は、撮像条件に基づいて、撮像方向を変える、画角を変える等の動作をする。可視光撮像部１０３は、受け取ったタイミングにおいて可視光画像を撮像する。赤外光撮像部１０２および可視光撮像部１０３は、可視光画像の撮像が実行された後、可視光用の撮像デバイスまたは可視光を光電変換する複数の画素を利用した可視光画像の取り込みを停止する。赤外光撮像部１０２および可視光撮像部１０３は、撮像条件に基づいて変更された撮像方向または画角等を変更前に戻して、赤外光用の撮像デバイスまたは赤外光を光電変換する複数の画素による赤外光の取り込みを再開して、赤外光画像を撮像する。
【００４５】
図９は、可視光撮像部１０３および可視光照射部１０４と被写体の一例である人物との間の位置関係の一例を示す。可視光撮像部選択部３２０は、被写体位置特定部１０７によって特定された符号９１０で示される人物の、それぞれの赤外光画像における位置から、動き速度ｖｘを算出する。また、可視光撮像部選択部３２０は、顔向き特定部１０６がそれぞれの赤外光画像において特定した顔の向きを示す角度θから、人物の顔の回転速度ｖθを算出する。
【００４６】
可視光撮像部選択部３２０は、算出された動き速度ｖｘおよび回転速度ｖθに基づいて、人物認識に適する方向から所定時間内に顔を撮像することができる可視光撮像部１０３を選択する。なお、人物認識に適する方向とは、顔を斜めから撮像することができる方向であってよい。例えば、人物認識に適する方向は、顔の正面方向に対して予め定められた値を超える角度をなす方向であってよい。例えば、可視光撮像部選択部３２０は、人物の顔を右斜めから撮像することができる可視光撮像部１０３ａを選択する。そして、可視光撮像部選択部３２０は、可視光撮像部１０３ａを識別する情報をタイミング予測部１０８に供給する。タイミング予測部１０８は、例えば現在の動き速度ｖｘ、現在の人物の位置、および顔の回転速度ｖθに基づいて、符号９２０で示す位置に人物が移動するタイミングを予測する。具体的には、タイミング予測部１０８は、可視光撮像部１０３ａの撮像方向が人物の顔の向きと所定の角度をなし、かつ、可視光撮像部１０３ａと人物との間の距離が予め定められた値より小さくなる位置に人物が移動するタイミングを予測する。
【００４７】
また、可視光照射部選択部３１０は、タイミング予測部１０８が予測したタイミングで可視光を照射すべき可視光照射部１０４を選択する。可視光照射部選択部３１０は、可視光を照射する方向が当該タイミングにおける人物の顔の向きと所定の角度をなし、かつ、人物との間の距離が予め定められた値より小さい可視光照射部１０４ａを選択する。
【００４８】
また、可視光撮像部選択部３２０は、上記と同様の方法によって、人物を左斜めから撮像することができる可視光撮像部１０３ｂを選択する。タイミング予測部１０８は、可視光撮像部１０３ｂによって人物を左斜めから撮像することができる位置（例えば、符号９３０で示される位置）に達するタイミングを予測する。そして、可視光照射部選択部３１０は、上記と同様の方法によって、可視光を照射する可視光照射部１０４として可視光照射部１０４ｂを選択する。
【００４９】
図１０は、撮像システム１００の動作を示すフローチャートの一例を示す。赤外光撮像部１０２は、監視領域の赤外光画像を常時撮像している（ステップ２０１）。赤外光撮像部１０２は、撮像した赤外光画像を制御部１０１に送信する。制御部１０１は、送信された赤外光画像を受信して赤外光画像格納部１０５へと格納する。被写体位置特定部１０７は、赤外光画像格納部１０５に格納された連続する複数の赤外光画像の画像内容から、監視領域における被写体が存在するか否かを判断して、被写体が検出された場合には被写体の位置を特定する（ステップ２０２）。被写体位置特定部１０７は、連続する複数の赤外光画像の画像内容から、監視領域に存在する被写体のそれぞれの位置を特定する。また、被写体位置特定部１０７は、連続する複数の赤外光画像が撮像されたそれぞれの時刻を取得する。被写体位置特定部１０７は、特定した被写体の監視領域におけるそれぞれの位置と、取得したそれぞれの時刻をタイミング予測部１０８へと送る。顔向き特定部１０６は、連続する複数の赤外光画像の画像内容から特定された人物の顔部分をそれぞれ特定して、顔部分の温度分布から人物の顔の向きをそれぞれ特定する（ステップ２０３）。また、顔向き特定部１０６は、連続する複数の赤外光画像が撮像されたそれぞれの時刻を取得する。顔向き特定部１０６は、特定した人物のそれぞれの顔の向きと、取得したそれぞれの時刻をタイミング予測部１０８へと送る。
【００５０】
タイミング予測部１０８は、被写体位置特定部１０７から送られた監視領域における被写体のそれぞれの位置と、それぞれの時刻とから、被写体の動きの速さを算出して、所定の条件に適合する位置に被写体が到達するタイミングを予測する（ステップ２０４）。また、タイミング予測部１０８は、顔向き特定部１０６から送られた人物のそれぞれの顔の向きと、それぞれの時刻とから、人物の頭部の回転速度を算出して、所定の条件に適合する顔の向きになるタイミングを予測する（ステップ２０５）。
【００５１】
可視光撮像部選択部３２０は、可視光画像を撮像すべき可視光撮像部１０３を選択する（ステップ２０６）。例えば、可視光撮像部選択部３２０は、図９に例示した方法により、可視光画像を撮像すべき可視光撮像部１０３を選択する。タイミング予測部１０８は、予測した被写体の位置に関する可視光撮像部１０３のタイミングと、人物の顔の向きに関する可視光撮像部のタイミングとから、可視光撮像部１０３に撮像を行わせるタイミングを予測する（ステップ２０７）。このとき、タイミング予測部１０８は、Ｓ２０６において選択された可視光撮像部１０３に撮像を行わせるタイミングを予測する。
【００５２】
撮像条件決定部１１１は、可視光撮像部１０３の可視光画像の撮像において、撮像条件が設定されているか否かを判断する（ステップ２０８）。撮像条件決定部１１１は、被写体位置予測部１０９または被写体速さ予測部１１０から被写体位置予測部１０９に対して、被写体に関する予測値が送られたか否かにより、撮像条件を決定するか否かを判断する。撮像条件決定部１１１は、被写体位置予測部１０９または被写体速さ予測部１１０から被写体に関する予測値が送られなかった場合、可視光撮像部１０３の現在の状態を可視光撮像部１０３のデフォルト設定として決定する（ステップ２１８）。タイミング予測部１０８は、予測したタイミングを可視光撮像部１０３へ送信する。可視光撮像部１０３は、撮像する信号を受信して、監視領域の撮像をする（ステップ２１２）。
【００５３】
撮像条件決定部１１１は、可視光撮像部１０３の可視光画像の撮像において、撮像条件決定すると判断した場合、可視光撮像部１０３に対して撮像条件を決定する（ステップ２０９）。被写体位置予測部１０９は、被写体位置特定部１０７が特定した監視領域における被写体のそれぞれの位置と、被写体位置特定部１０７が取得したそれぞれの時刻と、タイミング予測部１０８が予測したタイミングとから、該タイミングにおいて監視領域に存在する被写体の位置を予測する。また、被写体速さ予測部１１０は、被写体位置特定部１０７が特定した被写体のそれぞれの位置と、被写体位置特定部１０７が取得したそれぞれの時刻と、タイミング予測部１０８が予測したタイミングとから、該タイミングにおける監視領域に存在する被写体の動きの速さと、被写体の動きの速さの変化を予測する。撮像条件決定部１１１は、少なくとも、予測された被写体の位置、予測された被写体の動きの速さ、または被写体の動きの速さの変化量を取得して、可視光撮像部１０３の撮像条件を決定する。撮像条件決定部１１１は、撮像条件として、少なくとも可視光撮像部１０３に合焦させる合焦位置、可視光撮像部１０３が撮像する撮像方向、可視光撮像部１０３が撮像する画角、可視光撮像部１０３の撮像するフレームレート、または可視光撮像部１０３が撮像する解像度を決定する。
【００５４】
撮像条件決定部１１１は、可視光撮像部１０３に合焦させる合焦位置の決定について、少なくとも被写体位置予測部１０９から取得した予測される被写体の位置と、可視光撮像部１０３が設置されている位置とから決定する。また、撮像条件決定部１１１は、可視光撮像部１０３が撮像する撮像方向の決定について、少なくとも被写体位置予測部１０９から取得した、予測される被写体の位置と、可視光撮像部１０３が設置されている位置とから決定する。撮像条件決定部１１１は、可視光撮像部１０３が撮像する画角について、被写体位置予測部１０９が取得した予測される被写体の位置と、可視光撮像部１０３が設置されている位置とから決定する。
【００５５】
可視光撮像部１０３が動画構成画像を撮像する場合、撮像条件決定部１１１は、可視光撮像部１０３の撮像するフレームレートの決定について、被写体速さ予測部１１０から取得した被写体の動きの速さまたは被写体の加速度と、被写体位置予測部１０９から取得した被写体の位置とから、可視光撮像部１０３が撮像するのに最適なフレームレートを決定する。撮像条件決定部１１１は、予測される被写体の動きの速さが予測される位置においてより速い場合には、可視光撮像部１０３の撮像するフレームレートをより大きく設定して、被写体の動作をより多いフレーム数で撮像する。これにより、被写体の動きが速い場合であっても、被写体の細かい動きを撮像することができる。逆に、撮像条件決定部１１１は、予測される被写体の動きの速さが予測される位置においてより遅い場合には、可視光撮像部１０３の撮像するフレームレートをより小さく設定して、被写体の動きをより少ないフレーム数で撮像する。これにより、被写体の動きが遅い場合には可視光画像のデータ量を抑えることができる。なお、フレームレートに一定のしきい値を設けておき、被写体の動きの速さが一定の値以下であった場合には設定されたしきい値のフレームレートで撮像することで、フレームレートが小さくなりすぎるのを防止するのが好ましい。
【００５６】
撮像条件決定部１１１は、可視光撮像部１０３が撮像する解像度の決定について、被写体位置予測部１０９から取得した予測される被写体の位置と、可視光撮像部１０３が設置された位置とから決定する。撮像条件決定部１１１は、予測される被写体の位置と、可視光撮像部１０３が設置された位置とから、撮像される被写体の大きさを算出する。撮像条件決定部１１１は、算出された被写体の大きさがより小さいと判断した場合には、被写体の解像度を大きくする決定をする。解像度を大きくするとは、光学レンズによって予測される位置をズームすること、または可視光撮像部１０３の受光素子数を多くすることで実現できる。また、受光素子数を上げるとは、可視光撮像部１０３が設置された位置に対して、被写体の監視領域における位置が撮像するのに十分に近い、即ち被写体の大きさが十分に大きい場合に、可視光撮像部１０３は、データ量を少なくするために受光素子数を間引いて撮像する。これに対して、可視光撮像部１０３が設置された位置に対して、被写体の監視領域における位置が遠い、即ち被写体が小さい場合に、可視光撮像部１０３が有する全ての受光素子数で被写体を撮像して、撮像された可視光画像に含まれる被写体の像を明瞭にすることをいう。
【００５７】
可視光撮像部１０３が動画構成画像を撮像する場合であって、撮像開始から可視光撮像部１０３と被写体との距離が遠ざかる、または近づく可視光画像を撮像する場合に、解像度を変化させるとより効果的である。可視光撮像部１０３は、撮像を実行するタイミングにおいて可視光画像の撮像を開始する。被写体位置予測部１０９は、被写体位置特定部１０７が特定した監視領域における被写体の位置と、タイミング予測部１０８が予測したタイミングにおいて予測した監視領域における被写体の位置とから、その後の被写体の位置を予測する。撮像条件決定部１１１は、被写体位置予測部１０９が予測した被写体の位置から解像度の変化量を決定して、可視光撮像部１０３へと送る。可視光撮像部１０３は、撮像条件決定部１１１が決定した解像度の変化量に合わせて解像度を変化して、動画構成画像を撮像する。
【００５８】
なお、より適した解像度で被写体を撮像するためには、被写体位置予測部１０９は、被写体速さ予測部１１０により予測された被写体の動きの速さまたは加速度をさらに取得して、被写体の位置を予測するとよい。また、被写体の進行方向が変わった場合など、タイミング予測部１０８がタイミングを予測する条件を細かく設定して、予測されたタイミングにおいて、撮像条件決定部１１１が撮像する解像度の変化量を細かく決定すると、さらに適した解像度に近づけられる。
【００５９】
撮像条件決定部１１１は、可視光撮像部１０３の撮像時に可視光照射部１０４を照射するか否かを決定する（ステップ２１０）。撮像条件決定部１１１は、光量測定部から取得した光量から周囲の明るさを特定して、可視光照射部１０４を照射するか否かの決定をする。撮像条件決定部１１１は、可視光撮像部１０３の撮像において、周囲の明るさが十分でないと判断した場合には、可視光照射部１０４に対して可視光の照射を決定する。
【００６０】
可視光照射部選択部３１０は、可視光を照射すべき可視光照射部１０４を、複数の可視光照射部１０４の中から選択する（ステップ２１４）。例えば、可視光照射部選択部３１０は、図９に例示した方法により、可視光を照射すべき可視光照射部１０４を選択する。タイミング予測部１０８は、可視光撮像部１０３と可視光照射部１０４とに対して、同じタイミングを送信することで、可視光撮像部１０３による可視光画像の撮像と、可視光照射部１０４による可視光の照射を同期させる。可視光照射部１０４は、可視光撮像部１０３の撮像と同期して監視領域に可視光を照射する（ステップ２１６）。
【００６１】
図１１は、制御部１０１のハードウェア構成の一例を示す。制御部１０１は、ホスト・コントローラ１５８２により相互に接続されるＣＰＵ１５０５、ＲＡＭ１５２０、グラフィック・コントローラ１５７５、及び表示装置１５８０を有するＣＰＵ周辺部と、入出力コントローラ１５８４によりホスト・コントローラ１５８２に接続される通信インターフェイス１５３０、ハードディスクドライブ１５４０、及びＣＤ−ＲＯＭドライブ１５６０を有する入出力部と、入出力コントローラ１５８４に接続されるＲＯＭ１５１０、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０を有するレガシー入出力部とを備える。
【００６２】
ホスト・コントローラ１５８２は、ＲＡＭ１５２０と、高い転送レートでＲＡＭ１５２０をアクセスするＣＰＵ１５０５、及びグラフィック・コントローラ１５７５とを接続する。ＣＰＵ１５０５は、ＲＯＭ１５１０、及びＲＡＭ１５２０に格納されたプログラムに基づいて動作して、各部の制御をする。グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等がＲＡＭ１５２０内に設けたフレーム・バッファ上に生成する画像データを取得して、表示装置１５８０上に表示させる。これに代えて、グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。
【００６３】
入出力コントローラ１５８４は、ホスト・コントローラ１５８２と、比較的高速な入出力装置であるハードディスクドライブ１５４０、通信インターフェイス１５３０、ＣＤ−ＲＯＭドライブ１５６０を接続する。ハードディスクドライブ１５４０は、ＣＰＵ１５０５が使用するプログラム、及びデータを格納する。通信インターフェイス１５３０は、ネットワーク通信装置１５９８に接続してプログラムまたはデータを送受信する。ＣＤ−ＲＯＭドライブ１５６０は、ＣＤ−ＲＯＭ１５９５からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０、及び通信インターフェイス１５３０に提供する。
【００６４】
また、入出力コントローラ１５８４には、ＲＯＭ１５１０と、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０の比較的低速な入出力装置とが接続される。ＲＯＭ１５１０は、制御部１０１が起動時に実行するブート・プログラムや、制御部１０１のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ１５５０は、フレキシブルディスク１５９０からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０、及び通信インターフェイス１５３０に提供する。入出力チップ１５７０は、フレキシブルディスク・ドライブ１５５０や、例えばパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。
【００６５】
ＣＰＵ１５０５が実行するプログラムは、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５、またはＩＣカード等の記録媒体に格納されて利用者によって提供される。記録媒体に格納されたプログラムは圧縮されていても非圧縮であってもよい。プログラムは、記録媒体からハードディスクドライブ１５４０にインストールされ、ＲＡＭ１５２０に読み出されてＣＰＵ１５０５により実行される。
【００６６】
ＣＰＵ１５０５により実行されるプログラムは、制御部１０１を、図１から１０に関連して説明した、赤外光画像格納部１０５、タイミング予測部１０８、顔向き特定部１０６、被写体位置特定部１０７、撮像条件決定部１１１、被写体位置予測部１０９、被写体速さ予測部１１０、可視光撮像制御ユニット１２０、及び可視光画像格納部１１２として機能させる。
【００６７】
以上に示したプログラムは、外部の記憶媒体に格納されてもよい。記憶媒体としては、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５の他に、ＤＶＤやＰＤ等の光学記録媒体、ＭＤ等の光磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、専用通信ネットワークやインターネットに接続されたサーバシステムに設けたハードディスクまたはＲＡＭ等の記憶装置を記録媒体として使用して、ネットワークを介してプログラムを制御部１０１に提供してもよい。
【００６８】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な決定または改良を加えることができる。その様な決定または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【図面の簡単な説明】
【００６９】
【図１】本発明の一実施形態に係る撮像システム１００の全体構成を示す。
【図２】制御部１０１のブロック構成図の一例を示す。
【図３】可視光撮像制御ユニット１２０のブロック構成の一例を示す図である。
【図４】顔向き特定部１０６が赤外光画像に含まれる人物の顔の向きを特定する一例を示す。
【図５】被写体位置特定部１０７が赤外光画像に含まれる被写体の監視領域における位置を特定する一例を示す。
【図６】撮像条件決定部１１１が可視光撮像部１０３の撮像方向を決定する一例を示す。
【図７】撮像条件決定部１１１が可視光撮像部１０３の画角を決定する一例を示す。
【図８】赤外光撮像部１０２および可視光撮像部１０３が撮像する画像の一例を示す。
【図９】可視光撮像部１０３および可視光照射部１０４と人物との間の位置関係の一例を示す。
【図１０】撮像システム１００の動作を示すフローチャートの一例を示す。
【図１１】制御部１０１のハードウェア構成の一例を示す。
【符号の説明】
【００７０】
１００ 撮像システム
１０１ 制御部
１０２ 赤外光撮像部
１０３ 可視光撮像部
１０４ 可視光照射部
１０５ 赤外光画像格納部
１０６ 顔向き特定部
１０７ 被写体位置特定部
１０８ タイミング予測部
１０９ 被写体位置予測部
１１０ 被写体速さ予測部
１１１ 撮像条件決定部
１１２ 可視光画像格納部
１２０ 可視光撮像制御ユニット
３３０ 可視光照射制御部
３４０ 可視光撮像制御部
３１０ 可視光照射部選択部
３２０ 可視光撮像部選択部
【技術分野】
【０００１】
本発明は、撮像システム、撮像方法、及びプログラムに関し、特に、赤外光画像から被写体が所定の条件を満たすタイミングを予測して、予測したタイミングで可視光画像を撮像する撮像システム、撮像方法、及びプログラムに関する。
【背景技術】
【０００２】
特許文献１及び特許文献２には、近赤外光撮像により侵入者を検出し、侵入者が検出された場合に可視光撮像する撮像装置が記載されている。また、特許文献３には、可視光画像と遠赤外線画像とを同時に撮像し、遠赤外線画像から認識した動物の輪郭形状の画像を可視光画像から特定する人体検知方法が記載されている。特許文献４には、対象者の網膜からの赤外線を検出することで、対象者が所定の方向を向いていることを検知する顔画像データ取り込み方法が記載されている。
【特許文献１】特開２００１−２７５０２１号公報
【特許文献２】特開２０００−１７５１７６号公報
【特許文献３】特開２００４−２１９２７７号公報
【特許文献４】特許第３１１９５５８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、監視カメラとして利用される撮像システムには、侵入者を識別するために、侵入者の顔が大きく写っている画像、侵入者に焦点が合っている画像等の証拠能力の高い画像を撮像することが求められる。このため、被写体の動作に対応した適切なタイミングで可視光撮像することが大切である。
【０００４】
そこで本発明は、上記の課題を解決することができる撮像システム、撮像方法およびプログラムを提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。
【課題を解決するための手段】
【０００５】
上記課題を解決するために、本発明の第１の形態においては、撮像システムは、赤外光により被写体の複数の赤外光画像を連続して撮像する赤外光撮像部と、複数の赤外光画像のそれぞれが撮像されたタイミング及び複数の赤外光画像の画像内容に基づいて、複数の赤外光画像に含まれる被写体が予め定められた条件に適合するタイミングを予測するタイミング予測部と、タイミング予測部が予測したタイミングにおいて、可視光により可視光画像を撮像する可視光撮像部とを備える。
【０００６】
本発明の第２の形態においては、撮像方法は、赤外光により被写体の複数の赤外光画像を連続して撮像する赤外光撮像段階と、複数の赤外光画像のそれぞれが撮像されたタイミング及び複数の赤外光画像の画像内容に基づいて、複数の赤外光画像に含まれる被写体が予め定められた条件に適合するタイミングを予測するタイミング予測段階と、タイミング予測段階で予測されたタイミングにおいて、可視光により可視光画像を撮像する可視光撮像段階とを備える。
【０００７】
本発明の第３の形態においては、撮像システム用のプログラムであって、撮像システムを、赤外光により被写体の複数の赤外光画像を連続して撮像する赤外光撮像部、複数の赤外光画像のそれぞれが撮像されたタイミング及び複数の赤外光画像の画像内容に基づいて、複数の赤外光画像に含まれる被写体が予め定められた条件に適合するタイミングを予測するタイミング予測部、及びタイミング予測部が予測したタイミングにおいて、可視光により可視光画像を撮像する可視光撮像部として機能させる。
【０００８】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【発明の効果】
【０００９】
以上の説明から明らかなように、本発明によれば、赤外光画像に含まれる画像内容から、被写体の動作を予測して、適切なタイミングで可視光画像を撮像することができる。
【発明を実施するための最良の形態】
【００１０】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００１１】
図１は、本発明の一実施形態に係る撮像システム１００の全体構成を示す。撮像システム１００は、赤外光により監視領域を撮像する赤外光撮像部１０２と、監視領域を可視光により撮像する複数の可視光撮像部１０３ａおよび可視光撮像部１０３ｂ（以下、可視光撮像部１０３と総称する。）と、可視光を照射する複数の可視光照射部１０４ａおよび可視光照射部１０４ｂ（以下、可視光照射部１０４と総称する。）と、赤外光撮像部１０２、可視光撮像部１０３、および可視光照射部１０４を制御する制御部１０１とを備える。
【００１２】
制御部１０１は、赤外光撮像部１０２が撮像した赤外光画像を、赤外光撮像部１０２から受信する。制御部１０１は、受信した赤外光画像の内容に基づいて、複数の赤外光画像に含まれる被写体を検出する。制御部１０１は、検出した被写体が、所定の条件に適合する状態になるタイミングを予測する。そして、制御部１０１は、予測したタイミングで、可視光撮像部１０３に被写体を撮像させる。このとき、制御部１０１は、複数の可視光撮像部１０３の中から、被写体をより適切な角度から撮像することができる可視光撮像部１０３をより優先して選択して、選択した可視光撮像部１０３に被写体を撮像させる。
【００１３】
また、制御部１０１は、現在の監視領域の明るさに基づいて、可視光撮像部１０３が撮像するタイミングにおける監視領域の明さを判断する。例えば、撮像システム１００は、可視光撮像部１０３の撮像範囲の明るさを測定するセンサを有し、制御部１０１は、センサの測定値に応じて、明るさが十分であるか否かを判断する。制御部１０１は、可視光撮像部１０３の撮像に明るさが不十分であると判断した場合に、可視光照射部１０４に対して可視光の照射を指示する。制御部１０１は、可視光撮像部１０３の撮像と可視光照射部１０４の照射とを同時に実行させるべく、撮像及び照射を指示する。センサには、ＣｄＳ（硫酸カドミウムセル）や、アモルファスシリコン半導体可視光センサ等を利用できる。なお、制御部１０１は、選択した可視光撮像部１０３を撮像する場合に、複数の可視光照射部１０４の中から、選択された可視光撮像部１０３が撮像する被写体により適切な角度から可視光を照射することができる可視光照射部１０４をより優先して選択して、選択した可視光照射部１０４に対して可視光の照射を指示する。
【００１４】
可視光撮像部１０３は、制御部１０１の予測したタイミングにおいて被写体を撮像するので、予め定められた条件に適合すると予測される被写体を撮像することができる。また、可視光撮像部１０３は、予め定められた条件に適合すると予測されるタイミング以外の撮像を実行せずともよいので、監視領域を常時撮像する場合、または被写体の赤外光を感知して撮像を開始する場合に比べ、画像データ量を削減することができる。また、監視領域の明るさが、可視光撮像部１０３の撮像に不十分である場合であっても、制御部１０１が、可視光照射部１０４に可視光を照射させることで、明瞭な被写体の像を撮像することができる。さらに、可視光照射部１０４の可視光の照射は、可視光撮像部１０３による被写体の撮像と同期して、撮像のときだけ実行されるので、可視光撮像部１０３によって被写体が撮像されることを、被写体に意識させずに実行することができる。
【００１５】
なお、撮像システム１００は、１つの監視領域を監視する複数の赤外光撮像部１０２を有してもよい。複数の赤外光撮像部１０２のそれぞれは、監視領域における異なる複数の撮像領域をそれぞれ撮像して、複数の赤外光撮像部１０２が共同して監視領域の全体を撮像する。この場合、複数の赤外光撮像部１０２のいずれの撮像領域にも含まれない部分、即ち監視領域における死角が存在しないのが好ましい。
【００１６】
また、複数の可視光撮像部１０３は、１つの監視領域を撮像することにより監視領域を監視してもよい。複数の可視光撮像部１０３のそれぞれは、監視領域における異なる複数の撮像領域をそれぞれ撮像して、複数の可視光撮像部１０３が共同して監視領域の全体を撮像する。この場合、複数の可視光撮像部１０３のいずれの撮像領域にも含まれない部分、即ち監視領域における死角が存在しないのが好ましい。可視光撮像部１０３は、静止画像に限らず、フレーム画像、フィールド画像等の動画構成画像を含む動画像を撮像してもよい。
【００１７】
さらに、赤外光撮像部１０２と可視光撮像部１０３とは、一体構成を有し、同一の筐体内に設置されてもよい。また、赤外光撮像部１０２及び可視光撮像部１０３のそれぞれが、被写体からの光を結像する光学ユニットと、ＣＣＤ、ＣＭＯＳ等の撮像デバイスとをそれぞれ有してもよい。
【００１８】
また、１つの光学系及び１つの撮像デバイスを有する撮像ユニットが、赤外光撮像部１０２及び可視光撮像部１０３の機能を有してもよい。この場合、１つの撮像デバイスは、可視光を光電変換する複数の画素と、赤外光を光電変換する複数の画素とが配列された構成を有する。
【００１９】
また、１つの光学系及び２つの撮像デバイスを有する撮像ユニットが、赤外光撮像部１０２及び可視光撮像部１０３の機能を有してもよい。この場合、撮像ユニットは、被写体からの光を分光する分光器を含む１つの光学系と、分光器によって分光された一方の光を受光する赤外光用の撮像デバイスと、分光器によって分光された他方の光を受光する可視光用の撮像デバイスとを有する。
【００２０】
図２は、制御部１０１のブロック構成図の一例を示す。制御部１０１は、赤外光画像格納部１０５、顔向き特定部１０６、被写体位置特定部１０７、タイミング予測部１０８、被写体位置予測部１０９、被写体速さ予測部１１０、撮像条件決定部１１１、可視光撮像制御ユニット１２０および可視光画像格納部１１２を有する。
【００２１】
赤外光画像格納部１０５は、赤外光撮像部１０２によって撮像された赤外光画像を格納する。顔向き特定部１０６は、赤外光画像格納部１０５に格納された赤外光画像の画像内容から、人物の顔の向きを特定する。例えば、顔向き特定部１０６は、赤外光画像に含まれるオブジェクトの形状と、顔の向き毎に予め定められた人物の顔の形状との間のパターンマッチング等により、赤外光画像における人物の顔の向きを検出する。なお、顔向き特定部１０６は、赤外光画像の画像内容に含まれる温度分布に基づいて、人物の顔の位置を検出してもよい。顔向き特定部１０６はさらに、温度分布に基づいて、検出した人物の顔の位置から顔の向きを特定してもよい。
【００２２】
被写体位置特定部１０７は、赤外光画像格納部１０５に格納された赤外光画像の画像内容から、被写体の位置を特定する。例えば、被写体位置特定部１０７は、赤外光画像に含まれるオブジェクトの形状と、予め定められた被写体の形状との間のパターンマッチング等により、赤外光画像における被写体の位置を検出する。なお、被写体位置特定部１０７は、赤外光画像の画像内容に含まれる温度分布に基づいて、被写体の位置を検出する。そして、被写体位置特定部１０７は、検出された被写体の位置と、赤外光撮像部１０２の設置されている位置とから、監視領域における被写体の位置を特定する。
【００２３】
タイミング予測部１０８は、赤外光画像格納部１０５に格納された連続する複数の赤外光画像の画像内容に基づいて、画像内容に含まれる被写体を検出する。そして、タイミング予測部１０８は、被写体が予め定められた条件に適合するタイミングを予測する。例えば、タイミング予測部１０８は、顔向き特定部１０６が特定した、複数の赤外光画像のそれぞれにおける被写体の顔の向きのそれぞれから、被写体の顔の向きが予め定められた方向を向くタイミングを予測する。また、タイミング予測部１０８は、被写体位置特定部１０７が特定した、複数の赤外光画像のそれぞれにおける被写体の位置のそれぞれから、被写体の位置が予め定められた地点に到達するタイミングを予測する。そして、タイミング予測部１０８は、可視光撮像部１０３及び可視光照射部１０４に対して、予測したタイミングを送信する。
【００２４】
なお、予め適合する条件は、可視光撮像部１０３に対して正対する方向に人物の顔の向きが向くという条件、可視光撮像部１０３が撮像可能な位置に被写体が到達するという条件の他、金庫等が設置された重要地点に被写体が到達するという条件、または可視光照射部１０４による可視光の照射される位置に被写体が到達するという条件であってもよい。
【００２５】
被写体位置予測部１０９は、被写体位置特定部１０７によって特定された、複数の時刻におけるそれぞれの被写体の監視領域での位置に基づいて、タイミング予測部１０８によって予測されたタイミングにおける被写体の位置を予測する。被写体速さ予測部１１０は、被写体位置特定部１０７によって特定された、複数の時刻におけるそれぞれの被写体の監視領域での位置に基づいて、タイミング予測部１０８によって予測されたタイミングにおける被写体の速さを予測する。なお、被写体速さ予測部１１０は、被写体の速さおよび加速度を予測してもよい。
【００２６】
撮像条件決定部１１１は、タイミング予測部１０８によって予測されたタイミングにおける被写体の予測される位置、速さ、または加速度に基づいて、可視光撮像部１０３が撮像する場合の撮像条件を決定する。また、撮像条件決定部１１１は、タイミング予測部１０８によって予測されたタイミングにおける監視領域の明るさを判断して、可視光照射部１０４に可視光を照射させるか否かの決定をする。
【００２７】
なお、可視光撮像制御ユニット１２０は、顔向き特定部１０６が特定した顔の向きまたは被写体位置特定部１０７が特定した被写体の位置に基づいて、可視光画像を撮像すべき可視光撮像部１０３および被写体に可視光を照射すべき可視光照射部１０４を選択する。そして、選択した可視光撮像部１０３を特定する情報をタイミング予測部１０８に供給する。タイミング予測部１０８は、可視光撮像制御ユニット１２０から供給された情報によって特定される可視光撮像部１０３が撮像するタイミングを、上述した方法で予測する。また、可視光撮像制御ユニット１２０は、選択した可視光撮像部１０３を特定する情報および選択した可視光照射部１０４を特定する情報を撮像条件決定部１１１に供給する。タイミング予測部１０８は、可視光撮像制御ユニット１２０から供給された情報によって特定される可視光撮像部１０３の撮像条件を、上述した方法で決定する。また、タイミング予測部１０８は、可視光撮像制御ユニット１２０から供給された情報によって特定される可視光照射部１０４に可視光を照射させるか否かの決定をしてもよい。なお、可視光撮像制御ユニット１２０の機能および動作は、図３に関連してより詳細に説明する。
【００２８】
なお、赤外光撮像部１０２は、監視領域に対して赤外光を照射する赤外光照射部（図示しない）を有してもよい。赤外光撮像部１０２は、赤外光照射部が照射した赤外光の反射像を赤外光画像として撮像する。反射像を撮像した赤外光画像は、目など、赤外光を良好に反射する部分が強調された画像となり、赤外光画像に含まれる被写体の検出、および人物の顔の向きを特定するのに好ましい画像となる。
【００２９】
また、制御部１０１は、監視領域において固定して存在する物体の位置と、物体の発生する温度を予め記憶している監視領域温度記憶部（図示しない）をさらに有してもよい。タイミング予測部１０８、顔向き特定部１０６、および被写体位置特定部１０７は、赤外光撮像部１０２が撮像した赤外光画像の画像内容に含まれる物体の温度および位置と、監視領域温度記憶部に記憶された物体の温度および物体の位置とを比較する。タイミング予測部１０８、顔向き特定部１０６、および被写体位置特定部１０７は、比較した結果から、赤外光画像に含まれる物体が、監視領域に固定された物体であるか否かを特定する。タイミング予測部１０８、顔向き特定部１０６、および被写体位置特定部１０７は、赤外光画像に含まれる物体のうち、固定された物体でないと特定された物体を被写体として検出して、固定された物体と被写体との相対位置から、被写体の位置を特定しても良い。
【００３０】
図３は、可視光撮像制御ユニット１２０のブロック構成の一例を示す。可視光照射部選択部３１０は、複数の赤外光画像のそれぞれが撮像されたタイミングおよび複数の赤外光画像の画像内容に基づいて、タイミング予測部１０８が予測したタイミングで可視光を照射する可視光照射部１０４を複数の可視光照射部１０４の中から選択する。具体的には、可視光照射部選択部３１０は、複数の赤外光画像のそれぞれが撮像されたタイミングおよび複数の赤外光画像の画像内容に基づいて特定された予め定められた被写体の動きに基づいて、タイミング予測部１０８が予測したタイミングで可視光を照射する可視光照射部１０４を複数の可視光照射部１０４の中から選択する。例えば、可視光照射部選択部３１０は、予め定められた被写体の動きに基づいて、予め定められた被写体の位置との間の位置関係、および、予め定められた被写体の向きと可視光の照射方向との間の関係の少なくとも一方が予め定められた条件に適合することが予測される可視光照射部１０４を、複数の可視光照射部１０４の中から選択する。そして、可視光照射制御部３３０は、可視光照射部選択部３１０が選択した可視光照射部１０４に、タイミング予測部１０８が予測したタイミングで可視光を照射させる。
【００３１】
可視光撮像部選択部３２０は、複数の赤外光画像のそれぞれが撮像されたタイミングおよび複数の赤外光画像の画像内容に基づいて、可視光画像を撮像する可視光撮像部１０３を複数の可視光撮像部１０３の中から選択する。具体的には、可視光撮像部選択部３２０は、複数の赤外光画像のそれぞれが撮像されたタイミングおよび複数の赤外光画像の画像内容に基づいて特定された予め定められた被写体の動きに基づいて、可視光画像を撮像する可視光撮像部１０３を複数の可視光撮像部１０３の中から選択する。例えば、可視光撮像部選択部３２０は、予め定められた被写体の動きに基づいて、予め定められた被写体の位置との間の位置関係、および、予め定められた被写体の向きと撮像方向との間の関係の少なくとも一方が予め定められた条件に適合することが予測される可視光撮像部１０３を、可視光画像を撮像する可視光撮像部１０３として複数の可視光撮像部１０３の中から選択する。
【００３２】
可視光撮像制御部３４０は、可視光撮像部選択部３２０が選択した可視光撮像部１０３に、タイミング予測部１０８が予測したタイミングで可視光画像を撮像させる。なお、タイミング予測部１０８は、予め定められた被写体の動きに基づいて、予め定められた被写体が予め定められた条件に適合するタイミングを予測する。具体的には、タイミング予測部１０８は、予め定められた被写体の動きに基づいて、可視光撮像部選択部３２０により選択された可視光撮像部１０３と予め定められた被写体の位置との間の位置関係、および、可視光撮像部選択部３２０により選択された可視光撮像部１０３の撮像方向と予め定められた被写体の向きとの間の関係の少なくとも一方が予め定められた条件に適合するタイミングを予測する。
【００３３】
図４は、顔向き特定部１０６が赤外光画像に含まれる人物の顔の向きを特定する方法の一例を示す。顔向き特定部１０６は、時刻ｔ１において撮像された赤外光画像ａ１に含まれる人物の顔部分の画像から、人物の顔の向きを特定する。顔向き特定部１０６は、赤外光画像に含まれる人物の顔部分が発する温度分布を取得する。顔向き特定部１０６は、取得した温度分布から目の位置を特定する。顔向き特定部１０６は、特定した目の位置から目の偏度を測定して、人物の顔の向きを特定する。顔向き特定部１０６は、時刻ｔ１において撮像された赤外光画像ａ１において目の位置が検出できないので、赤外光撮像部１０２に対して人物が後ろを向いていると特定する。顔向き特定部１０６は、時刻ｔ２において撮像された赤外光画像ａ２において目の位置を一点検出して、検出した一点の目の位置と顔部分の偏度とから、赤外光撮像部１０２に対して人物が横を向いていると特定する。顔向き特定部１０６は、時刻ｔ３において撮像された赤外光画像ａ３において目の位置を二点検出して、検出した二点の目の位置と顔部分の偏度とから、赤外光撮像部１０２に対して人物が斜め前方を向いていると特定する。このようにして、顔向き特定部１０６は、赤外光撮像部１０２に対する人物の顔の向きを特定する。
【００３４】
タイミング予測部１０８は、顔向き特定部１０６がそれぞれ特定した目の位置と、赤外光画像ａ１〜ａ４を撮像したそれぞれの時刻ｔ１〜ｔ３と、可視光撮像部１０３が設置された位置とから、人物の回転速度を算出して、人物が可視光撮像部１０３に対して正対するタイミングｔｍを予測する。タイミング予測部１０８は、タイミングｔｍにおいて可視光撮像部１０３に撮像させることで、可視光撮像部１０３が人物の顔の正面を捉えると予測された可視光画像Ａｍが得られる。
【００３５】
なお、顔向き特定部１０６は、人物の顔部分の温度分布から、鼻、耳、又は口の位置を取得して顔の向きを特定してもよい。また、タイミング予測部１０８が予測するタイミングは、人物が可視光撮像部１０３に対して正対するタイミングに限らず、人物が特定の向きを向く場合、例として可視光撮像部１０３に対して横方向を向く場合等であってもよい。さらに、顔向き特定部１０６は、連続する赤外光画像ａ１〜ａ３のそれぞれに含まれる人物の顔の向きを特定しているが、少なくとも２枚以上の連続する赤外光画像のそれぞれに含まれる人物の顔の向きを特定すればよい。タイミング予測部１０８がより正確なタイミングを予測するためには、顔向き特定部１０６がより複数の連続する赤外光画像に含まれる、可視光撮像部１０３に対する人物の顔の向きをそれぞれ特定するのが好ましい。
【００３６】
図５は、被写体位置特定部１０７が、赤外光画像に含まれる監視領域における被写体の位置を特定する方法の一例を示す。被写体位置特定部１０７は、赤外光画像に含まれる温度分布を取得する。被写体位置特定部１０７は、取得した温度分布から、赤外光画像に含まれる物体を検出する。被写体位置特定部１０７は、検出した物体から被写体を特定する。被写体位置特定部１０７は、被写体を撮像した赤外光撮像部１０２の設置位置を取得する。被写体位置特定部１０７は、赤外光撮像部１０２の設置位置と、赤外光画像に含まれる検出した物体の位置および特定した被写体の位置とから、監視領域における被写体の位置を特定する。
【００３７】
被写体位置特定部１０７は、連続する時刻ｔ１〜ｔ３にそれぞれ撮像された赤外光画像ａ１〜ａ３に含まれる温度分布をそれぞれ取得して、赤外光画像における被写体の位置を取得する。被写体位置特定部１０７はさらに、被写体を撮像した赤外光撮像部１０２の設置位置を取得する。被写体位置特定部１０７は、赤外光画像における被写体の位置と、被写体を撮像した赤外光撮像部１０２の設置位置とから、赤外光画像ａ１〜ａ３のそれぞれに含まれる被写体の監視領域における位置をそれぞれ特定する。タイミング予測部１０８は、被写体位置特定部１０７が特定した被写体の監視領域におけるそれぞれの位置と、赤外光画像ａ１〜ａ３を撮像したそれぞれの時刻ｔ１〜ｔ３とから、被写体の動く速さを算出して、被写体が特定の位置に到達するタイミングｔｍを予測する。タイミング予測部１０８は、タイミングｔｍにおいて可視光撮像部１０３に撮像を実行させることで、被写体が存在すると予測された位置を含む可視光画像Ａｍが得られる。
【００３８】
なお、被写体位置特定部１０７は、温度分布から、例として目、鼻、耳、又は口のような部位の温度分布を検出して、被写体を特定してもよい。また、被写体位置特定部１０７は、赤外光画像の画像内容から、被写体の位置の他、金庫の位置等を取得して、被写体の位置、金庫の位置、および赤外光撮像部１０２の設置位置から相対的に被写体の監視領域の位置を取得しても良い。さらには、被写体位置特定部１０７が被写体の位置を特定する赤外光画像を連続するａ１〜ａ３としたが、少なくとも２枚以上の連続する赤外光画像に含まれる被写体の位置を特定すればよい。タイミング予測部１０８が、より正確なタイミングを予測するためには、被写体位置特定部１０７がより複数の連続する赤外光画像に含まれる被写体の位置を特定するのが好ましい。
【００３９】
図６は、撮像条件決定部１１１が可視光撮像部１０３の撮像方向を決定する方法の一例を示す。被写体位置予測部１０９は、連続する複数の赤外光画像ａ１〜ａ４から特定された被写体のそれぞれの位置と、それぞれの赤外光画像が撮像された時刻ｔ１〜ｔ４とを取得する。また、被写体位置予測部１０９は、タイミング予測部１０８から可視光撮像部１０３に撮像を実行させるタイミングｔｍを取得する。被写体位置予測部１０９は、監視領域における被写体のそれぞれの位置と、赤外光画像が撮像されたそれぞれの時刻と、タイミングｔｍとから、タイミングｔｍにおける被写体の監視領域における位置を予測する。撮像条件決定部１１１は、被写体位置予測部１０９が予測した被写体の監視領域における予測位置と、可視光撮像部１０３が現在向いている撮像方向および画角とを取得する。撮像条件決定部１１１は、タイミングｔｍにおいて可視光撮像部１０３が被写体を撮像できる方向に、可視光撮像部１０３の撮像方向を決定する。すなわち、撮像条件決定部１１１は、タイミングｔｍにおいて被写体が撮像できるように、撮像領域αから撮像領域βに可視光撮像部１０３の撮像方向を決定する。
【００４０】
なお、撮像条件決定部１１１は、被写体速さ予測部１１０によって予測された被写体の動きの速さおよび加速度をさらに取得して、可視光撮像部１０３の撮像方向を決定してもよい。この場合、被写体位置予測部１０９はさらに、被写体速さ予測部１１０から取得した、タイミングｔｍにおいて予測される被写体の速さおよび加速度から被写体の位置を予測する。撮像条件決定部１１１は、予測された被写体の位置を撮像できる方向に、可視光撮像部１０３の撮像方向を決定する。
【００４１】
図７は、撮像条件決定部１１１が可視光撮像部１０３の画角を決定する方法の一例を示す。被写体位置予測部１０９は、連続する複数の赤外光画像ａ１〜ａ４から特定された被写体のそれぞれの位置と、それぞれの赤外光画像が撮像された時刻ｔ１〜ｔ４とを取得する。また、被写体位置予測部１０９は、タイミング予測部１０８から可視光撮像部１０３に撮像を実行させるタイミングｔｍを取得する。被写体位置予測部１０９は、監視領域における被写体のそれぞれの位置と、赤外光画像が撮像されたそれぞれの時刻と、タイミングｔｍとから、タイミングｔｍにおける被写体の監視領域における位置を予測する。撮像条件決定部１１１は、被写体位置予測部１０９が予測した被写体の監視領域における予測位置と、可視光撮像部１０３が現在向いている撮像の向きおよび画角とを取得する。撮像条件決定部１１１は、タイミングｔｍにおいて可視光撮像部１０３が被写体を撮像できる画角に、可視光撮像部１０３の画角を決定する。すなわち、撮像条件決定部１１１は、タイミングｔｍにおいて被写体が撮像できるように、撮像領域αから撮像領域βに可視光撮像部１０３の画角を決定する。
【００４２】
なお、撮像条件決定部１１１は、被写体速さ予測部１１０によって予測された被写体の動きの速さの変化をさらに取得して、可視光撮像部１０３の画角を決定してもよい。この場合、被写体位置予測部１０９はさらに、被写体速さ予測部１１０から取得した、タイミングｔｍにおいて予測される被写体の速さおよび加速度から被写体の位置を予測する。撮像条件決定部１１１は、予測された被写体の位置を撮像できる画角に、可視光撮像部１０３の画角を決定する。また、本例では画角を広げる例を示したが、撮像条件決定部１１１は、画角を狭めて被写体をフレーム全体に捉える決定をしてもよい。
【００４３】
図８は、赤外光撮像部１０２および可視光撮像部１０３が撮像する画像の一例を示す。本例では、赤外光撮像部１０２および可視光撮像部１０３が一体構成を有して、同一の筐体内に設置されている。赤外光撮像部１０２および可視光撮像部１０３は同一筐体内に設置されているので、撮像方向を変更して可視光画像を撮像する場合に、赤外光撮像部１０２および可視光撮像部１０３は、赤外光用の撮像デバイスまたは赤外光を光電変換する複数の画素による赤外光画像の取り込みを停止してもよい。本例では、撮像システム１００が、人物の顔の向きを特定して、赤外光撮像部１０２および可視光撮像部１０３が赤外光画像と可視光画像とを撮像する場合を示す。
【００４４】
赤外光撮像部１０２は、赤外光用の撮像デバイスまたは赤外光を光電変換する複数の画素を利用して、監視領域の赤外光画像を撮像する。可視光撮像部１０３は、可視光を撮像するタイミングおよび決定された撮像条件を制御部１０１から受け取る。赤外光撮像部１０２および可視光撮像部１０３は、可視光を撮像するタイミングに合わせて、赤外光用の撮像デバイスまたは赤外光を光電変換する複数の画素を利用した赤外光画像の取り込みを停止して、可視光用の撮像デバイスまたは可視光を光電変換する複数の画素を利用した可視光画像の取り込みを開始する。また、赤外光撮像部１０２および可視光撮像部１０３は、撮像条件に基づいて、撮像方向を変える、画角を変える等の動作をする。可視光撮像部１０３は、受け取ったタイミングにおいて可視光画像を撮像する。赤外光撮像部１０２および可視光撮像部１０３は、可視光画像の撮像が実行された後、可視光用の撮像デバイスまたは可視光を光電変換する複数の画素を利用した可視光画像の取り込みを停止する。赤外光撮像部１０２および可視光撮像部１０３は、撮像条件に基づいて変更された撮像方向または画角等を変更前に戻して、赤外光用の撮像デバイスまたは赤外光を光電変換する複数の画素による赤外光の取り込みを再開して、赤外光画像を撮像する。
【００４５】
図９は、可視光撮像部１０３および可視光照射部１０４と被写体の一例である人物との間の位置関係の一例を示す。可視光撮像部選択部３２０は、被写体位置特定部１０７によって特定された符号９１０で示される人物の、それぞれの赤外光画像における位置から、動き速度ｖｘを算出する。また、可視光撮像部選択部３２０は、顔向き特定部１０６がそれぞれの赤外光画像において特定した顔の向きを示す角度θから、人物の顔の回転速度ｖθを算出する。
【００４６】
可視光撮像部選択部３２０は、算出された動き速度ｖｘおよび回転速度ｖθに基づいて、人物認識に適する方向から所定時間内に顔を撮像することができる可視光撮像部１０３を選択する。なお、人物認識に適する方向とは、顔を斜めから撮像することができる方向であってよい。例えば、人物認識に適する方向は、顔の正面方向に対して予め定められた値を超える角度をなす方向であってよい。例えば、可視光撮像部選択部３２０は、人物の顔を右斜めから撮像することができる可視光撮像部１０３ａを選択する。そして、可視光撮像部選択部３２０は、可視光撮像部１０３ａを識別する情報をタイミング予測部１０８に供給する。タイミング予測部１０８は、例えば現在の動き速度ｖｘ、現在の人物の位置、および顔の回転速度ｖθに基づいて、符号９２０で示す位置に人物が移動するタイミングを予測する。具体的には、タイミング予測部１０８は、可視光撮像部１０３ａの撮像方向が人物の顔の向きと所定の角度をなし、かつ、可視光撮像部１０３ａと人物との間の距離が予め定められた値より小さくなる位置に人物が移動するタイミングを予測する。
【００４７】
また、可視光照射部選択部３１０は、タイミング予測部１０８が予測したタイミングで可視光を照射すべき可視光照射部１０４を選択する。可視光照射部選択部３１０は、可視光を照射する方向が当該タイミングにおける人物の顔の向きと所定の角度をなし、かつ、人物との間の距離が予め定められた値より小さい可視光照射部１０４ａを選択する。
【００４８】
また、可視光撮像部選択部３２０は、上記と同様の方法によって、人物を左斜めから撮像することができる可視光撮像部１０３ｂを選択する。タイミング予測部１０８は、可視光撮像部１０３ｂによって人物を左斜めから撮像することができる位置（例えば、符号９３０で示される位置）に達するタイミングを予測する。そして、可視光照射部選択部３１０は、上記と同様の方法によって、可視光を照射する可視光照射部１０４として可視光照射部１０４ｂを選択する。
【００４９】
図１０は、撮像システム１００の動作を示すフローチャートの一例を示す。赤外光撮像部１０２は、監視領域の赤外光画像を常時撮像している（ステップ２０１）。赤外光撮像部１０２は、撮像した赤外光画像を制御部１０１に送信する。制御部１０１は、送信された赤外光画像を受信して赤外光画像格納部１０５へと格納する。被写体位置特定部１０７は、赤外光画像格納部１０５に格納された連続する複数の赤外光画像の画像内容から、監視領域における被写体が存在するか否かを判断して、被写体が検出された場合には被写体の位置を特定する（ステップ２０２）。被写体位置特定部１０７は、連続する複数の赤外光画像の画像内容から、監視領域に存在する被写体のそれぞれの位置を特定する。また、被写体位置特定部１０７は、連続する複数の赤外光画像が撮像されたそれぞれの時刻を取得する。被写体位置特定部１０７は、特定した被写体の監視領域におけるそれぞれの位置と、取得したそれぞれの時刻をタイミング予測部１０８へと送る。顔向き特定部１０６は、連続する複数の赤外光画像の画像内容から特定された人物の顔部分をそれぞれ特定して、顔部分の温度分布から人物の顔の向きをそれぞれ特定する（ステップ２０３）。また、顔向き特定部１０６は、連続する複数の赤外光画像が撮像されたそれぞれの時刻を取得する。顔向き特定部１０６は、特定した人物のそれぞれの顔の向きと、取得したそれぞれの時刻をタイミング予測部１０８へと送る。
【００５０】
タイミング予測部１０８は、被写体位置特定部１０７から送られた監視領域における被写体のそれぞれの位置と、それぞれの時刻とから、被写体の動きの速さを算出して、所定の条件に適合する位置に被写体が到達するタイミングを予測する（ステップ２０４）。また、タイミング予測部１０８は、顔向き特定部１０６から送られた人物のそれぞれの顔の向きと、それぞれの時刻とから、人物の頭部の回転速度を算出して、所定の条件に適合する顔の向きになるタイミングを予測する（ステップ２０５）。
【００５１】
可視光撮像部選択部３２０は、可視光画像を撮像すべき可視光撮像部１０３を選択する（ステップ２０６）。例えば、可視光撮像部選択部３２０は、図９に例示した方法により、可視光画像を撮像すべき可視光撮像部１０３を選択する。タイミング予測部１０８は、予測した被写体の位置に関する可視光撮像部１０３のタイミングと、人物の顔の向きに関する可視光撮像部のタイミングとから、可視光撮像部１０３に撮像を行わせるタイミングを予測する（ステップ２０７）。このとき、タイミング予測部１０８は、Ｓ２０６において選択された可視光撮像部１０３に撮像を行わせるタイミングを予測する。
【００５２】
撮像条件決定部１１１は、可視光撮像部１０３の可視光画像の撮像において、撮像条件が設定されているか否かを判断する（ステップ２０８）。撮像条件決定部１１１は、被写体位置予測部１０９または被写体速さ予測部１１０から被写体位置予測部１０９に対して、被写体に関する予測値が送られたか否かにより、撮像条件を決定するか否かを判断する。撮像条件決定部１１１は、被写体位置予測部１０９または被写体速さ予測部１１０から被写体に関する予測値が送られなかった場合、可視光撮像部１０３の現在の状態を可視光撮像部１０３のデフォルト設定として決定する（ステップ２１８）。タイミング予測部１０８は、予測したタイミングを可視光撮像部１０３へ送信する。可視光撮像部１０３は、撮像する信号を受信して、監視領域の撮像をする（ステップ２１２）。
【００５３】
撮像条件決定部１１１は、可視光撮像部１０３の可視光画像の撮像において、撮像条件決定すると判断した場合、可視光撮像部１０３に対して撮像条件を決定する（ステップ２０９）。被写体位置予測部１０９は、被写体位置特定部１０７が特定した監視領域における被写体のそれぞれの位置と、被写体位置特定部１０７が取得したそれぞれの時刻と、タイミング予測部１０８が予測したタイミングとから、該タイミングにおいて監視領域に存在する被写体の位置を予測する。また、被写体速さ予測部１１０は、被写体位置特定部１０７が特定した被写体のそれぞれの位置と、被写体位置特定部１０７が取得したそれぞれの時刻と、タイミング予測部１０８が予測したタイミングとから、該タイミングにおける監視領域に存在する被写体の動きの速さと、被写体の動きの速さの変化を予測する。撮像条件決定部１１１は、少なくとも、予測された被写体の位置、予測された被写体の動きの速さ、または被写体の動きの速さの変化量を取得して、可視光撮像部１０３の撮像条件を決定する。撮像条件決定部１１１は、撮像条件として、少なくとも可視光撮像部１０３に合焦させる合焦位置、可視光撮像部１０３が撮像する撮像方向、可視光撮像部１０３が撮像する画角、可視光撮像部１０３の撮像するフレームレート、または可視光撮像部１０３が撮像する解像度を決定する。
【００５４】
撮像条件決定部１１１は、可視光撮像部１０３に合焦させる合焦位置の決定について、少なくとも被写体位置予測部１０９から取得した予測される被写体の位置と、可視光撮像部１０３が設置されている位置とから決定する。また、撮像条件決定部１１１は、可視光撮像部１０３が撮像する撮像方向の決定について、少なくとも被写体位置予測部１０９から取得した、予測される被写体の位置と、可視光撮像部１０３が設置されている位置とから決定する。撮像条件決定部１１１は、可視光撮像部１０３が撮像する画角について、被写体位置予測部１０９が取得した予測される被写体の位置と、可視光撮像部１０３が設置されている位置とから決定する。
【００５５】
可視光撮像部１０３が動画構成画像を撮像する場合、撮像条件決定部１１１は、可視光撮像部１０３の撮像するフレームレートの決定について、被写体速さ予測部１１０から取得した被写体の動きの速さまたは被写体の加速度と、被写体位置予測部１０９から取得した被写体の位置とから、可視光撮像部１０３が撮像するのに最適なフレームレートを決定する。撮像条件決定部１１１は、予測される被写体の動きの速さが予測される位置においてより速い場合には、可視光撮像部１０３の撮像するフレームレートをより大きく設定して、被写体の動作をより多いフレーム数で撮像する。これにより、被写体の動きが速い場合であっても、被写体の細かい動きを撮像することができる。逆に、撮像条件決定部１１１は、予測される被写体の動きの速さが予測される位置においてより遅い場合には、可視光撮像部１０３の撮像するフレームレートをより小さく設定して、被写体の動きをより少ないフレーム数で撮像する。これにより、被写体の動きが遅い場合には可視光画像のデータ量を抑えることができる。なお、フレームレートに一定のしきい値を設けておき、被写体の動きの速さが一定の値以下であった場合には設定されたしきい値のフレームレートで撮像することで、フレームレートが小さくなりすぎるのを防止するのが好ましい。
【００５６】
撮像条件決定部１１１は、可視光撮像部１０３が撮像する解像度の決定について、被写体位置予測部１０９から取得した予測される被写体の位置と、可視光撮像部１０３が設置された位置とから決定する。撮像条件決定部１１１は、予測される被写体の位置と、可視光撮像部１０３が設置された位置とから、撮像される被写体の大きさを算出する。撮像条件決定部１１１は、算出された被写体の大きさがより小さいと判断した場合には、被写体の解像度を大きくする決定をする。解像度を大きくするとは、光学レンズによって予測される位置をズームすること、または可視光撮像部１０３の受光素子数を多くすることで実現できる。また、受光素子数を上げるとは、可視光撮像部１０３が設置された位置に対して、被写体の監視領域における位置が撮像するのに十分に近い、即ち被写体の大きさが十分に大きい場合に、可視光撮像部１０３は、データ量を少なくするために受光素子数を間引いて撮像する。これに対して、可視光撮像部１０３が設置された位置に対して、被写体の監視領域における位置が遠い、即ち被写体が小さい場合に、可視光撮像部１０３が有する全ての受光素子数で被写体を撮像して、撮像された可視光画像に含まれる被写体の像を明瞭にすることをいう。
【００５７】
可視光撮像部１０３が動画構成画像を撮像する場合であって、撮像開始から可視光撮像部１０３と被写体との距離が遠ざかる、または近づく可視光画像を撮像する場合に、解像度を変化させるとより効果的である。可視光撮像部１０３は、撮像を実行するタイミングにおいて可視光画像の撮像を開始する。被写体位置予測部１０９は、被写体位置特定部１０７が特定した監視領域における被写体の位置と、タイミング予測部１０８が予測したタイミングにおいて予測した監視領域における被写体の位置とから、その後の被写体の位置を予測する。撮像条件決定部１１１は、被写体位置予測部１０９が予測した被写体の位置から解像度の変化量を決定して、可視光撮像部１０３へと送る。可視光撮像部１０３は、撮像条件決定部１１１が決定した解像度の変化量に合わせて解像度を変化して、動画構成画像を撮像する。
【００５８】
なお、より適した解像度で被写体を撮像するためには、被写体位置予測部１０９は、被写体速さ予測部１１０により予測された被写体の動きの速さまたは加速度をさらに取得して、被写体の位置を予測するとよい。また、被写体の進行方向が変わった場合など、タイミング予測部１０８がタイミングを予測する条件を細かく設定して、予測されたタイミングにおいて、撮像条件決定部１１１が撮像する解像度の変化量を細かく決定すると、さらに適した解像度に近づけられる。
【００５９】
撮像条件決定部１１１は、可視光撮像部１０３の撮像時に可視光照射部１０４を照射するか否かを決定する（ステップ２１０）。撮像条件決定部１１１は、光量測定部から取得した光量から周囲の明るさを特定して、可視光照射部１０４を照射するか否かの決定をする。撮像条件決定部１１１は、可視光撮像部１０３の撮像において、周囲の明るさが十分でないと判断した場合には、可視光照射部１０４に対して可視光の照射を決定する。
【００６０】
可視光照射部選択部３１０は、可視光を照射すべき可視光照射部１０４を、複数の可視光照射部１０４の中から選択する（ステップ２１４）。例えば、可視光照射部選択部３１０は、図９に例示した方法により、可視光を照射すべき可視光照射部１０４を選択する。タイミング予測部１０８は、可視光撮像部１０３と可視光照射部１０４とに対して、同じタイミングを送信することで、可視光撮像部１０３による可視光画像の撮像と、可視光照射部１０４による可視光の照射を同期させる。可視光照射部１０４は、可視光撮像部１０３の撮像と同期して監視領域に可視光を照射する（ステップ２１６）。
【００６１】
図１１は、制御部１０１のハードウェア構成の一例を示す。制御部１０１は、ホスト・コントローラ１５８２により相互に接続されるＣＰＵ１５０５、ＲＡＭ１５２０、グラフィック・コントローラ１５７５、及び表示装置１５８０を有するＣＰＵ周辺部と、入出力コントローラ１５８４によりホスト・コントローラ１５８２に接続される通信インターフェイス１５３０、ハードディスクドライブ１５４０、及びＣＤ−ＲＯＭドライブ１５６０を有する入出力部と、入出力コントローラ１５８４に接続されるＲＯＭ１５１０、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０を有するレガシー入出力部とを備える。
【００６２】
ホスト・コントローラ１５８２は、ＲＡＭ１５２０と、高い転送レートでＲＡＭ１５２０をアクセスするＣＰＵ１５０５、及びグラフィック・コントローラ１５７５とを接続する。ＣＰＵ１５０５は、ＲＯＭ１５１０、及びＲＡＭ１５２０に格納されたプログラムに基づいて動作して、各部の制御をする。グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等がＲＡＭ１５２０内に設けたフレーム・バッファ上に生成する画像データを取得して、表示装置１５８０上に表示させる。これに代えて、グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。
【００６３】
入出力コントローラ１５８４は、ホスト・コントローラ１５８２と、比較的高速な入出力装置であるハードディスクドライブ１５４０、通信インターフェイス１５３０、ＣＤ−ＲＯＭドライブ１５６０を接続する。ハードディスクドライブ１５４０は、ＣＰＵ１５０５が使用するプログラム、及びデータを格納する。通信インターフェイス１５３０は、ネットワーク通信装置１５９８に接続してプログラムまたはデータを送受信する。ＣＤ−ＲＯＭドライブ１５６０は、ＣＤ−ＲＯＭ１５９５からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０、及び通信インターフェイス１５３０に提供する。
【００６４】
また、入出力コントローラ１５８４には、ＲＯＭ１５１０と、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０の比較的低速な入出力装置とが接続される。ＲＯＭ１５１０は、制御部１０１が起動時に実行するブート・プログラムや、制御部１０１のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ１５５０は、フレキシブルディスク１５９０からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０、及び通信インターフェイス１５３０に提供する。入出力チップ１５７０は、フレキシブルディスク・ドライブ１５５０や、例えばパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。
【００６５】
ＣＰＵ１５０５が実行するプログラムは、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５、またはＩＣカード等の記録媒体に格納されて利用者によって提供される。記録媒体に格納されたプログラムは圧縮されていても非圧縮であってもよい。プログラムは、記録媒体からハードディスクドライブ１５４０にインストールされ、ＲＡＭ１５２０に読み出されてＣＰＵ１５０５により実行される。
【００６６】
ＣＰＵ１５０５により実行されるプログラムは、制御部１０１を、図１から１０に関連して説明した、赤外光画像格納部１０５、タイミング予測部１０８、顔向き特定部１０６、被写体位置特定部１０７、撮像条件決定部１１１、被写体位置予測部１０９、被写体速さ予測部１１０、可視光撮像制御ユニット１２０、及び可視光画像格納部１１２として機能させる。
【００６７】
以上に示したプログラムは、外部の記憶媒体に格納されてもよい。記憶媒体としては、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５の他に、ＤＶＤやＰＤ等の光学記録媒体、ＭＤ等の光磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、専用通信ネットワークやインターネットに接続されたサーバシステムに設けたハードディスクまたはＲＡＭ等の記憶装置を記録媒体として使用して、ネットワークを介してプログラムを制御部１０１に提供してもよい。
【００６８】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な決定または改良を加えることができる。その様な決定または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【図面の簡単な説明】
【００６９】
【図１】本発明の一実施形態に係る撮像システム１００の全体構成を示す。
【図２】制御部１０１のブロック構成図の一例を示す。
【図３】可視光撮像制御ユニット１２０のブロック構成の一例を示す図である。
【図４】顔向き特定部１０６が赤外光画像に含まれる人物の顔の向きを特定する一例を示す。
【図５】被写体位置特定部１０７が赤外光画像に含まれる被写体の監視領域における位置を特定する一例を示す。
【図６】撮像条件決定部１１１が可視光撮像部１０３の撮像方向を決定する一例を示す。
【図７】撮像条件決定部１１１が可視光撮像部１０３の画角を決定する一例を示す。
【図８】赤外光撮像部１０２および可視光撮像部１０３が撮像する画像の一例を示す。
【図９】可視光撮像部１０３および可視光照射部１０４と人物との間の位置関係の一例を示す。
【図１０】撮像システム１００の動作を示すフローチャートの一例を示す。
【図１１】制御部１０１のハードウェア構成の一例を示す。
【符号の説明】
【００７０】
１００ 撮像システム
１０１ 制御部
１０２ 赤外光撮像部
１０３ 可視光撮像部
１０４ 可視光照射部
１０５ 赤外光画像格納部
１０６ 顔向き特定部
１０７ 被写体位置特定部
１０８ タイミング予測部
１０９ 被写体位置予測部
１１０ 被写体速さ予測部
１１１ 撮像条件決定部
１１２ 可視光画像格納部
１２０ 可視光撮像制御ユニット
３３０ 可視光照射制御部
３４０ 可視光撮像制御部
３１０ 可視光照射部選択部
３２０ 可視光撮像部選択部
【特許請求の範囲】
【請求項１】
赤外光により被写体の複数の赤外光画像を連続して撮像する赤外光撮像部と、
前記複数の赤外光画像のそれぞれが撮像されたタイミング及び前記複数の赤外光画像の画像内容に基づいて、前記複数の赤外光画像に含まれる被写体が予め定められた条件に適合するタイミングを予測するタイミング予測部と、
前記タイミング予測部が予測したタイミングにおいて、可視光により可視光画像を撮像する可視光撮像部と
を備える撮像システム。
【請求項２】
前記複数の赤外光画像のそれぞれに含まれる人物の顔の向きを特定する顔向き特定部
をさらに備え、
前記タイミング予測部は、前記複数の赤外光画像のそれぞれが撮像されたタイミング及び前記顔向き特定部が特定した顔の向きに基づいて、人物の顔が予め定められた向きに向くタイミングを予測する
請求項１に記載の撮像システム。
【請求項３】
前記タイミング予測部は、前記複数の赤外光画像のそれぞれが撮像されたタイミング及び前記顔向き特定部が特定した前記複数の赤外光画像のそれぞれに含まれる人物の顔の向きに基づいて、人物の頭部の回転速度を算出して、算出した回転速度に基づいて人物の顔が予め定められた向きに向くタイミングを特定する
請求項２に記載の撮像システム。
【請求項４】
前記複数の赤外光画像のそれぞれに含まれる予め定められた被写体の位置を特定する被写体位置特定部
をさらに備え、
前記タイミング予測部は、前記複数の赤外光画像のそれぞれが撮像されたタイミング及び前記被写体位置特定部が特定した位置に基づいて、予め定められた被写体が予め定められた位置に存在するタイミングを予測する
請求項１に記載の撮像システム。
【請求項５】
前記タイミング予測部は、前記複数の赤外光画像のそれぞれが撮像されたタイミング及び前記被写体位置特定部が特定した前記複数の赤外光画像のそれぞれに含まれる予め定められた被写体の位置に基づいて、予め定められた被写体の動く速さを算出して、算出した速さに基づいて予め定められた被写体が予め定められた位置に存在するタイミングを予測する
請求項４に記載の撮像システム。
【請求項６】
前記複数の赤外光画像のそれぞれに含まれる人物の顔の向きを特定する顔向き特定部
をさらに備え、
前記被写体位置特定部は、前記複数の赤外光画像のそれぞれに含まれる人物の位置を特定して、
前記タイミング予測部は、前記複数の赤外光画像のそれぞれが撮像されたタイミング、前記顔向き特定部が特定した顔の向き、及び前記被写体位置特定部が特定した人物の位置に基づいて、人物の顔が予め定められた位置において予め定められた向きに向くタイミングを予測する
請求項４に記載の撮像システム。
【請求項７】
前記複数の赤外光画像の画像内容に基づいて、前記タイミング予測部が予測したタイミングにおいて前記可視光撮像部が前記可視光画像を撮像する撮像条件を決定する撮像条件決定部
をさらに備え、
前記可視光撮像部は、前記タイミング予測部が予測したタイミングにおいて、前記撮像条件決定部が決定した撮像条件で前記可視光画像を撮像する
請求項１に記載の撮像システム。
【請求項８】
前記複数の赤外光画像の画像内容に基づいて前記複数の赤外光画像のそれぞれに含まれる予め定められた被写体の位置を特定する被写体位置特定部と、
前記被写体位置特定部が特定した位置に基づいて、前記タイミング予測部が予測したタイミングにおける前記予め定められた被写体の位置を予測する被写体位置予測部と
をさらに備え、
前記撮像条件決定部は、前記被写体位置予測部が予測した位置の被写体に前記可視光撮像部が合焦させて撮像することができる合焦位置を決定して、
前記可視光撮像部は、前記タイミング予測部が予測したタイミングにおいて、前記撮像条件決定部が決定した合焦位置に合焦させた撮像する
請求項７に記載の撮像システム。
【請求項９】
前記複数の赤外光画像の画像内容に基づいて前記複数の赤外光画像のそれぞれに含まれる予め定められた被写体の位置を特定する被写体位置特定部と、
前記被写体位置特定部が特定した位置に基づいて、前記タイミング予測部が予測したタイミングにおける前記予め定められた被写体の位置を予測する被写体位置予測部と
をさらに備え、
前記撮像条件決定部は、前記被写体位置予測部が予測した位置の被写体を前記可視光撮像部が撮像することができる撮像方向を決定して、
前記可視光撮像部は、前記タイミング予測部が予測したタイミングにおいて、前記撮像条件決定部が決定した撮像方向で撮像する
請求項７に記載の撮像システム。
【請求項１０】
前記複数の赤外光画像の画像内容に基づいて前記複数の赤外光画像のそれぞれに含まれる予め定められた被写体の位置を特定する被写体位置特定部と、
前記被写体位置特定部が特定した位置に基づいて、前記タイミング予測部が予測したタイミングにおける前記予め定められた被写体の位置を予測する被写体位置予測部と
をさらに備え、
前記撮像条件決定部は、前記被写体位置予測部が予測した位置の被写体を前記可視光撮像部が撮像することができる画角を決定して、
前記可視光撮像部は、前記タイミング予測部が予測したタイミングにおいて、前記撮像条件決定部が決定した画角で撮像する
請求項７に記載の撮像システム。
【請求項１１】
前記複数の赤外光画像の画像内容に基づいて前記複数の赤外光画像のそれぞれに含まれる予め定められた被写体の位置を特定する被写体位置特定部と、
前記被写体位置特定部が特定した位置に基づいて前記タイミング予測部が予測したタイミングにおいて前記予め定められた被写体が動く速さを予測する被写体速さ予測部と
をさらに備え、
前記撮像条件決定部は、前記被写体速さ予測部が予測した速さがより大きい場合に、前記可視光撮像部が撮像する撮像レートをより大きく決定して、
前記可視光撮像部は、前記タイミング予測部が予測したタイミングにおいて、前記撮像条件決定部が決定した撮像レートで撮像する
請求項７に記載の撮像システム。
【請求項１２】
前記複数の赤外光画像の画像内容に基づいて前記複数の赤外光画像のそれぞれに含まれる予め定められた被写体の位置を特定する被写体位置特定部と、
前記被写体位置特定部が特定した位置に基づいて、前記タイミング予測部が予測したタイミングにおける前記予め定められた被写体の位置を予測する被写体位置予測部と
をさらに備え、
前記撮像条件決定部は、前記被写体位置予測部が予測した位置における前記予め定められた被写体が前記可視光撮像部によってより小さく撮像される場合に、前記可視光撮像部が撮像する解像度をより大きく決定して、
前記可視光撮像部は、前記タイミング予測部が予測したタイミングにおいて、前記撮像条件決定部が決定した解像度で撮像する
請求項７に記載の撮像システム。
【請求項１３】
前記可視光撮像部の撮像範囲の少なくとも一部の領域に、前記タイミング予測部が予測したタイミングで可視光を照射する可視光照射部
をさらに備え、
前記可視光撮像部は、前記可視光照射部が可視光を照射するタイミングに同期して前記可視光画像を撮像する
請求項１に記載の撮像システム。
【請求項１４】
前記可視光照射部は複数設けられ、
前記撮像システムは、
前記複数の赤外光画像のそれぞれが撮像されたタイミング及び前記複数の赤外光画像の画像内容に基づいて、前記タイミング予測部が予測したタイミングで可視光を照射する可視光照射部を複数の前記可視光照射部の中から選択する可視光照射部選択部と、
前記可視光照射部選択部が選択した可視光照射部に、前記タイミング予測部が予測したタイミングで可視光を照射させる可視光照射制御部と
をさらに備える請求項１３に記載の撮像システム。
【請求項１５】
前記可視光照射部選択部は、前記複数の赤外光画像のそれぞれが撮像されたタイミング及び前記複数の赤外光画像の画像内容に基づいて特定された予め定められた被写体の動きに基づいて、前記タイミング予測部が予測したタイミングで可視光を照射する可視光照射部を複数の前記可視光照射部の中から選択する
請求項１４に記載の撮像システム。
【請求項１６】
前記可視光照射部選択部は、前記予め定められた被写体の動きに基づいて、前記予め定められた被写体の位置との間の位置関係、及び、前記予め定められた被写体の向きと可視光の照射方向との間の関係の少なくとも一方が予め定められた条件に適合することが予測される可視光照射部を、複数の前記可視光照射部の中から選択する
請求項１５に記載の撮像システム。
【請求項１７】
前記可視光撮像部は複数設けられ、
前記撮像システムは、
前記複数の赤外光画像のそれぞれが撮像されたタイミング及び前記複数の赤外光画像の画像内容に基づいて、前記可視光画像を撮像する可視光撮像部を複数の前記可視光撮像部の中から選択する可視光撮像部選択部と、
前記可視光撮像部選択部が選択した可視光撮像部に、前記タイミング予測部が予測したタイミングで前記可視光画像を撮像させる可視光撮像制御部と
をさらに備える請求項１に記載の撮像システム。
【請求項１８】
前記可視光撮像部選択部は、前記複数の赤外光画像のそれぞれが撮像されたタイミング及び前記複数の赤外光画像の画像内容に基づいて特定された予め定められた被写体の動きに基づいて、前記可視光画像を撮像する可視光撮像部を複数の前記可視光撮像部の中から選択する
請求項１７に記載の撮像システム。
【請求項１９】
前記可視光撮像部選択部は、前記予め定められた被写体の動きに基づいて、前記予め定められた被写体の位置との間の位置関係、及び、前記予め定められた被写体の向きと撮像方向との間の関係の少なくとも一方が予め定められた条件に適合することが予測される可視光撮像部を、前記可視光画像を撮像する可視光撮像部として複数の前記可視光撮像部の中から選択する
請求項１８に記載の撮像システム。
【請求項２０】
前記タイミング予測部は、前記予め定められた被写体の動きに基づいて、前記予め定められた被写体が予め定められた条件に適合するタイミングを予測する
請求項１９に記載の撮像システム。
【請求項２１】
前記タイミング予測部は、前記予め定められた被写体の動きに基づいて、前記可視光撮像部選択部により選択された可視光撮像部と前記予め定められた被写体の位置との間の位置関係、及び、前記可視光撮像部選択部により選択された可視光撮像部の撮像方向と前記予め定められた被写体の向きとの間の関係の少なくとも一方が予め定められた条件に適合するタイミングを予測する
請求項２０に記載の撮像システム。
【請求項２２】
赤外光により被写体の複数の赤外光画像を連続して撮像する赤外光撮像段階と、
前記複数の赤外光画像のそれぞれが撮像されたタイミング及び前記複数の赤外光画像の画像内容に基づいて、前記複数の赤外光画像に含まれる被写体が予め定められた条件に適合するタイミングを予測するタイミング予測段階と、
前記タイミング予測段階で予測されたタイミングにおいて、可視光により可視光画像を撮像する可視光撮像段階と
を備える撮像方法。
【請求項２３】
撮像システム用のプログラムであって、前記撮像システムを、
赤外光により被写体の複数の赤外光画像を連続して撮像する赤外光撮像部、
前記複数の赤外光画像のそれぞれが撮像されたタイミング及び前記複数の赤外光画像の画像内容に基づいて、前記複数の赤外光画像に含まれる被写体が予め定められた条件に適合するタイミングを予測するタイミング予測部、及び
前記タイミング予測部が予測したタイミングにおいて、可視光により可視光画像を撮像する可視光撮像部
として機能させるプログラム。
【請求項１】
赤外光により被写体の複数の赤外光画像を連続して撮像する赤外光撮像部と、
前記複数の赤外光画像のそれぞれが撮像されたタイミング及び前記複数の赤外光画像の画像内容に基づいて、前記複数の赤外光画像に含まれる被写体が予め定められた条件に適合するタイミングを予測するタイミング予測部と、
前記タイミング予測部が予測したタイミングにおいて、可視光により可視光画像を撮像する可視光撮像部と
を備える撮像システム。
【請求項２】
前記複数の赤外光画像のそれぞれに含まれる人物の顔の向きを特定する顔向き特定部
をさらに備え、
前記タイミング予測部は、前記複数の赤外光画像のそれぞれが撮像されたタイミング及び前記顔向き特定部が特定した顔の向きに基づいて、人物の顔が予め定められた向きに向くタイミングを予測する
請求項１に記載の撮像システム。
【請求項３】
前記タイミング予測部は、前記複数の赤外光画像のそれぞれが撮像されたタイミング及び前記顔向き特定部が特定した前記複数の赤外光画像のそれぞれに含まれる人物の顔の向きに基づいて、人物の頭部の回転速度を算出して、算出した回転速度に基づいて人物の顔が予め定められた向きに向くタイミングを特定する
請求項２に記載の撮像システム。
【請求項４】
前記複数の赤外光画像のそれぞれに含まれる予め定められた被写体の位置を特定する被写体位置特定部
をさらに備え、
前記タイミング予測部は、前記複数の赤外光画像のそれぞれが撮像されたタイミング及び前記被写体位置特定部が特定した位置に基づいて、予め定められた被写体が予め定められた位置に存在するタイミングを予測する
請求項１に記載の撮像システム。
【請求項５】
前記タイミング予測部は、前記複数の赤外光画像のそれぞれが撮像されたタイミング及び前記被写体位置特定部が特定した前記複数の赤外光画像のそれぞれに含まれる予め定められた被写体の位置に基づいて、予め定められた被写体の動く速さを算出して、算出した速さに基づいて予め定められた被写体が予め定められた位置に存在するタイミングを予測する
請求項４に記載の撮像システム。
【請求項６】
前記複数の赤外光画像のそれぞれに含まれる人物の顔の向きを特定する顔向き特定部
をさらに備え、
前記被写体位置特定部は、前記複数の赤外光画像のそれぞれに含まれる人物の位置を特定して、
前記タイミング予測部は、前記複数の赤外光画像のそれぞれが撮像されたタイミング、前記顔向き特定部が特定した顔の向き、及び前記被写体位置特定部が特定した人物の位置に基づいて、人物の顔が予め定められた位置において予め定められた向きに向くタイミングを予測する
請求項４に記載の撮像システム。
【請求項７】
前記複数の赤外光画像の画像内容に基づいて、前記タイミング予測部が予測したタイミングにおいて前記可視光撮像部が前記可視光画像を撮像する撮像条件を決定する撮像条件決定部
をさらに備え、
前記可視光撮像部は、前記タイミング予測部が予測したタイミングにおいて、前記撮像条件決定部が決定した撮像条件で前記可視光画像を撮像する
請求項１に記載の撮像システム。
【請求項８】
前記複数の赤外光画像の画像内容に基づいて前記複数の赤外光画像のそれぞれに含まれる予め定められた被写体の位置を特定する被写体位置特定部と、
前記被写体位置特定部が特定した位置に基づいて、前記タイミング予測部が予測したタイミングにおける前記予め定められた被写体の位置を予測する被写体位置予測部と
をさらに備え、
前記撮像条件決定部は、前記被写体位置予測部が予測した位置の被写体に前記可視光撮像部が合焦させて撮像することができる合焦位置を決定して、
前記可視光撮像部は、前記タイミング予測部が予測したタイミングにおいて、前記撮像条件決定部が決定した合焦位置に合焦させた撮像する
請求項７に記載の撮像システム。
【請求項９】
前記複数の赤外光画像の画像内容に基づいて前記複数の赤外光画像のそれぞれに含まれる予め定められた被写体の位置を特定する被写体位置特定部と、
前記被写体位置特定部が特定した位置に基づいて、前記タイミング予測部が予測したタイミングにおける前記予め定められた被写体の位置を予測する被写体位置予測部と
をさらに備え、
前記撮像条件決定部は、前記被写体位置予測部が予測した位置の被写体を前記可視光撮像部が撮像することができる撮像方向を決定して、
前記可視光撮像部は、前記タイミング予測部が予測したタイミングにおいて、前記撮像条件決定部が決定した撮像方向で撮像する
請求項７に記載の撮像システム。
【請求項１０】
前記複数の赤外光画像の画像内容に基づいて前記複数の赤外光画像のそれぞれに含まれる予め定められた被写体の位置を特定する被写体位置特定部と、
前記被写体位置特定部が特定した位置に基づいて、前記タイミング予測部が予測したタイミングにおける前記予め定められた被写体の位置を予測する被写体位置予測部と
をさらに備え、
前記撮像条件決定部は、前記被写体位置予測部が予測した位置の被写体を前記可視光撮像部が撮像することができる画角を決定して、
前記可視光撮像部は、前記タイミング予測部が予測したタイミングにおいて、前記撮像条件決定部が決定した画角で撮像する
請求項７に記載の撮像システム。
【請求項１１】
前記複数の赤外光画像の画像内容に基づいて前記複数の赤外光画像のそれぞれに含まれる予め定められた被写体の位置を特定する被写体位置特定部と、
前記被写体位置特定部が特定した位置に基づいて前記タイミング予測部が予測したタイミングにおいて前記予め定められた被写体が動く速さを予測する被写体速さ予測部と
をさらに備え、
前記撮像条件決定部は、前記被写体速さ予測部が予測した速さがより大きい場合に、前記可視光撮像部が撮像する撮像レートをより大きく決定して、
前記可視光撮像部は、前記タイミング予測部が予測したタイミングにおいて、前記撮像条件決定部が決定した撮像レートで撮像する
請求項７に記載の撮像システム。
【請求項１２】
前記複数の赤外光画像の画像内容に基づいて前記複数の赤外光画像のそれぞれに含まれる予め定められた被写体の位置を特定する被写体位置特定部と、
前記被写体位置特定部が特定した位置に基づいて、前記タイミング予測部が予測したタイミングにおける前記予め定められた被写体の位置を予測する被写体位置予測部と
をさらに備え、
前記撮像条件決定部は、前記被写体位置予測部が予測した位置における前記予め定められた被写体が前記可視光撮像部によってより小さく撮像される場合に、前記可視光撮像部が撮像する解像度をより大きく決定して、
前記可視光撮像部は、前記タイミング予測部が予測したタイミングにおいて、前記撮像条件決定部が決定した解像度で撮像する
請求項７に記載の撮像システム。
【請求項１３】
前記可視光撮像部の撮像範囲の少なくとも一部の領域に、前記タイミング予測部が予測したタイミングで可視光を照射する可視光照射部
をさらに備え、
前記可視光撮像部は、前記可視光照射部が可視光を照射するタイミングに同期して前記可視光画像を撮像する
請求項１に記載の撮像システム。
【請求項１４】
前記可視光照射部は複数設けられ、
前記撮像システムは、
前記複数の赤外光画像のそれぞれが撮像されたタイミング及び前記複数の赤外光画像の画像内容に基づいて、前記タイミング予測部が予測したタイミングで可視光を照射する可視光照射部を複数の前記可視光照射部の中から選択する可視光照射部選択部と、
前記可視光照射部選択部が選択した可視光照射部に、前記タイミング予測部が予測したタイミングで可視光を照射させる可視光照射制御部と
をさらに備える請求項１３に記載の撮像システム。
【請求項１５】
前記可視光照射部選択部は、前記複数の赤外光画像のそれぞれが撮像されたタイミング及び前記複数の赤外光画像の画像内容に基づいて特定された予め定められた被写体の動きに基づいて、前記タイミング予測部が予測したタイミングで可視光を照射する可視光照射部を複数の前記可視光照射部の中から選択する
請求項１４に記載の撮像システム。
【請求項１６】
前記可視光照射部選択部は、前記予め定められた被写体の動きに基づいて、前記予め定められた被写体の位置との間の位置関係、及び、前記予め定められた被写体の向きと可視光の照射方向との間の関係の少なくとも一方が予め定められた条件に適合することが予測される可視光照射部を、複数の前記可視光照射部の中から選択する
請求項１５に記載の撮像システム。
【請求項１７】
前記可視光撮像部は複数設けられ、
前記撮像システムは、
前記複数の赤外光画像のそれぞれが撮像されたタイミング及び前記複数の赤外光画像の画像内容に基づいて、前記可視光画像を撮像する可視光撮像部を複数の前記可視光撮像部の中から選択する可視光撮像部選択部と、
前記可視光撮像部選択部が選択した可視光撮像部に、前記タイミング予測部が予測したタイミングで前記可視光画像を撮像させる可視光撮像制御部と
をさらに備える請求項１に記載の撮像システム。
【請求項１８】
前記可視光撮像部選択部は、前記複数の赤外光画像のそれぞれが撮像されたタイミング及び前記複数の赤外光画像の画像内容に基づいて特定された予め定められた被写体の動きに基づいて、前記可視光画像を撮像する可視光撮像部を複数の前記可視光撮像部の中から選択する
請求項１７に記載の撮像システム。
【請求項１９】
前記可視光撮像部選択部は、前記予め定められた被写体の動きに基づいて、前記予め定められた被写体の位置との間の位置関係、及び、前記予め定められた被写体の向きと撮像方向との間の関係の少なくとも一方が予め定められた条件に適合することが予測される可視光撮像部を、前記可視光画像を撮像する可視光撮像部として複数の前記可視光撮像部の中から選択する
請求項１８に記載の撮像システム。
【請求項２０】
前記タイミング予測部は、前記予め定められた被写体の動きに基づいて、前記予め定められた被写体が予め定められた条件に適合するタイミングを予測する
請求項１９に記載の撮像システム。
【請求項２１】
前記タイミング予測部は、前記予め定められた被写体の動きに基づいて、前記可視光撮像部選択部により選択された可視光撮像部と前記予め定められた被写体の位置との間の位置関係、及び、前記可視光撮像部選択部により選択された可視光撮像部の撮像方向と前記予め定められた被写体の向きとの間の関係の少なくとも一方が予め定められた条件に適合するタイミングを予測する
請求項２０に記載の撮像システム。
【請求項２２】
赤外光により被写体の複数の赤外光画像を連続して撮像する赤外光撮像段階と、
前記複数の赤外光画像のそれぞれが撮像されたタイミング及び前記複数の赤外光画像の画像内容に基づいて、前記複数の赤外光画像に含まれる被写体が予め定められた条件に適合するタイミングを予測するタイミング予測段階と、
前記タイミング予測段階で予測されたタイミングにおいて、可視光により可視光画像を撮像する可視光撮像段階と
を備える撮像方法。
【請求項２３】
撮像システム用のプログラムであって、前記撮像システムを、
赤外光により被写体の複数の赤外光画像を連続して撮像する赤外光撮像部、
前記複数の赤外光画像のそれぞれが撮像されたタイミング及び前記複数の赤外光画像の画像内容に基づいて、前記複数の赤外光画像に含まれる被写体が予め定められた条件に適合するタイミングを予測するタイミング予測部、及び
前記タイミング予測部が予測したタイミングにおいて、可視光により可視光画像を撮像する可視光撮像部
として機能させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２００８−２５２８６３（Ｐ２００８−２５２８６３Ａ）
【公開日】平成２０年１０月１６日（２００８．１０．１６）
【国際特許分類】
【出願番号】特願２００７−３３８１８４（Ｐ２００７−３３８１８４）
【出願日】平成１９年１２月２７日（２００７．１２．２７）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
【公開日】平成２０年１０月１６日（２００８．１０．１６）
【国際特許分類】
【出願日】平成１９年１２月２７日（２００７．１２．２７）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
[ Back to top ]