撮像装置およびその制御方法
【課題】本発明は、不動体検知動作中に画像全体の輝度や色を変化させるオートデイナイト機能が働いても正常に不動体検知を行うことができる撮像装置を提供する。
【解決手段】撮像装置において、オートデイナイト機能により撮影モードが切り換えられたときは、参照画像記憶部１０６に記憶された参照画像の更新を行う。そして、検出領域記憶部１１０に記憶されている画素の領域の位置（もしくは座標）に応じて、第１の検出判定部１０８または第２の検出判定部１０９による判定を切り換える。
【解決手段】撮像装置において、オートデイナイト機能により撮影モードが切り換えられたときは、参照画像記憶部１０６に記憶された参照画像の更新を行う。そして、検出領域記憶部１１０に記憶されている画素の領域の位置（もしくは座標）に応じて、第１の検出判定部１０８または第２の検出判定部１０９による判定を切り換える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置およびその制御方法に関し、特に、不動体検知機能と撮影モードの切り換え機能とを備える撮像装置およびその制御方法に関する。
【背景技術】
【０００２】
近年、監視カメラシステムには、様々なインテリジェント機能が搭載されている。その一つとして、監視カメラから得た画像を基に、監視領域内に新たに加わり静止した状態の物体を画像処理により検知する不動体検知機能がある。この不動体検知機能では、基準となる参照画像と現在の入力画像とを比較して差異部分を検出し、この差異部分の継続時間が所定時間以上に達すると、監視画面への表示や警告等が行われる（例えば、特許文献１参照）。
【０００３】
一方、従来から、撮影モードを自動で切り換える機能の一つとして、オートデイナイト機能が知られている。オートデイナイト機能とは、被写体からの入射光量に応じて自動的に赤外線カットフィルタの取り付け／取り外しを行うことにより、撮像素子への入射光量を増減させるデイモードとナイトモードからなる撮像モードを切り換える機能である。可視光の入射光量が減少してきた場合には、赤外光で撮影するナイトモードに切り換えて画像が出力される。また、赤外光の入射光量が増加してきた場合には、可視光で撮影するデイモードに切り換えて画像が出力される（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０００−３３１２５４号公報
【特許文献２】特開２００４−１２０２０２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記従来例では、不動体検知機能の動作中に画面全体の輝度や色が変化する撮影モードの切り換えが行われると、参照画像と現在の入力画像との差異部分が画像全体に検出される。特に、オートデイナイト機能の切り換えが行われると、赤外光の変化によって画像全体の輝度が著しく変化し、大きな差異部分が画像全体に検出される。そのため、不動体検知機能が、監視領域全体を不動体として誤検知してしまうという問題がある。
【０００６】
また、不動体検知機能における差異部分の検出の継続時間のカウント中に撮影モードの切り換えが行われると、不動体と成り得る物体が監視領域の一部分に存在しているにもかかわらず、画像全体に差異が検出される。そのため、不動体と成り得る物体の領域が特定できず、正常に検知されないという問題がある。
【０００７】
本発明は、上記問題に鑑みて成されたものであり、不動体検知動作中に画像全体の輝度や色を変化させるオートデイナイト機能が働いても正常に不動体検知を行うことができる撮像装置およびその制御方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、請求項１記載の撮像装置は、撮影中の映像から基準となる参照画像を記憶する画像記憶手段と、前記記憶された参照画像と現在の画像との輝度値から差分を算出する差分検出手段と、前記算出された差分が第１の閾値よりも大きい場合に基準を満たしたと判定する第１の検出判定手段と、
前記算出された差分が第２の閾値よりも小さい場合に基準を満たしたと判定する第２の検出判定手段と、前記第１の検出判定手段または前記第２の検出判定手段のいずれかにより前記基準を満たすと判定された画素の領域の位置を記憶する領域記憶手段と、撮影モードを切り換える切換手段と、前記切換手段により前記撮影モードが切り換えられたときは、前記画像記憶手段に記憶された参照画像の更新を行い、前記領域記憶手段に記憶されている画素の領域の位置に応じて、前記第１の検出判定手段または前記第２の検出判定手段による判定を切り換える制御手段とを備えることを特徴とする。
【０００９】
上記目的を達成するために、請求項１５記載の撮像装置の制御方法は、撮影中の映像から基準となる参照画像を記憶する画像記憶手段と、前記記憶された参照画像と現在の画像との輝度値から差分を算出する差分検出手段と、前記算出された差分が第１の閾値よりも大きい場合に基準を満たしたと判定する第１の検出判定手段と、前記算出された差分が第２の閾値よりも小さい場合に基準を満たしたと判定する第２の検出判定手段と、前記第１の検出判定手段または前記第２の検出判定手段のいずれかにより前記基準を満たすと判定された画素の領域の位置を記憶する領域記憶手段とを備える撮像装置の制御方法であって、撮影モードを切り換える切換工程と、前記切換工程にて前記撮影モードが切り換えられたときは、前記画像記憶手段に記憶された参照画像の更新を行い、前記領域記憶手段に記憶されている画素の領域の位置に応じて、前記第１の検出判定手段または前記第２の検出判定手段による判定を切り換える制御工程とを備えることを特徴とする。
【発明の効果】
【００１０】
本発明によれば、不動体検知動作中に画像全体の輝度や色を変化させるオートデイナイト機能が働いても画像全体を不動体として誤検知することなく、正常に不動体検知を行うことができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態に係る撮像装置におけるオートデイナイト機能に関する構成部分を示すブロック図である。
【図２】オートデイナイト機能による動作を示すフローチャートであり、（ａ）はデイモード時、（ｂ）はナイトモード時である。
【図３】時間経過に対する被写体からの入射光量の変化を示すグラフである。
【図４】不動体検知機能による不動体検知処理を示すフローチャートである。
【図５】図４のステップＳ５０３における画素ごとの不動体検知処理の詳細を示すフローチャートである。
【図６】不動体検知機能を説明するための図であり、（ａ）は参照画像、（ｂ）は現在の画像、（ｃ）は差分画像、（ｄ）は不動体検出時の画像である。
【図７】検出領域記憶部に記憶されている画素領域がない状態で撮影モードの切り換えが実行されたときの処理を示すフローチャートである。
【図８】図７の処理において撮影された画像の一例を示す図であり、（ａ）は切り換え前の参照画像、（ｂ）は切り換え後の現在の画像、（ｃ）はそれらの差分画像である。
【図９】従来の検出領域記憶部１１０に記憶されている画素領域がない状態で撮影モードの切り換えが実行されたときに撮影される画像の一例を示す図であり、（ａ）は切り換え前の参照画像、（ｂ）は切り換え後の現在の画像、（ｃ）はそれらの差分画像である。
【図１０】検出領域記憶部１１０に記憶されている画素領域がある状態で撮影モードの切り換えが実行されたときの処理を示すフローチャートである。
【図１１】図１０の処理において撮影された画像の一例を示す図であり、（ａ）は切り換え前の参照画像、（ｂ）は切り換え後の現在の画像、（ｃ）はそれらの差分画像である。
【図１２】従来の検出領域記憶部１１０に記憶されている画素領域がある状態で撮影モードの切り換えが実行されたときに撮影される画像の一例を示す図であり、（ａ）は切り換え前の参照画像、（ｂ）は切り換え後の現在の画像、（ｃ）はそれらの差分画像である。
【図１３】検出判定基準の切り換えによる各画素における検出処理を示すフローチャートである。
【発明を実施するための形態】
【００１２】
以下、本発明の実施の形態を図面を参照して詳細に説明する。
【００１３】
本実施形態では、不動体検知中にオートデイナイト機能における撮影モードの切り換え動作を行う撮像装置について説明する。
【００１４】
図１は、本発明の実施形態に係る撮像装置におけるオートデイナイト機能に関する構成部分を示すブロック図である。
【００１５】
図１において、１０１はレンズ、１０２は赤外線カットフィルタ、１０３はＣＣＤ（Charge Coupled Device）、１０４は画像信号処理部、１０５は撮影モード切換部、１０６は参照画像記憶部である。１０７から１１２は不動体検知部の構成要素を示す。１０７は差分検出部、１０８は第１の検出判定部、１０９は第２の検出判定部、１１０は検出領域記憶部、１１１はタイマカウンタ部、１１２は検知通知部を示す。
【００１６】
撮像装置は、撮影された画像を基に、監視領域内に新たに加わり静止した状態の物体を画像処理により検知する不動体検知機能を備える。また、撮像装置は、赤外線カットフィルタの取り付け／取り外しを行うことにより、撮像素子への入射光量を増減させるデイモードとナイトモードからなる撮影モードを切り換えるオートデイナイト機能を備える。
【００１７】
オートデイナイト機能では、ＣＣＤ１０３への入射光量に応じて、画像信号処理部１０４から撮影モード切換部１０５に命令が送られ、撮影モード切換部１０５により赤外線カットフィルタ１０２の取り付け／取り外しが実行される。
【００１８】
画像の明るさに応じて可視光領域で撮影するデイモード（第１の撮影モード）では、レンズ１０１とＣＣＤ１０３との間に赤外線カットフィルタ１０２を取り付けることにより、レンズ１０１を介して入射された光から赤外光領域の光が除去される。この結果、ＣＣＤ１０３には、可視光のみで照射される。
【００１９】
一方、赤外光領域を含む光で撮影するナイトモード（第２の撮影モード）では、撮影モード切換部１０５により赤外線カットフィルタ１０２が取り外され、ＣＣＤ１０３に赤外光領域の光を含む入射光を照射する。オートデイナイト機能は、入射光量に応じて画像信号処理部１０４が撮影モード切換部１０５に命令を送り、デイモードとナイトモードを自動的に切り換える。
【００２０】
基本的なオートデイナイト機能の動作について図２および図３を参照して説明する。
【００２１】
図２は、オートデイナイト機能による動作を示すフローチャートであり、（ａ）はデイモード時、（ｂ）はナイトモード時である。図３は、時間経過に対する被写体からの入射光量の変化を示すグラフである。
【００２２】
図２（ａ）において、オートデイナイト機能がデイモードの場合、画像信号処理部１０４がＣＣＤ１０３から入射光量を取得する（ステップＳ２０１）。次に、入射光量が閾値より下回ったと判定したときは（ステップＳ２０２でＹＥＳ）、撮影モード切換部１０５により赤外線カットフィルタ１０２を外し（ステップＳ２０３）、赤外光領域の光をＣＣＤ１０３に入力する。
【００２３】
図３において、３０１は昼間から日没までの期間、３０２は日没から日の出までの期間、３０３は日の出から昼間までの期間を示す。太陽光のもとでの撮影の場合、時間経過と共に被写体からの入射光量は変化する。期間３０１では、入射光量が徐々に減少していく。夜間に入射光に赤外光領域の成分がある場合は、期間３０２のように入射光量が多少増加し、日の出と共に入射光量が徐々に増加していく。
【００２４】
図２（ｂ）に示すように、ナイトモードの場合、画像信号処理部１０４がＣＣＤ１０３から入射光量を取得する（ステップＳ２０４）。次に、入射光量が閾値より上回ったと判定したときは（ステップＳ２０５でＹＥＳ）、撮影モード切換部１０５により赤外線カットフィルタ１０２を装着させ（ステップＳ２０６）、可視光領域の光をＣＣＤ１０３に入力する。この結果、期間３０３のように、入射光量は、赤外光領域の成分だけ減少したものとなる。
【００２５】
次に、基本的な不動体検知機能について説明する。
【００２６】
不動体検知機能における不動体検知処理では、撮影中の映像から基準となる参照画像が参照画像記憶部１０６に記憶され、参照画像と画像信号処理部１０４から得られる現在の画像との各画素の差分値が差分検出部１０７により算出される。そして、この差分値から変化が検出されたかを第１の検出判定部１０８もしくは第２の検出判定部１０９により判定する。
【００２７】
第１の検出判定部１０８では、差分値が第１の閾値よりも大きい場合に基準を満たしたと判定される。一方、第２の検出判定部１０９では、差分値が第２の閾値よりも小さい場合に基準を満たしたと判定される。通常の不動体検知機能では、第１の検出判定部１０８により判定される。第１の検出判定部１０８もしくは第２の検出判定部１０９により基準を満たしたと判定された画素の領域の位置（もしくは座標）は、検出領域記憶部１１０に記憶される。
【００２８】
一方、第１の検出判定部１０８もしくは第２の検出判定部１０９により基準を満たさなかったと判定された画素の領域の位置は、検出領域記憶部１１０から削除される。この検出領域記憶部１１０に記憶されている画素の領域の位置ごとにタイマカウンタ部１１１により、その継続時間がカウントされる。このタイマカウンタ部１１１のカウント値が所定時間以上に達すると、検知通知部１１２により警告などの信号を出力する。このような不動体検知処理は、画像信号処理部１０４に新たな画像が取得される度に実行される。
【００２９】
図４は、不動体検知機能による不動体検知処理を示すフローチャートであり、図５は、図４のステップＳ５０３における画素ごとの不動体検知処理の詳細を示すフローチャートである。図６は、不動体検知機能を説明するための図である。なお、検出判定は、第１の検出判定部１０８により行われるものとする。
【００３０】
図４において、まず、不動体検知のために基準となる図６（ａ）のような画像が撮影され、これが参照画像として参照画像記憶部１０６に記憶される（ステップＳ５０１）。不動体検知機能は、この参照画像と、図６（ｂ）のような新たに円筒形の物体６０１が監視領域内に加わったときの現在の画像（ステップＳ５０２）との比較により不動体検知（ステップＳ５０３）が行われる。不動体検知では、撮影中の現在の画像と参照画像との各画素の差分値が差分検出部１０７により算出される（ステップＳ５０５）。このとき、図６（ｃ）のように、新たに加わった円筒形の物体上に差分が大きく検出される。
【００３１】
算出された差分値が閾値以上に達すると、監視領域内に新たな物体６０１が加わったと第１の検出判定部１０８により判定される（ステップＳ５０６でＹＥＳ）。そして、検出領域記憶部１１０にその画素の領域の位置（もしくは座標）を記憶し（ステップＳ５０７）、その画素ごとにタイマカウンタ部１１１により継続時間がカウントされる（ステップＳ５０８）。そして、所定時間経過すると、例えば検知に必要な所定時間が５分に設定されたときにカウンタの示す値が５分になると、円筒形の物体６０１が撮影されている画素領域が不動体として検知される（ステップＳ５１１でＹＥＳ）。そして、図６（ｄ）のように、検知通知部１１２によってその画素領域が不動体としてユーザに通知される（ステップＳ５０４）。
【００３２】
上述した差分検出において、ノイズ等により円筒形の物体６０１が置かれた画素領域以外の画素領域においても差分は検出されるが、差分値が第１の閾値を超えないため、第１の検出判定部１０８により基準を満たしたとは判定されない。また、時系列的に連続なフレームにおいて前フレームでは、基準を満たしたと判定され、現在フレームでは基準を満たさなかったと判定された場合、前フレームで検出領域記憶部１１０に記憶されている画素の領域の位置はクリアされる（ステップＳ５０９）。また、タイマカウンタ部１１１のカウントもクリアされる（ステップＳ５１０）。そのため、移動物体などは不動体として検知されない。
【００３３】
上述した不動体検知では、第１の検出判定部１０８および第２の検出判定部１０９は、画素ごとに判定しているが、この限りではなく、画像を複数の隣接する画素から成るブロックに分割し、そのブロックごとに判定を行ってもよい。また、画素値の差分に基づき変化を検出しているが、この限りではなく、画像のエッジ成分の変化から検出する方法やＪＰＥＧ符号化ブロック単位でのＤＣＴ係数の差分値から検出する方法などでも実施可能である。
【００３４】
次に、オートデイナイト機能および不動体検知機能が同時に機能した場合の動作について説明する。このとき、オートデイナイト機能による撮影モードの切り換え前に、検出領域記憶部１１０に記憶されている画素の領域の位置がある場合とない場合とに場合分けができる。
【００３５】
まず、検出領域記憶部１１０に記憶されている画素の領域の位置がない状態でオートデイナイト機能による撮影モードの切り換えが発生した場合の処理について図７〜図９を用いて説明する。
【００３６】
図７は、検出領域記憶部１１０に記憶されている画素の領域の位置がない状態で撮影モードの切り換えが実行されたときの処理を示すフローチャートである。図８は、図７の処理において撮影された画像の一例を示す図であり、（ａ）は切り換え前の参照画像、（ｂ）は切り換え後の現在の画像、（ｃ）はそれらの差分画像である。図９は、従来の検出領域記憶部１１０に記憶されている画素の領域の位置がない状態で撮影モードの切り換えが実行されたときに撮影される画像の一例を示す図であり、（ａ）は切り換え前の参照画像、（ｂ）は切り換え後の現在の画像、（ｃ）はそれらの差分画像である。
【００３７】
従来、検出領域記憶部１１０に記憶されている画素の領域の位置がない状態でオートデイナイト機能による撮影モードの切り換えが発生した場合、図９（ａ）のような切り換え前の参照画像と図９（ｂ）のような切り換え後の画像との各画素の輝度値は大きく異なる。そのため、図９（ｃ）のように画像全体に大きな差分が検出され、監視領域全体を不動体として誤検知してしまう。
【００３８】
そこで、本実施の形態では、オートデイナイト機能による撮影モードの切り換えが発生したとき（ステップＳ７０１でＹＥＳ）、不動体検知機能を一時停止し（ステップＳ７０２）、参照画像を更新する（ステップＳ７０３）。その後、不動体検知機能を再開する（ステップＳ７０４）。これにより、図８（ａ）のような参照画像が記憶され、監視領域内に変化が起きなければ図８（ｂ）のような現在の画像と図８（ａ）に示す参照画像となる。図８（ｂ）に示す現在の画像と図８（ａ）に示す参照画像との差分は、図８（ｃ）が示すようになり、不動体として検出されない。つまり、不動体検知機能動作中にオートデイナイト機能による撮影モードの切り換えが発生した場合に、監視領域全体を不動体として誤検知するという問題は解消される。
【００３９】
次に、検出領域記憶部１１０に記憶されている画素の領域の位置がある状態でオートデイナイト機能による撮影モードの切り換えが発生した場合の処理について図１０〜図１２を用いて説明する。
【００４０】
図１０は、検出領域記憶部１１０に記憶されている画素の領域の位置がある状態で撮影モードの切り換えが実行されたときの処理を示すフローチャートである。図１１は、図１０の処理において撮影された画像の一例を示す図であり、（ａ）は切り換え前の参照画像、（ｂ）は切り換え後の現在の画像、（ｃ）はそれらの差分画像である。図１２は、従来の検出領域記憶部１１０に記憶されている画素の領域の位置がある状態で撮影モードの切り換えが実行されたときに撮影される画像の一例を示す図であり、（ａ）は切り換え前の参照画像、（ｂ）は切り換え後の現在の画像、（ｃ）はそれらの差分画像である。
【００４１】
従来、検出領域記憶部１１０に記憶されている画素の領域の位置がある状態でオートデイナイト機能による撮影モードの切り換えが発生した場合、不動体と成り得る物体が監視領域の一部分に存在しているにもかかわらず、画像全体に差異が検出される。つまり、参照画像記憶部１０６に図１２（ａ）のような参照画像が記憶されており、円筒形の物体が監視領域内に加わり、その後、撮影モードの切り換えが実行された場合、図１２（ｂ）のような現在の画像が得られる。このときの現在の画像と参照画像との差分画像は図１２（ｃ）のようになり、不動体と成り得る円筒形の領域が特定できない。そのため、不動体と成り得る物体を正常に検知できないという問題がある。また、上述したように、撮影モードの切り換え後に参照画像を更新するだけでは、不動体と成り得る円筒形の領域に変化が検出されず、不動体として検出できなくなる。
【００４２】
そこで、本実施の形態では、オートデイナイト機能による撮影モードの切り換えが発生したとき（ステップＳ９０１でＹＥＳ）、不動体検知機能を一時停止する（ステップＳ９０２）。そして、参照画像の更新（ステップＳ９０３）および検出判定基準の切り換え（ステップＳ９０４）を行い、その後、不動体検知機能を再開する（ステップＳ９０５）。不動体検知機能の一時停止前に検出領域記憶部１１０とタイマカウンタ部１１１の状態の保存が行われる。検出判定基準の切り換えとは、検出領域記憶部１１０に記憶されていない位置の画素は第１の検出判定部１０８により処理され、検出領域記憶部１１０に記憶されている位置の画素は第２の検出判定部１０９により処理されることを示す。
【００４３】
図１３は、上述した検出判定基準の切り換えによる各画素における検出処理を示すフローチャートである。
【００４４】
オートデイナイト機能による撮影モードの切り換え前は、第１の検出判定部１０８に基づき参照画像と現在の画像との各画素の差分値が第１の閾値以上の場合、基準を満たしたと判定される。そして、それらの画素が不動体検知候補画素として検出領域記憶部１１０に記憶され、タイマカウンタ部１１１のカウントがインクリメントされる。それら以外の画素に対しては、検出領域記憶部１１０に記憶された画素（の座標）がクリアされ、タイマカウンタ部１１１のカウンタはリセットされる。
【００４５】
オートデイナイト機能による撮影モードの切り換え後、参照画像を更新し、不動体検知処理が再開される。このとき、撮影モード切り換え前に検出領域記憶部１１０に記憶されている画素（領域）の位置（もしくは座標）を判定し（ステップＳ１００１）、その結果に基づき、第１の検出判定部１０８による判定または第２の検出判定部１０９による判定を行う撮影モード切り換え前に検出領域記憶部１１０に記憶されている位置（もしくは座標）の画素（領域）に対しては（ステップＳ１００１でＹＥＳ）、第２の検出判定部１０９により判定が行われる。一方、撮影モード切り換え前に検出領域記憶部１１０に記憶されていない位置（もしくは座標）の画素に対しては（ステップＳ１００１でＮＯ）、第１の検出判定部１０８により判定が行われる。
【００４６】
検出領域記憶部１１０により記憶されている画素、すなわち不動体検知候補の画素に対しては、更新された参照画像と現在の画像との差分値が第２の閾値以下であれば（ステップＳ１００２でＹＥＳ）、基準を満たしたと判定される。つまり、物体が移動していないとみなし、検出領域記憶部１１０に記憶され（ステップＳ１００４）、タイマカウンタ部１１１のカウントがインクリメントされ、継続時間がカウントされる（ステップＳ１００５）。
【００４７】
一方、第２の閾値以上の場合は（ステップＳ１００２でＮＯ）、基準を満たさなかったと判定される。つまり、物体が移動したとみなし、検出領域記憶部１１０のメモリはクリアされ（ステップＳ１００６）、タイマカウンタ部１１１のカウントがリセットされる（ステップＳ１００７）。
【００４８】
撮影モードの切り換え前に検出領域記憶部１１０に記憶されていない画素に対しては、差分値が第１の閾値以上であれば（ステップＳ１００３でＹＥＳ）、新たな物体が加わったとして、検出領域記憶部１１０に新たな領域が記憶される（ステップＳ１００８）。そして、タイマカウンタ部１１１のカウントが開始される（ステップＳ１００９）。
【００４９】
一方、第１の閾値以下の場合（ステップＳ１００３でＮＯ）、撮影モードの切り換え前と変化がないと判定され、特に処理は行なわれない。
【００５０】
上記実施形態によれば、オートデイナイト機能により撮影モードが切り換えられたときは、参照画像記憶部１０６に記憶された参照画像の更新を行う。そして、検出領域記憶部１１０に記憶されている画素の領域の位置（もしくは座標）に応じて、第１の検出判定部１０８または第２の検出判定部１０９による判定を切り換える。これにより、不動体検知動作中に画像全体の輝度や色を変化させるオートデイナイト機能が働いても画像全体を不動体として誤検知することなく、正常に不動体検知を行うことができる。
【００５１】
また、不動体検知機能の継続時間カウント中に撮影モードの切り換えが行われた場合に、不動体と成り得る物体の領域が特定できないという問題も生じず、正常に不動体を検知することができる。つまり、画面全体の輝度や色が変化する撮影モードの切り換えの有無に依らず、正常に不動体検知機能を実行させることができる。
【００５２】
上記実施の形態では、不動体検知動作中にオートデイナイト機能による撮影モードの切り換えが発生したときの処理を、撮影モード切り換え前に検出領域記憶部１１０に記憶されている画素領域がある場合とない場合とに分けて説明した。しかし、どちらの場合においても同一の枠組で実施可能である。これは、撮影モードの切り換えが発生後、切り換え前に記憶されていない領域に対しては、通常時に利用される第１の検出判定部１０８により処理され、切り換え前に記憶されている領域に対してのみ、第２の検出判定部１０９により処理されるためである。
【００５３】
上記実施形態において、撮影モード切り換え後の参照画像の更新は、撮影モードの切り換え直後ではなく、画像全体の輝度値が安定した後に実行されるものとする。この撮影モードの切り換え後から、参照画像の更新までの期間は、タイマカウンタ部１１１のカウントは維持され、参照画像の更新後、停止前の状態を継続して再開される。
【００５４】
また、上記実施の形態では、不動体検知中にオートデイナイト機能により撮影モードの切り換えが動作した場合の例を示した。しかしながら、オートデイナイト機能のみではなく、撮影モードの変化により画面全体の輝度や色情報が変化する場合にも、同様の処理を行うものとする。撮影モードの変化として、オートシェイド補正やフォーカス、感度、ホワイトバランス、ゲインを含む撮像パラメータの変化などが挙げられ、本発明を実施可能である。例えば、通常のゲイン特性において画像を撮影するモード１と、暗い部分のみのゲインを高くした画像を撮影するモード２とを切り換えるようにしてもよい。なお、撮像パラメータについては、ユーザの指示により変化させるようにしてもよい。
【００５５】
また、上記実施の形態では、撮影モードの切り換えとして、赤外線フィルタの取り付け状態または取り外し状態のいずれかに切り換えていたが、これに限定されず、２つ以上備える撮像素子の構成を切り換えるようにしてもよい。
【００５６】
また、本発明の目的は、以下の処理を実行することによっても達成される。即ち、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記憶した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出す処理である。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコードおよび該プログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００５７】
また、プログラムコードを供給するための記憶媒体としては、次のものを用いることができる。例えば、フロッピー（登録商標）ディスク、ハードディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等である。または、プログラムコードをネットワークを介してダウンロードしてもよい。
【００５８】
また、コンピュータが読み出したプログラムコードを実行することにより、上記実施の形態の機能が実現される場合も本発明に含まれる。加えて、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
【００５９】
更に、前述した実施形態の機能が以下の処理によって実現される場合も本発明に含まれる。即ち、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う場合である。
【符号の説明】
【００６０】
１０１ レンズ
１０２ 赤外線カットフィルタ
１０３ ＣＣＤ
１０４ 画像信号処理部
１０５ 撮影モード切換部
１０６ 参照画像記憶部
１０７ 差分検出部
１０８ 第１の検出判定部
１０９ 第２の検出判定部
１１０ 検出領域記憶部
１１１ タイマカウンタ部
１１２ 検知通知部
３０１ デイモード期間
３０２ ナイトモード期間
３０３ デイモード期間
【技術分野】
【０００１】
本発明は、撮像装置およびその制御方法に関し、特に、不動体検知機能と撮影モードの切り換え機能とを備える撮像装置およびその制御方法に関する。
【背景技術】
【０００２】
近年、監視カメラシステムには、様々なインテリジェント機能が搭載されている。その一つとして、監視カメラから得た画像を基に、監視領域内に新たに加わり静止した状態の物体を画像処理により検知する不動体検知機能がある。この不動体検知機能では、基準となる参照画像と現在の入力画像とを比較して差異部分を検出し、この差異部分の継続時間が所定時間以上に達すると、監視画面への表示や警告等が行われる（例えば、特許文献１参照）。
【０００３】
一方、従来から、撮影モードを自動で切り換える機能の一つとして、オートデイナイト機能が知られている。オートデイナイト機能とは、被写体からの入射光量に応じて自動的に赤外線カットフィルタの取り付け／取り外しを行うことにより、撮像素子への入射光量を増減させるデイモードとナイトモードからなる撮像モードを切り換える機能である。可視光の入射光量が減少してきた場合には、赤外光で撮影するナイトモードに切り換えて画像が出力される。また、赤外光の入射光量が増加してきた場合には、可視光で撮影するデイモードに切り換えて画像が出力される（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０００−３３１２５４号公報
【特許文献２】特開２００４−１２０２０２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記従来例では、不動体検知機能の動作中に画面全体の輝度や色が変化する撮影モードの切り換えが行われると、参照画像と現在の入力画像との差異部分が画像全体に検出される。特に、オートデイナイト機能の切り換えが行われると、赤外光の変化によって画像全体の輝度が著しく変化し、大きな差異部分が画像全体に検出される。そのため、不動体検知機能が、監視領域全体を不動体として誤検知してしまうという問題がある。
【０００６】
また、不動体検知機能における差異部分の検出の継続時間のカウント中に撮影モードの切り換えが行われると、不動体と成り得る物体が監視領域の一部分に存在しているにもかかわらず、画像全体に差異が検出される。そのため、不動体と成り得る物体の領域が特定できず、正常に検知されないという問題がある。
【０００７】
本発明は、上記問題に鑑みて成されたものであり、不動体検知動作中に画像全体の輝度や色を変化させるオートデイナイト機能が働いても正常に不動体検知を行うことができる撮像装置およびその制御方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、請求項１記載の撮像装置は、撮影中の映像から基準となる参照画像を記憶する画像記憶手段と、前記記憶された参照画像と現在の画像との輝度値から差分を算出する差分検出手段と、前記算出された差分が第１の閾値よりも大きい場合に基準を満たしたと判定する第１の検出判定手段と、
前記算出された差分が第２の閾値よりも小さい場合に基準を満たしたと判定する第２の検出判定手段と、前記第１の検出判定手段または前記第２の検出判定手段のいずれかにより前記基準を満たすと判定された画素の領域の位置を記憶する領域記憶手段と、撮影モードを切り換える切換手段と、前記切換手段により前記撮影モードが切り換えられたときは、前記画像記憶手段に記憶された参照画像の更新を行い、前記領域記憶手段に記憶されている画素の領域の位置に応じて、前記第１の検出判定手段または前記第２の検出判定手段による判定を切り換える制御手段とを備えることを特徴とする。
【０００９】
上記目的を達成するために、請求項１５記載の撮像装置の制御方法は、撮影中の映像から基準となる参照画像を記憶する画像記憶手段と、前記記憶された参照画像と現在の画像との輝度値から差分を算出する差分検出手段と、前記算出された差分が第１の閾値よりも大きい場合に基準を満たしたと判定する第１の検出判定手段と、前記算出された差分が第２の閾値よりも小さい場合に基準を満たしたと判定する第２の検出判定手段と、前記第１の検出判定手段または前記第２の検出判定手段のいずれかにより前記基準を満たすと判定された画素の領域の位置を記憶する領域記憶手段とを備える撮像装置の制御方法であって、撮影モードを切り換える切換工程と、前記切換工程にて前記撮影モードが切り換えられたときは、前記画像記憶手段に記憶された参照画像の更新を行い、前記領域記憶手段に記憶されている画素の領域の位置に応じて、前記第１の検出判定手段または前記第２の検出判定手段による判定を切り換える制御工程とを備えることを特徴とする。
【発明の効果】
【００１０】
本発明によれば、不動体検知動作中に画像全体の輝度や色を変化させるオートデイナイト機能が働いても画像全体を不動体として誤検知することなく、正常に不動体検知を行うことができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態に係る撮像装置におけるオートデイナイト機能に関する構成部分を示すブロック図である。
【図２】オートデイナイト機能による動作を示すフローチャートであり、（ａ）はデイモード時、（ｂ）はナイトモード時である。
【図３】時間経過に対する被写体からの入射光量の変化を示すグラフである。
【図４】不動体検知機能による不動体検知処理を示すフローチャートである。
【図５】図４のステップＳ５０３における画素ごとの不動体検知処理の詳細を示すフローチャートである。
【図６】不動体検知機能を説明するための図であり、（ａ）は参照画像、（ｂ）は現在の画像、（ｃ）は差分画像、（ｄ）は不動体検出時の画像である。
【図７】検出領域記憶部に記憶されている画素領域がない状態で撮影モードの切り換えが実行されたときの処理を示すフローチャートである。
【図８】図７の処理において撮影された画像の一例を示す図であり、（ａ）は切り換え前の参照画像、（ｂ）は切り換え後の現在の画像、（ｃ）はそれらの差分画像である。
【図９】従来の検出領域記憶部１１０に記憶されている画素領域がない状態で撮影モードの切り換えが実行されたときに撮影される画像の一例を示す図であり、（ａ）は切り換え前の参照画像、（ｂ）は切り換え後の現在の画像、（ｃ）はそれらの差分画像である。
【図１０】検出領域記憶部１１０に記憶されている画素領域がある状態で撮影モードの切り換えが実行されたときの処理を示すフローチャートである。
【図１１】図１０の処理において撮影された画像の一例を示す図であり、（ａ）は切り換え前の参照画像、（ｂ）は切り換え後の現在の画像、（ｃ）はそれらの差分画像である。
【図１２】従来の検出領域記憶部１１０に記憶されている画素領域がある状態で撮影モードの切り換えが実行されたときに撮影される画像の一例を示す図であり、（ａ）は切り換え前の参照画像、（ｂ）は切り換え後の現在の画像、（ｃ）はそれらの差分画像である。
【図１３】検出判定基準の切り換えによる各画素における検出処理を示すフローチャートである。
【発明を実施するための形態】
【００１２】
以下、本発明の実施の形態を図面を参照して詳細に説明する。
【００１３】
本実施形態では、不動体検知中にオートデイナイト機能における撮影モードの切り換え動作を行う撮像装置について説明する。
【００１４】
図１は、本発明の実施形態に係る撮像装置におけるオートデイナイト機能に関する構成部分を示すブロック図である。
【００１５】
図１において、１０１はレンズ、１０２は赤外線カットフィルタ、１０３はＣＣＤ（Charge Coupled Device）、１０４は画像信号処理部、１０５は撮影モード切換部、１０６は参照画像記憶部である。１０７から１１２は不動体検知部の構成要素を示す。１０７は差分検出部、１０８は第１の検出判定部、１０９は第２の検出判定部、１１０は検出領域記憶部、１１１はタイマカウンタ部、１１２は検知通知部を示す。
【００１６】
撮像装置は、撮影された画像を基に、監視領域内に新たに加わり静止した状態の物体を画像処理により検知する不動体検知機能を備える。また、撮像装置は、赤外線カットフィルタの取り付け／取り外しを行うことにより、撮像素子への入射光量を増減させるデイモードとナイトモードからなる撮影モードを切り換えるオートデイナイト機能を備える。
【００１７】
オートデイナイト機能では、ＣＣＤ１０３への入射光量に応じて、画像信号処理部１０４から撮影モード切換部１０５に命令が送られ、撮影モード切換部１０５により赤外線カットフィルタ１０２の取り付け／取り外しが実行される。
【００１８】
画像の明るさに応じて可視光領域で撮影するデイモード（第１の撮影モード）では、レンズ１０１とＣＣＤ１０３との間に赤外線カットフィルタ１０２を取り付けることにより、レンズ１０１を介して入射された光から赤外光領域の光が除去される。この結果、ＣＣＤ１０３には、可視光のみで照射される。
【００１９】
一方、赤外光領域を含む光で撮影するナイトモード（第２の撮影モード）では、撮影モード切換部１０５により赤外線カットフィルタ１０２が取り外され、ＣＣＤ１０３に赤外光領域の光を含む入射光を照射する。オートデイナイト機能は、入射光量に応じて画像信号処理部１０４が撮影モード切換部１０５に命令を送り、デイモードとナイトモードを自動的に切り換える。
【００２０】
基本的なオートデイナイト機能の動作について図２および図３を参照して説明する。
【００２１】
図２は、オートデイナイト機能による動作を示すフローチャートであり、（ａ）はデイモード時、（ｂ）はナイトモード時である。図３は、時間経過に対する被写体からの入射光量の変化を示すグラフである。
【００２２】
図２（ａ）において、オートデイナイト機能がデイモードの場合、画像信号処理部１０４がＣＣＤ１０３から入射光量を取得する（ステップＳ２０１）。次に、入射光量が閾値より下回ったと判定したときは（ステップＳ２０２でＹＥＳ）、撮影モード切換部１０５により赤外線カットフィルタ１０２を外し（ステップＳ２０３）、赤外光領域の光をＣＣＤ１０３に入力する。
【００２３】
図３において、３０１は昼間から日没までの期間、３０２は日没から日の出までの期間、３０３は日の出から昼間までの期間を示す。太陽光のもとでの撮影の場合、時間経過と共に被写体からの入射光量は変化する。期間３０１では、入射光量が徐々に減少していく。夜間に入射光に赤外光領域の成分がある場合は、期間３０２のように入射光量が多少増加し、日の出と共に入射光量が徐々に増加していく。
【００２４】
図２（ｂ）に示すように、ナイトモードの場合、画像信号処理部１０４がＣＣＤ１０３から入射光量を取得する（ステップＳ２０４）。次に、入射光量が閾値より上回ったと判定したときは（ステップＳ２０５でＹＥＳ）、撮影モード切換部１０５により赤外線カットフィルタ１０２を装着させ（ステップＳ２０６）、可視光領域の光をＣＣＤ１０３に入力する。この結果、期間３０３のように、入射光量は、赤外光領域の成分だけ減少したものとなる。
【００２５】
次に、基本的な不動体検知機能について説明する。
【００２６】
不動体検知機能における不動体検知処理では、撮影中の映像から基準となる参照画像が参照画像記憶部１０６に記憶され、参照画像と画像信号処理部１０４から得られる現在の画像との各画素の差分値が差分検出部１０７により算出される。そして、この差分値から変化が検出されたかを第１の検出判定部１０８もしくは第２の検出判定部１０９により判定する。
【００２７】
第１の検出判定部１０８では、差分値が第１の閾値よりも大きい場合に基準を満たしたと判定される。一方、第２の検出判定部１０９では、差分値が第２の閾値よりも小さい場合に基準を満たしたと判定される。通常の不動体検知機能では、第１の検出判定部１０８により判定される。第１の検出判定部１０８もしくは第２の検出判定部１０９により基準を満たしたと判定された画素の領域の位置（もしくは座標）は、検出領域記憶部１１０に記憶される。
【００２８】
一方、第１の検出判定部１０８もしくは第２の検出判定部１０９により基準を満たさなかったと判定された画素の領域の位置は、検出領域記憶部１１０から削除される。この検出領域記憶部１１０に記憶されている画素の領域の位置ごとにタイマカウンタ部１１１により、その継続時間がカウントされる。このタイマカウンタ部１１１のカウント値が所定時間以上に達すると、検知通知部１１２により警告などの信号を出力する。このような不動体検知処理は、画像信号処理部１０４に新たな画像が取得される度に実行される。
【００２９】
図４は、不動体検知機能による不動体検知処理を示すフローチャートであり、図５は、図４のステップＳ５０３における画素ごとの不動体検知処理の詳細を示すフローチャートである。図６は、不動体検知機能を説明するための図である。なお、検出判定は、第１の検出判定部１０８により行われるものとする。
【００３０】
図４において、まず、不動体検知のために基準となる図６（ａ）のような画像が撮影され、これが参照画像として参照画像記憶部１０６に記憶される（ステップＳ５０１）。不動体検知機能は、この参照画像と、図６（ｂ）のような新たに円筒形の物体６０１が監視領域内に加わったときの現在の画像（ステップＳ５０２）との比較により不動体検知（ステップＳ５０３）が行われる。不動体検知では、撮影中の現在の画像と参照画像との各画素の差分値が差分検出部１０７により算出される（ステップＳ５０５）。このとき、図６（ｃ）のように、新たに加わった円筒形の物体上に差分が大きく検出される。
【００３１】
算出された差分値が閾値以上に達すると、監視領域内に新たな物体６０１が加わったと第１の検出判定部１０８により判定される（ステップＳ５０６でＹＥＳ）。そして、検出領域記憶部１１０にその画素の領域の位置（もしくは座標）を記憶し（ステップＳ５０７）、その画素ごとにタイマカウンタ部１１１により継続時間がカウントされる（ステップＳ５０８）。そして、所定時間経過すると、例えば検知に必要な所定時間が５分に設定されたときにカウンタの示す値が５分になると、円筒形の物体６０１が撮影されている画素領域が不動体として検知される（ステップＳ５１１でＹＥＳ）。そして、図６（ｄ）のように、検知通知部１１２によってその画素領域が不動体としてユーザに通知される（ステップＳ５０４）。
【００３２】
上述した差分検出において、ノイズ等により円筒形の物体６０１が置かれた画素領域以外の画素領域においても差分は検出されるが、差分値が第１の閾値を超えないため、第１の検出判定部１０８により基準を満たしたとは判定されない。また、時系列的に連続なフレームにおいて前フレームでは、基準を満たしたと判定され、現在フレームでは基準を満たさなかったと判定された場合、前フレームで検出領域記憶部１１０に記憶されている画素の領域の位置はクリアされる（ステップＳ５０９）。また、タイマカウンタ部１１１のカウントもクリアされる（ステップＳ５１０）。そのため、移動物体などは不動体として検知されない。
【００３３】
上述した不動体検知では、第１の検出判定部１０８および第２の検出判定部１０９は、画素ごとに判定しているが、この限りではなく、画像を複数の隣接する画素から成るブロックに分割し、そのブロックごとに判定を行ってもよい。また、画素値の差分に基づき変化を検出しているが、この限りではなく、画像のエッジ成分の変化から検出する方法やＪＰＥＧ符号化ブロック単位でのＤＣＴ係数の差分値から検出する方法などでも実施可能である。
【００３４】
次に、オートデイナイト機能および不動体検知機能が同時に機能した場合の動作について説明する。このとき、オートデイナイト機能による撮影モードの切り換え前に、検出領域記憶部１１０に記憶されている画素の領域の位置がある場合とない場合とに場合分けができる。
【００３５】
まず、検出領域記憶部１１０に記憶されている画素の領域の位置がない状態でオートデイナイト機能による撮影モードの切り換えが発生した場合の処理について図７〜図９を用いて説明する。
【００３６】
図７は、検出領域記憶部１１０に記憶されている画素の領域の位置がない状態で撮影モードの切り換えが実行されたときの処理を示すフローチャートである。図８は、図７の処理において撮影された画像の一例を示す図であり、（ａ）は切り換え前の参照画像、（ｂ）は切り換え後の現在の画像、（ｃ）はそれらの差分画像である。図９は、従来の検出領域記憶部１１０に記憶されている画素の領域の位置がない状態で撮影モードの切り換えが実行されたときに撮影される画像の一例を示す図であり、（ａ）は切り換え前の参照画像、（ｂ）は切り換え後の現在の画像、（ｃ）はそれらの差分画像である。
【００３７】
従来、検出領域記憶部１１０に記憶されている画素の領域の位置がない状態でオートデイナイト機能による撮影モードの切り換えが発生した場合、図９（ａ）のような切り換え前の参照画像と図９（ｂ）のような切り換え後の画像との各画素の輝度値は大きく異なる。そのため、図９（ｃ）のように画像全体に大きな差分が検出され、監視領域全体を不動体として誤検知してしまう。
【００３８】
そこで、本実施の形態では、オートデイナイト機能による撮影モードの切り換えが発生したとき（ステップＳ７０１でＹＥＳ）、不動体検知機能を一時停止し（ステップＳ７０２）、参照画像を更新する（ステップＳ７０３）。その後、不動体検知機能を再開する（ステップＳ７０４）。これにより、図８（ａ）のような参照画像が記憶され、監視領域内に変化が起きなければ図８（ｂ）のような現在の画像と図８（ａ）に示す参照画像となる。図８（ｂ）に示す現在の画像と図８（ａ）に示す参照画像との差分は、図８（ｃ）が示すようになり、不動体として検出されない。つまり、不動体検知機能動作中にオートデイナイト機能による撮影モードの切り換えが発生した場合に、監視領域全体を不動体として誤検知するという問題は解消される。
【００３９】
次に、検出領域記憶部１１０に記憶されている画素の領域の位置がある状態でオートデイナイト機能による撮影モードの切り換えが発生した場合の処理について図１０〜図１２を用いて説明する。
【００４０】
図１０は、検出領域記憶部１１０に記憶されている画素の領域の位置がある状態で撮影モードの切り換えが実行されたときの処理を示すフローチャートである。図１１は、図１０の処理において撮影された画像の一例を示す図であり、（ａ）は切り換え前の参照画像、（ｂ）は切り換え後の現在の画像、（ｃ）はそれらの差分画像である。図１２は、従来の検出領域記憶部１１０に記憶されている画素の領域の位置がある状態で撮影モードの切り換えが実行されたときに撮影される画像の一例を示す図であり、（ａ）は切り換え前の参照画像、（ｂ）は切り換え後の現在の画像、（ｃ）はそれらの差分画像である。
【００４１】
従来、検出領域記憶部１１０に記憶されている画素の領域の位置がある状態でオートデイナイト機能による撮影モードの切り換えが発生した場合、不動体と成り得る物体が監視領域の一部分に存在しているにもかかわらず、画像全体に差異が検出される。つまり、参照画像記憶部１０６に図１２（ａ）のような参照画像が記憶されており、円筒形の物体が監視領域内に加わり、その後、撮影モードの切り換えが実行された場合、図１２（ｂ）のような現在の画像が得られる。このときの現在の画像と参照画像との差分画像は図１２（ｃ）のようになり、不動体と成り得る円筒形の領域が特定できない。そのため、不動体と成り得る物体を正常に検知できないという問題がある。また、上述したように、撮影モードの切り換え後に参照画像を更新するだけでは、不動体と成り得る円筒形の領域に変化が検出されず、不動体として検出できなくなる。
【００４２】
そこで、本実施の形態では、オートデイナイト機能による撮影モードの切り換えが発生したとき（ステップＳ９０１でＹＥＳ）、不動体検知機能を一時停止する（ステップＳ９０２）。そして、参照画像の更新（ステップＳ９０３）および検出判定基準の切り換え（ステップＳ９０４）を行い、その後、不動体検知機能を再開する（ステップＳ９０５）。不動体検知機能の一時停止前に検出領域記憶部１１０とタイマカウンタ部１１１の状態の保存が行われる。検出判定基準の切り換えとは、検出領域記憶部１１０に記憶されていない位置の画素は第１の検出判定部１０８により処理され、検出領域記憶部１１０に記憶されている位置の画素は第２の検出判定部１０９により処理されることを示す。
【００４３】
図１３は、上述した検出判定基準の切り換えによる各画素における検出処理を示すフローチャートである。
【００４４】
オートデイナイト機能による撮影モードの切り換え前は、第１の検出判定部１０８に基づき参照画像と現在の画像との各画素の差分値が第１の閾値以上の場合、基準を満たしたと判定される。そして、それらの画素が不動体検知候補画素として検出領域記憶部１１０に記憶され、タイマカウンタ部１１１のカウントがインクリメントされる。それら以外の画素に対しては、検出領域記憶部１１０に記憶された画素（の座標）がクリアされ、タイマカウンタ部１１１のカウンタはリセットされる。
【００４５】
オートデイナイト機能による撮影モードの切り換え後、参照画像を更新し、不動体検知処理が再開される。このとき、撮影モード切り換え前に検出領域記憶部１１０に記憶されている画素（領域）の位置（もしくは座標）を判定し（ステップＳ１００１）、その結果に基づき、第１の検出判定部１０８による判定または第２の検出判定部１０９による判定を行う撮影モード切り換え前に検出領域記憶部１１０に記憶されている位置（もしくは座標）の画素（領域）に対しては（ステップＳ１００１でＹＥＳ）、第２の検出判定部１０９により判定が行われる。一方、撮影モード切り換え前に検出領域記憶部１１０に記憶されていない位置（もしくは座標）の画素に対しては（ステップＳ１００１でＮＯ）、第１の検出判定部１０８により判定が行われる。
【００４６】
検出領域記憶部１１０により記憶されている画素、すなわち不動体検知候補の画素に対しては、更新された参照画像と現在の画像との差分値が第２の閾値以下であれば（ステップＳ１００２でＹＥＳ）、基準を満たしたと判定される。つまり、物体が移動していないとみなし、検出領域記憶部１１０に記憶され（ステップＳ１００４）、タイマカウンタ部１１１のカウントがインクリメントされ、継続時間がカウントされる（ステップＳ１００５）。
【００４７】
一方、第２の閾値以上の場合は（ステップＳ１００２でＮＯ）、基準を満たさなかったと判定される。つまり、物体が移動したとみなし、検出領域記憶部１１０のメモリはクリアされ（ステップＳ１００６）、タイマカウンタ部１１１のカウントがリセットされる（ステップＳ１００７）。
【００４８】
撮影モードの切り換え前に検出領域記憶部１１０に記憶されていない画素に対しては、差分値が第１の閾値以上であれば（ステップＳ１００３でＹＥＳ）、新たな物体が加わったとして、検出領域記憶部１１０に新たな領域が記憶される（ステップＳ１００８）。そして、タイマカウンタ部１１１のカウントが開始される（ステップＳ１００９）。
【００４９】
一方、第１の閾値以下の場合（ステップＳ１００３でＮＯ）、撮影モードの切り換え前と変化がないと判定され、特に処理は行なわれない。
【００５０】
上記実施形態によれば、オートデイナイト機能により撮影モードが切り換えられたときは、参照画像記憶部１０６に記憶された参照画像の更新を行う。そして、検出領域記憶部１１０に記憶されている画素の領域の位置（もしくは座標）に応じて、第１の検出判定部１０８または第２の検出判定部１０９による判定を切り換える。これにより、不動体検知動作中に画像全体の輝度や色を変化させるオートデイナイト機能が働いても画像全体を不動体として誤検知することなく、正常に不動体検知を行うことができる。
【００５１】
また、不動体検知機能の継続時間カウント中に撮影モードの切り換えが行われた場合に、不動体と成り得る物体の領域が特定できないという問題も生じず、正常に不動体を検知することができる。つまり、画面全体の輝度や色が変化する撮影モードの切り換えの有無に依らず、正常に不動体検知機能を実行させることができる。
【００５２】
上記実施の形態では、不動体検知動作中にオートデイナイト機能による撮影モードの切り換えが発生したときの処理を、撮影モード切り換え前に検出領域記憶部１１０に記憶されている画素領域がある場合とない場合とに分けて説明した。しかし、どちらの場合においても同一の枠組で実施可能である。これは、撮影モードの切り換えが発生後、切り換え前に記憶されていない領域に対しては、通常時に利用される第１の検出判定部１０８により処理され、切り換え前に記憶されている領域に対してのみ、第２の検出判定部１０９により処理されるためである。
【００５３】
上記実施形態において、撮影モード切り換え後の参照画像の更新は、撮影モードの切り換え直後ではなく、画像全体の輝度値が安定した後に実行されるものとする。この撮影モードの切り換え後から、参照画像の更新までの期間は、タイマカウンタ部１１１のカウントは維持され、参照画像の更新後、停止前の状態を継続して再開される。
【００５４】
また、上記実施の形態では、不動体検知中にオートデイナイト機能により撮影モードの切り換えが動作した場合の例を示した。しかしながら、オートデイナイト機能のみではなく、撮影モードの変化により画面全体の輝度や色情報が変化する場合にも、同様の処理を行うものとする。撮影モードの変化として、オートシェイド補正やフォーカス、感度、ホワイトバランス、ゲインを含む撮像パラメータの変化などが挙げられ、本発明を実施可能である。例えば、通常のゲイン特性において画像を撮影するモード１と、暗い部分のみのゲインを高くした画像を撮影するモード２とを切り換えるようにしてもよい。なお、撮像パラメータについては、ユーザの指示により変化させるようにしてもよい。
【００５５】
また、上記実施の形態では、撮影モードの切り換えとして、赤外線フィルタの取り付け状態または取り外し状態のいずれかに切り換えていたが、これに限定されず、２つ以上備える撮像素子の構成を切り換えるようにしてもよい。
【００５６】
また、本発明の目的は、以下の処理を実行することによっても達成される。即ち、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記憶した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出す処理である。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコードおよび該プログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００５７】
また、プログラムコードを供給するための記憶媒体としては、次のものを用いることができる。例えば、フロッピー（登録商標）ディスク、ハードディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等である。または、プログラムコードをネットワークを介してダウンロードしてもよい。
【００５８】
また、コンピュータが読み出したプログラムコードを実行することにより、上記実施の形態の機能が実現される場合も本発明に含まれる。加えて、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
【００５９】
更に、前述した実施形態の機能が以下の処理によって実現される場合も本発明に含まれる。即ち、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う場合である。
【符号の説明】
【００６０】
１０１ レンズ
１０２ 赤外線カットフィルタ
１０３ ＣＣＤ
１０４ 画像信号処理部
１０５ 撮影モード切換部
１０６ 参照画像記憶部
１０７ 差分検出部
１０８ 第１の検出判定部
１０９ 第２の検出判定部
１１０ 検出領域記憶部
１１１ タイマカウンタ部
１１２ 検知通知部
３０１ デイモード期間
３０２ ナイトモード期間
３０３ デイモード期間
【特許請求の範囲】
【請求項１】
撮影中の映像から基準となる参照画像を記憶する画像記憶手段と、
前記記憶された参照画像と現在の画像との輝度値から差分を算出する差分検出手段と、
前記算出された差分が第１の閾値よりも大きい場合に基準を満たしたと判定する第１の検出判定手段と、
前記算出された差分が第２の閾値よりも小さい場合に基準を満たしたと判定する第２の検出判定手段と、
前記第１の検出判定手段または前記第２の検出判定手段のいずれかにより前記基準を満たすと判定された画素の領域の位置を記憶する領域記憶手段と、
撮影モードを切り換える切換手段と、
前記切換手段により前記撮影モードが切り換えられたときは、前記画像記憶手段に記憶された参照画像の更新を行い、前記領域記憶手段に記憶されている画素の領域の位置に応じて、前記第１の検出判定手段または前記第２の検出判定手段による判定を切り換える制御手段とを備えることを特徴とする撮像装置。
【請求項２】
前記制御手段は、前記領域記憶手段に記憶されている位置の画素に対しては、前記第２の検出判定手段による判定に切り換える一方、前記領域記憶手段に記憶されていない位置の画素に対しては、前記第１の検出判定手段による判定に切り換えることを特徴とする請求項１記載の撮像装置。
【請求項３】
前記切換手段は、可視光領域のみの入射光で撮影する第１の撮影モードと、赤外光領域を含む入射光で撮影する第２の撮影モードとを切り換えることを特徴とする請求項１または２記載の撮影装置。
【請求項４】
前記切換手段は、通常のゲインで撮影する第１の撮影モードと、暗い部分のみをゲインを高くして撮影する第２の撮影モードとを切り換えることを特徴とする請求項１または２記載の撮影装置。
【請求項５】
前記切換手段は、複数の状態のいずれかまたは複数の構成のいずれかに切り換えることで前記撮影モードを切り換えることを特徴とする請求項１または２記載の撮像装置。
【請求項６】
前記切換手段は、ホワイトバランス、フォーカス、ゲイン、感度を含む撮像パラメータを自動またはユーザの指示により切り換えることを特徴とする請求項１または２記載の撮像装置。
【請求項７】
前記第１の検出判定手段または前記第２の検出判定手段により前記基準を満たすと判定された時間が所定時間経過した場合にユーザに通知する通知手段をさらに備えることを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
【請求項８】
前記差分検出手段、前記第１の検出判定手段、前記第２の検出判定手段、および前記領域記憶手段は不動体検知機能を構成し、
前記切換手段により撮影モードが切り換えられた場合、前記撮影モードの切り換え直後から前記参照画像の更新までの期間は前記不動体検知機能を停止し、前記参照画像が更新された後、前記不動体検知機能を再開することを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
【請求項９】
前記差分検出手段とは、前記参照画像と前記現在の画像とのエッジ成分から算出することを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
【請求項１０】
前記第１の検出判定手段または前記第２の検出判定手段により前記基準を満たすと判定された場合、前記領域記憶手段は、前記差分値が前記基準を満たす画素の領域の位置を記憶することを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。
【請求項１１】
前記第１の検出判定手段または前記第２の検出判定手段により前記基準を満たしていないと判定された場合、前記領域記憶手段は、前記記憶されている画素の領域の位置をクリアすることを特徴とする請求項１乃至１０のいずれか１項に記載の撮像装置。
【請求項１２】
前記第１の検出判定手段および前記第２の検出判定手段は、画素ごとまたは複数の隣接する画素から成るブロックごとに判定することを特徴とする請求項１記載の撮像装置。
【請求項１３】
前記領域記憶手段は、画素ごとまたは複数の隣接する画素からなるブロックごとに記憶することを特徴とする請求項１２記載の撮像装置。
【請求項１４】
前記切り換え後の参照画像の更新は、画像全体の輝度値が安定した後に実行されることを特徴とする請求項１乃至１３のいずれか１項に記載の撮像装置。
【請求項１５】
撮影中の映像から基準となる参照画像を記憶する画像記憶手段と、
前記記憶された参照画像と現在の画像との輝度値から差分を算出する差分検出手段と、
前記算出された差分が第１の閾値よりも大きい場合に基準を満たしたと判定する第１の検出判定手段と、
前記算出された差分が第２の閾値よりも小さい場合に基準を満たしたと判定する第２の検出判定手段と、
前記第１の検出判定手段または前記第２の検出判定手段のいずれかにより前記基準を満たすと判定された画素の領域の位置を記憶する領域記憶手段とを備える撮像装置の制御方法であって、
撮影モードを切り換える切換工程と、
前記切換工程にて前記撮影モードが切り換えられたときは、前記画像記憶手段に記憶された参照画像の更新を行い、前記領域記憶手段に記憶されている画素の領域の位置に応じて、前記第１の検出判定手段または前記第２の検出判定手段による判定を切り換える制御工程とを備えることを特徴とする制御方法。
【請求項１】
撮影中の映像から基準となる参照画像を記憶する画像記憶手段と、
前記記憶された参照画像と現在の画像との輝度値から差分を算出する差分検出手段と、
前記算出された差分が第１の閾値よりも大きい場合に基準を満たしたと判定する第１の検出判定手段と、
前記算出された差分が第２の閾値よりも小さい場合に基準を満たしたと判定する第２の検出判定手段と、
前記第１の検出判定手段または前記第２の検出判定手段のいずれかにより前記基準を満たすと判定された画素の領域の位置を記憶する領域記憶手段と、
撮影モードを切り換える切換手段と、
前記切換手段により前記撮影モードが切り換えられたときは、前記画像記憶手段に記憶された参照画像の更新を行い、前記領域記憶手段に記憶されている画素の領域の位置に応じて、前記第１の検出判定手段または前記第２の検出判定手段による判定を切り換える制御手段とを備えることを特徴とする撮像装置。
【請求項２】
前記制御手段は、前記領域記憶手段に記憶されている位置の画素に対しては、前記第２の検出判定手段による判定に切り換える一方、前記領域記憶手段に記憶されていない位置の画素に対しては、前記第１の検出判定手段による判定に切り換えることを特徴とする請求項１記載の撮像装置。
【請求項３】
前記切換手段は、可視光領域のみの入射光で撮影する第１の撮影モードと、赤外光領域を含む入射光で撮影する第２の撮影モードとを切り換えることを特徴とする請求項１または２記載の撮影装置。
【請求項４】
前記切換手段は、通常のゲインで撮影する第１の撮影モードと、暗い部分のみをゲインを高くして撮影する第２の撮影モードとを切り換えることを特徴とする請求項１または２記載の撮影装置。
【請求項５】
前記切換手段は、複数の状態のいずれかまたは複数の構成のいずれかに切り換えることで前記撮影モードを切り換えることを特徴とする請求項１または２記載の撮像装置。
【請求項６】
前記切換手段は、ホワイトバランス、フォーカス、ゲイン、感度を含む撮像パラメータを自動またはユーザの指示により切り換えることを特徴とする請求項１または２記載の撮像装置。
【請求項７】
前記第１の検出判定手段または前記第２の検出判定手段により前記基準を満たすと判定された時間が所定時間経過した場合にユーザに通知する通知手段をさらに備えることを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
【請求項８】
前記差分検出手段、前記第１の検出判定手段、前記第２の検出判定手段、および前記領域記憶手段は不動体検知機能を構成し、
前記切換手段により撮影モードが切り換えられた場合、前記撮影モードの切り換え直後から前記参照画像の更新までの期間は前記不動体検知機能を停止し、前記参照画像が更新された後、前記不動体検知機能を再開することを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
【請求項９】
前記差分検出手段とは、前記参照画像と前記現在の画像とのエッジ成分から算出することを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
【請求項１０】
前記第１の検出判定手段または前記第２の検出判定手段により前記基準を満たすと判定された場合、前記領域記憶手段は、前記差分値が前記基準を満たす画素の領域の位置を記憶することを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。
【請求項１１】
前記第１の検出判定手段または前記第２の検出判定手段により前記基準を満たしていないと判定された場合、前記領域記憶手段は、前記記憶されている画素の領域の位置をクリアすることを特徴とする請求項１乃至１０のいずれか１項に記載の撮像装置。
【請求項１２】
前記第１の検出判定手段および前記第２の検出判定手段は、画素ごとまたは複数の隣接する画素から成るブロックごとに判定することを特徴とする請求項１記載の撮像装置。
【請求項１３】
前記領域記憶手段は、画素ごとまたは複数の隣接する画素からなるブロックごとに記憶することを特徴とする請求項１２記載の撮像装置。
【請求項１４】
前記切り換え後の参照画像の更新は、画像全体の輝度値が安定した後に実行されることを特徴とする請求項１乃至１３のいずれか１項に記載の撮像装置。
【請求項１５】
撮影中の映像から基準となる参照画像を記憶する画像記憶手段と、
前記記憶された参照画像と現在の画像との輝度値から差分を算出する差分検出手段と、
前記算出された差分が第１の閾値よりも大きい場合に基準を満たしたと判定する第１の検出判定手段と、
前記算出された差分が第２の閾値よりも小さい場合に基準を満たしたと判定する第２の検出判定手段と、
前記第１の検出判定手段または前記第２の検出判定手段のいずれかにより前記基準を満たすと判定された画素の領域の位置を記憶する領域記憶手段とを備える撮像装置の制御方法であって、
撮影モードを切り換える切換工程と、
前記切換工程にて前記撮影モードが切り換えられたときは、前記画像記憶手段に記憶された参照画像の更新を行い、前記領域記憶手段に記憶されている画素の領域の位置に応じて、前記第１の検出判定手段または前記第２の検出判定手段による判定を切り換える制御工程とを備えることを特徴とする制御方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１３−１３１２３（Ｐ２０１３−１３１２３Ａ）
【公開日】平成２５年１月１７日（２０１３．１．１７）
【国際特許分類】
【出願番号】特願２０１２−１８３２６７（Ｐ２０１２−１８３２６７）
【出願日】平成２４年８月２２日（２０１２．８．２２）
【分割の表示】特願２００８−２１２０３８（Ｐ２００８−２１２０３８）の分割
【原出願日】平成２０年８月２０日（２００８．８．２０）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２５年１月１７日（２０１３．１．１７）
【国際特許分類】
【出願日】平成２４年８月２２日（２０１２．８．２２）
【分割の表示】特願２００８−２１２０３８（Ｐ２００８−２１２０３８）の分割
【原出願日】平成２０年８月２０日（２００８．８．２０）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]