固体撮像素子の駆動方法および撮像装置
【課題】コストを押さえて目的とする動体のみを高精度で検出する撮像装置を提供する。
【解決手段】本発明の撮像装置は、被写体を撮像し映像信号を出力する撮像モードおよび被写体の動きを検出する検出モードとを有する固体撮像素子１と、レンズおよびＡＦ機構を有する光学系３と、それらを制御する制御部２とを備え、固体撮像素子１は、行列状に配列された複数の画素部１２と、タイミングの異なる２つの画素信号の差分を求める差分部８０とを備え、各画素部１２は、受光素子１０と、少なくとも１フレーム期間前の過去の画素信号を一時的に記憶する記憶部１１とを含み、差分部８０は、検出モードにおいて、前記記憶部に格納された過去の画素信号と前記受光素子からの現在の画素信号との差分信号を生成し、制御部２は、差分信号から得られる差分画像が所定の条件を満たす場合に検出モードから撮像モードに切り替える。
【解決手段】本発明の撮像装置は、被写体を撮像し映像信号を出力する撮像モードおよび被写体の動きを検出する検出モードとを有する固体撮像素子１と、レンズおよびＡＦ機構を有する光学系３と、それらを制御する制御部２とを備え、固体撮像素子１は、行列状に配列された複数の画素部１２と、タイミングの異なる２つの画素信号の差分を求める差分部８０とを備え、各画素部１２は、受光素子１０と、少なくとも１フレーム期間前の過去の画素信号を一時的に記憶する記憶部１１とを含み、差分部８０は、検出モードにおいて、前記記憶部に格納された過去の画素信号と前記受光素子からの現在の画素信号との差分信号を生成し、制御部２は、差分信号から得られる差分画像が所定の条件を満たす場合に検出モードから撮像モードに切り替える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、固体撮像素子に関し、特に監視用デジタルカメラに用いられる動作検出用の固体撮像素子の駆動方法および撮像装置に関する。
【背景技術】
【０００２】
近年、防犯意識の向上により、侵入検知器やセキュリティカメラ分野への市場の要望が高まってきている。侵入検知器としては特許文献１に示すような赤外線の変化量により人体を検出する焦電型赤外線センサが知られている。焦電型赤外線センサでは、検出エリアへの人の侵入を検知することは可能であるが、どんな人物がどのように侵入してきたかを知ることは出来ないため、防犯用デバイスの性能としては十分ではない。特許文献２および３で示されるような監視カメラ装置や特許文献４で示されるような人体検知装置では画像センサ（イメージセンサ）と熱線センサ（赤外線センサ）を備えており、侵入者の検知だけでなく撮像もすることが可能になっている。また、特許文献５では、侵入者の動作検知を画像センサ（イメージセンサ）のみで行う方法について提案されている。
【特許文献１】特開２００２−８１９９０号公報
【特許文献２】特開２００７−３１８６７４号公報
【特許文献３】特開２００７−３１８６７５号公報
【特許文献４】特許第３６５６４７２号公報
【特許文献５】特開２００２−１３５７５９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、特許文献２および３の装置は、熱線センサ（赤外線センサ）で検出エリアの侵入検知を行っており、検知した場合、画像センサ（イメージセンサ）で検出エリアの撮像を行っている。検知モードと撮像モードをそれぞれ別のデバイスで行っているため、装置としてのサイズは大きくなり、コストも高くなる。また、検出すべき人体と検出する必要のない物体（例えば、風による樹木の揺れや、小動物）とを区別するために、マスク領域を設定し、マスク領域からはみ出して動く物体を検出すると、一定時間の間当該物体の動きの位置を追跡して検出情報の出力の要否の判断を行うという複雑な駆動方法をとっている。また、特許文献５の装置は、画像センサのみで動体検知を行う方法が提案されているが、駆動方法が動体の重心と輪郭との間隔から動体がセンサに接近してくる動きを検出するだけで、検出方法が複雑な割には、接近してくる動きしか検出できないといった欠点がある。また、検出する必要のない物体まで検出する場合があり、検出の精度が低い。
【０００４】
本発明は、上記の課題に鑑みてなされたもので、コストを押さえて目的とする動体を高精度で検出する固体撮像素子の駆動方法および撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記の目的を達成するために、本発明の固体撮像素子の駆動方法は、被写体を撮像し映像信号を出力する撮像モードと、被写体の動きを検出する検出モードとを有し、監視用カメラに搭載された固体撮像素子の駆動方法であって、前記固体撮像素子は、行列状に配列された複数の画素部と、２つの画素信号の差分を求める差分回路とを備え、各画素部は光電変換により画素信号を生成する受光素子と画素信号を記憶する記憶部とを含み、前記駆動方法は、前記検出モードにおいて、受光素子からの画素信号を前記記憶部に格納する格納ステップと、前記検出モードにおいて、少なくとも１フレーム期間前に前記記憶部に格納された過去の画素信号と前記受光素子からの現在の画素信号との差分を用いて、異なるタイミングの２つの画像の差分を表す差分画像を生成する差分画像生成ステップと、前記差分画像において＋符号の画素からなる画像部分および−符号の画素からなる画像部分の少なくとも一方を検出する画像部分検出ステップと、検出された画像部分に含まれる画素の数に基づいて被写体中の物体の動きを示す動き情報を生成する動き情報生成ステップと、前記動き情報が所定の条件を満たすか否かを判定する判定ステップと、満たすと判定されたとき前記検出モードから前記撮像モードに切り替える切り替えステップと、切り替え後の前記撮像モードにおいて被写体を撮像する撮像ステップとを有する。
【０００６】
この構成によれば、１つの固体撮像素子で動作検出モードと撮像モードの両方を実現するのでコストを押さえ、かつ、動作検出モードにおいて動体の動作範囲や大きさ等が所定の条件を満たすか否かを判定することにより、検出する必要のない動体を除外して目的とする動体を高精度で検出することができる。
【０００７】
ここで、前記動き情報生成ステップにおいて、前記画像部分に含まれる一次元方向に並ぶ画素の数に従って、前記被写体中の物体の見掛け上の移動量を求め、焦点合わせにより設定された合焦時の光学レンズと前記固体撮像素子との間の距離に基づいて、前記見掛け上の移動量を現実の移動量に換算し、現実の移動量を前記動き情報と決定し、前記判定ステップにおいて、現実の移動量がしきい値よりも大きい場合に前記所定の条件を満たすと判定するようにしてもよい。
【０００８】
この構成によれば、目的とする動体を判別する条件を動体の移動量とすることができ、監視対象とする動体の検出精度を向上させることができる。
【０００９】
ここで、前記しきい値は１０ｃｍであってもよい。
ここで、前記画像部分検出ステップにおいて、＋符号の画素からなる画像部分および−符号の画素からなる画像部分を検出し、前記動き情報生成ステップにおいて、画像部分に含まれる一次元方向に並ぶ画素の数である第１の画素数を計数し、＋符号の画素からなる画像部分と−符号の画素からなる画像部分とに挟まれた一次元方向に並ぶ画素の数である第２の画素数を計数し、前記第１の画素数と前記第２の画素数との和に従って、前記被写体中の物体の見掛け上の大きさを求め、焦点合わせにより設定された合焦時の光学レンズと前記固体撮像素子との間の距離に基づいて、前記見掛け上の大きさを現実の大きさに換算し、現実の大きさを前記動き情報と決定し、前記判定ステップにおいて、現実の大きさが所定の範囲内である場合に前記所定の条件を満たすと判定するようにしてもよい。
【００１０】
この構成によれば、目的とする動体を判別する条件を動体の大きさとすることができ、監視対象とする動体の検出精度を向上させることができる。
【００１１】
ここで、前記所定の範囲は１００ｃｍから２００ｃｍまでの範囲であってもよい。
ここで、前記画像部分検出ステップにおいて、＋符号の画素からなる画像部分を検出し、前記動き情報生成ステップにおいて、前記画像部分が撮像領域の端部を含む場合に、当該画像部分に含まれる一次元方向に並ぶ画素の数を計数し、前記画素の数に従って、前記被写体中の物体の見掛け上の大きさを求め、焦点合わせにより設定された合焦時の光学レンズと前記固体撮像素子との間の距離に基づいて、前記見掛け上の大きさを現実の大きさに換算し、現実の大きさを前記動き情報と決定し、前記判定ステップにおいて、現実の大きさが所定の範囲内である場合に前記所定の条件を満たすと判定するようにしてもよい。
【００１２】
この構成によれば、目的とする動体を判別する条件を、撮像範囲内に動体が進入したこととすることができ、監視対象とする動体の検出精度を向上させることができる。
【００１３】
ここで、前記端部は前記撮像領域の端から連続する５画素を含む領域であってもよい。
ここで、前記所定の条件は、動体の移動量に関する条件、動体の大きさに関する条件および動体の撮像範囲内への進入に関する条件の３つの任意の組み合わせであってもよい。
【００１４】
この構成によれば、動き検出の目的とする動体をきめ細かく条件付けでき、すなわち検出の精度が向上する。
【００１５】
また、本発明の撮像装置は、被写体を撮像し映像信号を出力する撮像モードおよび被写体の動きを検出する検出モードとを有する固体撮像素子と、レンズおよび焦点合わせをするオートフォーカス機構を有する光学系と、前記固体撮像素子および前記光学系を制御する制御部とを備える撮像装置であって、前記固体撮像素子は、行列状に配列された複数の画素部と、２つの画素信号の差分を求める差分回路とを備え、各画素部は、光電変換により画素信号を生成する受光素子と、少なくとも１フレーム期間前の過去の画素信号を一時的に記憶する記憶部とを含み、前記差分回路は、前記検出モードにおいて、前記記憶部に格納された過去の画素信号と前記受光素子からの現在の画素信号との差分信号を生成し、前記制御部は、検出モードにおいて前記差分信号に基づいて差分画像を生成し、前記差分画像において＋符号の画素からなる画像部分および−符号の画素からなる画像部分の少なくとも一方を検出し、検出された画像部分に含まれる画素の数に基づいて被写体中の物体の動きを示す動き情報を生成し、前記動き情報が所定の条件を満たすか否かを判定し、満たすと判定されたとき前記検出モードから前記撮像モードに切り替える。
【００１６】
この構成によれば、１つの固体撮像素子で動作検出モードと撮像モードの両方を実現し、かつ、動作検出モードにおいて動体の動作範囲や大きさ等が所定の条件を満たすか否かを判定することにより、目的とする動体を高精度で検出することができる。
【００１７】
ここで、前記制御部は、前記画像部分に含まれる一次元方向に並ぶ画素の数に従って、前記被写体中の物体の見掛け上の移動量を求め、焦点合わせにより設定された合焦時のカメラの光学レンズと前記固体撮像素子との間の距離に基づいて、前記見掛け上の移動量を現実の移動量に換算し、現実の移動量を前記動き情報と決定し、現実の移動量がしきい値よりも大きい場合に前記所定の条件を満たすと判定する構成としてもよい。
【００１８】
この構成によれば、目的とする動体を判別する条件を動体の移動量とすることができ、監視対象とする動体の検出精度を向上させることができる。
【００１９】
ここで、前記制御部は、＋符号の画素からなる画像部分および−符号の画素からなる画像部分を検出し、前記画像部分に含まれる一次元方向に並ぶ画素の数である第１の画素数を計数し、＋符号の画素からなる画像部分と−符号の画素からなる画像部分とに挟まれた一次元方向に並ぶ画素の数である第２の画素数を計数し、前記第１の画素数と前記第２の画素数との和に従って、前記被写体中の物体の見掛け上の大きさを求め、焦点合わせにより設定された合焦時の光学レンズと前記固体撮像素子との間の距離に基づいて、前記見掛け上の大きさを現実の大きさに換算し、現実の大きさを前記動き情報と決定し、現実の大きさが所定の範囲内である場合に前記所定の条件を満たすと判定する構成としてもよい。
【００２０】
この構成によれば、目的とする動体を判別する条件を動体の大きさとすることができ、監視対象とする動体の検出精度を向上させることができる。
【００２１】
ここで、前記制御部は、＋符号の画素からなる画像部分を検出し、前記画像部分が撮像領域の端部を含む場合に、当該画像部分に含まれる一次元方向に並ぶ画素の数を計数し、前記画素の数に従って、前記被写体中の物体の見掛け上の大きさを求め、焦点合わせにより設定された合焦時の光学レンズと前記固体撮像素子との間の距離に基づいて、前記見掛け上の大きさを現実の大きさに換算し、現実の大きさを前記動き情報と決定し、現実の大きさが所定の範囲内である場合に前記所定の条件を満たすと判定する構成としてもよい。
【００２２】
この構成によれば、目的とする動体を判別する条件を、撮像範囲内に動体が進入したこととすることができ、監視対象とする動体の検出精度を向上させることができる。
【００２３】
このように、固体撮像素子は、受光素子と受光素子からの出力信号を記憶する記憶部を含む画素部が２次元状に配列された固体撮像素子において、被写体を撮像するモードと、異なるタイミングの映像信号の差分をとり、その変化量で被写体の動作を検出するモードを有している。また、被写体の動作を検出するモード時は検出すべき動体と検出する必要のない物体とを区別するために、動作している物体の大きさや動作範囲にある一定の範囲（閾値）を所定の条件として設ける。物体の大きさや動作範囲は、監視用カメラに搭載された光学レンズを用いて物体に焦点距離を合わせた上で割り出す。さらに検出すべき動体を検出した場合、速やかに検出モードから通常の撮像モードに戻り、検出した動体を撮像する。
【発明の効果】
【００２４】
本発明の構成であれば、動作検出モードと撮像モードを１つの素子で実現することができるだけでなく、検出すべき動体と、それ以外の動作検出が不必要な物体とを区別し、検出が必要な、つまり目的とする動体のみ検出して撮像することが可能となる。
【発明を実施するための最良の形態】
【００２５】
（第１の実施形態）
図１は、本発明の第１の実施形態に係る撮像装置の全体的な構成を示すブロック図である。同図の撮像装置は、被写体を撮像し映像信号を出力する撮像モードおよび被写体の動きを検出する検出モードとを有する固体撮像素子１と、レンズおよび焦点合わせをするオートフォーカス機構を有する光学系３と、固体撮像素子１および光学系３を制御する制御部２とを備える。同図の撮像装置は、被写体を撮像し映像信号を出力する撮像モードおよび被写体の動きを検出する検出モードとを有する固体撮像素子１と、レンズおよび焦点合わせをするオートフォーカス機構を有する光学系３と、固体撮像素子１および光学系３を制御する制御部２とを備える。同図右側の破線で囲った領域は、撮像領域１３の一部の領域（破線部）を拡大している。
【００２６】
固体撮像素子１は、行列状に配列された複数の画素部１２と、２つの画素信号の差分を求める差分回路を列毎に有する差分部８０と、垂直シフトレジスタ１４ａ、１４ｂと、水平シフトレジスタ１５とを備える。２つの垂直シフトレジスタ１４ａ、１４ｂの一方は、例えば撮像モードでの全行走査用、他方は検出モードでの間引き走査用である。
【００２７】
各画素部１２は、光電変換により画素信号を生成する受光素子１０と、少なくとも１フレーム期間前の過去の画素信号を一時的に記憶する記憶部１１とを含む。差分部８０内の各差分回路は、検出モードにおいて、記憶部１１に格納された過去の画素信号と受光素子１０からの現在の画素信号との差分信号を生成する。
【００２８】
制御部２は、ＤＳＰ（Digital Signal Processor）とＣＰＵ（Central Processing Unit）とを含み、検出モードにおいて複数の画素部１２からの差分信号に基づいて差分画像を生成し、差分画像において＋符号の画素からなる画像部分および−符号の画素からなる画像部分の少なくとも一方を検出する。さらに、制御部２は、検出された画像部分に含まれる画素の数に基づいて被写体中の物体の動きを示す動き情報を生成し、その動き情報が所定の条件を満たすか否かを判定し、満たすと判定されたとき前記検出モードから前記撮像モードに切り替える。ここで、所定の条件は、検出する必要のない物体と除外し、検出すべき物体を判別するために設定される。これにより、撮像装置は、１つの固体撮像素子で動作検出モードと撮像モードの両方を実現し、かつ、目的とする動体を高精度で検出することができ、しかも差分信号に基づいて高速に動きを検出することができる。
【００２９】
撮像モード時は、固体撮像素子１は、図２Ａに示すように撮像領域１３内の全ての画素部１２が垂直シフトレジスタ１４ａまたは１４ｂと水平シフトレジスタ１５とによって選択され、高解像度の映像信号を出力する。検出モード時は、図２Ｂに示すように撮像領域１３内の一部の画素部１２が垂直シフトレジスタ１４ａおよび水平シフトレジスタ１５によって間引き選択される。図２Ｂにおいて実線で示す画素部１２は選択され、破線で示す画素部１２は間引かれる。
【００３０】
動作検出モード時は撮像モードと同様に各受光素子から画素信号が出力されるが、垂直信号線１７を通る前に一度記憶部１１に画素信号が保持され、次の異なるタイミングで得られた画素信号が出力される時に、記憶部１１に保持された画素信号も出力され、過去の画素信号と現在の画素信号との差分を示す差分信号を差分回路により得る。差分信号がほぼ０の場合は、検出エリアに動体がないことを示しており、差分信号が０でない場合は、検出エリアに動体がいることを示している。差分信号が０でない場合は、差分画像における０でない画素の領域、数などの情報により、被写体の見かけの速度、動く方角および見かけの動作範囲、見かけの大きさ、形状を確認することもできる。
【００３１】
本実施の形態では、固体撮像素子の被写体の動作を検出するモードにおいて、差分信号の変化から移動量を検出し、移動量があらかじめ設定したしきい値を越えている場合（つまり所定の条件を満たす場合）、動作検出モードから撮像モードに駆動方法を自動的に切り替え、撮像を行う。これによってあるしきい値以上の移動量をもつ動体を検出して、その後その動体を全ての受光素子を用いて撮像することが可能となる。
【００３２】
図３は第１の実施形態における動き検出を説明するための図である。同図の上段は、差分信号の変化を示すグラフである。このグラフの縦軸は差分信号の差分値を、横軸は差分画像の一次元方向（この例では行方向）の画素アドレスを示している。同図の下段は、差分画像を表している。差分画像中の２つの物体１０７は移動前の位置と移動後の位置に対応する。２つの物体１０８も同様である。同図上段に示すように、＋符号の画素からなる画像部分に含まれる行方向に並ぶ画素の数（第１の画素数）は、物体の移動量を意味する。物体１０７に対応する第１の画素数は、画素アドレスａ１から画素アドレスａ２までに存在する画素数を計数することにより得られる。物体１０８に対応する第１の画素数は、画素アドレスＡ１から画素アドレスＡ２までに存在する画素数を計数することにより得られる。第１の画素数に画素ピッチを乗算することにより差分画像における見掛け上の移動量が得られる。例えば、物体１０７の移動量があらかじめ設定した閾値を越えている場合、物体１０７は動体と判定され、検出モードから撮像モードに切り替えられる。物体１０８の移動量があらかじめ設定した閾値を越えていない場合、物体１０８は動体と判定されない。ここで、あらかじめ設定した範囲（閾値）は、ある実際の変動幅である。しかし、単なる固体撮像素子では、撮像した物体の変動幅は分り得ない。そこで、監視用カメラに搭載された光学レンズを用いて物体までの焦点距離を合わせ、その焦点距離から撮像した物体の移動量を割り出し（図４）、閾値として定義された変動幅と比較して、動体として認識するかどうかを判断する。
【００３３】
図４は、現実の物体（図中のａ−ｂ）と差分画像中の見掛け上の物体（図中のａ'−ｂ'）とレンズとの関係を示す図である。図中、Ｆはレンズの焦点距離、ｆは焦点、Ａは現実の物体とレンズとの距離、Ｂは固体撮像素子１とレンズとの距離を示す。同図では、ＡＦ機構によってレンズ位置が合焦位置に調整されている。この場合、（１／Ａ）＋（１／ｂ）＝１／Ｆが成り立つ。ＦとＢは既知なので、同式からＡが得られる。さらに、ＡとＢを用いて、見掛け上の物体の大きさや移動量を、現実の物体の大きさや移動量に換算することができる。
【００３４】
図５は、固体撮像素子の構成を示すブロック図である。固体撮像素子１は、撮像領域１３、垂直シフトレジスタ１４、水平シフトレジスタ１５、複数の差分回路１８、複数の列選択用のトランジスタ１９を備える。撮像領域１３は、行列状に配列された複数の画素部１２を含む。各画素部１２は、光電変換を行うための受光素子１０と、受光素子１０からの画素信号を記憶するための容量素子である記憶部１１と、画素選択用のＭＯＳトランジスタ１６とを含む。垂直シフトレジスタ１４は、図１の垂直シフトレジスタ１４ａおよび１４ｂに相当する。垂直シフトレジスタ１４による行の選択は、動作モードによって異なる。すなわち、この固体撮像素子は、被写体の動きを検出する動き検出モードと被写体を撮像する撮像モードとを有し、垂直シフトレジスタ１４は、動き検出モードでは全行のうち例えば２行に１行を間引きながら行を選択し、撮像モードでは全行を順に選択する。水平シフトレジスタ１５は、動き検出モードでは、垂直シフトレジスタ１４に選択された行に属する画素のうち例えば２画素に１画素を間引きながら画素を選択し、撮像モードでは垂直シフトレジスタ１４に選択された行に属する全画素を順に選択する。
【００３５】
垂直シフトレジスタ１４によって選択された行は各画素部１２に備えられたＭＯＳトランジスタ１６がON状態となり、画素部からの信号は垂直信号線１７を通して差分回路１８に送られる。次に水平シフトレジスタ１５により信号を読み出す列が選択され、差分回路１８に隣接し接続されたトランジスタ１９がON状態となり共通水平信号線２０を通して出力される。差分回路１８は、画素の列毎に設けられ、動き検出モードにおいて、タイミングが異なる２つの画素信号の差分を求める。例えば、各差分回路１８は、少なくとも１フレーム期間前に記憶部１１に格納された過去の画素信号と受光素子からの現在の画素信号との差分を求める。
【００３６】
図６は、画素部１２の回路構成の一例を示す回路図である。図６に示すように画素部１２は、受光素子１０と、受光素子１０からの画素信号を記憶する容量素子である記憶部１１と、受光素子１０からの信号を読み出す転送トランジスタ２１と、フローティングディフュージョン２２と、フローティングディフュージョン２２に蓄積された電荷をリセットするリセットトランジスタ２３とを備えている。受光素子１０から転送された電荷とフローティングディフュージョン２２の容量により発生した電圧は画素信号として、ＭＯＳトランジスタ２４、２５で構成されるソースフォロワとＭＯＳトランジスタ２６、１６を通して垂直信号線１７に送られる。また、当該画素信号は同時にＭＯＳトランジスタ２７を通して記憶部１１に保持される。ある期間tで容量（記憶部）１１に保持された信号電圧Ｖｔとある期間ｔ＋ｎでの信号電圧Ｖｔ＋ｎの差分が差分回路１８により検出され、差分信号は共通水平信号線２０から出力される。図６では記憶部１１は、例えばＭＯＳキャパシタで構成されているが、画素信号を記憶できる容量素子であれば効果は損なわれない。
【００３７】
図７は、差分回路の一例を示す回路図である。この差分回路１８は２つのＭＯＳトランジスタ２８、２９と、クランプ容量３０と、サンプルホールド容量３１とを備える。ある期間ｔでＭＯＳトランジスタ２８、２９がＯＮ状態になるとクランプ容量３０にはある基準電圧ＶｒとＶｔの差分のＶｒ−Ｖｔが保持される。ある期間ｔ＋ｎでＭＯＳトランジスタ２８がＯＮ状態、ＭＯＳトランジスタ２９がＯＦＦ状態になると、Ｖｔの値はＶｔ＋ｎに変化し、差分回路１８の出力はクランプ容量３０の容量をＣＡ、サンプルホールド容量３１の容量をＣＢとすると、（Ｖｒ−（Ｖｔ−Ｖｔ＋ｎ））／（ＣＡ／（ＣＡ＋ＣＢ））の値が出力される。ある期間ｔとｔ＋ｎで被写体の動きに変化がなければ、Ｖｔ＝Ｖｔ＋ｎとなり、差分信号はＶｒの分圧値（基準値）となるが、ＶｔとＶｔ＋ｎの値が異なると差分信号は基準値とは異なる。この差分回路１８を用いれば、差分信号の変化から被写体の動きを検知することができる。さらに画素の領域、数に注目し、ある期間ｔ＋ｎ（ｎ＝１，２，３…）の出力電圧変化を知ることで、被写体の速度、動く方角、大きさ、形状を確認することもできる。また、動き検出だけでなく、通常の撮像も行うことができる。
【００３８】
図８は、動き検出モードにおける撮像装置の動作を示すフローチャートである。同図のように、まず、垂直シフトレジスタ１４は、間引き対象でない最初の行に属する画素を選択する（Ｓ８１）。間引き選択により、フレームレートを高速化することができる。
【００３９】
さらに、選択された画素内の記憶部１１から過去の画素信号を差分回路１８に出力し（Ｓ８２）、選択された画素内の受光素子１０から現在の画素信号を差分回路１８に出力し（Ｓ８３）、これと同時に、選択された画素内の受光素子１０からの現在の画素信号を記憶部１１に格納することにより更新する（Ｓ８４）。更新された画素信号は、次のフレーム期間で差分信号を得るために利用される。
【００４０】
さらに、差分回路１８において過去の画素信号と現在の画素信号との差分を示す差分信号を求める（Ｓ８５）。求められた複数の差分信号は、選択された行内で水平シフトレジスタ１５により間引き選択され、順に共通水平信号線２０に出力される。さらに、垂直シフトレジスタ１４は、現在選択されている行が間引き選択の最後の行でなければ、間引き対象でない次の行を選択し（Ｓ８６、Ｓ８７）、ステップＳ８２に戻る。垂直シフトレジスタ１４による画素の間引き選択により列走査期間を短縮しフレームレートを高速化することができる。
【００４１】
現在選択されている行が間引き選択の最後の行であれば、間引き選択された全ての画素部に対応する差分信号に基づいて差分画像を生成し（Ｓ８８ａ）、差分画像から動き情報を生成する（Ｓ８８ｂ）。さらに、動き情報が所定の条件を満たすかどうかを判定し（Ｓ８９）、満たさないと判定された場合は動き検出モードを続行し、満たすと判定された場合は動き検出モードから撮像モードに切り替る。撮像モードでは、間引くことなく全画素部を選択して高解像度の撮像を行う。
【００４２】
図９は、図８のステップＳ８８ｂにおける動き情報の生成処理の一例（第１の動き情報生成処理と呼ぶ。）を示すフローチャートである。第１の動き情報生成処理では、動き情報は、物体の移動量として生成される。この場合、所定の条件は、検出すべき物体の移動量のしきい値として定めることができる。
【００４３】
制御部２は、差分画像において＋符号の画素からなる画像部分を検出し（Ｓ１０１）、当該画像部分に含まれる一次元方向（行方向および列方向）に並ぶ画素の数（第１の画素数）を計数し（Ｓ１０３）、第１の画素数から被写体中の物体の見掛け上の移動量を求め（Ｓ１０６）、ＡＦ機構による合焦時の光学レンズと固体撮像素子との間の距離に基づいて見掛け上の移動量を現実の移動量に換算し（Ｓ１０７）、現実の移動量を動き情報と決定する。これにより、図３に示した物体の現実の移動量が動き情報として生成される。
【００４４】
この動き情報は、図８のＳ８９において所定の条件を満たすかどうか判定される。この場合、しきい値を１０ｃｍとし、所定の条件は１０ｃｍ以下とすることが望ましい。これにより、人の移動を精度よく検出することができる。
【００４５】
（第２の実施形態）
第１の実施形態では動き情報が物体の移動量を示す例を示したが、本実施の形態では動き情報が動体の大きさを示す例について説明する。
【００４６】
本発明の第２の実施形態に係る撮像装置の全体的な構成は第１の実施形態と同様なため、省略し、異なる点を中心に説明する。
【００４７】
図１０は、図８のステップＳ８８ｂにおける動き情報の生成処理の一例（第２の動き情報生成処理と呼ぶ。）を示すフローチャートである。本実施形態における動き情報は、物体の大きさを示す。この場合、所定の条件は、検出すべき物体の大きさの上限、下限または範囲として定めることができる。
【００４８】
制御部２は、差分画像において＋符号の画素からなる画像部分と、−符号の画素からなる画像部分とを検出する（Ｓ１０１、１０２）。さらに、制御部２は、当該各画像部分に含まれる一次元方向（行方向および列方向）に並ぶ画素の数（第１の画素数）を計数し（Ｓ１０３）。＋符号の画素からなる画像部分と−符号の画素からなる画像部分とに挟まれた一次元方向に並ぶ画素の数である第２の画素数を計数し（Ｓ１０４）、第１の画素数と第２の画素数との和を算出する（Ｓ１０５）。第１の画素数と第２の画素数との和は、図３に示すように、物体の大きさを意味する。
【００４９】
さらに、制御部２は、第１の画素数と第２の画素数との和を、画素ピッチを用いて被写体中の物体の見掛け上の大きさに換算し（Ｓ１０６）、焦点合わせにより設定された合焦時の光学レンズと前記固体撮像素子との間の距離に基づいて、前記見掛け上の大きさを現実の大きさに換算し、当該現実の大きさを動き情報と決定する（Ｓ１０７）。これにより、図３に示した物体の大きさが動き情報として生成される。
【００５０】
この動き情報（現実の大きさ）は、図８のＳ８９において所定の条件を満たすかどうか判定される。この場合、所定の条件は１００ｃｍから２００ｃｍの範囲内とすることが望ましい。これにより、人の移動を精度よく検出することができる。
【００５１】
なお、図１０では、物体の見掛け上の大きさを現実の大きさに換算し、換算後の現実の大きさにより目的の動体の有無を判定しているが、見掛け上の大きさを現実の大きさに換算することなく、図８のＳ８９において見掛け上の大きさにより目的の動体の有無を判定するようにしてもよい。こうすれば、撮像範囲や撮像距離が固定的である場合には、動体の検出の精度を向上させることができる。
【００５２】
（第３の実施形態）
第１の実施形態では動き情報が物体の移動量を示す例を示したが、本実施形態では動き情報が動体の大きさを示す例について説明する。
【００５３】
本実施形態に係る撮像装置の全体的な構成は第１の実施形態と同様なため、省略し、異なる点を中心に説明する。
【００５４】
図１１は、図８のステップＳ８８ｂにおける動き情報の生成処理の一例（第３の動き情報生成処理と呼ぶ。）を示すフローチャートである。本実施形態における動き情報は、撮像範囲内への物体の進入量として生成される。この場合、所定の条件は、検出すべ撮像範囲内への物体の進入量として定めることができる。さらに、第３の動き情報の生成処理は、第１の実施形態における動き情報（物体の移動量）、第２の実施形態における動き情報（物体の大きさ）を併用することもできる。
【００５５】
図１１において、制御部２は、まず、差分画像において＋符号の画素からなる画像部分を検出し（Ｓ１０１）、当該画像部分が撮像範囲の端部を含むか否かを判定する（Ｓ１０８）。この判定では、例えば、画像部分が撮像範囲（差分画像）の端から連続する５画素を含んでいるかどうかを判定すればよい。画像部分が端部を含むことは、図１２に示すように物体が撮像範囲に進入してきたことを意味する。
【００５６】
さらに、制御部２は、画像部分が端部を含むと判定した場合、当該画像部分に含まれる一次元方向（行方向および列方向）に並ぶ画素数を計数する（Ｓ１０３）。この画素数は、図１２に示すように、撮像範囲の端の画素アドレスＡ５から画像部分の端の画素アドレスＡ６までの範囲に対応する画素を計数することにより得られ、物体のうち進入した部分の大きさを意味する。さらに、制御部２は、当該画素数を差分画像における物体の見掛け上の大きさに換算し（Ｓ１０６）、焦点合わせにより設定された合焦時の光学レンズと前記固体撮像素子との間の距離に基づいて、前記見掛け上の大きさを現実の大きさに換算し、当該現実の大きさを動き情報と決定する（Ｓ１０７）。これにより、図１２に示した物体の進入部分の大きさが動き情報として生成される。
【００５７】
また、制御部２は、ステップＳ１０８において画像部分が撮像範囲の端部を含まないと判定した場合、図９に示した第１の動き情報生成処理と、図１０に示した第２の動き情報生成処理とを行う（Ｓ１０９、Ｓ１１０）。
【００５８】
以上により生成された動き情報は、図８のＳ８９において所定の条件を満たすかどうか判定される。動き情報が物体の進入した部分の大きさを示す場合は、所定の条件はあるしきい値以上という条件でよい。これにより、人の進入を精度よく検出することができる。動き情報が物体の移動量を示す場合は、所定の条件は第１の実施形態と同様でよい。動き情報が物体の大きさを示す場合は、所定の条件は第２の実施形態と同様でよい。
【００５９】
なお、図１１では、画像部分が撮像範囲の端部を含まないと判定した場合に、第１の動き情報生成処理と第２の動き情報生成処理とを行うが、画像部分が撮像範囲の端部を含むと判定した場合でも第１の動き情報生成処理と第２の動き情報生成処理とを行うようにしてもよい。この場合、図８のＳ８９の判定における所定の条件は、動体の移動量に関する条件、動体の大きさに関する条件および動体の撮像範囲内への進入に関する条件の３つの任意の組み合わせであってもよい。こうすれば、動き検出の目的とする動体をきめ細かく条件付けでき、すなわち検出の精度が向上する。
【００６０】
また、図１１では、物体の進入した部分の見掛け上の大きさを現実の大きさに換算し、換算後の現実の大きさにより目的の動体の有無を判定しているが、見掛け上の大きさを現実の大きさに換算することなく、図８のＳ８９において見掛け上の大きさにより目的の動体の有無を判定するようにしてもよい。こうすれば、撮像範囲や撮像距離が固定的である場合には、動体の検出の精度を向上させることができる。
【００６１】
なお、上記各実施形態において、各画素部１２が記憶部１１を複数備える構成としてもよい。例えば各画素部１２が２つの記憶部１１を備える場合には、受光素子１０から記憶部１１への画素信号の格納を全画素一斉にする、いわゆるグローバルシャッター動作が可能になる。２つの記憶部１１は、現在の画素信号と、過去の画素信号を記憶し、２つの記憶部１１から差分回路１８への画素信号の出力動作は各実施の形態と同様に行単位に行えばよい。
【産業上の利用可能性】
【００６２】
以上説明したように、本発明の固体撮像素子の駆動方法および撮像装置によれば、１つの素子で撮像と動作検出が可能であり、撮像モードと動作検出モード時で駆動方法を変え、高精度・高感度で動作検出を行うことができるため、現状のイメージセンサデバイスを基礎に高機能化が簡易に行え、セキュリティカメラへの応用に有用である。
【図面の簡単な説明】
【００６３】
【図１】本発明の第１の実施形態に係る撮像装置の全体的な構成を示すブロック図である。
【図２Ａ】撮像モードにおいて選択される画素部を示す図である。
【図２Ｂ】検出モードにおいて選択される画素部を示す図である。
【図３】動き検出の説明図である。
【図４】現実の物体と見掛け上の物体（図中のａ'−ｂ'）とレンズとの関係を示す図である。
【図５】固体撮像素子の構成を示すブロック図である。
【図６】画素部１２の回路構成の一例を示す回路図である。
【図７】差分回路の一例を示す回路図である。
【図８】動き検出モードにおける撮像装置の動作を示すフローチャートである。
【図９】動き情報の生成処理を示すフローチャートである。
【図１０】本発明の第２の実施形態における動き情報の生成処理を示すフローチャートである。
【図１１】本発明の第３の実施形態における動き情報の生成処理を示すフローチャートである。
【図１２】動き検出の説明図である。
【符号の説明】
【００６４】
１ 固体撮像素子
２ 制御部
３ 光学系
１０ 受光素子
１１ 記憶部
１２ 画素部
１３ 撮像領域
１４、１４ａ、１４ｂ 垂直シフトレジスタ
１５ 水平シフトレジスタ
１６ ＭＯＳトランジスタ
１７ 垂直信号線
１８ 差分回路
１９ トランジスタ
２０ 共通水平信号線
２１ 転送トランジスタ
２２ フローティングディフュージョン
２３ リセットトランジスタ
２４〜２９ ＭＯＳトランジスタ
３０ クランプ容量
３１ サンプルホールド容量
３２ Ｄフリップフロップ回路
３３〜３６ ＭＯＳトランジスタ
８０ 差分部
【技術分野】
【０００１】
本発明は、固体撮像素子に関し、特に監視用デジタルカメラに用いられる動作検出用の固体撮像素子の駆動方法および撮像装置に関する。
【背景技術】
【０００２】
近年、防犯意識の向上により、侵入検知器やセキュリティカメラ分野への市場の要望が高まってきている。侵入検知器としては特許文献１に示すような赤外線の変化量により人体を検出する焦電型赤外線センサが知られている。焦電型赤外線センサでは、検出エリアへの人の侵入を検知することは可能であるが、どんな人物がどのように侵入してきたかを知ることは出来ないため、防犯用デバイスの性能としては十分ではない。特許文献２および３で示されるような監視カメラ装置や特許文献４で示されるような人体検知装置では画像センサ（イメージセンサ）と熱線センサ（赤外線センサ）を備えており、侵入者の検知だけでなく撮像もすることが可能になっている。また、特許文献５では、侵入者の動作検知を画像センサ（イメージセンサ）のみで行う方法について提案されている。
【特許文献１】特開２００２−８１９９０号公報
【特許文献２】特開２００７−３１８６７４号公報
【特許文献３】特開２００７−３１８６７５号公報
【特許文献４】特許第３６５６４７２号公報
【特許文献５】特開２００２−１３５７５９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、特許文献２および３の装置は、熱線センサ（赤外線センサ）で検出エリアの侵入検知を行っており、検知した場合、画像センサ（イメージセンサ）で検出エリアの撮像を行っている。検知モードと撮像モードをそれぞれ別のデバイスで行っているため、装置としてのサイズは大きくなり、コストも高くなる。また、検出すべき人体と検出する必要のない物体（例えば、風による樹木の揺れや、小動物）とを区別するために、マスク領域を設定し、マスク領域からはみ出して動く物体を検出すると、一定時間の間当該物体の動きの位置を追跡して検出情報の出力の要否の判断を行うという複雑な駆動方法をとっている。また、特許文献５の装置は、画像センサのみで動体検知を行う方法が提案されているが、駆動方法が動体の重心と輪郭との間隔から動体がセンサに接近してくる動きを検出するだけで、検出方法が複雑な割には、接近してくる動きしか検出できないといった欠点がある。また、検出する必要のない物体まで検出する場合があり、検出の精度が低い。
【０００４】
本発明は、上記の課題に鑑みてなされたもので、コストを押さえて目的とする動体を高精度で検出する固体撮像素子の駆動方法および撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記の目的を達成するために、本発明の固体撮像素子の駆動方法は、被写体を撮像し映像信号を出力する撮像モードと、被写体の動きを検出する検出モードとを有し、監視用カメラに搭載された固体撮像素子の駆動方法であって、前記固体撮像素子は、行列状に配列された複数の画素部と、２つの画素信号の差分を求める差分回路とを備え、各画素部は光電変換により画素信号を生成する受光素子と画素信号を記憶する記憶部とを含み、前記駆動方法は、前記検出モードにおいて、受光素子からの画素信号を前記記憶部に格納する格納ステップと、前記検出モードにおいて、少なくとも１フレーム期間前に前記記憶部に格納された過去の画素信号と前記受光素子からの現在の画素信号との差分を用いて、異なるタイミングの２つの画像の差分を表す差分画像を生成する差分画像生成ステップと、前記差分画像において＋符号の画素からなる画像部分および−符号の画素からなる画像部分の少なくとも一方を検出する画像部分検出ステップと、検出された画像部分に含まれる画素の数に基づいて被写体中の物体の動きを示す動き情報を生成する動き情報生成ステップと、前記動き情報が所定の条件を満たすか否かを判定する判定ステップと、満たすと判定されたとき前記検出モードから前記撮像モードに切り替える切り替えステップと、切り替え後の前記撮像モードにおいて被写体を撮像する撮像ステップとを有する。
【０００６】
この構成によれば、１つの固体撮像素子で動作検出モードと撮像モードの両方を実現するのでコストを押さえ、かつ、動作検出モードにおいて動体の動作範囲や大きさ等が所定の条件を満たすか否かを判定することにより、検出する必要のない動体を除外して目的とする動体を高精度で検出することができる。
【０００７】
ここで、前記動き情報生成ステップにおいて、前記画像部分に含まれる一次元方向に並ぶ画素の数に従って、前記被写体中の物体の見掛け上の移動量を求め、焦点合わせにより設定された合焦時の光学レンズと前記固体撮像素子との間の距離に基づいて、前記見掛け上の移動量を現実の移動量に換算し、現実の移動量を前記動き情報と決定し、前記判定ステップにおいて、現実の移動量がしきい値よりも大きい場合に前記所定の条件を満たすと判定するようにしてもよい。
【０００８】
この構成によれば、目的とする動体を判別する条件を動体の移動量とすることができ、監視対象とする動体の検出精度を向上させることができる。
【０００９】
ここで、前記しきい値は１０ｃｍであってもよい。
ここで、前記画像部分検出ステップにおいて、＋符号の画素からなる画像部分および−符号の画素からなる画像部分を検出し、前記動き情報生成ステップにおいて、画像部分に含まれる一次元方向に並ぶ画素の数である第１の画素数を計数し、＋符号の画素からなる画像部分と−符号の画素からなる画像部分とに挟まれた一次元方向に並ぶ画素の数である第２の画素数を計数し、前記第１の画素数と前記第２の画素数との和に従って、前記被写体中の物体の見掛け上の大きさを求め、焦点合わせにより設定された合焦時の光学レンズと前記固体撮像素子との間の距離に基づいて、前記見掛け上の大きさを現実の大きさに換算し、現実の大きさを前記動き情報と決定し、前記判定ステップにおいて、現実の大きさが所定の範囲内である場合に前記所定の条件を満たすと判定するようにしてもよい。
【００１０】
この構成によれば、目的とする動体を判別する条件を動体の大きさとすることができ、監視対象とする動体の検出精度を向上させることができる。
【００１１】
ここで、前記所定の範囲は１００ｃｍから２００ｃｍまでの範囲であってもよい。
ここで、前記画像部分検出ステップにおいて、＋符号の画素からなる画像部分を検出し、前記動き情報生成ステップにおいて、前記画像部分が撮像領域の端部を含む場合に、当該画像部分に含まれる一次元方向に並ぶ画素の数を計数し、前記画素の数に従って、前記被写体中の物体の見掛け上の大きさを求め、焦点合わせにより設定された合焦時の光学レンズと前記固体撮像素子との間の距離に基づいて、前記見掛け上の大きさを現実の大きさに換算し、現実の大きさを前記動き情報と決定し、前記判定ステップにおいて、現実の大きさが所定の範囲内である場合に前記所定の条件を満たすと判定するようにしてもよい。
【００１２】
この構成によれば、目的とする動体を判別する条件を、撮像範囲内に動体が進入したこととすることができ、監視対象とする動体の検出精度を向上させることができる。
【００１３】
ここで、前記端部は前記撮像領域の端から連続する５画素を含む領域であってもよい。
ここで、前記所定の条件は、動体の移動量に関する条件、動体の大きさに関する条件および動体の撮像範囲内への進入に関する条件の３つの任意の組み合わせであってもよい。
【００１４】
この構成によれば、動き検出の目的とする動体をきめ細かく条件付けでき、すなわち検出の精度が向上する。
【００１５】
また、本発明の撮像装置は、被写体を撮像し映像信号を出力する撮像モードおよび被写体の動きを検出する検出モードとを有する固体撮像素子と、レンズおよび焦点合わせをするオートフォーカス機構を有する光学系と、前記固体撮像素子および前記光学系を制御する制御部とを備える撮像装置であって、前記固体撮像素子は、行列状に配列された複数の画素部と、２つの画素信号の差分を求める差分回路とを備え、各画素部は、光電変換により画素信号を生成する受光素子と、少なくとも１フレーム期間前の過去の画素信号を一時的に記憶する記憶部とを含み、前記差分回路は、前記検出モードにおいて、前記記憶部に格納された過去の画素信号と前記受光素子からの現在の画素信号との差分信号を生成し、前記制御部は、検出モードにおいて前記差分信号に基づいて差分画像を生成し、前記差分画像において＋符号の画素からなる画像部分および−符号の画素からなる画像部分の少なくとも一方を検出し、検出された画像部分に含まれる画素の数に基づいて被写体中の物体の動きを示す動き情報を生成し、前記動き情報が所定の条件を満たすか否かを判定し、満たすと判定されたとき前記検出モードから前記撮像モードに切り替える。
【００１６】
この構成によれば、１つの固体撮像素子で動作検出モードと撮像モードの両方を実現し、かつ、動作検出モードにおいて動体の動作範囲や大きさ等が所定の条件を満たすか否かを判定することにより、目的とする動体を高精度で検出することができる。
【００１７】
ここで、前記制御部は、前記画像部分に含まれる一次元方向に並ぶ画素の数に従って、前記被写体中の物体の見掛け上の移動量を求め、焦点合わせにより設定された合焦時のカメラの光学レンズと前記固体撮像素子との間の距離に基づいて、前記見掛け上の移動量を現実の移動量に換算し、現実の移動量を前記動き情報と決定し、現実の移動量がしきい値よりも大きい場合に前記所定の条件を満たすと判定する構成としてもよい。
【００１８】
この構成によれば、目的とする動体を判別する条件を動体の移動量とすることができ、監視対象とする動体の検出精度を向上させることができる。
【００１９】
ここで、前記制御部は、＋符号の画素からなる画像部分および−符号の画素からなる画像部分を検出し、前記画像部分に含まれる一次元方向に並ぶ画素の数である第１の画素数を計数し、＋符号の画素からなる画像部分と−符号の画素からなる画像部分とに挟まれた一次元方向に並ぶ画素の数である第２の画素数を計数し、前記第１の画素数と前記第２の画素数との和に従って、前記被写体中の物体の見掛け上の大きさを求め、焦点合わせにより設定された合焦時の光学レンズと前記固体撮像素子との間の距離に基づいて、前記見掛け上の大きさを現実の大きさに換算し、現実の大きさを前記動き情報と決定し、現実の大きさが所定の範囲内である場合に前記所定の条件を満たすと判定する構成としてもよい。
【００２０】
この構成によれば、目的とする動体を判別する条件を動体の大きさとすることができ、監視対象とする動体の検出精度を向上させることができる。
【００２１】
ここで、前記制御部は、＋符号の画素からなる画像部分を検出し、前記画像部分が撮像領域の端部を含む場合に、当該画像部分に含まれる一次元方向に並ぶ画素の数を計数し、前記画素の数に従って、前記被写体中の物体の見掛け上の大きさを求め、焦点合わせにより設定された合焦時の光学レンズと前記固体撮像素子との間の距離に基づいて、前記見掛け上の大きさを現実の大きさに換算し、現実の大きさを前記動き情報と決定し、現実の大きさが所定の範囲内である場合に前記所定の条件を満たすと判定する構成としてもよい。
【００２２】
この構成によれば、目的とする動体を判別する条件を、撮像範囲内に動体が進入したこととすることができ、監視対象とする動体の検出精度を向上させることができる。
【００２３】
このように、固体撮像素子は、受光素子と受光素子からの出力信号を記憶する記憶部を含む画素部が２次元状に配列された固体撮像素子において、被写体を撮像するモードと、異なるタイミングの映像信号の差分をとり、その変化量で被写体の動作を検出するモードを有している。また、被写体の動作を検出するモード時は検出すべき動体と検出する必要のない物体とを区別するために、動作している物体の大きさや動作範囲にある一定の範囲（閾値）を所定の条件として設ける。物体の大きさや動作範囲は、監視用カメラに搭載された光学レンズを用いて物体に焦点距離を合わせた上で割り出す。さらに検出すべき動体を検出した場合、速やかに検出モードから通常の撮像モードに戻り、検出した動体を撮像する。
【発明の効果】
【００２４】
本発明の構成であれば、動作検出モードと撮像モードを１つの素子で実現することができるだけでなく、検出すべき動体と、それ以外の動作検出が不必要な物体とを区別し、検出が必要な、つまり目的とする動体のみ検出して撮像することが可能となる。
【発明を実施するための最良の形態】
【００２５】
（第１の実施形態）
図１は、本発明の第１の実施形態に係る撮像装置の全体的な構成を示すブロック図である。同図の撮像装置は、被写体を撮像し映像信号を出力する撮像モードおよび被写体の動きを検出する検出モードとを有する固体撮像素子１と、レンズおよび焦点合わせをするオートフォーカス機構を有する光学系３と、固体撮像素子１および光学系３を制御する制御部２とを備える。同図の撮像装置は、被写体を撮像し映像信号を出力する撮像モードおよび被写体の動きを検出する検出モードとを有する固体撮像素子１と、レンズおよび焦点合わせをするオートフォーカス機構を有する光学系３と、固体撮像素子１および光学系３を制御する制御部２とを備える。同図右側の破線で囲った領域は、撮像領域１３の一部の領域（破線部）を拡大している。
【００２６】
固体撮像素子１は、行列状に配列された複数の画素部１２と、２つの画素信号の差分を求める差分回路を列毎に有する差分部８０と、垂直シフトレジスタ１４ａ、１４ｂと、水平シフトレジスタ１５とを備える。２つの垂直シフトレジスタ１４ａ、１４ｂの一方は、例えば撮像モードでの全行走査用、他方は検出モードでの間引き走査用である。
【００２７】
各画素部１２は、光電変換により画素信号を生成する受光素子１０と、少なくとも１フレーム期間前の過去の画素信号を一時的に記憶する記憶部１１とを含む。差分部８０内の各差分回路は、検出モードにおいて、記憶部１１に格納された過去の画素信号と受光素子１０からの現在の画素信号との差分信号を生成する。
【００２８】
制御部２は、ＤＳＰ（Digital Signal Processor）とＣＰＵ（Central Processing Unit）とを含み、検出モードにおいて複数の画素部１２からの差分信号に基づいて差分画像を生成し、差分画像において＋符号の画素からなる画像部分および−符号の画素からなる画像部分の少なくとも一方を検出する。さらに、制御部２は、検出された画像部分に含まれる画素の数に基づいて被写体中の物体の動きを示す動き情報を生成し、その動き情報が所定の条件を満たすか否かを判定し、満たすと判定されたとき前記検出モードから前記撮像モードに切り替える。ここで、所定の条件は、検出する必要のない物体と除外し、検出すべき物体を判別するために設定される。これにより、撮像装置は、１つの固体撮像素子で動作検出モードと撮像モードの両方を実現し、かつ、目的とする動体を高精度で検出することができ、しかも差分信号に基づいて高速に動きを検出することができる。
【００２９】
撮像モード時は、固体撮像素子１は、図２Ａに示すように撮像領域１３内の全ての画素部１２が垂直シフトレジスタ１４ａまたは１４ｂと水平シフトレジスタ１５とによって選択され、高解像度の映像信号を出力する。検出モード時は、図２Ｂに示すように撮像領域１３内の一部の画素部１２が垂直シフトレジスタ１４ａおよび水平シフトレジスタ１５によって間引き選択される。図２Ｂにおいて実線で示す画素部１２は選択され、破線で示す画素部１２は間引かれる。
【００３０】
動作検出モード時は撮像モードと同様に各受光素子から画素信号が出力されるが、垂直信号線１７を通る前に一度記憶部１１に画素信号が保持され、次の異なるタイミングで得られた画素信号が出力される時に、記憶部１１に保持された画素信号も出力され、過去の画素信号と現在の画素信号との差分を示す差分信号を差分回路により得る。差分信号がほぼ０の場合は、検出エリアに動体がないことを示しており、差分信号が０でない場合は、検出エリアに動体がいることを示している。差分信号が０でない場合は、差分画像における０でない画素の領域、数などの情報により、被写体の見かけの速度、動く方角および見かけの動作範囲、見かけの大きさ、形状を確認することもできる。
【００３１】
本実施の形態では、固体撮像素子の被写体の動作を検出するモードにおいて、差分信号の変化から移動量を検出し、移動量があらかじめ設定したしきい値を越えている場合（つまり所定の条件を満たす場合）、動作検出モードから撮像モードに駆動方法を自動的に切り替え、撮像を行う。これによってあるしきい値以上の移動量をもつ動体を検出して、その後その動体を全ての受光素子を用いて撮像することが可能となる。
【００３２】
図３は第１の実施形態における動き検出を説明するための図である。同図の上段は、差分信号の変化を示すグラフである。このグラフの縦軸は差分信号の差分値を、横軸は差分画像の一次元方向（この例では行方向）の画素アドレスを示している。同図の下段は、差分画像を表している。差分画像中の２つの物体１０７は移動前の位置と移動後の位置に対応する。２つの物体１０８も同様である。同図上段に示すように、＋符号の画素からなる画像部分に含まれる行方向に並ぶ画素の数（第１の画素数）は、物体の移動量を意味する。物体１０７に対応する第１の画素数は、画素アドレスａ１から画素アドレスａ２までに存在する画素数を計数することにより得られる。物体１０８に対応する第１の画素数は、画素アドレスＡ１から画素アドレスＡ２までに存在する画素数を計数することにより得られる。第１の画素数に画素ピッチを乗算することにより差分画像における見掛け上の移動量が得られる。例えば、物体１０７の移動量があらかじめ設定した閾値を越えている場合、物体１０７は動体と判定され、検出モードから撮像モードに切り替えられる。物体１０８の移動量があらかじめ設定した閾値を越えていない場合、物体１０８は動体と判定されない。ここで、あらかじめ設定した範囲（閾値）は、ある実際の変動幅である。しかし、単なる固体撮像素子では、撮像した物体の変動幅は分り得ない。そこで、監視用カメラに搭載された光学レンズを用いて物体までの焦点距離を合わせ、その焦点距離から撮像した物体の移動量を割り出し（図４）、閾値として定義された変動幅と比較して、動体として認識するかどうかを判断する。
【００３３】
図４は、現実の物体（図中のａ−ｂ）と差分画像中の見掛け上の物体（図中のａ'−ｂ'）とレンズとの関係を示す図である。図中、Ｆはレンズの焦点距離、ｆは焦点、Ａは現実の物体とレンズとの距離、Ｂは固体撮像素子１とレンズとの距離を示す。同図では、ＡＦ機構によってレンズ位置が合焦位置に調整されている。この場合、（１／Ａ）＋（１／ｂ）＝１／Ｆが成り立つ。ＦとＢは既知なので、同式からＡが得られる。さらに、ＡとＢを用いて、見掛け上の物体の大きさや移動量を、現実の物体の大きさや移動量に換算することができる。
【００３４】
図５は、固体撮像素子の構成を示すブロック図である。固体撮像素子１は、撮像領域１３、垂直シフトレジスタ１４、水平シフトレジスタ１５、複数の差分回路１８、複数の列選択用のトランジスタ１９を備える。撮像領域１３は、行列状に配列された複数の画素部１２を含む。各画素部１２は、光電変換を行うための受光素子１０と、受光素子１０からの画素信号を記憶するための容量素子である記憶部１１と、画素選択用のＭＯＳトランジスタ１６とを含む。垂直シフトレジスタ１４は、図１の垂直シフトレジスタ１４ａおよび１４ｂに相当する。垂直シフトレジスタ１４による行の選択は、動作モードによって異なる。すなわち、この固体撮像素子は、被写体の動きを検出する動き検出モードと被写体を撮像する撮像モードとを有し、垂直シフトレジスタ１４は、動き検出モードでは全行のうち例えば２行に１行を間引きながら行を選択し、撮像モードでは全行を順に選択する。水平シフトレジスタ１５は、動き検出モードでは、垂直シフトレジスタ１４に選択された行に属する画素のうち例えば２画素に１画素を間引きながら画素を選択し、撮像モードでは垂直シフトレジスタ１４に選択された行に属する全画素を順に選択する。
【００３５】
垂直シフトレジスタ１４によって選択された行は各画素部１２に備えられたＭＯＳトランジスタ１６がON状態となり、画素部からの信号は垂直信号線１７を通して差分回路１８に送られる。次に水平シフトレジスタ１５により信号を読み出す列が選択され、差分回路１８に隣接し接続されたトランジスタ１９がON状態となり共通水平信号線２０を通して出力される。差分回路１８は、画素の列毎に設けられ、動き検出モードにおいて、タイミングが異なる２つの画素信号の差分を求める。例えば、各差分回路１８は、少なくとも１フレーム期間前に記憶部１１に格納された過去の画素信号と受光素子からの現在の画素信号との差分を求める。
【００３６】
図６は、画素部１２の回路構成の一例を示す回路図である。図６に示すように画素部１２は、受光素子１０と、受光素子１０からの画素信号を記憶する容量素子である記憶部１１と、受光素子１０からの信号を読み出す転送トランジスタ２１と、フローティングディフュージョン２２と、フローティングディフュージョン２２に蓄積された電荷をリセットするリセットトランジスタ２３とを備えている。受光素子１０から転送された電荷とフローティングディフュージョン２２の容量により発生した電圧は画素信号として、ＭＯＳトランジスタ２４、２５で構成されるソースフォロワとＭＯＳトランジスタ２６、１６を通して垂直信号線１７に送られる。また、当該画素信号は同時にＭＯＳトランジスタ２７を通して記憶部１１に保持される。ある期間tで容量（記憶部）１１に保持された信号電圧Ｖｔとある期間ｔ＋ｎでの信号電圧Ｖｔ＋ｎの差分が差分回路１８により検出され、差分信号は共通水平信号線２０から出力される。図６では記憶部１１は、例えばＭＯＳキャパシタで構成されているが、画素信号を記憶できる容量素子であれば効果は損なわれない。
【００３７】
図７は、差分回路の一例を示す回路図である。この差分回路１８は２つのＭＯＳトランジスタ２８、２９と、クランプ容量３０と、サンプルホールド容量３１とを備える。ある期間ｔでＭＯＳトランジスタ２８、２９がＯＮ状態になるとクランプ容量３０にはある基準電圧ＶｒとＶｔの差分のＶｒ−Ｖｔが保持される。ある期間ｔ＋ｎでＭＯＳトランジスタ２８がＯＮ状態、ＭＯＳトランジスタ２９がＯＦＦ状態になると、Ｖｔの値はＶｔ＋ｎに変化し、差分回路１８の出力はクランプ容量３０の容量をＣＡ、サンプルホールド容量３１の容量をＣＢとすると、（Ｖｒ−（Ｖｔ−Ｖｔ＋ｎ））／（ＣＡ／（ＣＡ＋ＣＢ））の値が出力される。ある期間ｔとｔ＋ｎで被写体の動きに変化がなければ、Ｖｔ＝Ｖｔ＋ｎとなり、差分信号はＶｒの分圧値（基準値）となるが、ＶｔとＶｔ＋ｎの値が異なると差分信号は基準値とは異なる。この差分回路１８を用いれば、差分信号の変化から被写体の動きを検知することができる。さらに画素の領域、数に注目し、ある期間ｔ＋ｎ（ｎ＝１，２，３…）の出力電圧変化を知ることで、被写体の速度、動く方角、大きさ、形状を確認することもできる。また、動き検出だけでなく、通常の撮像も行うことができる。
【００３８】
図８は、動き検出モードにおける撮像装置の動作を示すフローチャートである。同図のように、まず、垂直シフトレジスタ１４は、間引き対象でない最初の行に属する画素を選択する（Ｓ８１）。間引き選択により、フレームレートを高速化することができる。
【００３９】
さらに、選択された画素内の記憶部１１から過去の画素信号を差分回路１８に出力し（Ｓ８２）、選択された画素内の受光素子１０から現在の画素信号を差分回路１８に出力し（Ｓ８３）、これと同時に、選択された画素内の受光素子１０からの現在の画素信号を記憶部１１に格納することにより更新する（Ｓ８４）。更新された画素信号は、次のフレーム期間で差分信号を得るために利用される。
【００４０】
さらに、差分回路１８において過去の画素信号と現在の画素信号との差分を示す差分信号を求める（Ｓ８５）。求められた複数の差分信号は、選択された行内で水平シフトレジスタ１５により間引き選択され、順に共通水平信号線２０に出力される。さらに、垂直シフトレジスタ１４は、現在選択されている行が間引き選択の最後の行でなければ、間引き対象でない次の行を選択し（Ｓ８６、Ｓ８７）、ステップＳ８２に戻る。垂直シフトレジスタ１４による画素の間引き選択により列走査期間を短縮しフレームレートを高速化することができる。
【００４１】
現在選択されている行が間引き選択の最後の行であれば、間引き選択された全ての画素部に対応する差分信号に基づいて差分画像を生成し（Ｓ８８ａ）、差分画像から動き情報を生成する（Ｓ８８ｂ）。さらに、動き情報が所定の条件を満たすかどうかを判定し（Ｓ８９）、満たさないと判定された場合は動き検出モードを続行し、満たすと判定された場合は動き検出モードから撮像モードに切り替る。撮像モードでは、間引くことなく全画素部を選択して高解像度の撮像を行う。
【００４２】
図９は、図８のステップＳ８８ｂにおける動き情報の生成処理の一例（第１の動き情報生成処理と呼ぶ。）を示すフローチャートである。第１の動き情報生成処理では、動き情報は、物体の移動量として生成される。この場合、所定の条件は、検出すべき物体の移動量のしきい値として定めることができる。
【００４３】
制御部２は、差分画像において＋符号の画素からなる画像部分を検出し（Ｓ１０１）、当該画像部分に含まれる一次元方向（行方向および列方向）に並ぶ画素の数（第１の画素数）を計数し（Ｓ１０３）、第１の画素数から被写体中の物体の見掛け上の移動量を求め（Ｓ１０６）、ＡＦ機構による合焦時の光学レンズと固体撮像素子との間の距離に基づいて見掛け上の移動量を現実の移動量に換算し（Ｓ１０７）、現実の移動量を動き情報と決定する。これにより、図３に示した物体の現実の移動量が動き情報として生成される。
【００４４】
この動き情報は、図８のＳ８９において所定の条件を満たすかどうか判定される。この場合、しきい値を１０ｃｍとし、所定の条件は１０ｃｍ以下とすることが望ましい。これにより、人の移動を精度よく検出することができる。
【００４５】
（第２の実施形態）
第１の実施形態では動き情報が物体の移動量を示す例を示したが、本実施の形態では動き情報が動体の大きさを示す例について説明する。
【００４６】
本発明の第２の実施形態に係る撮像装置の全体的な構成は第１の実施形態と同様なため、省略し、異なる点を中心に説明する。
【００４７】
図１０は、図８のステップＳ８８ｂにおける動き情報の生成処理の一例（第２の動き情報生成処理と呼ぶ。）を示すフローチャートである。本実施形態における動き情報は、物体の大きさを示す。この場合、所定の条件は、検出すべき物体の大きさの上限、下限または範囲として定めることができる。
【００４８】
制御部２は、差分画像において＋符号の画素からなる画像部分と、−符号の画素からなる画像部分とを検出する（Ｓ１０１、１０２）。さらに、制御部２は、当該各画像部分に含まれる一次元方向（行方向および列方向）に並ぶ画素の数（第１の画素数）を計数し（Ｓ１０３）。＋符号の画素からなる画像部分と−符号の画素からなる画像部分とに挟まれた一次元方向に並ぶ画素の数である第２の画素数を計数し（Ｓ１０４）、第１の画素数と第２の画素数との和を算出する（Ｓ１０５）。第１の画素数と第２の画素数との和は、図３に示すように、物体の大きさを意味する。
【００４９】
さらに、制御部２は、第１の画素数と第２の画素数との和を、画素ピッチを用いて被写体中の物体の見掛け上の大きさに換算し（Ｓ１０６）、焦点合わせにより設定された合焦時の光学レンズと前記固体撮像素子との間の距離に基づいて、前記見掛け上の大きさを現実の大きさに換算し、当該現実の大きさを動き情報と決定する（Ｓ１０７）。これにより、図３に示した物体の大きさが動き情報として生成される。
【００５０】
この動き情報（現実の大きさ）は、図８のＳ８９において所定の条件を満たすかどうか判定される。この場合、所定の条件は１００ｃｍから２００ｃｍの範囲内とすることが望ましい。これにより、人の移動を精度よく検出することができる。
【００５１】
なお、図１０では、物体の見掛け上の大きさを現実の大きさに換算し、換算後の現実の大きさにより目的の動体の有無を判定しているが、見掛け上の大きさを現実の大きさに換算することなく、図８のＳ８９において見掛け上の大きさにより目的の動体の有無を判定するようにしてもよい。こうすれば、撮像範囲や撮像距離が固定的である場合には、動体の検出の精度を向上させることができる。
【００５２】
（第３の実施形態）
第１の実施形態では動き情報が物体の移動量を示す例を示したが、本実施形態では動き情報が動体の大きさを示す例について説明する。
【００５３】
本実施形態に係る撮像装置の全体的な構成は第１の実施形態と同様なため、省略し、異なる点を中心に説明する。
【００５４】
図１１は、図８のステップＳ８８ｂにおける動き情報の生成処理の一例（第３の動き情報生成処理と呼ぶ。）を示すフローチャートである。本実施形態における動き情報は、撮像範囲内への物体の進入量として生成される。この場合、所定の条件は、検出すべ撮像範囲内への物体の進入量として定めることができる。さらに、第３の動き情報の生成処理は、第１の実施形態における動き情報（物体の移動量）、第２の実施形態における動き情報（物体の大きさ）を併用することもできる。
【００５５】
図１１において、制御部２は、まず、差分画像において＋符号の画素からなる画像部分を検出し（Ｓ１０１）、当該画像部分が撮像範囲の端部を含むか否かを判定する（Ｓ１０８）。この判定では、例えば、画像部分が撮像範囲（差分画像）の端から連続する５画素を含んでいるかどうかを判定すればよい。画像部分が端部を含むことは、図１２に示すように物体が撮像範囲に進入してきたことを意味する。
【００５６】
さらに、制御部２は、画像部分が端部を含むと判定した場合、当該画像部分に含まれる一次元方向（行方向および列方向）に並ぶ画素数を計数する（Ｓ１０３）。この画素数は、図１２に示すように、撮像範囲の端の画素アドレスＡ５から画像部分の端の画素アドレスＡ６までの範囲に対応する画素を計数することにより得られ、物体のうち進入した部分の大きさを意味する。さらに、制御部２は、当該画素数を差分画像における物体の見掛け上の大きさに換算し（Ｓ１０６）、焦点合わせにより設定された合焦時の光学レンズと前記固体撮像素子との間の距離に基づいて、前記見掛け上の大きさを現実の大きさに換算し、当該現実の大きさを動き情報と決定する（Ｓ１０７）。これにより、図１２に示した物体の進入部分の大きさが動き情報として生成される。
【００５７】
また、制御部２は、ステップＳ１０８において画像部分が撮像範囲の端部を含まないと判定した場合、図９に示した第１の動き情報生成処理と、図１０に示した第２の動き情報生成処理とを行う（Ｓ１０９、Ｓ１１０）。
【００５８】
以上により生成された動き情報は、図８のＳ８９において所定の条件を満たすかどうか判定される。動き情報が物体の進入した部分の大きさを示す場合は、所定の条件はあるしきい値以上という条件でよい。これにより、人の進入を精度よく検出することができる。動き情報が物体の移動量を示す場合は、所定の条件は第１の実施形態と同様でよい。動き情報が物体の大きさを示す場合は、所定の条件は第２の実施形態と同様でよい。
【００５９】
なお、図１１では、画像部分が撮像範囲の端部を含まないと判定した場合に、第１の動き情報生成処理と第２の動き情報生成処理とを行うが、画像部分が撮像範囲の端部を含むと判定した場合でも第１の動き情報生成処理と第２の動き情報生成処理とを行うようにしてもよい。この場合、図８のＳ８９の判定における所定の条件は、動体の移動量に関する条件、動体の大きさに関する条件および動体の撮像範囲内への進入に関する条件の３つの任意の組み合わせであってもよい。こうすれば、動き検出の目的とする動体をきめ細かく条件付けでき、すなわち検出の精度が向上する。
【００６０】
また、図１１では、物体の進入した部分の見掛け上の大きさを現実の大きさに換算し、換算後の現実の大きさにより目的の動体の有無を判定しているが、見掛け上の大きさを現実の大きさに換算することなく、図８のＳ８９において見掛け上の大きさにより目的の動体の有無を判定するようにしてもよい。こうすれば、撮像範囲や撮像距離が固定的である場合には、動体の検出の精度を向上させることができる。
【００６１】
なお、上記各実施形態において、各画素部１２が記憶部１１を複数備える構成としてもよい。例えば各画素部１２が２つの記憶部１１を備える場合には、受光素子１０から記憶部１１への画素信号の格納を全画素一斉にする、いわゆるグローバルシャッター動作が可能になる。２つの記憶部１１は、現在の画素信号と、過去の画素信号を記憶し、２つの記憶部１１から差分回路１８への画素信号の出力動作は各実施の形態と同様に行単位に行えばよい。
【産業上の利用可能性】
【００６２】
以上説明したように、本発明の固体撮像素子の駆動方法および撮像装置によれば、１つの素子で撮像と動作検出が可能であり、撮像モードと動作検出モード時で駆動方法を変え、高精度・高感度で動作検出を行うことができるため、現状のイメージセンサデバイスを基礎に高機能化が簡易に行え、セキュリティカメラへの応用に有用である。
【図面の簡単な説明】
【００６３】
【図１】本発明の第１の実施形態に係る撮像装置の全体的な構成を示すブロック図である。
【図２Ａ】撮像モードにおいて選択される画素部を示す図である。
【図２Ｂ】検出モードにおいて選択される画素部を示す図である。
【図３】動き検出の説明図である。
【図４】現実の物体と見掛け上の物体（図中のａ'−ｂ'）とレンズとの関係を示す図である。
【図５】固体撮像素子の構成を示すブロック図である。
【図６】画素部１２の回路構成の一例を示す回路図である。
【図７】差分回路の一例を示す回路図である。
【図８】動き検出モードにおける撮像装置の動作を示すフローチャートである。
【図９】動き情報の生成処理を示すフローチャートである。
【図１０】本発明の第２の実施形態における動き情報の生成処理を示すフローチャートである。
【図１１】本発明の第３の実施形態における動き情報の生成処理を示すフローチャートである。
【図１２】動き検出の説明図である。
【符号の説明】
【００６４】
１ 固体撮像素子
２ 制御部
３ 光学系
１０ 受光素子
１１ 記憶部
１２ 画素部
１３ 撮像領域
１４、１４ａ、１４ｂ 垂直シフトレジスタ
１５ 水平シフトレジスタ
１６ ＭＯＳトランジスタ
１７ 垂直信号線
１８ 差分回路
１９ トランジスタ
２０ 共通水平信号線
２１ 転送トランジスタ
２２ フローティングディフュージョン
２３ リセットトランジスタ
２４〜２９ ＭＯＳトランジスタ
３０ クランプ容量
３１ サンプルホールド容量
３２ Ｄフリップフロップ回路
３３〜３６ ＭＯＳトランジスタ
８０ 差分部
【特許請求の範囲】
【請求項１】
被写体を撮像し映像信号を出力する撮像モードと、被写体の動きを検出する検出モードとを有し、監視用カメラに搭載された固体撮像素子の駆動方法であって、
前記固体撮像素子は、行列状に配列された複数の画素部と、２つの画素信号の差分を求める差分回路とを備え、各画素部は光電変換により画素信号を生成する受光素子と画素信号を記憶する記憶部とを含み、
前記駆動方法は、
前記検出モードにおいて、受光素子からの画素信号を前記記憶部に格納する格納ステップと、
前記検出モードにおいて、少なくとも１フレーム期間前に前記記憶部に格納された過去の画素信号と前記受光素子からの現在の画素信号との差分を用いて、異なるタイミングの２つの画像の差分を表す差分画像を生成する差分画像生成ステップと、
前記差分画像において＋符号の画素からなる画像部分および−符号の画素からなる画像部分の少なくとも一方を検出する画像部分検出ステップと、
検出された画像部分に含まれる画素の数に基づいて被写体中の物体の動きを示す動き情報を生成する動き情報生成ステップと、
前記動き情報が所定の条件を満たすか否かを判定する判定ステップと、
満たすと判定されたとき前記検出モードから前記撮像モードに切り替える切り替えステップと、
切り替え後の前記撮像モードにおいて被写体を撮像する撮像ステップと
を有する固体撮像素子の駆動方法。
【請求項２】
前記動き情報生成ステップにおいて、
前記画像部分に含まれる一次元方向に並ぶ画素の数に従って、前記被写体中の物体の見掛け上の移動量を求め、
焦点合わせにより設定された合焦時の光学レンズと前記固体撮像素子との間の距離に基づいて、前記見掛け上の移動量を現実の移動量に換算し、現実の移動量を前記動き情報と決定し、
前記判定ステップにおいて、現実の移動量がしきい値よりも大きい場合に前記所定の条件を満たすと判定する
請求項１に記載の固体撮像素子の駆動方法。
【請求項３】
前記しきい値は１０ｃｍである請求項２に記載の固体撮像素子の駆動方法。
【請求項４】
前記画像部分検出ステップにおいて、＋符号の画素からなる画像部分および−符号の画素からなる画像部分を検出し、
前記動き情報生成ステップにおいて、
画像部分に含まれる一次元方向に並ぶ画素の数である第１の画素数を計数し、
＋符号の画素からなる画像部分と−符号の画素からなる画像部分とに挟まれた一次元方向に並ぶ画素の数である第２の画素数を計数し、
前記第１の画素数と前記第２の画素数との和に従って、前記被写体中の物体の見掛け上の大きさを求め、
焦点合わせにより設定された合焦時の光学レンズと前記固体撮像素子との間の距離に基づいて、前記見掛け上の大きさを現実の大きさに換算し、現実の大きさを前記動き情報と決定し、
前記判定ステップにおいて、現実の大きさが所定の範囲内である場合に前記所定の条件を満たすと判定する
請求項１に記載の固体撮像素子の駆動方法。
【請求項５】
前記所定の範囲は１００ｃｍから２００ｃｍまでの範囲である
請求項４に記載の固体撮像素子の駆動方法。
【請求項６】
前記画像部分検出ステップにおいて、＋符号の画素からなる画像部分を検出し、
前記動き情報生成ステップにおいて、
前記画像部分が撮像領域の端部を含む場合に、当該画像部分に含まれる一次元方向に並ぶ画素の数を計数し、
前記画素の数に従って、前記被写体中の物体の見掛け上の大きさを求め、
焦点合わせにより設定された合焦時の光学レンズと前記固体撮像素子との間の距離に基づいて、前記見掛け上の大きさを現実の大きさに換算し、現実の大きさを前記動き情報と決定し、
前記判定ステップにおいて、現実の大きさが所定の範囲内である場合に前記所定の条件を満たすと判定する
請求項１に記載の固体撮像素子の駆動方法。
【請求項７】
前記端部は前記撮像領域の端から連続する５画素を含む領域である
請求項６に記載の固体撮像素子の駆動方法。
【請求項８】
前記所定の条件は、動体の移動量に関する条件、動体の大きさに関する条件および動体の撮像範囲内への進入に関する条件の３つの任意の組み合わせである
請求項１に記載の固体撮像素子の駆動方法。
【請求項９】
被写体を撮像し映像信号を出力する撮像モードおよび被写体の動きを検出する検出モードとを有する固体撮像素子と、レンズおよび焦点合わせをするオートフォーカス機構を有する光学系と、前記固体撮像素子および前記光学系を制御する制御部とを備える撮像装置であって、
前記固体撮像素子は、行列状に配列された複数の画素部と、２つの画素信号の差分を求める差分回路とを備え、
各画素部は、光電変換により画素信号を生成する受光素子と、少なくとも１フレーム期間前の過去の画素信号を一時的に記憶する記憶部とを含み、
前記差分回路は、前記検出モードにおいて、前記記憶部に格納された過去の画素信号と前記受光素子からの現在の画素信号との差分信号を生成し、
前記制御部は、
検出モードにおいて前記差分信号に基づいて差分画像を生成し、
前記差分画像において＋符号の画素からなる画像部分および−符号の画素からなる画像部分の少なくとも一方を検出し、
検出された画像部分に含まれる画素の数に基づいて被写体中の物体の動きを示す動き情報を生成し、
前記動き情報が所定の条件を満たすか否かを判定し、
満たすと判定されたとき前記検出モードから前記撮像モードに切り替える
撮像装置。
【請求項１０】
前記制御部は、
前記画像部分に含まれる一次元方向に並ぶ画素の数に従って、前記被写体中の物体の見掛け上の移動量を前記動き情報として求め、
焦点合わせにより設定された合焦時のカメラの光学レンズと前記固体撮像素子との間の距離に基づいて、前記見掛け上の移動量を現実の移動量に換算し、
現実の移動量がしきい値よりも大きい場合に前記所定の条件を満たすと判定する
請求項９に記載の撮像装置。
【請求項１１】
前記制御部は、
＋符号の画素からなる画像部分および−符号の画素からなる画像部分を検出し、
前記画像部分に含まれる一次元方向に並ぶ画素の数である第１の画素数を計数し、
＋符号の画素からなる画像部分と−符号の画素からなる画像部分とに挟まれた一次元方向に並ぶ画素の数である第２の画素数を計数し、
前記第１の画素数と前記第２の画素数との和に従って、前記被写体中の物体の見掛け上の大きさを前記動き情報として求め、
焦点合わせにより設定された合焦時の光学レンズと前記固体撮像素子との間の距離に基づいて、前記見掛け上の大きさを現実の大きさに換算し、
現実の大きさが所定の範囲内である場合に前記所定の条件を満たすと判定する
請求項９に記載の撮像装置。
【請求項１２】
前記制御部は、
＋符号の画素からなる画像部分を検出し、
前記画像部分が撮像領域の端部を含む場合に、当該画像部分に含まれる一次元方向に並ぶ画素の数を計数し、
前記画素の数に従って、前記被写体中の物体の見掛け上の大きさを前記動き情報として求め、
焦点合わせにより設定された合焦時の光学レンズと前記固体撮像素子との間の距離に基づいて、前記見掛け上の大きさを現実の大きさに換算し、
現実の大きさが所定の範囲内である場合に前記所定の条件を満たすと判定する
請求項９に記載の撮像装置。
【請求項１】
被写体を撮像し映像信号を出力する撮像モードと、被写体の動きを検出する検出モードとを有し、監視用カメラに搭載された固体撮像素子の駆動方法であって、
前記固体撮像素子は、行列状に配列された複数の画素部と、２つの画素信号の差分を求める差分回路とを備え、各画素部は光電変換により画素信号を生成する受光素子と画素信号を記憶する記憶部とを含み、
前記駆動方法は、
前記検出モードにおいて、受光素子からの画素信号を前記記憶部に格納する格納ステップと、
前記検出モードにおいて、少なくとも１フレーム期間前に前記記憶部に格納された過去の画素信号と前記受光素子からの現在の画素信号との差分を用いて、異なるタイミングの２つの画像の差分を表す差分画像を生成する差分画像生成ステップと、
前記差分画像において＋符号の画素からなる画像部分および−符号の画素からなる画像部分の少なくとも一方を検出する画像部分検出ステップと、
検出された画像部分に含まれる画素の数に基づいて被写体中の物体の動きを示す動き情報を生成する動き情報生成ステップと、
前記動き情報が所定の条件を満たすか否かを判定する判定ステップと、
満たすと判定されたとき前記検出モードから前記撮像モードに切り替える切り替えステップと、
切り替え後の前記撮像モードにおいて被写体を撮像する撮像ステップと
を有する固体撮像素子の駆動方法。
【請求項２】
前記動き情報生成ステップにおいて、
前記画像部分に含まれる一次元方向に並ぶ画素の数に従って、前記被写体中の物体の見掛け上の移動量を求め、
焦点合わせにより設定された合焦時の光学レンズと前記固体撮像素子との間の距離に基づいて、前記見掛け上の移動量を現実の移動量に換算し、現実の移動量を前記動き情報と決定し、
前記判定ステップにおいて、現実の移動量がしきい値よりも大きい場合に前記所定の条件を満たすと判定する
請求項１に記載の固体撮像素子の駆動方法。
【請求項３】
前記しきい値は１０ｃｍである請求項２に記載の固体撮像素子の駆動方法。
【請求項４】
前記画像部分検出ステップにおいて、＋符号の画素からなる画像部分および−符号の画素からなる画像部分を検出し、
前記動き情報生成ステップにおいて、
画像部分に含まれる一次元方向に並ぶ画素の数である第１の画素数を計数し、
＋符号の画素からなる画像部分と−符号の画素からなる画像部分とに挟まれた一次元方向に並ぶ画素の数である第２の画素数を計数し、
前記第１の画素数と前記第２の画素数との和に従って、前記被写体中の物体の見掛け上の大きさを求め、
焦点合わせにより設定された合焦時の光学レンズと前記固体撮像素子との間の距離に基づいて、前記見掛け上の大きさを現実の大きさに換算し、現実の大きさを前記動き情報と決定し、
前記判定ステップにおいて、現実の大きさが所定の範囲内である場合に前記所定の条件を満たすと判定する
請求項１に記載の固体撮像素子の駆動方法。
【請求項５】
前記所定の範囲は１００ｃｍから２００ｃｍまでの範囲である
請求項４に記載の固体撮像素子の駆動方法。
【請求項６】
前記画像部分検出ステップにおいて、＋符号の画素からなる画像部分を検出し、
前記動き情報生成ステップにおいて、
前記画像部分が撮像領域の端部を含む場合に、当該画像部分に含まれる一次元方向に並ぶ画素の数を計数し、
前記画素の数に従って、前記被写体中の物体の見掛け上の大きさを求め、
焦点合わせにより設定された合焦時の光学レンズと前記固体撮像素子との間の距離に基づいて、前記見掛け上の大きさを現実の大きさに換算し、現実の大きさを前記動き情報と決定し、
前記判定ステップにおいて、現実の大きさが所定の範囲内である場合に前記所定の条件を満たすと判定する
請求項１に記載の固体撮像素子の駆動方法。
【請求項７】
前記端部は前記撮像領域の端から連続する５画素を含む領域である
請求項６に記載の固体撮像素子の駆動方法。
【請求項８】
前記所定の条件は、動体の移動量に関する条件、動体の大きさに関する条件および動体の撮像範囲内への進入に関する条件の３つの任意の組み合わせである
請求項１に記載の固体撮像素子の駆動方法。
【請求項９】
被写体を撮像し映像信号を出力する撮像モードおよび被写体の動きを検出する検出モードとを有する固体撮像素子と、レンズおよび焦点合わせをするオートフォーカス機構を有する光学系と、前記固体撮像素子および前記光学系を制御する制御部とを備える撮像装置であって、
前記固体撮像素子は、行列状に配列された複数の画素部と、２つの画素信号の差分を求める差分回路とを備え、
各画素部は、光電変換により画素信号を生成する受光素子と、少なくとも１フレーム期間前の過去の画素信号を一時的に記憶する記憶部とを含み、
前記差分回路は、前記検出モードにおいて、前記記憶部に格納された過去の画素信号と前記受光素子からの現在の画素信号との差分信号を生成し、
前記制御部は、
検出モードにおいて前記差分信号に基づいて差分画像を生成し、
前記差分画像において＋符号の画素からなる画像部分および−符号の画素からなる画像部分の少なくとも一方を検出し、
検出された画像部分に含まれる画素の数に基づいて被写体中の物体の動きを示す動き情報を生成し、
前記動き情報が所定の条件を満たすか否かを判定し、
満たすと判定されたとき前記検出モードから前記撮像モードに切り替える
撮像装置。
【請求項１０】
前記制御部は、
前記画像部分に含まれる一次元方向に並ぶ画素の数に従って、前記被写体中の物体の見掛け上の移動量を前記動き情報として求め、
焦点合わせにより設定された合焦時のカメラの光学レンズと前記固体撮像素子との間の距離に基づいて、前記見掛け上の移動量を現実の移動量に換算し、
現実の移動量がしきい値よりも大きい場合に前記所定の条件を満たすと判定する
請求項９に記載の撮像装置。
【請求項１１】
前記制御部は、
＋符号の画素からなる画像部分および−符号の画素からなる画像部分を検出し、
前記画像部分に含まれる一次元方向に並ぶ画素の数である第１の画素数を計数し、
＋符号の画素からなる画像部分と−符号の画素からなる画像部分とに挟まれた一次元方向に並ぶ画素の数である第２の画素数を計数し、
前記第１の画素数と前記第２の画素数との和に従って、前記被写体中の物体の見掛け上の大きさを前記動き情報として求め、
焦点合わせにより設定された合焦時の光学レンズと前記固体撮像素子との間の距離に基づいて、前記見掛け上の大きさを現実の大きさに換算し、
現実の大きさが所定の範囲内である場合に前記所定の条件を満たすと判定する
請求項９に記載の撮像装置。
【請求項１２】
前記制御部は、
＋符号の画素からなる画像部分を検出し、
前記画像部分が撮像領域の端部を含む場合に、当該画像部分に含まれる一次元方向に並ぶ画素の数を計数し、
前記画素の数に従って、前記被写体中の物体の見掛け上の大きさを前記動き情報として求め、
焦点合わせにより設定された合焦時の光学レンズと前記固体撮像素子との間の距離に基づいて、前記見掛け上の大きさを現実の大きさに換算し、
現実の大きさが所定の範囲内である場合に前記所定の条件を満たすと判定する
請求項９に記載の撮像装置。
【図１】
【図２Ａ】
【図２Ｂ】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２Ａ】
【図２Ｂ】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１０−１７１６６７（Ｐ２０１０−１７１６６７Ａ）
【公開日】平成２２年８月５日（２０１０．８．５）
【国際特許分類】
【出願番号】特願２００９−１１４４８（Ｐ２００９−１１４４８）
【出願日】平成２１年１月２１日（２００９．１．２１）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２２年８月５日（２０１０．８．５）
【国際特許分類】
【出願日】平成２１年１月２１日（２００９．１．２１）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]