物理情報取得方法および物理情報取得装置
【課題】移動物体検知処理が可能な撮像措置において、特殊な画素構造や撮像装置にしなくても、移動物体の移動の様子を短時間で特定できるようにする。
【解決手段】先ず、画素の並び順に対して互いに異なる方向から順に検知領域の略全面を垂直走査することで、垂直走査方向の異なる情報で表わされた１フレーム分の画像情報を取得する。この走査方向の異なる情報で表わされた検知領域分の画像情報を、走査方向が同じ情報で表わされた１フレーム分の画像情報に変換する。変換された画像情報に基づき、検知領域内を移動している物体の移動速度を始めとする移動の様子を特定することのできる物理情報（たとえば移動速度など）をフレーム内演算処理にて取得する。
【解決手段】先ず、画素の並び順に対して互いに異なる方向から順に検知領域の略全面を垂直走査することで、垂直走査方向の異なる情報で表わされた１フレーム分の画像情報を取得する。この走査方向の異なる情報で表わされた検知領域分の画像情報を、走査方向が同じ情報で表わされた１フレーム分の画像情報に変換する。変換された画像情報に基づき、検知領域内を移動している物体の移動速度を始めとする移動の様子を特定することのできる物理情報（たとえば移動速度など）をフレーム内演算処理にて取得する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物理情報取得方法および物理情報取得装置に関する。より詳細には、たとえば光や放射線などの外部から入力される電磁波に対して感応性をする複数の単位構成要素が配列されてなり、単位構成要素によって電気信号に変換された物理量分布を電気信号として読出可能な、たとえば固体撮像装置などの、物理量分布検知の半導体装置を用いる場合に好適な、単位構成要素を駆動する駆動方法および駆動装置や画像信号処理方法および画像信号処理装置などの移動体信号処理技術に関する。
【背景技術】
【０００２】
光や放射線などの外部から入力される電磁波に対して感応性をする単位構成要素（たとえば画素）をライン状もしくはマトリクス状に複数個配列してなる物理量分布検知半導体装置が様々な分野で使われている。
【０００３】
たとえば、映像機器の分野では、物理量のうちの光（電磁波の一例）を検知するＣＣＤ（Charge Coupled Device ）型あるいはＭＯＳ（Metal Oxide Semiconductor ）やＣＭＯＳ（Complementary Metal-oxide Semiconductor ）型の固体撮像装置が使われている。これらは、単位構成要素（固体撮像装置にあっては画素）によって電気信号に変換された物理量分布を電気信号として読み出す。
【０００４】
また、固体撮像装置の中には、電荷生成部で生成された信号電荷に応じた画素信号を生成する画素信号生成部に増幅用の駆動トランジスタを有する増幅型固体撮像素子（ＡＰＳ；Active Pixel Sensor ／ゲインセルともいわれる）構成の画素を備えた増幅型固体撮像装置がある。たとえば、ＣＭＯＳ型固体撮像装置の多くはそのような構成をなしている。
【０００５】
このような増幅型固体撮像装置において画素信号を外部に読み出すには、複数の単位画素が配列されている画素部に対してアドレス制御をし、個々の単位画素からの信号を任意に選択して読み出すようにしている。つまり、増幅型固体撮像装置は、アドレス制御型の固体撮像装置の一例である。
【０００６】
たとえば、単位画素がマトリクス状に配されたＸ−Ｙアドレス型固体撮像素子の一種である増幅型固体撮像素子は、画素そのものに増幅機能を持たせるために、ＭＯＳ構造などの能動素子（ＭＯＳトランジスタ）を用いて画素を構成している。すなわち、光電変換素子であるフォトダイオードに蓄積された信号電荷（光電子）を前記能動素子で増幅し、画像情報として読み出す。
【０００７】
この種のＸ−Ｙアドレス型固体撮像素子では、たとえば、画素トランジスタが２次元行列状に多数配列されて画素部が構成され、ライン（行）ごとあるいは画素ごとに入射光に対応する信号電荷の蓄積が開始され、その蓄積された信号電荷に基づく電流または電圧の信号がアドレス指定によって各画素から順に読み出される。ここで、ＭＯＳ（ＣＭＯＳを含む）型においては、アドレス制御の一例として、１行分を同時にアクセスして行単位で画素信号を画素部から読み出す方式が多く用いられている。
【０００８】
一方、画素から出力された画素信号に対しては、高画質のイメージ生成や特殊なアプリケーション利用などのために、種々の演算処理がなされる。たとえば、近年、イメージセンサに画像情報の各種演算機能を持たせることにより、画像処理の高速化などを実現する固体撮像装置が提案されている。このようなイメージセンサの１つとして、通常の実画像の取得と、動体検出機能を備えたセンサが提案されている（たとえば特許文献１，２を参照）。
【０００９】
これら従来技術は、何れも、通常のイメージセンサと同様の画像取得回路に加えて、時間的な光の強度変化を検出する機能を持たせたものであり、具体的なアーキテクチャとしては、異なる撮像時点（撮像タイミング）の画素信号の差に基づいて動体検出を行なうものである。
【００１０】
【特許文献１】特開２００３−１６２７２３号公報
【特許文献２】特開平０８−２９４０５７号公報
【００１１】
たとえば、特許文献１に記載の仕組みでは、撮像装置により撮像された画像に動体が含まれているか否かを判定するべく、先ず、撮像期間中に複数回それぞれ異なる撮像領域を順次撮像して得られる全体画像を、複数回の撮像それぞれに対応する複数の部分画像に分離する。この後、被写体が静止体のみである場合、すべての部分画像は、ほぼ同じデータとなるが、被写体が静止体に加えて動体を含む場合、撮像タイミングが異なる部分画像に相違が生じるという点に基づき、部分画像を比較することで、複数の部分画像を合成した全体画像に動体が含まれているかどうかを判定するようにしている。いわゆる画素ずらしにより検出した複数枚の画像における部分画像間の信号処理により動体であるか否かを判定する。
【００１２】
また、特許文献２に記載の仕組みでは、複数の画素の各々の光電変換素子部に対し、光電変換素子部からの電気信号の信号電荷を蓄積するための複数の蓄積容量などの信号電荷蓄積素子部を設け、信号電荷蓄積素子部の各々に、異なるフレーム制御期間に読み出された光電変換素子部からの信号電荷を蓄積しておき、この信号電荷と、現在読み出しているフレーム制御期間の信号電荷との差を検出することで、リアルタイムで移動体などの画像の検出を行なうようにしている。要するに、複数のフレームで差分演算することで動体であるか否かを判定する。
【発明の開示】
【発明が解決しようとする課題】
【００１３】
しかしながら、特許文献１に記載の仕組みでは、複数回分の撮像領域をずらした画像データを得るための特殊な撮像装置が必要になる。
【００１４】
また、特許文献２に記載の仕組みでは、異なる撮像タイミングの情報を取得するために、光電変換素子部からの電気信号の信号電荷を蓄積するための複数の蓄積容量などの信号電荷蓄積素子部を設けた特殊な画素構造が必要となる。
【００１５】
さらに、上記特許文献１，２を始めとする従来の動体信号処理の仕組みは、何れも、移動物体の移動速度を始めとする移動の様子を特定するには、多数回の撮像により得られた多数のフレーム画像が必要となり、またそれら多数のフレーム画像間での複雑な演算処理が必要となり、短時間では、動体の様子を判断することができない。
【００１６】
本発明は、上記事情に鑑みてなされたものであり、特殊な画素構造や撮像装置にしなくても、移動物体の移動の様子を短時間で特定することのできる仕組みを提案することを目的とする。
【課題を解決するための手段】
【００１７】
本発明に係る物理情報取得方法は、物理量の変化を検知する複数の検知部と前記検知部で検知した物理量の変化に基づいて単位信号を生成して出力する単位信号生成部とを単位構成要素内に含み、単位構成要素が所定の順に配された検知領域を具備した物理量分布検知のための装置を使用して、移動物体に関わる所定の物理情報を取得する物理情報取得方法であって、先ず、複数の検知部の並び順に対して互いに異なる方向から順に検知領域の略全面を走査することで、走査方向の異なる情報で表わされた検知領域分の物理情報を取得する。この後、走査方向の異なる情報で表わされた検知領域分の物理情報に基づいて、検知領域内を移動している物体の移動速度を始めとする移動の様子を特定することのできる物理情報を取得する。
【００１８】
また、本発明に係る物理情報取得装置は、前記本発明に係る物理情報取得方法を実施するのに好適な装置であって、複数の検知部の並び順に対して互いに異なる方向から順に検知領域の略全面を走査することで、走査方向の異なる情報で表わされた検知領域分の物理情報を取得可能とする駆動信号操作部を備えるものとした。
【００１９】
たとえば、駆動信号操作部は、垂直アドレスや水平アドレスをしてする走査回路における走査方向として２種類持ち、１フレーム中において、互いに異なる２方向へ走査するようにする。
【００２０】
また従属項に記載された発明は、本発明に係る物理情報取得方法や物理情報取得装置のさらなる有利な具体例を規定する。
【００２１】
たとえば好ましくは、走査方向の異なる情報で表わされた検知領域分の物理情報に基づいて、検知領域内を移動している物体の移動の様子を表わす物理情報を取得する移動体信号処理部をさらに備えたものとするのがよい。要するに、異なる走査方向で得られたデータに基づいて検知領域内を移動している物体の情報を得る。
【００２２】
またたとえば、走査方向の異なる情報で表わされた検知領域分の物理情報を、走査方向が同じ情報で表わされた検知領域分の物理情報に変換する信号変換部をさらに設け、移動体信号処理部は、この変換された走査方向が同じ情報で表わされた検知領域分の物理情報に基づいて、検知領域内を移動している物体の移動の様子を表わす物理情報を取得するのがよい。たとえば、走査方向を２種類持つ場合、１フレーム中２方向へ走査することで得られた情報における２方向中の片方の情報を、走査方向を反転することで、他方の走査方向と走査順が揃うようにすることで、１フレーム分の情報を再現する。
【発明の効果】
【００２３】
本発明によれば、複数の検知部の並び順に対して互いに異なる方向から順に検知領域の略全面を走査することで、走査方向の異なる情報で表わされた検知領域分の物理情報を取得するようにしたので、この走査方向の異なる情報で表わされた１つの検知領域分の情報だけで、検知領域内を移動している物体の移動速度を始めとする移動の様子を特定することができ、またその１つのフレーム画像内での簡単な演算処理で済むようになり、短時間で、動体の様子を判断することができる。
【００２４】
加えて、そのための仕組みは、相異なる走査方向から交互に走査するという簡単な処理で実現でき、特許文献１に記載の仕組みのように、複数回撮像領域をずらした画像データを得るための特殊な撮像装置は不要である。
【００２５】
また、特許文献２に記載の仕組みのように、光電変換素子部からの電気信号の信号電荷を蓄積するための複数の蓄積容量などの信号電荷蓄積素子部を設けた特殊な画素構造も必要となる。
【発明を実施するための最良の形態】
【００２６】
以下、図面を参照して本発明の実施形態について詳細に説明する。なお、以下においては、Ｘ−Ｙアドレス型の固体撮像装置の一例である、ＣＭＯＳ撮像素子をデバイスとして使用した場合を例に説明する。
【００２７】
ただしこれは一例であって、対象となるデバイスはＭＯＳ型の撮像デバイスに限らない。光や放射線などの外部から入力される物理量に対して感応性をする検知部と、この検知部で検知した物理量の変化に基づいて単位信号を生成して出力する単位信号生成部を含む単位構成要素をライン状もしくはマトリクス状に複数個配列してなる物理量分布検知用の半導体装置のうち、アドレス制御により読出位置が任意に制御可能な構成のもの全てに、後述する実施形態が同様に適用できる。
【００２８】
＜撮像装置の概略構成＞
図１は、本発明に係る物理情報取得装置の一実施形態であるＣＭＯＳ固体撮像装置の概略構成図である。この固体撮像装置１は、たとえばカラー画像を撮像し得る電子スチルカメラやＦＡ（Factory Automation）カメラとして適用されるようになっている。固体撮像装置１は、物理量分布検知装置の一例である。
【００２９】
固体撮像装置１は、入射光量に応じた信号を出力する図示を割愛する検知部としての受光素子を含む単位画素が行および列の正方格子状に配列された（すなわち２次元マトリクス状の）撮像部を有し、各単位画素からの信号出力が電圧信号であって、ＣＤＳ(Correlated Double Sampling ；相関２重サンプリング）処理機能部やその他の機能部が垂直列ごとに設けられたカラム型のものである。
【００３０】
すなわち、図１（Ａ）に示すように、固体撮像装置１は、複数の単位画素３（単位構成要素の一例）が行および列に（２次元行列状に）多数配列された撮像部（画素部）１０いわゆるエリアセンサ部と、撮像部１０の外側に設けられた駆動制御部７と、各垂直列に配されたカラム信号処理部（図ではカラム回路と記す）２２を有するカラム処理部２０と、水平選択スイッチ部６０とを備えている。また、撮像部１０が設けられている半導体領域とは別の回路基板上に外部回路１００が設けられている。
【００３１】
なお、読出電流源部２７は、撮像部１０とカラム処理部２０との間の信号経路（垂直信号線１８）上に設けられ、各垂直信号線１８に対してドレイン端子が接続された図示を割愛する負荷ＭＯＳトランジスタを含む負荷トランジスタ部が配され、各負荷ＭＯＳトランジスタを駆動制御する負荷制御部（負荷ＭＯＳコントローラ）が設けられている。
【００３２】
駆動制御部７としては、たとえば水平走査部１２と垂直走査部１４とを備える。また、駆動制御部７の他の構成要素として、水平走査部１２、垂直走査部１４、あるいはカラム処理部２０などの固体撮像装置１の各機能部に所定タイミングの制御パルスを供給する駆動信号走査部（読出アドレス制御装置の一例）１６が設けられている。
【００３３】
これらの駆動制御部７の各要素は、撮像部１０とともに、半導体集積回路製造技術と同様の技術を用いて単結晶シリコンなどの半導体領域に一体的に形成され、半導体システムの一例である固体撮像素子（撮像デバイス）として構成される。
【００３４】
図１（Ａ）では、簡単のため行および列の一部を省略して示しているが、現実には、撮像部１０の各行や各列には、数十から数千の単位画素３が配置される。なお、図示を割愛するが、撮像部１０には、各画素に所定のカラーコーディングを持つ色分離フィルタやオンチップレンズが形成される。また図示を割愛するが、撮像部１０の各単位画素３は、フォトダイオードやフォトゲートなどの光電変換素子およびトランジスタ回路によって構成されている（後述する図２を参照）。
【００３５】
単位画素３は、垂直列選択のための垂直制御線１５を介して垂直走査部１４と、また検知部で検知され増幅素子を有する単位信号生成部で増幅された後に単位画素３から出力される複数の画素信号Ｓ０（＿１〜ｈ；１行中の画素番号）をそれぞれ伝送する伝送線としての垂直信号線１８を介してカラム処理部２０と、それぞれ接続されている。
【００３６】
水平走査部１２や垂直走査部１４は、駆動信号走査部１６から与えられる駆動パルスに応答して読出位置の選択動作（典型的にはシフト動作）を開始するようになっている。垂直制御線１５には、単位画素３を駆動するための種々のパルス信号が含まれる。
【００３７】
水平走査部１２は、水平方向の読出列（水平方向のアドレス）を規定する（カラム処理部２０内の個々のカラム信号処理部２２を選択する）水平アドレス設定部１２ｘと、水平アドレス設定部１２ｘにて規定された読出アドレスに従ってカラム処理部２０の各信号を水平信号線８６に導く水平駆動部１２ｙとを有する。
【００３８】
水平アドレス設定部１２ｘは、図示を割愛するが、シフトレジスタあるいはデコーダを有して構成されており、カラム信号処理部２２からの画素情報を所定の順に選択し、その選択した画素情報を水平信号線８６に出力する選択手段としての機能を持つ。
【００３９】
垂直走査部１４は、垂直方向の読出行（垂直方向のアドレス）を規定する（撮像部１０の行を選択する）垂直アドレス設定部１４ｘと、垂直アドレス設定部１４ｘにて規定された読出行上の単位画素３に対する行制御線１５にパルスを供給して単位画素３を駆動する垂直駆動部１４ｙとを有する。
【００４０】
垂直アドレス設定部１４ｘは、図示を割愛するが、信号を読み出す行の基本的な制御を行なう垂直シフトレジスタあるいはデコーダの他に、電子シャッタ用の行の制御を行なうシャッタシフトレジスタも有する。
【００４１】
垂直シフトレジスタは、撮像部１０から画素情報を読み出すに当たって各単位画素３を行単位で選択するためのものであり、各行の垂直駆動部１４ｙとともに信号出力行選択手段を構成する。シャッタシフトレジスタは、電子シャッタ動作を行なうに当たって各画素を行単位で選択するためのものであり、各行の垂直駆動部１４ｙとともに電子シャッタ行選択手段を構成する。
【００４２】
ここで、本実施形態特有の構成として、水平走査部１２（特に水平アドレス設定部１２ｘ）および垂直走査部１４（特に垂直アドレス設定部１４ｘ）のうちの少なくとも一方は、走査方向を複数系統（典型例としては２系統）に分けて独立に制御する機能を持ち、１フレーム中で、異なる走査系統の信号を得るようにする。
【００４３】
たとえば垂直走査部１４は、詳細は後述するが、撮像部１０の複数の行を垂直走査方向に複数系統に分けて独立に制御する機能を持ち、１フレーム中で、それぞれ異なる方向への走査系統の信号を得るようにする。具体的には、詳細は後述するが、典型例としては上から下への走査と下から上への走査の２系統に分け、１行ごとに、垂直信号線１８に対して互いに相反する方向に走査する。
【００４４】
駆動信号走査部１６は、図示を割愛するが、各部の動作に必要なクロックや所定タイミングのパルス信号を供給するタイミングジェネレータＴＧ（読出アドレス制御装置の一例）の機能ブロックと、端子１ａを介して入力クロックCLK0や動作モードなどを指令するデータを受け取り、また端子１ｂを介して固体撮像装置１の情報を含むデータDATAを出力する通信インタフェースの機能ブロックとを備える。また、水平アドレス信号を水平アドレス設定部１２ｘへ、また垂直アドレス信号を垂直アドレス設定部１４ｘへ出力し、各アドレス設定部１２ｘ，１４ｘは、それを受けて対応する行もしくは列を選択する。
【００４５】
なお、駆動信号走査部１６は、撮像部１０や水平走査部１２など、他の機能要素とは独立して、別の半導体集積回路として提供されてもよい。この場合、撮像部１０や水平走査部１２などから成る撮像デバイスと駆動信号走査部１６とにより、半導体システムの一例である撮像装置が構築される。この撮像装置は、周辺の信号処理回路や電源回路なども組み込まれた撮像モジュールとして提供されてもよい。
【００４６】
カラム処理部２０は、垂直列（カラム）ごとにカラム信号処理部２２を有して構成されており、１行分の画素の信号を受けて、各カラム信号処理部２２が対応列の画素信号Ｓ０（＿１〜ｈ；１行中の画素番号）を処理して、処理済みの画素信号Ｓ１（＿１〜ｈ；１行中の画素番号）を出力する。
【００４７】
たとえば、カラム信号処理部２２は、図示を割愛するが、蓄積容量を具備した記憶部を有し、単位画素３から垂直信号線１８を介して読み出された画素信号（単位信号）Ｓ０に基づく所定目的用の物理情報を表わす電位信号Ｖｍを記憶するラインメモリ構造の信号保持機能を備えるようにすることができる。また同様に蓄積容量を持ち、ＣＤＳ(Correlated Double Sampling ；相関２重サンプリング）処理を利用したノイズ除去手段の機能を備えるようにしてもよい。
【００４８】
ＣＤＳ処理を行なう場合、駆動信号走査部１６から与えられるサンプルパルスＳＨＰとサンプルパルスＳＨＤといった２つのサンプルパルスに基づいて、垂直信号線１８を介して入力された電圧モードの画素情報に対して、画素リセット直後の信号レベル（ノイズレベル；０レベル）と真の信号レベルとの差分をとる処理を行なうことで、画素ごとの固定ばらつきによる固定パターンノイズ（ＦＰＮ；Fixed Pattern Noise ）やリセットノイズといわれるノイズ信号成分を取り除く。
【００４９】
なお、カラム信号処理部２２には、ＣＤＳ処理機能部などの後段に、必要に応じて信号増幅機能を持つＡＧＣ(Auto Gain Control) 回路やその他の処理機能回路などを設けることも可能である。
【００５０】
カラム処理部２０の後段には、図示を割愛する水平読出用のスイッチ（選択スイッチ）を備えた水平選択スイッチ部６０が設けられている。各垂直列のカラム信号処理部２２の出力端は、カラム信号処理部２２から画素信号Ｓ２を順次読み出すための各垂直列に対応する水平選択スイッチ部６０の選択スイッチの入力端ｉにそれぞれ接続されている。
【００５１】
水平選択スイッチ部６０の各垂直列の制御ゲート端ｃは、水平方向の読出アドレスを制御・駆動する水平走査部１２の水平駆動部１２ｙに接続される。一方、水平選択スイッチ部６０の各垂直列の選択スイッチの出力端ｏは、行方向に画素信号を順次転送出力する水平信号線８６が共通接続されている。水平信号線８６の後端には出力部８８が設けられている。
【００５２】
水平信号線８６は、単位画素３のそれぞれから垂直信号線１８を介して伝送される個々の画素信号Ｓ０（詳しくはそれに基づく画素信号Ｓ２）を、垂直信号線１８の配列方向である水平方向に所定順に出力するための読出線として機能するものであり、カラム信号処理部２２から、垂直列ごとに存在する図示を割愛した選択スイッチによって選択された信号を取り出して出力部８８に渡す。
【００５３】
すなわち、カラム信号処理部２２により処理された画素情報を表わす信号電荷に応じた各垂直列の電圧信号は、水平走査部１２からの水平選択信号φＨ１〜φＨｈに応じた水平読出パルスφｇ１〜φｇｈにより駆動される垂直列ごとに設けられた選択スイッチにより所定のタイミングで選択され水平信号線８６に読み出される。そして、水平信号線８６の後端に設けられた出力部８８に入力される。
【００５４】
出力部８８は、撮像部１０から水平信号線８６を通して出力される各単位画素３の画素信号Ｓ２＿１〜ｈ（ｈ＝ｎ）を適当なゲインで増幅した後、撮像信号Ｓ３として外部回路１００に出力端子８８ａを介して供給する。この出力部８８は、たとえば、バッファリングだけする場合もあるし、その前に黒レベル調整、列ばらつき補正、色関係処理などを行なうこともある。
【００５５】
つまり、本実施形態のカラム型の固体撮像装置１においては、単位画素３からの出力信号（電圧信号）が、垂直信号線１８→カラム処理部２０（カラム信号処理部２２）→水平信号線８６→出力部８８の順で伝送される。その駆動は、１行分の画素出力信号は垂直信号線１８を介してパラレルにカラム処理部２０に送り、処理後の信号は水平信号線８６を介してシリアルに出力するようにする。この画素信号のカラム処理部２０までの転送動作は１行分の単位画素３に対して同時に行なわれる。
【００５６】
なお、垂直列や水平行ごとの駆動が可能である限り、それぞれのパルス信号を単位画素３に対して水平行方向および垂直列方向の何れから供給するか、すなわちパルス信号を印加するための駆動クロック線の物理的な配線方法は自由である。
【００５７】
このような構成の固体撮像装置１において、水平走査部１２や垂直走査部１４およびそれらを制御する駆動信号走査部１６により、撮像部１０の各画素を水平行単位で順に選択し、その選択した１つの水平行分の画素の情報を同時に読み出すタイプのＣＭＯＳイメージセンサが構成される。
【００５８】
出力部８８の後段に設けられる外部回路１００は、撮像部１０や駆動制御部７などが同一の半導体領域に一体的に形成された固体撮像素子とは別の基板（プリント基板もしくは半導体基板）上に構成されており、各撮影モードに対応した回路構成が採られるようになっている。
【００５９】
撮像部１０や駆動制御部７などからなる固体撮像素子（本発明に係る半導体装置や物理情報取得装置の一例）と外部回路１００とによって、固体撮像装置１が構成されている。駆動制御部７を撮像部１０やカラム処理部２０と別体にして、撮像部１０やカラム処理部２０で固体撮像素子（半導体装置の一例）を構成し、この固体撮像素子と別体の駆動制御部７とで、撮像装置（本発明に係る物理情報取得装置の一例）として構成してもよい。
【００６０】
外部回路１００は、たとえば図１（Ｂ）に示すように、出力部８８から出力されたアナログの撮像信号Ｓ３をデジタルの撮像データＤ３に変換するＡ／Ｄ（Analog to Digital ）変換部１１０と、Ａ／Ｄ変換部１１０によりデジタル化された撮像データＤ３に基づいてデジタル信号処理を施すデジタル信号処理部（ＤＳＰ；Digital Signal Processor）１３０とを備える。
【００６１】
デジタル信号処理部１３０は、たとえば、Ａ／Ｄ変換部１１０から出力されるデジタル信号を適当に増幅して出力するデジタルアンプ部の機能を持つ。また、たとえば色分離処理を施してＲ（赤），Ｇ（緑），Ｂ（青）の各画像を表す画像データＲＧＢを生成し、この画像データＲＧＢに対してその他の信号処理を施してモニタ出力用の画像データＤ４を生成する。また、デジタル信号処理部１３０には、記録メディアに撮像データを保存するための信号圧縮処理などを行なう機能部が備えられる。
【００６２】
また外部回路１００は、デジタル信号処理部１３０にてデジタル処理された画像データＤ４をアナログの画像信号Ｓ４に変換するＤ／Ａ（Digital to Analog ）変換部１３６を備える。Ｄ／Ａ変換部１３６から出力された画像信号Ｓ４は、図示を割愛する液晶モニタなどの表示デバイスに送られる。走査者は、この表示デバイスに表示されるメニューや画像を見ながら、撮像モードを切り替えるなどの各種の走査を行なうことが可能になっている。
【００６３】
ここで、本実施形態特有の構成として、外部回路１００のデジタル信号処理部１３０には、少なくとも、水平走査部１２（特に水平アドレス設定部１２ｘ）や垂直走査部１４（特に垂直アドレス設定部１４ｘ）による複数系統に分けた走査制御により撮像部１０の各単位画素３から出力される各画素信号Ｓ０（詳しくはカラム信号処理部２２からの画素信号Ｓ２）に基づいて、動体検知処理や検知結果に基づく所定の信号処理を行なう移動体信号処理部１３２が設けられる。
【００６４】
たとえば、１行ごとに、垂直信号線１８に対して互いに相反する方向に走査された信号が行単位で撮像部１０から出力されて移動体信号処理部１３２に供給されるので、移動体信号処理部１３２は、画像情報を垂直方向の行の並びと同じにして元の画像を再現するべく、撮像部１０から得られた画像情報の垂直２方向中の何れか一方の画像情報の走査順を反転する。この走査順を反転する処理のため、移動体信号処理部１３２には、１フレーム分の画素信号を記憶するフレームメモリ１３３が設けられる。
【００６５】
なおここでは、固体撮像素子の後段の信号処理を担当する外部回路を固体撮像素子（撮像チップ）外で行なう例を示したが、外部回路の全てもしくは一部（たとえばＡ／Ｄ変換部やデジタルアンプ部など）の機能要素を、固体撮像素子のチップに内蔵するように構成してもよい。つまり、撮像部１０や駆動制御部７などが同一の半導体領域に一体的に形成された固体撮像素子と同一の半導体基板上に外部回路を構成して、実質的に、固体撮像装置１と物理情報取得装置とが同一のものとして構成してもよい。
【００６６】
また図では、水平選択スイッチ部６０や駆動制御部７を撮像部１０とともに備えて固体撮像装置１を構成し、実質的に、固体撮像装置１が物理情報取得装置としても機能するように構成しているが、物理情報取得装置は、必ずしもこのような構成に限定されない。水平選択スイッチ部６０や駆動制御部７の全体もしくは一機能部分が撮像部１０と同一の半導体領域に一体的に形成されたものであることは要件ではない。水平選択スイッチ部６０および駆動制御部７を、撮像部１０とは異なる回路基板（別の半導体基板に限らず一般的な回路基板をも意味する）、たとえば外部回路が設けられる回路基板に形成してもよい。
【００６７】
＜画素構造＞
図２は、図１に示した固体撮像装置１に使用される単位画素３の構成例を説明する図である。撮像部１０内の単位画素（画素セル）３の構成は、通常のＣＭＯＳイメージセンサと同様であり、本実施形態では、ＣＭＯＳセンサとして汎用的な４ＴＲ構成のものを使用することができるし、４ＴＲ構成のものに限らず、たとえば、特許第２７０８４５５号公報に記載のように、３つのトランジスタからなる３ＴＲ構成のものを使用することもできる。もちろん、これらの画素構成は一例であり、通常のＣＭＯＳイメージセンサのアレイ構成であれば、何れのものでも使用できる。
【００６８】
画素内アンプとしては、たとえばフローティングディフュージョンアンプ構成のものが用いられる。一例としては、電荷生成部に対して、電荷読出部（転送ゲート部／読出ゲート部）の一例である読出選択用トランジスタ、リセットゲート部の一例であるリセットトランジスタ、垂直選択用トランジスタ、およびフローティングディフュージョンの電位変化を検知する検知素子の一例であるソースフォロア構成の増幅用トランジスタを有する構成を使用することができる。
【００６９】
たとえば、図２に示す４ＴＲ構成の単位画素３は、光を受光して電荷に変換する光電変換機能とともに、その電荷を蓄積する電荷蓄積機能の各機能を兼ね備えたフォトダイオードやフォトゲートなどで構成された電荷生成部３２と、電荷生成部３２に対して、電荷読出部（転送ゲート部／読出ゲート部）の一例である読出選択用トランジスタ（転送トランジスタ）３４、リセットゲート部の一例であるリセットトランジスタ３６、垂直選択用トランジスタ４０、およびフローティングディフュージョン３８の電位変化を検知する検知素子の一例であるソースフォロア構成の増幅用トランジスタ４２を有する。
【００７０】
この単位画素３は、電荷蓄積部の機能を備えた電荷注入部の一例であるフローティングディフュージョン３８とからなるＦＤＡ（Floating Diffusion Amp）構成の画素信号生成部５を有するものとなっている。フローティングディフュージョン３８は寄生容量を持った拡散層である。画素信号生成部５は、電荷生成部３２からフローティングディフュージョン３８に移送された電荷の量に応じた電位を発生して垂直信号線５３に伝達する手段として機能する。
【００７１】
増幅用トランジスタ４２は各垂直信号線５３（図１の垂直信号線１８に相当）に接続されており、また垂直信号線５３は垂直列ごとに読出電流源部２７の定電流源Ｉｎの一部をなす負荷ＭＯＳトランジスタ２７ｚのドレインに接続され、また各負荷ＭＯＳトランジスタ２７ｚのゲート端子には、図示を割愛する負荷制御部からの負荷制御信号SFLACTが共通に入力されており、信号読出し時には、各増幅用トランジスタ４２に接続された負荷ＭＯＳトランジスタ２７ｚによって、予め決められた定電流を流し続けるようになっている。つまり、負荷ＭＯＳトランジスタ２７ｚは、選択行の増幅用トランジスタ４２とソースフォロアを組むことで、垂直信号線５３への信号出力をさせる。
【００７２】
横方向配線は同一行の画素について共通となっており、図示を割愛する垂直走査部１４の垂直駆動部１４ｙによって駆動制御される。たとえば、垂直駆動部１４ｙ内には、転送駆動バッファ２５０、リセット駆動バッファ２５２、および選択駆動バッファ２５４が収容されている。
【００７３】
読出選択用トランジスタ３４は、転送配線（読出選択線ＴＲＦ）５５を介して転送駆動バッファ２５０からの転送信号ＴＲＧにより駆動されるようになっている。リセットトランジスタ３６は、リセット配線（ＲＳＴ）５６を介してリセット駆動バッファ２５２からのリセット信号φＲＳＴにより駆動されるようになっている。垂直選択用トランジスタ４０は、垂直選択線（ＳＥＬ）５２を介して選択駆動バッファ２５４からの垂直選択信号φＳＥＬにより駆動されるようになっている。各駆動バッファは、垂直走査部１４によって駆動可能になっている。
【００７４】
画素信号生成部５におけるリセットトランジスタ３６は、ソースがフローティングディフュージョン３８に、ドレインが電源ＶＤＤにそれぞれ接続され、ゲート（リセットゲートＲＧ）にはリセットパルスＲＳＴがリセット駆動バッファから入力される。このリセットトランジスタ３６は、フローティングディフュージョン３８の電位をリセットする機能を持つ。
【００７５】
ここで、この単位画素３は、増幅用トランジスタ４２と垂直選択用トランジスタ４０のうち、垂直選択用トランジスタ４０の方が垂直信号線５３側にあるタイプである。すなわち、垂直選択用トランジスタ４０は、一例として、ドレインが増幅用トランジスタ４２のソースに、ソースが画素線５１にそれぞれ接続され、ゲート（特に垂直選択ゲートＳＥＬＶという）は垂直選択線５２に接続されている。
【００７６】
垂直選択線５２には、垂直選択信号ＳＥＬが印加される。増幅用トランジスタ４２は、ゲートがフローティングディフュージョン３８に接続され、ドレインが電源ＶＤＤに、ソースは垂直選択用トランジスタ４０のドレインを介して画素線５１に接続され、さらに垂直信号線５３（１８）に接続されるようになっている。
【００７７】
なおこのような接続構成に限らず、垂直選択用トランジスタ４０は、ドレインが電源ＶＤＤに、ソースが増幅用トランジスタ４２のドレインにそれぞれ接続され、ゲートが垂直選択線５２に接続されるようにしてもよい。
【００７８】
このような４ＴＲ構成では、フローティングディフュージョン３８は増幅用トランジスタ４２のゲートに接続されているので、増幅用トランジスタ４２はフローティングディフュージョン３８の電位（以下ＦＤ電位という）に対応した信号を電圧モードで、画素線５１を介して垂直信号線５３（１８）に出力する。
【００７９】
リセットトランジスタ３６は、フローティングディフュージョン３８をリセットする。読出選択用トランジスタ（転送トランジスタ）３４は、電荷生成部３２にて生成された信号電荷をフローティングディフュージョン３８に転送する。垂直信号線１８には多数の画素が接続されているが、画素を選択するのには、選択画素のみ垂直選択用トランジスタ４０をオンする。すると選択画素のみが垂直信号線１８と接続され、垂直信号線１８には選択画素の信号が出力される。
【００８０】
＜単位画素の駆動方法＞
図３は、図２に示した単位画素３を駆動して画素信号（単位画素３から出力される単位信号）を取得する手法を説明するタイミングチャートである。図２に示した４ＴＲ構成では、リセットトランジスタ３６は、フローティングディフュージョン３８をリセットする。具体的には、フローティングディフュージョンの信号電荷（ここでは電子）を電源配線に捨てることによって、フローティングディフュージョン３８をリセットする。
【００８１】
読出選択用トランジスタ（転送トランジスタ）３４は、電荷生成部３２にて生成された信号電荷を、電荷蓄積部の一例であるフローティングディフュージョン３８に転送する。
【００８２】
フローティングディフュージョン３８は単位信号生成部の一例である増幅用トランジスタ４２のゲートに接続されているので、増幅用トランジスタ４２はフローティングディフュージョン３８の電位（以下ＦＤ電位ともいう）に対応した信号（この例では電圧信号）を、垂直選択用トランジスタ４０がオンしているときに、画素線５１を介して出力信号線の一例である垂直信号線５３に出力する。すなわち、垂直信号線５３には多数の画素が接続されているが、画素を選択するのには、選択画素のみ垂直選択用トランジスタ４０をオンする。すると選択画素のみが垂直信号線５３と接続され、垂直信号線５３には選択画素の信号が出力される。
【００８３】
具体的には、図３のタイミングチャートに示すように、読出パルス（転送ゲートパルス）ＴＲＧがアクティブ（本例ではハイレベル）となり、読出選択用トランジスタ３４を駆動し、電荷生成部３２に入射した光が光電変換されて生成された信号電荷を、蓄積ノードとして機能するフローティングディフュージョン３８に移送して読み出す。
【００８４】
ここで、電荷生成部３２に入射した光が光電変換されて生成された信号電荷は、読出選択用トランジスタ３４がオンするまで電荷生成部３２に蓄積される。
【００８５】
水平走査線帰線期間（ブランキング期間）にまず行なわれるのは、垂直選択パルスＳＥＬをアクティブ（本例ではハイレベル）にして垂直選択用トランジスタ４０をオンさせ（ｔ１０）、増幅用トランジスタ４２でフローティングディフュージョン３８の電荷を検出できるように、読出し行の増幅用トランジスタ４２の出力と垂直信号線５３とを接続して、垂直信号線５３、電流源Ｉｎ（負荷ＭＯＳトランジスタ２７）、および増幅用トランジスタ４２でソースフォロワ回路を構成する。垂直信号線５３の電位は、フローティングディフュージョン３８の電位変動に追従する。これにより、フローティングディフュージョン３８の電荷量に対応する、増幅用トランジスタ４２のゲート電位で決まる電位のみが垂直信号線５３に伝達される。
【００８６】
また、水平走査線帰線期間の開始とともに、電荷生成部３２に信号電荷Ｑsig が蓄積された状態で、最初に画素信号生成部５を基準電圧にリセットする、つまりリセットゲートパルスＲＧをアクティブ（本例ではハイレベル）にして（ｔ１１）、リセットトランジスタ３６をオンさせることで、フローティングディフュージョン３８に蓄積された暗電流積分値を排出させる。これによって、フローティングディフュージョン３８は、電源電圧値（Ｖｄｄ）に設定される。なお、リセットゲートパルスＲＧをインアクティブ（本例ではローレベル）にすると（ｔ１２）、カップリングにより、フローティングディフュージョン３８の電位が若干落ちる。
【００８７】
このとき、駆動信号操作部１６からサンプルパルスＳＨＰが出力されて、カラム処理部２０内のＣＤＳ機能部をなすシフトトランジスタのゲートに供給され、各シフトトランジスタがオンする。すなわち、駆動信号操作部１６からクランプパルスＳＨＰが供給され、カラム処理部２０内のＣＤＳ機能部をなすクランプトランジスタのゲートに供給されて、各クランプトランジスタがオンし、リセットレベルＳrst が検出される（ｔ１４）。
【００８８】
次に、電荷生成部３２についての読出選択用トランジスタ３４を駆動して、電荷生成部３２から信号電荷Ｑsig に応じた信号成分Ｓｏを読み出す。すなわち、転送ゲートパルスＴＲＧをハイレベルにして（ｔ１６）、読出選択用トランジスタ３４をオンさせ、電荷生成部３２に蓄積されていた信号電荷Ｑsig をフローティングディフュージョン３８に移送する。このフローティングディフュージョン３８に移送された信号電荷Ｑsig の電荷量は、増幅用トランジスタ４２によって検出され、その電荷量に応じた電位が発生されて垂直信号線５３に伝達される。
【００８９】
この後、駆動信号操作部１６からクランプパルスＳＨＤを供給して（ｔ１８）、クランプトランジスタをオンさせて、電荷生成部３２が検知した信号電荷Ｑsig に応じた画素信号レベルＳsig を検出する。
【００９０】
ここで、カラム処理部２０では、ＣＤＳ処理機能部において、リセット相とデータ相でＣＤＳ処理を行なう。すなわち、前述のようにして取得されるリセットレベルＳrst と画素信号レベルＳsig との差分を取ることで、オフセット成分が取り除かれ、真の信号成分Ｓｏを検知できる。画素ごとの固定パターンノイズの除去を行なうことができる。
【００９１】
信号電荷の転送が終わり、十分時間が経った後には、垂直選択パルスＳＥＬをインアクティブ（本例ではローレベル）にする（ｔ２０）。
【００９２】
＜垂直走査制御機能＞
図４は、ＣＭＯＳ撮像素子１２を用いた場合における垂直走査制御機能を説明する図である。なお、ここでは説明を簡単にするため、撮像部１０は、カラーフィルタが設けられていないモノクロ撮像用のものであるとする。
【００９３】
図４に示すように、垂直走査部１４の垂直アドレス設定部１４ｘは、読出画素位置を指定するアドレス情報（具体的には駆動パルスとしての転送ゲートパルスＴＲＧなど）を生成する機能要素として、撮像部１０における奇数行（２ｖ−１；ｖは正の整数）の読出対象の行アドレスφＴＲＧｏを指定する奇数行垂直アドレス設定部４１４ｏと、撮像部１０における偶数行（２ｖ）の読出対象の行アドレスφＴＲＧｅを指定する偶数行垂直アドレス設定部４１４ｅとを備えて構成されている。
【００９４】
ここで、奇数行垂直アドレス設定部４１４ｏおよび偶数行垂直アドレス設定部４１４ｅは、対応する行アドレスφＴＲＧｏ，φＴＲＧｅを、撮像部１０の下側から上側へと上側から下側への相反する方向へ１行ずつ交互に順次指定することで、同一検知条件としての同一の露光条件すなわちシャッタ速度を奇数行領域４１０ｏと偶数行領域４１０ｅのそれぞれに設定する。
【００９５】
垂直アドレス設定部１４ｘを奇数行領域４１０ｏの読出アドレス指定を担当する機能部と偶数行領域４１０ｅの読出アドレス指定を担当する機能部に分けて構成することで、簡易なカウンタやシフトレジスタを用いてアドレス値を順次２ずつ変化させる（一方は繰り上げ、他方は繰り下げる）構成にすることができるようになり、回路構成をコンパクトにできる。もちろん、このように領域別に読出アドレス指定を担当する機能部を設けずに、ランダムアクセス機能を持つようにしてもよい。
【００９６】
撮像部４１０の奇数行領域４１０ｏと偶数行領域４１０ｅとについて、２系統の垂直走査系統に分け、独立した画素信号の読出しを行なうに当たっては、それぞれの垂直方向の走査起点ＳＴｏ，ＳＴｅは自由度がある。一例としては、図４に示すように、奇数行領域４１０ｏに関しては撮像部１０の最下端に設定し、偶数行領域４１０ｅに関しては撮像部１０の最上端に設定する。
【００９７】
このような走査起点ＳＴｏ，ＳＴｅの関係にある場合、１行ごとに垂直信号線１８に対して互いに相反する方向に垂直走査がなされるので、垂直信号線１８を介して移動体信号処理部１３２には、１行目、２ｖ行目、３行目、２ｖ−２行目、…、２ｖ−３行目、４行目、２ｖ−１行目、２行目といった行順で画素信号が供給される。たとえば１フレーム２００行あるとすれば、１，２００，３，１９８，５，１９６，…，９９，１０２，１０１，１００，１０３，…，１９７，４，１９９，２という行順で読み出される。移動体信号処理部１３２は、供給された画素信号をフレームメモリ１３３に記憶する。
【００９８】
このような画素信号の読出し方では、フレームメモリ１３３上の１フレーム分の画像としては、垂直走査方向が互いに逆の、１行が間引かれた１フレーム分の複数の画像情報の組合せで表わされることになる。
【００９９】
このよう走査方向の異なる情報で表わされた撮像部１０（１フレーム）分の画像情報を、走査方向が同じ情報で表わされた撮像部１０（１フレーム）分の画像情報にする、すなわち、垂直方向の行の並びと同じにして元の画像をフレームメモリ１３３上で再現するには、移動体信号処理部１３２は、垂直２方向中の何れか一方の画像情報の走査順を反転すればよい。
【０１００】
たとえば、偶数行の走査順が逆になるようにフレームメモリ１３３からの画素信号の読出しを調整することで、偶数行領域４１０ｅに関しての画像情報を垂直方向に反転させる。これにより、１行目、２行目、３行目、４行目、…、２ｖ−３行目、２ｖ−２行目、２ｖ−１行目、２ｖ行目といった行順に戻る。たとえば１フレーム２００行あるとすれば、１，２，３，４，５，…，１９９，２００の順に戻される。
【０１０１】
なお、このように、フレームメモリ１３３を利用することで画素行の並替えをする場合、フレームメモリ１３３としては、並替え前の画像情報を記憶する分と、並替え後の画像情報を記憶する分の計２フレーム分が必要となる。
【０１０２】
一方、移動体信号処理部１３２に画像情報を取り込む際に、フレームメモリ１３３上は元の行順となるように書込行を制御するようにすれば、フレームメモリ１３３としては、並替え前の画像情報を記憶する分が不要となり、並替え後の画像情報を記憶する１フレーム分だけでよくなる。もちろん、ここでは画素行の並替えに関する処理に必要なフレームメモリ数について説明したものである。
【０１０３】
なおフレームメモリ１３３上で元の行順となるように再現するのは、後述する移動体検知処理やその他の移動体に関する信号処理を行なう際に、フレームメモリ１３３上の画像情報の行順が撮像部１０上の画像の状態と同じであることを前提としている公知の処理アルゴリズムを利用・変形できるようにするためである。処理アルゴリズムを独自に開発すれば、行順の並替えをせずに、移動体検知処理やその他の移動体に関する信号処理を行なうこともできる。
【０１０４】
＜移動体信号処理＞
図５は、移動体信号処理の一例を説明する図である。ここでは、１フレーム２００行あり、移動体信号処理部１３２により、１，２，３，４，５，…，１９９，２００の順に画素行が戻された後の画像を示している。
【０１０５】
簡単のために、電子シャッタにより十分短い露光時間で画像を取り込んだ場合で考える。本実施形態における露光制御は、行ごとに露光開始時刻が異なるフォーカルプレーンシャッタであるので、フレームの開始時刻に細い実線Ｌstで示された位置にいた四角形画像が、このフレームの終わりの時刻には太い実線Ｌedで示された位置に移動する。すると撮像部１０を下から上に垂直走査される奇数行に基づく画素信号からは細い一点鎖線Ｇstで示された平行四辺形の画像が得られ、上から下に垂直走査される偶数行に基づく画素信号からは、太い一点鎖線Ｇedで示された画像が得られる。
【０１０６】
このように、奇数行領域４１０ｏと偶数行領域４１０ｅについて相反する垂直方向に画素信号を読み出すことで、四角形の上側の辺と下側の辺に到達する時刻が異なる。図中に、各読出方向で四角形の上側の辺と下側の辺に到達する時刻を矢印で示す。
【０１０７】
このような画像が、静止物体を撮像したものであるか移動物体を撮像したものであるかを特定するには、一般的な手法としては、撮像時点（撮像タイミング）をずらした２枚の画像の比較が必要であり、本実施形態においても、複数のフレーム画像の比較で動体であるか否かを特定する。
【０１０８】
なお、後述するように、本実施形態のように、奇数行領域４１０ｏと偶数行領域４１０ｅについて相反する垂直方向に画素信号を読み出した１フレームの画像を使用することで、１フレーム内で動体検知を行なうことも可能である。
【０１０９】
動体を撮像したものである場合、移動体信号処理部１３２は、次に、上述のようにして１回の撮像で取得した図５に示す１フレーム分の画像情報を使用して、動体がどのような動作をしていたかを解析する。
【０１１０】
たとえば、２００ｔが１フレームとすると、読出順で分かるように１００行目付近では露光時刻の差異が少なく、画面の上下端に近づく程露光時刻の差異が大きくなり、動体を撮像した場合には、画面上下端に寄るほど、奇数行と偶数行の位置のずれが大きくなる。
【０１１１】
これにより、対応する頂点の位置のずれから移動する物体の移動速度とこのフレームのある時刻での元の形状が計算により求めることができる。たとえば、この図形の上辺は時刻７３ｔから１１６ｔまでの時間で７３行目から８４＝（２００−１１６）行目まで移動したことになる。移動速度Ｆは、移動距離を移動時間で割った値であるから、（８４−７３）／（１１６ｔ−７３ｔ）が垂直方向の移動速度Ｆｖになる。同様の処理を、列方向の座標で行なえば、水平方向の移動速度Ｆｈを求めることができる。
【０１１２】
また、垂直方向および水平方向の各移動速度Ｆｖ，Ｆｈを求めることができれば、あとは移動速度Ｆｖ，Ｆｈから演算処理により、同フレームのある時刻での元の形状を求めることができる。
【０１１３】
ここで、本例では、図４に示したように、奇数行領域４１０ｏに関しては撮像部１０の最下端に走査起点ＳＴｏを設定し、偶数行領域４１０ｅに関しては撮像部１０の最上端に走査起点ＳＴｅを設定している。この場合、奇数行領域４１０ｏについての走査起点ＳＴｏが偶数行領域４１０ｅについての垂直走査の終点ＥＤｅと等しくなり、その時間的なずれは１フレーム分と等しくなる。よって、最大で、１フレーム分に亘る移動体の様子を特定できる。
【０１１４】
以上説明したように、上記実施形態の移動体信号処理によれば、１回の撮像で得た１フレーム分の画像を用いて、移動体の動きの様子を特定することができ、短時間で動体の様子を判断することができる。複数のフレーム間で信号処理を行なうことで移動体の動きの様子を特定する必要がなく、移動体の動きの様子を特定する信号処理回路としては１フレーム分のメモリがあればよく、フレーム内演算処理も四則演算で済み簡易である。
【０１１５】
そのための仕組みは、相異なる走査方向から交互に走査するという簡単な処理で実現でき、特開２００３−１６２７２３号公報に記載のような、複数回撮像領域をずらした画像データを得るための特殊な撮像装置は不要である。
【０１１６】
また、特開平０８−２９４０５７号公報に記載のように、異なる撮像タイミングの情報を取得するために、光電変換素子部からの電気信号の信号電荷を蓄積するための複数の蓄積容量などの信号電荷蓄積素子部を設けた特殊な画素構造は必要である。
【０１１７】
さらに、このようなことを利用することで、ＣＭＯＳセンサ特有の、行によって露光蓄積期間が異なるいわゆるライン露光（あるいはフォーカルプレーンシャッタ）の不都合点を解消できる。すなわち、電子シャッタ動作を行なったときの各画素の露光蓄積期間が一定となるようにする（全行同時刻露光する）グローバルシャッタという機能を実現する特殊な画素構成にしなくても、演算処理により実質的にグローバルシャッタ機能を実現することができる。
【０１１８】
図６は、１フレーム分の画像で移動体検知を行なう処理を説明する図である。この図は、図５に示したものの動体部を拡大したものである。なお、本来は下から上への走査（左軸）で得られる図形（Ｇｓｔ）が２５本（７３−２３）／２、上から下への走査（右軸）で得られる図形（Ｇｅｄ）が１６本（１４８−１１６）／２本分のエリアになるが省略して示している。
【０１１９】
異なる走査方向から１行ごとに画素信号を読み出すと、１フレームの画像としては、１行ごとに非常に近い画像情報が出てくる。１行ごとに時間差を持った蓄積開始時間の画像であるから、その動体の画像情報は、他のエリアに比較して特定の空間周波数成分が非常に多いエリアになる。
【０１２０】
たとえば、図５に示したものの動体部では、画面の上下方向の中央部に対して、画面端に近づくほど連続する２行の蓄積開始時間は大きく異なっていくので、図６に示すように、１行ごとの横縞の成分が多い画像になる。具体的には、奇数行Ｏ＿ｈと偶数行Ｅ＿ａとの間では、時刻的には４３ｔ（１１６ｔ−７３ｔ）の差があり空間的にはこの画面上の位置の差がある。また、奇数行Ｏ＿ａと偶数行Ｅ＿ｅとの間では、時刻的には１２５ｔ（１２８ｔ−２３ｔ）の差があり空間的にはこの画面上の位置の差がある。
【０１２１】
このような性質に着目して、１フレーム分の画像である２次元情報に基づいて空間的な周波数成分について演算処理を行なうことで抽出すると、１フレームで動体を検出することができる。たとえば、特定空間周波数の高いエリアを切り出してその偶数行と奇数行の形状から時間情報を取り出すことができる（たとえば、“ビデオ信号の基礎とその操作方法”、第５章、ｐ１４７〜１５６、今村元一著、ＣＱ出版社、2003.5,1発行を参照）。
【０１２２】
これにより、たとえば、複数フレーム分の画像を保持しておくフレームメモリが不要になる利点が得られる。また、その結果を、フォーカルプレーン現象の補正処理に応用することができる。
【０１２３】
以上、本発明を実施形態を用いて説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。発明の要旨を逸脱しない範囲で上記実施形態に多様な変更または改良を加えることができ、そのような変更または改良を加えた形態も本発明の技術的範囲に含まれる。
【０１２４】
また、上記の実施形態は、クレーム（請求項）にかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組合せの全てが発明の解決手段に必須であるとは限らない。前述した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜の組合せにより種々の発明を抽出できる。実施形態に示される全構成要件から幾つかの構成要件が削除されても、効果が得られる限りにおいて、この幾つかの構成要件が削除された構成が発明として抽出され得る。
【０１２５】
たとえば、上記実施形態では、垂直走査方向を複数系統に分けて独立に制御する（典型例としては２系統に分けて逆方向に走査する）事例を示したが、水平走査方向を複数系統に分けて独立に制御する（典型例としては２系統に分けて逆方向に走査する）ことも可能である。また、垂直走査方向と水平走査方向のそれぞれを複数系統に分けて独立に制御することもできる。水平走査は、垂直走査に比べて高速であるから、この例の場合、水平方向への動きの速い被写体の移動の様子を検知することや、その高速移動体の元の形状を特定することができる。
【０１２６】
また、図５に示した移動体信号処理の説明では、輝度信号のみを考慮してモノクロ撮像用のもので示したが、カラー用の単板撮像素子の場合には、色分離フィルタの配列の繰返単位を構成する色の組合せを基準に、走査方向を制御すればよい。たとえば、ベイヤ（Ｂａｙｅｒ）配列ならば、１行目と２行目，２００行目と１９９行目，５行目と６行目，１９６行目と１９５行目というように、２行を１組にして取り扱えば同様の処理が可能である。
【０１２７】
また、上記実施形態の垂直走査制御動作においては、領域分割した奇数行領域４１０ｏと偶数行領域４１０ｅについての垂直走査に当たって、その走査起点を撮像部１０の最下端と最上端に設定していたが、走査起点が何処であるかに拘らず、走査方向が互いに異なるものであればよく、その他に設定することもできる。
【０１２８】
たとえば、奇数行領域４１０ｏの走査起点ＳＴｏを奇数行領域４１０ｏと偶数行領域４１０ｅとの境界に設定しつつ、偶数行領域４１０ｅの走査起点ＳＴｅを、撮像部４１０の最上端に設定することもできる。この場合、奇数行領域４１０ｏについての走査起点ＳＴｏが偶数行領域４１０ｅについての垂直走査の中間位置と等しくなり、その時間的なずれは１フ１／２フレーム分と等しくなる。よって、最大で、１／２フレーム分に亘る移動体の様子を特定できる。
【０１２９】
また、上記実施形態では、光や放射線などの外部から入力される電磁波に対して感応性をするＣＭＯＳ型の固体撮像装置について例示したが、物理量の変化を検知するあらゆるものに、上記実施形態で説明した仕組みを適用でき、光などに限らず、たとえば、指紋に関する情報を圧力に基づく電気的特性の変化や光学的特性の変化に基づき指紋の像を検知する指紋認証装置（特開２００２−７９８４や特開２００１−１２５７３４などを参照）など、その他の物理的な変化を検知する仕組みにおいて、動体を検出する仕組みが必要な場合に、上記実施形態の仕組みを同様に適用することができる。
【図面の簡単な説明】
【０１３０】
【図１】本発明に係る物理情報取得装置の一実施形態であるＣＭＯＳ固体撮像装置の概略構成図である。
【図２】図１に示した固体撮像装置に使用される単位画素の構成例を説明する図である。
【図３】図２に示した単位画素を駆動して画素信号を取得する手法を説明するタイミングチャートである。
【図４】ＣＭＯＳ撮像素子を用いた場合における垂直走査制御機能を説明する図である。
【図５】移動体信号処理の一例を説明する図である。
【図６】１フレーム分の画像で移動体検知を行なう処理を説明する図である。
【符号の説明】
【０１３１】
１…固体撮像装置、３…単位画素、７…駆動制御部、１０…撮像部、１２…水平走査部、１２ｘ…水平アドレス設定部、１４…垂直走査部、１４ｘ…垂直アドレス設定部、１６…駆動信号操作部、１８…垂直信号線、２０…カラム処理部、２２…カラム信号処理部、８６…水平信号線、８８…出力部、１００…外部回路、１３０…デジタル信号処理部、１３２…移動体信号処理部、１３３…フレームメモリ、４１０ｅ…偶数行領域、４１０ｏ…奇数行領域、４１４ｅ…偶数行垂直アドレス設定部、４１４ｏ…奇数行垂直アドレス設定部
【技術分野】
【０００１】
本発明は、物理情報取得方法および物理情報取得装置に関する。より詳細には、たとえば光や放射線などの外部から入力される電磁波に対して感応性をする複数の単位構成要素が配列されてなり、単位構成要素によって電気信号に変換された物理量分布を電気信号として読出可能な、たとえば固体撮像装置などの、物理量分布検知の半導体装置を用いる場合に好適な、単位構成要素を駆動する駆動方法および駆動装置や画像信号処理方法および画像信号処理装置などの移動体信号処理技術に関する。
【背景技術】
【０００２】
光や放射線などの外部から入力される電磁波に対して感応性をする単位構成要素（たとえば画素）をライン状もしくはマトリクス状に複数個配列してなる物理量分布検知半導体装置が様々な分野で使われている。
【０００３】
たとえば、映像機器の分野では、物理量のうちの光（電磁波の一例）を検知するＣＣＤ（Charge Coupled Device ）型あるいはＭＯＳ（Metal Oxide Semiconductor ）やＣＭＯＳ（Complementary Metal-oxide Semiconductor ）型の固体撮像装置が使われている。これらは、単位構成要素（固体撮像装置にあっては画素）によって電気信号に変換された物理量分布を電気信号として読み出す。
【０００４】
また、固体撮像装置の中には、電荷生成部で生成された信号電荷に応じた画素信号を生成する画素信号生成部に増幅用の駆動トランジスタを有する増幅型固体撮像素子（ＡＰＳ；Active Pixel Sensor ／ゲインセルともいわれる）構成の画素を備えた増幅型固体撮像装置がある。たとえば、ＣＭＯＳ型固体撮像装置の多くはそのような構成をなしている。
【０００５】
このような増幅型固体撮像装置において画素信号を外部に読み出すには、複数の単位画素が配列されている画素部に対してアドレス制御をし、個々の単位画素からの信号を任意に選択して読み出すようにしている。つまり、増幅型固体撮像装置は、アドレス制御型の固体撮像装置の一例である。
【０００６】
たとえば、単位画素がマトリクス状に配されたＸ−Ｙアドレス型固体撮像素子の一種である増幅型固体撮像素子は、画素そのものに増幅機能を持たせるために、ＭＯＳ構造などの能動素子（ＭＯＳトランジスタ）を用いて画素を構成している。すなわち、光電変換素子であるフォトダイオードに蓄積された信号電荷（光電子）を前記能動素子で増幅し、画像情報として読み出す。
【０００７】
この種のＸ−Ｙアドレス型固体撮像素子では、たとえば、画素トランジスタが２次元行列状に多数配列されて画素部が構成され、ライン（行）ごとあるいは画素ごとに入射光に対応する信号電荷の蓄積が開始され、その蓄積された信号電荷に基づく電流または電圧の信号がアドレス指定によって各画素から順に読み出される。ここで、ＭＯＳ（ＣＭＯＳを含む）型においては、アドレス制御の一例として、１行分を同時にアクセスして行単位で画素信号を画素部から読み出す方式が多く用いられている。
【０００８】
一方、画素から出力された画素信号に対しては、高画質のイメージ生成や特殊なアプリケーション利用などのために、種々の演算処理がなされる。たとえば、近年、イメージセンサに画像情報の各種演算機能を持たせることにより、画像処理の高速化などを実現する固体撮像装置が提案されている。このようなイメージセンサの１つとして、通常の実画像の取得と、動体検出機能を備えたセンサが提案されている（たとえば特許文献１，２を参照）。
【０００９】
これら従来技術は、何れも、通常のイメージセンサと同様の画像取得回路に加えて、時間的な光の強度変化を検出する機能を持たせたものであり、具体的なアーキテクチャとしては、異なる撮像時点（撮像タイミング）の画素信号の差に基づいて動体検出を行なうものである。
【００１０】
【特許文献１】特開２００３−１６２７２３号公報
【特許文献２】特開平０８−２９４０５７号公報
【００１１】
たとえば、特許文献１に記載の仕組みでは、撮像装置により撮像された画像に動体が含まれているか否かを判定するべく、先ず、撮像期間中に複数回それぞれ異なる撮像領域を順次撮像して得られる全体画像を、複数回の撮像それぞれに対応する複数の部分画像に分離する。この後、被写体が静止体のみである場合、すべての部分画像は、ほぼ同じデータとなるが、被写体が静止体に加えて動体を含む場合、撮像タイミングが異なる部分画像に相違が生じるという点に基づき、部分画像を比較することで、複数の部分画像を合成した全体画像に動体が含まれているかどうかを判定するようにしている。いわゆる画素ずらしにより検出した複数枚の画像における部分画像間の信号処理により動体であるか否かを判定する。
【００１２】
また、特許文献２に記載の仕組みでは、複数の画素の各々の光電変換素子部に対し、光電変換素子部からの電気信号の信号電荷を蓄積するための複数の蓄積容量などの信号電荷蓄積素子部を設け、信号電荷蓄積素子部の各々に、異なるフレーム制御期間に読み出された光電変換素子部からの信号電荷を蓄積しておき、この信号電荷と、現在読み出しているフレーム制御期間の信号電荷との差を検出することで、リアルタイムで移動体などの画像の検出を行なうようにしている。要するに、複数のフレームで差分演算することで動体であるか否かを判定する。
【発明の開示】
【発明が解決しようとする課題】
【００１３】
しかしながら、特許文献１に記載の仕組みでは、複数回分の撮像領域をずらした画像データを得るための特殊な撮像装置が必要になる。
【００１４】
また、特許文献２に記載の仕組みでは、異なる撮像タイミングの情報を取得するために、光電変換素子部からの電気信号の信号電荷を蓄積するための複数の蓄積容量などの信号電荷蓄積素子部を設けた特殊な画素構造が必要となる。
【００１５】
さらに、上記特許文献１，２を始めとする従来の動体信号処理の仕組みは、何れも、移動物体の移動速度を始めとする移動の様子を特定するには、多数回の撮像により得られた多数のフレーム画像が必要となり、またそれら多数のフレーム画像間での複雑な演算処理が必要となり、短時間では、動体の様子を判断することができない。
【００１６】
本発明は、上記事情に鑑みてなされたものであり、特殊な画素構造や撮像装置にしなくても、移動物体の移動の様子を短時間で特定することのできる仕組みを提案することを目的とする。
【課題を解決するための手段】
【００１７】
本発明に係る物理情報取得方法は、物理量の変化を検知する複数の検知部と前記検知部で検知した物理量の変化に基づいて単位信号を生成して出力する単位信号生成部とを単位構成要素内に含み、単位構成要素が所定の順に配された検知領域を具備した物理量分布検知のための装置を使用して、移動物体に関わる所定の物理情報を取得する物理情報取得方法であって、先ず、複数の検知部の並び順に対して互いに異なる方向から順に検知領域の略全面を走査することで、走査方向の異なる情報で表わされた検知領域分の物理情報を取得する。この後、走査方向の異なる情報で表わされた検知領域分の物理情報に基づいて、検知領域内を移動している物体の移動速度を始めとする移動の様子を特定することのできる物理情報を取得する。
【００１８】
また、本発明に係る物理情報取得装置は、前記本発明に係る物理情報取得方法を実施するのに好適な装置であって、複数の検知部の並び順に対して互いに異なる方向から順に検知領域の略全面を走査することで、走査方向の異なる情報で表わされた検知領域分の物理情報を取得可能とする駆動信号操作部を備えるものとした。
【００１９】
たとえば、駆動信号操作部は、垂直アドレスや水平アドレスをしてする走査回路における走査方向として２種類持ち、１フレーム中において、互いに異なる２方向へ走査するようにする。
【００２０】
また従属項に記載された発明は、本発明に係る物理情報取得方法や物理情報取得装置のさらなる有利な具体例を規定する。
【００２１】
たとえば好ましくは、走査方向の異なる情報で表わされた検知領域分の物理情報に基づいて、検知領域内を移動している物体の移動の様子を表わす物理情報を取得する移動体信号処理部をさらに備えたものとするのがよい。要するに、異なる走査方向で得られたデータに基づいて検知領域内を移動している物体の情報を得る。
【００２２】
またたとえば、走査方向の異なる情報で表わされた検知領域分の物理情報を、走査方向が同じ情報で表わされた検知領域分の物理情報に変換する信号変換部をさらに設け、移動体信号処理部は、この変換された走査方向が同じ情報で表わされた検知領域分の物理情報に基づいて、検知領域内を移動している物体の移動の様子を表わす物理情報を取得するのがよい。たとえば、走査方向を２種類持つ場合、１フレーム中２方向へ走査することで得られた情報における２方向中の片方の情報を、走査方向を反転することで、他方の走査方向と走査順が揃うようにすることで、１フレーム分の情報を再現する。
【発明の効果】
【００２３】
本発明によれば、複数の検知部の並び順に対して互いに異なる方向から順に検知領域の略全面を走査することで、走査方向の異なる情報で表わされた検知領域分の物理情報を取得するようにしたので、この走査方向の異なる情報で表わされた１つの検知領域分の情報だけで、検知領域内を移動している物体の移動速度を始めとする移動の様子を特定することができ、またその１つのフレーム画像内での簡単な演算処理で済むようになり、短時間で、動体の様子を判断することができる。
【００２４】
加えて、そのための仕組みは、相異なる走査方向から交互に走査するという簡単な処理で実現でき、特許文献１に記載の仕組みのように、複数回撮像領域をずらした画像データを得るための特殊な撮像装置は不要である。
【００２５】
また、特許文献２に記載の仕組みのように、光電変換素子部からの電気信号の信号電荷を蓄積するための複数の蓄積容量などの信号電荷蓄積素子部を設けた特殊な画素構造も必要となる。
【発明を実施するための最良の形態】
【００２６】
以下、図面を参照して本発明の実施形態について詳細に説明する。なお、以下においては、Ｘ−Ｙアドレス型の固体撮像装置の一例である、ＣＭＯＳ撮像素子をデバイスとして使用した場合を例に説明する。
【００２７】
ただしこれは一例であって、対象となるデバイスはＭＯＳ型の撮像デバイスに限らない。光や放射線などの外部から入力される物理量に対して感応性をする検知部と、この検知部で検知した物理量の変化に基づいて単位信号を生成して出力する単位信号生成部を含む単位構成要素をライン状もしくはマトリクス状に複数個配列してなる物理量分布検知用の半導体装置のうち、アドレス制御により読出位置が任意に制御可能な構成のもの全てに、後述する実施形態が同様に適用できる。
【００２８】
＜撮像装置の概略構成＞
図１は、本発明に係る物理情報取得装置の一実施形態であるＣＭＯＳ固体撮像装置の概略構成図である。この固体撮像装置１は、たとえばカラー画像を撮像し得る電子スチルカメラやＦＡ（Factory Automation）カメラとして適用されるようになっている。固体撮像装置１は、物理量分布検知装置の一例である。
【００２９】
固体撮像装置１は、入射光量に応じた信号を出力する図示を割愛する検知部としての受光素子を含む単位画素が行および列の正方格子状に配列された（すなわち２次元マトリクス状の）撮像部を有し、各単位画素からの信号出力が電圧信号であって、ＣＤＳ(Correlated Double Sampling ；相関２重サンプリング）処理機能部やその他の機能部が垂直列ごとに設けられたカラム型のものである。
【００３０】
すなわち、図１（Ａ）に示すように、固体撮像装置１は、複数の単位画素３（単位構成要素の一例）が行および列に（２次元行列状に）多数配列された撮像部（画素部）１０いわゆるエリアセンサ部と、撮像部１０の外側に設けられた駆動制御部７と、各垂直列に配されたカラム信号処理部（図ではカラム回路と記す）２２を有するカラム処理部２０と、水平選択スイッチ部６０とを備えている。また、撮像部１０が設けられている半導体領域とは別の回路基板上に外部回路１００が設けられている。
【００３１】
なお、読出電流源部２７は、撮像部１０とカラム処理部２０との間の信号経路（垂直信号線１８）上に設けられ、各垂直信号線１８に対してドレイン端子が接続された図示を割愛する負荷ＭＯＳトランジスタを含む負荷トランジスタ部が配され、各負荷ＭＯＳトランジスタを駆動制御する負荷制御部（負荷ＭＯＳコントローラ）が設けられている。
【００３２】
駆動制御部７としては、たとえば水平走査部１２と垂直走査部１４とを備える。また、駆動制御部７の他の構成要素として、水平走査部１２、垂直走査部１４、あるいはカラム処理部２０などの固体撮像装置１の各機能部に所定タイミングの制御パルスを供給する駆動信号走査部（読出アドレス制御装置の一例）１６が設けられている。
【００３３】
これらの駆動制御部７の各要素は、撮像部１０とともに、半導体集積回路製造技術と同様の技術を用いて単結晶シリコンなどの半導体領域に一体的に形成され、半導体システムの一例である固体撮像素子（撮像デバイス）として構成される。
【００３４】
図１（Ａ）では、簡単のため行および列の一部を省略して示しているが、現実には、撮像部１０の各行や各列には、数十から数千の単位画素３が配置される。なお、図示を割愛するが、撮像部１０には、各画素に所定のカラーコーディングを持つ色分離フィルタやオンチップレンズが形成される。また図示を割愛するが、撮像部１０の各単位画素３は、フォトダイオードやフォトゲートなどの光電変換素子およびトランジスタ回路によって構成されている（後述する図２を参照）。
【００３５】
単位画素３は、垂直列選択のための垂直制御線１５を介して垂直走査部１４と、また検知部で検知され増幅素子を有する単位信号生成部で増幅された後に単位画素３から出力される複数の画素信号Ｓ０（＿１〜ｈ；１行中の画素番号）をそれぞれ伝送する伝送線としての垂直信号線１８を介してカラム処理部２０と、それぞれ接続されている。
【００３６】
水平走査部１２や垂直走査部１４は、駆動信号走査部１６から与えられる駆動パルスに応答して読出位置の選択動作（典型的にはシフト動作）を開始するようになっている。垂直制御線１５には、単位画素３を駆動するための種々のパルス信号が含まれる。
【００３７】
水平走査部１２は、水平方向の読出列（水平方向のアドレス）を規定する（カラム処理部２０内の個々のカラム信号処理部２２を選択する）水平アドレス設定部１２ｘと、水平アドレス設定部１２ｘにて規定された読出アドレスに従ってカラム処理部２０の各信号を水平信号線８６に導く水平駆動部１２ｙとを有する。
【００３８】
水平アドレス設定部１２ｘは、図示を割愛するが、シフトレジスタあるいはデコーダを有して構成されており、カラム信号処理部２２からの画素情報を所定の順に選択し、その選択した画素情報を水平信号線８６に出力する選択手段としての機能を持つ。
【００３９】
垂直走査部１４は、垂直方向の読出行（垂直方向のアドレス）を規定する（撮像部１０の行を選択する）垂直アドレス設定部１４ｘと、垂直アドレス設定部１４ｘにて規定された読出行上の単位画素３に対する行制御線１５にパルスを供給して単位画素３を駆動する垂直駆動部１４ｙとを有する。
【００４０】
垂直アドレス設定部１４ｘは、図示を割愛するが、信号を読み出す行の基本的な制御を行なう垂直シフトレジスタあるいはデコーダの他に、電子シャッタ用の行の制御を行なうシャッタシフトレジスタも有する。
【００４１】
垂直シフトレジスタは、撮像部１０から画素情報を読み出すに当たって各単位画素３を行単位で選択するためのものであり、各行の垂直駆動部１４ｙとともに信号出力行選択手段を構成する。シャッタシフトレジスタは、電子シャッタ動作を行なうに当たって各画素を行単位で選択するためのものであり、各行の垂直駆動部１４ｙとともに電子シャッタ行選択手段を構成する。
【００４２】
ここで、本実施形態特有の構成として、水平走査部１２（特に水平アドレス設定部１２ｘ）および垂直走査部１４（特に垂直アドレス設定部１４ｘ）のうちの少なくとも一方は、走査方向を複数系統（典型例としては２系統）に分けて独立に制御する機能を持ち、１フレーム中で、異なる走査系統の信号を得るようにする。
【００４３】
たとえば垂直走査部１４は、詳細は後述するが、撮像部１０の複数の行を垂直走査方向に複数系統に分けて独立に制御する機能を持ち、１フレーム中で、それぞれ異なる方向への走査系統の信号を得るようにする。具体的には、詳細は後述するが、典型例としては上から下への走査と下から上への走査の２系統に分け、１行ごとに、垂直信号線１８に対して互いに相反する方向に走査する。
【００４４】
駆動信号走査部１６は、図示を割愛するが、各部の動作に必要なクロックや所定タイミングのパルス信号を供給するタイミングジェネレータＴＧ（読出アドレス制御装置の一例）の機能ブロックと、端子１ａを介して入力クロックCLK0や動作モードなどを指令するデータを受け取り、また端子１ｂを介して固体撮像装置１の情報を含むデータDATAを出力する通信インタフェースの機能ブロックとを備える。また、水平アドレス信号を水平アドレス設定部１２ｘへ、また垂直アドレス信号を垂直アドレス設定部１４ｘへ出力し、各アドレス設定部１２ｘ，１４ｘは、それを受けて対応する行もしくは列を選択する。
【００４５】
なお、駆動信号走査部１６は、撮像部１０や水平走査部１２など、他の機能要素とは独立して、別の半導体集積回路として提供されてもよい。この場合、撮像部１０や水平走査部１２などから成る撮像デバイスと駆動信号走査部１６とにより、半導体システムの一例である撮像装置が構築される。この撮像装置は、周辺の信号処理回路や電源回路なども組み込まれた撮像モジュールとして提供されてもよい。
【００４６】
カラム処理部２０は、垂直列（カラム）ごとにカラム信号処理部２２を有して構成されており、１行分の画素の信号を受けて、各カラム信号処理部２２が対応列の画素信号Ｓ０（＿１〜ｈ；１行中の画素番号）を処理して、処理済みの画素信号Ｓ１（＿１〜ｈ；１行中の画素番号）を出力する。
【００４７】
たとえば、カラム信号処理部２２は、図示を割愛するが、蓄積容量を具備した記憶部を有し、単位画素３から垂直信号線１８を介して読み出された画素信号（単位信号）Ｓ０に基づく所定目的用の物理情報を表わす電位信号Ｖｍを記憶するラインメモリ構造の信号保持機能を備えるようにすることができる。また同様に蓄積容量を持ち、ＣＤＳ(Correlated Double Sampling ；相関２重サンプリング）処理を利用したノイズ除去手段の機能を備えるようにしてもよい。
【００４８】
ＣＤＳ処理を行なう場合、駆動信号走査部１６から与えられるサンプルパルスＳＨＰとサンプルパルスＳＨＤといった２つのサンプルパルスに基づいて、垂直信号線１８を介して入力された電圧モードの画素情報に対して、画素リセット直後の信号レベル（ノイズレベル；０レベル）と真の信号レベルとの差分をとる処理を行なうことで、画素ごとの固定ばらつきによる固定パターンノイズ（ＦＰＮ；Fixed Pattern Noise ）やリセットノイズといわれるノイズ信号成分を取り除く。
【００４９】
なお、カラム信号処理部２２には、ＣＤＳ処理機能部などの後段に、必要に応じて信号増幅機能を持つＡＧＣ(Auto Gain Control) 回路やその他の処理機能回路などを設けることも可能である。
【００５０】
カラム処理部２０の後段には、図示を割愛する水平読出用のスイッチ（選択スイッチ）を備えた水平選択スイッチ部６０が設けられている。各垂直列のカラム信号処理部２２の出力端は、カラム信号処理部２２から画素信号Ｓ２を順次読み出すための各垂直列に対応する水平選択スイッチ部６０の選択スイッチの入力端ｉにそれぞれ接続されている。
【００５１】
水平選択スイッチ部６０の各垂直列の制御ゲート端ｃは、水平方向の読出アドレスを制御・駆動する水平走査部１２の水平駆動部１２ｙに接続される。一方、水平選択スイッチ部６０の各垂直列の選択スイッチの出力端ｏは、行方向に画素信号を順次転送出力する水平信号線８６が共通接続されている。水平信号線８６の後端には出力部８８が設けられている。
【００５２】
水平信号線８６は、単位画素３のそれぞれから垂直信号線１８を介して伝送される個々の画素信号Ｓ０（詳しくはそれに基づく画素信号Ｓ２）を、垂直信号線１８の配列方向である水平方向に所定順に出力するための読出線として機能するものであり、カラム信号処理部２２から、垂直列ごとに存在する図示を割愛した選択スイッチによって選択された信号を取り出して出力部８８に渡す。
【００５３】
すなわち、カラム信号処理部２２により処理された画素情報を表わす信号電荷に応じた各垂直列の電圧信号は、水平走査部１２からの水平選択信号φＨ１〜φＨｈに応じた水平読出パルスφｇ１〜φｇｈにより駆動される垂直列ごとに設けられた選択スイッチにより所定のタイミングで選択され水平信号線８６に読み出される。そして、水平信号線８６の後端に設けられた出力部８８に入力される。
【００５４】
出力部８８は、撮像部１０から水平信号線８６を通して出力される各単位画素３の画素信号Ｓ２＿１〜ｈ（ｈ＝ｎ）を適当なゲインで増幅した後、撮像信号Ｓ３として外部回路１００に出力端子８８ａを介して供給する。この出力部８８は、たとえば、バッファリングだけする場合もあるし、その前に黒レベル調整、列ばらつき補正、色関係処理などを行なうこともある。
【００５５】
つまり、本実施形態のカラム型の固体撮像装置１においては、単位画素３からの出力信号（電圧信号）が、垂直信号線１８→カラム処理部２０（カラム信号処理部２２）→水平信号線８６→出力部８８の順で伝送される。その駆動は、１行分の画素出力信号は垂直信号線１８を介してパラレルにカラム処理部２０に送り、処理後の信号は水平信号線８６を介してシリアルに出力するようにする。この画素信号のカラム処理部２０までの転送動作は１行分の単位画素３に対して同時に行なわれる。
【００５６】
なお、垂直列や水平行ごとの駆動が可能である限り、それぞれのパルス信号を単位画素３に対して水平行方向および垂直列方向の何れから供給するか、すなわちパルス信号を印加するための駆動クロック線の物理的な配線方法は自由である。
【００５７】
このような構成の固体撮像装置１において、水平走査部１２や垂直走査部１４およびそれらを制御する駆動信号走査部１６により、撮像部１０の各画素を水平行単位で順に選択し、その選択した１つの水平行分の画素の情報を同時に読み出すタイプのＣＭＯＳイメージセンサが構成される。
【００５８】
出力部８８の後段に設けられる外部回路１００は、撮像部１０や駆動制御部７などが同一の半導体領域に一体的に形成された固体撮像素子とは別の基板（プリント基板もしくは半導体基板）上に構成されており、各撮影モードに対応した回路構成が採られるようになっている。
【００５９】
撮像部１０や駆動制御部７などからなる固体撮像素子（本発明に係る半導体装置や物理情報取得装置の一例）と外部回路１００とによって、固体撮像装置１が構成されている。駆動制御部７を撮像部１０やカラム処理部２０と別体にして、撮像部１０やカラム処理部２０で固体撮像素子（半導体装置の一例）を構成し、この固体撮像素子と別体の駆動制御部７とで、撮像装置（本発明に係る物理情報取得装置の一例）として構成してもよい。
【００６０】
外部回路１００は、たとえば図１（Ｂ）に示すように、出力部８８から出力されたアナログの撮像信号Ｓ３をデジタルの撮像データＤ３に変換するＡ／Ｄ（Analog to Digital ）変換部１１０と、Ａ／Ｄ変換部１１０によりデジタル化された撮像データＤ３に基づいてデジタル信号処理を施すデジタル信号処理部（ＤＳＰ；Digital Signal Processor）１３０とを備える。
【００６１】
デジタル信号処理部１３０は、たとえば、Ａ／Ｄ変換部１１０から出力されるデジタル信号を適当に増幅して出力するデジタルアンプ部の機能を持つ。また、たとえば色分離処理を施してＲ（赤），Ｇ（緑），Ｂ（青）の各画像を表す画像データＲＧＢを生成し、この画像データＲＧＢに対してその他の信号処理を施してモニタ出力用の画像データＤ４を生成する。また、デジタル信号処理部１３０には、記録メディアに撮像データを保存するための信号圧縮処理などを行なう機能部が備えられる。
【００６２】
また外部回路１００は、デジタル信号処理部１３０にてデジタル処理された画像データＤ４をアナログの画像信号Ｓ４に変換するＤ／Ａ（Digital to Analog ）変換部１３６を備える。Ｄ／Ａ変換部１３６から出力された画像信号Ｓ４は、図示を割愛する液晶モニタなどの表示デバイスに送られる。走査者は、この表示デバイスに表示されるメニューや画像を見ながら、撮像モードを切り替えるなどの各種の走査を行なうことが可能になっている。
【００６３】
ここで、本実施形態特有の構成として、外部回路１００のデジタル信号処理部１３０には、少なくとも、水平走査部１２（特に水平アドレス設定部１２ｘ）や垂直走査部１４（特に垂直アドレス設定部１４ｘ）による複数系統に分けた走査制御により撮像部１０の各単位画素３から出力される各画素信号Ｓ０（詳しくはカラム信号処理部２２からの画素信号Ｓ２）に基づいて、動体検知処理や検知結果に基づく所定の信号処理を行なう移動体信号処理部１３２が設けられる。
【００６４】
たとえば、１行ごとに、垂直信号線１８に対して互いに相反する方向に走査された信号が行単位で撮像部１０から出力されて移動体信号処理部１３２に供給されるので、移動体信号処理部１３２は、画像情報を垂直方向の行の並びと同じにして元の画像を再現するべく、撮像部１０から得られた画像情報の垂直２方向中の何れか一方の画像情報の走査順を反転する。この走査順を反転する処理のため、移動体信号処理部１３２には、１フレーム分の画素信号を記憶するフレームメモリ１３３が設けられる。
【００６５】
なおここでは、固体撮像素子の後段の信号処理を担当する外部回路を固体撮像素子（撮像チップ）外で行なう例を示したが、外部回路の全てもしくは一部（たとえばＡ／Ｄ変換部やデジタルアンプ部など）の機能要素を、固体撮像素子のチップに内蔵するように構成してもよい。つまり、撮像部１０や駆動制御部７などが同一の半導体領域に一体的に形成された固体撮像素子と同一の半導体基板上に外部回路を構成して、実質的に、固体撮像装置１と物理情報取得装置とが同一のものとして構成してもよい。
【００６６】
また図では、水平選択スイッチ部６０や駆動制御部７を撮像部１０とともに備えて固体撮像装置１を構成し、実質的に、固体撮像装置１が物理情報取得装置としても機能するように構成しているが、物理情報取得装置は、必ずしもこのような構成に限定されない。水平選択スイッチ部６０や駆動制御部７の全体もしくは一機能部分が撮像部１０と同一の半導体領域に一体的に形成されたものであることは要件ではない。水平選択スイッチ部６０および駆動制御部７を、撮像部１０とは異なる回路基板（別の半導体基板に限らず一般的な回路基板をも意味する）、たとえば外部回路が設けられる回路基板に形成してもよい。
【００６７】
＜画素構造＞
図２は、図１に示した固体撮像装置１に使用される単位画素３の構成例を説明する図である。撮像部１０内の単位画素（画素セル）３の構成は、通常のＣＭＯＳイメージセンサと同様であり、本実施形態では、ＣＭＯＳセンサとして汎用的な４ＴＲ構成のものを使用することができるし、４ＴＲ構成のものに限らず、たとえば、特許第２７０８４５５号公報に記載のように、３つのトランジスタからなる３ＴＲ構成のものを使用することもできる。もちろん、これらの画素構成は一例であり、通常のＣＭＯＳイメージセンサのアレイ構成であれば、何れのものでも使用できる。
【００６８】
画素内アンプとしては、たとえばフローティングディフュージョンアンプ構成のものが用いられる。一例としては、電荷生成部に対して、電荷読出部（転送ゲート部／読出ゲート部）の一例である読出選択用トランジスタ、リセットゲート部の一例であるリセットトランジスタ、垂直選択用トランジスタ、およびフローティングディフュージョンの電位変化を検知する検知素子の一例であるソースフォロア構成の増幅用トランジスタを有する構成を使用することができる。
【００６９】
たとえば、図２に示す４ＴＲ構成の単位画素３は、光を受光して電荷に変換する光電変換機能とともに、その電荷を蓄積する電荷蓄積機能の各機能を兼ね備えたフォトダイオードやフォトゲートなどで構成された電荷生成部３２と、電荷生成部３２に対して、電荷読出部（転送ゲート部／読出ゲート部）の一例である読出選択用トランジスタ（転送トランジスタ）３４、リセットゲート部の一例であるリセットトランジスタ３６、垂直選択用トランジスタ４０、およびフローティングディフュージョン３８の電位変化を検知する検知素子の一例であるソースフォロア構成の増幅用トランジスタ４２を有する。
【００７０】
この単位画素３は、電荷蓄積部の機能を備えた電荷注入部の一例であるフローティングディフュージョン３８とからなるＦＤＡ（Floating Diffusion Amp）構成の画素信号生成部５を有するものとなっている。フローティングディフュージョン３８は寄生容量を持った拡散層である。画素信号生成部５は、電荷生成部３２からフローティングディフュージョン３８に移送された電荷の量に応じた電位を発生して垂直信号線５３に伝達する手段として機能する。
【００７１】
増幅用トランジスタ４２は各垂直信号線５３（図１の垂直信号線１８に相当）に接続されており、また垂直信号線５３は垂直列ごとに読出電流源部２７の定電流源Ｉｎの一部をなす負荷ＭＯＳトランジスタ２７ｚのドレインに接続され、また各負荷ＭＯＳトランジスタ２７ｚのゲート端子には、図示を割愛する負荷制御部からの負荷制御信号SFLACTが共通に入力されており、信号読出し時には、各増幅用トランジスタ４２に接続された負荷ＭＯＳトランジスタ２７ｚによって、予め決められた定電流を流し続けるようになっている。つまり、負荷ＭＯＳトランジスタ２７ｚは、選択行の増幅用トランジスタ４２とソースフォロアを組むことで、垂直信号線５３への信号出力をさせる。
【００７２】
横方向配線は同一行の画素について共通となっており、図示を割愛する垂直走査部１４の垂直駆動部１４ｙによって駆動制御される。たとえば、垂直駆動部１４ｙ内には、転送駆動バッファ２５０、リセット駆動バッファ２５２、および選択駆動バッファ２５４が収容されている。
【００７３】
読出選択用トランジスタ３４は、転送配線（読出選択線ＴＲＦ）５５を介して転送駆動バッファ２５０からの転送信号ＴＲＧにより駆動されるようになっている。リセットトランジスタ３６は、リセット配線（ＲＳＴ）５６を介してリセット駆動バッファ２５２からのリセット信号φＲＳＴにより駆動されるようになっている。垂直選択用トランジスタ４０は、垂直選択線（ＳＥＬ）５２を介して選択駆動バッファ２５４からの垂直選択信号φＳＥＬにより駆動されるようになっている。各駆動バッファは、垂直走査部１４によって駆動可能になっている。
【００７４】
画素信号生成部５におけるリセットトランジスタ３６は、ソースがフローティングディフュージョン３８に、ドレインが電源ＶＤＤにそれぞれ接続され、ゲート（リセットゲートＲＧ）にはリセットパルスＲＳＴがリセット駆動バッファから入力される。このリセットトランジスタ３６は、フローティングディフュージョン３８の電位をリセットする機能を持つ。
【００７５】
ここで、この単位画素３は、増幅用トランジスタ４２と垂直選択用トランジスタ４０のうち、垂直選択用トランジスタ４０の方が垂直信号線５３側にあるタイプである。すなわち、垂直選択用トランジスタ４０は、一例として、ドレインが増幅用トランジスタ４２のソースに、ソースが画素線５１にそれぞれ接続され、ゲート（特に垂直選択ゲートＳＥＬＶという）は垂直選択線５２に接続されている。
【００７６】
垂直選択線５２には、垂直選択信号ＳＥＬが印加される。増幅用トランジスタ４２は、ゲートがフローティングディフュージョン３８に接続され、ドレインが電源ＶＤＤに、ソースは垂直選択用トランジスタ４０のドレインを介して画素線５１に接続され、さらに垂直信号線５３（１８）に接続されるようになっている。
【００７７】
なおこのような接続構成に限らず、垂直選択用トランジスタ４０は、ドレインが電源ＶＤＤに、ソースが増幅用トランジスタ４２のドレインにそれぞれ接続され、ゲートが垂直選択線５２に接続されるようにしてもよい。
【００７８】
このような４ＴＲ構成では、フローティングディフュージョン３８は増幅用トランジスタ４２のゲートに接続されているので、増幅用トランジスタ４２はフローティングディフュージョン３８の電位（以下ＦＤ電位という）に対応した信号を電圧モードで、画素線５１を介して垂直信号線５３（１８）に出力する。
【００７９】
リセットトランジスタ３６は、フローティングディフュージョン３８をリセットする。読出選択用トランジスタ（転送トランジスタ）３４は、電荷生成部３２にて生成された信号電荷をフローティングディフュージョン３８に転送する。垂直信号線１８には多数の画素が接続されているが、画素を選択するのには、選択画素のみ垂直選択用トランジスタ４０をオンする。すると選択画素のみが垂直信号線１８と接続され、垂直信号線１８には選択画素の信号が出力される。
【００８０】
＜単位画素の駆動方法＞
図３は、図２に示した単位画素３を駆動して画素信号（単位画素３から出力される単位信号）を取得する手法を説明するタイミングチャートである。図２に示した４ＴＲ構成では、リセットトランジスタ３６は、フローティングディフュージョン３８をリセットする。具体的には、フローティングディフュージョンの信号電荷（ここでは電子）を電源配線に捨てることによって、フローティングディフュージョン３８をリセットする。
【００８１】
読出選択用トランジスタ（転送トランジスタ）３４は、電荷生成部３２にて生成された信号電荷を、電荷蓄積部の一例であるフローティングディフュージョン３８に転送する。
【００８２】
フローティングディフュージョン３８は単位信号生成部の一例である増幅用トランジスタ４２のゲートに接続されているので、増幅用トランジスタ４２はフローティングディフュージョン３８の電位（以下ＦＤ電位ともいう）に対応した信号（この例では電圧信号）を、垂直選択用トランジスタ４０がオンしているときに、画素線５１を介して出力信号線の一例である垂直信号線５３に出力する。すなわち、垂直信号線５３には多数の画素が接続されているが、画素を選択するのには、選択画素のみ垂直選択用トランジスタ４０をオンする。すると選択画素のみが垂直信号線５３と接続され、垂直信号線５３には選択画素の信号が出力される。
【００８３】
具体的には、図３のタイミングチャートに示すように、読出パルス（転送ゲートパルス）ＴＲＧがアクティブ（本例ではハイレベル）となり、読出選択用トランジスタ３４を駆動し、電荷生成部３２に入射した光が光電変換されて生成された信号電荷を、蓄積ノードとして機能するフローティングディフュージョン３８に移送して読み出す。
【００８４】
ここで、電荷生成部３２に入射した光が光電変換されて生成された信号電荷は、読出選択用トランジスタ３４がオンするまで電荷生成部３２に蓄積される。
【００８５】
水平走査線帰線期間（ブランキング期間）にまず行なわれるのは、垂直選択パルスＳＥＬをアクティブ（本例ではハイレベル）にして垂直選択用トランジスタ４０をオンさせ（ｔ１０）、増幅用トランジスタ４２でフローティングディフュージョン３８の電荷を検出できるように、読出し行の増幅用トランジスタ４２の出力と垂直信号線５３とを接続して、垂直信号線５３、電流源Ｉｎ（負荷ＭＯＳトランジスタ２７）、および増幅用トランジスタ４２でソースフォロワ回路を構成する。垂直信号線５３の電位は、フローティングディフュージョン３８の電位変動に追従する。これにより、フローティングディフュージョン３８の電荷量に対応する、増幅用トランジスタ４２のゲート電位で決まる電位のみが垂直信号線５３に伝達される。
【００８６】
また、水平走査線帰線期間の開始とともに、電荷生成部３２に信号電荷Ｑsig が蓄積された状態で、最初に画素信号生成部５を基準電圧にリセットする、つまりリセットゲートパルスＲＧをアクティブ（本例ではハイレベル）にして（ｔ１１）、リセットトランジスタ３６をオンさせることで、フローティングディフュージョン３８に蓄積された暗電流積分値を排出させる。これによって、フローティングディフュージョン３８は、電源電圧値（Ｖｄｄ）に設定される。なお、リセットゲートパルスＲＧをインアクティブ（本例ではローレベル）にすると（ｔ１２）、カップリングにより、フローティングディフュージョン３８の電位が若干落ちる。
【００８７】
このとき、駆動信号操作部１６からサンプルパルスＳＨＰが出力されて、カラム処理部２０内のＣＤＳ機能部をなすシフトトランジスタのゲートに供給され、各シフトトランジスタがオンする。すなわち、駆動信号操作部１６からクランプパルスＳＨＰが供給され、カラム処理部２０内のＣＤＳ機能部をなすクランプトランジスタのゲートに供給されて、各クランプトランジスタがオンし、リセットレベルＳrst が検出される（ｔ１４）。
【００８８】
次に、電荷生成部３２についての読出選択用トランジスタ３４を駆動して、電荷生成部３２から信号電荷Ｑsig に応じた信号成分Ｓｏを読み出す。すなわち、転送ゲートパルスＴＲＧをハイレベルにして（ｔ１６）、読出選択用トランジスタ３４をオンさせ、電荷生成部３２に蓄積されていた信号電荷Ｑsig をフローティングディフュージョン３８に移送する。このフローティングディフュージョン３８に移送された信号電荷Ｑsig の電荷量は、増幅用トランジスタ４２によって検出され、その電荷量に応じた電位が発生されて垂直信号線５３に伝達される。
【００８９】
この後、駆動信号操作部１６からクランプパルスＳＨＤを供給して（ｔ１８）、クランプトランジスタをオンさせて、電荷生成部３２が検知した信号電荷Ｑsig に応じた画素信号レベルＳsig を検出する。
【００９０】
ここで、カラム処理部２０では、ＣＤＳ処理機能部において、リセット相とデータ相でＣＤＳ処理を行なう。すなわち、前述のようにして取得されるリセットレベルＳrst と画素信号レベルＳsig との差分を取ることで、オフセット成分が取り除かれ、真の信号成分Ｓｏを検知できる。画素ごとの固定パターンノイズの除去を行なうことができる。
【００９１】
信号電荷の転送が終わり、十分時間が経った後には、垂直選択パルスＳＥＬをインアクティブ（本例ではローレベル）にする（ｔ２０）。
【００９２】
＜垂直走査制御機能＞
図４は、ＣＭＯＳ撮像素子１２を用いた場合における垂直走査制御機能を説明する図である。なお、ここでは説明を簡単にするため、撮像部１０は、カラーフィルタが設けられていないモノクロ撮像用のものであるとする。
【００９３】
図４に示すように、垂直走査部１４の垂直アドレス設定部１４ｘは、読出画素位置を指定するアドレス情報（具体的には駆動パルスとしての転送ゲートパルスＴＲＧなど）を生成する機能要素として、撮像部１０における奇数行（２ｖ−１；ｖは正の整数）の読出対象の行アドレスφＴＲＧｏを指定する奇数行垂直アドレス設定部４１４ｏと、撮像部１０における偶数行（２ｖ）の読出対象の行アドレスφＴＲＧｅを指定する偶数行垂直アドレス設定部４１４ｅとを備えて構成されている。
【００９４】
ここで、奇数行垂直アドレス設定部４１４ｏおよび偶数行垂直アドレス設定部４１４ｅは、対応する行アドレスφＴＲＧｏ，φＴＲＧｅを、撮像部１０の下側から上側へと上側から下側への相反する方向へ１行ずつ交互に順次指定することで、同一検知条件としての同一の露光条件すなわちシャッタ速度を奇数行領域４１０ｏと偶数行領域４１０ｅのそれぞれに設定する。
【００９５】
垂直アドレス設定部１４ｘを奇数行領域４１０ｏの読出アドレス指定を担当する機能部と偶数行領域４１０ｅの読出アドレス指定を担当する機能部に分けて構成することで、簡易なカウンタやシフトレジスタを用いてアドレス値を順次２ずつ変化させる（一方は繰り上げ、他方は繰り下げる）構成にすることができるようになり、回路構成をコンパクトにできる。もちろん、このように領域別に読出アドレス指定を担当する機能部を設けずに、ランダムアクセス機能を持つようにしてもよい。
【００９６】
撮像部４１０の奇数行領域４１０ｏと偶数行領域４１０ｅとについて、２系統の垂直走査系統に分け、独立した画素信号の読出しを行なうに当たっては、それぞれの垂直方向の走査起点ＳＴｏ，ＳＴｅは自由度がある。一例としては、図４に示すように、奇数行領域４１０ｏに関しては撮像部１０の最下端に設定し、偶数行領域４１０ｅに関しては撮像部１０の最上端に設定する。
【００９７】
このような走査起点ＳＴｏ，ＳＴｅの関係にある場合、１行ごとに垂直信号線１８に対して互いに相反する方向に垂直走査がなされるので、垂直信号線１８を介して移動体信号処理部１３２には、１行目、２ｖ行目、３行目、２ｖ−２行目、…、２ｖ−３行目、４行目、２ｖ−１行目、２行目といった行順で画素信号が供給される。たとえば１フレーム２００行あるとすれば、１，２００，３，１９８，５，１９６，…，９９，１０２，１０１，１００，１０３，…，１９７，４，１９９，２という行順で読み出される。移動体信号処理部１３２は、供給された画素信号をフレームメモリ１３３に記憶する。
【００９８】
このような画素信号の読出し方では、フレームメモリ１３３上の１フレーム分の画像としては、垂直走査方向が互いに逆の、１行が間引かれた１フレーム分の複数の画像情報の組合せで表わされることになる。
【００９９】
このよう走査方向の異なる情報で表わされた撮像部１０（１フレーム）分の画像情報を、走査方向が同じ情報で表わされた撮像部１０（１フレーム）分の画像情報にする、すなわち、垂直方向の行の並びと同じにして元の画像をフレームメモリ１３３上で再現するには、移動体信号処理部１３２は、垂直２方向中の何れか一方の画像情報の走査順を反転すればよい。
【０１００】
たとえば、偶数行の走査順が逆になるようにフレームメモリ１３３からの画素信号の読出しを調整することで、偶数行領域４１０ｅに関しての画像情報を垂直方向に反転させる。これにより、１行目、２行目、３行目、４行目、…、２ｖ−３行目、２ｖ−２行目、２ｖ−１行目、２ｖ行目といった行順に戻る。たとえば１フレーム２００行あるとすれば、１，２，３，４，５，…，１９９，２００の順に戻される。
【０１０１】
なお、このように、フレームメモリ１３３を利用することで画素行の並替えをする場合、フレームメモリ１３３としては、並替え前の画像情報を記憶する分と、並替え後の画像情報を記憶する分の計２フレーム分が必要となる。
【０１０２】
一方、移動体信号処理部１３２に画像情報を取り込む際に、フレームメモリ１３３上は元の行順となるように書込行を制御するようにすれば、フレームメモリ１３３としては、並替え前の画像情報を記憶する分が不要となり、並替え後の画像情報を記憶する１フレーム分だけでよくなる。もちろん、ここでは画素行の並替えに関する処理に必要なフレームメモリ数について説明したものである。
【０１０３】
なおフレームメモリ１３３上で元の行順となるように再現するのは、後述する移動体検知処理やその他の移動体に関する信号処理を行なう際に、フレームメモリ１３３上の画像情報の行順が撮像部１０上の画像の状態と同じであることを前提としている公知の処理アルゴリズムを利用・変形できるようにするためである。処理アルゴリズムを独自に開発すれば、行順の並替えをせずに、移動体検知処理やその他の移動体に関する信号処理を行なうこともできる。
【０１０４】
＜移動体信号処理＞
図５は、移動体信号処理の一例を説明する図である。ここでは、１フレーム２００行あり、移動体信号処理部１３２により、１，２，３，４，５，…，１９９，２００の順に画素行が戻された後の画像を示している。
【０１０５】
簡単のために、電子シャッタにより十分短い露光時間で画像を取り込んだ場合で考える。本実施形態における露光制御は、行ごとに露光開始時刻が異なるフォーカルプレーンシャッタであるので、フレームの開始時刻に細い実線Ｌstで示された位置にいた四角形画像が、このフレームの終わりの時刻には太い実線Ｌedで示された位置に移動する。すると撮像部１０を下から上に垂直走査される奇数行に基づく画素信号からは細い一点鎖線Ｇstで示された平行四辺形の画像が得られ、上から下に垂直走査される偶数行に基づく画素信号からは、太い一点鎖線Ｇedで示された画像が得られる。
【０１０６】
このように、奇数行領域４１０ｏと偶数行領域４１０ｅについて相反する垂直方向に画素信号を読み出すことで、四角形の上側の辺と下側の辺に到達する時刻が異なる。図中に、各読出方向で四角形の上側の辺と下側の辺に到達する時刻を矢印で示す。
【０１０７】
このような画像が、静止物体を撮像したものであるか移動物体を撮像したものであるかを特定するには、一般的な手法としては、撮像時点（撮像タイミング）をずらした２枚の画像の比較が必要であり、本実施形態においても、複数のフレーム画像の比較で動体であるか否かを特定する。
【０１０８】
なお、後述するように、本実施形態のように、奇数行領域４１０ｏと偶数行領域４１０ｅについて相反する垂直方向に画素信号を読み出した１フレームの画像を使用することで、１フレーム内で動体検知を行なうことも可能である。
【０１０９】
動体を撮像したものである場合、移動体信号処理部１３２は、次に、上述のようにして１回の撮像で取得した図５に示す１フレーム分の画像情報を使用して、動体がどのような動作をしていたかを解析する。
【０１１０】
たとえば、２００ｔが１フレームとすると、読出順で分かるように１００行目付近では露光時刻の差異が少なく、画面の上下端に近づく程露光時刻の差異が大きくなり、動体を撮像した場合には、画面上下端に寄るほど、奇数行と偶数行の位置のずれが大きくなる。
【０１１１】
これにより、対応する頂点の位置のずれから移動する物体の移動速度とこのフレームのある時刻での元の形状が計算により求めることができる。たとえば、この図形の上辺は時刻７３ｔから１１６ｔまでの時間で７３行目から８４＝（２００−１１６）行目まで移動したことになる。移動速度Ｆは、移動距離を移動時間で割った値であるから、（８４−７３）／（１１６ｔ−７３ｔ）が垂直方向の移動速度Ｆｖになる。同様の処理を、列方向の座標で行なえば、水平方向の移動速度Ｆｈを求めることができる。
【０１１２】
また、垂直方向および水平方向の各移動速度Ｆｖ，Ｆｈを求めることができれば、あとは移動速度Ｆｖ，Ｆｈから演算処理により、同フレームのある時刻での元の形状を求めることができる。
【０１１３】
ここで、本例では、図４に示したように、奇数行領域４１０ｏに関しては撮像部１０の最下端に走査起点ＳＴｏを設定し、偶数行領域４１０ｅに関しては撮像部１０の最上端に走査起点ＳＴｅを設定している。この場合、奇数行領域４１０ｏについての走査起点ＳＴｏが偶数行領域４１０ｅについての垂直走査の終点ＥＤｅと等しくなり、その時間的なずれは１フレーム分と等しくなる。よって、最大で、１フレーム分に亘る移動体の様子を特定できる。
【０１１４】
以上説明したように、上記実施形態の移動体信号処理によれば、１回の撮像で得た１フレーム分の画像を用いて、移動体の動きの様子を特定することができ、短時間で動体の様子を判断することができる。複数のフレーム間で信号処理を行なうことで移動体の動きの様子を特定する必要がなく、移動体の動きの様子を特定する信号処理回路としては１フレーム分のメモリがあればよく、フレーム内演算処理も四則演算で済み簡易である。
【０１１５】
そのための仕組みは、相異なる走査方向から交互に走査するという簡単な処理で実現でき、特開２００３−１６２７２３号公報に記載のような、複数回撮像領域をずらした画像データを得るための特殊な撮像装置は不要である。
【０１１６】
また、特開平０８−２９４０５７号公報に記載のように、異なる撮像タイミングの情報を取得するために、光電変換素子部からの電気信号の信号電荷を蓄積するための複数の蓄積容量などの信号電荷蓄積素子部を設けた特殊な画素構造は必要である。
【０１１７】
さらに、このようなことを利用することで、ＣＭＯＳセンサ特有の、行によって露光蓄積期間が異なるいわゆるライン露光（あるいはフォーカルプレーンシャッタ）の不都合点を解消できる。すなわち、電子シャッタ動作を行なったときの各画素の露光蓄積期間が一定となるようにする（全行同時刻露光する）グローバルシャッタという機能を実現する特殊な画素構成にしなくても、演算処理により実質的にグローバルシャッタ機能を実現することができる。
【０１１８】
図６は、１フレーム分の画像で移動体検知を行なう処理を説明する図である。この図は、図５に示したものの動体部を拡大したものである。なお、本来は下から上への走査（左軸）で得られる図形（Ｇｓｔ）が２５本（７３−２３）／２、上から下への走査（右軸）で得られる図形（Ｇｅｄ）が１６本（１４８−１１６）／２本分のエリアになるが省略して示している。
【０１１９】
異なる走査方向から１行ごとに画素信号を読み出すと、１フレームの画像としては、１行ごとに非常に近い画像情報が出てくる。１行ごとに時間差を持った蓄積開始時間の画像であるから、その動体の画像情報は、他のエリアに比較して特定の空間周波数成分が非常に多いエリアになる。
【０１２０】
たとえば、図５に示したものの動体部では、画面の上下方向の中央部に対して、画面端に近づくほど連続する２行の蓄積開始時間は大きく異なっていくので、図６に示すように、１行ごとの横縞の成分が多い画像になる。具体的には、奇数行Ｏ＿ｈと偶数行Ｅ＿ａとの間では、時刻的には４３ｔ（１１６ｔ−７３ｔ）の差があり空間的にはこの画面上の位置の差がある。また、奇数行Ｏ＿ａと偶数行Ｅ＿ｅとの間では、時刻的には１２５ｔ（１２８ｔ−２３ｔ）の差があり空間的にはこの画面上の位置の差がある。
【０１２１】
このような性質に着目して、１フレーム分の画像である２次元情報に基づいて空間的な周波数成分について演算処理を行なうことで抽出すると、１フレームで動体を検出することができる。たとえば、特定空間周波数の高いエリアを切り出してその偶数行と奇数行の形状から時間情報を取り出すことができる（たとえば、“ビデオ信号の基礎とその操作方法”、第５章、ｐ１４７〜１５６、今村元一著、ＣＱ出版社、2003.5,1発行を参照）。
【０１２２】
これにより、たとえば、複数フレーム分の画像を保持しておくフレームメモリが不要になる利点が得られる。また、その結果を、フォーカルプレーン現象の補正処理に応用することができる。
【０１２３】
以上、本発明を実施形態を用いて説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。発明の要旨を逸脱しない範囲で上記実施形態に多様な変更または改良を加えることができ、そのような変更または改良を加えた形態も本発明の技術的範囲に含まれる。
【０１２４】
また、上記の実施形態は、クレーム（請求項）にかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組合せの全てが発明の解決手段に必須であるとは限らない。前述した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜の組合せにより種々の発明を抽出できる。実施形態に示される全構成要件から幾つかの構成要件が削除されても、効果が得られる限りにおいて、この幾つかの構成要件が削除された構成が発明として抽出され得る。
【０１２５】
たとえば、上記実施形態では、垂直走査方向を複数系統に分けて独立に制御する（典型例としては２系統に分けて逆方向に走査する）事例を示したが、水平走査方向を複数系統に分けて独立に制御する（典型例としては２系統に分けて逆方向に走査する）ことも可能である。また、垂直走査方向と水平走査方向のそれぞれを複数系統に分けて独立に制御することもできる。水平走査は、垂直走査に比べて高速であるから、この例の場合、水平方向への動きの速い被写体の移動の様子を検知することや、その高速移動体の元の形状を特定することができる。
【０１２６】
また、図５に示した移動体信号処理の説明では、輝度信号のみを考慮してモノクロ撮像用のもので示したが、カラー用の単板撮像素子の場合には、色分離フィルタの配列の繰返単位を構成する色の組合せを基準に、走査方向を制御すればよい。たとえば、ベイヤ（Ｂａｙｅｒ）配列ならば、１行目と２行目，２００行目と１９９行目，５行目と６行目，１９６行目と１９５行目というように、２行を１組にして取り扱えば同様の処理が可能である。
【０１２７】
また、上記実施形態の垂直走査制御動作においては、領域分割した奇数行領域４１０ｏと偶数行領域４１０ｅについての垂直走査に当たって、その走査起点を撮像部１０の最下端と最上端に設定していたが、走査起点が何処であるかに拘らず、走査方向が互いに異なるものであればよく、その他に設定することもできる。
【０１２８】
たとえば、奇数行領域４１０ｏの走査起点ＳＴｏを奇数行領域４１０ｏと偶数行領域４１０ｅとの境界に設定しつつ、偶数行領域４１０ｅの走査起点ＳＴｅを、撮像部４１０の最上端に設定することもできる。この場合、奇数行領域４１０ｏについての走査起点ＳＴｏが偶数行領域４１０ｅについての垂直走査の中間位置と等しくなり、その時間的なずれは１フ１／２フレーム分と等しくなる。よって、最大で、１／２フレーム分に亘る移動体の様子を特定できる。
【０１２９】
また、上記実施形態では、光や放射線などの外部から入力される電磁波に対して感応性をするＣＭＯＳ型の固体撮像装置について例示したが、物理量の変化を検知するあらゆるものに、上記実施形態で説明した仕組みを適用でき、光などに限らず、たとえば、指紋に関する情報を圧力に基づく電気的特性の変化や光学的特性の変化に基づき指紋の像を検知する指紋認証装置（特開２００２−７９８４や特開２００１−１２５７３４などを参照）など、その他の物理的な変化を検知する仕組みにおいて、動体を検出する仕組みが必要な場合に、上記実施形態の仕組みを同様に適用することができる。
【図面の簡単な説明】
【０１３０】
【図１】本発明に係る物理情報取得装置の一実施形態であるＣＭＯＳ固体撮像装置の概略構成図である。
【図２】図１に示した固体撮像装置に使用される単位画素の構成例を説明する図である。
【図３】図２に示した単位画素を駆動して画素信号を取得する手法を説明するタイミングチャートである。
【図４】ＣＭＯＳ撮像素子を用いた場合における垂直走査制御機能を説明する図である。
【図５】移動体信号処理の一例を説明する図である。
【図６】１フレーム分の画像で移動体検知を行なう処理を説明する図である。
【符号の説明】
【０１３１】
１…固体撮像装置、３…単位画素、７…駆動制御部、１０…撮像部、１２…水平走査部、１２ｘ…水平アドレス設定部、１４…垂直走査部、１４ｘ…垂直アドレス設定部、１６…駆動信号操作部、１８…垂直信号線、２０…カラム処理部、２２…カラム信号処理部、８６…水平信号線、８８…出力部、１００…外部回路、１３０…デジタル信号処理部、１３２…移動体信号処理部、１３３…フレームメモリ、４１０ｅ…偶数行領域、４１０ｏ…奇数行領域、４１４ｅ…偶数行垂直アドレス設定部、４１４ｏ…奇数行垂直アドレス設定部
【特許請求の範囲】
【請求項１】
物理量の変化を検知する複数の検知部と前記検知部で検知した物理量の変化に基づいて単位信号を生成して出力する単位信号生成部とを単位構成要素内に含み、当該単位構成要素が所定の順に配された検知領域を具備した物理量分布検知のための装置を使用して、移動物体に関わる所定の物理情報を取得する物理情報取得方法であって、
前記複数の検知部の並び順に対して互いに異なる方向から順に前記検知領域の略全面を走査することで、走査方向の異なる情報で表わされた前記検知領域分の物理情報を取得し、
前記走査方向の異なる情報で表わされた検知領域分の物理情報に基づいて、前記検知領域内を移動している物体の移動の様子を表わす物理情報を取得する
ことを特徴とする物理情報取得方法。
【請求項２】
前記走査方向の異なる情報で表わされた検知領域分の物理情報を、前記走査方向が同じ情報で表わされた検知領域分の物理情報に変換し、
この変換された前記走査方向が同じ情報で表わされた検知領域分の物理情報に基づいて、前記検知領域内を移動している物体の移動の様子を表わす物理情報を取得する
ことを特徴とする請求項１に記載の物理情報取得方法。
【請求項３】
物理量の変化を検知する複数の検知部と前記検知部で検知した物理量の変化に基づいて単位信号を生成して出力する単位信号生成部とを単位構成要素内に含み、当該単位構成要素が所定の順に配された検知領域を具備した物理量分布検知のための装置を使用して、移動物体に関わる所定の物理情報を取得する物理情報取得装置であって、
前記複数の検知部の並び順に対して互いに異なる方向から順に前記検知領域の略全面を走査することで、走査方向の異なる情報で表わされた前記検知領域分の物理情報を取得可能とする駆動信号操作部
を備えたことを特徴とする物理情報取得装置。
【請求項４】
前記走査方向の異なる情報で表わされた検知領域分の物理情報に基づいて、前記検知領域内を移動している物体の移動の様子を表わす物理情報を取得する移動体信号処理部
をさらに備えたことを特徴とする請求項３に記載の物理情報取得装置。
【請求項５】
前記走査方向の異なる情報で表わされた検知領域分の物理情報を、前記走査方向が同じ情報で表わされた検知領域分の物理情報に変換する信号変換部をさらに備え、
前記移動体信号処理部は、この変換された前記走査方向が同じ情報で表わされた検知領域分の物理情報に基づいて、前記検知領域内を移動している物体の移動の様子を表わす物理情報を取得する
ことを特徴とする請求項４に記載の物理情報取得装置。
【請求項１】
物理量の変化を検知する複数の検知部と前記検知部で検知した物理量の変化に基づいて単位信号を生成して出力する単位信号生成部とを単位構成要素内に含み、当該単位構成要素が所定の順に配された検知領域を具備した物理量分布検知のための装置を使用して、移動物体に関わる所定の物理情報を取得する物理情報取得方法であって、
前記複数の検知部の並び順に対して互いに異なる方向から順に前記検知領域の略全面を走査することで、走査方向の異なる情報で表わされた前記検知領域分の物理情報を取得し、
前記走査方向の異なる情報で表わされた検知領域分の物理情報に基づいて、前記検知領域内を移動している物体の移動の様子を表わす物理情報を取得する
ことを特徴とする物理情報取得方法。
【請求項２】
前記走査方向の異なる情報で表わされた検知領域分の物理情報を、前記走査方向が同じ情報で表わされた検知領域分の物理情報に変換し、
この変換された前記走査方向が同じ情報で表わされた検知領域分の物理情報に基づいて、前記検知領域内を移動している物体の移動の様子を表わす物理情報を取得する
ことを特徴とする請求項１に記載の物理情報取得方法。
【請求項３】
物理量の変化を検知する複数の検知部と前記検知部で検知した物理量の変化に基づいて単位信号を生成して出力する単位信号生成部とを単位構成要素内に含み、当該単位構成要素が所定の順に配された検知領域を具備した物理量分布検知のための装置を使用して、移動物体に関わる所定の物理情報を取得する物理情報取得装置であって、
前記複数の検知部の並び順に対して互いに異なる方向から順に前記検知領域の略全面を走査することで、走査方向の異なる情報で表わされた前記検知領域分の物理情報を取得可能とする駆動信号操作部
を備えたことを特徴とする物理情報取得装置。
【請求項４】
前記走査方向の異なる情報で表わされた検知領域分の物理情報に基づいて、前記検知領域内を移動している物体の移動の様子を表わす物理情報を取得する移動体信号処理部
をさらに備えたことを特徴とする請求項３に記載の物理情報取得装置。
【請求項５】
前記走査方向の異なる情報で表わされた検知領域分の物理情報を、前記走査方向が同じ情報で表わされた検知領域分の物理情報に変換する信号変換部をさらに備え、
前記移動体信号処理部は、この変換された前記走査方向が同じ情報で表わされた検知領域分の物理情報に基づいて、前記検知領域内を移動している物体の移動の様子を表わす物理情報を取得する
ことを特徴とする請求項４に記載の物理情報取得装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２００６−２１７２１３（Ｐ２００６−２１７２１３Ａ）
【公開日】平成１８年８月１７日（２００６．８．１７）
【国際特許分類】
【出願番号】特願２００５−２７３６３（Ｐ２００５−２７３６３）
【出願日】平成１７年２月３日（２００５．２．３）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成１８年８月１７日（２００６．８．１７）
【国際特許分類】
【出願日】平成１７年２月３日（２００５．２．３）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]