撮像処理システムおよびデジタルカメラ
【課題】センサ周辺部からデジタル信号処理部へのデータ出力やデジタル信号処理部のタスク処理によってシステム動作ノイズが発生しても、センサ周辺部が取り扱う信号のＳ／Ｎ性能を劣化させない撮像処理システムを提供する。
【解決手段】被写体の光像を光電変換する固体撮像センサ１から出力されるアナログ電荷信号をデジタルデータに変換して、画像処理を行う撮像処理システムであって、固体撮像センサの信号をデジタルデータに変換して出力する際、センサ信号の出力タイミングとは時間をずらしたブランキング期間に高速にデジタルデータを出力可能なセンサ周辺部Ａと、デジタルデータの入力に対して、ブランキング期間内で内部の動作を許可し、動作が許可された期間以外の期間は待機状態として最小限の動作をするデジタル信号処理部Ｂとを備える。
【解決手段】被写体の光像を光電変換する固体撮像センサ１から出力されるアナログ電荷信号をデジタルデータに変換して、画像処理を行う撮像処理システムであって、固体撮像センサの信号をデジタルデータに変換して出力する際、センサ信号の出力タイミングとは時間をずらしたブランキング期間に高速にデジタルデータを出力可能なセンサ周辺部Ａと、デジタルデータの入力に対して、ブランキング期間内で内部の動作を許可し、動作が許可された期間以外の期間は待機状態として最小限の動作をするデジタル信号処理部Ｂとを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルカメラ用のイメージセンサ等の固体撮像センサから出力される映像信号（アナログ電荷信号）を、そのアナログ電荷信号に対応したデジタルデータに変換して出力したのち、デジタル画像信号処理を行う撮像処理システムに関する。
【背景技術】
【０００２】
近年、カメラ業界において、アナログ技術からデジタル技術への移行には目覚ましいものがある。特にフィルムも現像も不要なデジタルスチルカメラは活況を呈している。携帯電話もカメラ搭載型が主流を占めるようになり、デジタルスチルカメラにおける高画素化や画像処理による画質の向上には著しいものがある。
【０００３】
上記のデジタルスチルカメラには、センサ周辺部として、固体撮像センサから出力される画像信号（アナログ電荷信号）を、そのアナログ電荷信号に対応したデジタルデータに変換して出力するアナログフロントエンドが組み込まれる。ここで、固体撮像センサやデジタル信号処理部（ＤＳＰ：Digital Signal Processor）もアナログフロントエンドと同様にそれぞれ半導体集積回路化され、これらの半導体集積回路がプリント配線基板上に実装されて撮像処理システムが構成される。
【０００４】
図５は従来の撮像処理システムの構成を示すブロック図である。Ａはセンサ周辺部、Ｂは画像処理などを行うデジタル信号処理部、１は固体撮像センサとしてのＭＯＳ型のイメージセンサ、２はアナログフロントエンド、２１は周期的な同期信号を発生する同期信号生成部（ＳＳＧ）、２２はイメージセンサ１を駆動するためのパルスを発生するタイミングジェネレータ（ＴＧ）、２３はＣＤＳ（相関二重サンプリング）部、２４はＧＣＡ（ゲインコントロールアンプ）部、２５はＡＤ変換部、２８は外部からの入力クロックを逓倍して出力するクロック逓倍部、２９ａはパラレル／シリアルデータ出力部、３０はＣＰＵインターフェースである。
【０００５】
アナログフロントエンド２によって出力されたデジタルデータは、デジタル信号処理部Ｂによって、輝度信号処理、色分離処理、カラーマトリクス処理などの各種の画像処理を受ける。
【０００６】
撮像処理システムにおいて表示画面に現われるノイズの原因について考察する。ＡＤ変換された有効データをデジタル信号処理部Ｂへ伝達する。このＡＤ変換を行うアナログフロントエンド２が有効データを出力する際に電源ノイズが発生する。この電源ノイズが、プリント配線基板上の電源ライン（Ｖｃｃラインおよびグランドライン）を介してイメージセンサ１側に回り込む。そして、アナログフロントエンド２へ入力される画像信号に侵入したり、アナログフロントエンド２の内部で電源ラインや半導体基板を通して出力回路側から入力端子側へ回り込む。これらが表示画面に現われるノイズの主な原因である。
【０００７】
もともとＬＳＩの出力回路は、外部のプリント配線等チップ内部に比べて大きな負荷を駆動する必要がある。そのため、出力用素子もＡＤ変換部などの内部回路を構成する素子に比べて大きなサイズ（１０倍以上）のものが使用され、比較的多くの電流が流れるように設計するのが一般的である。出力信号の切り替わりの際に大きな貫通電流と負荷のドライブ電流が流れて電源にノイズがのると考えられる。また、出力回路で発生したノイズは基板を通して入力回路以外の内部回路にも伝播する。アナログフロントエンド２では入力アナログ信号を増幅するＰＧＡ（プログラマブル・ゲイン・アンプ）のような増幅回路を有するため、入力側に伝播したノイズも画像信号と共に増幅されてしまい、表示画質の低下につながることとなる。
【０００８】
このようにセンサ周辺部では、消費電力やノイズを低減する必要があるため、アナログフロントエンドとデジタル信号処理部との間の信号の変化数や信号数を減らす必要がある。信号の変化数や信号数を減らすためには、例えば、イメージセンサの各チャンネル出力に応じてデジタル信号に変換する複数のｎビットＡＤ変換部と、ｎビットＡＤ変換部の出力をＰＬＬ回路の出力に応じてシリアルデータに変換する複数のＰＳ（パラレル／シリアル）変換部とを設けて、デジタル信号処理部への伝送の信号数を削減するようにしたものがある（例えば特許文献１）。
【０００９】
図６は従来の技術における撮像処理システムの動作を示すタイミングチャートである。ＨＢＬＫは水平同期信号である。水平同期信号ＨＢＬＫが“Ｈ”レベルの水平ブランキング期間では画像信号の出力が無効である。水平同期信号ＨＢＬＫが“Ｌ”レベルの有効信号出力期間に、１ライン分の有効な画像信号を出力する。有効信号出力期間に、イメージセンサ１を駆動し、ＧＣＡ部２４でゲイン制御を行い、ＡＤ変換部２５でデジタルデータに変換し、パラレル／シリアルデータ出力部２９ａでパラレル／シリアル変換を行って、デジタル信号処理部Ｂにデータ出力を行う。すなわち、アナログフロントエンド２でのＧＣＡ部やＡＤ変換部による処理とデジタル信号処理部Ｂへの出力とが同時に進行する。
【特許文献１】特開２００５−２４４７０９号公報（第５−７頁、第１−３図）
【発明の開示】
【発明が解決しようとする課題】
【００１０】
しかし、図６の下３行に示すように、同時に動作進行しているデジタル信号処理部の動作ノイズの影響が考慮されていない。イメージセンサの駆動用パルスやイメージセンサの出力信号やその他のアナログフロントエンド内部のアナログ信号に対して、エネルギーの大きいデジタル信号処理部の出力バッファの動作ノイズや、画素クロックよりも高い周波数に逓倍されたメモリアクセスクロックやシリアルデータ出力用の高周波ノイズの折り返し成分が電源・ＧＮＤ要因や輻射要因でセンサ周辺部に悪影響を与える。その結果、信号のＳ／Ｎの劣化や、画像に折り返しノイズや固定パターンノイズが発生するという問題がある。
【００１１】
本発明は上記の問題に着目してなされたものであり、センサ周辺部からデジタル信号処理部へのデータ出力やデジタル信号処理部のタスク処理によってシステム動作ノイズが発生しても、センサ周辺部が取り扱う信号のＳ／Ｎ性能を劣化させないようにすることを目的としている。
【課題を解決するための手段】
【００１２】
（１）本発明による撮像処理システムは、被写体の光像を光電変換する固体撮像センサから出力されるアナログ電荷信号をデジタルデータに変換して、画像処理を行う撮像処理システムであって、
前記固体撮像センサの信号をデジタルデータに変換して出力する際、センサ信号の出力タイミングとは時間をずらしたブランキング期間に高速にデジタルデータを出力可能なセンサ周辺部と、
前記デジタルデータの入力に対して、前記ブランキング期間内で内部の動作を許可し、動作が許可された期間以外の期間は待機状態として最小限の動作をするデジタル信号処理部とを備えたものである。
【００１３】
この構成においては、センサ周辺部でＡＤ変換により生成されたデジタルデータをセンサ周辺部からデジタル信号処理部に出力する期間を、固体撮像センサのブランキング期間（主に水平ブランキング期間）に限っている。このブランキング期間は、固体撮像センサからのセンサ信号の出力タイミングすなわち有効信号出力期間を外した期間である。したがって、センサ周辺部からデジタル信号処理部へのデジタルデータの出力によって発生するノイズは、ブランキング期間に限定される。一方、デジタル信号処理部ではブランキング期間に限ってタスク処理を行うもので、デジタル信号処理部のタスク処理で発生するノイズもブランキング期間に限定される。すなわち、センサ周辺部からのデジタルデータの出力とデジタル信号処理部でのタスク処理とを同時に進行しないようにすることが可能となる。よって、デジタル信号処理部の動作やそのデータ出力によってシステム動作ノイズが発生しても、センサ周辺部におけるイメージセンサやＡＤ変換部等が取り扱う信号のＳ／Ｎ性能を劣化させないことになる。
【００１４】
（２）上記（１）の構成の撮像処理システムにおいて、前記センサ周辺部の構成について、
前記固体撮像センサからのアナログ電荷信号からノイズを除去して電荷信号を連続的な信号にする相関二重サンプリング部と、
前記相関二重サンプリング部からの出力信号のゲインを制御するとともにフィードバック制御により直流成分を制御するアンプ部と、
前記アンプ部からの出力信号をアナログ−デジタル変換するｎビットのＡＤ変換部と、
前記ＡＤ変換部から出力されるデータを一時的に書き込むメモリと、
書き込み周波数より速いｎ逓倍の周波数で前記メモリからデータを読み出すメモリ制御部と、
前記メモリから読み出されたデータを前記デジタル信号処理部に出力するデジタルデータ出力部と、
周期的なセンサ読み出し動作を実現するための同期信号生成部と、
前記同期信号生成部からの同期信号に基づいて前記固体撮像センサを駆動するパルスを発生するタイミングジェネレータと、
外部から入力されるクロックをｎ逓倍して前記メモリ制御部に供給するクロック逓倍部と、
外部ＣＰＵとのインターフェースとを備えた構成とすることが可能である。
【００１５】
これは、センサ周辺部の一般的な構成において、さらに、ＡＤ変換部から出力されるデータを一時的に書き込むメモリと、書き込み周波数より速いｎ逓倍の周波数で前記メモリからデータを読み出すメモリ制御部と、外部から入力されるクロックをｎ逓倍して前記メモリ制御部に供給するクロック逓倍部とを追加したことに言及したものである。ＡＤ変換部とデジタルデータ出力部との間にメモリを挿入し、このメモリをクロック逓倍部からの高速クロックで動作するメモリ制御部で制御することにより、上記（１）の作用効果を実現する。
【００１６】
（３）上記（２）の構成の撮像処理システムにおいて、前記センサ周辺部における前記データを一時的に書き込む前記メモリは、前記固体撮像センサの最低１ラインのデータをバッファできる容量とし、前記固体撮像センサの有効信号出力期間に有効データの書き込みを実施し、次の水平ブランキング期間内に高速に有効データを読み出すという態様がある。センサ周辺部からデジタル信号処理部への有効データの出力を水平ブランキング期間に限定しているので、有効信号出力期間を利用して出力する場合に比べて、時間的余裕がなくなるが、これをカバーするために、メモリから高速で有効データを読み出すようにしている。
【００１７】
（４）上記（１）〜（３）の構成の撮像処理システムにおいて、前記デジタル信号処理部は、
前記センサ周辺部から出力される有効データに対してＤＣ調整とゲイン調整を行う前処理部と、
前記前処理部からの有効データを記録する共用メモリと、
前記共用メモリに対して有効データの読み出しと書き込みの制御を行うメモリ制御部と、
前記共用メモリに記録された有効データを読み出して輝度信号処理と色信号処理を行う画像信号処理部と、
前記画像信号処理部によって処理された有効データに対して任意のリサイズ処理を行うリサイズ処理部と、
前記リサイズ処理部によるリサイズ後の有効データに対して圧縮伸張処理を行う圧縮伸張処理部と、
前記リサイズ処理部によりリサイズされた有効データから顔検出など所定の領域の検出を行う領域検出処理部と、
前記リサイズ処理部によりリサイズされた有効データを表示用に外部出力する表示処理部と、
外部の記録媒体やパソコンなどのインターフェースとなる外部Ｉ／Ｆ処理部と、
前記の各処理部の動作を制御するＣＰＵと、
前記外部から入力されるクロックをｎ逓倍またはｎ分周して各処理部に供給するクロック制御部とを備えているという態様がある。
【００１８】
これは、デジタル信号処理部の一般的な構成において、さらに、外部から入力されるクロックをｎ逓倍またはｎ分周して各処理部に供給するクロック制御部を追加したことに言及したものである。クロック制御部からの周波数制御されたクロックを用いて各処理部を制御することにより、上記（１）の作用効果を実現する。
【００１９】
（５）上記（４）の構成の撮像処理システムにおいて、前記デジタル信号処理部は、前記センサ周辺部から水平ブランキング期間内に高速に有効データが読み出されて入力される際、水平ブランキング期間での前記共用メモリへの取り込み動作時のみ、前記前処理部の動作を許可し、それ以外の期間は待機状態とし、他の処理部の動作の許可は、水平ブランキング期間に加えて、前記固体撮像センサの有効信号出力期間以外の垂直ブランキング期間での設定が可能に構成されているという態様がある。このように構成すれば、固体撮像センサの有効信号出力期間では動作を許可せず、待機状態に近い最小限の動作設定として共用メモリへのアクセスを行わない動作設定が可能となる。
【００２０】
（６）上記（１）〜（５）の撮像処理システムにおいて、前記デジタル信号処理部は、前記固体撮像センサの有効信号出力期間での待機状態に近い最小限の動作設定をする際、ＣＰＵの動作のみイネーブルとし、内部の各処理部を待機状態とするとともに、固体撮像センサの有効信号出力期間は前記ＣＰＵが外部のフラッシュメモリへのアクセスも行わない待機状態の設定が可能に構成されているという態様がある。このように構成すれば、デジタル信号処理部で固体撮像センサの有効信号出力期間に動作するのはＣＰＵに限定されるため、ノイズ発生は充分に抑制される。
【００２１】
（７）上記（１）〜（６）の撮像処理システムにおいて、前記センサ周辺部は、前記センサ周辺部から前記デジタル信号処理部への有効データ出力がパラレル出力の場合、水平ブランキング期間以外の有効信号出力期間ではデータ出力の電気的レベルを固定とするという態様がある。このように構成すれば、デジタル信号処理部の出力バッファ動作による電源・ＧＮＤノイズ成分を０にして、センサ信号出力や駆動パルスに与えるノイズを低減することが可能となる。
【００２２】
（８）上記（１）〜（６）の撮像処理システムにおいて、前記センサ周辺部は、パラレルデータをシリアルデータとして低電圧差動に変換して伝送するＬＶＤＳ方式でデータ出力する場合、水平ブランキング期間以外の有効信号出力期間ではＬＶＤＳを構成するデータ出力部を待機状態とし、出力レベルを固定論理とするという態様がある。このように構成すれば、ＬＶＤＳ動作による高周波電源・ＧＮＤノイズ成分を０にするとともに、ＬＶＤＳ部の消費電力を大幅に低減することが可能となる。
【００２３】
（９）上記（８）の撮像処理システムにおいて、前記デジタル信号処理部は、シリアルデータとしてＬＶＤＳで入力する場合、水平ブランキング期間以外の有効信号出力期間ではＬＶＤＳを構成するデータ入力部を待機状態とし、内部の出力レベルを固定論理とするという態様がある。このように構成すれば、ＬＶＤＳ動作による高周波電源・ＧＮＤノイズ成分を０にするとともに、ＬＶＤＳ部の消費電力を大幅に低減することが可能となる。
【００２４】
（１０）上記（１）〜（６）の撮像処理システムにおいて、前記センサ周辺部がパラレルデータをシリアルデータとして低電圧差動に変換して光デバイスを用いて光トランシーバを介して光ファイバで光伝送する方式でデータ出力する場合、当該センサ周辺部は、水平ブランキング期間以外の有効信号出力期間では前記光トランシーバと前記データ出力部とを待機状態とし、出力光レベルを暗レベルか明レベルとのうちのいずれかの状態にする、という態様がある。このように構成すれば、光トランシーバで高速光伝送（データ出力）する構成において消費電力を大幅に低減した状態で本発明を実施することが可能になる。
【００２５】
（１１）上記（１０）の撮像処理システムにおいて、前記センサ周辺部によって前記光トランシーバを介して前記光ファイバで光伝送する方式でデータ出力された光伝送データを、前記デジタル信号処理部が前記光ファイバを介して光レシーバで受け取る場合、当該デジタル信号処理部は、水平ブランキング期間以外の有効信号出力期間では前記光レシーバを構成するデータ入力部を待機状態とし、当該処理部内部の出力電気レベルを固定論理する、という態様がある。このように構成すれば、光レシーバで高速光伝送（受信）する構成において消費電力を大幅に低減した状態で本発明を実施することが可能になる。
【００２６】
（１２）上記（１０）の撮像処理システムにおいて、電源供給部をさらに備え、当該電源供給部は、前記センサ周辺部と前記デジタル信号処理部とが前記光ファイバを介して光伝送する際、前記センサ周辺部の基準ＧＮＤと前記デジタル信号処理部の基準ＧＮＤとを直接に接続することなく、当該センサ周辺部と当該デジタル信号処理部とにそれぞれ独立に電源供給する、という態様がある。このように構成すれば、センサ周辺部とデジタル信号処理部とにそれぞれ独立に電源供給するため、センサ周辺部とデジタル信号処理部とのうちの一方で生じるノイズ（デジタル信号処理部で生じるデジタルノイズ電流ループ等）の影響が、他方に及ぶことがなくなる。したがって、デジタル信号処理部の動作やそのデータ出力によってシステム動作ノイズが発生しても、センサ周辺部におけるイメージセンサやＡＤ変換部等が取り扱う信号のＳ／Ｎ性能を劣化させることはなくなる。
【００２７】
（１３）上記（８）の撮像処理システムにおいて、前記センサ周辺部における前記デジタルデータ出力部は、水平ブランキング期間を１とした有効信号出力期間の比率の小数部を繰り上げた整数にＡ／Ｄ変換後のデータバス幅の整数を掛け合わせた整数以上の逓倍の転送クロックでかつ水平ブランキング期間内で読み出し転送完了するという態様がある。このように構成すれば、センサ周辺部のデジタルデータ出力部からデジタル信号処理部へのデータ出力を水平ブランキング期間内に完了させることが確かなものとなる。
【００２８】
（１４）上記（２）の撮像処理システムにおいて、前記センサ周辺部における前記デジタルデータ出力部は、データ出力がパラレルの場合に、水平ブランキング期間内にデータの出力を完了するように転送レートが設定されているという態様がある。さらに、
（１５）上記（１４）の撮像処理システムにおいて、前記デジタルデータ出力部は、水平ブランキング期間を１とした有効信号出力期間の比率の小数部を繰り上げた整数以上の比率になるよう転送クロックを逓倍して、水平ブランキング期間内で読み出し転送完了するという態様がある。このように構成すれば、センサ周辺部のデジタルデータ出力部からデジタル信号処理部へのデータ出力を水平ブランキング期間内に完了させることが確かなものとなる。
【００２９】
（１６）本発明によるデジタルカメラは、上記（１）〜（１５）のいずれかの撮像処理システムが搭載されたものである。
【発明の効果】
【００３０】
本発明によれば、センサ周辺部からのデジタルデータの出力とデジタル信号処理部でのタスク処理とを同時に進行しないようにしており、センサ周辺部からデジタル信号処理部へのデータ出力やデジタル信号処理部のタスク処理によってシステム動作ノイズが発生しても、センサ周辺部における固体撮像センサやＡＤ変換部等が取り扱う信号のＳ／Ｎ性能を劣化させないようにすることができる。
【発明を実施するための最良の形態】
【００３１】
以下、本発明にかかわる撮像処理システムの実施の形態を図面を用いて詳細に説明する。
【００３２】
図１は本発明の実施の形態における撮像処理システムの構成を示すブロック図（デジタル信号処理部詳細）、図２はアナログフロントエンドの構成を詳しく示した撮像処理システムの構成を示すブロック図である。この撮像処理システムは、センサ周辺部Ａとデジタル信号処理部（ＤＳＰ）Ｂで構成される。センサ周辺部Ａは、イメージセンサ１とアナログフロントエンド２で構成される。
【００３３】
アナログフロントエンド２は、周期的な同期信号を発生する同期信号生成部（ＳＳＧ）２１と、イメージセンサ１を駆動するパルスを周期的に発生するタイミングジェネレータ（ＴＧ）２２と、イメージセンサ１から入力したアナログ電荷信号からノイズを除去するＣＤＳ（相関二重サンプリング）部２３と、信号のゲインを制御するとともにフィードバック制御により直流成分を制御するＧＣＡ（ゲインコントロールアンプ）部２４と、ＧＣＡ部２４の出力をＡＤ変換してデジタル信号である画像信号データ（ＲＧＢデータ）に変換するｎビットのＡＤ変換部２５と、ＡＤ変換部２５の出力データを一時的に格納するＲＡＭ２６と、ＲＡＭ２６に対するデータ書き込みと読み出しの制御を行うメモリ制御部２７と、外部から入力された入力クロックを逓倍して逓倍クロックを出力するクロック逓倍部２８と、水平ブランキング期間にＲＡＭ２６から読み出されたデータをパラレルデータ形式またはシリアルデータ形式でデジタル信号処理部Ｂに出力するデジタルデータ出力部２９と、外部ＣＰＵやデジタル信号処理部Ｂに内蔵のＣＰＵからアナログフロントエンド２の内部のレジスタにアクセスして初期設定および動作モードの変更などを行うＣＰＵインターフェース３０とを備えている。
【００３４】
以上のように構成されたアナログフロントエンド２は、イメージセンサ１が出力した画像信号をデジタル信号である画像信号データに変換し、その画像信号データをデジタル信号処理部Ｂに出力する。なお、アナログフロントエンド２は、出力のチャンネル数が１ｃｈの例である。
【００３５】
アナログフロントエンド２に接続されているイメージセンサ１は、レンズ（図示せず）を介して入射した撮像光をフォトダイオードなどによりアナログ電荷信号（アナログ点順次信号である画像信号）に変換するようになっている。また、イメージセンサ１は、与えられた駆動用パルス（垂直駆動パルスおよび水平駆動パルス）に同期して、周期的に１ライン分の画像信号を出力する。具体的には、イメージセンサ１は、水平同期信号ＨＢＬＫが“Ｌ”レベルの期間に、１ライン分の有効な画像信号を出力する。なお、イメージセンサ１が有効な画像信号を出力している期間を有効信号出力期間と呼び、画像信号の出力が無効な期間を水平ブランキング期間と呼ぶ。本実施の形態では、水平同期信号ＨＢＬＫが“Ｌ”レベルの期間が有効信号出力期間であり、水平同期信号ＨＢＬＫが“Ｈ”レベルの期間が水平ブランキング期間（無効期間）である。
【００３６】
デジタル信号処理部Ｂは、センサ周辺部Ａから出力される有効データに対してＤＣ調整とゲイン調整を行う前処理部３１、前処理部３１からの有効データを記録する共用メモリ３２、共用メモリに対して有効データの読み出しと書き込みの制御を行うメモリ制御部３３、共用メモリ３３に記録された有効データを読み出して輝度信号処理と色信号処理を行う画像信号処理部３４、画像信号処理部３４によって処理された有効データに対して任意のリサイズ処理を行うリサイズ処理部３５、リサイズ処理部３５によるリサイズ後の有効データに対して圧縮伸張処理を行う圧縮伸張処理部３６、リサイズ処理部３５によりリサイズされた有効データから顔検出など所定の領域の検出を行う領域検出処理部３７、リサイズ処理部３５によりリサイズされた有効データを表示用に外部出力する表示処理部３８、外部の記録媒体やパソコンなどのインターフェースとなる外部Ｉ／Ｆ処理部３９などを有するＤＳＰ（Digital Signal Processor）である。このデジタル信号処理部Ｂは、アナログフロントエンド２から入力されたデータを一時的に格納する共用メモリ３２を有しており、フラッシュメモリ４０から実行プログラムを読み出して動作するＣＰＵ４１による制御で共用メモリ３２にアクセスして前記各種処理を実施できるようになっている。クロック制御部４２は、外部から入力されるクロックをｎ逓倍またはｎ分周して各処理部に供給するようになっている。
【００３７】
次にセンサ周辺部Ａの動作を説明する。
【００３８】
ＣＰＵインターフェース３０は、外部ＣＰＵやデジタル信号処理部Ｂに内蔵のＣＰＵからアナログフロントエンド２の内部のレジスタにアクセスして初期設定および動作モードの変更などを行う。同期信号生成部２１は、周期的な水平同期信号・垂直同期信号を生成する。水平ブランキング信号は水平同期信号に含まれている。タイミングジェネレータ２２は、同期信号生成部２１の出力に応じ、イメージセンサ１の駆動用パルス（垂直駆動パルスおよび水平駆動パルス）を発生する。
【００３９】
ＣＤＳ部２３は、相関２重サンプリング法等に基づいて、イメージセンサ１の出力（アナログの画像信号）に含まれたノイズを低減する。詳しくは、ＣＤＳ部２３はサンプルホールド回路を有し、このサンプルホールド回路によって１／ｆノイズを低減して、連続信号に変換する。ＧＣＡ部２４は、ＣＤＳ部２３の出力を所定の振幅にゲインコントロールするとともに、フィードバック制御により直流成分を制御する。ＡＤ変換部２５は、ＧＣＡ部２４の出力をＡＤ変換してデジタル信号である画像信号データ（ＲＧＢデータ）に変換する。ＲＡＭ２６は、ＡＤ変換部２５の出力を一時的に格納する。メモリ制御部２７は、ＲＡＭ２６に対するデータ書き込みと読み出しの制御を行う。具体的には、メモリ制御部２７は、イメージセンサ１から有効データが出力されている期間には、ＡＤ変換部２５の出力をＲＡＭ２６に書き込む。また、水平ブランキング期間には、ＲＡＭ２６に書き込まれている１ライン分の有効データを読み出す。この読み出しは、アナログフロントエンド２の外部から入力された入力クロックを逓倍した逓倍クロックに同期して行う。デジタルデータ出力部２９は、水平ブランキング期間にＲＡＭ２６から読み出されたデータをパラレルデータ形式またはシリアルデータ形式でデジタル信号処理部Ｂに逓倍クロックに同期して出力する。
【００４０】
次に、アナログフロントエンド２の動作を図３のタイミングチャートを参照しつつ説明する。
【００４１】
タイミングジェネレータ２２が垂直駆動パルスおよび水平駆動パルスを生成すると、イメージセンサ１が所定の周期で画像信号を出力する。イメージセンサ１が出力した画像信号は、ＣＤＳ部２３でノイズが低減された後、ＧＣＡ部２４によって所定の振幅にゲインコントロールされてＡＤ変換部２５に出力される。ＡＤ変換部２５は、入力された画像信号をＡＤ変換して有効データとして出力する。メモリ制御部２７は、ＡＤ変換部２５が出力した有効データをＲＡＭ２６に格納する。図３ではＲＡＭ２６をラインバッファとしている。次に、メモリ制御部２７は、次の水平ブランキング期間に、ＲＡＭ２６に格納された１ライン分の有効データをクロック逓倍部２８が出力する逓倍クロックに同期して高速に読み出す。デジタルデータ出力部２９は、メモリ制御部２７によって読み出された有効データを、水平ブランキング期間中に前記の逓倍クロックに同期してデジタル信号処理部Ｂに出力する。すなわち、アナログフロントエンド２のデータ出力による動作ノイズの発生期間は、水平ブランキング期間に限定されている。
【００４２】
次に、デジタル信号処理部Ｂの動作を図３のタイミングチャートを参照しつつ説明する。
【００４３】
デジタルデータ出力部２９が水平ブランキング期間中にデータを出力すると、デジタル信号処理部Ｂにおいて、水平ブランキング期間中に、前処理部３１にて１ライン分の有効データに対するオフセット処理やゲイン処理等が行われ、メモリ制御部３３を介して共用メモリ３２に書き込まれる。共用メモリ３２に書き込まれた有効データは、メモリ制御部３３を介して画像信号処理部３４、リサイズ処理部３５、圧縮伸張処理部３６、領域検出処理部３７、表示処理部３８、外部Ｉ／Ｆ処理部３９などに送られ、各種タスク処理が任意に行われる。
【００４４】
このデジタル信号処理部Ｂでメモリ制御部３３を介して実施する上記各種タスク処理に当たっては、ＣＰＵ４１がフラッシュメモリ４０から実行プログラムを読み出して制御する。
【００４５】
有効データが取り込まれる水平ブランキング期間中にのみ、上記タスク処理を実施する方法としては、
１．ＣＰＵ４１で制御を行う方法、
２．センサ周辺部Ａから入力されるかもしくはデジタル信号処理部Ｂの内部で発生した水平ブランキング信号を動作のイネーブル信号として使用する方法、
３．上記２つを組み合わせて行う方法、
などの実現方法がある。
【００４６】
本実施の形態においては、水平ブランキング期間中にのみ、必要なデジタル信号処理による共用メモリ３２へのアクセス処理とＣＰＵ４１のフラッシュメモリ４０へのアクセスを実施することで、デジタル信号処理部Ｂによる動作ノイズの発生を水平ブランキング期間中にのみ限定する。
【００４７】
上記のように、本実施の形態の撮像処理システムでは、データ出力が有効信号出力期間には行われず、水平ブランキング期間に行われ、後段のデジタル画像処理も水平ブランキング期間中に実施されるので、データ出力と画像処理によって動作ノイズが発生しても、イメージセンサ１、ＣＤＳ部２３、ＧＣＡ部２４、ＡＤ変換部２５が取り扱う信号のＳ／Ｎ性能を劣化しないようにすることが可能になる。
【００４８】
なお、外部への出力データをパラレルデータとするようにアナログフロントエンド２を構成する場合には、デジタルデータ出力部２９におけるデータ出力の電気的レベルを、有効信号出力期間には固定とするとよい。これにより、デジタル信号処理部Ｂの出力バッファの動作による電源・ＧＮＤノイズ成分を０にして、イメージセンサ１の駆動用パルスに与えるノイズを低減することが可能になる。
【００４９】
また、デジタルデータ出力部２９に差動アンプを設けて、外部へ出力するデータをＬＶＤＳ方式によるシリアルデータとして出力するように構成してもよい。ＬＶＤＳ（Low Voltage Differential Signaling）とは、パラレル信号を低電圧差動のシリアル信号に変換して伝送するＩ／Ｏ規格の一種として知られているものである。ＬＶＤＳ方式によるシリアルデータとして出力する場合には、有効信号出力期間では、差動アンプの定電流源をオフにするとともに、出力レベルを固定論理とするとよい。これにより、ＬＶＤＳ動作による高周波電源・ＧＮＤノイズ成分を０にすることが可能になり、さらにデジタルデータ出力部２９の消費電力を大幅に低減することが可能になる。
【００５０】
また、デジタルデータ出力部２９は、水平ブランキング期間内にデータの出力を完了するように、転送レートを設定するのがよい。具体的には、例えば、デジタルデータ出力部２９がデータをパラレルデータとして出力するように構成されている場合には、次のようにして、転送クロックのレートを設定する。まず、水平ブランキング期間に対する有効信号出力期間の比率を求め、求めた比率の小数部を繰り上げた整数（逓倍率）を求める。そして、求めた逓倍率倍に、画素クロックを逓倍して転送クロックを生成する。
【００５１】
また、デジタルデータ出力部２９がＬＶＤＳ方式でシリアルデータを出力するように構成されている場合には、次のようにして、転送クロックのレートを設定する。まず、水平ブランキング期間に対する有効信号出力期間の比率を求め、求めた比率の小数部を繰り上げた整数を求める。次に、求めた整数に、Ａ／Ｄ変換後のデータバス幅の整数を掛け合わせた整数（逓倍率）を求める。そして、求めた逓倍率倍に画素クロックを逓倍して転送クロックを生成する。
【００５２】
また、レンズやモニタ等とともに、本実施の形態の撮像処理システムを組み込んで撮像装置（デジタルカメラ）を構成すれば、高品質なセンサデータを出力する撮像装置を構成することが可能になる。
【００５３】
また、アナログフロントエンド２における出力チャンネル数は、上記で例示した１ｃｈに限定されない。すなわち、チャンネル数は、イメージセンサ１の仕様に応じて決定すればよい。
【００５４】
以上説明した実施の形態では、ＬＶＤＳによる高速メタル伝送システムにおいて本発明を実施した。次に、本発明を高速光伝送システムにおいて本発明を実施した本発明の他の実施の形態を、図４を参照して説明する。この実施の形態では、センサ周辺部Ａがパラレルデータをシリアルデータとして低電圧差動信号に変換して光伝送する方式でデータ出力するとともに、その光伝送データを、デジタル信号処理部Ｂが受信する構成において本発明が実施される。
【００５５】
本実施の形態の構成は、基本的には、図１〜図３（特に図２）を参照して先に説明した実施の形態の構成と同様の構成を備える。そのため、図４においては、図１〜図３と同一ないし同様の部分に同一の符号を付しておりそれらについての説明は省略する。本実施の形態では、新たに、センサ周辺部Ａは光トランシーバ４０を備え、デジタル処理部Ｃは光レシーバ４１を備える。デジタル処理部Ｃはデジタル信号処理部Ｂを含む。光トランシーバ４０と光レシーバ４１とは、光ファイバＤを介してデータを光伝送する。光トランシーバ４０と光レシーバ４１と光ファイバＤとにより光デバイス４３が構成される。さらには、本実施の形態では、センサ周辺部Ａとデジタル処理部Ｃとに供給する電源を制御する電源供給部４２を備える。
【００５６】
以上の構成を備える本実施形態の撮像システムでは、センサ周辺部Ａがパラレルデータをシリアルデータとして低電圧差動信号に変換して光デバイス４３を用いて光トランシーバ４０を介して光ファイバＣで光伝送する方式でデータ出力したうえで、そのようにして伝送される光伝送データを、デジタル信号処理部Ｂが光ファイバＣを介して光レシーバ４１で受け取る。
【００５７】
上記光伝送を実施するうえで、センサ周辺部Ａは、水平ブランキング期間以外の有効信号出力期間では光トランシーバ４０とデータ出力部２９とを待機状態にするとともに、出力光レベルを暗レベルまたは明レベルにする。水平ブランキング期間でセンサ周辺部Ａは、光トランシーバ４０とデジタルデータ出力部２９とを稼働可能状態にするとともに、水平ブランキング期間以外の期間において固定していた出力光レベルを可変制御可能状態にする。一方、デジタル信号処理部Ｂは、水平ブランキング期間以外の有効信号出力期間では光レシーバ４（データ入力部）を待機状態とするとともに、デジタル信号処理部Ｂ内部の出力電気レベルを固定論理にする。水平ブランキング期間でデジタル信号処理部Ｂは、光レシーバ４を稼働可能状態にするとともに、水平ブランキング期間以外の期間において固定していた出力電気レベルを可変制御可能状態にする。以上の構成を備えることで本実施の形態では、高速光伝送システムにおいて消費電力を大幅に低減した状態で本発明を実施することが可能となる。
【００５８】
なお、センサ周辺Ａとデジタル信号処理部Ｂとの間で光ファイバＣを介した光伝送が実施される際において電源供給部４２は、センサ周辺部Ａの基準ＧＮＤとデジタル信号処理部Ｂの基準ＧＮＤとを互いに直接に接続することなく、センサ周辺部Ａとデジタル信号処理部Ｂとにそれぞれ独立して電源を供給する。具体的には、電源供給部４２は、センサ周辺部Ａに電源１を供給し、デジタル信号処理部Ｂに電源２を供給する。センサ周辺部Ａに接続される基準ＧＮＤ１とデジタル処理部Ｂに接続される基準ＧＮＤ２とは互いに直接に接続されていない。また、光伝送路（光ファイバＣ）は、その構造上、ＧＮＤ接続されていない。以上の構成を備えることで、デジタル処理部Ｃで発生するデジタルノイズ電流ループの影響がセンサ周辺部Ａに及ぶことはなくなる。したがって、デジタル信号処理部Ｂの動作やそのデータ出力によってシステム動作ノイズが発生しても、センサ周辺部Ａにおけるイメージセンサ１やＡＤ変換部２５等が取り扱う信号のＳ／Ｎ性能が劣化することはない。なお、デジタル処理部Ｃと電源供給部４２との間に広帯域バイパスコンデンサを設ければ、デジタルノイズ電流ループの影響そのものを積極的に排除することができる。
【産業上の利用可能性】
【００５９】
本発明の撮像処理システムは、センサ周辺部でのＡＤ変換によって生成したデジタルデータが、イメージセンサの出力が無効である水平ブランキング期間においてセンサ周辺部からデジタル信号処理部へ出力され、同時にデジタル信号処理が実施される。デジタルデータの出力およびデジタル信号処理動作と、ＡＤ変換等の他の回路の動作とが同時に進行しないので、データ出力およびデジタル信号処理によって動作ノイズが発生しても、イメージセンサやＡＤ変換部等を含むセンサ周辺部が取り扱う信号のＳ／Ｎ性能を劣化しないようにできるという効果を有し、デジタルカメラ用の固体撮像センサから出力された映像信号（アナログ電荷信号）を、そのアナログ電荷信号に対応したデジタルデータに変換して出力し、画像処理を行う撮像処理システム等として有用である。
【図面の簡単な説明】
【００６０】
【図１】本発明の実施の形態における撮像処理システムの構成を示すブロック図（デジタル信号処理部詳細）
【図２】本発明の実施の形態における撮像処理システムの構成を示すブロック図（アナログフロントエンド詳細）
【図３】本発明の実施の形態における撮像処理システムの動作を示すタイミングチャート
【図４】本発明の他の実施の形態における撮像処理システムの構成を示すブロック図（アナログフロントエンド詳細）
【図５】従来の技術における撮像処理システムの構成を示すブロック図
【図６】従来の技術における撮像処理システムの動作を示すタイミングチャート
【符号の説明】
【００６１】
Ａ センサ周辺部
Ｂ デジタル信号処理部
１ イメージセンサ（固体撮像センサ；センサ周辺部の構成要素）
２ アナログフロントエンド（センサ周辺部の構成要素）
２１ 同期信号生成部
２２ タイミングジェネレータ
２３ ＣＤＳ部（相関二重サンプリング部）
２４ ＧＣＡ部（ゲインコントロールアンプ部）
２５ ＡＤ変換部
２６ ＲＡＭ（ＡＤ変換部から出力されるデータを一時的に書き込むメモリ）
２７ メモリ制御部
２８ クロック逓倍部
２９ デジタルデータ出力部
３０ ＣＰＵインターフェース
３１ 前処理部
３２ 共用メモリ
３３ メモリ制御部
３４ 画像信号処理部
３５ リサイズ処理部
３６ 圧縮伸張処理部
３７ 領域検出処理部
３８ 表示処理部
３９ 外部Ｉ／Ｆ処理部
４０ フラッシュメモリ
４１ システム制御用のＣＰＵ
４２ クロック制御部（逓倍／分周）
【技術分野】
【０００１】
本発明は、デジタルカメラ用のイメージセンサ等の固体撮像センサから出力される映像信号（アナログ電荷信号）を、そのアナログ電荷信号に対応したデジタルデータに変換して出力したのち、デジタル画像信号処理を行う撮像処理システムに関する。
【背景技術】
【０００２】
近年、カメラ業界において、アナログ技術からデジタル技術への移行には目覚ましいものがある。特にフィルムも現像も不要なデジタルスチルカメラは活況を呈している。携帯電話もカメラ搭載型が主流を占めるようになり、デジタルスチルカメラにおける高画素化や画像処理による画質の向上には著しいものがある。
【０００３】
上記のデジタルスチルカメラには、センサ周辺部として、固体撮像センサから出力される画像信号（アナログ電荷信号）を、そのアナログ電荷信号に対応したデジタルデータに変換して出力するアナログフロントエンドが組み込まれる。ここで、固体撮像センサやデジタル信号処理部（ＤＳＰ：Digital Signal Processor）もアナログフロントエンドと同様にそれぞれ半導体集積回路化され、これらの半導体集積回路がプリント配線基板上に実装されて撮像処理システムが構成される。
【０００４】
図５は従来の撮像処理システムの構成を示すブロック図である。Ａはセンサ周辺部、Ｂは画像処理などを行うデジタル信号処理部、１は固体撮像センサとしてのＭＯＳ型のイメージセンサ、２はアナログフロントエンド、２１は周期的な同期信号を発生する同期信号生成部（ＳＳＧ）、２２はイメージセンサ１を駆動するためのパルスを発生するタイミングジェネレータ（ＴＧ）、２３はＣＤＳ（相関二重サンプリング）部、２４はＧＣＡ（ゲインコントロールアンプ）部、２５はＡＤ変換部、２８は外部からの入力クロックを逓倍して出力するクロック逓倍部、２９ａはパラレル／シリアルデータ出力部、３０はＣＰＵインターフェースである。
【０００５】
アナログフロントエンド２によって出力されたデジタルデータは、デジタル信号処理部Ｂによって、輝度信号処理、色分離処理、カラーマトリクス処理などの各種の画像処理を受ける。
【０００６】
撮像処理システムにおいて表示画面に現われるノイズの原因について考察する。ＡＤ変換された有効データをデジタル信号処理部Ｂへ伝達する。このＡＤ変換を行うアナログフロントエンド２が有効データを出力する際に電源ノイズが発生する。この電源ノイズが、プリント配線基板上の電源ライン（Ｖｃｃラインおよびグランドライン）を介してイメージセンサ１側に回り込む。そして、アナログフロントエンド２へ入力される画像信号に侵入したり、アナログフロントエンド２の内部で電源ラインや半導体基板を通して出力回路側から入力端子側へ回り込む。これらが表示画面に現われるノイズの主な原因である。
【０００７】
もともとＬＳＩの出力回路は、外部のプリント配線等チップ内部に比べて大きな負荷を駆動する必要がある。そのため、出力用素子もＡＤ変換部などの内部回路を構成する素子に比べて大きなサイズ（１０倍以上）のものが使用され、比較的多くの電流が流れるように設計するのが一般的である。出力信号の切り替わりの際に大きな貫通電流と負荷のドライブ電流が流れて電源にノイズがのると考えられる。また、出力回路で発生したノイズは基板を通して入力回路以外の内部回路にも伝播する。アナログフロントエンド２では入力アナログ信号を増幅するＰＧＡ（プログラマブル・ゲイン・アンプ）のような増幅回路を有するため、入力側に伝播したノイズも画像信号と共に増幅されてしまい、表示画質の低下につながることとなる。
【０００８】
このようにセンサ周辺部では、消費電力やノイズを低減する必要があるため、アナログフロントエンドとデジタル信号処理部との間の信号の変化数や信号数を減らす必要がある。信号の変化数や信号数を減らすためには、例えば、イメージセンサの各チャンネル出力に応じてデジタル信号に変換する複数のｎビットＡＤ変換部と、ｎビットＡＤ変換部の出力をＰＬＬ回路の出力に応じてシリアルデータに変換する複数のＰＳ（パラレル／シリアル）変換部とを設けて、デジタル信号処理部への伝送の信号数を削減するようにしたものがある（例えば特許文献１）。
【０００９】
図６は従来の技術における撮像処理システムの動作を示すタイミングチャートである。ＨＢＬＫは水平同期信号である。水平同期信号ＨＢＬＫが“Ｈ”レベルの水平ブランキング期間では画像信号の出力が無効である。水平同期信号ＨＢＬＫが“Ｌ”レベルの有効信号出力期間に、１ライン分の有効な画像信号を出力する。有効信号出力期間に、イメージセンサ１を駆動し、ＧＣＡ部２４でゲイン制御を行い、ＡＤ変換部２５でデジタルデータに変換し、パラレル／シリアルデータ出力部２９ａでパラレル／シリアル変換を行って、デジタル信号処理部Ｂにデータ出力を行う。すなわち、アナログフロントエンド２でのＧＣＡ部やＡＤ変換部による処理とデジタル信号処理部Ｂへの出力とが同時に進行する。
【特許文献１】特開２００５−２４４７０９号公報（第５−７頁、第１−３図）
【発明の開示】
【発明が解決しようとする課題】
【００１０】
しかし、図６の下３行に示すように、同時に動作進行しているデジタル信号処理部の動作ノイズの影響が考慮されていない。イメージセンサの駆動用パルスやイメージセンサの出力信号やその他のアナログフロントエンド内部のアナログ信号に対して、エネルギーの大きいデジタル信号処理部の出力バッファの動作ノイズや、画素クロックよりも高い周波数に逓倍されたメモリアクセスクロックやシリアルデータ出力用の高周波ノイズの折り返し成分が電源・ＧＮＤ要因や輻射要因でセンサ周辺部に悪影響を与える。その結果、信号のＳ／Ｎの劣化や、画像に折り返しノイズや固定パターンノイズが発生するという問題がある。
【００１１】
本発明は上記の問題に着目してなされたものであり、センサ周辺部からデジタル信号処理部へのデータ出力やデジタル信号処理部のタスク処理によってシステム動作ノイズが発生しても、センサ周辺部が取り扱う信号のＳ／Ｎ性能を劣化させないようにすることを目的としている。
【課題を解決するための手段】
【００１２】
（１）本発明による撮像処理システムは、被写体の光像を光電変換する固体撮像センサから出力されるアナログ電荷信号をデジタルデータに変換して、画像処理を行う撮像処理システムであって、
前記固体撮像センサの信号をデジタルデータに変換して出力する際、センサ信号の出力タイミングとは時間をずらしたブランキング期間に高速にデジタルデータを出力可能なセンサ周辺部と、
前記デジタルデータの入力に対して、前記ブランキング期間内で内部の動作を許可し、動作が許可された期間以外の期間は待機状態として最小限の動作をするデジタル信号処理部とを備えたものである。
【００１３】
この構成においては、センサ周辺部でＡＤ変換により生成されたデジタルデータをセンサ周辺部からデジタル信号処理部に出力する期間を、固体撮像センサのブランキング期間（主に水平ブランキング期間）に限っている。このブランキング期間は、固体撮像センサからのセンサ信号の出力タイミングすなわち有効信号出力期間を外した期間である。したがって、センサ周辺部からデジタル信号処理部へのデジタルデータの出力によって発生するノイズは、ブランキング期間に限定される。一方、デジタル信号処理部ではブランキング期間に限ってタスク処理を行うもので、デジタル信号処理部のタスク処理で発生するノイズもブランキング期間に限定される。すなわち、センサ周辺部からのデジタルデータの出力とデジタル信号処理部でのタスク処理とを同時に進行しないようにすることが可能となる。よって、デジタル信号処理部の動作やそのデータ出力によってシステム動作ノイズが発生しても、センサ周辺部におけるイメージセンサやＡＤ変換部等が取り扱う信号のＳ／Ｎ性能を劣化させないことになる。
【００１４】
（２）上記（１）の構成の撮像処理システムにおいて、前記センサ周辺部の構成について、
前記固体撮像センサからのアナログ電荷信号からノイズを除去して電荷信号を連続的な信号にする相関二重サンプリング部と、
前記相関二重サンプリング部からの出力信号のゲインを制御するとともにフィードバック制御により直流成分を制御するアンプ部と、
前記アンプ部からの出力信号をアナログ−デジタル変換するｎビットのＡＤ変換部と、
前記ＡＤ変換部から出力されるデータを一時的に書き込むメモリと、
書き込み周波数より速いｎ逓倍の周波数で前記メモリからデータを読み出すメモリ制御部と、
前記メモリから読み出されたデータを前記デジタル信号処理部に出力するデジタルデータ出力部と、
周期的なセンサ読み出し動作を実現するための同期信号生成部と、
前記同期信号生成部からの同期信号に基づいて前記固体撮像センサを駆動するパルスを発生するタイミングジェネレータと、
外部から入力されるクロックをｎ逓倍して前記メモリ制御部に供給するクロック逓倍部と、
外部ＣＰＵとのインターフェースとを備えた構成とすることが可能である。
【００１５】
これは、センサ周辺部の一般的な構成において、さらに、ＡＤ変換部から出力されるデータを一時的に書き込むメモリと、書き込み周波数より速いｎ逓倍の周波数で前記メモリからデータを読み出すメモリ制御部と、外部から入力されるクロックをｎ逓倍して前記メモリ制御部に供給するクロック逓倍部とを追加したことに言及したものである。ＡＤ変換部とデジタルデータ出力部との間にメモリを挿入し、このメモリをクロック逓倍部からの高速クロックで動作するメモリ制御部で制御することにより、上記（１）の作用効果を実現する。
【００１６】
（３）上記（２）の構成の撮像処理システムにおいて、前記センサ周辺部における前記データを一時的に書き込む前記メモリは、前記固体撮像センサの最低１ラインのデータをバッファできる容量とし、前記固体撮像センサの有効信号出力期間に有効データの書き込みを実施し、次の水平ブランキング期間内に高速に有効データを読み出すという態様がある。センサ周辺部からデジタル信号処理部への有効データの出力を水平ブランキング期間に限定しているので、有効信号出力期間を利用して出力する場合に比べて、時間的余裕がなくなるが、これをカバーするために、メモリから高速で有効データを読み出すようにしている。
【００１７】
（４）上記（１）〜（３）の構成の撮像処理システムにおいて、前記デジタル信号処理部は、
前記センサ周辺部から出力される有効データに対してＤＣ調整とゲイン調整を行う前処理部と、
前記前処理部からの有効データを記録する共用メモリと、
前記共用メモリに対して有効データの読み出しと書き込みの制御を行うメモリ制御部と、
前記共用メモリに記録された有効データを読み出して輝度信号処理と色信号処理を行う画像信号処理部と、
前記画像信号処理部によって処理された有効データに対して任意のリサイズ処理を行うリサイズ処理部と、
前記リサイズ処理部によるリサイズ後の有効データに対して圧縮伸張処理を行う圧縮伸張処理部と、
前記リサイズ処理部によりリサイズされた有効データから顔検出など所定の領域の検出を行う領域検出処理部と、
前記リサイズ処理部によりリサイズされた有効データを表示用に外部出力する表示処理部と、
外部の記録媒体やパソコンなどのインターフェースとなる外部Ｉ／Ｆ処理部と、
前記の各処理部の動作を制御するＣＰＵと、
前記外部から入力されるクロックをｎ逓倍またはｎ分周して各処理部に供給するクロック制御部とを備えているという態様がある。
【００１８】
これは、デジタル信号処理部の一般的な構成において、さらに、外部から入力されるクロックをｎ逓倍またはｎ分周して各処理部に供給するクロック制御部を追加したことに言及したものである。クロック制御部からの周波数制御されたクロックを用いて各処理部を制御することにより、上記（１）の作用効果を実現する。
【００１９】
（５）上記（４）の構成の撮像処理システムにおいて、前記デジタル信号処理部は、前記センサ周辺部から水平ブランキング期間内に高速に有効データが読み出されて入力される際、水平ブランキング期間での前記共用メモリへの取り込み動作時のみ、前記前処理部の動作を許可し、それ以外の期間は待機状態とし、他の処理部の動作の許可は、水平ブランキング期間に加えて、前記固体撮像センサの有効信号出力期間以外の垂直ブランキング期間での設定が可能に構成されているという態様がある。このように構成すれば、固体撮像センサの有効信号出力期間では動作を許可せず、待機状態に近い最小限の動作設定として共用メモリへのアクセスを行わない動作設定が可能となる。
【００２０】
（６）上記（１）〜（５）の撮像処理システムにおいて、前記デジタル信号処理部は、前記固体撮像センサの有効信号出力期間での待機状態に近い最小限の動作設定をする際、ＣＰＵの動作のみイネーブルとし、内部の各処理部を待機状態とするとともに、固体撮像センサの有効信号出力期間は前記ＣＰＵが外部のフラッシュメモリへのアクセスも行わない待機状態の設定が可能に構成されているという態様がある。このように構成すれば、デジタル信号処理部で固体撮像センサの有効信号出力期間に動作するのはＣＰＵに限定されるため、ノイズ発生は充分に抑制される。
【００２１】
（７）上記（１）〜（６）の撮像処理システムにおいて、前記センサ周辺部は、前記センサ周辺部から前記デジタル信号処理部への有効データ出力がパラレル出力の場合、水平ブランキング期間以外の有効信号出力期間ではデータ出力の電気的レベルを固定とするという態様がある。このように構成すれば、デジタル信号処理部の出力バッファ動作による電源・ＧＮＤノイズ成分を０にして、センサ信号出力や駆動パルスに与えるノイズを低減することが可能となる。
【００２２】
（８）上記（１）〜（６）の撮像処理システムにおいて、前記センサ周辺部は、パラレルデータをシリアルデータとして低電圧差動に変換して伝送するＬＶＤＳ方式でデータ出力する場合、水平ブランキング期間以外の有効信号出力期間ではＬＶＤＳを構成するデータ出力部を待機状態とし、出力レベルを固定論理とするという態様がある。このように構成すれば、ＬＶＤＳ動作による高周波電源・ＧＮＤノイズ成分を０にするとともに、ＬＶＤＳ部の消費電力を大幅に低減することが可能となる。
【００２３】
（９）上記（８）の撮像処理システムにおいて、前記デジタル信号処理部は、シリアルデータとしてＬＶＤＳで入力する場合、水平ブランキング期間以外の有効信号出力期間ではＬＶＤＳを構成するデータ入力部を待機状態とし、内部の出力レベルを固定論理とするという態様がある。このように構成すれば、ＬＶＤＳ動作による高周波電源・ＧＮＤノイズ成分を０にするとともに、ＬＶＤＳ部の消費電力を大幅に低減することが可能となる。
【００２４】
（１０）上記（１）〜（６）の撮像処理システムにおいて、前記センサ周辺部がパラレルデータをシリアルデータとして低電圧差動に変換して光デバイスを用いて光トランシーバを介して光ファイバで光伝送する方式でデータ出力する場合、当該センサ周辺部は、水平ブランキング期間以外の有効信号出力期間では前記光トランシーバと前記データ出力部とを待機状態とし、出力光レベルを暗レベルか明レベルとのうちのいずれかの状態にする、という態様がある。このように構成すれば、光トランシーバで高速光伝送（データ出力）する構成において消費電力を大幅に低減した状態で本発明を実施することが可能になる。
【００２５】
（１１）上記（１０）の撮像処理システムにおいて、前記センサ周辺部によって前記光トランシーバを介して前記光ファイバで光伝送する方式でデータ出力された光伝送データを、前記デジタル信号処理部が前記光ファイバを介して光レシーバで受け取る場合、当該デジタル信号処理部は、水平ブランキング期間以外の有効信号出力期間では前記光レシーバを構成するデータ入力部を待機状態とし、当該処理部内部の出力電気レベルを固定論理する、という態様がある。このように構成すれば、光レシーバで高速光伝送（受信）する構成において消費電力を大幅に低減した状態で本発明を実施することが可能になる。
【００２６】
（１２）上記（１０）の撮像処理システムにおいて、電源供給部をさらに備え、当該電源供給部は、前記センサ周辺部と前記デジタル信号処理部とが前記光ファイバを介して光伝送する際、前記センサ周辺部の基準ＧＮＤと前記デジタル信号処理部の基準ＧＮＤとを直接に接続することなく、当該センサ周辺部と当該デジタル信号処理部とにそれぞれ独立に電源供給する、という態様がある。このように構成すれば、センサ周辺部とデジタル信号処理部とにそれぞれ独立に電源供給するため、センサ周辺部とデジタル信号処理部とのうちの一方で生じるノイズ（デジタル信号処理部で生じるデジタルノイズ電流ループ等）の影響が、他方に及ぶことがなくなる。したがって、デジタル信号処理部の動作やそのデータ出力によってシステム動作ノイズが発生しても、センサ周辺部におけるイメージセンサやＡＤ変換部等が取り扱う信号のＳ／Ｎ性能を劣化させることはなくなる。
【００２７】
（１３）上記（８）の撮像処理システムにおいて、前記センサ周辺部における前記デジタルデータ出力部は、水平ブランキング期間を１とした有効信号出力期間の比率の小数部を繰り上げた整数にＡ／Ｄ変換後のデータバス幅の整数を掛け合わせた整数以上の逓倍の転送クロックでかつ水平ブランキング期間内で読み出し転送完了するという態様がある。このように構成すれば、センサ周辺部のデジタルデータ出力部からデジタル信号処理部へのデータ出力を水平ブランキング期間内に完了させることが確かなものとなる。
【００２８】
（１４）上記（２）の撮像処理システムにおいて、前記センサ周辺部における前記デジタルデータ出力部は、データ出力がパラレルの場合に、水平ブランキング期間内にデータの出力を完了するように転送レートが設定されているという態様がある。さらに、
（１５）上記（１４）の撮像処理システムにおいて、前記デジタルデータ出力部は、水平ブランキング期間を１とした有効信号出力期間の比率の小数部を繰り上げた整数以上の比率になるよう転送クロックを逓倍して、水平ブランキング期間内で読み出し転送完了するという態様がある。このように構成すれば、センサ周辺部のデジタルデータ出力部からデジタル信号処理部へのデータ出力を水平ブランキング期間内に完了させることが確かなものとなる。
【００２９】
（１６）本発明によるデジタルカメラは、上記（１）〜（１５）のいずれかの撮像処理システムが搭載されたものである。
【発明の効果】
【００３０】
本発明によれば、センサ周辺部からのデジタルデータの出力とデジタル信号処理部でのタスク処理とを同時に進行しないようにしており、センサ周辺部からデジタル信号処理部へのデータ出力やデジタル信号処理部のタスク処理によってシステム動作ノイズが発生しても、センサ周辺部における固体撮像センサやＡＤ変換部等が取り扱う信号のＳ／Ｎ性能を劣化させないようにすることができる。
【発明を実施するための最良の形態】
【００３１】
以下、本発明にかかわる撮像処理システムの実施の形態を図面を用いて詳細に説明する。
【００３２】
図１は本発明の実施の形態における撮像処理システムの構成を示すブロック図（デジタル信号処理部詳細）、図２はアナログフロントエンドの構成を詳しく示した撮像処理システムの構成を示すブロック図である。この撮像処理システムは、センサ周辺部Ａとデジタル信号処理部（ＤＳＰ）Ｂで構成される。センサ周辺部Ａは、イメージセンサ１とアナログフロントエンド２で構成される。
【００３３】
アナログフロントエンド２は、周期的な同期信号を発生する同期信号生成部（ＳＳＧ）２１と、イメージセンサ１を駆動するパルスを周期的に発生するタイミングジェネレータ（ＴＧ）２２と、イメージセンサ１から入力したアナログ電荷信号からノイズを除去するＣＤＳ（相関二重サンプリング）部２３と、信号のゲインを制御するとともにフィードバック制御により直流成分を制御するＧＣＡ（ゲインコントロールアンプ）部２４と、ＧＣＡ部２４の出力をＡＤ変換してデジタル信号である画像信号データ（ＲＧＢデータ）に変換するｎビットのＡＤ変換部２５と、ＡＤ変換部２５の出力データを一時的に格納するＲＡＭ２６と、ＲＡＭ２６に対するデータ書き込みと読み出しの制御を行うメモリ制御部２７と、外部から入力された入力クロックを逓倍して逓倍クロックを出力するクロック逓倍部２８と、水平ブランキング期間にＲＡＭ２６から読み出されたデータをパラレルデータ形式またはシリアルデータ形式でデジタル信号処理部Ｂに出力するデジタルデータ出力部２９と、外部ＣＰＵやデジタル信号処理部Ｂに内蔵のＣＰＵからアナログフロントエンド２の内部のレジスタにアクセスして初期設定および動作モードの変更などを行うＣＰＵインターフェース３０とを備えている。
【００３４】
以上のように構成されたアナログフロントエンド２は、イメージセンサ１が出力した画像信号をデジタル信号である画像信号データに変換し、その画像信号データをデジタル信号処理部Ｂに出力する。なお、アナログフロントエンド２は、出力のチャンネル数が１ｃｈの例である。
【００３５】
アナログフロントエンド２に接続されているイメージセンサ１は、レンズ（図示せず）を介して入射した撮像光をフォトダイオードなどによりアナログ電荷信号（アナログ点順次信号である画像信号）に変換するようになっている。また、イメージセンサ１は、与えられた駆動用パルス（垂直駆動パルスおよび水平駆動パルス）に同期して、周期的に１ライン分の画像信号を出力する。具体的には、イメージセンサ１は、水平同期信号ＨＢＬＫが“Ｌ”レベルの期間に、１ライン分の有効な画像信号を出力する。なお、イメージセンサ１が有効な画像信号を出力している期間を有効信号出力期間と呼び、画像信号の出力が無効な期間を水平ブランキング期間と呼ぶ。本実施の形態では、水平同期信号ＨＢＬＫが“Ｌ”レベルの期間が有効信号出力期間であり、水平同期信号ＨＢＬＫが“Ｈ”レベルの期間が水平ブランキング期間（無効期間）である。
【００３６】
デジタル信号処理部Ｂは、センサ周辺部Ａから出力される有効データに対してＤＣ調整とゲイン調整を行う前処理部３１、前処理部３１からの有効データを記録する共用メモリ３２、共用メモリに対して有効データの読み出しと書き込みの制御を行うメモリ制御部３３、共用メモリ３３に記録された有効データを読み出して輝度信号処理と色信号処理を行う画像信号処理部３４、画像信号処理部３４によって処理された有効データに対して任意のリサイズ処理を行うリサイズ処理部３５、リサイズ処理部３５によるリサイズ後の有効データに対して圧縮伸張処理を行う圧縮伸張処理部３６、リサイズ処理部３５によりリサイズされた有効データから顔検出など所定の領域の検出を行う領域検出処理部３７、リサイズ処理部３５によりリサイズされた有効データを表示用に外部出力する表示処理部３８、外部の記録媒体やパソコンなどのインターフェースとなる外部Ｉ／Ｆ処理部３９などを有するＤＳＰ（Digital Signal Processor）である。このデジタル信号処理部Ｂは、アナログフロントエンド２から入力されたデータを一時的に格納する共用メモリ３２を有しており、フラッシュメモリ４０から実行プログラムを読み出して動作するＣＰＵ４１による制御で共用メモリ３２にアクセスして前記各種処理を実施できるようになっている。クロック制御部４２は、外部から入力されるクロックをｎ逓倍またはｎ分周して各処理部に供給するようになっている。
【００３７】
次にセンサ周辺部Ａの動作を説明する。
【００３８】
ＣＰＵインターフェース３０は、外部ＣＰＵやデジタル信号処理部Ｂに内蔵のＣＰＵからアナログフロントエンド２の内部のレジスタにアクセスして初期設定および動作モードの変更などを行う。同期信号生成部２１は、周期的な水平同期信号・垂直同期信号を生成する。水平ブランキング信号は水平同期信号に含まれている。タイミングジェネレータ２２は、同期信号生成部２１の出力に応じ、イメージセンサ１の駆動用パルス（垂直駆動パルスおよび水平駆動パルス）を発生する。
【００３９】
ＣＤＳ部２３は、相関２重サンプリング法等に基づいて、イメージセンサ１の出力（アナログの画像信号）に含まれたノイズを低減する。詳しくは、ＣＤＳ部２３はサンプルホールド回路を有し、このサンプルホールド回路によって１／ｆノイズを低減して、連続信号に変換する。ＧＣＡ部２４は、ＣＤＳ部２３の出力を所定の振幅にゲインコントロールするとともに、フィードバック制御により直流成分を制御する。ＡＤ変換部２５は、ＧＣＡ部２４の出力をＡＤ変換してデジタル信号である画像信号データ（ＲＧＢデータ）に変換する。ＲＡＭ２６は、ＡＤ変換部２５の出力を一時的に格納する。メモリ制御部２７は、ＲＡＭ２６に対するデータ書き込みと読み出しの制御を行う。具体的には、メモリ制御部２７は、イメージセンサ１から有効データが出力されている期間には、ＡＤ変換部２５の出力をＲＡＭ２６に書き込む。また、水平ブランキング期間には、ＲＡＭ２６に書き込まれている１ライン分の有効データを読み出す。この読み出しは、アナログフロントエンド２の外部から入力された入力クロックを逓倍した逓倍クロックに同期して行う。デジタルデータ出力部２９は、水平ブランキング期間にＲＡＭ２６から読み出されたデータをパラレルデータ形式またはシリアルデータ形式でデジタル信号処理部Ｂに逓倍クロックに同期して出力する。
【００４０】
次に、アナログフロントエンド２の動作を図３のタイミングチャートを参照しつつ説明する。
【００４１】
タイミングジェネレータ２２が垂直駆動パルスおよび水平駆動パルスを生成すると、イメージセンサ１が所定の周期で画像信号を出力する。イメージセンサ１が出力した画像信号は、ＣＤＳ部２３でノイズが低減された後、ＧＣＡ部２４によって所定の振幅にゲインコントロールされてＡＤ変換部２５に出力される。ＡＤ変換部２５は、入力された画像信号をＡＤ変換して有効データとして出力する。メモリ制御部２７は、ＡＤ変換部２５が出力した有効データをＲＡＭ２６に格納する。図３ではＲＡＭ２６をラインバッファとしている。次に、メモリ制御部２７は、次の水平ブランキング期間に、ＲＡＭ２６に格納された１ライン分の有効データをクロック逓倍部２８が出力する逓倍クロックに同期して高速に読み出す。デジタルデータ出力部２９は、メモリ制御部２７によって読み出された有効データを、水平ブランキング期間中に前記の逓倍クロックに同期してデジタル信号処理部Ｂに出力する。すなわち、アナログフロントエンド２のデータ出力による動作ノイズの発生期間は、水平ブランキング期間に限定されている。
【００４２】
次に、デジタル信号処理部Ｂの動作を図３のタイミングチャートを参照しつつ説明する。
【００４３】
デジタルデータ出力部２９が水平ブランキング期間中にデータを出力すると、デジタル信号処理部Ｂにおいて、水平ブランキング期間中に、前処理部３１にて１ライン分の有効データに対するオフセット処理やゲイン処理等が行われ、メモリ制御部３３を介して共用メモリ３２に書き込まれる。共用メモリ３２に書き込まれた有効データは、メモリ制御部３３を介して画像信号処理部３４、リサイズ処理部３５、圧縮伸張処理部３６、領域検出処理部３７、表示処理部３８、外部Ｉ／Ｆ処理部３９などに送られ、各種タスク処理が任意に行われる。
【００４４】
このデジタル信号処理部Ｂでメモリ制御部３３を介して実施する上記各種タスク処理に当たっては、ＣＰＵ４１がフラッシュメモリ４０から実行プログラムを読み出して制御する。
【００４５】
有効データが取り込まれる水平ブランキング期間中にのみ、上記タスク処理を実施する方法としては、
１．ＣＰＵ４１で制御を行う方法、
２．センサ周辺部Ａから入力されるかもしくはデジタル信号処理部Ｂの内部で発生した水平ブランキング信号を動作のイネーブル信号として使用する方法、
３．上記２つを組み合わせて行う方法、
などの実現方法がある。
【００４６】
本実施の形態においては、水平ブランキング期間中にのみ、必要なデジタル信号処理による共用メモリ３２へのアクセス処理とＣＰＵ４１のフラッシュメモリ４０へのアクセスを実施することで、デジタル信号処理部Ｂによる動作ノイズの発生を水平ブランキング期間中にのみ限定する。
【００４７】
上記のように、本実施の形態の撮像処理システムでは、データ出力が有効信号出力期間には行われず、水平ブランキング期間に行われ、後段のデジタル画像処理も水平ブランキング期間中に実施されるので、データ出力と画像処理によって動作ノイズが発生しても、イメージセンサ１、ＣＤＳ部２３、ＧＣＡ部２４、ＡＤ変換部２５が取り扱う信号のＳ／Ｎ性能を劣化しないようにすることが可能になる。
【００４８】
なお、外部への出力データをパラレルデータとするようにアナログフロントエンド２を構成する場合には、デジタルデータ出力部２９におけるデータ出力の電気的レベルを、有効信号出力期間には固定とするとよい。これにより、デジタル信号処理部Ｂの出力バッファの動作による電源・ＧＮＤノイズ成分を０にして、イメージセンサ１の駆動用パルスに与えるノイズを低減することが可能になる。
【００４９】
また、デジタルデータ出力部２９に差動アンプを設けて、外部へ出力するデータをＬＶＤＳ方式によるシリアルデータとして出力するように構成してもよい。ＬＶＤＳ（Low Voltage Differential Signaling）とは、パラレル信号を低電圧差動のシリアル信号に変換して伝送するＩ／Ｏ規格の一種として知られているものである。ＬＶＤＳ方式によるシリアルデータとして出力する場合には、有効信号出力期間では、差動アンプの定電流源をオフにするとともに、出力レベルを固定論理とするとよい。これにより、ＬＶＤＳ動作による高周波電源・ＧＮＤノイズ成分を０にすることが可能になり、さらにデジタルデータ出力部２９の消費電力を大幅に低減することが可能になる。
【００５０】
また、デジタルデータ出力部２９は、水平ブランキング期間内にデータの出力を完了するように、転送レートを設定するのがよい。具体的には、例えば、デジタルデータ出力部２９がデータをパラレルデータとして出力するように構成されている場合には、次のようにして、転送クロックのレートを設定する。まず、水平ブランキング期間に対する有効信号出力期間の比率を求め、求めた比率の小数部を繰り上げた整数（逓倍率）を求める。そして、求めた逓倍率倍に、画素クロックを逓倍して転送クロックを生成する。
【００５１】
また、デジタルデータ出力部２９がＬＶＤＳ方式でシリアルデータを出力するように構成されている場合には、次のようにして、転送クロックのレートを設定する。まず、水平ブランキング期間に対する有効信号出力期間の比率を求め、求めた比率の小数部を繰り上げた整数を求める。次に、求めた整数に、Ａ／Ｄ変換後のデータバス幅の整数を掛け合わせた整数（逓倍率）を求める。そして、求めた逓倍率倍に画素クロックを逓倍して転送クロックを生成する。
【００５２】
また、レンズやモニタ等とともに、本実施の形態の撮像処理システムを組み込んで撮像装置（デジタルカメラ）を構成すれば、高品質なセンサデータを出力する撮像装置を構成することが可能になる。
【００５３】
また、アナログフロントエンド２における出力チャンネル数は、上記で例示した１ｃｈに限定されない。すなわち、チャンネル数は、イメージセンサ１の仕様に応じて決定すればよい。
【００５４】
以上説明した実施の形態では、ＬＶＤＳによる高速メタル伝送システムにおいて本発明を実施した。次に、本発明を高速光伝送システムにおいて本発明を実施した本発明の他の実施の形態を、図４を参照して説明する。この実施の形態では、センサ周辺部Ａがパラレルデータをシリアルデータとして低電圧差動信号に変換して光伝送する方式でデータ出力するとともに、その光伝送データを、デジタル信号処理部Ｂが受信する構成において本発明が実施される。
【００５５】
本実施の形態の構成は、基本的には、図１〜図３（特に図２）を参照して先に説明した実施の形態の構成と同様の構成を備える。そのため、図４においては、図１〜図３と同一ないし同様の部分に同一の符号を付しておりそれらについての説明は省略する。本実施の形態では、新たに、センサ周辺部Ａは光トランシーバ４０を備え、デジタル処理部Ｃは光レシーバ４１を備える。デジタル処理部Ｃはデジタル信号処理部Ｂを含む。光トランシーバ４０と光レシーバ４１とは、光ファイバＤを介してデータを光伝送する。光トランシーバ４０と光レシーバ４１と光ファイバＤとにより光デバイス４３が構成される。さらには、本実施の形態では、センサ周辺部Ａとデジタル処理部Ｃとに供給する電源を制御する電源供給部４２を備える。
【００５６】
以上の構成を備える本実施形態の撮像システムでは、センサ周辺部Ａがパラレルデータをシリアルデータとして低電圧差動信号に変換して光デバイス４３を用いて光トランシーバ４０を介して光ファイバＣで光伝送する方式でデータ出力したうえで、そのようにして伝送される光伝送データを、デジタル信号処理部Ｂが光ファイバＣを介して光レシーバ４１で受け取る。
【００５７】
上記光伝送を実施するうえで、センサ周辺部Ａは、水平ブランキング期間以外の有効信号出力期間では光トランシーバ４０とデータ出力部２９とを待機状態にするとともに、出力光レベルを暗レベルまたは明レベルにする。水平ブランキング期間でセンサ周辺部Ａは、光トランシーバ４０とデジタルデータ出力部２９とを稼働可能状態にするとともに、水平ブランキング期間以外の期間において固定していた出力光レベルを可変制御可能状態にする。一方、デジタル信号処理部Ｂは、水平ブランキング期間以外の有効信号出力期間では光レシーバ４（データ入力部）を待機状態とするとともに、デジタル信号処理部Ｂ内部の出力電気レベルを固定論理にする。水平ブランキング期間でデジタル信号処理部Ｂは、光レシーバ４を稼働可能状態にするとともに、水平ブランキング期間以外の期間において固定していた出力電気レベルを可変制御可能状態にする。以上の構成を備えることで本実施の形態では、高速光伝送システムにおいて消費電力を大幅に低減した状態で本発明を実施することが可能となる。
【００５８】
なお、センサ周辺Ａとデジタル信号処理部Ｂとの間で光ファイバＣを介した光伝送が実施される際において電源供給部４２は、センサ周辺部Ａの基準ＧＮＤとデジタル信号処理部Ｂの基準ＧＮＤとを互いに直接に接続することなく、センサ周辺部Ａとデジタル信号処理部Ｂとにそれぞれ独立して電源を供給する。具体的には、電源供給部４２は、センサ周辺部Ａに電源１を供給し、デジタル信号処理部Ｂに電源２を供給する。センサ周辺部Ａに接続される基準ＧＮＤ１とデジタル処理部Ｂに接続される基準ＧＮＤ２とは互いに直接に接続されていない。また、光伝送路（光ファイバＣ）は、その構造上、ＧＮＤ接続されていない。以上の構成を備えることで、デジタル処理部Ｃで発生するデジタルノイズ電流ループの影響がセンサ周辺部Ａに及ぶことはなくなる。したがって、デジタル信号処理部Ｂの動作やそのデータ出力によってシステム動作ノイズが発生しても、センサ周辺部Ａにおけるイメージセンサ１やＡＤ変換部２５等が取り扱う信号のＳ／Ｎ性能が劣化することはない。なお、デジタル処理部Ｃと電源供給部４２との間に広帯域バイパスコンデンサを設ければ、デジタルノイズ電流ループの影響そのものを積極的に排除することができる。
【産業上の利用可能性】
【００５９】
本発明の撮像処理システムは、センサ周辺部でのＡＤ変換によって生成したデジタルデータが、イメージセンサの出力が無効である水平ブランキング期間においてセンサ周辺部からデジタル信号処理部へ出力され、同時にデジタル信号処理が実施される。デジタルデータの出力およびデジタル信号処理動作と、ＡＤ変換等の他の回路の動作とが同時に進行しないので、データ出力およびデジタル信号処理によって動作ノイズが発生しても、イメージセンサやＡＤ変換部等を含むセンサ周辺部が取り扱う信号のＳ／Ｎ性能を劣化しないようにできるという効果を有し、デジタルカメラ用の固体撮像センサから出力された映像信号（アナログ電荷信号）を、そのアナログ電荷信号に対応したデジタルデータに変換して出力し、画像処理を行う撮像処理システム等として有用である。
【図面の簡単な説明】
【００６０】
【図１】本発明の実施の形態における撮像処理システムの構成を示すブロック図（デジタル信号処理部詳細）
【図２】本発明の実施の形態における撮像処理システムの構成を示すブロック図（アナログフロントエンド詳細）
【図３】本発明の実施の形態における撮像処理システムの動作を示すタイミングチャート
【図４】本発明の他の実施の形態における撮像処理システムの構成を示すブロック図（アナログフロントエンド詳細）
【図５】従来の技術における撮像処理システムの構成を示すブロック図
【図６】従来の技術における撮像処理システムの動作を示すタイミングチャート
【符号の説明】
【００６１】
Ａ センサ周辺部
Ｂ デジタル信号処理部
１ イメージセンサ（固体撮像センサ；センサ周辺部の構成要素）
２ アナログフロントエンド（センサ周辺部の構成要素）
２１ 同期信号生成部
２２ タイミングジェネレータ
２３ ＣＤＳ部（相関二重サンプリング部）
２４ ＧＣＡ部（ゲインコントロールアンプ部）
２５ ＡＤ変換部
２６ ＲＡＭ（ＡＤ変換部から出力されるデータを一時的に書き込むメモリ）
２７ メモリ制御部
２８ クロック逓倍部
２９ デジタルデータ出力部
３０ ＣＰＵインターフェース
３１ 前処理部
３２ 共用メモリ
３３ メモリ制御部
３４ 画像信号処理部
３５ リサイズ処理部
３６ 圧縮伸張処理部
３７ 領域検出処理部
３８ 表示処理部
３９ 外部Ｉ／Ｆ処理部
４０ フラッシュメモリ
４１ システム制御用のＣＰＵ
４２ クロック制御部（逓倍／分周）
【特許請求の範囲】
【請求項１】
被写体の光像を光電変換する固体撮像センサから出力されるアナログ電荷信号をデジタルデータに変換して、画像処理を行う撮像処理システムであって、
前記固体撮像センサの信号をデジタルデータに変換して出力する際、センサ信号の出力タイミングとは時間をずらしたブランキング期間に高速にデジタルデータを出力可能なセンサ周辺部と、
前記デジタルデータの入力に対して、前記ブランキング期間内で内部の動作を許可し、動作が許可された期間以外の期間は待機状態として最小限の動作をするデジタル信号処理部とを備えた撮像処理システム。
【請求項２】
前記センサ周辺部は、
前記固体撮像センサからのアナログ電荷信号からノイズを除去して電荷信号を連続的な信号にする相関二重サンプリング部と、
前記相関二重サンプリング部からの出力信号のゲインを制御するとともにフィードバック制御により直流成分を制御するアンプ部と、
前記アンプ部からの出力信号をアナログ−デジタル変換するｎビットのＡＤ変換部と、
前記ＡＤ変換部から出力されるデータを一時的に書き込むメモリと、
書き込み周波数より速いｎ逓倍の周波数で前記メモリからデータを読み出すメモリ制御部と、
前記メモリから読み出されたデータを前記デジタル信号処理部に出力するデジタルデータ出力部と、
周期的なセンサ読み出し動作を実現するための同期信号生成部と、
前記同期信号生成部からの同期信号に基づいて前記固体撮像センサを駆動するパルスを発生するタイミングジェネレータと、
外部から入力されるクロックをｎ逓倍して前記メモリ制御部に供給するクロック逓倍部と、
外部ＣＰＵとのインターフェースとを備えている請求項１に記載の撮像処理システム。
【請求項３】
前記センサ周辺部における前記データを一時的に書き込む前記メモリは、前記固体撮像センサの最低１ラインのデータをバッファできる容量とし、前記固体撮像センサの有効信号出力期間に有効データの書き込みを実施し、次の水平ブランキング期間内に高速に有効データを読み出す請求項２に記載の撮像処理システム。
【請求項４】
前記デジタル信号処理部は、
前記センサ周辺部から出力される有効データに対してＤＣ調整とゲイン調整を行う前処理部と、
前記前処理部からの有効データを記録する共用メモリと、
前記共用メモリに対して有効データの読み出しと書き込みの制御を行うメモリ制御部と、
前記共用メモリに記録された有効データを読み出して輝度信号処理と色信号処理を行う画像信号処理部と、
前記画像信号処理部によって処理された有効データに対して任意のリサイズ処理を行うリサイズ処理部と、
前記リサイズ処理部によるリサイズ後の有効データに対して圧縮伸張処理を行う圧縮伸張処理部と、
前記リサイズ処理部によりリサイズされた有効データから顔検出など所定の領域の検出を行う領域検出処理部と、
前記リサイズ処理部によりリサイズされた有効データを表示用に外部出力する表示処理部と、
外部の記録媒体やパソコンなどのインターフェースとなる外部Ｉ／Ｆ処理部と、
前記の各処理部の動作を制御するＣＰＵと、
前記外部から入力されるクロックをｎ逓倍またはｎ分周して各処理部に供給するクロック制御部とを備えている請求項１から請求項３までのいずれかに記載の撮像処理システム。
【請求項５】
前記デジタル信号処理部は、前記センサ周辺部から水平ブランキング期間内に高速に有効データが読み出されて入力される際、水平ブランキング期間での前記共用メモリへの取り込み動作時のみ、前記前処理部の動作を許可し、それ以外の期間は待機状態とし、他の処理部の動作の許可は、水平ブランキング期間に加えて、前記固体撮像センサの有効信号出力期間以外の垂直ブランキング期間での設定が可能な請求項４に記載の撮像処理システム。
【請求項６】
前記デジタル信号処理部は、前記固体撮像センサの有効信号出力期間での待機状態に近い最小限の動作設定をする際、ＣＰＵの動作のみイネーブルとし、内部の各処理部を待機状態とするとともに、固体撮像センサの有効信号出力期間は前記ＣＰＵが外部のフラッシュメモリへのアクセスも行わない待機状態の設定が可能な請求項１から請求項５までのいずれかに記載の撮像処理システム。
【請求項７】
前記センサ周辺部は、前記センサ周辺部から前記デジタル信号処理部への有効データ出力がパラレル出力の場合、水平ブランキング期間以外の有効信号出力期間ではデータ出力の電気的レベルを固定とする請求項１から請求項６までのいずれかに記載の撮像処理システム。
【請求項８】
前記センサ周辺部は、パラレルデータをシリアルデータとして低電圧差動に変換して伝送するＬＶＤＳ方式でデータ出力する場合、水平ブランキング期間以外の有効信号出力期間ではＬＶＤＳを構成するデータ出力部を待機状態とし、出力レベルを固定論理とする請求項１から請求項６までのいずれかに記載の撮像処理システム。
【請求項９】
前記デジタル信号処理部は、シリアルデータとしてＬＶＤＳで入力する場合、水平ブランキング期間以外の有効信号出力期間ではＬＶＤＳを構成するデータ入力部を待機状態とし、内部の出力レベルを固定論理とする請求項８に記載の撮像処理システム。
【請求項１０】
前記センサ周辺部がパラレルデータをシリアルデータとして低電圧差動に変換して光デバイスを用いて光トランシーバを介して光ファイバで光伝送する方式でデータ出力する場合、当該センサ周辺部は、水平ブランキング期間以外の有効信号出力期間では前記光トランシーバと前記データ出力部とを待機状態とし、出力光レベルを暗レベルか明レベルとのうちのいずれかの状態にする請求項１から請求項６までのいずれかに記載の撮像処理システム。
【請求項１１】
前記センサ周辺部によって前記光トランシーバを介して前記光ファイバで光伝送する方式でデータ出力された光伝送データを、前記デジタル信号処理部が前記光ファイバを介して光レシーバで受け取る場合、当該デジタル信号処理部は、水平ブランキング期間以外の有効信号出力期間では前記光レシーバを構成するデータ入力部を待機状態とし、当該処理部内部の出力電気レベルを固定論理する請求項１０に記載の撮像処理システム。
【請求項１２】
電源供給部をさらに備え、当該電源供給部は、前記センサ周辺部と前記デジタル信号処理部とが前記光ファイバを介して光伝送する際、前記センサ周辺部の基準ＧＮＤと前記デジタル信号処理部の基準ＧＮＤとを直接に接続することなく、当該センサ周辺部と当該デジタル信号処理部とにそれぞれ独立に電源供給する請求項１０に記載の撮像処理システム。
【請求項１３】
前記センサ周辺部における前記デジタルデータ出力部は、水平ブランキング期間を１とした有効信号出力期間の比率の小数部を繰り上げた整数にＡ／Ｄ変換後のデータバス幅の整数を掛け合わせた整数以上の逓倍の転送クロックでかつ水平ブランキング期間内で読み出し転送完了する請求項８に記載の撮像処理システム。
【請求項１４】
前記センサ周辺部における前記デジタルデータ出力部は、データ出力がパラレルの場合に、水平ブランキング期間内にデータの出力を完了するように転送レートが設定されている請求項２に記載の撮像処理システム。
【請求項１５】
前記デジタルデータ出力部は、水平ブランキング期間を１とした有効信号出力期間の比率の小数部を繰り上げた整数以上の比率になるよう転送クロックを逓倍して、水平ブランキング期間内で読み出し転送完了する請求項１４に記載の撮像処理システム。
【請求項１６】
請求項１から請求項１５までのいずれかに記載の撮像処理システムが搭載されているデジタルカメラ。
【請求項１】
被写体の光像を光電変換する固体撮像センサから出力されるアナログ電荷信号をデジタルデータに変換して、画像処理を行う撮像処理システムであって、
前記固体撮像センサの信号をデジタルデータに変換して出力する際、センサ信号の出力タイミングとは時間をずらしたブランキング期間に高速にデジタルデータを出力可能なセンサ周辺部と、
前記デジタルデータの入力に対して、前記ブランキング期間内で内部の動作を許可し、動作が許可された期間以外の期間は待機状態として最小限の動作をするデジタル信号処理部とを備えた撮像処理システム。
【請求項２】
前記センサ周辺部は、
前記固体撮像センサからのアナログ電荷信号からノイズを除去して電荷信号を連続的な信号にする相関二重サンプリング部と、
前記相関二重サンプリング部からの出力信号のゲインを制御するとともにフィードバック制御により直流成分を制御するアンプ部と、
前記アンプ部からの出力信号をアナログ−デジタル変換するｎビットのＡＤ変換部と、
前記ＡＤ変換部から出力されるデータを一時的に書き込むメモリと、
書き込み周波数より速いｎ逓倍の周波数で前記メモリからデータを読み出すメモリ制御部と、
前記メモリから読み出されたデータを前記デジタル信号処理部に出力するデジタルデータ出力部と、
周期的なセンサ読み出し動作を実現するための同期信号生成部と、
前記同期信号生成部からの同期信号に基づいて前記固体撮像センサを駆動するパルスを発生するタイミングジェネレータと、
外部から入力されるクロックをｎ逓倍して前記メモリ制御部に供給するクロック逓倍部と、
外部ＣＰＵとのインターフェースとを備えている請求項１に記載の撮像処理システム。
【請求項３】
前記センサ周辺部における前記データを一時的に書き込む前記メモリは、前記固体撮像センサの最低１ラインのデータをバッファできる容量とし、前記固体撮像センサの有効信号出力期間に有効データの書き込みを実施し、次の水平ブランキング期間内に高速に有効データを読み出す請求項２に記載の撮像処理システム。
【請求項４】
前記デジタル信号処理部は、
前記センサ周辺部から出力される有効データに対してＤＣ調整とゲイン調整を行う前処理部と、
前記前処理部からの有効データを記録する共用メモリと、
前記共用メモリに対して有効データの読み出しと書き込みの制御を行うメモリ制御部と、
前記共用メモリに記録された有効データを読み出して輝度信号処理と色信号処理を行う画像信号処理部と、
前記画像信号処理部によって処理された有効データに対して任意のリサイズ処理を行うリサイズ処理部と、
前記リサイズ処理部によるリサイズ後の有効データに対して圧縮伸張処理を行う圧縮伸張処理部と、
前記リサイズ処理部によりリサイズされた有効データから顔検出など所定の領域の検出を行う領域検出処理部と、
前記リサイズ処理部によりリサイズされた有効データを表示用に外部出力する表示処理部と、
外部の記録媒体やパソコンなどのインターフェースとなる外部Ｉ／Ｆ処理部と、
前記の各処理部の動作を制御するＣＰＵと、
前記外部から入力されるクロックをｎ逓倍またはｎ分周して各処理部に供給するクロック制御部とを備えている請求項１から請求項３までのいずれかに記載の撮像処理システム。
【請求項５】
前記デジタル信号処理部は、前記センサ周辺部から水平ブランキング期間内に高速に有効データが読み出されて入力される際、水平ブランキング期間での前記共用メモリへの取り込み動作時のみ、前記前処理部の動作を許可し、それ以外の期間は待機状態とし、他の処理部の動作の許可は、水平ブランキング期間に加えて、前記固体撮像センサの有効信号出力期間以外の垂直ブランキング期間での設定が可能な請求項４に記載の撮像処理システム。
【請求項６】
前記デジタル信号処理部は、前記固体撮像センサの有効信号出力期間での待機状態に近い最小限の動作設定をする際、ＣＰＵの動作のみイネーブルとし、内部の各処理部を待機状態とするとともに、固体撮像センサの有効信号出力期間は前記ＣＰＵが外部のフラッシュメモリへのアクセスも行わない待機状態の設定が可能な請求項１から請求項５までのいずれかに記載の撮像処理システム。
【請求項７】
前記センサ周辺部は、前記センサ周辺部から前記デジタル信号処理部への有効データ出力がパラレル出力の場合、水平ブランキング期間以外の有効信号出力期間ではデータ出力の電気的レベルを固定とする請求項１から請求項６までのいずれかに記載の撮像処理システム。
【請求項８】
前記センサ周辺部は、パラレルデータをシリアルデータとして低電圧差動に変換して伝送するＬＶＤＳ方式でデータ出力する場合、水平ブランキング期間以外の有効信号出力期間ではＬＶＤＳを構成するデータ出力部を待機状態とし、出力レベルを固定論理とする請求項１から請求項６までのいずれかに記載の撮像処理システム。
【請求項９】
前記デジタル信号処理部は、シリアルデータとしてＬＶＤＳで入力する場合、水平ブランキング期間以外の有効信号出力期間ではＬＶＤＳを構成するデータ入力部を待機状態とし、内部の出力レベルを固定論理とする請求項８に記載の撮像処理システム。
【請求項１０】
前記センサ周辺部がパラレルデータをシリアルデータとして低電圧差動に変換して光デバイスを用いて光トランシーバを介して光ファイバで光伝送する方式でデータ出力する場合、当該センサ周辺部は、水平ブランキング期間以外の有効信号出力期間では前記光トランシーバと前記データ出力部とを待機状態とし、出力光レベルを暗レベルか明レベルとのうちのいずれかの状態にする請求項１から請求項６までのいずれかに記載の撮像処理システム。
【請求項１１】
前記センサ周辺部によって前記光トランシーバを介して前記光ファイバで光伝送する方式でデータ出力された光伝送データを、前記デジタル信号処理部が前記光ファイバを介して光レシーバで受け取る場合、当該デジタル信号処理部は、水平ブランキング期間以外の有効信号出力期間では前記光レシーバを構成するデータ入力部を待機状態とし、当該処理部内部の出力電気レベルを固定論理する請求項１０に記載の撮像処理システム。
【請求項１２】
電源供給部をさらに備え、当該電源供給部は、前記センサ周辺部と前記デジタル信号処理部とが前記光ファイバを介して光伝送する際、前記センサ周辺部の基準ＧＮＤと前記デジタル信号処理部の基準ＧＮＤとを直接に接続することなく、当該センサ周辺部と当該デジタル信号処理部とにそれぞれ独立に電源供給する請求項１０に記載の撮像処理システム。
【請求項１３】
前記センサ周辺部における前記デジタルデータ出力部は、水平ブランキング期間を１とした有効信号出力期間の比率の小数部を繰り上げた整数にＡ／Ｄ変換後のデータバス幅の整数を掛け合わせた整数以上の逓倍の転送クロックでかつ水平ブランキング期間内で読み出し転送完了する請求項８に記載の撮像処理システム。
【請求項１４】
前記センサ周辺部における前記デジタルデータ出力部は、データ出力がパラレルの場合に、水平ブランキング期間内にデータの出力を完了するように転送レートが設定されている請求項２に記載の撮像処理システム。
【請求項１５】
前記デジタルデータ出力部は、水平ブランキング期間を１とした有効信号出力期間の比率の小数部を繰り上げた整数以上の比率になるよう転送クロックを逓倍して、水平ブランキング期間内で読み出し転送完了する請求項１４に記載の撮像処理システム。
【請求項１６】
請求項１から請求項１５までのいずれかに記載の撮像処理システムが搭載されているデジタルカメラ。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２００９−９４６１３（Ｐ２００９−９４６１３Ａ）
【公開日】平成２１年４月３０日（２００９．４．３０）
【国際特許分類】
【出願番号】特願２００７−２６０７９８（Ｐ２００７−２６０７９８）
【出願日】平成１９年１０月４日（２００７．１０．４）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２１年４月３０日（２００９．４．３０）
【国際特許分類】
【出願日】平成１９年１０月４日（２００７．１０．４）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]