画像処理用半導体集積回路
【課題】 固体撮像素子を用いる撮像システムを構成する部品点数を減らし、撮像機能を有する携帯用電子機器の小型化および低コスト化を図る。
【解決手段】 固体撮像素子（１００）から入力される画素読出信号をサンプリングして所定のレベルまで増幅しデジタル信号に変換する撮像システム用のアナログフロントエンド回路（ＡＦＥ；２１０）を、デジタル画像処理を行なうＤＳＰ（２２０）およびオートフォーカス等のカメラ機能のための演算処理や制御、レジスタの設定等を行なうＣＰＵ（２３０）とともに１つの半導体チップ上に半導体集積回路として形成するようにした。
【解決手段】 固体撮像素子（１００）から入力される画素読出信号をサンプリングして所定のレベルまで増幅しデジタル信号に変換する撮像システム用のアナログフロントエンド回路（ＡＦＥ；２１０）を、デジタル画像処理を行なうＤＳＰ（２２０）およびオートフォーカス等のカメラ機能のための演算処理や制御、レジスタの設定等を行なうＣＰＵ（２３０）とともに１つの半導体チップ上に半導体集積回路として形成するようにした。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、固体撮像素子より出力される撮像信号を処理する画像処理技術に関するものであって、特に固体撮像素子より出力されるアナログ撮像信号を処理する画像処理用半導体集積回路に利用して有効な技術に関するものである。
【背景技術】
【０００２】
ビデオカメラや電子スチールカメラの撮像素子としては、ＣＣＤ型固体撮像素子とＣＭＯＳ型固体撮像素子がある。このうちＣＣＤ型固体撮像素子は、画素毎に光電変換して蓄積した電荷を転送用ＣＣＤに全画素同一タイミングで一斉に並列転送した後、その転送用ＣＣＤ内を直列転送して出力するが、ＣＣＤ内での電荷転送効率を高めるためには高い電位差を作る必要がある。このため、消費電力が大きくなってしまう。
【０００３】
一方、ＣＭＯＳ型固体撮像素子は、画素毎に光電変換して蓄積した電荷を画素毎に電圧変換して増幅し、これをマトリックス選択回路で画素毎に順次選択して読み出す。この方式だと、たとえば＋３．３Ｖ程度の単一電源だけで動作でき、消費電力はＣＣＤ型に比べて数分の一に下げることができる。さらに、ＣＭＯＳプロセスを利用して製造できるので、Ａ／Ｄ変換器や増幅回路などの周辺回路も一緒に集積しやすい。そのため、最近は、Ａ／Ｄ変換器や増幅回路などの周辺回路を集積したＣＭＯＳ型固体撮像素子に関する発明が提案されている（例えば、特許文献１）。
【特許文献１】特開２００３−２２４７７８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ＣＣＤ型固体撮像素子（以下、ＣＣＤセンサと称する）の製造プロセスは、ＣＭＯＳプロセスに比べて複雑であるとともに、光電変換用のＣＣＤの他に電荷転送用ＣＣＤが必要であるためチップサイズがＣＭＯＳ型固体撮像素子（以下、ＣＭＯＳセンサと称する）に比べて大きくなり易い。そこで、ＣＣＤセンサを用いた撮像システムは、一般に、図７に示すように、ＣＣＤセンサや画像処理用の半導体集積回路（ＤＳＰ）とは別個に構成されＡ／Ｄ変換器や増幅回路などの周辺回路を形成したアナログフロントエンド（ＡＦＥ）と呼ばれる半導体集積回路を用いて構成されていた。
【０００５】
そのため、ＣＣＤセンサを用いた撮像システム（いわゆる電子カメラ）を構成する半導体チップなどの部品数が、ＣＭＯＳセンサを用いたものに比べて多くなり、電子カメラを搭載した携帯電話機のような機器の小型化を妨げる要因になっていた。また、アナログフロントエンドと画像処理用のＤＳＰとの間は１０〜１４ビットのようなバスで接続されているため、バスの駆動により消費電力が多くなるとともに、バスの動作そのものがアナログ回路に対するノイズ源になるという問題がある。
【０００６】
本発明は上記のような課題に着目してなされたもので、その目的とするところは、固体撮像素子を用いる撮像システムを構成する部品点数を減らし、撮像機能を有する携帯用電子機器の小型化および低コスト化を図ることにある。
【０００７】
本発明の他の目的は、固体撮像素子を用いた撮像システムを構成する半導体チップ間の配線数を減らし、消費電力の低減、ノイズによる画質劣化の抑制を図ることにある。
【０００８】
本発明のさらに他の目的は、固体撮像素子を用いた撮像システムにおけるシステムの立ち上がりを速くすることができるようにすることにある。
【０００９】
本発明のさらに他の目的は、ＣＣＤセンサまたはＣＭＯＳセンサのいずれの撮像素子を用いた撮像システムを構成する場合にも対応することができる汎用性の高い画像処理用半導体集積回路を提供することにある。
本発明の前記ならびにそのほかの目的と特徴は、本明細書の記述および添付図面から明らかになるであろう。
【課題を解決するための手段】
【００１０】
本願において開示される発明のうち代表的なものの概要を説明すれば、下記のとおりである。
すなわち、固体撮像素子から入力される画素読出信号をサンプリングして所定のレベルまで増幅しデジタル信号に変換する撮像システム用のＡＦＥ（アナログフロントエンド）回路を、デジタル画像処理を行なうＤＳＰ（デジタルシグナルプロセッサ）や、ＤＳＰおよびオートフォーカス等のカメラ機能のための演算処理や制御、レジスタの設定等を行なうＣＰＵ（中央処理ユニット；マイクロコンピュータ）とともに１つの半導体チップ上に半導体集積回路として形成するようにしたものである。
【００１１】
従来はＣＣＤセンサや画像処理用の半導体集積回路（ＤＳＰ）とは別個に構成されていたＡＦＥを、ＤＳＰやＣＰＵとともに１チップの半導体集積回路として構成したことにより、撮像システムを構成する部品点数を減らし、撮像機能を有する携帯用電子機器の小型化および低コスト化を図ることができるようになる。
【００１２】
また、ＡＦＥ回路をＤＳＰやＣＰＵとともに１チップの半導体集積回路として構成したことにより、ＡＦＥ回路からＤＳＰへ送る画素読出信号を載せるバスの信号線をプリント配線基板上ではなくチップ上に形成することができる。一般に、チップ内の信号の配線容量はプリント配線基板上の信号の配線容量に比べて小さくすることができるため、バスを駆動するのに要する消費電力を低減できるとともに、バスを駆動する電力を小さくすることができるため、発生するノイズを抑制し、画質の劣化を抑えることができるようになる。
【００１３】
ここで、望ましくは、ＡＦＥ回路内の可変利得増幅回路のゲイン等を設定するために設けられているレジスタに対してＣＰＵが内部バス等を介してパラレルに設定値を送って設定を行なえるように構成する。
【００１４】
ＡＦＥ回路がＤＳＰとは別個の半導体チップに形成されている場合、チップ間の配線数や端子数を増加させずにＡＦＥ回路内のレジスタに対してＣＰＵが設定を行なえるようにするには、シリアルに設定値を送る必要がある。そのようにすると、伝送の途中でシリアル／パラレル変換が必要となってシステムの立ち上がりが遅くなるが、レジスタに対してＣＰＵがパラレルに設定値を送って設定を行なえるように構成することで、システムの立ち上がりを速くすることができるようになる。
【００１５】
さらに、望ましくは、固体撮像素子から入力されるデジタル画素信号を、ＡＦＥ回路をバイパスしてＤＳＰへ送るパスと、このパスからの信号とＡＦＥ回路を介して入力されるデジタル画素信号を選択するセレクタ回路（選択手段）とを設ける。これにより、ＡＦＥ回路を持たないＣＣＤセンサ、またはＡＦＥ回路を内蔵したＣＭＯＳセンサのいずれのデバイスからの信号をも処理することができる汎用性の高い画像処理用半導体集積回路を得ることができる。又、ＣＣＤセンサに接続されて用いられるべき画像処理用半導体集積回路をベースにＣＭＯＳセンサに対応した画像処理用半導体集積回路を開発するに当たって、このようなセレクタ回路を用いてＣＭＯＳからの信号とＣＣＤからの信号を切り替え可能な構成とすると、容易に開発することが可能となり開発コストの削減、開発期間の短縮を行うことができる。
【発明の効果】
【００１６】
本願において開示される発明のうち代表的なものによって得られる効果を簡単に説明すれば下記のとおりである。
すなわち、本発明に従うと、固体撮像素子を用いる撮像システムを構成する部品点数を減らし、撮像機能を有する携帯用電子機器の小型化および低コスト化を図ることができる。
【発明を実施するための最良の形態】
【００１７】
図１は、本発明が適用された画像処理用半導体集積回路（以下、画像処理用ＬＳＩと称する）の第１の実施例とこれを用いた撮像システムの構成例をブロック図で示す。
同図に示す撮像システムは、ＣＣＤ型固体撮像素子（イメージセンサ）１００と、ＡＦＥ（アナログフロントエンド）部２１０やデジタル画像処理を行なう画像処理部２２０、チップ全体の制御やレジスタの設定等を行なうＣＰＵ２３０を内蔵した画像処理用ＬＳＩ２００と、システム制御用ＬＳＩ３００と、光学ズーム等の補助機能回路４００などによって構成されている。
【００１８】
システム制御用ＬＳＩ３００は、例えば適用システムが携帯電話機である場合には、マイクロコンピュータなどからなり音声信号や送受信信号に係る信号処理等を行なうベースバンドＬＳＩやＭＰＥＧ方式等に従った動画処理等マルチメディア処理機能や解像度調整機能、ジャバ高速処理機能等を有するアプリケーションプロセッサのようなＬＳＩからなる電子デバイスである。
【００１９】
ＡＦＥ部２１０は、撮像素子１００から入力される画素読出信号をノイズ除去しながらサンプリングする相関二重サンプリング（ＣＤＳ：Correlated Double Sampling）回路２１１、サンプリングされた画素読出信号を所定のレベルまで増幅する可変利得増幅回路（プログラマブルゲインアンプ）２１２、増幅されたアナログ画素読出信号をデジタル信号に変換するＡ／Ｄ変換回路２１３、タイミング発生回路２１４などから構成される。
【００２０】
可変利得増幅回路２１２は、ＣＰＵ２３０から供給される制御信号（コード）に基づいてゲインがアナログ制御される。タイミング発生回路２１４は、ＣＤＳ回路２１１やＡ／Ｄ変換回路２１３に対するタイミング制御信号のほか、イメージセンサ１００に対して供給するＣＣＤ転送パルスや読出しパルス、電子シャッタ用パルスなどタイミング制御のための信号を生成する。生成されたタイミング制御パルスは、ドライバＩＣ１３０等を介してイメージセンサ１００に与えられる。
【００２１】
画像処理部２２０は、ＡＦＥからのデジタル画素信号を増幅するデジタルゲイン制御増幅部２２１、デジタル画像データを生成する色信号処理部２２２および輝度処理部２２３、画素信号の輝度をサンプリングして輝度レベル検出信号を生成する輝度レベルサンプリング部２２４等の機能を有する。
【００２２】
この画像処理部２２０は、積和演算が可能な乗算器と加算器および除算器、演算結果を保持するレジスタ、これらの演算器を所定の順序で動作させて所望の演算結果を出力させるマイクロプログラムや係数を格納したＲＯＭなどからなるＤＳＰ（デジタルシグナルプロセッサ）のような演算回路で構成される。すなわち、ＤＳＰでの演算によって色信号処理などの上記各機能を実現するようになっている。
【００２３】
輝度レベルサンプリング部２２４により生成された輝度レベル検出信号はＣＰＵ２３０へ渡され、自動露光処理や自動白バランス調整、フリッカ検知などに用いられる。デジタルゲイン制御増幅部２２１は、ＣＰＵ２３０から供給される制御信号によってゲインがデジタル制御される。
【００２４】
また、画像処理部２２０の後段には、上記色信号処理部２２２および輝度処理部２２３で生成されたデジタル画像データ（ＪＰＥＧ圧縮データを含む）や同期信号をチップ外部へ出力するためのデジタルＩ／Ｆ（インタフェース）２５１が設けられている。さらに、画像処理部２２０の後段には、生成されたデジタル画像信号をテレビ規格であるＮＴＳＣ（National Television System Committee）規格のビデオ信号（色信号と輝度信号）に変換して出力するＤ／Ａ変換回路などからなるＮＴＳＣ変換回路２５２が設けられている。
【００２５】
デジタルＩ／Ｆ（インタフェース）２５１とＮＴＳＣ変換回路２５２を設けたことにより、余分な外付けＬＳＩに用いずに、カメラからの映像をそのままＴＶでモニターすることができる。また、携帯機器内部に保存された画像を一旦本実施例の画像処理用ＬＳＩに取り込み、そのデータをＮＴＳＣ出力で吐き出すことにより、余分な外付け部品も用いずにＴＶで画像をモニターできるシステムを構築できる。
【００２６】
図示しないが、画像処理部２２０には、画像信号をＪＰＥＧエンコード（圧縮）したりデコード（伸長）したりする機能や、電子ズーム機能、画素欠陥を補正する機能、さらに解像度変換、色補正、クロマ制御、コントラスト制御などの機能が設けられている。さらに、ＣＰＵ２３０に対し外部からの制御コマンドによりチップ内部の設定を実施させるため、ＩＩＣコマンドインタフェース部２３１がＣＰＵ２３０に付随して設けられている。
【００２７】
ＣＰＵ２３０は、画像処理部２２０からの信号に基づいて、ホワイトバランス調整、フリッカ検出・キャンセル処理、オートフォーカス制御、光学ズーム制御、手ぶれ補正などの補助機能回路４００に関する演算処理や制御も行なう。また、ＣＰＵ２３０は、実行するプログラムに従ってチップ全体の制御を行なったり、可変利得増幅回路２１２やデジタルゲイン制御増幅部２２１のゲイン設定値を保持するレジスタ２１５や２２７などに対する設定を行なったりする。可変利得増幅回路２１２とデジタルゲイン制御増幅部２２１を用いたゲイン制御については前述の特許文献１に開示されており、また本発明の要旨ではないので、説明は省略する。
【００２８】
本実施例においては、ＡＦＥ回路２１０内に可変利得増幅回路２１２のゲイン設定値（バイナリコード）を保持するレジスタ２１５が、また画像処理部２２０内にデジタルゲイン制御増幅部２２１のゲイン設定値を保持するレジスタ２２７が設けられている。これとともに、これらのレジスタに対してＣＰＵ２３０が内部バス２３２を介して所望のゲイン設定値をパラレルに伝送して設定することができるように構成されている。
【００２９】
また、画像処理部２２０が有する電子ズーム機能、画素欠陥補正機能、解像度変換、色補正、クロマ制御、コントラスト制御などの機能の実行条件等の設定も、ＣＰＵ２３０によって行なわれる。なお、図１のシステムでは、ＡＦＥ回路２１０のＡ／Ｄ変換回路２１３で変換されたデジタル画素信号が画像処理部（ＤＳＰ）２２０へ直接渡されるように構成されているが、バス２３２を介して画像処理部（ＤＳＰ）２２０へ渡すように構成しても良い。
【００３０】
上記のように、第１の実施例の画像処理用ＬＳＩは、従来はＣＣＤセンサや画像処理用の半導体集積回路（ＤＳＰ）とは別個に構成されていたＡＦＥが、ＤＳＰやＣＰＵとともに１チップの半導体集積回路として構成されている。これにより、撮像システムを構成する部品点数を減らし、撮像機能を有する携帯用電子機器の小型化および低コスト化を図ることができるようになった。
【００３１】
また、ＡＦＥ回路をＤＳＰやＣＰＵとともに１チップの半導体集積回路として構成したことにより、ＡＦＥ回路からＤＳＰへ送る画素読出信号を載せるバスの信号線をプリント配線基板上ではなくチップ上に形成することができるようになる。そのため、バスを駆動するために要する消費電力を低減できるとともに、ノイズの飛込みによる誤動作を抑制することができるようになる。
【００３２】
さらに、ＡＦＥ回路がＤＳＰとは別個の半導体チップに形成されている場合、チップ間の配線数や端子数を増加させずに可変利得増幅回路のゲイン設定用レジスタに対してＣＰＵが設定を行なえるようにするには、シリアルに設定データを送る必要がある。ただし、そのようにすると、図３に示すように、ＤＳＰ側にパラレル／シリアル変換回路ＰＳＣが、またＡＦＥ側にシリアル／パラレル変換回路ＳＰＣが必要となってシステムの立ち上がりが遅くなる。
【００３３】
これに対し、本実施例では、レジスタ２１５，２２７に対してＣＰＵ２３０が内部バス２３２を介して設定値をパラレルに送って設定を行なえるように構成されている。これにより、レジスタ設定値の伝送時間そのものが短縮されるとともに、パラレル／シリアル変換およびシリアル／パラレル変換が不要となり、システムの立ち上がりを速くすることができる。
【００３４】
図２は、本発明が適用された画像処理用ＬＳＩの第２の実施例とこれを用いた撮像システムの構成例をブロック図で示す。図１の実施例の画像処理用ＬＳＩと同一の機能を有する回路には同一の符号を付して重複した説明は省略する。
【００３５】
この実施例の画像処理用ＬＳＩは、ＡＦＥの機能を内蔵したＣＭＯＳセンサから出力される信号を受けたりＣＭＯＳセンサ内のＡＦＥに対する制御信号を出力したりするＣＭＯＳインタフェース２４１が設けられ、ＣＣＤセンサからの画像信号とＣＭＯＳセンサからの画像信号のいずれの信号も処理できるように構成されている。
【００３６】
また、これに応じて、ＣＭＯＳインタフェース２４１を介して入力されるＣＭＯＳセンサからの画像信号と、ＡＦＥ回路２１０を介して入力されるＣＣＤセンサからの信号のいずれかを選択して画像処理部としてのＤＳＰ２２０へ供給するセレクタ２４２が設けられている。セレクタ２４２がいずれの画像信号を選択するか指定する切替え制御信号はＣＰＵ２３０から与えられる。セレクタ２４２に対応してレジスタもしくはフラグを設け、このレジスタもしくはフラグに対してＣＰＵ２３０が内部バス２３２を介して制御コードの設定を行なうことで、セレクタ２４２がいずれかの画像信号を選択する状態に制御できるように構成しても良い。
【００３７】
また、この実施例の画像処理用ＬＳＩには、外部からのクロックを逓倍したクロックを生成してチップ外部や内部へ出力するＰＬＬ回路２４４が設けられている。これにより、撮像システムを構成する他のチップとの同期をとり易くなる。さらに、画像処理部（ＤＳＰ）２２０によりＪＰＥＧエンコードされた画像データ等を格納するためのＳＤＲＡＭのような揮発性メモリ５１０を接続するためのＳＤＲＡＭインタフェース２５３が設けられている。
【００３８】
特に制限されるものでないが、ＣＰＵ２３０には、使用するイメージセンサの仕様に応じて可変利得増幅回路（２１２，２２１）のゲイン設定値等システムに固有のデータを記憶するためのＥＥＰＲＯＭのような不揮発性メモリ５２０が接続されている。また、ＣＰＵ２３０には、該ＣＰＵが実行するアプリケーションプログラム等を格納するフラッシュメモリのような不揮発性メモリ５３０が接続されている。
【００３９】
本実施例の画像処理用ＬＳＩにあっては、ＣＭＯＳインタフェース２４１とセレクタ２４２が設けられていることにより、ＡＦＥ回路を持たないＣＣＤセンサ、またはＡＦＥ回路を内蔵したＣＭＯＳセンサのいずれのデバイスからの信号をも処理することができる汎用性の高い画像処理用ＬＳＩを得ることができる。又、ＣＣＤセンサに接続されて用いられるべき画像処理用半導体集積回路をベースにＣＭＯＳセンサに対応した画像処理用半導体集積回路を開発するに当たって、このようなセレクタ回路を用いてＣＭＯＳからの信号とＣＣＤからの信号を切り替え可能な構成とすると、容易に開発することが可能となり開発コストの削減、開発期間の短縮を行うことができる。
【００４０】
図４には、本発明に係る画像処理用ＬＳＩの第３の実施例の要部の構成例が示されている。
この実施例では、複数チャンネルの画像信号を読出し可能に構成されているＣＣＤセンサまたはＣＭＯＳセンサに対応して、画像処理用ＬＳＩ２００内にＮ個のＡＦＥ回路２１０ａ，２１０ｂ……２１０ｎが設けられている。また、これらのＡＦＥ回路２１０ａ，２１０ｂ……２１０ｎの後段に、いずれかのＡＦＥの信号を選択して画像処理部２２０へ供給するセレクタ２４３が設けられている。
【００４１】
セレクタ２４３は、ＡＦＥ回路２１０ａ，２１０ｂ……２１０ｎで変換されたデジタル画素信号を順次選択してバスを介して画像処理部２２０へ送り、時分割で各サブ領域の画像信号の処理を実行させる。因みに、アナログ信号処理を行なうＡＦＥの信号処理速度よりも早い画像データ処理速度を有するＤＳＰ（画像処理部）を設計することは比較的容易である。本実施例を適用することによって、画素数の大きなイメージセンサを使用する場合においても高速で画像信号を処理することができる画像処理用ＬＳＩが得られる。
【００４２】
ここで、複数チャンネルの画像信号が読出し可能なセンサとは、たとえば図５および図６のようにセンサ１００の撮像領域が複数のサブ領域１００ａ，１００ｂ……１００ｎに分割され、各サブ領域から並行して画素信号を読出し可能に構成されているセンサのことである。なお、図５はＣＭＯＳセンサの構成を、また図６はＣＣＤセンサの構成を表わしている。
【００４３】
ＣＭＯＳセンサの撮像領域は、図５に示すように、行（水平）と列（垂直）のマトリックス状に配置された多数の単位セルいわゆる画素１１０により構成されている。各画素１１０はそれぞれフォトダイオード１１１、増幅器１１２および選択スイッチ１１３によって構成され、図示しない水平転送回路（水平シフトレジスタ）と垂直転送回路（垂直シフトレジスタ）とにより、各画素が一つずつ順次選択されて読み出されるようになっている。
【００４４】
具体的には、まず１行目の各画素の選択スイッチ１１３が順次オンされて、選択された画素の蓄積電荷に応じた電圧が垂直方向の読出し線ＶＡＬ１〜ＶＡＬｍに順次読み出され、水平方向の出力線ＯＰＬを経て対応するＡＦＥ回路２１０へ出力される。次に２行目の各画素の選択スイッチ１１３が順次オンされて、選択された画素の蓄積電荷に応じた電圧が垂直方向の読出し線ＶＡＬ１〜ＶＡＬｍに順次読み出され、出力線ＯＰＬを経てＡＦＥ回路２１０へ出力される。
【００４５】
この動作を順次繰り返すとともに、各サブ領域１００ａ，１００ｂ……１００ｎで並行してつまり同時進行で読み出し動作を行なうことにより、撮像素子の全画素の蓄積電荷に応じた電圧がＡＦＥ回路２１０ａ，２１０ｂ……２１０ｎへ読み出される。なお、読出しが終了するとフォトダイオード１１１に蓄積されていた電荷は、図示しない水平リセット回路と垂直リセット回路からのリセット信号によりオン、オフ制御されるリセットスイッチによって放電される。
【００４６】
ＣＣＤセンサの撮像領域は、図６に示すように、行（水平）と列（垂直）のマトリックス状にフォトダイオード（受光素子）１１１からなる画素１００が配置され、各画素列ごとに垂直方向転送ＣＣＤ１２１が、また各サブ領域ごとに水平方向転送ＣＣＤ１２２が設けられている。
【００４７】
各画素１１０の蓄積電荷は一旦垂直方向転送ＣＣＤ１２１へ転送され、垂直方向転送ＣＣＤ１２１によって水平方向転送ＣＣＤ１２２へ転送され、水平方向転送ＣＣＤ１２２によって順次対応するＡＦＥ回路２１０へ読み出される。この動作を、各サブ領域１００ａ，１００ｂ……１００ｎで並行して行なうことにより、撮像素子の全画素の蓄積電荷がＡＦＥ回路２１０ａ，２１０ｂ……２１０ｎへ読み出されるようになっている。
【００４８】
以上、本発明者によってなされた発明を実施態様にもとづき具体的に説明したが、本発明は上記実施態様に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。例えば、前記実施例では、ＮＴＳＣ変換回路２５２を内蔵した画像処理用ＬＳＩについて説明したが、ＮＴＳＣ変換回路はビデオカメラを構成するＬＳＩには必須であるが、携帯電話機に搭載されるカメラなどを構成する画像処理用ＬＳＩには必ずしも設ける必要はないので、省略するようにしてもよい。画像処理部２２０に設けられているデジタルゲイン制御増幅部２２１も必ずしも設ける必要はない。
【００４９】
また、前記実施例では、ＤＳＰとＣＰＵを有する画像処理用ＬＳＩにＡＦＥを内蔵させたものを説明したが、第２の実施例（図２）や第３の実施例（図４）は、ＤＳＰとＣＰＵとが別個のチップで構成されている場合にＤＳＰを搭載したチップにＡＦＥを内蔵させる場合にも適用することができる。又、図１，図２，図４の実施例に示されるものを任意に組み合わせたようなものを適用してもよい。
【産業上の利用可能性】
【００５０】
以上の説明では主として、本発明者によってなされた発明をその背景となった利用分野である携帯電話機のような携帯用電子機器に搭載されるカメラを構成するのに好適な画像処理用半導体集積回路に適用した場合について説明した。本発明は、それに限定されるものではなく、例えばビデオカメラや監視カメラ、ウェブカメラ、静止画像を撮影するデジタルスチールカメラなどにも適用できる。
【図面の簡単な説明】
【００５１】
【図１】本発明が適用された画像処理用半導体集積回路の第１の実施例とこれを用いた撮像システムの構成例を示すブロック図である。
【図２】本発明が適用された画像処理用半導体集積回路の第２の実施例とこれを用いた撮像システムの構成例を示すブロック図である。
【図３】ＡＦＥ回路がＤＳＰとは別個の半導体チップに形成されている場合における可変利得増幅回路のゲイン設定用レジスタに対してＣＰＵが設定を行なえるようにした回路の構成例を示すブロック図である。
【図４】本発明に係る画像処理用半導体集積回路の第３の実施例の要部の構成例を示すブロック図である。
【図５】複数チャンネルの画像信号が読出し可能なＣＭＯＳセンサの構成例を示す説明図である。
【図６】複数チャンネルの画像信号が読出し可能なＣＣＤセンサの構成例を示す説明図である。
【図７】従来の画像処理用半導体集積回路の一例とこれを用いた撮像システムの構成例を示すブロック図である。
【符号の説明】
【００５２】
１００ 固体撮像素子（イメージセンサ）
１００ａ〜１００ｎ サブ領域
１１０ 画素
１１１ 受光素子（フォトダイオード）
１１２ 読出しアンプ
１１３ 選択スイッチ
１２１ 垂直方向転送ＣＣＤ
１２２ 水平方向転送ＣＣＤ
１３０ ドライバ
２００ 画像処理用半導体集積回路（画像処理用ＬＳＩ）
２１０ ＡＦＥ（アナログフロントエンド）回路
２１１ ＣＤＳ回路
２１２ 可変利得増幅回路
２１３ Ａ／Ｄ変換回路
２１４ タイミング発生回路
２１５ レジスタ
２２０ 画像処理部（ＤＳＰ）
２２１ デジタルゲイン制御増幅部
２２２ 色信号処理部
２２３ 輝度処理部
２２４ 輝度レベルサンプリング回路
２３０ ＣＰＵ
２３１ ＩＩＣコマンドインタフェース
２３２ 内部バス
２４１ ＣＭＯＳセンサインタフェース
２４２ セレクタ
２５１ デジタルＩ／Ｆ（インタフェース）
２５２ ＮＴＳＣ変換回路
３００ システム制御用ＬＳＩ
４００ 補助機能回路
【技術分野】
【０００１】
本発明は、固体撮像素子より出力される撮像信号を処理する画像処理技術に関するものであって、特に固体撮像素子より出力されるアナログ撮像信号を処理する画像処理用半導体集積回路に利用して有効な技術に関するものである。
【背景技術】
【０００２】
ビデオカメラや電子スチールカメラの撮像素子としては、ＣＣＤ型固体撮像素子とＣＭＯＳ型固体撮像素子がある。このうちＣＣＤ型固体撮像素子は、画素毎に光電変換して蓄積した電荷を転送用ＣＣＤに全画素同一タイミングで一斉に並列転送した後、その転送用ＣＣＤ内を直列転送して出力するが、ＣＣＤ内での電荷転送効率を高めるためには高い電位差を作る必要がある。このため、消費電力が大きくなってしまう。
【０００３】
一方、ＣＭＯＳ型固体撮像素子は、画素毎に光電変換して蓄積した電荷を画素毎に電圧変換して増幅し、これをマトリックス選択回路で画素毎に順次選択して読み出す。この方式だと、たとえば＋３．３Ｖ程度の単一電源だけで動作でき、消費電力はＣＣＤ型に比べて数分の一に下げることができる。さらに、ＣＭＯＳプロセスを利用して製造できるので、Ａ／Ｄ変換器や増幅回路などの周辺回路も一緒に集積しやすい。そのため、最近は、Ａ／Ｄ変換器や増幅回路などの周辺回路を集積したＣＭＯＳ型固体撮像素子に関する発明が提案されている（例えば、特許文献１）。
【特許文献１】特開２００３−２２４７７８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ＣＣＤ型固体撮像素子（以下、ＣＣＤセンサと称する）の製造プロセスは、ＣＭＯＳプロセスに比べて複雑であるとともに、光電変換用のＣＣＤの他に電荷転送用ＣＣＤが必要であるためチップサイズがＣＭＯＳ型固体撮像素子（以下、ＣＭＯＳセンサと称する）に比べて大きくなり易い。そこで、ＣＣＤセンサを用いた撮像システムは、一般に、図７に示すように、ＣＣＤセンサや画像処理用の半導体集積回路（ＤＳＰ）とは別個に構成されＡ／Ｄ変換器や増幅回路などの周辺回路を形成したアナログフロントエンド（ＡＦＥ）と呼ばれる半導体集積回路を用いて構成されていた。
【０００５】
そのため、ＣＣＤセンサを用いた撮像システム（いわゆる電子カメラ）を構成する半導体チップなどの部品数が、ＣＭＯＳセンサを用いたものに比べて多くなり、電子カメラを搭載した携帯電話機のような機器の小型化を妨げる要因になっていた。また、アナログフロントエンドと画像処理用のＤＳＰとの間は１０〜１４ビットのようなバスで接続されているため、バスの駆動により消費電力が多くなるとともに、バスの動作そのものがアナログ回路に対するノイズ源になるという問題がある。
【０００６】
本発明は上記のような課題に着目してなされたもので、その目的とするところは、固体撮像素子を用いる撮像システムを構成する部品点数を減らし、撮像機能を有する携帯用電子機器の小型化および低コスト化を図ることにある。
【０００７】
本発明の他の目的は、固体撮像素子を用いた撮像システムを構成する半導体チップ間の配線数を減らし、消費電力の低減、ノイズによる画質劣化の抑制を図ることにある。
【０００８】
本発明のさらに他の目的は、固体撮像素子を用いた撮像システムにおけるシステムの立ち上がりを速くすることができるようにすることにある。
【０００９】
本発明のさらに他の目的は、ＣＣＤセンサまたはＣＭＯＳセンサのいずれの撮像素子を用いた撮像システムを構成する場合にも対応することができる汎用性の高い画像処理用半導体集積回路を提供することにある。
本発明の前記ならびにそのほかの目的と特徴は、本明細書の記述および添付図面から明らかになるであろう。
【課題を解決するための手段】
【００１０】
本願において開示される発明のうち代表的なものの概要を説明すれば、下記のとおりである。
すなわち、固体撮像素子から入力される画素読出信号をサンプリングして所定のレベルまで増幅しデジタル信号に変換する撮像システム用のＡＦＥ（アナログフロントエンド）回路を、デジタル画像処理を行なうＤＳＰ（デジタルシグナルプロセッサ）や、ＤＳＰおよびオートフォーカス等のカメラ機能のための演算処理や制御、レジスタの設定等を行なうＣＰＵ（中央処理ユニット；マイクロコンピュータ）とともに１つの半導体チップ上に半導体集積回路として形成するようにしたものである。
【００１１】
従来はＣＣＤセンサや画像処理用の半導体集積回路（ＤＳＰ）とは別個に構成されていたＡＦＥを、ＤＳＰやＣＰＵとともに１チップの半導体集積回路として構成したことにより、撮像システムを構成する部品点数を減らし、撮像機能を有する携帯用電子機器の小型化および低コスト化を図ることができるようになる。
【００１２】
また、ＡＦＥ回路をＤＳＰやＣＰＵとともに１チップの半導体集積回路として構成したことにより、ＡＦＥ回路からＤＳＰへ送る画素読出信号を載せるバスの信号線をプリント配線基板上ではなくチップ上に形成することができる。一般に、チップ内の信号の配線容量はプリント配線基板上の信号の配線容量に比べて小さくすることができるため、バスを駆動するのに要する消費電力を低減できるとともに、バスを駆動する電力を小さくすることができるため、発生するノイズを抑制し、画質の劣化を抑えることができるようになる。
【００１３】
ここで、望ましくは、ＡＦＥ回路内の可変利得増幅回路のゲイン等を設定するために設けられているレジスタに対してＣＰＵが内部バス等を介してパラレルに設定値を送って設定を行なえるように構成する。
【００１４】
ＡＦＥ回路がＤＳＰとは別個の半導体チップに形成されている場合、チップ間の配線数や端子数を増加させずにＡＦＥ回路内のレジスタに対してＣＰＵが設定を行なえるようにするには、シリアルに設定値を送る必要がある。そのようにすると、伝送の途中でシリアル／パラレル変換が必要となってシステムの立ち上がりが遅くなるが、レジスタに対してＣＰＵがパラレルに設定値を送って設定を行なえるように構成することで、システムの立ち上がりを速くすることができるようになる。
【００１５】
さらに、望ましくは、固体撮像素子から入力されるデジタル画素信号を、ＡＦＥ回路をバイパスしてＤＳＰへ送るパスと、このパスからの信号とＡＦＥ回路を介して入力されるデジタル画素信号を選択するセレクタ回路（選択手段）とを設ける。これにより、ＡＦＥ回路を持たないＣＣＤセンサ、またはＡＦＥ回路を内蔵したＣＭＯＳセンサのいずれのデバイスからの信号をも処理することができる汎用性の高い画像処理用半導体集積回路を得ることができる。又、ＣＣＤセンサに接続されて用いられるべき画像処理用半導体集積回路をベースにＣＭＯＳセンサに対応した画像処理用半導体集積回路を開発するに当たって、このようなセレクタ回路を用いてＣＭＯＳからの信号とＣＣＤからの信号を切り替え可能な構成とすると、容易に開発することが可能となり開発コストの削減、開発期間の短縮を行うことができる。
【発明の効果】
【００１６】
本願において開示される発明のうち代表的なものによって得られる効果を簡単に説明すれば下記のとおりである。
すなわち、本発明に従うと、固体撮像素子を用いる撮像システムを構成する部品点数を減らし、撮像機能を有する携帯用電子機器の小型化および低コスト化を図ることができる。
【発明を実施するための最良の形態】
【００１７】
図１は、本発明が適用された画像処理用半導体集積回路（以下、画像処理用ＬＳＩと称する）の第１の実施例とこれを用いた撮像システムの構成例をブロック図で示す。
同図に示す撮像システムは、ＣＣＤ型固体撮像素子（イメージセンサ）１００と、ＡＦＥ（アナログフロントエンド）部２１０やデジタル画像処理を行なう画像処理部２２０、チップ全体の制御やレジスタの設定等を行なうＣＰＵ２３０を内蔵した画像処理用ＬＳＩ２００と、システム制御用ＬＳＩ３００と、光学ズーム等の補助機能回路４００などによって構成されている。
【００１８】
システム制御用ＬＳＩ３００は、例えば適用システムが携帯電話機である場合には、マイクロコンピュータなどからなり音声信号や送受信信号に係る信号処理等を行なうベースバンドＬＳＩやＭＰＥＧ方式等に従った動画処理等マルチメディア処理機能や解像度調整機能、ジャバ高速処理機能等を有するアプリケーションプロセッサのようなＬＳＩからなる電子デバイスである。
【００１９】
ＡＦＥ部２１０は、撮像素子１００から入力される画素読出信号をノイズ除去しながらサンプリングする相関二重サンプリング（ＣＤＳ：Correlated Double Sampling）回路２１１、サンプリングされた画素読出信号を所定のレベルまで増幅する可変利得増幅回路（プログラマブルゲインアンプ）２１２、増幅されたアナログ画素読出信号をデジタル信号に変換するＡ／Ｄ変換回路２１３、タイミング発生回路２１４などから構成される。
【００２０】
可変利得増幅回路２１２は、ＣＰＵ２３０から供給される制御信号（コード）に基づいてゲインがアナログ制御される。タイミング発生回路２１４は、ＣＤＳ回路２１１やＡ／Ｄ変換回路２１３に対するタイミング制御信号のほか、イメージセンサ１００に対して供給するＣＣＤ転送パルスや読出しパルス、電子シャッタ用パルスなどタイミング制御のための信号を生成する。生成されたタイミング制御パルスは、ドライバＩＣ１３０等を介してイメージセンサ１００に与えられる。
【００２１】
画像処理部２２０は、ＡＦＥからのデジタル画素信号を増幅するデジタルゲイン制御増幅部２２１、デジタル画像データを生成する色信号処理部２２２および輝度処理部２２３、画素信号の輝度をサンプリングして輝度レベル検出信号を生成する輝度レベルサンプリング部２２４等の機能を有する。
【００２２】
この画像処理部２２０は、積和演算が可能な乗算器と加算器および除算器、演算結果を保持するレジスタ、これらの演算器を所定の順序で動作させて所望の演算結果を出力させるマイクロプログラムや係数を格納したＲＯＭなどからなるＤＳＰ（デジタルシグナルプロセッサ）のような演算回路で構成される。すなわち、ＤＳＰでの演算によって色信号処理などの上記各機能を実現するようになっている。
【００２３】
輝度レベルサンプリング部２２４により生成された輝度レベル検出信号はＣＰＵ２３０へ渡され、自動露光処理や自動白バランス調整、フリッカ検知などに用いられる。デジタルゲイン制御増幅部２２１は、ＣＰＵ２３０から供給される制御信号によってゲインがデジタル制御される。
【００２４】
また、画像処理部２２０の後段には、上記色信号処理部２２２および輝度処理部２２３で生成されたデジタル画像データ（ＪＰＥＧ圧縮データを含む）や同期信号をチップ外部へ出力するためのデジタルＩ／Ｆ（インタフェース）２５１が設けられている。さらに、画像処理部２２０の後段には、生成されたデジタル画像信号をテレビ規格であるＮＴＳＣ（National Television System Committee）規格のビデオ信号（色信号と輝度信号）に変換して出力するＤ／Ａ変換回路などからなるＮＴＳＣ変換回路２５２が設けられている。
【００２５】
デジタルＩ／Ｆ（インタフェース）２５１とＮＴＳＣ変換回路２５２を設けたことにより、余分な外付けＬＳＩに用いずに、カメラからの映像をそのままＴＶでモニターすることができる。また、携帯機器内部に保存された画像を一旦本実施例の画像処理用ＬＳＩに取り込み、そのデータをＮＴＳＣ出力で吐き出すことにより、余分な外付け部品も用いずにＴＶで画像をモニターできるシステムを構築できる。
【００２６】
図示しないが、画像処理部２２０には、画像信号をＪＰＥＧエンコード（圧縮）したりデコード（伸長）したりする機能や、電子ズーム機能、画素欠陥を補正する機能、さらに解像度変換、色補正、クロマ制御、コントラスト制御などの機能が設けられている。さらに、ＣＰＵ２３０に対し外部からの制御コマンドによりチップ内部の設定を実施させるため、ＩＩＣコマンドインタフェース部２３１がＣＰＵ２３０に付随して設けられている。
【００２７】
ＣＰＵ２３０は、画像処理部２２０からの信号に基づいて、ホワイトバランス調整、フリッカ検出・キャンセル処理、オートフォーカス制御、光学ズーム制御、手ぶれ補正などの補助機能回路４００に関する演算処理や制御も行なう。また、ＣＰＵ２３０は、実行するプログラムに従ってチップ全体の制御を行なったり、可変利得増幅回路２１２やデジタルゲイン制御増幅部２２１のゲイン設定値を保持するレジスタ２１５や２２７などに対する設定を行なったりする。可変利得増幅回路２１２とデジタルゲイン制御増幅部２２１を用いたゲイン制御については前述の特許文献１に開示されており、また本発明の要旨ではないので、説明は省略する。
【００２８】
本実施例においては、ＡＦＥ回路２１０内に可変利得増幅回路２１２のゲイン設定値（バイナリコード）を保持するレジスタ２１５が、また画像処理部２２０内にデジタルゲイン制御増幅部２２１のゲイン設定値を保持するレジスタ２２７が設けられている。これとともに、これらのレジスタに対してＣＰＵ２３０が内部バス２３２を介して所望のゲイン設定値をパラレルに伝送して設定することができるように構成されている。
【００２９】
また、画像処理部２２０が有する電子ズーム機能、画素欠陥補正機能、解像度変換、色補正、クロマ制御、コントラスト制御などの機能の実行条件等の設定も、ＣＰＵ２３０によって行なわれる。なお、図１のシステムでは、ＡＦＥ回路２１０のＡ／Ｄ変換回路２１３で変換されたデジタル画素信号が画像処理部（ＤＳＰ）２２０へ直接渡されるように構成されているが、バス２３２を介して画像処理部（ＤＳＰ）２２０へ渡すように構成しても良い。
【００３０】
上記のように、第１の実施例の画像処理用ＬＳＩは、従来はＣＣＤセンサや画像処理用の半導体集積回路（ＤＳＰ）とは別個に構成されていたＡＦＥが、ＤＳＰやＣＰＵとともに１チップの半導体集積回路として構成されている。これにより、撮像システムを構成する部品点数を減らし、撮像機能を有する携帯用電子機器の小型化および低コスト化を図ることができるようになった。
【００３１】
また、ＡＦＥ回路をＤＳＰやＣＰＵとともに１チップの半導体集積回路として構成したことにより、ＡＦＥ回路からＤＳＰへ送る画素読出信号を載せるバスの信号線をプリント配線基板上ではなくチップ上に形成することができるようになる。そのため、バスを駆動するために要する消費電力を低減できるとともに、ノイズの飛込みによる誤動作を抑制することができるようになる。
【００３２】
さらに、ＡＦＥ回路がＤＳＰとは別個の半導体チップに形成されている場合、チップ間の配線数や端子数を増加させずに可変利得増幅回路のゲイン設定用レジスタに対してＣＰＵが設定を行なえるようにするには、シリアルに設定データを送る必要がある。ただし、そのようにすると、図３に示すように、ＤＳＰ側にパラレル／シリアル変換回路ＰＳＣが、またＡＦＥ側にシリアル／パラレル変換回路ＳＰＣが必要となってシステムの立ち上がりが遅くなる。
【００３３】
これに対し、本実施例では、レジスタ２１５，２２７に対してＣＰＵ２３０が内部バス２３２を介して設定値をパラレルに送って設定を行なえるように構成されている。これにより、レジスタ設定値の伝送時間そのものが短縮されるとともに、パラレル／シリアル変換およびシリアル／パラレル変換が不要となり、システムの立ち上がりを速くすることができる。
【００３４】
図２は、本発明が適用された画像処理用ＬＳＩの第２の実施例とこれを用いた撮像システムの構成例をブロック図で示す。図１の実施例の画像処理用ＬＳＩと同一の機能を有する回路には同一の符号を付して重複した説明は省略する。
【００３５】
この実施例の画像処理用ＬＳＩは、ＡＦＥの機能を内蔵したＣＭＯＳセンサから出力される信号を受けたりＣＭＯＳセンサ内のＡＦＥに対する制御信号を出力したりするＣＭＯＳインタフェース２４１が設けられ、ＣＣＤセンサからの画像信号とＣＭＯＳセンサからの画像信号のいずれの信号も処理できるように構成されている。
【００３６】
また、これに応じて、ＣＭＯＳインタフェース２４１を介して入力されるＣＭＯＳセンサからの画像信号と、ＡＦＥ回路２１０を介して入力されるＣＣＤセンサからの信号のいずれかを選択して画像処理部としてのＤＳＰ２２０へ供給するセレクタ２４２が設けられている。セレクタ２４２がいずれの画像信号を選択するか指定する切替え制御信号はＣＰＵ２３０から与えられる。セレクタ２４２に対応してレジスタもしくはフラグを設け、このレジスタもしくはフラグに対してＣＰＵ２３０が内部バス２３２を介して制御コードの設定を行なうことで、セレクタ２４２がいずれかの画像信号を選択する状態に制御できるように構成しても良い。
【００３７】
また、この実施例の画像処理用ＬＳＩには、外部からのクロックを逓倍したクロックを生成してチップ外部や内部へ出力するＰＬＬ回路２４４が設けられている。これにより、撮像システムを構成する他のチップとの同期をとり易くなる。さらに、画像処理部（ＤＳＰ）２２０によりＪＰＥＧエンコードされた画像データ等を格納するためのＳＤＲＡＭのような揮発性メモリ５１０を接続するためのＳＤＲＡＭインタフェース２５３が設けられている。
【００３８】
特に制限されるものでないが、ＣＰＵ２３０には、使用するイメージセンサの仕様に応じて可変利得増幅回路（２１２，２２１）のゲイン設定値等システムに固有のデータを記憶するためのＥＥＰＲＯＭのような不揮発性メモリ５２０が接続されている。また、ＣＰＵ２３０には、該ＣＰＵが実行するアプリケーションプログラム等を格納するフラッシュメモリのような不揮発性メモリ５３０が接続されている。
【００３９】
本実施例の画像処理用ＬＳＩにあっては、ＣＭＯＳインタフェース２４１とセレクタ２４２が設けられていることにより、ＡＦＥ回路を持たないＣＣＤセンサ、またはＡＦＥ回路を内蔵したＣＭＯＳセンサのいずれのデバイスからの信号をも処理することができる汎用性の高い画像処理用ＬＳＩを得ることができる。又、ＣＣＤセンサに接続されて用いられるべき画像処理用半導体集積回路をベースにＣＭＯＳセンサに対応した画像処理用半導体集積回路を開発するに当たって、このようなセレクタ回路を用いてＣＭＯＳからの信号とＣＣＤからの信号を切り替え可能な構成とすると、容易に開発することが可能となり開発コストの削減、開発期間の短縮を行うことができる。
【００４０】
図４には、本発明に係る画像処理用ＬＳＩの第３の実施例の要部の構成例が示されている。
この実施例では、複数チャンネルの画像信号を読出し可能に構成されているＣＣＤセンサまたはＣＭＯＳセンサに対応して、画像処理用ＬＳＩ２００内にＮ個のＡＦＥ回路２１０ａ，２１０ｂ……２１０ｎが設けられている。また、これらのＡＦＥ回路２１０ａ，２１０ｂ……２１０ｎの後段に、いずれかのＡＦＥの信号を選択して画像処理部２２０へ供給するセレクタ２４３が設けられている。
【００４１】
セレクタ２４３は、ＡＦＥ回路２１０ａ，２１０ｂ……２１０ｎで変換されたデジタル画素信号を順次選択してバスを介して画像処理部２２０へ送り、時分割で各サブ領域の画像信号の処理を実行させる。因みに、アナログ信号処理を行なうＡＦＥの信号処理速度よりも早い画像データ処理速度を有するＤＳＰ（画像処理部）を設計することは比較的容易である。本実施例を適用することによって、画素数の大きなイメージセンサを使用する場合においても高速で画像信号を処理することができる画像処理用ＬＳＩが得られる。
【００４２】
ここで、複数チャンネルの画像信号が読出し可能なセンサとは、たとえば図５および図６のようにセンサ１００の撮像領域が複数のサブ領域１００ａ，１００ｂ……１００ｎに分割され、各サブ領域から並行して画素信号を読出し可能に構成されているセンサのことである。なお、図５はＣＭＯＳセンサの構成を、また図６はＣＣＤセンサの構成を表わしている。
【００４３】
ＣＭＯＳセンサの撮像領域は、図５に示すように、行（水平）と列（垂直）のマトリックス状に配置された多数の単位セルいわゆる画素１１０により構成されている。各画素１１０はそれぞれフォトダイオード１１１、増幅器１１２および選択スイッチ１１３によって構成され、図示しない水平転送回路（水平シフトレジスタ）と垂直転送回路（垂直シフトレジスタ）とにより、各画素が一つずつ順次選択されて読み出されるようになっている。
【００４４】
具体的には、まず１行目の各画素の選択スイッチ１１３が順次オンされて、選択された画素の蓄積電荷に応じた電圧が垂直方向の読出し線ＶＡＬ１〜ＶＡＬｍに順次読み出され、水平方向の出力線ＯＰＬを経て対応するＡＦＥ回路２１０へ出力される。次に２行目の各画素の選択スイッチ１１３が順次オンされて、選択された画素の蓄積電荷に応じた電圧が垂直方向の読出し線ＶＡＬ１〜ＶＡＬｍに順次読み出され、出力線ＯＰＬを経てＡＦＥ回路２１０へ出力される。
【００４５】
この動作を順次繰り返すとともに、各サブ領域１００ａ，１００ｂ……１００ｎで並行してつまり同時進行で読み出し動作を行なうことにより、撮像素子の全画素の蓄積電荷に応じた電圧がＡＦＥ回路２１０ａ，２１０ｂ……２１０ｎへ読み出される。なお、読出しが終了するとフォトダイオード１１１に蓄積されていた電荷は、図示しない水平リセット回路と垂直リセット回路からのリセット信号によりオン、オフ制御されるリセットスイッチによって放電される。
【００４６】
ＣＣＤセンサの撮像領域は、図６に示すように、行（水平）と列（垂直）のマトリックス状にフォトダイオード（受光素子）１１１からなる画素１００が配置され、各画素列ごとに垂直方向転送ＣＣＤ１２１が、また各サブ領域ごとに水平方向転送ＣＣＤ１２２が設けられている。
【００４７】
各画素１１０の蓄積電荷は一旦垂直方向転送ＣＣＤ１２１へ転送され、垂直方向転送ＣＣＤ１２１によって水平方向転送ＣＣＤ１２２へ転送され、水平方向転送ＣＣＤ１２２によって順次対応するＡＦＥ回路２１０へ読み出される。この動作を、各サブ領域１００ａ，１００ｂ……１００ｎで並行して行なうことにより、撮像素子の全画素の蓄積電荷がＡＦＥ回路２１０ａ，２１０ｂ……２１０ｎへ読み出されるようになっている。
【００４８】
以上、本発明者によってなされた発明を実施態様にもとづき具体的に説明したが、本発明は上記実施態様に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。例えば、前記実施例では、ＮＴＳＣ変換回路２５２を内蔵した画像処理用ＬＳＩについて説明したが、ＮＴＳＣ変換回路はビデオカメラを構成するＬＳＩには必須であるが、携帯電話機に搭載されるカメラなどを構成する画像処理用ＬＳＩには必ずしも設ける必要はないので、省略するようにしてもよい。画像処理部２２０に設けられているデジタルゲイン制御増幅部２２１も必ずしも設ける必要はない。
【００４９】
また、前記実施例では、ＤＳＰとＣＰＵを有する画像処理用ＬＳＩにＡＦＥを内蔵させたものを説明したが、第２の実施例（図２）や第３の実施例（図４）は、ＤＳＰとＣＰＵとが別個のチップで構成されている場合にＤＳＰを搭載したチップにＡＦＥを内蔵させる場合にも適用することができる。又、図１，図２，図４の実施例に示されるものを任意に組み合わせたようなものを適用してもよい。
【産業上の利用可能性】
【００５０】
以上の説明では主として、本発明者によってなされた発明をその背景となった利用分野である携帯電話機のような携帯用電子機器に搭載されるカメラを構成するのに好適な画像処理用半導体集積回路に適用した場合について説明した。本発明は、それに限定されるものではなく、例えばビデオカメラや監視カメラ、ウェブカメラ、静止画像を撮影するデジタルスチールカメラなどにも適用できる。
【図面の簡単な説明】
【００５１】
【図１】本発明が適用された画像処理用半導体集積回路の第１の実施例とこれを用いた撮像システムの構成例を示すブロック図である。
【図２】本発明が適用された画像処理用半導体集積回路の第２の実施例とこれを用いた撮像システムの構成例を示すブロック図である。
【図３】ＡＦＥ回路がＤＳＰとは別個の半導体チップに形成されている場合における可変利得増幅回路のゲイン設定用レジスタに対してＣＰＵが設定を行なえるようにした回路の構成例を示すブロック図である。
【図４】本発明に係る画像処理用半導体集積回路の第３の実施例の要部の構成例を示すブロック図である。
【図５】複数チャンネルの画像信号が読出し可能なＣＭＯＳセンサの構成例を示す説明図である。
【図６】複数チャンネルの画像信号が読出し可能なＣＣＤセンサの構成例を示す説明図である。
【図７】従来の画像処理用半導体集積回路の一例とこれを用いた撮像システムの構成例を示すブロック図である。
【符号の説明】
【００５２】
１００ 固体撮像素子（イメージセンサ）
１００ａ〜１００ｎ サブ領域
１１０ 画素
１１１ 受光素子（フォトダイオード）
１１２ 読出しアンプ
１１３ 選択スイッチ
１２１ 垂直方向転送ＣＣＤ
１２２ 水平方向転送ＣＣＤ
１３０ ドライバ
２００ 画像処理用半導体集積回路（画像処理用ＬＳＩ）
２１０ ＡＦＥ（アナログフロントエンド）回路
２１１ ＣＤＳ回路
２１２ 可変利得増幅回路
２１３ Ａ／Ｄ変換回路
２１４ タイミング発生回路
２１５ レジスタ
２２０ 画像処理部（ＤＳＰ）
２２１ デジタルゲイン制御増幅部
２２２ 色信号処理部
２２３ 輝度処理部
２２４ 輝度レベルサンプリング回路
２３０ ＣＰＵ
２３１ ＩＩＣコマンドインタフェース
２３２ 内部バス
２４１ ＣＭＯＳセンサインタフェース
２４２ セレクタ
２５１ デジタルＩ／Ｆ（インタフェース）
２５２ ＮＴＳＣ変換回路
３００ システム制御用ＬＳＩ
４００ 補助機能回路
【特許請求の範囲】
【請求項１】
固体撮像素子から入力される画素読出信号をサンプリングして所定のレベルまで増幅しデジタル信号に変換するアナログフロントエンド回路と、
前記アナログフロントエンド回路により変換されたデジタル信号に基づいてデジタル画像処理を行なうデジタル画像処理回路と、
カメラ機能のための演算処理や制御を行なうマイクロコンピュータと、
が１つの半導体チップ上に形成されていることを特徴とする画像処理用半導体集積回路。
【請求項２】
前記アナログフロントエンド回路は、
前記固体撮像素子から入力される画素読出信号をサンプリングするサンプリング回路と、
サンプリングされた画素読出信号を所定のレベルまで増幅するアナログ可変利得増幅回路と、
増幅されたアナログ画素読出信号をデジタル信号に変換するＡ／Ｄ変換回路と、
前記アナログフロントエンド回路内の設定値を保持するレジスタと、
を備え、
前記レジスタは、前記マイクロコンピュータからパラレルに値が供給されて設定されるように構成されていることを特徴とする請求項１に記載の画像処理用半導体集積回路。
【請求項３】
前記レジスタは、前記マイクロコンピュータによって内部バスを介して設定が行なわれるように構成されていることを特徴とする請求項２に記載の画像処理用半導体集積回路。
【請求項４】
前記レジスタは、前記アナログ可変利得増幅回路のゲインを指定するコードを保持するレジスタであることを特徴とする請求項２に記載の画像処理用半導体集積回路。
【請求項５】
前記デジタル画像処理回路は、デジタルシグナルプロセッサを備えていることを特徴とする請求項２または３に記載の画像処理用半導体集積回路。
【請求項６】
固体撮像素子から入力される画素読出信号を前記アナログフロントエンド回路を通らず前記デジタル画像処理回路へ供給する信号パスと、
前記信号パスからの信号と前記アナログフロントエンド回路からの信号のいずれかを選択して前記デジタル画像処理回路へ供給する選択手段と、
を備えていることを特徴とする請求項１に記載の画像処理用半導体集積回路。
【請求項７】
前記選択手段は、前記マイクロコンピュータからの制御信号もしくは制御コードに基づいて選択状態が設定されるように構成されていることを特徴とする請求項６に記載の画像処理用半導体集積回路。
【請求項８】
前記アナログフロントエンド回路へ入力される画素読出信号はＣＣＤ型固体撮像素子からの画素読出信号であり、前記信号パスへ供給される画素読出信号はアナログフロントエンド回路を内蔵したＣＭＯＳ型固体撮像素子からの画素読出信号であることを特徴とする請求項６に記載の画像処理用半導体集積回路。
【請求項９】
固体撮像素子から互いに並行して入力される複数の画素読出信号をそれぞれサンプリングして所定のレベルまで増幅しデジタル信号に変換する複数のアナログフロントエンド回路を備えることを特徴とする請求項１に記載の画像処理用半導体集積回路。
【請求項１０】
前記複数のアナログフロントエンド回路のいずれかで変換されたデジタル信号を選択して前記デジタル画像処理回路へ供給する第２の選択手段を備えることを特徴とする請求項９に記載の画像処理用半導体集積回路。
【請求項１】
固体撮像素子から入力される画素読出信号をサンプリングして所定のレベルまで増幅しデジタル信号に変換するアナログフロントエンド回路と、
前記アナログフロントエンド回路により変換されたデジタル信号に基づいてデジタル画像処理を行なうデジタル画像処理回路と、
カメラ機能のための演算処理や制御を行なうマイクロコンピュータと、
が１つの半導体チップ上に形成されていることを特徴とする画像処理用半導体集積回路。
【請求項２】
前記アナログフロントエンド回路は、
前記固体撮像素子から入力される画素読出信号をサンプリングするサンプリング回路と、
サンプリングされた画素読出信号を所定のレベルまで増幅するアナログ可変利得増幅回路と、
増幅されたアナログ画素読出信号をデジタル信号に変換するＡ／Ｄ変換回路と、
前記アナログフロントエンド回路内の設定値を保持するレジスタと、
を備え、
前記レジスタは、前記マイクロコンピュータからパラレルに値が供給されて設定されるように構成されていることを特徴とする請求項１に記載の画像処理用半導体集積回路。
【請求項３】
前記レジスタは、前記マイクロコンピュータによって内部バスを介して設定が行なわれるように構成されていることを特徴とする請求項２に記載の画像処理用半導体集積回路。
【請求項４】
前記レジスタは、前記アナログ可変利得増幅回路のゲインを指定するコードを保持するレジスタであることを特徴とする請求項２に記載の画像処理用半導体集積回路。
【請求項５】
前記デジタル画像処理回路は、デジタルシグナルプロセッサを備えていることを特徴とする請求項２または３に記載の画像処理用半導体集積回路。
【請求項６】
固体撮像素子から入力される画素読出信号を前記アナログフロントエンド回路を通らず前記デジタル画像処理回路へ供給する信号パスと、
前記信号パスからの信号と前記アナログフロントエンド回路からの信号のいずれかを選択して前記デジタル画像処理回路へ供給する選択手段と、
を備えていることを特徴とする請求項１に記載の画像処理用半導体集積回路。
【請求項７】
前記選択手段は、前記マイクロコンピュータからの制御信号もしくは制御コードに基づいて選択状態が設定されるように構成されていることを特徴とする請求項６に記載の画像処理用半導体集積回路。
【請求項８】
前記アナログフロントエンド回路へ入力される画素読出信号はＣＣＤ型固体撮像素子からの画素読出信号であり、前記信号パスへ供給される画素読出信号はアナログフロントエンド回路を内蔵したＣＭＯＳ型固体撮像素子からの画素読出信号であることを特徴とする請求項６に記載の画像処理用半導体集積回路。
【請求項９】
固体撮像素子から互いに並行して入力される複数の画素読出信号をそれぞれサンプリングして所定のレベルまで増幅しデジタル信号に変換する複数のアナログフロントエンド回路を備えることを特徴とする請求項１に記載の画像処理用半導体集積回路。
【請求項１０】
前記複数のアナログフロントエンド回路のいずれかで変換されたデジタル信号を選択して前記デジタル画像処理回路へ供給する第２の選択手段を備えることを特徴とする請求項９に記載の画像処理用半導体集積回路。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２００７−１２４４３４（Ｐ２００７−１２４４３４Ａ）
【公開日】平成１９年５月１７日（２００７．５．１７）
【国際特許分類】
【出願番号】特願２００５−３１５６９３（Ｐ２００５−３１５６９３）
【出願日】平成１７年１０月３１日（２００５．１０．３１）
【出願人】（５０３１２１１０３）株式会社ルネサステクノロジ (4,790)
【Ｆターム（参考）】
【公開日】平成１９年５月１７日（２００７．５．１７）
【国際特許分類】
【出願日】平成１７年１０月３１日（２００５．１０．３１）
【出願人】（５０３１２１１０３）株式会社ルネサステクノロジ (4,790)
【Ｆターム（参考）】
[ Back to top ]