画像処理システムおよび撮像装置
【課題】撮像センサから並列に出力される複数の色成分信号を並列に処理し得る低コスト、低消費電力及び小回路規模の装置を提供する。
【解決手段】ＳＰＵ（画像処理装置）１２は、制御信号ＴＳに従って撮像センサにおける欠陥画素に対応する色成分信号を補正する複数の欠陥画素補正回路４９，５０，５１と、複数の色成分信号の入力に合わせてメモリから転送された欠陥補正データＤＣＤを受信する入力制御回路６３と、欠陥補正データＤＣＤに基づいて制御信号ＴＳを生成するタイミング生成回路５２とを備える。欠陥画素補正回路４９，５０，５１は、同一の制御信号ＴＳで同一の欠陥画素に対応する色成分信号を並列に補正する。
【解決手段】ＳＰＵ（画像処理装置）１２は、制御信号ＴＳに従って撮像センサにおける欠陥画素に対応する色成分信号を補正する複数の欠陥画素補正回路４９，５０，５１と、複数の色成分信号の入力に合わせてメモリから転送された欠陥補正データＤＣＤを受信する入力制御回路６３と、欠陥補正データＤＣＤに基づいて制御信号ＴＳを生成するタイミング生成回路５２とを備える。欠陥画素補正回路４９，５０，５１は、同一の制御信号ＴＳで同一の欠陥画素に対応する色成分信号を並列に補正する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＣＣＤやＣＭＯＳなどの固体撮像素子から出力された画像信号を処理する装置及びシステムに関する。
【背景技術】
【０００２】
一般にデジタルカメラは、ＣＣＤやＣＭＯＳなどの固体撮像素子（以下、単に「撮像素子」と呼ぶ。）を搭載している。Ｒ（赤色），Ｇ（緑色），Ｂ（青色）の各色毎に撮像素子を搭載したデジタルカメラ（以下、「３板式デジタルカメラ」と呼ぶ。）の他に、単板の撮像素子を搭載したデジタルカメラ（以下、「単板式デジタルカメラ」と呼ぶ。）も広く普及している。単板式デジタルカメラの場合、撮像素子の受光部上には、公知のベイヤー配列などに従って各画素毎にＲ，ＧまたはＢの色フィルタが形成されている。この撮像素子で撮像した画像信号に対しては、各画素がＲ，Ｇ，Ｂの複数色の成分を持つように画素補間処理を施されるが、この画素補間処理によって解像度の低下や偽色の発生などの問題が起きることが知られている。
【０００３】
一方、３板式デジタルカメラの場合、３枚の撮像素子からパラレルに出力される画像信号を処理する必要があることから、画像処理の回路構成が複雑化し、製造コストが高くなり易かった。なお、３板式デジタルカメラの画像処理に関する情報は、例えば下記特許文献１に記載されている。
【０００４】
ところで、近年、各画素にＲ，Ｇ，Ｂの３層の受光部を備えた"foveon社 x3センサー"などの単板完全フルカラー撮像素子が普及してきている。この撮像素子では、入射光は、Ｒ，Ｇ，Ｂの各層の受光部で検出されるため、単板の撮像素子からＲ，Ｇ，Ｂの３色の成分信号が並列に出力され、また画素補間処理が不要であるため偽色の発生や解像度の低下などが起こり難いという利点がある。この種の撮像素子に関連する情報は、例えば下記非特許文献１に示すＵＲＬから得ることが可能である。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平１０−３０８９０１号公報（図１，図２）
【非特許文献】
【０００６】
【非特許文献１】インターネット＜URL: http://www.foveon.com/X3_better.html＞
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上記単板完全フルカラー撮像素子の普及に伴い、この単板完全フルカラー撮像素子を搭載したデジタルカメラに対応するとともに、従来の単板式デジタルカメラにも対応し得る低コストで低消費電力且つ小回路規模の画像処理チップが求められている。
【０００８】
以上の状況に鑑みて本発明の目的は、（１）撮像センサから並列に出力される複数の色成分信号を並列に処理し得る低コスト、低消費電力及び小回路規模の画像処理装置及び画像処理システム並びにこれらを搭載した撮像装置を提供することと、（２）複数の種類の撮像素子に対応し得る画像処理システム及びこれを搭載した撮像装置を提供することにある。
【課題を解決するための手段】
【０００９】
上記目的を達成するため、第１の発明は、画像信号を処理する画像処理システムであって、撮像センサの複数の受光部から並列に読み出された複数の画像信号を並列に処理する信号処理部と、前記信号処理部で処理された複数の画像信号をそれぞれバスに出力する複数の出力制御回路と、前記バスに出力された前記複数の画像信号を転送するデータ転送制御部と、を備えることを特徴としている。
【００１０】
第２の発明では、第１の発明の画像処理システムにおいて、前記データ転送制御部はＤＭＡ（ダイレクト・メモリ・アクセス）コントローラを備える。
【００１１】
第３の発明では、第１または第２の発明の画像処理システムにおいて、前記撮像センサは、互いに逆方向に読み出された２つの画像信号を出力する機能を有しており、前記複数の出力制御回路は、前記信号処理部で並列に処理された２つの画像信号をそれぞれ前記バスに出力し、前記データ転送制御部は、前記２つの画像信号のうち一方の転送先アドレスを、前記２つの画像信号のうち他方の転送先アドレスに対して逆方向にインクリメントする機能を有する。
【００１２】
第４の発明では、第１〜第３の発明の何れかの画像処理システムにおいて、前記信号処理部は、撮像センサから並列に入力する複数の色成分信号を並列に処理する機能をも有する。
【００１３】
そして第５の発明は、第１〜第４の発明の何れかの画像処理システムを備えた撮像装置である。
【発明の効果】
【００１４】
以上の如く、本発明に係る画像処理装置によれば、同一のタイミングで同一の欠陥画素に対応する複数の色成分信号が並列に補正され、各欠陥画素補正回路毎にタイミングを生成する必要が無いことから、欠陥補正データの転送量が少なくて済み、バスの使用効率を向上させることが可能となる。
【図面の簡単な説明】
【００１５】
【図１】本発明の実施形態に係る撮像装置（デジタルカメラ）の構成を概略的に示すブロック図である。
【図２】本発明の第１の実施形態に係るＳＰＵ（画像処理装置）の回路構成を概略的に示す図である。
【図３】本発明の第１の実施形態に係るＳＰＵの回路構成を概略的に示す図である。
【図４】本発明の第２の実施形態に係るＳＰＵのサンプリング回路の回路構成を概略的に示す図である。
【図５】第２の実施形態のサンプリング回路における各種信号波形を示すタイミングチャートである。
【図６】本発明の第３の実施形態に係るＳＰＵのサンプリング回路の回路構成を概略的に示す図である。
【図７】第３の実施形態のサンプリング回路における各種信号波形を示すタイミングチャートである。
【図８】本発明の第４の実施形態に係るＳＰＵのサンプリング回路の回路構成を概略的に示す図である。
【図９】第４の実施形態のサンプリング回路における各種信号波形を示すタイミングチャートである。
【図１０】本発明の第５の実施形態に係るＳＰＵのサンプリング回路の回路構成を概略的に示す図である。
【図１１】第５の実施形態のサンプリング回路における各種信号波形を示すタイミングチャートである。
【図１２】本発明の第６の実施形態に係る画像処理システムの構成を概略的に示すブロック図である。
【図１３】本発明の第７の実施形態に係る画像処理システムの構成を概略的に示すブロック図である。
【図１４】撮像センサの受光回路から読み出される信号の走査方向を模式的に示す図である。
【図１５】第７の実施形態における画像信号の配列を模式的に示す図である。
【発明を実施するための形態】
【００１６】
以下、本発明の種々の実施形態について説明する。
【００１７】
＜撮像装置１の構成＞
図１は、本発明の実施形態に係る撮像装置（デジタルカメラ）１の構成を概略的に示すブロック図である。この撮像装置１は、光学機構１０、撮像センサ１１、ＳＰＵ１２、ＲＰＵ１３、ＣＰＵ（中央演算装置）１４、主メモリ１８、ＲＯＭ１９、ＤＭＡコントローラ（ＤＭＡＣ）１７、バス１６及びシステムクロック生成部１５を備えて構成されている。バス１６は、アドレスバスやデータバス、ＤＭＡ転送用バスなどで構成されており、バス１６を介したモジュール１２，１３，１４，１７，１８，１９間の信号転送は、ＣＰＵ１４或いはＤＭＡＣ１７の制御によって実行される。なお、この明細書では「データ転送制御部」は、ＣＰＵ１４とＤＭＡＣ１７との一方または双方を含む。またシステムクロック生成部１５は、クロック信号ＳＣＫ０〜ＳＣＫ２を生成し、ＳＰＵ１２、ＲＰＵ１３及びＤＭＡＣ１７に供給している。
【００１８】
また、この撮像装置１は、図示しないが、撮像した画像を表示する表示装置、メモリカードなどの周辺装置に対応した各種インターフェース回路、圧縮符号化回路、入力ボタンやダイアルなどの入力装置、フラッシュ光を発する閃光装置などを搭載している。
【００１９】
光学機構１０は、レンズ群やプリズム、ＡＦ（オート・フォーカス；自動合焦）機能や絞り調節機能などを有しており、被写体からの入射光ＩＬはこの光学機構１０を透過し、撮像センサ１１で結像させられる。撮像センサ１１に入射した光は、図示しない光学ＬＰＦ（光学ローパスフィルタ）を通過した後に、ＣＣＤやＣＭＯＳなどの撮像素子で受光される。また撮像センサ１１では、前記光学ＬＰＦを透過した光がアナログ画像信号に光電変換され、次いで、ＣＤＳ処理（Correlated Double Sampling processing；相関二重サンプリング処理）、ＡＧＣ処理（Automatic Gain Control processing；自動利得制御処理）及びＡ／Ｄ変換処理をこの順で施された後に、ＳＰＵ１２へ出力される。
【００２０】
ＳＰＵ（Signal Processing Unit；シグナル・プロセッシング・ユニット）１２は、撮像センサ１１から入力したデジタル画像信号に欠陥画素補正などの処理を施した後に、バス１６或いはＲＰＵ（Real-time Processing Unit；リアルタイム・プロセッシング・ユニット）１３に出力する。ＲＰＵ１３は、ＳＰＵ１２から入力する画像信号に対して、シェーディング補正処理、画素補間処理、ガンマ補正処理、色空間変換処理、輪郭強調処理及び解像度変換処理などの種々のデジタル画像処理をリアルタイムに実行する機能を有している。ＳＰＵ１２やＲＰＵ１３がバス１６に出力した画像データは、ＣＰＵ１４またはＤＭＡＣ１７の制御によって主メモリ１８に転送し格納することができる。またＣＰＵ１４は、ＲＯＭ１９からプログラムをロードして実行することにより、主メモリ１８から読出した画像データに様々なソフトウェア処理を施すことができる。
【００２１】
またＤＭＡＣ１７は、複数個のＤＭＡチャンネルＣＨ０〜ＣＨｎ（ｎは１以上の整数）とバスコントローラＢＣとを備えている。ＤＭＡＣ１７の制御部（図示せず）は、他のモジュールからＤＭＡ転送の要求を受けると、搭載する複数のＤＭＡチャンネルＣＨ０〜ＣＨｎの中から、当該ＤＭＡ転送に割り当てるＤＭＡチャンネルＣＨｋ（ｋは０〜ｎの何れか）を選択するとともに、バスコントローラＢＣにバス獲得要求を発する。バスコントローラＢＣがそのバス獲得要求に成功した場合、バスコントローラＢＣは、割り当てられたＤＭＡチャンネルＣＨｋを用いてモジュール間のデータ転送を実行する。ＤＭＡ転送の終了後、バスコントローラＢＣは、使用していたバスを開放する。また複数のＤＭＡ転送を実行する場合、複数のＤＭＡチャンネルが割り当てられ、複数のＤＭＡ転送が時分割で実行されることになる。
【００２２】
以上の構成を有する撮像装置１の各部の構成を以下に説明する。
【００２３】
＜第１の実施形態＞
図２及び図３は、本発明の第１の実施形態に係るＳＰＵ（画像処理装置）１２の回路構成を概略的に示す図である。なお、図２及び図３に示す回路は、一点鎖線Ｍを介して連続的に接続する。このＳＰＵ１２は、入力端子Ｐ１〜Ｐ７から入力した原色ＲＧＢの色成分信号、或いは１６ビットのＹＵＶ信号、或いはRAWデータ信号を処理する機能を有する。
【００２４】
＜原色ＲＧＢの色成分信号の処理＞
このＳＰＵ１２が原色ＲＧＢの色成分信号を処理する場合、撮像センサ１１から並列に入力するＧ信号、Ｒ信号及びＢ信号はそれぞれ、入力端子Ｐ２、Ｐ６及びＰ７に入力させられる。入力端子Ｐ２に入力した１２ビット幅のＧ信号ＣＣＤＤ［１１：０］は、図２に示す第１位相調整回路（first phase adjustment circuit）２１、セレクタ２６，２９及び黒レベル補正回路（ＤＬＣ；dark level compensation circuit）３５に順次伝達し、さらに、図３に示すセレクタ４３、ホワイトバランス補正回路（ＷＢＣ；white balance compensation circuit）４６及び欠陥画素補正回路４９に伝達する。その後、欠陥画素補正回路４９から出力されたＧ信号は、ＡＦ評価値算出回路（ＡＦＣ）５３、画素平均回路５４、サブサンプリング回路（subsampling circuit）５５及びサブサンプリング回路５９に供給される。画素平均回路５４若しくはサブサンプリング回路５５に伝達したＧ信号は、セレクタ５６，５７を介して出力制御回路５８からバス１６に出力され得る。一方、サブサンプリング回路５９に伝達したＧ信号は、セレクタ６２を介してＲＰＵ１３に出力され得る。
【００２５】
具体的には、第１位相調整回路２１は、クロックＳＰＵ２ＣＫ，ＳＰＵＣＫを用いて、入力端子Ｐ２から伝達したＧ信号ＣＣＤＤ［１１：０］をサンプリングし位相調整した後に、セレクタ２６の"０"番目端子に出力する。セレクタ２６は、ＣＰＵ１４から与えられた選択制御信号（図示せず）の値に応じて"０"番目端子と"１"番目端子との何れか一方を選択し、選択した端子に入力した信号を次段のセレクタ２９の"０"番目端子へ出力する。いま、セレクタ２６は"０"番目端子を選択しており、第１位相調整回路２１から入力したＧ信号を選択しセレクタ２９へ出力している。
【００２６】
またセレクタ２９は、ＣＰＵ１４から与えられた選択制御信号（図示せず）の値に応じて"０"番目端子と"１"番目端子との何れか一方を選択し、選択した端子に入力した信号（選択信号）Ｓ０を出力する。いま、セレクタ２９は"０"番目端子を選択しており、前段のセレクタ２６から伝達した信号を選択信号Ｓ０として出力している。
【００２７】
その選択信号Ｓ０の上位２ビットがセレクタ３２の"０"番目端子に入力し、選択信号Ｓ０の下位１０ビットが黒レベル補正回路（ＤＬＣ）３５に入力する。セレクタ３２は、ＣＰＵ１４から与えられた選択制御信号（図示せず）の値に応じて"０"番目端子と"１"番目端子との何れか一方を選択し、選択した端子に入力した２ビット信号を出力する。セレクタ３２が"１"番目端子を選択したとき、ゼロ値（＝0x0）の２ビット信号が出力される。セレクタ３２が出力した２ビット信号と、前記選択信号Ｓ０の下位１０ビットとは結合されて黒レベル補正回路３５に供給される。このようにセレクタ３２を設けた理由は、１０ビット出力の撮像センサ１１に対応するためである。ＳＰＵ１２が、１０ビット信号を出力する撮像センサ１１と接続される場合、セレクタ３２に"１"番目端子を選択させ、選択信号Ｓ０の上位２ビットをマスクする。これによりマスクされた上位２ビットに相当する端子を他の用途に使用することができる。
【００２８】
また黒レベル補正回路３５は、入力信号の黒レベルが基準レベルに一致するように当該入力信号の階調を補正する機能を有する。黒レベル補正回路３５は、基準レベルの値を保持するレジスタ（図示せず）を備えている。この黒レベル補正回路３５から出力された１２ビット信号は、図３に示す２ビットシフト演算器（ＢＳ）４０とセレクタ４３の"０"番目端子とに入力する。
【００２９】
また２ビットシフト演算器４０は、黒レベル補正回路３５から伝達した１２ビット信号を２ビット左シフトしてセレクタ４３の"１"番目端子に出力する機能を有している。ＳＰＵ１２が１０ビット出力の撮像センサ１１と接続されている場合、黒レベル補正回路３５が出力した１２ビット信号の下位１０ビットに画像成分が含まれており、この１２ビット信号を２ビット左シフトすることで画像成分は上位１０ビットに移動させられる。これは、後段のホワイトバランス補正に対処するためである。セレクタ４３は、ＣＰＵ１４から与えられた選択制御信号（図示せず）の値に応じて"０"番目端子と"１"番目端子との何れか一方を選択し、選択した端子に入力した信号を出力する。
【００３０】
またホワイトバランス補正回路（ＷＢＣ；white balance compensation circuit）４６は、前段のセレクタ４３から伝達した入力信号の色調を基準値に合わせて補正し、欠陥画素補正回路４９に出力する。このホワイトバランス補正回路４６は前記基準値を格納するレジスタ（図示せず）を備える。
【００３１】
また欠陥画素補正回路４９は、タイミング生成回路（ＴＧ；Timing generator）５２から供給された制御信号ＴＳのタイミングで、撮像センサ１１における欠陥画素に対応する入力信号を補正して出力する。入力信号が欠陥画素に対応するとき、例えば、当該欠陥画素に近い正常な画素に対応する信号を平均化して補正信号を生成し、入力信号をその補正信号に置き換えるといった処理が実行される。
【００３２】
また欠陥画素の位置は、撮像センサ１１の検査段階で予め検出されており、その欠陥画素の位置情報を含む欠陥補正データＤＣＤがＲＯＭ１９（図１）に記録されている。この欠陥補正データＤＣＤは、ＤＭＡＣ１７により、欠陥画素補正回路４９へのＧ信号の入力に合わせて画素単位でＲＯＭ１９からＳＰＵ１２へ転送され、入力制御回路６３で受信される。ＲＯＭ１９から直接ＤＭＡ転送するかわりに、いったんＲＡＭ１８に欠陥補正データＤＣＤをコピーした後にＤＭＡ転送してもよい。入力制御回路６３は、受信した欠陥補正データＤＣＤをＦＩＦＯ回路６３ａにバッファリングさせた後、タイミング生成回路５２へ供給する。そしてタイミング生成回路５２は、欠陥補正データＤＣＤに基づいて制御信号ＴＳを生成し、前記欠陥画素補正回路４９と後述する他の欠陥画素補正回路５０，５１とに供給する。よって、３つの欠陥画素補正回路４９，５０，５１が同一のタイミングで同一画素に対応する信号を補正することとなる。なお、ここでは、欠陥補正データＤＣＤをＲＯＭやＲＡＭなどのメモリに格納し、これらメモリからＤＭＡ転送するようにしたが、欠陥補正データＤＣＤは、たとえば、タイミング生成回路５２内のレジスタに格納するような形態でもよい。また、ＣＰＵの処理能力に余裕があれば、ＲＯＭ等のメモリに格納されている欠陥補正データをＤＭＡ転送ではなく、ＣＰＵにより転送する形態でもよい。つまり、欠陥補正データＤＣＤの格納場所や転送方法は特に限定されるものではない。
【００３３】
欠陥画素補正回路４９から出力されたＧ信号は、ＡＦ評価値算出回路（ＡＦＣ）５３、画素平均回路５４及びサブサンプリング回路５５，５９に供給される。ＡＦ評価値算出回路（ＡＦＣ）５３は、欠陥画素補正回路４９から出力されたＧ信号を用いて、オートフォーカス制御用の評価データ信号ＥＶを算出する。また画素平均回路５４は、数十画素の入力信号を平均化することでホワイトバランス調整用或いは自動露出調整用の評価データ信号を生成し、セレクタ５６の"１"番目端子に出力する。またサブサンプリング回路５５は、入力信号をサブサンプリングすることで入力信号の解像度を低下させ、その処理結果である信号をセレクタ５６の"０"番目端子に出力する。サブサンプリング回路５９も、前記サブサンプリング回路５５と同様の処理を実行し、その処理結果である信号をセレクタ６２の"０"番目端子に出力する。なお、これらサブサンプリング回路５５，５９は、入力信号をサブサンプリングせずにそのまま出力することも可能である。
【００３４】
セレクタ５６は、ＣＰＵ１４から与えられた選択制御信号（図示せず）の値に応じて"０"番目端子と"１"番目端子との何れか一方を選択し、選択した端子に入力した信号を後段のセレクタ５７の"０"番目端子へ出力する。またこのセレクタ５７の他方"１"番目端子には、後述する分離回路２０から伝達した信号が入力しており、セレクタ５７は、ＣＰＵ１４から与えられた選択制御信号（図示せず）の値に応じて"０"番目端子と"１"番目端子との何れか一方を選択し、選択した端子に入力した信号を出力制御回路５８に出力することができる。そして出力制御回路５８は、入力信号をＦＩＦＯ回路５８ａにバッファリングした後、ＤＭＡ転送させるべくバス１６に出力する。
【００３５】
一方、入力端子Ｐ６に入力した１２ビット幅のＲ信号ＴＣＣＨＲ［１１：０］は、図２に示す第２位相調整回路（2nd phase adjustment circuit）２２、セレクタ２７，３０及び黒レベル補正回路３６に伝達した後、さらに、図３に示すセレクタ４４、ホワイトバランス補正回路４７、欠陥画素補正回路５０及びサブサンプリング回路６０に伝達し、その後、ＲＰＵ１３に出力される。
【００３６】
具体的には、第２位相調整回路２２は、クロックＳＰＵ２ＣＫ，ＳＰＵＣＫを用いて、入力端子Ｐ６から伝達したＲ信号ＴＣＣＨＲ［１１：０］をサンプリングし位相調整した後に、セレクタ２７の"０"番目端子に出力する。セレクタ２７は、ＣＰＵ１４から与えられた選択制御信号（図示せず）の値に応じて"０"番目端子と"１"番目端子との何れか一方を選択し、選択した端子に入力した信号を次段のセレクタ３０の"０"番目端子へ出力する。いま、セレクタ２７は"０"番目端子を選択しており、第２位相調整回路２２から入力したＲ信号を選択しセレクタ３０へ出力している。
【００３７】
またセレクタ３０は、ＣＰＵ１４から与えられた選択制御信号（図示せず）の値に応じて"０"番目端子と"１"番目端子との何れか一方を選択し、選択した端子に入力した信号（選択信号）Ｓ１を出力する。いま、セレクタ３０は"０"番目端子を選択しており、前段のセレクタ２７から伝達した信号を選択信号Ｓ１として出力している。
【００３８】
またその選択信号Ｓ１の上位２ビットがセレクタ３３の"０"番目端子に入力し、選択信号Ｓ１の下位１０ビットが黒レベル補正回路（ＤＬＣ）３６に入力する。セレクタ３３は、ＣＰＵ１４から与えられた選択制御信号（図示せず）の値に応じて"０"番目端子と"１"番目端子との何れか一方を選択し、選択した端子に入力した２ビット信号を出力する。セレクタ３３が"１"番目端子を選択したとき、ゼロ値（＝0x0）の２ビット信号が出力される。またセレクタ３３が出力した２ビット信号と、前記選択信号Ｓ１の下位１０ビットとは結合されて黒レベル補正回路３６に供給される。
【００３９】
また黒レベル補正回路３６は、内蔵レジスタ（図示せず）に保持する基準レベルを用いて、入力信号の黒レベルが基準レベルに一致するように当該入力信号の階調を補正し、その結果得た信号を後段（図３）の２ビットシフト演算器（ＢＳ）４１とセレクタ４４の"０"番目端子とに出力する。２ビットシフト演算器４１は、黒レベル補正回路３６から伝達した１２ビット信号を２ビット左シフトしてセレクタ４４の"１"番目端子に出力する。このセレクタ４４は、ＣＰＵ１４から供給された選択制御信号（図示せず）の値に応じて"０"番目端子と"１"番目端子との何れか一方を選択し、選択した端子に入力した信号をホワイトバランス補正回路４７へ出力する。そしてホワイトバランス補正回路４７は、内蔵レジスタ（図示せず）に保持した基準値を用いて、前段のセレクタ４４から伝達した入力信号の色調をその基準値に合わせて補正し、欠陥画素補正回路５０に出力する。
【００４０】
欠陥画素補正回路５０は、タイミング生成回路５２から供給された制御信号ＴＳのタイミングで欠陥画素に対応する入力信号を補正する。この欠陥画素補正回路５０の出力信号は、サブサンプリング回路６０でサブサンプリングされた後、ＲＰＵ１３に供給される。なお、サブサンプリング回路６０は、入力信号をサブサンプリングせずにそのままＲＰＵ１３へ出力することも可能である。
【００４１】
また前記サブサンプリング回路６０の出力信号は、セレクタ６２の"１"番目端子にも入力している。セレクタ６２は、ＣＰＵ１４から与えられた選択制御信号（図示せず）の値に応じて"０"番目端子と"１"番目端子との何れか一方を選択し、選択した端子に入力した信号をＲＰＵ１３へ出力する。このためセレクタ６２によって、"０"番目端子に入力するＧ信号と、"１"番目端子に入力するＲ信号との何れか一方を選択してＲＰＵ１３に供給することができる。いま、セレクタ６２は、Ｇ信号を選択してＲＰＵ１３に供給している。
【００４２】
他方、入力端子Ｐ７に入力した１２ビット幅のＢ信号ＴＣＣＨＢ［１１：０］は、図２に示す第３位相調整回路（3rd phase adjustment circuit）２３、セレクタ２８，３１及び黒レベル補正回路３７に伝達した後、さらに、図３に示すセレクタ４５、ホワイトバランス補正回路４８、欠陥画素補正回路５１及びサブサンプリング回路６１に伝達し、その後、ＲＰＵ１３に出力される。
【００４３】
具体的には、第３位相調整回路２３は、クロックＳＰＵ２ＣＫ，ＳＰＵＣＫを用いて、入力端子Ｐ７から伝達したＢ信号ＴＣＣＨＢ［１１：０］をサンプリングし位相調整した後に、セレクタ２８の"０"番目端子に出力する。セレクタ２８は、ＣＰＵ１４から与えられた選択制御信号（図示せず）の値に応じて"０"番目端子と"１"番目端子との何れか一方を選択し、選択した端子に入力した信号を次段のセレクタ３１の"０"番目端子へ出力する。いま、セレクタ３１は"０"番目端子を選択しており、第３位相調整回路２３から入力したＢ信号を選択しセレクタ３１へ出力している。
【００４４】
またセレクタ３１は、ＣＰＵ１４から与えられた選択制御信号（図示せず）の値に応じて"０"番目端子と"１"番目端子との何れか一方を選択し、選択した端子に入力した信号（選択信号）Ｓ２を出力する。いま、セレクタ３１は"０"番目端子を選択しており、前段のセレクタ２８から伝達した信号を選択信号Ｓ２として出力している。
【００４５】
またその選択信号Ｓ２の上位２ビットがセレクタ３４の"０"番目端子に入力し、選択信号Ｓ２の下位１０ビットが黒レベル補正回路（ＤＬＣ）３７に入力する。セレクタ３４は、ＣＰＵ１４から与えられた選択制御信号（図示せず）の値に応じて"０"番目端子と"１"番目端子との何れか一方を選択し、選択した端子に入力した２ビット信号を出力する。セレクタ３４が"１"番目端子を選択したとき、ゼロ値（＝0x0）の２ビット信号が出力される。またセレクタ３４が出力した２ビット信号と、前記選択信号Ｓ２の下位１０ビットとは結合されて黒レベル補正回路３７に供給される。
【００４６】
また黒レベル補正回路３７は、内蔵レジスタ（図示せず）に保持する基準レベルを用いて、入力信号の黒レベルが基準レベルに一致するように当該入力信号の階調を補正し、その結果得た信号を後段（図３）の２ビットシフト演算器（ＢＳ）４２とセレクタ４５の"０"番目端子とに出力する。２ビットシフト演算器４２は、黒レベル補正回路３７から伝達した１２ビット信号を２ビット左シフトしてセレクタ４５の"１"番目端子に出力する。このセレクタ４５は、ＣＰＵ１４から供給された選択制御信号（図示せず）の値に応じて"０"番目端子と"１"番目端子との何れか一方を選択し、選択した端子に入力した信号をホワイトバランス補正回路４８へ出力する。そしてホワイトバランス補正回路４８は、内蔵レジスタ（図示せず）に保持した基準値を用いて、前段のセレクタ４５から伝達した入力信号の色調をその基準値に合わせて補正し、欠陥画素補正回路５１に出力する。
【００４７】
欠陥画素補正回路５１は、タイミング生成回路５２から供給された制御信号ＴＳのタイミングで欠陥画素に対応する入力信号を補正する。この欠陥画素補正回路５１の出力信号は、サブサンプリング回路６１でサブサンプリングされた後、ＲＰＵ１３に供給される。なお、サブサンプリング回路６１は、入力信号をサブサンプリングせずにそのままＲＰＵ１３へ出力することも可能である。
【００４８】
＜ＹＵＶ４２２信号の処理＞
次に、第１の実施形態に係るＳＰＵ１２（図２及び図３）が１６ビットのＹＵＶ信号を処理する場合について以下に説明する。この１６ビットのＹＵＶ信号は、Ｙ信号（輝度信号）、Ｕ信号（色差信号）及びＶ信号（色差信号）のサンプリング比が４：２：２となるように生成されたＹＵＶ４２２信号であって、８ビットのＹ信号と、８ビットのＵＶ信号（Ｕ信号とＶ信号とを時分割で多重化した信号）とで構成される。ここでＵＶ信号は８ビットのＵ信号と８ビットのＶ信号とをサブサンプリングして多重化したものである。
【００４９】
１６ビットのＹＵＶ信号の上位４ビット信号ＹＵＶＩ［１５：１２］は入力端子Ｐ１に入力させられ、その下位１２ビット信号ＣＣＤＤ［１１：０］は入力端子Ｐ２に入力させられる。これら信号ＹＵＶＩ［１５：１２］，ＣＣＤＤ［１１：０］は結合されて分離回路２０に入力する。よって、入力端子Ｐ２は、ＹＵＶ信号と上記原色ＲＧＢ信号とで共用されるため、ＹＵＶ信号と原色ＲＧＢ信号とで独立に入力端子を設ける場合と比べると、入力端子に設ける入力ピンの個数が少なくて済む。
【００５０】
また入力端子Ｐ１，Ｐ２に入力した１６ビット幅のＹＵＶ４２２信号は、分離回路２０に伝達する。分離回路２０は、ＹＵＶ４２２信号をサンプリングして８ビットのＹ信号と８ビットのＵＶ信号とに分離して出力する。Ｙ信号は、ゼロ値（＝0b0000）の上位４ビットを付加され１２ビット信号となってセレクタ２９の"１"番目端子に伝達し、ＵＶ信号はオーバーサンプリング回路２５に伝達する。またオーバーサンプリング回路２５は、入力するＵＶ信号をオーバーサンプリングし、その結果８ビットのＵ信号及び８ビットのＶ信号を出力する。これらＵ信号及びＶ信号はそれぞれ、ゼロ値（＝0b0000）の上位４ビットを付加され１２ビット信号となってセレクタ３０及び３１の"１"番目端子に伝達する。
【００５１】
セレクタ２９，３０，３１はそれぞれ、ＣＰＵ１４から与えられた共通の選択制御信号（図示せず）の値に応じて"０"番目端子と"１"番目端子との何れか一方を選択し、選択した端子に入力した選択信号Ｓ０，Ｓ１，Ｓ２を出力する。いま、セレクタ２９〜３１は"１"番目端子を選択しており、セレクタ２９はＹ信号を、セレクタ３０はＵ信号を、セレクタ３１はＶ信号をそれぞれ出力する。
【００５２】
セレクタ２９から出力されたＹ信号（選択信号Ｓ０）は、上記原色ＲＧＢの色成分信号の処理と同様に、セレクタ３２、黒レベル補正回路３５、２ビットシフト演算器４０、セレクタ４３及び欠陥画素補正回路４９で順次処理された後、ＡＦ評価値算出回路（ＡＦＣ）５３、画素平均回路５４及びサブサンプリング回路５５，５９に出力され処理される。いま、セレクタ６２は"０"番目端子を選択しており、サブサンプリング回路５９から入力するＹ信号をＲＰＵ１３へ出力する。
【００５３】
またセレクタ３０から出力されたＵ信号（選択信号Ｓ１）も同様に、セレクタ３３、黒レベル補正回路３６、２ビットシフト演算器４１、セレクタ４４、ホワイトバランス補正回路４７、欠陥画素補正回路５０及びサブサンプリング回路６０で順次処理された後、ＲＰＵ１３へ出力される。さらにセレクタ３１から出力されたＶ信号（選択信号Ｓ２）も同様に、セレクタ３４、黒レベル補正回路３７、２ビットシフト演算器４２、セレクタ４５、ホワイトバランス補正回路４８、欠陥画素補正回路５１及びサブサンプリング回路６１で順次処理された後、ＲＰＵ１３へ出力される。
【００５４】
一方、分離回路２０から出力されたＹ信号とＵＶ信号とは結合され、１６ビットのＹＵＶ４２２信号としてセレクタ５７（図３）の"１"番目端子に伝達している。セレクタ５７は、前段のセレクタ５６から出力された信号と、ＹＵＶ４２２信号との何れか一方を出力制御回路５８に出力し、出力制御回路５８は、ＤＭＡ転送すべき信号をバス１６に出力する。したがって、セレクタ５７に"１"番目端子を選択させることで、ＹＵＶ４２２信号をそのまま他のモジュールにＤＭＡ転送する処理と並行して、上記Ｙ信号、Ｕ信号及びＶ信号（ＹＵＶ４４４信号）をＲＰＵ１３に出力することができる。ＹＵＶ４２２信号はオーバーサンプリングされていないため、ＹＵＶ４４４信号を転送する場合と比べるとそのデータ転送量が小さく、バス１６の使用帯域を抑制できるという利点がある。
【００５５】
＜RAWデータ信号の処理＞
なお、上記ＳＰＵ１２は、ベイヤー配列の色フィルタアレイを備えた単板の撮像センサ１１の出力信号（RAWデータ信号）を処理することができる。RAWデータ信号は、各画素が単色成分のみを持つ信号である。
【００５６】
入力端子Ｐ２から入力した１２ビット幅のRAWデータ信号は、第１位相調整回路２１でサンプリングされ位相調整された後に、セレクタ２６に出力される。いま、セレクタ２６は"０"番目端子を選択しており、第１位相調整回路２１から出力されたRAWデータ信号をセレクタ２９に出力する。いま、セレクタ２９は"０"番目端子を選択しており、前段のセレクタ２６から入力したRAWデータ信号を選択信号Ｓ０として出力する。
【００５７】
その後、RAWデータ信号の上位２ビット信号はセレクタ３２の"０"番目端子に伝達し、その下位１０ビット信号は黒レベル補正回路３５に伝達する。黒レベル補正回路３５には、セレクタ３２から出力された上位２ビット信号と、RAWデータの下位１０ビット信号とが結合され、１２ビット信号となって入力する。
【００５８】
黒レベル補正回路３５は４種類の動作モード（ＴＣ ＭＯＤＥ）を備えており、各動作モード毎に使用する基準レベルの値が異なる。第１の動作モードは、上記原色ＲＧＢの色成分信号の処理と、上記ＹＵＶ信号の処理とで使用するモードである。また第２〜第４の動作モードは、RAWデータ信号の処理で使用するモードである。RAWデータ信号は、隣接する画素間で信号の色が異なるため、黒レベル補正回路３５は、入力信号の色に合わせて画素毎に動作モードを切り換える。例えば、Ｒ信号，Ｇ信号，Ｒ信号，Ｇ信号，…のようにＲ信号とＧ信号とが交互に入力する場合、Ｒ信号用の動作モードとＧ信号用の動作モードとが交互に切り換えられることになる。
【００５９】
また黒レベル補正回路３５から出力された信号は、２ビットシフト演算器４０及びセレクタ４３を伝達した後、ホワイトバランス補正回路４６に入力する。このホワイトバランス補正回路４６は、上記黒レベル補正回路３５と同様に４種類の動作モード（ＴＣ ＭＯＤＥ）を備えており、入力信号の色に合わせて画素毎に動作モードを切り換える。
【００６０】
また欠陥画素補正回路４９からサブサンプリング回路５５に伝達した信号は、サブサンプリング回路５５、セレクタ５６，５７を介して出力制御回路５８に入力した後、バス１６に出力され転送される。一方、サブサンプリング回路５９は、上記黒レベル補正回路３５と同様に４種類の動作モード（ＴＣ ＭＯＤＥ）を備えており、入力信号の色に合わせて画素毎に動作モードを切り換える。欠陥画素補正回路４９からサブサンプリング回路５９に伝達した信号は、サブサンプリング回路５９及びセレクタ６２を介してＲＰＵ１３に出力される。
【００６１】
以上に説明した通り、本実施形態に係るＳＰＵ１２は、複数の種類の画像信号を処理し得るため高い汎用性を有している。
【００６２】
また３つの欠陥画素補正回路４９，５０，５１は、タイミング生成回路５２から供給された共通の制御信号ＴＳに基づいて、同一のタイミングで同一の欠陥画素に対応する信号を補正するため、各欠陥画素補正回路毎にタイミングを生成する必要は無い。よって、欠陥補正データＤＣＤの容量も小さくなるため、データ転送量が少なくて済み、バス１６の使用効率を向上させることが可能となる。また、各欠陥画素補正回路毎にタイミング生成回路を設ける必要が無いため、ＳＰＵ１２の回路規模を小さくし消費電力を抑えることが可能である。さらに欠陥補正データＤＣＤは、ＤＭＡＣ１７によってＤＭＡ方式で転送されることから、ＣＰＵ１４の処理負荷の軽減によって処理効率が向上するとともに、欠陥補正データＤＣＤの転送に割り当てるＤＭＡチャンネルは一つで済むため効率の高いデータ転送が可能である。
【００６３】
＜第２の実施形態＞
上記第１の実施形態では、３種類の信号を処理するＳＰＵ１２の構成について説明したが、ＳＰＵ１２は、サンプリング回路２４を用いてさらに別の種類の信号を処理することが可能である。第２の実施形態に係るＳＰＵ１２では、図２に示したサンプリング回路２４が図４に示す回路構成を有することが特徴である。
【００６４】
本実施形態では、撮像センサ１１は、各色１２ビットのＧ信号、Ｒ信号及びＢ信号を生成し、各色成分信号を６ビットづつ直列に変換してＳＰＵ１２に出力する。言い換えれば、１２ビット幅の色成分信号を６ビット幅のデータ信号に分解し、これらデータ信号を時分割で多重化して得た多重化信号ＣＣＤＤ［５：０］，ＣＣＤＤ［１１：６］，ＴＣＣＨＲ［５：０］が、ＳＰＵ１２に供給される。
【００６５】
図５のタイミングチャートに、多重化信号ＣＣＤＤ［５：０］，ＣＣＤＤ［１１：６］，ＴＣＣＨＲ［５：０］の波形例を示す。多重化信号ＣＣＤＤ［５：０］は、１２ビットのＧ信号Ｇ［１１：０］を下位６ビットのデータ信号Ｇ［５：０］と、上位６ビットのデータ信号Ｇ［１１：６］とに分解し時分割で多重化することで構成され、多重化信号ＣＣＤＤ［５：０］は、１２ビットのＲ信号Ｒ［１１：０］を下位６ビットのデータ信号Ｒ［５：０］と、上位６ビットのデータ信号Ｒ［１１：６］とに分解し時分割で多重化することで構成され、多重化信号ＴＣＣＨＲ［５：０］は、１２ビットのＢ信号Ｂ［１１：０］を下位６ビットのデータ信号Ｂ［５：０］と、上位６ビットのデータ信号Ｂ［１１：６］とに分解し時分割で多重化することで構成されている。また多重化された各データ信号は、クロック信号ＳＰＵ２ＣＫと同期して入力する。
【００６６】
図４に示すサンプリング回路２４は、クロック信号ＳＰＵＣＫとこのクロック信号ＳＰＵＣＫの２倍の周波数を持つクロック信号ＳＰＵ２ＣＫとを用いて、６ビット幅の多重化信号をサンプリングし結合して１２ビット幅の色成分信号Ｇ［１１：０］，Ｒ［１１：０］，Ｂ［１１：０］へ変換する機能を有する。以下、図４及び図５を参照しつつサンプリング回路２４の構成及び動作を説明する。
【００６７】
このサンプリング回路２４は、タイミングコントローラ８９、ラッチ回路９０Ａ〜９３Ｂ、第１セレクタ９４〜第３セレクタ９６及び第１レジスタ９７〜第３レジスタ９９を備えている。タイミングコントローラ８９は、クロック信号ＳＰＵ２ＣＫを２分周してロー・イネーブル信号ＬＥＮを生成し、ラッチ回路９０Ａ，９１Ａ，９２Ａ，９３Ａのイネーブル端子ＥＮに供給すると共に、ロー・イネーブル信号ＬＥＮに対して１８０度位相がずれたハイ・イネーブル信号ＨＥＮを生成し、ラッチ回路９０Ｂ，９１Ｂ，９２Ｂ，９３Ｂのイネーブル端子ＥＮに供給する。
【００６８】
ラッチ回路９０Ａ〜９３Ｂは、イネーブル端子ＥＮへの入力信号の高レベル期間においてクロック信号ＳＰＵ２ＣＫの立下りエッジで、端子Ｄに入力したデータ信号をラッチしこれを端子Ｑから出力する。具体的には、ラッチ回路９０Ａ，９１Ａ，９２Ａ，９３Ａはそれぞれ、ロー・イネーブル信号ＬＥＮの高レベル期間においてクロック信号ＳＰＵ２ＣＫの立下りエッジで、データ信号Ｇ［５：０］（＝ＣＣＤＤ［５：０］），Ｒ［５：０］（＝ＣＣＤＤ［１１：６］），Ｂ［５：０］（＝ＴＣＣＨＲ［５：０］），Ｘ［５：０］（＝ＴＣＣＨＲ［１１：６］）をラッチする。またラッチ回路９０Ｂ，９１Ｂ，９２Ｂ，９３Ｂはそれぞれ、ハイ・イネーブル信号ＨＥＮの高レベル期間においてクロック信号ＳＰＵ２ＣＫの立下りエッジで、データ信号Ｇ［１１：６］（＝ＣＣＤＤ［５：０］），Ｒ［１１：６］（＝ＣＣＤＤ［１１：６］），Ｂ［１１：６］（＝ＴＣＣＨＲ［５：０］），Ｘ［１１：６］（＝ＴＣＣＨＲ［１１：６］）をラッチする。なお、本実施形態ではデータ信号Ｘ［５：０］，Ｘ［１１：６］は何れの色成分信号にも割り当てられていない。
【００６９】
次にラッチ回路９０Ａ，９０Ｂの出力信号は結合して１２ビット信号ＣＨ０Ｄ［１１：０］として第１セレクタ９４〜第３セレクタ９６の"０"番目端子に入力し、ラッチ回路９１Ａ，９１Ｂの出力信号は結合して１２ビット信号ＣＨ１Ｄ［１１：０］として第１セレクタ９４〜第３セレクタ９６の"１"番目端子に入力し、ラッチ回路９２Ａ，９２Ｂの出力信号は結合して１２ビット信号ＣＨ２Ｄ［１１：０］として第１セレクタ９４〜第３セレクタ９６の"２"番目端子に入力し、そして、ラッチ回路９３Ａ，９３Ｂの出力信号は結合して１２ビット信号ＣＨ３Ｄ［１１：０］として第１セレクタ９４〜第３セレクタ９６の"３"番目端子に入力する。
【００７０】
第１セレクタ９４〜第３セレクタ９６はそれぞれ、ＣＰＵ１４から与えられた２ビットの選択制御信号ＴＣＰＨＲ［１：０］，ＴＣＰＨＧ［１：０］，ＴＣＰＨＢ［１：０］の値に応じて"０"番目端子〜"４"番目端子の何れかを選択し、選択した端子に入力した信号を出力する。
【００７１】
本例では、第１セレクタ９４は"１"番目端子を選択してＲ信号を出力し、第２セレクタ９５は"０"番目端子を選択してＧ信号を出力し、第３セレクタ９６は"２"番目端子を選択してＢ信号を出力している。なお、図５に示すデータＸＸは、第１セレクタ９４〜第３セレクタ９６で選択されないデータを指している。
【００７２】
そして第１レジスタ９７〜第３レジスタ９９はそれぞれ、クロック信号ＳＰＵＣＫの立上りエッジで、第１セレクタ９４〜第３セレクタ９６から入力した信号をラッチし、Ｒ信号Ｒ［１１：０］（＝ＣＨＲ［１１：０］），Ｇ信号Ｇ［１１：０］（＝ＣＨＧ［１１：０］）及びＢ信号Ｂ［１１：０］（＝ＣＨＢ［１１：０］）として出力する。
【００７３】
このようにＳＰＵ１２が本実施形態に係るサンプリング回路２４を採用した場合、サンプリング回路２４は６ビットづつ直列に転送された多重化信号を受信して１２ビット幅の色成分信号へ変換するため、色成分信号をそのまま受信する場合と比べると入力端子に備える入力ピンの個数を大幅に減らすことが可能となる。したがって、小回路規模のＳＰＵ１２を実現できる。
【００７４】
なお、本実施形態に係るサンプリング回路２４は６ビット幅の多重化信号を１２ビット幅の色成分信号に変換したが、本発明ではこれに限らず、Ｎ２ビット幅（Ｎ２は正整数）の多重化信号をＮ１（＝２×Ｎ２）ビット幅の色成分信号に変換する構成に拡張することは当業者にとって容易である。
【００７５】
また、本実施形態に係るサンプリング回路２４は、多重化信号を３色成分信号Ｇ［１１：０］，Ｒ［１１：０］，Ｂ［１１：０］に変換する構成を有するが、多重化信号を４色成分信号に変換する構成に拡張することも当業者にとって容易である。具体的には、サンプリング回路２４に、第１セレクタ９４〜第３セレクタ９６と同一構成のセレクタと、第１レジスタ９７〜第３レジスタ９９と同一構成のレジスタとを付加すればよい。
【００７６】
＜第３の実施形態＞
次に、本発明の第３の実施形態について説明する。第３の実施形態に係るＳＰＵ１２では、図２に示したサンプリング回路２４が図６に示す回路構成を有することが特徴である。本実施形態では、撮像センサ１１は、各色１２ビットのＧ信号、Ｒ信号及びＢ信号を生成し、各色成分信号を４ビットづつ直列に変換してＳＰＵ１２に出力する。言い換えれば、１２ビット幅の色成分信号を４ビット幅のデータ信号に分解し、これらデータ信号を時分割で多重化して得た多重化信号ＣＣＤＤ［３：０］，ＣＣＤＤ［７：４］，ＣＣＤＤ［１１：８］が、ＳＰＵ１２に供給される。
【００７７】
図７のタイミングチャートに、多重化信号ＣＣＤＤ［３：０］，ＣＣＤＤ［７：４］，ＣＣＤＤ［１１：８］の波形例を示す。多重化信号ＣＣＤＤ［３：０］は、１２ビットのＧ信号Ｇ［１１：０］をデータ信号Ｇ［３：０］，Ｇ［７：４］，Ｇ［１１：８］に分解し多重化することで構成され、多重化信号ＣＣＤＤ［７：４］は、１２ビットのＲ信号Ｒ［１１：０］をデータ信号Ｒ［３：０］，Ｒ［７：４］，Ｒ［１１：８］に分解し多重化することで構成され、多重化信号ＣＣＤＤ［１１：８］は、１２ビットのＢ信号Ｂ［１１：０］をデータ信号Ｂ［３：０］，Ｂ［７：４］，Ｂ［１１：８］に分解し多重化することで構成されている。また多重化された各データ信号は、クロック信号ＳＰＵ３ＣＫと同期して入力する。
【００７８】
図６に示すサンプリング回路２４は、クロック信号ＳＰＵＣＫとこのクロック信号ＳＰＵＣＫの３倍の周波数を持つクロック信号ＳＰＵ３ＣＫとを用いて、４ビット幅の多重化信号をサンプリングし結合することで当該多重化信号を１２ビット幅の色成分信号Ｇ［１１：０］，Ｒ［１１：０］，Ｂ［１１：０］へ変換する機能を有する。以下、図６及び図７を参照しつつサンプリング回路２４の構成及び動作を説明する。
【００７９】
このサンプリング回路２４は、タイミングコントローラ１０６、ラッチ回路１００Ａ〜１０２Ｃ及び第１レジスタ１０３〜第３レジスタ１０５を備えている。タイミングコントローラ１０６は、クロック信号ＳＰＵ３ＣＫを分周して第１イネーブル信号ＬＥＮ、第２イネーブル信号ＭＥＮ及び第３イネーブル信号ＨＥＮを生成する。第１イネーブル信号ＬＥＮのパルス幅はクロック信号ＳＰＵ３ＣＫの１周期（＝Ｔ）に相当しており、第２イネーブル信号ＭＥＮの位相は、第１イネーブル信号ＬＥＮのそれと比べて１周期（＝Ｔ）だけ遅れており、第３イネーブル信号ＨＥＮの位相は、第１イネーブル信号ＬＥＮのそれと比べて２周期（＝２×Ｔ）だけ遅れている。第１イネーブル信号ＬＥＮは、ラッチ回路１００Ａ，１０１Ａ，１０２Ａのイネーブル端子ＥＮに入力し、第２イネーブル信号ＭＥＮは、ラッチ回路１００Ｂ，１０１Ｂ，１０２Ｂのイネーブル端子ＥＮに入力し、第３イネーブル信号ＨＥＮは、ラッチ回路１００Ｃ，１０１Ｃ，１０２Ｃのイネーブル端子ＥＮに入力している。
【００８０】
これらラッチ回路１００Ａ〜１０２Ｃは何れも、イネーブル端子ＥＮへの入力信号の高レベル期間においてクロック信号ＳＰＵ３ＣＫの立下りエッジで、端子Ｄに入力したデータ信号をラッチしこれを端子Ｑから出力する。具体的には、ラッチ回路１００Ａ、１０１Ａ，１０２Ａはそれぞれ、第１イネーブル信号ＬＥＮの高レベル期間においてクロック信号ＳＰＵ３ＣＫの立下りエッジで、データ信号Ｇ［３：０］（＝ＣＣＤＤ［３：０］），Ｒ［３：０］（＝ＣＣＤＤ［７：４］），Ｂ［３：０］（＝ＣＣＤＤ［１１：８］）をラッチする。またラッチ回路１００Ｂ、１０１Ｂ，１０２Ｂはそれぞれ、第２イネーブル信号ＭＥＮの高レベル期間においてクロック信号ＳＰＵ３ＣＫの立下りエッジで、データ信号Ｇ［７：４］（＝ＣＣＤＤ［７：４］），Ｒ［７：４］（＝ＣＣＤＤ［７：４］），Ｂ［７：４］（＝ＣＣＤＤ［１１：８］）をラッチする。そしてラッチ回路１００Ｃ、１０１Ｃ，１０２Ｃはそれぞれ、第３イネーブル信号ＨＥＮの高レベル期間においてクロック信号ＳＰＵ３ＣＫの立下りエッジで、データ信号Ｇ［１１：８］（＝ＣＣＤＤ［３：０］），Ｒ［１１：８］（＝ＣＣＤＤ［７：４］），Ｂ［１１：８］（＝ＣＣＤＤ［１１：８］）をラッチする。
【００８１】
次にラッチ回路１００Ａ〜１００Ｃの出力信号は結合して１２ビット信号として第１レジスタ１０３に入力し、ラッチ回路１０１Ａ〜１０１Ｃの出力信号は結合して１２ビット信号として第２レジスタ１０４に入力し、ラッチ回路１０２Ａ〜１０２Ｃの出力信号は結合して１２ビット信号として第３レジスタ１０５に入力する。
【００８２】
そして第１レジスタ１０３〜第３レジスタ１０５はそれぞれ、クロック信号ＳＰＵＣＫの立上りエッジで入力信号をラッチし、Ｇ信号Ｇ［１１：０］（＝ＣＨＧ［１１：０］），Ｒ信号Ｒ［１１：０］（＝ＣＨＲ［１１：０］）及びＢ信号Ｂ［１１：０］（＝ＣＨＢ［１１：０］）を出力する。
【００８３】
このようにＳＰＵ１２が本実施形態に係るサンプリング回路２４を採用する場合、４ビットづつ直列に転送された多重化信号を受信して１２ビット幅の色成分信号へ変換するため、色成分信号をそのまま受信する場合と比べると入力端子に備える入力ピンの個数をさらに大幅に減らすことが可能となる。したがって、小回路規模のＳＰＵ１２を実現できる。
【００８４】
なお、本実施形態に係るサンプリング回路２４は４ビット幅の多重化信号を１２ビット幅の色成分信号に変換したが、本発明ではこれに限らず、Ｎ２ビット幅（Ｎ２は正整数）の多重化信号をＮ１（＝３×Ｎ２）ビット幅の色成分信号に変換する構成に拡張することは当業者にとって容易である。
【００８５】
＜第４の実施形態＞
次に、本発明の第４の実施形態について説明する。第４の実施形態に係るＳＰＵ１２では、図２に示したサンプリング回路２４が図８に示す回路構成を有することが特徴である。本実施形態では、撮像センサ１１は、各色１２ビットのＧ信号、Ｒ信号及びＢ信号を生成し、各色成分信号を３ビットづつ直列に変換してＳＰＵ１２に出力する。言い換えれば、１２ビット幅の色成分信号を３ビット幅のデータ信号に分解し、これらデータ信号を時分割で多重化して得た多重化信号ＣＣＤＤ［２：０］，ＣＣＤＤ［５：３］，ＣＣＤＤ［８：６］が、ＳＰＵ１２に供給される。
【００８６】
図９のタイミングチャートに、多重化信号ＣＣＤＤ［２：０］，ＣＣＤＤ［５：３］，ＣＣＤＤ［８：６］の波形例を示す。多重化信号ＣＣＤＤ［２：０］は、１２ビットのＧ信号Ｇ［１１：０］をデータ信号Ｇ［２：０］，Ｇ［５：３］，Ｇ［８：６］，Ｇ［１１：９］に分解し多重化することで構成され、多重化信号ＣＣＤＤ［５：３］は、１２ビットのＲ信号Ｒ［１１：０］をデータ信号Ｒ［２：０］，Ｒ［５：３］，Ｒ［８：６］，Ｒ［１１：９］に分解し多重化することで構成され、多重化信号ＣＣＤＤ［８：６］は、１２ビットのＢ信号Ｂ［１１：０］をデータ信号Ｂ［２：０］，Ｂ［５：３］，Ｂ［８：６］，Ｂ［１１：９］に分解し多重化することで構成されている。また多重化された各データ信号は、クロック信号ＳＰＵ４ＣＫと同期して入力する。
【００８７】
図８に示すサンプリング回路２４は、クロック信号ＳＰＵＣＫとこのクロック信号ＳＰＵＣＫの４倍の周波数を持つクロック信号ＳＰＵ４ＣＫとを用いて、３ビット幅の多重化信号をサンプリングし結合することで当該多重化信号を１２ビット幅の色成分信号Ｇ［１１：０］，Ｒ［１１：０］，Ｂ［１１：０］へ変換する機能を有する。以下、図８及び図９を参照しつつサンプリング回路２４の構成及び動作を説明する。
【００８８】
このサンプリング回路２４は、タイミングコントローラ１１６、ラッチ回路１１０Ａ〜１１２Ｄ及び第１レジスタ１１３〜第３レジスタ１１５を備えている。タイミングコントローラ１１６は、クロック信号ＳＰＵ４ＣＫを分周して第１イネーブル信号ＥＮ１、第２イネーブル信号ＥＮ２、第３イネーブル信号ＥＮ３及び第４イネーブル信号ＥＮ４を生成する。第１イネーブル信号ＥＮ１のパルス幅はクロック信号ＳＰＵ４ＣＫの１周期（＝ＴＫ）に相当しており、第２イネーブル信号ＥＮ２の位相は、第１イネーブル信号ＥＮ１のそれと比べて２周期（＝２×ＴＫ）だけ遅れ、第３イネーブル信号ＥＮ３の位相は、第１イネーブル信号ＥＮ１のそれと比べて３周期（＝３×ＴＫ）だけ遅れ、第４イネーブル信号ＥＮ４の位相は、第１イネーブル信号ＥＮ１のそれと比べて４周期（＝４×ＴＫ）だけ遅れている。また第１イネーブル信号ＥＮ１は、ラッチ回路１１０Ａ，１１１Ａ，１１２Ａのイネーブル端子ＥＮに入力し、第２イネーブル信号ＥＮ２は、ラッチ回路１１０Ｂ，１１１Ｂ，１１２Ｂのイネーブル端子ＥＮに入力し、第３イネーブル信号ＥＮ３は、ラッチ回路１１０Ｃ，１１１Ｃ，１１２Ｃのイネーブル端子ＥＮに入力し、第４イネーブル信号ＥＮ４は、ラッチ回路１１０Ｄ，１１１Ｄ，１１２Ｄのイネーブル端子ＥＮに入力している。
【００８９】
これらラッチ回路１１０Ａ〜１１２Ｄは何れも、イネーブル端子ＥＮへの入力信号の高レベル期間においてクロック信号ＳＰＵ４ＣＫの立下りエッジで、端子Ｄに入力したデータ信号をラッチしこれを端子Ｑから出力する。具体的には、ラッチ回路１１０Ａ、１１１Ａ，１１２Ａはそれぞれ、第１イネーブル信号ＥＮ１の高レベル期間においてクロック信号ＳＰＵ４ＣＫの立下りエッジで、データ信号Ｇ［２：０］（＝ＣＣＤＤ［２：０］），Ｒ［２：０］（＝ＣＣＤＤ［５：３］），Ｂ［２：０］（＝ＣＣＤＤ［８：６］）をラッチする。またラッチ回路１１０Ｂ、１１１Ｂ，１１２Ｂはそれぞれ、第２イネーブル信号ＥＮ２の高レベル期間においてクロック信号ＳＰＵ４ＣＫの立下りエッジで、データ信号Ｇ［５：３］（＝ＣＣＤＤ［２：０］），Ｒ［５：３］（＝ＣＣＤＤ［５：３］），Ｂ［５：３］（＝ＣＣＤＤ［８：６］）をラッチする。またラッチ回路１１０Ｃ、１１１Ｃ，１１２Ｃはそれぞれ、第３イネーブル信号ＥＮ３の高レベル期間においてクロック信号ＳＰＵ４ＣＫの立下りエッジで、データ信号Ｇ［８：６］（＝ＣＣＤＤ［２：０］），Ｒ［８：６］（＝ＣＣＤＤ［５：３］），Ｂ［８：６］（＝ＣＣＤＤ［８：６］）をラッチする。そしてラッチ回路１１０Ｄ、１１１Ｄ，１１２Ｄはそれぞれ、第４イネーブル信号ＥＮ４の高レベル期間においてクロック信号ＳＰＵ４ＣＫの立下りエッジで、データ信号Ｇ［１１：９］（＝ＣＣＤＤ［２：０］），Ｒ［１１：９］（＝ＣＣＤＤ［５：３］），Ｂ［１１：９］（＝ＣＣＤＤ［８：６］）をラッチする。
【００９０】
次にラッチ回路１１０Ａ〜１１０Ｄの出力信号は結合して１２ビット信号として第１レジスタ１１３に入力し、ラッチ回路１１１Ａ〜１１１Ｄの出力信号は結合して１２ビット信号として第２レジスタ１１４に入力し、ラッチ回路１１２Ａ〜１１２Ｄの出力信号は結合して１２ビット信号として第３レジスタ１１５に入力する。
【００９１】
そして第１レジスタ１１３〜第３レジスタ１１５はそれぞれ、クロック信号ＳＰＵＣＫの立上りエッジで入力信号をラッチし、Ｇ信号Ｇ［１１：０］（＝ＣＨＧ［１１：０］），Ｒ信号Ｒ［１１：０］（＝ＣＨＲ［１１：０］）及びＢ信号Ｂ［１１：０］（＝ＣＨＢ［１１：０］）を出力する。
【００９２】
このようにＳＰＵ１２が本実施形態に係るサンプリング回路２４を使用する場合、３ビットづつ直列に転送された多重化信号を受信して１２ビット幅の色成分信号へ変換するため、色成分信号をそのまま受信する場合と比べると入力端子に備える入力ピンの個数をさらに大幅に減らすことが可能となる。したがって、小回路規模のＳＰＵ１２を実現できる。
【００９３】
なお、本実施形態に係るサンプリング回路２４は３ビット幅の多重化信号を１２ビット幅の色成分信号に変換したが、本発明ではこれに限らず、Ｎ２ビット幅（Ｎ２は正整数）の多重化信号をＮ１（＝４×Ｎ２）ビット幅の色成分信号に変換する構成に拡張することは当業者にとって容易である。
【００９４】
＜第５の実施形態＞
次に、本発明の第５の実施形態について説明する。第５の実施形態に係るＳＰＵ１２では、図２に示したサンプリング回路２４が図１０に示す回路構成を有することが特徴である。本実施形態では、撮像センサ１１は、各色１２ビットのＧ信号，Ｒ信号及びＢ信号を生成し、これらの色成分信号を時分割で多重化して得られる多重化信号をＳＰＵ１２に出力する。図１１のタイミングチャートに、多重化信号ＣＣＤＤ［１１：０］の波形例を示す。図１１中のＲ，Ｇ，ＢはそれぞれＲ信号、Ｇ信号及びＢ信号を表し、Ｘは何れの色成分信号でも無い（以下、Ｘ信号と呼ぶ。）。またその多重化信号はクロック信号ＳＰＵ４ＣＫと同期して入力する。
【００９５】
図１０に示すサンプリング回路２４は、クロック信号ＳＰＵＣＫとこのクロック信号ＳＰＵＣＫの４倍の周波数を持つクロック信号ＳＰＵ４ＣＫとを用いて、多重化信号ＣＣＤＤ［１１：０］をサンプリングし並列に出力する機能を有する。以下、図１０及び図１１を参照しつつサンプリング回路２４の構成及び動作を説明する。
【００９６】
このサンプリング回路２４は、タイミングコントローラ１２０、ラッチ回路１２１〜１２４、第１セレクタ１２６〜第３セレクタ１２８及び第１レジスタ１２９〜第３レジスタ１３１を備えている。タイミングコントローラ１２０は、クロック信号ＳＰＵ４ＣＫを分周して第１イネーブル信号ＥＮ１、第２イネーブル信号ＥＮ２、第３イネーブル信号ＥＮ３及び第４イネーブル信号ＥＮ４を生成する。第１イネーブル信号ＥＮ１のパルス幅はクロック信号ＳＰＵ４ＣＫの１周期（＝ＴＫ）に相当しており、第２イネーブル信号ＥＮ２の位相は、第１イネーブル信号ＥＮ１のそれと比べて２周期（＝２×ＴＫ）だけ遅れ、第３イネーブル信号ＥＮ３の位相は、第１イネーブル信号ＥＮ１のそれと比べて３周期（＝３×ＴＫ）だけ遅れ、第４イネーブル信号ＥＮ４の位相は、第１イネーブル信号ＥＮ１のそれと比べて４周期（＝４×ＴＫ）だけ遅れている。また第１イネーブル信号ＥＮ１〜第４イネーブル信号ＥＮ４はそれぞれ、ラッチ回路１２１〜１２４のイネーブル端子ＥＮに入力している。
【００９７】
ラッチ回路１２１〜１２４は何れも、イネーブル端子ＥＮへの入力信号の高レベル期間においてクロック信号ＳＰＵ４ＣＫの立下りエッジで、端子Ｄに入力した信号をラッチしこれを端子Ｑから出力する。具体的には、ラッチ回路１２１は、第１イネーブル信号ＥＮ１の高レベル期間にクロック信号ＳＰＵ４ＣＫの立下りエッジで多重化信号中のＲ信号ＣＨ０Ｄ［１１：０］をラッチして第１セレクタ１２６〜第３セレクタ１２８の"０"番目端子に出力し、ラッチ回路１２２は、第２イネーブル信号ＥＮ２の高レベル期間にクロック信号ＳＰＵ４ＣＫの立下りエッジでＧ信号ＣＨ１Ｄ［１１：０］をラッチして第１セレクタ１２６〜第３セレクタ１２８の"１"番目端子に出力し、ラッチ回路１２３は、第３イネーブル信号ＥＮ３の高レベル期間にクロック信号ＳＰＵ４ＣＫの立下りエッジでＢ信号ＣＨ２Ｄ［１１：０］をラッチして第１セレクタ１２６〜第３セレクタ１２８の"２"番目端子に出力し、そして、ラッチ回路１２４は第４イネーブル信号ＥＮ４の高レベル期間にクロック信号ＳＰＵ４ＣＫの立下りエッジでＸ信号ＣＨ３Ｄ［１１：０］をラッチして第１セレクタ１２６〜第３セレクタ１２８の"３"番目端子に出力する。
【００９８】
第１セレクタ１２６〜第３セレクタ１２８はそれぞれ、ＣＰＵ１４から与えられた２ビットの選択制御信号ＴＣＰＨＲ［１：０］，ＴＣＰＨＧ［１：０］，ＴＣＰＨＢ［１：０］の値に応じて"０"番目端子〜"３"番目端子の何れかを選択し、選択した端子に入力した信号を出力する。本例では、第１セレクタ１２６は"０"番目端子を選択し、第２セレクタ１２７は"１"番目端子を選択し、第３セレクタ１２８は"２"番目端子を選択している。そして第１レジスタ１２９〜第３レジスタ１３１はそれぞれ、クロック信号ＳＰＵＣＫの立上りエッジで、第１セレクタ１２６〜第３セレクタ１２８の出力信号をラッチし、Ｒ信号ＣＨＲ［１１：０］、Ｇ信号ＣＨＧ［１１：０］及びＢ信号ＣＨＢ［１１：０］として出力する。
【００９９】
このようにＳＰＵ１２が本実施形態に係るサンプリング回路２４を採用した場合、サンプリング回路２４は多重化された複数の色成分信号を分離して並列に出力できるため、ＳＰＵ１２で複数の色成分信号の並列処理を行うことが可能である。また色成分信号をそのまま受信する場合と比べると入力端子に備える入力ピンの個数を大幅に減らすことが可能である。したがって、小回路規模のＳＰＵ１２を実現できる。
【０１００】
なお、本実施形態に係るサンプリング回路２４は、１２ビット幅の多重化信号を３６ビット幅の並列信号に変換していたが、本発明ではこれに限らず、一般にＮ１ビット幅（Ｎ１は正整数）の多重化信号をＮ２ビット幅（Ｎ２はＮ１の正整数倍）の並列信号に変換する構成に拡張することは当業者にとって容易である。特に現実的な構成としては、上記実施形態のようにＮ２がＮ１の４倍の場合であって多重化信号から４つの色成分信号を分離する構成と、Ｎ２がＮ１の３倍の場合であって多重化信号から３つの色成分信号を分離する構成とが挙げられる。
【０１０１】
＜第６の実施形態＞
次に、本発明の第６の実施形態について説明する。図１２は、第６の実施形態に係る画像処理システムの構成を概略的に示すブロック図である。この画像処理システムは、ＳＰＵ１２、バス１６、主メモリ１８及びＤＭＡＣ１７で構成される。
【０１０２】
ＳＰＵ１２は、撮像センサ１１から並列に読み出された２本の画像信号を並列に処理する信号処理部１２ａと、２つの出力制御回路５８Ａ，５８Ｂとを備えている。信号処理部１２ａは、上記第１の実施形態の図２及び図３に示した構成を備え、本実施形態に係るＳＰＵ１２はさらに、２つの出力制御回路５８Ａ，５８Ｂを備える。一方の出力制御回路５８Ａとして図３に示した出力制御回路５８を採用し、図３に示すサブサンプリング回路６０の出力結果を受ける他方の出力制御回路５８Ｂを設けた構成を採用すればよい。
【０１０３】
本実施形態の撮像センサ１１は、ＣＣＤからなる受光回路７０、第１アナログ信号処理回路７４Ａ及び第２アナログ信号処理回路７４Ｂを備えており、この受光回路７０はさらに、垂直転送部７１０〜７１ｎ（ｎは３以上の整数）、第１水平転送部７２Ａ、第１アンプ７３Ａ、第２水平転送部７２Ｂ及び第２アンプ７３Ｂを備えている。
【０１０４】
受光回路７０のフォトダイオード（図示せず）は入射光を光電変換することでキャリア（電荷またはホール）を発生させる。垂直転送部７１０〜７１ｎは、その発生したキャリアの信号を第１水平転送部７２Ａ及び第２水平転送部７２Ｂに転送する。その垂直転送部７１０〜７１ｎのうち偶数列の垂直転送部７１０，７１２，…は第１水平転送部７２Ａに信号を転送し、奇数列の垂直転送部７１１，７１３，…は第２水平転送部７２Ｂに信号を転送する。このように受光回路７０は、偶数列の垂直転送部７１０，７１２，…と奇数列の垂直転送部７１１，７１３，…とで分けられる二つの受光部を有しており、二つの受光部で発生したキャリアがそれぞれ、第１水平転送部７２Ａと第２水平転送部７２Ｂとに転送され、次いで第１アンプ７３Ａと第２アンプ７３Ｂとに水平方向へ転送される。第１アンプ７３Ａと第２アンプ７３Ｂとはそれぞれ、転送された信号を増幅して第１アナログ信号処理回路７４Ａと第２アナログ信号処理回路７４Ｂとに出力する。次に、第１アナログ信号処理回路７４Ａと第２アナログ信号処理回路７４Ｂはそれぞれ、入力信号にＣＤＳ処理、ＡＧＣ処理及びＡ／Ｄ変換処理を施した後、デジタル画像信号をＳＰＵ１２に出力する。
【０１０５】
また信号処理部１２ａから出力制御回路５８Ａと出力制御回路５８Ｂとに入力した画像信号は、ＤＭＡＣ１７の制御によりバス１６を介して主メモリ１８に転送される。ここで、ＤＭＡＣ１７は、出力制御回路５８Ａと主メモリ１８との間のデータ転送にＤＭＡチャンネルＣＨ０を割り当て、出力制御回路５８Ｂと主メモリ１８との間のデータ転送にＤＭＡチャンネルＣＨ１を割り当てる。そして、主メモリ１８に転送され格納された画像データＴＤは読み出され、ＲＰＵ１３に転送され処理される。
【０１０６】
このようにＳＰＵ１２は、２本の画像信号を並列に処理し、バス１６を介して他のモジュールに並列に転送できるため、効率良く画像処理を行うことができる。仮にＳＰＵ１２が単一の出力制御回路５８Ａしか持たない場合、出力制御回路５８Ａが２本の画像信号のうち一方を転送する間、他方の画像信号をバッファリングするためにラインメモリが必要となるが、本実施形態では２本の画像信号を並列にＤＭＡ転送できるためラインメモリを設ける必要が無い。
【０１０７】
なお、本実施形態では、ＳＰＵ１２は２つの出力制御回路５８Ａ，５８Ｂを備えるが、この代わりに、他方の出力制御回路５８ＢとしてＲＰＵ１３のものを使用してもよい。図３に示すセレクタ６２に"１"番目端子を選択させることで、サブサンプリング回路６０から出力された信号をＲＰＵ１３へ転送させ、当該ＲＰＵ１３の出力制御回路を介して主メモリ１８に転送させることが可能である。
【０１０８】
＜第７の実施形態＞
次に、本発明の第７の実施形態について説明する。図１３は、第７の実施形態に係る画像処理システムの構成を概略的に示すブロック図である。この画像処理システムは、ＳＰＵ１２及びＤＭＡＣ１７で構成される。ＳＰＵ１２及びＤＭＡＣ１７の構成は、図１２に示したそれらと同じである。また本実施形態の撮像センサ１１は、受光回路８０の構成を除けば、図１２に示した撮像センサ１１の構成と略同じである。
【０１０９】
本実施形態の受光回路８０は、互いに独立構成の第１受光部８１及び第２受光部８２を備えており、第１受光部８１は、Ｋ＋１本（Ｋは正整数）の垂直転送部８２０〜８２Ｋと、Ｌ＋１本（Ｌは正整数）の垂直転送部８１０〜８１Ｌとを備える。
【０１１０】
第１受光部８１及び第２受光部８２のフォトダイオード（図示せず）はそれぞれ、入射光を光電変換することでキャリアを発生させる。第１受光部８１の垂直転送部８２０〜８２Ｋはキャリアの信号を第１水平転送部８３Ｂに転送し、第２受光部８２の垂直転送部８１０〜８１Ｌはキャリアの信号を第２水平転送部８３Ａに転送する。次いで第１水平転送部８３Ｂは転送された信号を第１アンプ８４Ｂに転送し、第１アンプ８４Ｂはその信号を増幅して第１アナログ信号処理回路７４Ａに出力する。一方、第２水平転送部８３Ａは転送された信号を第２アンプ８４Ａに転送し、第２アンプ８４Ａはその信号を増幅して第２アナログ信号処理回路７４Ｂに出力する。その結果、２本のデジタル画像信号が並列にＳＰＵ１２の信号処理部１２ａに供給される。
【０１１１】
第１水平転送部８３Ｂ及び第２水平転送部８３Ａは、図１２に示した撮像センサ１１の第１水平転送部７２Ａ及び第２水平転送部７２Ｂと比べると、信号転送の段数が略半分で済むという利点を持つ。近年、高解像度の撮像素子が提供されているが、水平方向の解像度が高いほどに水平転送部の段数が大きくなり、信号の高速転送が難しくなるという問題がある。本実施形態の受光回路８０の構成はこの種の問題を改善するものである。しかしながら、第１受光部８１と第２受光部８２とで信号の読出し方向が互いに逆方向になるため、一方の受光部から読出した信号配列を、他方の受光部から読出した信号配列に合わせるために並べ替える必要がある。図１４に模式的に示すように、受光回路８０から読み出された画像信号９０のうち、第１受光部８１からは右半分の画像信号９０Ｂが矢印で示す走査方向で読み出され、第２受光部８２からは左半分の画像信号９０Ａが矢印で示す走査方向で読み出されており、走査方向が互いに逆方向になることが分かる。
【０１１２】
本実施形態では、出力制御回路５８Ａ及び出力制御回路５８Ｂから出力され主メモリ１８に転送される２本の画像信号のうち、一方の転送先アドレスを他方の転送先アドレスに対して逆方向にインクリメントすることが特徴である。具体的には、ＤＭＡＣ１７は、出力制御回路５８Ａと主メモリ１８との間のデータ転送にＤＭＡチャンネルＣＨ０を割り当て、出力制御回路５８Ｂと主メモリ１８との間のデータ転送にＤＭＡチャンネルＣＨ１を割り当てる。そして、ＤＭＡチャンネルＣＨ０は、ＤＭＡチャンネルＣＨ１が発生する転送先アドレスに対して逆方向へ転送先アドレスをインクリメントする。これにより、図１５に模式的に示すように、左半分の画像信号９１Ａの信号配列を右半分の画像信号９１Ｂの信号配列に合わせることができる。
【０１１３】
このように本実施形態では、ＳＰＵ１２から主メモリ１８に転送された画像データＴＤの左右の画像信号のうち一方の信号配列を並べ替える工程を省略できるため、画像処理を高速化することが可能となる。
【符号の説明】
【０１１４】
１ 撮像装置
１０ 光学機構
１１ 撮像センサ
１２ ＳＰＵ
１３ ＲＰＵ
１４ ＣＰＵ
１５ システムクロック生成部
１６ バス
１７ ＤＭＡＣ（ＤＭＡコントローラ）
１８ 主メモリ
１９ ＲＯＭ
【技術分野】
【０００１】
本発明は、ＣＣＤやＣＭＯＳなどの固体撮像素子から出力された画像信号を処理する装置及びシステムに関する。
【背景技術】
【０００２】
一般にデジタルカメラは、ＣＣＤやＣＭＯＳなどの固体撮像素子（以下、単に「撮像素子」と呼ぶ。）を搭載している。Ｒ（赤色），Ｇ（緑色），Ｂ（青色）の各色毎に撮像素子を搭載したデジタルカメラ（以下、「３板式デジタルカメラ」と呼ぶ。）の他に、単板の撮像素子を搭載したデジタルカメラ（以下、「単板式デジタルカメラ」と呼ぶ。）も広く普及している。単板式デジタルカメラの場合、撮像素子の受光部上には、公知のベイヤー配列などに従って各画素毎にＲ，ＧまたはＢの色フィルタが形成されている。この撮像素子で撮像した画像信号に対しては、各画素がＲ，Ｇ，Ｂの複数色の成分を持つように画素補間処理を施されるが、この画素補間処理によって解像度の低下や偽色の発生などの問題が起きることが知られている。
【０００３】
一方、３板式デジタルカメラの場合、３枚の撮像素子からパラレルに出力される画像信号を処理する必要があることから、画像処理の回路構成が複雑化し、製造コストが高くなり易かった。なお、３板式デジタルカメラの画像処理に関する情報は、例えば下記特許文献１に記載されている。
【０００４】
ところで、近年、各画素にＲ，Ｇ，Ｂの３層の受光部を備えた"foveon社 x3センサー"などの単板完全フルカラー撮像素子が普及してきている。この撮像素子では、入射光は、Ｒ，Ｇ，Ｂの各層の受光部で検出されるため、単板の撮像素子からＲ，Ｇ，Ｂの３色の成分信号が並列に出力され、また画素補間処理が不要であるため偽色の発生や解像度の低下などが起こり難いという利点がある。この種の撮像素子に関連する情報は、例えば下記非特許文献１に示すＵＲＬから得ることが可能である。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平１０−３０８９０１号公報（図１，図２）
【非特許文献】
【０００６】
【非特許文献１】インターネット＜URL: http://www.foveon.com/X3_better.html＞
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上記単板完全フルカラー撮像素子の普及に伴い、この単板完全フルカラー撮像素子を搭載したデジタルカメラに対応するとともに、従来の単板式デジタルカメラにも対応し得る低コストで低消費電力且つ小回路規模の画像処理チップが求められている。
【０００８】
以上の状況に鑑みて本発明の目的は、（１）撮像センサから並列に出力される複数の色成分信号を並列に処理し得る低コスト、低消費電力及び小回路規模の画像処理装置及び画像処理システム並びにこれらを搭載した撮像装置を提供することと、（２）複数の種類の撮像素子に対応し得る画像処理システム及びこれを搭載した撮像装置を提供することにある。
【課題を解決するための手段】
【０００９】
上記目的を達成するため、第１の発明は、画像信号を処理する画像処理システムであって、撮像センサの複数の受光部から並列に読み出された複数の画像信号を並列に処理する信号処理部と、前記信号処理部で処理された複数の画像信号をそれぞれバスに出力する複数の出力制御回路と、前記バスに出力された前記複数の画像信号を転送するデータ転送制御部と、を備えることを特徴としている。
【００１０】
第２の発明では、第１の発明の画像処理システムにおいて、前記データ転送制御部はＤＭＡ（ダイレクト・メモリ・アクセス）コントローラを備える。
【００１１】
第３の発明では、第１または第２の発明の画像処理システムにおいて、前記撮像センサは、互いに逆方向に読み出された２つの画像信号を出力する機能を有しており、前記複数の出力制御回路は、前記信号処理部で並列に処理された２つの画像信号をそれぞれ前記バスに出力し、前記データ転送制御部は、前記２つの画像信号のうち一方の転送先アドレスを、前記２つの画像信号のうち他方の転送先アドレスに対して逆方向にインクリメントする機能を有する。
【００１２】
第４の発明では、第１〜第３の発明の何れかの画像処理システムにおいて、前記信号処理部は、撮像センサから並列に入力する複数の色成分信号を並列に処理する機能をも有する。
【００１３】
そして第５の発明は、第１〜第４の発明の何れかの画像処理システムを備えた撮像装置である。
【発明の効果】
【００１４】
以上の如く、本発明に係る画像処理装置によれば、同一のタイミングで同一の欠陥画素に対応する複数の色成分信号が並列に補正され、各欠陥画素補正回路毎にタイミングを生成する必要が無いことから、欠陥補正データの転送量が少なくて済み、バスの使用効率を向上させることが可能となる。
【図面の簡単な説明】
【００１５】
【図１】本発明の実施形態に係る撮像装置（デジタルカメラ）の構成を概略的に示すブロック図である。
【図２】本発明の第１の実施形態に係るＳＰＵ（画像処理装置）の回路構成を概略的に示す図である。
【図３】本発明の第１の実施形態に係るＳＰＵの回路構成を概略的に示す図である。
【図４】本発明の第２の実施形態に係るＳＰＵのサンプリング回路の回路構成を概略的に示す図である。
【図５】第２の実施形態のサンプリング回路における各種信号波形を示すタイミングチャートである。
【図６】本発明の第３の実施形態に係るＳＰＵのサンプリング回路の回路構成を概略的に示す図である。
【図７】第３の実施形態のサンプリング回路における各種信号波形を示すタイミングチャートである。
【図８】本発明の第４の実施形態に係るＳＰＵのサンプリング回路の回路構成を概略的に示す図である。
【図９】第４の実施形態のサンプリング回路における各種信号波形を示すタイミングチャートである。
【図１０】本発明の第５の実施形態に係るＳＰＵのサンプリング回路の回路構成を概略的に示す図である。
【図１１】第５の実施形態のサンプリング回路における各種信号波形を示すタイミングチャートである。
【図１２】本発明の第６の実施形態に係る画像処理システムの構成を概略的に示すブロック図である。
【図１３】本発明の第７の実施形態に係る画像処理システムの構成を概略的に示すブロック図である。
【図１４】撮像センサの受光回路から読み出される信号の走査方向を模式的に示す図である。
【図１５】第７の実施形態における画像信号の配列を模式的に示す図である。
【発明を実施するための形態】
【００１６】
以下、本発明の種々の実施形態について説明する。
【００１７】
＜撮像装置１の構成＞
図１は、本発明の実施形態に係る撮像装置（デジタルカメラ）１の構成を概略的に示すブロック図である。この撮像装置１は、光学機構１０、撮像センサ１１、ＳＰＵ１２、ＲＰＵ１３、ＣＰＵ（中央演算装置）１４、主メモリ１８、ＲＯＭ１９、ＤＭＡコントローラ（ＤＭＡＣ）１７、バス１６及びシステムクロック生成部１５を備えて構成されている。バス１６は、アドレスバスやデータバス、ＤＭＡ転送用バスなどで構成されており、バス１６を介したモジュール１２，１３，１４，１７，１８，１９間の信号転送は、ＣＰＵ１４或いはＤＭＡＣ１７の制御によって実行される。なお、この明細書では「データ転送制御部」は、ＣＰＵ１４とＤＭＡＣ１７との一方または双方を含む。またシステムクロック生成部１５は、クロック信号ＳＣＫ０〜ＳＣＫ２を生成し、ＳＰＵ１２、ＲＰＵ１３及びＤＭＡＣ１７に供給している。
【００１８】
また、この撮像装置１は、図示しないが、撮像した画像を表示する表示装置、メモリカードなどの周辺装置に対応した各種インターフェース回路、圧縮符号化回路、入力ボタンやダイアルなどの入力装置、フラッシュ光を発する閃光装置などを搭載している。
【００１９】
光学機構１０は、レンズ群やプリズム、ＡＦ（オート・フォーカス；自動合焦）機能や絞り調節機能などを有しており、被写体からの入射光ＩＬはこの光学機構１０を透過し、撮像センサ１１で結像させられる。撮像センサ１１に入射した光は、図示しない光学ＬＰＦ（光学ローパスフィルタ）を通過した後に、ＣＣＤやＣＭＯＳなどの撮像素子で受光される。また撮像センサ１１では、前記光学ＬＰＦを透過した光がアナログ画像信号に光電変換され、次いで、ＣＤＳ処理（Correlated Double Sampling processing；相関二重サンプリング処理）、ＡＧＣ処理（Automatic Gain Control processing；自動利得制御処理）及びＡ／Ｄ変換処理をこの順で施された後に、ＳＰＵ１２へ出力される。
【００２０】
ＳＰＵ（Signal Processing Unit；シグナル・プロセッシング・ユニット）１２は、撮像センサ１１から入力したデジタル画像信号に欠陥画素補正などの処理を施した後に、バス１６或いはＲＰＵ（Real-time Processing Unit；リアルタイム・プロセッシング・ユニット）１３に出力する。ＲＰＵ１３は、ＳＰＵ１２から入力する画像信号に対して、シェーディング補正処理、画素補間処理、ガンマ補正処理、色空間変換処理、輪郭強調処理及び解像度変換処理などの種々のデジタル画像処理をリアルタイムに実行する機能を有している。ＳＰＵ１２やＲＰＵ１３がバス１６に出力した画像データは、ＣＰＵ１４またはＤＭＡＣ１７の制御によって主メモリ１８に転送し格納することができる。またＣＰＵ１４は、ＲＯＭ１９からプログラムをロードして実行することにより、主メモリ１８から読出した画像データに様々なソフトウェア処理を施すことができる。
【００２１】
またＤＭＡＣ１７は、複数個のＤＭＡチャンネルＣＨ０〜ＣＨｎ（ｎは１以上の整数）とバスコントローラＢＣとを備えている。ＤＭＡＣ１７の制御部（図示せず）は、他のモジュールからＤＭＡ転送の要求を受けると、搭載する複数のＤＭＡチャンネルＣＨ０〜ＣＨｎの中から、当該ＤＭＡ転送に割り当てるＤＭＡチャンネルＣＨｋ（ｋは０〜ｎの何れか）を選択するとともに、バスコントローラＢＣにバス獲得要求を発する。バスコントローラＢＣがそのバス獲得要求に成功した場合、バスコントローラＢＣは、割り当てられたＤＭＡチャンネルＣＨｋを用いてモジュール間のデータ転送を実行する。ＤＭＡ転送の終了後、バスコントローラＢＣは、使用していたバスを開放する。また複数のＤＭＡ転送を実行する場合、複数のＤＭＡチャンネルが割り当てられ、複数のＤＭＡ転送が時分割で実行されることになる。
【００２２】
以上の構成を有する撮像装置１の各部の構成を以下に説明する。
【００２３】
＜第１の実施形態＞
図２及び図３は、本発明の第１の実施形態に係るＳＰＵ（画像処理装置）１２の回路構成を概略的に示す図である。なお、図２及び図３に示す回路は、一点鎖線Ｍを介して連続的に接続する。このＳＰＵ１２は、入力端子Ｐ１〜Ｐ７から入力した原色ＲＧＢの色成分信号、或いは１６ビットのＹＵＶ信号、或いはRAWデータ信号を処理する機能を有する。
【００２４】
＜原色ＲＧＢの色成分信号の処理＞
このＳＰＵ１２が原色ＲＧＢの色成分信号を処理する場合、撮像センサ１１から並列に入力するＧ信号、Ｒ信号及びＢ信号はそれぞれ、入力端子Ｐ２、Ｐ６及びＰ７に入力させられる。入力端子Ｐ２に入力した１２ビット幅のＧ信号ＣＣＤＤ［１１：０］は、図２に示す第１位相調整回路（first phase adjustment circuit）２１、セレクタ２６，２９及び黒レベル補正回路（ＤＬＣ；dark level compensation circuit）３５に順次伝達し、さらに、図３に示すセレクタ４３、ホワイトバランス補正回路（ＷＢＣ；white balance compensation circuit）４６及び欠陥画素補正回路４９に伝達する。その後、欠陥画素補正回路４９から出力されたＧ信号は、ＡＦ評価値算出回路（ＡＦＣ）５３、画素平均回路５４、サブサンプリング回路（subsampling circuit）５５及びサブサンプリング回路５９に供給される。画素平均回路５４若しくはサブサンプリング回路５５に伝達したＧ信号は、セレクタ５６，５７を介して出力制御回路５８からバス１６に出力され得る。一方、サブサンプリング回路５９に伝達したＧ信号は、セレクタ６２を介してＲＰＵ１３に出力され得る。
【００２５】
具体的には、第１位相調整回路２１は、クロックＳＰＵ２ＣＫ，ＳＰＵＣＫを用いて、入力端子Ｐ２から伝達したＧ信号ＣＣＤＤ［１１：０］をサンプリングし位相調整した後に、セレクタ２６の"０"番目端子に出力する。セレクタ２６は、ＣＰＵ１４から与えられた選択制御信号（図示せず）の値に応じて"０"番目端子と"１"番目端子との何れか一方を選択し、選択した端子に入力した信号を次段のセレクタ２９の"０"番目端子へ出力する。いま、セレクタ２６は"０"番目端子を選択しており、第１位相調整回路２１から入力したＧ信号を選択しセレクタ２９へ出力している。
【００２６】
またセレクタ２９は、ＣＰＵ１４から与えられた選択制御信号（図示せず）の値に応じて"０"番目端子と"１"番目端子との何れか一方を選択し、選択した端子に入力した信号（選択信号）Ｓ０を出力する。いま、セレクタ２９は"０"番目端子を選択しており、前段のセレクタ２６から伝達した信号を選択信号Ｓ０として出力している。
【００２７】
その選択信号Ｓ０の上位２ビットがセレクタ３２の"０"番目端子に入力し、選択信号Ｓ０の下位１０ビットが黒レベル補正回路（ＤＬＣ）３５に入力する。セレクタ３２は、ＣＰＵ１４から与えられた選択制御信号（図示せず）の値に応じて"０"番目端子と"１"番目端子との何れか一方を選択し、選択した端子に入力した２ビット信号を出力する。セレクタ３２が"１"番目端子を選択したとき、ゼロ値（＝0x0）の２ビット信号が出力される。セレクタ３２が出力した２ビット信号と、前記選択信号Ｓ０の下位１０ビットとは結合されて黒レベル補正回路３５に供給される。このようにセレクタ３２を設けた理由は、１０ビット出力の撮像センサ１１に対応するためである。ＳＰＵ１２が、１０ビット信号を出力する撮像センサ１１と接続される場合、セレクタ３２に"１"番目端子を選択させ、選択信号Ｓ０の上位２ビットをマスクする。これによりマスクされた上位２ビットに相当する端子を他の用途に使用することができる。
【００２８】
また黒レベル補正回路３５は、入力信号の黒レベルが基準レベルに一致するように当該入力信号の階調を補正する機能を有する。黒レベル補正回路３５は、基準レベルの値を保持するレジスタ（図示せず）を備えている。この黒レベル補正回路３５から出力された１２ビット信号は、図３に示す２ビットシフト演算器（ＢＳ）４０とセレクタ４３の"０"番目端子とに入力する。
【００２９】
また２ビットシフト演算器４０は、黒レベル補正回路３５から伝達した１２ビット信号を２ビット左シフトしてセレクタ４３の"１"番目端子に出力する機能を有している。ＳＰＵ１２が１０ビット出力の撮像センサ１１と接続されている場合、黒レベル補正回路３５が出力した１２ビット信号の下位１０ビットに画像成分が含まれており、この１２ビット信号を２ビット左シフトすることで画像成分は上位１０ビットに移動させられる。これは、後段のホワイトバランス補正に対処するためである。セレクタ４３は、ＣＰＵ１４から与えられた選択制御信号（図示せず）の値に応じて"０"番目端子と"１"番目端子との何れか一方を選択し、選択した端子に入力した信号を出力する。
【００３０】
またホワイトバランス補正回路（ＷＢＣ；white balance compensation circuit）４６は、前段のセレクタ４３から伝達した入力信号の色調を基準値に合わせて補正し、欠陥画素補正回路４９に出力する。このホワイトバランス補正回路４６は前記基準値を格納するレジスタ（図示せず）を備える。
【００３１】
また欠陥画素補正回路４９は、タイミング生成回路（ＴＧ；Timing generator）５２から供給された制御信号ＴＳのタイミングで、撮像センサ１１における欠陥画素に対応する入力信号を補正して出力する。入力信号が欠陥画素に対応するとき、例えば、当該欠陥画素に近い正常な画素に対応する信号を平均化して補正信号を生成し、入力信号をその補正信号に置き換えるといった処理が実行される。
【００３２】
また欠陥画素の位置は、撮像センサ１１の検査段階で予め検出されており、その欠陥画素の位置情報を含む欠陥補正データＤＣＤがＲＯＭ１９（図１）に記録されている。この欠陥補正データＤＣＤは、ＤＭＡＣ１７により、欠陥画素補正回路４９へのＧ信号の入力に合わせて画素単位でＲＯＭ１９からＳＰＵ１２へ転送され、入力制御回路６３で受信される。ＲＯＭ１９から直接ＤＭＡ転送するかわりに、いったんＲＡＭ１８に欠陥補正データＤＣＤをコピーした後にＤＭＡ転送してもよい。入力制御回路６３は、受信した欠陥補正データＤＣＤをＦＩＦＯ回路６３ａにバッファリングさせた後、タイミング生成回路５２へ供給する。そしてタイミング生成回路５２は、欠陥補正データＤＣＤに基づいて制御信号ＴＳを生成し、前記欠陥画素補正回路４９と後述する他の欠陥画素補正回路５０，５１とに供給する。よって、３つの欠陥画素補正回路４９，５０，５１が同一のタイミングで同一画素に対応する信号を補正することとなる。なお、ここでは、欠陥補正データＤＣＤをＲＯＭやＲＡＭなどのメモリに格納し、これらメモリからＤＭＡ転送するようにしたが、欠陥補正データＤＣＤは、たとえば、タイミング生成回路５２内のレジスタに格納するような形態でもよい。また、ＣＰＵの処理能力に余裕があれば、ＲＯＭ等のメモリに格納されている欠陥補正データをＤＭＡ転送ではなく、ＣＰＵにより転送する形態でもよい。つまり、欠陥補正データＤＣＤの格納場所や転送方法は特に限定されるものではない。
【００３３】
欠陥画素補正回路４９から出力されたＧ信号は、ＡＦ評価値算出回路（ＡＦＣ）５３、画素平均回路５４及びサブサンプリング回路５５，５９に供給される。ＡＦ評価値算出回路（ＡＦＣ）５３は、欠陥画素補正回路４９から出力されたＧ信号を用いて、オートフォーカス制御用の評価データ信号ＥＶを算出する。また画素平均回路５４は、数十画素の入力信号を平均化することでホワイトバランス調整用或いは自動露出調整用の評価データ信号を生成し、セレクタ５６の"１"番目端子に出力する。またサブサンプリング回路５５は、入力信号をサブサンプリングすることで入力信号の解像度を低下させ、その処理結果である信号をセレクタ５６の"０"番目端子に出力する。サブサンプリング回路５９も、前記サブサンプリング回路５５と同様の処理を実行し、その処理結果である信号をセレクタ６２の"０"番目端子に出力する。なお、これらサブサンプリング回路５５，５９は、入力信号をサブサンプリングせずにそのまま出力することも可能である。
【００３４】
セレクタ５６は、ＣＰＵ１４から与えられた選択制御信号（図示せず）の値に応じて"０"番目端子と"１"番目端子との何れか一方を選択し、選択した端子に入力した信号を後段のセレクタ５７の"０"番目端子へ出力する。またこのセレクタ５７の他方"１"番目端子には、後述する分離回路２０から伝達した信号が入力しており、セレクタ５７は、ＣＰＵ１４から与えられた選択制御信号（図示せず）の値に応じて"０"番目端子と"１"番目端子との何れか一方を選択し、選択した端子に入力した信号を出力制御回路５８に出力することができる。そして出力制御回路５８は、入力信号をＦＩＦＯ回路５８ａにバッファリングした後、ＤＭＡ転送させるべくバス１６に出力する。
【００３５】
一方、入力端子Ｐ６に入力した１２ビット幅のＲ信号ＴＣＣＨＲ［１１：０］は、図２に示す第２位相調整回路（2nd phase adjustment circuit）２２、セレクタ２７，３０及び黒レベル補正回路３６に伝達した後、さらに、図３に示すセレクタ４４、ホワイトバランス補正回路４７、欠陥画素補正回路５０及びサブサンプリング回路６０に伝達し、その後、ＲＰＵ１３に出力される。
【００３６】
具体的には、第２位相調整回路２２は、クロックＳＰＵ２ＣＫ，ＳＰＵＣＫを用いて、入力端子Ｐ６から伝達したＲ信号ＴＣＣＨＲ［１１：０］をサンプリングし位相調整した後に、セレクタ２７の"０"番目端子に出力する。セレクタ２７は、ＣＰＵ１４から与えられた選択制御信号（図示せず）の値に応じて"０"番目端子と"１"番目端子との何れか一方を選択し、選択した端子に入力した信号を次段のセレクタ３０の"０"番目端子へ出力する。いま、セレクタ２７は"０"番目端子を選択しており、第２位相調整回路２２から入力したＲ信号を選択しセレクタ３０へ出力している。
【００３７】
またセレクタ３０は、ＣＰＵ１４から与えられた選択制御信号（図示せず）の値に応じて"０"番目端子と"１"番目端子との何れか一方を選択し、選択した端子に入力した信号（選択信号）Ｓ１を出力する。いま、セレクタ３０は"０"番目端子を選択しており、前段のセレクタ２７から伝達した信号を選択信号Ｓ１として出力している。
【００３８】
またその選択信号Ｓ１の上位２ビットがセレクタ３３の"０"番目端子に入力し、選択信号Ｓ１の下位１０ビットが黒レベル補正回路（ＤＬＣ）３６に入力する。セレクタ３３は、ＣＰＵ１４から与えられた選択制御信号（図示せず）の値に応じて"０"番目端子と"１"番目端子との何れか一方を選択し、選択した端子に入力した２ビット信号を出力する。セレクタ３３が"１"番目端子を選択したとき、ゼロ値（＝0x0）の２ビット信号が出力される。またセレクタ３３が出力した２ビット信号と、前記選択信号Ｓ１の下位１０ビットとは結合されて黒レベル補正回路３６に供給される。
【００３９】
また黒レベル補正回路３６は、内蔵レジスタ（図示せず）に保持する基準レベルを用いて、入力信号の黒レベルが基準レベルに一致するように当該入力信号の階調を補正し、その結果得た信号を後段（図３）の２ビットシフト演算器（ＢＳ）４１とセレクタ４４の"０"番目端子とに出力する。２ビットシフト演算器４１は、黒レベル補正回路３６から伝達した１２ビット信号を２ビット左シフトしてセレクタ４４の"１"番目端子に出力する。このセレクタ４４は、ＣＰＵ１４から供給された選択制御信号（図示せず）の値に応じて"０"番目端子と"１"番目端子との何れか一方を選択し、選択した端子に入力した信号をホワイトバランス補正回路４７へ出力する。そしてホワイトバランス補正回路４７は、内蔵レジスタ（図示せず）に保持した基準値を用いて、前段のセレクタ４４から伝達した入力信号の色調をその基準値に合わせて補正し、欠陥画素補正回路５０に出力する。
【００４０】
欠陥画素補正回路５０は、タイミング生成回路５２から供給された制御信号ＴＳのタイミングで欠陥画素に対応する入力信号を補正する。この欠陥画素補正回路５０の出力信号は、サブサンプリング回路６０でサブサンプリングされた後、ＲＰＵ１３に供給される。なお、サブサンプリング回路６０は、入力信号をサブサンプリングせずにそのままＲＰＵ１３へ出力することも可能である。
【００４１】
また前記サブサンプリング回路６０の出力信号は、セレクタ６２の"１"番目端子にも入力している。セレクタ６２は、ＣＰＵ１４から与えられた選択制御信号（図示せず）の値に応じて"０"番目端子と"１"番目端子との何れか一方を選択し、選択した端子に入力した信号をＲＰＵ１３へ出力する。このためセレクタ６２によって、"０"番目端子に入力するＧ信号と、"１"番目端子に入力するＲ信号との何れか一方を選択してＲＰＵ１３に供給することができる。いま、セレクタ６２は、Ｇ信号を選択してＲＰＵ１３に供給している。
【００４２】
他方、入力端子Ｐ７に入力した１２ビット幅のＢ信号ＴＣＣＨＢ［１１：０］は、図２に示す第３位相調整回路（3rd phase adjustment circuit）２３、セレクタ２８，３１及び黒レベル補正回路３７に伝達した後、さらに、図３に示すセレクタ４５、ホワイトバランス補正回路４８、欠陥画素補正回路５１及びサブサンプリング回路６１に伝達し、その後、ＲＰＵ１３に出力される。
【００４３】
具体的には、第３位相調整回路２３は、クロックＳＰＵ２ＣＫ，ＳＰＵＣＫを用いて、入力端子Ｐ７から伝達したＢ信号ＴＣＣＨＢ［１１：０］をサンプリングし位相調整した後に、セレクタ２８の"０"番目端子に出力する。セレクタ２８は、ＣＰＵ１４から与えられた選択制御信号（図示せず）の値に応じて"０"番目端子と"１"番目端子との何れか一方を選択し、選択した端子に入力した信号を次段のセレクタ３１の"０"番目端子へ出力する。いま、セレクタ３１は"０"番目端子を選択しており、第３位相調整回路２３から入力したＢ信号を選択しセレクタ３１へ出力している。
【００４４】
またセレクタ３１は、ＣＰＵ１４から与えられた選択制御信号（図示せず）の値に応じて"０"番目端子と"１"番目端子との何れか一方を選択し、選択した端子に入力した信号（選択信号）Ｓ２を出力する。いま、セレクタ３１は"０"番目端子を選択しており、前段のセレクタ２８から伝達した信号を選択信号Ｓ２として出力している。
【００４５】
またその選択信号Ｓ２の上位２ビットがセレクタ３４の"０"番目端子に入力し、選択信号Ｓ２の下位１０ビットが黒レベル補正回路（ＤＬＣ）３７に入力する。セレクタ３４は、ＣＰＵ１４から与えられた選択制御信号（図示せず）の値に応じて"０"番目端子と"１"番目端子との何れか一方を選択し、選択した端子に入力した２ビット信号を出力する。セレクタ３４が"１"番目端子を選択したとき、ゼロ値（＝0x0）の２ビット信号が出力される。またセレクタ３４が出力した２ビット信号と、前記選択信号Ｓ２の下位１０ビットとは結合されて黒レベル補正回路３７に供給される。
【００４６】
また黒レベル補正回路３７は、内蔵レジスタ（図示せず）に保持する基準レベルを用いて、入力信号の黒レベルが基準レベルに一致するように当該入力信号の階調を補正し、その結果得た信号を後段（図３）の２ビットシフト演算器（ＢＳ）４２とセレクタ４５の"０"番目端子とに出力する。２ビットシフト演算器４２は、黒レベル補正回路３７から伝達した１２ビット信号を２ビット左シフトしてセレクタ４５の"１"番目端子に出力する。このセレクタ４５は、ＣＰＵ１４から供給された選択制御信号（図示せず）の値に応じて"０"番目端子と"１"番目端子との何れか一方を選択し、選択した端子に入力した信号をホワイトバランス補正回路４８へ出力する。そしてホワイトバランス補正回路４８は、内蔵レジスタ（図示せず）に保持した基準値を用いて、前段のセレクタ４５から伝達した入力信号の色調をその基準値に合わせて補正し、欠陥画素補正回路５１に出力する。
【００４７】
欠陥画素補正回路５１は、タイミング生成回路５２から供給された制御信号ＴＳのタイミングで欠陥画素に対応する入力信号を補正する。この欠陥画素補正回路５１の出力信号は、サブサンプリング回路６１でサブサンプリングされた後、ＲＰＵ１３に供給される。なお、サブサンプリング回路６１は、入力信号をサブサンプリングせずにそのままＲＰＵ１３へ出力することも可能である。
【００４８】
＜ＹＵＶ４２２信号の処理＞
次に、第１の実施形態に係るＳＰＵ１２（図２及び図３）が１６ビットのＹＵＶ信号を処理する場合について以下に説明する。この１６ビットのＹＵＶ信号は、Ｙ信号（輝度信号）、Ｕ信号（色差信号）及びＶ信号（色差信号）のサンプリング比が４：２：２となるように生成されたＹＵＶ４２２信号であって、８ビットのＹ信号と、８ビットのＵＶ信号（Ｕ信号とＶ信号とを時分割で多重化した信号）とで構成される。ここでＵＶ信号は８ビットのＵ信号と８ビットのＶ信号とをサブサンプリングして多重化したものである。
【００４９】
１６ビットのＹＵＶ信号の上位４ビット信号ＹＵＶＩ［１５：１２］は入力端子Ｐ１に入力させられ、その下位１２ビット信号ＣＣＤＤ［１１：０］は入力端子Ｐ２に入力させられる。これら信号ＹＵＶＩ［１５：１２］，ＣＣＤＤ［１１：０］は結合されて分離回路２０に入力する。よって、入力端子Ｐ２は、ＹＵＶ信号と上記原色ＲＧＢ信号とで共用されるため、ＹＵＶ信号と原色ＲＧＢ信号とで独立に入力端子を設ける場合と比べると、入力端子に設ける入力ピンの個数が少なくて済む。
【００５０】
また入力端子Ｐ１，Ｐ２に入力した１６ビット幅のＹＵＶ４２２信号は、分離回路２０に伝達する。分離回路２０は、ＹＵＶ４２２信号をサンプリングして８ビットのＹ信号と８ビットのＵＶ信号とに分離して出力する。Ｙ信号は、ゼロ値（＝0b0000）の上位４ビットを付加され１２ビット信号となってセレクタ２９の"１"番目端子に伝達し、ＵＶ信号はオーバーサンプリング回路２５に伝達する。またオーバーサンプリング回路２５は、入力するＵＶ信号をオーバーサンプリングし、その結果８ビットのＵ信号及び８ビットのＶ信号を出力する。これらＵ信号及びＶ信号はそれぞれ、ゼロ値（＝0b0000）の上位４ビットを付加され１２ビット信号となってセレクタ３０及び３１の"１"番目端子に伝達する。
【００５１】
セレクタ２９，３０，３１はそれぞれ、ＣＰＵ１４から与えられた共通の選択制御信号（図示せず）の値に応じて"０"番目端子と"１"番目端子との何れか一方を選択し、選択した端子に入力した選択信号Ｓ０，Ｓ１，Ｓ２を出力する。いま、セレクタ２９〜３１は"１"番目端子を選択しており、セレクタ２９はＹ信号を、セレクタ３０はＵ信号を、セレクタ３１はＶ信号をそれぞれ出力する。
【００５２】
セレクタ２９から出力されたＹ信号（選択信号Ｓ０）は、上記原色ＲＧＢの色成分信号の処理と同様に、セレクタ３２、黒レベル補正回路３５、２ビットシフト演算器４０、セレクタ４３及び欠陥画素補正回路４９で順次処理された後、ＡＦ評価値算出回路（ＡＦＣ）５３、画素平均回路５４及びサブサンプリング回路５５，５９に出力され処理される。いま、セレクタ６２は"０"番目端子を選択しており、サブサンプリング回路５９から入力するＹ信号をＲＰＵ１３へ出力する。
【００５３】
またセレクタ３０から出力されたＵ信号（選択信号Ｓ１）も同様に、セレクタ３３、黒レベル補正回路３６、２ビットシフト演算器４１、セレクタ４４、ホワイトバランス補正回路４７、欠陥画素補正回路５０及びサブサンプリング回路６０で順次処理された後、ＲＰＵ１３へ出力される。さらにセレクタ３１から出力されたＶ信号（選択信号Ｓ２）も同様に、セレクタ３４、黒レベル補正回路３７、２ビットシフト演算器４２、セレクタ４５、ホワイトバランス補正回路４８、欠陥画素補正回路５１及びサブサンプリング回路６１で順次処理された後、ＲＰＵ１３へ出力される。
【００５４】
一方、分離回路２０から出力されたＹ信号とＵＶ信号とは結合され、１６ビットのＹＵＶ４２２信号としてセレクタ５７（図３）の"１"番目端子に伝達している。セレクタ５７は、前段のセレクタ５６から出力された信号と、ＹＵＶ４２２信号との何れか一方を出力制御回路５８に出力し、出力制御回路５８は、ＤＭＡ転送すべき信号をバス１６に出力する。したがって、セレクタ５７に"１"番目端子を選択させることで、ＹＵＶ４２２信号をそのまま他のモジュールにＤＭＡ転送する処理と並行して、上記Ｙ信号、Ｕ信号及びＶ信号（ＹＵＶ４４４信号）をＲＰＵ１３に出力することができる。ＹＵＶ４２２信号はオーバーサンプリングされていないため、ＹＵＶ４４４信号を転送する場合と比べるとそのデータ転送量が小さく、バス１６の使用帯域を抑制できるという利点がある。
【００５５】
＜RAWデータ信号の処理＞
なお、上記ＳＰＵ１２は、ベイヤー配列の色フィルタアレイを備えた単板の撮像センサ１１の出力信号（RAWデータ信号）を処理することができる。RAWデータ信号は、各画素が単色成分のみを持つ信号である。
【００５６】
入力端子Ｐ２から入力した１２ビット幅のRAWデータ信号は、第１位相調整回路２１でサンプリングされ位相調整された後に、セレクタ２６に出力される。いま、セレクタ２６は"０"番目端子を選択しており、第１位相調整回路２１から出力されたRAWデータ信号をセレクタ２９に出力する。いま、セレクタ２９は"０"番目端子を選択しており、前段のセレクタ２６から入力したRAWデータ信号を選択信号Ｓ０として出力する。
【００５７】
その後、RAWデータ信号の上位２ビット信号はセレクタ３２の"０"番目端子に伝達し、その下位１０ビット信号は黒レベル補正回路３５に伝達する。黒レベル補正回路３５には、セレクタ３２から出力された上位２ビット信号と、RAWデータの下位１０ビット信号とが結合され、１２ビット信号となって入力する。
【００５８】
黒レベル補正回路３５は４種類の動作モード（ＴＣ ＭＯＤＥ）を備えており、各動作モード毎に使用する基準レベルの値が異なる。第１の動作モードは、上記原色ＲＧＢの色成分信号の処理と、上記ＹＵＶ信号の処理とで使用するモードである。また第２〜第４の動作モードは、RAWデータ信号の処理で使用するモードである。RAWデータ信号は、隣接する画素間で信号の色が異なるため、黒レベル補正回路３５は、入力信号の色に合わせて画素毎に動作モードを切り換える。例えば、Ｒ信号，Ｇ信号，Ｒ信号，Ｇ信号，…のようにＲ信号とＧ信号とが交互に入力する場合、Ｒ信号用の動作モードとＧ信号用の動作モードとが交互に切り換えられることになる。
【００５９】
また黒レベル補正回路３５から出力された信号は、２ビットシフト演算器４０及びセレクタ４３を伝達した後、ホワイトバランス補正回路４６に入力する。このホワイトバランス補正回路４６は、上記黒レベル補正回路３５と同様に４種類の動作モード（ＴＣ ＭＯＤＥ）を備えており、入力信号の色に合わせて画素毎に動作モードを切り換える。
【００６０】
また欠陥画素補正回路４９からサブサンプリング回路５５に伝達した信号は、サブサンプリング回路５５、セレクタ５６，５７を介して出力制御回路５８に入力した後、バス１６に出力され転送される。一方、サブサンプリング回路５９は、上記黒レベル補正回路３５と同様に４種類の動作モード（ＴＣ ＭＯＤＥ）を備えており、入力信号の色に合わせて画素毎に動作モードを切り換える。欠陥画素補正回路４９からサブサンプリング回路５９に伝達した信号は、サブサンプリング回路５９及びセレクタ６２を介してＲＰＵ１３に出力される。
【００６１】
以上に説明した通り、本実施形態に係るＳＰＵ１２は、複数の種類の画像信号を処理し得るため高い汎用性を有している。
【００６２】
また３つの欠陥画素補正回路４９，５０，５１は、タイミング生成回路５２から供給された共通の制御信号ＴＳに基づいて、同一のタイミングで同一の欠陥画素に対応する信号を補正するため、各欠陥画素補正回路毎にタイミングを生成する必要は無い。よって、欠陥補正データＤＣＤの容量も小さくなるため、データ転送量が少なくて済み、バス１６の使用効率を向上させることが可能となる。また、各欠陥画素補正回路毎にタイミング生成回路を設ける必要が無いため、ＳＰＵ１２の回路規模を小さくし消費電力を抑えることが可能である。さらに欠陥補正データＤＣＤは、ＤＭＡＣ１７によってＤＭＡ方式で転送されることから、ＣＰＵ１４の処理負荷の軽減によって処理効率が向上するとともに、欠陥補正データＤＣＤの転送に割り当てるＤＭＡチャンネルは一つで済むため効率の高いデータ転送が可能である。
【００６３】
＜第２の実施形態＞
上記第１の実施形態では、３種類の信号を処理するＳＰＵ１２の構成について説明したが、ＳＰＵ１２は、サンプリング回路２４を用いてさらに別の種類の信号を処理することが可能である。第２の実施形態に係るＳＰＵ１２では、図２に示したサンプリング回路２４が図４に示す回路構成を有することが特徴である。
【００６４】
本実施形態では、撮像センサ１１は、各色１２ビットのＧ信号、Ｒ信号及びＢ信号を生成し、各色成分信号を６ビットづつ直列に変換してＳＰＵ１２に出力する。言い換えれば、１２ビット幅の色成分信号を６ビット幅のデータ信号に分解し、これらデータ信号を時分割で多重化して得た多重化信号ＣＣＤＤ［５：０］，ＣＣＤＤ［１１：６］，ＴＣＣＨＲ［５：０］が、ＳＰＵ１２に供給される。
【００６５】
図５のタイミングチャートに、多重化信号ＣＣＤＤ［５：０］，ＣＣＤＤ［１１：６］，ＴＣＣＨＲ［５：０］の波形例を示す。多重化信号ＣＣＤＤ［５：０］は、１２ビットのＧ信号Ｇ［１１：０］を下位６ビットのデータ信号Ｇ［５：０］と、上位６ビットのデータ信号Ｇ［１１：６］とに分解し時分割で多重化することで構成され、多重化信号ＣＣＤＤ［５：０］は、１２ビットのＲ信号Ｒ［１１：０］を下位６ビットのデータ信号Ｒ［５：０］と、上位６ビットのデータ信号Ｒ［１１：６］とに分解し時分割で多重化することで構成され、多重化信号ＴＣＣＨＲ［５：０］は、１２ビットのＢ信号Ｂ［１１：０］を下位６ビットのデータ信号Ｂ［５：０］と、上位６ビットのデータ信号Ｂ［１１：６］とに分解し時分割で多重化することで構成されている。また多重化された各データ信号は、クロック信号ＳＰＵ２ＣＫと同期して入力する。
【００６６】
図４に示すサンプリング回路２４は、クロック信号ＳＰＵＣＫとこのクロック信号ＳＰＵＣＫの２倍の周波数を持つクロック信号ＳＰＵ２ＣＫとを用いて、６ビット幅の多重化信号をサンプリングし結合して１２ビット幅の色成分信号Ｇ［１１：０］，Ｒ［１１：０］，Ｂ［１１：０］へ変換する機能を有する。以下、図４及び図５を参照しつつサンプリング回路２４の構成及び動作を説明する。
【００６７】
このサンプリング回路２４は、タイミングコントローラ８９、ラッチ回路９０Ａ〜９３Ｂ、第１セレクタ９４〜第３セレクタ９６及び第１レジスタ９７〜第３レジスタ９９を備えている。タイミングコントローラ８９は、クロック信号ＳＰＵ２ＣＫを２分周してロー・イネーブル信号ＬＥＮを生成し、ラッチ回路９０Ａ，９１Ａ，９２Ａ，９３Ａのイネーブル端子ＥＮに供給すると共に、ロー・イネーブル信号ＬＥＮに対して１８０度位相がずれたハイ・イネーブル信号ＨＥＮを生成し、ラッチ回路９０Ｂ，９１Ｂ，９２Ｂ，９３Ｂのイネーブル端子ＥＮに供給する。
【００６８】
ラッチ回路９０Ａ〜９３Ｂは、イネーブル端子ＥＮへの入力信号の高レベル期間においてクロック信号ＳＰＵ２ＣＫの立下りエッジで、端子Ｄに入力したデータ信号をラッチしこれを端子Ｑから出力する。具体的には、ラッチ回路９０Ａ，９１Ａ，９２Ａ，９３Ａはそれぞれ、ロー・イネーブル信号ＬＥＮの高レベル期間においてクロック信号ＳＰＵ２ＣＫの立下りエッジで、データ信号Ｇ［５：０］（＝ＣＣＤＤ［５：０］），Ｒ［５：０］（＝ＣＣＤＤ［１１：６］），Ｂ［５：０］（＝ＴＣＣＨＲ［５：０］），Ｘ［５：０］（＝ＴＣＣＨＲ［１１：６］）をラッチする。またラッチ回路９０Ｂ，９１Ｂ，９２Ｂ，９３Ｂはそれぞれ、ハイ・イネーブル信号ＨＥＮの高レベル期間においてクロック信号ＳＰＵ２ＣＫの立下りエッジで、データ信号Ｇ［１１：６］（＝ＣＣＤＤ［５：０］），Ｒ［１１：６］（＝ＣＣＤＤ［１１：６］），Ｂ［１１：６］（＝ＴＣＣＨＲ［５：０］），Ｘ［１１：６］（＝ＴＣＣＨＲ［１１：６］）をラッチする。なお、本実施形態ではデータ信号Ｘ［５：０］，Ｘ［１１：６］は何れの色成分信号にも割り当てられていない。
【００６９】
次にラッチ回路９０Ａ，９０Ｂの出力信号は結合して１２ビット信号ＣＨ０Ｄ［１１：０］として第１セレクタ９４〜第３セレクタ９６の"０"番目端子に入力し、ラッチ回路９１Ａ，９１Ｂの出力信号は結合して１２ビット信号ＣＨ１Ｄ［１１：０］として第１セレクタ９４〜第３セレクタ９６の"１"番目端子に入力し、ラッチ回路９２Ａ，９２Ｂの出力信号は結合して１２ビット信号ＣＨ２Ｄ［１１：０］として第１セレクタ９４〜第３セレクタ９６の"２"番目端子に入力し、そして、ラッチ回路９３Ａ，９３Ｂの出力信号は結合して１２ビット信号ＣＨ３Ｄ［１１：０］として第１セレクタ９４〜第３セレクタ９６の"３"番目端子に入力する。
【００７０】
第１セレクタ９４〜第３セレクタ９６はそれぞれ、ＣＰＵ１４から与えられた２ビットの選択制御信号ＴＣＰＨＲ［１：０］，ＴＣＰＨＧ［１：０］，ＴＣＰＨＢ［１：０］の値に応じて"０"番目端子〜"４"番目端子の何れかを選択し、選択した端子に入力した信号を出力する。
【００７１】
本例では、第１セレクタ９４は"１"番目端子を選択してＲ信号を出力し、第２セレクタ９５は"０"番目端子を選択してＧ信号を出力し、第３セレクタ９６は"２"番目端子を選択してＢ信号を出力している。なお、図５に示すデータＸＸは、第１セレクタ９４〜第３セレクタ９６で選択されないデータを指している。
【００７２】
そして第１レジスタ９７〜第３レジスタ９９はそれぞれ、クロック信号ＳＰＵＣＫの立上りエッジで、第１セレクタ９４〜第３セレクタ９６から入力した信号をラッチし、Ｒ信号Ｒ［１１：０］（＝ＣＨＲ［１１：０］），Ｇ信号Ｇ［１１：０］（＝ＣＨＧ［１１：０］）及びＢ信号Ｂ［１１：０］（＝ＣＨＢ［１１：０］）として出力する。
【００７３】
このようにＳＰＵ１２が本実施形態に係るサンプリング回路２４を採用した場合、サンプリング回路２４は６ビットづつ直列に転送された多重化信号を受信して１２ビット幅の色成分信号へ変換するため、色成分信号をそのまま受信する場合と比べると入力端子に備える入力ピンの個数を大幅に減らすことが可能となる。したがって、小回路規模のＳＰＵ１２を実現できる。
【００７４】
なお、本実施形態に係るサンプリング回路２４は６ビット幅の多重化信号を１２ビット幅の色成分信号に変換したが、本発明ではこれに限らず、Ｎ２ビット幅（Ｎ２は正整数）の多重化信号をＮ１（＝２×Ｎ２）ビット幅の色成分信号に変換する構成に拡張することは当業者にとって容易である。
【００７５】
また、本実施形態に係るサンプリング回路２４は、多重化信号を３色成分信号Ｇ［１１：０］，Ｒ［１１：０］，Ｂ［１１：０］に変換する構成を有するが、多重化信号を４色成分信号に変換する構成に拡張することも当業者にとって容易である。具体的には、サンプリング回路２４に、第１セレクタ９４〜第３セレクタ９６と同一構成のセレクタと、第１レジスタ９７〜第３レジスタ９９と同一構成のレジスタとを付加すればよい。
【００７６】
＜第３の実施形態＞
次に、本発明の第３の実施形態について説明する。第３の実施形態に係るＳＰＵ１２では、図２に示したサンプリング回路２４が図６に示す回路構成を有することが特徴である。本実施形態では、撮像センサ１１は、各色１２ビットのＧ信号、Ｒ信号及びＢ信号を生成し、各色成分信号を４ビットづつ直列に変換してＳＰＵ１２に出力する。言い換えれば、１２ビット幅の色成分信号を４ビット幅のデータ信号に分解し、これらデータ信号を時分割で多重化して得た多重化信号ＣＣＤＤ［３：０］，ＣＣＤＤ［７：４］，ＣＣＤＤ［１１：８］が、ＳＰＵ１２に供給される。
【００７７】
図７のタイミングチャートに、多重化信号ＣＣＤＤ［３：０］，ＣＣＤＤ［７：４］，ＣＣＤＤ［１１：８］の波形例を示す。多重化信号ＣＣＤＤ［３：０］は、１２ビットのＧ信号Ｇ［１１：０］をデータ信号Ｇ［３：０］，Ｇ［７：４］，Ｇ［１１：８］に分解し多重化することで構成され、多重化信号ＣＣＤＤ［７：４］は、１２ビットのＲ信号Ｒ［１１：０］をデータ信号Ｒ［３：０］，Ｒ［７：４］，Ｒ［１１：８］に分解し多重化することで構成され、多重化信号ＣＣＤＤ［１１：８］は、１２ビットのＢ信号Ｂ［１１：０］をデータ信号Ｂ［３：０］，Ｂ［７：４］，Ｂ［１１：８］に分解し多重化することで構成されている。また多重化された各データ信号は、クロック信号ＳＰＵ３ＣＫと同期して入力する。
【００７８】
図６に示すサンプリング回路２４は、クロック信号ＳＰＵＣＫとこのクロック信号ＳＰＵＣＫの３倍の周波数を持つクロック信号ＳＰＵ３ＣＫとを用いて、４ビット幅の多重化信号をサンプリングし結合することで当該多重化信号を１２ビット幅の色成分信号Ｇ［１１：０］，Ｒ［１１：０］，Ｂ［１１：０］へ変換する機能を有する。以下、図６及び図７を参照しつつサンプリング回路２４の構成及び動作を説明する。
【００７９】
このサンプリング回路２４は、タイミングコントローラ１０６、ラッチ回路１００Ａ〜１０２Ｃ及び第１レジスタ１０３〜第３レジスタ１０５を備えている。タイミングコントローラ１０６は、クロック信号ＳＰＵ３ＣＫを分周して第１イネーブル信号ＬＥＮ、第２イネーブル信号ＭＥＮ及び第３イネーブル信号ＨＥＮを生成する。第１イネーブル信号ＬＥＮのパルス幅はクロック信号ＳＰＵ３ＣＫの１周期（＝Ｔ）に相当しており、第２イネーブル信号ＭＥＮの位相は、第１イネーブル信号ＬＥＮのそれと比べて１周期（＝Ｔ）だけ遅れており、第３イネーブル信号ＨＥＮの位相は、第１イネーブル信号ＬＥＮのそれと比べて２周期（＝２×Ｔ）だけ遅れている。第１イネーブル信号ＬＥＮは、ラッチ回路１００Ａ，１０１Ａ，１０２Ａのイネーブル端子ＥＮに入力し、第２イネーブル信号ＭＥＮは、ラッチ回路１００Ｂ，１０１Ｂ，１０２Ｂのイネーブル端子ＥＮに入力し、第３イネーブル信号ＨＥＮは、ラッチ回路１００Ｃ，１０１Ｃ，１０２Ｃのイネーブル端子ＥＮに入力している。
【００８０】
これらラッチ回路１００Ａ〜１０２Ｃは何れも、イネーブル端子ＥＮへの入力信号の高レベル期間においてクロック信号ＳＰＵ３ＣＫの立下りエッジで、端子Ｄに入力したデータ信号をラッチしこれを端子Ｑから出力する。具体的には、ラッチ回路１００Ａ、１０１Ａ，１０２Ａはそれぞれ、第１イネーブル信号ＬＥＮの高レベル期間においてクロック信号ＳＰＵ３ＣＫの立下りエッジで、データ信号Ｇ［３：０］（＝ＣＣＤＤ［３：０］），Ｒ［３：０］（＝ＣＣＤＤ［７：４］），Ｂ［３：０］（＝ＣＣＤＤ［１１：８］）をラッチする。またラッチ回路１００Ｂ、１０１Ｂ，１０２Ｂはそれぞれ、第２イネーブル信号ＭＥＮの高レベル期間においてクロック信号ＳＰＵ３ＣＫの立下りエッジで、データ信号Ｇ［７：４］（＝ＣＣＤＤ［７：４］），Ｒ［７：４］（＝ＣＣＤＤ［７：４］），Ｂ［７：４］（＝ＣＣＤＤ［１１：８］）をラッチする。そしてラッチ回路１００Ｃ、１０１Ｃ，１０２Ｃはそれぞれ、第３イネーブル信号ＨＥＮの高レベル期間においてクロック信号ＳＰＵ３ＣＫの立下りエッジで、データ信号Ｇ［１１：８］（＝ＣＣＤＤ［３：０］），Ｒ［１１：８］（＝ＣＣＤＤ［７：４］），Ｂ［１１：８］（＝ＣＣＤＤ［１１：８］）をラッチする。
【００８１】
次にラッチ回路１００Ａ〜１００Ｃの出力信号は結合して１２ビット信号として第１レジスタ１０３に入力し、ラッチ回路１０１Ａ〜１０１Ｃの出力信号は結合して１２ビット信号として第２レジスタ１０４に入力し、ラッチ回路１０２Ａ〜１０２Ｃの出力信号は結合して１２ビット信号として第３レジスタ１０５に入力する。
【００８２】
そして第１レジスタ１０３〜第３レジスタ１０５はそれぞれ、クロック信号ＳＰＵＣＫの立上りエッジで入力信号をラッチし、Ｇ信号Ｇ［１１：０］（＝ＣＨＧ［１１：０］），Ｒ信号Ｒ［１１：０］（＝ＣＨＲ［１１：０］）及びＢ信号Ｂ［１１：０］（＝ＣＨＢ［１１：０］）を出力する。
【００８３】
このようにＳＰＵ１２が本実施形態に係るサンプリング回路２４を採用する場合、４ビットづつ直列に転送された多重化信号を受信して１２ビット幅の色成分信号へ変換するため、色成分信号をそのまま受信する場合と比べると入力端子に備える入力ピンの個数をさらに大幅に減らすことが可能となる。したがって、小回路規模のＳＰＵ１２を実現できる。
【００８４】
なお、本実施形態に係るサンプリング回路２４は４ビット幅の多重化信号を１２ビット幅の色成分信号に変換したが、本発明ではこれに限らず、Ｎ２ビット幅（Ｎ２は正整数）の多重化信号をＮ１（＝３×Ｎ２）ビット幅の色成分信号に変換する構成に拡張することは当業者にとって容易である。
【００８５】
＜第４の実施形態＞
次に、本発明の第４の実施形態について説明する。第４の実施形態に係るＳＰＵ１２では、図２に示したサンプリング回路２４が図８に示す回路構成を有することが特徴である。本実施形態では、撮像センサ１１は、各色１２ビットのＧ信号、Ｒ信号及びＢ信号を生成し、各色成分信号を３ビットづつ直列に変換してＳＰＵ１２に出力する。言い換えれば、１２ビット幅の色成分信号を３ビット幅のデータ信号に分解し、これらデータ信号を時分割で多重化して得た多重化信号ＣＣＤＤ［２：０］，ＣＣＤＤ［５：３］，ＣＣＤＤ［８：６］が、ＳＰＵ１２に供給される。
【００８６】
図９のタイミングチャートに、多重化信号ＣＣＤＤ［２：０］，ＣＣＤＤ［５：３］，ＣＣＤＤ［８：６］の波形例を示す。多重化信号ＣＣＤＤ［２：０］は、１２ビットのＧ信号Ｇ［１１：０］をデータ信号Ｇ［２：０］，Ｇ［５：３］，Ｇ［８：６］，Ｇ［１１：９］に分解し多重化することで構成され、多重化信号ＣＣＤＤ［５：３］は、１２ビットのＲ信号Ｒ［１１：０］をデータ信号Ｒ［２：０］，Ｒ［５：３］，Ｒ［８：６］，Ｒ［１１：９］に分解し多重化することで構成され、多重化信号ＣＣＤＤ［８：６］は、１２ビットのＢ信号Ｂ［１１：０］をデータ信号Ｂ［２：０］，Ｂ［５：３］，Ｂ［８：６］，Ｂ［１１：９］に分解し多重化することで構成されている。また多重化された各データ信号は、クロック信号ＳＰＵ４ＣＫと同期して入力する。
【００８７】
図８に示すサンプリング回路２４は、クロック信号ＳＰＵＣＫとこのクロック信号ＳＰＵＣＫの４倍の周波数を持つクロック信号ＳＰＵ４ＣＫとを用いて、３ビット幅の多重化信号をサンプリングし結合することで当該多重化信号を１２ビット幅の色成分信号Ｇ［１１：０］，Ｒ［１１：０］，Ｂ［１１：０］へ変換する機能を有する。以下、図８及び図９を参照しつつサンプリング回路２４の構成及び動作を説明する。
【００８８】
このサンプリング回路２４は、タイミングコントローラ１１６、ラッチ回路１１０Ａ〜１１２Ｄ及び第１レジスタ１１３〜第３レジスタ１１５を備えている。タイミングコントローラ１１６は、クロック信号ＳＰＵ４ＣＫを分周して第１イネーブル信号ＥＮ１、第２イネーブル信号ＥＮ２、第３イネーブル信号ＥＮ３及び第４イネーブル信号ＥＮ４を生成する。第１イネーブル信号ＥＮ１のパルス幅はクロック信号ＳＰＵ４ＣＫの１周期（＝ＴＫ）に相当しており、第２イネーブル信号ＥＮ２の位相は、第１イネーブル信号ＥＮ１のそれと比べて２周期（＝２×ＴＫ）だけ遅れ、第３イネーブル信号ＥＮ３の位相は、第１イネーブル信号ＥＮ１のそれと比べて３周期（＝３×ＴＫ）だけ遅れ、第４イネーブル信号ＥＮ４の位相は、第１イネーブル信号ＥＮ１のそれと比べて４周期（＝４×ＴＫ）だけ遅れている。また第１イネーブル信号ＥＮ１は、ラッチ回路１１０Ａ，１１１Ａ，１１２Ａのイネーブル端子ＥＮに入力し、第２イネーブル信号ＥＮ２は、ラッチ回路１１０Ｂ，１１１Ｂ，１１２Ｂのイネーブル端子ＥＮに入力し、第３イネーブル信号ＥＮ３は、ラッチ回路１１０Ｃ，１１１Ｃ，１１２Ｃのイネーブル端子ＥＮに入力し、第４イネーブル信号ＥＮ４は、ラッチ回路１１０Ｄ，１１１Ｄ，１１２Ｄのイネーブル端子ＥＮに入力している。
【００８９】
これらラッチ回路１１０Ａ〜１１２Ｄは何れも、イネーブル端子ＥＮへの入力信号の高レベル期間においてクロック信号ＳＰＵ４ＣＫの立下りエッジで、端子Ｄに入力したデータ信号をラッチしこれを端子Ｑから出力する。具体的には、ラッチ回路１１０Ａ、１１１Ａ，１１２Ａはそれぞれ、第１イネーブル信号ＥＮ１の高レベル期間においてクロック信号ＳＰＵ４ＣＫの立下りエッジで、データ信号Ｇ［２：０］（＝ＣＣＤＤ［２：０］），Ｒ［２：０］（＝ＣＣＤＤ［５：３］），Ｂ［２：０］（＝ＣＣＤＤ［８：６］）をラッチする。またラッチ回路１１０Ｂ、１１１Ｂ，１１２Ｂはそれぞれ、第２イネーブル信号ＥＮ２の高レベル期間においてクロック信号ＳＰＵ４ＣＫの立下りエッジで、データ信号Ｇ［５：３］（＝ＣＣＤＤ［２：０］），Ｒ［５：３］（＝ＣＣＤＤ［５：３］），Ｂ［５：３］（＝ＣＣＤＤ［８：６］）をラッチする。またラッチ回路１１０Ｃ、１１１Ｃ，１１２Ｃはそれぞれ、第３イネーブル信号ＥＮ３の高レベル期間においてクロック信号ＳＰＵ４ＣＫの立下りエッジで、データ信号Ｇ［８：６］（＝ＣＣＤＤ［２：０］），Ｒ［８：６］（＝ＣＣＤＤ［５：３］），Ｂ［８：６］（＝ＣＣＤＤ［８：６］）をラッチする。そしてラッチ回路１１０Ｄ、１１１Ｄ，１１２Ｄはそれぞれ、第４イネーブル信号ＥＮ４の高レベル期間においてクロック信号ＳＰＵ４ＣＫの立下りエッジで、データ信号Ｇ［１１：９］（＝ＣＣＤＤ［２：０］），Ｒ［１１：９］（＝ＣＣＤＤ［５：３］），Ｂ［１１：９］（＝ＣＣＤＤ［８：６］）をラッチする。
【００９０】
次にラッチ回路１１０Ａ〜１１０Ｄの出力信号は結合して１２ビット信号として第１レジスタ１１３に入力し、ラッチ回路１１１Ａ〜１１１Ｄの出力信号は結合して１２ビット信号として第２レジスタ１１４に入力し、ラッチ回路１１２Ａ〜１１２Ｄの出力信号は結合して１２ビット信号として第３レジスタ１１５に入力する。
【００９１】
そして第１レジスタ１１３〜第３レジスタ１１５はそれぞれ、クロック信号ＳＰＵＣＫの立上りエッジで入力信号をラッチし、Ｇ信号Ｇ［１１：０］（＝ＣＨＧ［１１：０］），Ｒ信号Ｒ［１１：０］（＝ＣＨＲ［１１：０］）及びＢ信号Ｂ［１１：０］（＝ＣＨＢ［１１：０］）を出力する。
【００９２】
このようにＳＰＵ１２が本実施形態に係るサンプリング回路２４を使用する場合、３ビットづつ直列に転送された多重化信号を受信して１２ビット幅の色成分信号へ変換するため、色成分信号をそのまま受信する場合と比べると入力端子に備える入力ピンの個数をさらに大幅に減らすことが可能となる。したがって、小回路規模のＳＰＵ１２を実現できる。
【００９３】
なお、本実施形態に係るサンプリング回路２４は３ビット幅の多重化信号を１２ビット幅の色成分信号に変換したが、本発明ではこれに限らず、Ｎ２ビット幅（Ｎ２は正整数）の多重化信号をＮ１（＝４×Ｎ２）ビット幅の色成分信号に変換する構成に拡張することは当業者にとって容易である。
【００９４】
＜第５の実施形態＞
次に、本発明の第５の実施形態について説明する。第５の実施形態に係るＳＰＵ１２では、図２に示したサンプリング回路２４が図１０に示す回路構成を有することが特徴である。本実施形態では、撮像センサ１１は、各色１２ビットのＧ信号，Ｒ信号及びＢ信号を生成し、これらの色成分信号を時分割で多重化して得られる多重化信号をＳＰＵ１２に出力する。図１１のタイミングチャートに、多重化信号ＣＣＤＤ［１１：０］の波形例を示す。図１１中のＲ，Ｇ，ＢはそれぞれＲ信号、Ｇ信号及びＢ信号を表し、Ｘは何れの色成分信号でも無い（以下、Ｘ信号と呼ぶ。）。またその多重化信号はクロック信号ＳＰＵ４ＣＫと同期して入力する。
【００９５】
図１０に示すサンプリング回路２４は、クロック信号ＳＰＵＣＫとこのクロック信号ＳＰＵＣＫの４倍の周波数を持つクロック信号ＳＰＵ４ＣＫとを用いて、多重化信号ＣＣＤＤ［１１：０］をサンプリングし並列に出力する機能を有する。以下、図１０及び図１１を参照しつつサンプリング回路２４の構成及び動作を説明する。
【００９６】
このサンプリング回路２４は、タイミングコントローラ１２０、ラッチ回路１２１〜１２４、第１セレクタ１２６〜第３セレクタ１２８及び第１レジスタ１２９〜第３レジスタ１３１を備えている。タイミングコントローラ１２０は、クロック信号ＳＰＵ４ＣＫを分周して第１イネーブル信号ＥＮ１、第２イネーブル信号ＥＮ２、第３イネーブル信号ＥＮ３及び第４イネーブル信号ＥＮ４を生成する。第１イネーブル信号ＥＮ１のパルス幅はクロック信号ＳＰＵ４ＣＫの１周期（＝ＴＫ）に相当しており、第２イネーブル信号ＥＮ２の位相は、第１イネーブル信号ＥＮ１のそれと比べて２周期（＝２×ＴＫ）だけ遅れ、第３イネーブル信号ＥＮ３の位相は、第１イネーブル信号ＥＮ１のそれと比べて３周期（＝３×ＴＫ）だけ遅れ、第４イネーブル信号ＥＮ４の位相は、第１イネーブル信号ＥＮ１のそれと比べて４周期（＝４×ＴＫ）だけ遅れている。また第１イネーブル信号ＥＮ１〜第４イネーブル信号ＥＮ４はそれぞれ、ラッチ回路１２１〜１２４のイネーブル端子ＥＮに入力している。
【００９７】
ラッチ回路１２１〜１２４は何れも、イネーブル端子ＥＮへの入力信号の高レベル期間においてクロック信号ＳＰＵ４ＣＫの立下りエッジで、端子Ｄに入力した信号をラッチしこれを端子Ｑから出力する。具体的には、ラッチ回路１２１は、第１イネーブル信号ＥＮ１の高レベル期間にクロック信号ＳＰＵ４ＣＫの立下りエッジで多重化信号中のＲ信号ＣＨ０Ｄ［１１：０］をラッチして第１セレクタ１２６〜第３セレクタ１２８の"０"番目端子に出力し、ラッチ回路１２２は、第２イネーブル信号ＥＮ２の高レベル期間にクロック信号ＳＰＵ４ＣＫの立下りエッジでＧ信号ＣＨ１Ｄ［１１：０］をラッチして第１セレクタ１２６〜第３セレクタ１２８の"１"番目端子に出力し、ラッチ回路１２３は、第３イネーブル信号ＥＮ３の高レベル期間にクロック信号ＳＰＵ４ＣＫの立下りエッジでＢ信号ＣＨ２Ｄ［１１：０］をラッチして第１セレクタ１２６〜第３セレクタ１２８の"２"番目端子に出力し、そして、ラッチ回路１２４は第４イネーブル信号ＥＮ４の高レベル期間にクロック信号ＳＰＵ４ＣＫの立下りエッジでＸ信号ＣＨ３Ｄ［１１：０］をラッチして第１セレクタ１２６〜第３セレクタ１２８の"３"番目端子に出力する。
【００９８】
第１セレクタ１２６〜第３セレクタ１２８はそれぞれ、ＣＰＵ１４から与えられた２ビットの選択制御信号ＴＣＰＨＲ［１：０］，ＴＣＰＨＧ［１：０］，ＴＣＰＨＢ［１：０］の値に応じて"０"番目端子〜"３"番目端子の何れかを選択し、選択した端子に入力した信号を出力する。本例では、第１セレクタ１２６は"０"番目端子を選択し、第２セレクタ１２７は"１"番目端子を選択し、第３セレクタ１２８は"２"番目端子を選択している。そして第１レジスタ１２９〜第３レジスタ１３１はそれぞれ、クロック信号ＳＰＵＣＫの立上りエッジで、第１セレクタ１２６〜第３セレクタ１２８の出力信号をラッチし、Ｒ信号ＣＨＲ［１１：０］、Ｇ信号ＣＨＧ［１１：０］及びＢ信号ＣＨＢ［１１：０］として出力する。
【００９９】
このようにＳＰＵ１２が本実施形態に係るサンプリング回路２４を採用した場合、サンプリング回路２４は多重化された複数の色成分信号を分離して並列に出力できるため、ＳＰＵ１２で複数の色成分信号の並列処理を行うことが可能である。また色成分信号をそのまま受信する場合と比べると入力端子に備える入力ピンの個数を大幅に減らすことが可能である。したがって、小回路規模のＳＰＵ１２を実現できる。
【０１００】
なお、本実施形態に係るサンプリング回路２４は、１２ビット幅の多重化信号を３６ビット幅の並列信号に変換していたが、本発明ではこれに限らず、一般にＮ１ビット幅（Ｎ１は正整数）の多重化信号をＮ２ビット幅（Ｎ２はＮ１の正整数倍）の並列信号に変換する構成に拡張することは当業者にとって容易である。特に現実的な構成としては、上記実施形態のようにＮ２がＮ１の４倍の場合であって多重化信号から４つの色成分信号を分離する構成と、Ｎ２がＮ１の３倍の場合であって多重化信号から３つの色成分信号を分離する構成とが挙げられる。
【０１０１】
＜第６の実施形態＞
次に、本発明の第６の実施形態について説明する。図１２は、第６の実施形態に係る画像処理システムの構成を概略的に示すブロック図である。この画像処理システムは、ＳＰＵ１２、バス１６、主メモリ１８及びＤＭＡＣ１７で構成される。
【０１０２】
ＳＰＵ１２は、撮像センサ１１から並列に読み出された２本の画像信号を並列に処理する信号処理部１２ａと、２つの出力制御回路５８Ａ，５８Ｂとを備えている。信号処理部１２ａは、上記第１の実施形態の図２及び図３に示した構成を備え、本実施形態に係るＳＰＵ１２はさらに、２つの出力制御回路５８Ａ，５８Ｂを備える。一方の出力制御回路５８Ａとして図３に示した出力制御回路５８を採用し、図３に示すサブサンプリング回路６０の出力結果を受ける他方の出力制御回路５８Ｂを設けた構成を採用すればよい。
【０１０３】
本実施形態の撮像センサ１１は、ＣＣＤからなる受光回路７０、第１アナログ信号処理回路７４Ａ及び第２アナログ信号処理回路７４Ｂを備えており、この受光回路７０はさらに、垂直転送部７１０〜７１ｎ（ｎは３以上の整数）、第１水平転送部７２Ａ、第１アンプ７３Ａ、第２水平転送部７２Ｂ及び第２アンプ７３Ｂを備えている。
【０１０４】
受光回路７０のフォトダイオード（図示せず）は入射光を光電変換することでキャリア（電荷またはホール）を発生させる。垂直転送部７１０〜７１ｎは、その発生したキャリアの信号を第１水平転送部７２Ａ及び第２水平転送部７２Ｂに転送する。その垂直転送部７１０〜７１ｎのうち偶数列の垂直転送部７１０，７１２，…は第１水平転送部７２Ａに信号を転送し、奇数列の垂直転送部７１１，７１３，…は第２水平転送部７２Ｂに信号を転送する。このように受光回路７０は、偶数列の垂直転送部７１０，７１２，…と奇数列の垂直転送部７１１，７１３，…とで分けられる二つの受光部を有しており、二つの受光部で発生したキャリアがそれぞれ、第１水平転送部７２Ａと第２水平転送部７２Ｂとに転送され、次いで第１アンプ７３Ａと第２アンプ７３Ｂとに水平方向へ転送される。第１アンプ７３Ａと第２アンプ７３Ｂとはそれぞれ、転送された信号を増幅して第１アナログ信号処理回路７４Ａと第２アナログ信号処理回路７４Ｂとに出力する。次に、第１アナログ信号処理回路７４Ａと第２アナログ信号処理回路７４Ｂはそれぞれ、入力信号にＣＤＳ処理、ＡＧＣ処理及びＡ／Ｄ変換処理を施した後、デジタル画像信号をＳＰＵ１２に出力する。
【０１０５】
また信号処理部１２ａから出力制御回路５８Ａと出力制御回路５８Ｂとに入力した画像信号は、ＤＭＡＣ１７の制御によりバス１６を介して主メモリ１８に転送される。ここで、ＤＭＡＣ１７は、出力制御回路５８Ａと主メモリ１８との間のデータ転送にＤＭＡチャンネルＣＨ０を割り当て、出力制御回路５８Ｂと主メモリ１８との間のデータ転送にＤＭＡチャンネルＣＨ１を割り当てる。そして、主メモリ１８に転送され格納された画像データＴＤは読み出され、ＲＰＵ１３に転送され処理される。
【０１０６】
このようにＳＰＵ１２は、２本の画像信号を並列に処理し、バス１６を介して他のモジュールに並列に転送できるため、効率良く画像処理を行うことができる。仮にＳＰＵ１２が単一の出力制御回路５８Ａしか持たない場合、出力制御回路５８Ａが２本の画像信号のうち一方を転送する間、他方の画像信号をバッファリングするためにラインメモリが必要となるが、本実施形態では２本の画像信号を並列にＤＭＡ転送できるためラインメモリを設ける必要が無い。
【０１０７】
なお、本実施形態では、ＳＰＵ１２は２つの出力制御回路５８Ａ，５８Ｂを備えるが、この代わりに、他方の出力制御回路５８ＢとしてＲＰＵ１３のものを使用してもよい。図３に示すセレクタ６２に"１"番目端子を選択させることで、サブサンプリング回路６０から出力された信号をＲＰＵ１３へ転送させ、当該ＲＰＵ１３の出力制御回路を介して主メモリ１８に転送させることが可能である。
【０１０８】
＜第７の実施形態＞
次に、本発明の第７の実施形態について説明する。図１３は、第７の実施形態に係る画像処理システムの構成を概略的に示すブロック図である。この画像処理システムは、ＳＰＵ１２及びＤＭＡＣ１７で構成される。ＳＰＵ１２及びＤＭＡＣ１７の構成は、図１２に示したそれらと同じである。また本実施形態の撮像センサ１１は、受光回路８０の構成を除けば、図１２に示した撮像センサ１１の構成と略同じである。
【０１０９】
本実施形態の受光回路８０は、互いに独立構成の第１受光部８１及び第２受光部８２を備えており、第１受光部８１は、Ｋ＋１本（Ｋは正整数）の垂直転送部８２０〜８２Ｋと、Ｌ＋１本（Ｌは正整数）の垂直転送部８１０〜８１Ｌとを備える。
【０１１０】
第１受光部８１及び第２受光部８２のフォトダイオード（図示せず）はそれぞれ、入射光を光電変換することでキャリアを発生させる。第１受光部８１の垂直転送部８２０〜８２Ｋはキャリアの信号を第１水平転送部８３Ｂに転送し、第２受光部８２の垂直転送部８１０〜８１Ｌはキャリアの信号を第２水平転送部８３Ａに転送する。次いで第１水平転送部８３Ｂは転送された信号を第１アンプ８４Ｂに転送し、第１アンプ８４Ｂはその信号を増幅して第１アナログ信号処理回路７４Ａに出力する。一方、第２水平転送部８３Ａは転送された信号を第２アンプ８４Ａに転送し、第２アンプ８４Ａはその信号を増幅して第２アナログ信号処理回路７４Ｂに出力する。その結果、２本のデジタル画像信号が並列にＳＰＵ１２の信号処理部１２ａに供給される。
【０１１１】
第１水平転送部８３Ｂ及び第２水平転送部８３Ａは、図１２に示した撮像センサ１１の第１水平転送部７２Ａ及び第２水平転送部７２Ｂと比べると、信号転送の段数が略半分で済むという利点を持つ。近年、高解像度の撮像素子が提供されているが、水平方向の解像度が高いほどに水平転送部の段数が大きくなり、信号の高速転送が難しくなるという問題がある。本実施形態の受光回路８０の構成はこの種の問題を改善するものである。しかしながら、第１受光部８１と第２受光部８２とで信号の読出し方向が互いに逆方向になるため、一方の受光部から読出した信号配列を、他方の受光部から読出した信号配列に合わせるために並べ替える必要がある。図１４に模式的に示すように、受光回路８０から読み出された画像信号９０のうち、第１受光部８１からは右半分の画像信号９０Ｂが矢印で示す走査方向で読み出され、第２受光部８２からは左半分の画像信号９０Ａが矢印で示す走査方向で読み出されており、走査方向が互いに逆方向になることが分かる。
【０１１２】
本実施形態では、出力制御回路５８Ａ及び出力制御回路５８Ｂから出力され主メモリ１８に転送される２本の画像信号のうち、一方の転送先アドレスを他方の転送先アドレスに対して逆方向にインクリメントすることが特徴である。具体的には、ＤＭＡＣ１７は、出力制御回路５８Ａと主メモリ１８との間のデータ転送にＤＭＡチャンネルＣＨ０を割り当て、出力制御回路５８Ｂと主メモリ１８との間のデータ転送にＤＭＡチャンネルＣＨ１を割り当てる。そして、ＤＭＡチャンネルＣＨ０は、ＤＭＡチャンネルＣＨ１が発生する転送先アドレスに対して逆方向へ転送先アドレスをインクリメントする。これにより、図１５に模式的に示すように、左半分の画像信号９１Ａの信号配列を右半分の画像信号９１Ｂの信号配列に合わせることができる。
【０１１３】
このように本実施形態では、ＳＰＵ１２から主メモリ１８に転送された画像データＴＤの左右の画像信号のうち一方の信号配列を並べ替える工程を省略できるため、画像処理を高速化することが可能となる。
【符号の説明】
【０１１４】
１ 撮像装置
１０ 光学機構
１１ 撮像センサ
１２ ＳＰＵ
１３ ＲＰＵ
１４ ＣＰＵ
１５ システムクロック生成部
１６ バス
１７ ＤＭＡＣ（ＤＭＡコントローラ）
１８ 主メモリ
１９ ＲＯＭ
【特許請求の範囲】
【請求項１】
画像信号を処理する画像処理システムであって、
撮像センサの複数の受光部から並列に読み出された複数の画像信号を並列に処理する信号処理部と、
前記信号処理部で処理された複数の画像信号をそれぞれバスに出力する複数の出力制御回路と、
前記バスに出力された前記複数の画像信号を転送するデータ転送制御部と、
を備えることを特徴とする画像処理システム。
【請求項２】
請求項１記載の画像処理システムにおいて、前記データ転送制御部はＤＭＡ（ダイレクト・メモリ・アクセス）コントローラを備える、画像処理システム。
【請求項３】
請求項１または請求項２記載の画像処理システムにおいて、前記撮像センサは、互いに逆方向に読み出された２つの画像信号を出力する機能を有しており、
前記複数の出力制御回路は、前記信号処理部で並列に処理された２つの画像信号をそれぞれ前記バスに出力し、
前記データ転送制御部は、前記２つの画像信号のうち一方の転送先アドレスを、前記２つの画像信号のうち他方の転送先アドレスに対して逆方向にインクリメントする機能を有する、画像処理システム。
【請求項４】
請求項１〜請求項３の何れか１項に記載の画像処理システムにおいて、前記信号処理部は、撮像センサから並列に入力する複数の色成分信号を並列に処理する機能をも有する、画像処理システム。
【請求項５】
請求項１〜請求項４の何れか１項に記載の画像処理システムを備えた撮像装置。
【請求項１】
画像信号を処理する画像処理システムであって、
撮像センサの複数の受光部から並列に読み出された複数の画像信号を並列に処理する信号処理部と、
前記信号処理部で処理された複数の画像信号をそれぞれバスに出力する複数の出力制御回路と、
前記バスに出力された前記複数の画像信号を転送するデータ転送制御部と、
を備えることを特徴とする画像処理システム。
【請求項２】
請求項１記載の画像処理システムにおいて、前記データ転送制御部はＤＭＡ（ダイレクト・メモリ・アクセス）コントローラを備える、画像処理システム。
【請求項３】
請求項１または請求項２記載の画像処理システムにおいて、前記撮像センサは、互いに逆方向に読み出された２つの画像信号を出力する機能を有しており、
前記複数の出力制御回路は、前記信号処理部で並列に処理された２つの画像信号をそれぞれ前記バスに出力し、
前記データ転送制御部は、前記２つの画像信号のうち一方の転送先アドレスを、前記２つの画像信号のうち他方の転送先アドレスに対して逆方向にインクリメントする機能を有する、画像処理システム。
【請求項４】
請求項１〜請求項３の何れか１項に記載の画像処理システムにおいて、前記信号処理部は、撮像センサから並列に入力する複数の色成分信号を並列に処理する機能をも有する、画像処理システム。
【請求項５】
請求項１〜請求項４の何れか１項に記載の画像処理システムを備えた撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１２−１５７０７２（Ｐ２０１２−１５７０７２Ａ）
【公開日】平成２４年８月１６日（２０１２．８．１６）
【国際特許分類】
【出願番号】特願２０１２−１０７８２３（Ｐ２０１２−１０７８２３）
【出願日】平成２４年５月９日（２０１２．５．９）
【分割の表示】特願２００９−１２００７６（Ｐ２００９−１２００７６）の分割
【原出願日】平成１５年３月３１日（２００３．３．３１）
【出願人】（５９１１２８４５３）株式会社メガチップス (322)
【Ｆターム（参考）】
【公開日】平成２４年８月１６日（２０１２．８．１６）
【国際特許分類】
【出願日】平成２４年５月９日（２０１２．５．９）
【分割の表示】特願２００９−１２００７６（Ｐ２００９−１２００７６）の分割
【原出願日】平成１５年３月３１日（２００３．３．３１）
【出願人】（５９１１２８４５３）株式会社メガチップス (322)
【Ｆターム（参考）】
[ Back to top ]