説明

撮像装置

【課題】LVDS等の高速インターフェースを備えた撮像装置において、動作モードが突然変更された場合であっても撮像信号に正しく同期した信号処理を行うことが可能な撮像装置を提供すること。
【解決手段】並び替え部105において並び替えがなされた撮像データは書き込み制御部1073の制御により、撮像データに同期したクロックCLK1−1に同期したタイミングで記憶部1072に書き込まれる。並び替え部105から出力されるチャンネル当たりの撮像データのデータ量に応じた周波数となるようにマスク処理部106においてクロックCLK3に対するマスク処理がなされてクロックCLK2が生成される。記憶部1072に書き込まれた撮像データは読み出し制御部1074の制御により、クロックCLK2に同期したタイミングで読み出され、信号処理部1075において処理される。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像素子で得られた撮像信号を動作モードに応じた数の転送チャンネルを用いてシリアル転送することが可能な撮像装置に関する。
【背景技術】
【0002】
近年、撮像装置が有する撮像素子の高速化により連写可能な画像の枚数が増加している。また、これに伴って撮像素子から出力される撮像信号のピクセルレートも増加してきており、撮像信号を高速で処理する必要が生じている。
【0003】
撮像信号のピクセルレートが増加した場合の対応として、撮像素子から出力される撮像信号をLVDS(Low Voltage Differential Signaling)方式を用いてシリアル転送する技術が知られている。LVDS方式を用いて撮像信号を転送することにより、信号転送の高速化及び信号転送の際の低消費電力化を図ることが可能である。
【0004】
また、近年の撮像装置においては、撮像素子に複数の出力チャンネルを持たせ、撮像素子で得られた撮像信号を複数の出力チャンネルから同時に出力できるようにした撮像装置も提案されている。さらには、複数の出力チャンネルの中から撮像信号の出力に使用するチャンネル数や転送する撮像信号のビット長を、撮像装置の動作モードに応じて設定できるようにした撮像装置も提案されている。
【0005】
例えば、特許文献1において提案されている撮像装置においては、撮像部が備えるセンサ部(撮像素子)から、動作モードに応じてW個の動作チャンネルが選択され、選択された動作チャンネルからそれぞれビット長nの撮像信号が出力される。これらの撮像信号は、データ送信部において差動のシリアル信号に変換される。シリアル信号に変換された撮像信号は、W個の信号線を用いて画像処理部内のデータ受信部にシリアル転送される。また、このシリアル信号の撮像信号に同期した高速のクロックは画像処理部内のPLLに出力される。
【0006】
データ受信部においては、転送された各動作チャンネルに対応したシリアル信号がビット幅Mのパラレル信号に変換される。データ復元部においては、各パラレル信号に埋め込まれた同期コードが検出され、この同期コードからデータ窓が抽出される。このデータ窓からビット長nの撮像信号が復元され、復元された撮像信号が信号処理部に出力される。また、PLLにおいては、撮像部から差動信号として入力されるクロックからデータ受信部、データ復元部、クロックゲーティング回路の動作クロックが生成される。
【0007】
クロックゲーティング回路から信号処理部へは、データ復元部で復元された撮像信号が有効であることを示している間のみ、クロックが出力される。信号処理部では、クロックゲーティング回路からのクロックが入力されている撮像信号の有効期間でのみ撮像信号に対する処理が行われる。このようにして、撮像信号に同期した信号処理が行われる。
【先行技術文献】
【特許文献】
【0008】
【特許文献1】特開2008−283331号公報
【発明の概要】
【発明が解決しようとする課題】
【0009】
撮像素子の出力チャンネル数及び撮像信号のビット長を撮像装置の動作モードによって変更可能とした場合、撮像素子から入力されてくる撮像信号のデータ量が動作モードに応じて変化することになる。この場合、シリアル転送された後の撮像信号に同期させるクロックも動作モードに応じて変える必要が生じる。特許文献1では、データ送信部から入力されてくる高速クロックを画像処理部において処理可能な周波数帯域のクロックに変換し、このクロックを動作クロックとしてクロックゲーティング回路を動作させて信号処理部における信号処理を行うようにしている。
【0010】
ここで、特許文献1においては、PLLを用いてクロックゲーティング回路の動作クロックを生成している。しかしながら、PLLは、その構成上、入力信号に対して安定した所望の周波数の出力信号が得られるまでに多少の時間がかかる。このため、撮像装置の動作モードが突然変更されたような場合には、動作モードの変化にPLLの動作が追従しきれず、結果として、撮像信号に同期した信号処理を行えなくなる可能性がある。
【0011】
本発明は、上記の事情に鑑みてなされたもので、LVDS等の高速インターフェースを備えた撮像装置において、動作モードが突然変更された場合であっても撮像信号に正しく同期した信号処理を行うことが可能な撮像装置を提供することを目的とする。
【課題を解決するための手段】
【0012】
上記の目的を達成するために、本発明の第1の態様の撮像装置は、撮像信号を出力する撮像素子と、複数の転送チャンネルを用いて前記撮像信号をシリアル転送する転送部と、前記転送部の複数の転送チャンネルからシリアル転送された撮像信号を記憶する記憶部と、前記記憶部に記憶された撮像信号に対して信号処理を施す信号処理部と、前記転送部によってシリアル転送される撮像信号に同期した第1のクロックに同期して、前記転送部から前記記憶部への前記撮像信号の書き込みを制御する書き込み制御部と、前記信号処理部を動作させるための第2のクロックに同期して、前記記憶部から前記信号処理部への前記撮像信号の読み出しを制御する読み出し制御部と、前記転送部から前記記憶部へ転送される前記撮像信号のデータ量に応じた周波数となるように前記第2のクロックを生成するクロック生成部とを具備することを特徴とする。
【発明の効果】
【0013】
本発明によれば、LVDS等の高速インターフェースを備えた撮像装置において、動作モードが突然変更された場合であっても撮像信号に正しく同期した信号処理を行うことが可能な撮像装置を提供することができる。
【図面の簡単な説明】
【0014】
【図1】本発明の第1の実施形態に係る撮像装置の一例の構成を示す図である。
【図2】図2(a)は撮像素子の一例の構成を示す図であり、図2(b)は撮像素子が有する4つの出力チャンネルを用いて撮像信号を読み出す場合のタイミングチャートである。
【図3】パラシリ変換部による撮像データの転送の例について示した図である。
【図4】シリパラ変換部によるシリパラ変換の例について示した図である。
【図5】並び替え部による並び替えの例について示した図である。
【図6】本発明の第1の実施形態におけるマスク処理部及び前処理部の詳細な構成を示した図である。
【図7】マスクパターンの例を示した図である。
【図8】本発明の第1の実施形態におけるマスク処理部及び前処理部の動作を示すタイミングチャートである。
【図9】本発明の第2の実施形態におけるマスク処理部及び前処理部の詳細な構成を示した図である。
【図10】本発明の第2の実施形態における前処理部の動作を示すタイミングチャートである。
【発明を実施するための形態】
【0015】
以下、図面を参照して本発明の実施形態を説明する。
[第1の実施形態]
まず、本発明の第1の実施形態について説明する。図1は、本発明の第1の実施形態に係る撮像装置の一例の構成を示す図である。本実施形態における撮像装置は、複数の動作モードを有している。この動作モードとしては、例えば、静止画撮影モード、連写モード、動画撮影モード、スルー画表示モード、イメージャAFモードがある。
【0016】
静止画撮影モードは静止画像を撮影するのに適した動作モードである。連写撮影モードは、連続的に複数回の静止画撮影を行い、連続した複数枚の静止画像を撮影する動作モードである。動画撮影モードは動画像を撮影するのに適した動作モードである。スルー画表示モードは、撮像装置が有する撮像素子を連続動作させることにより得られる動画像をリアルタイム表示させる、所謂スルー画表示を行う動作モードである。イメージャAFモードは、撮像素子を連続動作させて得られる画像のコントラストを評価することにより、撮像装置が有するレンズのオートフォーカス(AF)を行う動作モードである。
【0017】
図1に示す撮像装置は、レンズ101と、シャッタ絞り102と、撮像部103と、シリパラ変換部104と、並び替え部105と、マスク処理部106と、前処理部107と、バス108と、フレームメモリ109と、画像処理部110と、圧縮伸長処理部111と、メモリインターフェース(I/F)112と、記録媒体113と、表示制御部114と、表示部115と、マイクロコンピュータ116と、操作部117と、Flashメモリ118と、発信器119とを有している。
【0018】
レンズ101は、被写体の光学像を撮像部103内の撮像素子1031に集光させる。また、レンズ101は、マイクロコンピュータ116の制御に従って、光軸の方向に沿って駆動可能に構成されている。レンズ101を光軸方向に沿って駆動させることでレンズ101の焦点位置を調整することが可能である。
【0019】
シャッタ絞り102は、レンズ101の近傍に設けられている。このシャッタ絞り102は、マイクロコンピュータ116の制御に従って、レンズ101から撮像素子1031への光の入射量(撮像素子1031の露光量)を調節するシャッタ兼用絞りである。勿論、シャッタと絞りとが別体として設けられていても良い。
【0020】
撮像部103は、撮像素子1031、アナログ処理部1032、アナログ/デジタル(A/D)変換部1033と、タイミングジェネレータ(TG)1034と、PLL1035と、TG1036と、発信器1037と、パラシリ変換部1038とを有している。
【0021】
撮像素子1031は、フォトダイオード等の光電変換素子からなる画素に図2(a)で示すようなベイヤ配列をなすカラーフィルタが貼り付けられた受光面を有し、この受光面に複数の出力チャンネル(図2(a)ではch1〜ch4の4チャンネル)が接続されて構成されている。このような構成の撮像素子1031は、レンズ101により集光された光を電気信号(撮像信号)に変換し、変換により得られた撮像信号を、TG1034から入力される垂直同期信号VD1、水平同期信号HD1に従って出力する。
【0022】
ここで、本実施形態における撮像素子1031は、複数の出力チャンネルを用いて複数の画素から同時に撮像信号を読み出すことが可能になされている。例えば、図2(a)の構成において、4つの出力チャンネルch1〜ch4の全てを用いて撮像信号を読み出す場合のタイミングチャートを図2(b)に示す。
【0023】
また、本実施形態における撮像素子1031は、動作モードに応じて、撮像信号の出力に用いる出力チャンネルの数を変更可能になされている。これにより、例えば連写モードのような高画質の画像が必要で且つ高速の信号処理が必要な動作モードの場合には、撮像信号の出力に使用する出力チャンネルの数を多くして高速の信号出力を行ったり、静止画モードのようなそれほどの高速の処理が必要でない動作モードの場合には、撮像信号の出力に使用する出力チャンネルの数を少なくして低消費電力化を図ったりすることが可能となる。
【0024】
アナログ処理部1032は、TG1034から入力される垂直同期信号VD1、水平同期信号HD1に同期して、撮像素子1031のそれぞれの出力チャンネルから出力される撮像信号に対して各種のアナログ処理を施す。このアナログ処理としては、撮像素子1031のそれぞれの出力チャンネルから出力される撮像信号の振幅をA/D変換部1033のダイナミックレンジに合わせるように調整する自動利得制御(AGC)処理等がある。
【0025】
A/D変換部1033は、TG1034から入力される垂直同期信号VD1、水平同期信号HD1に同期して、撮像素子1031のそれぞれの出力チャンネルに対応してアナログ処理部1032から出力される撮像信号をデジタルの撮像信号(以降、撮像データという)に変換し、それぞれの出力チャンネルに対応して得られた撮像データをそれぞれパラレル形式でパラシリ変換部1038に出力する。
【0026】
ここで、本実施形態におけるA/D変換部1033はA/D変換により得られる撮像データのビット長、即ち撮像データをA/D変換する際の量子化ビット数を変更可能になされている。これにより、例えば、静止画撮影モードや連写モード等の高画質の画像が必要な場合に撮像データのビット長を長くして情報量を増やしたり、動画撮影モード、スルー画表示モード、イメージャAFモード等のそれほどの画質を必要としない場合に撮像データのビット長を短くして高速の信号処理を可能としたりすることが可能となる。
【0027】
TG1034は、発信器1037から入力される基準のクロックに同期した垂直同期信号VD1及び水平同期信号HD1を生成し、生成した垂直同期信号VD1、水平同期信号HD1を撮像素子1031、アナログ処理部1032、A/D変換部1033に入力する。
【0028】
PLL(Phase-Locked Loop)1035は、発信器1037から入力される基準のクロックから、基準クロックよりも高速の撮像信号転送用のクロック(第1のクロック)CLK1を生成し、この生成したクロックCLK1をTG1036とパラシリ変換部1038とに入力する。
【0029】
TG1036は、PLL1035から入力されるクロックCLK1に同期した垂直同期信号VD2及び水平同期信号HD2を生成し、生成した垂直同期信号VD2、水平同期信号HD2をパラシリ変換部1038に入力する。
【0030】
発信器1037は、TG1034における同期信号生成、PLL1035におけるクロックCLK1の生成のための基準となるクロックをTG1034、PLL1035に入力する。
【0031】
パラシリ変換部1038は撮像素子1031の各出力チャンネルに対応した複数の転送チャンネルを有している。このパラシリ変換部1038は、撮像素子1031の出力チャンネルに対応してA/D変換部1033からそれぞれ出力される撮像データと垂直同期信号VD2及び水平同期信号HD2とから差動形式のシリアルデータ(LVDSデータ)を撮像素子1031の出力チャンネル単位で生成する。そして、パラシリ変換部1038は、クロックCLK1に同期して、撮像素子1031の出力チャンネル単位で生成したLVDSデータをシリパラ変換部104にシリアル転送する。ここで、パラシリ変換部1038において生成されるLVDSデータは、例えば所定量(1ライン)分の撮像データの先頭に同期信号(垂直、水平)を示すコードが重畳された差動形式のシリアルデータとして構成される。
【0032】
ここで、LVDS方式では、クロックの立ち上がりエッジと立ち下がりエッジの両方に同期させて2ビット分のデータを一度にシリアル転送することができる。この場合、例えば、4つの転送チャンネルを用いてビット長が8ビットの撮像データ(例えば動画撮影モード時)をLVDS方式で転送するときには、図3(a)に示すように、クロックCLK1の4サイクル(4クロック)でパラシリ変換部1038のそれぞれの転送チャンネルから1画素分の撮像データを転送することができる。また、4つの転送チャンネルを用いてビット長が16ビットの撮像データ(例えば静止画撮影モード時)をLVDS方式で転送するときには、図3(b)に示すように、クロックCLK1の8サイクル(8クロック)でそれぞれの転送チャンネルから1画素分の撮像データを転送することができる。
【0033】
シリパラ変換部104は、パラシリ変換部1038から例えばLVDS方式を用いてシリアル転送されたLVDSデータをパラレル変換して、撮像データ、垂直同期信号VD2、水平同期信号HD2を復元する。
【0034】
図4(a)は、ビット長が8ビットの撮像データをパラレル変換することにより得られる撮像データを示す。図3(a)の例では、1画素分(8ビット)の撮像データがクロックCLK1の4サイクルに同期してパラシリ変換部1038にシリアル転送される。したがって、シリパラ変換部104からは8ビットのパラレルの撮像データがクロックCLK1の4サイクルに対応した期間毎に出力されることになる。
【0035】
また、図4(b)は、ビット長が16ビットの撮像データをパラレル変換することにより得られる撮像データを示す。図3(b)の例では、1画素分(16ビット)の撮像データがクロックCLK1の8サイクルに同期してパラシリ変換部1038にシリアル転送される。したがって、シリパラ変換部104からは16ビットのパラレルの撮像データがクロックCLK1の8サイクルに対応した期間毎に出力されることになる。
【0036】
並び替え部105は、シリパラ変換部104から出力されたパラレルの撮像データを、前処理部107において処理が可能な形式に並び替える。この並び替えは、シリパラ変換部104からパラレル出力された撮像データを前処理部107の入力チャンネル数に対応したチャンネル数の撮像データとするための並び替えと、色の並び順をベイヤ配列に対応した順序とするための並び替えとを含むものである。なお、本実施形態においては、並び替えの際に、撮像データがクロックCLK1或いはクロックCLK1を分周したクロックの片エッジ(例えば立ち上がりエッジ)に同期するように並び替えを行う。
【0037】
図5(a)は、図4(a)に示す4チャンネルのパラレルの撮像データを、クロックCLK1に同期した1チャンネルのパラレルの撮像データに並び替える場合の例を示している。上述したように、前処理部107にベイヤ配列の順で撮像データが入力されるように、並び替え部105に入力された撮像データがR1、GR1、R2、GR2、…、の順序に並び替えられる。ここで、図4(a)の例では、シリパラ変換部104から並び替え部105へは、クロックCLK1の4サイクルに対応した時間毎に撮像データが入力される。このため、並び替え後の4画素分の撮像データもクロックCLK1の4サイクルに対応した時間内で並び替え部105から出力させる必要がある。したがって、並び替え部105からは、クロックCLK1の4サイクルで4回だけ有効位置に対応した撮像データが出力されることになる。
【0038】
図5(b)は、図4(b)に示す4チャンネルのパラレルの撮像データを、クロックCLK1に同期した1チャンネルのパラレルの撮像データに並び替える場合の例を示している。図4(b)の例では、シリパラ変換部104から並び替え部105へは、クロックCLK1の8サイクルに対応した時間毎に撮像データが入力される。このため、並び替え後の4画素分の撮像データもクロックCLK1の8サイクルに対応した時間内で並び替え部105から出力させる必要がある。したがって、並び替え部105からは、クロックCLK1の8サイクルで4回だけ有効位置に対応した撮像データが出力されることになる。
【0039】
上述の例は、何れも1チャンネルのパラレルの撮像データへの並び替えを示しているが、並び替え後のチャンネル数は前処理部107の仕様等に応じて適宜変更可能である。例えば、図5(c)は、図4(a)に示す4チャンネルのパラレルの撮像データを、クロックCLK1に同期した2チャンネルのパラレルの撮像データに並び替える場合の例を示している。この場合には、前処理部107にベイヤ配列の順で撮像データが入力されるように、並び替え部105のチャンネル(ch)1からは撮像データがR1、R2、…の順序で出力され、ch2からは撮像データがGR1、GR2、…の順序で出力される。このようにして、2つのチャンネルから同時に撮像データを出力させることが可能であるので、並び替え部105の各チャンネルからは、並び替え前の1/2の時間内、即ちクロックCLK1の4サイクルに対応した時間内で2画素分の撮像データを出力させれば良い。したがって、並び替え部105からは、クロックCLK1の4サイクルで2回だけ有効位置に対応した撮像データが出力されることになる。
【0040】
さらに、クロックCLK1を分周したクロックCLK1−1に同期させるように並び替えを行った場合の例を図5(d)に示す。なお、図5(d)は4チャンネルのパラレルの撮像データを、クロックCLK1を2分周したクロックCLK1−1に同期した2チャンネルのパラレルの撮像データに並び替える場合の例を示している。この場合、並び替え部105からはクロックCLK1−1の2サイクルで2回だけ有効位置に対応した撮像データが出力されることになる。
【0041】
以上のように、撮像信号の出力に使用する出力チャンネル数、撮像データのビット長、並び替え後のチャンネル数に応じて、並び替え部105から出力される撮像データのチャンネル当たりのデータ量が変化し、これによって有効位置に対応した撮像データが出力されるタイミングも変化する。本実施形態では、このような有効な撮像データが出力されるタイミングに応じた速度で前処理部107における信号処理が可能なように前処理部107にクロックを入力する。
【0042】
クロック生成部としての機能を有するマスク処理部106は、発信器119から入力されるクロック(第3のクロック)CLK3を所定のパターンでマスクすることにより、クロックCLK3に同期した所定の周波数を有するクロック(第2のクロック)CLK2を生成する。このクロックCLK2は、並び替え部105における並び替え後の撮像データにおける有効位置に応じたクロックとする。クロックCLK2の生成手法の詳細については後述する。
【0043】
信号処理部としての機能を有する前処理部107は、クロックCLK2に同期して、並び替え部105で並び替えられた撮像データに対してシェーディング補正やノイズ低減処理等の種々のデジタル前処理を施した後、前処理した撮像データを、バス108を介してフレームメモリ109に転送する。
【0044】
バス108は、撮像装置の内部で発生した各種データを撮像装置内の各ブロックに転送するための転送路である。このバス108は、前処理部107と、フレームメモリ109と、画像処理部110と、圧縮伸長処理部111と、メモリI/F112と、表示制御部114と、マイクロコンピュータ116とに接続されている。フレームメモリ109は、前処理部107で処理された撮像データや、画像処理部110、圧縮伸長処理部111において処理された撮像データ等の各種データを記憶する。
【0045】
画像処理部110は、YC処理回路(ベイヤ配列の撮像データをYC(輝度・色差)データに変換する処理回路)やホワイトバランス補正処理回路(撮像データの色バランスを補正する回路)、階調変換回路(撮像データの階調特性を補正する回路)等の各種の画像処理回路を有し、フレームメモリ109に格納された撮像データに対してホワイトバランス補正処理やノイズ低減処理等の各種の画像処理を施し、処理後の撮像データを、バス108を介してフレームメモリ109に記憶させる。
【0046】
圧縮伸長処理部111は、撮像データの記録時には、画像処理部110において処理された撮像データを、バス108を介してフレームメモリ109から読み出し、読み出した画像データを例えばJPEG方式に従って圧縮する。さらに、圧縮伸長処理部111は、撮像データの再生時には、記録媒体113に記録された圧縮済みの撮像データを、バス108を介してフレームメモリ109から読み出し、読み出した撮像データを伸長することも行う。
【0047】
メモリI/F112は記録媒体113への撮像データの書き込み及び読み出しの制御を行う。記録媒体113は、例えば撮像装置に着脱可能なメモリカードからなる記録媒体であり、圧縮伸長処理部111において圧縮された撮像データ等が記録される。
【0048】
表示制御部114は、フレームメモリ109から撮像データを読み出して映像信号に変換し、変換した映像信号を表示部115に出力して表示部115における画像の表示を行う。表示部115は、例えばTFT液晶ディスプレイ等であり、表示制御部114からの映像信号に基づく画像を表示する。
【0049】
マイクロコンピュータ116は、撮像装置本体の各種シーケンスを統括的に制御する。このマイクロコンピュータ116には、操作部117、Flashメモリ118が接続されている。このマイクロコンピュータ116は、発信器119で生成されたクロックCLK3に従って動作する。
【0050】
操作部117は、ユーザが図1に示す撮像装置を操作するための各種の操作部材である。ユーザにより操作部117の何れかの操作部材が操作されることにより、マイクロコンピュータ116は、ユーザの操作に応じた各種シーケンスを実行する。この操作部117により、撮像装置の動作モードを設定可能である。Flashメモリ118は、撮像装置の動作に必要な各種パラメータを記憶している。また、Flashメモリ118は、マイクロコンピュータ116にて実行する各種プログラムも記憶している。マイクロコンピュータ116は、Flashメモリ118に記憶されているプログラムに従い、またFlashメモリ118から各種シーケンスに必要なパラメータを読み込み、各処理を実行する。
【0051】
発信器119は、マスク処理部106においてクロックCLK2を生成するために必要な基準のクロックであるクロックCLK3を生成する。ここで、本実施形態では、例としてクロックCLK3をマイクロコンピュータ116の動作に必要なシステムクロックと兼用させる。この場合、発信器119で生成されたクロックCLK3は、マイクロコンピュータ116とマスク処理部106に入力される。
【0052】
次に、第1の実施形態における前処理部107の詳細な構成及び動作について説明する。図6は、第1の実施形態におけるマスク処理部106、前処理部107の詳細な構成を示した図である。なお、図6は、シリパラ変換部104から入力されてくる4チャンネルの撮像データを並び替え部105において1チャンネルの撮像データに並び替える場合の構成を示している。
【0053】
図6において、クロック生成部としての機能を有するマスク処理部106は、レジスタ1061を有している。このレジスタ1061には、マイクロコンピュータ116によって所定のマスクパターンが設定される。なお、レジスタ1061のビット数は任意で良いが、以下の説明においては8ビットのレジスタを用いた例について説明する。
【0054】
マスク処理部106は、レジスタ1061に設定されたマスクパターンに従ってクロックCLK3をマスクすることにより、記憶部1072の読み出しクロックであるとともに、信号処理部1075及びバスI/F1076の動作クロックでもあるクロックCLK2を生成する。例えば、マイクロコンピュータ116によって、図7(a)に示すような8ビットのマスクパターンが設定された場合に、マスク処理部106は、マスクパターンが「1」の部分に対応したクロックCLK3をそのまま出力させ、「0」の部分に対応したクロックCLK3をマスクする。この結果、マスク処理部106からは、図7(b)に示すようにして、クロックCLK3の一部が欠けたクロックCLK2が出力される。
【0055】
このように、本実施形態では、マスクパターンを適宜設定することにより、PLLを用いなくとも任意の周波数のクロックCLK2を生成することが可能である。なお、クロックCLK3を高速にする程、クロックCLK2の周波数をより細かに制御することが可能である。
【0056】
本実施形態では、このようなクロックCLK2を用いて、撮像装置の動作モードに応じた速度での撮像データの信号処理を可能とする。このために、クロックCLK2の周波数が、並び替え部105から出力される撮像データのチャンネル当たりのデータ量に応じた周波数となるようにマスクパターンを設定する。この詳細については後述する。
【0057】
前処理部107は、分周器1071と、記憶部1072と、書き込み制御部1073と、読み出し制御部1074と、信号処理部1075と、バスインターフェース(I/F)1076とを有している。
【0058】
分周器1071は、シリパラ変換部104から入力されたクロックCLK1を分周したクロックCLK1−1を出力する。このクロックCLK1−1は記憶部1072における書き込みクロックであるとともに、書き込み制御部1073の動作クロックとなる。なお、ここでのクロックCLK1−1はクロックCLK1をそのまま出力する、即ち分周比1の場合も含まれるものである。
【0059】
記憶部1072は、例えばSRAM(Static RAM)で構成され、並び替え部105で並び替えられた撮像データが記憶される。この記憶部1072は、書き込み制御部1073からの書き込み信号がイネーブルとなったときに撮像データが書き込まれ、読み出し制御部1074からの読み出し信号がイネーブルとなったときに撮像データが読み出される。
【0060】
ここで、第1の実施形態における記憶部1072は、撮像データの入出力ポートを2つ有するデュアルポートSRAMを想定している。この場合、記憶部1072の異なるポートに書き込みクロックCLK1−1と読み出しクロックCLK2とをそれぞれ入力して、書き込みクロックCLK1−1に同期した撮像データの書き込みと読み出しクロックCLK2に同期した撮像データの読み出しとを同時に行うことが可能である。
【0061】
書き込み制御部としての機能を有する書き込み制御部1073は、シリパラ変換部104から同期信号VD2又はHD2が入力された場合に、書き込みクロックCLK1−1に同期して記憶部1072に対する書き込み信号をイネーブル又はディスエーブルとすることにより、並び替え部105から記憶部1072への撮像データの書き込みを制御する。ここで、書き込み制御部1073は、撮像装置の動作モードに基づいて並び替え部105から出力される撮像データの有効位置を識別し、この有効位置に対応した撮像データが1画素分ずつ記憶部1072に書き込まれるように書き込み信号のイネーブル又はディスエーブルの切り替えを行う。なお、並び替え部105において撮像データの有効位置を識別し、この識別結果に従って書き込み信号をイネーブル又はディスエーブルの切り替えを行うようにしても良い。
【0062】
読み出し制御部としての機能を有する読み出し制御部1074は、同期信号VD2又はHD2が入力された場合に、読み出しクロックCLK2に同期して読み出し信号をイネーブル又はディスエーブルとすることにより、記憶部1072から有効位置に対応した1画素分ずつの撮像データの読み出しを制御する。
【0063】
信号処理部1075は、クロックCLK2に同期して、記憶部1072から読み出された有効部分に対応した撮像データに対してシェーディング補正やノイズ低減処理等の前処理を施す。バスI/F1076は、信号処理部1075から入力される撮像データを記憶できるバッファメモリを有している。このバッファメモリに撮像データが記憶される毎に、バスI/F1076は、クロックCLK2、CLK3にそれぞれ同期して、バス108に対して撮像データの転送要求を行う。バス108によって転送が許可された場合に、バスI/F1076はバス108に撮像データを入力する。
【0064】
次に、図6で示すマスク処理部106、前処理部107の動作について図8のタイミングチャートを参照して説明する。
【0065】
まず、シリパラ変換部104でLVDSデータに含まれる同期信号を示すコードから垂直同期信号VD2又は水平同期信号HD2が復元され、復元された同期信号VD2又はHD2が書き込み制御部1073及び読み出し制御部1074にそれぞれ入力されることにより、書き込み制御部1073及び読み出し制御部1074において撮像データの1フレーム又は1ラインの処理の開始が認識される。
【0066】
垂直同期信号VD2又は水平同期信号HD2の入力を受けて、書き込み制御部1073は、現在の撮像装置の動作モードに応じて決定される並び替え部105のチャンネル当たりの撮像データのデータ量に従って並び替え後の撮像データの有効位置を識別する。そして、書き込み制御部1073は、クロックCLK1−1をカウントして並び替え部105から有効位置に対応した撮像データが出力されるタイミングで書き込み信号をイネーブルとする。これにより、図6に示すようにして、記憶部1072には有効位置に対応した撮像データPix1〜Pix7が1画素ずつ順次書き込まれる。
【0067】
また、現在の撮像装置の動作モードに応じて決定される並び替え部105のチャンネル当たりの撮像データのデータ量に従って、マイクロコンピュータ116は、マスク処理部106のレジスタ1061にマスクパターンを設定する。
【0068】
例えば、図5(a)に示すような並び替えが行われる場合には、上述したように、クロックCLK1の4サイクルにつき4回だけ有効位置に対応した撮像データが出力される。この場合の並び替え部105のチャンネル当たりのデータ量は4画素/4クロックとなる。したがって、このデータ量よりも遅いタイミングで撮像データを読み出せば、撮像データの読み出しが撮像データの書き込みを追い越すことがなく、有効位置に対応した撮像データの正しい信号処理が可能となる。そして、このような読み出しを行うためのクロックCLK2の周波数は、クロックCLK1の4サイクルにつき4回だけ撮像データを読み出せる周波数以下とすれば良い。例えば、クロックCLK1が100MHz、クロックCLK3が150MHzであるとすると、クロックCLK2の周波数/クロックCLK3の周波数=(4/4×100)/150=0.66である。実際のクロックCLK2の周波数は、クロックCLK3の周波数との比が0.66以下となるようにすれば良い。例えば、レジスタ1061に8ビットのマスクパターンを設定できるとすると、クロックCLK3が8個入力されるのに対してクロックCLK2は8(個)×0.66=5.28個よりも少ない数だけ出力されれば良い。したがって、小数点以下を無視して、例えばマスクパターンを「00110111」(8個のうちで5個有効にする)とする。なお、このマスクパターンにおける「1の位置」は重要ではなく、「1の個数」が重要である。したがって、例えば、マスクパターンとして「00011111」等としても良い。このようなマスクパターンに従って生成されたクロックCLK2に同期して、記憶部1072から撮像データの読み出しを行うことで、並び替え部105に記憶されている有効位置に対応した撮像データを1画素ずつ正しく読み出すことが可能となる。
【0069】
また、図5(b)に示すような並び替えが行われる場合には、クロックCLK1の8サイクルにつき2回だけ有効位置に対応した撮像データが出力される。この場合の並び替え部105のチャンネル当たりのデータ量は4画素/8クロックとなる。したがって、クロックCLK2の周波数/クロックCLK3の周波数=(4/8×100)/150=0.66となり、クロックCLK3が8個入力されるのに対してクロックCLK2は8(個)×0.66=5.28個よりも少ない数だけ出力されれば良い。このため、例えばマスクパターンを「00110111」とすることで、記憶部1072に記憶された撮像データを正しく読み出すことが可能となる。
【0070】
図5(c)の場合、図5(d)の場合も同様の考え方に従ってマスクパターンを設定できる。図5(c)の場合には、クロックCLK2の周波数/クロックCLK3の周波数=(2/4×100)/150=0.33となり、クロックCLK3が8個入力されるのに対してクロックCLK2は8(個)×0.33=2.64個よりも少ない数だけ出力されれば良い。したがって、例えばマスクパターンを「00010001」とする。また、図5(d)の場合には、クロックCLK2の周波数/クロックCLK3の周波数=(2/2×50)/150=0.33となり、クロックCLK3が8個入力されるのに対してクロックCLK2は8(個)×0.33=2.64個よりも少ない数だけ出力されれば良い。したがって、例えばマスクパターンを「00010001」とする。
【0071】
読み出し制御部1074は、クロックCLK2が入力されたタイミングで読み出し信号をイネーブルとする。これにより、図6に示すようにして、記憶部1072からクロックCLK2に同期したタイミングで有効位置に対応した撮像データが1画素ずつ順次読み出される。
【0072】
信号処理部1075は、記憶部1072からクロックCLK2に同期したタイミングで読み出される撮像データをクロックCLK2に同期したタイミングで順次処理する。このようにして信号処理部1075は、動作モードに応じた速度で信号処理を行うことが可能となる。
【0073】
以上説明したように、本実施形態においては、マスク処理部106において、発信器119からのクロックCLK3をマスクすることにより、PLLを用いずに任意の周波数のクロックCLK2を生成している。そして、撮像装置の動作モードに応じて変化する並び替え部105のチャンネル当たりの撮像データのデータ量に基づいて、クロックCLK2を生成するためのマスクパターンを設定することにより、クロックCLK1に同期して高速で転送されてくる撮像データを、撮像装置の動作モードに応じた周波数のクロックCLK2に同期させて正しく信号処理することが可能である。
【0074】
また、本実施形態においては、クロックCLK2の生成にPLLを用いる必要がないため、動作モードの変化に応じて直ちにクロックCLK2を生成することが可能である。このため、動作モードが突然変更されるような状況であっても対応可能である。
【0075】
さらに、本実施形態においては、記憶部1072にデュアルポートSRAMを用いることにより、並び替え部105からの1画素ずつの撮像データの書き込みと信号処理部1075への1画素ずつの撮像データの読み出しとをそれぞれ異なるクロックに同期させて同時に行うことが可能である。
【0076】
ここで、上述の例においては、クロックCLK2を生成するために用いる基準のクロックCLK3をマイクロコンピュータ116のシステムクロックと兼用させている。これに限らず、クロックCLK3としてクロックCLK1を用いるようにしても良い。
【0077】
また、図6で示した例では、記憶部1072への撮像データの書き込み順と記憶部1072からの撮像データの読み出し順とを一致させるようにしている。しかしながら、記憶部1072への撮像データの書き込み順と記憶部1072からの撮像データの読み出し順とを異ならせるようにしても良い。このような読み出しは撮像素子1031から得られた同じ色の撮像信号を混合する画素混合の場合に有効である。
【0078】
さらに、図6の例はシリパラ変換部104から入力されてくる4チャンネルの撮像データを並び替え部105において1チャンネルの撮像データに並び替える場合の構成を示している。これに対し、並び替え部105において2チャンネルの撮像データに並び替える場合には記憶部1072の数を2個に増やせば良い。同様に、並び替え部105において3チャンネル以上の撮像データに並び替える場合であっても、並び替え後のチャンネル数に応じて記憶部1072の数を増やせば良い。これらの場合であっても、クロックCLK2の生成の仕方等は1チャンネルの並び替えの場合と同様である。
【0079】
また、本実施形態ではシリパラ変換後の撮像データを並び替え部105において並び替えているが、この並び替え部105は省略しても良い。
【0080】
[第2の実施形態]
次に、本発明の第2の実施形態について説明する。上述の第1の実施形態においては、記憶部1072にデュアルポートRAMを用いており、1つの記憶部1072に書き込みクロックCLK1−1と読み出しクロックCLK2とを同時に入力して撮像データの1画素ずつの書き込みと読み出しとを同時に実行できるようにしている。これに対し、第2の実施形態は、撮像データの入出力ポートを1つのみ有するシングルポートSRAMを用いて第1の実施形態と同等の効果を得られるようにしたものである。
【0081】
図9は、第2の実施形態におけるマスク処理部106、前処理部107の詳細な構成を示した図である。なお、図9も図6と同様、シリパラ変換部104から入力されてくる4チャンネルの撮像データを並び替え部105において1チャンネルの撮像データに並び替える場合の構成を示している。
【0082】
ここで、図9において図6と同一の構成については図6と同一の参照符号を付すことで説明を省略する。即ち、図9においては、記憶部1072aと記憶部1072bの2個の記憶部で1組となっており、これらの記憶部がそれぞれ記憶制御部1078a、記憶制御部1078bによって個別に制御される点が図6と異なる。また、これらの記憶部及び記憶制御部に入力するクロックを切り替え部1077a及び1077bによって切り替え可能になされている点も図6と異なる。
【0083】
記憶部1072a、記憶部1072bはそれぞれシングルポートRAMを想定している。記憶制御部1078aは記憶部1072aにおける撮像データの書き込みと読み出しの両方を制御する。また、記憶制御部1078bは記憶部1072bにおける撮像データの書き込みと読み出しの両方を制御する。
【0084】
切り替え部1077a、1077bは記憶部1072a及び1072bと記憶制御部1078a及び1078bのうちで撮像データを書き込む側の記憶部及び記憶制御部に対してクロックCLK1−1を入力するとともに、記憶部1072a及び1072bと記憶制御部1078a及び1078bのうちで撮像データを読み出す側の記憶部及び記憶制御部に対してクロックCLK2−1又は2−2を入力する。この入力するクロックの切り替えは撮像データのライン単位に行う。
【0085】
ここで、クロックCLK2−1又は2−2はクロックCLK2と同一のものであり、第1の実施形態と同様にして撮像装置の動作モードに応じた周波数となるように生成される。
【0086】
次に、第2の実施形態における記憶部1072a、1072bの動作について図10のタイミングチャートを参照して説明する。第1の実施形態においても説明したように、並び替え部105において並び替えられた撮像データは、水平同期信号HD2の入力毎にクロックCLK1−1(クロックCLK1も含む)に同期して1画素ずつ出力される。第2の実施形態においては、記憶部1072a、1072bにおける撮像データの書き込み及び読み出しを撮像データの1ライン分を単位として行う。これは、記憶部1072a、1072bがシングルポートSRAMを想定しており、撮像データの書き込みと読み出しを1画素単位で交互に行うのが困難なためである。
【0087】
したがって、まず、記憶部1072aに撮像データを書き込むべく、切り替え部1077aは記憶部1072aと記憶制御部1078aにクロックCLK1−1を入力する。これを受けて、記憶制御部1078aはクロックCLK1−1に同期して書き込み信号をイネーブルとする。これにより、記憶部1072aに1ライン分の撮像データが順次書き込まれる。
【0088】
記憶部1072aに1ライン分の撮像データが書き込まれた後、切り替え部1077aは記憶部1072aと記憶制御部1078aにクロックCLK2−1を入力する。これを受けて、記憶制御部1078aはクロックCLK2−1に同期して読み出し信号をイネーブルとする。これにより、記憶部1072aからは1ライン分の撮像データが順次読み出される。その後、信号処理部1075において1ライン目の撮像データに対する前処理が行われる。
【0089】
記憶部1072aからの撮像データの読み出し中に次の2ライン目の撮像データが並び替え部105から出力される。この2ライン目の撮像データは、記憶部1072aに書き込むことができないため、記憶部1072bに撮像データを書き込むべく、切り替え部1077bは記憶部1072bと記憶制御部1078bにクロックCLK1−1を入力する。これを受けて、記憶制御部1078bはクロックCLK1−1に同期して書き込み信号をイネーブルとする。これにより、記憶部1072bに2ライン目の1ライン分の撮像データが順次書き込まれる。
【0090】
記憶部1072bに1ライン分の撮像データが書き込まれた後、切り替え部1077bは記憶部1072bと記憶制御部1078bにクロックCLK2−2を入力する。これを受けて、記憶制御部1078bはクロックCLK2−2に同期して読み出し信号をイネーブルとする。これにより、記憶部1072bからは2ライン目の1ライン分の撮像データが順次読み出される。その後、信号処理部1075において2ライン目の撮像データに対する前処理が行われる。
【0091】
以後も同様にして、並び替え部105から奇数ライン目の撮像データが出力された場合には記憶部1072aを用いて撮像データの書き込み及び読み出しを行い、並び替え部105から偶数ライン目の撮像データが出力された場合には記憶部1072bを用いて撮像データの書き込み及び読み出しを行う。このようにして、シングルポートSRAMを用いた構成で第1の実施形態と同様の効果を得ることが可能となる。
【0092】
以上説明したような第2の実施形態の構成を用いても第1の実施形態と同様にPLLを用いることなく任意の周波数のクロックCLK2、2−1、2−2を生成して、撮像装置の動作モードに応じた信号処理を行うことが可能である。また、デュアルポートSRAMを1個用いるよりも、シングルポートSRAMを2個用いたほうが回路規模を小さくできるという効果もある。
【0093】
以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。
【0094】
さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。
【符号の説明】
【0095】
101…レンズ、102…シャッタ絞り、103…撮像部、104…シリパラ変換部、105…並び替え部、106…マスク処理部、107…前処理部、108…バス、109…フレームメモリ、110…画像処理部、111…圧縮伸長処理部、112…メモリインターフェース(I/F)、113…記録媒体、114…表示制御部、115…表示部、116…マイクロコンピュータ、117…操作部、118…Flashメモリ、119…発信器、1031…撮像素子、1032…アナログ処理部、1033…アナログ/デジタル(A/D)変換部、1034,1036…タイミングジェネレータ(TG)、1035…PLL、1037…発信器、1038…パラシリ変換部、1061…レジスタ、1071…分周器、1072,1072a,1072b…記憶部、1073…書き込み制御部、1074…読み出し制御部、1075…信号処理部、1076…バスインターフェース(I/F)、1078a,1078b…記憶制御部、1077a,1077b…切り替え部

【特許請求の範囲】
【請求項1】
撮像信号を出力する撮像素子と、
複数の転送チャンネルを用いて前記撮像信号をシリアル転送する転送部と、
前記転送部の複数の転送チャンネルからシリアル転送された撮像信号を記憶する記憶部と、
前記記憶部に記憶された撮像信号に対して信号処理を施す信号処理部と、
前記転送部によってシリアル転送される撮像信号に同期した第1のクロックに同期して、前記転送部から前記記憶部への前記撮像信号の書き込みを制御する書き込み制御部と、
前記信号処理部を動作させるための第2のクロックに同期して、前記記憶部から前記信号処理部への前記撮像信号の読み出しを制御する読み出し制御部と、
前記転送部から前記記憶部へ転送される前記撮像信号のデータ量に応じた周波数となるように前記第2のクロックを生成するクロック生成部と、
を具備することを特徴とする撮像装置。
【請求項2】
前記クロック生成部は、前記撮像信号のデータ量に応じた所定のパターンで第3のクロックに対してマスク処理を施して前記第2のクロックを生成することを特徴とする請求項1に記載の撮像装置。
【請求項3】
前記第2のクロックと前記第3のクロックとは同期したクロックであることを特徴とする請求項2に記載の撮像装置。
【請求項4】
前記記憶部は、前記撮像信号の入出力ポートを2つ有するデュアルポートRAMであり、
前記書き込み制御部は前記記憶部の一方の入出力ポートを用いて前記撮像信号の書き込みを制御し、前記読み出し制御部は前記記憶部の他方の入出力ポートを用いて前記撮像信号の読み出しを制御することを特徴とする請求項1乃至3の何れか1項に記載の撮像装置。
【請求項5】
前記記憶部は前記撮像信号の入出力ポートを1つ有する複数のシングルポートRAMであり、
前記撮像信号を書き込むシングルポートRAMについては前記書き込み制御部による前記撮像信号の書き込みがなされるように前記第1のクロックを選択し、前記撮像信号を読み出すシングルポートRAMについては前記読み出し制御部による前記撮像信号の読み出しがなされるように前記第2のクロックを選択するように切り替える切り替え部をさらに具備することを特徴とする請求項1乃至3の何れか1項に記載の撮像装置。
【請求項6】
前記複数のシングルポートRAMはそれぞれライン単位で前記撮像信号が順次書き込まれるとともに、ライン単位で前記撮像信号が順次読み出されることを特徴とする請求項5に記載の撮像装置。
【請求項7】
前記第3のクロックとして、前記第1のクロックを用いることを特徴とする請求項2に記載の撮像装置。
【請求項8】
前記所定のパターンは、当該撮像装置の動作モードに応じて変更されることを特徴とする請求項2に記載の撮像装置。
【請求項9】
前記動作モードは、前記撮像素子を用いて静止画像を撮影するための静止画撮影モード、前記撮像素子を用いて動画像を撮影するための動画撮影モード、前記撮像素子を用いて得られる動画像をスルー画表示するためのスルー画表示モード、前記撮像素子を用いて得られる撮像信号に基づいて合焦制御を行うためのイメージャAFモードの何れかを含むことを特徴とする請求項8に記載の撮像装置。
【請求項10】
前記動作モードが前記静止画撮影モードの場合の前記所定パターンを用いて生成される第2のクロックの周波数は、前記動作モードが前記動画撮影モード、前記スルー画表示モード、前記イメージャAFモードの場合の前記所定パターンを用いて生成される第2のクロックの周波数よりも高いことを特徴とする請求項9に記載の撮像装置。
【請求項11】
前記転送部による前記シリアル転送の際に用いられる転送チャンネルの数が前記動作モードに応じて変更されることを特徴とする請求項8乃至10の何れか1項に記載の撮像装置。
【請求項12】
前記転送部は、LVDS伝送方式により前記シリアル転送を行うことを特徴とする請求項1乃至11の何れか1項に記載の撮像装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate


【公開番号】特開2010−283671(P2010−283671A)
【公開日】平成22年12月16日(2010.12.16)
【国際特許分類】
【出願番号】特願2009−136396(P2009−136396)
【出願日】平成21年6月5日(2009.6.5)
【出願人】(504371974)オリンパスイメージング株式会社 (2,647)
【Fターム(参考)】