撮像装置
撮像装置１００は、被写体の光学像を形成する結像光学系１１０と、光学像の所定領域の画像信号を出力する撮像デバイス１２０と、出力画像の領域を設定する領域設定部１３２と、撮像デバイス１２０内の読み出し制御部１２４の画素間引き読み出し規則を設定する読み出し規則設定部１３４と、撮像デバイス１２０から出力される画像データを帯域分離処理して第一成分の画像データと第二成分の画像データとを出力する帯域分離処理部１５２と、第一成分の画像データを少ないビット深度の画像データに変換するビット深度変換処理部１５４と、ビット深度変換された第一成分の画像データの歪みを補正する歪み補正部１４０と、歪み補正後の第一成分の画像データと帯域分離処理部１５２からの第二成分の画像データとを合成する合成処理部１５６とを備えている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタル撮像装置に関し、特に、撮像装置が実装している撮像デバイスの画素数よりも小さい画素数の画像を高速に高画質で生成するデジタル撮像装置に関する。
【背景技術】
【０００２】
近年、パーソナルコンピューターの急速な普及によって、画像入力機器としてのデジタルカメラの需要が拡大している。また、動画の記録機器としてデジタルビデオなどの高画質記録装置が広く用いられている。
【０００３】
電子スチルカメラの画質を決定する要素は幾つかあるが、その中でも撮像素子の画素数は撮影像の解像度を決定する大きな要素である。そのため、最近は５００万画素以上の多くの画素数を持った電子スチルカメラも幾つか商品化されている。しかし、全ての用途において、５００万画素のデータが必ずしも必要なわけではなく、逆にインターネットのＷｅｂ上に表示する画像は、むしろ画素サイズを小さくした方を使用する場合が多い。
【０００４】
さらに、現状のデジタルカメラにおいては、撮像素子から、画像メモリーへのフラッシングの時間がネックになっており、画素数が大きい機種で、高速な連写撮影ができるものが少ない。また、デジタルカメラにおいても、付加機能として動画の撮影の要求があるため、やはり、メモリーへの転送は高速に行なわなければならず、予め扱うデータ量を少なくすることが好ましい。
【０００５】
出力画像の画素数が、撮像素子の画素数に比べて少ない場合には、予め、使用する画素数を制限することによって、撮像素子からメモリーに転送されるデータ量を減らし、メモリー転送の速度を向上できる。
【０００６】
一方、線形補間によるサイズ縮小では、全ての画素を使用して、大きいサイズの画像を作成し、線形補間によって異なるサイズの画像を作成する。
【０００７】
このような、線形補間によるリサイズは、画質の面では良好であるが、縮小画像を生成する場合、全画素のデータを取り込んで線形補間を行なうために演算量が多く、上述した連写機能や動画撮影には適していない。
【０００８】
さらに、動画像に対して、上記の線形補間による変倍を適応した場合、変倍率によって、読み出す画素数に変更があるため、１フレームの時間が一定であるような走査方法には不適である。
【０００９】
メモリー読み出しのデータ量を減らす手法としては、撮像素子に積分機能を付けて、平均化した少数のデータを読み出し、縮小画像を生成する方法がある。特開２００１−２４５１４１号公報は、この方法を利用した高速な画像の縮小方法を開示している。
【００１０】
特開２００１−０１６４４１号公報は、解像度の種類が限定されている場合に、データの間引きを行ない、さらにデータの歪みを補正する装置を開示している。同文献は、実施形態において、６００ｄｐｉの解像度を持つ装置による４００ｄｐｉ相当のデータの作成を開示している。６００ｄｐｉのデータをそのまま間引いたのではデータの歪みが生じるため、位置の歪みを補償する画素データを６００ｄｐｉのデータから線形補間によって生成している。
【発明の開示】
【００１１】
特開２００１−２４５１４１号公報の方法は、２０％程度以下の縮小率の縮小においては効果的であるが、（４０％程度以上の）大きい縮小率の縮小においては積分による平均化だけでは読み出した画素位置による像の歪みを除くことはできない。従って、広い範囲の縮小倍率に対して、サイズ変更を行ないながら高画質な画像を形成することが難しい。
【００１２】
本発明は、このような現状を鑑みて成されたものであり、その目的は、撮像素子からの画像データの読み出しに要する時間が短く、サイズ変更に対して歪みの少ない高精細な画像を形成し得る撮像装置を提供することである。さらに、本発明の目的は、歪みの補償処理を行なうにあたって、データ量を低減することである。
【００１３】
本発明は、被写体を撮像する撮像装置であり、被写体の光学像を形成する光学系と、光学像を光電変換する光電変換素子と、光電変換素子で取得された画像データを必要に応じて画素間引きして読み出す読み出し制御部とを備えている撮像デバイスと、出力画像の領域を設定する領域設定部と、領域設定部で設定された領域に応じて読み出し制御部の画素間引き読み出し規則を設定する読み出し規則設定部と、読み出し制御部によって光電変換素子から読み出される画像データ帯域分離処理して第一成分の画像データと第二成分の画像データとを出力する帯域分離処理部と、第一成分の画像データを帯域分離処理前よりも少ないビット深度の画像データに変換するビット深度変換処理部と、第一成分の画像データに対して画素間引き処理の歪みの補正処理を行なう歪み補正部と、歪み補正された第一成分の画像データと帯域分離処理部から出力される第二成分の画像データとに基づいて出力画像を形成する画像形成手段とを備えている。
【図面の簡単な説明】
【００１４】
【図１】図１は、本発明の第一実施形態の撮像装置の構成を示している。
【図２】図２は、図１に示された帯域分離処理部と合成処理部の詳しい構成を示している。
【図３】図３は、撮像デバイスから間引き読み出しによって得られた画像データを１０→８ビットのＫｎｅｅ変換を行なったものを表示している。
【図４】図４は、図３に対して、式（１）に示したローパスフィルターを施した画像である。
【図５】図５は、図３と図４の差分の画像である。
【図６】図６は、図５に対して歪み補正処理を行ない、図４と加算したものである。
【図７】図７は、図５の輝度レベルのヒストグラムを示したものである。
【図８】図８は、水平方向・垂直方向共に８画素のうち２画素を間引きして読み出す例を示している。
【図９】図９は、図８に示された８画素から２画素を間引く読み出しにおいて、読み飛ばされる画素をその近くの画素で線形補間して埋めて８画素のデータとし、これを線形補間で６画素にする操作を模式的に示している。
【図１０】図１０は、図８に示された８画素から２画素を間引く読み出しにおいて、不均一な画素間隔でのサンプリングを均一なサンプリングに変換する処理を模式的に示している。
【図１１】図１１は、図１０に示された歪み補正をパイプライン処理で行なう構成を示している。
【図１２】図１２は、本発明の第二実施形態の撮像装置の構成を示している。
【図１３】図１３は、６／８の間引き読み出しの繰り返しによる読み出しにおける、読み出し範囲の読み出し開始位置が光電変換素子の画素配列の左上の画素に合っているフレームの読み出し範囲を示している。
【図１４】図１４は、６／８の間引き読み出しの繰り返しによる読み出しにおける、読み出し範囲の読み出し開始位置が光電変換素子の画素配列の右下の画素に合っているフレームの読み出し範囲を示している。
【図１５】図１５は、図１２に示された帯域分離処理部とフレーム間演算処理部の詳しい構成を示している。
【発明を実施するための最良の形態】
【００１５】
以下、図面を参照しながら本発明の実施形態について説明する。
【００１６】
第一実施形態
撮像素子から画像データの読み出し時間の短縮とサイズ変更による歪みの低減とを図るため、本発明者は、特願２００２−３４９９６８号において、変倍率によらず１フレームでの走査画素数が一定になるように変倍率に応じて画素の間引き読み出しを行ない、さらに、間引き読み出しによる画像の歪みを補正するフィルター処理を行なう撮像装置を提案している。
【００１７】
特開２００１−０１６４４１号公報の装置もデータの間引きを行なっている。しかし、特開２００１−０１６４４１号公報の間引きと特願２００２−３４９９６８号の間引きは根本的に相違している。特願２００２−３４９９６８号の撮像装置は、読み出し時間の制限のために、基本解像度のデータのすべてを読み出すことができないことに対応する間引き走査の新技術に向けられている。これに対して、特開２００１−０１６４４１号公報の装置では、走査して得た６００ｄｐｉのデータ（基本解像度のデータ）の全てを用いて補間し、４００ｄｐｉ相当のデータを作っている。このように、特願２００２−３４９９６８号の撮像装置は特開２００１−０１６４４１号公報の装置とは本質的に相違している。
【００１８】
特願２００２−３４９９６８号の間引き読み出し＋歪み補正による変倍処理では、例えば、入力のＡ／Ｄ変換で１０ビットデータに対してこのような歪み補正演算を行なう場合、パイプライン処理のレジスターと演算器は１０ビット精度以上のものを必要とする。また、一般に行なわれるＫｎｅｅ変換処理では、１０→８ビット程度のビット圧縮が可能である。従って、Ｋｎｅｅ変換処理を導入することによって、パイプライン処理のレジスターと演算器に要求されるビット精度は８ビット程度に軽減される。
【００１９】
本発明は、特願２００２−３４９９６８号の撮像装置に対するさらなる改良に向けられている。本発明の第一実施形態は、Ｋｎｅｅ変換処理後のデータのビット深度をさらに軽減し、歪み補正処理の演算の規模を低減させることに向けられている。
【００２０】
図１は本発明の第一実施形態の撮像装置の構成を示している。図１に示されるように、撮像装置１００は、被写体の光学像を形成する結像光学系１１０と、結像光学系１１０によって形成された光学像の所定の領域の画像信号を出力する撮像デバイス１２０とを備えている。撮像デバイス１２０は、結像光学系１１０によって形成された光学像を光電変換して画像データ（画素データの集合）を取得するエリア状の光電変換素子（撮像素子）１２２と、光電変換素子１２２で取得された画像データを必要に応じて画素間引きして読み出す読み出し制御部１２４とを備えている。
【００２１】
撮像装置１００はさらに、出力（表示）する画像の領域（すなわち前述した所定の領域）を設定する（すなわち表示する画像のサイズと位置を特定する）領域設定部１３２と、領域設定部１３２で設定された領域に応じて読み出し制御部１２４の画素間引き読み出し規則を設定する読み出し規則設定部１３４と、読み出し制御部１２４によって光電変換素子１２２から読み出される画像データをデジタル画像データに変換した後に帯域分離処理して第一成分の画像データと第二成分の画像データとを出力する帯域分離処理部１５２と、帯域分離処理部１５２から出力される第一成分の画像データを帯域分離処理前よりも少ないビット深度の画像データに変換するビット深度変換処理部１５４と、ビット深度変換処理部１５４から出力されるビット深度変換された第一成分の画像データの歪みを補正する歪み補正部１４０と、歪み補正部１４０から出力される歪み補正後の第一成分の画像データと帯域分離処理部１５２から出力される第二成分の画像データとを合成して出力画像を形成する合成処理部１５６とを備えている。
【００２２】
読み出し制御部１２４は、読み出し規則設定部１３４で設定された画素間引き読み出し規則に基づいて、光電変換素子１２２内の画素配列中の対応する範囲の画素データを読み出す。その結果、撮像デバイス１２０は必要に応じて間引きされた画像データを出力する。
【００２３】
帯域分離処理部１５２から出力される第一成分の画像データは、帯域分離処理前の画像データから低周波成分が除かれた画像データ、つまり高周波成分の画像データである。また、帯域分離処理部１５２から出力される第二成分の画像データは、帯域分離処理前の画像データから高周波成分が除かれた画像データ、つまり低周波成分の画像データである。
【００２４】
歪み補正部１４０は、入力された画像データの歪み補正フィルター処理するフィルター処理部１４２と、読み出し規則設定部１３４で設定された画素間引き読み出し規則に応じてフィルター処理部１４２のフィルター処理に使用するフィルター係数を設定するフィルター係数設定部１４４とを備えている。
【００２５】
フィルター係数設定部１４４は、複数のフィルター係数を含むルックアップテーブル（ＬＵＴ）を記憶するＬＵＴ記憶部１４６と、ＬＵＴ記憶部１４６に記憶されているルックアップテーブルからフィルター係数を選択するフィルター係数選択部１４８とを備えている。
【００２６】
フィルター係数設定部１４４は、必ずしもＬＵＴ記憶部１４６とフィルター係数選択部１４８とを備えている必要はなく、読み出し規則設定部１３４が設定した画素間引き読み出し規則に応じた演算を行なってフィルター係数を算出してもよい。
【００２７】
ＬＵＴを使用するフィルター係数設定部１４４は、ＬＵＴを記憶しておくために多くのメモリーを必要とするが、演算に掛かる負担が少なくて済む。一方、ＬＵＴを使用しないフィルター係数設定部１４４は、演算に掛かる負担は大きいが、多くのメモリーを必要としないで済む。
【００２８】
撮像装置１００はさらに、合成処理部１５６から出力される画像信号に対して、後段の信号処理（フルカラー化、ホワイトバランスなど）を行なう画像信号処理部１５８とを備えている。
【００２９】
図２は、図１に示された帯域分離処理部１５２と合成処理部１５６の詳しい構成を示している。図２に示されるように、帯域分離処理部１５２は、入力される画像データをデジタル画像データに変換するＡ／Ｄ変換処理部１８０と、入力されるデジタル画像データのビット圧縮を行なうＫｎｅｅ変換処理部１８２と、入力される画像データから低周波成分を抽出するローパスフィルター１８４と、データの非負を補償するために所定のバイアスを加算する加算器１８６と、Ｋｎｅｅ変換処理部１８２から出力される画像データから加算器１８６から出力される画像データを減算する減算器１８８とを備えている。
【００３０】
また、合成処理部１５６は、歪み補正部１４０から出力される画像データをビット深度変換処理部１５４によるビット深度変換前と同じビット深度の画像データに変換するビット深度変換処理部１９４と、ビット深度変換処理部１９４から出力される画像データから加算器１８６で加算されたバイアスを減算する減算器１９６と、減算器１９６から出力される画像データとローパスフィルター１８４から出力される画像データとを加算する加算器１９８とを備えている。
【００３１】
前述したように、撮像デバイス１２０は、必要に応じて、光電変換素子１２２から画像データを間引きして読み出す。
【００３２】
撮像デバイス１２０から間引きすることなく読み出された画像データは、帯域分子処理部１５２のＡ／Ｄ変換処理部１８０でＡ／Ｄ変換された後、図１の破線で示されるように、画像信号処理部１６４に直接入力される。
【００３３】
間引き読み出しされた画像データは、Ａ／Ｄ変換処理部１８０で例えば１０ビットのデジタル画像データに変換される。Ａ／Ｄ変換処理部１８０から出力される１０ビットのデジタル画像データは、Ｋｎｅｅ変換処理部１８２で８ビットのデジタル画像データに変換される。
【００３４】
Ｋｎｅｅ変換処理部１８２は二系統のデジタル画像データを出力し、一方のデジタル画像データはローパスフィルター１８４に入力され、他方のデジタル画像データは減算器１８８に入力される。
【００３５】
ローパスフィルター１８４に入力されたデジタル画像データは、そこで高周波成分が取り除かれ、低周波成分だけのデジタル画像データに変換される。
【００３６】
光電変換素子１２２がＲＧＢのベイヤー配列のフィルターを持つ場合、ローパスフィルターには例えば式（１）に示す係数を持つ平均化処理フィルターが用いられる。
【数１】
【００３７】
ローパスフィルター１８４の出力は二系統に分岐され、一方のデジタル画像データは加算器１８６に入力され、他方のデジタル画像データは合成処理部１５６内の加算器１９８に入力される。
【００３８】
加算器１８６に入力されたデジタル画像データは、そこで所定のバイアスが加えられたデジタル画像データに変換される。
【００３９】
減算器１８８に入力されたＫｎｅｅ変換処理部１８２からのデジタル画像データは、そこで、加算器１８６から出力されたデジタル画像データが減算処理される。その結果、減算器１８８から出力されるデジタル画像データは、高周波成分のだけのデジタル画像データになる。
【００４０】
減算器１８８から出力される１０ビットのデジタル画像データは、ビット深度変換処理部１５４で６ビットのデジタル画像データに変換される。ビット深度変換処理部１５４から出力されるデジタル画像データは、歪み補正部１４０で歪み補正されたデジタル画像データに変換される。歪み補正部１４０から出力される６ビットのデジタル画像データは、ビット深度変換処理部１９４で８ビットのデジタル画像データに変換される。
【００４１】
ビット深度変換処理部１９４から出力されるデジタル画像データは、減算器１９６で、加算器１８６で加えられたバイアスが除かれたデジタル画像データに変換される。
【００４２】
図２において、減算器１８８から出力されるデジタル画像データは、Ｋｎｅｅ変換処理部１８２から出力されるデジタル画像データに比べて階調が少ない。このため、ビット深度を減少させることができる。
【００４３】
図３は、撮像デバイスから間引き読み出しによって得られた画像データを１０→８ビットのＫｎｅｅ変換を行なったものを表示している。図４は、図３に対して、式（１）に示したローパスフィルターを施した画像である。図５は、図３と図４の差分の画像である。差分データは負の値もとるので、図５では差分データに１２８のバイアスを加えている。図６は、図５に対して歪み補正処理を行ない、図４と加算したものである。図から分かるように、図３においてみられた間引き読み出しによる画像の歪みが低減している。図７は、図５の輝度レベルのヒストグラムを示したものである。このヒストグラムの累積を計算すると、９９％以上の画素が９６〜１６０の６４階調内で収まる。従って、ビット深度変換処理部１５４で８→６ビットに変更しても、画像の情報量の損失がほとんど無いことが分かる。図６は、図５に対して、６ビットで歪み補正を行ない、図４のデータとの合成を行なっている。
【００４４】
これまで、間引き読み出しされた画像データの処理について述べたが、以下、間引き読み出しの歪み補正処理の詳細について説明する。図８は水平方向・垂直方向共に８画素のうち２画素を間引きして読み出す例を示している。図８のような読み出し方を行なうと画像に段差ができてしまう。そこで、図９に示されるように、読み飛ばされる画素（Ｒ４とＧ５）をその近くの同色の画素（Ｒｉ２とＲｉ６とＧｉ３とＧｉ７）でそれぞれ線形補間して埋めて８画素のデータとし、これを線形補間で６画素にする操作を考える。すなわち、図１０に示されるように、不均一な画素間隔でのサンプリングを均一なサンプリングに変換する処理を行なう。ここで、間引きを伴う１ラインの読み出しについて考える。図８の左上を基準とすると読み出した画素位置は、Ｒｉ０、Ｇｉ１、Ｒｉ２、Ｇｉ３、Ｒｉ６、Ｇｉ７となり、以下同じ規則の繰り返しになる。この例における歪み補正（変換）の行列表現は
【数２】
【００４５】
となる。
【００４６】
歪み補正のパイプライン処理は、図１１に示した構成によって行なわれる。シフトレジスター１６２は、クロックに従う一回の動作ごとに、保持している画像データを右方向にひとつシフトする。セレクター１６４は、ｓ１の状態に従って、シフトレジスター１６２に保持されている隣接している五つの画素データのうちの一番目と三番目のいずれかを選択する。また、セレクター１６６は、ｓ２の状態に従って、シフトレジスター１６２に保持されている隣接している五つの画素データのうちの三番目と五番目のいずれかを選択する。
【００４７】
乗算器１７４は、セレクター１６４の出力ｄ１に重み付け加算の係数ｋ１を乗算し、乗算器１７６は、セレクター１６６の出力ｄ２に重み付け加算の係数ｋ２を乗算し、加算器１７８は、乗算器１７４の出力と乗算器１７６の出力とを加算する。
【００４８】
表１は、図１１に示したフィルター処理部のパイプライン処理の動作（状態遷移）を表している。
【表１】
【００４９】
シフトレジスター１６２に供給される画素データ列（ｉ０、ｉ１、ｉ２、…）は、ｃ１＝ｉ０、ｃ２＝ｉ１、ｃ３＝ｉ２、…を初期状態として、クロックに従う一回の動作ごとに右方向にシフトしていく。これに伴い、セレクター１６４は、ｓ１が１のときはｃ１を選択し（従ってｄ１＝ｃ１となり）、ｓ１が０のときはｃ３を選択する（従ってｄ＝ｃ３となる）。一方、セレクター１６６は、ｓ２が１のときはｃ３を選択し（従ってｄ２＝ｃ３となり）、ｓ２が０のときはｃ５を選択する（従ってｄ２＝ｃ５となる）。また、クロックに同期してフィルター係数設定部１４４内のメモリーから係数ｋ１が乗算器１７４に、係数ｋ２が乗算器１７６に供給される。加算器１７８からはｏｕｔ＝ｋ１×ｄ１＋ｋ２×ｄ２が出力される。
【００５０】
表１から分かるように、逐次データのシフト、ｓ１とｓ２の状態に従ったセレクターの切り換え、式（１）に示した間引き規則に応じた重み付け加算の係数ｋ１とｋ２の出力、重み付け加算演算を同期して行なうことによって、画素の位相操作（セレクター切り換え）を含めたパイプライン処理が行なわれる。
【００５１】
本実施形態の撮像装置によれば、歪み補正部の演算器のビット深度を低減でき、これにより処理回路の規模を低減できる。Ｋｎｅｅ変換処理と併用することによって、具体的には、１０→６ビット程度のビット深度の低減ができる。
【００５２】
第二実施形態
前述したように、本発明は、特願２００２−３４９９６８号の撮像装置に対するさらなる改良に向けられている。特に、本発明の第二実施形態は、第一実施形態と同じくＫｎｅｅ変換処理後のデータのビット深度の軽減と歪み補正処理の演算の規模の低減とに加えて、特にフレーム間演算処理を含む構成においてフレームメモリーの容量を低減することに向けられている。
【００５３】
図１２は本発明の第二実施形態の撮像装置の構成を示している。図１２において、第一実施形態の撮像装置１００の要素と同一の参照符号で指摘される要素は同等の要素であり、その詳しい説明は記載の重複を避けて続く記述においては省略する。
【００５４】
本実施形態の撮像装置２００は、被写体の光学像を形成する結像光学系１１０と、結像光学系１１０によって形成された光学像の所定の領域の画像信号を連続的に出力する撮像デバイス２２０とを備えている。つまり、撮像デバイス２２０から出力される画像信号は動画信号であり、これは時系列的に連続する複数のフレームの画像データで構成されている。
【００５５】
撮像デバイス２２０は、結像光学系１１０によって形成された光学像を光電変換してデジタル画像データ（画素データの集合）を取得するエリア状の光電変換素子２２２と、光電変換素子２２２で取得された画像データを必要に応じて画素間引きして連続的に読み出す読み出し制御部２２４とを備えている。
【００５６】
撮像装置２００はさらに、出力する画像の領域を設定する領域設定部１３２と、読み出し制御部２２４の画素間引き読み出し規則を設定する読み出し規則設定部２３４と、読み出し制御部２２４が光電変換素子２２２から画像データを読み出すタイミングを決めるタイミングジェネレーター２３８と、連続する二つのフレームの間で読み出し規則を異ならせる読み出し規則変調部２３６と、帯域分離処理部１５２と、ビット深度変換処理部１５４と、歪み補正部１４０とを備えている。
【００５７】
帯域分離処理部１５２とビット深度変換処理部１５４と歪み補正部１４０の詳細は第一実施形態で説明した通りである。
【００５８】
読み出し規則変調部２３６は、読み出し制御部２２４が光電変換素子２２２から読み出す画像データの読み出し規則を、タイミングジェネレーター２３８と同期してフレームごとの読み出し規則を変調する。読み出し規則変調部２３６は、連続する二つのフレームに対して異なる読み出し規則を生成するが、読み出し画素の総数は変更しない。歪み補正部１４０のフィルター係数設定部１４４は、読み出し規則変調部２３６で生成された読み出し規則に従って、フィルター処理部１４２のフィルター処理に使用するフィルター係数を設定する。
【００５９】
撮像装置２００はさらに、画像範囲選択部２７２と２７４と２７６と、圧縮符号化処理部２８２と、フレームメモリー２８４と、複合化処理部２８６と、フレーム間演算処理部２８８と、画像信号処理部１５８とを備えている。
【００６０】
ここで、フレームごとに間引き読み出しの規則を変更する方式と、歪み補正について説明する。
【００６１】
本実施形態の撮像装置では、インターレース操作が二つのフィールド間で互いの欠落している画素データを補間するように、連続する二つのフレーム間で互いの欠落している画素データを補間する。例えば、読み出し規則変調部２３６は、連続する複数のフレームの画像データがそれら全体で欠落した画素データを持たないように、読み出し制御部２２４が読み出す画素データの範囲の基準位置をシフトさせる。シフト量は２〜８画素程度が好ましい。
【００６２】
図１３と図１４は、６／８の間引き読み出しの繰り返しによる読み出しにおける読み出し範囲の基準位置のシフトの様子を模式的に示している。これらの図において、［ｘ，ｙ］は光電変換素子１２２の画素配列の画素位置、（ｘ，ｙ）は読み出し範囲の画素データ配列を表している。
【００６３】
図１３と図１４に示されるように、光電変換素子１２２の画素数は水平方向にｋ画素、垂直方向にｌ画素である。従って、光電変換素子１２２の左上の画素の位置は［０，０］、右下の画素の位置は［ｋ，ｌ］と表せる。また、１フレームの読み出し範囲の画素数は水平方向にｍ画素、垂直方向にｎ画素である。従って、フレームの左上の読み出し開始位置は（０，０）、右下の読み出し終了位置は（ｍ，ｎ）と表せる。図１４のフレームの読み出し範囲は、図１３のフレームの読み出し範囲に対して、水平方向に＋２画素、垂直方向に＋２画素シフトしている。
【００６４】
図１３のフレームでは、左上の読み出し開始位置（０，０）は、光電変換素子１２２の左上の画素位置［０，０］に一致している。つまり、
【数３】
【００６５】
である。また、読み出し終了位置（ｍ，ｎ）は、
【数４】
【００６６】
である。一方、図１４のフレームでは、左上の読み出し開始位置は、
【数５】
【００６７】
である。また、読み出しの終了位置は、
【数６】
【００６８】
である。
【００６９】
画像範囲選択部２７２と２７４と２７６は、図１３のフレームと図１４のフレームに共通する範囲を選択する。すなわち、図１３のフレームに対しては、（２，２）と（ｍ，ｎ）を対角の頂点とする矩形の範囲を選択し、図１４のフレームに対しては、（０，０）から（ｍ−２，ｎ−２）を対角の頂点とする矩形の範囲を選択する。画像範囲選択部２７２と２７４と２７６で選択された範囲は、常に（ｍ−２）×（ｎ−２）個の画素データを含んでいる。
【００７０】
また、予めクロップする領域を考慮すると、光電変換素子１２２から読み出す画像の総数は出力の画像サイズと位相シフト分を考慮する必要がある。画像範囲選択部２７２と２７４と２７６は、読み出し開始位置の情報に基づいて、クロップの範囲を変更する。
【００７１】
画像範囲選択部２７２と２７４は、歪み補正された第一成分の画像データに対して範囲選択を行ない、画像範囲選択部２７６は、第二成分の画像データに対して範囲選択を行なう。
【００７２】
フレームメモリー２８４はＦＩＦＯ（Ｆｉｒｓｔ Ｉｎ Ｆｉｒｓｔ Ｏｕｔ）のメモリーである。圧縮符号化処理部２８２は、フレームメモリー２８４に保持するデータ量を減らす圧縮処理を行ない、複合化処理部２８６は、フレームメモリー２８４から読み出した圧縮されているデータの展開処理を行なう。
【００７３】
フレーム間演算処理部２８８は、画像範囲選択部２７２からフレームメモリー２８４を経由して入力される第一フレームの第一成分の画像データと、画像範囲選択部２７４から入力される第一フレームに続く第二フレームの第一成分の画像データとの合成画像データを形成する。
【００７４】
第一成分の合成画像データｏｕｔ（ｉ，ｊ）は、
【数７】
【００７５】
である。ここで、ｉ，ｊは画素位置を表し、Ｉ（ｋ，ｉ，ｊ）はｋ番目のフレームの画素位置ｉ，ｊの画像信号の強度である。
【００７６】
本実施形態は、隣接する２フレーム間の合成に向けられているが、フレームメモリー２８４を巡回型の複数のフレームメモリーに変更することによって、３以上の複数のフレーム間で合成を行なってもよい。
【００７７】
例えば、３フレームの場合、第一成分の合成画像データｏｕｔ（ｉ，ｊ）は、加重配分を用いて、
【数８】
【００７８】
である。
【００７９】
さらに、フレーム間演算処理部２８８は、第一成分の合成画像データと、画像範囲選択部２７６から入力される第二フレームの第二成分の画像データとを演算処理して出力画像を生成する。フレーム間補間を行なうことによって、歪み補正の効果に加えて、ローパスによるアンチエイリアシングとモアレ低減の効果が得られる。
【００８０】
また、本実施形態では、水平方向・垂直方向ともに間引き読み出しを行ない、一次元の歪み補正を水平・垂直ともにパイプライン処理で行なう例を示している。ＣＣＤの場合は、垂直転送→水平転送の動作を行なう撮像素子では、原理上水平方向に間引いて読み出すことができないので、水平方向については全画素を読み出して一次補間によるサイズ変更を行なう必要がある。垂直方向については前述したように間引き読み出し＋歪み補正を行なえばよい。
【００８１】
図１２に示される本実施形態の撮像装置２００おいても、図１に示される第一実施形態の撮像装置１００と同様に、歪み補正部１４０による歪み補正処理に先立って、帯域分離処理部１５２による帯域分離処理とビット深度変換処理部１５４によるビット深度変換処理とが行なわれる。歪み補正処理された第一成分の画像データはフレームメモリー２８４に保持され、複数のフレーム間の演算処理がフレーム間演算処理部２８８で行なわれる。
【００８２】
図１５は、図１２に示された帯域分離処理部１５２とフレーム間演算処理部２８８の詳しい構成を示している。図１５では、図１２に示されている画像範囲設定部は省略されている。帯域分離処理部１５２の構成は、図２と同様である。
【００８３】
図１５に示されるように、フレーム間演算処理部２８８は、歪み補正部１４０から出力される画像データと複合化処理部２８６から出力される画像データとを平均化して加算する加算部２９２と、加算部２９２から出力される画像データをビット深度変換処理部１５４によるビット深度変換前と同じビット深度の画像データに変換するビット深度変換処理部２９４と、ビット深度変換処理部２９４から出力される画像データから帯域分離処理部１５２内の加算器１８６で加算されたバイアスを減算する減算器２９６と、減算器２９６から出力される画像データと帯域分離処理部１５２内のローパスフィルター１８４から出力される画像データとを加算する加算器２９８とを備えている。
【００８４】
歪み補正処理された第一フレームの第一成分の画像データは、圧縮符号化処理部２８２で圧縮符号化される。図７に示した差分データの出現頻度は、Ｐ（１２８）＞Ｐ（１２９）≒Ｐ（１２７）＞Ｐ（１３０）≒Ｐ（−１２６）＞Ｐ（１３１）≒Ｐ（１２５）となる。
【００８５】
値が１２８から離れるにつれて頻度が減少する。そこで、頻度の多い画像データに対してはより少ない符合量を与えるハフマン符号化を用いることによって差分の画像データの全体を表すための符号量が減少する。このような符号化処理を行なうとフレームメモリー２８４に保持されるデータ量は元のデータ量に対して減少するため、フレームメモリー２８４の規模を縮小することができる。このように第一フレームの歪み補正後の第一成分の画像データをフレームメモリー２８４に保持しておき、次に第二フレームの第一成分の画像データに対して歪み補正処理を行なう。
【００８６】
複合化処理部２８６から出力される第一フレームの歪み補正された第一成分の画像データと歪み補正部１４０から出力される第二フレームの歪み補正処理された第一成分の画像データは加算部２９２で平均化処理される。加算部２９２から出力される平均化処理された第一成分の画像データはビット深度変換処理部２９４で８ビットのビット深度の第一成分の画像データに復元される。ビット深度変換処理部２９４から出力される画像データは減算器２９６で帯域分離処理部１５２内の加算器１８６で加算されたバイアスが取り除かれる。減算器２９６から出力される第一成分の画像データは、加算器２９８で第二フレームの歪み補正処理されていない第二成分の画像データと加算処理される。
【００８７】
本実施形態の撮像装置によれば、歪み補正部１４０の演算器とフレームメモリー２８４のビット深度を低減することができ、これにより処理回路の規模を低減できる。Ｋｎｅｅ変換処理と併用することによって、具体的には、１０→６ビット程度のビット深度の低減ができる。
【００８８】
これまで、図面を参照しながら本発明の実施形態を述べたが、本発明は、これらの実施形態に限定されるものではなく、その要旨を逸脱しない範囲において様々な変形や変更が施されてもよい。
【産業上の利用可能性】
【００８９】
本発明によれば、高速に画像を取得し、高速の変倍処理を行なう撮像装置において、変倍処理における処理回路の規模が低減される。
【技術分野】
【０００１】
本発明は、デジタル撮像装置に関し、特に、撮像装置が実装している撮像デバイスの画素数よりも小さい画素数の画像を高速に高画質で生成するデジタル撮像装置に関する。
【背景技術】
【０００２】
近年、パーソナルコンピューターの急速な普及によって、画像入力機器としてのデジタルカメラの需要が拡大している。また、動画の記録機器としてデジタルビデオなどの高画質記録装置が広く用いられている。
【０００３】
電子スチルカメラの画質を決定する要素は幾つかあるが、その中でも撮像素子の画素数は撮影像の解像度を決定する大きな要素である。そのため、最近は５００万画素以上の多くの画素数を持った電子スチルカメラも幾つか商品化されている。しかし、全ての用途において、５００万画素のデータが必ずしも必要なわけではなく、逆にインターネットのＷｅｂ上に表示する画像は、むしろ画素サイズを小さくした方を使用する場合が多い。
【０００４】
さらに、現状のデジタルカメラにおいては、撮像素子から、画像メモリーへのフラッシングの時間がネックになっており、画素数が大きい機種で、高速な連写撮影ができるものが少ない。また、デジタルカメラにおいても、付加機能として動画の撮影の要求があるため、やはり、メモリーへの転送は高速に行なわなければならず、予め扱うデータ量を少なくすることが好ましい。
【０００５】
出力画像の画素数が、撮像素子の画素数に比べて少ない場合には、予め、使用する画素数を制限することによって、撮像素子からメモリーに転送されるデータ量を減らし、メモリー転送の速度を向上できる。
【０００６】
一方、線形補間によるサイズ縮小では、全ての画素を使用して、大きいサイズの画像を作成し、線形補間によって異なるサイズの画像を作成する。
【０００７】
このような、線形補間によるリサイズは、画質の面では良好であるが、縮小画像を生成する場合、全画素のデータを取り込んで線形補間を行なうために演算量が多く、上述した連写機能や動画撮影には適していない。
【０００８】
さらに、動画像に対して、上記の線形補間による変倍を適応した場合、変倍率によって、読み出す画素数に変更があるため、１フレームの時間が一定であるような走査方法には不適である。
【０００９】
メモリー読み出しのデータ量を減らす手法としては、撮像素子に積分機能を付けて、平均化した少数のデータを読み出し、縮小画像を生成する方法がある。特開２００１−２４５１４１号公報は、この方法を利用した高速な画像の縮小方法を開示している。
【００１０】
特開２００１−０１６４４１号公報は、解像度の種類が限定されている場合に、データの間引きを行ない、さらにデータの歪みを補正する装置を開示している。同文献は、実施形態において、６００ｄｐｉの解像度を持つ装置による４００ｄｐｉ相当のデータの作成を開示している。６００ｄｐｉのデータをそのまま間引いたのではデータの歪みが生じるため、位置の歪みを補償する画素データを６００ｄｐｉのデータから線形補間によって生成している。
【発明の開示】
【００１１】
特開２００１−２４５１４１号公報の方法は、２０％程度以下の縮小率の縮小においては効果的であるが、（４０％程度以上の）大きい縮小率の縮小においては積分による平均化だけでは読み出した画素位置による像の歪みを除くことはできない。従って、広い範囲の縮小倍率に対して、サイズ変更を行ないながら高画質な画像を形成することが難しい。
【００１２】
本発明は、このような現状を鑑みて成されたものであり、その目的は、撮像素子からの画像データの読み出しに要する時間が短く、サイズ変更に対して歪みの少ない高精細な画像を形成し得る撮像装置を提供することである。さらに、本発明の目的は、歪みの補償処理を行なうにあたって、データ量を低減することである。
【００１３】
本発明は、被写体を撮像する撮像装置であり、被写体の光学像を形成する光学系と、光学像を光電変換する光電変換素子と、光電変換素子で取得された画像データを必要に応じて画素間引きして読み出す読み出し制御部とを備えている撮像デバイスと、出力画像の領域を設定する領域設定部と、領域設定部で設定された領域に応じて読み出し制御部の画素間引き読み出し規則を設定する読み出し規則設定部と、読み出し制御部によって光電変換素子から読み出される画像データ帯域分離処理して第一成分の画像データと第二成分の画像データとを出力する帯域分離処理部と、第一成分の画像データを帯域分離処理前よりも少ないビット深度の画像データに変換するビット深度変換処理部と、第一成分の画像データに対して画素間引き処理の歪みの補正処理を行なう歪み補正部と、歪み補正された第一成分の画像データと帯域分離処理部から出力される第二成分の画像データとに基づいて出力画像を形成する画像形成手段とを備えている。
【図面の簡単な説明】
【００１４】
【図１】図１は、本発明の第一実施形態の撮像装置の構成を示している。
【図２】図２は、図１に示された帯域分離処理部と合成処理部の詳しい構成を示している。
【図３】図３は、撮像デバイスから間引き読み出しによって得られた画像データを１０→８ビットのＫｎｅｅ変換を行なったものを表示している。
【図４】図４は、図３に対して、式（１）に示したローパスフィルターを施した画像である。
【図５】図５は、図３と図４の差分の画像である。
【図６】図６は、図５に対して歪み補正処理を行ない、図４と加算したものである。
【図７】図７は、図５の輝度レベルのヒストグラムを示したものである。
【図８】図８は、水平方向・垂直方向共に８画素のうち２画素を間引きして読み出す例を示している。
【図９】図９は、図８に示された８画素から２画素を間引く読み出しにおいて、読み飛ばされる画素をその近くの画素で線形補間して埋めて８画素のデータとし、これを線形補間で６画素にする操作を模式的に示している。
【図１０】図１０は、図８に示された８画素から２画素を間引く読み出しにおいて、不均一な画素間隔でのサンプリングを均一なサンプリングに変換する処理を模式的に示している。
【図１１】図１１は、図１０に示された歪み補正をパイプライン処理で行なう構成を示している。
【図１２】図１２は、本発明の第二実施形態の撮像装置の構成を示している。
【図１３】図１３は、６／８の間引き読み出しの繰り返しによる読み出しにおける、読み出し範囲の読み出し開始位置が光電変換素子の画素配列の左上の画素に合っているフレームの読み出し範囲を示している。
【図１４】図１４は、６／８の間引き読み出しの繰り返しによる読み出しにおける、読み出し範囲の読み出し開始位置が光電変換素子の画素配列の右下の画素に合っているフレームの読み出し範囲を示している。
【図１５】図１５は、図１２に示された帯域分離処理部とフレーム間演算処理部の詳しい構成を示している。
【発明を実施するための最良の形態】
【００１５】
以下、図面を参照しながら本発明の実施形態について説明する。
【００１６】
第一実施形態
撮像素子から画像データの読み出し時間の短縮とサイズ変更による歪みの低減とを図るため、本発明者は、特願２００２−３４９９６８号において、変倍率によらず１フレームでの走査画素数が一定になるように変倍率に応じて画素の間引き読み出しを行ない、さらに、間引き読み出しによる画像の歪みを補正するフィルター処理を行なう撮像装置を提案している。
【００１７】
特開２００１−０１６４４１号公報の装置もデータの間引きを行なっている。しかし、特開２００１−０１６４４１号公報の間引きと特願２００２−３４９９６８号の間引きは根本的に相違している。特願２００２−３４９９６８号の撮像装置は、読み出し時間の制限のために、基本解像度のデータのすべてを読み出すことができないことに対応する間引き走査の新技術に向けられている。これに対して、特開２００１−０１６４４１号公報の装置では、走査して得た６００ｄｐｉのデータ（基本解像度のデータ）の全てを用いて補間し、４００ｄｐｉ相当のデータを作っている。このように、特願２００２−３４９９６８号の撮像装置は特開２００１−０１６４４１号公報の装置とは本質的に相違している。
【００１８】
特願２００２−３４９９６８号の間引き読み出し＋歪み補正による変倍処理では、例えば、入力のＡ／Ｄ変換で１０ビットデータに対してこのような歪み補正演算を行なう場合、パイプライン処理のレジスターと演算器は１０ビット精度以上のものを必要とする。また、一般に行なわれるＫｎｅｅ変換処理では、１０→８ビット程度のビット圧縮が可能である。従って、Ｋｎｅｅ変換処理を導入することによって、パイプライン処理のレジスターと演算器に要求されるビット精度は８ビット程度に軽減される。
【００１９】
本発明は、特願２００２−３４９９６８号の撮像装置に対するさらなる改良に向けられている。本発明の第一実施形態は、Ｋｎｅｅ変換処理後のデータのビット深度をさらに軽減し、歪み補正処理の演算の規模を低減させることに向けられている。
【００２０】
図１は本発明の第一実施形態の撮像装置の構成を示している。図１に示されるように、撮像装置１００は、被写体の光学像を形成する結像光学系１１０と、結像光学系１１０によって形成された光学像の所定の領域の画像信号を出力する撮像デバイス１２０とを備えている。撮像デバイス１２０は、結像光学系１１０によって形成された光学像を光電変換して画像データ（画素データの集合）を取得するエリア状の光電変換素子（撮像素子）１２２と、光電変換素子１２２で取得された画像データを必要に応じて画素間引きして読み出す読み出し制御部１２４とを備えている。
【００２１】
撮像装置１００はさらに、出力（表示）する画像の領域（すなわち前述した所定の領域）を設定する（すなわち表示する画像のサイズと位置を特定する）領域設定部１３２と、領域設定部１３２で設定された領域に応じて読み出し制御部１２４の画素間引き読み出し規則を設定する読み出し規則設定部１３４と、読み出し制御部１２４によって光電変換素子１２２から読み出される画像データをデジタル画像データに変換した後に帯域分離処理して第一成分の画像データと第二成分の画像データとを出力する帯域分離処理部１５２と、帯域分離処理部１５２から出力される第一成分の画像データを帯域分離処理前よりも少ないビット深度の画像データに変換するビット深度変換処理部１５４と、ビット深度変換処理部１５４から出力されるビット深度変換された第一成分の画像データの歪みを補正する歪み補正部１４０と、歪み補正部１４０から出力される歪み補正後の第一成分の画像データと帯域分離処理部１５２から出力される第二成分の画像データとを合成して出力画像を形成する合成処理部１５６とを備えている。
【００２２】
読み出し制御部１２４は、読み出し規則設定部１３４で設定された画素間引き読み出し規則に基づいて、光電変換素子１２２内の画素配列中の対応する範囲の画素データを読み出す。その結果、撮像デバイス１２０は必要に応じて間引きされた画像データを出力する。
【００２３】
帯域分離処理部１５２から出力される第一成分の画像データは、帯域分離処理前の画像データから低周波成分が除かれた画像データ、つまり高周波成分の画像データである。また、帯域分離処理部１５２から出力される第二成分の画像データは、帯域分離処理前の画像データから高周波成分が除かれた画像データ、つまり低周波成分の画像データである。
【００２４】
歪み補正部１４０は、入力された画像データの歪み補正フィルター処理するフィルター処理部１４２と、読み出し規則設定部１３４で設定された画素間引き読み出し規則に応じてフィルター処理部１４２のフィルター処理に使用するフィルター係数を設定するフィルター係数設定部１４４とを備えている。
【００２５】
フィルター係数設定部１４４は、複数のフィルター係数を含むルックアップテーブル（ＬＵＴ）を記憶するＬＵＴ記憶部１４６と、ＬＵＴ記憶部１４６に記憶されているルックアップテーブルからフィルター係数を選択するフィルター係数選択部１４８とを備えている。
【００２６】
フィルター係数設定部１４４は、必ずしもＬＵＴ記憶部１４６とフィルター係数選択部１４８とを備えている必要はなく、読み出し規則設定部１３４が設定した画素間引き読み出し規則に応じた演算を行なってフィルター係数を算出してもよい。
【００２７】
ＬＵＴを使用するフィルター係数設定部１４４は、ＬＵＴを記憶しておくために多くのメモリーを必要とするが、演算に掛かる負担が少なくて済む。一方、ＬＵＴを使用しないフィルター係数設定部１４４は、演算に掛かる負担は大きいが、多くのメモリーを必要としないで済む。
【００２８】
撮像装置１００はさらに、合成処理部１５６から出力される画像信号に対して、後段の信号処理（フルカラー化、ホワイトバランスなど）を行なう画像信号処理部１５８とを備えている。
【００２９】
図２は、図１に示された帯域分離処理部１５２と合成処理部１５６の詳しい構成を示している。図２に示されるように、帯域分離処理部１５２は、入力される画像データをデジタル画像データに変換するＡ／Ｄ変換処理部１８０と、入力されるデジタル画像データのビット圧縮を行なうＫｎｅｅ変換処理部１８２と、入力される画像データから低周波成分を抽出するローパスフィルター１８４と、データの非負を補償するために所定のバイアスを加算する加算器１８６と、Ｋｎｅｅ変換処理部１８２から出力される画像データから加算器１８６から出力される画像データを減算する減算器１８８とを備えている。
【００３０】
また、合成処理部１５６は、歪み補正部１４０から出力される画像データをビット深度変換処理部１５４によるビット深度変換前と同じビット深度の画像データに変換するビット深度変換処理部１９４と、ビット深度変換処理部１９４から出力される画像データから加算器１８６で加算されたバイアスを減算する減算器１９６と、減算器１９６から出力される画像データとローパスフィルター１８４から出力される画像データとを加算する加算器１９８とを備えている。
【００３１】
前述したように、撮像デバイス１２０は、必要に応じて、光電変換素子１２２から画像データを間引きして読み出す。
【００３２】
撮像デバイス１２０から間引きすることなく読み出された画像データは、帯域分子処理部１５２のＡ／Ｄ変換処理部１８０でＡ／Ｄ変換された後、図１の破線で示されるように、画像信号処理部１６４に直接入力される。
【００３３】
間引き読み出しされた画像データは、Ａ／Ｄ変換処理部１８０で例えば１０ビットのデジタル画像データに変換される。Ａ／Ｄ変換処理部１８０から出力される１０ビットのデジタル画像データは、Ｋｎｅｅ変換処理部１８２で８ビットのデジタル画像データに変換される。
【００３４】
Ｋｎｅｅ変換処理部１８２は二系統のデジタル画像データを出力し、一方のデジタル画像データはローパスフィルター１８４に入力され、他方のデジタル画像データは減算器１８８に入力される。
【００３５】
ローパスフィルター１８４に入力されたデジタル画像データは、そこで高周波成分が取り除かれ、低周波成分だけのデジタル画像データに変換される。
【００３６】
光電変換素子１２２がＲＧＢのベイヤー配列のフィルターを持つ場合、ローパスフィルターには例えば式（１）に示す係数を持つ平均化処理フィルターが用いられる。
【数１】
【００３７】
ローパスフィルター１８４の出力は二系統に分岐され、一方のデジタル画像データは加算器１８６に入力され、他方のデジタル画像データは合成処理部１５６内の加算器１９８に入力される。
【００３８】
加算器１８６に入力されたデジタル画像データは、そこで所定のバイアスが加えられたデジタル画像データに変換される。
【００３９】
減算器１８８に入力されたＫｎｅｅ変換処理部１８２からのデジタル画像データは、そこで、加算器１８６から出力されたデジタル画像データが減算処理される。その結果、減算器１８８から出力されるデジタル画像データは、高周波成分のだけのデジタル画像データになる。
【００４０】
減算器１８８から出力される１０ビットのデジタル画像データは、ビット深度変換処理部１５４で６ビットのデジタル画像データに変換される。ビット深度変換処理部１５４から出力されるデジタル画像データは、歪み補正部１４０で歪み補正されたデジタル画像データに変換される。歪み補正部１４０から出力される６ビットのデジタル画像データは、ビット深度変換処理部１９４で８ビットのデジタル画像データに変換される。
【００４１】
ビット深度変換処理部１９４から出力されるデジタル画像データは、減算器１９６で、加算器１８６で加えられたバイアスが除かれたデジタル画像データに変換される。
【００４２】
図２において、減算器１８８から出力されるデジタル画像データは、Ｋｎｅｅ変換処理部１８２から出力されるデジタル画像データに比べて階調が少ない。このため、ビット深度を減少させることができる。
【００４３】
図３は、撮像デバイスから間引き読み出しによって得られた画像データを１０→８ビットのＫｎｅｅ変換を行なったものを表示している。図４は、図３に対して、式（１）に示したローパスフィルターを施した画像である。図５は、図３と図４の差分の画像である。差分データは負の値もとるので、図５では差分データに１２８のバイアスを加えている。図６は、図５に対して歪み補正処理を行ない、図４と加算したものである。図から分かるように、図３においてみられた間引き読み出しによる画像の歪みが低減している。図７は、図５の輝度レベルのヒストグラムを示したものである。このヒストグラムの累積を計算すると、９９％以上の画素が９６〜１６０の６４階調内で収まる。従って、ビット深度変換処理部１５４で８→６ビットに変更しても、画像の情報量の損失がほとんど無いことが分かる。図６は、図５に対して、６ビットで歪み補正を行ない、図４のデータとの合成を行なっている。
【００４４】
これまで、間引き読み出しされた画像データの処理について述べたが、以下、間引き読み出しの歪み補正処理の詳細について説明する。図８は水平方向・垂直方向共に８画素のうち２画素を間引きして読み出す例を示している。図８のような読み出し方を行なうと画像に段差ができてしまう。そこで、図９に示されるように、読み飛ばされる画素（Ｒ４とＧ５）をその近くの同色の画素（Ｒｉ２とＲｉ６とＧｉ３とＧｉ７）でそれぞれ線形補間して埋めて８画素のデータとし、これを線形補間で６画素にする操作を考える。すなわち、図１０に示されるように、不均一な画素間隔でのサンプリングを均一なサンプリングに変換する処理を行なう。ここで、間引きを伴う１ラインの読み出しについて考える。図８の左上を基準とすると読み出した画素位置は、Ｒｉ０、Ｇｉ１、Ｒｉ２、Ｇｉ３、Ｒｉ６、Ｇｉ７となり、以下同じ規則の繰り返しになる。この例における歪み補正（変換）の行列表現は
【数２】
【００４５】
となる。
【００４６】
歪み補正のパイプライン処理は、図１１に示した構成によって行なわれる。シフトレジスター１６２は、クロックに従う一回の動作ごとに、保持している画像データを右方向にひとつシフトする。セレクター１６４は、ｓ１の状態に従って、シフトレジスター１６２に保持されている隣接している五つの画素データのうちの一番目と三番目のいずれかを選択する。また、セレクター１６６は、ｓ２の状態に従って、シフトレジスター１６２に保持されている隣接している五つの画素データのうちの三番目と五番目のいずれかを選択する。
【００４７】
乗算器１７４は、セレクター１６４の出力ｄ１に重み付け加算の係数ｋ１を乗算し、乗算器１７６は、セレクター１６６の出力ｄ２に重み付け加算の係数ｋ２を乗算し、加算器１７８は、乗算器１７４の出力と乗算器１７６の出力とを加算する。
【００４８】
表１は、図１１に示したフィルター処理部のパイプライン処理の動作（状態遷移）を表している。
【表１】
【００４９】
シフトレジスター１６２に供給される画素データ列（ｉ０、ｉ１、ｉ２、…）は、ｃ１＝ｉ０、ｃ２＝ｉ１、ｃ３＝ｉ２、…を初期状態として、クロックに従う一回の動作ごとに右方向にシフトしていく。これに伴い、セレクター１６４は、ｓ１が１のときはｃ１を選択し（従ってｄ１＝ｃ１となり）、ｓ１が０のときはｃ３を選択する（従ってｄ＝ｃ３となる）。一方、セレクター１６６は、ｓ２が１のときはｃ３を選択し（従ってｄ２＝ｃ３となり）、ｓ２が０のときはｃ５を選択する（従ってｄ２＝ｃ５となる）。また、クロックに同期してフィルター係数設定部１４４内のメモリーから係数ｋ１が乗算器１７４に、係数ｋ２が乗算器１７６に供給される。加算器１７８からはｏｕｔ＝ｋ１×ｄ１＋ｋ２×ｄ２が出力される。
【００５０】
表１から分かるように、逐次データのシフト、ｓ１とｓ２の状態に従ったセレクターの切り換え、式（１）に示した間引き規則に応じた重み付け加算の係数ｋ１とｋ２の出力、重み付け加算演算を同期して行なうことによって、画素の位相操作（セレクター切り換え）を含めたパイプライン処理が行なわれる。
【００５１】
本実施形態の撮像装置によれば、歪み補正部の演算器のビット深度を低減でき、これにより処理回路の規模を低減できる。Ｋｎｅｅ変換処理と併用することによって、具体的には、１０→６ビット程度のビット深度の低減ができる。
【００５２】
第二実施形態
前述したように、本発明は、特願２００２−３４９９６８号の撮像装置に対するさらなる改良に向けられている。特に、本発明の第二実施形態は、第一実施形態と同じくＫｎｅｅ変換処理後のデータのビット深度の軽減と歪み補正処理の演算の規模の低減とに加えて、特にフレーム間演算処理を含む構成においてフレームメモリーの容量を低減することに向けられている。
【００５３】
図１２は本発明の第二実施形態の撮像装置の構成を示している。図１２において、第一実施形態の撮像装置１００の要素と同一の参照符号で指摘される要素は同等の要素であり、その詳しい説明は記載の重複を避けて続く記述においては省略する。
【００５４】
本実施形態の撮像装置２００は、被写体の光学像を形成する結像光学系１１０と、結像光学系１１０によって形成された光学像の所定の領域の画像信号を連続的に出力する撮像デバイス２２０とを備えている。つまり、撮像デバイス２２０から出力される画像信号は動画信号であり、これは時系列的に連続する複数のフレームの画像データで構成されている。
【００５５】
撮像デバイス２２０は、結像光学系１１０によって形成された光学像を光電変換してデジタル画像データ（画素データの集合）を取得するエリア状の光電変換素子２２２と、光電変換素子２２２で取得された画像データを必要に応じて画素間引きして連続的に読み出す読み出し制御部２２４とを備えている。
【００５６】
撮像装置２００はさらに、出力する画像の領域を設定する領域設定部１３２と、読み出し制御部２２４の画素間引き読み出し規則を設定する読み出し規則設定部２３４と、読み出し制御部２２４が光電変換素子２２２から画像データを読み出すタイミングを決めるタイミングジェネレーター２３８と、連続する二つのフレームの間で読み出し規則を異ならせる読み出し規則変調部２３６と、帯域分離処理部１５２と、ビット深度変換処理部１５４と、歪み補正部１４０とを備えている。
【００５７】
帯域分離処理部１５２とビット深度変換処理部１５４と歪み補正部１４０の詳細は第一実施形態で説明した通りである。
【００５８】
読み出し規則変調部２３６は、読み出し制御部２２４が光電変換素子２２２から読み出す画像データの読み出し規則を、タイミングジェネレーター２３８と同期してフレームごとの読み出し規則を変調する。読み出し規則変調部２３６は、連続する二つのフレームに対して異なる読み出し規則を生成するが、読み出し画素の総数は変更しない。歪み補正部１４０のフィルター係数設定部１４４は、読み出し規則変調部２３６で生成された読み出し規則に従って、フィルター処理部１４２のフィルター処理に使用するフィルター係数を設定する。
【００５９】
撮像装置２００はさらに、画像範囲選択部２７２と２７４と２７６と、圧縮符号化処理部２８２と、フレームメモリー２８４と、複合化処理部２８６と、フレーム間演算処理部２８８と、画像信号処理部１５８とを備えている。
【００６０】
ここで、フレームごとに間引き読み出しの規則を変更する方式と、歪み補正について説明する。
【００６１】
本実施形態の撮像装置では、インターレース操作が二つのフィールド間で互いの欠落している画素データを補間するように、連続する二つのフレーム間で互いの欠落している画素データを補間する。例えば、読み出し規則変調部２３６は、連続する複数のフレームの画像データがそれら全体で欠落した画素データを持たないように、読み出し制御部２２４が読み出す画素データの範囲の基準位置をシフトさせる。シフト量は２〜８画素程度が好ましい。
【００６２】
図１３と図１４は、６／８の間引き読み出しの繰り返しによる読み出しにおける読み出し範囲の基準位置のシフトの様子を模式的に示している。これらの図において、［ｘ，ｙ］は光電変換素子１２２の画素配列の画素位置、（ｘ，ｙ）は読み出し範囲の画素データ配列を表している。
【００６３】
図１３と図１４に示されるように、光電変換素子１２２の画素数は水平方向にｋ画素、垂直方向にｌ画素である。従って、光電変換素子１２２の左上の画素の位置は［０，０］、右下の画素の位置は［ｋ，ｌ］と表せる。また、１フレームの読み出し範囲の画素数は水平方向にｍ画素、垂直方向にｎ画素である。従って、フレームの左上の読み出し開始位置は（０，０）、右下の読み出し終了位置は（ｍ，ｎ）と表せる。図１４のフレームの読み出し範囲は、図１３のフレームの読み出し範囲に対して、水平方向に＋２画素、垂直方向に＋２画素シフトしている。
【００６４】
図１３のフレームでは、左上の読み出し開始位置（０，０）は、光電変換素子１２２の左上の画素位置［０，０］に一致している。つまり、
【数３】
【００６５】
である。また、読み出し終了位置（ｍ，ｎ）は、
【数４】
【００６６】
である。一方、図１４のフレームでは、左上の読み出し開始位置は、
【数５】
【００６７】
である。また、読み出しの終了位置は、
【数６】
【００６８】
である。
【００６９】
画像範囲選択部２７２と２７４と２７６は、図１３のフレームと図１４のフレームに共通する範囲を選択する。すなわち、図１３のフレームに対しては、（２，２）と（ｍ，ｎ）を対角の頂点とする矩形の範囲を選択し、図１４のフレームに対しては、（０，０）から（ｍ−２，ｎ−２）を対角の頂点とする矩形の範囲を選択する。画像範囲選択部２７２と２７４と２７６で選択された範囲は、常に（ｍ−２）×（ｎ−２）個の画素データを含んでいる。
【００７０】
また、予めクロップする領域を考慮すると、光電変換素子１２２から読み出す画像の総数は出力の画像サイズと位相シフト分を考慮する必要がある。画像範囲選択部２７２と２７４と２７６は、読み出し開始位置の情報に基づいて、クロップの範囲を変更する。
【００７１】
画像範囲選択部２７２と２７４は、歪み補正された第一成分の画像データに対して範囲選択を行ない、画像範囲選択部２７６は、第二成分の画像データに対して範囲選択を行なう。
【００７２】
フレームメモリー２８４はＦＩＦＯ（Ｆｉｒｓｔ Ｉｎ Ｆｉｒｓｔ Ｏｕｔ）のメモリーである。圧縮符号化処理部２８２は、フレームメモリー２８４に保持するデータ量を減らす圧縮処理を行ない、複合化処理部２８６は、フレームメモリー２８４から読み出した圧縮されているデータの展開処理を行なう。
【００７３】
フレーム間演算処理部２８８は、画像範囲選択部２７２からフレームメモリー２８４を経由して入力される第一フレームの第一成分の画像データと、画像範囲選択部２７４から入力される第一フレームに続く第二フレームの第一成分の画像データとの合成画像データを形成する。
【００７４】
第一成分の合成画像データｏｕｔ（ｉ，ｊ）は、
【数７】
【００７５】
である。ここで、ｉ，ｊは画素位置を表し、Ｉ（ｋ，ｉ，ｊ）はｋ番目のフレームの画素位置ｉ，ｊの画像信号の強度である。
【００７６】
本実施形態は、隣接する２フレーム間の合成に向けられているが、フレームメモリー２８４を巡回型の複数のフレームメモリーに変更することによって、３以上の複数のフレーム間で合成を行なってもよい。
【００７７】
例えば、３フレームの場合、第一成分の合成画像データｏｕｔ（ｉ，ｊ）は、加重配分を用いて、
【数８】
【００７８】
である。
【００７９】
さらに、フレーム間演算処理部２８８は、第一成分の合成画像データと、画像範囲選択部２７６から入力される第二フレームの第二成分の画像データとを演算処理して出力画像を生成する。フレーム間補間を行なうことによって、歪み補正の効果に加えて、ローパスによるアンチエイリアシングとモアレ低減の効果が得られる。
【００８０】
また、本実施形態では、水平方向・垂直方向ともに間引き読み出しを行ない、一次元の歪み補正を水平・垂直ともにパイプライン処理で行なう例を示している。ＣＣＤの場合は、垂直転送→水平転送の動作を行なう撮像素子では、原理上水平方向に間引いて読み出すことができないので、水平方向については全画素を読み出して一次補間によるサイズ変更を行なう必要がある。垂直方向については前述したように間引き読み出し＋歪み補正を行なえばよい。
【００８１】
図１２に示される本実施形態の撮像装置２００おいても、図１に示される第一実施形態の撮像装置１００と同様に、歪み補正部１４０による歪み補正処理に先立って、帯域分離処理部１５２による帯域分離処理とビット深度変換処理部１５４によるビット深度変換処理とが行なわれる。歪み補正処理された第一成分の画像データはフレームメモリー２８４に保持され、複数のフレーム間の演算処理がフレーム間演算処理部２８８で行なわれる。
【００８２】
図１５は、図１２に示された帯域分離処理部１５２とフレーム間演算処理部２８８の詳しい構成を示している。図１５では、図１２に示されている画像範囲設定部は省略されている。帯域分離処理部１５２の構成は、図２と同様である。
【００８３】
図１５に示されるように、フレーム間演算処理部２８８は、歪み補正部１４０から出力される画像データと複合化処理部２８６から出力される画像データとを平均化して加算する加算部２９２と、加算部２９２から出力される画像データをビット深度変換処理部１５４によるビット深度変換前と同じビット深度の画像データに変換するビット深度変換処理部２９４と、ビット深度変換処理部２９４から出力される画像データから帯域分離処理部１５２内の加算器１８６で加算されたバイアスを減算する減算器２９６と、減算器２９６から出力される画像データと帯域分離処理部１５２内のローパスフィルター１８４から出力される画像データとを加算する加算器２９８とを備えている。
【００８４】
歪み補正処理された第一フレームの第一成分の画像データは、圧縮符号化処理部２８２で圧縮符号化される。図７に示した差分データの出現頻度は、Ｐ（１２８）＞Ｐ（１２９）≒Ｐ（１２７）＞Ｐ（１３０）≒Ｐ（−１２６）＞Ｐ（１３１）≒Ｐ（１２５）となる。
【００８５】
値が１２８から離れるにつれて頻度が減少する。そこで、頻度の多い画像データに対してはより少ない符合量を与えるハフマン符号化を用いることによって差分の画像データの全体を表すための符号量が減少する。このような符号化処理を行なうとフレームメモリー２８４に保持されるデータ量は元のデータ量に対して減少するため、フレームメモリー２８４の規模を縮小することができる。このように第一フレームの歪み補正後の第一成分の画像データをフレームメモリー２８４に保持しておき、次に第二フレームの第一成分の画像データに対して歪み補正処理を行なう。
【００８６】
複合化処理部２８６から出力される第一フレームの歪み補正された第一成分の画像データと歪み補正部１４０から出力される第二フレームの歪み補正処理された第一成分の画像データは加算部２９２で平均化処理される。加算部２９２から出力される平均化処理された第一成分の画像データはビット深度変換処理部２９４で８ビットのビット深度の第一成分の画像データに復元される。ビット深度変換処理部２９４から出力される画像データは減算器２９６で帯域分離処理部１５２内の加算器１８６で加算されたバイアスが取り除かれる。減算器２９６から出力される第一成分の画像データは、加算器２９８で第二フレームの歪み補正処理されていない第二成分の画像データと加算処理される。
【００８７】
本実施形態の撮像装置によれば、歪み補正部１４０の演算器とフレームメモリー２８４のビット深度を低減することができ、これにより処理回路の規模を低減できる。Ｋｎｅｅ変換処理と併用することによって、具体的には、１０→６ビット程度のビット深度の低減ができる。
【００８８】
これまで、図面を参照しながら本発明の実施形態を述べたが、本発明は、これらの実施形態に限定されるものではなく、その要旨を逸脱しない範囲において様々な変形や変更が施されてもよい。
【産業上の利用可能性】
【００８９】
本発明によれば、高速に画像を取得し、高速の変倍処理を行なう撮像装置において、変倍処理における処理回路の規模が低減される。
【特許請求の範囲】
【請求項１】
被写体を撮像する撮像装置であり、
被写体の光学像を形成する光学系と、
光学像を光電変換する光電変換素子と、光電変換素子で取得された画像データを必要に応じて画素間引きして読み出す読み出し制御部とを備えている撮像デバイスと、
出力画像の領域を設定する領域設定部と、
領域設定部で設定された領域に応じて読み出し制御部の画素間引き読み出し規則を設定する読み出し規則設定部と、
読み出し制御部によって光電変換素子から読み出される画像データ帯域分離処理して第一成分の画像データと第二成分の画像データとを出力する帯域分離処理部と、
第一成分の画像データを帯域分離処理前よりも少ないビット深度の画像データに変換するビット深度変換処理部と、
第一成分の画像データに対して画素間引き処理の歪みの補正処理を行なう歪み補正部と、
歪み補正された第一成分の画像データと帯域分離処理部から出力される第二成分の画像データとに基づいて出力画像を形成する画像形成手段とを備えている、撮像装置。
【請求項２】
請求項１において、第一成分の画像データは高周波成分の画像データであり、第二成分の画像データは低周波成分の画像データである、撮像装置。
【請求項３】
請求項１において、歪み補正部は、第一成分の画像データに対してフィルター処理を行なうフィルター処理部と、フィルター処理部で使用するフィルター係数を設定するフィルター係数設定部とを備えており、フィルター係数設定部は、少なくとも一つのフィルター係数を含むルックアップテーブルを記憶する記憶部と、記憶部に記憶されているルックアップテーブルからフィルター係数を選択するフィルター係数選択部とを備えている、撮像装置。
【請求項４】
請求項３において、フィルター係数のルックアップテーブルは読み出し規則に応じて設定されている、撮像装置。
【請求項５】
請求項１において、歪み補正部は、第一成分の画像データに対してフィルター処理を行なうフィルター処理部と、フィルター処理部で使用するフィルター係数を設定するフィルター係数設定部とを備えており、フィルター係数設定部は、読み出し規則設定部が設定した画素間引き読み出し規則に応じた演算を行なってフィルター係数を算出する、撮像装置。
【請求項６】
請求項１〜請求項５のいずれかひとつにおいて、画像形成手段は、歪み補正部から出力される歪み補正後の第一成分の画像データと帯域分離処理部から出力される第二成分の画像データとを合成して出力画像を形成する合成処理部を備えている、撮像装置。
【請求項７】
請求項１〜請求項５のいずれかひとつにおいて、光電変換素子から出力される画像信号は、時系列的に連続する複数のフレームの画像データで構成される動画信号であり、連続する二つのフレームの間で読み出し規則を異ならせる読み出し規則変調部をさらに備え、歪み補正部はそれぞれのフレームの読み出し規則に応じた歪み補正を行なう、撮像装置。
【請求項８】
請求項７において、画像形成手段は、第一フレームの歪み補正後の第一成分の画像データを一時的に保持するフレームメモリーと、フレームメモリーに一時的に保持された第一フレームの歪み補正後の第一成分の画像データと、第一フレームに続く第二フレームの歪み補正後の第一成分の画像データとを演算処理して第一成分の合成画像データを得るとともに、得られた第一成分の合成画像データを帯域分離処理部から出力される第二成分の画像データと演算処理して出力画像を形成するフレーム間演算処理部を備えている、撮像装置。
【請求項９】
請求項８において、画像形成手段は、第一フレームの歪み補正処理後の第一成分の画像データを階調レベルの出現頻度に応じて圧縮符号化処理してフレームメモリーに保持されるデータ量を減らす圧縮符号化処理演算部と、フレームメモリーから読み出された圧縮符号化された画像データを復号化する復号化処理演算部とをさらに備えている、撮像装置。
【請求項１】
被写体を撮像する撮像装置であり、
被写体の光学像を形成する光学系と、
光学像を光電変換する光電変換素子と、光電変換素子で取得された画像データを必要に応じて画素間引きして読み出す読み出し制御部とを備えている撮像デバイスと、
出力画像の領域を設定する領域設定部と、
領域設定部で設定された領域に応じて読み出し制御部の画素間引き読み出し規則を設定する読み出し規則設定部と、
読み出し制御部によって光電変換素子から読み出される画像データ帯域分離処理して第一成分の画像データと第二成分の画像データとを出力する帯域分離処理部と、
第一成分の画像データを帯域分離処理前よりも少ないビット深度の画像データに変換するビット深度変換処理部と、
第一成分の画像データに対して画素間引き処理の歪みの補正処理を行なう歪み補正部と、
歪み補正された第一成分の画像データと帯域分離処理部から出力される第二成分の画像データとに基づいて出力画像を形成する画像形成手段とを備えている、撮像装置。
【請求項２】
請求項１において、第一成分の画像データは高周波成分の画像データであり、第二成分の画像データは低周波成分の画像データである、撮像装置。
【請求項３】
請求項１において、歪み補正部は、第一成分の画像データに対してフィルター処理を行なうフィルター処理部と、フィルター処理部で使用するフィルター係数を設定するフィルター係数設定部とを備えており、フィルター係数設定部は、少なくとも一つのフィルター係数を含むルックアップテーブルを記憶する記憶部と、記憶部に記憶されているルックアップテーブルからフィルター係数を選択するフィルター係数選択部とを備えている、撮像装置。
【請求項４】
請求項３において、フィルター係数のルックアップテーブルは読み出し規則に応じて設定されている、撮像装置。
【請求項５】
請求項１において、歪み補正部は、第一成分の画像データに対してフィルター処理を行なうフィルター処理部と、フィルター処理部で使用するフィルター係数を設定するフィルター係数設定部とを備えており、フィルター係数設定部は、読み出し規則設定部が設定した画素間引き読み出し規則に応じた演算を行なってフィルター係数を算出する、撮像装置。
【請求項６】
請求項１〜請求項５のいずれかひとつにおいて、画像形成手段は、歪み補正部から出力される歪み補正後の第一成分の画像データと帯域分離処理部から出力される第二成分の画像データとを合成して出力画像を形成する合成処理部を備えている、撮像装置。
【請求項７】
請求項１〜請求項５のいずれかひとつにおいて、光電変換素子から出力される画像信号は、時系列的に連続する複数のフレームの画像データで構成される動画信号であり、連続する二つのフレームの間で読み出し規則を異ならせる読み出し規則変調部をさらに備え、歪み補正部はそれぞれのフレームの読み出し規則に応じた歪み補正を行なう、撮像装置。
【請求項８】
請求項７において、画像形成手段は、第一フレームの歪み補正後の第一成分の画像データを一時的に保持するフレームメモリーと、フレームメモリーに一時的に保持された第一フレームの歪み補正後の第一成分の画像データと、第一フレームに続く第二フレームの歪み補正後の第一成分の画像データとを演算処理して第一成分の合成画像データを得るとともに、得られた第一成分の合成画像データを帯域分離処理部から出力される第二成分の画像データと演算処理して出力画像を形成するフレーム間演算処理部を備えている、撮像装置。
【請求項９】
請求項８において、画像形成手段は、第一フレームの歪み補正処理後の第一成分の画像データを階調レベルの出現頻度に応じて圧縮符号化処理してフレームメモリーに保持されるデータ量を減らす圧縮符号化処理演算部と、フレームメモリーから読み出された圧縮符号化された画像データを復号化する復号化処理演算部とをさらに備えている、撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【国際公開番号】ＷＯ２００５／０６４９２４
【国際公開日】平成１７年７月１４日（２００５．７．１４）
【発行日】平成１９年１２月２０日（２００７．１２．２０）
【国際特許分類】
【出願番号】特願２００５−５１６６１２（Ｐ２００５−５１６６１２）
【国際出願番号】ＰＣＴ／ＪＰ２００４／０１９２４８
【国際出願日】平成１６年１２月２２日（２００４．１２．２２）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【国際公開日】平成１７年７月１４日（２００５．７．１４）
【発行日】平成１９年１２月２０日（２００７．１２．２０）
【国際特許分類】
【国際出願番号】ＰＣＴ／ＪＰ２００４／０１９２４８
【国際出願日】平成１６年１２月２２日（２００４．１２．２２）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]