縮小画像の生成機能を備える電子カメラ
【課題】 解像度変換を高速実施するための技術を提供する。
【解決手段】 本発明の電子カメラは、撮像部、ブロック平均処理部、および解像度変換部を備える。撮像部は、被写体を撮像して画像データを出力する。ブロック平均処理部は、画像データを取り込み、予め定められた画素ブロックごとに平均して、ブロック別の平均値を出力する。解像度変換部は、ブロック平均処理部から出力される平均値を順次取り込みながら、平均値に解像度変換を施す。特に、本発明の電子カメラは、ブロック平均処理部による「第１段階の画素数削減」と、解像度変換部による「第２段階の画素数削減」とによって、縮小画像を生成することを特徴とする。
【解決手段】 本発明の電子カメラは、撮像部、ブロック平均処理部、および解像度変換部を備える。撮像部は、被写体を撮像して画像データを出力する。ブロック平均処理部は、画像データを取り込み、予め定められた画素ブロックごとに平均して、ブロック別の平均値を出力する。解像度変換部は、ブロック平均処理部から出力される平均値を順次取り込みながら、平均値に解像度変換を施す。特に、本発明の電子カメラは、ブロック平均処理部による「第１段階の画素数削減」と、解像度変換部による「第２段階の画素数削減」とによって、縮小画像を生成することを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、縮小画像の生成機能を備える電子カメラに関する。
【背景技術】
【０００２】
電子カメラ内の信号処理では、画像の縦横画素数を縮小する処理が頻繁に実施される。例えば、スチル撮影時の電子カメラでは、撮像画像を縮小して、所望の記録解像度へ変換したり、クイックビュー画像やサムネイル画像の生成が行われる。また、再生時の電子カメラでは、記録媒体から読み出した画像をモニタ表示解像度へ変換したり、拡大表示用の任意解像度へ変換する処理が実施される。さらに、スルー画表示時の電子カメラでは、撮像素子からライン間引きで読み出された動画像（ドラフト画像）を、モニタ表示解像度へ変換する処理が実施される。
【０００３】
特許文献１には、このような解像度変換技術として、解像度変換を下記の２段階に分けて実施する技術が開示されている。
［第１段階］ まず、入力画像の水平方向の帯域を制限する（水平ローパス処理）。この処理画像から水平画素を間引いて、サムネイル準備画像を生成する。
［第２段階］ 次に、このサムネイル準備画像の垂直方向の帯域を制限する（垂直ローパス処理）。この処理画像から垂直画素を間引いて、サムネイル画像を求める。
上記処理において、水平および垂直のローパス処理は、モアレを防止して良質な縮小画像を生成するために必要な処理となる。
【特許文献１】特開２００３−１９９０１６号公報（図２など）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、特許文献１の解像度変換技術では、水平と垂直の２段階に分けて解像度変換を実施する。
この場合、水平ローパス処理と垂直ローパス処理とを独立に実施するため、それぞれのローパス処理に十分なラインバッファを備える必要があり、回路規模が大きくなりやすい。
また、水平方向と垂直方向に独立に解像度変換を実施するため、処理データの流れが複雑になりやすい。そのため、これら２段階の処理をパイプライン式に高速並行処理することは非常に困難になる。
そこで、本発明では、単純な流れで解像度変換を高速実施するための技術を提供することを目的とする。
【課題を解決するための手段】
【０００５】
《１》 本発明の電子カメラは、撮像部、ブロック平均処理部、および解像度変換部を備える。
撮像部は、被写体を撮像して画像データを出力する。
ブロック平均処理部は、画像データを取り込み、予め定められた画素ブロックごとに平均して、ブロック別の平均値を出力する。
解像度変換部は、ブロック平均処理部から出力される平均値を順次取り込みながら、平均値に解像度変換を施す。
特に、本発明の電子カメラは、ブロック平均処理部による「第１段階の画素数削減」と、解像度変換部による「第２段階の画素数削減」とによって、段階的に縮小画像を生成することを特徴とする。
【０００６】
《２》 なお好ましくは、ブロック平均処理部は、区分加算部、および平均部を備える。
区分加算部は、画像データをブロック別に区分して加算し、ブロック別の加算値を求める。
平均部は、ブロック別の加算値を平均して平均値を算出する。
【０００７】
《３》 また好ましくは、区分加算部は、ブロック別にデータを加算するデータ領域を複数備える。区分加算部は、画像データの走査入力をブロック別に区分して生じる端数ブロックをデータ領域に加算して暫定値として残す。そして、区分加算部は、以後の走査入力時に、端数ブロックの残りのデータを該データ領域の暫定値に加算する。
【０００８】
《４》 なお好ましくは、電子カメラは、画像データを格納するためのメモリと、メモリから画像データを所定の転送単位ごとにＤＭＡ転送して、ブロック平均処理部へ与える転送部を備える
《５》 また好ましくは、電子カメラは、ライン数を減数した画像データを生成するライン減数部を備える。ブロック平均処理部は、ライン数を減数した画像データを、画素ブロックに区分して平均する。
【０００９】
《６》 なお好ましくは、ブロック平均処理部は、ブロック別の加算の係数和を２のべき乗に設定し、ブロック別の加算値を係数和で除算する処理をビットシフト処理で実施する。
【００１０】
《７》 また好ましくは、ブロック平均処理部は、ブロック別のデータを加算する加算器と、加算器から出力される加算値に対して、加算器の係数和の逆数を乗算する固定小数点の乗算器とを備える。
【００１１】
《８》 なお好ましくは、電子カメラは、加算器の係数和を求め、係数和の逆数を算出して乗算器に設定する設定部を備える。
【００１２】
《９》 また好ましくは、ブロック平均処理部は、複数種の色成分を混在配置してなるＲＡＷデータを取り込む。ブロック平均処理部は、画素ブロック内の同種色成分ごとに平均して、ブロック単位に複数種の色成分を揃える。
【発明の効果】
【００１３】
本発明は、次の２段階に分けて縮小画像を生成する。
（第１段階）画像データを画素ブロックに区分し、ブロック別に平均値を求める。
（第２段階）ブロック別の平均値に解像度変換を実施し、所望する縦横画素数の縮小画像を生成する。
【００１４】
上記の第１段階では、画素ブロックの個数まで、画像データの画素数を低減することができる。さらに、第１段階では、ブロック平均によって、２次元ローパス処理も同時に実施される。そのため、モアレ防止用のローパス処理を省いたり、あるいは軽くすることが可能になり、モアレ防止の処理負荷を軽減することができる。
【００１５】
このような長所により、本発明の段階処理では、データの流れが単純化されて、解像度変換を高速実施することが可能になる。
【発明を実施するための最良の形態】
【００１６】
［電子カメラの構成説明］
図１は、本実施形態における電子カメラ１１のシステムブロック図である。
図２は、図１中に示す画像処理回路１６の内部ブロック図である。
以下、図１および図２に基づいて、電子カメラ１１の構成を説明する。
電子カメラ１１には、撮影レンズ１２が装着される。この撮影レンズ１２の像空間には、撮像素子１３が配置される。この撮像素子１３は、読み出しシーケンスの切り換えにより、全画素読み出しにより記録画像を得るモードと、ライン間引きをしながらドラフト画像を読み出すドラフトモードとをモード選択できる。
撮像素子１３の出力は、Ａ／Ｄ変換部１４，および撮像素子１３のインターフェース回路（不図示）を介して画像処理回路１６に入力される。
【００１７】
この画像処理回路１６は、次の構成を備える。
（１）信号処理部４３・・欠陥画素補正、黒レベルクランプ（ＯＢクランプ）、ゲイン調整、ホワイトバランス調整、階調変換（ガンマ補正など）、色補間、色変換または色処理などを実施する。この信号処理部４３は、入力バッファ４５および出力バッファ４６を備え、画像データを高速転送するためのピクチャーバス２１を介してＳＤＲＡＭ（Synchronous DRAM）３５との間で画像データをやり取りする。全画素読み出しによる記録用の画像データ（スチル画撮影）の場合は、一般にホワイトバランス調整前までの処理、すなわち欠陥画素補正、黒レベルクランプ（ＯＢクランプ）、ゲイン調整の各処理を行い、処理済みの画像データを出力バッファ４６を介して一旦ＳＤＲＡＭ３５に記憶させる。さらに、信号処理部４３は、露出／焦点／ホワイトバランス用の検波結果を出力し、レジスタ４４に格納する。ＭＰＵ（Micro Processor unit）２４は、システムバス２３を介してこれらの検波結果をレジスタ４４から読み出し、露出／焦点／ホワイトバランスの制御を行うことができる。
（２）ブロック平均処理部７１・・区分加算部７４（加算器を含む）と、平均部７５とを備えて構成される。
平均部７５としては、後述する高速処理の観点から、ビットシフト器で実現することが好ましい。
次に、平均部７５として好ましいのは、固定小数点の乗算器である。ＭＰＵ２４は画素ブロックの係数和の逆数を算出して、この乗算器に設定する。乗算器は、区分加算部７４から出力される加算値に、この逆数を固定小数点で乗算することにより、ブロック別の平均値を求める。
なお、平均部７５として、除算器を使用してもよい。ＭＰＵ２４は画素ブロックの係数和を求めて、この除算器に設定する。除算器は、区分加算部７４から出力される加算値を、この係数和で除算することにより、ブロック別の平均値を求める。
（３）解像度変換部７２・・ブロック別の平均値を順次取り込む。このブロック別の平均値からなる平均化画像を、予め定められた縦横画素数に解像度変換して縮小画像を生成する。
（４）空間フィルタ５１・・輪郭強調、ノイズ除去などの空間フィルタ処理を実施する。
（５）色差間引き部５２・・４：２：２などの色間引きを行う。出力バッファ５３を介して、ピクチャーバス２１に接続されており、色間引きされた画像データはＳＤＲＡＭ３５に記憶される。
（６）転送部７３・・ピクチャーバス２１およびバスインターフェース２２を介して、ＳＤＲＡＭ３５のＤＭＡ転送を実施する。
【００１８】
撮像素子１３から出力された記録用の画像は、画像処理回路１６で処理された後、専用バスを介して画像圧縮部１７に入力されるか、あるいは一旦ＳＤＲＡＭ３５に記憶された後、ピクチャーバス２１を介して画像圧縮部１７に入力される。画像圧縮部１７で生成された画像圧縮ファイルは、ピクチャーバス２１を介して一旦ＳＤＲＡＭ３５に記憶された後、システムバス２３を介して読み出され、次いでカードＩＦ２９を介して、メモリカード３０に記録保存される。
【００１９】
一方、撮像素子１３から出力されたドラフト画像は、画像処理回路１６で処理された後、ピクチャーバス２１を介して一旦ＳＤＲＡＭ３５に記憶され、次にＳＤＲＡＭ３５から読み出されて表示部１９に入力される。この表示部１９は、液晶パネル２０に、ドラフト画像から生成された動画像を表示する。
さらに、ピクチャーバス２１およびシステムバス２３は、バスインターフェース２２を介して、ＳＤＲＡＭ３５などに接続されており、これらのバスを介してＳＤＲＡＭ３５にデータを記憶したり、ＳＤＲＡＭ３５からデータを読み出したりする。また、システムバス２３には、ＭＰＵ２４などが接続される。
【００２０】
［画素ブロックの設定について］
図３は、ブロック平均化処理を説明する図である。
区分加算部７４は、設定された画像入力元から取り込んだ入力画像を、横Ｎ画素×縦Ｍ画素の画素ブロックに区分する。この場合、Ｎ≠Ｍとすることにより、ブロック平均処理後の画像アスペクト比を変更することが可能になる。なお、ブロック平均化後のアスペクト比を維持する場合は、Ｎ＝Ｍに設定すればよい。
【００２１】
さらに、画素ブロックのサイズ設定（Ｎ，Ｍ）については、後段の解像度変換部７２においてモアレを発生しない参照範囲のサイズまで大きくすることが好ましい。
また、画素ブロックのＮ，Ｍをどちらも２のべき乗に選ぶことが好ましい。例えば、２×２、４×２、４×４、８×４、８×８・・などである。これらの画素ブロックは、内部の画素数ＮＭが常に２のべき乗となる。そのため、ブロック平均処理部７１は、画素ブロック内のデータを単純に累積加算し、その累積加算値をビットシフトダウンするだけで平均値を高速に算出することが可能になる。
【００２２】
なお、Ｎ，Ｍの少なくとも一方が２のべき乗ではない場合には、画素ブロック中央の画素（群）に対して重み付け係数を付加して、全体の係数和を２のべき乗に調整すればよい。さらに、中央の画素（群）の個々の重み付け係数をそれぞれ２のべき乗に設定することにより、中央の画素（群）の重み付けをビットシフトアップで高速実施することが可能になる。
【００２３】
図４［Ａ］〜［Ｄ］は、このように設定された画素ブロックの重み付け比率を示す図である。例えば、図４［Ａ］では、中央画素のデータを３ビットシフトアップした値（８倍）と、周囲８画素のデータとを累積加算し、累積加算値を４ビットシフトダウン（１／１６倍）すればよい。
【００２４】
［縮小画像のサイズ可変について］
ところで、電子カメラ１１では、多様な局面で画像縮小が実施されるため、画像の縮小率を柔軟に変更する必要がある。このような縮小率の変更は、ＭＰＵ２４が、ブロック平均処理部７１に画素ブロックのサイズや重み係数を設定し、解像度変換部７２に対する解像度変換を微調整することによって可能になる。
【００２５】
この場合、ブロック平均処理部７１は、最大の画素ブロックにも対応できるように、内部のデータ領域のビット幅などを設計する必要がある。この設計について具体例をあげて説明する。
まず、電子カメラ１１の最大撮像解像度は設計仕様によって決定される。ここでは、５Ｍピクセルの画像（２５９２画素×１９４４画素）とする。この画像を、クイックビュー画像（ここでは６４０画素×４８０画素)に縮小する場合、おおよそ縦横１／４倍の縮小を行えばよい。この縦横１／４倍を一回当たりの最大縮小率とすれば、画素ブロックの最大サイズはＮ＝Ｍ＝４に設定される。この４×４の画素ブロック単位に平均化処理を実施した場合、画像の実際のサイズは「(2592×1944)→(648×486)」と変化する。この平均化画像を後段の解像度変換部７２で更に縮小して、表示用の画像(640×480)を得ればよい。
【００２６】
この場合、解像度変換部７２の縮小率は以下のようになる。
640÷648 ＝ 480÷486 ＝ 1/1.0125 ＝ 0.9876・・・
解像度変換部７２の変倍率が1％ステップで可変となっていれば、その変倍率として「0.98」か「0.99」を選択すればよい。変倍率が「0.98」の場合は画像サイズが(635×476)となり、変倍率が「0.99」の場合は画像サイズが(641×481)となる。このとき、足りない画素については黒レベルなどで埋め合わせればよい。また、余分な画素は周辺部を切り捨てればよい。
【００２７】
この説明から明らかなように、５Ｍピクセル(2592画素×1944画素)もの大きな画像であっても「Ｎ＝Ｍ＝４」のブロック平均で足りる。たとえ１５Ｍピクセル（4760画素×3360画素）もの大きな画像であっても「Ｎ＝Ｍ＝７」のブロック平均で充分に足りる。したがって、ブロック平均処理部７１としては、Ｎ＝４〜７程度の最大画素ブロックに対応すれば、殆どの電子カメラ仕様を満足することができる。
【００２８】
［更に画像を縮小するケースについて］
上記説明では、フル解像度の画像から表示用のクイックビュー画像(640画素×480画素)を作成する場合を想定した。しかし、電子カメラ１１では、更に小さなサムネイル画像(160画素×120画素)も作成しなければならない。このサムネイル画像に対応するには、ブロック平均処理部７１の最大画素ブロックを更に大きくしなければならず、ブロック平均処理部７１の回路規模が大きくなるという懸念がある。
【００２９】
本実施形態では、この問題を、ブロック平均処理部７１の多段処理によって解決する。一般に、クイックビュー画像は、電子カメラ１１のスチル撮影直後に表示するため、サムネイル画像よりも先に生成される。そこで、先に生成されるクイックビュー画像（または、その解像度微調整前の平均化画像）をＮ＝Ｍ＝４の画素ブロックでもう一度ブロック平均化することにより、サムネイル画像を段階的に生成することが可能になる。
このような画像縮小の多段処理により、ブロック平均処理部７１の最大画素ブロックのサイズを抑えて、回路規模を縮小することが可能になる。
【００３０】
［剰余ブロックが生じるケースについて］
次に、ブロック平均処理部７１が、画像データを画素ブロックに完全に分割できずに、剰余ブロックが生じるケースについて説明する。例えば、４Ｍピクセルの画像(2288画素×1716画素)をクイックビュー画像(640画素×480画素)に縮小する場合、３画素×３画素の画素ブロックを使用する。しかしながら、水平画素数は３では割り切れないため、水平１画素足りない剰余ブロックが発生する。
【００３１】
このような剰余ブロックについては、剰余分の水平２画素を切り捨てるか、あるいは折り返し１画素分を付加して、画素ブロックを完成させることになる。剰余２画素を切り捨てる場合は、左右両端の1画素を切り捨てる方が画像の対称性を維持できる観点から好ましい。
しかし、各ラインの2画素目から始まるブロックデータをＳＤＲＡＭ３５などから読み出すことは容易ではない(バースト的な読み出しにおけるアドレスの制約のため)。そのため、各ラインの1画素目から読み出してブロック平均処理部７１に入力し、ブロック平均処理部７１内でライン先頭の1画素を捨てる方が動作は単純になる。各ラインの最後の1画素を捨てる場合も同様である。しかし、この動作のためには同一ブロック内の画素の読み出しにおいて、次のラインに移動するタイミングを１画素ずらす必要が生じる。
【００３２】
一方、１画素加えてブロック分割する場合は、右端に付け加える方が簡単になる。この１画素をＳＤＲＡＭ３５上に用意しておくことは、ＭＰＵ２４のソフトウェア処理となるため、動作速度の観点からは好ましくない。
そのため、画素ブロックのデータの入力過程でブロック平均処理部７１は右端のブロックの検出を行い、右端のブロックが検出された場合はブロック平均処理部７１が各ラインの右端で１画素分の折り返しを行うことが好ましい。このような動作により、余計なオーバーヘッド時間を必要とせずに、剰余ブロックの処理が達成される。剰余ブロックを切り捨てる方式に比べて、この方式は視野が狭くならない点でも好ましい。
【００３３】
ところで、縦横に同様の剰余ブロックが生じる場合、剰余ブロックの処理によって画像のアスペクト比を殆ど変化しない。しかし、上記例では、縦方向に剰余ブロックが生じないため、１〜２画素分だけアスペクト比が変化する。この場合、後段の解像度変換部７２において、垂直方向の縮小率を定め、水平方向の縮小率は垂直方向の縮小率と同じ値とする。そして、解像度変換部７２による画像の縮小を行った後で、垂直方向の画素数に合わせて各ラインの右端の画素を切り捨ててアスペクト比を最終的に合わせると良い。このようにすれば、ブロック平均処理部７１と解像度変換部７２の縮小率の合計が、垂直方向と水平方向で全く同一となって歪みが発生しないからである。
【００３４】
［走査入力のブロック区分について］
図３に示す入力画像は、画素ブロック単位に区分された走査入力である。このような走査入力は、画素ブロック単位の区分走査を、画素ブロックごとに繰り返すものである。
通常の画像の走査入力を、このようにブロック区分するには、例えば、本発明者による特開２００４−２６０２６５号公報に記載の画素抽出回路を使用すれば可能になる。なお、この画素抽出回路は、画素の最小間隔ごとに画素ブロックを抽出する機能を有するが、本実施形態の区分動作ではそこまで必要としないため、この機能については省略すればよい。また、上記公報の画素抽出回路は、画面周辺において画素を折り返すことで、剰余ブロックを補うことも可能になる。
なお、区分加算部７４が、ＳＤＲＡＭ３５から画像データを読み出しする際のメモリアドレス順を変更することで、一般的な画像の走査データを、上記の区分走査に変換することも可能である。
【００３５】
［転送部７３を用いた高速転送への対応］
ところで、ブロック平均処理部７１が、ブロック平均処理を行う場合、画像データを１画素ずつ入力していては、処理が遅くなる。そこで、ＳＤＲＡＭ３５の画像データを、バースト的なＤＭＡ転送で、ブロック平均処理部７１に与えるケースが好ましい。
【００３６】
このようなバースト転送では、１回当たりの転送データ数を多くするほど、余計なクロックサイクルを省いて高速なデータ転送が実現する。しかし、上述したように画素ブロックのサイズはＮ＝５程度と小さい。そのため、画素ブロックの水平画素数単位のＤＭＡ転送は効率が悪く、高速なデータ転送が実現できない。
【００３７】
ＤＭＡ転送と画素ブロックの整合をとるには、区切りの良いデータ数(ワード数)まで一度にＤＭＡ転送を行うことである。つまり、32ビットデータバスであれば4バイト／ワードであるから、この4バイトと上に挙げたブロック1辺(水平画素数分)のバイト数の公倍数をバースト的なＤＭＡ転送１単位のデータ数とするのである。その様にすれば必ずブロックの境界で1単位のＤＭＡ転送を終了させられると共に、バースト的なＤＭＡ転送1単位のデータ数も大きくすることができる。よって、このブロック平均処理においても高速なデータ転送が行われることになる。これらの結論を基に、1単位のＤＭＡ転送におけるデータ数を各ブロックサイズについて求めておく(データバスは32ビットとする)。
【００３８】
・(2×2)画素のブロックの場合
RGB4:4:4／YCbCr4:4:4画像データ(24ビット／画素) ： 4 × 6 ＝ 24バイト
YCbCr4:2:2画像データ(16ビット／画素) ： 4 × 4 ＝ 16バイト
・(3×3)画素のブロックの場合
RGB4:4:4／YCbCr4:4:4画像データ(24ビット／画素) ： 4 × 9 ＝ 36バイト
YCbCr4:2:2画像データ(16ビット／画素) ： 4 × 6 ＝ 24バイト
・(4×4)画素のブロックの場合
RGB4:4:4／YCbCr4:4:4画像データ(24ビット／画素) ： 4 × 12 ＝ 48バイト
YCbCr4:2:2画像データ(16ビット／画素) ： 4 × 8 ＝ 32バイト
・(5×5)画素のブロックの場合
RGB4:4:4／YCbCr4:4:4画像データ(24ビット／画素) ： 4 × 15 ＝ 60バイト
YCbCr4:2:2画像データ(16ビット／画素) ： 4 × 10 ＝ 40バイト
【００３９】
ＳＤＲＡＭ３５の特性を考慮すると、16ワード(4×16＝64バイト)程度のバースト転送が効率的である。上記に挙げた数値は全てこの値を下回っているため、適当に整数倍して16ワード(64バイト)に近づけても良い。特に、ブロックサイズが小さい場合は、その様にして転送のデータ数を増やす方が良い。ところで、この様にＤＭＡ転送1単位のデータ数を増やした場合は、複数のブロックの画像データを一括してブロック平均処理部７１に入力することになる。したがって、１回のＤＭＡ転送では、画素ブロックが完全に揃わず、端数ブロックが発生することになる。
【００４０】
［端数ブロックの処理について］
ここでは、図５を用いて、転送部７３のＤＭＡ転送によって発生する端数ブロックの処理について説明する。まず、区分加算部７４は、転送１回分に含まれる端数ブロックの個数だけ、データ領域を確保する。これらのデータ領域は加算動作に先立って初期化される。
区分加算部７４は、転送１回分のデータを取り込み、端数ブロックに分割する。図５に示す例では、転送１回当たり４つの端数ブロックが含まれるため、４つの端数ブロックに区分される。区分加算部７４は、これら端数ブロックごとにデータをデータ領域に（重み付け）加算し、暫定値を得る。この動作を画素ブロックが完全に揃う転送回数まで繰り返すことにより、ブロック別の加算値を求めることができる。
【００４１】
なお、ブロック別の加算値が完成する順番は、図５では、左側の画素ブロックからの順となる。前のブロックの加算値が出力されてから次のブロックの加算値が出力されるまでには、ブロック1辺分の転送サイクル分だけタイムラグが生じる。そこで、平均部７５（ビットシフト器、除算器、固定小数点乗算器）が、平均値算出をこの転送サイクルの期間中に完了できるなら、区分加算部７４と平均部７５とによるパイプライン処理を遅滞なく実施することが可能になる。
【００４２】
［信号処理部４３の入力バッファ４５の活用について］
ブロック平均処理部７１の前段である信号処理部４３は、入力バッファ４５を備える。この入力バッファ４５を介して縮小すべき画像を与えることにより、信号処理部４３のいずれかの信号処理と、ブロック平均処理部７１とをパイプライン式に並行処理することが可能になる。例えば、「RGB→YCbCr」や「YCbCr→RGB」のような色変換と、ブロック平均処理部７１によるブロック平均化(LPF処理と間引き)を並行処理することができる。
【００４３】
なお、ＪＰＥＧデータの伸長画像のように縮小すべき画像が「YCbCr4:2:2」の場合は、色差信号(CbとCr)をまず補間しないと色変換が行えない。このような場合は、色変換処理の前に「YCbCr4:2:2→YCbCr4:4:4」といった色差補間処理が必要になる。この色差補間回路は単純な2画素平均で良いため(画像の右端では折り返しが必要)、回路規模はさほど大きくならない。このような簡易な色差補間を先に実施することにより、その後のブロック平均化や解像度変換において、3つの信号成分をセットで処理することが可能になる。
【００４４】
［ブロック平均化前にライン数を減数する場合］
フル解像度の画像データから表示用画像データ(640×480)を作成する場合、これまでは全ての画像データをブロック平均処理部７１に入力するものと仮定してきた。画質を劣化させないためには、フル解像度の入力が好ましい。しかし、表示用画像(640×480)のような小さな画像を作成する場合に、フル解像度の入力はオーバースペックとなる場合もある。そのため、画質を多少犠牲にしても良いような場合は、適当にラインを間引いてブロック平均処理部７１の処理負荷を軽くすることが好ましい。例えば、(5×5)画素のブロック平均を行う場合は、2ライン間引いて(5×3)画素のブロック平均を求めればよい。このような処理により、ブロック平均処理部７１の処理速度を高速化することができる。なお、1ブロック内のラインが間引かれているため、ブロック平均処理のためのフィルタ係数は変更することが好ましい。
【００４５】
［クイックビュー画像の更なる高速生成について］
上述した説明では、ブロック平均化に先だって、フル解像度のYCbCr画像データを生成する場合について説明した。しかし、この順序ではクイックビュー画像(640×480)の生成が後回しになるため、クイックビュー表示がその分だけ遅れてしまう。
クイックビュー表示を早めるためには、フル解像度のYCbCr画像データの生成を待たずに、ＲＡＷデータ(RGB原色Bayer配列のデータなど)から直接にクイックビュー画像を生成することが好ましい。
【００４６】
図６は、このＲＡＷデータのブロック平均化処理を説明する図である。
まず、ブロック平均処理部７１は、色補間処理前のＲＡＷデータを取り込み、画素ブロック内の色成分別にブロック平均処理を実施する。このような処理により、高解像度画像の色補間処理を省略して、画素ブロック単位にＲＧＢ成分を揃えた平均化画像を直に生成することができる（図６［Ａ］参照）。解像度変換部７２が、この平均化画像に解像度変換を実施することにより、クイックビュー画像を高速生成することが可能になる。
【００４７】
また、図６［Ｂ］に示すように、色成分別のブロック平均処理により、ベイヤ配列データを一旦生成することもできる。この場合は、ブロック平均処理部７１から出力されるデータは、低解像度のＲＡＷデータとなる。解像度変換部７２が、この低解像度のＲＡＷデータに対して簡易な色補間処理および解像度変換処理を実施することにより、クイックビュー画像を高速生成することが可能になる。
【００４８】
尚、この場合は色補間処理の前にブロック平均処理部を配置することが好ましい。これは、図２に示すブロック平均処理部とは別の構成であり、信号処理部４３の内部構成に含めることが好ましい。
【００４９】
［実施形態の補足事項］
なお、本実施形態では、画像データを矩形や正方形に区切って画素ブロックを設定している。しかしながら、本発明は画素ブロックの形状等に限定されるものではない。画素ブロックを円形や楕円形の内側に位置する画素群から構成してもよい。また、モアレの除去効果を高めるために、画素ブロックのサイズをブロック間隔よりも大きくすることにより、隣接ブロック間で若干の重複域を設けてもよい。逆に、画像の鮮明度を高めるために、画素ブロックのサイズを小さくすることにより、隣接ブロック間に若干の隙間を設けてもよい。
【産業上の利用可能性】
【００５０】
以上説明したように、本発明は、電子カメラの画像処理などに利用可能な技術である。
【図面の簡単な説明】
【００５１】
【図１】本実施形態における電子カメラ１１のシステムブロック図である。
【図２】画像処理回路１６の内部ブロック図である。
【図３】ブロック平均化処理の一例を説明する図である。
【図４】加重平均の重み係数を示す図である。
【図５】端数ブロックの処理を説明する図である。
【図６】このＲＡＷデータのブロック平均化処理を説明する図である。
【符号の説明】
【００５２】
１１…電子カメラ，１２…撮影レンズ，１３…撮像素子，１６…画像処理回路，２１…ピクチャーバス，２２…バスインターフェース，２３…システムバス，２４…ＭＰＵ，３０…メモリカード，３５…ＳＤＲＡＭ，４３…信号処理部，４５…入力バッファ，７１…ブロック平均処理部，７２…解像度変換部，７３…転送部，７４…区分加算部，７５…平均部
【技術分野】
【０００１】
本発明は、縮小画像の生成機能を備える電子カメラに関する。
【背景技術】
【０００２】
電子カメラ内の信号処理では、画像の縦横画素数を縮小する処理が頻繁に実施される。例えば、スチル撮影時の電子カメラでは、撮像画像を縮小して、所望の記録解像度へ変換したり、クイックビュー画像やサムネイル画像の生成が行われる。また、再生時の電子カメラでは、記録媒体から読み出した画像をモニタ表示解像度へ変換したり、拡大表示用の任意解像度へ変換する処理が実施される。さらに、スルー画表示時の電子カメラでは、撮像素子からライン間引きで読み出された動画像（ドラフト画像）を、モニタ表示解像度へ変換する処理が実施される。
【０００３】
特許文献１には、このような解像度変換技術として、解像度変換を下記の２段階に分けて実施する技術が開示されている。
［第１段階］ まず、入力画像の水平方向の帯域を制限する（水平ローパス処理）。この処理画像から水平画素を間引いて、サムネイル準備画像を生成する。
［第２段階］ 次に、このサムネイル準備画像の垂直方向の帯域を制限する（垂直ローパス処理）。この処理画像から垂直画素を間引いて、サムネイル画像を求める。
上記処理において、水平および垂直のローパス処理は、モアレを防止して良質な縮小画像を生成するために必要な処理となる。
【特許文献１】特開２００３−１９９０１６号公報（図２など）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、特許文献１の解像度変換技術では、水平と垂直の２段階に分けて解像度変換を実施する。
この場合、水平ローパス処理と垂直ローパス処理とを独立に実施するため、それぞれのローパス処理に十分なラインバッファを備える必要があり、回路規模が大きくなりやすい。
また、水平方向と垂直方向に独立に解像度変換を実施するため、処理データの流れが複雑になりやすい。そのため、これら２段階の処理をパイプライン式に高速並行処理することは非常に困難になる。
そこで、本発明では、単純な流れで解像度変換を高速実施するための技術を提供することを目的とする。
【課題を解決するための手段】
【０００５】
《１》 本発明の電子カメラは、撮像部、ブロック平均処理部、および解像度変換部を備える。
撮像部は、被写体を撮像して画像データを出力する。
ブロック平均処理部は、画像データを取り込み、予め定められた画素ブロックごとに平均して、ブロック別の平均値を出力する。
解像度変換部は、ブロック平均処理部から出力される平均値を順次取り込みながら、平均値に解像度変換を施す。
特に、本発明の電子カメラは、ブロック平均処理部による「第１段階の画素数削減」と、解像度変換部による「第２段階の画素数削減」とによって、段階的に縮小画像を生成することを特徴とする。
【０００６】
《２》 なお好ましくは、ブロック平均処理部は、区分加算部、および平均部を備える。
区分加算部は、画像データをブロック別に区分して加算し、ブロック別の加算値を求める。
平均部は、ブロック別の加算値を平均して平均値を算出する。
【０００７】
《３》 また好ましくは、区分加算部は、ブロック別にデータを加算するデータ領域を複数備える。区分加算部は、画像データの走査入力をブロック別に区分して生じる端数ブロックをデータ領域に加算して暫定値として残す。そして、区分加算部は、以後の走査入力時に、端数ブロックの残りのデータを該データ領域の暫定値に加算する。
【０００８】
《４》 なお好ましくは、電子カメラは、画像データを格納するためのメモリと、メモリから画像データを所定の転送単位ごとにＤＭＡ転送して、ブロック平均処理部へ与える転送部を備える
《５》 また好ましくは、電子カメラは、ライン数を減数した画像データを生成するライン減数部を備える。ブロック平均処理部は、ライン数を減数した画像データを、画素ブロックに区分して平均する。
【０００９】
《６》 なお好ましくは、ブロック平均処理部は、ブロック別の加算の係数和を２のべき乗に設定し、ブロック別の加算値を係数和で除算する処理をビットシフト処理で実施する。
【００１０】
《７》 また好ましくは、ブロック平均処理部は、ブロック別のデータを加算する加算器と、加算器から出力される加算値に対して、加算器の係数和の逆数を乗算する固定小数点の乗算器とを備える。
【００１１】
《８》 なお好ましくは、電子カメラは、加算器の係数和を求め、係数和の逆数を算出して乗算器に設定する設定部を備える。
【００１２】
《９》 また好ましくは、ブロック平均処理部は、複数種の色成分を混在配置してなるＲＡＷデータを取り込む。ブロック平均処理部は、画素ブロック内の同種色成分ごとに平均して、ブロック単位に複数種の色成分を揃える。
【発明の効果】
【００１３】
本発明は、次の２段階に分けて縮小画像を生成する。
（第１段階）画像データを画素ブロックに区分し、ブロック別に平均値を求める。
（第２段階）ブロック別の平均値に解像度変換を実施し、所望する縦横画素数の縮小画像を生成する。
【００１４】
上記の第１段階では、画素ブロックの個数まで、画像データの画素数を低減することができる。さらに、第１段階では、ブロック平均によって、２次元ローパス処理も同時に実施される。そのため、モアレ防止用のローパス処理を省いたり、あるいは軽くすることが可能になり、モアレ防止の処理負荷を軽減することができる。
【００１５】
このような長所により、本発明の段階処理では、データの流れが単純化されて、解像度変換を高速実施することが可能になる。
【発明を実施するための最良の形態】
【００１６】
［電子カメラの構成説明］
図１は、本実施形態における電子カメラ１１のシステムブロック図である。
図２は、図１中に示す画像処理回路１６の内部ブロック図である。
以下、図１および図２に基づいて、電子カメラ１１の構成を説明する。
電子カメラ１１には、撮影レンズ１２が装着される。この撮影レンズ１２の像空間には、撮像素子１３が配置される。この撮像素子１３は、読み出しシーケンスの切り換えにより、全画素読み出しにより記録画像を得るモードと、ライン間引きをしながらドラフト画像を読み出すドラフトモードとをモード選択できる。
撮像素子１３の出力は、Ａ／Ｄ変換部１４，および撮像素子１３のインターフェース回路（不図示）を介して画像処理回路１６に入力される。
【００１７】
この画像処理回路１６は、次の構成を備える。
（１）信号処理部４３・・欠陥画素補正、黒レベルクランプ（ＯＢクランプ）、ゲイン調整、ホワイトバランス調整、階調変換（ガンマ補正など）、色補間、色変換または色処理などを実施する。この信号処理部４３は、入力バッファ４５および出力バッファ４６を備え、画像データを高速転送するためのピクチャーバス２１を介してＳＤＲＡＭ（Synchronous DRAM）３５との間で画像データをやり取りする。全画素読み出しによる記録用の画像データ（スチル画撮影）の場合は、一般にホワイトバランス調整前までの処理、すなわち欠陥画素補正、黒レベルクランプ（ＯＢクランプ）、ゲイン調整の各処理を行い、処理済みの画像データを出力バッファ４６を介して一旦ＳＤＲＡＭ３５に記憶させる。さらに、信号処理部４３は、露出／焦点／ホワイトバランス用の検波結果を出力し、レジスタ４４に格納する。ＭＰＵ（Micro Processor unit）２４は、システムバス２３を介してこれらの検波結果をレジスタ４４から読み出し、露出／焦点／ホワイトバランスの制御を行うことができる。
（２）ブロック平均処理部７１・・区分加算部７４（加算器を含む）と、平均部７５とを備えて構成される。
平均部７５としては、後述する高速処理の観点から、ビットシフト器で実現することが好ましい。
次に、平均部７５として好ましいのは、固定小数点の乗算器である。ＭＰＵ２４は画素ブロックの係数和の逆数を算出して、この乗算器に設定する。乗算器は、区分加算部７４から出力される加算値に、この逆数を固定小数点で乗算することにより、ブロック別の平均値を求める。
なお、平均部７５として、除算器を使用してもよい。ＭＰＵ２４は画素ブロックの係数和を求めて、この除算器に設定する。除算器は、区分加算部７４から出力される加算値を、この係数和で除算することにより、ブロック別の平均値を求める。
（３）解像度変換部７２・・ブロック別の平均値を順次取り込む。このブロック別の平均値からなる平均化画像を、予め定められた縦横画素数に解像度変換して縮小画像を生成する。
（４）空間フィルタ５１・・輪郭強調、ノイズ除去などの空間フィルタ処理を実施する。
（５）色差間引き部５２・・４：２：２などの色間引きを行う。出力バッファ５３を介して、ピクチャーバス２１に接続されており、色間引きされた画像データはＳＤＲＡＭ３５に記憶される。
（６）転送部７３・・ピクチャーバス２１およびバスインターフェース２２を介して、ＳＤＲＡＭ３５のＤＭＡ転送を実施する。
【００１８】
撮像素子１３から出力された記録用の画像は、画像処理回路１６で処理された後、専用バスを介して画像圧縮部１７に入力されるか、あるいは一旦ＳＤＲＡＭ３５に記憶された後、ピクチャーバス２１を介して画像圧縮部１７に入力される。画像圧縮部１７で生成された画像圧縮ファイルは、ピクチャーバス２１を介して一旦ＳＤＲＡＭ３５に記憶された後、システムバス２３を介して読み出され、次いでカードＩＦ２９を介して、メモリカード３０に記録保存される。
【００１９】
一方、撮像素子１３から出力されたドラフト画像は、画像処理回路１６で処理された後、ピクチャーバス２１を介して一旦ＳＤＲＡＭ３５に記憶され、次にＳＤＲＡＭ３５から読み出されて表示部１９に入力される。この表示部１９は、液晶パネル２０に、ドラフト画像から生成された動画像を表示する。
さらに、ピクチャーバス２１およびシステムバス２３は、バスインターフェース２２を介して、ＳＤＲＡＭ３５などに接続されており、これらのバスを介してＳＤＲＡＭ３５にデータを記憶したり、ＳＤＲＡＭ３５からデータを読み出したりする。また、システムバス２３には、ＭＰＵ２４などが接続される。
【００２０】
［画素ブロックの設定について］
図３は、ブロック平均化処理を説明する図である。
区分加算部７４は、設定された画像入力元から取り込んだ入力画像を、横Ｎ画素×縦Ｍ画素の画素ブロックに区分する。この場合、Ｎ≠Ｍとすることにより、ブロック平均処理後の画像アスペクト比を変更することが可能になる。なお、ブロック平均化後のアスペクト比を維持する場合は、Ｎ＝Ｍに設定すればよい。
【００２１】
さらに、画素ブロックのサイズ設定（Ｎ，Ｍ）については、後段の解像度変換部７２においてモアレを発生しない参照範囲のサイズまで大きくすることが好ましい。
また、画素ブロックのＮ，Ｍをどちらも２のべき乗に選ぶことが好ましい。例えば、２×２、４×２、４×４、８×４、８×８・・などである。これらの画素ブロックは、内部の画素数ＮＭが常に２のべき乗となる。そのため、ブロック平均処理部７１は、画素ブロック内のデータを単純に累積加算し、その累積加算値をビットシフトダウンするだけで平均値を高速に算出することが可能になる。
【００２２】
なお、Ｎ，Ｍの少なくとも一方が２のべき乗ではない場合には、画素ブロック中央の画素（群）に対して重み付け係数を付加して、全体の係数和を２のべき乗に調整すればよい。さらに、中央の画素（群）の個々の重み付け係数をそれぞれ２のべき乗に設定することにより、中央の画素（群）の重み付けをビットシフトアップで高速実施することが可能になる。
【００２３】
図４［Ａ］〜［Ｄ］は、このように設定された画素ブロックの重み付け比率を示す図である。例えば、図４［Ａ］では、中央画素のデータを３ビットシフトアップした値（８倍）と、周囲８画素のデータとを累積加算し、累積加算値を４ビットシフトダウン（１／１６倍）すればよい。
【００２４】
［縮小画像のサイズ可変について］
ところで、電子カメラ１１では、多様な局面で画像縮小が実施されるため、画像の縮小率を柔軟に変更する必要がある。このような縮小率の変更は、ＭＰＵ２４が、ブロック平均処理部７１に画素ブロックのサイズや重み係数を設定し、解像度変換部７２に対する解像度変換を微調整することによって可能になる。
【００２５】
この場合、ブロック平均処理部７１は、最大の画素ブロックにも対応できるように、内部のデータ領域のビット幅などを設計する必要がある。この設計について具体例をあげて説明する。
まず、電子カメラ１１の最大撮像解像度は設計仕様によって決定される。ここでは、５Ｍピクセルの画像（２５９２画素×１９４４画素）とする。この画像を、クイックビュー画像（ここでは６４０画素×４８０画素)に縮小する場合、おおよそ縦横１／４倍の縮小を行えばよい。この縦横１／４倍を一回当たりの最大縮小率とすれば、画素ブロックの最大サイズはＮ＝Ｍ＝４に設定される。この４×４の画素ブロック単位に平均化処理を実施した場合、画像の実際のサイズは「(2592×1944)→(648×486)」と変化する。この平均化画像を後段の解像度変換部７２で更に縮小して、表示用の画像(640×480)を得ればよい。
【００２６】
この場合、解像度変換部７２の縮小率は以下のようになる。
640÷648 ＝ 480÷486 ＝ 1/1.0125 ＝ 0.9876・・・
解像度変換部７２の変倍率が1％ステップで可変となっていれば、その変倍率として「0.98」か「0.99」を選択すればよい。変倍率が「0.98」の場合は画像サイズが(635×476)となり、変倍率が「0.99」の場合は画像サイズが(641×481)となる。このとき、足りない画素については黒レベルなどで埋め合わせればよい。また、余分な画素は周辺部を切り捨てればよい。
【００２７】
この説明から明らかなように、５Ｍピクセル(2592画素×1944画素)もの大きな画像であっても「Ｎ＝Ｍ＝４」のブロック平均で足りる。たとえ１５Ｍピクセル（4760画素×3360画素）もの大きな画像であっても「Ｎ＝Ｍ＝７」のブロック平均で充分に足りる。したがって、ブロック平均処理部７１としては、Ｎ＝４〜７程度の最大画素ブロックに対応すれば、殆どの電子カメラ仕様を満足することができる。
【００２８】
［更に画像を縮小するケースについて］
上記説明では、フル解像度の画像から表示用のクイックビュー画像(640画素×480画素)を作成する場合を想定した。しかし、電子カメラ１１では、更に小さなサムネイル画像(160画素×120画素)も作成しなければならない。このサムネイル画像に対応するには、ブロック平均処理部７１の最大画素ブロックを更に大きくしなければならず、ブロック平均処理部７１の回路規模が大きくなるという懸念がある。
【００２９】
本実施形態では、この問題を、ブロック平均処理部７１の多段処理によって解決する。一般に、クイックビュー画像は、電子カメラ１１のスチル撮影直後に表示するため、サムネイル画像よりも先に生成される。そこで、先に生成されるクイックビュー画像（または、その解像度微調整前の平均化画像）をＮ＝Ｍ＝４の画素ブロックでもう一度ブロック平均化することにより、サムネイル画像を段階的に生成することが可能になる。
このような画像縮小の多段処理により、ブロック平均処理部７１の最大画素ブロックのサイズを抑えて、回路規模を縮小することが可能になる。
【００３０】
［剰余ブロックが生じるケースについて］
次に、ブロック平均処理部７１が、画像データを画素ブロックに完全に分割できずに、剰余ブロックが生じるケースについて説明する。例えば、４Ｍピクセルの画像(2288画素×1716画素)をクイックビュー画像(640画素×480画素)に縮小する場合、３画素×３画素の画素ブロックを使用する。しかしながら、水平画素数は３では割り切れないため、水平１画素足りない剰余ブロックが発生する。
【００３１】
このような剰余ブロックについては、剰余分の水平２画素を切り捨てるか、あるいは折り返し１画素分を付加して、画素ブロックを完成させることになる。剰余２画素を切り捨てる場合は、左右両端の1画素を切り捨てる方が画像の対称性を維持できる観点から好ましい。
しかし、各ラインの2画素目から始まるブロックデータをＳＤＲＡＭ３５などから読み出すことは容易ではない(バースト的な読み出しにおけるアドレスの制約のため)。そのため、各ラインの1画素目から読み出してブロック平均処理部７１に入力し、ブロック平均処理部７１内でライン先頭の1画素を捨てる方が動作は単純になる。各ラインの最後の1画素を捨てる場合も同様である。しかし、この動作のためには同一ブロック内の画素の読み出しにおいて、次のラインに移動するタイミングを１画素ずらす必要が生じる。
【００３２】
一方、１画素加えてブロック分割する場合は、右端に付け加える方が簡単になる。この１画素をＳＤＲＡＭ３５上に用意しておくことは、ＭＰＵ２４のソフトウェア処理となるため、動作速度の観点からは好ましくない。
そのため、画素ブロックのデータの入力過程でブロック平均処理部７１は右端のブロックの検出を行い、右端のブロックが検出された場合はブロック平均処理部７１が各ラインの右端で１画素分の折り返しを行うことが好ましい。このような動作により、余計なオーバーヘッド時間を必要とせずに、剰余ブロックの処理が達成される。剰余ブロックを切り捨てる方式に比べて、この方式は視野が狭くならない点でも好ましい。
【００３３】
ところで、縦横に同様の剰余ブロックが生じる場合、剰余ブロックの処理によって画像のアスペクト比を殆ど変化しない。しかし、上記例では、縦方向に剰余ブロックが生じないため、１〜２画素分だけアスペクト比が変化する。この場合、後段の解像度変換部７２において、垂直方向の縮小率を定め、水平方向の縮小率は垂直方向の縮小率と同じ値とする。そして、解像度変換部７２による画像の縮小を行った後で、垂直方向の画素数に合わせて各ラインの右端の画素を切り捨ててアスペクト比を最終的に合わせると良い。このようにすれば、ブロック平均処理部７１と解像度変換部７２の縮小率の合計が、垂直方向と水平方向で全く同一となって歪みが発生しないからである。
【００３４】
［走査入力のブロック区分について］
図３に示す入力画像は、画素ブロック単位に区分された走査入力である。このような走査入力は、画素ブロック単位の区分走査を、画素ブロックごとに繰り返すものである。
通常の画像の走査入力を、このようにブロック区分するには、例えば、本発明者による特開２００４−２６０２６５号公報に記載の画素抽出回路を使用すれば可能になる。なお、この画素抽出回路は、画素の最小間隔ごとに画素ブロックを抽出する機能を有するが、本実施形態の区分動作ではそこまで必要としないため、この機能については省略すればよい。また、上記公報の画素抽出回路は、画面周辺において画素を折り返すことで、剰余ブロックを補うことも可能になる。
なお、区分加算部７４が、ＳＤＲＡＭ３５から画像データを読み出しする際のメモリアドレス順を変更することで、一般的な画像の走査データを、上記の区分走査に変換することも可能である。
【００３５】
［転送部７３を用いた高速転送への対応］
ところで、ブロック平均処理部７１が、ブロック平均処理を行う場合、画像データを１画素ずつ入力していては、処理が遅くなる。そこで、ＳＤＲＡＭ３５の画像データを、バースト的なＤＭＡ転送で、ブロック平均処理部７１に与えるケースが好ましい。
【００３６】
このようなバースト転送では、１回当たりの転送データ数を多くするほど、余計なクロックサイクルを省いて高速なデータ転送が実現する。しかし、上述したように画素ブロックのサイズはＮ＝５程度と小さい。そのため、画素ブロックの水平画素数単位のＤＭＡ転送は効率が悪く、高速なデータ転送が実現できない。
【００３７】
ＤＭＡ転送と画素ブロックの整合をとるには、区切りの良いデータ数(ワード数)まで一度にＤＭＡ転送を行うことである。つまり、32ビットデータバスであれば4バイト／ワードであるから、この4バイトと上に挙げたブロック1辺(水平画素数分)のバイト数の公倍数をバースト的なＤＭＡ転送１単位のデータ数とするのである。その様にすれば必ずブロックの境界で1単位のＤＭＡ転送を終了させられると共に、バースト的なＤＭＡ転送1単位のデータ数も大きくすることができる。よって、このブロック平均処理においても高速なデータ転送が行われることになる。これらの結論を基に、1単位のＤＭＡ転送におけるデータ数を各ブロックサイズについて求めておく(データバスは32ビットとする)。
【００３８】
・(2×2)画素のブロックの場合
RGB4:4:4／YCbCr4:4:4画像データ(24ビット／画素) ： 4 × 6 ＝ 24バイト
YCbCr4:2:2画像データ(16ビット／画素) ： 4 × 4 ＝ 16バイト
・(3×3)画素のブロックの場合
RGB4:4:4／YCbCr4:4:4画像データ(24ビット／画素) ： 4 × 9 ＝ 36バイト
YCbCr4:2:2画像データ(16ビット／画素) ： 4 × 6 ＝ 24バイト
・(4×4)画素のブロックの場合
RGB4:4:4／YCbCr4:4:4画像データ(24ビット／画素) ： 4 × 12 ＝ 48バイト
YCbCr4:2:2画像データ(16ビット／画素) ： 4 × 8 ＝ 32バイト
・(5×5)画素のブロックの場合
RGB4:4:4／YCbCr4:4:4画像データ(24ビット／画素) ： 4 × 15 ＝ 60バイト
YCbCr4:2:2画像データ(16ビット／画素) ： 4 × 10 ＝ 40バイト
【００３９】
ＳＤＲＡＭ３５の特性を考慮すると、16ワード(4×16＝64バイト)程度のバースト転送が効率的である。上記に挙げた数値は全てこの値を下回っているため、適当に整数倍して16ワード(64バイト)に近づけても良い。特に、ブロックサイズが小さい場合は、その様にして転送のデータ数を増やす方が良い。ところで、この様にＤＭＡ転送1単位のデータ数を増やした場合は、複数のブロックの画像データを一括してブロック平均処理部７１に入力することになる。したがって、１回のＤＭＡ転送では、画素ブロックが完全に揃わず、端数ブロックが発生することになる。
【００４０】
［端数ブロックの処理について］
ここでは、図５を用いて、転送部７３のＤＭＡ転送によって発生する端数ブロックの処理について説明する。まず、区分加算部７４は、転送１回分に含まれる端数ブロックの個数だけ、データ領域を確保する。これらのデータ領域は加算動作に先立って初期化される。
区分加算部７４は、転送１回分のデータを取り込み、端数ブロックに分割する。図５に示す例では、転送１回当たり４つの端数ブロックが含まれるため、４つの端数ブロックに区分される。区分加算部７４は、これら端数ブロックごとにデータをデータ領域に（重み付け）加算し、暫定値を得る。この動作を画素ブロックが完全に揃う転送回数まで繰り返すことにより、ブロック別の加算値を求めることができる。
【００４１】
なお、ブロック別の加算値が完成する順番は、図５では、左側の画素ブロックからの順となる。前のブロックの加算値が出力されてから次のブロックの加算値が出力されるまでには、ブロック1辺分の転送サイクル分だけタイムラグが生じる。そこで、平均部７５（ビットシフト器、除算器、固定小数点乗算器）が、平均値算出をこの転送サイクルの期間中に完了できるなら、区分加算部７４と平均部７５とによるパイプライン処理を遅滞なく実施することが可能になる。
【００４２】
［信号処理部４３の入力バッファ４５の活用について］
ブロック平均処理部７１の前段である信号処理部４３は、入力バッファ４５を備える。この入力バッファ４５を介して縮小すべき画像を与えることにより、信号処理部４３のいずれかの信号処理と、ブロック平均処理部７１とをパイプライン式に並行処理することが可能になる。例えば、「RGB→YCbCr」や「YCbCr→RGB」のような色変換と、ブロック平均処理部７１によるブロック平均化(LPF処理と間引き)を並行処理することができる。
【００４３】
なお、ＪＰＥＧデータの伸長画像のように縮小すべき画像が「YCbCr4:2:2」の場合は、色差信号(CbとCr)をまず補間しないと色変換が行えない。このような場合は、色変換処理の前に「YCbCr4:2:2→YCbCr4:4:4」といった色差補間処理が必要になる。この色差補間回路は単純な2画素平均で良いため(画像の右端では折り返しが必要)、回路規模はさほど大きくならない。このような簡易な色差補間を先に実施することにより、その後のブロック平均化や解像度変換において、3つの信号成分をセットで処理することが可能になる。
【００４４】
［ブロック平均化前にライン数を減数する場合］
フル解像度の画像データから表示用画像データ(640×480)を作成する場合、これまでは全ての画像データをブロック平均処理部７１に入力するものと仮定してきた。画質を劣化させないためには、フル解像度の入力が好ましい。しかし、表示用画像(640×480)のような小さな画像を作成する場合に、フル解像度の入力はオーバースペックとなる場合もある。そのため、画質を多少犠牲にしても良いような場合は、適当にラインを間引いてブロック平均処理部７１の処理負荷を軽くすることが好ましい。例えば、(5×5)画素のブロック平均を行う場合は、2ライン間引いて(5×3)画素のブロック平均を求めればよい。このような処理により、ブロック平均処理部７１の処理速度を高速化することができる。なお、1ブロック内のラインが間引かれているため、ブロック平均処理のためのフィルタ係数は変更することが好ましい。
【００４５】
［クイックビュー画像の更なる高速生成について］
上述した説明では、ブロック平均化に先だって、フル解像度のYCbCr画像データを生成する場合について説明した。しかし、この順序ではクイックビュー画像(640×480)の生成が後回しになるため、クイックビュー表示がその分だけ遅れてしまう。
クイックビュー表示を早めるためには、フル解像度のYCbCr画像データの生成を待たずに、ＲＡＷデータ(RGB原色Bayer配列のデータなど)から直接にクイックビュー画像を生成することが好ましい。
【００４６】
図６は、このＲＡＷデータのブロック平均化処理を説明する図である。
まず、ブロック平均処理部７１は、色補間処理前のＲＡＷデータを取り込み、画素ブロック内の色成分別にブロック平均処理を実施する。このような処理により、高解像度画像の色補間処理を省略して、画素ブロック単位にＲＧＢ成分を揃えた平均化画像を直に生成することができる（図６［Ａ］参照）。解像度変換部７２が、この平均化画像に解像度変換を実施することにより、クイックビュー画像を高速生成することが可能になる。
【００４７】
また、図６［Ｂ］に示すように、色成分別のブロック平均処理により、ベイヤ配列データを一旦生成することもできる。この場合は、ブロック平均処理部７１から出力されるデータは、低解像度のＲＡＷデータとなる。解像度変換部７２が、この低解像度のＲＡＷデータに対して簡易な色補間処理および解像度変換処理を実施することにより、クイックビュー画像を高速生成することが可能になる。
【００４８】
尚、この場合は色補間処理の前にブロック平均処理部を配置することが好ましい。これは、図２に示すブロック平均処理部とは別の構成であり、信号処理部４３の内部構成に含めることが好ましい。
【００４９】
［実施形態の補足事項］
なお、本実施形態では、画像データを矩形や正方形に区切って画素ブロックを設定している。しかしながら、本発明は画素ブロックの形状等に限定されるものではない。画素ブロックを円形や楕円形の内側に位置する画素群から構成してもよい。また、モアレの除去効果を高めるために、画素ブロックのサイズをブロック間隔よりも大きくすることにより、隣接ブロック間で若干の重複域を設けてもよい。逆に、画像の鮮明度を高めるために、画素ブロックのサイズを小さくすることにより、隣接ブロック間に若干の隙間を設けてもよい。
【産業上の利用可能性】
【００５０】
以上説明したように、本発明は、電子カメラの画像処理などに利用可能な技術である。
【図面の簡単な説明】
【００５１】
【図１】本実施形態における電子カメラ１１のシステムブロック図である。
【図２】画像処理回路１６の内部ブロック図である。
【図３】ブロック平均化処理の一例を説明する図である。
【図４】加重平均の重み係数を示す図である。
【図５】端数ブロックの処理を説明する図である。
【図６】このＲＡＷデータのブロック平均化処理を説明する図である。
【符号の説明】
【００５２】
１１…電子カメラ，１２…撮影レンズ，１３…撮像素子，１６…画像処理回路，２１…ピクチャーバス，２２…バスインターフェース，２３…システムバス，２４…ＭＰＵ，３０…メモリカード，３５…ＳＤＲＡＭ，４３…信号処理部，４５…入力バッファ，７１…ブロック平均処理部，７２…解像度変換部，７３…転送部，７４…区分加算部，７５…平均部
【特許請求の範囲】
【請求項１】
被写体を撮像して画像データを出力する撮像部と、
前記画像データを取り込み、予め定められた画素ブロックごとに平均して、ブロック別の平均値を出力するブロック平均処理部と、
前記ブロック平均処理部から出力される前記平均値を順次取り込みながら、前記平均値に解像度変換を施す解像度変換部とを備え、
前記ブロック平均処理部による「第１段階の画素数削減」と、前記解像度変換部による「第２段階の画素数削減」とによって、段階的に縮小画像を生成する
ことを特徴とする電子カメラ。
【請求項２】
請求項１に記載の電子カメラにおいて、
前記ブロック平均処理部は、
前記画像データを前記ブロック別に区分して加算し、前記ブロック別の加算値を求める区分加算部と、
前記ブロック別の加算値を平均して前記平均値を算出する平均部とを有する
ことを特徴とする電子カメラ。
【請求項３】
請求項２に記載の電子カメラにおいて、
前記区分加算部は、前記ブロック別にデータを加算するデータ領域を複数備え、前記画像データの走査入力を前記ブロック別に区分して生じる端数ブロックを前記データ領域に加算して暫定値として残し、以後の走査入力時に前記端数ブロックの残りのデータを該データ領域の前記暫定値に加算する
ことを特徴とする電子カメラ。
【請求項４】
請求項１ないし請求項３のいずれか１項に記載の電子カメラにおいて、
前記画像データを格納するメモリと、
前記メモリから 前記画像データを所定の転送単位ごとにＤＭＡ転送して、前記ブロック平均処理部へ与える転送部を備えた
ことを特徴とする電子カメラ。
【請求項５】
請求項１ないし請求項４のいずれか１項に記載の電子カメラにおいて、
ライン数を減数した画像データを生成するライン減数部を備え、
前記ブロック平均処理部は、
ライン数を減数した画像データを、画素ブロックに区分して平均する
ことを特徴とする電子カメラ。
【請求項６】
請求項１ないし請求項５のいずれか１項に記載の電子カメラにおいて、
前記ブロック平均処理部は、前記ブロック別の加算の係数和を２のべき乗に設定し、前記ブロック別の加算値を前記係数和で除算する処理をビットシフト処理で実施する
ことを特徴とする電子カメラ。
【請求項７】
請求項１ないし請求項５のいずれか１項に記載の電子カメラにおいて、
前記ブロック平均処理部は、
前記ブロック別のデータを加算する加算器と、
前記加算器から出力される加算値に、前記加算器の係数和の逆数を乗算する固定小数点の乗算器とを備える
ことを特徴とする電子カメラ。
【請求項８】
請求項７に記載の電子カメラにおいて、
前記加算器の係数和を求め、前記係数和の逆数を算出して前記乗算器に設定する設定部を備えた
ことを特徴とする電子カメラ。
【請求項９】
請求項１ないし請求項８のいずれか１項に記載の電子カメラにおいて、
前記ブロック平均処理部は、
複数種の色成分を混在配置してなるＲＡＷデータを取り込み、前記画素ブロック内の同種の色成分ごとに平均することにより、ブロック単位に複数種の色成分を揃える
ことを特徴とする電子カメラ。
【請求項１】
被写体を撮像して画像データを出力する撮像部と、
前記画像データを取り込み、予め定められた画素ブロックごとに平均して、ブロック別の平均値を出力するブロック平均処理部と、
前記ブロック平均処理部から出力される前記平均値を順次取り込みながら、前記平均値に解像度変換を施す解像度変換部とを備え、
前記ブロック平均処理部による「第１段階の画素数削減」と、前記解像度変換部による「第２段階の画素数削減」とによって、段階的に縮小画像を生成する
ことを特徴とする電子カメラ。
【請求項２】
請求項１に記載の電子カメラにおいて、
前記ブロック平均処理部は、
前記画像データを前記ブロック別に区分して加算し、前記ブロック別の加算値を求める区分加算部と、
前記ブロック別の加算値を平均して前記平均値を算出する平均部とを有する
ことを特徴とする電子カメラ。
【請求項３】
請求項２に記載の電子カメラにおいて、
前記区分加算部は、前記ブロック別にデータを加算するデータ領域を複数備え、前記画像データの走査入力を前記ブロック別に区分して生じる端数ブロックを前記データ領域に加算して暫定値として残し、以後の走査入力時に前記端数ブロックの残りのデータを該データ領域の前記暫定値に加算する
ことを特徴とする電子カメラ。
【請求項４】
請求項１ないし請求項３のいずれか１項に記載の電子カメラにおいて、
前記画像データを格納するメモリと、
前記メモリから 前記画像データを所定の転送単位ごとにＤＭＡ転送して、前記ブロック平均処理部へ与える転送部を備えた
ことを特徴とする電子カメラ。
【請求項５】
請求項１ないし請求項４のいずれか１項に記載の電子カメラにおいて、
ライン数を減数した画像データを生成するライン減数部を備え、
前記ブロック平均処理部は、
ライン数を減数した画像データを、画素ブロックに区分して平均する
ことを特徴とする電子カメラ。
【請求項６】
請求項１ないし請求項５のいずれか１項に記載の電子カメラにおいて、
前記ブロック平均処理部は、前記ブロック別の加算の係数和を２のべき乗に設定し、前記ブロック別の加算値を前記係数和で除算する処理をビットシフト処理で実施する
ことを特徴とする電子カメラ。
【請求項７】
請求項１ないし請求項５のいずれか１項に記載の電子カメラにおいて、
前記ブロック平均処理部は、
前記ブロック別のデータを加算する加算器と、
前記加算器から出力される加算値に、前記加算器の係数和の逆数を乗算する固定小数点の乗算器とを備える
ことを特徴とする電子カメラ。
【請求項８】
請求項７に記載の電子カメラにおいて、
前記加算器の係数和を求め、前記係数和の逆数を算出して前記乗算器に設定する設定部を備えた
ことを特徴とする電子カメラ。
【請求項９】
請求項１ないし請求項８のいずれか１項に記載の電子カメラにおいて、
前記ブロック平均処理部は、
複数種の色成分を混在配置してなるＲＡＷデータを取り込み、前記画素ブロック内の同種の色成分ごとに平均することにより、ブロック単位に複数種の色成分を揃える
ことを特徴とする電子カメラ。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２００６−３０３６９３（Ｐ２００６−３０３６９３Ａ）
【公開日】平成１８年１１月２日（２００６．１１．２）
【国際特許分類】
【出願番号】特願２００５−１１９７６０（Ｐ２００５−１１９７６０）
【出願日】平成１７年４月１８日（２００５．４．１８）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成１８年１１月２日（２００６．１１．２）
【国際特許分類】
【出願日】平成１７年４月１８日（２００５．４．１８）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]