画像データサイズ変換処理装置、電子スチルカメラ、および画像データサイズ変換処理用記録媒体
【課題】画像データの色成分が有するベイヤー配列を保持してデータサイズ変換処理を行う。
【解決手段】ＣＣＤ２６は画素領域上に配置されているベイヤー方式の色分解フィルタを通して被写体像を撮像し、画像処理回路２９はＣＣＤ２６から出力されるＮ行Ｍ列の画像データに対してγ補正、ホワイトバランスなどの種々の画像前処理を行う。画像前処理後の画像データはホワイトバランス微調整処理された後、ＪＰＥＧ圧縮前のフォーマット処理（画像後処理）される。画像後処理後の画像データは圧縮回路３３で圧縮される。画像データサイズ変換回路２４０は、ホワイトバランス微調整処理後の画像データに対して、１画素とびの２画素分の同色信号を用いてリニア補間的に１画素分のデータの大きさを算出してデータサイズを変換する。サイズ変換後の画像データはｎ×ｍ（Ｎ＞ｎ，Ｍ＞ｍ）のブロック単位で信号処理する補間／輪郭処理回路２２０でフォーマット処理される。
【解決手段】ＣＣＤ２６は画素領域上に配置されているベイヤー方式の色分解フィルタを通して被写体像を撮像し、画像処理回路２９はＣＣＤ２６から出力されるＮ行Ｍ列の画像データに対してγ補正、ホワイトバランスなどの種々の画像前処理を行う。画像前処理後の画像データはホワイトバランス微調整処理された後、ＪＰＥＧ圧縮前のフォーマット処理（画像後処理）される。画像後処理後の画像データは圧縮回路３３で圧縮される。画像データサイズ変換回路２４０は、ホワイトバランス微調整処理後の画像データに対して、１画素とびの２画素分の同色信号を用いてリニア補間的に１画素分のデータの大きさを算出してデータサイズを変換する。サイズ変換後の画像データはｎ×ｍ（Ｎ＞ｎ，Ｍ＞ｍ）のブロック単位で信号処理する補間／輪郭処理回路２２０でフォーマット処理される。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、たとえば、ベイヤー方式の色分解フィルタを通して撮像された画像データのデータサイズ変換を行う画像データサイズ変換処理装置、電子スチルカメラ、および画像データサイズ変換処理プログラムが格納された記録媒体に関する。
【０００２】
【従来の技術】撮影レンズを通過する被写体像をＣＣＤなどの撮像素子を有する撮像装置で撮像し、撮像装置から出力される画像データに対して所定の画像処理を行う電子スチルカメラが知られている。このような電子スチルカメラの撮像装置には、カラー画像を撮像するために撮像素子上に色分解フィルタが設けられている。図１５は、撮像素子の画素に対応して、Ｒ色、Ｇ色、およびＢ色の原色フィルタが市松模様状に配置されているベイヤー方式の色分解フィルタを説明する図である。図１５に示されるように、ベイヤー配列では画素並びにおける水平方向および垂直方向の両方向に、同じ色成分のフィルタが１画素おきに並ぶ。このような色分解フィルタを通して撮像された画像データは、ベイヤー配列が保持されるように扱う必要がある。ベイヤー配列がくずれると、画像データから被写体の色を再現できなくなるからである。
【０００３】
【発明が解決しようとする課題】上述した画像データを縮小サイズ変換する場合に、水平方向および垂直方向にそれぞれ２画素おき、４画素おき、…というように２の倍数個の画素を間引いて画素データを読み出すと、間引きする前の画素データに対応する色成分の順序と、間引きして読み出された画素データの色成分の順序とが一致する。図１５において斜線を引いた画素は、５画素につき１画素の割合で読み出す場合の画素位置である。このように縮小サイズ変換を間引き読み出しによって行うと、２の倍数ごとに間引くような縮小倍率、すなわち、水平方向および垂直方向にそれぞれ２／４，２／６，…という固定の縮小倍率のサイズ変換しかできない。また、縮小サイズ変換後のベイヤー配列をくずさないようにしても、間引きによって空間周波数が低下し、間引きモアレが発生してしまうという問題がある。
【０００４】本発明の目的は、たとえば、ベイヤー方式のような色分解フィルタを通して撮像された画像データが有する色成分の配列をくずさずに任意の倍率で画像データサイズを変換する画像データサイズ変換処理装置、および電子スチルカメラを提供することにある。また本発明の他の目的は、色成分の配列をくずさずに任意の倍率で画像データサイズを変換する画像データサイズ変換処理を行なうプログラムを格納した記憶媒体を提供することにある。
【０００５】
【課題を解決するための手段】一実施の形態を示す図２および図４を参照して本発明を説明する。
（１）請求項１に記載の発明による画像データサイズ変換処理装置は、複数の色成分の光をそれぞれ透過する複数の色フィルタが所定の順序で配列され、被写体像を複数の色成分に色分解する色分解手段と、色分解手段により色分解された被写体像を複数の画素により撮像する撮像手段２６と、撮像手段２６から出力される画像信号をＡ／Ｄ変換するＡ／Ｄ変換手段２８と、Ａ／Ｄ変換後の画像データについて、画像データが色フィルタの配列順序に応じて有する色成分の配列順序を保持しながら、画像データを任意の縮小率または拡大率で縮小または拡大するデータサイズ変換手段２４０とを備えることにより、上述した目的を達成する。
（２）請求項２に記載の発明による電子スチルカメラは、複数の色成分の光をそれぞれ透過する複数の色フィルタが所定の順序で配列され、被写体像を複数の色成分に色分解する色分解手段と、色分解手段により色分解された被写体像を複数の画素により撮像する撮像手段２６と、撮像手段２６から出力される画像信号をＡ／Ｄ変換するＡ／Ｄ変換手段２８と、Ａ／Ｄ変換後の画像データについて、画像データが色フィルタの配列順序に応じて有する色成分の配列順序を保持しながら、画像データを任意の縮小率または拡大率で縮小または拡大するデータサイズ変換手段２４０と、データサイズ変換手段２４０による縮小または拡大後の画像データに対し、所定の画像処理を行う画像処理手段２２０とを備えることにより、上述した目的を達成する。
（３）請求項３に記載の発明による画像データサイズ変換処理記録媒体は、複数の色成分の光をそれぞれ透過する複数の色フィルタにより複数の色成分に色分解して撮像されたディジタル画像データについて、画像データが色フィルタの配列順序に応じて有する色成分の配列順序を保持しながら、画像データを任意の縮小率または拡大率で縮小または拡大するデータサイズ変換処理を行うプログラムを格納し、このプログラムを実行することにより、上述した目的を達成する。
【０００６】なお、本発明の構成を説明する上記課題を解決するための手段の項では、本発明を分かり易くするために実施の形態の図を用いたが、これにより本発明が実施の形態に限定されるものではない。
【０００７】
【発明の実施の形態】以下、図面を参照して本発明の実施の形態を説明する。
−第一の実施の形態−図１に示すように、第一の実施の形態による一眼レフ電子スチルカメラは、カメラ本体７０と、カメラ本体７０に着脱されるファインダ装置８０と、撮影レンズ９１と絞り９２を内蔵してカメラ本体７０に着脱される交換レンズ９０とを備える。被写体光は交換レンズ９０を通ってカメラ本体７０に入射し、レリーズ前は点線で示す位置にあるクイックリターンミラー７１でファインダ装置８０に導かれてファインダマット８１に結像する。その被写体像はさらに、ペンタプリズム８２で接眼レンズ８３に導かれる。レリーズ後はクイックリターンミラー７１が実線で示す位置に回動し、被写体光がシャッタ７２を介して撮像装置７３上に結像する。レリーズ前に、プリズム８４と結像レンズ８５を通る被写体像がホワイトバランスセンサ８６に入射し、ホワイトバランスセンサ８６が被写体像の色温度を検出する。
【０００８】図２は、第一の実施の形態による電子スチルカメラの回路ブロック図である。ＣＰＵ２１には、レリーズ釦に連動する半押しスイッチ２２と全押しスイッチ２３とから、半押し信号と全押し信号とがそれぞれ入力される。また、ＣＰＵ２１には、画像データのデータサイズを変換するためのリサイズスイッチ４０からの操作信号が入力される。半押し信号がＣＰＵ２１に入力されると、ＣＰＵ２１は、タイミングジェネレータ２４とドライバ２５とを介して撮像装置７３のＣＣＤ２６を駆動制御する。タイミングジェネレータ２４の出力信号により、アナログ処理回路２７とＡ／Ｄ変換回路２８の動作タイミングが制御される。さらに、ＣＰＵ２１は、ホワイトバランス検出処理回路３５を駆動制御する。ＣＣＤ２６の画素領域上には、カラーフィルタが設けられている。
【０００９】半押しスイッチ２２のオン操作に引き続いて全押しスイッチ２３がオン操作されると、クイックリターンミラー７１が上方に回動される。交換レンズ９０からの被写体光がＣＣＤ２６の受光面上で結像され、ＣＣＤ２６に被写体像の明るさに応じた信号電荷が蓄積される。ＣＣＤ２６に蓄積された信号電荷はドライバ２５により吐き出され、ＡＧＣ回路やＣＤＳ回路などを含むアナログ信号処理回路２７に入力される。アナログ信号処理回路２７は、入力されたアナログ画像信号に対してゲインコントロール、雑音除去等のアナログ処理を施す。アナログ処理後の画像信号は、Ａ／Ｄ変換回路２８によってデジタル信号に変換される。デジタル変換された画像データは、たとえば、ＡＳＩＣとして構成される画像処理回路２９に導かれ、ホワイトバランス調整、輪郭補償、ガンマ補正等の画像前処理が行われる。
【００１０】ホワイトバランス検出処理回路３５は、色温度センサであるホワイトバランスセンサ３５Ａ（図１のホワイトバランスセンサ８６）と、ホワイトバランスセンサ３５Ａからのアナログ信号をデジタル信号とするＡ／Ｄ変換回路３５Ｂと、デジタル色温度信号に基づいてホワイトバランス調整信号を生成するＣＰＵ３５Ｃとを含む。ホワイトバランスセンサ３５Ａは、たとえば、赤色Ｒと青色Ｂと緑色Ｇとにそれぞれ感度を有する複数の光電変換素子からなり、被写界全体の光像を受光する。ＣＰＵ３５Ｃは、複数の光電変換素子の出力に基づいてＲゲインとＢゲインを算出する。算出されたこれらのゲインは、ＣＰＵ２１の所定のレジスタに転送されて格納される。また、図１のホワイトバランスセンサ８６は、２４列×２０行の２次元ＣＣＤで構成することもできる。この場合には、ＣＣＤを１６の領域に分割し、Ｒ、Ｇ、Ｂ色にそれぞれ感度を有する複数個の素子を各領域ごとに配列する。
【００１１】画像前処理が行なわれたディジタル画像データに対してはさらに、リサイズスイッチ４０によって画像データサイズを変換するように設定されている場合に、画像データサイズ変換処理が行われる。リサイズ処理後の画像データは、ＪＰＥＧ圧縮のためのフォーマット処理（画像後処理）が行なわれた後、バッファメモリ３０に一時的に格納される。
【００１２】バッファメモリ３０に記憶された画像データは、表示画像作成回路３１により表示用の画像データに処理され、ＬＣＤ等の外部モニタ３２に撮影結果として表示される。また、バッファメモリ３０に記憶された画像データは、圧縮回路３３によりＪＰＥＧ方式で所定の比率にデータ圧縮を受け、コンパクトフラッシュ（登録商標）メモリカード(ＣＦカード)等の記録媒体３４に記録される。
【００１３】図３および図４は、画像処理回路２９の詳細を示すブロック図である。図３は、ＣＣＤ２６からの画像データに対してラインごとに信号処理するライン処理回路１００である。Ａ／Ｄ変換回路２８から出力される１２ビットのＲ，Ｇ，Ｂ信号に対し、上述した画像前処理を行う。図４は、ライン処理回路１００で信号処理された画像データに対してｎ×ｍ画素データごとに、すなわちブロックごとに信号処理するブロック処理回路２００である。画像データの２０×２０画素領域、１６×１６画素領域、１２×１２画素領域、あるいは８×８画素領域ごとに上述した画像後処理を行う。なお、画像処理回路２９は、複数のプロセッサを用いてソフトウエアとして実現されるが、わかりやすく説明するためにハードウエアとして説明する。
【００１４】図３において、ライン処理回路１００は、欠陥補正回路１０１と、デジタルクランプ回路１０２と、ゲイン回路１０３と、ホワイトバランス回路１０４と、黒レベル回路１０５と、γ補正回路１０６と、平均値およびヒストグラム算出回路１０７とを有する。
【００１５】欠陥補正回路１０１は、ＣＣＤ２６の出力に対して１ラインごとに点順次で、欠陥のある画素（あらかじめ特定されてそのアドレスがＣＰＵ２１内のレジスタにセットされている）からのデータを補正するものである。デジタルクランプ回路１０２は、ＣＣＤ２６の出力に対して１ラインごとに点順次で、いわゆるオプティカルブラックとして使用する複数の画素に対応する信号の加重平均を、そのラインの各画素に対応する信号から減算するものである。ゲイン回路１０３は、ＣＣＤ２６の出力に対して１ラインごとに点順次で、ＣＣＤ２６から出力されるＲ，Ｇ，Ｂ信号の各々に対して一律に所定のゲインをかけるとともに、ＣＣＤ２６の感度のばらつき補正をＧ信号に対して行ない、さらに、ＣＣＤ２６の感度比のばらつきをＲ，Ｂ信号に対して行なう。
【００１６】ホワイトバランス回路１０４は、ＣＣＤ２６の出力に対して１ラインごとに点順次で、上述したようにあらかじめ決定されてＣＰＵ２１のレジスタに格納されているホワイトバランス調整係数、すなわち、ＲゲインとＢゲインをＲ，Ｂ信号に掛合わせる。このホワイトバランス回路１０４で補正された画像データに基づいて、さらに後述するホワイトバランス微調整回路でホワイトバランスが微調整される。黒レベル回路１０５は、ＣＣＤ２６の出力に対して１ラインごとに点順次で、あらかじめ決定されてＣＰＵ２１のレジスタに格納されている値をＲ，Ｇ，Ｂ信号の各々に対して加算する。γ補正回路１０６は、ＣＣＤ２６の出力に対して１ラインごとに点順次で、階調ルックアップテーブルを用いてγ補正を行なう。なお、γ補正によりそれぞれ１２ビットのＲ，Ｇ，Ｂ信号は、８ビットのＲＧＢデータに変換される。
【００１７】平均値およびヒストグラム算出回路１０７は、γ補正後の画像データの中から、たとえば、焦点検出領域の中央部を中心とした５１２×５１２の領域の画像データを抽出し、Ｒ信号用のホワイトバランス微調整用ゲインＲＦgainとＢ信号用のホワイトバランス微調整用ゲインＢＦgainとを次式（１）,（２）により算出する。算出したＲＦgainとＢＦgainは、それぞれＣＰＵ２１のレジスタに格納される。図５は、ＣＣＤ２６の画素領域上に配置されているベイヤー方式の色分解フィルタを表す図である。たとえば、５１２×５１２の画素領域上に図５に示すような色フィルタの配列を有する場合、Ｒ，Ｇ，Ｂ信号の平均値を（３）〜（５）式で算出し、（１）,（２）式に示すように、Ｇ信号の平均値ＧaveとＲ信号の平均値Ｒaveとの比およびＧ信号の平均値ＧaveとＢ信号の平均値Ｂaveとの比からホワイトバランス微調整用ゲインＲＦgainとＢＦgainを算出する。
【００１８】
【数１】
このような平均値方式によると、画像データのＲＧＢの各信号の階調の平均値を求めたことになり、経験的にホワイトバランスの調整結果（全体的なホワイトバランス）が良好となる。
【００１９】図４において、ブロック処理回路２００は、ホワイトバランス微調整回路２１０と、画像データサイズ変換処理回路２４０と、切換え回路２５０と、補間／輪郭処理回路２２０とを有する。ホワイトバランス微調整回路２１０は、上述したγ補正回路１０６までの処理後にバッファメモリ３０に格納されているＲ信号およびＢ信号に対して、所定画素領域の各Ｒ，Ｂ信号ごとに、平均値回路１０７で算出されたホワイトバランス微調整用ゲインＲＦgainとＢＦgainをそれぞれ掛け合せてホワイトバランスの微調整を行なう。
【００２０】画像データサイズ変換処理回路２４０は、リサイズスイッチ４０によりデータサイズ変換するように設定されている場合に、間引き処理を行うことなく画像データの１撮影画面を構成するデータ数、すなわち、データサイズを変換する。データサイズ変換後の画像データは、２０×２０画素領域ごとの画像データとして出力される。本発明は、とくに、ＣＣＤ２６の画素領域上に配置されている色分解フィルタの色成分の配列に対応する色成分の順序をくずさずに、かつ、画像データが有する空間周波数が低下しないようにデータサイズ変換するところに特徴を有する。データサイズの変換の際、被写体の輪郭などの情報が保持されるのはもちろんのことである。
【００２１】第一の実施の形態では、１撮影画面を面積比で９／１６にサイズ変換する場合、すなわち、１画面の水平方向および垂直方向のデータサイズをそれぞれ３／４にリサイズする場合を例にあげて説明する。リサイズ処理は、１画素とびの近隣２画素分の同色信号のデータを用いて、リニア補間的に１画素分のデータの大きさを算出する。３／４のリサイズ処理では、４画素データにつき３画素分のデータを算出する。
【００２２】水平方向について、図５の１行目のＲＧＲＧラインを考える。たとえば、１行１列のＲ信号が得られる位置を注目画素ｎとおく。リサイズ処理後のＲ成分およびＧ成分の値は、次式（６）〜（１１）で算出される。
【数２】
Ｒ(1,1)＝｛n+(n+2)｝/2 （６）
Ｇ(1,2)＝｛(n+1)+(n+3)｝/2 （７）
Ｒ(1,3)＝｛5(n+2)+27(n+4)｝/32 （８）
Ｇ(1,4)＝｛5(n+3)+27(n+5)｝/32 （９）
Ｒ(1,5)＝｛27(n+6)+5(n+8)｝/32 （１０）
Ｇ(1,6)＝｛27(n+7)+5(n+9)｝/32 （１１）
【００２３】上式（６）〜（１１）によれば、Ｒ成分について、注目画素ｎ〜(ｎ＋８)までのグループ、すなわち、５個のＲ信号が得られる範囲にＲ(1,1),Ｒ(1,3),Ｒ(1,5)の３個のＲ成分が水平方向にほぼ等間隔で算出される。また、Ｇ成分について、注目画素(ｎ＋１)〜(ｎ＋９)までのグループ、すなわち、５個のＧ信号が得られる範囲にＧ(1,2),Ｇ(1,4),Ｇ(1,6)の３個のＧ成分が水平方向にほぼ等間隔で算出される。上式(６）〜（１１）により各色３個ずつのデータを算出すると、注目画素(ｎ＋８)を新たな注目画素ｎとおいて次のデータを算出する。したがって、上述した各５個のＲ信号およびＧ信号のグループうち、末尾の１個が次のグループの先頭に重複するので、４個から３個を算出する３／４のリサイズ処理になる。
【００２４】次に、同じく水平方向について、図５の２行目のＧＢＧＢラインを考える。２行１列のＧ信号が得られる位置を注目画素ｎとおくと、リサイズ処理後のＧ成分およびＢ成分の値が次式（１２）〜（１７）で算出される。
【数３】
Ｇ(2,1)＝｛n+(n+2)｝/2 （１２）
Ｂ(2,2)＝｛(n+1)+(n+3)｝/2 （１３）
Ｇ(2,3)＝｛5(n+2)+27(n+4)｝/32 （１４）
Ｂ(2,4)＝｛5(n+3)+27(n+5)｝/32 （１５）
Ｇ(2,5)＝｛27(n+6)+5(n+8)｝/32 （１６）
Ｂ(2,6)＝｛27(n+7)+5(n+9)｝/32 （１７）
【００２５】上式（１２）〜（１７）によれば、Ｇ成分について、注目画素ｎ〜(ｎ＋８)までのグループ、すなわち、５個のＧ信号が得られる範囲にＧ(2,1),Ｇ(2,3),Ｇ(2,5)の３個のＧ成分が水平方向にほぼ等間隔で算出される。また、Ｂ成分について、注目画素(ｎ＋１)〜(ｎ＋９)までのグループ、すなわち、５個のＢ信号が得られる範囲にＢ(2,2),Ｂ(2,4),Ｂ(2,6)の３個のＢ成分が水平方向にほぼ等間隔で算出される。上式(１２）〜（１７）により各色３個ずつのデータを算出すると、注目画素(ｎ＋８)を新たな注目画素ｎとおいて次のデータを算出する。したがって、上述した各５個のＧ信号およびＢ信号のグループうち、末尾の１個が次のグループの先頭に重複するので、４個から３個を算出する３／４のリサイズ処理になる。サイズ変換前のＲＧＲＧラインおよびＧＢＧＢラインは、サイズ変換後もそれぞれＲＧＲＧラインおよびＧＢＧＢラインとなり、リサイズ処理前後で色成分の配列順序が同じである。
【００２６】水平方向についてリサイズ処理された画像データに対して、垂直方向についても同様の処理を行う。上述したようにリサイズ処理前後で色成分の配列順序が同じであることから、図５を参照して説明する。図５において、１列目のＲＧＲＧラインにおける１行１列のＲ信号が得られる位置を注目画素ｍとおくと、リサイズ処理後のＲ成分およびＧ成分の値が次式（１８）〜（２３）で算出される。
【数４】
Ｒ(1,1)＝｛m+(m+2)｝/2 （１８）
Ｇ(2,1)＝｛(m+1)+(m+3)｝/2 （１９）
Ｒ(3,1)＝｛5(m+2)+27(m+4)｝/32 （２０）
Ｇ(4,1)＝｛5(m+3)+27(m+5)｝/32 （２１）
Ｒ(5,1)＝｛27(m+6)+5(m+8)｝/32 （２２）
Ｇ(6,1)＝｛27(m+7)+5(m+9)｝/32 （２３）
【００２７】上式（１８）〜（２３）によれば、Ｒ成分について、注目画素ｍ〜(ｍ＋８)までのグループ、すなわち、５個のＲ信号が得られる範囲にＲ(1,1),Ｒ(3,1),Ｒ(5,1)の３個のＲ成分が垂直方向にほぼ等間隔で算出される。また、Ｇ成分について、注目画素(ｍ＋１)〜(ｍ＋９)までのグループ、すなわち、５個のＧ信号が得られる範囲にＧ(2,1),Ｇ(4,1),Ｇ(6,1)の３個のＧ成分が垂直方向にほぼ等間隔で算出される。上式(１８）〜（２３）により各色３個ずつのデータを算出すると、注目画素(ｍ＋８)を新たな注目画素ｍとおいて次のデータを算出する。したがって、上述した各５個のＲ信号およびＧ信号のグループうち、末尾の１個が次のグループの先頭に重複するので、４個から３個を算出する３／４のリサイズ処理になる。
【００２８】同じく垂直方向について、図５の２列目のＧＢＧＢラインを考える。１行２列のＧ信号が得られる位置を注目画素ｍとおくと、リサイズ処理後のＧ成分およびＢ成分の値は、次式（２４）〜（２９）で算出される。
【数５】
Ｇ(1,2)＝｛m+(m+2)｝/2 （２４）
Ｂ(2,2)＝｛(m+1)+(m+3)｝/2 （２５）
Ｇ(3,2)＝｛5(m+2)+27(m+4)｝/32 （２６）
Ｂ(4,2)＝｛5(m+3)+27(m+5)｝/32 （２７）
Ｇ(5,2)＝｛27(m+6)+5(m+8)｝/32 （２８）
Ｂ(6,2)＝｛27(m+7)+5(m+9)｝/32 （２９）
【００２９】上式（２４）〜（２９）によれば、Ｇ成分について、注目画素ｍ〜(ｍ＋８)までのグループ、すなわち、５個のＧ信号が得られる範囲にＧ(1,2),Ｇ(3,2),Ｇ(5,2)の３個のＧ成分が垂直方向にほぼ等間隔で算出される。また、Ｂ成分について、注目画素(ｍ＋１)〜(ｍ＋９)までのグループ、すなわち、５個のＢ信号が得られる範囲にＢ(2,2),Ｂ(4,2),Ｂ(6,2)の３個のＢ成分が垂直方向にほぼ等間隔で算出される。上式(２４）〜（２９）により各色３個ずつのデータを算出すると、注目画素(ｎ＋８)を新たな注目画素ｎとおいて次のデータを算出する。したがって、上述した各５個のＧ信号およびＢ信号のグループうち、末尾の１個が次のグループの先頭に重複するので、４個から３個を算出する３／４のリサイズ処理になる。サイズ変換前のＲＧＲＧラインおよびＧＢＧＢラインは、サイズ変換後もそれぞれＲＧＲＧラインおよびＧＢＧＢラインとなり、リサイズ処理前後で色成分の配列順序が同じである。
【００３０】以上説明したように、水平方向および垂直方向に対して各々３／４にリサイズ処理を行うことにより、１撮影画面を構成するデータ数を９／１６のサイズに変換できる。なお、わかりやすく説明するために水平方向および垂直方向の算出処理を別々に行うように説明したが、両方向の算出処理をマトリクス演算としてまとめて行うようにしてもよい。両方向についてそれぞれ単独で算出する場合と、まとめて算出する場合とで算出される結果は同じである。
【００３１】切換え回路２５０は、ＣＰＵ２１(図２)の指令により、ホワイトバランス微調整回路２１０から順次出力される２０×２０画素領域の画像データと、画像データサイズ変換処理回路２４０から順次出力される２０×２０画素領域の画像データのいずれか一方を補間／輪郭処理回路２２０へ出力する。
【００３２】補間／輪郭処理回路２２０は、ホワイトバランス微調整後の画像データ、または画像データサイズ変換処理後の画像データに対し、２０×２０画素領域のブロックデータごとに、ＪＰＥＧ方式のデータ圧縮のためのフォーマット処理を行う。フォーマット処理の結果、１６×８画素領域のＹ信号と、８×８画素領域のＣｂ信号と、８×８画素領域のＣｒ信号とが生成される。輝度信号Ｙは、後述するようにＧ信号の低周波数成分の輝度信号Ｙ１と高周波数成分の輪郭信号Ｙ２とを含むものである。
【００３３】補間／輪郭処理回路２２０は、Ｇ補間回路２２１と、バンドパスフィルタ（ＢＰＦ）２２２と、クリップ回路２２３と、ゲイン回路２２４と、ローパスフィルタ（ＬＰＦ）２２５と、色差信号生成回路２２６と、補間／ローパスフィルタ（ＬＰＦ）回路２２８と、マトリックス回路２２９と、加算器２３０と、メディアン回路２３２とを有する。
【００３４】Ｇ補間回路２２１は、ホワイトバランス微調整回路２１０、または画像データサイズ変換処理回路２４０から入力される画像データに対し、２０×２０画素領域のブロック信号ごとに、その中心の１６×１６画素領域のデータについて、Ｒ信号あるいはＢ信号の画素領域に対してＧ成分を補間演算で算出する。すなわち、図６に示すように、２０×２０画素領域の入力データＤ２０について、５×５画素領域データＤ５１（１行１列〜５行５列）の中央の空格子点（３行３列の画素であり、Ｂ信号が得られる）のＧ成分を算出し、この値を１６×１６画素領域の出力データＤ１６の３行３列の画素（Ｂを○で囲ったもの）のＧ成分として置換する。
【００３５】次いで、２０×２０画素領域の入力データＤ２０について、５×５画素領域データＤ５２（２行２列〜６行６列）の中央の空格子点（４行４列の画素であり、Ｒ信号が得られる）のＧ成分を算出し、この値を１６×１６画素領域の出力データＤ１６の４行４列の画素（Ｒを○で囲ったもの）のＧ成分に置換する。このような処理を繰り返し行なうことにより、１６×１６画素領域のすべての空格子点についてＧ補間処理が行われ、出力データＤ１６を得る。そして、そのうちの１２×１２画素領域の出力データＤ１２をバンドパスフィルタ２２２とローパスフィルタ２２５にそれぞれ出力する一方、１６×１６画素領域の出力データＤ１６を色差信号生成回路２２６に出力する。
【００３６】バンドパスフィルタ２２２は、Ｇ補間回路２２１から出力される１２×１２画素領域のＧ信号のうち中間周波数成分（ただし、被写体の輪郭が抽出できる程度に高い周波数成分であり、便宜上、高周波数成分と呼ぶ）を取り出す。すなわち、図７に示すように、１２×１２画素領域の入力データＤ１２について、５×５画素領域データＤ５（５行５列〜９行９列）にバンドパスフィルタ係数を掛け合せてＢＰＦ出力データを得、その値を８×８画素領域の出力データＤ８の７行７列のデータ（太字Ｇ）として置換する。このような処理を繰り返すことで８×８画素領域のすべての画素データをＢＰＦ後のＧデータに置換し、出力データＤ８を生成する。
【００３７】クリップ回路２２３は、バンドパスフィルタ２２２から出力される８×８画素領域データＤ８のそれぞれを、設定したレベルでクリップおよびカットする。ゲイン回路２２４は、クリップ回路２２３の出力にあらかじめ定められたゲインを掛ける。
【００３８】ローパスフィルタ２２５は、Ｇ補間回路２２１から出力される１２×１２画素領域のＧ信号のうち低周波数成分を取り出す。すなわち、図８に示すように、１２×１２画素領域の入力データＤ１２について、５×５画素領域データＤ５（５行５列〜９行９列）にローパスフィルタ係数を掛け合せてＬＰＦ出力データを得、その値を８×８画素領域の出力データＤ８の７行７列のデータ（ハッチング領域）として置換する。このような処理を繰り返すことで８×８画素領域のすべての画素データをＬＰＦ後のＧデータに置換し、出力データＤ８を生成する。
【００３９】色差信号生成回路２２６は、図９に示すように、ホワイトバランス微調整回路２１０、または画像データサイズ変換処理回路２４０から入力される画像データのうち１６×１６画素領域のＲＧＢ信号入力データＤ１６−１と、Ｇ補間回路２２１から出力される１６×１６画素領域のＧ信号入力データＤ１６−２とに基づいて、（Ｂ−Ｇ）信号と（Ｒ−Ｇ）信号とを含む中間データＤ１６−３を生成する。さらに、中間データＤ１６−３を（Ｂ−Ｇ）色差信号の出力データＤ１６−４と（Ｒ−Ｇ）色差信号の出力データＤ１６−５とに分離する。
【００４０】補間／ＬＰＦ回路２２８は、色差信号生成回路２２６から出力される１６×１６画素領域の８ビットの（Ｂ−Ｇ）信号と（Ｒ−Ｇ）信号とをそれぞれ入力して、５×５画素領域ごとに（Ｂ−Ｇ）信号と（Ｒ−Ｇ）信号とをそれぞれ補間演算するとともに、同時に低帯域信号を取り出すローパスフィルタリング処理も行ない、その結果である１２×１２画素領域の（Ｂ−Ｇ）信号と（Ｒ−Ｇ）信号とをマトリックス回路２２９のＣｂ，Ｃｒマトリックス部へ出力する。また、８×８画素領域の（Ｂ−Ｇ）信号と（Ｒ−Ｇ）信号とをマトリックス回路２２９のＹマトリックス部へ出力する。
【００４１】５×５画素領域の（Ｒ−Ｇ）データを図１０のように表わすとき、上記補間演算とローパスフィルタリング処理演算は次式（３０）で表わされる。
【数６】
【００４２】一般に、補間フィルタと帯域制限のＬＰＦを同時にかける場合には次のようなフィルタ係数の制限がある。簡単のために１次元で説明する。補間後のサンプル点のうち、Ｎ周期で実サンプル点がある場合を考える。たとえば、ａ，ａ，ｂ，ｂ，ａ，ａ，ｂ，ｂ，・・・・・・・・（ただし、ａは実サンプル点、ｂは補間するサンプル点とする。なお、この例では４周期である）の場合である。。これを（２ｎ＋１）次（ただし、（２ｎ＋１）はＮより大きい）の奇数次対称型デジタルフィルタで補間する場合、実サンプル点が一様であれば、補間後のサンプル点も一様であることが必要とされ、以下のようなフィルタ係数の制限がある。
【００４３】Ｃ（ｋ）をｋ番目のフィルタ係数とすると、以下のようにＮ個存在する係数の組の和が互に等しくなくてはならない。
【数７】
ただし、ｉはフィルタ係数が（２ｎ＋１）以下に収まる０以上の整数であり、ｋはｎ未満の０以上の整数である。
【００４４】２次元の場合は、水平方向と垂直方向に同様の制限のフィルタを掛合わせて２次元フィルタを構成すればよい。この実施の形態では、図５と図１０に示すように２画素周期のサンプル点を補間するので、Ｎ＝２であり、フィルタ係数は偶数次の和と奇数次の和が等しくなければならない。すなわち、ΣＣ（２＊ｉ）＝ΣＣ（２＊ｉ＋１）
２次元で上記（５４）式のような５次×５次の対称型フィルタの場合は、４＊ｋｃ１＋２＊ｋｃ３＋４＊ｋｃ５＋２＊ｋｃ７＋ｋｃ９＝４＊ｋｃ２＋４＊ｋｃ４＋２＊ｋｃ６＋２＊ｋｃ８となる。
【００４５】たとえば、図１１を参照して（Ｒ−Ｇ）信号の補間／ＬＰＦ処理について説明する。１６×１６画素領域の入力データＤ１６の（Ｒ−Ｇ）信号について、５×５画素領域データＤ５（３行３列〜７行７列）に補間／ＬＰＦフィルタ係数を掛け合せ、その中央領域（５行５列）の（Ｒ−Ｇ）データを算出し、これを１２×１２画素領域の出力データＤ１２の５行５列のデータとして置換する。このような処理を繰り返すことで（Ｒ−Ｇ）信号について１２×１２画素領域のすべての画素データを補間／ＬＰＦ処理し、出力データＤ１２を得る。（Ｂ−Ｇ）信号についても同様な処理を行なって、１２×１２画素領域の出力データを生成する。
【００４６】マトリックス回路２２９は、Ｙマトリックス部と、Ｃｂマトリックス部と、Ｃｒマトリックス部とから構成される。Ｙマトリックス部は、補間／ＬＰＦ回路２２８から８×８画素領域の（Ｂ−Ｇ）信号と（Ｒ−Ｇ）信号を入力するとともに、ローパスフィルタ２２５から８×８画素領域のＧ信号を入力し、次式（３１）により８×８画素領域の低周波数成分の輝度信号Ｙ１を生成する。
【数８】
Ｙ１（ｉ,ｊ）＝[Mkg×G(i,j)+Mkr1×R-G(i,j)+Mkb1×B-G(i,j)] （３１）
ただし、Ｍｋｇ、Ｍｋｒ１、Ｍｋｂ１はマトリックス係数である。
【００４７】Ｃｂマトリックス部およびＣｒマトリックス部はそれぞれ、補間／ＬＰＦ回路２２８から１２×１２画素領域の（Ｂ−Ｇ）信号と（Ｒ−Ｇ）信号を各々入力し、次式（３２）,（３３）により１２×１２画素領域のＣｂ信号とＣｒ信号とを生成する。
【数９】
Ｃｒ（ｉ,ｊ）＝[Mkr2×R-G(i,j)+Mkb2×B-G(i,j)] （３２）
Ｃｂ（ｉ,ｊ）＝[Mkr3×R-G(i,j)+Mkb3×B-G(i,j)] （３３）
ただし、Ｍｋｒ２、Ｍｋｒ３、Ｍｋｂ２、Ｍｋｂ３はマトリックス係数である。
【００４８】加算器２３０は、マトリックス回路２２９から出力される８×８画素領域の低周波数成分の輝度信号Ｙ１と、ゲイン回路２２４から出力される８×８画素領域の高周波数成分の輪郭抽出信号Ｙ２とを加算する。ゲイン回路２２４から出力される輪郭抽出信号Ｙ２は、Ｇ補間された１６×１６画素領域のＧ信号から高周波数成分を抽出したもの、すなわち輪郭を抽出したものである。したがって、加算器２３０において上式（３１）で算出される輝度信号Ｙ１と、ゲイン回路２２４で算出される輪郭抽出信号Ｙ２とを加算することにより、画像全体の輝度／輪郭抽出信号Ｙ（Ｙ１＋Ｙ２）が算出される。この加算結果は、バッファメモリ３０に格納される。
【００４９】メディアン回路２３３は、マトリックス回路２２９からの１２×１２画素領域のＣｂ信号とＣｒ信号とを入力し、５×５画素領域に含まれる３×３画素の９点を利用したメディアン処理を行ない、８×８画素のＣｒ信号とＣｂ信号とを出力する。
【００５０】この実施の形態のメディアン処理では、図１２に示すように、１２×１２画素のデータＤ１２（データは黒点印）のうち、５×５画素領域に含まれる３×３画素（５行５列〜９行９列）のデータＤ３−５の９個のデータ（×印）に対してメディアンフィルタ処理を行なう。すなわち、９個のデータを昇順もしくは降順にソートして中央値をメディアン処理データとする。そして、得られたメディアン処理データを、８×８画素の出力データＤ８の７行７列のデータとして置換する。このような演算を繰り返して行なうことにより、Ｃｂ，Ｃｒ信号のそれぞれについて、８×８画素の出力データＤ８を生成する。Ｃｒ信号とＣｂ信号の出力データＤ８は、バッファメモリ３０に格納される。
【００５１】ＪＰＥＧ圧縮回路３３は、上述したようにブロック処理回路２００に入力された２０×２０画素領域ごとの入力データに対して、加算回路２３０により生成される１６×８画素のＹ信号と、メディアン回路２３２により生成される８×８画素のＣｒ信号とＣｂ信号とに基づいて、ＪＰＥＧ圧縮方式の８×８画素にフォーマット化されたＹ、Ｃｒ、Ｃｂ信号を１単位として抽出し、周知の手順により圧縮することを繰り返し行ってすべての画像を圧縮する。圧縮された画像データは、ＣＰＵ２１を経由して記録媒体３４に記憶される。
【００５２】このように構成された電子スチルカメラの動作について説明する。全押しスイッチ２３が操作されると、クイックリターンミラーが跳ね上がり、図１３に示す撮影シーケンスのプログラムが起動される。ステップＳ２１において、ＣＣＤ２６の各画素が信号電荷を蓄積し、蓄積終了後、全画素の蓄積電荷が順次吐き出される。ステップＳ２２において、吐き出された画像信号がアナログ信号処理回路２７で処理された後、Ａ／Ｄ変換回路２８でデジタル画像データに変換される。ステップＳ２３において、画像データが画像処理回路２９に入力され、上述した画像処理が行われる。画像処理回路２９は、ホワイトバランス調整、γ階調補正、画像データサイズ変換処理、ＪＰＥＧフォーマット化処理などを行う。画像処理が終了するとステップＳ２４に進み、画像処理後の画像データをいったんバッファメモリ３０に記憶する。ステップＳ２５において、バッファメモリ３０から画像データを読み込んでＪＰＥＧ圧縮回路３３でデータを圧縮する。ステップＳ２６において、圧縮した画像データを記録媒体３４に記憶して図１３の処理を終了する。
【００５３】以上説明したように第一の実施の形態によれば、次のような作用効果が得られる。
（１）補間／輪郭処理回路２２０内のＧ補間回路２２１でＧ補間処理する前のディジタル画像データに対して、画像データサイズ変換処理回路２４０がリサイズ処理を行うようにした。たとえば、補間／輪郭処理回路２２０でフォーマット処理が行われた後からリサイズ処理を行う場合、フォーマット処理によって算出されるＹ信号と、Ｃｂ信号と、Ｃｒ信号との３画面分の画像データのそれぞれに対してリサイズ処理が必要である。第一の実施の形態では、Ｒ、Ｇ、Ｂ信号を有する１画面分の画像データに対してのみリサイズ処理を行えばよい。したがって、Ｙ信号、Ｃｂ信号およびＣｒ信号の３画面分のリサイズ処理を行う場合に比べて、処理時間と処理に必要なメモリ容量を大幅に削減することができる。
（２）画像データの色成分、すなわち、Ｒ、Ｇ、Ｂ信号が有するベイヤーの配列は、画像データサイズ変換処理回路２４０がリサイズ処理を行う前後で保持される。したがって、補間／輪郭処理回路２２０は、リサイズ処理の有無に関係なく、上述したようにｎ×ｍ（ｎ，ｍ＝２０，１６，１２，８）画素を１つのブロック単位としてブロック処理を行うことができる。つまり、画像データサイズ変換処理回路２４０は、既存の電子スチルカメラの回路ブロックに変更を加えることなく、後から容易に追加することができる。
（３）画像データサイズ変換処理回路２４０は、１画素とびの２画素分の同色信号を用いてリニア補間的に１画素分のデータの大きさを算出してデータサイズを縮小するようにした。したがって、間引き処理によってデータサイズを変換する場合と異なり、任意の倍率で縮小サイズ変換することができる。また、リニア補間的算出によって偽色の発生や空間周波数の低下が抑制されるので、間引きモアレのない高品質のリサイズ画像が得られる。
【００５４】上述したリサイズ処理では、１画素とびの近隣２画素分の同色信号のデータを用いて、１画素分のデータの大きさをリニア補間的に算出した。１画素とびの近隣５画素もしくは６画素分の同色信号のデータを用いて、Sinc関数ベースの補間処理を行うようにしてもよい。図５を参照して説明すると、たとえば、水平方向および垂直方向の両方向にそれぞれ３／４のリサイズ処理を行う場合に１行１列のＲ信号が得られる位置を注目画素ｎとおくと、水平方向におけるリサイズ処理後のＲ成分およびＧ成分の値は、次式（３４）〜（３９）で与えられる。
【数１０】
Ｒ(1,1)＝｛-3n-4(n+2)+70(n+4)+70(n+6)-4(n+8)-3(n+10)｝/128 （３４）
Ｇ(1,2)＝｛-3(n+1)-4(n+3)+70(n+5)+70(n+7)-4(n+9)-3(n+11)｝/128 （３５）
Ｒ(1,3)＝｛-10(n+4)+42(n+6)+88(n+8)+16(n+10)-8(n+12)｝/128 （３６）
Ｇ(1,4)＝｛-10(n+5)+42(n+7)+88(n+9)+16(n+11)-8(n+13)｝/128 （３７）
Ｒ(1,5)＝｛-8(n+6)+16(n+8)+88(n+10)+42(n+12)-10(n+14)｝/128 （３８）
Ｇ(1,6)＝｛-8(n+7)+16(n+9)+88(n+11)+42(n+13)-10(n+15)｝/128 （３９）
【００５５】上式（３４）〜（３９）によれば、Ｒ成分について、注目画素(ｎ＋４)〜(ｎ＋１０)までの４個のＲ信号が得られる範囲に、Ｒ(1,1),Ｒ(1,3),Ｒ(1,5)の３個のＲ成分が水平方向にほぼ等間隔で算出される。また、Ｇ成分について、注目画素(ｎ＋５)〜(ｎ＋１１)までの４個のＧ信号が得られる範囲に、Ｇ(1,2),Ｇ(1,4),Ｇ(1,6)までの３個のＧ成分が水平方向にほぼ等間隔で算出される。上式(３４）〜（３９）により各色３個ずつのデータを算出すると、注目画素(ｎ＋８)を新たな注目画素ｎとおいて次のデータを算出する。水平方向のＧＢＧＢラインについても同様に算出する。サイズ変換前のＲＧＲＧラインおよびＧＢＧＢラインは、サイズ変換後もそれぞれＲＧＲＧラインおよびＧＢＧＢラインとなり、リサイズ処理前後で色成分の配列順序が同じである。
【００５６】水平方向についてリサイズ処理された画像データに対して、垂直方向についても同様の処理を行う。図５において、１列目のＲＧＲＧラインにおける１行１列のＲ信号が得られる位置を注目画素ｍとおくと、リサイズ処理後のＲ成分およびＧ成分の値が次式（４０）〜（４５）で算出される。
【数１１】
Ｒ(1,1)＝｛-3m-4(m+2)+70(m+4)+70(m+6)-4(m+8)-3(m+10)｝/128 （４０）
Ｇ(2,1)＝｛-3(m+1)-4(m+3)+70(m+5)+70(m+7)-4(m+9)-3(m+11)｝/128 （４１）
Ｒ(3,1)＝｛-10(m+4)+42(m+6)+88(m+8)+16(m+10)-8(m+12)｝/128 （４２）
Ｇ(4,1)＝｛-10(m+5)+42(m+7)+88(m+9)+16(m+11)-8(m+13)｝/128 （４３）
Ｒ(5,1)＝｛-8(m+6)+16(m+8)+88(m+10)+42(m+12)-10(m+14)｝/128 （４４）
Ｇ(6,1)＝｛-8(m+7)+16(m+9)+88(m+11)+42(m+13)-10(m+15)｝/128 （４５）
【００５７】同様にして、垂直方向のＧＢＧＢラインについても算出すれば、水平方向および垂直方向のそれぞれを３／４に、すなわち、１撮影画面を構成するデータ数を９／１６のサイズに変換できる。なお、わかりやすく説明するために水平方向および垂直方向の算出処理を別々に行うように説明したが、両方向の算出処理をマトリクス演算としてまとめて行うようにしてもよい。両方向についてそれぞれ単独で算出する場合と、まとめて算出する場合とで算出される結果は同じである。
【００５８】−第二の実施の形態−第二の実施の形態では、１撮影画面を面積比で９／４にサイズ変換する場合、すなわち、１画面の水平方向および垂直方向のデータサイズをそれぞれ３／２にリサイズする場合を例にあげて説明する。リサイズ処理は、１画素とびの近隣２画素分の同色信号のデータを用いて、リニア補間的に１画素分のデータの大きさを算出する。３／２のリサイズ処理では、２画素データにつき３画素分のデータを算出する。
【００５９】水平方向について、図５の１行目のＲＧＲＧラインを考える。たとえば、１行１列のＲ信号が得られる位置を注目画素ｎとおく。リサイズ処理後のＲ成分およびＧ成分の値は、次式（４６）〜（５１）で算出される。
【数１２】
Ｒ(1,1)＝｛64n+64(n+2)｝/128 （４６）
Ｇ(1,2)＝｛64(n+1)+64(n+3)｝/128 （４７）
Ｒ(1,3)＝｛108(n+2)+20(n+4)｝/128 （４８）
Ｇ(1,4)＝｛108(n+3)+20(n+5)｝/128 （４９）
Ｒ(1,5)＝｛20(n+2)+108(n+4)｝/128 （５０）
Ｇ(1,6)＝｛20(n+3)+108(n+5)｝/128 （５１）
【００６０】上式（４６）〜（５１）によれば、Ｒ成分について、注目画素ｎ〜(ｎ＋４)までのグループ、すなわち、３個のＲ信号が得られる範囲にＲ(1,1),Ｒ(1,3),Ｒ(1,5)の３個のＲ成分が水平方向にほぼ等間隔で算出される。また、Ｇ成分について、注目画素(ｎ＋１)〜(ｎ＋５)までのグループ、すなわち、３個のＧ信号が得られる範囲にＧ(1,2),Ｇ(1,4),Ｇ(1,6)の３個のＧ成分が水平方向にほぼ等間隔で算出される。上式(４６）〜（５１）により各色３個ずつのデータを算出すると、注目画素(ｎ＋４)を新たな注目画素ｎとおいて次のデータを算出する。したがって、上述した各３個のＲ信号およびＧ信号のグループうち、末尾の１個が次のグループの先頭に重複するので、２個から３個を算出する３／２のリサイズ処理になる。水平方向のＧＢＧＢラインについても同様に算出する。サイズ変換前のＲＧＲＧラインおよびＧＢＧＢラインは、サイズ変換後もそれぞれＲＧＲＧラインおよびＧＢＧＢラインとなり、リサイズ処理前後で色成分の配列順序が同じである。
【００６１】水平方向についてリサイズ処理された画像データに対して、垂直方向についても同様の処理を行う。図５において、１列目のＲＧＲＧラインにおける１行１列のＲ信号が得られる位置を注目画素ｍとおくと、リサイズ処理後のＲ成分およびＧ成分の値が次式（５２）〜（５７）で算出される。
【数１３】
Ｒ(1,1)＝｛64m+64(m+2)｝/128 （５２）
Ｇ(2,1)＝｛64(m+1)+64(m+3)｝/128 （５３）
Ｒ(3,1)＝｛108(m+2)+20(m+4)｝/128 （５４）
Ｇ(4,1)＝｛108(m+3)+20(m+5)｝/128 （５５）
Ｒ(5,1)＝｛20(m+2)+108(m+4)｝/128 （５６）
Ｇ(6,1)＝｛20(m+3)+108(m+5)｝/128 （５７）
【００６２】上式(５２）〜（５７）により各色３個ずつのデータを算出すると、注目画素(ｎ＋４)を新たな注目画素ｍとおいて次のデータを算出する。同様にして、垂直方向のＧＢＧＢラインについても算出すれば、水平方向および垂直方向のそれぞれを３／２に、すなわち、１撮影画面を構成するデータ数を９／４のサイズに変換できる。なお、わかりやすく説明するために水平方向および垂直方向の算出処理を別々に行うように説明したが、両方向の算出処理をマトリクス演算としてまとめて行うようにしてもよい。両方向についてそれぞれ単独で算出する場合と、まとめて算出する場合とで算出される結果は同じである。
【００６３】以上説明したように第二の実施の形態によれば、画像データサイズ変換処理回路２４０が１画素とびの２画素分の同色信号を用いて、リニア補間的に１画素分のデータの大きさを算出するようにしたので、画像データサイズを拡大することができる。また、拡大倍率も任意である。さらに、リニア補間的算出によって偽色の発生や空間周波数の低下が抑制されるので、リサイズ後の画像品質が劣化しない。
【００６４】上述したリサイズ処理では、１画素とびの近隣２画素分の同色信号のデータを用いて、１画素分のデータの大きさをリニア補間的に算出した。１画素とびの近隣４画素分の同色信号のデータを用いて、Sinc関数ベースの補間処理を行うようにしてもよい。図５を参照して説明すると、たとえば、水平方向および垂直方向の両方向にそれぞれ３／２のリサイズ処理を行う場合に、１行１列のＲ信号が得られる位置を注目画素ｎとおくと、水平方向におけるリサイズ処理後のＲ成分およびＧ成分の値は、次式（５８）〜（６３）で与えられる。
【数１４】
Ｒ(1,1)＝｛-12n+76(n+2)+76(n+4)-12(n+6)｝/128 （５８）
Ｇ(1,2)＝｛-12(n+1)+76(n+3)+76(n+5)-12(n+7)｝/128 （５９）
Ｒ(1,3)＝｛-11(n+2)+122(n+4)+19(n+6)-2(n+8)｝/128 （６０）
Ｇ(1,4)＝｛-11(n+3)+122(n+5)+19(n+7)-2(n+9)｝/128 （６１）
Ｒ(1,5)＝｛-2(n+2)+19(n+4)+122(n+6)-11(n+8)｝/128 （６２）
Ｇ(1,6)＝｛-2(n+3)+19(n+5)+122(n+7)-11(n+9)｝/128 （６３）
【００６５】上式（５８）〜（６３）によれば、Ｒ成分について、注目画素(ｎ＋２)〜(ｎ＋６)までの３個のＲ信号が得られる範囲に、Ｒ(1,1),Ｒ(1,3),Ｒ(1,5)の３個のＲ成分が水平方向にほぼ等間隔で算出される。また、Ｇ成分について、注目画素(ｎ＋３)〜(ｎ＋７)までの３個のＧ信号が得られる範囲に、Ｇ(1,2),Ｇ(1,4),Ｇ(1,6)までの３個のＧ成分が水平方向にほぼ等間隔で算出される。上式(５８）〜（６３）により各色３個ずつのデータを算出すると、注目画素(ｎ＋４)を新たな注目画素ｎとおいて次のデータを算出する。したがって、上述した各３個のＲ信号およびＧ信号のグループうち、末尾の１個が次のグループの先頭に重複するので、２個から３個を算出する３／２のリサイズ処理になる。水平方向のＧＢＧＢラインについても同様に算出する。サイズ変換前のＲＧＲＧラインおよびＧＢＧＢラインは、サイズ変換後もそれぞれＲＧＲＧラインおよびＧＢＧＢラインとなり、リサイズ処理前後で色成分の配列順序が同じである。
【００６６】水平方向についてリサイズ処理された画像データに対して、垂直方向についても同様の処理を行う。図５において、１列目のＲＧＲＧラインにおける１行１列のＲ信号が得られる位置を注目画素ｍとおくと、リサイズ処理後のＲ成分およびＧ成分の値が次式（６４）〜（６９）で算出される。
【数１５】
Ｒ(1,1)＝｛-12m+76(m+2)+76(m+4)-12(m+6)｝/128 （６４）
Ｇ(2,1)＝｛-12(m+1)+76(m+3)+76(m+5)-12(m+7)｝/128 （６５）
Ｒ(3,1)＝｛-11(m+2)+122(m+4)+19(m+6)-2(m+8)｝/128 （６６）
Ｇ(4,1)＝｛-11(m+3)+122(m+5)+19(m+7)-2(m+9)｝/128 （６７）
Ｒ(5,1)＝｛-2(m+2)+19(m+4)+122(m+6)-11(m+8)｝/128 （６８）
Ｇ(6,1)＝｛-2(m+3)+19(m+5)+122(m+7)-11(m+9)｝/128 （６９）
【００６７】同様にして、垂直方向のＧＢＧＢラインについても算出すれば、水平方向および垂直方向のそれぞれを３／２に、すなわち、１撮影画面を構成するデータ数を９／４のサイズに変換できる。なお、わかりやすく説明するために水平方向および垂直方向の算出処理を別々に行うように説明したが、両方向の算出処理をマトリクス演算としてまとめて行うようにしてもよい。両方向についてそれぞれ単独で算出する場合と、まとめて算出する場合とで算出される結果は同じである。
【００６８】以上の説明では、ベイヤー方式の色分解フィルタが用いられる場合について説明したが、補色フィルタ配列方式の場合でも本発明を適用することが可能である。図１４は、ＣＣＤ２６の画素に対応して、Ｇ色、Ｙe色、Ｃy色およびＭa色の補色フィルタが配置されている色分解フィルタを説明する図である。このように、画素並びにおける水平方向および垂直方向の両方向に同じ色成分のフィルタが１画素おきに並ぶ場合に、上述した各式によりリサイズ処理を行うことができる。
【００６９】なお、１撮影画面を構成するデータ全体が、たとえば、Ｇ成分で構成されるような単色の画像データに対しても本発明を適用できる。
【００７０】上述した第一の実施の形態では面積比で９／１６倍に縮小リサイズ処理する場合を説明し、第二の実施の形態では面積比で９／４倍に拡大リサイズ処理する場合を説明した。本発明によるリサイズ処理は、単純な間引き処理とは異なり、リサイズ倍率を任意に設定することが可能である。したがって、リサイズ倍率は上記の説明による倍率に限定されず、任意の値を設定してよい。
【００７１】以上の実施の形態では電子スチルカメラについて説明したが、画像データサイズ変換処理回路２４０をソフトウエアの形態でＣＤ−ＲＯＭやフロッピデイスクなどの記録媒体に画像データサイズ変換処理プログラムとして格納し、パソコンでリサイズ処理する際に使用することもできる。この場合、ＣＣＤで撮像してデジタル化された画像データを大容量の画像データ用記録媒体に記憶し、この記録媒体をパソコンにセットして画像データを取込んだ上で、上記画像データサイズ変換処理プログラムにより上述のようなリサイズ処理を行うようにする。たとえば、図３において、γ補正回路１０６のＲ、Ｇ、Ｂ出力データを生データとして記録媒体３４に記憶し、その記録媒体３４をパソコンにセットして生データに対するリサイズ処理を行なうことができる。
【００７２】上述した画像データサイズ変換処理プログラムが格納された記憶媒体からプログラムをパソコンで読込む代わりに、インターネットなどの伝送媒体を利用して上述した画像データサイズ変換処理プログラムを伝送してもよい。この場合には、伝送されたプログラムをパソコンで読込んだ上で、上述のような画像データサイズの変換処理を行う。
【００７３】なお、以上の説明では一眼レフ電子スチルカメラについて説明したが、レンズ交換ができない電子スチルカメラ、動画像も取込めるデジタルビデオカメラにも本発明を適用できる。
【００７４】以上の実施の形態における回路構成は一例を示すに過ぎず、たとえば次のような態様を含むものでもよい。ブロック処理回路２００のＧ補間処理、ＢＰＦ処理、ＬＰＦ処理、補間／ＬＰＦ処理では、２０×２０、１６×１６、１２×１２、８×８のいずれかのブロックを１単位として画像処理するものとして説明した。これに合わせて、画像データサイズ変換処理回路２４０が２０×２０画素領域ごとにリサイズ後の画像データを出力するように説明した。しかしながら、上記各処理におけるブロックサイズは上記の数値の例に限らず、たとえば、５×５画素領域の画像データを１単位として画像処理してもよい。
【００７５】以上の説明では、画像データサイズ変換処理回路２４０がホワイトバランス微調整後の画像データに対してリサイズ処理を行うようにした。上述したように、リサイズ処理を画素補間処理を行う前に行うことにより、リサイズ処理時間およびリサイズ処理に必要なメモリ容量を削減することができる。したがって、リサイズ処理は、画素補間処理前であれば必ずしもホワイトバランス微調整後でなくてもよく、たとえば、図３のライン処理回路でデジタルクランプされた後の画像データに対して行うようにしてもよい。
【００７６】特許請求の範囲における各構成要素と、発明の実施の形態における各構成要素との対応について説明すると、Ｒ成分、Ｇ成分およびＢ成分が複数の色成分に、色分解フィルタが色分解手段に、ＣＣＤ２６が撮像手段に、Ａ／Ｄ変換回路２８がＡ／Ｄ変換手段に、画像データサイズ変換処理回路２４０がデータサイズ変換手段に、補間／輪郭処理回路２２０が画像処理手段に、それぞれ対応する。
【００７７】
【発明の効果】以上詳細に説明したように請求項１〜３に記載の発明によれば、色分解手段によって複数の色成分に色分解された被写体像を撮像したディジタル画像データについて、色分解手段に配列されている色フィルタの配列による画像データの色成分の配列順序を保持しながら、画像データサイズを任意の縮小率または拡大率でサイズ変換するようにした。サイズ変換しても色成分の配列順序を保持する結果、被写体像の色を正しく再現することが可能になる。
【図面の簡単な説明】
【図１】一眼レフ電子スチルカメラの一実施の形態の構成を示す図である。
【図２】一眼レフ電子スチルカメラの信号処理系統の一実施の形態のブロック図である。
【図３】図２に示した信号処理系統のうちライン処理を行なう回路を説明するブロック図である。
【図４】図２に示した信号処理系統のうちブロック処理を行なう回路を説明するブロック図である。
【図５】ベイヤー配列の色分解フィルタを示す図である。
【図６】Ｇ補間回路の処理内容を説明する図である。
【図７】バンドパスフィルタの処理内容を説明する図である。
【図８】ローパスフィルタの処理内容を説明する図である。
【図９】色差信号生成回路の処理内容を説明する図である。
【図１０】補間／ＬＰＦ回路で処理されるデータ例を示す図である。
【図１１】補間／ＬＰＦ回路の処理内容を説明する図である。
【図１２】メディアン回路の処理内容を説明する図である。
【図１３】全押しスイッチで起動されるプログラムを示すフローチャートである。
【図１４】補色フィルタ配列方式の色分解フィルタを示す図である。
【図１５】ベイヤー方式の色分解フィルタを通して撮像された画像データに対する間引き処理を説明する図である。
【符号の説明】
２１…ＣＰＵ、 ２２…半押しスイッチ、２３…全押しスイッチ、 ２６,７３…ＣＣＤ、２８…Ａ／Ｄ変換回路、 ２９…画像処理回路、３３…ＪＰＥＧ圧縮回路、３５…ホワイトバランス検出処理回路、 ３５Ａ…ホワイトバランスセンサ、１００…ライン処理回路、 ２００…ブロック処理回路、２１０…ホワイトバランス微調整回路、 ２２０…補間／輪郭処理回路、２４０…画像データサイズ変換処理回路、２５０…切換え回路
【０００１】
【発明の属する技術分野】本発明は、たとえば、ベイヤー方式の色分解フィルタを通して撮像された画像データのデータサイズ変換を行う画像データサイズ変換処理装置、電子スチルカメラ、および画像データサイズ変換処理プログラムが格納された記録媒体に関する。
【０００２】
【従来の技術】撮影レンズを通過する被写体像をＣＣＤなどの撮像素子を有する撮像装置で撮像し、撮像装置から出力される画像データに対して所定の画像処理を行う電子スチルカメラが知られている。このような電子スチルカメラの撮像装置には、カラー画像を撮像するために撮像素子上に色分解フィルタが設けられている。図１５は、撮像素子の画素に対応して、Ｒ色、Ｇ色、およびＢ色の原色フィルタが市松模様状に配置されているベイヤー方式の色分解フィルタを説明する図である。図１５に示されるように、ベイヤー配列では画素並びにおける水平方向および垂直方向の両方向に、同じ色成分のフィルタが１画素おきに並ぶ。このような色分解フィルタを通して撮像された画像データは、ベイヤー配列が保持されるように扱う必要がある。ベイヤー配列がくずれると、画像データから被写体の色を再現できなくなるからである。
【０００３】
【発明が解決しようとする課題】上述した画像データを縮小サイズ変換する場合に、水平方向および垂直方向にそれぞれ２画素おき、４画素おき、…というように２の倍数個の画素を間引いて画素データを読み出すと、間引きする前の画素データに対応する色成分の順序と、間引きして読み出された画素データの色成分の順序とが一致する。図１５において斜線を引いた画素は、５画素につき１画素の割合で読み出す場合の画素位置である。このように縮小サイズ変換を間引き読み出しによって行うと、２の倍数ごとに間引くような縮小倍率、すなわち、水平方向および垂直方向にそれぞれ２／４，２／６，…という固定の縮小倍率のサイズ変換しかできない。また、縮小サイズ変換後のベイヤー配列をくずさないようにしても、間引きによって空間周波数が低下し、間引きモアレが発生してしまうという問題がある。
【０００４】本発明の目的は、たとえば、ベイヤー方式のような色分解フィルタを通して撮像された画像データが有する色成分の配列をくずさずに任意の倍率で画像データサイズを変換する画像データサイズ変換処理装置、および電子スチルカメラを提供することにある。また本発明の他の目的は、色成分の配列をくずさずに任意の倍率で画像データサイズを変換する画像データサイズ変換処理を行なうプログラムを格納した記憶媒体を提供することにある。
【０００５】
【課題を解決するための手段】一実施の形態を示す図２および図４を参照して本発明を説明する。
（１）請求項１に記載の発明による画像データサイズ変換処理装置は、複数の色成分の光をそれぞれ透過する複数の色フィルタが所定の順序で配列され、被写体像を複数の色成分に色分解する色分解手段と、色分解手段により色分解された被写体像を複数の画素により撮像する撮像手段２６と、撮像手段２６から出力される画像信号をＡ／Ｄ変換するＡ／Ｄ変換手段２８と、Ａ／Ｄ変換後の画像データについて、画像データが色フィルタの配列順序に応じて有する色成分の配列順序を保持しながら、画像データを任意の縮小率または拡大率で縮小または拡大するデータサイズ変換手段２４０とを備えることにより、上述した目的を達成する。
（２）請求項２に記載の発明による電子スチルカメラは、複数の色成分の光をそれぞれ透過する複数の色フィルタが所定の順序で配列され、被写体像を複数の色成分に色分解する色分解手段と、色分解手段により色分解された被写体像を複数の画素により撮像する撮像手段２６と、撮像手段２６から出力される画像信号をＡ／Ｄ変換するＡ／Ｄ変換手段２８と、Ａ／Ｄ変換後の画像データについて、画像データが色フィルタの配列順序に応じて有する色成分の配列順序を保持しながら、画像データを任意の縮小率または拡大率で縮小または拡大するデータサイズ変換手段２４０と、データサイズ変換手段２４０による縮小または拡大後の画像データに対し、所定の画像処理を行う画像処理手段２２０とを備えることにより、上述した目的を達成する。
（３）請求項３に記載の発明による画像データサイズ変換処理記録媒体は、複数の色成分の光をそれぞれ透過する複数の色フィルタにより複数の色成分に色分解して撮像されたディジタル画像データについて、画像データが色フィルタの配列順序に応じて有する色成分の配列順序を保持しながら、画像データを任意の縮小率または拡大率で縮小または拡大するデータサイズ変換処理を行うプログラムを格納し、このプログラムを実行することにより、上述した目的を達成する。
【０００６】なお、本発明の構成を説明する上記課題を解決するための手段の項では、本発明を分かり易くするために実施の形態の図を用いたが、これにより本発明が実施の形態に限定されるものではない。
【０００７】
【発明の実施の形態】以下、図面を参照して本発明の実施の形態を説明する。
−第一の実施の形態−図１に示すように、第一の実施の形態による一眼レフ電子スチルカメラは、カメラ本体７０と、カメラ本体７０に着脱されるファインダ装置８０と、撮影レンズ９１と絞り９２を内蔵してカメラ本体７０に着脱される交換レンズ９０とを備える。被写体光は交換レンズ９０を通ってカメラ本体７０に入射し、レリーズ前は点線で示す位置にあるクイックリターンミラー７１でファインダ装置８０に導かれてファインダマット８１に結像する。その被写体像はさらに、ペンタプリズム８２で接眼レンズ８３に導かれる。レリーズ後はクイックリターンミラー７１が実線で示す位置に回動し、被写体光がシャッタ７２を介して撮像装置７３上に結像する。レリーズ前に、プリズム８４と結像レンズ８５を通る被写体像がホワイトバランスセンサ８６に入射し、ホワイトバランスセンサ８６が被写体像の色温度を検出する。
【０００８】図２は、第一の実施の形態による電子スチルカメラの回路ブロック図である。ＣＰＵ２１には、レリーズ釦に連動する半押しスイッチ２２と全押しスイッチ２３とから、半押し信号と全押し信号とがそれぞれ入力される。また、ＣＰＵ２１には、画像データのデータサイズを変換するためのリサイズスイッチ４０からの操作信号が入力される。半押し信号がＣＰＵ２１に入力されると、ＣＰＵ２１は、タイミングジェネレータ２４とドライバ２５とを介して撮像装置７３のＣＣＤ２６を駆動制御する。タイミングジェネレータ２４の出力信号により、アナログ処理回路２７とＡ／Ｄ変換回路２８の動作タイミングが制御される。さらに、ＣＰＵ２１は、ホワイトバランス検出処理回路３５を駆動制御する。ＣＣＤ２６の画素領域上には、カラーフィルタが設けられている。
【０００９】半押しスイッチ２２のオン操作に引き続いて全押しスイッチ２３がオン操作されると、クイックリターンミラー７１が上方に回動される。交換レンズ９０からの被写体光がＣＣＤ２６の受光面上で結像され、ＣＣＤ２６に被写体像の明るさに応じた信号電荷が蓄積される。ＣＣＤ２６に蓄積された信号電荷はドライバ２５により吐き出され、ＡＧＣ回路やＣＤＳ回路などを含むアナログ信号処理回路２７に入力される。アナログ信号処理回路２７は、入力されたアナログ画像信号に対してゲインコントロール、雑音除去等のアナログ処理を施す。アナログ処理後の画像信号は、Ａ／Ｄ変換回路２８によってデジタル信号に変換される。デジタル変換された画像データは、たとえば、ＡＳＩＣとして構成される画像処理回路２９に導かれ、ホワイトバランス調整、輪郭補償、ガンマ補正等の画像前処理が行われる。
【００１０】ホワイトバランス検出処理回路３５は、色温度センサであるホワイトバランスセンサ３５Ａ（図１のホワイトバランスセンサ８６）と、ホワイトバランスセンサ３５Ａからのアナログ信号をデジタル信号とするＡ／Ｄ変換回路３５Ｂと、デジタル色温度信号に基づいてホワイトバランス調整信号を生成するＣＰＵ３５Ｃとを含む。ホワイトバランスセンサ３５Ａは、たとえば、赤色Ｒと青色Ｂと緑色Ｇとにそれぞれ感度を有する複数の光電変換素子からなり、被写界全体の光像を受光する。ＣＰＵ３５Ｃは、複数の光電変換素子の出力に基づいてＲゲインとＢゲインを算出する。算出されたこれらのゲインは、ＣＰＵ２１の所定のレジスタに転送されて格納される。また、図１のホワイトバランスセンサ８６は、２４列×２０行の２次元ＣＣＤで構成することもできる。この場合には、ＣＣＤを１６の領域に分割し、Ｒ、Ｇ、Ｂ色にそれぞれ感度を有する複数個の素子を各領域ごとに配列する。
【００１１】画像前処理が行なわれたディジタル画像データに対してはさらに、リサイズスイッチ４０によって画像データサイズを変換するように設定されている場合に、画像データサイズ変換処理が行われる。リサイズ処理後の画像データは、ＪＰＥＧ圧縮のためのフォーマット処理（画像後処理）が行なわれた後、バッファメモリ３０に一時的に格納される。
【００１２】バッファメモリ３０に記憶された画像データは、表示画像作成回路３１により表示用の画像データに処理され、ＬＣＤ等の外部モニタ３２に撮影結果として表示される。また、バッファメモリ３０に記憶された画像データは、圧縮回路３３によりＪＰＥＧ方式で所定の比率にデータ圧縮を受け、コンパクトフラッシュ（登録商標）メモリカード(ＣＦカード)等の記録媒体３４に記録される。
【００１３】図３および図４は、画像処理回路２９の詳細を示すブロック図である。図３は、ＣＣＤ２６からの画像データに対してラインごとに信号処理するライン処理回路１００である。Ａ／Ｄ変換回路２８から出力される１２ビットのＲ，Ｇ，Ｂ信号に対し、上述した画像前処理を行う。図４は、ライン処理回路１００で信号処理された画像データに対してｎ×ｍ画素データごとに、すなわちブロックごとに信号処理するブロック処理回路２００である。画像データの２０×２０画素領域、１６×１６画素領域、１２×１２画素領域、あるいは８×８画素領域ごとに上述した画像後処理を行う。なお、画像処理回路２９は、複数のプロセッサを用いてソフトウエアとして実現されるが、わかりやすく説明するためにハードウエアとして説明する。
【００１４】図３において、ライン処理回路１００は、欠陥補正回路１０１と、デジタルクランプ回路１０２と、ゲイン回路１０３と、ホワイトバランス回路１０４と、黒レベル回路１０５と、γ補正回路１０６と、平均値およびヒストグラム算出回路１０７とを有する。
【００１５】欠陥補正回路１０１は、ＣＣＤ２６の出力に対して１ラインごとに点順次で、欠陥のある画素（あらかじめ特定されてそのアドレスがＣＰＵ２１内のレジスタにセットされている）からのデータを補正するものである。デジタルクランプ回路１０２は、ＣＣＤ２６の出力に対して１ラインごとに点順次で、いわゆるオプティカルブラックとして使用する複数の画素に対応する信号の加重平均を、そのラインの各画素に対応する信号から減算するものである。ゲイン回路１０３は、ＣＣＤ２６の出力に対して１ラインごとに点順次で、ＣＣＤ２６から出力されるＲ，Ｇ，Ｂ信号の各々に対して一律に所定のゲインをかけるとともに、ＣＣＤ２６の感度のばらつき補正をＧ信号に対して行ない、さらに、ＣＣＤ２６の感度比のばらつきをＲ，Ｂ信号に対して行なう。
【００１６】ホワイトバランス回路１０４は、ＣＣＤ２６の出力に対して１ラインごとに点順次で、上述したようにあらかじめ決定されてＣＰＵ２１のレジスタに格納されているホワイトバランス調整係数、すなわち、ＲゲインとＢゲインをＲ，Ｂ信号に掛合わせる。このホワイトバランス回路１０４で補正された画像データに基づいて、さらに後述するホワイトバランス微調整回路でホワイトバランスが微調整される。黒レベル回路１０５は、ＣＣＤ２６の出力に対して１ラインごとに点順次で、あらかじめ決定されてＣＰＵ２１のレジスタに格納されている値をＲ，Ｇ，Ｂ信号の各々に対して加算する。γ補正回路１０６は、ＣＣＤ２６の出力に対して１ラインごとに点順次で、階調ルックアップテーブルを用いてγ補正を行なう。なお、γ補正によりそれぞれ１２ビットのＲ，Ｇ，Ｂ信号は、８ビットのＲＧＢデータに変換される。
【００１７】平均値およびヒストグラム算出回路１０７は、γ補正後の画像データの中から、たとえば、焦点検出領域の中央部を中心とした５１２×５１２の領域の画像データを抽出し、Ｒ信号用のホワイトバランス微調整用ゲインＲＦgainとＢ信号用のホワイトバランス微調整用ゲインＢＦgainとを次式（１）,（２）により算出する。算出したＲＦgainとＢＦgainは、それぞれＣＰＵ２１のレジスタに格納される。図５は、ＣＣＤ２６の画素領域上に配置されているベイヤー方式の色分解フィルタを表す図である。たとえば、５１２×５１２の画素領域上に図５に示すような色フィルタの配列を有する場合、Ｒ，Ｇ，Ｂ信号の平均値を（３）〜（５）式で算出し、（１）,（２）式に示すように、Ｇ信号の平均値ＧaveとＲ信号の平均値Ｒaveとの比およびＧ信号の平均値ＧaveとＢ信号の平均値Ｂaveとの比からホワイトバランス微調整用ゲインＲＦgainとＢＦgainを算出する。
【００１８】
【数１】
このような平均値方式によると、画像データのＲＧＢの各信号の階調の平均値を求めたことになり、経験的にホワイトバランスの調整結果（全体的なホワイトバランス）が良好となる。
【００１９】図４において、ブロック処理回路２００は、ホワイトバランス微調整回路２１０と、画像データサイズ変換処理回路２４０と、切換え回路２５０と、補間／輪郭処理回路２２０とを有する。ホワイトバランス微調整回路２１０は、上述したγ補正回路１０６までの処理後にバッファメモリ３０に格納されているＲ信号およびＢ信号に対して、所定画素領域の各Ｒ，Ｂ信号ごとに、平均値回路１０７で算出されたホワイトバランス微調整用ゲインＲＦgainとＢＦgainをそれぞれ掛け合せてホワイトバランスの微調整を行なう。
【００２０】画像データサイズ変換処理回路２４０は、リサイズスイッチ４０によりデータサイズ変換するように設定されている場合に、間引き処理を行うことなく画像データの１撮影画面を構成するデータ数、すなわち、データサイズを変換する。データサイズ変換後の画像データは、２０×２０画素領域ごとの画像データとして出力される。本発明は、とくに、ＣＣＤ２６の画素領域上に配置されている色分解フィルタの色成分の配列に対応する色成分の順序をくずさずに、かつ、画像データが有する空間周波数が低下しないようにデータサイズ変換するところに特徴を有する。データサイズの変換の際、被写体の輪郭などの情報が保持されるのはもちろんのことである。
【００２１】第一の実施の形態では、１撮影画面を面積比で９／１６にサイズ変換する場合、すなわち、１画面の水平方向および垂直方向のデータサイズをそれぞれ３／４にリサイズする場合を例にあげて説明する。リサイズ処理は、１画素とびの近隣２画素分の同色信号のデータを用いて、リニア補間的に１画素分のデータの大きさを算出する。３／４のリサイズ処理では、４画素データにつき３画素分のデータを算出する。
【００２２】水平方向について、図５の１行目のＲＧＲＧラインを考える。たとえば、１行１列のＲ信号が得られる位置を注目画素ｎとおく。リサイズ処理後のＲ成分およびＧ成分の値は、次式（６）〜（１１）で算出される。
【数２】
Ｒ(1,1)＝｛n+(n+2)｝/2 （６）
Ｇ(1,2)＝｛(n+1)+(n+3)｝/2 （７）
Ｒ(1,3)＝｛5(n+2)+27(n+4)｝/32 （８）
Ｇ(1,4)＝｛5(n+3)+27(n+5)｝/32 （９）
Ｒ(1,5)＝｛27(n+6)+5(n+8)｝/32 （１０）
Ｇ(1,6)＝｛27(n+7)+5(n+9)｝/32 （１１）
【００２３】上式（６）〜（１１）によれば、Ｒ成分について、注目画素ｎ〜(ｎ＋８)までのグループ、すなわち、５個のＲ信号が得られる範囲にＲ(1,1),Ｒ(1,3),Ｒ(1,5)の３個のＲ成分が水平方向にほぼ等間隔で算出される。また、Ｇ成分について、注目画素(ｎ＋１)〜(ｎ＋９)までのグループ、すなわち、５個のＧ信号が得られる範囲にＧ(1,2),Ｇ(1,4),Ｇ(1,6)の３個のＧ成分が水平方向にほぼ等間隔で算出される。上式(６）〜（１１）により各色３個ずつのデータを算出すると、注目画素(ｎ＋８)を新たな注目画素ｎとおいて次のデータを算出する。したがって、上述した各５個のＲ信号およびＧ信号のグループうち、末尾の１個が次のグループの先頭に重複するので、４個から３個を算出する３／４のリサイズ処理になる。
【００２４】次に、同じく水平方向について、図５の２行目のＧＢＧＢラインを考える。２行１列のＧ信号が得られる位置を注目画素ｎとおくと、リサイズ処理後のＧ成分およびＢ成分の値が次式（１２）〜（１７）で算出される。
【数３】
Ｇ(2,1)＝｛n+(n+2)｝/2 （１２）
Ｂ(2,2)＝｛(n+1)+(n+3)｝/2 （１３）
Ｇ(2,3)＝｛5(n+2)+27(n+4)｝/32 （１４）
Ｂ(2,4)＝｛5(n+3)+27(n+5)｝/32 （１５）
Ｇ(2,5)＝｛27(n+6)+5(n+8)｝/32 （１６）
Ｂ(2,6)＝｛27(n+7)+5(n+9)｝/32 （１７）
【００２５】上式（１２）〜（１７）によれば、Ｇ成分について、注目画素ｎ〜(ｎ＋８)までのグループ、すなわち、５個のＧ信号が得られる範囲にＧ(2,1),Ｇ(2,3),Ｇ(2,5)の３個のＧ成分が水平方向にほぼ等間隔で算出される。また、Ｂ成分について、注目画素(ｎ＋１)〜(ｎ＋９)までのグループ、すなわち、５個のＢ信号が得られる範囲にＢ(2,2),Ｂ(2,4),Ｂ(2,6)の３個のＢ成分が水平方向にほぼ等間隔で算出される。上式(１２）〜（１７）により各色３個ずつのデータを算出すると、注目画素(ｎ＋８)を新たな注目画素ｎとおいて次のデータを算出する。したがって、上述した各５個のＧ信号およびＢ信号のグループうち、末尾の１個が次のグループの先頭に重複するので、４個から３個を算出する３／４のリサイズ処理になる。サイズ変換前のＲＧＲＧラインおよびＧＢＧＢラインは、サイズ変換後もそれぞれＲＧＲＧラインおよびＧＢＧＢラインとなり、リサイズ処理前後で色成分の配列順序が同じである。
【００２６】水平方向についてリサイズ処理された画像データに対して、垂直方向についても同様の処理を行う。上述したようにリサイズ処理前後で色成分の配列順序が同じであることから、図５を参照して説明する。図５において、１列目のＲＧＲＧラインにおける１行１列のＲ信号が得られる位置を注目画素ｍとおくと、リサイズ処理後のＲ成分およびＧ成分の値が次式（１８）〜（２３）で算出される。
【数４】
Ｒ(1,1)＝｛m+(m+2)｝/2 （１８）
Ｇ(2,1)＝｛(m+1)+(m+3)｝/2 （１９）
Ｒ(3,1)＝｛5(m+2)+27(m+4)｝/32 （２０）
Ｇ(4,1)＝｛5(m+3)+27(m+5)｝/32 （２１）
Ｒ(5,1)＝｛27(m+6)+5(m+8)｝/32 （２２）
Ｇ(6,1)＝｛27(m+7)+5(m+9)｝/32 （２３）
【００２７】上式（１８）〜（２３）によれば、Ｒ成分について、注目画素ｍ〜(ｍ＋８)までのグループ、すなわち、５個のＲ信号が得られる範囲にＲ(1,1),Ｒ(3,1),Ｒ(5,1)の３個のＲ成分が垂直方向にほぼ等間隔で算出される。また、Ｇ成分について、注目画素(ｍ＋１)〜(ｍ＋９)までのグループ、すなわち、５個のＧ信号が得られる範囲にＧ(2,1),Ｇ(4,1),Ｇ(6,1)の３個のＧ成分が垂直方向にほぼ等間隔で算出される。上式(１８）〜（２３）により各色３個ずつのデータを算出すると、注目画素(ｍ＋８)を新たな注目画素ｍとおいて次のデータを算出する。したがって、上述した各５個のＲ信号およびＧ信号のグループうち、末尾の１個が次のグループの先頭に重複するので、４個から３個を算出する３／４のリサイズ処理になる。
【００２８】同じく垂直方向について、図５の２列目のＧＢＧＢラインを考える。１行２列のＧ信号が得られる位置を注目画素ｍとおくと、リサイズ処理後のＧ成分およびＢ成分の値は、次式（２４）〜（２９）で算出される。
【数５】
Ｇ(1,2)＝｛m+(m+2)｝/2 （２４）
Ｂ(2,2)＝｛(m+1)+(m+3)｝/2 （２５）
Ｇ(3,2)＝｛5(m+2)+27(m+4)｝/32 （２６）
Ｂ(4,2)＝｛5(m+3)+27(m+5)｝/32 （２７）
Ｇ(5,2)＝｛27(m+6)+5(m+8)｝/32 （２８）
Ｂ(6,2)＝｛27(m+7)+5(m+9)｝/32 （２９）
【００２９】上式（２４）〜（２９）によれば、Ｇ成分について、注目画素ｍ〜(ｍ＋８)までのグループ、すなわち、５個のＧ信号が得られる範囲にＧ(1,2),Ｇ(3,2),Ｇ(5,2)の３個のＧ成分が垂直方向にほぼ等間隔で算出される。また、Ｂ成分について、注目画素(ｍ＋１)〜(ｍ＋９)までのグループ、すなわち、５個のＢ信号が得られる範囲にＢ(2,2),Ｂ(4,2),Ｂ(6,2)の３個のＢ成分が垂直方向にほぼ等間隔で算出される。上式(２４）〜（２９）により各色３個ずつのデータを算出すると、注目画素(ｎ＋８)を新たな注目画素ｎとおいて次のデータを算出する。したがって、上述した各５個のＧ信号およびＢ信号のグループうち、末尾の１個が次のグループの先頭に重複するので、４個から３個を算出する３／４のリサイズ処理になる。サイズ変換前のＲＧＲＧラインおよびＧＢＧＢラインは、サイズ変換後もそれぞれＲＧＲＧラインおよびＧＢＧＢラインとなり、リサイズ処理前後で色成分の配列順序が同じである。
【００３０】以上説明したように、水平方向および垂直方向に対して各々３／４にリサイズ処理を行うことにより、１撮影画面を構成するデータ数を９／１６のサイズに変換できる。なお、わかりやすく説明するために水平方向および垂直方向の算出処理を別々に行うように説明したが、両方向の算出処理をマトリクス演算としてまとめて行うようにしてもよい。両方向についてそれぞれ単独で算出する場合と、まとめて算出する場合とで算出される結果は同じである。
【００３１】切換え回路２５０は、ＣＰＵ２１(図２)の指令により、ホワイトバランス微調整回路２１０から順次出力される２０×２０画素領域の画像データと、画像データサイズ変換処理回路２４０から順次出力される２０×２０画素領域の画像データのいずれか一方を補間／輪郭処理回路２２０へ出力する。
【００３２】補間／輪郭処理回路２２０は、ホワイトバランス微調整後の画像データ、または画像データサイズ変換処理後の画像データに対し、２０×２０画素領域のブロックデータごとに、ＪＰＥＧ方式のデータ圧縮のためのフォーマット処理を行う。フォーマット処理の結果、１６×８画素領域のＹ信号と、８×８画素領域のＣｂ信号と、８×８画素領域のＣｒ信号とが生成される。輝度信号Ｙは、後述するようにＧ信号の低周波数成分の輝度信号Ｙ１と高周波数成分の輪郭信号Ｙ２とを含むものである。
【００３３】補間／輪郭処理回路２２０は、Ｇ補間回路２２１と、バンドパスフィルタ（ＢＰＦ）２２２と、クリップ回路２２３と、ゲイン回路２２４と、ローパスフィルタ（ＬＰＦ）２２５と、色差信号生成回路２２６と、補間／ローパスフィルタ（ＬＰＦ）回路２２８と、マトリックス回路２２９と、加算器２３０と、メディアン回路２３２とを有する。
【００３４】Ｇ補間回路２２１は、ホワイトバランス微調整回路２１０、または画像データサイズ変換処理回路２４０から入力される画像データに対し、２０×２０画素領域のブロック信号ごとに、その中心の１６×１６画素領域のデータについて、Ｒ信号あるいはＢ信号の画素領域に対してＧ成分を補間演算で算出する。すなわち、図６に示すように、２０×２０画素領域の入力データＤ２０について、５×５画素領域データＤ５１（１行１列〜５行５列）の中央の空格子点（３行３列の画素であり、Ｂ信号が得られる）のＧ成分を算出し、この値を１６×１６画素領域の出力データＤ１６の３行３列の画素（Ｂを○で囲ったもの）のＧ成分として置換する。
【００３５】次いで、２０×２０画素領域の入力データＤ２０について、５×５画素領域データＤ５２（２行２列〜６行６列）の中央の空格子点（４行４列の画素であり、Ｒ信号が得られる）のＧ成分を算出し、この値を１６×１６画素領域の出力データＤ１６の４行４列の画素（Ｒを○で囲ったもの）のＧ成分に置換する。このような処理を繰り返し行なうことにより、１６×１６画素領域のすべての空格子点についてＧ補間処理が行われ、出力データＤ１６を得る。そして、そのうちの１２×１２画素領域の出力データＤ１２をバンドパスフィルタ２２２とローパスフィルタ２２５にそれぞれ出力する一方、１６×１６画素領域の出力データＤ１６を色差信号生成回路２２６に出力する。
【００３６】バンドパスフィルタ２２２は、Ｇ補間回路２２１から出力される１２×１２画素領域のＧ信号のうち中間周波数成分（ただし、被写体の輪郭が抽出できる程度に高い周波数成分であり、便宜上、高周波数成分と呼ぶ）を取り出す。すなわち、図７に示すように、１２×１２画素領域の入力データＤ１２について、５×５画素領域データＤ５（５行５列〜９行９列）にバンドパスフィルタ係数を掛け合せてＢＰＦ出力データを得、その値を８×８画素領域の出力データＤ８の７行７列のデータ（太字Ｇ）として置換する。このような処理を繰り返すことで８×８画素領域のすべての画素データをＢＰＦ後のＧデータに置換し、出力データＤ８を生成する。
【００３７】クリップ回路２２３は、バンドパスフィルタ２２２から出力される８×８画素領域データＤ８のそれぞれを、設定したレベルでクリップおよびカットする。ゲイン回路２２４は、クリップ回路２２３の出力にあらかじめ定められたゲインを掛ける。
【００３８】ローパスフィルタ２２５は、Ｇ補間回路２２１から出力される１２×１２画素領域のＧ信号のうち低周波数成分を取り出す。すなわち、図８に示すように、１２×１２画素領域の入力データＤ１２について、５×５画素領域データＤ５（５行５列〜９行９列）にローパスフィルタ係数を掛け合せてＬＰＦ出力データを得、その値を８×８画素領域の出力データＤ８の７行７列のデータ（ハッチング領域）として置換する。このような処理を繰り返すことで８×８画素領域のすべての画素データをＬＰＦ後のＧデータに置換し、出力データＤ８を生成する。
【００３９】色差信号生成回路２２６は、図９に示すように、ホワイトバランス微調整回路２１０、または画像データサイズ変換処理回路２４０から入力される画像データのうち１６×１６画素領域のＲＧＢ信号入力データＤ１６−１と、Ｇ補間回路２２１から出力される１６×１６画素領域のＧ信号入力データＤ１６−２とに基づいて、（Ｂ−Ｇ）信号と（Ｒ−Ｇ）信号とを含む中間データＤ１６−３を生成する。さらに、中間データＤ１６−３を（Ｂ−Ｇ）色差信号の出力データＤ１６−４と（Ｒ−Ｇ）色差信号の出力データＤ１６−５とに分離する。
【００４０】補間／ＬＰＦ回路２２８は、色差信号生成回路２２６から出力される１６×１６画素領域の８ビットの（Ｂ−Ｇ）信号と（Ｒ−Ｇ）信号とをそれぞれ入力して、５×５画素領域ごとに（Ｂ−Ｇ）信号と（Ｒ−Ｇ）信号とをそれぞれ補間演算するとともに、同時に低帯域信号を取り出すローパスフィルタリング処理も行ない、その結果である１２×１２画素領域の（Ｂ−Ｇ）信号と（Ｒ−Ｇ）信号とをマトリックス回路２２９のＣｂ，Ｃｒマトリックス部へ出力する。また、８×８画素領域の（Ｂ−Ｇ）信号と（Ｒ−Ｇ）信号とをマトリックス回路２２９のＹマトリックス部へ出力する。
【００４１】５×５画素領域の（Ｒ−Ｇ）データを図１０のように表わすとき、上記補間演算とローパスフィルタリング処理演算は次式（３０）で表わされる。
【数６】
【００４２】一般に、補間フィルタと帯域制限のＬＰＦを同時にかける場合には次のようなフィルタ係数の制限がある。簡単のために１次元で説明する。補間後のサンプル点のうち、Ｎ周期で実サンプル点がある場合を考える。たとえば、ａ，ａ，ｂ，ｂ，ａ，ａ，ｂ，ｂ，・・・・・・・・（ただし、ａは実サンプル点、ｂは補間するサンプル点とする。なお、この例では４周期である）の場合である。。これを（２ｎ＋１）次（ただし、（２ｎ＋１）はＮより大きい）の奇数次対称型デジタルフィルタで補間する場合、実サンプル点が一様であれば、補間後のサンプル点も一様であることが必要とされ、以下のようなフィルタ係数の制限がある。
【００４３】Ｃ（ｋ）をｋ番目のフィルタ係数とすると、以下のようにＮ個存在する係数の組の和が互に等しくなくてはならない。
【数７】
ただし、ｉはフィルタ係数が（２ｎ＋１）以下に収まる０以上の整数であり、ｋはｎ未満の０以上の整数である。
【００４４】２次元の場合は、水平方向と垂直方向に同様の制限のフィルタを掛合わせて２次元フィルタを構成すればよい。この実施の形態では、図５と図１０に示すように２画素周期のサンプル点を補間するので、Ｎ＝２であり、フィルタ係数は偶数次の和と奇数次の和が等しくなければならない。すなわち、ΣＣ（２＊ｉ）＝ΣＣ（２＊ｉ＋１）
２次元で上記（５４）式のような５次×５次の対称型フィルタの場合は、４＊ｋｃ１＋２＊ｋｃ３＋４＊ｋｃ５＋２＊ｋｃ７＋ｋｃ９＝４＊ｋｃ２＋４＊ｋｃ４＋２＊ｋｃ６＋２＊ｋｃ８となる。
【００４５】たとえば、図１１を参照して（Ｒ−Ｇ）信号の補間／ＬＰＦ処理について説明する。１６×１６画素領域の入力データＤ１６の（Ｒ−Ｇ）信号について、５×５画素領域データＤ５（３行３列〜７行７列）に補間／ＬＰＦフィルタ係数を掛け合せ、その中央領域（５行５列）の（Ｒ−Ｇ）データを算出し、これを１２×１２画素領域の出力データＤ１２の５行５列のデータとして置換する。このような処理を繰り返すことで（Ｒ−Ｇ）信号について１２×１２画素領域のすべての画素データを補間／ＬＰＦ処理し、出力データＤ１２を得る。（Ｂ−Ｇ）信号についても同様な処理を行なって、１２×１２画素領域の出力データを生成する。
【００４６】マトリックス回路２２９は、Ｙマトリックス部と、Ｃｂマトリックス部と、Ｃｒマトリックス部とから構成される。Ｙマトリックス部は、補間／ＬＰＦ回路２２８から８×８画素領域の（Ｂ−Ｇ）信号と（Ｒ−Ｇ）信号を入力するとともに、ローパスフィルタ２２５から８×８画素領域のＧ信号を入力し、次式（３１）により８×８画素領域の低周波数成分の輝度信号Ｙ１を生成する。
【数８】
Ｙ１（ｉ,ｊ）＝[Mkg×G(i,j)+Mkr1×R-G(i,j)+Mkb1×B-G(i,j)] （３１）
ただし、Ｍｋｇ、Ｍｋｒ１、Ｍｋｂ１はマトリックス係数である。
【００４７】Ｃｂマトリックス部およびＣｒマトリックス部はそれぞれ、補間／ＬＰＦ回路２２８から１２×１２画素領域の（Ｂ−Ｇ）信号と（Ｒ−Ｇ）信号を各々入力し、次式（３２）,（３３）により１２×１２画素領域のＣｂ信号とＣｒ信号とを生成する。
【数９】
Ｃｒ（ｉ,ｊ）＝[Mkr2×R-G(i,j)+Mkb2×B-G(i,j)] （３２）
Ｃｂ（ｉ,ｊ）＝[Mkr3×R-G(i,j)+Mkb3×B-G(i,j)] （３３）
ただし、Ｍｋｒ２、Ｍｋｒ３、Ｍｋｂ２、Ｍｋｂ３はマトリックス係数である。
【００４８】加算器２３０は、マトリックス回路２２９から出力される８×８画素領域の低周波数成分の輝度信号Ｙ１と、ゲイン回路２２４から出力される８×８画素領域の高周波数成分の輪郭抽出信号Ｙ２とを加算する。ゲイン回路２２４から出力される輪郭抽出信号Ｙ２は、Ｇ補間された１６×１６画素領域のＧ信号から高周波数成分を抽出したもの、すなわち輪郭を抽出したものである。したがって、加算器２３０において上式（３１）で算出される輝度信号Ｙ１と、ゲイン回路２２４で算出される輪郭抽出信号Ｙ２とを加算することにより、画像全体の輝度／輪郭抽出信号Ｙ（Ｙ１＋Ｙ２）が算出される。この加算結果は、バッファメモリ３０に格納される。
【００４９】メディアン回路２３３は、マトリックス回路２２９からの１２×１２画素領域のＣｂ信号とＣｒ信号とを入力し、５×５画素領域に含まれる３×３画素の９点を利用したメディアン処理を行ない、８×８画素のＣｒ信号とＣｂ信号とを出力する。
【００５０】この実施の形態のメディアン処理では、図１２に示すように、１２×１２画素のデータＤ１２（データは黒点印）のうち、５×５画素領域に含まれる３×３画素（５行５列〜９行９列）のデータＤ３−５の９個のデータ（×印）に対してメディアンフィルタ処理を行なう。すなわち、９個のデータを昇順もしくは降順にソートして中央値をメディアン処理データとする。そして、得られたメディアン処理データを、８×８画素の出力データＤ８の７行７列のデータとして置換する。このような演算を繰り返して行なうことにより、Ｃｂ，Ｃｒ信号のそれぞれについて、８×８画素の出力データＤ８を生成する。Ｃｒ信号とＣｂ信号の出力データＤ８は、バッファメモリ３０に格納される。
【００５１】ＪＰＥＧ圧縮回路３３は、上述したようにブロック処理回路２００に入力された２０×２０画素領域ごとの入力データに対して、加算回路２３０により生成される１６×８画素のＹ信号と、メディアン回路２３２により生成される８×８画素のＣｒ信号とＣｂ信号とに基づいて、ＪＰＥＧ圧縮方式の８×８画素にフォーマット化されたＹ、Ｃｒ、Ｃｂ信号を１単位として抽出し、周知の手順により圧縮することを繰り返し行ってすべての画像を圧縮する。圧縮された画像データは、ＣＰＵ２１を経由して記録媒体３４に記憶される。
【００５２】このように構成された電子スチルカメラの動作について説明する。全押しスイッチ２３が操作されると、クイックリターンミラーが跳ね上がり、図１３に示す撮影シーケンスのプログラムが起動される。ステップＳ２１において、ＣＣＤ２６の各画素が信号電荷を蓄積し、蓄積終了後、全画素の蓄積電荷が順次吐き出される。ステップＳ２２において、吐き出された画像信号がアナログ信号処理回路２７で処理された後、Ａ／Ｄ変換回路２８でデジタル画像データに変換される。ステップＳ２３において、画像データが画像処理回路２９に入力され、上述した画像処理が行われる。画像処理回路２９は、ホワイトバランス調整、γ階調補正、画像データサイズ変換処理、ＪＰＥＧフォーマット化処理などを行う。画像処理が終了するとステップＳ２４に進み、画像処理後の画像データをいったんバッファメモリ３０に記憶する。ステップＳ２５において、バッファメモリ３０から画像データを読み込んでＪＰＥＧ圧縮回路３３でデータを圧縮する。ステップＳ２６において、圧縮した画像データを記録媒体３４に記憶して図１３の処理を終了する。
【００５３】以上説明したように第一の実施の形態によれば、次のような作用効果が得られる。
（１）補間／輪郭処理回路２２０内のＧ補間回路２２１でＧ補間処理する前のディジタル画像データに対して、画像データサイズ変換処理回路２４０がリサイズ処理を行うようにした。たとえば、補間／輪郭処理回路２２０でフォーマット処理が行われた後からリサイズ処理を行う場合、フォーマット処理によって算出されるＹ信号と、Ｃｂ信号と、Ｃｒ信号との３画面分の画像データのそれぞれに対してリサイズ処理が必要である。第一の実施の形態では、Ｒ、Ｇ、Ｂ信号を有する１画面分の画像データに対してのみリサイズ処理を行えばよい。したがって、Ｙ信号、Ｃｂ信号およびＣｒ信号の３画面分のリサイズ処理を行う場合に比べて、処理時間と処理に必要なメモリ容量を大幅に削減することができる。
（２）画像データの色成分、すなわち、Ｒ、Ｇ、Ｂ信号が有するベイヤーの配列は、画像データサイズ変換処理回路２４０がリサイズ処理を行う前後で保持される。したがって、補間／輪郭処理回路２２０は、リサイズ処理の有無に関係なく、上述したようにｎ×ｍ（ｎ，ｍ＝２０，１６，１２，８）画素を１つのブロック単位としてブロック処理を行うことができる。つまり、画像データサイズ変換処理回路２４０は、既存の電子スチルカメラの回路ブロックに変更を加えることなく、後から容易に追加することができる。
（３）画像データサイズ変換処理回路２４０は、１画素とびの２画素分の同色信号を用いてリニア補間的に１画素分のデータの大きさを算出してデータサイズを縮小するようにした。したがって、間引き処理によってデータサイズを変換する場合と異なり、任意の倍率で縮小サイズ変換することができる。また、リニア補間的算出によって偽色の発生や空間周波数の低下が抑制されるので、間引きモアレのない高品質のリサイズ画像が得られる。
【００５４】上述したリサイズ処理では、１画素とびの近隣２画素分の同色信号のデータを用いて、１画素分のデータの大きさをリニア補間的に算出した。１画素とびの近隣５画素もしくは６画素分の同色信号のデータを用いて、Sinc関数ベースの補間処理を行うようにしてもよい。図５を参照して説明すると、たとえば、水平方向および垂直方向の両方向にそれぞれ３／４のリサイズ処理を行う場合に１行１列のＲ信号が得られる位置を注目画素ｎとおくと、水平方向におけるリサイズ処理後のＲ成分およびＧ成分の値は、次式（３４）〜（３９）で与えられる。
【数１０】
Ｒ(1,1)＝｛-3n-4(n+2)+70(n+4)+70(n+6)-4(n+8)-3(n+10)｝/128 （３４）
Ｇ(1,2)＝｛-3(n+1)-4(n+3)+70(n+5)+70(n+7)-4(n+9)-3(n+11)｝/128 （３５）
Ｒ(1,3)＝｛-10(n+4)+42(n+6)+88(n+8)+16(n+10)-8(n+12)｝/128 （３６）
Ｇ(1,4)＝｛-10(n+5)+42(n+7)+88(n+9)+16(n+11)-8(n+13)｝/128 （３７）
Ｒ(1,5)＝｛-8(n+6)+16(n+8)+88(n+10)+42(n+12)-10(n+14)｝/128 （３８）
Ｇ(1,6)＝｛-8(n+7)+16(n+9)+88(n+11)+42(n+13)-10(n+15)｝/128 （３９）
【００５５】上式（３４）〜（３９）によれば、Ｒ成分について、注目画素(ｎ＋４)〜(ｎ＋１０)までの４個のＲ信号が得られる範囲に、Ｒ(1,1),Ｒ(1,3),Ｒ(1,5)の３個のＲ成分が水平方向にほぼ等間隔で算出される。また、Ｇ成分について、注目画素(ｎ＋５)〜(ｎ＋１１)までの４個のＧ信号が得られる範囲に、Ｇ(1,2),Ｇ(1,4),Ｇ(1,6)までの３個のＧ成分が水平方向にほぼ等間隔で算出される。上式(３４）〜（３９）により各色３個ずつのデータを算出すると、注目画素(ｎ＋８)を新たな注目画素ｎとおいて次のデータを算出する。水平方向のＧＢＧＢラインについても同様に算出する。サイズ変換前のＲＧＲＧラインおよびＧＢＧＢラインは、サイズ変換後もそれぞれＲＧＲＧラインおよびＧＢＧＢラインとなり、リサイズ処理前後で色成分の配列順序が同じである。
【００５６】水平方向についてリサイズ処理された画像データに対して、垂直方向についても同様の処理を行う。図５において、１列目のＲＧＲＧラインにおける１行１列のＲ信号が得られる位置を注目画素ｍとおくと、リサイズ処理後のＲ成分およびＧ成分の値が次式（４０）〜（４５）で算出される。
【数１１】
Ｒ(1,1)＝｛-3m-4(m+2)+70(m+4)+70(m+6)-4(m+8)-3(m+10)｝/128 （４０）
Ｇ(2,1)＝｛-3(m+1)-4(m+3)+70(m+5)+70(m+7)-4(m+9)-3(m+11)｝/128 （４１）
Ｒ(3,1)＝｛-10(m+4)+42(m+6)+88(m+8)+16(m+10)-8(m+12)｝/128 （４２）
Ｇ(4,1)＝｛-10(m+5)+42(m+7)+88(m+9)+16(m+11)-8(m+13)｝/128 （４３）
Ｒ(5,1)＝｛-8(m+6)+16(m+8)+88(m+10)+42(m+12)-10(m+14)｝/128 （４４）
Ｇ(6,1)＝｛-8(m+7)+16(m+9)+88(m+11)+42(m+13)-10(m+15)｝/128 （４５）
【００５７】同様にして、垂直方向のＧＢＧＢラインについても算出すれば、水平方向および垂直方向のそれぞれを３／４に、すなわち、１撮影画面を構成するデータ数を９／１６のサイズに変換できる。なお、わかりやすく説明するために水平方向および垂直方向の算出処理を別々に行うように説明したが、両方向の算出処理をマトリクス演算としてまとめて行うようにしてもよい。両方向についてそれぞれ単独で算出する場合と、まとめて算出する場合とで算出される結果は同じである。
【００５８】−第二の実施の形態−第二の実施の形態では、１撮影画面を面積比で９／４にサイズ変換する場合、すなわち、１画面の水平方向および垂直方向のデータサイズをそれぞれ３／２にリサイズする場合を例にあげて説明する。リサイズ処理は、１画素とびの近隣２画素分の同色信号のデータを用いて、リニア補間的に１画素分のデータの大きさを算出する。３／２のリサイズ処理では、２画素データにつき３画素分のデータを算出する。
【００５９】水平方向について、図５の１行目のＲＧＲＧラインを考える。たとえば、１行１列のＲ信号が得られる位置を注目画素ｎとおく。リサイズ処理後のＲ成分およびＧ成分の値は、次式（４６）〜（５１）で算出される。
【数１２】
Ｒ(1,1)＝｛64n+64(n+2)｝/128 （４６）
Ｇ(1,2)＝｛64(n+1)+64(n+3)｝/128 （４７）
Ｒ(1,3)＝｛108(n+2)+20(n+4)｝/128 （４８）
Ｇ(1,4)＝｛108(n+3)+20(n+5)｝/128 （４９）
Ｒ(1,5)＝｛20(n+2)+108(n+4)｝/128 （５０）
Ｇ(1,6)＝｛20(n+3)+108(n+5)｝/128 （５１）
【００６０】上式（４６）〜（５１）によれば、Ｒ成分について、注目画素ｎ〜(ｎ＋４)までのグループ、すなわち、３個のＲ信号が得られる範囲にＲ(1,1),Ｒ(1,3),Ｒ(1,5)の３個のＲ成分が水平方向にほぼ等間隔で算出される。また、Ｇ成分について、注目画素(ｎ＋１)〜(ｎ＋５)までのグループ、すなわち、３個のＧ信号が得られる範囲にＧ(1,2),Ｇ(1,4),Ｇ(1,6)の３個のＧ成分が水平方向にほぼ等間隔で算出される。上式(４６）〜（５１）により各色３個ずつのデータを算出すると、注目画素(ｎ＋４)を新たな注目画素ｎとおいて次のデータを算出する。したがって、上述した各３個のＲ信号およびＧ信号のグループうち、末尾の１個が次のグループの先頭に重複するので、２個から３個を算出する３／２のリサイズ処理になる。水平方向のＧＢＧＢラインについても同様に算出する。サイズ変換前のＲＧＲＧラインおよびＧＢＧＢラインは、サイズ変換後もそれぞれＲＧＲＧラインおよびＧＢＧＢラインとなり、リサイズ処理前後で色成分の配列順序が同じである。
【００６１】水平方向についてリサイズ処理された画像データに対して、垂直方向についても同様の処理を行う。図５において、１列目のＲＧＲＧラインにおける１行１列のＲ信号が得られる位置を注目画素ｍとおくと、リサイズ処理後のＲ成分およびＧ成分の値が次式（５２）〜（５７）で算出される。
【数１３】
Ｒ(1,1)＝｛64m+64(m+2)｝/128 （５２）
Ｇ(2,1)＝｛64(m+1)+64(m+3)｝/128 （５３）
Ｒ(3,1)＝｛108(m+2)+20(m+4)｝/128 （５４）
Ｇ(4,1)＝｛108(m+3)+20(m+5)｝/128 （５５）
Ｒ(5,1)＝｛20(m+2)+108(m+4)｝/128 （５６）
Ｇ(6,1)＝｛20(m+3)+108(m+5)｝/128 （５７）
【００６２】上式(５２）〜（５７）により各色３個ずつのデータを算出すると、注目画素(ｎ＋４)を新たな注目画素ｍとおいて次のデータを算出する。同様にして、垂直方向のＧＢＧＢラインについても算出すれば、水平方向および垂直方向のそれぞれを３／２に、すなわち、１撮影画面を構成するデータ数を９／４のサイズに変換できる。なお、わかりやすく説明するために水平方向および垂直方向の算出処理を別々に行うように説明したが、両方向の算出処理をマトリクス演算としてまとめて行うようにしてもよい。両方向についてそれぞれ単独で算出する場合と、まとめて算出する場合とで算出される結果は同じである。
【００６３】以上説明したように第二の実施の形態によれば、画像データサイズ変換処理回路２４０が１画素とびの２画素分の同色信号を用いて、リニア補間的に１画素分のデータの大きさを算出するようにしたので、画像データサイズを拡大することができる。また、拡大倍率も任意である。さらに、リニア補間的算出によって偽色の発生や空間周波数の低下が抑制されるので、リサイズ後の画像品質が劣化しない。
【００６４】上述したリサイズ処理では、１画素とびの近隣２画素分の同色信号のデータを用いて、１画素分のデータの大きさをリニア補間的に算出した。１画素とびの近隣４画素分の同色信号のデータを用いて、Sinc関数ベースの補間処理を行うようにしてもよい。図５を参照して説明すると、たとえば、水平方向および垂直方向の両方向にそれぞれ３／２のリサイズ処理を行う場合に、１行１列のＲ信号が得られる位置を注目画素ｎとおくと、水平方向におけるリサイズ処理後のＲ成分およびＧ成分の値は、次式（５８）〜（６３）で与えられる。
【数１４】
Ｒ(1,1)＝｛-12n+76(n+2)+76(n+4)-12(n+6)｝/128 （５８）
Ｇ(1,2)＝｛-12(n+1)+76(n+3)+76(n+5)-12(n+7)｝/128 （５９）
Ｒ(1,3)＝｛-11(n+2)+122(n+4)+19(n+6)-2(n+8)｝/128 （６０）
Ｇ(1,4)＝｛-11(n+3)+122(n+5)+19(n+7)-2(n+9)｝/128 （６１）
Ｒ(1,5)＝｛-2(n+2)+19(n+4)+122(n+6)-11(n+8)｝/128 （６２）
Ｇ(1,6)＝｛-2(n+3)+19(n+5)+122(n+7)-11(n+9)｝/128 （６３）
【００６５】上式（５８）〜（６３）によれば、Ｒ成分について、注目画素(ｎ＋２)〜(ｎ＋６)までの３個のＲ信号が得られる範囲に、Ｒ(1,1),Ｒ(1,3),Ｒ(1,5)の３個のＲ成分が水平方向にほぼ等間隔で算出される。また、Ｇ成分について、注目画素(ｎ＋３)〜(ｎ＋７)までの３個のＧ信号が得られる範囲に、Ｇ(1,2),Ｇ(1,4),Ｇ(1,6)までの３個のＧ成分が水平方向にほぼ等間隔で算出される。上式(５８）〜（６３）により各色３個ずつのデータを算出すると、注目画素(ｎ＋４)を新たな注目画素ｎとおいて次のデータを算出する。したがって、上述した各３個のＲ信号およびＧ信号のグループうち、末尾の１個が次のグループの先頭に重複するので、２個から３個を算出する３／２のリサイズ処理になる。水平方向のＧＢＧＢラインについても同様に算出する。サイズ変換前のＲＧＲＧラインおよびＧＢＧＢラインは、サイズ変換後もそれぞれＲＧＲＧラインおよびＧＢＧＢラインとなり、リサイズ処理前後で色成分の配列順序が同じである。
【００６６】水平方向についてリサイズ処理された画像データに対して、垂直方向についても同様の処理を行う。図５において、１列目のＲＧＲＧラインにおける１行１列のＲ信号が得られる位置を注目画素ｍとおくと、リサイズ処理後のＲ成分およびＧ成分の値が次式（６４）〜（６９）で算出される。
【数１５】
Ｒ(1,1)＝｛-12m+76(m+2)+76(m+4)-12(m+6)｝/128 （６４）
Ｇ(2,1)＝｛-12(m+1)+76(m+3)+76(m+5)-12(m+7)｝/128 （６５）
Ｒ(3,1)＝｛-11(m+2)+122(m+4)+19(m+6)-2(m+8)｝/128 （６６）
Ｇ(4,1)＝｛-11(m+3)+122(m+5)+19(m+7)-2(m+9)｝/128 （６７）
Ｒ(5,1)＝｛-2(m+2)+19(m+4)+122(m+6)-11(m+8)｝/128 （６８）
Ｇ(6,1)＝｛-2(m+3)+19(m+5)+122(m+7)-11(m+9)｝/128 （６９）
【００６７】同様にして、垂直方向のＧＢＧＢラインについても算出すれば、水平方向および垂直方向のそれぞれを３／２に、すなわち、１撮影画面を構成するデータ数を９／４のサイズに変換できる。なお、わかりやすく説明するために水平方向および垂直方向の算出処理を別々に行うように説明したが、両方向の算出処理をマトリクス演算としてまとめて行うようにしてもよい。両方向についてそれぞれ単独で算出する場合と、まとめて算出する場合とで算出される結果は同じである。
【００６８】以上の説明では、ベイヤー方式の色分解フィルタが用いられる場合について説明したが、補色フィルタ配列方式の場合でも本発明を適用することが可能である。図１４は、ＣＣＤ２６の画素に対応して、Ｇ色、Ｙe色、Ｃy色およびＭa色の補色フィルタが配置されている色分解フィルタを説明する図である。このように、画素並びにおける水平方向および垂直方向の両方向に同じ色成分のフィルタが１画素おきに並ぶ場合に、上述した各式によりリサイズ処理を行うことができる。
【００６９】なお、１撮影画面を構成するデータ全体が、たとえば、Ｇ成分で構成されるような単色の画像データに対しても本発明を適用できる。
【００７０】上述した第一の実施の形態では面積比で９／１６倍に縮小リサイズ処理する場合を説明し、第二の実施の形態では面積比で９／４倍に拡大リサイズ処理する場合を説明した。本発明によるリサイズ処理は、単純な間引き処理とは異なり、リサイズ倍率を任意に設定することが可能である。したがって、リサイズ倍率は上記の説明による倍率に限定されず、任意の値を設定してよい。
【００７１】以上の実施の形態では電子スチルカメラについて説明したが、画像データサイズ変換処理回路２４０をソフトウエアの形態でＣＤ−ＲＯＭやフロッピデイスクなどの記録媒体に画像データサイズ変換処理プログラムとして格納し、パソコンでリサイズ処理する際に使用することもできる。この場合、ＣＣＤで撮像してデジタル化された画像データを大容量の画像データ用記録媒体に記憶し、この記録媒体をパソコンにセットして画像データを取込んだ上で、上記画像データサイズ変換処理プログラムにより上述のようなリサイズ処理を行うようにする。たとえば、図３において、γ補正回路１０６のＲ、Ｇ、Ｂ出力データを生データとして記録媒体３４に記憶し、その記録媒体３４をパソコンにセットして生データに対するリサイズ処理を行なうことができる。
【００７２】上述した画像データサイズ変換処理プログラムが格納された記憶媒体からプログラムをパソコンで読込む代わりに、インターネットなどの伝送媒体を利用して上述した画像データサイズ変換処理プログラムを伝送してもよい。この場合には、伝送されたプログラムをパソコンで読込んだ上で、上述のような画像データサイズの変換処理を行う。
【００７３】なお、以上の説明では一眼レフ電子スチルカメラについて説明したが、レンズ交換ができない電子スチルカメラ、動画像も取込めるデジタルビデオカメラにも本発明を適用できる。
【００７４】以上の実施の形態における回路構成は一例を示すに過ぎず、たとえば次のような態様を含むものでもよい。ブロック処理回路２００のＧ補間処理、ＢＰＦ処理、ＬＰＦ処理、補間／ＬＰＦ処理では、２０×２０、１６×１６、１２×１２、８×８のいずれかのブロックを１単位として画像処理するものとして説明した。これに合わせて、画像データサイズ変換処理回路２４０が２０×２０画素領域ごとにリサイズ後の画像データを出力するように説明した。しかしながら、上記各処理におけるブロックサイズは上記の数値の例に限らず、たとえば、５×５画素領域の画像データを１単位として画像処理してもよい。
【００７５】以上の説明では、画像データサイズ変換処理回路２４０がホワイトバランス微調整後の画像データに対してリサイズ処理を行うようにした。上述したように、リサイズ処理を画素補間処理を行う前に行うことにより、リサイズ処理時間およびリサイズ処理に必要なメモリ容量を削減することができる。したがって、リサイズ処理は、画素補間処理前であれば必ずしもホワイトバランス微調整後でなくてもよく、たとえば、図３のライン処理回路でデジタルクランプされた後の画像データに対して行うようにしてもよい。
【００７６】特許請求の範囲における各構成要素と、発明の実施の形態における各構成要素との対応について説明すると、Ｒ成分、Ｇ成分およびＢ成分が複数の色成分に、色分解フィルタが色分解手段に、ＣＣＤ２６が撮像手段に、Ａ／Ｄ変換回路２８がＡ／Ｄ変換手段に、画像データサイズ変換処理回路２４０がデータサイズ変換手段に、補間／輪郭処理回路２２０が画像処理手段に、それぞれ対応する。
【００７７】
【発明の効果】以上詳細に説明したように請求項１〜３に記載の発明によれば、色分解手段によって複数の色成分に色分解された被写体像を撮像したディジタル画像データについて、色分解手段に配列されている色フィルタの配列による画像データの色成分の配列順序を保持しながら、画像データサイズを任意の縮小率または拡大率でサイズ変換するようにした。サイズ変換しても色成分の配列順序を保持する結果、被写体像の色を正しく再現することが可能になる。
【図面の簡単な説明】
【図１】一眼レフ電子スチルカメラの一実施の形態の構成を示す図である。
【図２】一眼レフ電子スチルカメラの信号処理系統の一実施の形態のブロック図である。
【図３】図２に示した信号処理系統のうちライン処理を行なう回路を説明するブロック図である。
【図４】図２に示した信号処理系統のうちブロック処理を行なう回路を説明するブロック図である。
【図５】ベイヤー配列の色分解フィルタを示す図である。
【図６】Ｇ補間回路の処理内容を説明する図である。
【図７】バンドパスフィルタの処理内容を説明する図である。
【図８】ローパスフィルタの処理内容を説明する図である。
【図９】色差信号生成回路の処理内容を説明する図である。
【図１０】補間／ＬＰＦ回路で処理されるデータ例を示す図である。
【図１１】補間／ＬＰＦ回路の処理内容を説明する図である。
【図１２】メディアン回路の処理内容を説明する図である。
【図１３】全押しスイッチで起動されるプログラムを示すフローチャートである。
【図１４】補色フィルタ配列方式の色分解フィルタを示す図である。
【図１５】ベイヤー方式の色分解フィルタを通して撮像された画像データに対する間引き処理を説明する図である。
【符号の説明】
２１…ＣＰＵ、 ２２…半押しスイッチ、２３…全押しスイッチ、 ２６,７３…ＣＣＤ、２８…Ａ／Ｄ変換回路、 ２９…画像処理回路、３３…ＪＰＥＧ圧縮回路、３５…ホワイトバランス検出処理回路、 ３５Ａ…ホワイトバランスセンサ、１００…ライン処理回路、 ２００…ブロック処理回路、２１０…ホワイトバランス微調整回路、 ２２０…補間／輪郭処理回路、２４０…画像データサイズ変換処理回路、２５０…切換え回路
【特許請求の範囲】
【請求項１】複数の色成分の光をそれぞれ透過する複数の色フィルタが所定の順序で配列され、被写体像を前記複数の色成分に色分解する色分解手段と、前記色分解手段により色分解された被写体像を複数の画素により撮像する撮像手段と、前記撮像手段から出力される画像信号をＡ／Ｄ変換するＡ／Ｄ変換手段と、前記Ａ／Ｄ変換後の画像データについて、前記画像データが前記色フィルタの配列順序に応じて有する前記色成分の配列順序を保持しながら、前記画像データを任意の縮小率または拡大率で縮小または拡大するデータサイズ変換手段とを備えることを特徴とする画像データサイズ変換処理装置。
【請求項２】複数の色成分の光をそれぞれ透過する複数の色フィルタが所定の順序で配列され、被写体像を前記複数の色成分に色分解する色分解手段と、前記色分解手段により色分解された被写体像を複数の画素により撮像する撮像手段と、前記撮像手段から出力される画像信号をＡ／Ｄ変換するＡ／Ｄ変換手段と、前記Ａ／Ｄ変換後の画像データについて、前記画像データが前記色フィルタの配列順序に応じて有する前記色成分の配列順序を保持しながら、前記画像データを任意の縮小率または拡大率で縮小または拡大するデータサイズ変換手段と、前記データサイズ変換手段による前記縮小または拡大後の画像データに対し、所定の画像処理を行う画像処理手段とを備えることを特徴とする電子スチルカメラ。
【請求項３】複数の色成分の光をそれぞれ透過する複数の色フィルタにより前記複数の色成分に色分解して撮像されたディジタル画像データについて、前記画像データが前記色フィルタの配列順序に応じて有する前記色成分の配列順序を保持しながら、前記画像データを任意の縮小率または拡大率で縮小または拡大するデータサイズ変換処理を行うプログラムが格納されていることを特徴とする画像データサイズ変換処理用記録媒体。
【請求項１】複数の色成分の光をそれぞれ透過する複数の色フィルタが所定の順序で配列され、被写体像を前記複数の色成分に色分解する色分解手段と、前記色分解手段により色分解された被写体像を複数の画素により撮像する撮像手段と、前記撮像手段から出力される画像信号をＡ／Ｄ変換するＡ／Ｄ変換手段と、前記Ａ／Ｄ変換後の画像データについて、前記画像データが前記色フィルタの配列順序に応じて有する前記色成分の配列順序を保持しながら、前記画像データを任意の縮小率または拡大率で縮小または拡大するデータサイズ変換手段とを備えることを特徴とする画像データサイズ変換処理装置。
【請求項２】複数の色成分の光をそれぞれ透過する複数の色フィルタが所定の順序で配列され、被写体像を前記複数の色成分に色分解する色分解手段と、前記色分解手段により色分解された被写体像を複数の画素により撮像する撮像手段と、前記撮像手段から出力される画像信号をＡ／Ｄ変換するＡ／Ｄ変換手段と、前記Ａ／Ｄ変換後の画像データについて、前記画像データが前記色フィルタの配列順序に応じて有する前記色成分の配列順序を保持しながら、前記画像データを任意の縮小率または拡大率で縮小または拡大するデータサイズ変換手段と、前記データサイズ変換手段による前記縮小または拡大後の画像データに対し、所定の画像処理を行う画像処理手段とを備えることを特徴とする電子スチルカメラ。
【請求項３】複数の色成分の光をそれぞれ透過する複数の色フィルタにより前記複数の色成分に色分解して撮像されたディジタル画像データについて、前記画像データが前記色フィルタの配列順序に応じて有する前記色成分の配列順序を保持しながら、前記画像データを任意の縮小率または拡大率で縮小または拡大するデータサイズ変換処理を行うプログラムが格納されていることを特徴とする画像データサイズ変換処理用記録媒体。
【図３】
【図１０】
【図１】
【図２】
【図４】
【図５】
【図９】
【図１３】
【図１４】
【図６】
【図１５】
【図７】
【図８】
【図１１】
【図１２】
【図１０】
【図１】
【図２】
【図４】
【図５】
【図９】
【図１３】
【図１４】
【図６】
【図１５】
【図７】
【図８】
【図１１】
【図１２】
【公開番号】特開２００２−８４５４７（Ｐ２００２−８４５４７Ａ）
【公開日】平成１４年３月２２日（２００２．３．２２）
【国際特許分類】
【出願番号】特願２０００−２７０３９６（Ｐ２０００−２７０３９６）
【出願日】平成１２年９月６日（２０００．９．６）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成１４年３月２２日（２００２．３．２２）
【国際特許分類】
【出願日】平成１２年９月６日（２０００．９．６）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]