デジタルカメラおよび画像信号処理用記憶媒体
【課題】画素数が多くなってもバッファメモリの容量を大型化することなく各種信号処理を行う。
【解決手段】CCD26は撮影レンズを通過する被写体像を撮像し、画像処理回路29は、CCD26から出力されるN行M列の画像データに対してγ補正、ホワイトバランスなどの種々の画像前処理を行い、さらにデータをフォーマット処理した後、圧縮回路33で圧縮する。ホワイトバランス調整などは、CCD20の出力に沿った1ラインごとに点順次で信号処理を行うライン処理回路100でライン順次で行われる。前処理後の画像データに対しては、n×m(N>n,M>m)のブロック単位で信号処理するブロック処理回路200でJPEG圧縮前のフォーマット処理が施される。すなわち、ブロック順次で信号処理される。
【解決手段】CCD26は撮影レンズを通過する被写体像を撮像し、画像処理回路29は、CCD26から出力されるN行M列の画像データに対してγ補正、ホワイトバランスなどの種々の画像前処理を行い、さらにデータをフォーマット処理した後、圧縮回路33で圧縮する。ホワイトバランス調整などは、CCD20の出力に沿った1ラインごとに点順次で信号処理を行うライン処理回路100でライン順次で行われる。前処理後の画像データに対しては、n×m(N>n,M>m)のブロック単位で信号処理するブロック処理回路200でJPEG圧縮前のフォーマット処理が施される。すなわち、ブロック順次で信号処理される。
【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、被写体を電子的に圧縮した画像データとして記憶するデジタルカメラおよび画像信号処理プログラムが格納された記憶媒体に関する。
【0002】
【従来の技術】従来から、撮影レンズを通過する被写体像がクイックリターンミラーによって導かれるファインダ装置と、クイックリターンミラーの後段に配置され被写体像を撮像して画像データを出力するCCDのような撮像装置と、撮像装置から出力される画像データに対してホワイトバランスやγ補正などの画像処理を施す画像処理回路と、画像処理後のデータをJPEGなどの方式で圧縮してフラッシュメモリなどの記憶媒体に記憶する圧縮回路と、画像処理後のデータを表示するモニタとを備える電子スチルカメラが知られている。画像処理回路では、撮像装置から出力される画像データに基づいて、予め定めたアルゴリズムによりホワイトバランス調整用のRゲインやBゲイン、あるいはγ補正用の階調カーブなどのパラメータを算出する。また、JPEG方式で圧縮するために画像データをそれぞれ8×8の輝度データYと色差データCr,Cbに変換する。
【0003】
【発明が解決しようする課題】このような従来の電子スチルカメラの撮像装置では、ホワイトバランスやγ補正などの画像前処理も、画像前処理後のデータをJPEG圧縮するためにフォーマット化する画像後処理もCCDの読み出しに沿った1ライン毎に処理している。そのため、CCDの画素数が200万画素を越えるような高画質型の電子スチルカメラでは、パイプライン演算などに使用されるラインバッファメモリの容量が莫大となり、高価なカメラとなってしまうという問題がある。この問題は次のように説明することができる。
【0004】すなわち、従来、固体撮像素子からの出力を信号処理する場合、撮像素子から出力されるN×Mの1画面の画像データはライン毎に点順次で出力されるため、画素補間処理、フィルタ処理などの信号処理をする場合、たとえば5×5のフィルタ処理をする場合など4ライン分のラインバッファメモリが必要である。つまり、4ライン分の画像データをメモリに蓄積して初めて処理が可能となる。このラインバッファメモリは、フィルタ処理、補間処理などの各種の処理ごとにそれぞれ4ライン分必要となる。
【0005】このように、上述したフィルタ処理、補間処理などの各処理ごとに4ラインづつのラインバッファメモリを1チップの処理ICに設けると、メモリの占有する割合が多くなり、1チップ処理ICのゲート数が増大し、コスト高になってしまう。とくに200万画素を越えるような高画素タイプの撮像素子では1ラインの画素数が多くなり、とくにコストが高くなる。また、ラインバッファメモリを1チップ処理ICの外に設置する場合、その入力出力ピンが10bitであれば20ピン必要となり、ラインバッファメモリごとに20ピンの入出力ピンが必要となって、1チップ処理ICのパッケージが大きくなってしまう。
【0006】本発明の目的は、画素数が多くなってもバッファメモリの容量を大型化することなくコストを下げるようにしたデジタルカメラを提供することにある。また本発明の他の目的は、画素数の多い撮像素子で撮像された画像データでもバッファメモリの容量を少なくできるような信号処理を行なうプログラムを格納した記憶媒体を提供することにある。
【0007】
【課題を解決するための手段】一実施の形態を示す図1および図2を参照して本発明を説明する。
(1)請求項1の発明は、撮影レンズ91を通過する被写体像を撮像して画像データを出力する撮像装置73(26)と、画像データを記録処理する記録処理回路33と、撮像装置26から出力される画像データに対して前処理を行なった後、記録処理に適したフォーマット処理を行なう画像処理回路29とを備えたデジタルカメラに適用される。そして、前処理では、N行M列の画像データに対して各行ごとにライン順次の信号処理を行ない、フォーマット処理では、前処理を終えた画像データに対してn行m列(N>n,M>m)のブロックごとにブロック順次で信号処理を行なうことにより、上述した目的を達成する。
(2)請求項2の発明は、請求項1のデジタルカメラにおいて、記録処理回路を画像データを圧縮する圧縮回路としたものである。
(3)請求項3の発明は、請求項1のデジタルカメラにおいて、前処理はγ補正、ホワイトバランス補正を含み、フォーマット処理は補間処理、LPF処理、BPF処理および色差信号算出処理を含むものである。
(4)請求項4の画像信号処理用記憶媒体には、撮像装置73(26)で撮像された画像データを記録するためにその画像データをフォーマット化するフォーマット処理と、フォーマット処理に先立って行なわれる各種の信号前処理と、フォーマット処理を終えた画像データを記録する記録処理とを実行するプログラムが格納され、前処理では、画像データに対して各行ごとにライン順次の信号処理を行ない、フォーマット処理では、前処理を終えた画像データに対してn行m列(N>n,M>m)のブロックごとにブロック順次で信号処理を行なうことにより、上述した目的を達成する。
(5)請求項5の発明は、請求項4の画像信号処理用記憶媒体において、記録処理を画像データを圧縮する圧縮処理としたものである。
(6)請求項6の発明は、請求項4または5の画像信号処理用記憶媒体において、前処理はγ補正、ホワイトバランス補正を含み、前記フォーマット処理は補間処理、LPF処理、BPF処理および色差信号算出処理を含むことを特徴とする。
【0008】なお、本発明の構成を説明する上記課題を解決するための手段の項では、本発明を分かり易くするために実施の形態の図を用いたが、これにより本発明が実施の形態に限定されるものではない。
【0009】
【発明の実施の形態】以下、図面を参照して本発明の実施の形態を説明する。 図1に示すように、この実施の形態による一眼レフ電子スチルカメラは、カメラ本体70と、カメラ本体70に着脱されるファインダ装置80と、撮影レンズ91と絞り92を内蔵してカメラ本体70に着脱される交換レンズ90とを備える。被写体光は交換レンズ90を通ってカメラ本体70に入射し、レリーズ前は点線で示す位置にあるクイックリターンミラー71でファインダ装置80に導かれてファインダマット81に結像する。その被写体像はさらにペンタプリズム82で接眼レンズ83に導かれる。レリーズ後はクイックリターンミラー71が実線で示す位置に回動し、被写体光はシャッタ72を介して撮像装置73上に結像する。レリーズ前に、プリズム84と結像レンズ85を通って被写体像がホワイトバランスセンサ86に入射して、被写体像の色温度を検出する。
【0010】図2は実施の形態の回路ブロック図である。CPU21にはレリーズ釦に連動する半押しスイッチ22と全押しスイッチ23から半押し信号と全押し信号がそれぞれ入力される。CPU21からの指令により、タイミングジェネレータ24とドライバ25を介して撮像装置73のCCD26が駆動制御される。また、タイミングジェネレータ24によりアナログ処理回路27とA/D変換回路28の動作タイミングが制御される。さらに、CPU21からの信号によりホワイトバランス検出処理回路35が駆動を開始する。
【0011】半押しスイッチ22のオン操作に引続いて全押しスイッチ23がオン操作されるとクイックリターンミラー71が上方に回動し、交換レンズ90からの被写体光はCCD26の受光面上で結像し、CCD26には被写体像の明るさに応じた信号電荷が蓄積される。CCD26に蓄積された信号電荷はドライバ25により吐き出され、AGC回路やCDS回路などを含むアナログ信号処理回路27に入力される。アナログ信号処理回路27でアナログ画像信号に対してゲインコントロール、雑音除去等のアナログ処理が施された後、A/D変換回路28によってデジタル信号に変換される。デジタル変換された信号はたとえばASICとして構成される画像処理回路29に導かれ、そこでホワイトバランス調整、輪郭補償、ガンマ補正等の画像前処理が行われる。
【0012】ホワイトバランス検出処理回路35は、色温度センサであるホワイトバランスセンサ35A(図1のホワイトバランスセンサ86)と、ホワイトバランスセンサ35Aからのアナログ信号をデジタル信号とするA/D変換回路35Bと、デジタル色温度信号に基づいてホワイトバランス調整信号を生成するCPU35Cとを含む。ホワイトバランスセンサ35Aはたとえば赤色Rと青色Bと緑色Gとにそれぞれ感度を有する複数の光電変換素子からなり、被写界全体の光像を受光する。CPU35Cは、複数の光電変換素子の出力に基づいてRゲインとBゲインを算出する。これらのゲインはCPU21の所定のレジスタに転送されて格納される。また、図1のホワイトバランスセンサ86は、24列×20行の2次元CCDで構成することもでき、その場合、CCDを16の領域に分割し、各領域にRGBに感度を有する素子を複数個配列する。
【0013】画像前処理が行なわれた画像データに対してはさらに、JPEG圧縮のためのフォーマット処理(画像後処理)が行なわれ、その後、その画像データはバッファメモリ30に一時的に格納される。
【0014】バッファメモリ30に記憶された画像データは、表示画像作成回路31により表示用の画像データに処理され、LCD等の外部モニタ32に撮影結果として表示される。また、バッファメモリ30に記憶された画像データは、圧縮回路33によりJPEG方式で所定の比率にデータ圧縮を受け、フラッシュメモリ等の記憶媒体(PCカード)34に記録される。
【0015】図3および図4は画像処理回路29の詳細を示すブロック図である。図3はCCD26からの画像データに対してラインごとに信号処理するライン処理回路100であり、上述した画像前処理を行う。図4は、ライン処理回路100で信号処理された画像データを20×20画素領域、16×16画素領域、12×12画素領域、あるいは8×8画素領域のブロック単位で信号処理するブロック処理回路200であり、上述した画像後処理を行う。なお、画像処理回路29は複数のプロセッサを用いてソフトウエアとして実現されるが、この明細書では便宜上、ハードウエアとして説明する。
【0016】図3のライン処理回路100は、A/D変換回路28から出力される12ビットのR,G,B信号に対して後述する各種の信号処理を行なうものであり、欠陥補正回路101と、デジタルクランプ回路102と、ゲイン回路103と、ホワイトバランス回路104と、黒レベル回路105と、γ補正回路106と、平均値およびヒストグラム算出回路107とを有する。
【0017】欠陥補正回路101は、CCD26の出力に対して1ラインごとに点順次で、欠陥のある画素(予め特定されてそのアドレスがレジスタにセットされている)からのデータを補正するものである。デジタルクランプ回路102は、CCD26の出力に対して1ラインごとに点順次で、いわゆるオプティカルブラックとして使用する複数の画素データの加重平均をそのラインの各画素データから減算するものである。ゲイン回路103は、CCD26の出力に対して1ラインごとに点順次で、CCD26から出力されるR,G,B信号の各々に対して一律に所定のゲインをかけるとともに、CCD26の感度のばらつき補正をG信号に対して行ない、さらに、CCD26の感度比のばらつきをR,B信号に対して行なう。
【0018】ホワイトバランス回路104は、CCD26の出力に対して1ラインごとに点順次で、上述したようにあらかじめ決定されてCPU21のレジスタに格納されているホワイトバランス調整係数であるRゲインとBゲインをR,B信号に掛合わせる。本発明では後述するように、このホワイトバランス回路104で補正された画像データに基づいて、さらにホワイトバランス微調整のゲインを算出してホワイトバランスを微調整する。黒レベル回路105は、CCD26の出力に対して1ラインごとに点順次で、あらかじめ決定されてCPU21のレジスタに格納されている値をR,G,B信号に対して加算する。γ補正回路106は、CCD26の出力に対して1ラインごとに点順次で、階調ルックアップテーブルを用いてγ補正を行なう。なお、γ補正によりそれぞれ12ビットのR,G,B信号は8ビットのデータに変換される。
【0019】平均値およびヒストグラム算出回路107は、たとえばγ補正後の画像データのなかから、焦点検出領域の中央部を中心とした512×512の領域の画像データを抽出して、R信号用のホワイトバランス微調整用ゲインRFgainとB信号用のホワイトバランス微調整用ゲインBFgainをたとえば、次式(1),(2)により算出する。このゲインRFgainとBFgainはレジスタに格納される。たとえば、512×512の画素領域上に図5に示すようにカラーフィルタが配置されている場合、R,G,B信号の平均値を(3)〜(5)式で算出し、(1),(2)式に示すように、G信号の平均値GaveとR信号の平均値Raveとの比およびG信号の平均値GaveとB信号の平均値Baveとの比からホワイトバランス微調整用ゲインRFgainとBFgainを算出する。
【0020】
【数1】RFgain=Gave/Rave (1)
BFgain=Gave/Bave (2)
ただし、Rave=Rsum/Rpixel数 (3)
Gave=Gsum/Gpixel数 (4)
Bave=Bsum/Bpixel数 (5)
このような平均値方式によると、画像データのRGBの各信号の階調の平均値を求めたことになり、経験的にホワイトバランスの調整結果(全体的なホワイトバランス)が良好となる。
【0021】平均値およびヒストグラム算出回路107で算出したR,G,Bの各信号の輝度レベルのヒストグラムに基づいて、ホワイトバランス微調整用RFgainとBFgainを次のように算出してもよい。平均値およびヒストグラム算出回路107は、R,G,Bの各信号の輝度レベルのヒストグラムを算出する。すなわち、各色の輝度レベルごとの個数を算出して図6(a)〜図6(c)に示すようなヒストグラムを算出する。ここで、R,G,Bの各色の95%レベル値をたとえば、R=180、B=200、G=190とすると、RFgainとBFgainは、RFgain=190/180、ホワイトバランス微調整用BFgain=190/200として算出することができる。なお、95%レベル値とは、最も多いドット数の95%のドット数の輝度レベル値である。このようなヒストグラム方式によると、ヒストグラムが画像データのRGBの各信号の階調分布の分散を含む形状となり、その形状からホワイトバランス微調整ゲインを求めれば、所定の部分(白点部分)に集中してホワイトバランスを合せることができ、経験的にホワイトバランスの調整結果が良好となる。なお、平均値方式とヒストグラム方式を組合せてもよい。
【0022】図4のブロック処理回路200は、ホワイトバランス微調整回路210と補間/輪郭処理回路220とから構成され、n×m画素データごとに、すなわちブロックごとに各種信号処理を行なう。ホワイトバランス微調整回路210は、γ補正回路106までの処理が施されてバッファメモリ30に格納されているR信号およびB信号に対して、20×20画素領域の各R,B信号ごとに、平均値回路107で算出されたホワイトバランス微調整用ゲインRFgainとBFgainをそれぞれ掛け合せてホワイトバランスの微調整を行なう。
【0023】補間/輪郭処理回路220は、G補間回路221と、バンドパスフィルタ(BPF)222と、クリップ回路223と、ゲイン回路224と、ローパスフィルタ(LPF)225と、色差信号生成回路226と、補間/ローパスフィルタ(LPF)回路228と、マトリックス回路229と、加算器230と、メディアン回路232とを備え、ホワイトバランス微調整後の画像データに対して20×20画素領域のブロックデータごとにJPEG方式のデータ圧縮のためのフォーマット処理を行なって16×8画素領域のY信号と、8×8画素領域のCb信号,Cr信号を生成する。輝度信号Yは、後述するようにG信号の低周波数成分の輝度信号Y1と高周波数成分の輪郭信号Y2とを含むものである。
【0024】G補間回路221にはホワイトバランス調整回路210から20×20画素領域のブロック信号が入力され、その中心の16×16画素領域のデータについて、R信号あるいはB信号の画素領域に対してG成分を補間演算で算出する。すなわち、図7に示すように、20×20画素領域の入力データD20について、5×5画素領域データD51(1行1列〜5行5列)の中央の空格子点(3行3列の画素であり、B信号が得られる)のG成分を算出し、この値を16×16画素領域の出力データD16の3行3列の画素(Bを○で囲ったもの)のG成分として置換する。
【0025】次いで、20×20画素領域の入力データD20について、5×5画素領域データD52(2行2列〜6行6列)の中央の空格子点(4行4列の画素であり、R信号が得られる)のG成分を算出し、この値を16×16画素領域の出力データD16の4行4列の画素(Rを○で囲ったもの)のG成分に置換する。このような処理を繰り返し行なうことにより、16×16画素領域のすべての空格子点についてG補間処理が行われ、出力データD16を得る。そして、そのうちの12×12画素領域の出力データD12をバンドパスフィルタ222とローパスフィルタ225にそれぞれ出力する一方、16×16画素領域の出力データD16を色差信号生成回路226に出力する。
【0026】バンドパスフィルタ222は、G補間回路221から出力される12×12画素領域のG信号のうち中間周波数成分(ただし、被写体の輪郭が抽出できる程度に高い周波数成分であり、便宜上、高周波数成分と呼ぶ)を取り出す。すなわち、図8に示すように、12×12画素領域の入力データD12について、5×5画素領域データD5(5行5列〜9行9列)にバンドパスフィルタ係数を掛け合せてBPF出力データを得、その値を8×8画素領域の出力データD8の7行7列のデータ(太字G)として置換する。このような処理を繰り返すことで8×8画素領域のすべての画素データをBPF後のGデータに置換し、出力データD8を生成する。
【0027】クリップ回路223は、バンドパスフィルタ222から出力される8×8画素領域データD8のそれぞれを、設定したレベルでクリップおよびカットする。ゲイン回路224は、クリップ回路223の出力にあらかじめ定められたゲインを掛ける。
【0028】ローパスフィルタ225は、G補間回路221から出力される12×12画素領域のG信号のうち低周波数成分を取り出す。すなわち、図9に示すように、12×12画素領域の入力データD12について、5×5画素領域データD5(5行5列〜9行9列)にローパスフィルタ係数を掛け合せてLPF出力データを得、その値を8×8画素領域の出力データD8の7行7列のデータ(ハッチング領域)として置換する。このような処理を繰り返すことで8×8画素領域のすべての画素データをLPF後のGデータに置換し、出力データD8を生成する。
【0029】色差信号生成回路226は、図10に示すように、ホワイトバランス微調整回路210の出力である16×16画素領域のRGB信号入力データD16−1およびG補間回路221の出力である16×16画素領域のG信号入力データD16−2に基づいて(B−G)信号と(R−G)信号を含む中間データD16−3を生成する。さらに、中間データD16−3を(B−G)色差信号の出力データD16−4と(R−G)色差信号の出力データD16−5とに分離する。
【0030】補間/LPF回路228は、色差信号生成回路226から16×16画素領域の8ビットの(B−G)信号と(R−G)信号をそれぞれ入力して、5×5画素領域ごとに(B−G)信号と(R−G)信号をそれぞれ補間演算するとともに、同時に低帯域信号を取り出すローパスフィルタリング処理も行ない、その結果である12×12画素領域の(B−G)信号と(R−G)信号をマトリックス回路229のCb,Crマトリックス部へ出力する。また、8×8画素領域の(B−G)信号と(R−G)信号をマトリックス回路229のYマトリックス部へ出力する。
【0031】5×5画素領域の(R−G)データを図11のように表わすとき、上記補間演算とローパスフィルタリング処理演算は次式(6)で表わされる。
【数2】
【0032】一般に、補間フィルタと帯域制限のLPFを同時にかける場合には次のようなフィルタ係数の制限がある。簡単のために1次元で説明する。補間後のサンプル点のうち、N周期で実サンプル点がある場合を考える。たとえば、a,a,b,b,a,a,b,b,・・・・・・・・(ただし、aは実サンプル点、bは補間するサンプル点とする。なお、この例では4周期である)。これを(2n+1)次(ただし、(2n+1)はNよりも大きい)の奇数次対称型デジタルフィルタで補間する場合、実サンプル点が一様であれば、補間後のサンプル点も一様でなければいけないので、以下のようなフィルタ係数の制限がある。
【0033】C(k)をk番目のフィルタ係数とすると、以下のようにN個存在する係数の組の和が互に等しくなくてはならい。
【数3】
ただし、iはフィルタ係数が(2n+1)以下に収まる0以上の整数kはn未満の0以上の整数
【0034】2次元の場合は、水平方向と垂直方向に同様の制限のフィルタを掛合わせて2次元フィルタを構成すればよい。この実施の形態では、図5と図11に示すように2画素周期のサンプル点を補間するので、N=2であり、フィルタ係数は偶数次の和と奇数次の和が等しくなければならない。すなわち、ΣC(2*i)=ΣC(2*i+1)
2次元で上記(6)式のような5次×5次の対称型フィルタの場合は、4*kc1+2*kc3+4*kc5+2*kc7+kc9=4*kc2+4*kc4+2*kc6+2*kc8となる。
【0035】たとえば、図12を参照して(R−G)信号の補間/LPF処理について説明する。16×16画素領域の入力データD16の(R−G)信号について、5×5画素領域データD5(3行3列〜7行7列)に補間/LPFフィルタ係数を掛け合せ、その中央領域(5行5列)の(R−G)データを算出し、これを12×12画素領域の出力データD12の5行5列のデータとして置換する。このような処理を繰り返すことで(R−G)信号について12×12画素領域のすべての画素データを補間/LPF処理し、出力データD12を得る。(B−G)信号についても同様な処理を行なって、12×12画素領域の出力データを生成する。
【0036】マトリックス回路229は、Yマトリックス部と、Cbマトリックス部と、Crマトリックス部とから構成される。Yマトリックス部は、補間/LPF回路228から8×8画素領域の(B−G)信号と(R−G)信号を入力するとともに、ローパスフィルタ225から8×8画素領域のG信号を入力し、次式(7)により8×8画素領域の低周波数成分の輝度信号Y1を生成する。
【数4】
Y1(i,j)=[Mkg×G(i,j)+Mkr1×R-G(i,j)+Mkb1×B-G(i,j)] (7)
ただし、Mkg、Mkr1、Mkb1はマトリックス係数
【0037】Cbマトリックス部およびCrマトリックス部はそれぞれ、補間/LPF回路228から12×12画素領域の(B−G)信号と(R−G)信号を各々入力し、次式(8),(9)により12×12画素領域のCb信号とCr信号を生成する。
【数5】
Cr(i,j)=[Mkr2×R-G(i,j)+Mkb2×B-G(i,j)] (8)
Cb(i,j)=[Mkr3×R-G(i,j)+Mkb3×B-G(i,j)] (9)
ただし、Mkr2、Mkr3、Mkb2、Mkb3はマトリックス係数
【0038】加算器230は、マトリックス回路229から出力される8×8画素領域の低周波数成分の輝度信号Y1とゲイン回路224から出力される8×8画素領域の高周波数成分の輪郭抽出信号Y2を加算する。ゲイン回路224から出力される輪郭抽出信号Y2は、G補間された16×16画素領域のG信号から高周波数成分を抽出したもの、すなわち輪郭を抽出したものである。したがって、加算器230で式(7)で算出される輝度信号Y1とゲイン回路224で算出された輪郭抽出信号Y2を加算することにより、画像全体の輝度/輪郭抽出信号Y(Y1+Y2)が算出される。この加算結果はバッファメモリ30に格納される。
【0039】メディアン回路233は、マトリックス回路229からの12×12画素領域のCb信号とCr信号を入力し、5×5画素領域に含まれる3×3画素の9点を利用したメディアン処理を行ない、8×8画素のCr信号とCb信号を出力する。
【0040】この実施の形態のメディアン処理では、図13に示すように、12×12画素のデータD12(データは黒点印)のうち、5×5画素領域に含まれる3×3画素(5行5列〜9行9列)のデータD3−5の9個のデータ(×印)に対してメディアンフィルタ処理を行なう。すなわち、9個のデータを昇順もしくは降順にソートして中央値をメディアン処理データとする。そして、得られたメディアン処理データを、8×8画素の出力データD8の7行7列のデータとして置換する。このような演算を繰り返して行なうことにより、Cb,Cr信号のそれぞれについて8×8画素の出力データD8を生成する。Cr信号とCb信号の出力データD8はバッファメモリ30に格納される。
【0041】JPEG圧縮回路33は、上述したようにブロック処理回路200に入力された20×20画素領域ごとの入力データに対して、加算回路230により生成された16×8画素のY信号と、メディアン回路232により生成された8×8画素のCr信号とCb信号とに基づいて、JPEG圧縮方式の8×8画素にフォーマット化されたYCrCb信号を1単位として抽出し、周知の手順により圧縮することを繰り返し行ってすべての画像を圧縮する。圧縮された画像データはCPU21を経由してPCカード34に記憶される。
【0042】このように構成された電子スチルカメラの動作について説明する。全押しスイッチ23が操作されると、クイックリターンミラーが跳ね上がり、図14に示す撮影シーケンスのプログラムが起動される。ステップS21では、CCD26の各画素が受光信号を蓄積し、蓄積終了後、全画素の蓄積電荷を順次に吐き出す。ステップS22において、吐き出された画像データはアナログ信号処理回路27で処理された後、A/D変換回路28でデジタル画像データに変換され、画像処理回路29に入力される。次にステップS23に進み、ホワイトバランス調整、γ階調補正、JPEGフォーマット化処理などが画像処理回路29で行なわれる。画像処理が終了するとステップS24に進み、画像処理後の画像データをいったんバッファメモリ30に記憶する。ステップS25において、バッファメモリ30から画像データを読み込んでJPEG圧縮回路33でデータを圧縮する。ステップS26では、圧縮した画像データをPCカード34に記憶する。
【0043】この実施の形態の作用効果についてさらに詳細に説明する。
(1)画素単位およびライン単位で行なうことが可能な信号処理については図3に示したライン処理回路100が担当する。すなわち、ライン処理回路100はCCD26から出力されるデータに沿ってラインごとにデータを点順次で出力処理する。そしてライン処理後のデータをいったんバッファメモリ30に格納し、その後の信号処理は、ブロック処理回路200において、n×m(n,m=20,16,12,8)画素を1つのブロック単位で行なうようにした。したがって、200万画素を越えるような高画質タイプの電子スチルカメラの場合でも、ラインバッファが大型化することがない。すなわち、この実施の形態のようにブロック単位で信号処理を行わない場合には、図15に示すように、G補間処理、BPF処理、補間/LPF処理およびメディアン処理回路のそれぞれに4ライン分のバッファメモリBM1〜BM4が必要となり、回路規模が大型化するのは明らかである。また、画素単位およびライン単位で行なうパイプライン演算についてはブロックごとの処理ではなくライン処理なので、パイプライン演算時間も従来と同様に高速にできる。
【0044】(2)あらかじめ決定したホワイトバランス調整係数RゲインおよびBゲインを用いてホワイトバランスを行なった画像に基づいて、上式(1),(2)のようなホワイトバランス微調整用RFゲインおよびホワイトバランス微調整用BFゲインを算出し、ホワイトバランス後の画像データに対してそのRFゲイン,BFゲインによりホワイトバランス微調整を行なうようにしたので、あらかじめ決定されているホワイトバランス調整係数の調整不良が発生しても、色かぶり画像が発生することが防止される。
【0045】(3)補間/LPF回路228により、(B−G)信号と(R−G)信号をそれぞれ補間演算するとともに、同時に低周波数成分を取り出すローパスフィルタリング処理も行なうようにしたので、補間処理、マトリッックス処理、LPF処理の順番で信号を処理して偽色や色モアレ抑制する方式に比べて、処理時間が短縮される。また、ハードウエアを省略することができるうえに、トータルの周波数応答を一箇所でコントロールできるので制御しやすい。
【0046】(4)JPEG方式で圧縮する前に8×8画素のCr画像データとCb画像データに対してメディアン処理を行なうようにしたので、従来のようにローパスフィルタリングだけで偽色や色モアレを抑制する場合に比べて、偽色や色モアレをより短時間で一層抑制することができる。また、JPEG圧縮フォーマット処理により8×8画素のCr,Cb信号を生成する際、補間/LPF処理、マトリックス処理された12×12画素データに対して、5×5画素領域のCb信号とCr信号を水平方向と垂直方向ともに1画素ごとに3×3画素の9個のデータを抽出してメディアン処理するようにしたので、5×5画素の25個のデータの全てに対してメディアン処理する場合に比べて、メディアン処理時間を短縮できる。
【0047】以上の実施の形態では電子スチルカメラについて説明したが、ライン処理回路100あるいはブロック処理回路200をソフトウエハエアの形態でCD−ROMやフロッピデイスクなどの記憶媒体に画像処理プログラムとして格納し、パソコンで画像処理する際に使用することもできる。この場合、CCDで撮像してデジタル化された画像データを大容量の画像データ用記憶媒体に記憶し、この記憶媒体をパソコンにセットして画像データを取込んだ上で、上記画像処理プログラムにより上述のようなライン処理やブロック処理を行うようにする。たとえば図3において、黒レベル回路105の出力データを生データとしてPCカード34に記憶し、そのPCカード34をパソコンにセットして生データの画像処理を行なうことができる。
【0048】上述したようにパソコン上で画像処理する際、上記画像データ用記憶媒体に記憶された画像データが既にホワイトバランス調整を施されている場合には、ホワイトバランス微調整処理だけを行なうようにプログラムを作成する。一方、上記画像データ用記憶媒体に記憶された画像データがホワイトバランス調整を施されていない場合には、ホワイトバランス調整処理とホワイトバランス微調整処理を行なうようにプログラムを作成する。その場合、画像データ用記憶媒体にはCCDからの撮像データのみならず、ホワイトバランスセンサ86(35A)で検出した被写体の色温度情報も合せて記憶しておき、そのデータに基づいてホワイトバランス調整を行なう。
【0049】なお以上では、一眼レフ電子スチルカメラについて説明したが、レンズ交換ができない電子スチルカメラ、動画像も取込めるデジタルビデオカメラにも本発明を適用できる。また、以上では、JPEG圧縮方式について説明したがその他の圧縮方式にも本発明を適用できる。その他の圧縮方式としては、TIFF方式による圧縮、フラクタル方式による圧縮、MPEG方式による圧縮などがあげられる。なお、この明細書でのフォーマット処理は上記各種の圧縮処理に先立って行なうフォーマット処理に限定されず、非圧縮のTIFFフォーマット処理も含むものである。
【0050】以上の実施の形態における回路構成は一例を示すに過ぎず、たとえば次のような態様を含むものである。
(1)ブロック処理回路200のG補間処理、BPF処理、LPF処理、補間/LPF処理では、20×20、16×16、12×12、8×8のいずれかのブロックを1単位として画像処理するものとして説明した。しかしながら、各処理において、5×5の画像データを1単位として画像処理すれば足りる。
(2)ホワイトバランス微調整用ゲインRFgainとBFgainを算出する際、焦点検出領域の中央部を中心とした512×512の領域の画像データを抽出するようにしたが、全画像のデータを利用してもよいし、撮影領域の中央部の所定領域のデータを使用したり、焦点検出領域が複数ある場合には選択された焦点検出領域の所定領域の画像データを利用してもよい。測光領域として利用された領域のデータに基づいてホワイトバランス微調整係数を算出してもよい。
【0051】
【発明の効果】以上詳細に説明したように本発明によれば、撮像装置から出力される画像データに対してγ補正、ホワイトバランス補正などの前処理を各行ごとにライン順次で行ない、前処理を終えた画像データに対してn行m列のブロックごとにブロック順次で記録処理や圧縮処理前のフォーマット処理を行なうようにしたので、とくに、画素数が200万を越えるような撮影装置で撮像する高画質タイプの画像を処理する場合にバッファメモリの容量を大型化することなくコスト低減を図ることが可能となる。また、処理チップをハードウエアで作成する場合にも小型課、低コスト化を実現できる。
【図面の簡単な説明】
【図1】一眼レフ電子スチルカメラの一実施の形態の構成を示す図
【図2】一眼レフ電子スチルカメラの信号処理系統の一実施の形態のブロック図
【図3】図2に示した信号処理系統のうちライン処理を行なう回路を説明するブロック図
【図4】図2に示した信号処理系統のうちブロック処理を行なう回路を説明するブロック図
【図5】カラーフィルタの配列を示す図
【図6】R,G,Bのヒストグラムを説明する図
【図7】G補間回路の処理内容を説明する図
【図8】バンドパスフィルタの処理内容を説明する図
【図9】ローパスフィルタの処理内容を説明する図
【図10】色差信号生成回路の処理内容を説明する図
【図11】補間/LPF回路で処理されるデータ例を示す図
【図12】補間/LPF回路の処理内容を説明する図
【図13】メディアン回路の処理内容を説明する図
【図14】全押しスイッチで起動されるプログラムを示すフローチャート
【図15】JPEGフォーマット処理をブロック処理ではなくライン処理で行なう場合のブロック図
【符号の説明】
21…CPU、22…半押しスイッチ、23…全押しスイッチ、26…CCD、29…画像処理回路、33…JPEG圧縮回路、35…ホワイトバランス検出処理回路、35A…ホワイトバランスセンサ、73…CCD、100…ライン処理回路、104…ホワイトバランス回路、107…平均値算出/ヒストグラム算出回路、200…ブロック処理回路、210…ホワイトバランス微調整回路、228…補間/LPF回路、229…マトリックス回路、232…メディアン回路
【0001】
【発明の属する技術分野】本発明は、被写体を電子的に圧縮した画像データとして記憶するデジタルカメラおよび画像信号処理プログラムが格納された記憶媒体に関する。
【0002】
【従来の技術】従来から、撮影レンズを通過する被写体像がクイックリターンミラーによって導かれるファインダ装置と、クイックリターンミラーの後段に配置され被写体像を撮像して画像データを出力するCCDのような撮像装置と、撮像装置から出力される画像データに対してホワイトバランスやγ補正などの画像処理を施す画像処理回路と、画像処理後のデータをJPEGなどの方式で圧縮してフラッシュメモリなどの記憶媒体に記憶する圧縮回路と、画像処理後のデータを表示するモニタとを備える電子スチルカメラが知られている。画像処理回路では、撮像装置から出力される画像データに基づいて、予め定めたアルゴリズムによりホワイトバランス調整用のRゲインやBゲイン、あるいはγ補正用の階調カーブなどのパラメータを算出する。また、JPEG方式で圧縮するために画像データをそれぞれ8×8の輝度データYと色差データCr,Cbに変換する。
【0003】
【発明が解決しようする課題】このような従来の電子スチルカメラの撮像装置では、ホワイトバランスやγ補正などの画像前処理も、画像前処理後のデータをJPEG圧縮するためにフォーマット化する画像後処理もCCDの読み出しに沿った1ライン毎に処理している。そのため、CCDの画素数が200万画素を越えるような高画質型の電子スチルカメラでは、パイプライン演算などに使用されるラインバッファメモリの容量が莫大となり、高価なカメラとなってしまうという問題がある。この問題は次のように説明することができる。
【0004】すなわち、従来、固体撮像素子からの出力を信号処理する場合、撮像素子から出力されるN×Mの1画面の画像データはライン毎に点順次で出力されるため、画素補間処理、フィルタ処理などの信号処理をする場合、たとえば5×5のフィルタ処理をする場合など4ライン分のラインバッファメモリが必要である。つまり、4ライン分の画像データをメモリに蓄積して初めて処理が可能となる。このラインバッファメモリは、フィルタ処理、補間処理などの各種の処理ごとにそれぞれ4ライン分必要となる。
【0005】このように、上述したフィルタ処理、補間処理などの各処理ごとに4ラインづつのラインバッファメモリを1チップの処理ICに設けると、メモリの占有する割合が多くなり、1チップ処理ICのゲート数が増大し、コスト高になってしまう。とくに200万画素を越えるような高画素タイプの撮像素子では1ラインの画素数が多くなり、とくにコストが高くなる。また、ラインバッファメモリを1チップ処理ICの外に設置する場合、その入力出力ピンが10bitであれば20ピン必要となり、ラインバッファメモリごとに20ピンの入出力ピンが必要となって、1チップ処理ICのパッケージが大きくなってしまう。
【0006】本発明の目的は、画素数が多くなってもバッファメモリの容量を大型化することなくコストを下げるようにしたデジタルカメラを提供することにある。また本発明の他の目的は、画素数の多い撮像素子で撮像された画像データでもバッファメモリの容量を少なくできるような信号処理を行なうプログラムを格納した記憶媒体を提供することにある。
【0007】
【課題を解決するための手段】一実施の形態を示す図1および図2を参照して本発明を説明する。
(1)請求項1の発明は、撮影レンズ91を通過する被写体像を撮像して画像データを出力する撮像装置73(26)と、画像データを記録処理する記録処理回路33と、撮像装置26から出力される画像データに対して前処理を行なった後、記録処理に適したフォーマット処理を行なう画像処理回路29とを備えたデジタルカメラに適用される。そして、前処理では、N行M列の画像データに対して各行ごとにライン順次の信号処理を行ない、フォーマット処理では、前処理を終えた画像データに対してn行m列(N>n,M>m)のブロックごとにブロック順次で信号処理を行なうことにより、上述した目的を達成する。
(2)請求項2の発明は、請求項1のデジタルカメラにおいて、記録処理回路を画像データを圧縮する圧縮回路としたものである。
(3)請求項3の発明は、請求項1のデジタルカメラにおいて、前処理はγ補正、ホワイトバランス補正を含み、フォーマット処理は補間処理、LPF処理、BPF処理および色差信号算出処理を含むものである。
(4)請求項4の画像信号処理用記憶媒体には、撮像装置73(26)で撮像された画像データを記録するためにその画像データをフォーマット化するフォーマット処理と、フォーマット処理に先立って行なわれる各種の信号前処理と、フォーマット処理を終えた画像データを記録する記録処理とを実行するプログラムが格納され、前処理では、画像データに対して各行ごとにライン順次の信号処理を行ない、フォーマット処理では、前処理を終えた画像データに対してn行m列(N>n,M>m)のブロックごとにブロック順次で信号処理を行なうことにより、上述した目的を達成する。
(5)請求項5の発明は、請求項4の画像信号処理用記憶媒体において、記録処理を画像データを圧縮する圧縮処理としたものである。
(6)請求項6の発明は、請求項4または5の画像信号処理用記憶媒体において、前処理はγ補正、ホワイトバランス補正を含み、前記フォーマット処理は補間処理、LPF処理、BPF処理および色差信号算出処理を含むことを特徴とする。
【0008】なお、本発明の構成を説明する上記課題を解決するための手段の項では、本発明を分かり易くするために実施の形態の図を用いたが、これにより本発明が実施の形態に限定されるものではない。
【0009】
【発明の実施の形態】以下、図面を参照して本発明の実施の形態を説明する。 図1に示すように、この実施の形態による一眼レフ電子スチルカメラは、カメラ本体70と、カメラ本体70に着脱されるファインダ装置80と、撮影レンズ91と絞り92を内蔵してカメラ本体70に着脱される交換レンズ90とを備える。被写体光は交換レンズ90を通ってカメラ本体70に入射し、レリーズ前は点線で示す位置にあるクイックリターンミラー71でファインダ装置80に導かれてファインダマット81に結像する。その被写体像はさらにペンタプリズム82で接眼レンズ83に導かれる。レリーズ後はクイックリターンミラー71が実線で示す位置に回動し、被写体光はシャッタ72を介して撮像装置73上に結像する。レリーズ前に、プリズム84と結像レンズ85を通って被写体像がホワイトバランスセンサ86に入射して、被写体像の色温度を検出する。
【0010】図2は実施の形態の回路ブロック図である。CPU21にはレリーズ釦に連動する半押しスイッチ22と全押しスイッチ23から半押し信号と全押し信号がそれぞれ入力される。CPU21からの指令により、タイミングジェネレータ24とドライバ25を介して撮像装置73のCCD26が駆動制御される。また、タイミングジェネレータ24によりアナログ処理回路27とA/D変換回路28の動作タイミングが制御される。さらに、CPU21からの信号によりホワイトバランス検出処理回路35が駆動を開始する。
【0011】半押しスイッチ22のオン操作に引続いて全押しスイッチ23がオン操作されるとクイックリターンミラー71が上方に回動し、交換レンズ90からの被写体光はCCD26の受光面上で結像し、CCD26には被写体像の明るさに応じた信号電荷が蓄積される。CCD26に蓄積された信号電荷はドライバ25により吐き出され、AGC回路やCDS回路などを含むアナログ信号処理回路27に入力される。アナログ信号処理回路27でアナログ画像信号に対してゲインコントロール、雑音除去等のアナログ処理が施された後、A/D変換回路28によってデジタル信号に変換される。デジタル変換された信号はたとえばASICとして構成される画像処理回路29に導かれ、そこでホワイトバランス調整、輪郭補償、ガンマ補正等の画像前処理が行われる。
【0012】ホワイトバランス検出処理回路35は、色温度センサであるホワイトバランスセンサ35A(図1のホワイトバランスセンサ86)と、ホワイトバランスセンサ35Aからのアナログ信号をデジタル信号とするA/D変換回路35Bと、デジタル色温度信号に基づいてホワイトバランス調整信号を生成するCPU35Cとを含む。ホワイトバランスセンサ35Aはたとえば赤色Rと青色Bと緑色Gとにそれぞれ感度を有する複数の光電変換素子からなり、被写界全体の光像を受光する。CPU35Cは、複数の光電変換素子の出力に基づいてRゲインとBゲインを算出する。これらのゲインはCPU21の所定のレジスタに転送されて格納される。また、図1のホワイトバランスセンサ86は、24列×20行の2次元CCDで構成することもでき、その場合、CCDを16の領域に分割し、各領域にRGBに感度を有する素子を複数個配列する。
【0013】画像前処理が行なわれた画像データに対してはさらに、JPEG圧縮のためのフォーマット処理(画像後処理)が行なわれ、その後、その画像データはバッファメモリ30に一時的に格納される。
【0014】バッファメモリ30に記憶された画像データは、表示画像作成回路31により表示用の画像データに処理され、LCD等の外部モニタ32に撮影結果として表示される。また、バッファメモリ30に記憶された画像データは、圧縮回路33によりJPEG方式で所定の比率にデータ圧縮を受け、フラッシュメモリ等の記憶媒体(PCカード)34に記録される。
【0015】図3および図4は画像処理回路29の詳細を示すブロック図である。図3はCCD26からの画像データに対してラインごとに信号処理するライン処理回路100であり、上述した画像前処理を行う。図4は、ライン処理回路100で信号処理された画像データを20×20画素領域、16×16画素領域、12×12画素領域、あるいは8×8画素領域のブロック単位で信号処理するブロック処理回路200であり、上述した画像後処理を行う。なお、画像処理回路29は複数のプロセッサを用いてソフトウエアとして実現されるが、この明細書では便宜上、ハードウエアとして説明する。
【0016】図3のライン処理回路100は、A/D変換回路28から出力される12ビットのR,G,B信号に対して後述する各種の信号処理を行なうものであり、欠陥補正回路101と、デジタルクランプ回路102と、ゲイン回路103と、ホワイトバランス回路104と、黒レベル回路105と、γ補正回路106と、平均値およびヒストグラム算出回路107とを有する。
【0017】欠陥補正回路101は、CCD26の出力に対して1ラインごとに点順次で、欠陥のある画素(予め特定されてそのアドレスがレジスタにセットされている)からのデータを補正するものである。デジタルクランプ回路102は、CCD26の出力に対して1ラインごとに点順次で、いわゆるオプティカルブラックとして使用する複数の画素データの加重平均をそのラインの各画素データから減算するものである。ゲイン回路103は、CCD26の出力に対して1ラインごとに点順次で、CCD26から出力されるR,G,B信号の各々に対して一律に所定のゲインをかけるとともに、CCD26の感度のばらつき補正をG信号に対して行ない、さらに、CCD26の感度比のばらつきをR,B信号に対して行なう。
【0018】ホワイトバランス回路104は、CCD26の出力に対して1ラインごとに点順次で、上述したようにあらかじめ決定されてCPU21のレジスタに格納されているホワイトバランス調整係数であるRゲインとBゲインをR,B信号に掛合わせる。本発明では後述するように、このホワイトバランス回路104で補正された画像データに基づいて、さらにホワイトバランス微調整のゲインを算出してホワイトバランスを微調整する。黒レベル回路105は、CCD26の出力に対して1ラインごとに点順次で、あらかじめ決定されてCPU21のレジスタに格納されている値をR,G,B信号に対して加算する。γ補正回路106は、CCD26の出力に対して1ラインごとに点順次で、階調ルックアップテーブルを用いてγ補正を行なう。なお、γ補正によりそれぞれ12ビットのR,G,B信号は8ビットのデータに変換される。
【0019】平均値およびヒストグラム算出回路107は、たとえばγ補正後の画像データのなかから、焦点検出領域の中央部を中心とした512×512の領域の画像データを抽出して、R信号用のホワイトバランス微調整用ゲインRFgainとB信号用のホワイトバランス微調整用ゲインBFgainをたとえば、次式(1),(2)により算出する。このゲインRFgainとBFgainはレジスタに格納される。たとえば、512×512の画素領域上に図5に示すようにカラーフィルタが配置されている場合、R,G,B信号の平均値を(3)〜(5)式で算出し、(1),(2)式に示すように、G信号の平均値GaveとR信号の平均値Raveとの比およびG信号の平均値GaveとB信号の平均値Baveとの比からホワイトバランス微調整用ゲインRFgainとBFgainを算出する。
【0020】
【数1】RFgain=Gave/Rave (1)
BFgain=Gave/Bave (2)
ただし、Rave=Rsum/Rpixel数 (3)
Gave=Gsum/Gpixel数 (4)
Bave=Bsum/Bpixel数 (5)
このような平均値方式によると、画像データのRGBの各信号の階調の平均値を求めたことになり、経験的にホワイトバランスの調整結果(全体的なホワイトバランス)が良好となる。
【0021】平均値およびヒストグラム算出回路107で算出したR,G,Bの各信号の輝度レベルのヒストグラムに基づいて、ホワイトバランス微調整用RFgainとBFgainを次のように算出してもよい。平均値およびヒストグラム算出回路107は、R,G,Bの各信号の輝度レベルのヒストグラムを算出する。すなわち、各色の輝度レベルごとの個数を算出して図6(a)〜図6(c)に示すようなヒストグラムを算出する。ここで、R,G,Bの各色の95%レベル値をたとえば、R=180、B=200、G=190とすると、RFgainとBFgainは、RFgain=190/180、ホワイトバランス微調整用BFgain=190/200として算出することができる。なお、95%レベル値とは、最も多いドット数の95%のドット数の輝度レベル値である。このようなヒストグラム方式によると、ヒストグラムが画像データのRGBの各信号の階調分布の分散を含む形状となり、その形状からホワイトバランス微調整ゲインを求めれば、所定の部分(白点部分)に集中してホワイトバランスを合せることができ、経験的にホワイトバランスの調整結果が良好となる。なお、平均値方式とヒストグラム方式を組合せてもよい。
【0022】図4のブロック処理回路200は、ホワイトバランス微調整回路210と補間/輪郭処理回路220とから構成され、n×m画素データごとに、すなわちブロックごとに各種信号処理を行なう。ホワイトバランス微調整回路210は、γ補正回路106までの処理が施されてバッファメモリ30に格納されているR信号およびB信号に対して、20×20画素領域の各R,B信号ごとに、平均値回路107で算出されたホワイトバランス微調整用ゲインRFgainとBFgainをそれぞれ掛け合せてホワイトバランスの微調整を行なう。
【0023】補間/輪郭処理回路220は、G補間回路221と、バンドパスフィルタ(BPF)222と、クリップ回路223と、ゲイン回路224と、ローパスフィルタ(LPF)225と、色差信号生成回路226と、補間/ローパスフィルタ(LPF)回路228と、マトリックス回路229と、加算器230と、メディアン回路232とを備え、ホワイトバランス微調整後の画像データに対して20×20画素領域のブロックデータごとにJPEG方式のデータ圧縮のためのフォーマット処理を行なって16×8画素領域のY信号と、8×8画素領域のCb信号,Cr信号を生成する。輝度信号Yは、後述するようにG信号の低周波数成分の輝度信号Y1と高周波数成分の輪郭信号Y2とを含むものである。
【0024】G補間回路221にはホワイトバランス調整回路210から20×20画素領域のブロック信号が入力され、その中心の16×16画素領域のデータについて、R信号あるいはB信号の画素領域に対してG成分を補間演算で算出する。すなわち、図7に示すように、20×20画素領域の入力データD20について、5×5画素領域データD51(1行1列〜5行5列)の中央の空格子点(3行3列の画素であり、B信号が得られる)のG成分を算出し、この値を16×16画素領域の出力データD16の3行3列の画素(Bを○で囲ったもの)のG成分として置換する。
【0025】次いで、20×20画素領域の入力データD20について、5×5画素領域データD52(2行2列〜6行6列)の中央の空格子点(4行4列の画素であり、R信号が得られる)のG成分を算出し、この値を16×16画素領域の出力データD16の4行4列の画素(Rを○で囲ったもの)のG成分に置換する。このような処理を繰り返し行なうことにより、16×16画素領域のすべての空格子点についてG補間処理が行われ、出力データD16を得る。そして、そのうちの12×12画素領域の出力データD12をバンドパスフィルタ222とローパスフィルタ225にそれぞれ出力する一方、16×16画素領域の出力データD16を色差信号生成回路226に出力する。
【0026】バンドパスフィルタ222は、G補間回路221から出力される12×12画素領域のG信号のうち中間周波数成分(ただし、被写体の輪郭が抽出できる程度に高い周波数成分であり、便宜上、高周波数成分と呼ぶ)を取り出す。すなわち、図8に示すように、12×12画素領域の入力データD12について、5×5画素領域データD5(5行5列〜9行9列)にバンドパスフィルタ係数を掛け合せてBPF出力データを得、その値を8×8画素領域の出力データD8の7行7列のデータ(太字G)として置換する。このような処理を繰り返すことで8×8画素領域のすべての画素データをBPF後のGデータに置換し、出力データD8を生成する。
【0027】クリップ回路223は、バンドパスフィルタ222から出力される8×8画素領域データD8のそれぞれを、設定したレベルでクリップおよびカットする。ゲイン回路224は、クリップ回路223の出力にあらかじめ定められたゲインを掛ける。
【0028】ローパスフィルタ225は、G補間回路221から出力される12×12画素領域のG信号のうち低周波数成分を取り出す。すなわち、図9に示すように、12×12画素領域の入力データD12について、5×5画素領域データD5(5行5列〜9行9列)にローパスフィルタ係数を掛け合せてLPF出力データを得、その値を8×8画素領域の出力データD8の7行7列のデータ(ハッチング領域)として置換する。このような処理を繰り返すことで8×8画素領域のすべての画素データをLPF後のGデータに置換し、出力データD8を生成する。
【0029】色差信号生成回路226は、図10に示すように、ホワイトバランス微調整回路210の出力である16×16画素領域のRGB信号入力データD16−1およびG補間回路221の出力である16×16画素領域のG信号入力データD16−2に基づいて(B−G)信号と(R−G)信号を含む中間データD16−3を生成する。さらに、中間データD16−3を(B−G)色差信号の出力データD16−4と(R−G)色差信号の出力データD16−5とに分離する。
【0030】補間/LPF回路228は、色差信号生成回路226から16×16画素領域の8ビットの(B−G)信号と(R−G)信号をそれぞれ入力して、5×5画素領域ごとに(B−G)信号と(R−G)信号をそれぞれ補間演算するとともに、同時に低帯域信号を取り出すローパスフィルタリング処理も行ない、その結果である12×12画素領域の(B−G)信号と(R−G)信号をマトリックス回路229のCb,Crマトリックス部へ出力する。また、8×8画素領域の(B−G)信号と(R−G)信号をマトリックス回路229のYマトリックス部へ出力する。
【0031】5×5画素領域の(R−G)データを図11のように表わすとき、上記補間演算とローパスフィルタリング処理演算は次式(6)で表わされる。
【数2】
【0032】一般に、補間フィルタと帯域制限のLPFを同時にかける場合には次のようなフィルタ係数の制限がある。簡単のために1次元で説明する。補間後のサンプル点のうち、N周期で実サンプル点がある場合を考える。たとえば、a,a,b,b,a,a,b,b,・・・・・・・・(ただし、aは実サンプル点、bは補間するサンプル点とする。なお、この例では4周期である)。これを(2n+1)次(ただし、(2n+1)はNよりも大きい)の奇数次対称型デジタルフィルタで補間する場合、実サンプル点が一様であれば、補間後のサンプル点も一様でなければいけないので、以下のようなフィルタ係数の制限がある。
【0033】C(k)をk番目のフィルタ係数とすると、以下のようにN個存在する係数の組の和が互に等しくなくてはならい。
【数3】
ただし、iはフィルタ係数が(2n+1)以下に収まる0以上の整数kはn未満の0以上の整数
【0034】2次元の場合は、水平方向と垂直方向に同様の制限のフィルタを掛合わせて2次元フィルタを構成すればよい。この実施の形態では、図5と図11に示すように2画素周期のサンプル点を補間するので、N=2であり、フィルタ係数は偶数次の和と奇数次の和が等しくなければならない。すなわち、ΣC(2*i)=ΣC(2*i+1)
2次元で上記(6)式のような5次×5次の対称型フィルタの場合は、4*kc1+2*kc3+4*kc5+2*kc7+kc9=4*kc2+4*kc4+2*kc6+2*kc8となる。
【0035】たとえば、図12を参照して(R−G)信号の補間/LPF処理について説明する。16×16画素領域の入力データD16の(R−G)信号について、5×5画素領域データD5(3行3列〜7行7列)に補間/LPFフィルタ係数を掛け合せ、その中央領域(5行5列)の(R−G)データを算出し、これを12×12画素領域の出力データD12の5行5列のデータとして置換する。このような処理を繰り返すことで(R−G)信号について12×12画素領域のすべての画素データを補間/LPF処理し、出力データD12を得る。(B−G)信号についても同様な処理を行なって、12×12画素領域の出力データを生成する。
【0036】マトリックス回路229は、Yマトリックス部と、Cbマトリックス部と、Crマトリックス部とから構成される。Yマトリックス部は、補間/LPF回路228から8×8画素領域の(B−G)信号と(R−G)信号を入力するとともに、ローパスフィルタ225から8×8画素領域のG信号を入力し、次式(7)により8×8画素領域の低周波数成分の輝度信号Y1を生成する。
【数4】
Y1(i,j)=[Mkg×G(i,j)+Mkr1×R-G(i,j)+Mkb1×B-G(i,j)] (7)
ただし、Mkg、Mkr1、Mkb1はマトリックス係数
【0037】Cbマトリックス部およびCrマトリックス部はそれぞれ、補間/LPF回路228から12×12画素領域の(B−G)信号と(R−G)信号を各々入力し、次式(8),(9)により12×12画素領域のCb信号とCr信号を生成する。
【数5】
Cr(i,j)=[Mkr2×R-G(i,j)+Mkb2×B-G(i,j)] (8)
Cb(i,j)=[Mkr3×R-G(i,j)+Mkb3×B-G(i,j)] (9)
ただし、Mkr2、Mkr3、Mkb2、Mkb3はマトリックス係数
【0038】加算器230は、マトリックス回路229から出力される8×8画素領域の低周波数成分の輝度信号Y1とゲイン回路224から出力される8×8画素領域の高周波数成分の輪郭抽出信号Y2を加算する。ゲイン回路224から出力される輪郭抽出信号Y2は、G補間された16×16画素領域のG信号から高周波数成分を抽出したもの、すなわち輪郭を抽出したものである。したがって、加算器230で式(7)で算出される輝度信号Y1とゲイン回路224で算出された輪郭抽出信号Y2を加算することにより、画像全体の輝度/輪郭抽出信号Y(Y1+Y2)が算出される。この加算結果はバッファメモリ30に格納される。
【0039】メディアン回路233は、マトリックス回路229からの12×12画素領域のCb信号とCr信号を入力し、5×5画素領域に含まれる3×3画素の9点を利用したメディアン処理を行ない、8×8画素のCr信号とCb信号を出力する。
【0040】この実施の形態のメディアン処理では、図13に示すように、12×12画素のデータD12(データは黒点印)のうち、5×5画素領域に含まれる3×3画素(5行5列〜9行9列)のデータD3−5の9個のデータ(×印)に対してメディアンフィルタ処理を行なう。すなわち、9個のデータを昇順もしくは降順にソートして中央値をメディアン処理データとする。そして、得られたメディアン処理データを、8×8画素の出力データD8の7行7列のデータとして置換する。このような演算を繰り返して行なうことにより、Cb,Cr信号のそれぞれについて8×8画素の出力データD8を生成する。Cr信号とCb信号の出力データD8はバッファメモリ30に格納される。
【0041】JPEG圧縮回路33は、上述したようにブロック処理回路200に入力された20×20画素領域ごとの入力データに対して、加算回路230により生成された16×8画素のY信号と、メディアン回路232により生成された8×8画素のCr信号とCb信号とに基づいて、JPEG圧縮方式の8×8画素にフォーマット化されたYCrCb信号を1単位として抽出し、周知の手順により圧縮することを繰り返し行ってすべての画像を圧縮する。圧縮された画像データはCPU21を経由してPCカード34に記憶される。
【0042】このように構成された電子スチルカメラの動作について説明する。全押しスイッチ23が操作されると、クイックリターンミラーが跳ね上がり、図14に示す撮影シーケンスのプログラムが起動される。ステップS21では、CCD26の各画素が受光信号を蓄積し、蓄積終了後、全画素の蓄積電荷を順次に吐き出す。ステップS22において、吐き出された画像データはアナログ信号処理回路27で処理された後、A/D変換回路28でデジタル画像データに変換され、画像処理回路29に入力される。次にステップS23に進み、ホワイトバランス調整、γ階調補正、JPEGフォーマット化処理などが画像処理回路29で行なわれる。画像処理が終了するとステップS24に進み、画像処理後の画像データをいったんバッファメモリ30に記憶する。ステップS25において、バッファメモリ30から画像データを読み込んでJPEG圧縮回路33でデータを圧縮する。ステップS26では、圧縮した画像データをPCカード34に記憶する。
【0043】この実施の形態の作用効果についてさらに詳細に説明する。
(1)画素単位およびライン単位で行なうことが可能な信号処理については図3に示したライン処理回路100が担当する。すなわち、ライン処理回路100はCCD26から出力されるデータに沿ってラインごとにデータを点順次で出力処理する。そしてライン処理後のデータをいったんバッファメモリ30に格納し、その後の信号処理は、ブロック処理回路200において、n×m(n,m=20,16,12,8)画素を1つのブロック単位で行なうようにした。したがって、200万画素を越えるような高画質タイプの電子スチルカメラの場合でも、ラインバッファが大型化することがない。すなわち、この実施の形態のようにブロック単位で信号処理を行わない場合には、図15に示すように、G補間処理、BPF処理、補間/LPF処理およびメディアン処理回路のそれぞれに4ライン分のバッファメモリBM1〜BM4が必要となり、回路規模が大型化するのは明らかである。また、画素単位およびライン単位で行なうパイプライン演算についてはブロックごとの処理ではなくライン処理なので、パイプライン演算時間も従来と同様に高速にできる。
【0044】(2)あらかじめ決定したホワイトバランス調整係数RゲインおよびBゲインを用いてホワイトバランスを行なった画像に基づいて、上式(1),(2)のようなホワイトバランス微調整用RFゲインおよびホワイトバランス微調整用BFゲインを算出し、ホワイトバランス後の画像データに対してそのRFゲイン,BFゲインによりホワイトバランス微調整を行なうようにしたので、あらかじめ決定されているホワイトバランス調整係数の調整不良が発生しても、色かぶり画像が発生することが防止される。
【0045】(3)補間/LPF回路228により、(B−G)信号と(R−G)信号をそれぞれ補間演算するとともに、同時に低周波数成分を取り出すローパスフィルタリング処理も行なうようにしたので、補間処理、マトリッックス処理、LPF処理の順番で信号を処理して偽色や色モアレ抑制する方式に比べて、処理時間が短縮される。また、ハードウエアを省略することができるうえに、トータルの周波数応答を一箇所でコントロールできるので制御しやすい。
【0046】(4)JPEG方式で圧縮する前に8×8画素のCr画像データとCb画像データに対してメディアン処理を行なうようにしたので、従来のようにローパスフィルタリングだけで偽色や色モアレを抑制する場合に比べて、偽色や色モアレをより短時間で一層抑制することができる。また、JPEG圧縮フォーマット処理により8×8画素のCr,Cb信号を生成する際、補間/LPF処理、マトリックス処理された12×12画素データに対して、5×5画素領域のCb信号とCr信号を水平方向と垂直方向ともに1画素ごとに3×3画素の9個のデータを抽出してメディアン処理するようにしたので、5×5画素の25個のデータの全てに対してメディアン処理する場合に比べて、メディアン処理時間を短縮できる。
【0047】以上の実施の形態では電子スチルカメラについて説明したが、ライン処理回路100あるいはブロック処理回路200をソフトウエハエアの形態でCD−ROMやフロッピデイスクなどの記憶媒体に画像処理プログラムとして格納し、パソコンで画像処理する際に使用することもできる。この場合、CCDで撮像してデジタル化された画像データを大容量の画像データ用記憶媒体に記憶し、この記憶媒体をパソコンにセットして画像データを取込んだ上で、上記画像処理プログラムにより上述のようなライン処理やブロック処理を行うようにする。たとえば図3において、黒レベル回路105の出力データを生データとしてPCカード34に記憶し、そのPCカード34をパソコンにセットして生データの画像処理を行なうことができる。
【0048】上述したようにパソコン上で画像処理する際、上記画像データ用記憶媒体に記憶された画像データが既にホワイトバランス調整を施されている場合には、ホワイトバランス微調整処理だけを行なうようにプログラムを作成する。一方、上記画像データ用記憶媒体に記憶された画像データがホワイトバランス調整を施されていない場合には、ホワイトバランス調整処理とホワイトバランス微調整処理を行なうようにプログラムを作成する。その場合、画像データ用記憶媒体にはCCDからの撮像データのみならず、ホワイトバランスセンサ86(35A)で検出した被写体の色温度情報も合せて記憶しておき、そのデータに基づいてホワイトバランス調整を行なう。
【0049】なお以上では、一眼レフ電子スチルカメラについて説明したが、レンズ交換ができない電子スチルカメラ、動画像も取込めるデジタルビデオカメラにも本発明を適用できる。また、以上では、JPEG圧縮方式について説明したがその他の圧縮方式にも本発明を適用できる。その他の圧縮方式としては、TIFF方式による圧縮、フラクタル方式による圧縮、MPEG方式による圧縮などがあげられる。なお、この明細書でのフォーマット処理は上記各種の圧縮処理に先立って行なうフォーマット処理に限定されず、非圧縮のTIFFフォーマット処理も含むものである。
【0050】以上の実施の形態における回路構成は一例を示すに過ぎず、たとえば次のような態様を含むものである。
(1)ブロック処理回路200のG補間処理、BPF処理、LPF処理、補間/LPF処理では、20×20、16×16、12×12、8×8のいずれかのブロックを1単位として画像処理するものとして説明した。しかしながら、各処理において、5×5の画像データを1単位として画像処理すれば足りる。
(2)ホワイトバランス微調整用ゲインRFgainとBFgainを算出する際、焦点検出領域の中央部を中心とした512×512の領域の画像データを抽出するようにしたが、全画像のデータを利用してもよいし、撮影領域の中央部の所定領域のデータを使用したり、焦点検出領域が複数ある場合には選択された焦点検出領域の所定領域の画像データを利用してもよい。測光領域として利用された領域のデータに基づいてホワイトバランス微調整係数を算出してもよい。
【0051】
【発明の効果】以上詳細に説明したように本発明によれば、撮像装置から出力される画像データに対してγ補正、ホワイトバランス補正などの前処理を各行ごとにライン順次で行ない、前処理を終えた画像データに対してn行m列のブロックごとにブロック順次で記録処理や圧縮処理前のフォーマット処理を行なうようにしたので、とくに、画素数が200万を越えるような撮影装置で撮像する高画質タイプの画像を処理する場合にバッファメモリの容量を大型化することなくコスト低減を図ることが可能となる。また、処理チップをハードウエアで作成する場合にも小型課、低コスト化を実現できる。
【図面の簡単な説明】
【図1】一眼レフ電子スチルカメラの一実施の形態の構成を示す図
【図2】一眼レフ電子スチルカメラの信号処理系統の一実施の形態のブロック図
【図3】図2に示した信号処理系統のうちライン処理を行なう回路を説明するブロック図
【図4】図2に示した信号処理系統のうちブロック処理を行なう回路を説明するブロック図
【図5】カラーフィルタの配列を示す図
【図6】R,G,Bのヒストグラムを説明する図
【図7】G補間回路の処理内容を説明する図
【図8】バンドパスフィルタの処理内容を説明する図
【図9】ローパスフィルタの処理内容を説明する図
【図10】色差信号生成回路の処理内容を説明する図
【図11】補間/LPF回路で処理されるデータ例を示す図
【図12】補間/LPF回路の処理内容を説明する図
【図13】メディアン回路の処理内容を説明する図
【図14】全押しスイッチで起動されるプログラムを示すフローチャート
【図15】JPEGフォーマット処理をブロック処理ではなくライン処理で行なう場合のブロック図
【符号の説明】
21…CPU、22…半押しスイッチ、23…全押しスイッチ、26…CCD、29…画像処理回路、33…JPEG圧縮回路、35…ホワイトバランス検出処理回路、35A…ホワイトバランスセンサ、73…CCD、100…ライン処理回路、104…ホワイトバランス回路、107…平均値算出/ヒストグラム算出回路、200…ブロック処理回路、210…ホワイトバランス微調整回路、228…補間/LPF回路、229…マトリックス回路、232…メディアン回路
【特許請求の範囲】
【請求項1】撮影レンズを通過する被写体像を撮像して画像データを出力する撮像装置と、前記画像データを記録処理する記録処理回路と、前記撮像装置から出力される画像データに対して前処理を行なった後、前記記録に適したフォーマット処理を行なう画像処理回路とを備えたデジタルカメラにおいて、前記前処理では、N行M列の画像データに対して各行ごとにライン順次の信号処理を行ない、前記フォーマット処理では、前記前処理を終えた画像データに対してn行m列(N>n,M>m)のブロックごとにブロック順次で信号処理を行なうことを特徴とするデジタルカメラ。
【請求項2】請求項1のデジタルカメラにおいて、前記記録処理回路は前記画像データを圧縮する圧縮回路であることを特徴とするデジタルカメラ。
【請求項3】請求項1または2のデジタルカメラにおいて、前記前処理はγ補正、ホワイトバランス補正を含み、前記フォーマット処理は補間処理、LPF処理、BPF処理および色差信号算出処理を含むことを特徴とするデジタルカメラ。
【請求項4】撮像装置で撮像された画像データを記録するためにその画像データをフォーマット化するフォーマット処理と、前記フォーマット処理に先立って行なわれる各種の信号前処理と、前記フォーマット処理を終えた画像データを記録する記録処理とを含み、前記前処理では、N行M列の画像データに対して各行ごとにライン順次の信号処理を行ない、前記フォーマット処理では、前記前処理を終えた画像データに対してn行m列(N>n,M>m)のブロックごとにブロック順次で信号処理を行なうプログラムが格納されていることを特徴とする画像信号処理用記憶媒体。
【請求項5】請求項1の画像信号処理用記憶媒体において、前記記録処理は前記画像データを圧縮する圧縮処理であることを特徴とする画像信号処理用記憶媒体。
【請求項6】請求項4または5の画像信号処理用記憶媒体において、前記前処理はγ補正、ホワイトバランス補正を含み、前記フォーマット処理は補間処理、LPF処理、BPF処理および色差信号算出処理を含むことを特徴とする画像信号処理用記憶媒体。
【請求項1】撮影レンズを通過する被写体像を撮像して画像データを出力する撮像装置と、前記画像データを記録処理する記録処理回路と、前記撮像装置から出力される画像データに対して前処理を行なった後、前記記録に適したフォーマット処理を行なう画像処理回路とを備えたデジタルカメラにおいて、前記前処理では、N行M列の画像データに対して各行ごとにライン順次の信号処理を行ない、前記フォーマット処理では、前記前処理を終えた画像データに対してn行m列(N>n,M>m)のブロックごとにブロック順次で信号処理を行なうことを特徴とするデジタルカメラ。
【請求項2】請求項1のデジタルカメラにおいて、前記記録処理回路は前記画像データを圧縮する圧縮回路であることを特徴とするデジタルカメラ。
【請求項3】請求項1または2のデジタルカメラにおいて、前記前処理はγ補正、ホワイトバランス補正を含み、前記フォーマット処理は補間処理、LPF処理、BPF処理および色差信号算出処理を含むことを特徴とするデジタルカメラ。
【請求項4】撮像装置で撮像された画像データを記録するためにその画像データをフォーマット化するフォーマット処理と、前記フォーマット処理に先立って行なわれる各種の信号前処理と、前記フォーマット処理を終えた画像データを記録する記録処理とを含み、前記前処理では、N行M列の画像データに対して各行ごとにライン順次の信号処理を行ない、前記フォーマット処理では、前記前処理を終えた画像データに対してn行m列(N>n,M>m)のブロックごとにブロック順次で信号処理を行なうプログラムが格納されていることを特徴とする画像信号処理用記憶媒体。
【請求項5】請求項1の画像信号処理用記憶媒体において、前記記録処理は前記画像データを圧縮する圧縮処理であることを特徴とする画像信号処理用記憶媒体。
【請求項6】請求項4または5の画像信号処理用記憶媒体において、前記前処理はγ補正、ホワイトバランス補正を含み、前記フォーマット処理は補間処理、LPF処理、BPF処理および色差信号算出処理を含むことを特徴とする画像信号処理用記憶媒体。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図15】
【図13】
【図14】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図15】
【図13】
【図14】
【公開番号】特開2000−23083(P2000−23083A)
【公開日】平成12年1月21日(2000.1.21)
【国際特許分類】
【出願番号】特願平10−183918
【出願日】平成10年6月30日(1998.6.30)
【出願人】(000004112)株式会社ニコン (12,601)
【Fターム(参考)】
【公開日】平成12年1月21日(2000.1.21)
【国際特許分類】
【出願日】平成10年6月30日(1998.6.30)
【出願人】(000004112)株式会社ニコン (12,601)
【Fターム(参考)】
[ Back to top ]