説明

画像データ処理装置

【構成】白バランス調整回路52は、R,GおよびBの色情報を各々が有する複数の画素によって形成されたRGB画像データを出力する。YUV変換回路54は、白バランス調整回路52から出力されたRGB画像データの色情報を混合係数に従う態様で画素毎に混合して、輝度情報を各々が有する複数の画素によって形成されたYUV画像データを作成する。積分器60r,60gおよび60bは、白バランス調整回路52から出力されたRGB画像データの色情報を共通の色毎に積分して、R,GおよびBにそれぞれ対応する積分値Ir,IgおよびIbを算出する。YUV変換回路54において参照される混合係数の大きさは、算出された積分値Ir,IgおよびIbの比率に基づいて調整される。
【効果】YUV画像データの品質を向上させることができる。

【発明の詳細な説明】
【技術分野】
【0001】
この発明は、画像データ処理装置に関し、特にディジタルカメラに適用され、複数の代表色の色情報を各々が有する複数の画素によって形成された画像データを処理する、画像データ処理装置に関する。
【背景技術】
【0002】
この種の装置の一例が、特許文献1に開示されている。この背景技術によれば、RデータはR用LUT1およびR用LUTの各々によって補正され,GデータはG用LUTによって補正され、そしてBデータはB用LUTによって補正される。判別選択回路は、Rデータ,GデータおよびBデータに基づいて算出されたC成分のレベルを判別して、R用LUT1およびR用LUTのいずれか一方を選択する。これによって、C成分のレベルを考慮したホワイトバランス調整が実現される。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2001−285890号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、背景技術では、RGBデータをYデータに変換するにあたってC成分のレベルが参照されることはなく、画質の向上に限界がある。
【0005】
それゆえに、この発明の主たる目的は、画質を向上させることができる、画像データ処理装置を提供することである。
【課題を解決するための手段】
【0006】
この発明に従う電子カメラ(10:実施例で相当する参照符号。以下同じ)は、複数の代表色の色情報を各々が有する複数の画素によって形成された第1画像データを作成する第1作成手段(50, 52)、第1作成手段によって作成された第1画像データの色情報を混合係数に従う態様で画素毎に混合して輝度情報を各々が有する複数の画素によって形成された第2画像データを作成する第2作成手段(54)、第1作成手段によって作成された第1画像データの色情報を代表色毎に積分して複数の代表色にそれぞれ対応する複数の積分値を算出する積分手段(60r, 60g, 60b)、および積分手段によって算出された複数の積分値の比率に基づいて混合係数の大きさを調整する調整手段(S23~S29)を備える。
【0007】
好ましくは、第1作成手段によって作成された第1画像データに基づいて複数の代表色にそれぞれ対応する複数の輪郭強調成分を作成する第3作成手段(92~96)、第3作成手段によって作成された複数の輪郭強調成分を混合係数に従う態様で混合して輪郭強調データを作成する第4作成手段(98~104)、および第4作成手段によって作成された輪郭強調データを参照した輪郭強調処理を第2作成手段によって作成された第2画像データに対して実行する輪郭強調手段(58)がさらに備えられる。
【0008】
好ましくは、複数の代表色は赤色,緑色および青色を含み、調整手段は、赤色に対応する積分値を緑色に対応する積分値で割り算する第1割り算手段(S25)、および青色に対応する積分値を緑色に対応する積分値で割り算する第2割り算手段(S27)を含む。
【0009】
さらに好ましくは、第2作成手段は、第1割り算手段の割り算結果を赤色に対応する色情報に掛け算する第1掛け算手段(72)、および第2割り算手段の割り算結果を青色に対応する色情報に掛け算する第2掛け算手段(78)を含む。
【0010】
好ましくは、複数の代表色にそれぞれ対応する複数のフィルタ要素がモザイク状に配列された色フィルタ(16)、および色フィルタによって覆われた撮像面を有し、複数の代表色のいずれか1つの色情報を各々が有する複数の画素によって形成された生画像データを出力する撮像手段(18)がさらに備えられ、第1作成手段は撮像手段から出力された生画像データに基づいて第1画像データを作成する。
【0011】
好ましくは、第2画像データはYUV形式の画像データに相当する。
【発明の効果】
【0012】
この発明によれば、複数の積分値は、第1画像データの色情報を代表色毎に積分することで算出される。したがって、算出された複数の積分値の比率は、第1画像データによって表される画像の色調を反映する。第2画像データの輝度情報は、このような比率に応じて異なる大きさを示す混合係数を参照して作成される。これによって、第2画像データの品質を向上させることができる。
【0013】
この発明の上述の目的,その他の目的,特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【図面の簡単な説明】
【0014】
【図1】この発明の基本的構成を示すブロック図である。
【図2】この発明の一実施例の構成を示すブロック図である。
【図3】図2実施例に適用される原色フィルタの構成の一例を示す図解図である。
【図4】撮像面における評価エリアの割り当て状態の一例を示す図解図である。
【図5】図2実施例に適用される信号処理回路の構成の一例を示すブロック図である。
【図6】図5実施例に適用されるYUV変換回路の構成の一部を示すブロック図である。
【図7】図5実施例に適用されるアパーチャ信号生成回路の構成の一例を示すブロック図である。
【図8】(A)は図7実施例に適用される2次微分フィルタへの入力の一例を示す波形図であり、(A)は図7実施例に適用される2次微分フィルタからの出力の一例を示す波形図である。
【図9】図2実施例に適用されるCPUの動作の一部を示すフロー図である。
【図10】図2実施例に適用されるCPUの動作の他の一部を示すフロー図である。
【発明を実施するための形態】
【0015】
以下、この発明の実施の形態を図面を参照しながら説明する。
[基本的構成]
【0016】
図1を参照して、この発明の画像データ処理装置は、基本的に次のように構成される。第1作成手段1は、複数の代表色の色情報を各々が有する複数の画素によって形成された第1画像データを作成する。第2作成手段2は、第1作成手段1によって作成された第1画像データの色情報を混合係数に従う態様で画素毎に混合して輝度情報を各々が有する複数の画素によって形成された第2画像データを作成する。積分手段3は、第1作成手段1によって作成された第1画像データの色情報を代表色毎に積分して複数の代表色にそれぞれ対応する複数の積分値を算出する。調整手段4は、積分手段3によって算出された複数の積分値の比率に基づいて混合係数の大きさを調整する。
【0017】
複数の積分値は、第1画像データの色情報を代表色毎に積分することで算出される。したがって、算出された複数の積分値の比率は、第1画像データによって表される画像の色調を反映する。第2画像データは、このような比率に応じて異なる大きさを示す混合係数を参照して作成される。これによって、第2画像データの品質を向上させることができる。
[実施例]
【0018】
図2を参照して、この実施例のディジタルカメラ10は、ドライバ20aおよび20bによってそれぞれ駆動されるフォーカスレンズ12および絞り機構14を含む。フォーカスレンズ12および絞り機構14を経た被写界の光学像は、撮像装置18の撮像面に照射される。
【0019】
撮像面には複数の受光素子(=画素)が2次元状に配置され、撮像面は図3に示す原色ベイヤ配列の色フィルタ16によって覆われる。色フィルタ16は、具体的には、R(Red)のフィルタ要素,G(Green)のフィルタ要素およびB(Blue)のフィルタ要素がモザイク状に配列されたフィルタに相当する。撮像面に配置された受光素子は色フィルタ16を構成するフィルタ要素と1対1で対応し、各受光素子で生成される電荷の量はR,GまたはBの色に対応する光の強度を反映する。
【0020】
電源が投入されると、CPU32は、撮像タスクの下で動画取り込み処理を実行するべく、ドライバ20cに露光動作および電荷読み出し動作の繰り返しを命令する。ドライバ20cは、図示しないSG(Signal Generator)から出力された垂直同期信号Vsyncに応答して、撮像面を露光し、かつこれによって生成された電荷をラスタ走査態様で読み出す。撮像装置18からは、読み出された電荷に基づく生画像データが周期的に出力される。出力される生画像データは、各画素がR,GおよびBのいずれか1つの色情報を有する画像データに相当する。
【0021】
信号処理回路22は、このような生画像データに色分離を施して各画素がR,GおよびBの全ての色情報を有するRGB画像データを作成し、作成されたRGB画像データに白バランス調整を施す。信号処理回路22はさらに、調整された白バランスを有するRGB画像データを各画素が輝度情報(=Y)と色差情報(UまたはV)とを有するYUV画像データに変換し、変換されたYUV画像データに輪郭強調処理を施す。強調された輪郭を有するYUV画像データは、メモリ制御回路24を通してSDRAM26に書き込まれる。
【0022】
LCDドライバ28は、SDRAM26に格納された画像データをメモリ制御回路24を通して繰り返し読み出し、読み出された画像データに基づいてLCDモニタ30を駆動する。この結果、被写界を表す動画像(スルー画像)がモニタ画面に表示される。
【0023】
図4を参照して、撮像面の中央には評価エリアEVAが割り当てられる。評価エリアEVAは水平方向および垂直方向の各々において16分割され、256個の分割エリアが評価エリアEVAを形成する。
【0024】
信号処理回路22は、上述した処理に加えて、白バランス調整後のRGB画像データを形成するRデータ,GデータおよびBデータの各々を分割エリア毎に積分し、YUV画像データを形成するYデータを分割エリア毎に積分し、そしてYUV画像データを形成するYデータの高周波成分を分割エリア毎に積分する。この結果、256個のR評価値,256個のG評価値および256個のB評価値がRGB画像データに基づいて生成され、256個の輝度評価値がYデータに基づいて生成され、そして256個のフォーカス評価値がYデータの高周波成分に基づいて生成される。
【0025】
なお、積分処理はいずれも垂直同期信号Vsyncが発生する毎に実行され、R評価値,G評価値,B評価値,輝度評価値およびフォーカス評価値は垂直同期信号Vsyncに応答して信号処理回路22から出力される。
【0026】
キー入力装置34に設けられたシャッタボタン34shが非操作状態のとき、CPU32は、信号処理回路22から出力された輝度評価値に基づいて適正EV値を算出するべく簡易AE処理を繰り返し実行し、信号処理回路22から出力されたR評価値,G評価値およびB評価値に基づいて白バランス調整用の適正ゲインを算出するべく簡易AWB処理を繰り返し実行する。
【0027】
簡易AE処理によって算出された適正EV値を定義する絞り量および露光時間は、ドライバ18bおよび18cにそれぞれ設定される。また、簡易AWB処理によって算出された適正ゲインは、信号処理回路22に設定される。この結果、スルー画像の明るさおよび白バランスが適度に調整される。
【0028】
シャッタボタン34shが半押しされると、CPU32は、信号処理回路22から出力された輝度評価値に基づいて最適EV値を算出するべく厳格AE処理を実行し、信号処理回路22から出力されたR評価値,G評価値およびB評価値に基づいて白バランス調整用の最適ゲインを算出するべく厳格AWB処理を実行する。
【0029】
上述と同様、厳格AE処理によって算出された最適EV値を定義する絞り量および露光時間は、ドライバ18bおよび18cにそれぞれ設定される。また、厳格AWB処理によって算出された最適ゲインは、信号処理回路22に設定される。この結果、スルー画像の明るさおよび白バランスが最適値に調整される。
【0030】
CPU32は続いて、AF処理を実行する。フォーカスレンズ12は光軸方向に移動され、信号処理回路22から出力されたフォーカス評価値はフォーカスレンズ12の移動処理と並列して繰り返し取り込まれる。合焦点は取り込まれたフォーカス評価値に基づいて探索され、フォーカスレンズ12は発見された合焦点に配置される。これによって、スルー画像の鮮鋭度が向上する。
【0031】
シャッタボタン34shが全押しされると、CPU32は、静止画取り込み処理を実行する。シャッタボタン34shが全押しされた時点の被写界を表す1フレームの画像データは、SDRAM26に設けられたワークエリア(図示せず)に退避される。静止画取り込み処理が完了すると、CPU32は記録処理のためにI/F36を起動する。I/F36は、ワークエリアに退避された画像データをメモリ制御回路24を通して読み出し、読み出された画像データをファイル形式で記録媒体38に記録する。
【0032】
信号処理回路22は、図5に示すように構成される。色分離回路50は、撮像装置18から入力された生画像データに色分離処理を施して、各画素がR,GおよびBの全ての色情報を有するRGB画像データを作成する。作成されたRGB画像データのうち、Rデータは白バランス調整回路52を構成する増幅器52rを経てYUV変換回路54に与えられ、GデータはそのままYUV変換回路54に与えられ、そしてBデータは白バランス調整回路52を構成する増幅器52bを経てYUV変換回路54に与えられる。
【0033】
増幅器52rはRデータをゲインαに従って増幅し、増幅器52bはBデータをゲインβに従って増幅する。ここで、ゲインαおよびβは、簡易AWB処理によって算出された適正ゲインまたは厳格AWB処理によって算出された最適ゲインを定義するパラメータである。RGB画像データの白バランスは、簡易AWB処理によって適度に調整され、厳格AWB処理によって最適値に調整される。
【0034】
YUV変換回路54は、こうして調整された白バランスを有するRGB画像データを、各画素が輝度情報(=Y)と色差情報(UまたはV)とを有するYUV画像データに変換する。変換されたYUV画像データのうち、UデータおよびVデータはそのまま出力され、Yデータは加算器58を介して出力される。
【0035】
アパーチャ信号作成回路56は、白バランス調整回路52から出力されたRGB画像データに基づいて、アパーチャデータ(輪郭強調データ)を作成する。作成されたアパーチャデータは、加算器58に与えられる。加算器58は、輪郭強調処理を実行するべく、Yデータからアパーチャデータを減算する。これによって、Yデータの輪郭が強調される。
【0036】
白バランス調整回路52から出力されたRGB画像データはまた、積分器60r,60bおよび60gに与えられる。積分器60rは、RGB画像データを形成するRデータを、垂直同期信号Vsyncに応答して分割エリア毎に積分する。積分器60gは、RGB画像データを形成するGデータを、垂直同期信号Vsyncに応答して分割エリア毎に積分する。積分器60bは、RGB画像データを形成するBデータを、垂直同期信号Vsyncに応答して分割エリア毎に積分する。
【0037】
この結果、256個の積分値Ir,Ir,…がR評価値として積分器60rから出力され、256個の積分値Ig,Ig,…がG評価値として積分器60gから出力され、そして256個の積分値Ib,Ib,…がB評価値として積分器60bから出力される。
【0038】
HPF62は加算器58から出力されたYデータの高周波成分を抽出し、積分器64は抽出された高周波成分を垂直同期信号Vsyncに応答して分割エリア毎に積分する。 また、積分器66は、加算器58から出力されたYデータを垂直同期信号Vsyncに応答して分割エリア毎に積分する。この結果、256個の積分値Ihy,Ihy,…がフォーカス評価値として積分器64から出力され、256個の積分値Iy,Iy,…が輝度評価値として積分器66から出力される。
【0039】
YUV変換回路54は、RGB画像データのYデータへの変換に関連して図6に示すように構成される。RGB画像データのうち、Rデータは掛け算器70によって3倍に増幅され、Gデータは掛け算器74によって6倍に増幅され、そしてBデータは掛け算器78によって“Kb_n”倍に増幅される。掛け算器70の出力は掛け算器72によって“Kr_n“倍に増幅され、掛け算器72の出力は加算器76によって掛け算器74の出力と加算される。また、加算器76の出力は、加算器80によって掛け算器78の出力と加算される。こうして、Yデータが加算器80から出力される。
【0040】
アパーチャ信号作成回路56は、図7に示すように構成される。RGB画像データのうち、Rデータは2次微分フィルタ92で2次微分処理を施され、Gデータは2次微分フィルタ94で2次微分処理を施され、そしてBデータは2次微分フィルタ96で2次微分処理を施される。2次微分フィルタ92,94または96への入力が図8(A)に示すように変化するとき、2次微分フィルタ92,94または96からの出力は図8(B)に示すように変化する。
【0041】
2次微分フィルタ92の出力は掛け算器98によって“Kr_n”倍に増幅され、掛け算器98の出力は加算器100によって2次微分フィルタ94の出力と加算される。2次微分フィルタ96の出力は掛け算器102によって“Kb_n”倍に増幅され、掛け算器102の出力は加算器104によって加算器100の出力と加算される。こうして、アパーチャ信号が加算器104から出力される。
【0042】
“Kr_n”および“Kb_n”は混合係数に相当し、CPU32の係数調整タスクによって以下の要領で調整される。垂直同期信号Vsyncが発生すると、CPU32は、積分器60rから出力された256個のR評価値の総和を“Kr”として算出し、積分器60gから出力された256個のG評価値の総和を“Kg”として算出し、積分器60bから出力された256個のB評価値の総和を“Kb”として算出する。算出されたた総和Kr,KgおよびKbはR,GおよびBに対応付けられ、これによって被写界像の色調がRGB比率として測定される。総和KrおよびKbの各々は総和Kgを参照して正規化され、これによって混合係数Kr_nおよびKb_nが算出される。
【0043】
CPU32は、図9に示す撮像タスクおよび図10に示す係数調整タスクを含む複数のタスクを並列的に実行する。これらのタスクに対応する制御プログラムは、フラッシュメモリ40に記憶される。
【0044】
図9を参照して、ステップS1では動画取込み処理を実行する。この結果、被写界を表すスルー画像がLCDモニタ30に表示される。ステップS3ではシャッタボタン34shが操作されたか否かを判別し、判別結果がNOであればステップS5で簡易AE処理および簡易AWB処理を繰り返し実行する。この結果、スルー画像の明るさおよび白バランスが適度に調整される。
【0045】
ステップS3の判別結果がNOからYESに更新されると、ステップS7で厳格AE処理および厳格AWB処理を実行し、ステップS9でAF処理を実行する。この結果、スルー画像の明るさおよび白バランスが厳格に調整され、スルー画像の鮮鋭度が向上する。ステップS11ではシャッタボタン34shが全押しされたか否かを判別し、ステップS13ではシャッタボタン34shの操作が解除されたか否かを判別する。
【0046】
ステップS11の判別結果がYESであれば、ステップS15で静止画取り込み処理を実行し、ステップS17で記録処理を実行する。これによって、シャッタボタン34shが全押しされた時点の被写界を表す画像データがファイル形式で記録媒体38に記録される。記録処理が完了すると、ステップS3に戻る。ステップS13の判別結果がYESであれば、ステップS15およびS17の処理を実行することなくステップS3に戻る。
【0047】
図10を参照して、ステップS21では垂直同期信号Vsyncが発生したか否かを判別し、判別結果がNOからYESに更新されると、ステップS23でRGBの比率を測定する。具体的には、積分器60rから出力された256個のR評価値の総和を“Kr”として算出し、積分器60gから出力された256個のG評価値の総和を“Kg”として算出し、積分器60bから出力された256個のB評価値の総和を“Kb”として算出し、算出された総和Kr,KgおよびKbをR,GおよびBに対応付ける。
【0048】
ステップS25では総和Krを総和Kgで割り算してRの比率を正規化し、ステップS27では総和Kbを総和Kgで割り算してBの比率を正規化する。ステップS25の処理によって混合係数Kr_nが算出され、ステップS27の処理によって混合係数Kb_nが算出される。ステップS29では、算出された混合係数Kr_nおよびKb_nをYUV変換回路54の掛け算器72および78にそれぞれ設定する。ステップS31では、算出された混合係数Kr_nおよびKb_nをアパーチャ信号作成回路56の掛け算器98および102にそれぞれ設定する。ステップS31の処理が完了すると、ステップS21に戻る。
【0049】
以上の説明から分かるように、白バランス調整回路52は、R,GおよびBの色情報を各々が有する複数の画素によって形成されたRGB画像データを出力する。YUV変換回路54は、白バランス調整回路52から出力されたRGB画像データの色情報を混合係数Kr_nおよびKb_nに従う態様で画素毎に混合して、輝度情報を各々が有する複数の画素によって形成されたYUV画像データを作成する。積分器60r,60gおよび60bは、白バランス調整回路52から出力されたRGB画像データの色情報を共通の色毎に積分して、256個のR評価値,256個のG評価値および256個のB評価値を算出する。CPU36は、算出されたR評価値,G評価値およびB評価値の総和を“Kr”,“Kg”および“Kb”として求め(S23)、総和Kr,KgおよびKbの比率に基づいて混合係数Kr_nおよびKb_nの大きさを調整する(S25~S27)。
【0050】
R評価値,G評価値およびB評価値は、RGB画像データの色情報を共通の色毎に積分することで算出される。したがって、総和Kr,KgおよびKbの比率は、RGB画像データによって表される画像の色調を反映する。YUV画像データは、このような比率に応じて異なる大きさを示す混合係数Kr_nおよびKb_nを参照して作成される。これによって、YUV画像データの品質を向上させることができる。
【0051】
なお、この実施例では、静止画像を記録するスチルカメラを想定しているが、この発明は動画像を記録するムービカメラにも適用できる。
【符号の説明】
【0052】
10 …ディジタルカメラ
18 …撮像装置
22 …信号処理回路
32 …CPU
52 …白バランス調整回路
54 …YUV変換回路
56 …アパーチャ信号作成回路
60r,60b,60g …積分器

【特許請求の範囲】
【請求項1】
複数の代表色の色情報を各々が有する複数の画素によって形成された第1画像データを作成する第1作成手段、
前記第1作成手段によって作成された第1画像データの色情報を混合係数に従う態様で画素毎に混合して輝度情報を各々が有する複数の画素によって形成された第2画像データを作成する第2作成手段、
前記第1作成手段によって作成された第1画像データの色情報を代表色毎に積分して前記複数の代表色にそれぞれ対応する複数の積分値を算出する積分手段、および
前記積分手段によって算出された複数の積分値の比率に基づいて前記混合係数の大きさを調整する調整手段を備える、画像データ処理装置。
【請求項2】
前記第1作成手段によって作成された第1画像データに基づいて前記複数の代表色にそれぞれ対応する複数の輪郭強調成分を作成する第3作成手段、
前記第3作成手段によって作成された複数の輪郭強調成分を前記混合係数に従う態様で混合して輪郭強調データを作成する第4作成手段、および
前記第4作成手段によって作成された輪郭強調データを参照した輪郭強調処理を前記第2作成手段によって作成された第2画像データに対して実行する輪郭強調手段をさらに備える、請求項1記載の画像データ処理装置。
【請求項3】
前記複数の代表色は赤色,緑色および青色を含み、
前記調整手段は、前記赤色に対応する積分値を前記緑色に対応する積分値で割り算する第1割り算手段、および前記青色に対応する積分値を前記緑色に対応する積分値で割り算する第2割り算手段を含む、請求項1または2記載の画像データ処理装置。
【請求項4】
前記第2作成手段は、前記第1割り算手段の割り算結果を前記赤色に対応する色情報に掛け算する第1掛け算手段、および前記第2割り算手段の割り算結果を前記青色に対応する色情報に掛け算する第2掛け算手段を含む、請求項3記載の画像データ処理装置。
【請求項5】
前記複数の代表色にそれぞれ対応する複数のフィルタ要素がモザイク状に配列された色フィルタ、および
前記色フィルタによって覆われた撮像面を有し、前記複数の代表色のいずれか1つの色情報を各々が有する複数の画素によって形成された生画像データを出力する撮像手段をさらに備え、
前記第1作成手段は前記撮像手段から出力された生画像データに基づいて前記第1画像データを作成する、請求項1ないし4のいずれかに記載の画像データ処理装置。
【請求項6】
前記第2画像データはYUV形式の画像データに相当する、請求項1ないし5のいずれかに記載の画像データ処理装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate


【公開番号】特開2011−239060(P2011−239060A)
【公開日】平成23年11月24日(2011.11.24)
【国際特許分類】
【出願番号】特願2010−107051(P2010−107051)
【出願日】平成22年5月7日(2010.5.7)
【出願人】(000001889)三洋電機株式会社 (18,308)
【Fターム(参考)】