撮像装置、ホワイトバランス調整方法及びホワイトバランス調整プログラム
【課題】ストロボの発光時に撮像された画像について、画像全体の色味を向上させる。
【解決手段】ＣＰＵ１１は、発光部２１による発光時撮像画像と非発光時スルー画像とを撮像部２０に撮像させる。ホワイトバランスゲイン算出部１６は、撮像の際に設定された撮像画像及びスルー画像のホワイトバランスを調整するための各色成分のゲイン値を取得する。画像分割部１５は、撮像された撮像領域を複数の領域に分割する。輝度取得部１７は、分割された領域の撮像画像とスルー画像とについて、画像分割部１５により分割された複数の領域の輝度値を取得する。ホワイトバランスゲイン算出部１６は、夫々算出された相対値が所定値以下の領域を特定する。輝度比較部４１は、撮像画像の領域の輝度値をスルー画像の領域の輝度値で除した値を相対値として算出し、値の低い相対値を優先して複数選択する。ホワイトバランスゲイン算出部１６は、各色成分のゲイン値を補正する。
【解決手段】ＣＰＵ１１は、発光部２１による発光時撮像画像と非発光時スルー画像とを撮像部２０に撮像させる。ホワイトバランスゲイン算出部１６は、撮像の際に設定された撮像画像及びスルー画像のホワイトバランスを調整するための各色成分のゲイン値を取得する。画像分割部１５は、撮像された撮像領域を複数の領域に分割する。輝度取得部１７は、分割された領域の撮像画像とスルー画像とについて、画像分割部１５により分割された複数の領域の輝度値を取得する。ホワイトバランスゲイン算出部１６は、夫々算出された相対値が所定値以下の領域を特定する。輝度比較部４１は、撮像画像の領域の輝度値をスルー画像の領域の輝度値で除した値を相対値として算出し、値の低い相対値を優先して複数選択する。ホワイトバランスゲイン算出部１６は、各色成分のゲイン値を補正する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、ホワイトバランス調整方法及びホワイトバランス調整プログラムに関し、特に、ストロボの発光時に撮像された画像について、画像全体の色味を向上させる技術に関する。
【背景技術】
【０００２】
従来より、ストロボの発光時に色温度の違いにより生じる不自然なホワイトバランスを、より自然なものになるように補正するために、様々なホワイトバランスの調整方法が考案されている。
このようなホワイトバランスの調整手法としては、例えば、ストロボの発光時の画像とストロボの非発光時の画像をそれぞれ複数の領域に分割し、それぞれに対応する領域の輝度差に基づいて、分割された領域毎にホワイトバランスをそれぞれ設定する、といった手法が知られている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平８−５１６３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述の特許文献１に記載される手法が適用されると、分割された領域についてそれぞれ独立してホワイトバランスが設定されるために、画像全体の色味が不自然になる虞があった。
【０００５】
特に、上記の手法では、ストロボが照射されていないと判断された領域は、一律にホワイトバランスが設定されていた。換言すると、ストロボが照射されていないと判断された領域以外の領域はホワイトバランスの設定上何ら考慮する必要はないという思想の下、ホワイトバランスが設定されていた。
しかしながら、現実問題として、ストロボが全く照射されていないと判断された領域でも実際には多少のストロボの影響を受けていることが多い。従って、ストロボが照射されていないと判断された領域についても、ストロボの照射を考慮したホワイトバランスの設定がなされないと、結果として、画像全体の色味が不自然になる。
【０００６】
本発明は、このような状況に鑑みてなされたものであり、ストロボの発光時に撮像された画像について、画像全体の色味を向上させることを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、請求項１に記載の発明は、発光手段と、撮像手段と、を備える撮像装置において、前記発光手段による発光により明るくされた時の画像である第１の画像と当該発光手段による発光がなされていない時の画像である第２の画像とを前記撮像手段に撮像するように制御する撮像制御手段と、前記第１の画像及び前記第２の画像の撮像の際に設定されたホワイトバランスを調整するための各色成分のゲイン値を夫々取得する第１の取得手段と、前記撮像手段により撮像された撮像領域を複数の領域に分割する分割手段と、前記第１の画像と前記第２の画像とについて、前記分割手段により分割された複数の領域の輝度値を夫々取得する第２の取得手段と、前記第２の取得手段により算出された前記第１の画像の領域の輝度値を前記第２の画像の領域の輝度値で除した値を相対値として夫々算出する算出手段と、前記第２の取得手段により夫々算出された相対値が所定値以下の領域を特定する特定手段と、前記第２の取得手段により夫々算出された相対値の中から、値の低い相対値を優先して複数の相対値を選択する選択手段と、前記選択手段により選択された複数の相対値に基づいて、前記特定手段により特定された領域の各色成分のゲイン値を補正する補正手段とを備えた撮像装置であることを特徴とする。
【０００８】
また、上記目的を達成するために、請求項２に記載の発明は、前記第１の取得手段により取得された画像の各色成分を他の色空間における少なくとも輝度情報を含む画素のパラメータの組に変換する変換手段をさらに備え、前記補正手段は、さらに、前記変換手段により変換された画素のパラメータの組に基づいて、前記各色成分のゲイン値を補正する撮像装置であることを特徴とする。
【０００９】
また、上記目的を達成するために、請求項３に記載の発明は、発光により明るくされた時の画像である第１の画像と発光がなされていない時の画像である第２の画像とを取得する第１の取得ステップと、前記第１の画像及び前記第２の画像の撮像の際に設定されたホワイトバランスを調整するための各色成分のゲイン値を夫々取得する第２の取得ステップと、前記第１の取得ステップの処理により取得された画像を複数の領域に分割する分割ステップと、前記第１の画像と前記第２の画像とについて、前記分割ステップにて分割された複数の領域の輝度値を夫々取得する第３の取得ステップと、前記第３の取得ステップにて算出された前記第１の画像の領域の輝度値を前記第２の画像の領域の輝度値で除した値を相対値として夫々算出する算出ステップと、前記第３の取得ステップの処理により夫々算出された相対値が所定値以下の領域を特定する特定ステップと、前記第３の取得ステップにて夫々算出された相対値の中から、値の低い相対値を優先して複数の相対値を選択する選択ステップと、前記選択ステップにて選択された複数の相対値に基づいて、前記特定ステップにより特定された領域の各色成分のゲイン値を補正する補正ステップとを含むホワイトバランス調整方法であることを特徴とする。
【００１０】
また、上記目的を達成するために、請求項４に記載の発明は、コンピュータを、発光により明るくされた時の画像である第１の画像と発光がなされていない時の画像である第２の画像とを取得する第１の取得手段、前記第１の画像及び前記第２の画像のホワイトバランスを調整するための各色成分のゲイン値を夫々取得する第２の取得手段、前記第１の取得手段により取得された画像を複数の領域に分割する分割手段、前記第１の画像と前記第２の画像とについて、前記分割手段により分割された複数の領域の輝度値を夫々取得する第３の取得手段、前記第３の取得手段により算出された前記第１の画像の領域の輝度値を前記第２の画像の領域の輝度値で除した値を相対値として夫々算出する算出手段、前記第３の取得手段により夫々算出された相対値が所定値以下の領域を特定する特定手段、前記第３の取得手段により夫々算出された相対値の中から、値の低い相対値を優先して複数の相対値を選択する選択手段、前記選択手段により選択された複数の相対値に基づいて、前記特定手段により特定された領域の各色成分のゲイン値を補正する補正手段として機能させるホワイトバランス調整プログラムであることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、ストロボの発光時に撮像された画像について、画像全体の色味を向上させることができる。
【図面の簡単な説明】
【００１２】
【図１】本発明に係る撮像装置の一実施形態におけるハードウェアの構成を示す領域図である。
【図２】図１のハードウェアの構成を有する撮像装置が実行するストロボ撮像処理の流れを説明するフローチャートである。
【図３】非発光時スルー画像又は発光時撮像画像から８×８の６４の分割領域が得られた状態を示す模式図である。
【図４】発光時スルー画像及び非発光時撮像画像の各分割領域の輝度比率を格納するテーブルの一例を示す図である。
【図５】図１のハードウェアの構成を有する撮像装置が実行するホワイトバランス処理の流れを説明するフローチャートである。
【発明を実施するための形態】
【００１３】
以下、本発明の実施形態について、図を用いて説明する。
図１は、本発明に係る撮像装置１の一実施形態におけるハードウェアの構成を示すブロック図である。
図１に示す撮像装置１は、例えばデジタルカメラにより構成することができる。
【００１４】
撮像装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、画像処理部１４と、画像分割部１５と、ホワイトバランスゲイン算出部１６と、輝度取得部１７と、バス１８と、入出力インターフェース１９と、撮像部２０と、発光部２１と、操作部２２と、表示部２３と、記憶部２４、通信部２５と、ドライブ２６と、を備えている。
【００１５】
ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、又は、記憶部２４からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。
【００１６】
ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。
【００１７】
画像処理部１４は、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）や、ＶＲＡＭ（Ｖｉｄｅｏ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等から構成されており、ＣＰＵ１１と協働して、画像のデータに対して各種画像処理を施す。
例えば、画像処理部１４は、後述する撮像部２０から出力される撮像画像のデータに対して、ノイズ低減、ホワイトバランスの調整、手ぶれ補正等の画像処理を施す。
【００１８】
画像分割部１５は、画像処理部１４において行われる画像処理のうち、ホワイトバランスの調整に用いる画像のデータを、空間方向に幾つかの領域のデータに分割する。なお、画像分割部１５のさらなる詳細については、後述する。
【００１９】
ホワイトバランスゲイン算出部１６は、画像処理部１４において行われる画像処理のうち、ホワイトバランスの調整に用いるホワイトバランスゲインを算出する。なお、ホワイトバランスゲイン算出部１６のさらなる詳細については、後述する。
【００２０】
輝度取得部１７は、画像処理部１４において行われる画像処理のうち、ホワイトバランスの調整に用いる画像のデータから、輝度値等を取得する。なお、輝度取得部１７のさらなる詳細については、輝度比較部４１も含めて後述する。
【００２１】
ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、画像処理部１４、画像分割部１５、ホワイトバランスゲイン算出部１６、及び輝度取得部１７は、バス１８を介して相互に接続されている。このバス１８にはまた、入出力インターフェース１９も接続されている。入出力インターフェース１９には、撮像部２０、発光部２１、操作部２２、表示部２３、記憶部２４、通信部２５及びドライブ２６が接続されている。
【００２２】
撮像部２０は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。
【００２３】
光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。
【００２４】
イメージセンサは、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）等から構成される。
光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。
ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部２０の出力信号として出力される。
なお、以下、撮像部２０の出力信号を、「撮像画像のデータ」と呼ぶ。従って、撮像部２０からは撮像画像のデータが出力されて、ＣＰＵ１１、画像処理部１４、画像分割部１５、ホワイトバランスゲイン算出部１６等に適宜供給される。
【００２５】
発光部２１は、ストロボを有し、ＣＰＵ１１の制御に従って、ストロボを発光させる。本実施形態においては、ユーザが操作部２２に対する撮像画像の記録指示の操作、例えば操作部２２のうち図示せぬレリーズ釦の押下操作をしたことを契機として、ストロボが発光される。
【００２６】
操作部２２は、例えば、図示せぬレリーズ釦等の各種釦により構成され、ユーザの指示操作を受け付ける。
【００２７】
表示部２３は、各種画像を表示可能なディスプレイ等により構成される。
【００２８】
記憶部２４は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、後述するスルー画像、表示対象の原画像、当該原画像に合成され得る画像等の各種画像のデータを記憶する。
【００２９】
通信部２５は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。
【００３０】
ドライブ２６には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア３１が適宜装着される。ドライブ２６によってリムーバブルメディア３１から読み出されたプログラムは、必要に応じて記憶部２４にインストールされる。また、リムーバブルメディア３１は、記憶部２４に記憶されている画像のデータ等の各種データも、記憶部２４と同様に記憶することができる。
【００３１】
以上、図１を参照して、本実施形態の撮像装置１のハードウェアの構成について説明した。
次に、このようなハードウェアの構成を有する撮像装置１が実行するストロボ撮像処理の流れについて説明する。ストロボ撮像処理とは、ストロボを発光させて被写体を撮像し、その結果得られる撮像画像のデータに対して、ホワイトバランスの調整を行った後に、リムーバブルメディア３１等に記録するまでの一連の処理をいう。
図２は、図１のハードウェアの構成を有する撮像装置１が実行するストロボ撮像処理の流れを説明するフローチャートである。
【００３２】
先ず、撮像装置１の動作モードとして、本実施形態では、ストロボを発光せずに被写体を撮像する通常モードと、ストロボを発光して被写体を撮像するストロボモードとが設けられているとする。そして、ユーザは、操作部２２に対する所定の操作をすることで、動作モードとして、通常モード又はストロボモードを選択的に指示することができるものとする。
この場合、ストロボモードの選択が指示されると、ストロボ撮像処理は開始する。
【００３３】
ステップＳ１において、ＣＰＵ１１は、スルー撮像処理及びスルー表示処理を実行する。
即ち、ＣＰＵ１１は、撮像部２０や画像処理部１４を制御して、撮像部２０による撮像動作を継続させる。そして、ＣＰＵ１１は、撮像部２０による撮像動作が継続されている間、当該撮像部２０から順次出力される撮像画像のデータを、メモリ（本実施形態では記憶部２４）に一時的に記憶させる。このような一連の処理が、ここでいう「スルー撮像処理」である。
また、ＣＰＵ１１は、スルー撮像処理時にメモリ（本実施形態では記憶部２４）に一時的に記録された各データを順次読み出して、各々に対応する撮像画像を表示部２３に順次表示させる。このような一連の処理が、ここでいう「スルー表示処理」である。なお、スルー表示処理により表示部２３に表示されている撮像画像を、以下、「スルー画像」と呼ぶ。
【００３４】
ステップＳ２において、ＣＰＵ１１は、撮像画像の記録指示があったか否かを判断する。
本実施形態においては、上述したように、ユーザは、操作部２２のうちレリーズ釦を押下操作することによって、撮像画像の記録指示をすることができる。
従って、レリーズ釦が押下操作されていない場合には、ステップＳ２においてＮＯであると判定されて、処理はステップＳ１に戻される。即ち、レリーズ釦が押下操作されるまでの間、ステップＳ１及びＳ２のループ処理が繰り返し実行されることによって、スルー撮像処理及びスルー表示処理が繰り返し実行され、被写体のスルー画像がリアルタイムに表示部２３に表示され続ける。
なお、図示はしないが、所定時間経過しても未だレリーズ釦が押下操作されない場合には、ＣＰＵ１１等は、ストロボ撮像処理を強制終了するようにしてもよい。
【００３５】
その後、レリーズ釦が押下操作された場合には、ステップＳ２においてＹＥＳであると判定されて、処理はステップＳ３に進む。
【００３６】
ステップＳ３において、ＣＰＵ１１は、発光とともに被写体を撮像することを制御する。詳細には、ＣＰＵ１１は、発光部２１を制御して、ストロボを発光させるとともに、撮像部２０を制御して、被写体を撮像させる。
本実施形態では、このときに撮像部２０から出力された撮像画像のデータが、記録対象のデータとして記憶部２４に一時的に記憶される。
【００３７】
ステップＳ４において、ＣＰＵ１１は、ステップＳ１のスルー撮像処理でストロボ非発光時に被写体が撮像されたスルー画像のデータと、ステップＳ３の処理でストロボ発光時に被写体が撮像された撮像画像のデータとを用いて、記録対象の撮像画像のホワイトバランスを調整する処理を実行する。
このようなステップＳ４の処理を、図２の記載にあわせて、以下、「ホワイトバランス処理」と呼ぶ。また、ステップＳ１のスルー撮像処理でストロボ非発光時に被写体が撮像されたスルー画像のデータを、以下、「非発光時スルー画像のデータ」と呼ぶ。一方、ステップＳ３の処理でストロボ発光時に被写体が撮像された撮像画像のデータを、以下、「発光時撮像画像のデータ」と呼ぶ。
ここで、記録対象の撮像画像のデータは、本実施形態では、発光時撮像画像のデータが採用されるものとする。ただし、発光時撮像画像のデータとは別に、ホワイトバランスの設定後、もう１度ストロボを発光させて撮像部２０が被写体を撮像した結果得られる撮像画像のデータを記録対象として採用してもよい。この場合、当該記録対象の撮像画像のデータは、設定されたホワイトバランスで調整される。
なお、ホワイトバランス処理のさらなる詳細については、後述する。
【００３８】
ステップＳ５において、ＣＰＵ１１は、ステップＳ４の処理でホワイトバランス処理が施された、記録対象の撮像画像のデータをリムーバブルメディア３１に記録する。
これにより、ストロボ撮像処理は終了となる。
【００３９】
以上、ストロボ撮像処理について説明した。
次に、ストロボ撮像処理のうち、ステップＳ４で実行されるホワイトバランス処理について説明する。
ここでは、まず、ホワイトバランス処理を実行するための機能的構成について説明し、次に、その機能的構成に基づいて実行されるホワイトバランス処理の流れについて説明する。
【００４０】
ホワイトバランス処理が実行される場合、図１の撮像装置１のうち、画像分割部１５と、ホワイトバランスゲイン算出部１６と、輝度取得部１７と、が機能する。
【００４１】
画像分割部１５は、非発光時スルー画像及び発光時撮像画像の各データを、複数の領域、本実施形態においては、図３に示すように８×８の６４の領域の各データにそれぞれ分割する。
なお、本明細書では、このように画像分割部１５により分割された領域を、以下、「分割領域」と呼ぶ。
図３は、非発光時スルー画像又は発光時撮像画像から８×８の６４の分割領域が得られた状態を示す模式図である。
同図に示すように、本実施形態では、各分割領域に対して、一意に特定する固有の番号、具体的には左上端の分割領域から、水平方向は右方向に、垂直方向は下方向に向けた順序で、１、２、３、４、５、６、７、８、９、１０、・・・、６３、６４という番号が付されている。なお、以下、分割領域に付される番号を、「分割番号」と呼ぶ。
分割番号の付し方は、非発光時スルー画像及び発光時撮像画像で統一されているため、非発光時スルー画像と発光時撮像画像とのそれぞれの同一番号の分割領域は、画像全体における、位置、大きさ、及び範囲は同一となっている。
なお、各分割領域のデータは、例えば、付された番号と対応付けられてテーブル方式で記憶部に記憶されて、管理される。
【００４２】
ホワイトバランスゲイン算出部１６は、画像分割部１５により分割された分割領域毎に、非発光時スルー画像についてのホワイトバランスゲインと、発光時撮像画像についてのホワイトバランスゲインとを、それぞれ算出する。
詳細には、本実施形態では、非発光時スルー画像と発光時撮像画像の各データは、ＲＧＢ（Ｒ：Ｒｅｄ，Ｇ：Ｇｒｅｅｎ，Ｂ：Ｂｌｕｅ）成分により構成されているものとする。
この場合、ホワイトバランスゲイン算出部１６は、非発光時スルー画像の分割領域毎のホワイトバランスゲインとして、Ｒ成分のゲイン（以下、「ＳＲＧ」と呼ぶ）と、Ｇ成分のゲイン（以下、「ＳＧＧ」と呼ぶ）と、Ｂ成分のゲイン（以下、「ＳＢＧ」と呼ぶ）と、をそれぞれ算出する。なお、ＳＲＧ，ＳＧＧ，ＳＢＧを併せて、以下、「非発光時スルー画像のＲＧＢ成分のゲイン値」と呼ぶ。即ち、非発光時スルー画像について、分割領域毎のＲＧＢ成分のゲイン値がそれぞれ算出される。
また、ホワイトバランスゲイン算出部１６は、発光時撮像画像の分割領域毎のホワイトバランスゲインとして、Ｒ成分のゲイン（以下、「ＬＲＧ」と呼ぶ）と、Ｇ成分のゲイン（以下、「ＬＧＧ」と呼ぶ）と、Ｂ成分のゲイン（以下、ＬＢＧと呼ぶ）と、をそれぞれ算出する。ＳＲＧ，ＳＧＧ，ＳＢＧを併せて、以下、「発光時撮像画像のＲＧＢ成分のゲイン値」と呼ぶ。即ち、発光時撮像画像について、分割領域毎のＲＧＢ成分のゲイン値がそれぞれ算出される。
【００４３】
次に、ホワイトバランスゲイン算出部１６は、複数の分割領域毎に、発光時撮像画像のＲＧＢ成分のゲイン値をそれぞれ補正する。
ここで、本実施形態では、複数の分割領域は、ストロボの光がしっかりと照射されていると推定される分割領域（以下、「照射領域」と呼ぶ）、又は、それ以外の分割領域（以下、「非照射領域」と呼ぶ）に分類される。なお、照射領域と非照射領域との分類手法については、後述する。
このため、本実施形態では、発光時撮像画像のＲＧＢ成分のゲイン値の補正手法が、照射領域と非照射領域とでは異なる。
【００４４】
そこで、以下、発光時撮像画像のうち、非照射領域のＲＧＢ成分のゲイン値の補正手法について説明する。
非照射領域であっても、ストロボ光が全く照射されていないことは稀であり、ストロボ光の照射具合を考慮したホワイトバランスの調整が必要になる。このような調整を可能にすべく、発光時撮像画像のうち、非照射領域のＲＧＢ成分のゲイン値は、次のようにして補正される。
【００４５】
ホワイトバランスゲイン算出部１６は、非発光時スルー画像及び発光時撮像画像の非照射領域のＲＧＢ成分の各ゲイン値を、ＹＵＶ（Ｙ：輝度，Ｕ：輝度と青成分の色差，Ｖ：輝度と赤成分の色差）成分のゲイン値に変換する。
なお、以下、非発光時スルー画像及び発光時撮像画像のＲＧＢ成分の各ゲイン値から変換されたＹＵＶ成分の各ゲイン値を、「ＹＵＶ変換値」と呼ぶ。
【００４６】
ここで、非発光時スルー画像の非照射領域のＹＵＶ変換値は、Ｙ成分のゲイン（以下、ＳＹと呼ぶ）と、Ｕ成分のゲイン（以下、ＳＵと呼ぶ）と、Ｖ成分のゲイン（以下、ＳＶと呼ぶ）と、から構成される。
この場合、非発光時スルー画像のＹＵＶ変換値は、次の式（１）から演算される。
【数１】
なお、式（１）の左辺の左から掛けられている３行３列の行列は、即ち、ｉ行ｊ列（ｉ，ｊは、相互に独立した、１乃至３の範囲内の整数値）の要素がａｉｊとなっている行列は、ＲＧＢ成分をＹＵＶ成分に変換する変換行列である。
【００４７】
一方、発光時撮像画像の非照射領域のＹＵＶ変換値は、Ｙ成分のゲイン（以下、ＬＹと呼ぶ）と、Ｕ成分のゲイン（以下、ＬＵと呼ぶ）と、Ｖ成分のゲイン（以下、ＬＶと呼ぶ）と、から構成される。
この場合、発光時スルー画像の非照射領域のＹＵＶ変換値は、次の式（２）から演算される。
【数２】
【００４８】
次に、ホワイトバランスゲイン算出部１６は、非発光時スルー画像と発光時撮像画像との各非照射領域の輝度比率（輝度比率は後述する）を総合的に考慮して、発光時撮像画像の非照射領域のＹＵＶ変換値のうち、Ｙ成分のゲインＬＹを補正する。
ここで、発光時撮像画像の非照射領域のＹＵＶ変換値のうち、補正後のＹ成分のゲインを、以下、「ＬＹ’」と呼ぶ。換言すると、ＬＹに対して、非発光時スルー画像と発光時撮像画像との各非照射領域の輝度比率を総合的に考慮した重み付けがなされた値が、ＬＹ’である。
ＬＹ’は、例えば次の式（３）により求められる。
【数３】
式（３）において、Ｃは、非発光時スルー画像と発光時撮像画像との各非照射領域の輝度比率を総合的に考慮した重み付けを行うための可変係数であって、後述する輝度比較部４１で演算される平均輝度比率である。
【００４９】
次に、ホワイトバランスゲイン算出部１６は、式（３）によりＹ成分が補正（重み付け）された発光時撮像画像の非照射領域のＹＵＶ変換値を、ＲＧＢ成分のゲイン値に逆変換する。具体的には、ホワイトバランスゲイン算出部１６は、次の式（４）に従って、逆変換後の発光時撮像画像の非照射領域のＲＧＢ成分のゲイン値を求める。
【数４】
なお、式（４）の右辺の列ベクトルが、逆変換後の発光時撮像画像の非照射領域のＲＧＢ成分のゲイン値を示している。逆変換後の発光時撮像画像の非照射領域のＲＧＢ成分のゲイン値は、逆変換後のＲ成分のゲイン（以下、式（４）の記載に併せて「ＬＲα」と呼ぶ）と、逆変換後のＧ成分のゲイン（以下、式（４）の記載に併せて「ＬＧα」と呼ぶ）と、逆変換後のＢ成分のゲイン（以下、式（４）の記載に併せて「ＬＢα」と呼ぶ）と、から構成される。
また、式（４）の左辺において、左から掛けられている行列は、式（１）や式（２）で用いられている変換行列の逆行列である。
【００５０】
このようにして、発光時撮像画像のうち、非照射領域のＲＧＢ成分のゲイン値が補正される。
【００５１】
以上、発光時撮像画像のうち、非照射領域のＲＧＢ成分のゲイン値の補正手法について説明した。
なお、発光時撮像画像のうち、照射領域のＲＧＢ成分のゲイン値の補正手法については、特に限定されず、例えば本実施形態では、後述する輝度比率に基づく補正手法が採用されているものとする。
【００５２】
そして、ホワイトバランスゲイン算出部１６は、発光時撮像画像の分割領域毎におけるＲＧＢ成分の補正後のゲイン値に基づいて、記録対象の撮像画像のホワイトバランス設定を分割領域毎に行う。
【００５３】
以上説明したように、ホワイトバランスゲイン算出部１６の処理では、分割領域毎の輝度比率が必要になる。このような輝度比率の演算等を行うべく、輝度取得部１７が設けられている。
即ち、輝度取得部１７は、非発光時スルー画像及び発光時撮像画像のデータから、輝度値を分割領域単位で取得する。
ここで、分割領域は複数の画素から構成されるため、分割領域の輝度とは、当該分割領域を構成する各画素の輝度に基づいて演算された値、例えば、各画素の輝度の平均値を意味するものとする。
【００５４】
輝度取得部１７には、輝度比較部４１が設けられている。
輝度比較部４１は、発光時スルー画像及び非発光時撮像画像の各分割領域の輝度比率を算出する。
領域番号ｉ（ｉは、分割総数以下の正の整数値であり、本実施形態では６４以下の正の整数値）の輝度比率Ｐｉは、次の式（５）により求められる。
【数５】
式（５）において、Ｙｉ’は、発光時撮像画像のｉ番目の分割領域の輝度を示している。Ｙｉは、非発光時スルー画像のｉ番目の分割領域の輝度を示している。
本実施形態では、このような式（５）による輝度比較部４１の演算結果は、例えば図４に示すテーブル形式で記憶部２４に記憶されて、管理される。
【００５５】
図４は、発光時スルー画像及び非発光時撮像画像の各分割領域の輝度比率を格納するテーブルの一例を示している。
本実施形態において、図４のテーブルは行列構造を有しているため、以下、図４中横方向の項目の集合体を「行」と称し、同図中縦方向の項目の集合体を「列」と称する。所定の行には、所定の領域番号が対応付けられている。即ち、所定の行には、当該行に対応する領域番号についての、「領域番号」、「非発光時の輝度」、「発光時の輝度」、及び「輝度比率」という項目がそれぞれ配置されている。
上から第ｉ行目（ただし、図４の項目名が記載された一番上の行は除外する。以下同じ）。の「領域番号」には、領域番号ｉが格納される。
上から第ｉ行目の「非発光時の輝度」には、非発光時スルー画像のｉ番目の分割領域の輝度Ｙｉが格納される。
上から第ｉ行目の「発光時の輝度」には、発光時撮像画像のｉ番目の分割領域の輝度Ｙｉ’が格納される。
上から第ｉ行目の「輝度比率」には、ｉ番目の輝度比率Ｐｉ、即ち式（５）の演算結果が格納される。
【００５６】
本実施形態では、このように求められた分割領域毎の輝度比率に基づいて、各分割領域が、非照射領域又は照射領域に分類される。具体的には例えば本実施形態では、ストロボの光がしっかりと当たっているときの輝度比率のうち最低値として適切な値が、閾値として予め設定されている。この場合、輝度比率Ｐｉが閾値以下ならば、ｉ番目の分割領域は非照射領域に分類され、一方、輝度比率Ｐｉが閾値を越えているならば、ｉ番目の分割領域は照射領域に分類される。
【００５７】
次に、輝度比較部４１は、全分割領域毎の輝度比率を比率の低い順番にソートする。
そして、輝度比較部４１は、輝度の低い順番にソートされた各分割領域の輝度比率のうち、下位２乃至４番目の輝度比率の平均値を、上述した平均輝度比率Ｃとして求める。
具体的には、輝度比較部４１は、次の式（６）を演算することにより、平均輝度比率Ｃを求める。
【数６】
式（６）において、Ｃｔ２乃至Ｃｔ４の各々は、下位２乃至４番目の各々の輝度比率を示している。
例えば、全分割領域の輝度比率（Ｃ１＝Ｙ１’／Ｙ１，Ｃ２＝Ｙ２’／Ｙ２，Ｃ３＝Ｙ３’／Ｙ３，・・・，Ｃ８＝Ｙ８’／Ｙ８，・・・，Ｃ２２＝Ｙ２２’／Ｙ２２，・・・，Ｃ６４＝Ｙ６４’／Ｙ６４）のうち、下位４番目までの輝度比率が次の通りであったとする。即ち、６４番目（下から１番目）：Ｃｔ１＝Ｃ１＝Ｙ１’／Ｙ１、６３番目（下から２番目）：Ｃｔ２＝Ｃ２＝Ｙ２’／Ｙ２、６２番目（下から３番目）：Ｃｔ３＝Ｃ８＝Ｙ８’／Ｙ８、６１番目（下から４番目）：Ｃｔ４＝Ｃ２２＝Ｙ２２’／Ｙ２２であったものとする、この場合、平均輝度比率Ｃは、次の式（７）により算出される。
【数７】
このようにして求められた平均輝度比率Ｃは、上述した式（３）に係数として代入されて用いられる。
【００５８】
以上、図３及び図４を参照して、本実施形態の図１の撮像装置１の機能的構成のうち、図２のステップＳ４のホワイトバランス処理を実行するための機能的構成について説明した。
【００５９】
次に、このような機能的構成を有する撮像装置１が実行するステップＳ４のホワイトバランス処理の詳細な流れについて説明する。
ホワイトバランス処理においては、ＣＰＵ１１の制御の下、ホワイトバランスゲイン算出部１６乃至輝度取得部１７の何れかが各ステップの処理を実行する。ただし、以下の説明においては、ＣＰＵ１１の制御についての説明は省略する。
図５は、図１の撮像装置１が実行する図２のストロボ撮像処理のうち、ステップＳ４のホワイトバランス処理の流れの詳細を説明するフローチャートである。
【００６０】
ステップＳ２１において、画像分割部１５は、非発光時スルー画像と発光時撮像画像の各データを８×８の分割領域にそれぞれ分割し、輝度取得部１７は、各分割領域の輝度値を取得する。
【００６１】
ステップＳ２２において、輝度比較部４１は、非発光時スルー画像の輝度値と発光時撮像画像の輝度値との輝度比率を分割領域毎にそれぞれ算出する。
詳細には、輝度比較部４１は、上述した式（５）を演算することにより、ｉ番の分割領域についての輝度比率Ｐｉを算出する。このような式（５）の演算が、１乃至６４番の各々に対して実行され、輝度比率Ｐ１乃至Ｐ６４が算出される。
本実施形態では、このような式（５）による輝度比較部４１の演算結果は、例えば図４に示すテーブル形式で記憶部に分割領域毎に記憶されて、管理される。
【００６２】
ステップＳ２３において、ホワイトバランスゲイン算出部１６は、非発光時スルー画像と発光時撮像画像の各データについて、分割領域毎のＲＧＢ成分のゲイン値を設定する。
【００６３】
ステップＳ２４において、ホワイトバランスゲイン算出部１６は、処理対象の領域番号ｉとして「１」を設定する（ｉ＝１）。即ち、本実施形態では、後述するステップＳ２５乃至ステップＳ３０までの処理の対象となる分割領域が、分割番号の順番で順次設定される。このため、処理対象の分割番号ｉとして、先ず「１」が設定される。
【００６４】
ステップＳ２５において、ホワイトバランスゲイン算出部１６は、輝度比率Ｐｉが閾値を超えているか否かを判定する（Ｐｉ＞しきい値）。
【００６５】
輝度比率Ｐｉが閾値よりも高い場合とは、上述したように、処理対象の領域番号ｉの分割領域が照射領域である場合を意味する。このような場合、ステップＳ２５の処理でＹＥＳであると判定されて、処理はステップＳ２６に進む。
ステップＳ２６において、ホワイトバランスゲイン算出部１６は、輝度比率Ｐｉに基づいて、領域番号ｉの分割領域（照射領域）のＲＧＢ成分のゲイン値を補正する。
これにより、処理はステップＳ３１に進む。ただし、ステップＳ３１以降の処理については後述する。
【００６６】
これに対して、輝度比率Ｐｉが閾値以下の場合とは、上述したように、処理対象の領域番号ｉの分割領域が非照射領域である場合を意味する。このような場合、ステップＳ２５の処理でＮＯであると判定されて、処理はステップＳ２７に進む。
そして、次のようなステップＳ２７乃至Ｓ３０の処理が実行されて、領域番号ｉの分割領域のＲＧＢ成分のゲイン値が補正される。
【００６７】
即ち、ステップＳ２７において、輝度比較部４１は、ステップＳ２２の処理で演算された全輝度比率Ｐ１乃至Ｐ６４のうち、低位２乃至４番目の輝度比率に基づいて、平均輝度比率Ｃを算出する。
具体的には、上述した式（６）に従って、平均輝度比率Ｃが演算される。
なお、ステップＳ２７の処理は、ステップＳ２５の処理で初回にＮＯと判定された後に１回だけ実行すれば足り、それ以降、省略しても構わない。
【００６８】
ステップＳ２８において、ホワイトバランスゲイン算出部１６は、ステップＳ２３の処理で設定されたゲイン値のうち、番号ｉの分割領域（照射領域）のＲＧＢ成分のゲイン値をＹＵＶ変換値に変換する。
詳細には、ホワイトバランスゲイン算出部１６は、上述した式（１）に従って、領域番号ｉの分割領域（非照射領域）のＹＵＶ変換値が求められる。
【００６９】
ステップＳ２９において、ホワイトバランスゲイン算出部１６は、ステップＳ２７の処理で求めた平均輝度比率Ｃに基づいて、発光時撮像画像の領域番号ｉの分割領域（非照射領域）のＹＵＶ変換値のうち、Ｙ成分の値を補正することによって、重み付けしたＹ成分の値を算出する。
詳細には、ホワイトバランスゲイン算出部１６は、ステップＳ２４の処理で算出した平均輝度比率Ｃを係数として用いる上述した式（３）に従って、発光時撮像画像の領域番号ｉの分割領域（非照射領域）のＹＵＶ変換値のうち、Ｙ成分のゲインＬＹを、ゲインＬＹ’に補正する。
このように、非発光時スルー画像と発光時撮像画像との各分割領域のうち、非照射領域の輝度比率を総合的に考慮して、発光時撮像画像の領域番号ｉの分割領域（非照射領域）のＹＵＶ変換値のうち、Ｙ成分のゲインＬＹが補正されて、補正後のＹ成分のゲインＬＹ’となる。
【００７０】
ステップＳ３０において、ホワイトバランスゲイン算出部１６は、領域番号ｉの分割領域（非照射領域）についての、重み付けが加味されたＹＵＶ変換値をＲＧＢ成分のゲイン値に逆変換する。
詳細には、ホワイトバランスゲイン算出部１６は、上述した式（４）に従って、発光時撮像画像の領域番号ｉの分割領域（非照射領域）領域におけるＲＧＢ成分の逆変換後のゲイン値を求める。
即ち、ホワイトバランスゲイン算出部１６は、ステップＳ２９の処理で重み付けが付加された、発光時撮像画像の番号ｉの分割領域（非照射領域）のＹＵＶ変換値（ＬＹ’，ＬＵ，ＬＶ）を、Ｒ成分のゲイン（ＬＲα）と、Ｇ成分のゲイン（ＬＧα）と、Ｂ成分のゲイン（ＬＢα）と、にそれぞれ逆変換する。
【００７１】
このようにして、発光時撮像画像の領域番号ｉの分割領域のＲＧＢ成分のゲイン値は、当該分割領域が照射領域の場合（ステップＳ２５の処理でＹＥＳであると判定された場合）にはステップＳ２６の処理により、当該分割領域が非照射領域の場合（ステップＳ２５の処理でＮＯであると判定された場合）にはステップＳ２７乃至Ｓ３０の処理により、それぞれ補正される。
これにより、処理はステップＳ３１に進む。
【００７２】
ステップＳ３１において、ホワイトバランスゲイン算出部１６は、領域番号ｉを１だけインクリメントする（ｉ＝ｉ＋１）。
【００７３】
ステップＳ３２において、ホワイトバランスゲイン算出部１６は、領域番号ｉが６４を超えたか否かを判定する。
領域番号ｉが６４を超えていない場合、即ち、発光時撮像画像のＲＧＢ成分のゲイン値が補正されていない分割領域が存在する場合、ステップＳ３２においてＮＯであると判定されて、処理はステップＳ２５に戻され、それ以降の処理が繰り返される。
即ち、領域番号１乃至６４の分割領域のそれぞれに対して、ステップＳ２５乃至Ｓ３２のループ処理がその都度実施される。この場合、照射領域に分類される分割領域（ステップＳ２５の処理でＹＥＳであると判定される分割領域）については、ステップＳ２６の処理により、発光時撮像画像のＲＧＢ成分のゲイン値が補正される。これに対して、非照射領域に分類される分割領域（ステップＳ２５の処理でＮＯであると判定される分割領域）については、ステップＳ２７乃至Ｓ３０の処理により、発光時撮像画像のＲＧＢ成分のゲイン値が補正される。
そして、最後の分割領域、即ち領域番号６４の分割領域についてのステップＳ３１の処理が実行されると、領域番号ｉは、６５となり、６４を超える。従って、次のステップＳ３２においてＹＥＳであると判定されて、処理はステップＳ３３に進む。
【００７４】
ステップＳ３３において、ホワイトバランスゲイン算出部１６は、分割領域毎に、照射領域についてはステップＳ２６の処理で補正されたＲＧＢ成分のゲイン値に基づいて、非照射領域についてはステップＳ２７乃至Ｓ３０の処理で補正されたＲＧＢ成分のゲイン値に基づいて、発光時撮像画像のホワイトバランスを設定する。
これにより、ホワイトバランス処理は終了する。即ち、図２のステップＳ４の処理は終了して、処理はステップＳ５に進む。
【００７５】
以上説明したように、撮像装置１は、発光部２１と、撮像部２０と、ＣＰＵ１１と、ホワイトバランスゲイン算出部１６と、画像分割部１５と、輝度算出部と、輝度比較部４１と、を備える。
【００７６】
ＣＰＵ１１は、ユーザの操作により、発光部２１による発光により明るくされた時の画像である発光時撮像画像と当該発光部２１による発光がなされていない時の画像である非発光時スルー画像とを撮像部２０に撮像するように制御する。
ホワイトバランスゲイン算出部１６は、撮像の際に設定された発光時撮像画像及び非発光時スルー画像のホワイトバランスを調整するための各色成分のゲイン値を夫々算出する。
画像分割部１５は、撮像部２０により撮像された撮像領域を複数の領域に分割する。
輝度取得部１７は、画像分割部１５により夫々分割された領域の発光時撮像画像と非発光時スルー画像とについて、画像分割部１５により分割された複数の領域の輝度値を夫々算出する。
輝度比較部４１は、輝度取得部１７により算出された発光時撮像画像の領域の輝度値を非発光時スルー画像の領域の輝度値で除した値を相対値として夫々算出する。
ホワイトバランスゲイン算出部１６は、輝度比較部４１により夫々算出された相対値が所定値以下の領域を特定する。
輝度比較部４１は、夫々算出された相対値の中から、値の低い相対値を優先して複数選択する。
ホワイトバランスゲイン算出部１６は、算出された発光時撮像画像及び非発光時スルー画像の各色成分の値と輝度比較部４１により選択された複数の相対値とに基づいて、発光時撮像画像の各色成分のゲイン値を補正する。
【００７７】
このように構成される撮像装置１においては、ストロボの発光時に撮像された画像において、画像の自然な色再現性を向上させることができる。
【００７８】
また、ホワイトバランスゲイン算出部１６は、取得された発光時撮像画像及び非発光時スルー画像のＲＧＢ成分を他の色空間である少なくとも輝度情報を含む画素のパラメータの組（ＹＵＶ変換値）に変換する。
また、ホワイトバランスゲイン算出部１６は、さらに、変換された画素のパラメータの組（ＹＵＶ変換値）に基づいて、ＲＧＢ成分のゲイン値を補正する。
【００７９】
このように構成される撮像装置１においては、ＹＵＶ変換値に変換することにより、グレーバランスレベルで輝度の調整を行うために、ストロボの発光時に撮像された画像の各色成分の毎の輝度を個別に調整する場合に生じ得る特定の色の変化が生じなくなり、画像の自然な色再現性をより向上させることができる。
【００８０】
なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
【００８１】
また、上述の実施形態では、輝度比率Ｐｉを、上述した式（５）により求めたがこれに限られない。例えば輝度比率Ｐｉは、次の式（８）により求めることができる。この場合には、平均輝度比率Ｃには、上位２乃至４番目の各輝度比率Ｐｉが用いられる。
【数８】
【００８２】
また、上述の実施形態では、平均輝度比率を下位２から４番目の輝度比率を用いたがこれに限られない。平均輝度比率に用いる輝度比率は、少なくとも、全輝度比率において、相対的に低い値となっているものであればよい。
【００８３】
また、上述の実施形態では、最下位の輝度比率を用いないように構成したが、これに限られない。最下位の輝度比率が他の輝度比率に比べて飛び抜けて低い値である等の不安定な値でなければ、最下位の輝度比率を用いるように構成してもよい。
【００８４】
また、上述の実施形態では、画像の分割は、非発光時スルー画像及び発光時撮像画像の各データを、複数の領域、本実施形態においては、図３に示すように８×８の６４の分割領域の各データにそれぞれ分割したがこれに限られない。画像の分割は、複数の領域に分割すればよく、分割数や分割領域の決定は、適宜決定可能である。
【００８５】
また、上述の実施形態では、撮像部２０により撮像した発光時撮像画像及び非発光時スルー画像を用いてホワイトバランス処理を実行したが、これに限られない。ホワイトバランス処理は、例えば、ＣＰＵ１１や画像処理部１４により外部から取得した撮像画像及びスルー画像を用いてもよい。また、上述の実施形態では、発光時撮像画像と非発光時スルー画像とを用いてホワイトバランス処理を実行したがこれに限られない、例えば、発光時撮像画像と非発光時撮像画像を用いてホワイトバランス処理を実行してもよい。
【００８６】
また、上述の実施形態では、本発明が適用される電子装置は、デジタルカメラ等の撮像装置１を例として説明したが、特にこれに限定されない。本発明は、上述のホワイトバランス処理を実行可能な電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、ビデオカメラ、携帯型ナビゲーション装置、携帯電話装置、ポータブルゲーム機、ＷＥＢカメラ等に適用可能である。
【００８７】
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。また例えば、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。換言すると、図１のハードウェアの構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が撮像装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図１の例に限定されない。また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
【００８８】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
【００８９】
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図１のリムーバブルメディア３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア３１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のＲＯＭ１２や、図１の記憶部２４に含まれるハードディスク等で構成される。
【００９０】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
【符号の説明】
【００９１】
１・・・撮像装置、１１・・・ＣＰＵ、１２・・・ＲＯＭ、１３・・・ＲＡＭ、１４・・・画像処理部、１５・・・ホワイトバランスゲイン算出部、１６・・・画像分割部、１７・・・輝度取得部、１８・・・バス、１９・・・入出力インターフェース、２０・・・撮像部、２１・・・発光部、２２・・・操作部、２３・・・表示部、２４・・・記憶部、２５・・・通信部、２６・・・ドライブ、３１・・・リムーバブルメディア、４１・・・輝度比較部
【技術分野】
【０００１】
本発明は、撮像装置、ホワイトバランス調整方法及びホワイトバランス調整プログラムに関し、特に、ストロボの発光時に撮像された画像について、画像全体の色味を向上させる技術に関する。
【背景技術】
【０００２】
従来より、ストロボの発光時に色温度の違いにより生じる不自然なホワイトバランスを、より自然なものになるように補正するために、様々なホワイトバランスの調整方法が考案されている。
このようなホワイトバランスの調整手法としては、例えば、ストロボの発光時の画像とストロボの非発光時の画像をそれぞれ複数の領域に分割し、それぞれに対応する領域の輝度差に基づいて、分割された領域毎にホワイトバランスをそれぞれ設定する、といった手法が知られている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平８−５１６３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述の特許文献１に記載される手法が適用されると、分割された領域についてそれぞれ独立してホワイトバランスが設定されるために、画像全体の色味が不自然になる虞があった。
【０００５】
特に、上記の手法では、ストロボが照射されていないと判断された領域は、一律にホワイトバランスが設定されていた。換言すると、ストロボが照射されていないと判断された領域以外の領域はホワイトバランスの設定上何ら考慮する必要はないという思想の下、ホワイトバランスが設定されていた。
しかしながら、現実問題として、ストロボが全く照射されていないと判断された領域でも実際には多少のストロボの影響を受けていることが多い。従って、ストロボが照射されていないと判断された領域についても、ストロボの照射を考慮したホワイトバランスの設定がなされないと、結果として、画像全体の色味が不自然になる。
【０００６】
本発明は、このような状況に鑑みてなされたものであり、ストロボの発光時に撮像された画像について、画像全体の色味を向上させることを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、請求項１に記載の発明は、発光手段と、撮像手段と、を備える撮像装置において、前記発光手段による発光により明るくされた時の画像である第１の画像と当該発光手段による発光がなされていない時の画像である第２の画像とを前記撮像手段に撮像するように制御する撮像制御手段と、前記第１の画像及び前記第２の画像の撮像の際に設定されたホワイトバランスを調整するための各色成分のゲイン値を夫々取得する第１の取得手段と、前記撮像手段により撮像された撮像領域を複数の領域に分割する分割手段と、前記第１の画像と前記第２の画像とについて、前記分割手段により分割された複数の領域の輝度値を夫々取得する第２の取得手段と、前記第２の取得手段により算出された前記第１の画像の領域の輝度値を前記第２の画像の領域の輝度値で除した値を相対値として夫々算出する算出手段と、前記第２の取得手段により夫々算出された相対値が所定値以下の領域を特定する特定手段と、前記第２の取得手段により夫々算出された相対値の中から、値の低い相対値を優先して複数の相対値を選択する選択手段と、前記選択手段により選択された複数の相対値に基づいて、前記特定手段により特定された領域の各色成分のゲイン値を補正する補正手段とを備えた撮像装置であることを特徴とする。
【０００８】
また、上記目的を達成するために、請求項２に記載の発明は、前記第１の取得手段により取得された画像の各色成分を他の色空間における少なくとも輝度情報を含む画素のパラメータの組に変換する変換手段をさらに備え、前記補正手段は、さらに、前記変換手段により変換された画素のパラメータの組に基づいて、前記各色成分のゲイン値を補正する撮像装置であることを特徴とする。
【０００９】
また、上記目的を達成するために、請求項３に記載の発明は、発光により明るくされた時の画像である第１の画像と発光がなされていない時の画像である第２の画像とを取得する第１の取得ステップと、前記第１の画像及び前記第２の画像の撮像の際に設定されたホワイトバランスを調整するための各色成分のゲイン値を夫々取得する第２の取得ステップと、前記第１の取得ステップの処理により取得された画像を複数の領域に分割する分割ステップと、前記第１の画像と前記第２の画像とについて、前記分割ステップにて分割された複数の領域の輝度値を夫々取得する第３の取得ステップと、前記第３の取得ステップにて算出された前記第１の画像の領域の輝度値を前記第２の画像の領域の輝度値で除した値を相対値として夫々算出する算出ステップと、前記第３の取得ステップの処理により夫々算出された相対値が所定値以下の領域を特定する特定ステップと、前記第３の取得ステップにて夫々算出された相対値の中から、値の低い相対値を優先して複数の相対値を選択する選択ステップと、前記選択ステップにて選択された複数の相対値に基づいて、前記特定ステップにより特定された領域の各色成分のゲイン値を補正する補正ステップとを含むホワイトバランス調整方法であることを特徴とする。
【００１０】
また、上記目的を達成するために、請求項４に記載の発明は、コンピュータを、発光により明るくされた時の画像である第１の画像と発光がなされていない時の画像である第２の画像とを取得する第１の取得手段、前記第１の画像及び前記第２の画像のホワイトバランスを調整するための各色成分のゲイン値を夫々取得する第２の取得手段、前記第１の取得手段により取得された画像を複数の領域に分割する分割手段、前記第１の画像と前記第２の画像とについて、前記分割手段により分割された複数の領域の輝度値を夫々取得する第３の取得手段、前記第３の取得手段により算出された前記第１の画像の領域の輝度値を前記第２の画像の領域の輝度値で除した値を相対値として夫々算出する算出手段、前記第３の取得手段により夫々算出された相対値が所定値以下の領域を特定する特定手段、前記第３の取得手段により夫々算出された相対値の中から、値の低い相対値を優先して複数の相対値を選択する選択手段、前記選択手段により選択された複数の相対値に基づいて、前記特定手段により特定された領域の各色成分のゲイン値を補正する補正手段として機能させるホワイトバランス調整プログラムであることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、ストロボの発光時に撮像された画像について、画像全体の色味を向上させることができる。
【図面の簡単な説明】
【００１２】
【図１】本発明に係る撮像装置の一実施形態におけるハードウェアの構成を示す領域図である。
【図２】図１のハードウェアの構成を有する撮像装置が実行するストロボ撮像処理の流れを説明するフローチャートである。
【図３】非発光時スルー画像又は発光時撮像画像から８×８の６４の分割領域が得られた状態を示す模式図である。
【図４】発光時スルー画像及び非発光時撮像画像の各分割領域の輝度比率を格納するテーブルの一例を示す図である。
【図５】図１のハードウェアの構成を有する撮像装置が実行するホワイトバランス処理の流れを説明するフローチャートである。
【発明を実施するための形態】
【００１３】
以下、本発明の実施形態について、図を用いて説明する。
図１は、本発明に係る撮像装置１の一実施形態におけるハードウェアの構成を示すブロック図である。
図１に示す撮像装置１は、例えばデジタルカメラにより構成することができる。
【００１４】
撮像装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、画像処理部１４と、画像分割部１５と、ホワイトバランスゲイン算出部１６と、輝度取得部１７と、バス１８と、入出力インターフェース１９と、撮像部２０と、発光部２１と、操作部２２と、表示部２３と、記憶部２４、通信部２５と、ドライブ２６と、を備えている。
【００１５】
ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、又は、記憶部２４からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。
【００１６】
ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。
【００１７】
画像処理部１４は、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）や、ＶＲＡＭ（Ｖｉｄｅｏ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等から構成されており、ＣＰＵ１１と協働して、画像のデータに対して各種画像処理を施す。
例えば、画像処理部１４は、後述する撮像部２０から出力される撮像画像のデータに対して、ノイズ低減、ホワイトバランスの調整、手ぶれ補正等の画像処理を施す。
【００１８】
画像分割部１５は、画像処理部１４において行われる画像処理のうち、ホワイトバランスの調整に用いる画像のデータを、空間方向に幾つかの領域のデータに分割する。なお、画像分割部１５のさらなる詳細については、後述する。
【００１９】
ホワイトバランスゲイン算出部１６は、画像処理部１４において行われる画像処理のうち、ホワイトバランスの調整に用いるホワイトバランスゲインを算出する。なお、ホワイトバランスゲイン算出部１６のさらなる詳細については、後述する。
【００２０】
輝度取得部１７は、画像処理部１４において行われる画像処理のうち、ホワイトバランスの調整に用いる画像のデータから、輝度値等を取得する。なお、輝度取得部１７のさらなる詳細については、輝度比較部４１も含めて後述する。
【００２１】
ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、画像処理部１４、画像分割部１５、ホワイトバランスゲイン算出部１６、及び輝度取得部１７は、バス１８を介して相互に接続されている。このバス１８にはまた、入出力インターフェース１９も接続されている。入出力インターフェース１９には、撮像部２０、発光部２１、操作部２２、表示部２３、記憶部２４、通信部２５及びドライブ２６が接続されている。
【００２２】
撮像部２０は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。
【００２３】
光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。
【００２４】
イメージセンサは、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）等から構成される。
光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。
ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部２０の出力信号として出力される。
なお、以下、撮像部２０の出力信号を、「撮像画像のデータ」と呼ぶ。従って、撮像部２０からは撮像画像のデータが出力されて、ＣＰＵ１１、画像処理部１４、画像分割部１５、ホワイトバランスゲイン算出部１６等に適宜供給される。
【００２５】
発光部２１は、ストロボを有し、ＣＰＵ１１の制御に従って、ストロボを発光させる。本実施形態においては、ユーザが操作部２２に対する撮像画像の記録指示の操作、例えば操作部２２のうち図示せぬレリーズ釦の押下操作をしたことを契機として、ストロボが発光される。
【００２６】
操作部２２は、例えば、図示せぬレリーズ釦等の各種釦により構成され、ユーザの指示操作を受け付ける。
【００２７】
表示部２３は、各種画像を表示可能なディスプレイ等により構成される。
【００２８】
記憶部２４は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、後述するスルー画像、表示対象の原画像、当該原画像に合成され得る画像等の各種画像のデータを記憶する。
【００２９】
通信部２５は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。
【００３０】
ドライブ２６には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア３１が適宜装着される。ドライブ２６によってリムーバブルメディア３１から読み出されたプログラムは、必要に応じて記憶部２４にインストールされる。また、リムーバブルメディア３１は、記憶部２４に記憶されている画像のデータ等の各種データも、記憶部２４と同様に記憶することができる。
【００３１】
以上、図１を参照して、本実施形態の撮像装置１のハードウェアの構成について説明した。
次に、このようなハードウェアの構成を有する撮像装置１が実行するストロボ撮像処理の流れについて説明する。ストロボ撮像処理とは、ストロボを発光させて被写体を撮像し、その結果得られる撮像画像のデータに対して、ホワイトバランスの調整を行った後に、リムーバブルメディア３１等に記録するまでの一連の処理をいう。
図２は、図１のハードウェアの構成を有する撮像装置１が実行するストロボ撮像処理の流れを説明するフローチャートである。
【００３２】
先ず、撮像装置１の動作モードとして、本実施形態では、ストロボを発光せずに被写体を撮像する通常モードと、ストロボを発光して被写体を撮像するストロボモードとが設けられているとする。そして、ユーザは、操作部２２に対する所定の操作をすることで、動作モードとして、通常モード又はストロボモードを選択的に指示することができるものとする。
この場合、ストロボモードの選択が指示されると、ストロボ撮像処理は開始する。
【００３３】
ステップＳ１において、ＣＰＵ１１は、スルー撮像処理及びスルー表示処理を実行する。
即ち、ＣＰＵ１１は、撮像部２０や画像処理部１４を制御して、撮像部２０による撮像動作を継続させる。そして、ＣＰＵ１１は、撮像部２０による撮像動作が継続されている間、当該撮像部２０から順次出力される撮像画像のデータを、メモリ（本実施形態では記憶部２４）に一時的に記憶させる。このような一連の処理が、ここでいう「スルー撮像処理」である。
また、ＣＰＵ１１は、スルー撮像処理時にメモリ（本実施形態では記憶部２４）に一時的に記録された各データを順次読み出して、各々に対応する撮像画像を表示部２３に順次表示させる。このような一連の処理が、ここでいう「スルー表示処理」である。なお、スルー表示処理により表示部２３に表示されている撮像画像を、以下、「スルー画像」と呼ぶ。
【００３４】
ステップＳ２において、ＣＰＵ１１は、撮像画像の記録指示があったか否かを判断する。
本実施形態においては、上述したように、ユーザは、操作部２２のうちレリーズ釦を押下操作することによって、撮像画像の記録指示をすることができる。
従って、レリーズ釦が押下操作されていない場合には、ステップＳ２においてＮＯであると判定されて、処理はステップＳ１に戻される。即ち、レリーズ釦が押下操作されるまでの間、ステップＳ１及びＳ２のループ処理が繰り返し実行されることによって、スルー撮像処理及びスルー表示処理が繰り返し実行され、被写体のスルー画像がリアルタイムに表示部２３に表示され続ける。
なお、図示はしないが、所定時間経過しても未だレリーズ釦が押下操作されない場合には、ＣＰＵ１１等は、ストロボ撮像処理を強制終了するようにしてもよい。
【００３５】
その後、レリーズ釦が押下操作された場合には、ステップＳ２においてＹＥＳであると判定されて、処理はステップＳ３に進む。
【００３６】
ステップＳ３において、ＣＰＵ１１は、発光とともに被写体を撮像することを制御する。詳細には、ＣＰＵ１１は、発光部２１を制御して、ストロボを発光させるとともに、撮像部２０を制御して、被写体を撮像させる。
本実施形態では、このときに撮像部２０から出力された撮像画像のデータが、記録対象のデータとして記憶部２４に一時的に記憶される。
【００３７】
ステップＳ４において、ＣＰＵ１１は、ステップＳ１のスルー撮像処理でストロボ非発光時に被写体が撮像されたスルー画像のデータと、ステップＳ３の処理でストロボ発光時に被写体が撮像された撮像画像のデータとを用いて、記録対象の撮像画像のホワイトバランスを調整する処理を実行する。
このようなステップＳ４の処理を、図２の記載にあわせて、以下、「ホワイトバランス処理」と呼ぶ。また、ステップＳ１のスルー撮像処理でストロボ非発光時に被写体が撮像されたスルー画像のデータを、以下、「非発光時スルー画像のデータ」と呼ぶ。一方、ステップＳ３の処理でストロボ発光時に被写体が撮像された撮像画像のデータを、以下、「発光時撮像画像のデータ」と呼ぶ。
ここで、記録対象の撮像画像のデータは、本実施形態では、発光時撮像画像のデータが採用されるものとする。ただし、発光時撮像画像のデータとは別に、ホワイトバランスの設定後、もう１度ストロボを発光させて撮像部２０が被写体を撮像した結果得られる撮像画像のデータを記録対象として採用してもよい。この場合、当該記録対象の撮像画像のデータは、設定されたホワイトバランスで調整される。
なお、ホワイトバランス処理のさらなる詳細については、後述する。
【００３８】
ステップＳ５において、ＣＰＵ１１は、ステップＳ４の処理でホワイトバランス処理が施された、記録対象の撮像画像のデータをリムーバブルメディア３１に記録する。
これにより、ストロボ撮像処理は終了となる。
【００３９】
以上、ストロボ撮像処理について説明した。
次に、ストロボ撮像処理のうち、ステップＳ４で実行されるホワイトバランス処理について説明する。
ここでは、まず、ホワイトバランス処理を実行するための機能的構成について説明し、次に、その機能的構成に基づいて実行されるホワイトバランス処理の流れについて説明する。
【００４０】
ホワイトバランス処理が実行される場合、図１の撮像装置１のうち、画像分割部１５と、ホワイトバランスゲイン算出部１６と、輝度取得部１７と、が機能する。
【００４１】
画像分割部１５は、非発光時スルー画像及び発光時撮像画像の各データを、複数の領域、本実施形態においては、図３に示すように８×８の６４の領域の各データにそれぞれ分割する。
なお、本明細書では、このように画像分割部１５により分割された領域を、以下、「分割領域」と呼ぶ。
図３は、非発光時スルー画像又は発光時撮像画像から８×８の６４の分割領域が得られた状態を示す模式図である。
同図に示すように、本実施形態では、各分割領域に対して、一意に特定する固有の番号、具体的には左上端の分割領域から、水平方向は右方向に、垂直方向は下方向に向けた順序で、１、２、３、４、５、６、７、８、９、１０、・・・、６３、６４という番号が付されている。なお、以下、分割領域に付される番号を、「分割番号」と呼ぶ。
分割番号の付し方は、非発光時スルー画像及び発光時撮像画像で統一されているため、非発光時スルー画像と発光時撮像画像とのそれぞれの同一番号の分割領域は、画像全体における、位置、大きさ、及び範囲は同一となっている。
なお、各分割領域のデータは、例えば、付された番号と対応付けられてテーブル方式で記憶部に記憶されて、管理される。
【００４２】
ホワイトバランスゲイン算出部１６は、画像分割部１５により分割された分割領域毎に、非発光時スルー画像についてのホワイトバランスゲインと、発光時撮像画像についてのホワイトバランスゲインとを、それぞれ算出する。
詳細には、本実施形態では、非発光時スルー画像と発光時撮像画像の各データは、ＲＧＢ（Ｒ：Ｒｅｄ，Ｇ：Ｇｒｅｅｎ，Ｂ：Ｂｌｕｅ）成分により構成されているものとする。
この場合、ホワイトバランスゲイン算出部１６は、非発光時スルー画像の分割領域毎のホワイトバランスゲインとして、Ｒ成分のゲイン（以下、「ＳＲＧ」と呼ぶ）と、Ｇ成分のゲイン（以下、「ＳＧＧ」と呼ぶ）と、Ｂ成分のゲイン（以下、「ＳＢＧ」と呼ぶ）と、をそれぞれ算出する。なお、ＳＲＧ，ＳＧＧ，ＳＢＧを併せて、以下、「非発光時スルー画像のＲＧＢ成分のゲイン値」と呼ぶ。即ち、非発光時スルー画像について、分割領域毎のＲＧＢ成分のゲイン値がそれぞれ算出される。
また、ホワイトバランスゲイン算出部１６は、発光時撮像画像の分割領域毎のホワイトバランスゲインとして、Ｒ成分のゲイン（以下、「ＬＲＧ」と呼ぶ）と、Ｇ成分のゲイン（以下、「ＬＧＧ」と呼ぶ）と、Ｂ成分のゲイン（以下、ＬＢＧと呼ぶ）と、をそれぞれ算出する。ＳＲＧ，ＳＧＧ，ＳＢＧを併せて、以下、「発光時撮像画像のＲＧＢ成分のゲイン値」と呼ぶ。即ち、発光時撮像画像について、分割領域毎のＲＧＢ成分のゲイン値がそれぞれ算出される。
【００４３】
次に、ホワイトバランスゲイン算出部１６は、複数の分割領域毎に、発光時撮像画像のＲＧＢ成分のゲイン値をそれぞれ補正する。
ここで、本実施形態では、複数の分割領域は、ストロボの光がしっかりと照射されていると推定される分割領域（以下、「照射領域」と呼ぶ）、又は、それ以外の分割領域（以下、「非照射領域」と呼ぶ）に分類される。なお、照射領域と非照射領域との分類手法については、後述する。
このため、本実施形態では、発光時撮像画像のＲＧＢ成分のゲイン値の補正手法が、照射領域と非照射領域とでは異なる。
【００４４】
そこで、以下、発光時撮像画像のうち、非照射領域のＲＧＢ成分のゲイン値の補正手法について説明する。
非照射領域であっても、ストロボ光が全く照射されていないことは稀であり、ストロボ光の照射具合を考慮したホワイトバランスの調整が必要になる。このような調整を可能にすべく、発光時撮像画像のうち、非照射領域のＲＧＢ成分のゲイン値は、次のようにして補正される。
【００４５】
ホワイトバランスゲイン算出部１６は、非発光時スルー画像及び発光時撮像画像の非照射領域のＲＧＢ成分の各ゲイン値を、ＹＵＶ（Ｙ：輝度，Ｕ：輝度と青成分の色差，Ｖ：輝度と赤成分の色差）成分のゲイン値に変換する。
なお、以下、非発光時スルー画像及び発光時撮像画像のＲＧＢ成分の各ゲイン値から変換されたＹＵＶ成分の各ゲイン値を、「ＹＵＶ変換値」と呼ぶ。
【００４６】
ここで、非発光時スルー画像の非照射領域のＹＵＶ変換値は、Ｙ成分のゲイン（以下、ＳＹと呼ぶ）と、Ｕ成分のゲイン（以下、ＳＵと呼ぶ）と、Ｖ成分のゲイン（以下、ＳＶと呼ぶ）と、から構成される。
この場合、非発光時スルー画像のＹＵＶ変換値は、次の式（１）から演算される。
【数１】
なお、式（１）の左辺の左から掛けられている３行３列の行列は、即ち、ｉ行ｊ列（ｉ，ｊは、相互に独立した、１乃至３の範囲内の整数値）の要素がａｉｊとなっている行列は、ＲＧＢ成分をＹＵＶ成分に変換する変換行列である。
【００４７】
一方、発光時撮像画像の非照射領域のＹＵＶ変換値は、Ｙ成分のゲイン（以下、ＬＹと呼ぶ）と、Ｕ成分のゲイン（以下、ＬＵと呼ぶ）と、Ｖ成分のゲイン（以下、ＬＶと呼ぶ）と、から構成される。
この場合、発光時スルー画像の非照射領域のＹＵＶ変換値は、次の式（２）から演算される。
【数２】
【００４８】
次に、ホワイトバランスゲイン算出部１６は、非発光時スルー画像と発光時撮像画像との各非照射領域の輝度比率（輝度比率は後述する）を総合的に考慮して、発光時撮像画像の非照射領域のＹＵＶ変換値のうち、Ｙ成分のゲインＬＹを補正する。
ここで、発光時撮像画像の非照射領域のＹＵＶ変換値のうち、補正後のＹ成分のゲインを、以下、「ＬＹ’」と呼ぶ。換言すると、ＬＹに対して、非発光時スルー画像と発光時撮像画像との各非照射領域の輝度比率を総合的に考慮した重み付けがなされた値が、ＬＹ’である。
ＬＹ’は、例えば次の式（３）により求められる。
【数３】
式（３）において、Ｃは、非発光時スルー画像と発光時撮像画像との各非照射領域の輝度比率を総合的に考慮した重み付けを行うための可変係数であって、後述する輝度比較部４１で演算される平均輝度比率である。
【００４９】
次に、ホワイトバランスゲイン算出部１６は、式（３）によりＹ成分が補正（重み付け）された発光時撮像画像の非照射領域のＹＵＶ変換値を、ＲＧＢ成分のゲイン値に逆変換する。具体的には、ホワイトバランスゲイン算出部１６は、次の式（４）に従って、逆変換後の発光時撮像画像の非照射領域のＲＧＢ成分のゲイン値を求める。
【数４】
なお、式（４）の右辺の列ベクトルが、逆変換後の発光時撮像画像の非照射領域のＲＧＢ成分のゲイン値を示している。逆変換後の発光時撮像画像の非照射領域のＲＧＢ成分のゲイン値は、逆変換後のＲ成分のゲイン（以下、式（４）の記載に併せて「ＬＲα」と呼ぶ）と、逆変換後のＧ成分のゲイン（以下、式（４）の記載に併せて「ＬＧα」と呼ぶ）と、逆変換後のＢ成分のゲイン（以下、式（４）の記載に併せて「ＬＢα」と呼ぶ）と、から構成される。
また、式（４）の左辺において、左から掛けられている行列は、式（１）や式（２）で用いられている変換行列の逆行列である。
【００５０】
このようにして、発光時撮像画像のうち、非照射領域のＲＧＢ成分のゲイン値が補正される。
【００５１】
以上、発光時撮像画像のうち、非照射領域のＲＧＢ成分のゲイン値の補正手法について説明した。
なお、発光時撮像画像のうち、照射領域のＲＧＢ成分のゲイン値の補正手法については、特に限定されず、例えば本実施形態では、後述する輝度比率に基づく補正手法が採用されているものとする。
【００５２】
そして、ホワイトバランスゲイン算出部１６は、発光時撮像画像の分割領域毎におけるＲＧＢ成分の補正後のゲイン値に基づいて、記録対象の撮像画像のホワイトバランス設定を分割領域毎に行う。
【００５３】
以上説明したように、ホワイトバランスゲイン算出部１６の処理では、分割領域毎の輝度比率が必要になる。このような輝度比率の演算等を行うべく、輝度取得部１７が設けられている。
即ち、輝度取得部１７は、非発光時スルー画像及び発光時撮像画像のデータから、輝度値を分割領域単位で取得する。
ここで、分割領域は複数の画素から構成されるため、分割領域の輝度とは、当該分割領域を構成する各画素の輝度に基づいて演算された値、例えば、各画素の輝度の平均値を意味するものとする。
【００５４】
輝度取得部１７には、輝度比較部４１が設けられている。
輝度比較部４１は、発光時スルー画像及び非発光時撮像画像の各分割領域の輝度比率を算出する。
領域番号ｉ（ｉは、分割総数以下の正の整数値であり、本実施形態では６４以下の正の整数値）の輝度比率Ｐｉは、次の式（５）により求められる。
【数５】
式（５）において、Ｙｉ’は、発光時撮像画像のｉ番目の分割領域の輝度を示している。Ｙｉは、非発光時スルー画像のｉ番目の分割領域の輝度を示している。
本実施形態では、このような式（５）による輝度比較部４１の演算結果は、例えば図４に示すテーブル形式で記憶部２４に記憶されて、管理される。
【００５５】
図４は、発光時スルー画像及び非発光時撮像画像の各分割領域の輝度比率を格納するテーブルの一例を示している。
本実施形態において、図４のテーブルは行列構造を有しているため、以下、図４中横方向の項目の集合体を「行」と称し、同図中縦方向の項目の集合体を「列」と称する。所定の行には、所定の領域番号が対応付けられている。即ち、所定の行には、当該行に対応する領域番号についての、「領域番号」、「非発光時の輝度」、「発光時の輝度」、及び「輝度比率」という項目がそれぞれ配置されている。
上から第ｉ行目（ただし、図４の項目名が記載された一番上の行は除外する。以下同じ）。の「領域番号」には、領域番号ｉが格納される。
上から第ｉ行目の「非発光時の輝度」には、非発光時スルー画像のｉ番目の分割領域の輝度Ｙｉが格納される。
上から第ｉ行目の「発光時の輝度」には、発光時撮像画像のｉ番目の分割領域の輝度Ｙｉ’が格納される。
上から第ｉ行目の「輝度比率」には、ｉ番目の輝度比率Ｐｉ、即ち式（５）の演算結果が格納される。
【００５６】
本実施形態では、このように求められた分割領域毎の輝度比率に基づいて、各分割領域が、非照射領域又は照射領域に分類される。具体的には例えば本実施形態では、ストロボの光がしっかりと当たっているときの輝度比率のうち最低値として適切な値が、閾値として予め設定されている。この場合、輝度比率Ｐｉが閾値以下ならば、ｉ番目の分割領域は非照射領域に分類され、一方、輝度比率Ｐｉが閾値を越えているならば、ｉ番目の分割領域は照射領域に分類される。
【００５７】
次に、輝度比較部４１は、全分割領域毎の輝度比率を比率の低い順番にソートする。
そして、輝度比較部４１は、輝度の低い順番にソートされた各分割領域の輝度比率のうち、下位２乃至４番目の輝度比率の平均値を、上述した平均輝度比率Ｃとして求める。
具体的には、輝度比較部４１は、次の式（６）を演算することにより、平均輝度比率Ｃを求める。
【数６】
式（６）において、Ｃｔ２乃至Ｃｔ４の各々は、下位２乃至４番目の各々の輝度比率を示している。
例えば、全分割領域の輝度比率（Ｃ１＝Ｙ１’／Ｙ１，Ｃ２＝Ｙ２’／Ｙ２，Ｃ３＝Ｙ３’／Ｙ３，・・・，Ｃ８＝Ｙ８’／Ｙ８，・・・，Ｃ２２＝Ｙ２２’／Ｙ２２，・・・，Ｃ６４＝Ｙ６４’／Ｙ６４）のうち、下位４番目までの輝度比率が次の通りであったとする。即ち、６４番目（下から１番目）：Ｃｔ１＝Ｃ１＝Ｙ１’／Ｙ１、６３番目（下から２番目）：Ｃｔ２＝Ｃ２＝Ｙ２’／Ｙ２、６２番目（下から３番目）：Ｃｔ３＝Ｃ８＝Ｙ８’／Ｙ８、６１番目（下から４番目）：Ｃｔ４＝Ｃ２２＝Ｙ２２’／Ｙ２２であったものとする、この場合、平均輝度比率Ｃは、次の式（７）により算出される。
【数７】
このようにして求められた平均輝度比率Ｃは、上述した式（３）に係数として代入されて用いられる。
【００５８】
以上、図３及び図４を参照して、本実施形態の図１の撮像装置１の機能的構成のうち、図２のステップＳ４のホワイトバランス処理を実行するための機能的構成について説明した。
【００５９】
次に、このような機能的構成を有する撮像装置１が実行するステップＳ４のホワイトバランス処理の詳細な流れについて説明する。
ホワイトバランス処理においては、ＣＰＵ１１の制御の下、ホワイトバランスゲイン算出部１６乃至輝度取得部１７の何れかが各ステップの処理を実行する。ただし、以下の説明においては、ＣＰＵ１１の制御についての説明は省略する。
図５は、図１の撮像装置１が実行する図２のストロボ撮像処理のうち、ステップＳ４のホワイトバランス処理の流れの詳細を説明するフローチャートである。
【００６０】
ステップＳ２１において、画像分割部１５は、非発光時スルー画像と発光時撮像画像の各データを８×８の分割領域にそれぞれ分割し、輝度取得部１７は、各分割領域の輝度値を取得する。
【００６１】
ステップＳ２２において、輝度比較部４１は、非発光時スルー画像の輝度値と発光時撮像画像の輝度値との輝度比率を分割領域毎にそれぞれ算出する。
詳細には、輝度比較部４１は、上述した式（５）を演算することにより、ｉ番の分割領域についての輝度比率Ｐｉを算出する。このような式（５）の演算が、１乃至６４番の各々に対して実行され、輝度比率Ｐ１乃至Ｐ６４が算出される。
本実施形態では、このような式（５）による輝度比較部４１の演算結果は、例えば図４に示すテーブル形式で記憶部に分割領域毎に記憶されて、管理される。
【００６２】
ステップＳ２３において、ホワイトバランスゲイン算出部１６は、非発光時スルー画像と発光時撮像画像の各データについて、分割領域毎のＲＧＢ成分のゲイン値を設定する。
【００６３】
ステップＳ２４において、ホワイトバランスゲイン算出部１６は、処理対象の領域番号ｉとして「１」を設定する（ｉ＝１）。即ち、本実施形態では、後述するステップＳ２５乃至ステップＳ３０までの処理の対象となる分割領域が、分割番号の順番で順次設定される。このため、処理対象の分割番号ｉとして、先ず「１」が設定される。
【００６４】
ステップＳ２５において、ホワイトバランスゲイン算出部１６は、輝度比率Ｐｉが閾値を超えているか否かを判定する（Ｐｉ＞しきい値）。
【００６５】
輝度比率Ｐｉが閾値よりも高い場合とは、上述したように、処理対象の領域番号ｉの分割領域が照射領域である場合を意味する。このような場合、ステップＳ２５の処理でＹＥＳであると判定されて、処理はステップＳ２６に進む。
ステップＳ２６において、ホワイトバランスゲイン算出部１６は、輝度比率Ｐｉに基づいて、領域番号ｉの分割領域（照射領域）のＲＧＢ成分のゲイン値を補正する。
これにより、処理はステップＳ３１に進む。ただし、ステップＳ３１以降の処理については後述する。
【００６６】
これに対して、輝度比率Ｐｉが閾値以下の場合とは、上述したように、処理対象の領域番号ｉの分割領域が非照射領域である場合を意味する。このような場合、ステップＳ２５の処理でＮＯであると判定されて、処理はステップＳ２７に進む。
そして、次のようなステップＳ２７乃至Ｓ３０の処理が実行されて、領域番号ｉの分割領域のＲＧＢ成分のゲイン値が補正される。
【００６７】
即ち、ステップＳ２７において、輝度比較部４１は、ステップＳ２２の処理で演算された全輝度比率Ｐ１乃至Ｐ６４のうち、低位２乃至４番目の輝度比率に基づいて、平均輝度比率Ｃを算出する。
具体的には、上述した式（６）に従って、平均輝度比率Ｃが演算される。
なお、ステップＳ２７の処理は、ステップＳ２５の処理で初回にＮＯと判定された後に１回だけ実行すれば足り、それ以降、省略しても構わない。
【００６８】
ステップＳ２８において、ホワイトバランスゲイン算出部１６は、ステップＳ２３の処理で設定されたゲイン値のうち、番号ｉの分割領域（照射領域）のＲＧＢ成分のゲイン値をＹＵＶ変換値に変換する。
詳細には、ホワイトバランスゲイン算出部１６は、上述した式（１）に従って、領域番号ｉの分割領域（非照射領域）のＹＵＶ変換値が求められる。
【００６９】
ステップＳ２９において、ホワイトバランスゲイン算出部１６は、ステップＳ２７の処理で求めた平均輝度比率Ｃに基づいて、発光時撮像画像の領域番号ｉの分割領域（非照射領域）のＹＵＶ変換値のうち、Ｙ成分の値を補正することによって、重み付けしたＹ成分の値を算出する。
詳細には、ホワイトバランスゲイン算出部１６は、ステップＳ２４の処理で算出した平均輝度比率Ｃを係数として用いる上述した式（３）に従って、発光時撮像画像の領域番号ｉの分割領域（非照射領域）のＹＵＶ変換値のうち、Ｙ成分のゲインＬＹを、ゲインＬＹ’に補正する。
このように、非発光時スルー画像と発光時撮像画像との各分割領域のうち、非照射領域の輝度比率を総合的に考慮して、発光時撮像画像の領域番号ｉの分割領域（非照射領域）のＹＵＶ変換値のうち、Ｙ成分のゲインＬＹが補正されて、補正後のＹ成分のゲインＬＹ’となる。
【００７０】
ステップＳ３０において、ホワイトバランスゲイン算出部１６は、領域番号ｉの分割領域（非照射領域）についての、重み付けが加味されたＹＵＶ変換値をＲＧＢ成分のゲイン値に逆変換する。
詳細には、ホワイトバランスゲイン算出部１６は、上述した式（４）に従って、発光時撮像画像の領域番号ｉの分割領域（非照射領域）領域におけるＲＧＢ成分の逆変換後のゲイン値を求める。
即ち、ホワイトバランスゲイン算出部１６は、ステップＳ２９の処理で重み付けが付加された、発光時撮像画像の番号ｉの分割領域（非照射領域）のＹＵＶ変換値（ＬＹ’，ＬＵ，ＬＶ）を、Ｒ成分のゲイン（ＬＲα）と、Ｇ成分のゲイン（ＬＧα）と、Ｂ成分のゲイン（ＬＢα）と、にそれぞれ逆変換する。
【００７１】
このようにして、発光時撮像画像の領域番号ｉの分割領域のＲＧＢ成分のゲイン値は、当該分割領域が照射領域の場合（ステップＳ２５の処理でＹＥＳであると判定された場合）にはステップＳ２６の処理により、当該分割領域が非照射領域の場合（ステップＳ２５の処理でＮＯであると判定された場合）にはステップＳ２７乃至Ｓ３０の処理により、それぞれ補正される。
これにより、処理はステップＳ３１に進む。
【００７２】
ステップＳ３１において、ホワイトバランスゲイン算出部１６は、領域番号ｉを１だけインクリメントする（ｉ＝ｉ＋１）。
【００７３】
ステップＳ３２において、ホワイトバランスゲイン算出部１６は、領域番号ｉが６４を超えたか否かを判定する。
領域番号ｉが６４を超えていない場合、即ち、発光時撮像画像のＲＧＢ成分のゲイン値が補正されていない分割領域が存在する場合、ステップＳ３２においてＮＯであると判定されて、処理はステップＳ２５に戻され、それ以降の処理が繰り返される。
即ち、領域番号１乃至６４の分割領域のそれぞれに対して、ステップＳ２５乃至Ｓ３２のループ処理がその都度実施される。この場合、照射領域に分類される分割領域（ステップＳ２５の処理でＹＥＳであると判定される分割領域）については、ステップＳ２６の処理により、発光時撮像画像のＲＧＢ成分のゲイン値が補正される。これに対して、非照射領域に分類される分割領域（ステップＳ２５の処理でＮＯであると判定される分割領域）については、ステップＳ２７乃至Ｓ３０の処理により、発光時撮像画像のＲＧＢ成分のゲイン値が補正される。
そして、最後の分割領域、即ち領域番号６４の分割領域についてのステップＳ３１の処理が実行されると、領域番号ｉは、６５となり、６４を超える。従って、次のステップＳ３２においてＹＥＳであると判定されて、処理はステップＳ３３に進む。
【００７４】
ステップＳ３３において、ホワイトバランスゲイン算出部１６は、分割領域毎に、照射領域についてはステップＳ２６の処理で補正されたＲＧＢ成分のゲイン値に基づいて、非照射領域についてはステップＳ２７乃至Ｓ３０の処理で補正されたＲＧＢ成分のゲイン値に基づいて、発光時撮像画像のホワイトバランスを設定する。
これにより、ホワイトバランス処理は終了する。即ち、図２のステップＳ４の処理は終了して、処理はステップＳ５に進む。
【００７５】
以上説明したように、撮像装置１は、発光部２１と、撮像部２０と、ＣＰＵ１１と、ホワイトバランスゲイン算出部１６と、画像分割部１５と、輝度算出部と、輝度比較部４１と、を備える。
【００７６】
ＣＰＵ１１は、ユーザの操作により、発光部２１による発光により明るくされた時の画像である発光時撮像画像と当該発光部２１による発光がなされていない時の画像である非発光時スルー画像とを撮像部２０に撮像するように制御する。
ホワイトバランスゲイン算出部１６は、撮像の際に設定された発光時撮像画像及び非発光時スルー画像のホワイトバランスを調整するための各色成分のゲイン値を夫々算出する。
画像分割部１５は、撮像部２０により撮像された撮像領域を複数の領域に分割する。
輝度取得部１７は、画像分割部１５により夫々分割された領域の発光時撮像画像と非発光時スルー画像とについて、画像分割部１５により分割された複数の領域の輝度値を夫々算出する。
輝度比較部４１は、輝度取得部１７により算出された発光時撮像画像の領域の輝度値を非発光時スルー画像の領域の輝度値で除した値を相対値として夫々算出する。
ホワイトバランスゲイン算出部１６は、輝度比較部４１により夫々算出された相対値が所定値以下の領域を特定する。
輝度比較部４１は、夫々算出された相対値の中から、値の低い相対値を優先して複数選択する。
ホワイトバランスゲイン算出部１６は、算出された発光時撮像画像及び非発光時スルー画像の各色成分の値と輝度比較部４１により選択された複数の相対値とに基づいて、発光時撮像画像の各色成分のゲイン値を補正する。
【００７７】
このように構成される撮像装置１においては、ストロボの発光時に撮像された画像において、画像の自然な色再現性を向上させることができる。
【００７８】
また、ホワイトバランスゲイン算出部１６は、取得された発光時撮像画像及び非発光時スルー画像のＲＧＢ成分を他の色空間である少なくとも輝度情報を含む画素のパラメータの組（ＹＵＶ変換値）に変換する。
また、ホワイトバランスゲイン算出部１６は、さらに、変換された画素のパラメータの組（ＹＵＶ変換値）に基づいて、ＲＧＢ成分のゲイン値を補正する。
【００７９】
このように構成される撮像装置１においては、ＹＵＶ変換値に変換することにより、グレーバランスレベルで輝度の調整を行うために、ストロボの発光時に撮像された画像の各色成分の毎の輝度を個別に調整する場合に生じ得る特定の色の変化が生じなくなり、画像の自然な色再現性をより向上させることができる。
【００８０】
なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
【００８１】
また、上述の実施形態では、輝度比率Ｐｉを、上述した式（５）により求めたがこれに限られない。例えば輝度比率Ｐｉは、次の式（８）により求めることができる。この場合には、平均輝度比率Ｃには、上位２乃至４番目の各輝度比率Ｐｉが用いられる。
【数８】
【００８２】
また、上述の実施形態では、平均輝度比率を下位２から４番目の輝度比率を用いたがこれに限られない。平均輝度比率に用いる輝度比率は、少なくとも、全輝度比率において、相対的に低い値となっているものであればよい。
【００８３】
また、上述の実施形態では、最下位の輝度比率を用いないように構成したが、これに限られない。最下位の輝度比率が他の輝度比率に比べて飛び抜けて低い値である等の不安定な値でなければ、最下位の輝度比率を用いるように構成してもよい。
【００８４】
また、上述の実施形態では、画像の分割は、非発光時スルー画像及び発光時撮像画像の各データを、複数の領域、本実施形態においては、図３に示すように８×８の６４の分割領域の各データにそれぞれ分割したがこれに限られない。画像の分割は、複数の領域に分割すればよく、分割数や分割領域の決定は、適宜決定可能である。
【００８５】
また、上述の実施形態では、撮像部２０により撮像した発光時撮像画像及び非発光時スルー画像を用いてホワイトバランス処理を実行したが、これに限られない。ホワイトバランス処理は、例えば、ＣＰＵ１１や画像処理部１４により外部から取得した撮像画像及びスルー画像を用いてもよい。また、上述の実施形態では、発光時撮像画像と非発光時スルー画像とを用いてホワイトバランス処理を実行したがこれに限られない、例えば、発光時撮像画像と非発光時撮像画像を用いてホワイトバランス処理を実行してもよい。
【００８６】
また、上述の実施形態では、本発明が適用される電子装置は、デジタルカメラ等の撮像装置１を例として説明したが、特にこれに限定されない。本発明は、上述のホワイトバランス処理を実行可能な電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、ビデオカメラ、携帯型ナビゲーション装置、携帯電話装置、ポータブルゲーム機、ＷＥＢカメラ等に適用可能である。
【００８７】
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。また例えば、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。換言すると、図１のハードウェアの構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が撮像装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図１の例に限定されない。また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
【００８８】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
【００８９】
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図１のリムーバブルメディア３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア３１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のＲＯＭ１２や、図１の記憶部２４に含まれるハードディスク等で構成される。
【００９０】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
【符号の説明】
【００９１】
１・・・撮像装置、１１・・・ＣＰＵ、１２・・・ＲＯＭ、１３・・・ＲＡＭ、１４・・・画像処理部、１５・・・ホワイトバランスゲイン算出部、１６・・・画像分割部、１７・・・輝度取得部、１８・・・バス、１９・・・入出力インターフェース、２０・・・撮像部、２１・・・発光部、２２・・・操作部、２３・・・表示部、２４・・・記憶部、２５・・・通信部、２６・・・ドライブ、３１・・・リムーバブルメディア、４１・・・輝度比較部
【特許請求の範囲】
【請求項１】
発光手段と、撮像手段と、を備える撮像装置において、
前記発光手段による発光により明るくされた時の画像である第１の画像と当該発光手段による発光がなされていない時の画像である第２の画像とを前記撮像手段に撮像するように制御する撮像制御手段と、
前記第１の画像及び前記第２の画像の撮像の際に設定されたホワイトバランスを調整するための各色成分のゲイン値を夫々取得する第１の取得手段と、
前記撮像手段により撮像された撮像領域を複数の領域に分割する分割手段と、
前記第１の画像と前記第２の画像とについて、前記分割手段により分割された複数の領域の輝度値を夫々取得する第２の取得手段と、
前記第２の取得手段により算出された前記第１の画像の領域の輝度値を前記第２の画像の領域の輝度値で除した値を相対値として夫々算出する算出手段と、
前記第２の取得手段により夫々算出された相対値が所定値以下の領域を特定する特定手段と、
前記第２の取得手段により夫々算出された相対値の中から、値の低い相対値を優先して複数の相対値を選択する選択手段と、
前記選択手段により選択された複数の相対値に基づいて、前記特定手段により特定された領域の各色成分のゲイン値を補正する補正手段と
を備えたことを特徴とする撮像装置。
【請求項２】
前記第１の取得手段により取得された画像の各色成分を他の色空間における少なくとも輝度情報を含む画素のパラメータの組に変換する変換手段をさらに備え、
前記補正手段は、さらに、前記変換手段により変換された画素のパラメータの組に基づいて、前記各色成分のゲイン値を補正することを特徴とする請求項１記載の撮像装置。
【請求項３】
発光により明るくされた時の画像である第１の画像と発光がなされていない時の画像である第２の画像とを取得する第１の取得ステップと、
前記第１の画像及び前記第２の画像の撮像の際に設定されたホワイトバランスを調整するための各色成分のゲイン値を夫々取得する第２の取得ステップと、
前記第１の取得ステップの処理により取得された画像を複数の領域に分割する分割ステップと、
前記第１の画像と前記第２の画像とについて、前記分割ステップにて分割された複数の領域の輝度値を夫々取得する第３の取得ステップと、
前記第３の取得ステップにて算出された前記第１の画像の領域の輝度値を前記第２の画像の領域の輝度値で除した値を相対値として夫々算出する算出ステップと、
前記第３の取得ステップの処理により夫々算出された相対値が所定値以下の領域を特定する特定ステップと、
前記第３の取得ステップにて夫々算出された相対値の中から、値の低い相対値を優先して複数の相対値を選択する選択ステップと、
前記選択ステップにて選択された複数の相対値に基づいて、前記特定ステップにより特定された領域の各色成分のゲイン値を補正する補正ステップと
を含むことを特徴とするホワイトバランス調整方法。
【請求項４】
コンピュータを、
発光により明るくされた時の画像である第１の画像と発光がなされていない時の画像である第２の画像とを取得する第１の取得手段、
前記第１の画像及び前記第２の画像のホワイトバランスを調整するための各色成分のゲイン値を夫々取得する第２の取得手段、
前記第１の取得手段により取得された画像を複数の領域に分割する分割手段、
前記第１の画像と前記第２の画像とについて、前記分割手段により分割された複数の領域の輝度値を夫々取得する第３の取得手段、
前記第３の取得手段により算出された前記第１の画像の領域の輝度値を前記第２の画像の領域の輝度値で除した値を相対値として夫々算出する算出手段、
前記第３の取得手段により夫々算出された相対値が所定値以下の領域を特定する特定手段、
前記第３の取得手段により夫々算出された相対値の中から、値の低い相対値を優先して複数の相対値を選択する選択手段、
前記選択手段により選択された複数の相対値に基づいて、前記特定手段により特定された領域の各色成分のゲイン値を補正する補正手段
として機能させることを特徴とするホワイトバランス調整プログラム。
【請求項１】
発光手段と、撮像手段と、を備える撮像装置において、
前記発光手段による発光により明るくされた時の画像である第１の画像と当該発光手段による発光がなされていない時の画像である第２の画像とを前記撮像手段に撮像するように制御する撮像制御手段と、
前記第１の画像及び前記第２の画像の撮像の際に設定されたホワイトバランスを調整するための各色成分のゲイン値を夫々取得する第１の取得手段と、
前記撮像手段により撮像された撮像領域を複数の領域に分割する分割手段と、
前記第１の画像と前記第２の画像とについて、前記分割手段により分割された複数の領域の輝度値を夫々取得する第２の取得手段と、
前記第２の取得手段により算出された前記第１の画像の領域の輝度値を前記第２の画像の領域の輝度値で除した値を相対値として夫々算出する算出手段と、
前記第２の取得手段により夫々算出された相対値が所定値以下の領域を特定する特定手段と、
前記第２の取得手段により夫々算出された相対値の中から、値の低い相対値を優先して複数の相対値を選択する選択手段と、
前記選択手段により選択された複数の相対値に基づいて、前記特定手段により特定された領域の各色成分のゲイン値を補正する補正手段と
を備えたことを特徴とする撮像装置。
【請求項２】
前記第１の取得手段により取得された画像の各色成分を他の色空間における少なくとも輝度情報を含む画素のパラメータの組に変換する変換手段をさらに備え、
前記補正手段は、さらに、前記変換手段により変換された画素のパラメータの組に基づいて、前記各色成分のゲイン値を補正することを特徴とする請求項１記載の撮像装置。
【請求項３】
発光により明るくされた時の画像である第１の画像と発光がなされていない時の画像である第２の画像とを取得する第１の取得ステップと、
前記第１の画像及び前記第２の画像の撮像の際に設定されたホワイトバランスを調整するための各色成分のゲイン値を夫々取得する第２の取得ステップと、
前記第１の取得ステップの処理により取得された画像を複数の領域に分割する分割ステップと、
前記第１の画像と前記第２の画像とについて、前記分割ステップにて分割された複数の領域の輝度値を夫々取得する第３の取得ステップと、
前記第３の取得ステップにて算出された前記第１の画像の領域の輝度値を前記第２の画像の領域の輝度値で除した値を相対値として夫々算出する算出ステップと、
前記第３の取得ステップの処理により夫々算出された相対値が所定値以下の領域を特定する特定ステップと、
前記第３の取得ステップにて夫々算出された相対値の中から、値の低い相対値を優先して複数の相対値を選択する選択ステップと、
前記選択ステップにて選択された複数の相対値に基づいて、前記特定ステップにより特定された領域の各色成分のゲイン値を補正する補正ステップと
を含むことを特徴とするホワイトバランス調整方法。
【請求項４】
コンピュータを、
発光により明るくされた時の画像である第１の画像と発光がなされていない時の画像である第２の画像とを取得する第１の取得手段、
前記第１の画像及び前記第２の画像のホワイトバランスを調整するための各色成分のゲイン値を夫々取得する第２の取得手段、
前記第１の取得手段により取得された画像を複数の領域に分割する分割手段、
前記第１の画像と前記第２の画像とについて、前記分割手段により分割された複数の領域の輝度値を夫々取得する第３の取得手段、
前記第３の取得手段により算出された前記第１の画像の領域の輝度値を前記第２の画像の領域の輝度値で除した値を相対値として夫々算出する算出手段、
前記第３の取得手段により夫々算出された相対値が所定値以下の領域を特定する特定手段、
前記第３の取得手段により夫々算出された相対値の中から、値の低い相対値を優先して複数の相対値を選択する選択手段、
前記選択手段により選択された複数の相対値に基づいて、前記特定手段により特定された領域の各色成分のゲイン値を補正する補正手段
として機能させることを特徴とするホワイトバランス調整プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１２−１００２２３（Ｐ２０１２−１００２２３Ａ）
【公開日】平成２４年５月２４日（２０１２．５．２４）
【国際特許分類】
【出願番号】特願２０１０−２４８６７７（Ｐ２０１０−２４８６７７）
【出願日】平成２２年１１月５日（２０１０．１１．５）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
【公開日】平成２４年５月２４日（２０１２．５．２４）
【国際特許分類】
【出願日】平成２２年１１月５日（２０１０．１１．５）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
[ Back to top ]