説明

撮像装置、撮像処理方法及びプログラム

【課題】所定の撮影環境に対応した補正内容を設定していたとしても、他の撮影環境下で自然な画像を生成する。
【解決手段】撮像装置100であって、撮像画像に含まれるグレー領域にある画素の各色成分のうち、G成分に平均値が合うようにR成分及びB成分のゲイン量を調整するゲイン調整部31と、このゲイン調整部による調整の後、当該画像の撮影環境とゲイン量を調整すべき撮影環境とが異なると判断されると、ゲイン調整部によって調整されたR成分及びB成分のゲイン量のうち、少なくとも何れか一方のゲイン量を抑制するよう再調整するゲイン再調整部32と、このゲイン再調整部によって再調整されたゲイン量で色調整が行われた撮像画像を記録する画像記録部9とを備えている。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像装置、撮像処理方法及びプログラムに関する。
【背景技術】
【0002】
従来、水中で撮影された画像については、事前に補正を行うことなく撮影すると、青カブリと呼ばれるRGB成分のうちB成分が強く強調された画像が生成されるため、ホワイトバランスの補正においては「曇天」に近い補正を行うとともに、R成分をやや強くすることで、自然な色再現の画像となるよう調整している(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2009−159469号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上記のような調整をしたまま水中以外の撮影環境で撮影すると、自然な色合いの画像が生成されず、ユーザは再度、撮影条件を設定する必要があった。
【0005】
そこで、本願発明は、このような問題点に鑑みて成されたものであり、特殊な撮影環境に対応した補正内容を設定していたとしても、他の撮影環境下で自然な画像を生成することができるようにすることである。
【課題を解決するための手段】
【0006】
上記課題を解決するため、請求項1に記載の発明の撮像装置は、
撮像手段と、この撮像手段によって撮像された画像に含まれるグレー領域にある画素の各色成分のうち、G成分に平均値が合うようにR成分及びB成分のゲイン量を調整するゲイン調整手段と、このゲイン調整手段による調整の後、当該画像の撮影環境に関する情報を取得する情報取得手段と、この情報取得手段によって取得された情報における撮影環境と、前記ゲイン調整手段がゲイン量を調整すべき撮影環境とが異なるか否かを判断する第1の判断手段と、この第1の判断手段によって両者の撮影環境が異なると判断されると、前記ゲイン調整手段によって調整されたR成分及びB成分のゲイン量のうち、少なくとも何れか一方のゲイン量を抑制するよう再調整するゲイン再調整手段と、前記撮像手段により撮像され、前記ゲイン再調整手段によって再調整されたゲイン量で色調整が行われた画像を記録する画像記録手段と、を備えることを特徴としている。
【0007】
請求項2に記載の発明は、請求項1に記載の撮像装置において、
前記撮像手段により撮像された画像について彩度の強度分布を取得する強度分布取得手段と、この強度分布取得手段によって取得された彩度の強度分布におけるグレー値が所定の値未満か否かを判断する第2の判断手段と、を更に備え、前記ゲイン再調整手段は、更に前記第2の判断手段によって所定の値未満と判断されると、前記ゲイン調整手段によって調整されたR成分のゲイン量をB成分のゲイン量よりも強く抑制するよう再調整することを特徴としている。
【0008】
請求項3に記載の発明は、請求項1又は2に記載の撮像装置において、
前記ゲイン再調整手段は、前記ゲイン調整手段によって調整されたR成分のゲイン量がB成分のゲイン量よりも大きい場合に、R成分のゲイン量をB成分のゲイン量よりも強く抑制するよう再調整することを特徴としている。
【0009】
請求項4に記載の発明は、請求項1〜3の何れか一項に記載の撮像装置において、
前記情報取得手段は、前記撮影環境に関する情報として前記撮像手段により撮像された画像の各色成分毎の輝度分布を取得し、前記第1の判断手段は、前記情報取得手段により取得した各色成分毎の輝度分布のうち、少なくともR成分とB成分の輝度分布の幅が所定値以上の拡がりを持っている場合に、前記両者の撮影環境が異なると判断することを特徴としている。
【0010】
請求項5に記載の発明は、請求項1〜4の何れか一項に記載の撮像装置において、
前記ゲイン調整手段により調整される各色成分のゲイン量は、前記画像が水中で撮像されたものである場合に調整されるゲイン量であることを特徴としている。
【0011】
請求項6に記載の発明の撮像処理方法は、
撮像手段を備える撮像装置を用いた撮像処理方法であって、前記撮像手段によって撮像された画像に含まれるグレー領域にある画素の各色成分のうち、G成分に平均値が合うようにR成分及びB成分のゲイン量を調整するステップと、R成分及びB成分のゲイン量の調整の後、当該画像の撮影環境に関する情報を取得するステップと、取得された情報における撮影環境と、ゲイン量を調整すべき撮影環境とが異なるか否かを判断するステップと、両者の撮影環境が異なると判断されると、既に調整済みのR成分及びB成分のゲイン量のうち、少なくとも何れか一方のゲイン量を抑制するよう再調整するステップと、前記撮像手段により撮像され、再調整されたゲイン量で色調整が行われた画像を記録するステップと、を実行することを特徴としている。
【0012】
請求項7に記載の発明のプログラムは、
撮像手段を備える撮像装置のコンピュータを、前記撮像手段によって撮像された画像に含まれるグレー領域にある画素の各色成分のうち、G成分に平均値が合うようにR成分及びB成分のゲイン量を調整するゲイン調整手段、このゲイン調整手段による調整の後、当該画像の撮影環境に関する情報を取得する情報取得手段、この情報取得手段によって取得された情報における撮影環境と、前記ゲイン調整手段がゲイン量を調整すべき撮影環境とが異なるか否かを判断する第1の判断手段、この第1の判断手段によって両者の撮影環境が異なると判断されると、前記ゲイン調整手段によって調整されたR成分及びB成分のゲイン量のうち、少なくとも何れか一方のゲイン量を抑制するよう再調整するゲイン再調整手段、前記撮像手段により撮像され、前記ゲイン再調整手段によって再調整されたゲイン量で色調整が行われた画像を記録する画像記録制御手段、として機能させることを特徴としている。
【発明の効果】
【0013】
本発明によれば、所定の撮影環境に対応した補正内容を設定していたとしても、自動的に補正内容を変更し直して、他の撮影環境下で自然な画像を生成することができる。
【図面の簡単な説明】
【0014】
【図1】本発明を適用した一実施形態の撮像装置の概略構成を示すブロック図である。
【図2】図1の撮像装置による撮像画像補正処理に係る動作の一例を示すフローチャートである。
【図3】図2の撮像画像補正処理におけるゲイン量算出処理に係る動作の一例を示すフローチャートである。
【図4】図3のゲイン量算出処理におけるグレー画素推定条件の算出処理及びグレー画素からのゲイン量算出処理に係る動作の一例を示すフローチャートである。
【図5】図2の撮像画像補正処理におけるゲイン量抑制処理に係る動作の一例を示すフローチャートである。
【図6】図5のゲイン量抑制処理における第1抑制処理及び第2抑制処理に係る動作の一例を示すフローチャートである。
【図7】図2の撮像画像補正処理に係る、彩度のヒストグラム、明度のヒストグラム及びRGBのヒストグラムの一例を模式的に示す図である。
【発明を実施するための形態】
【0015】
以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
図1は、本発明を適用した一実施形態の撮像装置100の概略構成を示すブロック図である。
【0016】
本実施形態の撮像装置100は、撮像画像のR成分及びB成分のゲイン量が調整された後、当該画像の撮影環境とゲイン量を調整すべき撮影環境とが異なるか否かを判断して、当該判断の結果、両者の撮影環境が異なると判断された場合に、調整済みのR成分やB成分のゲイン量を抑制するよう再調整して、当該再調整されたゲイン量で色調整が行われた画像を記録する。
具体的には、図1に示すように、撮像装置100は、レンズ部1と、撮像部2と、CDS/ADC部3と、ゲイン再調整判断部4と、画像処理部5と、メモリ6と、表示制御部7と、表示部8と、画像記録部9と、操作入力部10と、中央制御部11とを備えている。
【0017】
レンズ部1は、例えば、図示は省略するが、ズームレンズ群、フォーカスレンズ群を含み、レンズ駆動機構(例えば、モータ等)により光軸方向の位置が調整可能となっている。
【0018】
撮像部2は、例えば、図示は省略するが、CCD(Charge Coupled Device)やCMOS(Complementary Metal-oxide Semiconductor)等のイメージセンサ等から構成された電子撮像部を備えている。そして、撮像部2は、レンズ部1の各種レンズや絞り(図示略)を通過した光学像を電子撮像部により二次元の画像信号(RGB画像データ)に変換して、CDS/ADC部3に出力する。
【0019】
CDS/ADC部3は、撮像部2から出力された被写体の光学像に応じたRGB色成分よりなる画像信号が入力され、必要に応じて、デジタルのYUV(輝度色差)情報からなる画像データ(以降YUV画像データという)、及び、HSV色空間に対応する画像データ(以降HSV画像データという)に変換して中央制御部11に出力する。
また、CDS/ADC部3は、ゲイン調整部31と、ゲイン再調整部32(詳細後述)等を具備しており、ゲイン調整部31若しくはゲイン再調整部32により調整されたRGBの各色成分毎のゲイン量に基づいて、RGB画像データを増幅することで撮像画像のホワイトバランスを調整する。
【0020】
ゲイン調整部31は、CDS/ADC部3に入力された撮像画像のRGB成分のゲイン量を調整する。具体的には、ゲイン調整部31は、CDS/ADC部3により変換されたYUV画像データを水平(x軸)及び垂直(y軸)ともに所定の比率で縮小した縮小画像(例えば、VGAサイズの画像)を生成する。そして、ゲイン調整部31は、撮像モードが水中撮像モードに設定されている場合に、当該縮小画像のYUV画像データをHSV画像データに変換した後、彩度S及び明度Vのヒストグラムを作成して、当該彩度S及び明度Vのヒストグラムからグレー画素推定条件を算出する。そして、ゲイン調整部31は、算出されたグレー画素推定条件に基づいて、縮小画像に含まれるグレー領域を画素領域を特定して、当該グレー領域にある画素のRGBの各色成分のうち、R成分及びB成分の平均値がG成分の平均値と略等しくなるようにR成分及びB成分のゲイン量を調整する。
ここで、ゲイン調整部31は、撮像部2によって撮像された画像に含まれるグレー領域にある画素の各色成分のうち、G成分に平均値が合うようにR成分及びB成分のゲイン量を調整するゲイン調整手段を構成している。
【0021】
ゲイン再調整部32は、ゲイン調整部31によって調整されたR成分やB成分のゲイン量を抑制するよう再調整する。具体的には、ゲイン再調整判断部4(詳細後述)によってR成分及びB成分のゲイン量の再調整が必要であると判断された場合に、R成分及びB成分のゲイン量を抑制するよう再調整する。
即ち、ゲイン再調整判断部4の撮影環境判断部42(後述)によって現在の撮影環境と、ゲイン調整部31によりゲイン量を調整すべき撮影環境とが異なると判断された場合に、ゲイン再調整部32は、ゲイン調整部31によって調整されたR成分及びB成分のゲイン量を抑制するよう再調整する第1抑制処理を行う。
ここで、ゲイン再調整部32は、ゲイン再調整判断部4によって現在の撮影環境とゲイン調整部31によりゲイン量を調整すべき撮影環境との両者の撮影環境が異なると判断されると、ゲイン調整部31によって調整されたR成分及びB成分のゲイン量のうち、少なくとも何れか一方のゲイン量を抑制するよう再調整するゲイン再調整手段を構成している。
【0022】
また、ゲイン再調整判断部4の彩度強度分布判断部44(後述)によって縮小画像のHSV色空間における彩度Sのヒストグラム(強度分布)におけるグレー画素の閾値が所定値未満であると判断された場合に、ゲイン再調整部32は、ゲイン調整部31によって調整されたR成分のゲイン量をB成分のゲイン量よりも強く抑制するよう再調整する。より具体的には、ゲイン調整部31によって調整されたR成分のゲイン量がB成分のゲイン量よりも大きい場合に、彩度強度分布判断部44は、縮小画像の彩度Sのヒストグラム(強度分布)におけるグレー画素の閾値が所定値未満であるか否かを判断し、当該判断の結果、グレー画素の閾値が所定値未満であると判断された場合に、ゲイン再調整部32は、ゲイン調整部31によって調整されたR成分のゲイン量をB成分のゲイン量よりも強く抑制するように再調整する第2抑制処理を行う。
なお、このとき、グレー画素の閾値との判定に係る所定値を複数設定して、グレー画素の閾値の存在する位置に応じてR成分やB成分のゲイン量の抑制量を変更するようにしても良い。
【0023】
ゲイン再調整判断部4は、撮影環境情報取得部41と、撮影環境判断部42と、彩度強度分布取得部43と、彩度強度分布判断部44とを具備している。
【0024】
撮影環境情報取得部41は、情報取得手段として、ゲイン調整部31による縮小画像のRGBの各色成分のうち、R成分及びB成分のゲイン量の調整後、当該画像の撮影環境に関する情報を取得する。具体的には、撮影環境情報取得部41は、CDS/ADC部3により変換されたYUV画像データをRGB画像データに変換した後、縮小画像のRGBの各色成分毎のヒストグラム(輝度分布)を撮影環境に関する情報として取得する。
【0025】
撮影環境判断部42は、第1の判断手段として、撮影環境情報取得部41によって取得された情報における撮影環境と、撮像の際にユーザにより予め指定された撮像モード(例えば、水中撮像モード)に係る撮影環境、即ち、ゲイン調整部31によりゲイン量を調整すべき撮影環境とが異なるか否かを判断する。
具体的には、撮影環境判断部42は、撮影環境情報取得部41により取得されたRGBの各色成分毎のヒストグラム(輝度分布)のうち、少なくともR成分とB成分のヒストグラムの幅が所定値以上の拡がりを持っているか否かに応じて、現在の撮影環境とゲイン調整部31によりゲイン量を調整すべき撮影環境とが異なるか否かを判断する。そして、撮影環境判断部42は、R成分とB成分のヒストグラムの幅が所定値以上の拡がりを持っている場合に、現在の撮影環境とゲイン調整部31によりゲイン量を調整すべき撮影環境とが異なると判断する。
【0026】
彩度強度分布取得部43は、ゲイン調整部31により作成された縮小画像についてのHSV色空間における彩度Sのヒストグラムを取得する。ここで、彩度強度分布取得部43は、縮小画像(撮像画像)について彩度Sのヒストグラム(強度分布)を取得する強度分布取得手段を構成している。
【0027】
彩度強度分布判断部44は、第2の判断手段として、彩度強度分布取得部43によって取得された彩度Sのヒストグラム(強度分布)におけるグレー画素の閾値が所定値未満であるか否かを判断する。具体的には、ゲイン調整部31によって調整されたR成分のゲイン量がB成分のゲイン量よりも大きいと判断された場合に、彩度強度分布判断部44は、縮小画像の彩度Sのヒストグラム(強度分布)に基づいてグレー画素の閾値、即ち、画素値の小さい方から所定範囲(縮小画像の総画素数の所定の割合)内の画素が含まれるグレー領域における最も大きい画素値を閾値として特定して、当該グレー画素の閾値が所定値未満であるか否かを判断する。
【0028】
画像処理部5は、CDS/ADC部3から出力された画像データの記録時に、中央制御部11から出力された画像データを受け取って、当該画像データに対して各種の画像処理や圧縮等を施してファイル化する。そして、画像処理部5は、ファイル化された画像データを画像記録部9に転送する。
【0029】
メモリ6は、例えば、DRAM等により構成され、画像処理部5や中央制御部11等によって処理されるデータ等を一時的に記憶する。
【0030】
表示制御部7は、メモリ6に一時的に記憶されている表示用の画像データを読み出して表示部8に表示させる制御を行う。
具体的には、表示制御部7は、VRAM、VRAMコントローラ、デジタルビデオエンコーダなどを備えている(何れも図示略)。そして、デジタルビデオエンコーダは、中央制御部11の制御下にてメモリ6から読み出されてVRAMに記録されている輝度信号Y及び色差信号Cb,Crを、VRAMコントローラを介してVRAMから定期的に読み出して、これらのデータを元にビデオ信号を発生して表示部8に出力する。
【0031】
表示部8は、例えば、液晶表示装置であり、表示制御部7からのビデオ信号に基づいて撮像部2により撮像された画像などを表示画面に表示する。具体的には、表示部8は、静止画撮像モードや動画撮像モードにて、撮像部2による被写体の撮像により生成された複数の画像フレームを所定のフレームレートで逐次更新しながらライブビュー画像を表示する。
【0032】
画像記録部9は、例えば、不揮発性メモリ等により構成され、画像処理部5の符号化部(図示略)により所定の圧縮形式で符号化された記録用の静止画像データや複数の画像フレームからなる動画像データを記録する。
このとき、画像記録部9は、ゲイン調整部31若しくはゲイン再調整部32により調整されたRGBの各色成分毎のゲイン量に基づいてCDS/ADC部3により調整された撮像画像を記録する。ここで、画像記録部9は、撮像部2により撮像され、ゲイン再調整部32によって再調整されたゲイン量で色調整が行われた画像を記録する画像記録手段を構成している。
【0033】
操作入力部10は、当該撮像装置100の所定操作を行うためのものである。具体的には、操作入力部10は、被写体の撮影指示に係るシャッタボタン、撮像モードや機能等の選択指示に係る選択決定ボタン、ズーム量の調整指示に係るズームボタン等を備え(何れも図示略)、これらのボタンの操作に応じて所定の操作信号を中央制御部11に出力する。
【0034】
中央制御部11は、撮像装置100の各部を制御するものである。具体的には、中央制御部11は、CPU(図示略)を備え、撮像装置100用の各種処理プログラム(図示略)に従って各種の制御動作を行う。
【0035】
次に、撮像装置100により被写体を撮影する場合の撮像画像補正処理について、図2〜図7を参照して説明する。
図2は、撮像画像補正処理に係る動作の一例を示すフローチャートである。
【0036】
撮像画像補正処理は、ユーザによる操作入力部10の所定操作に基づいて、メニュー画面に表示された複数のモードの中から、水中での撮像を適正に行う「水中撮像モード」が選択指示された場合に実行される処理である。
【0037】
図2に示すように、表示制御部710は、レンズ部1及び撮像部2による被写体の撮像により生成された複数の画像フレームに基づいてライブビュー画像を表示部8の表示画面に表示させる(ステップS1)。
次に、中央制御部11は、ユーザによる操作入力部10のシャッタボタンの所定操作に基づいて撮像指示が入力されたか否かを判断する(ステップS2)。ここで、撮像指示が入力されたと判断されると(ステップS2;YES)、中央制御部11は、フォーカスレンズ群の合焦位置や露出条件(シャッター速度、絞り等)等を調整させて、被写体の光学像を所定の条件で撮像部2により撮像させる(ステップS3)。そして、CDS/ADC部3は、撮像部2から出力された被写体の光学像のRGB画像データをデジタルのYUV画像データに変換して取得する(ステップS4)。
【0038】
次に、ゲイン調整部31は、CDS/ADC部3により変換されたYUV画像データを水平(x軸)及び垂直(y軸)ともに所定の比率で縮小した縮小画像(例えば、VGAサイズの画像)を生成する(ステップS5)。なお、作成された縮小画像のYUV画像データは、メモリ6の所定の記憶領域に保存される。
続けて、ゲイン調整部31は、縮小画像のYUV画像データに基づいて、当該画像のR成分及びB成分のゲイン量を算出するゲイン量算出処理(図3並びに図4(a)及び図4(b)参照;詳細後述)を行う(ステップS6)。
【0039】
その後、ゲイン再調整部32は、ゲイン調整部31によって算出されたR成分やB成分のゲイン量を抑制するよう再調整するゲイン量抑制処理(図5並びに図6(a)及び図6(b)参照;詳細後述)を行う(ステップS7)。
【0040】
次に、CDS/ADC部3は、ゲイン量抑制処理後の縮小画像に係るR成分やB成分のゲイン量を被写体の光学像のRGB画像データに適用して、当該RGB画像データを増幅することで撮像画像のホワイトバランスを調整するゲイン処理を行った後(ステップS8)、画像記録部9は、ゲイン処理後の撮像画像を記録して、当該撮像画像補正処理を終了する。
【0041】
なお、このとき、RGB画像データの各画素のR成分やB成分の値の大きさに応じて、R成分やB成分のゲイン量を変更するようにしても良い。即ち、R成分やB成分のゲイン量をそのまま演算するのではなく、例えば、処理対象画素のR成分やB成分の値がグレー領域におけるR成分やB成分の平均値よりも小さい場合には、設定されたR成分やB成分のゲイン量をそのまま演算し、一方、平均値以上である場合には、最大値に近づくにつれてR成分やB成分のゲイン量が次第に小さくなるように変更しても良い。
【0042】
次に、ステップS6におけるゲイン量算出処理について、図3並びに図4(a)及び図4(b)を参照して詳細に説明する。
ここで、図3は、ゲイン量算出処理に係る動作の一例を示すフローチャートである。また、図4(a)は、ゲイン量算出処理中に実行されるグレー画素推定条件の算出処理に係る動作の一例を示すフローチャートであり、図4(b)は、ゲイン量算出処理中に実行されるグレー画素からのゲイン量算出処理に係る動作の一例を示すフローチャートである。
【0043】
図3に示すように、ゲイン量算出処理では、縮小画像(撮像画像)に含まれるグレー領域を特定するためのグレー画素推定条件の算出処理を行った後(ステップS61)、グレー画素推定条件に基づいて特定されたグレー領域の画素からゲイン量を算出する処理を行う(ステップS62)。
【0044】
先ず、ステップS61におけるグレー画素推定条件の算出処理について、図4(a)を参照して詳細に説明する。
図4(a)に示すように、ゲイン調整部31は、先ず、縮小画像のYUV画像データをHSV画像データに変換した後(ステップS611)、彩度Sのヒストグラム(図7(a)参照)及び明度Vのヒストグラム(図7(b)参照)を作成する(ステップS612)。そして、ゲイン調整部31は、当該彩度S及び明度Vのヒストグラムの各々について、画素値の小さい方から所定範囲(縮小画像の総画素数の所定の割合)内の画素が含まれる領域をグレー画素の候補とするグレー画素推定条件を算出する(ステップS613)。
【0045】
ゲイン調整部31は、算出されたグレー画素推定条件をメモリ6に一時記憶して(ステップS614)、グレー画素推定条件の算出処理を終了する。
【0046】
次に、ステップS62におけるグレー画素からのゲイン量算出処理について、図4(b)を参照して詳細に説明する。
図4(b)に示すように、ゲイン調整部31は、先ず、縮小画像のYUV画像データをHSV画像データに変換する(ステップS621)。
なお、ステップS621における縮小画像のYUV画像データからのHSV画像データの変換処理は、グレー画素推定条件の算出処理のステップS611にて生成されたHSV画像データの彩度S及び明度Vの値をメモリ6の所定の記憶領域に保存しておくことで、省略することができる。
【0047】
続けて、ゲイン調整部31は、メモリ6に一時記憶されたグレー画素推定条件を読み出して取得した後、当該グレー画素推定条件に基づいて縮小画像のHSV画像データから当該縮小画像に含まれるグレー領域の画素を特定する(ステップS622)。
そして、ゲイン調整部31は、縮小画像のYUV画像データをRGB画像データに変換した後(ステップS623)、特定された全てのグレー領域の画素のRGBの各色成分の平均値を算出する(ステップS624)。
【0048】
次に、ゲイン調整部31は、グレー領域の画素のR成分及びB成分の平均値がG成分の平均値と略等しくなるようにR成分及びB成分のゲイン量を算出して(ステップS625)、グレー画素からのゲイン量算出処理を終了する。
【0049】
次に、ステップS7におけるゲイン量抑制処理について、図5並びに図6(a)及び図6(b)を参照して詳細に説明する。
ここで、図5は、ゲイン量抑制処理に係る動作の一例を示すフローチャートである。また、図6(a)は、ゲイン量抑制処理中に実行される第1抑制処理に係る動作の一例を示すフローチャートであり、図6(b)は、ゲイン量抑制処理中に実行される第2抑制処理に係る動作の一例を示すフローチャートである。
【0050】
図5に示すように、ゲイン量抑制処理では、縮小画像のRGBの各色成分のヒストグラムの幅を用いてR成分やB成分のゲイン量を抑制するよう再調整する第1抑制処理を行った後(ステップS71)、縮小画像の彩度Sのヒストグラムを用いてR成分のゲイン量を抑制するよう再調整する第2抑制処理を行う(ステップS72)。
【0051】
先ず、ステップS71における第1抑制処理について、図6(a)を参照して詳細に説明する。
図6(a)に示すように、撮影環境情報取得部41は、先ず、縮小画像のYUV画像データをRGB画像データに変換した後(ステップS711)、縮小画像のRGBの各色成分毎のヒストグラムを作成する(ステップS712)。
【0052】
次に、撮影環境判断部42は、撮影環境情報取得部41により取得されたRGBの各色成分毎のヒストグラムの幅を算出して(ステップS713)、当該ヒストグラムの幅が所定値以上であるか否かを判断する(ステップS714)。
例えば、水中で撮像した場合には、図7(c)に示すように、画素値(輝度値)の小さい方から所定範囲(縮小画像の総画素数の所定の割合)内の画素が含まれる暗部領域や画素値の大きい方から所定範囲(縮小画像の総画素数の所定の割合)内の画素が含まれる明部領域に画素が配置されず、明暗差の小さい中央領域にのみ画素が配置されたヒストグラム、即ち、画素値の幅の狭いヒストグラムが作成される。一方、例えば、陸上で撮像した場合には、図示は省略するが、中央領域だけでなく暗部領域や明部領域にも画素が配置されたヒストグラム、即ち、画素値の幅の広いヒストグラムが作成される。つまり、当該ヒストグラムの幅が所定値以上であるか否かに応じて、現在の撮影環境と撮像の際にユーザにより予め指定された撮像モード(例えば、「水中撮像モード」)に係る撮影環境、即ち、ゲイン調整部31によりゲイン量を調整すべき撮影環境とが異なるか否かを判断する。
【0053】
そして、ステップS714にて、ヒストグラムの幅が所定値以上であると判断されると(ステップS714;Yes)、現在の撮影環境は、例えば陸上であり、ゲイン調整部31によりゲイン量を調整すべき撮影環境(例えば、水中)と異なるので、ゲイン再調整部32は、ゲイン調整部31によって調整されたR成分及びB成分のゲイン量を抑制するよう再調整して(ステップS715)、第1抑制処理を終了する。
一方、ステップS714にて、ヒストグラムの幅が所定値未満であると判断されると(ステップS714;No)、現在の撮影環境(例えば、水中)は、ゲイン調整部31によりゲイン量を調整すべき撮影環境と同じであり、ゲイン再調整部32によるR成分及びB成分のゲイン量の再調整を行わずに、第1抑制処理を終了する。
【0054】
次に、ステップS72における第2抑制処理について、図6(b)を参照して詳細に説明する。
図6(b)に示すように、彩度強度分布判断部44は、ゲイン調整部31によって調整されたR成分のゲイン量がB成分のゲイン量よりも大きいか否かを判断する(ステップS721)。
【0055】
ステップS721にて、R成分のゲイン量がB成分のゲイン量よりも大きいと判断されると(ステップS721;Yes)、彩度強度分布取得部43は、ゲイン調整部31により作成された縮小画像についてのHSV色空間における彩度Sのヒストグラムを取得した後、彩度強度分布判断部44は、彩度Sのヒストグラムに基づいてグレー画素の閾値、即ち、画素値の小さい方から所定範囲(縮小画像の総画素数の所定の割合)内の画素が含まれるグレー領域における最も大きい画素値を閾値として特定して、当該グレー画素の閾値が所定値未満であるか否かを判断する(ステップS722)。
即ち、例えば、彩度Sに十分な拡がりがある画像では、画素値のより小さい方にも画素が配置されたヒストグラムが作成されるため、グレー画素の閾値が所定値未満となる一方で、彩度Sに十分な拡がりがない画像では、画素値のより小さい方にはあまり画素が配置されていないヒストグラムが作成されるため、グレー画素の閾値が所定値以上となる。
【0056】
そして、ステップS722にて、グレー画素の閾値が所定値未満であると判断されると(ステップS722;Yes)、画像の彩度Sに十分な拡がりがあるため、ゲイン再調整部32は、ゲイン調整部31によって調整されたR成分のゲイン量をB成分のゲイン量よりも強く抑制するように再調整して(ステップS723)、第2抑制処理を終了する。
一方、ステップS722にて、グレー画素の閾値が所定値以上であると判断されると(ステップS722;No)、画像の彩度Sに十分な拡がりがないため、ゲイン再調整部32によるR成分及びB成分のゲイン量の再調整を行わずに、第2抑制処理を終了する。
【0057】
また、ステップS721にて、R成分のゲイン量がB成分のゲイン量よりも大きくないと判断された場合にも(ステップS721;No)、第2抑制処理を終了する。
【0058】
以上のように、本実施形態の撮像装置100によれば、所定の撮影環境(例えば、「水中」)に対応させるように撮像画像のR成分及びB成分のゲイン量が調整された後、所定の撮影環境と異なる他の撮影環境(例えば、「陸上」)で撮像を行うことにより、当該画像の撮影環境とゲイン量を調整すべき撮影環境とが異なると判断されると、調整済みのR成分及びB成分のゲイン量を抑制するよう自動的に再調整して、当該再調整されたゲイン量で色調整が行われた画像を記録するので、変更後の他の撮影環境に対応するようにゲイン量を適正な値に再調整して当該他の撮影環境下でも自然な画像を生成して記録することができる。
具体的には、撮像モードを水中での撮像を適正に行うことができる「水中撮像モード」に設定していた場合であっても、撮像画像のRGBの各色成分毎のヒストグラムの幅が所定値以上の拡がりを持っている場合には、現在の撮影環境が、「水中」から例えば「陸上」に変更されており、ゲイン量を調整すべき撮影環境(例えば、「水中撮像モード」に対応する水中)とは異なると判断して、調整済みのR成分及びB成分のゲイン量を抑制するよう自動的に再調整することができる。これにより、撮影環境が(例えば、「水中」から「陸上」に)変化した場合に、ユーザが撮影モードを変更し忘れても、変更後の他の撮影環境に対応するようにゲイン量を自動的に変更することができ、当該他の撮影環境下でも自然な画像を生成することができる。
【0059】
また、ゲイン調整部31によって調整されたR成分のゲイン量がB成分のゲイン量よりも大きい場合に、HSV色空間における彩度Sのヒストグラムにおけるグレー値(グレー画素の閾値)が所定値未満か否かを判断して、グレー値が所定値未満であると判断されると、調整済みのR成分のゲイン量をB成分のゲイン量よりも強く抑制するよう再調整するので、変更後の他の撮影環境に対応するようにゲイン量を適正な値に再調整して当該他の撮影環境下でも自然な画像を生成することができる。
【0060】
なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、上記実施形態においては、ゲイン調整部31によって調整されたR成分のゲイン量がB成分のゲイン量よりも大きい場合であって、且つ、HSV色空間における彩度Sのヒストグラムにおけるグレー値(グレー画素の閾値)が所定値未満である場合に、調整済みのR成分のゲイン量をB成分のゲイン量よりも強く抑制するよう再調整するようにしたが、ゲイン調整部31によって調整されたR成分のゲイン量がB成分のゲイン量よりも大きい場合には、必ず調整済みのR成分のゲイン量をB成分のゲイン量よりも強く抑制するよう再調整するようにしても良い。
また、ゲイン量抑制処理にて第1抑制処理と第2抑制処理の両方を行うようにしたが、少なくとも第1抑制処理を行うような構成であれば良く、必ずしも第2抑制処理を行う必要はない。
【0061】
さらに、上記実施形態にあっては、現在の撮影環境とゲイン量を調整すべき撮影環境との相違を、縮小画像のRGBの各色成分毎のヒストグラムの幅に基づいて判断するようにしたが、これに限られるものではなく、例えば、水圧センサや水分検出センサ等を搭載して、当該センサの検出結果に応じて撮影環境が変化したか否かを判断するようにしても良い。
【0062】
また、撮像装置100の構成は、上記実施形態に例示したものは一例であり、これに限られるものではない。
【0063】
加えて、上記実施形態にあっては、ゲイン調整手段、情報取得手段、第1の判断手段、ゲイン再調整手段、画像記録手段としての機能を、中央制御部11の制御下にて、ゲイン調整部31、撮影環境情報取得部41、撮影環境判断部42、ゲイン再調整部32、画像記録部9が駆動することにより実現される構成としたが、これに限られるものではなく、中央制御部11のCPUによって所定のプログラム等が実行されることにより実現される構成としても良い。
即ち、プログラムを記憶するプログラムメモリ(図示略)に、ゲイン調整処理ルーチン、情報取得処理ルーチン、第1の判断処理ルーチン、ゲイン再調整処理ルーチン、画像記録処理ルーチンを含むプログラムを記憶しておく。そして、ゲイン調整処理ルーチンにより中央制御部11のCPUを、撮像部2によって撮像された画像に含まれるグレー領域にある画素の各色成分のうち、G成分に平均値が合うようにR成分及びB成分のゲイン量を調整するゲイン調整手段として機能させるようにしても良い。また、情報取得処理ルーチンにより中央制御部11のCPUを、ゲイン調整手段による調整の後、当該画像の撮影環境に関する情報を取得する情報取得手段として機能させるようにしても良い。また、第1の判断処理ルーチンにより中央制御部11のCPUを、情報取得手段によって取得された情報における撮影環境と、ゲイン調整手段がゲイン量を調整すべき撮影環境とが異なるか否かを判断する第1の判断手段として機能させるようにしても良い。また、ゲイン再調整処理ルーチンにより中央制御部11のCPUを、第1の判断手段によって両者の撮影環境が異なると判断されると、ゲイン調整手段によって調整されたR成分及びB成分のゲイン量のうち、少なくとも何れか一方のゲイン量を抑制するよう再調整するゲイン再調整手段として機能させるようにしても良い。また、画像記録処理ルーチンにより中央制御部11のCPUを、撮像手段により撮像され、ゲイン再調整手段によって再調整されたゲイン量で色調整が行われた画像を記録する画像記録制御手段として機能させるようにしても良い。
【符号の説明】
【0064】
100 撮像装置
2 撮像部
3 CDS/ADC部
31 ゲイン調整部
32 ゲイン再調整部
4 ゲイン再調整判断部
41 撮影環境情報取得部
42 撮影環境判断部
43 彩度強度分布取得部
44 彩度強度分布判断部
9 画像記録部

【特許請求の範囲】
【請求項1】
撮像手段と、
この撮像手段によって撮像された画像に含まれるグレー領域にある画素の各色成分のうち、G成分に平均値が合うようにR成分及びB成分のゲイン量を調整するゲイン調整手段と、
このゲイン調整手段による調整の後、当該画像の撮影環境に関する情報を取得する情報取得手段と、
この情報取得手段によって取得された情報における撮影環境と、前記ゲイン調整手段がゲイン量を調整すべき撮影環境とが異なるか否かを判断する第1の判断手段と、
この第1の判断手段によって両者の撮影環境が異なると判断されると、前記ゲイン調整手段によって調整されたR成分及びB成分のゲイン量のうち、少なくとも何れか一方のゲイン量を抑制するよう再調整するゲイン再調整手段と、
前記撮像手段により撮像され、前記ゲイン再調整手段によって再調整されたゲイン量で色調整が行われた画像を記録する画像記録手段と、
を備えることを特徴とする撮像装置。
【請求項2】
前記撮像手段により撮像された画像について彩度の強度分布を取得する強度分布取得手段と、
この強度分布取得手段によって取得された彩度の強度分布におけるグレー値が所定の値未満か否かを判断する第2の判断手段と、を更に備え、
前記ゲイン再調整手段は、更に前記第2の判断手段によって所定の値未満と判断されると、前記ゲイン調整手段によって調整されたR成分のゲイン量をB成分のゲイン量よりも強く抑制するよう再調整することを特徴とする請求項1に記載の撮像装置。
【請求項3】
前記ゲイン再調整手段は、前記ゲイン調整手段によって調整されたR成分のゲイン量がB成分のゲイン量よりも大きい場合に、R成分のゲイン量をB成分のゲイン量よりも強く抑制するよう再調整することを特徴とする請求項1又は2に記載の撮像装置。
【請求項4】
前記情報取得手段は、前記撮影環境に関する情報として前記撮像手段により撮像された画像の各色成分毎の輝度分布を取得し、
前記第1の判断手段は、前記情報取得手段により取得した各色成分毎の輝度分布のうち、少なくともR成分とB成分の輝度分布の幅が所定値以上の拡がりを持っている場合に、前記両者の撮影環境が異なると判断することを特徴とする請求項1〜3の何れか一項に記載の撮像装置。
【請求項5】
前記ゲイン調整手段により調整される各色成分のゲイン量は、前記画像が水中で撮像されたものである場合に調整されるゲイン量であることを特徴とする請求項1〜4の何れか一項に記載の撮像装置。
【請求項6】
撮像手段を備える撮像装置を用いた撮像処理方法であって、
前記撮像手段によって撮像された画像に含まれるグレー領域にある画素の各色成分のうち、G成分に平均値が合うようにR成分及びB成分のゲイン量を調整するステップと、
R成分及びB成分のゲイン量の調整の後、当該画像の撮影環境に関する情報を取得するステップと、
取得された情報における撮影環境と、ゲイン量を調整すべき撮影環境とが異なるか否かを判断するステップと、
両者の撮影環境が異なると判断されると、既に調整済みのR成分及びB成分のゲイン量のうち、少なくとも何れか一方のゲイン量を抑制するよう再調整するステップと、
前記撮像手段により撮像され、再調整されたゲイン量で色調整が行われた画像を記録するステップと、
を実行することを特徴とする撮像処理方法。
【請求項7】
撮像手段を備える撮像装置のコンピュータを、
前記撮像手段によって撮像された画像に含まれるグレー領域にある画素の各色成分のうち、G成分に平均値が合うようにR成分及びB成分のゲイン量を調整するゲイン調整手段、
このゲイン調整手段による調整の後、当該画像の撮影環境に関する情報を取得する情報取得手段、
この情報取得手段によって取得された情報における撮影環境と、前記ゲイン調整手段がゲイン量を調整すべき撮影環境とが異なるか否かを判断する第1の判断手段、
この第1の判断手段によって両者の撮影環境が異なると判断されると、前記ゲイン調整手段によって調整されたR成分及びB成分のゲイン量のうち、少なくとも何れか一方のゲイン量を抑制するよう再調整するゲイン再調整手段、
前記撮像手段により撮像され、前記ゲイン再調整手段によって再調整されたゲイン量で色調整が行われた画像を記録する画像記録制御手段、
として機能させることを特徴とするプログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate


【公開番号】特開2011−109373(P2011−109373A)
【公開日】平成23年6月2日(2011.6.2)
【国際特許分類】
【出願番号】特願2009−261782(P2009−261782)
【出願日】平成21年11月17日(2009.11.17)
【出願人】(000001443)カシオ計算機株式会社 (8,748)
【Fターム(参考)】