撮像装置及び撮像装置の制御方法
【課題】 カメラで撮影を行う場合に、カメラのダイナミックレンジ外の物体が及ぼす影響を抑制し、被写体が適正露出で撮影できる撮影装置を提供すること。
【解決手段】 画像データを複数のブロックに分割し、画素グループ内の画素出力がそれぞれ所定の範囲内に入る画素グループのみを使用した色成分毎の平均値とそのグループ数を用いて特定色ブロックを抽出し、特定色と判定されたブロックに対して、露光量演算の重み付け係数を設定し、ブロック内の輝度平均値と画素グループ内の画素出力がそれぞれ所定の範囲内に入る画素グループのみを使用した輝度平均値と、重み付け係数に基づいて露出設定を行うことを特徴とする撮像装置とする構成とした。
【解決手段】 画像データを複数のブロックに分割し、画素グループ内の画素出力がそれぞれ所定の範囲内に入る画素グループのみを使用した色成分毎の平均値とそのグループ数を用いて特定色ブロックを抽出し、特定色と判定されたブロックに対して、露光量演算の重み付け係数を設定し、ブロック内の輝度平均値と画素グループ内の画素出力がそれぞれ所定の範囲内に入る画素グループのみを使用した輝度平均値と、重み付け係数に基づいて露出設定を行うことを特徴とする撮像装置とする構成とした。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、特定色を有する被写体に対して適正な露出制御や、適正な発光量でストロボ撮影できる撮影装置及び撮像装置の制御方法に関するものである。
【背景技術】
【０００２】
従来、人物などを撮影する場合に撮影画面内の人物の顔を検出し、顔の検出領域が適正な輝度で撮影できるように露出設定を行う技術が提案されている（特許文献１）。
【０００３】
また、フラッシュ撮影を行う場合に、閃光装置の非発光画像と予備発光させた画像の差分を演算し、閃光装置の光のみの被写体反射光を抽出し、閃光装置の光源色が分かっていることを用いて、特定色を検出する技術が提案されている（特許文献２）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平０５−０４１８３０号公報
【特許文献２】特開２００５−０６５１８６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述の特許文献に開示された従来技術では、ストロボ撮影時に被写体が近距離にある場合や、ストロボ光を正反射する物体を撮影する場合には、撮像センサのダイナミックレンジが足りなくなることがあり、肌色を正しく検知することができない。
【０００６】
また、上述の特許文献では、撮影画像をブロックに分割し、ブロック内の肌色の割合で発光量重み付け係数を変えているため、ブロック内に肌色が多く入っているが、しかし反射率が高い物体も入っている場合にはそのブロックに大きな重みづけをして発光量を決定してしまうため、顔を適正露出で撮影することができない。
【０００７】
ブロックの分割数を増やすことで上述問題を軽減できるが、演算にかかる処理時間が延びてしまう。
【０００８】
上述した課題に鑑み、本発明は、撮影画面内で画像のダイナミックレンジの範囲外の信号値を持つ物体が及ぼす影響を抑制することができる撮像装置及び撮像装置の制御方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明に関わる撮像装置は、請求項１に記載のとおり、被写体像を撮像する撮像手段と、前記撮像手段の出力から複数の色成分からなる画像データを生成する生成手段と、前記画像データに対してホワイトバランス調整を行うホワイトバランス制御手段と、前記画像データを複数のブロックに分割する分割手段と、前記ブロック内を複数の色成分を含む複数画素の画素グループで分け、前記ブロック単位で画素出力がそれぞれ前記撮像手段のダイナミックレンジに対応する所定の範囲内に入る画素グループの色成分毎の平均値を算出する色成分平均手段と、前記ブロック単位で、画素出力が前記所定の範囲内に入る画素グループの輝度平均値を算出する輝度平均手段と、前記各ブロックの中で画素出力が前記所定の範囲内に入る画素グループが所定数以上存在する所定範囲内ブロックを特定する特定手段と、前記所定範囲内ブロックの中で、前記色成分ごとの平均値が色空間上で特定色を示す範囲内の値である特定色ブロックであるか否かを判定する判定手段と、前記所定範囲内ブロックの輝度値として、前記輝度平均値に前記判定手段による判定結果に基づく重みを乗算した値を用いて前記撮像手段の撮像における露光量を算出する露光量算出手段と、を有することを特徴とする。
【００１０】
また、本発明に係わる撮像装置の制御方法は、請求項９に記載の通り、被写体像を撮像する撮像手段と、前記撮像手段の出力から複数の色成分からなる画像データを生成する生成手段と、を有する撮像装置の制御方法であって、前記画像データに対してホワイトバランス調整を行うホワイトバランス制御ステップと、前記画像データを複数のブロックに分割する分割ステップと、前記ブロック内を複数の色成分を含む複数画素の画素グループで分け、前記ブロック単位で画素出力がそれぞれ前記撮像手段のダイナミックレンジに対応する所定の範囲内に入る画素グループの色成分毎の平均値を算出する色成分平均ステップと、前記ブロック単位で、画素出力が前記所定の範囲内に入る画素グループの輝度平均値を算出する輝度平均ステップと、前記各ブロックの中で画素出力が前記所定の範囲内に入る画素グループが所定数以上存在する所定範囲内ブロックを特定する特定ステップと、
前記所定範囲内ブロックの中で、前記色成分ごとの平均値が色空間上で特定色を示す範囲内の値である特定色ブロックであるか否かを判定する判定ステップと、前記所定範囲内ブロックの輝度値として、前記輝度平均値に前記判定ステップによる判定結果に基づく重みを乗算した値を用いて前記撮像手段の撮像における露光量を算出する露光量算出ステップと、を有することを特徴とする。
【発明の効果】
【００１１】
本発明によれば、撮影画面内で画像のダイナミックレンジの範囲外の信号値を持つ物体が及ぼす影響を抑制することができる。
【図面の簡単な説明】
【００１２】
【図１】第１の実施形態における撮像装置の構成を示すブロック図である。
【図２】本発明の形態に係る撮像装置における撮影処理を説明するフローチャートである。
【図３】本発明の形態に係る撮像装置における撮影処理を説明するフローチャートである。
【図４】本発明の形態に係る撮像装置における撮影処理を説明するフローチャートである。
【図５】本発明の形態に係る撮像装置における撮影処理を説明するための説明図である。
【図６】特定色を抽出するときに、基準となる色差平面を簡略化して示した説明図である。
【図７】重み付け係数の調節方法を説明するための表である。
【発明を実施するための形態】
【００１３】
（第１の実施形態）
以下、図面を参照して第１の実施形態を説明する。図１は、本実施形態における撮像装置の１例としてのデジタルカメラ１０のブロック図である。なお、図１において実線矢印は制御線等の信号線を表わし、波線矢印は通信線を表わす。
【００１４】
撮影レンズ１１は、ズーム制御部４４からの制御信号または測距制御部４５からの制御信号に従ってレンズ位置を動かす。
【００１５】
絞り１２は、絞り制御部４３から出力される絞り制御信号に従って開閉し、入射する光の量を制御する。
【００１６】
シャッタ１３は、シャッタ制御部４２から送られてくるシャッタ制御信号に従って、シャッタを動作させる。
【００１７】
撮像素子１４は、電子シャッタ制御部４１から送られてくる電子シャッタ制御信号に従い、撮影レンズ１１、絞り１２、シャッタ１３の光学系から導かれる光束による光学像（被写体像）を電気信号に変換してＡＧＣ（オートゲインコントロール）回路１５に出力する。
【００１８】
ＡＧＣ回路１５は、ゲイン制御部４０から送られてくるゲイン制御信号に従い、撮像素子１４から送られてくる画像データのゲイン調整をして、Ａ／Ｄ（アナログ／デジタル）変換器１６に出力する。
【００１９】
Ａ／Ｄ変換器１６は、ＡＧＣ回路１５から送られてくるゲイン調整された画像データにＡ／Ｄ変換を行う。Ａ／Ｄ変換後の画像データは、画像処理部２０、メモリ制御部２１を介して、或いは画像処理部２０を介さずに直接メモリ制御部２１から、メモリ３０に書き込まれる。
【００２０】
画像処理部２０は、Ａ／Ｄ変換器１６からのデータ或いはメモリ制御部２１からのデータに対して所定の画素補正処理、ＡＷＢ（オートホワイトバランス）処理、色変換処理、特定色データの抽出等の画像処理を行う。本実施形態では、Ａ／Ｄ変換後の画像データはＲ（赤）／Ｇ（緑）／Ｂ（青）の信号値がベイヤー配列をなしており、画像処理部２０は画素補間処理により画素ごとにＲ／Ｇ／Ｂの信号値を持つように補間される。その後、ＡＷＢ処理が行われ、色変換処理にてＹ（輝度）、ＵＶ（色差）信号値に変換されて出力される。しかし、入力される画像データの信号の形態及び画像処理部２０から出力される画像データの形態はこれに限らない。
【００２１】
また画像処理部２０は、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてシステム制御部５０が各部を制御する。例えば、測距制御部４５に対してＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理を実行する。また、ゲイン制御部４０、電子シャッタ制御部４１、シャッタ制御部４２、絞り制御部４３、ストロボユニット４６に対してＡＥ（自動露出）処理を実行する。さらに、ストロボユニット４６に対して、ＥＦ（ストロボプリ発光）処理を実行する。また、メモリ３０に記憶してある画像データを読みだして、記録部７０に送信する。
【００２２】
メモリ制御部２１は、Ａ／Ｄ変換器１６、画像処理部２０、メモリ３０を制御する。
【００２３】
ゲイン制御部４０は、ＡＧＣ回路１５に、撮像素子１４から出力される信号に掛けるゲイン値の指示信号を送信する。
【００２４】
電子シャッタ制御部４１は、撮像素子１４を制御して、撮像素子１４に取り込まれる電荷の蓄積開始タイミング及び蓄積量を制御する。
【００２５】
シャッタ制御部４２は、シャッタ１３を制御することでシャッタースピードを制御する。絞り制御部４３は絞り１２の口径を制御することで、撮像素子１４に導く光束を制御する。
【００２６】
ズーム制御部４４は、撮影レンズ１１のレンズ位置を制御することでズーミングを制御する。
【００２７】
測距制御部４５は、撮影レンズ１１のレンズ位置を制御することでフォーカシングを制御する。
【００２８】
ストロボユニット４６は、ＡＦ補助光の投光機能、ストロボ調光機能を有する。
【００２９】
ここで、調光機能はプリ発光で被写界の反射光や特定色検知を行い、被写界が適正な露出となるようにストロボの発光量を決定する技術である。
【００３０】
また、ストロボユニットがバウンス機構を有する場合、バウンス位置に応じてプリ発光の発光量や、特定色検知処理を変更する。
【００３１】
システム制御部５０は、各部に制御信号を送るなどしてデジタルカメラ１０全体の動作を制御している。
【００３２】
メモリ３０は、このシステム制御部５０の動作用の定数、変数、プログラム等を記憶している。また、各部で行われる処理動作における作業用のメモリとしても用いられる。
【００３３】
シャッタスイッチ６０は、シャッタスイッチＳＷ１とＳＷ２から成り、ＳＷ１は、不図示のシャッタボタンの操作途中でオンとなり、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理等の動作開始を指示する。ＳＷ２は、不図示のシャッタボタンの操作完了でオンとなる。ストロボ撮影モードの場合は、ＳＷ２のオンによってストロボユニット４６の発光制御、及び撮像素子１４から読み出した信号をＡ／Ｄ変換器１６、メモリ制御部２１を介してメモリ３０に画像データとして書き込む露光処理の開始を指示する。さらに画像処理部２０やメモリ制御部２１での演算を用いた現像処理、メモリ３０から画像データを読み出し、記録部７０に画像データを書き込む記録処理という一連の処理の動作開始を指示する。
【００３４】
記録部７０は、画像処理部２０から送られてくる画像信号を記録媒体に記録する。
【００３５】
以下、図２乃至図４のフローチャートと図５の画像データを参照して、本実施形態に係る撮影動作を説明する。
【００３６】
図２は、撮影前の待機状態から撮影開始までの動作を示すフローチャート図である。
【００３７】
ステップＳ１０１で、シャッタースイッチ（ＳＷ１）が押されていると、ステップＳ１０２に進む。
【００３８】
ステップＳ１０２では、Ａ／Ｄ変換器１６から入力された画像データに対して、測距及び測光処理を行う。尚、ステップＳ１０２の測距及び測光処理の詳細は図３のフローチャートを参照して詳しく後述する。
【００３９】
ステップＳ１０３でシャッタスイッチ（ＳＷ２）が押されると、ステップＳ１０５に進む。
【００４０】
ステップＳ１０４でシャッタースイッチ（ＳＷ２）が押されずに、更にシャッタースイッチ（ＳＷ１）も解除されるとステップＳ１０１に戻る。
【００４１】
ステップＳ１０５では、ステップＳ１０２の測光結果より、ストロボの発光モードを参照して、もしくは平均輝度値を見て平均輝度値が所定値未満であるか否かを判定する。ここで、判定する輝度値は単純な加算平均による平均輝度値に限らず、特定被写体に重みを付けた重みづけ平均、または特定被写体の領域に限定した輝度値などでもよい。
【００４２】
ステップＳ１５０では、ステップＳ１０５で平均輝度値が所定値以上と判定された場合、もしくはストロボモードを非発光に設定していた場合に、ストロボを発光させずに通常の撮影を行う。
【００４３】
ステップＳ１０６では、ステップＳ１０２の測光結果より、画像処理部２０、又はシステム制御部５０で、ＡＥ処理を行う。具体的には、画像処理部２０で算出した輝度レベルに基づいて絞りの口径、電子シャッタ速度、ゲインなどの制御値を算出する。システム制御部５０は、算出された制御値に応じた制御値をゲイン制御部４０、電子シャッタ制御部４１、絞り制御部４３に送信する。
【００４４】
また、画像処理部２０で算出された輝度レベル、測距結果に基づくレンズ駆動量から、ストロボユニット４６をプリ発光した時に、特定色などの反射光輝度レベルが適正なレベルで得ることができる絞りの口径、電子シャッタ速度、ゲインなどの制御値などを設定する。
【００４５】
尚、絞りの口径、ストロボのプリ発光光量は、被写体が階調不良にならない程度に設定し、また、外光の影響を極力少なくするために電子シャッタの速度は高速度に設定し、画像信号のノイズを低減するために低めのゲインを設定する。
【００４６】
ステップＳ１０７では、絞り１２、撮像素子１４、ＡＧＣ回路１５に口径、電子シャッタ速度、ゲインなどの制御値が設定されると、ストロボユニット４６を発光させずに被写体の撮影を行う。画像信号は撮像素子部１４、ＡＧＣ回路１５、Ａ／Ｄ変換器１６を介して画像処理部２０に送信され、ここで所定の処理を施された後、非発光画像としてメモリ３０に記憶する。
【００４７】
ステップＳ１０８では、ストロボユニット４６を発光（プリ発光）させて撮影を行い、撮像素子部１４、ＡＧＣ回路１５、Ａ／Ｄ変換器１６を介して画像処理部２０に送信され、ここで所定の処理を施された後、プリ発光画像としてメモリ３０に記憶する。
【００４８】
ステップＳ１０９では、画像処理部２０にて、メモリ３０に記憶されている非発光画像データとプリ発光画像データを読み出し、２つの画像データを画素単位で差分をとり、反射光輝度データを生成する。
【００４９】
ここで、非発光画像データの光源である環境光と、プリ発光画像データの光源である環境光とストロボ光の差分をとることで、環境光の影響を除去した画像データを取得することができ、光源をストロボ光のみとした反射光輝度データを生成できる。
【００５０】
ステップＳ１１０では、ストロボユニット４６との通信により、ストロボユニット４６がバウンス撮影であるか否かを判別する。
【００５１】
ステップＳ１１１では、ストロボのプリ発光画像撮影時の色温度情報を取得する。内蔵のストロボを使用する場合には、予め画像処理部２０又はメモリ３０などに記憶した色温度情報を読み出す。
【００５２】
ステップＳ１１２では、ホワイトバランス制御を行う。ステップＳ１１１で得られたストロボユニット４６の色温度情報をメモリから読み出し、ストロボユニット４６の色温度（分光特性）に応じて画像データのＲ／Ｇ／Ｂの各信号値のゲインを調整する。即ち、光源をストロボのみに限定することができるため、より正確なホワイトバランス補正を行うことが可能となる。
【００５３】
ステップＳ１６０では、ストロボユニット４６がバウンス状態の場合には、光源をストロボ光に限定することができないため、既知のオートホワイトバランス処理を行い、Ｒ／Ｇ／Ｂ各色のゲインを調整する。
【００５４】
ステップＳ１１３では、ゲイン調整画像データに基づいて所定の演算を行い、発光量の目標値を算出する。算出した発光量の目標値に基づいたストロボ制御信号をストロボユニット４６に設定する。尚、本演算は図４のフローチャートを参照して詳しく後述する。
【００５５】
ステップＳ１１４では、ストロボユニット４６に設定した本発光量に基づいてストロボを発光させて、被写体の本撮影が行われる。
【００５６】
図３は、図２のステップＳ１０２における測距及び測光処理の詳細を示すフローチャートである。
【００５７】
まずステップＳ２０１で、撮像素子１４から電荷信号を読み出し、Ａ／Ｄ変換器１６を介してデジタルデータに変換し、そのデジタルデータを画像処理部２０に入力する。
【００５８】
ステップＳ２０２では、画像処理部２０にて、入力された画像データから光源の色温度を判断し、各画素の色毎に所定のゲインをかける（ＡＷＢ処理）。
【００５９】
ステップＳ２０３では、画像処理部２０にて、入力された画像データを用いて既知のコントラスト方式のＡＦ（オートフォーカス）処理を行う。
【００６０】
ステップＳ２０４では、上述の画像データに対して所定の処理を行い、露光量の目標値を算出する。算出した露光量の目標値に基づいて絞り、シャッタ速度、ゲインの調整値を決定する。尚、本演算は図４のフローチャートを参照して詳しく後述する。
【００６１】
図４は、図２のステップＳ１１３及び図３のステップＳ２０４における輝度演算の詳細を示すフローチャートである。
【００６２】
図５は、図４の各ステップをイメージ図で説明したものである。
【００６３】
ステップＳ３０１では、図２のステップＳ１１２と、図３のステップＳ２０３から画像データが入力され、画像処理部２０にて所定面積の測定ブロックに分割する。
【００６４】
図５（ａ）は、人物が撮像素子１４のリニアリティ範囲内（ダイナミックレンジ内）で撮影出来ており、その背景がダイナミックレンジ外の範囲の信号値で白つぶれしてしまっている画像データの例を示している。
【００６５】
図５（ｂ）は、画像データ（ａ）を４×４の測定ブロック２００に分割したものである。
【００６６】
ステップＳ３０２では、測定ブロック内の複数の色成分を含む複数画素ずつの画素グループに分け、該画素グループ内の画素出力全てが撮像素子１４のリニアリティ範囲に入るグループ数（割合）を算出する。
【００６７】
図５（ｃ）は、（３，４）ブロックを４０個のグループに細分化した例である。該グループ内の複数の色成分の画素出力全てが撮像素子１４のリニアリティ範囲（ダイナミックレンジ）に対応する所定の範囲内に入るグループを所定範囲内グループ２１０とする。図５（ｄ）は、ブロック毎に所定範囲内グループ数を算出したものである。（０，０）ブロックに示したように、背景が白つぶれしている場合には、所定範囲内グループ数は０となる。
【００６８】
ステップＳ３０３では、該所定範囲内グループ数が所定数以上存在するか否かを判別する。
【００６９】
図５（ｄ）では、所定数を２０とした時に、所定数以上存在すると判定されたブロックを所定範囲内ブロック２２０として表示している。
【００７０】
ステップＳ３０４では、ステップＳ３０１で分割したブロック単位で、ブロック内の画素全体の輝度の平均値である全体輝度平均値を算出する。
【００７１】
図５（ｅ）は、ブロック毎に輝度平均値を算出したものである。
【００７２】
ステップＳ３０５では、ブロック毎に、該画素グループ内の画素出力がそれぞれ所定の範囲内に入る画素グループのみを使用した輝度平均値と色成分毎の平均値を算出する。
【００７３】
図５（ｆ）、（ｇ）は、所定範囲内ブロック２２０内の所定の範囲内に入る画素グループのみを使用した輝度平均値と色成分毎の色成分平均値である。
【００７４】
ステップＳ３０６では、ステップＳ３０５で求めた該所定範囲内の色成分毎の平均値が、特定色を示す色空間上の所定領域の中に存在するか否かを判定し、存在するブロックを特定色ブロックと判定する。
【００７５】
ステップＳ３０７では、特定色ブロックの判定結果や所定範囲内グループの数に応じて、ブロックごとの重み付け係数を調節する。重み付け係数の調節は図７を参照して詳しく後述する。
【００７６】
図５（ｈ）は、特定色として肌色を抽出したときの結果を特定色ブロック２３０として示し、特定色に応じた重み付け係数を示したものである。
【００７７】
ステップＳ３０８では、ステップＳ３０６より算出された重み付け係数と、ステップＳ３０４、もしくはステップＳ３０６より検出したブロック毎の輝度平均値との加重平均により、特定色を最適な露出で撮影するための露光量、本発光量の目標値を算出する。
【００７８】
図５（ｉ）は、ステップＳ３０４、もしくはステップＳ３０６より検出したブロック毎の輝度平均値である。所定範囲内ブロック２２０は図５（ｆ）に示す所定範囲内輝度平均値、所定範囲内ブロック以外のブロックは図５（ｅ）に示す輝度平均値を輝度平均値とする。
【００７９】
図５（ｊ）は、図５（ｉ）に示した輝度平均値と図５（ｈ）に示した重み付け係数の乗算値の総和“５６５０”から、重み付け係数の総和“２８５”で除算処理（加重平均処理）によって、目標値“１９．８”を算出する。
【００８０】
次に、上述した図２及び図３のフローチャートにおいて、特定色の被写体を抽出するときの抽出方法について、図６を用いて具体的に説明する。
【００８１】
図６は、縦軸Ｒ／Ｇ、横軸Ｂ／Ｇの色差平面を簡略化したグラフである。
【００８２】
特定色の抽出では、まず撮影環境における光源の色温度を判定してオートホワイトバランス制御を行う。これは、画面内の画像から得られる輝度情報や色情報により光源の色温度を推定し、白い被写体を撮影した時に、各Ｒ、Ｇ、Ｂの画素出力が同一のレベルになるように、Ｒ、Ｇ、Ｂのゲインを調整する既知の技術である。
【００８３】
尚、ストロボ使用時にストロボがバウンス撮影ではない場合には、プリ発光の色温度がわかっているので、これを光源の色温度とする。
【００８４】
ストロボユニット４６がバウンス撮影時には、ストロボが周辺の反射物を介して被写体にストロボ光が届くため、反射物の反射率によって色温度（分光特性）が変化する。
【００８５】
そのため、バウンス撮影時には、画像データの色情報などにより、既知の手段でホワイトバランスの制御を行う。
【００８６】
ホワイトバランス制御した画像データより、ブロックの色成分毎の平均値をＢ／Ｇ値とＲ／Ｇ値の色差信号とする。色差信号の二次元平面上（色空間）において、特定色がプロットされる範囲が決まっているため、ブロック毎のダイナミックレンジ内色成分毎の平均値が色空間上で特定色を示す所定範囲内に入るか否かを判定する（ステップＳ３０６）。
【００８７】
例えば、特定色として肌色を抽出する場合に、肌色は図６に示す色空間において左上（第二象限）の範囲に存在することがわかっているため、左上の範囲に特定色枠を設定し、肌色の抽出を行う。
【００８８】
ここで、グループ内のＲ、Ｇ、Ｂ画素１色でも撮像素子１４のリニアリティ範囲外であると、Ｒ、Ｇ、Ｂの比率が変化し色空間上で異なる位置にプロットされてしまう。
【００８９】
そのため、ブロック内で複数の色成分を含む数画素ずつの画素グループ内の画素出力全てが所定の範囲内に入る画素のみを使用した色成分毎の平均値が色空間上で特定色枠に入るか否かの判定を行う。
【００９０】
該ブロック内でリニアリティ範囲内のグループ数が所定のグループ数より少ない（所定のグループ割合より小さい）場合には、ブロック内の特定色の割合がそもそも小さいため、該ブロックが特定色枠に入るか否かの判定は行わない。
【００９１】
また、外付けストロボを使用する場合には、ストロボユニット４６との通信により、ストロボユニット４６のプリ発光時の色温度を取得する。内蔵のストロボを使用する場合には、予め画像処理部又はメモリなどに記憶したデータを読み出す。
【００９２】
次に、ストロボを発光せずに被写体を撮影した非発光画像データを取得し、メモリ３０に記憶する。次に、ストロボユニット４６を発光させて被写体を撮影したプリ発光画像データをメモリ３０に記憶し、記憶した２つの画像データを画素単位で差分をとり、反射光輝度データを生成する。
【００９３】
ここで、非発光画像データの光源である環境光と、プリ発光画像データの光源である環境光とストロボ光の差分演算をとることで、環境光の影響を除去した反射光画像データを取得することができ、光源をストロボ光に特定することができる。
【００９４】
ストロボユニット４６のプリ発光時の分光特性は、ストロボユニットとの通信により取得するか、予め画像処理部２０又はメモリ３０などに記憶したデータを読み出すことで取得する。
【００９５】
ストロボユニット４６の分光特性と撮像素子１４の分光特性は常に一定の値となるため、ストロボと撮像素子の分光特性データを予め画像処理部２０又はメモリ３０などに記憶しておく。画像処理部２０は色温度データや分光特性データを分析し、分析結果に基づいて反射光画像データのＲ、Ｇ、Ｂのゲイン（ホワイトバランス調整値）を調整することで、正確なホワイトバランス調整が可能となる。
【００９６】
次に、上述した図２及び図３のフローチャートにおいて、重み付け係数の調節方法について、図７を用いて具体的に説明する。
【００９７】
図７は、各特定色、非特定色への重み付け係数を表にまとめたものである。該所定範囲内グループ数に応じて、重み付け係数値を調節する。
【００９８】
例えば、特定色として肌色を抽出した場合には、その領域を適正な露出で撮影するために、大きい重み付け係数値を設定する。
【００９９】
ストロボ発光時に、特定色として反射率の高い鏡や金屏風を検出した場合には、その反射光の影響を抑制するため、他のブロックに比べて重み付け係数値を小さく設定する。
【０１００】
また、非特定色のブロックも、該所定範囲内グループ数が小さい場合には、重み付け係数を小さく設定する。これは、画面内でダイナミックレンジ外の物体が及ぼす影響を抑制するためである。
【０１０１】
以上のように、本実施形態では、発光画像と非発光画像との差分から特定色を検出する処理において、各ブロックでダイナミックレンジ内の色成分毎の平均値が色空間上で特定色を示す所定範囲内に入る画素グループを検出する。該画素グループの各ブロックに占める割合に基づいて各ブロックの重みづけ係数を決めて最終的な露出制御を行う。これらの処理により、ダイナミックレンジ外の物体が及ぼす影響を抑制し、人間の肌色を適正な露出で撮影することができる。また、反射率の高い鏡や金屏風の反射光の影響を抑える適正な露出で撮影することができる。
【０１０２】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【０１０３】
（他の実施形態）
本発明の目的は以下のようにしても達成できる。すなわち、前述した各実施形態の機能を実現するための手順が記述されたソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給する。そしてそのシステムまたは装置のコンピュータ（またはＣＰＵ、ＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行するのである。
【０１０４】
この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体およびプログラムは本発明を構成することになる。
【０１０５】
また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどが挙げられる。また、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等も用いることができる。
【０１０６】
また、コンピュータが読み出したプログラムコードを実行可能とすることにより、前述した各実施形態の機能が実現される。さらに、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。
【０１０７】
更に、以下の場合も含まれる。まず記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う。
【符号の説明】
【０１０８】
１０ 撮像装置
１１ 撮影レンズ
１２ 絞り
１３ シャッタ
１４ 撮像素子
１５ ＡＧＣ回路
１６ Ａ／Ｄ変換器
２０ 画像処理部
２１ メモリ制御部
３０ メモリ
４０ ゲイン制御部
４１ 電子シャッタ制御部
４２ シャッタ制御部
４３ 絞り制御部
４４ ズーム制御部
４５ 測距制御部
４６ ストロボユニット
５０ システム制御部
６０ 記録部
【技術分野】
【０００１】
本発明は、特定色を有する被写体に対して適正な露出制御や、適正な発光量でストロボ撮影できる撮影装置及び撮像装置の制御方法に関するものである。
【背景技術】
【０００２】
従来、人物などを撮影する場合に撮影画面内の人物の顔を検出し、顔の検出領域が適正な輝度で撮影できるように露出設定を行う技術が提案されている（特許文献１）。
【０００３】
また、フラッシュ撮影を行う場合に、閃光装置の非発光画像と予備発光させた画像の差分を演算し、閃光装置の光のみの被写体反射光を抽出し、閃光装置の光源色が分かっていることを用いて、特定色を検出する技術が提案されている（特許文献２）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平０５−０４１８３０号公報
【特許文献２】特開２００５−０６５１８６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述の特許文献に開示された従来技術では、ストロボ撮影時に被写体が近距離にある場合や、ストロボ光を正反射する物体を撮影する場合には、撮像センサのダイナミックレンジが足りなくなることがあり、肌色を正しく検知することができない。
【０００６】
また、上述の特許文献では、撮影画像をブロックに分割し、ブロック内の肌色の割合で発光量重み付け係数を変えているため、ブロック内に肌色が多く入っているが、しかし反射率が高い物体も入っている場合にはそのブロックに大きな重みづけをして発光量を決定してしまうため、顔を適正露出で撮影することができない。
【０００７】
ブロックの分割数を増やすことで上述問題を軽減できるが、演算にかかる処理時間が延びてしまう。
【０００８】
上述した課題に鑑み、本発明は、撮影画面内で画像のダイナミックレンジの範囲外の信号値を持つ物体が及ぼす影響を抑制することができる撮像装置及び撮像装置の制御方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明に関わる撮像装置は、請求項１に記載のとおり、被写体像を撮像する撮像手段と、前記撮像手段の出力から複数の色成分からなる画像データを生成する生成手段と、前記画像データに対してホワイトバランス調整を行うホワイトバランス制御手段と、前記画像データを複数のブロックに分割する分割手段と、前記ブロック内を複数の色成分を含む複数画素の画素グループで分け、前記ブロック単位で画素出力がそれぞれ前記撮像手段のダイナミックレンジに対応する所定の範囲内に入る画素グループの色成分毎の平均値を算出する色成分平均手段と、前記ブロック単位で、画素出力が前記所定の範囲内に入る画素グループの輝度平均値を算出する輝度平均手段と、前記各ブロックの中で画素出力が前記所定の範囲内に入る画素グループが所定数以上存在する所定範囲内ブロックを特定する特定手段と、前記所定範囲内ブロックの中で、前記色成分ごとの平均値が色空間上で特定色を示す範囲内の値である特定色ブロックであるか否かを判定する判定手段と、前記所定範囲内ブロックの輝度値として、前記輝度平均値に前記判定手段による判定結果に基づく重みを乗算した値を用いて前記撮像手段の撮像における露光量を算出する露光量算出手段と、を有することを特徴とする。
【００１０】
また、本発明に係わる撮像装置の制御方法は、請求項９に記載の通り、被写体像を撮像する撮像手段と、前記撮像手段の出力から複数の色成分からなる画像データを生成する生成手段と、を有する撮像装置の制御方法であって、前記画像データに対してホワイトバランス調整を行うホワイトバランス制御ステップと、前記画像データを複数のブロックに分割する分割ステップと、前記ブロック内を複数の色成分を含む複数画素の画素グループで分け、前記ブロック単位で画素出力がそれぞれ前記撮像手段のダイナミックレンジに対応する所定の範囲内に入る画素グループの色成分毎の平均値を算出する色成分平均ステップと、前記ブロック単位で、画素出力が前記所定の範囲内に入る画素グループの輝度平均値を算出する輝度平均ステップと、前記各ブロックの中で画素出力が前記所定の範囲内に入る画素グループが所定数以上存在する所定範囲内ブロックを特定する特定ステップと、
前記所定範囲内ブロックの中で、前記色成分ごとの平均値が色空間上で特定色を示す範囲内の値である特定色ブロックであるか否かを判定する判定ステップと、前記所定範囲内ブロックの輝度値として、前記輝度平均値に前記判定ステップによる判定結果に基づく重みを乗算した値を用いて前記撮像手段の撮像における露光量を算出する露光量算出ステップと、を有することを特徴とする。
【発明の効果】
【００１１】
本発明によれば、撮影画面内で画像のダイナミックレンジの範囲外の信号値を持つ物体が及ぼす影響を抑制することができる。
【図面の簡単な説明】
【００１２】
【図１】第１の実施形態における撮像装置の構成を示すブロック図である。
【図２】本発明の形態に係る撮像装置における撮影処理を説明するフローチャートである。
【図３】本発明の形態に係る撮像装置における撮影処理を説明するフローチャートである。
【図４】本発明の形態に係る撮像装置における撮影処理を説明するフローチャートである。
【図５】本発明の形態に係る撮像装置における撮影処理を説明するための説明図である。
【図６】特定色を抽出するときに、基準となる色差平面を簡略化して示した説明図である。
【図７】重み付け係数の調節方法を説明するための表である。
【発明を実施するための形態】
【００１３】
（第１の実施形態）
以下、図面を参照して第１の実施形態を説明する。図１は、本実施形態における撮像装置の１例としてのデジタルカメラ１０のブロック図である。なお、図１において実線矢印は制御線等の信号線を表わし、波線矢印は通信線を表わす。
【００１４】
撮影レンズ１１は、ズーム制御部４４からの制御信号または測距制御部４５からの制御信号に従ってレンズ位置を動かす。
【００１５】
絞り１２は、絞り制御部４３から出力される絞り制御信号に従って開閉し、入射する光の量を制御する。
【００１６】
シャッタ１３は、シャッタ制御部４２から送られてくるシャッタ制御信号に従って、シャッタを動作させる。
【００１７】
撮像素子１４は、電子シャッタ制御部４１から送られてくる電子シャッタ制御信号に従い、撮影レンズ１１、絞り１２、シャッタ１３の光学系から導かれる光束による光学像（被写体像）を電気信号に変換してＡＧＣ（オートゲインコントロール）回路１５に出力する。
【００１８】
ＡＧＣ回路１５は、ゲイン制御部４０から送られてくるゲイン制御信号に従い、撮像素子１４から送られてくる画像データのゲイン調整をして、Ａ／Ｄ（アナログ／デジタル）変換器１６に出力する。
【００１９】
Ａ／Ｄ変換器１６は、ＡＧＣ回路１５から送られてくるゲイン調整された画像データにＡ／Ｄ変換を行う。Ａ／Ｄ変換後の画像データは、画像処理部２０、メモリ制御部２１を介して、或いは画像処理部２０を介さずに直接メモリ制御部２１から、メモリ３０に書き込まれる。
【００２０】
画像処理部２０は、Ａ／Ｄ変換器１６からのデータ或いはメモリ制御部２１からのデータに対して所定の画素補正処理、ＡＷＢ（オートホワイトバランス）処理、色変換処理、特定色データの抽出等の画像処理を行う。本実施形態では、Ａ／Ｄ変換後の画像データはＲ（赤）／Ｇ（緑）／Ｂ（青）の信号値がベイヤー配列をなしており、画像処理部２０は画素補間処理により画素ごとにＲ／Ｇ／Ｂの信号値を持つように補間される。その後、ＡＷＢ処理が行われ、色変換処理にてＹ（輝度）、ＵＶ（色差）信号値に変換されて出力される。しかし、入力される画像データの信号の形態及び画像処理部２０から出力される画像データの形態はこれに限らない。
【００２１】
また画像処理部２０は、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてシステム制御部５０が各部を制御する。例えば、測距制御部４５に対してＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理を実行する。また、ゲイン制御部４０、電子シャッタ制御部４１、シャッタ制御部４２、絞り制御部４３、ストロボユニット４６に対してＡＥ（自動露出）処理を実行する。さらに、ストロボユニット４６に対して、ＥＦ（ストロボプリ発光）処理を実行する。また、メモリ３０に記憶してある画像データを読みだして、記録部７０に送信する。
【００２２】
メモリ制御部２１は、Ａ／Ｄ変換器１６、画像処理部２０、メモリ３０を制御する。
【００２３】
ゲイン制御部４０は、ＡＧＣ回路１５に、撮像素子１４から出力される信号に掛けるゲイン値の指示信号を送信する。
【００２４】
電子シャッタ制御部４１は、撮像素子１４を制御して、撮像素子１４に取り込まれる電荷の蓄積開始タイミング及び蓄積量を制御する。
【００２５】
シャッタ制御部４２は、シャッタ１３を制御することでシャッタースピードを制御する。絞り制御部４３は絞り１２の口径を制御することで、撮像素子１４に導く光束を制御する。
【００２６】
ズーム制御部４４は、撮影レンズ１１のレンズ位置を制御することでズーミングを制御する。
【００２７】
測距制御部４５は、撮影レンズ１１のレンズ位置を制御することでフォーカシングを制御する。
【００２８】
ストロボユニット４６は、ＡＦ補助光の投光機能、ストロボ調光機能を有する。
【００２９】
ここで、調光機能はプリ発光で被写界の反射光や特定色検知を行い、被写界が適正な露出となるようにストロボの発光量を決定する技術である。
【００３０】
また、ストロボユニットがバウンス機構を有する場合、バウンス位置に応じてプリ発光の発光量や、特定色検知処理を変更する。
【００３１】
システム制御部５０は、各部に制御信号を送るなどしてデジタルカメラ１０全体の動作を制御している。
【００３２】
メモリ３０は、このシステム制御部５０の動作用の定数、変数、プログラム等を記憶している。また、各部で行われる処理動作における作業用のメモリとしても用いられる。
【００３３】
シャッタスイッチ６０は、シャッタスイッチＳＷ１とＳＷ２から成り、ＳＷ１は、不図示のシャッタボタンの操作途中でオンとなり、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理等の動作開始を指示する。ＳＷ２は、不図示のシャッタボタンの操作完了でオンとなる。ストロボ撮影モードの場合は、ＳＷ２のオンによってストロボユニット４６の発光制御、及び撮像素子１４から読み出した信号をＡ／Ｄ変換器１６、メモリ制御部２１を介してメモリ３０に画像データとして書き込む露光処理の開始を指示する。さらに画像処理部２０やメモリ制御部２１での演算を用いた現像処理、メモリ３０から画像データを読み出し、記録部７０に画像データを書き込む記録処理という一連の処理の動作開始を指示する。
【００３４】
記録部７０は、画像処理部２０から送られてくる画像信号を記録媒体に記録する。
【００３５】
以下、図２乃至図４のフローチャートと図５の画像データを参照して、本実施形態に係る撮影動作を説明する。
【００３６】
図２は、撮影前の待機状態から撮影開始までの動作を示すフローチャート図である。
【００３７】
ステップＳ１０１で、シャッタースイッチ（ＳＷ１）が押されていると、ステップＳ１０２に進む。
【００３８】
ステップＳ１０２では、Ａ／Ｄ変換器１６から入力された画像データに対して、測距及び測光処理を行う。尚、ステップＳ１０２の測距及び測光処理の詳細は図３のフローチャートを参照して詳しく後述する。
【００３９】
ステップＳ１０３でシャッタスイッチ（ＳＷ２）が押されると、ステップＳ１０５に進む。
【００４０】
ステップＳ１０４でシャッタースイッチ（ＳＷ２）が押されずに、更にシャッタースイッチ（ＳＷ１）も解除されるとステップＳ１０１に戻る。
【００４１】
ステップＳ１０５では、ステップＳ１０２の測光結果より、ストロボの発光モードを参照して、もしくは平均輝度値を見て平均輝度値が所定値未満であるか否かを判定する。ここで、判定する輝度値は単純な加算平均による平均輝度値に限らず、特定被写体に重みを付けた重みづけ平均、または特定被写体の領域に限定した輝度値などでもよい。
【００４２】
ステップＳ１５０では、ステップＳ１０５で平均輝度値が所定値以上と判定された場合、もしくはストロボモードを非発光に設定していた場合に、ストロボを発光させずに通常の撮影を行う。
【００４３】
ステップＳ１０６では、ステップＳ１０２の測光結果より、画像処理部２０、又はシステム制御部５０で、ＡＥ処理を行う。具体的には、画像処理部２０で算出した輝度レベルに基づいて絞りの口径、電子シャッタ速度、ゲインなどの制御値を算出する。システム制御部５０は、算出された制御値に応じた制御値をゲイン制御部４０、電子シャッタ制御部４１、絞り制御部４３に送信する。
【００４４】
また、画像処理部２０で算出された輝度レベル、測距結果に基づくレンズ駆動量から、ストロボユニット４６をプリ発光した時に、特定色などの反射光輝度レベルが適正なレベルで得ることができる絞りの口径、電子シャッタ速度、ゲインなどの制御値などを設定する。
【００４５】
尚、絞りの口径、ストロボのプリ発光光量は、被写体が階調不良にならない程度に設定し、また、外光の影響を極力少なくするために電子シャッタの速度は高速度に設定し、画像信号のノイズを低減するために低めのゲインを設定する。
【００４６】
ステップＳ１０７では、絞り１２、撮像素子１４、ＡＧＣ回路１５に口径、電子シャッタ速度、ゲインなどの制御値が設定されると、ストロボユニット４６を発光させずに被写体の撮影を行う。画像信号は撮像素子部１４、ＡＧＣ回路１５、Ａ／Ｄ変換器１６を介して画像処理部２０に送信され、ここで所定の処理を施された後、非発光画像としてメモリ３０に記憶する。
【００４７】
ステップＳ１０８では、ストロボユニット４６を発光（プリ発光）させて撮影を行い、撮像素子部１４、ＡＧＣ回路１５、Ａ／Ｄ変換器１６を介して画像処理部２０に送信され、ここで所定の処理を施された後、プリ発光画像としてメモリ３０に記憶する。
【００４８】
ステップＳ１０９では、画像処理部２０にて、メモリ３０に記憶されている非発光画像データとプリ発光画像データを読み出し、２つの画像データを画素単位で差分をとり、反射光輝度データを生成する。
【００４９】
ここで、非発光画像データの光源である環境光と、プリ発光画像データの光源である環境光とストロボ光の差分をとることで、環境光の影響を除去した画像データを取得することができ、光源をストロボ光のみとした反射光輝度データを生成できる。
【００５０】
ステップＳ１１０では、ストロボユニット４６との通信により、ストロボユニット４６がバウンス撮影であるか否かを判別する。
【００５１】
ステップＳ１１１では、ストロボのプリ発光画像撮影時の色温度情報を取得する。内蔵のストロボを使用する場合には、予め画像処理部２０又はメモリ３０などに記憶した色温度情報を読み出す。
【００５２】
ステップＳ１１２では、ホワイトバランス制御を行う。ステップＳ１１１で得られたストロボユニット４６の色温度情報をメモリから読み出し、ストロボユニット４６の色温度（分光特性）に応じて画像データのＲ／Ｇ／Ｂの各信号値のゲインを調整する。即ち、光源をストロボのみに限定することができるため、より正確なホワイトバランス補正を行うことが可能となる。
【００５３】
ステップＳ１６０では、ストロボユニット４６がバウンス状態の場合には、光源をストロボ光に限定することができないため、既知のオートホワイトバランス処理を行い、Ｒ／Ｇ／Ｂ各色のゲインを調整する。
【００５４】
ステップＳ１１３では、ゲイン調整画像データに基づいて所定の演算を行い、発光量の目標値を算出する。算出した発光量の目標値に基づいたストロボ制御信号をストロボユニット４６に設定する。尚、本演算は図４のフローチャートを参照して詳しく後述する。
【００５５】
ステップＳ１１４では、ストロボユニット４６に設定した本発光量に基づいてストロボを発光させて、被写体の本撮影が行われる。
【００５６】
図３は、図２のステップＳ１０２における測距及び測光処理の詳細を示すフローチャートである。
【００５７】
まずステップＳ２０１で、撮像素子１４から電荷信号を読み出し、Ａ／Ｄ変換器１６を介してデジタルデータに変換し、そのデジタルデータを画像処理部２０に入力する。
【００５８】
ステップＳ２０２では、画像処理部２０にて、入力された画像データから光源の色温度を判断し、各画素の色毎に所定のゲインをかける（ＡＷＢ処理）。
【００５９】
ステップＳ２０３では、画像処理部２０にて、入力された画像データを用いて既知のコントラスト方式のＡＦ（オートフォーカス）処理を行う。
【００６０】
ステップＳ２０４では、上述の画像データに対して所定の処理を行い、露光量の目標値を算出する。算出した露光量の目標値に基づいて絞り、シャッタ速度、ゲインの調整値を決定する。尚、本演算は図４のフローチャートを参照して詳しく後述する。
【００６１】
図４は、図２のステップＳ１１３及び図３のステップＳ２０４における輝度演算の詳細を示すフローチャートである。
【００６２】
図５は、図４の各ステップをイメージ図で説明したものである。
【００６３】
ステップＳ３０１では、図２のステップＳ１１２と、図３のステップＳ２０３から画像データが入力され、画像処理部２０にて所定面積の測定ブロックに分割する。
【００６４】
図５（ａ）は、人物が撮像素子１４のリニアリティ範囲内（ダイナミックレンジ内）で撮影出来ており、その背景がダイナミックレンジ外の範囲の信号値で白つぶれしてしまっている画像データの例を示している。
【００６５】
図５（ｂ）は、画像データ（ａ）を４×４の測定ブロック２００に分割したものである。
【００６６】
ステップＳ３０２では、測定ブロック内の複数の色成分を含む複数画素ずつの画素グループに分け、該画素グループ内の画素出力全てが撮像素子１４のリニアリティ範囲に入るグループ数（割合）を算出する。
【００６７】
図５（ｃ）は、（３，４）ブロックを４０個のグループに細分化した例である。該グループ内の複数の色成分の画素出力全てが撮像素子１４のリニアリティ範囲（ダイナミックレンジ）に対応する所定の範囲内に入るグループを所定範囲内グループ２１０とする。図５（ｄ）は、ブロック毎に所定範囲内グループ数を算出したものである。（０，０）ブロックに示したように、背景が白つぶれしている場合には、所定範囲内グループ数は０となる。
【００６８】
ステップＳ３０３では、該所定範囲内グループ数が所定数以上存在するか否かを判別する。
【００６９】
図５（ｄ）では、所定数を２０とした時に、所定数以上存在すると判定されたブロックを所定範囲内ブロック２２０として表示している。
【００７０】
ステップＳ３０４では、ステップＳ３０１で分割したブロック単位で、ブロック内の画素全体の輝度の平均値である全体輝度平均値を算出する。
【００７１】
図５（ｅ）は、ブロック毎に輝度平均値を算出したものである。
【００７２】
ステップＳ３０５では、ブロック毎に、該画素グループ内の画素出力がそれぞれ所定の範囲内に入る画素グループのみを使用した輝度平均値と色成分毎の平均値を算出する。
【００７３】
図５（ｆ）、（ｇ）は、所定範囲内ブロック２２０内の所定の範囲内に入る画素グループのみを使用した輝度平均値と色成分毎の色成分平均値である。
【００７４】
ステップＳ３０６では、ステップＳ３０５で求めた該所定範囲内の色成分毎の平均値が、特定色を示す色空間上の所定領域の中に存在するか否かを判定し、存在するブロックを特定色ブロックと判定する。
【００７５】
ステップＳ３０７では、特定色ブロックの判定結果や所定範囲内グループの数に応じて、ブロックごとの重み付け係数を調節する。重み付け係数の調節は図７を参照して詳しく後述する。
【００７６】
図５（ｈ）は、特定色として肌色を抽出したときの結果を特定色ブロック２３０として示し、特定色に応じた重み付け係数を示したものである。
【００７７】
ステップＳ３０８では、ステップＳ３０６より算出された重み付け係数と、ステップＳ３０４、もしくはステップＳ３０６より検出したブロック毎の輝度平均値との加重平均により、特定色を最適な露出で撮影するための露光量、本発光量の目標値を算出する。
【００７８】
図５（ｉ）は、ステップＳ３０４、もしくはステップＳ３０６より検出したブロック毎の輝度平均値である。所定範囲内ブロック２２０は図５（ｆ）に示す所定範囲内輝度平均値、所定範囲内ブロック以外のブロックは図５（ｅ）に示す輝度平均値を輝度平均値とする。
【００７９】
図５（ｊ）は、図５（ｉ）に示した輝度平均値と図５（ｈ）に示した重み付け係数の乗算値の総和“５６５０”から、重み付け係数の総和“２８５”で除算処理（加重平均処理）によって、目標値“１９．８”を算出する。
【００８０】
次に、上述した図２及び図３のフローチャートにおいて、特定色の被写体を抽出するときの抽出方法について、図６を用いて具体的に説明する。
【００８１】
図６は、縦軸Ｒ／Ｇ、横軸Ｂ／Ｇの色差平面を簡略化したグラフである。
【００８２】
特定色の抽出では、まず撮影環境における光源の色温度を判定してオートホワイトバランス制御を行う。これは、画面内の画像から得られる輝度情報や色情報により光源の色温度を推定し、白い被写体を撮影した時に、各Ｒ、Ｇ、Ｂの画素出力が同一のレベルになるように、Ｒ、Ｇ、Ｂのゲインを調整する既知の技術である。
【００８３】
尚、ストロボ使用時にストロボがバウンス撮影ではない場合には、プリ発光の色温度がわかっているので、これを光源の色温度とする。
【００８４】
ストロボユニット４６がバウンス撮影時には、ストロボが周辺の反射物を介して被写体にストロボ光が届くため、反射物の反射率によって色温度（分光特性）が変化する。
【００８５】
そのため、バウンス撮影時には、画像データの色情報などにより、既知の手段でホワイトバランスの制御を行う。
【００８６】
ホワイトバランス制御した画像データより、ブロックの色成分毎の平均値をＢ／Ｇ値とＲ／Ｇ値の色差信号とする。色差信号の二次元平面上（色空間）において、特定色がプロットされる範囲が決まっているため、ブロック毎のダイナミックレンジ内色成分毎の平均値が色空間上で特定色を示す所定範囲内に入るか否かを判定する（ステップＳ３０６）。
【００８７】
例えば、特定色として肌色を抽出する場合に、肌色は図６に示す色空間において左上（第二象限）の範囲に存在することがわかっているため、左上の範囲に特定色枠を設定し、肌色の抽出を行う。
【００８８】
ここで、グループ内のＲ、Ｇ、Ｂ画素１色でも撮像素子１４のリニアリティ範囲外であると、Ｒ、Ｇ、Ｂの比率が変化し色空間上で異なる位置にプロットされてしまう。
【００８９】
そのため、ブロック内で複数の色成分を含む数画素ずつの画素グループ内の画素出力全てが所定の範囲内に入る画素のみを使用した色成分毎の平均値が色空間上で特定色枠に入るか否かの判定を行う。
【００９０】
該ブロック内でリニアリティ範囲内のグループ数が所定のグループ数より少ない（所定のグループ割合より小さい）場合には、ブロック内の特定色の割合がそもそも小さいため、該ブロックが特定色枠に入るか否かの判定は行わない。
【００９１】
また、外付けストロボを使用する場合には、ストロボユニット４６との通信により、ストロボユニット４６のプリ発光時の色温度を取得する。内蔵のストロボを使用する場合には、予め画像処理部又はメモリなどに記憶したデータを読み出す。
【００９２】
次に、ストロボを発光せずに被写体を撮影した非発光画像データを取得し、メモリ３０に記憶する。次に、ストロボユニット４６を発光させて被写体を撮影したプリ発光画像データをメモリ３０に記憶し、記憶した２つの画像データを画素単位で差分をとり、反射光輝度データを生成する。
【００９３】
ここで、非発光画像データの光源である環境光と、プリ発光画像データの光源である環境光とストロボ光の差分演算をとることで、環境光の影響を除去した反射光画像データを取得することができ、光源をストロボ光に特定することができる。
【００９４】
ストロボユニット４６のプリ発光時の分光特性は、ストロボユニットとの通信により取得するか、予め画像処理部２０又はメモリ３０などに記憶したデータを読み出すことで取得する。
【００９５】
ストロボユニット４６の分光特性と撮像素子１４の分光特性は常に一定の値となるため、ストロボと撮像素子の分光特性データを予め画像処理部２０又はメモリ３０などに記憶しておく。画像処理部２０は色温度データや分光特性データを分析し、分析結果に基づいて反射光画像データのＲ、Ｇ、Ｂのゲイン（ホワイトバランス調整値）を調整することで、正確なホワイトバランス調整が可能となる。
【００９６】
次に、上述した図２及び図３のフローチャートにおいて、重み付け係数の調節方法について、図７を用いて具体的に説明する。
【００９７】
図７は、各特定色、非特定色への重み付け係数を表にまとめたものである。該所定範囲内グループ数に応じて、重み付け係数値を調節する。
【００９８】
例えば、特定色として肌色を抽出した場合には、その領域を適正な露出で撮影するために、大きい重み付け係数値を設定する。
【００９９】
ストロボ発光時に、特定色として反射率の高い鏡や金屏風を検出した場合には、その反射光の影響を抑制するため、他のブロックに比べて重み付け係数値を小さく設定する。
【０１００】
また、非特定色のブロックも、該所定範囲内グループ数が小さい場合には、重み付け係数を小さく設定する。これは、画面内でダイナミックレンジ外の物体が及ぼす影響を抑制するためである。
【０１０１】
以上のように、本実施形態では、発光画像と非発光画像との差分から特定色を検出する処理において、各ブロックでダイナミックレンジ内の色成分毎の平均値が色空間上で特定色を示す所定範囲内に入る画素グループを検出する。該画素グループの各ブロックに占める割合に基づいて各ブロックの重みづけ係数を決めて最終的な露出制御を行う。これらの処理により、ダイナミックレンジ外の物体が及ぼす影響を抑制し、人間の肌色を適正な露出で撮影することができる。また、反射率の高い鏡や金屏風の反射光の影響を抑える適正な露出で撮影することができる。
【０１０２】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【０１０３】
（他の実施形態）
本発明の目的は以下のようにしても達成できる。すなわち、前述した各実施形態の機能を実現するための手順が記述されたソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給する。そしてそのシステムまたは装置のコンピュータ（またはＣＰＵ、ＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行するのである。
【０１０４】
この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体およびプログラムは本発明を構成することになる。
【０１０５】
また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどが挙げられる。また、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等も用いることができる。
【０１０６】
また、コンピュータが読み出したプログラムコードを実行可能とすることにより、前述した各実施形態の機能が実現される。さらに、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。
【０１０７】
更に、以下の場合も含まれる。まず記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う。
【符号の説明】
【０１０８】
１０ 撮像装置
１１ 撮影レンズ
１２ 絞り
１３ シャッタ
１４ 撮像素子
１５ ＡＧＣ回路
１６ Ａ／Ｄ変換器
２０ 画像処理部
２１ メモリ制御部
３０ メモリ
４０ ゲイン制御部
４１ 電子シャッタ制御部
４２ シャッタ制御部
４３ 絞り制御部
４４ ズーム制御部
４５ 測距制御部
４６ ストロボユニット
５０ システム制御部
６０ 記録部
【特許請求の範囲】
【請求項１】
被写体像を撮像する撮像手段と、
前記撮像手段の出力から複数の色成分からなる画像データを生成する生成手段と、
前記画像データに対してホワイトバランス調整を行うホワイトバランス制御手段と、
前記画像データを複数のブロックに分割する分割手段と、
前記ブロック内を複数の色成分を含む複数画素の画素グループで分け、前記ブロック単位で画素出力がそれぞれ前記撮像手段のダイナミックレンジに対応する所定の範囲内に入る画素グループの色成分毎の平均値を算出する色成分平均手段と、
前記ブロック単位で、画素出力が前記所定の範囲内に入る画素グループの輝度平均値を算出する輝度平均手段と、
前記各ブロックの中で画素出力が前記所定の範囲内に入る画素グループが所定数以上存在する所定範囲内ブロックを特定する特定手段と、
前記所定範囲内ブロックの中で、前記色成分ごとの平均値が色空間上で特定色を示す範囲内の値である特定色ブロックであるか否かを判定する判定手段と、
前記所定範囲内ブロックの輝度値として、前記輝度平均値に前記判定手段による判定結果に基づく重みを乗算した値を用いて前記撮像手段の撮像における露光量を算出する露光量算出手段と、を有することを特徴とする撮像装置。
【請求項２】
前記ブロック単位で、ブロック内の全体の画素の全体輝度平均値を算出する全体輝度平均手段を有し、
前記露光量算出手段は、前記所定範囲内ブロック以外のブロックの輝度値として前記全体輝度平均値を用いて前記露光量を算出する
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記生成手段は、ストロボをプリ発光せずに前記撮像手段で撮像した非発光画像データと、前記ストロボをプリ発光させて前記撮像手段で撮像したプリ発光画像データを生成し、その差分演算より反射光画像データを生成し、前記画像データとすることを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記露光量算出手段は、前記所定範囲内ブロックの輝度値として、前記輝度平均値に前記判定手段による判定結果に基づく重みを乗算した値を用いて前記ストロボの発光量を算出することを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記判定手段は、予め記憶してある前記ストロボのプリ発光時の色温度データ又は分光特性データを用いて、前記特定色ブロックの判定を行うことを特徴とする請求項３または４に記載の撮像装置。
【請求項６】
前記ホワイトバランス制御手段は、ストロボのバウンス撮影の場合には、前記反射光画像データからホワイトバランス調整値を演算し、ホワイトバランス制御を行うことを特徴とする請求項３または４に記載の撮像装置。
【請求項７】
前記判定手段（２０、Ｓ３０６）は、撮影モードに基づいて色空間上の前記特定色を示す範囲を設定することを特徴とする請求項１乃至６のいずれか１つに記載の撮像装置。
【請求項８】
前記露光量算出手段は、前記判定手段で特定色ブロックと判定されたブロックに前記特定色ブロックと判定されていないブロックに比べて大きい重みを乗算することを特徴とする請求項１乃至７のいずれか１つに記載の撮像装置。
【請求項９】
被写体像を撮像する撮像手段と、前記撮像手段の出力から複数の色成分からなる画像データを生成する生成手段と、を有する撮像装置の制御方法であって、
前記画像データに対してホワイトバランス調整を行うホワイトバランス制御ステップと、
前記画像データを複数のブロックに分割する分割ステップと、
前記ブロック内を複数の色成分を含む複数画素の画素グループで分け、前記ブロック単位で画素出力がそれぞれ前記撮像手段のダイナミックレンジに対応する所定の範囲内に入る画素グループの色成分毎の平均値を算出する色成分平均ステップと、
前記ブロック単位で、画素出力が前記所定の範囲内に入る画素グループの輝度平均値を算出する輝度平均ステップと、
前記各ブロックの中で画素出力が前記所定の範囲内に入る画素グループが所定数以上存在する所定範囲内ブロックを特定する特定ステップと、
前記所定範囲内ブロックの中で、前記色成分ごとの平均値が色空間上で特定色を示す範囲内の値である特定色ブロックであるか否かを判定する判定ステップと、
前記所定範囲内ブロックの輝度値として、前記輝度平均値に前記判定ステップによる判定結果に基づく重みを乗算した値を用いて前記撮像手段の撮像における露光量を算出する露光量算出ステップと、を有することを特徴とする撮像装置の制御方法。
【請求項１０】
請求項９に記載の撮像装置の制御方法の手順が記述されたコンピュータで実行可能なプログラム。
【請求項１１】
コンピュータに、請求項９に記載の撮像装置の制御方法の各工程を実行させるためのプログラムが記憶されたコンピュータが読み取り可能な記憶媒体。
【請求項１】
被写体像を撮像する撮像手段と、
前記撮像手段の出力から複数の色成分からなる画像データを生成する生成手段と、
前記画像データに対してホワイトバランス調整を行うホワイトバランス制御手段と、
前記画像データを複数のブロックに分割する分割手段と、
前記ブロック内を複数の色成分を含む複数画素の画素グループで分け、前記ブロック単位で画素出力がそれぞれ前記撮像手段のダイナミックレンジに対応する所定の範囲内に入る画素グループの色成分毎の平均値を算出する色成分平均手段と、
前記ブロック単位で、画素出力が前記所定の範囲内に入る画素グループの輝度平均値を算出する輝度平均手段と、
前記各ブロックの中で画素出力が前記所定の範囲内に入る画素グループが所定数以上存在する所定範囲内ブロックを特定する特定手段と、
前記所定範囲内ブロックの中で、前記色成分ごとの平均値が色空間上で特定色を示す範囲内の値である特定色ブロックであるか否かを判定する判定手段と、
前記所定範囲内ブロックの輝度値として、前記輝度平均値に前記判定手段による判定結果に基づく重みを乗算した値を用いて前記撮像手段の撮像における露光量を算出する露光量算出手段と、を有することを特徴とする撮像装置。
【請求項２】
前記ブロック単位で、ブロック内の全体の画素の全体輝度平均値を算出する全体輝度平均手段を有し、
前記露光量算出手段は、前記所定範囲内ブロック以外のブロックの輝度値として前記全体輝度平均値を用いて前記露光量を算出する
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記生成手段は、ストロボをプリ発光せずに前記撮像手段で撮像した非発光画像データと、前記ストロボをプリ発光させて前記撮像手段で撮像したプリ発光画像データを生成し、その差分演算より反射光画像データを生成し、前記画像データとすることを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記露光量算出手段は、前記所定範囲内ブロックの輝度値として、前記輝度平均値に前記判定手段による判定結果に基づく重みを乗算した値を用いて前記ストロボの発光量を算出することを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記判定手段は、予め記憶してある前記ストロボのプリ発光時の色温度データ又は分光特性データを用いて、前記特定色ブロックの判定を行うことを特徴とする請求項３または４に記載の撮像装置。
【請求項６】
前記ホワイトバランス制御手段は、ストロボのバウンス撮影の場合には、前記反射光画像データからホワイトバランス調整値を演算し、ホワイトバランス制御を行うことを特徴とする請求項３または４に記載の撮像装置。
【請求項７】
前記判定手段（２０、Ｓ３０６）は、撮影モードに基づいて色空間上の前記特定色を示す範囲を設定することを特徴とする請求項１乃至６のいずれか１つに記載の撮像装置。
【請求項８】
前記露光量算出手段は、前記判定手段で特定色ブロックと判定されたブロックに前記特定色ブロックと判定されていないブロックに比べて大きい重みを乗算することを特徴とする請求項１乃至７のいずれか１つに記載の撮像装置。
【請求項９】
被写体像を撮像する撮像手段と、前記撮像手段の出力から複数の色成分からなる画像データを生成する生成手段と、を有する撮像装置の制御方法であって、
前記画像データに対してホワイトバランス調整を行うホワイトバランス制御ステップと、
前記画像データを複数のブロックに分割する分割ステップと、
前記ブロック内を複数の色成分を含む複数画素の画素グループで分け、前記ブロック単位で画素出力がそれぞれ前記撮像手段のダイナミックレンジに対応する所定の範囲内に入る画素グループの色成分毎の平均値を算出する色成分平均ステップと、
前記ブロック単位で、画素出力が前記所定の範囲内に入る画素グループの輝度平均値を算出する輝度平均ステップと、
前記各ブロックの中で画素出力が前記所定の範囲内に入る画素グループが所定数以上存在する所定範囲内ブロックを特定する特定ステップと、
前記所定範囲内ブロックの中で、前記色成分ごとの平均値が色空間上で特定色を示す範囲内の値である特定色ブロックであるか否かを判定する判定ステップと、
前記所定範囲内ブロックの輝度値として、前記輝度平均値に前記判定ステップによる判定結果に基づく重みを乗算した値を用いて前記撮像手段の撮像における露光量を算出する露光量算出ステップと、を有することを特徴とする撮像装置の制御方法。
【請求項１０】
請求項９に記載の撮像装置の制御方法の手順が記述されたコンピュータで実行可能なプログラム。
【請求項１１】
コンピュータに、請求項９に記載の撮像装置の制御方法の各工程を実行させるためのプログラムが記憶されたコンピュータが読み取り可能な記憶媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１３−２１６５８（Ｐ２０１３−２１６５８Ａ）
【公開日】平成２５年１月３１日（２０１３．１．３１）
【国際特許分類】
【出願番号】特願２０１１−１５５９０８（Ｐ２０１１−１５５９０８）
【出願日】平成２３年７月１４日（２０１１．７．１４）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２５年１月３１日（２０１３．１．３１）
【国際特許分類】
【出願日】平成２３年７月１４日（２０１１．７．１４）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]