撮像装置、及びその制御方法
【課題】撮像素子を用いた１回の撮像で取得した画像データに基づいて光源色などの情報を検出する際の検出精度を向上させる技術を提供する。
【解決手段】光学系により撮像面の第１の領域に結像された被写体像を第１の感度で光電変換することにより第１の画像データを出力し、前記光学系により前記撮像面の第２の領域に結像された被写体像を前記第１の感度よりも高感度である第２の感度で光電変換することにより第２の画像データを出力する撮像手段と、前記第１の画像データ及び前記第２の画像データに基づいて、前記被写体を照射する光源の色、前記被写体に含まれる特定の色、及び前記被写体の輝度のうちの少なくとも１つを検出する検出手段と、を備え、前記検出手段は、前記第１の画像データに含まれる各画素値のうち前記第１の領域のダイナミックレンジ内の画素値、及び、前記第２の画像データに含まれる各画素値のうち前記第２の領域のダイナミックレンジ内の画素値に基づいて、前記検出を行うことを特徴とする撮像装置を提供する。
【解決手段】光学系により撮像面の第１の領域に結像された被写体像を第１の感度で光電変換することにより第１の画像データを出力し、前記光学系により前記撮像面の第２の領域に結像された被写体像を前記第１の感度よりも高感度である第２の感度で光電変換することにより第２の画像データを出力する撮像手段と、前記第１の画像データ及び前記第２の画像データに基づいて、前記被写体を照射する光源の色、前記被写体に含まれる特定の色、及び前記被写体の輝度のうちの少なくとも１つを検出する検出手段と、を備え、前記検出手段は、前記第１の画像データに含まれる各画素値のうち前記第１の領域のダイナミックレンジ内の画素値、及び、前記第２の画像データに含まれる各画素値のうち前記第２の領域のダイナミックレンジ内の画素値に基づいて、前記検出を行うことを特徴とする撮像装置を提供する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、及びその制御方法に関する。
【背景技術】
【０００２】
撮像装置で取得した画像データに基づいて周囲光の色温度（即ち、光源色）を検出し、ホワイトバランスの調整を行う技術がある（特許文献１参照）。しかしながら、撮像素子のダイナミックレンジ外で画像データが取得された場合、光源色を正しく検出することができない場合がある。例えば、画面内で輝度差が大きいシーンでは、白とび又は黒つぶれが発生するため、光源色を正しく検出できない場合がある。同様の問題は、撮像装置で取得した画像データに基づいて光源色を検出する場合に限らず、被写体中の特定の色（例えば、肌色）や被写体輝度を検出する場合など、様々な情報を検出する場合に発生する。
【０００３】
そこで、露光量を変えて取得した複数の画像データに基づいて光源色を検出することにより、より精度の高いホワイトバランス調整を行う方法が提案されている（特許文献２参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０− ５０６５１号公報
【特許文献２】特開２００８−２５２７１２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１のように露光量を変えて複数の画像データを取得する場合、露光や演算に時間がかかり、ホワイトバランス調整などに要する時間が長くなる。その結果、例えばレリーズタイムラグが発生してしまう。
【０００６】
本発明はこのような状況に鑑みてなされたものであり、撮像素子を用いた１回の撮像で取得した画像データに基づいて光源色などの情報を検出する際の検出精度を向上させる技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、第１の本発明は、光学系により撮像面の第１の領域に結像された被写体像を第１の感度で光電変換することにより第１の画像データを出力し、前記光学系により前記撮像面の第２の領域に結像された被写体像を前記第１の感度よりも高感度である第２の感度で光電変換することにより第２の画像データを出力する撮像手段と、前記第１の画像データ及び前記第２の画像データに基づいて、前記被写体を照射する光源の色、前記被写体に含まれる特定の色、及び前記被写体の輝度のうちの少なくとも１つを検出する検出手段と、を備え、前記検出手段は、前記第１の画像データに含まれる各画素値のうち前記第１の領域のダイナミックレンジ内の画素値、及び、前記第２の画像データに含まれる各画素値のうち前記第２の領域のダイナミックレンジ内の画素値に基づいて、前記検出を行うことを特徴とする撮像装置を提供する。
【０００８】
また、第２の本発明は、光学系により撮像面の第１の領域に結像された被写体像を第１の感度で光電変換することにより第１の画像データを出力し、前記光学系により前記撮像面の第２の領域に結像された被写体像を前記第１の感度よりも高感度である第２の感度で光電変換することにより第２の画像データを出力する撮像手段と、前記第１の画像データ及び前記第２の画像データに基づいて、前記被写体の輝度を検出する検出手段と、を備えることを特徴とする撮像装置を提供する。
【０００９】
なお、その他の本発明の特徴は、添付図面及び以下の発明を実施するための形態における記載によって更に明らかになるものである。
【発明の効果】
【００１０】
以上の構成により、本発明によれば、撮像素子を用いた１回の撮像で取得した画像データに基づいて光源色などの情報を検出する際の検出精度を向上させることが可能となる。
【図面の簡単な説明】
【００１１】
【図１】第１の実施形態に係るデジタルカメラ１００（カメラ本体）、及びこれに接続可能なレンズユニット２００及びストロボユニット３００の概略構成図
【図２】測光センサ１０６の詳細な構成について説明するための図
【図３】デジタルカメラ１００による撮像処理を示すフローチャート
【図４】測光センサ１０６により得られた画像データを低感度画像データ及び高感度画像データに分離する処理の概念図
【図５】画像データを複数のブロックに分割する処理の概念図
【図６】色差平面における特定色の位置を示す概念図
【発明を実施するための形態】
【００１２】
以下、添付図面を参照して、本発明の実施形態を説明する。なお、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。また、実施形態の中で説明されている特徴の組み合わせすべてが、本発明に必須とは限らない。
【００１３】
［第１の実施形態］
以下、本発明の撮像装置をデジタルカメラに適用した実施形態について説明する。図１は、第１の実施形態に係るデジタルカメラ１００（カメラ本体）、及びこれに接続可能なレンズユニット２００及びストロボユニット３００の概略構成図である。
【００１４】
最初に、デジタルカメラ１００及びレンズユニット２００の構成について説明する。ＣＰＵ１０１は、デジタルカメラ１００の各部を制御するマイクロコンピュータＣＰＵ（以下、「カメラマイコン」とも呼ぶ）である。撮像素子１０２は、赤外カットフィルタやローパスフィルタ等を含むＣＣＤやＣＭＯＳ等の撮像素子であり、レンズユニット２００によって撮影時に被写体の像が結像される。シャッター１０３は、非撮影時には撮像素子１０２を遮光し、撮影時には開いて撮像素子１０２へ光線を導く。ハーフミラー１０４は、非撮影時にレンズユニット２００より入射する光の一部を反射してピント板１０５に結像させる。
【００１５】
測光センサ１０６は、ＣＣＤやＣＯＭＳ等の撮像素子を使用することにより測光や追尾を行う。本実施形態では、測光センサとしてストライプ型のＣＣＤを用いた例を紹介する。詳細は図２を参照して後述するが、このＣＣＤは縦Ｍ画素、横Ｎ画素のＭ×Ｎ個の画素を有する。また、測光センサ１０６は、ピント板１０５に結像された被写体像を、後述するペンタプリズム１０７を介して、やぶにらみの位置から見込んでいる。
【００１６】
ペンタプリズム１０７は、ピント板１０５の被写体像を測光センサ１０６及び不図示の光学ファインダーに導く。メモリ１０８は、ＲＡＭやＲＯＭ等のメモリであり、ＣＰＵ１０１に接続されている。焦点検出回路１０９は、レンズユニット２００より入射し、ハーフミラー１０４を通過してＡＦミラー１１０で反射した光線の一部に基づいて測距を行う。
【００１７】
ＩＣＰＵ１１１は、測光センサ１０６が取得した画像データに基づく画像処理・演算用のＣＰＵであり、ここでストロボの本発光量の演算が行われる。メモリ１１２は、ＩＣＰＵ１１１に接続されているＲＡＭやＲＯＭ等のメモリである。本実施形態では、デジタルカメラ１００はＩＣＰＵ１１１のように測光センサ１０６専用のＣＰＵを有するものとしたが、ＣＰＵ１０１がＩＣＰＵ１１１の処理を行ってもよい。
【００１８】
ＬＰＵ２０１は、レンズユニット２００内のＣＰＵであり、被写体との距離情報等をカメラマイコン（ＣＰＵ１０１）に送る。
【００１９】
次に、ストロボユニット３００の構成について説明する。ＳＣＰＵ３０１は、ストロボユニット３００の各部の動作を制御するマイクロコンピュータＳＣＰＵ（以下、「ストロボマイコン」とも呼ぶ）である。
【００２０】
光量制御装置３０２は、電池電圧を昇圧し後述する光源３０５を点灯させるための昇圧回路や発光の開始及び停止を制御する電流制御回路等を含む。ズーム光学系３０３は、フレネルレンズなどのパネル等から構成され、ストロボユニット３００の照射角を変更する。反射傘３０４は、光源の発光光束を集光し被写体に照射する。光源３０５は、キセノン管や白色ＬＥＤなどから構成される光源である。
【００２１】
次に、図２を参照して、測光センサ１０６の詳細な構成について説明する。本実施形態では、図２の上段に示すように、測光センサ１０６はＲ（赤），Ｇ（緑），Ｂ（青）の画素がストライプ状に並んだ（即ち、垂直方向に同色の画素が並んだ）ストライプ型ＣＣＤにより実装される。このようにストライプ型ＣＣＤを使用することにより、垂直転送路内で垂直方向にアナログ的に画素混合（画素信号の加算）をすることが可能となる。
【００２２】
本実施形態では、測光センサ１０６の一部の領域の感度を向上させて測光センサ１０６のダイナミックレンジを拡大する。具体的には、ＩＣＰＵ１１１は、図２の下段に示すように、１画素単独での読み出し及び４画素混合での読み出しを、行方向に交互に繰り返す。ここで、４画素混合とは、図２の下段に示すように、垂直方向に連続する同色の画素から得られる信号同士を４画素分混合し、これを１つの信号電荷として出力する処理である。従ってこの場合、測光センサ１０６により取得される画像データのサイズは垂直方向が（２Ｎ／５）画素になる。
【００２３】
このように、混合なしの（１画素単位の）画像データに加えて４画素混合の画像データを取得することにより、混合なしの画像データのみの場合と比べて低輝度側にダイナミックレンジを２段広げることができる。
【００２４】
なお、画素混合数は４画素に限定される訳ではなく、一般化すると、画素混合数はＫ画素（Ｋは２以上の整数）である。例えば画素混合数を８画素にすれば低輝度側に３段、１６画素にすれば低輝度側に４段、それぞれダイナミックレンジを広げることができる。
【００２５】
また、測光センサ１０６のダイナミックレンジを拡大するための具体的な構成は、図２に示すもの（画素混合）に限定されない。例えば、測光センサ１０６の画素の領域毎にゲインを変える（即ち、受光素子の感度は同じだが領域毎に感度を変える）ことによりダイナミックレンジを拡大してもよい。或いは、測光センサ１０６の画素の領域毎に受光素子の大きさを変えることによりダイナミックレンジを拡大してもよい。このように、いかなる構成であれ、１回の撮像（露光）により少なくとも２種類の異なる感度の画像データを出力可能である限り、本実施形態の測光センサ１０６の構成として利用可能である。
【００２６】
換言すると、測光センサ１０６の撮像面は、結像された被写体像を低感度（第１の感度）で光電変換する低感度領域（第１の領域）と、結像された被写体像を高感度（第２の感度）で光電変換する高感度領域（第２の領域）とを含む。このような構成により、測光センサ１０６は１回の撮像（露光）により、低感度画像データ（第１の画像データ）及び高感度画像データ（第２の画像データ）を出力することができる。
【００２７】
図２の例では、１，６，１１，１６，．．．行に存在する画素が低感度領域の画素であり、その他の画素が高感度領域の画素である（即ち、１行分の画素を含む低感度領域とＫ行分の画素を含む高感度領域とが交互に繰り返し現れる）。高感度領域においては、Ｋ個の受光素子から得られる電気信号が合計されるので、受光素子１つ１つの感度は低感度領域と同じであっても、高感度での光電変換が行われる。このような構成により、測光センサ１０６は１回の撮像により、Ｍ×（Ｎ／５）画素の低感度画像データ、及びＭ×（Ｎ／５）画素の高感度画像データ（第２の画像データ）を出力することができる（図２の下段及び図４の下段参照）。
【００２８】
次に、図３のフローチャートを参照して、デジタルカメラ１００による撮像処理について説明する。デジタルカメラ１００の電源がＯＮになり動作モードが撮像モードに設定されると、本フローチャートの処理が開始する。
【００２９】
Ｓ１０１で、ＣＰＵ１０１は、シャッターボタン（不図示）の半押し状態に対応するＳＷ１がＯＮであるか否かを判定する。ＯＮであれば処理はＳ１０２に進む。Ｓ１０２で、ＩＣＰＵ１１１は、測光センサ１０６から画像データ（低感度画像データ及び高感度画像データ）を取得する。
【００３０】
Ｓ１０３で、ＩＣＰＵ１１１は、Ｓ１０２で取得した画像データに基づいて、外光の色温度（即ち、光源色）を検出する。光源度検出処理の一例について以下に説明する。
【００３１】
各種光源下において、無彩色のものが色空間でどの範囲に分布するかは経験的に分かっている。そこで、光源度検出処理では、各光源下で白が分布する範囲を網羅した色相範囲を設定する。上記色相範囲内の画素のみを加算したＲＧＢ積分値を光源色とする。また、輝度等に応じて色相範囲を限定してもよい。例えば、輝度が高い場合には、日中の撮影と推定できるため、光源色色相範囲を狭めることができる。なお、光源度検出処理の色相範囲設定は、任意の知られている方法によって行うことができるので、これ以上の詳細な説明は省略する。
【００３２】
本実施形態では、Ｓ１０２で取得された画像データは、図２の下段に示す通りである（図２の下段においては、低感度画像データ及び高感度画像データが一体的に示されている）。図２の下段に示すように、混合なしと４画素混合の各画素は交互に配置され、ほぼ同じ位置を見ている。画素混合数が同じＲＧＢの３画素を画素グループ４００とする。図２の下段に示す画像データ内に、画素グループはＭ×（２Ｎ／５）／３個存在する。ＩＣＰＵ１１１は、画素グループ４００内のＲＧＢ各色がダイナミックレンジ内であるグループのみ、光源度検出処理に用いる。
【００３３】
無彩色のものが白とび、もしくは黒つぶれした画素グループは、光源度検出処理に用いることができない。しかし、図２の下段に示すようなダイナミックレンジを拡大した画像データを用いることで、白とびや黒つぶれを抑制することができるため、光源度検出処理の精度が向上する。
【００３４】
上述の光源度検出処理は一例に過ぎない。一般化すると、ＩＣＰＵ１１１は、低感度画像データに含まれる各画素値のうち低感度領域のダイナミックレンジ内の画素値、及び、高感度画像データに含まれる各画素値のうち高感度領域のダイナミックレンジ内の画素値に基づいて、光源度検出処理を行う。ここで、高感度画像データに含まれる画素値は、４つの受光素子から得られる電気信号を合計することにより生成される。
【００３５】
次にＳ１０４で、ＩＣＰＵ１１１は、画像データ内で特定色が存在する領域を検出する。換言すると、ＩＣＰＵ１１１は、被写体に含まれる特定の色（例えば、肌色）を検出する。特定色検出処理の一例について以下に説明する。
【００３６】
ＩＣＰＵ１１１は、光源度検出処理の結果に従い、白い被写体を撮影した時に、各Ｒ，Ｇ，Ｂの画素出力が同一のレベルになるように、Ｒ，Ｇ，Ｂのゲインを画像データ全体にかける。次に、ＩＣＰＵ１１１は、Ｓ１０２で取得した画像データを、図４に示すように、画素混合なしの画像データと画素混合あり（４画素混合）の画像データとに分離する。
【００３７】
次に、ＩＣＰＵ１１１は、分離した画像データの各画素を、図５に示すような複数（横Ｉ個、縦Ｊ個）のブロック（測光領域）に分割する。１つのブロック内にＲ，Ｇ，Ｂの画素がそれぞれ同じ数となるようにブロックの大きさを決めるとよい。各ブロックには横ｍ画素、縦ｎ画素の計ｍ×ｎ個の画素がある。１つのブロック内にＲ，Ｇ，Ｂの画素がそれぞれ同じ数になるようにブロックの大きさを決めると各ブロックにはＲ，Ｇ，Ｂの画素がそれぞれｍ×ｎ／３個ずつとなる。
【００３８】
ＩＣＰＵ１１１は、ここで得られた「混合なし画像」と「４画素混合画像」の画像データにおいて、各ブロック内の画素グループ内のＲＧＢがダイナミックレンジ内である割合と、その積分値Ｒｄｉｊ，Ｇｄｉｊ，Ｂｄｉｊとをそれぞれ求める。
【００３９】
各ブロックにて、「４画素混合画像」の画素値の半数以上がダイナミックレンジ内である場合には、「４画素混合画像」のＲｄｉｊ，Ｇｄｉｊ，ＢｄｉｊをこのブロックのＲＧＢとする。「４画素混合画像」が半数未満で、「混合なし画像」の画素値の半数以上がダイナミックレンジ内である場合には、「混合なし画像」のＲｄｉｊ，Ｇｄｉｊ，ＢｄｉｊをこのブロックのＲＧＢとする。どちらも半数に満たない場合には、Ｒｄｉｊ＝０、Ｇｄｉｊ＝０、Ｂｄｉｊ＝０として、このブロックについては以降の処理を行わない。
【００４０】
ここでは、「４画素混合画像」の方が「混合なし画像」よりも高範囲を占めているため、「４画素混合画像」を優先的に用いている。この考え方は、Ｓ１０３で説明したように画素をブロックに分割しない場合であっても利用可能である。即ち、ＩＣＰＵ１１１は、低感度画像データに含まれる第１の画素値が低感度領域のダイナミックレンジ内にあり、高感度画像データにおいて対応する位置に含まれる第２の画素値が高感度領域のダイナミックレンジ内にある場合、低感度領域の画素値（第１の画素値）を使用せずに検出を行う。
【００４１】
なお、ＩＣＰＵ１１１は、上述のようにブロック単位で特定色検出処理を行ってもよいが、Ｓ１０３における光源色検出処理と同様、画素単位で特定色検出処理を行ってもよい。同様に、ＩＣＰＵ１１１はＳ１０３において、画素単位ではなくブロック単位で光源色検出処理を行ってもよい。
【００４２】
次に、ＩＣＰＵ１１１は、各ブロックのＲＧＢ積分値に対して、色差平面で特定色判定を行う。図６は、縦軸Ｒ／Ｇ、横軸Ｂ／Ｇの色差平面を簡略化したグラフである。ホワイトバランス制御された画像データより、ブロックの色成分毎の平均値をＢ／Ｇ値とＲ／Ｇ値の色差信号とする。色差信号の二次元平面上（色空間）において、特定色がプロットされる範囲が決まっている。そこで、ＩＣＰＵ１１１は、色空間であらかじめサンプリングした特定色の情報から特定色枠を定め、ブロック毎のダイナミックレンジ内の色成分毎の平均値が色空間上で特定色枠内に入るか否かを判定する。
【００４３】
例えば、特定色として肌色を抽出する場合に、肌色は図６に示す色空間において左上（第二象限）の範囲に存在することがわかっている。そこで、ＩＣＰＵ１１１は、左上の範囲に特定色枠５００を設定し、肌色の抽出を行う。
【００４４】
肌色ブロックの領域範囲や位置情報を用いて、ＡＥ処理では肌色領域を対象とした露光量決定演算を実行可能である。またＡＦ処理では、肌色領域の重心に焦点を合わせるといった応用が可能となる。なお、ＡＥ処理及びＡＦ処理については、任意の知られている技術を利用可能であるので、これ以上の詳細な説明は省略する。
【００４５】
このように、Ｓ１０３と同様に、ダイナミックレンジを拡大した画像データを用いることで、白とびや黒つぶれを抑制することができるため、特定色検出処理の精度が向上する。
【００４６】
次に、Ｓ１０５で、ＩＣＰＵ１１１は被写体輝度を検出する。ＩＣＰＵ１１１は、Ｓ１０３で分離した「混合なし画像」及び「４画素混合画像」において、各ブロック内のＲ画素の平均値Ｒｉｊ、Ｇ画素の平均値Ｇｉｊ、及びＢ画素の平均値Ｂｉｊを求める。このＲｉｊ，Ｇｉｊ，Ｂｉｊから各ブロックの輝度値（Ｙｉｊ）を求める。Ｙｉｊは例えば以下の式によって求められる。
Ｙｉｊ＝Ｒａ×Ｒｉｊ＋Ｇａ×Ｇｉｊ＋Ｂａ×Ｂｉｊ
【００４７】
Ｒ画素、Ｇ画素、Ｂ画素の混合比Ｒａ，Ｇａ，Ｂａに適当な値を入れることでブロック毎の輝度値Ｙｉｊが求められる（例えばＲａ＝０．２９９、Ｇａ＝０．５８７、Ｂａ＝０．１１４）。
【００４８】
以上の計算によって「混合なし画像」の各ブロックの輝度値Ｙ１ｉｊと「４画素混合画像」の各ブロックの輝度値Ｙ４ｉｊが求められる。また、「混合なし画像」の各ブロックと「４画素混合画像」の各ブロックはほぼ同じ位置を見ており、あるブロックにおいてＹ１ｉｊとＹ４ｉｊが共にダイナミックレンジ内ならばＹ４ｉｊ≒４×Ｙ１ｉｊであると言える。
【００４９】
次に、ＩＣＰＵ１１１は、Ｙ１ｉｊとＹ４ｉｊの値からブロック全体のプリ発光反射光輝度値Ｙｓを算出する。その方法の一例を以下に説明する。
【００５０】
ＩＣＰＵ１１１は、各ブロックにおいてＹ４ｉｊが閾値Ｙｍａｘを超えているかどうかを判断し、超えている場合は「４画素混合画像」においてそのブロックは飽和している（ダイナミックレンジ外である）とみなす。そして、飽和していると判断されたブロックと同じ位置の「混合なし画像」の輝度値Ｙ１ｉｊを用い、そのブロックの輝度値を４×Ｙ１ｉｊとする。この操作により、「４画素混合画像」で飽和しているブロックを、より高輝度まで測光可能な「混合なし画像」で補うことができる。
【００５１】
本実施形態では、ブロック毎の輝度値Ｙ４ｉｊが飽和しているか否かでＹ４ｉｊの値をそのまま使用するか４×Ｙ１ｉｊを使用するかを決定した。しかし、Ｒ４ｉｊ，Ｇ４ｉｊ，Ｂ４ｉｊのそれぞれが飽和しているかどうかを判断し、このうち飽和しているものについてＲ１ｉｊ，Ｇ１ｉｊ，Ｂ１ｉｊの４倍と置き換えてもよい。
【００５２】
また、本実施形態では、ブロック毎の輝度値Ｙ４ｉｊが飽和していなければそのままＹ４ｉｊを使い、飽和していれば４×Ｙ１ｉｊを用いるものとした。しかし、Ｙ４ｉｊが飽和していないときに、Ｙ４ｉｊと４×Ｙ１ｉｊの平均をとるなどしてもよい。
【００５３】
ＩＣＰＵ１１１は、以上のようにして得られたＹ４ｉｊと４×Ｙ１ｉｊからなる各ブロックの輝度値を用いて、ブロック全体の輝度値Ｙｓを算出する。輝度値Ｙｓは、各ブロックの輝度値に重み付けをかけて算出される。
【００５４】
例えば、デジタルカメラ１００の撮像モード、測光モード、或いは撮影シーンなどに応じて、各ブロックの重み付けを変える。例えば、測光モードが中央重点測光モードであれば、画像の中央付近の測光エリアに対する重み付けを画像の周辺付近に対する重み付けよりも大きくする。また、評価測光モードであれば、Ｓ１０４で求めた肌色領域の重み付けを他の測光エリアに対する重み付け係数よりも大きくする。また、被写界の状況に応じてどのような撮影シーンか自動判別するシーン判別機能を有する場合、判別されたシーンに最適な重み付けをそれぞれの測光エリアに対して設定する。各ブロックの重み付けは、任意の知られている技術を利用可能であるので、これ以上の詳細な説明は省略する。
【００５５】
続いて、ＩＣＰＵ１１１は、この輝度値Ｙｓを予め用意しておいた対数変換テーブルを元に対数変換する。ＩＣＰＵ１１１は、対数変換を行った後に、レンズの絞りと、露光時間とを加味し、被写体の輝度（ＢＶ）を算出する。
【００５６】
次に、Ｓ１０６で、ＣＰＵ１０１は、焦点検出回路１０９を駆動することにより焦点検出動作を行う。このときレンズの距離情報が得られ、それをＬＰＵ２０１がＣＰＵ１０１に送信し、さらに測光の演算を行うＩＣＰＵ１１１に送信する。この情報により主被写体との距離（Ｄ）を推定することができる。
【００５７】
次に、Ｓ１０７で、ＣＰＵ１０１は、撮影開始のスイッチであるＳＷ２がＯＮであるか否かを判定する。ＯＮであれば処理はＳ１０８に進み、ＯＮでなければ処理はＳ１０１に戻る。
【００５８】
Ｓ１０８で、ＣＰＵ１０１は、ストロボ撮影が実行されるか否かを判定する。ストロボ撮影の場合、処理はＳ１１０に進み、そうでない場合、処理はＳ１０９に進む。Ｓ１０９で、ＣＰＵ１０１は、Ｓ１０５のＡＥ処理で算出された測光値に基づいて、本撮影処理を実行する。
【００５９】
Ｓ１１０で、ＣＰＵ１０１は、Ｓ１０６で得られた主被写体との距離（Ｄ）とＳ１０５で得られた被写体の輝度（ＢＶ）とに基づき、プリ前測光及びプリ発光時の蓄積時間を算出する。ここでは主被写体との距離（Ｄ）と被写体の輝度（ＢＶ）とに基づいてプリ前測光及びプリ発光時の蓄積時間を決定したが、そのどちらか片方で決めてもよい、またそのいずれにも頼らず常に同じ蓄積時間で測光を行うことも考えられる。
【００６０】
Ｓ１１１で、ＩＣＰＵ１１１は、プリ発光直前の被写体輝度を測光センサ１０６により得る。このプリ前測光では蓄積時間はＳ１１０で決定したものを使用する。また、測光センサ１０６からは、図２を参照して説明したように、低感度画像データ及び高感度画像データの両方が出力される。
【００６１】
Ｓ１１２で、ＩＣＰＵ１１１は、プリ発光を行い、プリ発光の反射光を測光センサ１０６により得る。Ｓ１１３で、ＩＣＰＵ１１１は、プリ発光時の画像データからプリ前測光の画像データを引いた反射光画像データを得る。これにより、外光の影響を除いたストロボ光のみの画像データが得られる。
【００６２】
Ｓ１１４で、ＩＣＰＵ１１１は、反射光画像データに対して、Ｓ１０３と同様の方法で、光源色検出処理を行う。Ｓ１１５で、ＩＣＰＵ１１１は、反射光画像データに対して、Ｓ１０４と同様の方法で、特定色検出処理を行う。
【００６３】
Ｓ１１６で、ＩＣＰＵ１１１は、反射光画像データに対して、Ｓ１０６と同様の方法で、反射光輝度値Ｙｓを算出する。続いて、ＩＣＰＵ１１１は、このプリ発光反射光輝度値Ｙｓを予め用意しておいた対数変換テーブルを元に対数変換し、対数変換後のプリ発光反射光輝度値Ｙｓｌｏｇを求める。ＩＣＰＵ１１１は、得られたプリ発光反射光輝度値Ｙｓｌｏｇから適輝度値Ｙｔ（対数）との差分ＤＦ＝Ｙｓｌｏｇ−Ｙｔを求める。この差分ＤＦ（プリ発光時の適光量との差分段数）とプリ発光の発光量Ａ０から本発光の発光量Ａｎｓｗｅｒを決定する。
Ａｎｓｗｅｒ＝Ａ０−ＤＦ
【００６４】
ＩＣＰＵ１１１は、この本発光の発光量ＡｎｓｗｅｒをＣＰＵ１０１に送り、ＣＰＵ１０１からＳＣＰＵ３０１に発光量を送る。
【００６５】
最後に、Ｓ１１７で、ＣＰＵ１０１からＳＣＰＵ３０１に発光の指令を出し、ＳＣＰＵ３０１が光量制御装置３０２を制御して本発光を実行し、本撮影を行う。
【００６６】
以上説明したように、本実施形態によれば、デジタルカメラ１００は、１回の撮像（露光）により、低感度画像データ（第１の画像データ）及び高感度画像データ（第２の画像データ）を出力することができる。これにより、撮像素子を用いた１回の撮像で取得した画像データに基づいて光源色などの情報を検出する際の検出精度を向上させることが可能となる。
【００６７】
［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【技術分野】
【０００１】
本発明は、撮像装置、及びその制御方法に関する。
【背景技術】
【０００２】
撮像装置で取得した画像データに基づいて周囲光の色温度（即ち、光源色）を検出し、ホワイトバランスの調整を行う技術がある（特許文献１参照）。しかしながら、撮像素子のダイナミックレンジ外で画像データが取得された場合、光源色を正しく検出することができない場合がある。例えば、画面内で輝度差が大きいシーンでは、白とび又は黒つぶれが発生するため、光源色を正しく検出できない場合がある。同様の問題は、撮像装置で取得した画像データに基づいて光源色を検出する場合に限らず、被写体中の特定の色（例えば、肌色）や被写体輝度を検出する場合など、様々な情報を検出する場合に発生する。
【０００３】
そこで、露光量を変えて取得した複数の画像データに基づいて光源色を検出することにより、より精度の高いホワイトバランス調整を行う方法が提案されている（特許文献２参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０− ５０６５１号公報
【特許文献２】特開２００８−２５２７１２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１のように露光量を変えて複数の画像データを取得する場合、露光や演算に時間がかかり、ホワイトバランス調整などに要する時間が長くなる。その結果、例えばレリーズタイムラグが発生してしまう。
【０００６】
本発明はこのような状況に鑑みてなされたものであり、撮像素子を用いた１回の撮像で取得した画像データに基づいて光源色などの情報を検出する際の検出精度を向上させる技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、第１の本発明は、光学系により撮像面の第１の領域に結像された被写体像を第１の感度で光電変換することにより第１の画像データを出力し、前記光学系により前記撮像面の第２の領域に結像された被写体像を前記第１の感度よりも高感度である第２の感度で光電変換することにより第２の画像データを出力する撮像手段と、前記第１の画像データ及び前記第２の画像データに基づいて、前記被写体を照射する光源の色、前記被写体に含まれる特定の色、及び前記被写体の輝度のうちの少なくとも１つを検出する検出手段と、を備え、前記検出手段は、前記第１の画像データに含まれる各画素値のうち前記第１の領域のダイナミックレンジ内の画素値、及び、前記第２の画像データに含まれる各画素値のうち前記第２の領域のダイナミックレンジ内の画素値に基づいて、前記検出を行うことを特徴とする撮像装置を提供する。
【０００８】
また、第２の本発明は、光学系により撮像面の第１の領域に結像された被写体像を第１の感度で光電変換することにより第１の画像データを出力し、前記光学系により前記撮像面の第２の領域に結像された被写体像を前記第１の感度よりも高感度である第２の感度で光電変換することにより第２の画像データを出力する撮像手段と、前記第１の画像データ及び前記第２の画像データに基づいて、前記被写体の輝度を検出する検出手段と、を備えることを特徴とする撮像装置を提供する。
【０００９】
なお、その他の本発明の特徴は、添付図面及び以下の発明を実施するための形態における記載によって更に明らかになるものである。
【発明の効果】
【００１０】
以上の構成により、本発明によれば、撮像素子を用いた１回の撮像で取得した画像データに基づいて光源色などの情報を検出する際の検出精度を向上させることが可能となる。
【図面の簡単な説明】
【００１１】
【図１】第１の実施形態に係るデジタルカメラ１００（カメラ本体）、及びこれに接続可能なレンズユニット２００及びストロボユニット３００の概略構成図
【図２】測光センサ１０６の詳細な構成について説明するための図
【図３】デジタルカメラ１００による撮像処理を示すフローチャート
【図４】測光センサ１０６により得られた画像データを低感度画像データ及び高感度画像データに分離する処理の概念図
【図５】画像データを複数のブロックに分割する処理の概念図
【図６】色差平面における特定色の位置を示す概念図
【発明を実施するための形態】
【００１２】
以下、添付図面を参照して、本発明の実施形態を説明する。なお、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。また、実施形態の中で説明されている特徴の組み合わせすべてが、本発明に必須とは限らない。
【００１３】
［第１の実施形態］
以下、本発明の撮像装置をデジタルカメラに適用した実施形態について説明する。図１は、第１の実施形態に係るデジタルカメラ１００（カメラ本体）、及びこれに接続可能なレンズユニット２００及びストロボユニット３００の概略構成図である。
【００１４】
最初に、デジタルカメラ１００及びレンズユニット２００の構成について説明する。ＣＰＵ１０１は、デジタルカメラ１００の各部を制御するマイクロコンピュータＣＰＵ（以下、「カメラマイコン」とも呼ぶ）である。撮像素子１０２は、赤外カットフィルタやローパスフィルタ等を含むＣＣＤやＣＭＯＳ等の撮像素子であり、レンズユニット２００によって撮影時に被写体の像が結像される。シャッター１０３は、非撮影時には撮像素子１０２を遮光し、撮影時には開いて撮像素子１０２へ光線を導く。ハーフミラー１０４は、非撮影時にレンズユニット２００より入射する光の一部を反射してピント板１０５に結像させる。
【００１５】
測光センサ１０６は、ＣＣＤやＣＯＭＳ等の撮像素子を使用することにより測光や追尾を行う。本実施形態では、測光センサとしてストライプ型のＣＣＤを用いた例を紹介する。詳細は図２を参照して後述するが、このＣＣＤは縦Ｍ画素、横Ｎ画素のＭ×Ｎ個の画素を有する。また、測光センサ１０６は、ピント板１０５に結像された被写体像を、後述するペンタプリズム１０７を介して、やぶにらみの位置から見込んでいる。
【００１６】
ペンタプリズム１０７は、ピント板１０５の被写体像を測光センサ１０６及び不図示の光学ファインダーに導く。メモリ１０８は、ＲＡＭやＲＯＭ等のメモリであり、ＣＰＵ１０１に接続されている。焦点検出回路１０９は、レンズユニット２００より入射し、ハーフミラー１０４を通過してＡＦミラー１１０で反射した光線の一部に基づいて測距を行う。
【００１７】
ＩＣＰＵ１１１は、測光センサ１０６が取得した画像データに基づく画像処理・演算用のＣＰＵであり、ここでストロボの本発光量の演算が行われる。メモリ１１２は、ＩＣＰＵ１１１に接続されているＲＡＭやＲＯＭ等のメモリである。本実施形態では、デジタルカメラ１００はＩＣＰＵ１１１のように測光センサ１０６専用のＣＰＵを有するものとしたが、ＣＰＵ１０１がＩＣＰＵ１１１の処理を行ってもよい。
【００１８】
ＬＰＵ２０１は、レンズユニット２００内のＣＰＵであり、被写体との距離情報等をカメラマイコン（ＣＰＵ１０１）に送る。
【００１９】
次に、ストロボユニット３００の構成について説明する。ＳＣＰＵ３０１は、ストロボユニット３００の各部の動作を制御するマイクロコンピュータＳＣＰＵ（以下、「ストロボマイコン」とも呼ぶ）である。
【００２０】
光量制御装置３０２は、電池電圧を昇圧し後述する光源３０５を点灯させるための昇圧回路や発光の開始及び停止を制御する電流制御回路等を含む。ズーム光学系３０３は、フレネルレンズなどのパネル等から構成され、ストロボユニット３００の照射角を変更する。反射傘３０４は、光源の発光光束を集光し被写体に照射する。光源３０５は、キセノン管や白色ＬＥＤなどから構成される光源である。
【００２１】
次に、図２を参照して、測光センサ１０６の詳細な構成について説明する。本実施形態では、図２の上段に示すように、測光センサ１０６はＲ（赤），Ｇ（緑），Ｂ（青）の画素がストライプ状に並んだ（即ち、垂直方向に同色の画素が並んだ）ストライプ型ＣＣＤにより実装される。このようにストライプ型ＣＣＤを使用することにより、垂直転送路内で垂直方向にアナログ的に画素混合（画素信号の加算）をすることが可能となる。
【００２２】
本実施形態では、測光センサ１０６の一部の領域の感度を向上させて測光センサ１０６のダイナミックレンジを拡大する。具体的には、ＩＣＰＵ１１１は、図２の下段に示すように、１画素単独での読み出し及び４画素混合での読み出しを、行方向に交互に繰り返す。ここで、４画素混合とは、図２の下段に示すように、垂直方向に連続する同色の画素から得られる信号同士を４画素分混合し、これを１つの信号電荷として出力する処理である。従ってこの場合、測光センサ１０６により取得される画像データのサイズは垂直方向が（２Ｎ／５）画素になる。
【００２３】
このように、混合なしの（１画素単位の）画像データに加えて４画素混合の画像データを取得することにより、混合なしの画像データのみの場合と比べて低輝度側にダイナミックレンジを２段広げることができる。
【００２４】
なお、画素混合数は４画素に限定される訳ではなく、一般化すると、画素混合数はＫ画素（Ｋは２以上の整数）である。例えば画素混合数を８画素にすれば低輝度側に３段、１６画素にすれば低輝度側に４段、それぞれダイナミックレンジを広げることができる。
【００２５】
また、測光センサ１０６のダイナミックレンジを拡大するための具体的な構成は、図２に示すもの（画素混合）に限定されない。例えば、測光センサ１０６の画素の領域毎にゲインを変える（即ち、受光素子の感度は同じだが領域毎に感度を変える）ことによりダイナミックレンジを拡大してもよい。或いは、測光センサ１０６の画素の領域毎に受光素子の大きさを変えることによりダイナミックレンジを拡大してもよい。このように、いかなる構成であれ、１回の撮像（露光）により少なくとも２種類の異なる感度の画像データを出力可能である限り、本実施形態の測光センサ１０６の構成として利用可能である。
【００２６】
換言すると、測光センサ１０６の撮像面は、結像された被写体像を低感度（第１の感度）で光電変換する低感度領域（第１の領域）と、結像された被写体像を高感度（第２の感度）で光電変換する高感度領域（第２の領域）とを含む。このような構成により、測光センサ１０６は１回の撮像（露光）により、低感度画像データ（第１の画像データ）及び高感度画像データ（第２の画像データ）を出力することができる。
【００２７】
図２の例では、１，６，１１，１６，．．．行に存在する画素が低感度領域の画素であり、その他の画素が高感度領域の画素である（即ち、１行分の画素を含む低感度領域とＫ行分の画素を含む高感度領域とが交互に繰り返し現れる）。高感度領域においては、Ｋ個の受光素子から得られる電気信号が合計されるので、受光素子１つ１つの感度は低感度領域と同じであっても、高感度での光電変換が行われる。このような構成により、測光センサ１０６は１回の撮像により、Ｍ×（Ｎ／５）画素の低感度画像データ、及びＭ×（Ｎ／５）画素の高感度画像データ（第２の画像データ）を出力することができる（図２の下段及び図４の下段参照）。
【００２８】
次に、図３のフローチャートを参照して、デジタルカメラ１００による撮像処理について説明する。デジタルカメラ１００の電源がＯＮになり動作モードが撮像モードに設定されると、本フローチャートの処理が開始する。
【００２９】
Ｓ１０１で、ＣＰＵ１０１は、シャッターボタン（不図示）の半押し状態に対応するＳＷ１がＯＮであるか否かを判定する。ＯＮであれば処理はＳ１０２に進む。Ｓ１０２で、ＩＣＰＵ１１１は、測光センサ１０６から画像データ（低感度画像データ及び高感度画像データ）を取得する。
【００３０】
Ｓ１０３で、ＩＣＰＵ１１１は、Ｓ１０２で取得した画像データに基づいて、外光の色温度（即ち、光源色）を検出する。光源度検出処理の一例について以下に説明する。
【００３１】
各種光源下において、無彩色のものが色空間でどの範囲に分布するかは経験的に分かっている。そこで、光源度検出処理では、各光源下で白が分布する範囲を網羅した色相範囲を設定する。上記色相範囲内の画素のみを加算したＲＧＢ積分値を光源色とする。また、輝度等に応じて色相範囲を限定してもよい。例えば、輝度が高い場合には、日中の撮影と推定できるため、光源色色相範囲を狭めることができる。なお、光源度検出処理の色相範囲設定は、任意の知られている方法によって行うことができるので、これ以上の詳細な説明は省略する。
【００３２】
本実施形態では、Ｓ１０２で取得された画像データは、図２の下段に示す通りである（図２の下段においては、低感度画像データ及び高感度画像データが一体的に示されている）。図２の下段に示すように、混合なしと４画素混合の各画素は交互に配置され、ほぼ同じ位置を見ている。画素混合数が同じＲＧＢの３画素を画素グループ４００とする。図２の下段に示す画像データ内に、画素グループはＭ×（２Ｎ／５）／３個存在する。ＩＣＰＵ１１１は、画素グループ４００内のＲＧＢ各色がダイナミックレンジ内であるグループのみ、光源度検出処理に用いる。
【００３３】
無彩色のものが白とび、もしくは黒つぶれした画素グループは、光源度検出処理に用いることができない。しかし、図２の下段に示すようなダイナミックレンジを拡大した画像データを用いることで、白とびや黒つぶれを抑制することができるため、光源度検出処理の精度が向上する。
【００３４】
上述の光源度検出処理は一例に過ぎない。一般化すると、ＩＣＰＵ１１１は、低感度画像データに含まれる各画素値のうち低感度領域のダイナミックレンジ内の画素値、及び、高感度画像データに含まれる各画素値のうち高感度領域のダイナミックレンジ内の画素値に基づいて、光源度検出処理を行う。ここで、高感度画像データに含まれる画素値は、４つの受光素子から得られる電気信号を合計することにより生成される。
【００３５】
次にＳ１０４で、ＩＣＰＵ１１１は、画像データ内で特定色が存在する領域を検出する。換言すると、ＩＣＰＵ１１１は、被写体に含まれる特定の色（例えば、肌色）を検出する。特定色検出処理の一例について以下に説明する。
【００３６】
ＩＣＰＵ１１１は、光源度検出処理の結果に従い、白い被写体を撮影した時に、各Ｒ，Ｇ，Ｂの画素出力が同一のレベルになるように、Ｒ，Ｇ，Ｂのゲインを画像データ全体にかける。次に、ＩＣＰＵ１１１は、Ｓ１０２で取得した画像データを、図４に示すように、画素混合なしの画像データと画素混合あり（４画素混合）の画像データとに分離する。
【００３７】
次に、ＩＣＰＵ１１１は、分離した画像データの各画素を、図５に示すような複数（横Ｉ個、縦Ｊ個）のブロック（測光領域）に分割する。１つのブロック内にＲ，Ｇ，Ｂの画素がそれぞれ同じ数となるようにブロックの大きさを決めるとよい。各ブロックには横ｍ画素、縦ｎ画素の計ｍ×ｎ個の画素がある。１つのブロック内にＲ，Ｇ，Ｂの画素がそれぞれ同じ数になるようにブロックの大きさを決めると各ブロックにはＲ，Ｇ，Ｂの画素がそれぞれｍ×ｎ／３個ずつとなる。
【００３８】
ＩＣＰＵ１１１は、ここで得られた「混合なし画像」と「４画素混合画像」の画像データにおいて、各ブロック内の画素グループ内のＲＧＢがダイナミックレンジ内である割合と、その積分値Ｒｄｉｊ，Ｇｄｉｊ，Ｂｄｉｊとをそれぞれ求める。
【００３９】
各ブロックにて、「４画素混合画像」の画素値の半数以上がダイナミックレンジ内である場合には、「４画素混合画像」のＲｄｉｊ，Ｇｄｉｊ，ＢｄｉｊをこのブロックのＲＧＢとする。「４画素混合画像」が半数未満で、「混合なし画像」の画素値の半数以上がダイナミックレンジ内である場合には、「混合なし画像」のＲｄｉｊ，Ｇｄｉｊ，ＢｄｉｊをこのブロックのＲＧＢとする。どちらも半数に満たない場合には、Ｒｄｉｊ＝０、Ｇｄｉｊ＝０、Ｂｄｉｊ＝０として、このブロックについては以降の処理を行わない。
【００４０】
ここでは、「４画素混合画像」の方が「混合なし画像」よりも高範囲を占めているため、「４画素混合画像」を優先的に用いている。この考え方は、Ｓ１０３で説明したように画素をブロックに分割しない場合であっても利用可能である。即ち、ＩＣＰＵ１１１は、低感度画像データに含まれる第１の画素値が低感度領域のダイナミックレンジ内にあり、高感度画像データにおいて対応する位置に含まれる第２の画素値が高感度領域のダイナミックレンジ内にある場合、低感度領域の画素値（第１の画素値）を使用せずに検出を行う。
【００４１】
なお、ＩＣＰＵ１１１は、上述のようにブロック単位で特定色検出処理を行ってもよいが、Ｓ１０３における光源色検出処理と同様、画素単位で特定色検出処理を行ってもよい。同様に、ＩＣＰＵ１１１はＳ１０３において、画素単位ではなくブロック単位で光源色検出処理を行ってもよい。
【００４２】
次に、ＩＣＰＵ１１１は、各ブロックのＲＧＢ積分値に対して、色差平面で特定色判定を行う。図６は、縦軸Ｒ／Ｇ、横軸Ｂ／Ｇの色差平面を簡略化したグラフである。ホワイトバランス制御された画像データより、ブロックの色成分毎の平均値をＢ／Ｇ値とＲ／Ｇ値の色差信号とする。色差信号の二次元平面上（色空間）において、特定色がプロットされる範囲が決まっている。そこで、ＩＣＰＵ１１１は、色空間であらかじめサンプリングした特定色の情報から特定色枠を定め、ブロック毎のダイナミックレンジ内の色成分毎の平均値が色空間上で特定色枠内に入るか否かを判定する。
【００４３】
例えば、特定色として肌色を抽出する場合に、肌色は図６に示す色空間において左上（第二象限）の範囲に存在することがわかっている。そこで、ＩＣＰＵ１１１は、左上の範囲に特定色枠５００を設定し、肌色の抽出を行う。
【００４４】
肌色ブロックの領域範囲や位置情報を用いて、ＡＥ処理では肌色領域を対象とした露光量決定演算を実行可能である。またＡＦ処理では、肌色領域の重心に焦点を合わせるといった応用が可能となる。なお、ＡＥ処理及びＡＦ処理については、任意の知られている技術を利用可能であるので、これ以上の詳細な説明は省略する。
【００４５】
このように、Ｓ１０３と同様に、ダイナミックレンジを拡大した画像データを用いることで、白とびや黒つぶれを抑制することができるため、特定色検出処理の精度が向上する。
【００４６】
次に、Ｓ１０５で、ＩＣＰＵ１１１は被写体輝度を検出する。ＩＣＰＵ１１１は、Ｓ１０３で分離した「混合なし画像」及び「４画素混合画像」において、各ブロック内のＲ画素の平均値Ｒｉｊ、Ｇ画素の平均値Ｇｉｊ、及びＢ画素の平均値Ｂｉｊを求める。このＲｉｊ，Ｇｉｊ，Ｂｉｊから各ブロックの輝度値（Ｙｉｊ）を求める。Ｙｉｊは例えば以下の式によって求められる。
Ｙｉｊ＝Ｒａ×Ｒｉｊ＋Ｇａ×Ｇｉｊ＋Ｂａ×Ｂｉｊ
【００４７】
Ｒ画素、Ｇ画素、Ｂ画素の混合比Ｒａ，Ｇａ，Ｂａに適当な値を入れることでブロック毎の輝度値Ｙｉｊが求められる（例えばＲａ＝０．２９９、Ｇａ＝０．５８７、Ｂａ＝０．１１４）。
【００４８】
以上の計算によって「混合なし画像」の各ブロックの輝度値Ｙ１ｉｊと「４画素混合画像」の各ブロックの輝度値Ｙ４ｉｊが求められる。また、「混合なし画像」の各ブロックと「４画素混合画像」の各ブロックはほぼ同じ位置を見ており、あるブロックにおいてＹ１ｉｊとＹ４ｉｊが共にダイナミックレンジ内ならばＹ４ｉｊ≒４×Ｙ１ｉｊであると言える。
【００４９】
次に、ＩＣＰＵ１１１は、Ｙ１ｉｊとＹ４ｉｊの値からブロック全体のプリ発光反射光輝度値Ｙｓを算出する。その方法の一例を以下に説明する。
【００５０】
ＩＣＰＵ１１１は、各ブロックにおいてＹ４ｉｊが閾値Ｙｍａｘを超えているかどうかを判断し、超えている場合は「４画素混合画像」においてそのブロックは飽和している（ダイナミックレンジ外である）とみなす。そして、飽和していると判断されたブロックと同じ位置の「混合なし画像」の輝度値Ｙ１ｉｊを用い、そのブロックの輝度値を４×Ｙ１ｉｊとする。この操作により、「４画素混合画像」で飽和しているブロックを、より高輝度まで測光可能な「混合なし画像」で補うことができる。
【００５１】
本実施形態では、ブロック毎の輝度値Ｙ４ｉｊが飽和しているか否かでＹ４ｉｊの値をそのまま使用するか４×Ｙ１ｉｊを使用するかを決定した。しかし、Ｒ４ｉｊ，Ｇ４ｉｊ，Ｂ４ｉｊのそれぞれが飽和しているかどうかを判断し、このうち飽和しているものについてＲ１ｉｊ，Ｇ１ｉｊ，Ｂ１ｉｊの４倍と置き換えてもよい。
【００５２】
また、本実施形態では、ブロック毎の輝度値Ｙ４ｉｊが飽和していなければそのままＹ４ｉｊを使い、飽和していれば４×Ｙ１ｉｊを用いるものとした。しかし、Ｙ４ｉｊが飽和していないときに、Ｙ４ｉｊと４×Ｙ１ｉｊの平均をとるなどしてもよい。
【００５３】
ＩＣＰＵ１１１は、以上のようにして得られたＹ４ｉｊと４×Ｙ１ｉｊからなる各ブロックの輝度値を用いて、ブロック全体の輝度値Ｙｓを算出する。輝度値Ｙｓは、各ブロックの輝度値に重み付けをかけて算出される。
【００５４】
例えば、デジタルカメラ１００の撮像モード、測光モード、或いは撮影シーンなどに応じて、各ブロックの重み付けを変える。例えば、測光モードが中央重点測光モードであれば、画像の中央付近の測光エリアに対する重み付けを画像の周辺付近に対する重み付けよりも大きくする。また、評価測光モードであれば、Ｓ１０４で求めた肌色領域の重み付けを他の測光エリアに対する重み付け係数よりも大きくする。また、被写界の状況に応じてどのような撮影シーンか自動判別するシーン判別機能を有する場合、判別されたシーンに最適な重み付けをそれぞれの測光エリアに対して設定する。各ブロックの重み付けは、任意の知られている技術を利用可能であるので、これ以上の詳細な説明は省略する。
【００５５】
続いて、ＩＣＰＵ１１１は、この輝度値Ｙｓを予め用意しておいた対数変換テーブルを元に対数変換する。ＩＣＰＵ１１１は、対数変換を行った後に、レンズの絞りと、露光時間とを加味し、被写体の輝度（ＢＶ）を算出する。
【００５６】
次に、Ｓ１０６で、ＣＰＵ１０１は、焦点検出回路１０９を駆動することにより焦点検出動作を行う。このときレンズの距離情報が得られ、それをＬＰＵ２０１がＣＰＵ１０１に送信し、さらに測光の演算を行うＩＣＰＵ１１１に送信する。この情報により主被写体との距離（Ｄ）を推定することができる。
【００５７】
次に、Ｓ１０７で、ＣＰＵ１０１は、撮影開始のスイッチであるＳＷ２がＯＮであるか否かを判定する。ＯＮであれば処理はＳ１０８に進み、ＯＮでなければ処理はＳ１０１に戻る。
【００５８】
Ｓ１０８で、ＣＰＵ１０１は、ストロボ撮影が実行されるか否かを判定する。ストロボ撮影の場合、処理はＳ１１０に進み、そうでない場合、処理はＳ１０９に進む。Ｓ１０９で、ＣＰＵ１０１は、Ｓ１０５のＡＥ処理で算出された測光値に基づいて、本撮影処理を実行する。
【００５９】
Ｓ１１０で、ＣＰＵ１０１は、Ｓ１０６で得られた主被写体との距離（Ｄ）とＳ１０５で得られた被写体の輝度（ＢＶ）とに基づき、プリ前測光及びプリ発光時の蓄積時間を算出する。ここでは主被写体との距離（Ｄ）と被写体の輝度（ＢＶ）とに基づいてプリ前測光及びプリ発光時の蓄積時間を決定したが、そのどちらか片方で決めてもよい、またそのいずれにも頼らず常に同じ蓄積時間で測光を行うことも考えられる。
【００６０】
Ｓ１１１で、ＩＣＰＵ１１１は、プリ発光直前の被写体輝度を測光センサ１０６により得る。このプリ前測光では蓄積時間はＳ１１０で決定したものを使用する。また、測光センサ１０６からは、図２を参照して説明したように、低感度画像データ及び高感度画像データの両方が出力される。
【００６１】
Ｓ１１２で、ＩＣＰＵ１１１は、プリ発光を行い、プリ発光の反射光を測光センサ１０６により得る。Ｓ１１３で、ＩＣＰＵ１１１は、プリ発光時の画像データからプリ前測光の画像データを引いた反射光画像データを得る。これにより、外光の影響を除いたストロボ光のみの画像データが得られる。
【００６２】
Ｓ１１４で、ＩＣＰＵ１１１は、反射光画像データに対して、Ｓ１０３と同様の方法で、光源色検出処理を行う。Ｓ１１５で、ＩＣＰＵ１１１は、反射光画像データに対して、Ｓ１０４と同様の方法で、特定色検出処理を行う。
【００６３】
Ｓ１１６で、ＩＣＰＵ１１１は、反射光画像データに対して、Ｓ１０６と同様の方法で、反射光輝度値Ｙｓを算出する。続いて、ＩＣＰＵ１１１は、このプリ発光反射光輝度値Ｙｓを予め用意しておいた対数変換テーブルを元に対数変換し、対数変換後のプリ発光反射光輝度値Ｙｓｌｏｇを求める。ＩＣＰＵ１１１は、得られたプリ発光反射光輝度値Ｙｓｌｏｇから適輝度値Ｙｔ（対数）との差分ＤＦ＝Ｙｓｌｏｇ−Ｙｔを求める。この差分ＤＦ（プリ発光時の適光量との差分段数）とプリ発光の発光量Ａ０から本発光の発光量Ａｎｓｗｅｒを決定する。
Ａｎｓｗｅｒ＝Ａ０−ＤＦ
【００６４】
ＩＣＰＵ１１１は、この本発光の発光量ＡｎｓｗｅｒをＣＰＵ１０１に送り、ＣＰＵ１０１からＳＣＰＵ３０１に発光量を送る。
【００６５】
最後に、Ｓ１１７で、ＣＰＵ１０１からＳＣＰＵ３０１に発光の指令を出し、ＳＣＰＵ３０１が光量制御装置３０２を制御して本発光を実行し、本撮影を行う。
【００６６】
以上説明したように、本実施形態によれば、デジタルカメラ１００は、１回の撮像（露光）により、低感度画像データ（第１の画像データ）及び高感度画像データ（第２の画像データ）を出力することができる。これにより、撮像素子を用いた１回の撮像で取得した画像データに基づいて光源色などの情報を検出する際の検出精度を向上させることが可能となる。
【００６７】
［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【特許請求の範囲】
【請求項１】
光学系により撮像面の第１の領域に結像された被写体像を第１の感度で光電変換することにより第１の画像データを出力し、前記光学系により前記撮像面の第２の領域に結像された被写体像を前記第１の感度よりも高感度である第２の感度で光電変換することにより第２の画像データを出力する撮像手段と、
前記第１の画像データ及び前記第２の画像データに基づいて、前記被写体を照射する光源の色、前記被写体に含まれる特定の色、及び前記被写体の輝度のうちの少なくとも１つを検出する検出手段と、
を備え、
前記検出手段は、前記第１の画像データに含まれる各画素値のうち前記第１の領域のダイナミックレンジ内の画素値、及び、前記第２の画像データに含まれる各画素値のうち前記第２の領域のダイナミックレンジ内の画素値に基づいて、前記検出を行う
ことを特徴とする撮像装置。
【請求項２】
前記第１の領域及び前記第２の領域の各画素は、同じ感度の受光素子を含み、
前記撮像手段は、前記第２の領域に結像された被写体像を前記第１の感度よりも高感度である前記第２の感度で光電変換するために、前記第２の領域のＫ個（Ｋは２以上の整数）の同色の画素に含まれる受光素子から得られる電気信号を合計することにより前記第２の画像データの各画素値を生成する
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記撮像面は、垂直方向に同色の画素が並び、１行分の画素を含む前記第１の領域とＫ行分の画素を含む前記第２の領域とが交互に繰り返し現れるように構成され、
前記撮像手段は、前記第２の領域に結像された被写体像を前記第１の感度よりも高感度である前記第２の感度で光電変換するために、前記第２の領域において垂直方向に連続するＫ個の同色の画素に含まれる受光素子から得られる電気信号を合計することにより前記第２の画像データの各画素値を生成する
ことを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記検出手段は、前記第１の画像データに含まれる第１の画素値が前記第１の領域のダイナミックレンジ内にあり、且つ、前記第２の画像データにおいて前記第１の画素値に対応する位置に含まれる第２の画素値が前記第２の領域のダイナミックレンジ内にある、前記第１の画素値を使用せずに前記検出を行う
ことを特徴とする請求項２又は３に記載の撮像装置。
【請求項５】
前記第１の領域及び前記第２の領域の各画素は、同じ感度の受光素子を含み、
前記撮像手段は、前記第２の領域に結像された被写体像を前記第１の感度よりも高感度である前記第２の感度で光電変換するために、前記第２の領域の受光素子から得られる電気信号に対して前記第１の領域よりも高いゲインを与える
ことを特徴とする請求項１に記載の撮像装置。
【請求項６】
前記第２の領域の各画素は、前記第１の領域よりも感度の高い受光素子を含む
ことを特徴とする請求項１に記載の撮像装置。
【請求項７】
前記第１の画像データ及び前記第２の画像データをそれぞれ複数のブロックに分割する分割手段を更に備え、
前記検出手段は、ブロック単位で前記検出を行う
ことを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
【請求項８】
光学系により撮像面の第１の領域に結像された被写体像を第１の感度で光電変換することにより第１の画像データを出力し、前記光学系により前記撮像面の第２の領域に結像された被写体像を前記第１の感度よりも高感度である第２の感度で光電変換することにより第２の画像データを出力する撮像手段と、
前記第１の画像データ及び前記第２の画像データに基づいて、前記被写体の輝度を検出する検出手段と、を備えることを特徴とする撮像装置。
【請求項９】
撮像装置の制御方法であって、
前記撮像装置の撮像手段が、光学系により撮像面の第１の領域に結像された被写体像を第１の感度で光電変換することにより第１の画像データを出力し、前記光学系により前記撮像面の第２の領域に結像された被写体像を前記第１の感度よりも高感度である第２の感度で光電変換することにより第２の画像データを出力する撮像工程と、
前記撮像装置の検出手段が、前記第１の画像データ及び前記第２の画像データに基づいて、前記被写体を照射する光源の色、前記被写体に含まれる特定の色、及び前記被写体の輝度のうちの少なくとも１つを検出する検出工程と、
を備え、
前記検出工程において前記検出手段は、前記第１の画像データに含まれる各画素値のうち前記第１の領域のダイナミックレンジ内の画素値、及び、前記第２の画像データに含まれる各画素値のうち前記第２の領域のダイナミックレンジ内の画素値に基づいて、前記検出を行う
ことを特徴とする制御方法。
【請求項１０】
撮像装置の制御方法であって、
前記撮像装置の撮像手段が、光学系により撮像面の第１の領域に結像された被写体像を第１の感度で光電変換することにより第１の画像データを出力し、前記光学系により前記撮像面の第２の領域に結像された被写体像を前記第１の感度よりも高感度である第２の感度で光電変換することにより第２の画像データを出力する撮像工程と、
前記撮像装置の検出手段が、前記第１の画像データ及び前記第２の画像データに基づいて、前記被写体の輝度を検出する検出工程と、を備えることを特徴とする制御方法。
【請求項１１】
コンピュータに請求項９又は１０に記載の制御方法の各工程を実行させるためのプログラム。
【請求項１】
光学系により撮像面の第１の領域に結像された被写体像を第１の感度で光電変換することにより第１の画像データを出力し、前記光学系により前記撮像面の第２の領域に結像された被写体像を前記第１の感度よりも高感度である第２の感度で光電変換することにより第２の画像データを出力する撮像手段と、
前記第１の画像データ及び前記第２の画像データに基づいて、前記被写体を照射する光源の色、前記被写体に含まれる特定の色、及び前記被写体の輝度のうちの少なくとも１つを検出する検出手段と、
を備え、
前記検出手段は、前記第１の画像データに含まれる各画素値のうち前記第１の領域のダイナミックレンジ内の画素値、及び、前記第２の画像データに含まれる各画素値のうち前記第２の領域のダイナミックレンジ内の画素値に基づいて、前記検出を行う
ことを特徴とする撮像装置。
【請求項２】
前記第１の領域及び前記第２の領域の各画素は、同じ感度の受光素子を含み、
前記撮像手段は、前記第２の領域に結像された被写体像を前記第１の感度よりも高感度である前記第２の感度で光電変換するために、前記第２の領域のＫ個（Ｋは２以上の整数）の同色の画素に含まれる受光素子から得られる電気信号を合計することにより前記第２の画像データの各画素値を生成する
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記撮像面は、垂直方向に同色の画素が並び、１行分の画素を含む前記第１の領域とＫ行分の画素を含む前記第２の領域とが交互に繰り返し現れるように構成され、
前記撮像手段は、前記第２の領域に結像された被写体像を前記第１の感度よりも高感度である前記第２の感度で光電変換するために、前記第２の領域において垂直方向に連続するＫ個の同色の画素に含まれる受光素子から得られる電気信号を合計することにより前記第２の画像データの各画素値を生成する
ことを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記検出手段は、前記第１の画像データに含まれる第１の画素値が前記第１の領域のダイナミックレンジ内にあり、且つ、前記第２の画像データにおいて前記第１の画素値に対応する位置に含まれる第２の画素値が前記第２の領域のダイナミックレンジ内にある、前記第１の画素値を使用せずに前記検出を行う
ことを特徴とする請求項２又は３に記載の撮像装置。
【請求項５】
前記第１の領域及び前記第２の領域の各画素は、同じ感度の受光素子を含み、
前記撮像手段は、前記第２の領域に結像された被写体像を前記第１の感度よりも高感度である前記第２の感度で光電変換するために、前記第２の領域の受光素子から得られる電気信号に対して前記第１の領域よりも高いゲインを与える
ことを特徴とする請求項１に記載の撮像装置。
【請求項６】
前記第２の領域の各画素は、前記第１の領域よりも感度の高い受光素子を含む
ことを特徴とする請求項１に記載の撮像装置。
【請求項７】
前記第１の画像データ及び前記第２の画像データをそれぞれ複数のブロックに分割する分割手段を更に備え、
前記検出手段は、ブロック単位で前記検出を行う
ことを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
【請求項８】
光学系により撮像面の第１の領域に結像された被写体像を第１の感度で光電変換することにより第１の画像データを出力し、前記光学系により前記撮像面の第２の領域に結像された被写体像を前記第１の感度よりも高感度である第２の感度で光電変換することにより第２の画像データを出力する撮像手段と、
前記第１の画像データ及び前記第２の画像データに基づいて、前記被写体の輝度を検出する検出手段と、を備えることを特徴とする撮像装置。
【請求項９】
撮像装置の制御方法であって、
前記撮像装置の撮像手段が、光学系により撮像面の第１の領域に結像された被写体像を第１の感度で光電変換することにより第１の画像データを出力し、前記光学系により前記撮像面の第２の領域に結像された被写体像を前記第１の感度よりも高感度である第２の感度で光電変換することにより第２の画像データを出力する撮像工程と、
前記撮像装置の検出手段が、前記第１の画像データ及び前記第２の画像データに基づいて、前記被写体を照射する光源の色、前記被写体に含まれる特定の色、及び前記被写体の輝度のうちの少なくとも１つを検出する検出工程と、
を備え、
前記検出工程において前記検出手段は、前記第１の画像データに含まれる各画素値のうち前記第１の領域のダイナミックレンジ内の画素値、及び、前記第２の画像データに含まれる各画素値のうち前記第２の領域のダイナミックレンジ内の画素値に基づいて、前記検出を行う
ことを特徴とする制御方法。
【請求項１０】
撮像装置の制御方法であって、
前記撮像装置の撮像手段が、光学系により撮像面の第１の領域に結像された被写体像を第１の感度で光電変換することにより第１の画像データを出力し、前記光学系により前記撮像面の第２の領域に結像された被写体像を前記第１の感度よりも高感度である第２の感度で光電変換することにより第２の画像データを出力する撮像工程と、
前記撮像装置の検出手段が、前記第１の画像データ及び前記第２の画像データに基づいて、前記被写体の輝度を検出する検出工程と、を備えることを特徴とする制御方法。
【請求項１１】
コンピュータに請求項９又は１０に記載の制御方法の各工程を実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１３−７４４３７（Ｐ２０１３−７４４３７Ａ）
【公開日】平成２５年４月２２日（２０１３．４．２２）
【国際特許分類】
【出願番号】特願２０１１−２１１６００（Ｐ２０１１−２１１６００）
【出願日】平成２３年９月２７日（２０１１．９．２７）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２５年４月２２日（２０１３．４．２２）
【国際特許分類】
【出願日】平成２３年９月２７日（２０１１．９．２７）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]