固体撮像装置及びカメラモジュール
【課題】高精度な照度検出を可能とする固体撮像装置及びカメラモジュールを提供すること。
【解決手段】実施形態によれば、固体撮像装置１２は、イメージセンサ２０、輝度平均算出部２１、閾値生成部２２、輝度積算部２３、輝度観測値算出部２４及び照度値変換部２５を有する。輝度平均算出部２１は、画素ごとの輝度値の平均を算出する。閾値生成部２２は、輝度平均算出部２１において算出された平均値を基に、輝度レベルについての閾値を生成する。輝度観測値算出部２４は、輝度積算部２３における積算結果を基に、輝度観測値を算出する。輝度観測値は、撮像画面全体についての輝度の観測結果である。照度値変換部２５は、輝度観測値算出部２４からの輝度観測値を照度値に変換する。輝度積算部２３は、イメージセンサ２０において検出された輝度値のうち、閾値生成部２２で生成された閾値との比較により選別された輝度値を積算する。
【解決手段】実施形態によれば、固体撮像装置１２は、イメージセンサ２０、輝度平均算出部２１、閾値生成部２２、輝度積算部２３、輝度観測値算出部２４及び照度値変換部２５を有する。輝度平均算出部２１は、画素ごとの輝度値の平均を算出する。閾値生成部２２は、輝度平均算出部２１において算出された平均値を基に、輝度レベルについての閾値を生成する。輝度観測値算出部２４は、輝度積算部２３における積算結果を基に、輝度観測値を算出する。輝度観測値は、撮像画面全体についての輝度の観測結果である。照度値変換部２５は、輝度観測値算出部２４からの輝度観測値を照度値に変換する。輝度積算部２３は、イメージセンサ２０において検出された輝度値のうち、閾値生成部２２で生成された閾値との比較により選別された輝度値を積算する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、固体撮像装置及びカメラモジュールに関する。
【背景技術】
【０００２】
従来、ＣＭＯＳイメージセンサ等の固体撮像素子を使用して照度を検出する技術が提案されている。例えば、カメラモジュールは、検出された照度に応じて、表示画面の明るさを調節し得る。固体撮像素子による照度検出の方法としては、例えば、各画素で検出された輝度値を集計し、撮像画面全体における輝度値の平均を照度値とする方法が知られている。撮像画面の全体の輝度値を使用する場合、照度値の算出に不都合とされる輝度データが含まれることがある。例えば、影の部分や黒い被写体等、反射率が低い被写体が撮像画面に多く含まれる場合、固体撮像素子が受ける反射光が少なくなることで、実際より低い照度値が算出されることがある。また、スポット光等の光源からの直接光が入射する場合は、実際より高い照度値が算出されることがある。さらに、入射光量に対する出力の飽和が固体撮像素子において生じた場合、実際より低い照度値が算出されることもある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−２８１０５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明の一つの実施形態は、高精度な照度検出を可能とする固体撮像装置及びカメラモジュールを提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明の一つの実施形態によれば、固体撮像装置は、イメージセンサ、輝度平均算出部、閾値生成部、輝度積算部、輝度観測値算出部及び照度値変換部を有する。イメージセンサは、被写体像を撮像する。イメージセンサは、画素ごとの輝度値を検出する。輝度平均算出部は、輝度値の平均を算出する。閾値生成部は、輝度平均算出部において算出された平均値を基に、輝度レベルについての閾値を生成する。輝度積算部は、輝度値を積算する。輝度観測値算出部は、輝度積算部における積算結果を基に、輝度観測値を算出する。輝度観測値は、撮像画面全体についての輝度の観測結果である。照度値変換部は、輝度観測値算出部からの輝度観測値を照度値に変換する。輝度積算部は、イメージセンサにおいて検出された輝度値のうち、閾値生成部で生成された閾値との比較により選別された輝度値を積算する。
【図面の簡単な説明】
【０００６】
【図１】第１の実施形態に係る固体撮像装置のうち、照度値の算出のための構成を示すブロック図。
【図２】図１に示す固体撮像装置を含むカメラモジュールの概略構成を示すブロック図。
【図３】輝度積算部において、上限閾値及び下限閾値を基に輝度値を選別する例を示す図。
【図４】輝度値の順位付けの結果を基に閾値を決定する場合の構成例を示すブロック図。
【図５】輝度値の順位付けを基に輝度値を選別する例を示す図。
【図６】閾値の生成のための積算、照度値の算出のための積算、及び照度値の出力の各タイミングの例を説明する概念図。
【図７】閾値の生成のための積算、フレームメモリへの記録、照度値の算出のための積算、及び照度値の出力の各タイミングの例を説明する概念図。
【図８】第２の実施形態に係る固体撮像装置のうち、照度値の算出のための構成を示すブロック図。
【図９】積算対象領域選択部による積算対象領域の選択の例を説明する図。
【図１０】第３の実施形態に係る固体撮像装置と自動露出制御部とを示すブロック図。
【図１１】第４の実施形態に係る固体撮像装置のうち、照度値の算出のための構成を示すブロック図。
【図１２】原色フィルタの構成例を説明する図。
【図１３】補色フィルタの構成例を説明する図。
【図１４】補色フィルタの構成の変形例を説明する図。
【発明を実施するための形態】
【０００７】
以下に添付図面を参照して、実施形態にかかる固体撮像装置及びカメラモジュールを詳細に説明する。なお、これらの実施形態により本発明が限定されるものではない。
【０００８】
（第１の実施形態）
図１は、第１の実施形態に係る固体撮像装置のうち、照度値の算出のための構成を示すブロック図である。図２は、図１に示す固体撮像装置を含むカメラモジュールの概略構成を示すブロック図である。カメラモジュールは、例えば、デジタルカメラである。カメラモジュールは、デジタルカメラ以外の電子機器、例えばカメラ付き携帯端末等であっても良い。
【０００９】
カメラモジュール１０は、レンズモジュール１１、固体撮像装置１２、イメージシグナルプロセッサ（image signal processor；ＩＳＰ）１３、記憶部１４及び表示部１５を有する。レンズモジュール１１は、被写体からの光を取り込み、被写体像を結像させる。固体撮像装置１２は、被写体像を撮像する。
【００１０】
ＩＳＰ１３は、固体撮像装置１２での撮像により得られた画像信号の信号処理を実施する。記憶部１４は、ＩＳＰ１３での信号処理を経た画像を格納する。記憶部１４は、ユーザの操作等に応じて、表示部１５へ画像信号を出力する。表示部１５は、ＩＳＰ１３あるいは記憶部１４から入力される画像信号に応じて、画像を表示する。表示部１５は、例えば、液晶ディスプレイである。
【００１１】
固体撮像装置１２は、イメージセンサ２０、輝度平均算出部２１、閾値生成部２２、輝度積算部２３、輝度観測値算出部２４及び照度値変換部２５を有する。イメージセンサ２０は、各色光を分担して検出する各色光用画素を備える。イメージセンサ２０は、被写体からの光の光電変換により、画素ごとの輝度値を検出する。
【００１２】
輝度平均算出部２１は、イメージセンサ２０において画素ごとに検出された輝度値の平均を算出する。輝度平均算出部２１は、例えば、イメージセンサ２０で取得した輝度値を全画素について積算し、平均値を求める。輝度平均算出部２１は、撮像画面内の全画素について輝度値を積算する場合の他、一部の画素について輝度値を積算することとしても良い。輝度平均算出部２１は、例えば、所定の間隔で位置する画素について輝度値を積算することとしても良い。
【００１３】
閾値生成部２２は、輝度平均算出部２１において算出された平均値を基に、輝度レベルについての閾値を生成する。閾値生成部２２は、閾値の設定により、照度値の算出のための積算対象とする輝度値のレベルを画定する。ここでは、閾値生成部２２は、輝度値の平均値を用いて閾値を設定する場合を例とするが、輝度値の平均値以外の要素を基に閾値を設定するものとしても良い。閾値生成部２２における閾値の設定の具体例については後述する。
【００１４】
輝度積算部２３は、イメージセンサ２０において検出された輝度値と閾値生成部２２で設定された閾値との比較により、所望の輝度レベル範囲に含まれている輝度値を抽出する。輝度積算部２３は、閾値との比較により選別した輝度値を積算する。
【００１５】
輝度積算部２３は、閾値との比較による輝度値の選別を、撮像画面内の全画素について実施する場合の他、一部の画素について実施することとしても良い。輝度平均算出部２１は、例えば、所定の間隔で位置する画素について、閾値との比較により輝度値を選別することとしても良い。
【００１６】
輝度積算部２３は、閾値の範囲外と判定した輝度値については、積算対象から除外する他、所定の値に置き換えて積算対象に含めることとしても良い。輝度積算部２３は、閾値の範囲外の輝度値を、例えば当該閾値に置き換えて積算することとしても良い。
【００１７】
輝度観測値算出部２４は、輝度積算部２３における積算結果を基に、撮像画面全体についての輝度の観測結果である輝度観測値を算出する。照度値変換部２５は、輝度観測値算出部２４からの輝度観測値を照度値に変換する。固体撮像装置１２は、照度値変換部２５で得られた照度値を出力する。
【００１８】
照度値変換部２５は、いずれの手法により、輝度観測値を照度値へ変換するものであっても良い。照度値変換部２５は、例えば、予め設定された係数を輝度観測値に乗算して得られた値を照度値としても良い。照度値変換部２５は、例えば、輝度観測値に所定のオフセット値を加算あるいは減算することで照度値としても良い。
【００１９】
カメラモジュール１０は、例えば撮像時において、固体撮像装置１２で求めた照度値に応じて表示部１５（図２参照）の明るさを調節する。カメラモジュール１０は、固体撮像装置１２で求めた照度値が高いほど、表示部１５の明るさを向上させる。カメラモジュール１０は、撮像時における周囲の照度に応じて表示部１５の明るさを適宜調整することで、いずれの照度環境下においても見易い画面を表示することができる。
【００２０】
カメラモジュール１０は、固体撮像装置１２で求めた照度値を、表示部１５の明るさ調節以外のいずれの用途に使用することとしても良い。なお、照度値変換部２５における輝度観測値から照度値への変換の手法は、照度値の使用用途に応じて適宜設定可能であるものとする。固体撮像装置１２は、輝度観測値算出部２４で得られた輝度観測値をそのまま照度値として出力することとしても良い。
【００２１】
次に、閾値生成部２２における閾値の生成について説明する。閾値生成部２２は、例えば、輝度平均算出部２１で算出した平均値に、予め設定されている係数を乗算することで、上限閾値及び下限閾値を生成する。上限閾値は、スポット光等の光源からの直接光による輝度データを、照度値の算出に使用される輝度データから除外するための条件として設定される。下限閾値は、反射率が低い被写体が撮像されることによる輝度データを、照度値の算出に使用される輝度データから除外するための条件として設定される。
【００２２】
図３は、輝度積算部において、上限閾値及び下限閾値を基に輝度値を選別する例を示す図である。図示するグラフの縦軸は輝度値のレベルを表している。グラフの横軸は、撮像画面上における画素ごとの輝度値を一次元の情報として読み出した場合における画素の位置を表している。
【００２３】
閾値生成部２２は、例えば、輝度値の平均値ＶＡに所定の係数を乗算することにより、上限閾値Ｔｈ１及び下限閾値Ｔｈ２（但し、Ｔｈ１＞Ｔｈ２とする）をそれぞれ生成する。輝度積算部２３は、イメージセンサ２０において検出された輝度値のうち、Ｔｈ２からＴｈ１の輝度レベル範囲に含まれている輝度値を積算対象として抽出する。閾値生成部２２は、ＶＡに所定のオフセット値を加算あるいは減算することで、Ｔｈ１及びＴｈ２を生成することとしても良い。
【００２４】
輝度積算部２３は、Ｔｈ２からＴｈ１の輝度レベル範囲外と判定した輝度値については、積算対象から除外する他、所定の値に置き換えて積算対象に含めることとしても良い。輝度積算部２３は、Ｔｈ１より大きい輝度値を、例えばＴｈ１に置き換えて積算することとしても良い。輝度積算部２３は、Ｔｈ２より小さい輝度値を、例えばＴｈ２に置き換えて積算することとしても良い。
【００２５】
被写体の反射率を、あらゆる物について求めた場合の平均値である標準反射率は１８％であると知られているように、被写体の反射率は比較的低めである場合が多い。このため、ＶＡより高い値をＴｈ２として設定することで、輝度積算部２３は、照度の算出に適した高反射率の被写体による輝度データを抽出することが可能となる。ここでは、閾値生成部２２は、Ｔｈ２として、ＶＡより大きい値を設定しているが、これに限られない。Ｔｈ２は、ＶＡより小さい値としても良い。
【００２６】
本実施形態によると、固体撮像装置１２は、反射率が低い被写体による輝度データや直接光による輝度データを除外することで、高精度な照度検出が可能となる。
【００２７】
閾値生成部２２は、輝度平均算出部２１からの平均値に応じた閾値を生成する場合に限られない。閾値生成部２２は、輝度平均算出部２１からの平均値を使用せずに、閾値を生成するものであっても良い。固体撮像装置１２は、イメージセンサ２０からの輝度値の処理のための構成として、輝度平均算出部２１以外の要素を備えるものであっても良い。輝度値の処理のための構成は、閾値を生成する手法に応じて適宜変更可能であるものとする。
【００２８】
閾値生成部２２は、例えば、イメージセンサ２０において検出された輝度値について、平均値以外の値、例えば、最大値や最小値、輝度値の分布（ヒストグラム）から得られる値等を基に、閾値を生成するものであっても良い。閾値生成部２２は、これらの値を基に閾値を生成する場合において、例えば、係数の乗算や、オフセット値の加算あるいは減算等を実施しても良い。
【００２９】
閾値生成部２２は、各画素の輝度値を輝度レベル順に順位付けした結果を基に、閾値を決定するものとしても良い。図４は、輝度値の順位付けの結果を基に閾値を決定する場合の構成例を示すブロック図である。輝度順位付け部２６は、イメージセンサ２０において検出された輝度値に、輝度レベルの順による順位を付与する。閾値生成部２２は、輝度順位付け部２６において付与された順位を基に、閾値を決定する。
【００３０】
図５は、輝度値の順位付けを基に輝度値を選別する例を示す図である。図示するグラフの縦軸は輝度値のレベルを表している。グラフの横軸は、輝度順位付け部２６において付与された順位を、降順として表している。ここでは、輝度順位付け部２６は、輝度レベルが高いほど上位となるように順位を付与するものとしている。
【００３１】
閾値生成部２２は、各画素の輝度値のうち、例えば、最上位から１０位目の輝度値を、上限閾値Ｔｈ１とする。また、閾値生成部２２は、各画素の輝度値のうち、例えば、最下位から５０位目の輝度値を、下限閾値Ｔｈ２とする。Ｔｈ１及びＴｈ２の各順位は、いずれも任意に設定可能であるものとする。この場合、輝度積算部２３での積算に使用される輝度値のデータ量は一定であって、かつ予め把握可能であることから、輝度積算部２３は、適切な規模の回路を効率良く駆動させて、積算処理を実施することができる。
【００３２】
さらに、閾値生成部２２は、イメージセンサ２０で検出された輝度値からの処理を経た閾値を生成する場合に限られず、例えば、外部から設定された閾値を出力するものであっても良い。例えば、スポット光等の光源からの直接光による輝度データを除外するために設定される上限閾値としては、ヒストグラムのうち、直接光であると判別し得る値を指定することとしても良い。また、直接光であると特定し得る輝度レベルを予め画定し、上限閾値を設定することとしても良い。
【００３３】
閾値生成部２２は、上限閾値と下限閾値とを同様の手法によって生成する場合に限られず、上限閾値と下限閾値とを互いに異なる手法によって生成することとしても良い。例えば、閾値生成部２２は、外部から設定された値を上限閾値とし、イメージセンサ２０で検出された輝度値からの処理を経た値を下限閾値としても良い。
【００３４】
閾値生成部２２は、撮像画面全体の明暗の傾向に応じて、上限閾値及び下限閾値の少なくとも一方のレベルを調整することとしても良い。例えば、撮像画面全体が暗いと判断する場合は、閾値生成部２２は、上限閾値を通常より高い値とすることで、高い輝度レベルのデータを多く得ることとする。このようにして、固体撮像装置１２は、被写体像の明暗に応じた高精度な照度検出が可能となる。
【００３５】
閾値生成部２２は、上限閾値及び下限閾値の双方を生成する場合に限られず、上限閾値及び下限閾値のいずれか一方を生成するものとしても良い。閾値生成部２２は、例えば、カメラモジュール１０による撮像において想定される照度環境等に応じて、上限閾値及び下限閾値のいずれかを省略しても良い。例えば、光源を含まない環境での撮像を想定する場合は、閾値生成部２２は、下限閾値を設定し、上限閾値の設定を省くこととしても良い。
【００３６】
なお、閾値生成部２２で生成された閾値の範囲に含まれる輝度データが存在しない場合、あるいは極端に少ない場合、固体撮像装置１２は、例えば、イメージセンサ２０において検出された輝度値の全てを輝度積算部２３において積算することとしても良い。または、固体撮像装置１２は、照度検出のための処理を停止することとしても良い。カメラモジュール１０は、照度算出に有効な輝度データが存在しないか極端に少ないために照度検出の処理を停止する場合、その旨を表示部１５での表示等により報知することとしても良い。
【００３７】
図６は、閾値の生成のための積算、照度値の算出のための積算、及び照度値の出力の各タイミングの例を説明する概念図である。ここでは、イメージセンサ２０で取得した輝度値の平均から閾値を生成し、照度値を得る場合を例とする。
【００３８】
輝度平均算出部２１は、例えば、あるフレームＦ１の期間にイメージセンサ２０で取得された輝度値を積算する。輝度平均算出部２１は、Ｆ１について輝度値の積算を終えると、輝度値の平均を算出する。閾値生成部２２は、輝度値の平均値を基に、閾値を生成する。
【００３９】
Ｆ１について閾値生成部２２により閾値が生成されると、輝度積算部２３は、次のフレームＦ２の期間に、Ｆ１についての輝度値を積算する。Ｆ１についての輝度値の積算が終わると、固体撮像装置１２は、輝度観測値算出部２４における輝度観測値の算出、照度値変換部２５における照度値への変換を経て、さらに次のフレームＦ３の開始時に、照度値を出力する。固体撮像装置１２は、フレームＦ１に次ぐ各フレームＦ２、Ｆ３及びＦ４についても同様の処理を経て、照度値を出力する。
【００４０】
このように、固体撮像装置１２は、閾値の生成のための積算、及び照度値の算出のための積算による２フレーム期間を経た後に、照度値を出力する。カメラモジュール１０は、２フレーム期間前の輝度データから照度値を取得することとなる。２フレーム期間程度であれば輝度データの変化は比較的少ないことから、カメラモジュール１０は、本実施形態により取得した照度値を使用して、表示部１５の明るさ調節等の制御システムを実現することができる。
【００４１】
固体撮像装置１２は、輝度データを格納するためのフレームメモリを備えることとしても良い。例えば、固体撮像装置１２は、フレームメモリから読み出した輝度データを、照度値の算出のための積算に使用することとしても良い。
【００４２】
図７は、閾値の生成のための積算、フレームメモリへの記録、照度値の算出のための積算、及び照度値の出力の各タイミングの例を説明する概念図である。あるフレームＦ１について輝度平均算出部２１が輝度値を積算する間、フレームメモリは、Ｆ１についての輝度値を記録する。
【００４３】
輝度積算部２３は、Ｆ１の期間の終了と同時に、フレームメモリに記録されている輝度データの読み出しと積算とを、Ｆ１について一括して行う。さらに、固体撮像装置１２は、輝度観測値算出部２４における輝度観測値の算出、照度値変換部２５における照度値への変換を経て、次のフレームＦ２の開始時に、照度値を出力する。固体撮像装置１２は、フレームＦ１に次ぐ各フレームＦ２、Ｆ３及びＦ４についても同様の処理を経て、照度値を出力する。
【００４４】
この場合、固体撮像装置１２は、輝度データの検出から照度値の出力までを、１フレーム期間にまで短縮することができる。カメラモジュール１０は、輝度データを検出してからできるだけ少ない時間差で得られた照度値を使用する制御システムを実現することができる。
【００４５】
（第２の実施形態）
図８は、第２の実施形態に係る固体撮像装置のうち、照度値の算出のための構成を示すブロック図である。第１の実施形態と同一の部分には同一の符号を付し、重複する説明を省略する。
【００４６】
固体撮像装置３０は、イメージセンサ２０、領域分割部３１、輝度平均算出部２１、閾値生成部２２、積算対象領域選択部３２、輝度積算部２３、輝度観測値算出部２４及び照度値変換部２５を有する。領域分割部３１は、撮像画面を複数の領域に分割し、イメージセンサ２０において検出された輝度値を領域ごとのデータとする。
【００４７】
輝度平均算出部２１は、領域ごとの輝度値の平均を算出する。輝度平均算出部２１は、例えば、領域内の全画素について輝度値を積算し、平均値を求める。輝度平均算出部２１は、領域ごとに全画素の輝度値を積算する場合の他、領域内の一部の画素について輝度値を積算することとしても良い。輝度平均算出部２１は、例えば、領域内において所定の間隔で位置する画素について輝度値を積算することとしても良い。
【００４８】
閾値生成部２２は、輝度平均算出部２１において算出された平均値を基に、領域ごとの閾値を生成する。閾値生成部２２は、輝度値の平均値を用いて閾値を設定する他、第１の実施形態と同様、輝度値の平均値以外の要素を基に閾値を設定するものとしても良い。閾値生成部２２は、領域ごとの閾値を生成する他、例えば、全領域について共通とする閾値を生成することとしても良い。
【００４９】
積算対象領域選択部３２は、撮像画面内に設定された複数の領域のうち、輝度積算部２３において輝度値を積算する対象とする積算対象領域を選択する。積算対象領域選択部３２は、例えば、領域ごとに得られた平均値に輝度レベルの順による順位を付与し、順位に応じて積算対象領域を選択することとしても良い。
【００５０】
積算対象領域選択部３２は、例えば、上位から２番目とされた領域や、上位４つの領域等を、積算対象領域として選択する。積算対象領域選択部３２は、予め設定された条件に応じて積算対象領域を選択する他、外部からの積算対象領域の指定を受け付けることとしても良い。
【００５１】
輝度積算部２３は、積算対象領域選択部３２において積算対象領域として選択された領域について、画素ごとの輝度値と、当該領域について得られている閾値とを比較する。輝度積算部２３は、閾値との比較により選別した輝度値を積算する。
【００５２】
輝度積算部２３は、閾値との比較による輝度値の選別を、領域内の全画素について実施する場合の他、領域内の一部の画素について実施することとしても良い。輝度平均算出部２１は、例えば、領域内において所定の間隔で位置する画素について輝度値を選別することとしても良い。
【００５３】
輝度積算部２３は、閾値の範囲外と判定した輝度値については、積算対象から除外する他、所定の値に置き換えて積算対象に含めることとしても良い。輝度積算部２３は、閾値の範囲外の輝度値を、例えば当該閾値に置き換えて積算することとしても良い。
【００５４】
輝度観測値算出部２４は、輝度積算部２３における積算結果を基に、撮像画面全体についての輝度の観測結果である輝度観測値を算出する。照度値変換部２５は、輝度観測値算出部２４からの輝度観測値を照度値に変換する。固体撮像装置３０は、照度値変換部２５で得られた照度値を出力する。照度値変換部２５は、第１の実施形態と同様、いずれの手法により、輝度観測値を照度値へ変換するものであっても良い。照度値変換部２５は、撮像画面の全体について１つの照度値を算出する他、領域ごとの照度値を算出することとしても良い。
【００５５】
積算対象領域選択部３２は、輝度積算部２３において閾値の範囲内と判定された輝度値のデータ数を領域ごとにカウントした結果を基に、積算対象領域を選択することとしても良い。図９は、積算対象領域選択部による積算対象領域の選択の例を説明する図である。ここでは、領域分割部３１が、撮像画面を３５個の領域（「１１」〜「５７」）に分割する場合を例とする。
【００５６】
例えば、光源から入射した直接光が、図中斜線を付すように「２５」、「２６」、「３５」及び「３６」の４つの領域に跨る円領域に入射し、円領域内の輝度値が各領域において閾値の範囲外であったとする。閾値の範囲内とされた輝度値のデータ数が各領域において予め設定されている数を下回った場合に、積算対象領域選択部３２は、次の照度値算出の際に、「２５」、「２６」、「３５」及び「３６」の各領域を、積算対象領域から除外する。
【００５７】
本実施形態によると、固体撮像装置３０は、照度算出に使用する輝度データを、複数の領域に細分して設定された条件に応じて選別可能とすることで、撮像画面内の部分ごとの状態に応じた高精度な照度検出が可能となる。
【００５８】
（第３の実施形態）
図１０は、第３の実施形態に係る固体撮像装置と自動露出制御部とを示すブロック図である。本実施形態の固体撮像装置４０は、例えば、図１に示す固体撮像装置１２と同様の構成を備える。第１の実施形態と同一の部分には同一の符号を付し、重複する説明を省略する。なお、固体撮像装置４０は、第１及び第２の実施形態に示すいずれの固体撮像装置と同様の構成としても良い。
【００５９】
自動露出制御部４１は、輝度観測値算出部２４で算出された輝度観測値に応じて、被写体像の撮像における露出を調節する。本実施形態によると、カメラモジュール１０は、反射率が低い被写体による輝度データや直接光による輝度データを除外して算出された輝度観測値を露出調節に使用することで、高精度な露出調節を実施することができる。
【００６０】
本実施形態では、自動露出制御部４１は、カメラモジュール１０のうち固体撮像装置４０の外部に設けられている。自動露出制御部４１は、固体撮像装置４０の内部に設けられたものとしても良い。
【００６１】
（第４の実施形態）
図１１は、第４の実施形態に係る固体撮像装置のうち、照度値の算出のための構成を示すブロック図である。第１の実施形態と同一の部分には同一の符号を付し、重複する説明を省略する。
【００６２】
イメージセンサ２０は、例えば、原色フィルタを有する。原色フィルタは、被写体からの光のうちの原色成分を通過させる。Ｒ画素は、赤色光を選択的に透過させるカラーフィルタが設けられた画素である。Ｇ画素は、緑色光を選択的に透過させるカラーフィルタが設けられた画素である。Ｂ画素は、青色光を選択的に透過させるカラーフィルタが設けられた画素である。
【００６３】
Ｇ画素タイミング生成部５１は、イメージセンサ２０からＧ画素の輝度値が出力されるタイミングを示すパルス信号を生成する。輝度積算部２３は、Ｇ画素タイミング生成部５１からのパルス信号に応じて、イメージセンサ２０からの輝度値のうちＧ画素の輝度値を抽出する。輝度積算部２３は、Ｇ画素で検出された緑色光の輝度値を選別し、積算する。
【００６４】
輝度観測値算出部２４は、輝度積算部２３における積算結果を基に、撮像画面全体についての輝度の観測結果である輝度観測値を算出する。照度値変換部２５は、輝度観測値算出部２４からの輝度観測値を照度値に変換する。固体撮像装置５０は、照度値変換部２５で得られた照度値を出力する。照度値変換部２５は、第１の実施形態と同様、いずれの手法により、輝度観測値を照度値へ変換するものであっても良い。
【００６５】
図１２は、原色フィルタの構成例を説明する図である。原色フィルタは、Ｇ、Ｒ、Ｂ、Ｇの４画素を単位として構成されるベイヤー配列に対応して、Ｒ用、Ｇ用及びＢ用の各フィルタが並列している。ベイヤー配列では、Ｒ画素、Ｂ画素に対してＧ画素が２倍の比率で設けられている。人間の眼の分光感度は、可視光の波長域のうちの中間域に位置する緑色付近をピークとする。
【００６６】
イメージセンサ２０は、緑色の解像度を向上させることで、見かけ上の解像度を向上させている。また、固体撮像装置５０は、Ｒ、Ｇ、Ｂの各成分のうち輝度についての情報を最も多く得られるのがＧ成分であることから、照度検出のための輝度値の積算に、Ｇ画素からの輝度値を採用している。固体撮像装置５０は、輝度について多くの情報を得られるとして予め設定された色成分を条件として、輝度値を選別する。
【００６７】
本実施形態によると、固体撮像装置５０は、照度算出に使用する輝度データを特定の色光に限定することで、全ての色光について輝度データを使用する場合に比べて回路構成を簡略化させることが可能となる。また、固体撮像装置５０は、照度算出に使用する輝度データとしてＧ画素からの輝度値を採用することで、高精度な照度検出が可能となる。
【００６８】
固体撮像装置５０は、輝度積算部２３における積算対象をＧ成分に限定するため、カラーフィルタの波長特性の違いに応じて他の色成分との間に生じる輝度レベルの差を調整しないこととしても良い。固体撮像装置５０は、照度値の算出においては、Ｒ、Ｇ、Ｂの各成分についてのホワイトバランス調整を省略可能とする。
【００６９】
イメージセンサ２０は、原色フィルタに代えて、補色フィルタを有するものであっても良い。補色フィルタは、被写体からの光のうちの補色成分を通過させる。図１３は、補色フィルタの構成例を説明する図である。補色フィルタは、黄（Ｙｅ）、シアン（Ｃｙ）、マゼンタ（Ｍｇ）、緑（Ｇ）の４画素を単位として構成される画素配列に対応して、Ｙｅ用、Ｃｙ用、Ｍｇ用及びＧ用の各フィルタが並列している。
【００７０】
Ｙｅ画素に対応するＹｅ用フィルタは、Ｙｅ光を選択的に透過させる。Ｃｙ画素に対応するＣｙ用フィルタは、Ｃｙ光を選択的に透過させる。Ｍｇ画素に対応するＭｇ用フィルタは、Ｍｇ光を選択的に透過させる。Ｇ画素に対応するＧ用フィルタは、Ｇ光を選択的に透過させる。
【００７１】
イメージセンサ２０に補色フィルタを適用する場合も、輝度積算部２３は、Ｇ画素で検出された緑色光の輝度値を選別し、積算する。この場合も、固体撮像装置５０は、回路構成の簡略化、高精度な照度検出が可能となる。
【００７２】
図１４は、補色フィルタの構成の変形例を説明する図である。変形例に係る補色フィルタは、Ｙｅ用、Ｃｙ用の各フィルタと、白色（Ｗｈ）用フィルタとが設けられている。この補色フィルタは、Ｗｈ、Ｙｅ、Ｃｙ、Ｗｈの４画素を単位として構成される画素配列に対応している。Ｗｈ用フィルタは、Ｗｈ光を透過させる。Ｗｈ光は、Ｒ、Ｇ及びＢの各成分を含む。
【００７３】
かかる補色フィルタをイメージセンサ２０に適用する場合、輝度積算部２３は、Ｗｈ画素で検出された白色光の輝度値を選別し、積算する。固体撮像装置５０は、Ｗｈ、Ｙｅ、Ｃｙの各成分のうち輝度についての情報を最も多く得られるＷｈ成分を、照度算出に使用する輝度データとして採用することで、高精度な照度検出が可能となる。
【００７４】
固体撮像装置５０は、第３の実施形態と同様、輝度観測値算出部２４で算出された輝度観測値を、自動露出制御部４１（図１０参照）における露出調節に使用することとしても良い。カメラモジュール１０は、輝度についての情報を多く得られるとして特定された色成分の輝度値から輝度観測値を算出し、露出調節に使用することで、高精度な露出調節を実施することができる。
【００７５】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００７６】
１０ カメラモジュール、１１ レンズモジュール、１２、３０、４０、５０ 固体撮像装置、２０ イメージセンサ、２１ 輝度平均算出部、２２ 閾値生成部、２３ 輝度積算部、２４ 輝度観測値算出部、２５ 照度値変換部、２６ 輝度順位付け部、３２ 積算対象領域選択部、４１ 自動露出制御部。
【技術分野】
【０００１】
本発明の実施形態は、固体撮像装置及びカメラモジュールに関する。
【背景技術】
【０００２】
従来、ＣＭＯＳイメージセンサ等の固体撮像素子を使用して照度を検出する技術が提案されている。例えば、カメラモジュールは、検出された照度に応じて、表示画面の明るさを調節し得る。固体撮像素子による照度検出の方法としては、例えば、各画素で検出された輝度値を集計し、撮像画面全体における輝度値の平均を照度値とする方法が知られている。撮像画面の全体の輝度値を使用する場合、照度値の算出に不都合とされる輝度データが含まれることがある。例えば、影の部分や黒い被写体等、反射率が低い被写体が撮像画面に多く含まれる場合、固体撮像素子が受ける反射光が少なくなることで、実際より低い照度値が算出されることがある。また、スポット光等の光源からの直接光が入射する場合は、実際より高い照度値が算出されることがある。さらに、入射光量に対する出力の飽和が固体撮像素子において生じた場合、実際より低い照度値が算出されることもある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−２８１０５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明の一つの実施形態は、高精度な照度検出を可能とする固体撮像装置及びカメラモジュールを提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明の一つの実施形態によれば、固体撮像装置は、イメージセンサ、輝度平均算出部、閾値生成部、輝度積算部、輝度観測値算出部及び照度値変換部を有する。イメージセンサは、被写体像を撮像する。イメージセンサは、画素ごとの輝度値を検出する。輝度平均算出部は、輝度値の平均を算出する。閾値生成部は、輝度平均算出部において算出された平均値を基に、輝度レベルについての閾値を生成する。輝度積算部は、輝度値を積算する。輝度観測値算出部は、輝度積算部における積算結果を基に、輝度観測値を算出する。輝度観測値は、撮像画面全体についての輝度の観測結果である。照度値変換部は、輝度観測値算出部からの輝度観測値を照度値に変換する。輝度積算部は、イメージセンサにおいて検出された輝度値のうち、閾値生成部で生成された閾値との比較により選別された輝度値を積算する。
【図面の簡単な説明】
【０００６】
【図１】第１の実施形態に係る固体撮像装置のうち、照度値の算出のための構成を示すブロック図。
【図２】図１に示す固体撮像装置を含むカメラモジュールの概略構成を示すブロック図。
【図３】輝度積算部において、上限閾値及び下限閾値を基に輝度値を選別する例を示す図。
【図４】輝度値の順位付けの結果を基に閾値を決定する場合の構成例を示すブロック図。
【図５】輝度値の順位付けを基に輝度値を選別する例を示す図。
【図６】閾値の生成のための積算、照度値の算出のための積算、及び照度値の出力の各タイミングの例を説明する概念図。
【図７】閾値の生成のための積算、フレームメモリへの記録、照度値の算出のための積算、及び照度値の出力の各タイミングの例を説明する概念図。
【図８】第２の実施形態に係る固体撮像装置のうち、照度値の算出のための構成を示すブロック図。
【図９】積算対象領域選択部による積算対象領域の選択の例を説明する図。
【図１０】第３の実施形態に係る固体撮像装置と自動露出制御部とを示すブロック図。
【図１１】第４の実施形態に係る固体撮像装置のうち、照度値の算出のための構成を示すブロック図。
【図１２】原色フィルタの構成例を説明する図。
【図１３】補色フィルタの構成例を説明する図。
【図１４】補色フィルタの構成の変形例を説明する図。
【発明を実施するための形態】
【０００７】
以下に添付図面を参照して、実施形態にかかる固体撮像装置及びカメラモジュールを詳細に説明する。なお、これらの実施形態により本発明が限定されるものではない。
【０００８】
（第１の実施形態）
図１は、第１の実施形態に係る固体撮像装置のうち、照度値の算出のための構成を示すブロック図である。図２は、図１に示す固体撮像装置を含むカメラモジュールの概略構成を示すブロック図である。カメラモジュールは、例えば、デジタルカメラである。カメラモジュールは、デジタルカメラ以外の電子機器、例えばカメラ付き携帯端末等であっても良い。
【０００９】
カメラモジュール１０は、レンズモジュール１１、固体撮像装置１２、イメージシグナルプロセッサ（image signal processor；ＩＳＰ）１３、記憶部１４及び表示部１５を有する。レンズモジュール１１は、被写体からの光を取り込み、被写体像を結像させる。固体撮像装置１２は、被写体像を撮像する。
【００１０】
ＩＳＰ１３は、固体撮像装置１２での撮像により得られた画像信号の信号処理を実施する。記憶部１４は、ＩＳＰ１３での信号処理を経た画像を格納する。記憶部１４は、ユーザの操作等に応じて、表示部１５へ画像信号を出力する。表示部１５は、ＩＳＰ１３あるいは記憶部１４から入力される画像信号に応じて、画像を表示する。表示部１５は、例えば、液晶ディスプレイである。
【００１１】
固体撮像装置１２は、イメージセンサ２０、輝度平均算出部２１、閾値生成部２２、輝度積算部２３、輝度観測値算出部２４及び照度値変換部２５を有する。イメージセンサ２０は、各色光を分担して検出する各色光用画素を備える。イメージセンサ２０は、被写体からの光の光電変換により、画素ごとの輝度値を検出する。
【００１２】
輝度平均算出部２１は、イメージセンサ２０において画素ごとに検出された輝度値の平均を算出する。輝度平均算出部２１は、例えば、イメージセンサ２０で取得した輝度値を全画素について積算し、平均値を求める。輝度平均算出部２１は、撮像画面内の全画素について輝度値を積算する場合の他、一部の画素について輝度値を積算することとしても良い。輝度平均算出部２１は、例えば、所定の間隔で位置する画素について輝度値を積算することとしても良い。
【００１３】
閾値生成部２２は、輝度平均算出部２１において算出された平均値を基に、輝度レベルについての閾値を生成する。閾値生成部２２は、閾値の設定により、照度値の算出のための積算対象とする輝度値のレベルを画定する。ここでは、閾値生成部２２は、輝度値の平均値を用いて閾値を設定する場合を例とするが、輝度値の平均値以外の要素を基に閾値を設定するものとしても良い。閾値生成部２２における閾値の設定の具体例については後述する。
【００１４】
輝度積算部２３は、イメージセンサ２０において検出された輝度値と閾値生成部２２で設定された閾値との比較により、所望の輝度レベル範囲に含まれている輝度値を抽出する。輝度積算部２３は、閾値との比較により選別した輝度値を積算する。
【００１５】
輝度積算部２３は、閾値との比較による輝度値の選別を、撮像画面内の全画素について実施する場合の他、一部の画素について実施することとしても良い。輝度平均算出部２１は、例えば、所定の間隔で位置する画素について、閾値との比較により輝度値を選別することとしても良い。
【００１６】
輝度積算部２３は、閾値の範囲外と判定した輝度値については、積算対象から除外する他、所定の値に置き換えて積算対象に含めることとしても良い。輝度積算部２３は、閾値の範囲外の輝度値を、例えば当該閾値に置き換えて積算することとしても良い。
【００１７】
輝度観測値算出部２４は、輝度積算部２３における積算結果を基に、撮像画面全体についての輝度の観測結果である輝度観測値を算出する。照度値変換部２５は、輝度観測値算出部２４からの輝度観測値を照度値に変換する。固体撮像装置１２は、照度値変換部２５で得られた照度値を出力する。
【００１８】
照度値変換部２５は、いずれの手法により、輝度観測値を照度値へ変換するものであっても良い。照度値変換部２５は、例えば、予め設定された係数を輝度観測値に乗算して得られた値を照度値としても良い。照度値変換部２５は、例えば、輝度観測値に所定のオフセット値を加算あるいは減算することで照度値としても良い。
【００１９】
カメラモジュール１０は、例えば撮像時において、固体撮像装置１２で求めた照度値に応じて表示部１５（図２参照）の明るさを調節する。カメラモジュール１０は、固体撮像装置１２で求めた照度値が高いほど、表示部１５の明るさを向上させる。カメラモジュール１０は、撮像時における周囲の照度に応じて表示部１５の明るさを適宜調整することで、いずれの照度環境下においても見易い画面を表示することができる。
【００２０】
カメラモジュール１０は、固体撮像装置１２で求めた照度値を、表示部１５の明るさ調節以外のいずれの用途に使用することとしても良い。なお、照度値変換部２５における輝度観測値から照度値への変換の手法は、照度値の使用用途に応じて適宜設定可能であるものとする。固体撮像装置１２は、輝度観測値算出部２４で得られた輝度観測値をそのまま照度値として出力することとしても良い。
【００２１】
次に、閾値生成部２２における閾値の生成について説明する。閾値生成部２２は、例えば、輝度平均算出部２１で算出した平均値に、予め設定されている係数を乗算することで、上限閾値及び下限閾値を生成する。上限閾値は、スポット光等の光源からの直接光による輝度データを、照度値の算出に使用される輝度データから除外するための条件として設定される。下限閾値は、反射率が低い被写体が撮像されることによる輝度データを、照度値の算出に使用される輝度データから除外するための条件として設定される。
【００２２】
図３は、輝度積算部において、上限閾値及び下限閾値を基に輝度値を選別する例を示す図である。図示するグラフの縦軸は輝度値のレベルを表している。グラフの横軸は、撮像画面上における画素ごとの輝度値を一次元の情報として読み出した場合における画素の位置を表している。
【００２３】
閾値生成部２２は、例えば、輝度値の平均値ＶＡに所定の係数を乗算することにより、上限閾値Ｔｈ１及び下限閾値Ｔｈ２（但し、Ｔｈ１＞Ｔｈ２とする）をそれぞれ生成する。輝度積算部２３は、イメージセンサ２０において検出された輝度値のうち、Ｔｈ２からＴｈ１の輝度レベル範囲に含まれている輝度値を積算対象として抽出する。閾値生成部２２は、ＶＡに所定のオフセット値を加算あるいは減算することで、Ｔｈ１及びＴｈ２を生成することとしても良い。
【００２４】
輝度積算部２３は、Ｔｈ２からＴｈ１の輝度レベル範囲外と判定した輝度値については、積算対象から除外する他、所定の値に置き換えて積算対象に含めることとしても良い。輝度積算部２３は、Ｔｈ１より大きい輝度値を、例えばＴｈ１に置き換えて積算することとしても良い。輝度積算部２３は、Ｔｈ２より小さい輝度値を、例えばＴｈ２に置き換えて積算することとしても良い。
【００２５】
被写体の反射率を、あらゆる物について求めた場合の平均値である標準反射率は１８％であると知られているように、被写体の反射率は比較的低めである場合が多い。このため、ＶＡより高い値をＴｈ２として設定することで、輝度積算部２３は、照度の算出に適した高反射率の被写体による輝度データを抽出することが可能となる。ここでは、閾値生成部２２は、Ｔｈ２として、ＶＡより大きい値を設定しているが、これに限られない。Ｔｈ２は、ＶＡより小さい値としても良い。
【００２６】
本実施形態によると、固体撮像装置１２は、反射率が低い被写体による輝度データや直接光による輝度データを除外することで、高精度な照度検出が可能となる。
【００２７】
閾値生成部２２は、輝度平均算出部２１からの平均値に応じた閾値を生成する場合に限られない。閾値生成部２２は、輝度平均算出部２１からの平均値を使用せずに、閾値を生成するものであっても良い。固体撮像装置１２は、イメージセンサ２０からの輝度値の処理のための構成として、輝度平均算出部２１以外の要素を備えるものであっても良い。輝度値の処理のための構成は、閾値を生成する手法に応じて適宜変更可能であるものとする。
【００２８】
閾値生成部２２は、例えば、イメージセンサ２０において検出された輝度値について、平均値以外の値、例えば、最大値や最小値、輝度値の分布（ヒストグラム）から得られる値等を基に、閾値を生成するものであっても良い。閾値生成部２２は、これらの値を基に閾値を生成する場合において、例えば、係数の乗算や、オフセット値の加算あるいは減算等を実施しても良い。
【００２９】
閾値生成部２２は、各画素の輝度値を輝度レベル順に順位付けした結果を基に、閾値を決定するものとしても良い。図４は、輝度値の順位付けの結果を基に閾値を決定する場合の構成例を示すブロック図である。輝度順位付け部２６は、イメージセンサ２０において検出された輝度値に、輝度レベルの順による順位を付与する。閾値生成部２２は、輝度順位付け部２６において付与された順位を基に、閾値を決定する。
【００３０】
図５は、輝度値の順位付けを基に輝度値を選別する例を示す図である。図示するグラフの縦軸は輝度値のレベルを表している。グラフの横軸は、輝度順位付け部２６において付与された順位を、降順として表している。ここでは、輝度順位付け部２６は、輝度レベルが高いほど上位となるように順位を付与するものとしている。
【００３１】
閾値生成部２２は、各画素の輝度値のうち、例えば、最上位から１０位目の輝度値を、上限閾値Ｔｈ１とする。また、閾値生成部２２は、各画素の輝度値のうち、例えば、最下位から５０位目の輝度値を、下限閾値Ｔｈ２とする。Ｔｈ１及びＴｈ２の各順位は、いずれも任意に設定可能であるものとする。この場合、輝度積算部２３での積算に使用される輝度値のデータ量は一定であって、かつ予め把握可能であることから、輝度積算部２３は、適切な規模の回路を効率良く駆動させて、積算処理を実施することができる。
【００３２】
さらに、閾値生成部２２は、イメージセンサ２０で検出された輝度値からの処理を経た閾値を生成する場合に限られず、例えば、外部から設定された閾値を出力するものであっても良い。例えば、スポット光等の光源からの直接光による輝度データを除外するために設定される上限閾値としては、ヒストグラムのうち、直接光であると判別し得る値を指定することとしても良い。また、直接光であると特定し得る輝度レベルを予め画定し、上限閾値を設定することとしても良い。
【００３３】
閾値生成部２２は、上限閾値と下限閾値とを同様の手法によって生成する場合に限られず、上限閾値と下限閾値とを互いに異なる手法によって生成することとしても良い。例えば、閾値生成部２２は、外部から設定された値を上限閾値とし、イメージセンサ２０で検出された輝度値からの処理を経た値を下限閾値としても良い。
【００３４】
閾値生成部２２は、撮像画面全体の明暗の傾向に応じて、上限閾値及び下限閾値の少なくとも一方のレベルを調整することとしても良い。例えば、撮像画面全体が暗いと判断する場合は、閾値生成部２２は、上限閾値を通常より高い値とすることで、高い輝度レベルのデータを多く得ることとする。このようにして、固体撮像装置１２は、被写体像の明暗に応じた高精度な照度検出が可能となる。
【００３５】
閾値生成部２２は、上限閾値及び下限閾値の双方を生成する場合に限られず、上限閾値及び下限閾値のいずれか一方を生成するものとしても良い。閾値生成部２２は、例えば、カメラモジュール１０による撮像において想定される照度環境等に応じて、上限閾値及び下限閾値のいずれかを省略しても良い。例えば、光源を含まない環境での撮像を想定する場合は、閾値生成部２２は、下限閾値を設定し、上限閾値の設定を省くこととしても良い。
【００３６】
なお、閾値生成部２２で生成された閾値の範囲に含まれる輝度データが存在しない場合、あるいは極端に少ない場合、固体撮像装置１２は、例えば、イメージセンサ２０において検出された輝度値の全てを輝度積算部２３において積算することとしても良い。または、固体撮像装置１２は、照度検出のための処理を停止することとしても良い。カメラモジュール１０は、照度算出に有効な輝度データが存在しないか極端に少ないために照度検出の処理を停止する場合、その旨を表示部１５での表示等により報知することとしても良い。
【００３７】
図６は、閾値の生成のための積算、照度値の算出のための積算、及び照度値の出力の各タイミングの例を説明する概念図である。ここでは、イメージセンサ２０で取得した輝度値の平均から閾値を生成し、照度値を得る場合を例とする。
【００３８】
輝度平均算出部２１は、例えば、あるフレームＦ１の期間にイメージセンサ２０で取得された輝度値を積算する。輝度平均算出部２１は、Ｆ１について輝度値の積算を終えると、輝度値の平均を算出する。閾値生成部２２は、輝度値の平均値を基に、閾値を生成する。
【００３９】
Ｆ１について閾値生成部２２により閾値が生成されると、輝度積算部２３は、次のフレームＦ２の期間に、Ｆ１についての輝度値を積算する。Ｆ１についての輝度値の積算が終わると、固体撮像装置１２は、輝度観測値算出部２４における輝度観測値の算出、照度値変換部２５における照度値への変換を経て、さらに次のフレームＦ３の開始時に、照度値を出力する。固体撮像装置１２は、フレームＦ１に次ぐ各フレームＦ２、Ｆ３及びＦ４についても同様の処理を経て、照度値を出力する。
【００４０】
このように、固体撮像装置１２は、閾値の生成のための積算、及び照度値の算出のための積算による２フレーム期間を経た後に、照度値を出力する。カメラモジュール１０は、２フレーム期間前の輝度データから照度値を取得することとなる。２フレーム期間程度であれば輝度データの変化は比較的少ないことから、カメラモジュール１０は、本実施形態により取得した照度値を使用して、表示部１５の明るさ調節等の制御システムを実現することができる。
【００４１】
固体撮像装置１２は、輝度データを格納するためのフレームメモリを備えることとしても良い。例えば、固体撮像装置１２は、フレームメモリから読み出した輝度データを、照度値の算出のための積算に使用することとしても良い。
【００４２】
図７は、閾値の生成のための積算、フレームメモリへの記録、照度値の算出のための積算、及び照度値の出力の各タイミングの例を説明する概念図である。あるフレームＦ１について輝度平均算出部２１が輝度値を積算する間、フレームメモリは、Ｆ１についての輝度値を記録する。
【００４３】
輝度積算部２３は、Ｆ１の期間の終了と同時に、フレームメモリに記録されている輝度データの読み出しと積算とを、Ｆ１について一括して行う。さらに、固体撮像装置１２は、輝度観測値算出部２４における輝度観測値の算出、照度値変換部２５における照度値への変換を経て、次のフレームＦ２の開始時に、照度値を出力する。固体撮像装置１２は、フレームＦ１に次ぐ各フレームＦ２、Ｆ３及びＦ４についても同様の処理を経て、照度値を出力する。
【００４４】
この場合、固体撮像装置１２は、輝度データの検出から照度値の出力までを、１フレーム期間にまで短縮することができる。カメラモジュール１０は、輝度データを検出してからできるだけ少ない時間差で得られた照度値を使用する制御システムを実現することができる。
【００４５】
（第２の実施形態）
図８は、第２の実施形態に係る固体撮像装置のうち、照度値の算出のための構成を示すブロック図である。第１の実施形態と同一の部分には同一の符号を付し、重複する説明を省略する。
【００４６】
固体撮像装置３０は、イメージセンサ２０、領域分割部３１、輝度平均算出部２１、閾値生成部２２、積算対象領域選択部３２、輝度積算部２３、輝度観測値算出部２４及び照度値変換部２５を有する。領域分割部３１は、撮像画面を複数の領域に分割し、イメージセンサ２０において検出された輝度値を領域ごとのデータとする。
【００４７】
輝度平均算出部２１は、領域ごとの輝度値の平均を算出する。輝度平均算出部２１は、例えば、領域内の全画素について輝度値を積算し、平均値を求める。輝度平均算出部２１は、領域ごとに全画素の輝度値を積算する場合の他、領域内の一部の画素について輝度値を積算することとしても良い。輝度平均算出部２１は、例えば、領域内において所定の間隔で位置する画素について輝度値を積算することとしても良い。
【００４８】
閾値生成部２２は、輝度平均算出部２１において算出された平均値を基に、領域ごとの閾値を生成する。閾値生成部２２は、輝度値の平均値を用いて閾値を設定する他、第１の実施形態と同様、輝度値の平均値以外の要素を基に閾値を設定するものとしても良い。閾値生成部２２は、領域ごとの閾値を生成する他、例えば、全領域について共通とする閾値を生成することとしても良い。
【００４９】
積算対象領域選択部３２は、撮像画面内に設定された複数の領域のうち、輝度積算部２３において輝度値を積算する対象とする積算対象領域を選択する。積算対象領域選択部３２は、例えば、領域ごとに得られた平均値に輝度レベルの順による順位を付与し、順位に応じて積算対象領域を選択することとしても良い。
【００５０】
積算対象領域選択部３２は、例えば、上位から２番目とされた領域や、上位４つの領域等を、積算対象領域として選択する。積算対象領域選択部３２は、予め設定された条件に応じて積算対象領域を選択する他、外部からの積算対象領域の指定を受け付けることとしても良い。
【００５１】
輝度積算部２３は、積算対象領域選択部３２において積算対象領域として選択された領域について、画素ごとの輝度値と、当該領域について得られている閾値とを比較する。輝度積算部２３は、閾値との比較により選別した輝度値を積算する。
【００５２】
輝度積算部２３は、閾値との比較による輝度値の選別を、領域内の全画素について実施する場合の他、領域内の一部の画素について実施することとしても良い。輝度平均算出部２１は、例えば、領域内において所定の間隔で位置する画素について輝度値を選別することとしても良い。
【００５３】
輝度積算部２３は、閾値の範囲外と判定した輝度値については、積算対象から除外する他、所定の値に置き換えて積算対象に含めることとしても良い。輝度積算部２３は、閾値の範囲外の輝度値を、例えば当該閾値に置き換えて積算することとしても良い。
【００５４】
輝度観測値算出部２４は、輝度積算部２３における積算結果を基に、撮像画面全体についての輝度の観測結果である輝度観測値を算出する。照度値変換部２５は、輝度観測値算出部２４からの輝度観測値を照度値に変換する。固体撮像装置３０は、照度値変換部２５で得られた照度値を出力する。照度値変換部２５は、第１の実施形態と同様、いずれの手法により、輝度観測値を照度値へ変換するものであっても良い。照度値変換部２５は、撮像画面の全体について１つの照度値を算出する他、領域ごとの照度値を算出することとしても良い。
【００５５】
積算対象領域選択部３２は、輝度積算部２３において閾値の範囲内と判定された輝度値のデータ数を領域ごとにカウントした結果を基に、積算対象領域を選択することとしても良い。図９は、積算対象領域選択部による積算対象領域の選択の例を説明する図である。ここでは、領域分割部３１が、撮像画面を３５個の領域（「１１」〜「５７」）に分割する場合を例とする。
【００５６】
例えば、光源から入射した直接光が、図中斜線を付すように「２５」、「２６」、「３５」及び「３６」の４つの領域に跨る円領域に入射し、円領域内の輝度値が各領域において閾値の範囲外であったとする。閾値の範囲内とされた輝度値のデータ数が各領域において予め設定されている数を下回った場合に、積算対象領域選択部３２は、次の照度値算出の際に、「２５」、「２６」、「３５」及び「３６」の各領域を、積算対象領域から除外する。
【００５７】
本実施形態によると、固体撮像装置３０は、照度算出に使用する輝度データを、複数の領域に細分して設定された条件に応じて選別可能とすることで、撮像画面内の部分ごとの状態に応じた高精度な照度検出が可能となる。
【００５８】
（第３の実施形態）
図１０は、第３の実施形態に係る固体撮像装置と自動露出制御部とを示すブロック図である。本実施形態の固体撮像装置４０は、例えば、図１に示す固体撮像装置１２と同様の構成を備える。第１の実施形態と同一の部分には同一の符号を付し、重複する説明を省略する。なお、固体撮像装置４０は、第１及び第２の実施形態に示すいずれの固体撮像装置と同様の構成としても良い。
【００５９】
自動露出制御部４１は、輝度観測値算出部２４で算出された輝度観測値に応じて、被写体像の撮像における露出を調節する。本実施形態によると、カメラモジュール１０は、反射率が低い被写体による輝度データや直接光による輝度データを除外して算出された輝度観測値を露出調節に使用することで、高精度な露出調節を実施することができる。
【００６０】
本実施形態では、自動露出制御部４１は、カメラモジュール１０のうち固体撮像装置４０の外部に設けられている。自動露出制御部４１は、固体撮像装置４０の内部に設けられたものとしても良い。
【００６１】
（第４の実施形態）
図１１は、第４の実施形態に係る固体撮像装置のうち、照度値の算出のための構成を示すブロック図である。第１の実施形態と同一の部分には同一の符号を付し、重複する説明を省略する。
【００６２】
イメージセンサ２０は、例えば、原色フィルタを有する。原色フィルタは、被写体からの光のうちの原色成分を通過させる。Ｒ画素は、赤色光を選択的に透過させるカラーフィルタが設けられた画素である。Ｇ画素は、緑色光を選択的に透過させるカラーフィルタが設けられた画素である。Ｂ画素は、青色光を選択的に透過させるカラーフィルタが設けられた画素である。
【００６３】
Ｇ画素タイミング生成部５１は、イメージセンサ２０からＧ画素の輝度値が出力されるタイミングを示すパルス信号を生成する。輝度積算部２３は、Ｇ画素タイミング生成部５１からのパルス信号に応じて、イメージセンサ２０からの輝度値のうちＧ画素の輝度値を抽出する。輝度積算部２３は、Ｇ画素で検出された緑色光の輝度値を選別し、積算する。
【００６４】
輝度観測値算出部２４は、輝度積算部２３における積算結果を基に、撮像画面全体についての輝度の観測結果である輝度観測値を算出する。照度値変換部２５は、輝度観測値算出部２４からの輝度観測値を照度値に変換する。固体撮像装置５０は、照度値変換部２５で得られた照度値を出力する。照度値変換部２５は、第１の実施形態と同様、いずれの手法により、輝度観測値を照度値へ変換するものであっても良い。
【００６５】
図１２は、原色フィルタの構成例を説明する図である。原色フィルタは、Ｇ、Ｒ、Ｂ、Ｇの４画素を単位として構成されるベイヤー配列に対応して、Ｒ用、Ｇ用及びＢ用の各フィルタが並列している。ベイヤー配列では、Ｒ画素、Ｂ画素に対してＧ画素が２倍の比率で設けられている。人間の眼の分光感度は、可視光の波長域のうちの中間域に位置する緑色付近をピークとする。
【００６６】
イメージセンサ２０は、緑色の解像度を向上させることで、見かけ上の解像度を向上させている。また、固体撮像装置５０は、Ｒ、Ｇ、Ｂの各成分のうち輝度についての情報を最も多く得られるのがＧ成分であることから、照度検出のための輝度値の積算に、Ｇ画素からの輝度値を採用している。固体撮像装置５０は、輝度について多くの情報を得られるとして予め設定された色成分を条件として、輝度値を選別する。
【００６７】
本実施形態によると、固体撮像装置５０は、照度算出に使用する輝度データを特定の色光に限定することで、全ての色光について輝度データを使用する場合に比べて回路構成を簡略化させることが可能となる。また、固体撮像装置５０は、照度算出に使用する輝度データとしてＧ画素からの輝度値を採用することで、高精度な照度検出が可能となる。
【００６８】
固体撮像装置５０は、輝度積算部２３における積算対象をＧ成分に限定するため、カラーフィルタの波長特性の違いに応じて他の色成分との間に生じる輝度レベルの差を調整しないこととしても良い。固体撮像装置５０は、照度値の算出においては、Ｒ、Ｇ、Ｂの各成分についてのホワイトバランス調整を省略可能とする。
【００６９】
イメージセンサ２０は、原色フィルタに代えて、補色フィルタを有するものであっても良い。補色フィルタは、被写体からの光のうちの補色成分を通過させる。図１３は、補色フィルタの構成例を説明する図である。補色フィルタは、黄（Ｙｅ）、シアン（Ｃｙ）、マゼンタ（Ｍｇ）、緑（Ｇ）の４画素を単位として構成される画素配列に対応して、Ｙｅ用、Ｃｙ用、Ｍｇ用及びＧ用の各フィルタが並列している。
【００７０】
Ｙｅ画素に対応するＹｅ用フィルタは、Ｙｅ光を選択的に透過させる。Ｃｙ画素に対応するＣｙ用フィルタは、Ｃｙ光を選択的に透過させる。Ｍｇ画素に対応するＭｇ用フィルタは、Ｍｇ光を選択的に透過させる。Ｇ画素に対応するＧ用フィルタは、Ｇ光を選択的に透過させる。
【００７１】
イメージセンサ２０に補色フィルタを適用する場合も、輝度積算部２３は、Ｇ画素で検出された緑色光の輝度値を選別し、積算する。この場合も、固体撮像装置５０は、回路構成の簡略化、高精度な照度検出が可能となる。
【００７２】
図１４は、補色フィルタの構成の変形例を説明する図である。変形例に係る補色フィルタは、Ｙｅ用、Ｃｙ用の各フィルタと、白色（Ｗｈ）用フィルタとが設けられている。この補色フィルタは、Ｗｈ、Ｙｅ、Ｃｙ、Ｗｈの４画素を単位として構成される画素配列に対応している。Ｗｈ用フィルタは、Ｗｈ光を透過させる。Ｗｈ光は、Ｒ、Ｇ及びＢの各成分を含む。
【００７３】
かかる補色フィルタをイメージセンサ２０に適用する場合、輝度積算部２３は、Ｗｈ画素で検出された白色光の輝度値を選別し、積算する。固体撮像装置５０は、Ｗｈ、Ｙｅ、Ｃｙの各成分のうち輝度についての情報を最も多く得られるＷｈ成分を、照度算出に使用する輝度データとして採用することで、高精度な照度検出が可能となる。
【００７４】
固体撮像装置５０は、第３の実施形態と同様、輝度観測値算出部２４で算出された輝度観測値を、自動露出制御部４１（図１０参照）における露出調節に使用することとしても良い。カメラモジュール１０は、輝度についての情報を多く得られるとして特定された色成分の輝度値から輝度観測値を算出し、露出調節に使用することで、高精度な露出調節を実施することができる。
【００７５】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００７６】
１０ カメラモジュール、１１ レンズモジュール、１２、３０、４０、５０ 固体撮像装置、２０ イメージセンサ、２１ 輝度平均算出部、２２ 閾値生成部、２３ 輝度積算部、２４ 輝度観測値算出部、２５ 照度値変換部、２６ 輝度順位付け部、３２ 積算対象領域選択部、４１ 自動露出制御部。
【特許請求の範囲】
【請求項１】
被写体像を撮像するイメージセンサと、
前記イメージセンサにおいて画素ごとに検出された輝度値の平均を算出する輝度平均算出部と、
前記輝度平均算出部において算出された平均値を基に、輝度レベルについての閾値を生成する閾値生成部と、
前記輝度値を積算する輝度積算部と、
前記輝度積算部における積算結果を基に、撮像画面全体についての輝度の観測結果である輝度観測値を算出する輝度観測値算出部と、
前記輝度観測値算出部からの前記輝度観測値を照度値に変換する照度値変換部と、を有し、
前記輝度積算部は、前記イメージセンサにおいて検出された前記輝度値のうち、前記閾値生成部で生成された前記閾値との比較により選別された輝度値を積算することを特徴とする固体撮像装置。
【請求項２】
被写体像を撮像するイメージセンサと、
前記イメージセンサにおいて画素ごとに検出された輝度値を積算する輝度積算部と、
前記輝度積算部における積算結果を基に、撮像画面全体についての輝度の観測結果である輝度観測値を算出する輝度観測値算出部と、
前記輝度観測値算出部からの前記輝度観測値を照度値に変換する照度値変換部と、を有し、
前記輝度積算部は、前記イメージセンサにおいて検出された前記輝度値のうち、輝度レベルに関して設定された条件に応じて選別された輝度値を積算することを特徴とする固体撮像装置。
【請求項３】
前記イメージセンサにおいて検出された前記輝度値に、輝度レベルの順による順位を付与する輝度順位付け部と、
前記輝度順位付け部において付与された前記順位を基に、輝度レベルについての閾値を生成する閾値生成部と、をさらに有し、
前記画素積算部は、前記イメージセンサにおいて検出された前記輝度値のうち、前記閾値生成部で生成された前記閾値との比較により選別された輝度値を積算することを特徴とする請求項２に記載の固体撮像装置。
【請求項４】
前記撮像画面内に設定された複数の領域のうち、前記輝度積算部において前記輝度値を積算する対象とする積算対象領域を選択する積算対象領域選択部をさらに有することを特徴とする請求項２又は３に記載の固体撮像装置。
【請求項５】
前記被写体像の撮像における露出を調節する露出制御部をさらに有し、
前記露出制御部は、前記輝度観測値算出部からの前記輝度観測値に応じて露出を調節することを特徴とする請求項２から４のいずれか一項に記載の固体撮像装置。
【請求項６】
前記イメージセンサは、各色光を分担して検出する各色光用画素を備え、
前記輝度積算部は、前記各色光用画素のうち緑色用画素で検出された緑色光の輝度値を選別し、積算することを特徴とする請求項２に記載の固体撮像装置。
【請求項７】
被写体からの光を取り込むレンズモジュールと、
前記レンズモジュールにより結像された被写体像を撮像するイメージセンサと、
前記被写体像の撮像における露出を調節する露出制御部と、
前記イメージセンサにおいて画素ごとに検出された輝度値を積算する輝度積算部と、
前記輝度積算部における積算結果を基に、撮像画面全体についての輝度の観測結果である輝度観測値を算出する輝度観測値算出部と、
前記輝度観測値算出部からの前記輝度観測値を照度値に変換する照度値変換部と、を有し、
前記画素積算部は、前記イメージセンサにおいて検出された前記輝度値のうち、輝度レベルに関して設定された条件に応じて選別された輝度値を積算し、
前記露出制御部は、前記輝度観測値算出部からの前記輝度観測値に応じて露出を調節することを特徴とするカメラモジュール。
【請求項１】
被写体像を撮像するイメージセンサと、
前記イメージセンサにおいて画素ごとに検出された輝度値の平均を算出する輝度平均算出部と、
前記輝度平均算出部において算出された平均値を基に、輝度レベルについての閾値を生成する閾値生成部と、
前記輝度値を積算する輝度積算部と、
前記輝度積算部における積算結果を基に、撮像画面全体についての輝度の観測結果である輝度観測値を算出する輝度観測値算出部と、
前記輝度観測値算出部からの前記輝度観測値を照度値に変換する照度値変換部と、を有し、
前記輝度積算部は、前記イメージセンサにおいて検出された前記輝度値のうち、前記閾値生成部で生成された前記閾値との比較により選別された輝度値を積算することを特徴とする固体撮像装置。
【請求項２】
被写体像を撮像するイメージセンサと、
前記イメージセンサにおいて画素ごとに検出された輝度値を積算する輝度積算部と、
前記輝度積算部における積算結果を基に、撮像画面全体についての輝度の観測結果である輝度観測値を算出する輝度観測値算出部と、
前記輝度観測値算出部からの前記輝度観測値を照度値に変換する照度値変換部と、を有し、
前記輝度積算部は、前記イメージセンサにおいて検出された前記輝度値のうち、輝度レベルに関して設定された条件に応じて選別された輝度値を積算することを特徴とする固体撮像装置。
【請求項３】
前記イメージセンサにおいて検出された前記輝度値に、輝度レベルの順による順位を付与する輝度順位付け部と、
前記輝度順位付け部において付与された前記順位を基に、輝度レベルについての閾値を生成する閾値生成部と、をさらに有し、
前記画素積算部は、前記イメージセンサにおいて検出された前記輝度値のうち、前記閾値生成部で生成された前記閾値との比較により選別された輝度値を積算することを特徴とする請求項２に記載の固体撮像装置。
【請求項４】
前記撮像画面内に設定された複数の領域のうち、前記輝度積算部において前記輝度値を積算する対象とする積算対象領域を選択する積算対象領域選択部をさらに有することを特徴とする請求項２又は３に記載の固体撮像装置。
【請求項５】
前記被写体像の撮像における露出を調節する露出制御部をさらに有し、
前記露出制御部は、前記輝度観測値算出部からの前記輝度観測値に応じて露出を調節することを特徴とする請求項２から４のいずれか一項に記載の固体撮像装置。
【請求項６】
前記イメージセンサは、各色光を分担して検出する各色光用画素を備え、
前記輝度積算部は、前記各色光用画素のうち緑色用画素で検出された緑色光の輝度値を選別し、積算することを特徴とする請求項２に記載の固体撮像装置。
【請求項７】
被写体からの光を取り込むレンズモジュールと、
前記レンズモジュールにより結像された被写体像を撮像するイメージセンサと、
前記被写体像の撮像における露出を調節する露出制御部と、
前記イメージセンサにおいて画素ごとに検出された輝度値を積算する輝度積算部と、
前記輝度積算部における積算結果を基に、撮像画面全体についての輝度の観測結果である輝度観測値を算出する輝度観測値算出部と、
前記輝度観測値算出部からの前記輝度観測値を照度値に変換する照度値変換部と、を有し、
前記画素積算部は、前記イメージセンサにおいて検出された前記輝度値のうち、輝度レベルに関して設定された条件に応じて選別された輝度値を積算し、
前記露出制御部は、前記輝度観測値算出部からの前記輝度観測値に応じて露出を調節することを特徴とするカメラモジュール。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１３−８３８７６（Ｐ２０１３−８３８７６Ａ）
【公開日】平成２５年５月９日（２０１３．５．９）
【国際特許分類】
【出願番号】特願２０１１−２２４９５９（Ｐ２０１１−２２４９５９）
【出願日】平成２３年１０月１２日（２０１１．１０．１２）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２５年５月９日（２０１３．５．９）
【国際特許分類】
【出願日】平成２３年１０月１２日（２０１１．１０．１２）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]