撮像装置及びフォーカス制御方法
【課題】高精度のフォーカス制御が可能である撮像装置及びフォーカス制御方法等を提供すること。
【解決手段】撮像装置は、複数色の画素が配列される撮像素子１０３と、所定の画素数で構成される加算単位において、その加算単位に含まれる画素の画素信号に対して所定の重み付けを行って加算し、複数の加算画像を取得する加算画像取得部１８０と、複数の加算画像を平均した平均画像を生成する平均画像生成部１２３と、複数の加算画像の各加算画像と平均画像との差分である複数の差分画像を生成する差分画像生成部１２１と、複数の差分画像のうちの少なくとも１つの差分画像に基づいて、フォーカス評価値を算出するフォーカス評価値算出部と、フォーカス評価値に基づいてフォーカス制御を行うフォーカス制御部と、を含む。
【解決手段】撮像装置は、複数色の画素が配列される撮像素子１０３と、所定の画素数で構成される加算単位において、その加算単位に含まれる画素の画素信号に対して所定の重み付けを行って加算し、複数の加算画像を取得する加算画像取得部１８０と、複数の加算画像を平均した平均画像を生成する平均画像生成部１２３と、複数の加算画像の各加算画像と平均画像との差分である複数の差分画像を生成する差分画像生成部１２１と、複数の差分画像のうちの少なくとも１つの差分画像に基づいて、フォーカス評価値を算出するフォーカス評価値算出部と、フォーカス評価値に基づいてフォーカス制御を行うフォーカス制御部と、を含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置及びフォーカス制御方法等に関する。
【背景技術】
【０００２】
撮像素子を用いて被写体像を撮像し、撮像素子から出力される撮像信号に基づいて、撮影レンズによる焦点位置の調節状態を検出するカメラの焦点検出手法が知られている。焦点検出手法のうち山登り方式と呼ばれる手法では、フォーカスレンズを光軸方向に進退駆動させながら、撮像信号の高周波数成分によるデータ（即ち、フォーカス評価値）が極大値をとるように合焦位置を検出する。
【０００３】
フォーカス評価値の算出手法には、複数の手法がある。まず、フォーカス評価値の算出に使用される画像の生成手法として、例えばベイヤ画像からＹＣｒＣｂ信号を算出し、そのＹ信号（輝度値）からフォーカス評価値を算出する手法がある。また、ベイヤ画像のＧ信号（グリーン信号）からフォーカス評価値を算出する手法がある（例えば、特許文献１）。
【０００４】
次に、画像からフォーカス評価値を算出する手法として、例えば、ＨＰＦを用いて上記画像から高周波成分を抽出し、その高周波成分の量を評価値とする手法がある。また、上記画像を微分してエッジ成分を抽出し、そのエッジ成分の量を評価値とする手法がある（例えば、特許文献２、３）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−２８５０９４号公報
【特許文献２】特開２０１１−１０７６８２号公報
【特許文献３】特開平１１−１４２７４２公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記の手法では高精度のフォーカス制御が困難であるという課題がある。例えば、特許文献１の手法では、被写体の色がＲ成分やＢ成分に偏っている場合に、Ｇ信号から算出したフォーカス評価値が小さくなり、フォーカス制御の精度が低下してしまう。また、特許文献２、３の手法では、エッジ成分が画像のノイズ成分の影響を受けるため、例えば暗い被写体を撮影した場合のように低Ｓ／Ｎの画像ではフォーカス制御の精度が低下してしまう。
【０００７】
本発明の幾つかの態様によれば、高精度のフォーカス制御が可能である撮像装置及びフォーカス制御方法等を提供できる。
【課題を解決するための手段】
【０００８】
本発明の一態様は、複数色の画素が配列される撮像素子と、所定の画素数で構成される加算単位において、前記加算単位に含まれる画素の画素信号に対して所定の重み付けを行って加算し、複数の加算画像を取得する加算画像取得部と、前記複数の加算画像を平均した平均画像を生成する平均画像生成部と、前記複数の加算画像の各加算画像と前記平均画像との差分である複数の差分画像を生成する差分画像生成部と、前記複数の差分画像のうちの少なくとも１つの差分画像に基づいて、フォーカス評価値を算出するフォーカス評価値算出部と、前記フォーカス評価値に基づいてフォーカス制御を行うフォーカス制御部と、を備える撮像装置に関係する。
【０００９】
本発明の一態様によれば、複数の加算画像の各加算画像と、その複数の加算画像が平均された平均画像と、の差分である複数の差分画像が生成される。そして、その複数の差分画像のうちの少なくとも１つの差分画像に基づいて算出されたフォーカス評価値に基づいて、フォーカス制御が行われる。これにより、高精度のフォーカス制御を行うことが可能になる。
【００１０】
また本発明の一態様では、前記フォーカス評価値を比較する比較部と、を備え、前記フォーカス評価値算出部は、前記複数の差分画像毎に対応する複数のフォーカス評価値を算出し、前記比較部は、前記複数のフォーカス評価値の値を比較し、前記比較の結果に基づいて最大のフォーカス評価値を選択してもよい。
【００１１】
また本発明の一態様では、前記加算画像取得部は、前記複数色の各色と前記重み付けの係数との対応が異なる前記複数の加算画像を取得し、前記フォーカス制御部は、前記複数の差分画像の各差分画像に基づく前記フォーカス評価値のうちの最大のフォーカス評価値に基づいて、前記フォーカス制御を行ってもよい。
【００１２】
また本発明の一態様では、前記撮像素子には、前記複数色の画素としてＲＧＢの画素がベイヤ配列で配列され、前記加算画像取得部は、色に対する前記重み付けの係数がＧ色及びＢ色に対する前記重み付け係数よりも大きい第１の加算画像と、Ｇ色に対する前記重み付けの係数がＲ色及びＢ色に対する前記重み付けの係数よりも大きい第２の加算画像と、Ｂ色に対する前記重み付けの係数がＲ色及びＧ色に対する前記重み付けの係数よりも大きい第３の加算画像と、を取得し、前記差分画像生成部は、記第１〜第３の加算画像から第１〜第３の差分画像を生成し、前記フォーカス制御部は、記第１〜第３の差分画像に対応する第１〜第３のフォーカス評価値のうちの前記最大のフォーカス評価値に基づいて、前記フォーカス制御を行ってもよい。
【００１３】
また本発明の一態様では、前記平均画像に基づいて露出評価値を算出する露出評価値算出部と、前記露出評価値に基づいて露出制御を行う露出制御部と、を備えてもよい。
【００１４】
また本発明の一態様では、前記加算画像取得部は、前記撮像素子による撮像画像を取得する撮像画像取得部と、前記加算単位を前記撮像画像の複数の画素毎に設定し、前記加算単位に含まれる画素値を前記重み付け加算して前記加算画素値を求め、求めた前記加算画素値による加算画像を生成する加算画像生成部と、を有し、前記加算画像生成部は、前記加算単位を順次画素シフトさせて、第１〜第ｎの加算画像（ｎは２以上の自然数）を前記複数の加算画像として生成してもよい。
【００１５】
また本発明の一態様では、前記加算画像生成部は、前記加算単位を、水平又は垂直に１画素ずつ順次シフトさせて第１〜第ｎのポジションに設定し、前記第１〜第ｎのポジションにおいてそれぞれ前記第１〜第ｎの加算画像を取得し、前記第１〜第ｎのポジションのうちの第ｍのポジションと第ｍ＋１のポジションの前記加算単位は、共通の画素を含んでもよい。
【００１６】
また本発明の一態様では、前記平均画像生成部は、前記第１〜第ｎのポジションの前記加算画素値の平均値を、前記平均画像の画素値として求め、前記差分画像生成部は、前記平均画像の画素値と、前記第ｍのポジションの前記加算画素値の差分値を、前記第ｍの差分画像の画素値として求めてもよい。
【００１７】
また本発明の一態様では、前記平均画像と前記複数の差分画像から前記複数の加算画像を再生成する加算画像再生成部と、再生成された前記複数の加算画像に基づいて前記重み付け加算前の画素値を推定する推定演算部と、を備えてもよい。
【００１８】
また本発明の一態様では、前記複数の差分画像を圧縮する圧縮処理部と、圧縮された前記複数の差分画像を伸張し、伸張した前記複数の差分画像を前記加算画像再生成部に出力する伸張処理部と、を備えてもよい。
【００１９】
また本発明の他の態様は、複数色の画素が撮像素子に配列される場合に、所定の画素数で構成される加算単位において、前記加算単位に含まれる画素の画素信号に対して所定の重み付けを行って加算して複数の加算画像を取得し、前記複数の加算画像を平均した平均画像を生成し、前記複数の加算画像の各加算画像と前記平均画像との差分である複数の差分画像を生成し、前記複数の差分画像のうちの少なくとも１つの差分画像に基づいて、フォーカス評価値を算出し、前記フォーカス評価値に基づいてフォーカス制御を行うフォーカス制御方法に関係する。
【図面の簡単な説明】
【００２０】
【図１】本実施形態の撮像装置の第１の構成例。
【図２】差分画像、平均画像の第１の生成手法における加算画像取得部の詳細な構成例。
【図３】差分画像、平均画像の第１の生成手法についての説明図。
【図４】差分画像、平均画像の第２の生成手法についての説明図。
【図５】ＡＦ制御、ＡＥ制御のフローチャート。
【図６】本実施形態の撮像装置の第２の構成例。
【図７】第２の構成例におけるＡＦ制御のフローチャート。
【発明を実施するための形態】
【００２１】
以下、本発明の好適な実施の形態について詳細に説明する。なお以下に説明する本実施形態は特許請求の範囲に記載された本発明の内容を不当に限定するものではなく、本実施形態で説明される構成の全てが本発明の解決手段として必須であるとは限らない。
【００２２】
１．撮像装置
図１に、被写体の色成分が偏っている場合や、画像が低Ｓ／Ｎの場合であっても高精度にフォーカス制御が可能な本実施形態の撮像装置の第１の構成例を示す。
【００２３】
撮像装置は、撮像素子１０３、光学ズーム駆動部１０５、絞り駆動部１０７、ＡＦ駆動部１０９、撮像素子駆動部１１１、バッファメモリ１１５、ユーザＩ／Ｆ部１１７、差分画像生成部１２１、平均画像生成部１２３、加算画像再生成部１２４、高精細画像復元推定部１２５、モニタ画像生成部１２７、モニタ１２９、圧縮処理部１３０、伸張処理部１３９、ＡＥ評価値算出部１４１（AE: Automatic Exposure）、ＡＦ評価値算出部１４３（AF: Automatic Focus）、光学系１５０、圧縮データ記憶部１７０、加算画像取得部１８０、制御部１９０を含む。
【００２４】
撮像装置は、光学的な画像情報を電気信号に変換し、電子的に記録媒体に記録する装置であり、例えばデジタルスチルカメラ等が想定される。撮像装置は、例えばコンパクトデジタルカメラのように、図１に示す構成要素が一体に形成される。あるいは、レンズ交換式デジタルカメラのように、光学系１５０と光学ズーム駆動部１０５と絞り駆動部１０７とＡＦ駆動部１０９が交換レンズ部として形成され、その交換レンズ部がカメラボディ部に着脱されてもよい。
【００２５】
光学系１５０（撮影レンズ）は、撮像素子１０３の撮像面上に被写体像を形成し、例えば焦点距離可変のズームレンズにより構成される。光学系１５０は、レンズ１５１、ズームレンズ１５２、絞り機構１５３、フォーカスレンズ１５４を含む。ズームレンズ１５２は光学ズームを行うためのレンズである。フォーカスレンズ１５４は、フォーカス調整を行うためのレンズである。これらのレンズ１５１、１５２、１５４や絞り機構１５３はレンズ鏡筒に収納されている。
【００２６】
光学ズーム駆動部１０５は、ズームレンズ１５２を駆動する。絞り駆動部１０７は、絞り機構１５３を駆動する。ＡＦ駆動部１０９は、フォーカスレンズ１５４を駆動する。具体的には、光学ズーム駆動部１０５は、ズームレンズ１５２を光軸方向に移動させるための電気機械的機構を含む。絞り駆動部１０７は、絞り機構１５３を光軸方向と垂直な方向に移動させるための電気機械的機構を含む。ＡＦ駆動部１０９は、フォーカスレンズ１５４を光軸方向に移動させるための電気機械的機構を含む。これらの駆動部１０５、１０７、１０９は、制御部１９０からの制御信号に応じて、それぞれレンズ１５２、１５４、絞り機構１５３の位置を制御する。
【００２７】
撮像素子１０３は、例えばＣＣＤあるいはＣＭＯＳイメージセンサで構成される。撮像素子１０３は、図示しないＣＤＳ処理部（CDS：Correlated Double Sampling）、Ａ／Ｄ変換部等の処理ブロックを有し、撮像画像をデジタルの画像信号として出力する。なお、これらの処理ブロックは撮像素子１０３の外部に設けられてもよい。
【００２８】
撮像素子駆動部１１１は、撮像素子１０３を駆動する。具体的には、撮像素子駆動部１１１は、制御部１９０からの制御信号に応じて、撮像素子１０３の電荷蓄積動作や画像の読み出し動作を制御する。
【００２９】
ユーザＩ／Ｆ部１１７は、ユーザが撮像装置に対して種々の操作を行うためのＩ／Ｆであり、例えば図示しないシャッターやズームレバー等の各種操作スイッチを含み、その操作信号を制御部１９０に送信する。バッファメモリ１１５は、画像処理のために一時的に画像データを格納する。
【００３０】
加算画像取得部１８０は、撮像素子１０３から出力された画像信号に基づき、ベイヤ配列における複数の隣接画素値が加算された加算画像を取得する。加算画像は複数取得され、各加算画像では加算画素の組み合わせが異なる。なお、詳細は後述する。
【００３１】
平均画像生成部１２３は、複数の加算画像の画素値を平均して平均画像を生成する。差分画像生成部１２１は、平均画像と加算画像の画素値を減算して差分画像を生成する。なお、詳細は後述する。
【００３２】
圧縮処理部１３０は、差分画像や平均画像の圧縮処理を行う。例えば、圧縮処理部１３０は、差分画像に対してエントロピー符号化等の可逆圧縮を行い、平均画像に対してＭＰＥＧ等の不可逆圧縮を行う。圧縮データ記憶部１７０は、圧縮処理された画像データを記憶し、例えば外部メモリにより構成される。
【００３３】
伸張処理部１３９は、圧縮データ記憶部１７０に記憶された圧縮画像データを伸張する処理を行い、差分画像と平均画像を出力する。
【００３４】
加算画像再生成部１２４は、伸張処理部１３９からの差分画像及び平均画像に基づいて加算画像を再生成する。なお、圧縮・伸張処理は外部メモリ容量や撮像装置の仕様等の都合で削除してもよい。この場合、加算画像再生成部１２４は、差分画像生成部１２１からの差分画像及び平均画像生成部１２３からの平均画像に基づいて加算画像を再生成する。
【００３５】
高精細画像復元推定部１２５は、再生成された複数の加算画像に基づいて、加算前のベイヤ画像を復元する処理を行う。例えば、後述するように特開２０１１−１５１５６９に開示される推定処理を行う。
【００３６】
モニタ画像生成部１２７は、復元処理された画像をモニタ１２９に表示可能な解像度及びフレームレートに変換し、表示画像を生成する。また、モニタ画像生成部１２７は、撮像素子１０３による撮像画像をモニタ１２９に表示可能な解像度及びフレームレートに変換し、スルー画像を生成してもよい。スルー画像とは、撮像素子１０３により撮像された画像を、リアルタイムにモニタ表示するための画像である。モニタ１２９は、例えば液晶表示素子により構成され、モニタ画像生成部１２７からの表示画像を表示する。
【００３７】
ＡＦ評価値算出部１４３は、差分画像のコントラスト値に基づいてＡＦ評価値を算出する。ＡＥ評価値算出部１４１は、平均画像の輝度値に基づいてＡＥ評価値を算出する。
【００３８】
制御部１９０は、撮像装置の各部の制御を行う。制御部１９０は、ＡＦ制御部１９１、ＡＥ制御部１９２、光学ズーム制御部１９３を含む。
【００３９】
ＡＦ制御部１９１は、ＡＦ駆動部１０９を制御することにより、ＡＦ評価値に基づくＡＦ制御を行う。例えば、山登り法によりＡＦ評価値が最大となる位置にフォーカスレンズ１５４を移動させる制御を行う。ＡＥ制御部１９２は、絞り駆動部１０７や撮像素子駆動部１１１を制御することによりＦ値や露出時間を制御し、ＡＥ評価値に基づく露出制御を行う。光学ズーム制御部１９３は、光学ズーム駆動部１０５を制御することによりズーム倍率を制御する。
【００４０】
２．差分画像、平均画像の第１の生成手法
次に、差分画像、平均画像の第１の生成手法について説明する。まず、図２に第１の生成手法における加算画像取得部１８０の詳細な構成例を示す。加算画像取得部１８０は、撮像画像取得部１８１、加算画像生成部１８２を含む。
【００４１】
撮像画像取得部１８１は、撮像素子１０３により撮像されたベイヤ画像を取得する。ベイヤ画像は、例えば撮像素子１０３から全画素読み出しされた画像である。撮像画像取得部１８１は、例えば、撮像素子１０３の図示しないＡ／Ｄ変換部から送信されたデジタル画像データを受信する受信回路に対応する。加算画像生成部１８２は、各フレームのベイヤ画像から第１〜第４の加算画像Ａ１〜Ａ４を生成する。なお、この手法については図３で後述する。
【００４２】
ここで、フレームとは、例えば撮像素子１０３により画像が撮像されるタイミングや、画像処理において１つの撮像画像が処理されるタイミングである。あるいは、画像データにおける１つの画像も適宜フレームと呼ぶ。
【００４３】
次に、図３に第１の生成手法についての説明図を示す。なお以下では、撮像素子１０３がＲＧＢベイヤ配列である場合を例に説明するが、本実施形態はこれに限定されず、例えば補色フィルターの撮像素子等であってもよい。また以下では４画素加算を行う場合を例に説明するが、本実施形態はこれに限定されず、他の画素数の加算を行ってもよい。
【００４４】
図３に示すように、加算画像取得部１８０に構成される撮像画像取得部１８１は、撮像素子１０３により、フレームｆｘ（ｘは自然数）において全画素読み出しによりＲＧＢベイヤ配列の撮像画像（以下、「高精細フレーム画像ｆｘ」と呼ぶ）を取得する。そして、加算画像生成部１８２は、当該取得した高精細フレーム画像ｆｘに、所定の画素数(例えば、本実施形態では４画素)で構成される加算単位（加算される画素群）を設定し、その加算単位の画素値に対して所定の重み付けを行って加算する。このとき、加算単位を１画素分重畳させながら水平又は垂直にシフトさせ、４枚の加算画像Ａ１〜Ａ４を生成することで、加算画像が取得される。
【００４５】
４画素加算値ａｉｊは下式（１）で表わされ、加算画像Ａ１〜Ａ４を構成する加算画素値はそれぞれ｛ａｉｊ、ａ（ｉ＋１）ｊ、ａ（ｉ＋１）（ｊ＋１）、ａｉ（ｊ＋１）｝である。
ａｉｊ＝ｖｉｊ＋（１／ｒ）ｖ（ｉ＋１）ｊ＋
（１／ｒ）ｖｉ（ｊ＋１）＋（１／ｒ２）ｖ（ｉ＋１）（ｊ＋１） （１）
【００４６】
ここで、ｒは重み付け係数のパラメータであり、１≦ｒである。またｖｉｊは高精細フレーム画像におけるアドレス（ｉ，ｊ）の画素値である。
【００４７】
次に、生成した加算画像Ａ１〜Ａ４の加算位置の整合を行い、平均画像生成部１２３は、４枚の加算画像を重ね合わせた上で同一位置の値の加算平均をとることにより平均画像Ｍを生成する。即ち、加算画像Ａ１〜Ａ４の４画素加算値をそれぞれ｛ａ（１）ｉｊ，ａ（２）（ｉ＋１）ｊ，ａ（３）（ｉ＋１）（ｊ＋１），ａ（４）ｉ（ｊ＋１）｝とすると、平均画像Ｍの画素値ａＭｉｊは下式（２）で表される。
ａＭｉｊ＝［ａ（１）ｉｊ＋ａ（２）（ｉ＋１）ｊ＋
ａ（３）ｉ（ｊ＋１）＋ａ（４）（ｉ＋１）（ｊ＋１）］／４ （２）
【００４８】
差分画像生成部１２１は、生成された平均画像Ｍを基準とし、その平均画像Ｍと加算画像Ａ１〜Ａ４との差分をそれぞれ差分画像Ｄ１〜Ｄ４とする。差分画像Ｄ１〜Ｄ４を構成する画素値を｛ａＤ１ｉｊ，ａＤ２ｉｊ，ａＤ３ｉｊ，ａＤ４ｉｊ｝とすれば、下式（３）のように表わせる。
ａＤ１ｉｊ＝ａＭｉｊ−ａ（１）ｉｊ，
ａＤ２ｉｊ＝ａＭｉｊ−ａ（２）（ｉ＋１）ｊ，
ａＤ３ｉｊ＝ａＭｉｊ−ａ（３）（ｉ＋１）（ｊ＋１），
ａＤ４ｉｊ＝ａＭｉｊ−ａ（４）ｉ（ｊ＋１） （３）
【００４９】
図１で上述のように、この差分画像Ｄ１〜Ｄ４に対して圧縮処理が行われる。差分画像Ｄ１〜Ｄ４の画素値データは、発生頻度分布の偏りが顕著になるため、エントロピー符号化（例えばハフマン符号，ＬＺＨ等）がデータ圧縮として効果的である。エントロピー符号化とは、画素値の発生確率を求め、発生確率の高いものから短い符号長を割当てる圧縮手法である。
【００５０】
例えば、差分画像Ｄ１〜Ｄ４の画素値データの平均値に対して最も短い符号長を割り当て、その平均値から離れる値ほど符号長を長くしていく符号化が適当である。即ち、差分画像Ｄ１〜Ｄ４の画素値データは各々の平均がゼロであり、ゼロの発生確率をピークとして分布しているので、ゼロ値に最も短い符号を割当てるようにすればよい。また、差分画像Ｄ１〜Ｄ４の画素値データは、確率密度に応じて非線形量子化を行うことも有効である。
【００５１】
加算画像再生成部１２４による加算画像Ａ１〜Ａ４の再生成は、上式（３）を逆算することにより行う。即ち、下式（４）により加算画像Ａ１〜Ａ４の画素値を求める。
ａ（１）ｉｊ＝ａＭｉｊ−ａＤ１ｉｊ，
ａ（２）（ｉ＋１）ｊ＝ａＭｉｊ−ａＤ２ｉｊ，
ａ（３）（ｉ＋１）（ｊ＋１）＝ａＭｉｊ−ａＤ３ｉｊ，
ａ（４）ｉ（ｊ＋１）＝ａＭｉｊ−ａＤ４ｉｊ （４）
【００５２】
３．差分画像、平均画像の第２の生成手法
上述の第１の生成手法では、撮像素子１０３からベイヤ画像を読み出し、そのベイヤ画像を画素加算することで加算画像Ａ１〜Ａ４を生成したが、本実施形態はこれに限定されない。例えば、図４に示すように、撮像素子１０３からの読み出し動作において画素加算が行われてもよい。
【００５３】
具体的には、フレームｆｘ〜ｆｘ＋３において、それぞれ加算画像Ａ１〜Ａ４の加算読み出しを行う。加算読み出しでは、例えば画素の蓄積電荷をアナログ的に加算し、その加算値をＡ／Ｄ変換してもよいし、あるいは、画素値をＡ／Ｄ変換し、その画素値をデジタル的に加算してもよい。
【００５４】
第１の生成手法とは異なり、加算画像取得部１８０は、撮像素子１０３において既に加算された加算画像Ａ１〜Ａ４を取得する。平均画像Ｍと差分画像Ｄ１〜Ｄ４は、上式（２）、（３）により生成される。例えば、ｆ４においてＡ４が読み出された後に、ｆ１〜ｆ４で取得したＡ１〜Ａ４からＭ、Ｄ１〜Ｄ４を生成する。そして、ｆ５においてＡ１が読み出された後に、ｆ２〜ｆ５で取得したＡ２、Ａ３、Ａ４、Ａ１からＭ、Ｄ１〜Ｄ４を生成する。
【００５５】
なお、上記では各フレームにおいて１つの加算画像を取得する例を説明したが、本実施形態はこれに限定されない。例えば、ｆｘにおいて、加算画像Ａ１、Ａ３を読み出し、ｆｘ＋１において、加算画像Ａ２、Ａ４を読み出してもよい。
【００５６】
４．ＡＦ制御、ＡＥ制御の手法
次に、上述の平均画像Ｍと差分画像Ｄ１〜Ｄ４を用いてＡＦ制御、ＡＥ制御を行う手法について説明する。図５に、ＡＦ制御、ＡＥ制御のフローチャートを示す。
【００５７】
図５に示すように、処理が開始されると、撮像素子１０３から撮像されたベイヤ画像を取得する（Ｓ１）。図３等で説明した手法により、加算画像取得部１８０によりベイヤ画像から加算画像Ａ１〜Ａ４を生成し（Ｓ２）、平均画像生成部１２３により加算画像Ａ１〜Ａ４から平均画像Ｍを生成する（Ｓ３）。
【００５８】
次に、差分画像生成部１２１により、加算画像Ａ１〜Ａ４と平均画像Ｍから差分画像Ｙｇ、Ｙｒ、Ｙｂを生成する（Ｓ４）。例えば、Ｙｇ＝Ｄ２、Ｄ４、Ｙｒ＝Ｄ１、Ｙｂ＝Ｄ３である。次に、ＡＦ評価値算出部１４３により、差分画像Ｙｇ、Ｙｒ、ＹｂからＡＦ評価値を算出する（Ｓ５）。具体的には、差分画像Ｙｇ、Ｙｒ、Ｙｂに評価領域を設定し、その評価領域内の画素値の平均値をＡＦ評価値として求める。
【００５９】
次に、ＡＦ評価値に基づいてＡＦ制御を行う（Ｓ６）。具体的には、制御部１９０とＡＦ駆動部１０９によって、フォーカスレンズ１５４を複数の位置に順次移動させ、各位置についてのＡＦ評価値を求める。そして、ＡＦ評価値が最大となる位置にフォーカスレンズ１５４を移動させることによりコントラストＡＦを行う。
【００６０】
図３で説明したように、加算画像Ａ１〜Ａ４では、加算される画素グループａｉｊ（加算単位）の位置（ｉ，ｊ）がシフトされている。そのため、平均画像Ｍと加算画像Ａ１〜Ａ４の差分は一種の微分画像となり、差分画像Ｄ１〜Ｄ４は、被写体のエッジ成分が抽出された画像となる。このエッジ成分からＡＦ評価値を求めることで、コントラストＡＦを実現することができる。
【００６１】
また、上式（１）で説明したように、加算画像Ａ１〜Ａ４では、ベイヤ画像において隣接するＲＧＢの４画素が加算されている。そのため、差分画像Ｄ１〜Ｄ４のエッジ成分には、ＲＧＢのエッジ成分が含まれており、例えば赤い花のように被写体の色が偏っていても、Ｇ画像のみでＡＦを行う場合に比べて大きなエッジ成分を得ることができる。また、画素加算により画素値が平均化されるため、加算せずにエッジ成分を抽出した場合よりも高いＳ／Ｎのエッジ成分を得ることができる。
【００６２】
次に、平均画像ＭからＡＥ評価値を算出する（Ｓ７）。具体的には、平均画像Ｍに評価領域を設定し、その評価領域内の画素値の平均値をＡＥ評価値として算出する。次に、ＡＥ評価値に基づいてＡＥ制御を行う（Ｓ８）。具体的には、Ｆ値や露出時間、ＩＳＯ感度等を制御することにより、ＡＥ評価値をターゲット値に近づける制御を行う。
【００６３】
図３で説明したように、平均画像Ｍは、ＲＧＢの４画素が加算された加算画像Ａ１〜Ａ４の平均である。そのため、平均画像Ｍの画素値は、ＲＧＢの画素値が加算された値となっており、被写体の明るさを表す情報としてＡＥ制御に用いることができる。
【００６４】
なお、上記では差分画像としてＹｇ、Ｙｒ、Ｙｂの全てを生成する例を説明したが、本実施形態はこれに限定されない。例えば、差分画像としてＹｇ、Ｙｒ、Ｙｂのうちの１つが生成されてもよい。また、ＹｇとしてＤ２、Ｄ４のうちの一方のみが生成されてもよい。
【００６５】
以上の実施形態によれば、図１に示すように、撮像装置は撮像素子１０３と加算画像取得部１８０と平均画像生成部１２３と差分画像生成部１２１とフォーカス評価値算出部（ＡＦ評価値算出部１４３）とフォーカス制御部（ＡＦ制御部１９１）を含む。
【００６６】
図３又は図４で説明したように、撮像素子１０３には複数色（例えばＲＧＢ）の画素が配列される。加算画像取得部１８０は、所定の画素数（例えば４画素）で構成される加算単位において、その加算単位に含まれる画素の画素信号に対して所定の重み付けを行って加算し、複数の加算画像Ａ１〜Ａ４を取得する。平均画像生成部１２３は、複数の加算画像Ａ１〜Ａ４を平均した平均画像Ｍを生成する。差分画像生成部１２１は、複数の加算画像Ａ１〜Ａ４の各加算画像と平均画像Ｍとの差分である複数の差分画像Ｄ１〜Ｄ４を生成する。フォーカス評価値算出部は、複数の差分画像Ｙｇ、Ｙｒ、Ｙｂ（例えばＹｇ＝Ｄ２、Ｄ４、Ｙｒ＝Ｄ１、Ｙｂ＝Ｄ３）のうちの少なくとも１つの差分画像に基づいて、フォーカス評価値（ＡＦ評価値）を算出する。フォーカス制御部は、そのフォーカス評価値に基づいてフォーカス制御を行う。
【００６７】
このようにすれば、ＡＦ制御において高精度あるいは高速なフォーカス制御が可能になる。例えば、ＡＦ制御においてＧ信号からフォーカス評価値を算出する手法（特許文献１）がある。しかしながら、この手法では、被写体の色成分が赤や青に偏っている場合、フォーカス評価値が小さくなり、合焦精度あるいはＡＦ制御の高速性が損なわれるという課題がある。この点、本実施形態によれば、図５で説明したように、ＲＧＢの画素値が加算された画像を用いるため被写体の色成分が赤や青に偏っている場合であっても高精度の合焦や高速なＡＦ制御を実現できる。
【００６８】
また、画像の微分成分やエッジ成分に基づいてＡＦ制御を行う手法（特許文献２、３）がある。しかしながら、この手法では、例えば被写体が低輝度あるいは低コントラストである場合に、微分成分やエッジ成分のＳ／Ｎが低下し、合焦精度あるいはＡＦ制御の高速性が損なわれるという課題がある。この点、本実施形態によれば、複数の画素値が加算された画像を用いるためノイズが平均化され、エッジ成分のＳ／Ｎを向上できる。
【００６９】
また、従来のＡＦ制御では、ＡＦ評価値を算出するためのエッジ画像等を生成する必要があった。この点、本実施形態によれば、ＡＦ評価値の算出に用いる差分画像Ｄ１〜Ｄ４は、図３等で上述のようにエントロピー符号化等によりデータ量を削減するために生成する画像である。即ち、差分画像の圧縮により記憶容量や通信データ量を節約することができ、その圧縮データから事後的に撮像画像を復元することで、高精細な表示画像を得ている。そのため、ＡＦ評価値のために新たな画像を生成する必要がない。
【００７０】
また本実施形態では、図１に示すように、撮像装置は、平均画像Ｍに基づいて露出評価値（ＡＥ評価値）を算出する露出評価値算出部（ＡＥ評価値算出部１４１）と、露出評価値に基づいて露出制御を行う露出制御部（ＡＥ制御部１９２）と、を含む。
【００７１】
このようにすれば、ＡＥ制御において高精度あるいは高速な露出制御が可能になる。例えば、Ｇ信号のみから露出評価値を算出した場合、被写体の色がＲ成分やＢ成分に偏った場合に露出評価値の値が小さくなり、ＡＥ制御の精度あるいは高速性が損なわれるという課題がある。この点、本実施形態によれば、平均画像ＭにはＲＧＢ全ての成分が反映されているため、高精度あるいは高速なＡＥ制御が可能になる。
【００７２】
また、平均画像Ｍは上述のようにデータ圧縮や撮像画像の復元を行うための画像であるため、露出評価値を算出するための新たな画像（例えば輝度画像）を生成する必要がない。
【００７３】
また本実施形態では、図２に示すように、加算画像取得部１８０は撮像画像取得部１８１と加算画像生成部１８２を含む。撮像画像取得部１８１は、撮像素子１０３による撮像画像を取得する。図３で説明したように、加算画像生成部１８２は、加算画素値を取得する単位である加算単位（例えばａ（１）００）を撮像画像の複数の画素（例えば４画素）毎に設定し、その加算単位に含まれる画素値を重み付け加算して加算画素値を求め、求めた加算画素値による加算画像（例えばＡ１）を生成する。加算画像生成部１８２は、加算単位を順次画素シフトさせて、第１〜第４の加算画像Ａ１〜Ａ４（広義には第１〜第ｎの加算画像、ｎは２以上の自然数）を複数の加算画像として生成する。
【００７４】
具体的には、加算画像生成部１８２は、加算単位を、水平又は垂直に１画素ずつ順次シフトさせて第１〜第４のポジション（例えばａ（１）００、ａ（２）１０、ａ（３）１１、ａ（４）０１、広義には第１〜第ｎのポジション）に設定し、その第１〜第４のポジションにおいてそれぞれ第１〜第４の加算画像Ａ１〜Ａ４を取得する。第１〜第４のポジションのうちの第ｍのポジションと第ｍ＋１のポジションの加算単位は、共通の画素を含む。
【００７５】
例えば本実施形態では、第１のポジションの加算単位ａ（１）００と第２のポジションの加算単位ａ（２）１０は、共通の画素ｖ１０、ｖ１１を含む。
【００７６】
ここで、加算単位のポジションとは、撮像画像における加算単位の位置や座標のことであり、あるいは、推定処理における画像データ上での加算単位の位置や座標のことである。
【００７７】
このようにすれば、例えばベイヤ配列等のように複数色の画素が配列される場合に、加算単位が画素シフトにともなって、加算単位に含まれる各色と重み付け係数の対応が変化する。これにより、複数色の各色と重み付け係数の対応が異なる複数の加算画像Ａ１〜Ａ４を取得することができる。また、隣接するポジションの加算単位が共通の画素を含むことで、後述するように簡素な処理で加算画像Ａ１〜Ａ４から高精細な撮像画像を復元することが可能になる。
【００７８】
また本実施形態では、上式（２）で説明したように、平均画像生成部１２３は、第１〜第４のポジションの加算画素値の平均値ａＭｉｊを、平均画像Ｍの画素値として求める。上式（３）で説明したように、差分画像生成部１２１は、平均画像Ｍの画素値ａＭｉｊと、第ｍのポジションの加算画素値の差分値ａＤｍｉｊを、第ｍの差分画像の画素値として求める。
【００７９】
このようにすれば、第１〜第４の加算画像Ａ１〜Ａ４から、平均画像Ｍと第１〜第４の差分画像Ｄ１〜Ｄ４を生成できる。
【００８０】
また本実施形態では、図１に示すように、撮像装置は加算画像再生成部１２４と推定演算部（高精細画像復元推定部１２５）を含む。上式（４）で説明したように、加算画像再生成部１２４は、平均画像Ｍと複数の差分画像Ｄ１〜Ｄ４から複数の加算画像Ａ１〜Ａ４を再生成する。推定演算部は、再生成された複数の加算画像Ａ１〜Ａ４に基づいて重み付け加算前の画素値ｖｉｊを推定する。
【００８１】
例えば本実施形態では、特開２０１１−１５１５６９に開示される手法により重み付け加算前の画素値ｖｉｊを推定する。即ち、推定演算部は、第１、第２の加算画素値（例えばａ（１）００、ａ（２）１０）の差分値δｉ０を求める。第１、第２の中間画素値ｂ００、ｂ２０の関係式を、差分値δｉ０を用いて表す。ｂ００は、ｖ００、ｖ０１の加算画素値であり、ｂ２０は、ｖ２０、ｖ２１の加算画素値である。推定演算部は、関係式を用いて中間画素値ｂ００、ｂ２０を推定する。推定した中間画素値を用いて加算単位に含まれる各画素の画素値（ｖ００、ｖ１０、ｖ１１、ｖ０１）を求める。
【００８２】
このようにすれば、重畳シフトされた加算画素値から中間画素値を一旦推定し、その重畳シフトされた中間画素値から推定画素値を求めることで、高解像画像の推定処理を簡素化できる。
【００８３】
また本実施形態では、図１に示すように、撮像装置は圧縮処理部１３０と伸張処理部１３９を含む。圧縮処理部１３０は、複数の差分画像Ｄ１〜Ｄ４を圧縮する。伸張処理部１３９は、圧縮された複数の差分画像Ｄ１〜Ｄ４を伸張し、伸張した複数の差分画像Ｄ１〜Ｄ４を加算画像再生成部１２４に出力する。
【００８４】
このようにすれば、撮像画像を効率よく圧縮することが可能になる。即ち、差分画像の画素値の発生確率分布はゼロ付近に偏っているため、差分画像のエントロピーは撮像画像よりも小さくなる。そのため、差分画像を生成して圧縮することで、画像の圧縮率を向上できる。撮像の直後にデータ量の縮小が可能であるため、後段でのデータ処理の負荷の低減が図られ、高速データ処理を伴わずに高精細画像の高速撮影処理システムが構築できる。
【００８５】
５．撮像装置の第２の構成例
図６に、本実施形態の撮像装置の第２の構成例を示す。図６に示す撮像装置は、撮像素子１０３、光学ズーム駆動部１０５、絞り駆動部１０７、ＡＦ駆動部１０９、撮像素子駆動部１１１、ユーザＩ／Ｆ部１１７、差分画像生成部１２１、平均画像生成部１２３、加算画像再生成部１２４、高精細画像復元推定部１２５、モニタ画像生成部１２７、モニタ１２９、圧縮処理部１３０、伸張処理部１３９、ＡＥ評価値算出部１４１、ＡＦ評価値算出部１４３、ＡＦ評価値比較部１４５、光学系１５０、圧縮データ記憶部１７０、加算画像取得部１８０、制御部１９０を含む。
【００８６】
なお、上述した第１の構成例の構成要素と同一の構成要素には同一の符号を付し、その構成要素については適宜説明を省略する。
【００８７】
ＡＦ評価値算出部１４３は、上述の差分画像Ｙｇ、Ｙｒ、Ｙｂのそれぞれについて対応する複数のＡＦ評価値Ｖｇ、Ｖｒ、Ｖｂを算出する。ＡＦ評価値比較部１４５は、ＡＦ評価値Ｖｇ、Ｖｒ、Ｖｂのそれぞれに対して、値の大小関係を比較し、その比較記結果に基づいてＡＦ評価値Ｖｇ、Ｖｒ、Ｖｂのうちの最大値を選択する。ＡＦ制御部１９１は、選択されたＡＦ評価値に基づいてＡＦ制御を行う。
【００８８】
なお、本実施形態は図６の構成に限定されず、その構成要素の一部を省略したり、他の構成要素を追加したりする等の種々の変形実施が可能である。例えば、上記ではＡＦ評価値を求めた後にＡＦ評価値の最大値を選択したが、本実施形態はこれに限定されない。例えば、差分画像Ｙｇ、Ｙｒ、Ｙｂの中から１つの差分画像を選択し、選択した差分画像からＡＦ評価値を求めてもよい。この場合、ＡＦ評価値比較部１４５は、差分画像Ｙｇ、Ｙｒ、Ｙｂの画素値に基づいて、最もＡＦ評価値が大きいと推定される差分画像を選択する。そして、ＡＦ評価値算出部１４３は、選択された差分画像からＡＦ評価値を求め、求めたＡＦ評価値をＡＦ制御部１９１に出力する。
【００８９】
６．ＡＦ制御の第２の手法
次に、上記第２の構成例におけるＡＦ制御の手法について説明する。図７に、第２の構成例におけるＡＦ制御のフローチャートを示す。
【００９０】
図７に示すように、処理が開始されると、撮像されたベイヤ画像を取得する（Ｓ２０）。図３等で説明した手法により、ベイヤ画像から加算画像Ａ１〜Ａ４を生成し（Ｓ２１）、差分画像Ｙｇ、Ｙｒ、Ｙｂを生成する（Ｓ２２）。例えば、Ｙｇ＝Ｄ２、Ｄ４、Ｙｒ＝Ｄ１、Ｙｂ＝Ｄ３である。
【００９１】
次に、差分画像Ｙｇ、Ｙｒ、Ｙｂの画素値を正規化する処理を行う（Ｓ２３）。具体的には、正規化処理は、差分画像Ｙｇ、Ｙｒ、Ｙｂのそれぞれに対応する係数を、差分画像Ｙｇ、Ｙｒ、Ｙｂの画素値に乗算することで行う。例えば、予め白い被写体を撮影した場合のＹｒ，Ｙｇ，Ｙｂの画素値の比を求め、白い被写体を撮影した場合に差分画像Ｙｇ、Ｙｒ、Ｙｂから求めたＡＦ評価値が同一値となる係数を、求めた比に基づいて設定し、その係数を図示しない記憶部に記憶しておく。あるいは、撮像画像の色温度を推定し、ＲＧＢのホワイトバランスを調整する係数を、推定した色温度に基づいて設定してもよい。
【００９２】
次に、正規化された差分画像Ｙｇ、Ｙｒ、Ｙｂから、それぞれＡＦ評価値Ｖｇ、Ｖｒ、Ｖｂを算出する（Ｓ２４）。次に、ＡＦ評価値Ｖｇ、Ｖｒ、Ｖｂの中から最大のＡＦ評価値を選択する（Ｓ２５）。次に、選択されたＡＦ評価値に基づいてＡＦ制御を行う（Ｓ２６）。例えば最大のＡＦ評価値としてＶｇが選択された場合、フォーカスレンズ１５４を複数の位置に順次移動させ、各位置について差分画像ＹｇからＡＦ評価値Ｖｇを求める。そして、ＡＦ評価値Ｖｇが最大となる位置にフォーカスレンズ１５４を移動させる。
【００９３】
図３で説明したように、加算画像Ａ１〜Ａ４では、ＲＧＢの画素値が重み付け加算されている。例えば加算画像Ａ１では、Ｒ、Ｇ、Ｂの画素に対して、それぞれ係数１、１／２、１／４（ｒ＝２とした場合）で重み付けされる。即ち、Ａ１ではＲの重み付けが他色の重み付けよりも大きく、差分画像Ｙｒ＝Ｄ１では、Ｒ成分が他の色成分よりも大きく反映されたエッジ画像が抽出されることになる。同様に、差分画像Ｙｇ＝Ｄ２、Ｄ４、Ｙｂ＝Ｄ３では、それぞれＧ成分、Ｂ成分が他の色成分よりも大きく反映されたエッジ画像が抽出される。そのため、差分画像Ｙｇ、Ｙｒ、Ｙｂから求めたＡＦ評価値のうち最大のものを選択することで、被写体の色に依らず高精度なＡＦ制御が可能になる。例えば赤い花が被写体の場合、Ｙｇ、Ｙｂよりも値が大きいＹｒが選択され、Ｇ画像のみでＡＦを行う場合に比べてコントラストＡＦの精度を向上できる。
【００９４】
以上の実施形態によれば、図６に示すように、撮像装置は、フォーカス評価値を比較する比較部（ＡＦ評価値比較部１４５）を含む。フォーカス評価値算出部は、各差分画像Ｙｇ、Ｙｒ、Ｙｂに対応する複数のフォーカス評価値Ｖｇ、Ｖｒ、Ｖｂを算出する。比較部は、その複数のフォーカス評価値Ｖｇ、Ｖｒ、Ｖｂの値を比較（大小関係を比較）し、その比較の結果に基づいて最大のフォーカス評価値を選択する。
【００９５】
また本実施形態では、図３又は図４で説明したように、加算画像取得部１８０は、複数色の各色と重み付けの係数との対応が異なる複数の加算画像Ａ１〜Ａ４を取得する。図７で説明したように、フォーカス制御部（ＡＦ制御部１９１）は、複数の差分画像Ｙｇ、Ｙｒ、Ｙｂ（例えばＹｇ＝Ｄ２、Ｄ４、Ｙｒ＝Ｄ１、Ｙｂ＝Ｄ３）の各差分画像に基づくフォーカス評価値Ｖｇ、Ｖｒ、Ｖｂのうちの最大のフォーカス評価値に基づいて、フォーカス制御を行う。
【００９６】
より具体的には、複数色の画素としてＲＧＢの画素がベイヤ配列で配列される。この場合に、加算画像取得部１８０は、Ｒ色に対する重み付け係数がＧ色及びＢ色に対する重み付け係数よりも大きい第１の加算画像Ａ１と、Ｇ色に対する重み付け係数がＲ色及びＢ色に対する重み付け係数よりも大きい第２の加算画像Ａ２（又はＡ４）と、Ｂ色に対する重み付け係数がＲ色及びＧ色に対する重み付け係数よりも大きい第３の加算画像Ａ３とを、取得する。差分画像生成部１２１は、第１〜第３の加算画像Ａ１〜Ａ３から第１〜第３の差分画像Ｄ１〜Ｄ３を生成する。フォーカス制御部は、その第１〜第３の差分画像Ｄ１〜Ｄ３に対応する第１〜第３のフォーカス評価値Ｖｒ、Ｖｇ、Ｖｂのうちの最大のフォーカス評価値に基づいて、フォーカス制御を行う。
【００９７】
ここで、複数色の各色と重み付け係数との対応が異なるとは、加算される画素グループ（加算単位）に含まれるＲＧＢ画素と重み付け係数の組み合わせが、各加算画像で異なることである。例えば図３に示すように、複数色の画素としてＲＧＢの画素がベイヤ配列される場合、ｒ＝１／２とすると、Ａ１の加算単位ａ（１）００では、Ｒ、Ｇ、Ｂの画素が係数１、１／２、１／４で重み付けされる。Ａ２、Ａ４の加算単位ａ（２）１０、ａ（４）０１では、Ｒ、Ｇ、Ｂの画素が係数１／２、１又は１／４、１／２で重み付けされ、Ａ３の加算単位ａ（３）１１では、Ｒ、Ｇ、Ｂの画素が係数１／４、１／２、１で重み付けされる。
【００９８】
このようにすれば、最も高コントラストの加算画像が用いられるため、更に高精度のフォーカス制御が可能になる。例えば、被写体の色が偏っている場合、その偏った色の重み付けが大きい加算画像から生成された差分画像は、他の色の重み付けが大きい加算画像から生成された差分画像よりもエッジ成分が大きいと考えられる。そのため、フォーカス制御の精度向上や高速化が可能になる。
【００９９】
なお、図６で説明したように、比較部が差分画像Ｙｇ、Ｙｒ、Ｙｂのうちの１つを選択し、フォーカス評価値算出部が、その選択された差分画像からフォーカス評価値を算出してもよい。
【０１００】
なお、上記のように本実施形態について詳細に説明したが、本発明の新規事項及び効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義又は同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また撮像装置等の構成、動作も本実施形態で説明したものに限定に限定されず、種々の変形実施が可能である。
【符号の説明】
【０１０１】
１０３ 撮像素子、１０５ 光学ズーム駆動部、１０７ 絞り駆動部、
１０９ ＡＦ駆動部、１１１ 撮像素子駆動部、１１５ バッファメモリ、
１１７ ユーザＩ／Ｆ部、１２１ 差分画像生成部、１２３ 平均画像生成部、
１２４ 加算画像再生成部、１２５ 高精細画像復元推定部、
１２７ モニタ画像生成部、１２９ モニタ、１３０ 圧縮処理部、
１３９ 伸張処理部、１４１ ＡＥ評価値算出部、１４３ ＡＦ評価値算出部、
１４５ ＡＦ評価値比較部、１５０ 光学系、１５１ レンズ、
１５２ ズームレンズ、１５３ 絞り機構、１５４ フォーカスレンズ、
１７０ 圧縮データ記憶部、１８０ 加算画像取得部、１８１ 撮像画像取得部、
１８２ 加算画像生成部、１９０ 制御部、１９１ ＡＦ制御部、
１９２ ＡＥ制御部、１９３ 光学ズーム制御部、
Ａ１〜Ａ４ 加算画像、Ｄ１〜Ｄ４ 差分画像、Ｍ 平均画像、
Ｙｇ，Ｖｒ，Ｖｂ 差分画像、ａｉｊ 加算単位、ｆｘ フレーム、ｖｉｊ 画素値
【技術分野】
【０００１】
本発明は、撮像装置及びフォーカス制御方法等に関する。
【背景技術】
【０００２】
撮像素子を用いて被写体像を撮像し、撮像素子から出力される撮像信号に基づいて、撮影レンズによる焦点位置の調節状態を検出するカメラの焦点検出手法が知られている。焦点検出手法のうち山登り方式と呼ばれる手法では、フォーカスレンズを光軸方向に進退駆動させながら、撮像信号の高周波数成分によるデータ（即ち、フォーカス評価値）が極大値をとるように合焦位置を検出する。
【０００３】
フォーカス評価値の算出手法には、複数の手法がある。まず、フォーカス評価値の算出に使用される画像の生成手法として、例えばベイヤ画像からＹＣｒＣｂ信号を算出し、そのＹ信号（輝度値）からフォーカス評価値を算出する手法がある。また、ベイヤ画像のＧ信号（グリーン信号）からフォーカス評価値を算出する手法がある（例えば、特許文献１）。
【０００４】
次に、画像からフォーカス評価値を算出する手法として、例えば、ＨＰＦを用いて上記画像から高周波成分を抽出し、その高周波成分の量を評価値とする手法がある。また、上記画像を微分してエッジ成分を抽出し、そのエッジ成分の量を評価値とする手法がある（例えば、特許文献２、３）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−２８５０９４号公報
【特許文献２】特開２０１１−１０７６８２号公報
【特許文献３】特開平１１−１４２７４２公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記の手法では高精度のフォーカス制御が困難であるという課題がある。例えば、特許文献１の手法では、被写体の色がＲ成分やＢ成分に偏っている場合に、Ｇ信号から算出したフォーカス評価値が小さくなり、フォーカス制御の精度が低下してしまう。また、特許文献２、３の手法では、エッジ成分が画像のノイズ成分の影響を受けるため、例えば暗い被写体を撮影した場合のように低Ｓ／Ｎの画像ではフォーカス制御の精度が低下してしまう。
【０００７】
本発明の幾つかの態様によれば、高精度のフォーカス制御が可能である撮像装置及びフォーカス制御方法等を提供できる。
【課題を解決するための手段】
【０００８】
本発明の一態様は、複数色の画素が配列される撮像素子と、所定の画素数で構成される加算単位において、前記加算単位に含まれる画素の画素信号に対して所定の重み付けを行って加算し、複数の加算画像を取得する加算画像取得部と、前記複数の加算画像を平均した平均画像を生成する平均画像生成部と、前記複数の加算画像の各加算画像と前記平均画像との差分である複数の差分画像を生成する差分画像生成部と、前記複数の差分画像のうちの少なくとも１つの差分画像に基づいて、フォーカス評価値を算出するフォーカス評価値算出部と、前記フォーカス評価値に基づいてフォーカス制御を行うフォーカス制御部と、を備える撮像装置に関係する。
【０００９】
本発明の一態様によれば、複数の加算画像の各加算画像と、その複数の加算画像が平均された平均画像と、の差分である複数の差分画像が生成される。そして、その複数の差分画像のうちの少なくとも１つの差分画像に基づいて算出されたフォーカス評価値に基づいて、フォーカス制御が行われる。これにより、高精度のフォーカス制御を行うことが可能になる。
【００１０】
また本発明の一態様では、前記フォーカス評価値を比較する比較部と、を備え、前記フォーカス評価値算出部は、前記複数の差分画像毎に対応する複数のフォーカス評価値を算出し、前記比較部は、前記複数のフォーカス評価値の値を比較し、前記比較の結果に基づいて最大のフォーカス評価値を選択してもよい。
【００１１】
また本発明の一態様では、前記加算画像取得部は、前記複数色の各色と前記重み付けの係数との対応が異なる前記複数の加算画像を取得し、前記フォーカス制御部は、前記複数の差分画像の各差分画像に基づく前記フォーカス評価値のうちの最大のフォーカス評価値に基づいて、前記フォーカス制御を行ってもよい。
【００１２】
また本発明の一態様では、前記撮像素子には、前記複数色の画素としてＲＧＢの画素がベイヤ配列で配列され、前記加算画像取得部は、色に対する前記重み付けの係数がＧ色及びＢ色に対する前記重み付け係数よりも大きい第１の加算画像と、Ｇ色に対する前記重み付けの係数がＲ色及びＢ色に対する前記重み付けの係数よりも大きい第２の加算画像と、Ｂ色に対する前記重み付けの係数がＲ色及びＧ色に対する前記重み付けの係数よりも大きい第３の加算画像と、を取得し、前記差分画像生成部は、記第１〜第３の加算画像から第１〜第３の差分画像を生成し、前記フォーカス制御部は、記第１〜第３の差分画像に対応する第１〜第３のフォーカス評価値のうちの前記最大のフォーカス評価値に基づいて、前記フォーカス制御を行ってもよい。
【００１３】
また本発明の一態様では、前記平均画像に基づいて露出評価値を算出する露出評価値算出部と、前記露出評価値に基づいて露出制御を行う露出制御部と、を備えてもよい。
【００１４】
また本発明の一態様では、前記加算画像取得部は、前記撮像素子による撮像画像を取得する撮像画像取得部と、前記加算単位を前記撮像画像の複数の画素毎に設定し、前記加算単位に含まれる画素値を前記重み付け加算して前記加算画素値を求め、求めた前記加算画素値による加算画像を生成する加算画像生成部と、を有し、前記加算画像生成部は、前記加算単位を順次画素シフトさせて、第１〜第ｎの加算画像（ｎは２以上の自然数）を前記複数の加算画像として生成してもよい。
【００１５】
また本発明の一態様では、前記加算画像生成部は、前記加算単位を、水平又は垂直に１画素ずつ順次シフトさせて第１〜第ｎのポジションに設定し、前記第１〜第ｎのポジションにおいてそれぞれ前記第１〜第ｎの加算画像を取得し、前記第１〜第ｎのポジションのうちの第ｍのポジションと第ｍ＋１のポジションの前記加算単位は、共通の画素を含んでもよい。
【００１６】
また本発明の一態様では、前記平均画像生成部は、前記第１〜第ｎのポジションの前記加算画素値の平均値を、前記平均画像の画素値として求め、前記差分画像生成部は、前記平均画像の画素値と、前記第ｍのポジションの前記加算画素値の差分値を、前記第ｍの差分画像の画素値として求めてもよい。
【００１７】
また本発明の一態様では、前記平均画像と前記複数の差分画像から前記複数の加算画像を再生成する加算画像再生成部と、再生成された前記複数の加算画像に基づいて前記重み付け加算前の画素値を推定する推定演算部と、を備えてもよい。
【００１８】
また本発明の一態様では、前記複数の差分画像を圧縮する圧縮処理部と、圧縮された前記複数の差分画像を伸張し、伸張した前記複数の差分画像を前記加算画像再生成部に出力する伸張処理部と、を備えてもよい。
【００１９】
また本発明の他の態様は、複数色の画素が撮像素子に配列される場合に、所定の画素数で構成される加算単位において、前記加算単位に含まれる画素の画素信号に対して所定の重み付けを行って加算して複数の加算画像を取得し、前記複数の加算画像を平均した平均画像を生成し、前記複数の加算画像の各加算画像と前記平均画像との差分である複数の差分画像を生成し、前記複数の差分画像のうちの少なくとも１つの差分画像に基づいて、フォーカス評価値を算出し、前記フォーカス評価値に基づいてフォーカス制御を行うフォーカス制御方法に関係する。
【図面の簡単な説明】
【００２０】
【図１】本実施形態の撮像装置の第１の構成例。
【図２】差分画像、平均画像の第１の生成手法における加算画像取得部の詳細な構成例。
【図３】差分画像、平均画像の第１の生成手法についての説明図。
【図４】差分画像、平均画像の第２の生成手法についての説明図。
【図５】ＡＦ制御、ＡＥ制御のフローチャート。
【図６】本実施形態の撮像装置の第２の構成例。
【図７】第２の構成例におけるＡＦ制御のフローチャート。
【発明を実施するための形態】
【００２１】
以下、本発明の好適な実施の形態について詳細に説明する。なお以下に説明する本実施形態は特許請求の範囲に記載された本発明の内容を不当に限定するものではなく、本実施形態で説明される構成の全てが本発明の解決手段として必須であるとは限らない。
【００２２】
１．撮像装置
図１に、被写体の色成分が偏っている場合や、画像が低Ｓ／Ｎの場合であっても高精度にフォーカス制御が可能な本実施形態の撮像装置の第１の構成例を示す。
【００２３】
撮像装置は、撮像素子１０３、光学ズーム駆動部１０５、絞り駆動部１０７、ＡＦ駆動部１０９、撮像素子駆動部１１１、バッファメモリ１１５、ユーザＩ／Ｆ部１１７、差分画像生成部１２１、平均画像生成部１２３、加算画像再生成部１２４、高精細画像復元推定部１２５、モニタ画像生成部１２７、モニタ１２９、圧縮処理部１３０、伸張処理部１３９、ＡＥ評価値算出部１４１（AE: Automatic Exposure）、ＡＦ評価値算出部１４３（AF: Automatic Focus）、光学系１５０、圧縮データ記憶部１７０、加算画像取得部１８０、制御部１９０を含む。
【００２４】
撮像装置は、光学的な画像情報を電気信号に変換し、電子的に記録媒体に記録する装置であり、例えばデジタルスチルカメラ等が想定される。撮像装置は、例えばコンパクトデジタルカメラのように、図１に示す構成要素が一体に形成される。あるいは、レンズ交換式デジタルカメラのように、光学系１５０と光学ズーム駆動部１０５と絞り駆動部１０７とＡＦ駆動部１０９が交換レンズ部として形成され、その交換レンズ部がカメラボディ部に着脱されてもよい。
【００２５】
光学系１５０（撮影レンズ）は、撮像素子１０３の撮像面上に被写体像を形成し、例えば焦点距離可変のズームレンズにより構成される。光学系１５０は、レンズ１５１、ズームレンズ１５２、絞り機構１５３、フォーカスレンズ１５４を含む。ズームレンズ１５２は光学ズームを行うためのレンズである。フォーカスレンズ１５４は、フォーカス調整を行うためのレンズである。これらのレンズ１５１、１５２、１５４や絞り機構１５３はレンズ鏡筒に収納されている。
【００２６】
光学ズーム駆動部１０５は、ズームレンズ１５２を駆動する。絞り駆動部１０７は、絞り機構１５３を駆動する。ＡＦ駆動部１０９は、フォーカスレンズ１５４を駆動する。具体的には、光学ズーム駆動部１０５は、ズームレンズ１５２を光軸方向に移動させるための電気機械的機構を含む。絞り駆動部１０７は、絞り機構１５３を光軸方向と垂直な方向に移動させるための電気機械的機構を含む。ＡＦ駆動部１０９は、フォーカスレンズ１５４を光軸方向に移動させるための電気機械的機構を含む。これらの駆動部１０５、１０７、１０９は、制御部１９０からの制御信号に応じて、それぞれレンズ１５２、１５４、絞り機構１５３の位置を制御する。
【００２７】
撮像素子１０３は、例えばＣＣＤあるいはＣＭＯＳイメージセンサで構成される。撮像素子１０３は、図示しないＣＤＳ処理部（CDS：Correlated Double Sampling）、Ａ／Ｄ変換部等の処理ブロックを有し、撮像画像をデジタルの画像信号として出力する。なお、これらの処理ブロックは撮像素子１０３の外部に設けられてもよい。
【００２８】
撮像素子駆動部１１１は、撮像素子１０３を駆動する。具体的には、撮像素子駆動部１１１は、制御部１９０からの制御信号に応じて、撮像素子１０３の電荷蓄積動作や画像の読み出し動作を制御する。
【００２９】
ユーザＩ／Ｆ部１１７は、ユーザが撮像装置に対して種々の操作を行うためのＩ／Ｆであり、例えば図示しないシャッターやズームレバー等の各種操作スイッチを含み、その操作信号を制御部１９０に送信する。バッファメモリ１１５は、画像処理のために一時的に画像データを格納する。
【００３０】
加算画像取得部１８０は、撮像素子１０３から出力された画像信号に基づき、ベイヤ配列における複数の隣接画素値が加算された加算画像を取得する。加算画像は複数取得され、各加算画像では加算画素の組み合わせが異なる。なお、詳細は後述する。
【００３１】
平均画像生成部１２３は、複数の加算画像の画素値を平均して平均画像を生成する。差分画像生成部１２１は、平均画像と加算画像の画素値を減算して差分画像を生成する。なお、詳細は後述する。
【００３２】
圧縮処理部１３０は、差分画像や平均画像の圧縮処理を行う。例えば、圧縮処理部１３０は、差分画像に対してエントロピー符号化等の可逆圧縮を行い、平均画像に対してＭＰＥＧ等の不可逆圧縮を行う。圧縮データ記憶部１７０は、圧縮処理された画像データを記憶し、例えば外部メモリにより構成される。
【００３３】
伸張処理部１３９は、圧縮データ記憶部１７０に記憶された圧縮画像データを伸張する処理を行い、差分画像と平均画像を出力する。
【００３４】
加算画像再生成部１２４は、伸張処理部１３９からの差分画像及び平均画像に基づいて加算画像を再生成する。なお、圧縮・伸張処理は外部メモリ容量や撮像装置の仕様等の都合で削除してもよい。この場合、加算画像再生成部１２４は、差分画像生成部１２１からの差分画像及び平均画像生成部１２３からの平均画像に基づいて加算画像を再生成する。
【００３５】
高精細画像復元推定部１２５は、再生成された複数の加算画像に基づいて、加算前のベイヤ画像を復元する処理を行う。例えば、後述するように特開２０１１−１５１５６９に開示される推定処理を行う。
【００３６】
モニタ画像生成部１２７は、復元処理された画像をモニタ１２９に表示可能な解像度及びフレームレートに変換し、表示画像を生成する。また、モニタ画像生成部１２７は、撮像素子１０３による撮像画像をモニタ１２９に表示可能な解像度及びフレームレートに変換し、スルー画像を生成してもよい。スルー画像とは、撮像素子１０３により撮像された画像を、リアルタイムにモニタ表示するための画像である。モニタ１２９は、例えば液晶表示素子により構成され、モニタ画像生成部１２７からの表示画像を表示する。
【００３７】
ＡＦ評価値算出部１４３は、差分画像のコントラスト値に基づいてＡＦ評価値を算出する。ＡＥ評価値算出部１４１は、平均画像の輝度値に基づいてＡＥ評価値を算出する。
【００３８】
制御部１９０は、撮像装置の各部の制御を行う。制御部１９０は、ＡＦ制御部１９１、ＡＥ制御部１９２、光学ズーム制御部１９３を含む。
【００３９】
ＡＦ制御部１９１は、ＡＦ駆動部１０９を制御することにより、ＡＦ評価値に基づくＡＦ制御を行う。例えば、山登り法によりＡＦ評価値が最大となる位置にフォーカスレンズ１５４を移動させる制御を行う。ＡＥ制御部１９２は、絞り駆動部１０７や撮像素子駆動部１１１を制御することによりＦ値や露出時間を制御し、ＡＥ評価値に基づく露出制御を行う。光学ズーム制御部１９３は、光学ズーム駆動部１０５を制御することによりズーム倍率を制御する。
【００４０】
２．差分画像、平均画像の第１の生成手法
次に、差分画像、平均画像の第１の生成手法について説明する。まず、図２に第１の生成手法における加算画像取得部１８０の詳細な構成例を示す。加算画像取得部１８０は、撮像画像取得部１８１、加算画像生成部１８２を含む。
【００４１】
撮像画像取得部１８１は、撮像素子１０３により撮像されたベイヤ画像を取得する。ベイヤ画像は、例えば撮像素子１０３から全画素読み出しされた画像である。撮像画像取得部１８１は、例えば、撮像素子１０３の図示しないＡ／Ｄ変換部から送信されたデジタル画像データを受信する受信回路に対応する。加算画像生成部１８２は、各フレームのベイヤ画像から第１〜第４の加算画像Ａ１〜Ａ４を生成する。なお、この手法については図３で後述する。
【００４２】
ここで、フレームとは、例えば撮像素子１０３により画像が撮像されるタイミングや、画像処理において１つの撮像画像が処理されるタイミングである。あるいは、画像データにおける１つの画像も適宜フレームと呼ぶ。
【００４３】
次に、図３に第１の生成手法についての説明図を示す。なお以下では、撮像素子１０３がＲＧＢベイヤ配列である場合を例に説明するが、本実施形態はこれに限定されず、例えば補色フィルターの撮像素子等であってもよい。また以下では４画素加算を行う場合を例に説明するが、本実施形態はこれに限定されず、他の画素数の加算を行ってもよい。
【００４４】
図３に示すように、加算画像取得部１８０に構成される撮像画像取得部１８１は、撮像素子１０３により、フレームｆｘ（ｘは自然数）において全画素読み出しによりＲＧＢベイヤ配列の撮像画像（以下、「高精細フレーム画像ｆｘ」と呼ぶ）を取得する。そして、加算画像生成部１８２は、当該取得した高精細フレーム画像ｆｘに、所定の画素数(例えば、本実施形態では４画素)で構成される加算単位（加算される画素群）を設定し、その加算単位の画素値に対して所定の重み付けを行って加算する。このとき、加算単位を１画素分重畳させながら水平又は垂直にシフトさせ、４枚の加算画像Ａ１〜Ａ４を生成することで、加算画像が取得される。
【００４５】
４画素加算値ａｉｊは下式（１）で表わされ、加算画像Ａ１〜Ａ４を構成する加算画素値はそれぞれ｛ａｉｊ、ａ（ｉ＋１）ｊ、ａ（ｉ＋１）（ｊ＋１）、ａｉ（ｊ＋１）｝である。
ａｉｊ＝ｖｉｊ＋（１／ｒ）ｖ（ｉ＋１）ｊ＋
（１／ｒ）ｖｉ（ｊ＋１）＋（１／ｒ２）ｖ（ｉ＋１）（ｊ＋１） （１）
【００４６】
ここで、ｒは重み付け係数のパラメータであり、１≦ｒである。またｖｉｊは高精細フレーム画像におけるアドレス（ｉ，ｊ）の画素値である。
【００４７】
次に、生成した加算画像Ａ１〜Ａ４の加算位置の整合を行い、平均画像生成部１２３は、４枚の加算画像を重ね合わせた上で同一位置の値の加算平均をとることにより平均画像Ｍを生成する。即ち、加算画像Ａ１〜Ａ４の４画素加算値をそれぞれ｛ａ（１）ｉｊ，ａ（２）（ｉ＋１）ｊ，ａ（３）（ｉ＋１）（ｊ＋１），ａ（４）ｉ（ｊ＋１）｝とすると、平均画像Ｍの画素値ａＭｉｊは下式（２）で表される。
ａＭｉｊ＝［ａ（１）ｉｊ＋ａ（２）（ｉ＋１）ｊ＋
ａ（３）ｉ（ｊ＋１）＋ａ（４）（ｉ＋１）（ｊ＋１）］／４ （２）
【００４８】
差分画像生成部１２１は、生成された平均画像Ｍを基準とし、その平均画像Ｍと加算画像Ａ１〜Ａ４との差分をそれぞれ差分画像Ｄ１〜Ｄ４とする。差分画像Ｄ１〜Ｄ４を構成する画素値を｛ａＤ１ｉｊ，ａＤ２ｉｊ，ａＤ３ｉｊ，ａＤ４ｉｊ｝とすれば、下式（３）のように表わせる。
ａＤ１ｉｊ＝ａＭｉｊ−ａ（１）ｉｊ，
ａＤ２ｉｊ＝ａＭｉｊ−ａ（２）（ｉ＋１）ｊ，
ａＤ３ｉｊ＝ａＭｉｊ−ａ（３）（ｉ＋１）（ｊ＋１），
ａＤ４ｉｊ＝ａＭｉｊ−ａ（４）ｉ（ｊ＋１） （３）
【００４９】
図１で上述のように、この差分画像Ｄ１〜Ｄ４に対して圧縮処理が行われる。差分画像Ｄ１〜Ｄ４の画素値データは、発生頻度分布の偏りが顕著になるため、エントロピー符号化（例えばハフマン符号，ＬＺＨ等）がデータ圧縮として効果的である。エントロピー符号化とは、画素値の発生確率を求め、発生確率の高いものから短い符号長を割当てる圧縮手法である。
【００５０】
例えば、差分画像Ｄ１〜Ｄ４の画素値データの平均値に対して最も短い符号長を割り当て、その平均値から離れる値ほど符号長を長くしていく符号化が適当である。即ち、差分画像Ｄ１〜Ｄ４の画素値データは各々の平均がゼロであり、ゼロの発生確率をピークとして分布しているので、ゼロ値に最も短い符号を割当てるようにすればよい。また、差分画像Ｄ１〜Ｄ４の画素値データは、確率密度に応じて非線形量子化を行うことも有効である。
【００５１】
加算画像再生成部１２４による加算画像Ａ１〜Ａ４の再生成は、上式（３）を逆算することにより行う。即ち、下式（４）により加算画像Ａ１〜Ａ４の画素値を求める。
ａ（１）ｉｊ＝ａＭｉｊ−ａＤ１ｉｊ，
ａ（２）（ｉ＋１）ｊ＝ａＭｉｊ−ａＤ２ｉｊ，
ａ（３）（ｉ＋１）（ｊ＋１）＝ａＭｉｊ−ａＤ３ｉｊ，
ａ（４）ｉ（ｊ＋１）＝ａＭｉｊ−ａＤ４ｉｊ （４）
【００５２】
３．差分画像、平均画像の第２の生成手法
上述の第１の生成手法では、撮像素子１０３からベイヤ画像を読み出し、そのベイヤ画像を画素加算することで加算画像Ａ１〜Ａ４を生成したが、本実施形態はこれに限定されない。例えば、図４に示すように、撮像素子１０３からの読み出し動作において画素加算が行われてもよい。
【００５３】
具体的には、フレームｆｘ〜ｆｘ＋３において、それぞれ加算画像Ａ１〜Ａ４の加算読み出しを行う。加算読み出しでは、例えば画素の蓄積電荷をアナログ的に加算し、その加算値をＡ／Ｄ変換してもよいし、あるいは、画素値をＡ／Ｄ変換し、その画素値をデジタル的に加算してもよい。
【００５４】
第１の生成手法とは異なり、加算画像取得部１８０は、撮像素子１０３において既に加算された加算画像Ａ１〜Ａ４を取得する。平均画像Ｍと差分画像Ｄ１〜Ｄ４は、上式（２）、（３）により生成される。例えば、ｆ４においてＡ４が読み出された後に、ｆ１〜ｆ４で取得したＡ１〜Ａ４からＭ、Ｄ１〜Ｄ４を生成する。そして、ｆ５においてＡ１が読み出された後に、ｆ２〜ｆ５で取得したＡ２、Ａ３、Ａ４、Ａ１からＭ、Ｄ１〜Ｄ４を生成する。
【００５５】
なお、上記では各フレームにおいて１つの加算画像を取得する例を説明したが、本実施形態はこれに限定されない。例えば、ｆｘにおいて、加算画像Ａ１、Ａ３を読み出し、ｆｘ＋１において、加算画像Ａ２、Ａ４を読み出してもよい。
【００５６】
４．ＡＦ制御、ＡＥ制御の手法
次に、上述の平均画像Ｍと差分画像Ｄ１〜Ｄ４を用いてＡＦ制御、ＡＥ制御を行う手法について説明する。図５に、ＡＦ制御、ＡＥ制御のフローチャートを示す。
【００５７】
図５に示すように、処理が開始されると、撮像素子１０３から撮像されたベイヤ画像を取得する（Ｓ１）。図３等で説明した手法により、加算画像取得部１８０によりベイヤ画像から加算画像Ａ１〜Ａ４を生成し（Ｓ２）、平均画像生成部１２３により加算画像Ａ１〜Ａ４から平均画像Ｍを生成する（Ｓ３）。
【００５８】
次に、差分画像生成部１２１により、加算画像Ａ１〜Ａ４と平均画像Ｍから差分画像Ｙｇ、Ｙｒ、Ｙｂを生成する（Ｓ４）。例えば、Ｙｇ＝Ｄ２、Ｄ４、Ｙｒ＝Ｄ１、Ｙｂ＝Ｄ３である。次に、ＡＦ評価値算出部１４３により、差分画像Ｙｇ、Ｙｒ、ＹｂからＡＦ評価値を算出する（Ｓ５）。具体的には、差分画像Ｙｇ、Ｙｒ、Ｙｂに評価領域を設定し、その評価領域内の画素値の平均値をＡＦ評価値として求める。
【００５９】
次に、ＡＦ評価値に基づいてＡＦ制御を行う（Ｓ６）。具体的には、制御部１９０とＡＦ駆動部１０９によって、フォーカスレンズ１５４を複数の位置に順次移動させ、各位置についてのＡＦ評価値を求める。そして、ＡＦ評価値が最大となる位置にフォーカスレンズ１５４を移動させることによりコントラストＡＦを行う。
【００６０】
図３で説明したように、加算画像Ａ１〜Ａ４では、加算される画素グループａｉｊ（加算単位）の位置（ｉ，ｊ）がシフトされている。そのため、平均画像Ｍと加算画像Ａ１〜Ａ４の差分は一種の微分画像となり、差分画像Ｄ１〜Ｄ４は、被写体のエッジ成分が抽出された画像となる。このエッジ成分からＡＦ評価値を求めることで、コントラストＡＦを実現することができる。
【００６１】
また、上式（１）で説明したように、加算画像Ａ１〜Ａ４では、ベイヤ画像において隣接するＲＧＢの４画素が加算されている。そのため、差分画像Ｄ１〜Ｄ４のエッジ成分には、ＲＧＢのエッジ成分が含まれており、例えば赤い花のように被写体の色が偏っていても、Ｇ画像のみでＡＦを行う場合に比べて大きなエッジ成分を得ることができる。また、画素加算により画素値が平均化されるため、加算せずにエッジ成分を抽出した場合よりも高いＳ／Ｎのエッジ成分を得ることができる。
【００６２】
次に、平均画像ＭからＡＥ評価値を算出する（Ｓ７）。具体的には、平均画像Ｍに評価領域を設定し、その評価領域内の画素値の平均値をＡＥ評価値として算出する。次に、ＡＥ評価値に基づいてＡＥ制御を行う（Ｓ８）。具体的には、Ｆ値や露出時間、ＩＳＯ感度等を制御することにより、ＡＥ評価値をターゲット値に近づける制御を行う。
【００６３】
図３で説明したように、平均画像Ｍは、ＲＧＢの４画素が加算された加算画像Ａ１〜Ａ４の平均である。そのため、平均画像Ｍの画素値は、ＲＧＢの画素値が加算された値となっており、被写体の明るさを表す情報としてＡＥ制御に用いることができる。
【００６４】
なお、上記では差分画像としてＹｇ、Ｙｒ、Ｙｂの全てを生成する例を説明したが、本実施形態はこれに限定されない。例えば、差分画像としてＹｇ、Ｙｒ、Ｙｂのうちの１つが生成されてもよい。また、ＹｇとしてＤ２、Ｄ４のうちの一方のみが生成されてもよい。
【００６５】
以上の実施形態によれば、図１に示すように、撮像装置は撮像素子１０３と加算画像取得部１８０と平均画像生成部１２３と差分画像生成部１２１とフォーカス評価値算出部（ＡＦ評価値算出部１４３）とフォーカス制御部（ＡＦ制御部１９１）を含む。
【００６６】
図３又は図４で説明したように、撮像素子１０３には複数色（例えばＲＧＢ）の画素が配列される。加算画像取得部１８０は、所定の画素数（例えば４画素）で構成される加算単位において、その加算単位に含まれる画素の画素信号に対して所定の重み付けを行って加算し、複数の加算画像Ａ１〜Ａ４を取得する。平均画像生成部１２３は、複数の加算画像Ａ１〜Ａ４を平均した平均画像Ｍを生成する。差分画像生成部１２１は、複数の加算画像Ａ１〜Ａ４の各加算画像と平均画像Ｍとの差分である複数の差分画像Ｄ１〜Ｄ４を生成する。フォーカス評価値算出部は、複数の差分画像Ｙｇ、Ｙｒ、Ｙｂ（例えばＹｇ＝Ｄ２、Ｄ４、Ｙｒ＝Ｄ１、Ｙｂ＝Ｄ３）のうちの少なくとも１つの差分画像に基づいて、フォーカス評価値（ＡＦ評価値）を算出する。フォーカス制御部は、そのフォーカス評価値に基づいてフォーカス制御を行う。
【００６７】
このようにすれば、ＡＦ制御において高精度あるいは高速なフォーカス制御が可能になる。例えば、ＡＦ制御においてＧ信号からフォーカス評価値を算出する手法（特許文献１）がある。しかしながら、この手法では、被写体の色成分が赤や青に偏っている場合、フォーカス評価値が小さくなり、合焦精度あるいはＡＦ制御の高速性が損なわれるという課題がある。この点、本実施形態によれば、図５で説明したように、ＲＧＢの画素値が加算された画像を用いるため被写体の色成分が赤や青に偏っている場合であっても高精度の合焦や高速なＡＦ制御を実現できる。
【００６８】
また、画像の微分成分やエッジ成分に基づいてＡＦ制御を行う手法（特許文献２、３）がある。しかしながら、この手法では、例えば被写体が低輝度あるいは低コントラストである場合に、微分成分やエッジ成分のＳ／Ｎが低下し、合焦精度あるいはＡＦ制御の高速性が損なわれるという課題がある。この点、本実施形態によれば、複数の画素値が加算された画像を用いるためノイズが平均化され、エッジ成分のＳ／Ｎを向上できる。
【００６９】
また、従来のＡＦ制御では、ＡＦ評価値を算出するためのエッジ画像等を生成する必要があった。この点、本実施形態によれば、ＡＦ評価値の算出に用いる差分画像Ｄ１〜Ｄ４は、図３等で上述のようにエントロピー符号化等によりデータ量を削減するために生成する画像である。即ち、差分画像の圧縮により記憶容量や通信データ量を節約することができ、その圧縮データから事後的に撮像画像を復元することで、高精細な表示画像を得ている。そのため、ＡＦ評価値のために新たな画像を生成する必要がない。
【００７０】
また本実施形態では、図１に示すように、撮像装置は、平均画像Ｍに基づいて露出評価値（ＡＥ評価値）を算出する露出評価値算出部（ＡＥ評価値算出部１４１）と、露出評価値に基づいて露出制御を行う露出制御部（ＡＥ制御部１９２）と、を含む。
【００７１】
このようにすれば、ＡＥ制御において高精度あるいは高速な露出制御が可能になる。例えば、Ｇ信号のみから露出評価値を算出した場合、被写体の色がＲ成分やＢ成分に偏った場合に露出評価値の値が小さくなり、ＡＥ制御の精度あるいは高速性が損なわれるという課題がある。この点、本実施形態によれば、平均画像ＭにはＲＧＢ全ての成分が反映されているため、高精度あるいは高速なＡＥ制御が可能になる。
【００７２】
また、平均画像Ｍは上述のようにデータ圧縮や撮像画像の復元を行うための画像であるため、露出評価値を算出するための新たな画像（例えば輝度画像）を生成する必要がない。
【００７３】
また本実施形態では、図２に示すように、加算画像取得部１８０は撮像画像取得部１８１と加算画像生成部１８２を含む。撮像画像取得部１８１は、撮像素子１０３による撮像画像を取得する。図３で説明したように、加算画像生成部１８２は、加算画素値を取得する単位である加算単位（例えばａ（１）００）を撮像画像の複数の画素（例えば４画素）毎に設定し、その加算単位に含まれる画素値を重み付け加算して加算画素値を求め、求めた加算画素値による加算画像（例えばＡ１）を生成する。加算画像生成部１８２は、加算単位を順次画素シフトさせて、第１〜第４の加算画像Ａ１〜Ａ４（広義には第１〜第ｎの加算画像、ｎは２以上の自然数）を複数の加算画像として生成する。
【００７４】
具体的には、加算画像生成部１８２は、加算単位を、水平又は垂直に１画素ずつ順次シフトさせて第１〜第４のポジション（例えばａ（１）００、ａ（２）１０、ａ（３）１１、ａ（４）０１、広義には第１〜第ｎのポジション）に設定し、その第１〜第４のポジションにおいてそれぞれ第１〜第４の加算画像Ａ１〜Ａ４を取得する。第１〜第４のポジションのうちの第ｍのポジションと第ｍ＋１のポジションの加算単位は、共通の画素を含む。
【００７５】
例えば本実施形態では、第１のポジションの加算単位ａ（１）００と第２のポジションの加算単位ａ（２）１０は、共通の画素ｖ１０、ｖ１１を含む。
【００７６】
ここで、加算単位のポジションとは、撮像画像における加算単位の位置や座標のことであり、あるいは、推定処理における画像データ上での加算単位の位置や座標のことである。
【００７７】
このようにすれば、例えばベイヤ配列等のように複数色の画素が配列される場合に、加算単位が画素シフトにともなって、加算単位に含まれる各色と重み付け係数の対応が変化する。これにより、複数色の各色と重み付け係数の対応が異なる複数の加算画像Ａ１〜Ａ４を取得することができる。また、隣接するポジションの加算単位が共通の画素を含むことで、後述するように簡素な処理で加算画像Ａ１〜Ａ４から高精細な撮像画像を復元することが可能になる。
【００７８】
また本実施形態では、上式（２）で説明したように、平均画像生成部１２３は、第１〜第４のポジションの加算画素値の平均値ａＭｉｊを、平均画像Ｍの画素値として求める。上式（３）で説明したように、差分画像生成部１２１は、平均画像Ｍの画素値ａＭｉｊと、第ｍのポジションの加算画素値の差分値ａＤｍｉｊを、第ｍの差分画像の画素値として求める。
【００７９】
このようにすれば、第１〜第４の加算画像Ａ１〜Ａ４から、平均画像Ｍと第１〜第４の差分画像Ｄ１〜Ｄ４を生成できる。
【００８０】
また本実施形態では、図１に示すように、撮像装置は加算画像再生成部１２４と推定演算部（高精細画像復元推定部１２５）を含む。上式（４）で説明したように、加算画像再生成部１２４は、平均画像Ｍと複数の差分画像Ｄ１〜Ｄ４から複数の加算画像Ａ１〜Ａ４を再生成する。推定演算部は、再生成された複数の加算画像Ａ１〜Ａ４に基づいて重み付け加算前の画素値ｖｉｊを推定する。
【００８１】
例えば本実施形態では、特開２０１１−１５１５６９に開示される手法により重み付け加算前の画素値ｖｉｊを推定する。即ち、推定演算部は、第１、第２の加算画素値（例えばａ（１）００、ａ（２）１０）の差分値δｉ０を求める。第１、第２の中間画素値ｂ００、ｂ２０の関係式を、差分値δｉ０を用いて表す。ｂ００は、ｖ００、ｖ０１の加算画素値であり、ｂ２０は、ｖ２０、ｖ２１の加算画素値である。推定演算部は、関係式を用いて中間画素値ｂ００、ｂ２０を推定する。推定した中間画素値を用いて加算単位に含まれる各画素の画素値（ｖ００、ｖ１０、ｖ１１、ｖ０１）を求める。
【００８２】
このようにすれば、重畳シフトされた加算画素値から中間画素値を一旦推定し、その重畳シフトされた中間画素値から推定画素値を求めることで、高解像画像の推定処理を簡素化できる。
【００８３】
また本実施形態では、図１に示すように、撮像装置は圧縮処理部１３０と伸張処理部１３９を含む。圧縮処理部１３０は、複数の差分画像Ｄ１〜Ｄ４を圧縮する。伸張処理部１３９は、圧縮された複数の差分画像Ｄ１〜Ｄ４を伸張し、伸張した複数の差分画像Ｄ１〜Ｄ４を加算画像再生成部１２４に出力する。
【００８４】
このようにすれば、撮像画像を効率よく圧縮することが可能になる。即ち、差分画像の画素値の発生確率分布はゼロ付近に偏っているため、差分画像のエントロピーは撮像画像よりも小さくなる。そのため、差分画像を生成して圧縮することで、画像の圧縮率を向上できる。撮像の直後にデータ量の縮小が可能であるため、後段でのデータ処理の負荷の低減が図られ、高速データ処理を伴わずに高精細画像の高速撮影処理システムが構築できる。
【００８５】
５．撮像装置の第２の構成例
図６に、本実施形態の撮像装置の第２の構成例を示す。図６に示す撮像装置は、撮像素子１０３、光学ズーム駆動部１０５、絞り駆動部１０７、ＡＦ駆動部１０９、撮像素子駆動部１１１、ユーザＩ／Ｆ部１１７、差分画像生成部１２１、平均画像生成部１２３、加算画像再生成部１２４、高精細画像復元推定部１２５、モニタ画像生成部１２７、モニタ１２９、圧縮処理部１３０、伸張処理部１３９、ＡＥ評価値算出部１４１、ＡＦ評価値算出部１４３、ＡＦ評価値比較部１４５、光学系１５０、圧縮データ記憶部１７０、加算画像取得部１８０、制御部１９０を含む。
【００８６】
なお、上述した第１の構成例の構成要素と同一の構成要素には同一の符号を付し、その構成要素については適宜説明を省略する。
【００８７】
ＡＦ評価値算出部１４３は、上述の差分画像Ｙｇ、Ｙｒ、Ｙｂのそれぞれについて対応する複数のＡＦ評価値Ｖｇ、Ｖｒ、Ｖｂを算出する。ＡＦ評価値比較部１４５は、ＡＦ評価値Ｖｇ、Ｖｒ、Ｖｂのそれぞれに対して、値の大小関係を比較し、その比較記結果に基づいてＡＦ評価値Ｖｇ、Ｖｒ、Ｖｂのうちの最大値を選択する。ＡＦ制御部１９１は、選択されたＡＦ評価値に基づいてＡＦ制御を行う。
【００８８】
なお、本実施形態は図６の構成に限定されず、その構成要素の一部を省略したり、他の構成要素を追加したりする等の種々の変形実施が可能である。例えば、上記ではＡＦ評価値を求めた後にＡＦ評価値の最大値を選択したが、本実施形態はこれに限定されない。例えば、差分画像Ｙｇ、Ｙｒ、Ｙｂの中から１つの差分画像を選択し、選択した差分画像からＡＦ評価値を求めてもよい。この場合、ＡＦ評価値比較部１４５は、差分画像Ｙｇ、Ｙｒ、Ｙｂの画素値に基づいて、最もＡＦ評価値が大きいと推定される差分画像を選択する。そして、ＡＦ評価値算出部１４３は、選択された差分画像からＡＦ評価値を求め、求めたＡＦ評価値をＡＦ制御部１９１に出力する。
【００８９】
６．ＡＦ制御の第２の手法
次に、上記第２の構成例におけるＡＦ制御の手法について説明する。図７に、第２の構成例におけるＡＦ制御のフローチャートを示す。
【００９０】
図７に示すように、処理が開始されると、撮像されたベイヤ画像を取得する（Ｓ２０）。図３等で説明した手法により、ベイヤ画像から加算画像Ａ１〜Ａ４を生成し（Ｓ２１）、差分画像Ｙｇ、Ｙｒ、Ｙｂを生成する（Ｓ２２）。例えば、Ｙｇ＝Ｄ２、Ｄ４、Ｙｒ＝Ｄ１、Ｙｂ＝Ｄ３である。
【００９１】
次に、差分画像Ｙｇ、Ｙｒ、Ｙｂの画素値を正規化する処理を行う（Ｓ２３）。具体的には、正規化処理は、差分画像Ｙｇ、Ｙｒ、Ｙｂのそれぞれに対応する係数を、差分画像Ｙｇ、Ｙｒ、Ｙｂの画素値に乗算することで行う。例えば、予め白い被写体を撮影した場合のＹｒ，Ｙｇ，Ｙｂの画素値の比を求め、白い被写体を撮影した場合に差分画像Ｙｇ、Ｙｒ、Ｙｂから求めたＡＦ評価値が同一値となる係数を、求めた比に基づいて設定し、その係数を図示しない記憶部に記憶しておく。あるいは、撮像画像の色温度を推定し、ＲＧＢのホワイトバランスを調整する係数を、推定した色温度に基づいて設定してもよい。
【００９２】
次に、正規化された差分画像Ｙｇ、Ｙｒ、Ｙｂから、それぞれＡＦ評価値Ｖｇ、Ｖｒ、Ｖｂを算出する（Ｓ２４）。次に、ＡＦ評価値Ｖｇ、Ｖｒ、Ｖｂの中から最大のＡＦ評価値を選択する（Ｓ２５）。次に、選択されたＡＦ評価値に基づいてＡＦ制御を行う（Ｓ２６）。例えば最大のＡＦ評価値としてＶｇが選択された場合、フォーカスレンズ１５４を複数の位置に順次移動させ、各位置について差分画像ＹｇからＡＦ評価値Ｖｇを求める。そして、ＡＦ評価値Ｖｇが最大となる位置にフォーカスレンズ１５４を移動させる。
【００９３】
図３で説明したように、加算画像Ａ１〜Ａ４では、ＲＧＢの画素値が重み付け加算されている。例えば加算画像Ａ１では、Ｒ、Ｇ、Ｂの画素に対して、それぞれ係数１、１／２、１／４（ｒ＝２とした場合）で重み付けされる。即ち、Ａ１ではＲの重み付けが他色の重み付けよりも大きく、差分画像Ｙｒ＝Ｄ１では、Ｒ成分が他の色成分よりも大きく反映されたエッジ画像が抽出されることになる。同様に、差分画像Ｙｇ＝Ｄ２、Ｄ４、Ｙｂ＝Ｄ３では、それぞれＧ成分、Ｂ成分が他の色成分よりも大きく反映されたエッジ画像が抽出される。そのため、差分画像Ｙｇ、Ｙｒ、Ｙｂから求めたＡＦ評価値のうち最大のものを選択することで、被写体の色に依らず高精度なＡＦ制御が可能になる。例えば赤い花が被写体の場合、Ｙｇ、Ｙｂよりも値が大きいＹｒが選択され、Ｇ画像のみでＡＦを行う場合に比べてコントラストＡＦの精度を向上できる。
【００９４】
以上の実施形態によれば、図６に示すように、撮像装置は、フォーカス評価値を比較する比較部（ＡＦ評価値比較部１４５）を含む。フォーカス評価値算出部は、各差分画像Ｙｇ、Ｙｒ、Ｙｂに対応する複数のフォーカス評価値Ｖｇ、Ｖｒ、Ｖｂを算出する。比較部は、その複数のフォーカス評価値Ｖｇ、Ｖｒ、Ｖｂの値を比較（大小関係を比較）し、その比較の結果に基づいて最大のフォーカス評価値を選択する。
【００９５】
また本実施形態では、図３又は図４で説明したように、加算画像取得部１８０は、複数色の各色と重み付けの係数との対応が異なる複数の加算画像Ａ１〜Ａ４を取得する。図７で説明したように、フォーカス制御部（ＡＦ制御部１９１）は、複数の差分画像Ｙｇ、Ｙｒ、Ｙｂ（例えばＹｇ＝Ｄ２、Ｄ４、Ｙｒ＝Ｄ１、Ｙｂ＝Ｄ３）の各差分画像に基づくフォーカス評価値Ｖｇ、Ｖｒ、Ｖｂのうちの最大のフォーカス評価値に基づいて、フォーカス制御を行う。
【００９６】
より具体的には、複数色の画素としてＲＧＢの画素がベイヤ配列で配列される。この場合に、加算画像取得部１８０は、Ｒ色に対する重み付け係数がＧ色及びＢ色に対する重み付け係数よりも大きい第１の加算画像Ａ１と、Ｇ色に対する重み付け係数がＲ色及びＢ色に対する重み付け係数よりも大きい第２の加算画像Ａ２（又はＡ４）と、Ｂ色に対する重み付け係数がＲ色及びＧ色に対する重み付け係数よりも大きい第３の加算画像Ａ３とを、取得する。差分画像生成部１２１は、第１〜第３の加算画像Ａ１〜Ａ３から第１〜第３の差分画像Ｄ１〜Ｄ３を生成する。フォーカス制御部は、その第１〜第３の差分画像Ｄ１〜Ｄ３に対応する第１〜第３のフォーカス評価値Ｖｒ、Ｖｇ、Ｖｂのうちの最大のフォーカス評価値に基づいて、フォーカス制御を行う。
【００９７】
ここで、複数色の各色と重み付け係数との対応が異なるとは、加算される画素グループ（加算単位）に含まれるＲＧＢ画素と重み付け係数の組み合わせが、各加算画像で異なることである。例えば図３に示すように、複数色の画素としてＲＧＢの画素がベイヤ配列される場合、ｒ＝１／２とすると、Ａ１の加算単位ａ（１）００では、Ｒ、Ｇ、Ｂの画素が係数１、１／２、１／４で重み付けされる。Ａ２、Ａ４の加算単位ａ（２）１０、ａ（４）０１では、Ｒ、Ｇ、Ｂの画素が係数１／２、１又は１／４、１／２で重み付けされ、Ａ３の加算単位ａ（３）１１では、Ｒ、Ｇ、Ｂの画素が係数１／４、１／２、１で重み付けされる。
【００９８】
このようにすれば、最も高コントラストの加算画像が用いられるため、更に高精度のフォーカス制御が可能になる。例えば、被写体の色が偏っている場合、その偏った色の重み付けが大きい加算画像から生成された差分画像は、他の色の重み付けが大きい加算画像から生成された差分画像よりもエッジ成分が大きいと考えられる。そのため、フォーカス制御の精度向上や高速化が可能になる。
【００９９】
なお、図６で説明したように、比較部が差分画像Ｙｇ、Ｙｒ、Ｙｂのうちの１つを選択し、フォーカス評価値算出部が、その選択された差分画像からフォーカス評価値を算出してもよい。
【０１００】
なお、上記のように本実施形態について詳細に説明したが、本発明の新規事項及び効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義又は同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また撮像装置等の構成、動作も本実施形態で説明したものに限定に限定されず、種々の変形実施が可能である。
【符号の説明】
【０１０１】
１０３ 撮像素子、１０５ 光学ズーム駆動部、１０７ 絞り駆動部、
１０９ ＡＦ駆動部、１１１ 撮像素子駆動部、１１５ バッファメモリ、
１１７ ユーザＩ／Ｆ部、１２１ 差分画像生成部、１２３ 平均画像生成部、
１２４ 加算画像再生成部、１２５ 高精細画像復元推定部、
１２７ モニタ画像生成部、１２９ モニタ、１３０ 圧縮処理部、
１３９ 伸張処理部、１４１ ＡＥ評価値算出部、１４３ ＡＦ評価値算出部、
１４５ ＡＦ評価値比較部、１５０ 光学系、１５１ レンズ、
１５２ ズームレンズ、１５３ 絞り機構、１５４ フォーカスレンズ、
１７０ 圧縮データ記憶部、１８０ 加算画像取得部、１８１ 撮像画像取得部、
１８２ 加算画像生成部、１９０ 制御部、１９１ ＡＦ制御部、
１９２ ＡＥ制御部、１９３ 光学ズーム制御部、
Ａ１〜Ａ４ 加算画像、Ｄ１〜Ｄ４ 差分画像、Ｍ 平均画像、
Ｙｇ，Ｖｒ，Ｖｂ 差分画像、ａｉｊ 加算単位、ｆｘ フレーム、ｖｉｊ 画素値
【特許請求の範囲】
【請求項１】
複数色の画素が配列される撮像素子と、
所定の画素数で構成される加算単位において、前記加算単位に含まれる画素の画素信号に対して所定の重み付けを行って加算し、複数の加算画像を取得する加算画像取得部と、
前記複数の加算画像を平均した平均画像を生成する平均画像生成部と、
前記複数の加算画像の各加算画像と前記平均画像との差分である複数の差分画像を生成する差分画像生成部と、
前記複数の差分画像のうちの少なくとも１つの差分画像に基づいて、フォーカス評価値を算出するフォーカス評価値算出部と、
前記フォーカス評価値に基づいてフォーカス制御を行うフォーカス制御部と、
を備えることを特徴とする撮像装置。
【請求項２】
請求項１において、
前記フォーカス評価値を比較する比較部と、を備え、
前記フォーカス評価値算出部は、
前記複数の差分画像毎に対応する複数のフォーカス評価値を算出し、
前記比較部は、
前記複数のフォーカス評価値の値を比較し、前記比較の結果に基づいて最大のフォーカス評価値を選択することを特徴とする撮像装置。
【請求項３】
請求項１又は２において、
前記加算画像取得部は、
前記複数色の各色と前記重み付けの係数との対応が異なる前記複数の加算画像を取得し、
前記フォーカス制御部は、
前記複数の差分画像の各差分画像に基づく前記フォーカス評価値のうちの最大のフォーカス評価値に基づいて、前記フォーカス制御を行うことを特徴とする撮像装置。
【請求項４】
請求項２又は３において、
前記撮像素子には、前記複数色の画素としてＲＧＢの画素がベイヤ配列で配列され、
前記加算画像取得部は、
Ｒ色に対する前記重み付けの係数がＧ色及びＢ色に対する前記重み付け係数よりも大きい第１の加算画像と、Ｇ色に対する前記重み付けの係数がＲ色及びＢ色に対する前記重み付けの係数よりも大きい第２の加算画像と、Ｂ色に対する前記重み付けの係数がＲ色及びＧ色に対する前記重み付けの係数よりも大きい第３の加算画像と、を取得し、
前記差分画像生成部は、
前記第１〜第３の加算画像から第１〜第３の差分画像を生成し、
前記フォーカス制御部は、
前記第１〜第３の差分画像に対応する第１〜第３のフォーカス評価値のうちの前記最大のフォーカス評価値に基づいて、前記フォーカス制御を行うことを特徴とする撮像装置。
【請求項５】
請求項１乃至４のいずれかにおいて、
前記平均画像に基づいて露出評価値を算出する露出評価値算出部と、
前記露出評価値に基づいて露出制御を行う露出制御部と、
を備えることを特徴とする撮像装置。
【請求項６】
請求項１乃至５のいずれかにおいて、
前記加算画像取得部は、
前記撮像素子による撮像画像を取得する撮像画像取得部と、
前記加算単位を前記撮像画像の複数の画素毎に設定し、前記加算単位に含まれる画素値を前記重み付け加算して前記加算画素値を求め、求めた前記加算画素値による加算画像を生成する加算画像生成部と、
を有し、
前記加算画像生成部は、
前記加算単位を順次画素シフトさせて、第１〜第ｎの加算画像（ｎは２以上の自然数）を前記複数の加算画像として生成することを特徴とする撮像装置。
【請求項７】
請求項６において、
前記加算画像生成部は、
前記加算単位を、水平又は垂直に１画素ずつ順次シフトさせて第１〜第ｎのポジションに設定し、前記第１〜第ｎのポジションにおいてそれぞれ前記第１〜第ｎの加算画像を取得し、
前記第１〜第ｎのポジションのうちの第ｍのポジションと第ｍ＋１のポジションの前記加算単位は、共通の画素を含むことを特徴とする撮像装置。
【請求項８】
請求項７において、
前記平均画像生成部は、
前記第１〜第ｎのポジションの前記加算画素値の平均値を、前記平均画像の画素値として求め、
前記差分画像生成部は、
前記平均画像の画素値と、前記第ｍのポジションの前記加算画素値の差分値を、前記第ｍの差分画像の画素値として求めることを特徴とする撮像装置。
【請求項９】
請求項１乃至８のいずれかにおいて、
前記平均画像と前記複数の差分画像から前記複数の加算画像を再生成する加算画像再生成部と、
再生成された前記複数の加算画像に基づいて前記重み付け加算前の画素値を推定する推定演算部と、
を備えることを特徴とする撮像装置。
【請求項１０】
請求項９において、
前記複数の差分画像を圧縮する圧縮処理部と、
圧縮された前記複数の差分画像を伸張し、伸張した前記複数の差分画像を前記加算画像再生成部に出力する伸張処理部と、
を備えることを特徴とする撮像装置。
【請求項１１】
複数色の画素が撮像素子に配列される場合に、所定の画素数で構成される加算単位において、前記加算単位に含まれる画素の画素信号に対して所定の重み付けを行って加算して複数の加算画像を取得し、
前記複数の加算画像を平均した平均画像を生成し、
前記複数の加算画像の各加算画像と前記平均画像との差分である複数の差分画像を生成し、
前記複数の差分画像のうちの少なくとも１つの差分画像に基づいて、フォーカス評価値を算出し、
前記フォーカス評価値に基づいてフォーカス制御を行うことを特徴とするフォーカス制御方法。
【請求項１】
複数色の画素が配列される撮像素子と、
所定の画素数で構成される加算単位において、前記加算単位に含まれる画素の画素信号に対して所定の重み付けを行って加算し、複数の加算画像を取得する加算画像取得部と、
前記複数の加算画像を平均した平均画像を生成する平均画像生成部と、
前記複数の加算画像の各加算画像と前記平均画像との差分である複数の差分画像を生成する差分画像生成部と、
前記複数の差分画像のうちの少なくとも１つの差分画像に基づいて、フォーカス評価値を算出するフォーカス評価値算出部と、
前記フォーカス評価値に基づいてフォーカス制御を行うフォーカス制御部と、
を備えることを特徴とする撮像装置。
【請求項２】
請求項１において、
前記フォーカス評価値を比較する比較部と、を備え、
前記フォーカス評価値算出部は、
前記複数の差分画像毎に対応する複数のフォーカス評価値を算出し、
前記比較部は、
前記複数のフォーカス評価値の値を比較し、前記比較の結果に基づいて最大のフォーカス評価値を選択することを特徴とする撮像装置。
【請求項３】
請求項１又は２において、
前記加算画像取得部は、
前記複数色の各色と前記重み付けの係数との対応が異なる前記複数の加算画像を取得し、
前記フォーカス制御部は、
前記複数の差分画像の各差分画像に基づく前記フォーカス評価値のうちの最大のフォーカス評価値に基づいて、前記フォーカス制御を行うことを特徴とする撮像装置。
【請求項４】
請求項２又は３において、
前記撮像素子には、前記複数色の画素としてＲＧＢの画素がベイヤ配列で配列され、
前記加算画像取得部は、
Ｒ色に対する前記重み付けの係数がＧ色及びＢ色に対する前記重み付け係数よりも大きい第１の加算画像と、Ｇ色に対する前記重み付けの係数がＲ色及びＢ色に対する前記重み付けの係数よりも大きい第２の加算画像と、Ｂ色に対する前記重み付けの係数がＲ色及びＧ色に対する前記重み付けの係数よりも大きい第３の加算画像と、を取得し、
前記差分画像生成部は、
前記第１〜第３の加算画像から第１〜第３の差分画像を生成し、
前記フォーカス制御部は、
前記第１〜第３の差分画像に対応する第１〜第３のフォーカス評価値のうちの前記最大のフォーカス評価値に基づいて、前記フォーカス制御を行うことを特徴とする撮像装置。
【請求項５】
請求項１乃至４のいずれかにおいて、
前記平均画像に基づいて露出評価値を算出する露出評価値算出部と、
前記露出評価値に基づいて露出制御を行う露出制御部と、
を備えることを特徴とする撮像装置。
【請求項６】
請求項１乃至５のいずれかにおいて、
前記加算画像取得部は、
前記撮像素子による撮像画像を取得する撮像画像取得部と、
前記加算単位を前記撮像画像の複数の画素毎に設定し、前記加算単位に含まれる画素値を前記重み付け加算して前記加算画素値を求め、求めた前記加算画素値による加算画像を生成する加算画像生成部と、
を有し、
前記加算画像生成部は、
前記加算単位を順次画素シフトさせて、第１〜第ｎの加算画像（ｎは２以上の自然数）を前記複数の加算画像として生成することを特徴とする撮像装置。
【請求項７】
請求項６において、
前記加算画像生成部は、
前記加算単位を、水平又は垂直に１画素ずつ順次シフトさせて第１〜第ｎのポジションに設定し、前記第１〜第ｎのポジションにおいてそれぞれ前記第１〜第ｎの加算画像を取得し、
前記第１〜第ｎのポジションのうちの第ｍのポジションと第ｍ＋１のポジションの前記加算単位は、共通の画素を含むことを特徴とする撮像装置。
【請求項８】
請求項７において、
前記平均画像生成部は、
前記第１〜第ｎのポジションの前記加算画素値の平均値を、前記平均画像の画素値として求め、
前記差分画像生成部は、
前記平均画像の画素値と、前記第ｍのポジションの前記加算画素値の差分値を、前記第ｍの差分画像の画素値として求めることを特徴とする撮像装置。
【請求項９】
請求項１乃至８のいずれかにおいて、
前記平均画像と前記複数の差分画像から前記複数の加算画像を再生成する加算画像再生成部と、
再生成された前記複数の加算画像に基づいて前記重み付け加算前の画素値を推定する推定演算部と、
を備えることを特徴とする撮像装置。
【請求項１０】
請求項９において、
前記複数の差分画像を圧縮する圧縮処理部と、
圧縮された前記複数の差分画像を伸張し、伸張した前記複数の差分画像を前記加算画像再生成部に出力する伸張処理部と、
を備えることを特徴とする撮像装置。
【請求項１１】
複数色の画素が撮像素子に配列される場合に、所定の画素数で構成される加算単位において、前記加算単位に含まれる画素の画素信号に対して所定の重み付けを行って加算して複数の加算画像を取得し、
前記複数の加算画像を平均した平均画像を生成し、
前記複数の加算画像の各加算画像と前記平均画像との差分である複数の差分画像を生成し、
前記複数の差分画像のうちの少なくとも１つの差分画像に基づいて、フォーカス評価値を算出し、
前記フォーカス評価値に基づいてフォーカス制御を行うことを特徴とするフォーカス制御方法。
【図１】
【図２】
【図３】
【図４】
【図６】
【図７】
【図５】
【図２】
【図３】
【図４】
【図６】
【図７】
【図５】
【公開番号】特開２０１３−５０５３１（Ｐ２０１３−５０５３１Ａ）
【公開日】平成２５年３月１４日（２０１３．３．１４）
【国際特許分類】
【出願番号】特願２０１１−１８７３８７（Ｐ２０１１−１８７３８７）
【出願日】平成２３年８月３０日（２０１１．８．３０）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２５年３月１４日（２０１３．３．１４）
【国際特許分類】
【出願日】平成２３年８月３０日（２０１１．８．３０）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]