撮像装置及び撮像方法
【課題】撮像して得た信号からフォーカスの調整状態を簡単かつ良好に検出する。
【解決手段】第１、第２及び第３の色の画素を有する撮像素子で撮像した撮像信号のフォーカス判定領域内の第１、第２及び第３の色の輝度の積分値の各色の比率を、輝度比率算出部１１５で算出する。そして、算出した輝度の積分値の各色の比率で、撮像信号から得た、フォーカス判定領域内の第１の色の輝度の積分値を正規化部１１６で正規化する。さらに、その正規化した第１の色の輝度の積分値に対応した案内表示処理を、表示処理部１０５，１１７で行う。したがって、撮像した被写体の色がどのような色であっても、安定した輝度の検出状態の表示が行える。
【解決手段】第１、第２及び第３の色の画素を有する撮像素子で撮像した撮像信号のフォーカス判定領域内の第１、第２及び第３の色の輝度の積分値の各色の比率を、輝度比率算出部１１５で算出する。そして、算出した輝度の積分値の各色の比率で、撮像信号から得た、フォーカス判定領域内の第１の色の輝度の積分値を正規化部１１６で正規化する。さらに、その正規化した第１の色の輝度の積分値に対応した案内表示処理を、表示処理部１０５，１１７で行う。したがって、撮像した被写体の色がどのような色であっても、安定した輝度の検出状態の表示が行える。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、撮像装置及び撮像方法に関し、特に撮像時のフォーカス調整の技術に関する。
【背景技術】
【０００２】
放送局用や業務用の撮像装置（ビデオカメラ）においては、制作者の意図を反映したマニュアルフォーカス操作によるフォーカス調整を行うことが多い。このようにマニュアルフォーカス操作を行える撮像装置では、撮影作業者によるフォーカス操作を容易にするために、ビューファインダでフォーカス調整をアシストする表示を行うものがある。例えば、映像信号を構成する輝度信号から高域成分を抽出して輪郭強調信号を生成し、その輪郭強調信号を本線の輝度信号に加算する処理を行っている。このようにすることで、撮像画像中の輪郭を強調した表示が、ビューファインダで行われ、ビューファインダの表示を見た撮影作業者は、輪郭部分のフォーカス調整具合が確認しやすくなる。
【０００３】
また、撮像装置で撮像して得た画像のフォーカスの調整状態を、数値やグラフなどで定量的にビューファインダに表示させることで、マニュアルフォーカス調整を行う上でのフォーカスの合焦状態が確認でき、便利である。このようにフォーカスの調整状態を数値などで表示する場合には、例えば、撮像して得た画像の輝度信号の高域成分を検波し、その検波レベルを表示させる。
【０００４】
特許文献１には、輪郭部分を協調した画像を、ビューファインダで表示する技術についての記載がある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−１３５８６５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、近年、撮像装置が備える撮像素子は、単板式の場合、画素の色配列をベイヤ配列などの特殊な配列として、高解像度化を図ったものが開発されている。このような特殊な画素配列の撮像素子で撮像して得た撮像信号は、それぞれの色ごとに画素数や配置間隔などが異なる信号であり、各色で同じ条件で輝度成分が検波できない問題がある。したがって、撮像素子が出力する各色の信号の輝度レベルを検波して表示するだけでは、正確なフォーカス調整状態を表示できない問題があった。
【０００７】
例えば、ベイヤ配列の撮像素子の場合、緑色の画素は、赤色の画素や青色の画素よりも画素数が多い。このため、各色で同じ条件で輝度成分を検出すると、緑色の物体を撮像したときには、比較的高い輝度成分が検出される。一方、赤色の物体や青色の物体を撮像したときには、緑色の被写体を撮像した場合とフォーカス状態が同じであっても、輝度成分の検出レベルが低くなってしまう。したがって、撮像する被写体の色によって、輝度の検出レベルが変動してしまい、色に依存しない正確なフォーカスの合焦状態の検出は困難であった。従来、色に依存しない正確なフォーカスの合焦状態の検出を行うためには、大規模で複雑な回路が必要であると共に、その大規模な回路を使用した消費電力の大きな処理が必要で、撮像装置として好ましくなかった。
【０００８】
なお、ここまでの説明では、マニュアルフォーカス操作によるフォーカス調整時の問題について説明したが、オートフォーカス調整を行う撮像装置で、フォーカスの合焦状態の検出を行う際にも、正確な検出を行うためには、同様の問題があった。
【０００９】
本開示の目的は、撮像して得た信号からフォーカスの調整状態を簡単かつ良好に検出できる撮像装置及び撮像方法を提供することにある。
【課題を解決するための手段】
【００１０】
本開示は、第１、第２及び第３の色の画素を有する撮像素子で撮像した撮像信号のフォーカス判定領域内の第１、第２及び第３の色の輝度を個別に積分し、輝度の積分値の各色の比率を算出する処理を行う。そして、撮像信号から得た、フォーカス判定領域内の第１の色の輝度の積分値を、算出した輝度の積分値の各色の比率で正規化する。さらに、その正規化した第１の色の輝度の積分値に対応した案内表示処理を行う。
【００１１】
このようにしたことで、ビューファインダなどの画面中に、フォーカス判定領域内の特定の色の輝度の積分値の変動状況が表示される。その表示される積分値が最も高くなるようにフォーカス調整することで、ジャストフォーカス状態が得られる。この場合、特定の色の輝度の積分値を、そのときの輝度の各色の積分値の比率で正規化して、その正規化した積分値を表示に使用しているので、撮像した被写体の色がどのような色であっても、安定した表示が行える。
【発明の効果】
【００１２】
本開示によると、特定の色の輝度の積分値を、そのときの輝度の各色の積分値の比率で正規化した値に基づいて、フォーカス調整状態の表示を行うので、被写体の色に依存しない安定したフォーカス調整状態の表示ができる。
【図面の簡単な説明】
【００１３】
【図１】本開示の一実施の形態例による撮像装置の構成を示す図である。
【図２】本開示の一実施の形態例による撮像装置が備える撮像素子の画素配置例を示す説明図である。
【図３】本開示の一実施の形態例による各色成分の輝度レベルの例を示す特性図である。
【図４】本開示の一実施の形態例による表示画面の例を示す説明図である。
【図５】本開示の他の実施の形態例（オートフォーカス調整を行う例）による撮像装置の構成を示す図である。
【発明を実施するための形態】
【００１４】
本開示の一実施の形態例を、以下の順序で説明する。
１．撮像装置の構成例（図１）
２．撮像素子の画素配置例（図２）
３．撮像装置での処理と表示の例（図３，図４）
４．オートフォーカスに適用した例（図５）
５．変形例
【００１５】
［１．撮像装置の構成例］
本開示の一実施の形態例（以下、「本例」と称する）の撮像装置の構成を、図１を参照して説明する。
図１は本例の撮像装置の構成を示した図である。
撮像装置１００は、撮像素子１０１ａと、その撮像素子１０１ａから撮像信号を読み出す回路からなる撮像部１０１を備える。撮像装置１００には、レンズ２０１を備えるレンズ装置２００が装着される。図１ではレンズ２０１を１枚のレンズで示してあるが、実際には複数枚（複数群）のレンズで構成される。レンズ装置２００は、フォーカス調整を行うためのフォーカスリングを備え、撮影作業者がフォーカスリングを回すことで、フォーカス調整用のレンズの位置が移動し、フォーカスが調整される。
そして、レンズ２０１を介して撮像面に入射した像光を、撮像部１０１が備える撮像素子１０１ａで電気的な撮像信号に変換する。
撮像素子１０１ａは、いわゆる単板式と称される１枚の撮像素子であり、その１枚の撮像素子１０１ａの撮像面に、赤色画素と緑色画素と青色画素とが配置してある。撮像素子１０１ａの形式としては、ＣＣＤイメージセンサ，ＣＭＯＳイメージセンサなど各種方式のものが適用可能である。撮像素子１０１ａの画素配列の例については後述する。
【００１６】
撮像部１０１で得た撮像信号を、撮像信号処理部１０２に供給する。撮像部１０１が出力する撮像信号は、撮像素子１０１ａから読み出した撮像信号をそのまま出力する、いわゆるＲＡＷデータ（生データ）である。したがって、撮像部１０１が出力する撮像信号は、赤色画素で得た赤色信号Ｒと緑色画素で得た緑色信号Ｇと青色画素で得た青色信号Ｂとが、撮像素子１０１ａの画素配列に対応して混在した信号である。
なお、撮像装置内の各信号処理系がデジタル化されている場合には、デジタル化されたＲＡＷデータを撮像部１０１から出力させて、撮像信号処理部１０２に供給してもよい。
【００１７】
撮像信号処理部１０２は、供給される撮像信号に対して各種処理を施し、適正な撮像信号とする処理を行う。例えばガンマ補正やホワイトバランス調整などの処理を行う。そして、撮像信号処理部１０２で処理された撮像信号を、画像フォーマット変換部１０３に供給し、所定フォーマットの画像データに変換する。そして、画像フォーマット変換部１０３で変換された画像データを、画像信号出力端子１０４から外部に出力する。
また撮像装置１００は、ＲＡＷデータ出力端子１０７を備え、撮像信号処理部１０２に供給されたＲＡＷデータを、そのままＲＡＷデータ出力端子１０７から外部に出力させることも可能である。
【００１８】
また、画像フォーマット変換部１０３で、ビューファインダ１０６で表示するための画像データを得る変換処理を行い、変換された画像データを表示処理部１０５に供給する。表示処理部１０５は、供給される画像データを処理してビューファインダ１０６で表示させる。この場合、後述するフォーカスバー生成部１１７で生成されたフォーカスバー信号が表示処理部１０５に供給され、フォーカスバーと称される図形を、ビューファインダ１０６で表示中の撮像画像に表示する処理が行われる。フォーカスバーの具体的な例については後述する。
【００１９】
また、撮像部１０１が出力する撮像信号（ＲＡＷデータ）を、Ｒ検波エリア積算部１１１とＧ検波エリア積算部１１２とＢ検波エリア積算部１１３とに供給する。
Ｒ検波エリア積算部１１１で、フォーカス検知エリア内の撮像信号に含まれる赤色信号Ｒの高域の輝度成分を検波し、その検波した輝度値を積分する。Ｇ検波エリア積算部１１２で、フォーカス検知エリア内の撮像信号に含まれる緑色信号Ｇの高域の輝度成分を検波し、その検波した輝度値を積分する。Ｂ検波エリア積算部１１３で、フォーカス検知エリア内の撮像信号に含まれる青色信号Ｂの高域の輝度成分を検波し、その検波した輝度値を積分する。なお、後述するように、撮像素子１０１ａの画素配列から決まる輝度成分の帯域が、各色で変動がある場合には、同じ条件となるように処理する。具体的には、後述する図２（ａ）に示す標準ベイヤ配列の撮像素子１０１ａを使用した場合、Ｇ検波エリア積算部１１２で検波する緑色信号Ｇは、１画素ごとに間引いた信号とし、他の色の信号Ｒ，Ｂと同じ帯域（画素間隔）の信号とする。
【００２０】
Ｒ検波エリア積算部１１１とＧ検波エリア積算部１１２とＢ検波エリア積算部１１３とでの輝度値の積分は、例えば、撮像部１０１が撮像する１フレームの撮像信号ごとに、フォーカス検知エリアの信号に対して行う。
フォーカス検知エリアは、撮像装置１００の制御部（不図示）により設定される。例えば撮像画面の中央部付近をフォーカス検知エリアとし、そのフォーカス検知エリア内のフォーカス状態を検知する。このフォーカス検知エリアを画面中のどの範囲にするかは、例えばユーザ操作で設定してもよい。
【００２１】
それぞれの検波エリア積算部１１１，１１２，１１３で得た積分値を、ピーク最大値選択部１１４に供給し、最大値となる色の積分値が選択される。そして、ピーク最大値選択部１１４で選択された色の積分値を、フォーカスバー生成部１１７に供給する。
【００２２】
また、撮像部１０１が出力する撮像信号を、ＲＧＢ輝度比率算出部１１５に供給する。ＲＧＢ輝度比率算出部１１５で、フォーカス検知エリア内の撮像信号の赤色信号Ｒの積分値と、緑色信号Ｇの積分値と、青色信号Ｂの積分値とを比較し、各色の積分値の比率を算出する。この比率の算出については、例えば、撮像部１０１が撮像する１フレームの撮像信号ごとに行う。そして、ＲＧＢ輝度比率算出部１１５で算出した比率のデータを、Ｇ輝度正規化部１１６に供給する。
【００２３】
また、撮像部１０１が出力する撮像信号の緑色信号Ｇを、Ｇ輝度正規化部１１６に供給する。Ｇ輝度正規化部１１６では、フォーカス検知エリア内の緑色信号Ｇの高域の積分値を算出すると共に、その算出した積分値を、ＲＧＢ輝度比率算出部１１５から供給される比率のデータで正規化する。Ｇ輝度正規化部１１６での積分値の算出と正規化処理についても、１フレームごとに行う。
【００２４】
次に、Ｇ輝度正規化部１１６での比率のデータに基づいた正規化処理について説明する。比率のデータで、緑色信号Ｇの積分値が３色の中で最も高い積分値であるときには、Ｇ輝度正規化部１１６で得た緑色信号Ｇの積分値をそのまま正規化されたデータとする。そして、赤色信号Ｒの積分値が３色の中で最も高い積分値であるときには、赤色信号Ｒの積分値と緑色信号Ｇの積分値との比率に基づいて、緑色信号Ｇの積分値を正規化する。例えば、赤色信号Ｒの積分値と緑色信号Ｇの積分値との比が２：１で、赤成分が緑成分の２倍であるとき、緑色信号Ｇの積分値を２倍にする正規化を行う。
同様に、青色信号Ｂの積分値が３色の中で最も高い積分値であるときには、青色信号Ｂの積分値と緑色信号Ｇの積分値との比率に基づいて、緑色信号Ｇの積分値を正規化する。
【００２５】
そして、Ｇ輝度正規化部１１６で正規化された緑色信号Ｇの積分値を、フォーカスバー生成部１１７に供給する。
フォーカスバー生成部１１７は、撮像画像のフォーカス状態を示す棒グラフ（バー）を表示させる表示信号を生成させる表示処理を行う。すなわち、フォーカスバー生成部１１７で、ピーク最大値選択部１１４で選択された色の積分値と、Ｇ輝度正規化部１１６で正規化された緑色信号Ｇの積分値とを加算した値に基づいて、棒グラフの長さを設定する。そして、その設定した長さの棒グラフを表示させるための棒グラフ表示信号を生成する。
フォーカスバー生成部１１７で生成された棒グラフ表示信号を、表示処理部１０５に供給し、ビューファインダ１０６に供給する撮像画像の表示信号に、棒グラフ表示信号を重畳し、ビューファインダ１０６に棒グラフを表示させる。
【００２６】
［２．撮像素子の画素配置例］
図２は、撮像部１０１が備える撮像素子１０１ａの画素配置例を示す。図２において、Ｒと示した部分が赤色信号Ｒを得る画素であり、Ｇと示した部分が緑色信号Ｇを得る画素であり、Ｂと示した部分が青色信号Ｂを得る画素である。図２に示す各画素配列では、図面上の横方向が水平方向であり、縦方向が垂直方向である。
図２（ａ）は、標準ベイヤ配列の場合の例である。この標準ベイヤ配列の場合、ある１つの水平ラインに、赤色信号Ｒを得る画素と、緑色信号Ｇを得る画素とを、１画素ずつ交互に配置する。そして、その水平ラインに隣接した水平ラインに、青色信号Ｂを得る画素と、緑色信号Ｇを得る画素とが、１画素ずつ交互に配置する。また、赤色信号Ｒを得る画素がある水平ラインでの、緑色信号Ｇを得る画素の配置位置と、青色信号Ｂを得る画素がある水平ラインでの、緑色信号Ｇを得る画素の配置位置は、１画素ずつシフトされた状態になっている。
【００２７】
したがって、図２（ａ）に示す標準ベイヤ配列の撮像素子の場合、垂直方向に隣接した２本の水平ラインを単位として見ると、緑色信号Ｇの画素の最小配置間隔Ｐｇは、画素の配置ピッチと一致する。一方、赤色信号Ｒの画素の最小配置間隔Ｐｒと、青色信号Ｂの画素の最小配置間隔Ｐｂは、緑色の最小配置間隔Ｐｇの２倍の２画素ピッチとなる。
各色の画素の水平方向の最小配置間隔Ｐｒ，Ｐｇ，Ｐｂは、撮像信号（ＲＡＷデータ）に含まれるそれぞれの色成分の高域成分の帯域を決めることになる。具体的には、緑色信号Ｇは１画素ピッチで検出した信号となり、赤色信号Ｒと青色信号Ｂは２画素ピッチで検出した信号となる。この画素ピッチがそのまま撮像信号の周波数帯域に反映する場合、緑色信号Ｇは他の色信号Ｒ，Ｂに比べて２倍高い周波数成分を持つ。
【００２８】
図２（ｂ）は、ベイヤ配列を変形したダブルベイヤ配列の撮像素子の画素配列の例である。このダブルベイヤ配列の場合には、１水平ラインごとに画素の配置位置を１／２画素ずつシフトさせてある。
ある１つの水平ラインに、赤色信号Ｒを得る画素と、青色信号Ｂを得る画素が、１画素ずつ交互に配置してある。そして、その赤色の画素と青色の画素が配置された水平ラインに隣接した水平ラインに、緑色信号Ｇを得る画素だけを配置してある。
このダブルベイヤ配列の場合にも、標準ベイヤ配列の場合と同様に、緑色信号Ｇは１画素ピッチで検出した信号となり、赤色信号Ｒと青色信号Ｂは２画素ピッチで検出した信号となる。
【００２９】
撮像部１０１が備える撮像素子１０１ａとして、例えば、図２（ａ）に示した標準ベイヤ配列のものを適用する。なお、図２（ａ）や図２（ｂ）に示した画素配列は一例であり、その他の画素配列のものを適用してもよい。
【００３０】
［３．撮像装置での処理と表示の例］
次に、本例の撮像装置１００での撮像時に、ビューファインダ１０６でフォーカスバーを表示させる処理例について説明する。
フォーカスバー生成部１１７で生成される表示信号で示される棒グラフは、ピーク最大値選択部１１４で選択された色の積分値と、Ｇ輝度正規化部１１６で正規化された緑色信号Ｇの積分値とを加算した値に対応した長さのグラフである。
【００３１】
ピーク最大値選択部１１４で選択された色の積分値は、撮像信号から得た輝度値の積分値が最も高くなる色の積分値である。したがって、被写体を撮像して得た撮像信号の内で、最も支配的な色の信号を積分した値が、棒グラフの長さの１つの要素となる。
【００３２】
棒グラフの長さのもう１つの要素である、Ｇ輝度正規化部１１６で正規化された緑色信号Ｇの積分値は、緑色信号Ｇが最も高い周波数成分を有する信号であるため、棒グラフ表示に使用する。すなわち、図２（ａ）のベイヤ配列で説明したように、水平方向の最小配置間隔Ｐｒ，Ｐｇ，Ｐｂから、緑色信号Ｇは他の色信号Ｒ，Ｂに比べて２倍高い周波数成分を持つ。フォーカス状態を示すフォーカスバーでは、撮像信号の高域成分の量を示すことで、現在のフォーカス調整状態を精度良く案内できる。
【００３３】
このように最も高域成分が含まれる緑色信号Ｇの積分値を表示に使用して、高域成分の量を示すが、撮像した被写体によっては、撮像信号に含まれる緑色信号Ｇが少ない場合が考えられる。例えば、赤色の被写体を撮像した場合に得られる撮像信号では、緑色信号Ｇは比較的レベルが低く、赤色信号Ｒが比較的高いレベルで検出される。但し、実際にはどのような色の被写体を撮像した場合でも、特定の色の成分だけが検出されることは殆どなく、３色の成分が、それぞれ対応したレベルで検出される。
図３は、赤色成分が多い被写体を撮像した場合の、各色信号Ｒ，Ｇ，Ｂの周波数ごとのレベル例を示したもので、赤色信号Ｒのピーク輝度値Ｙｒは、緑色信号Ｇのピーク輝度値Ｙｇや青色信号Ｂのピーク輝度値Ｙｂよりも高くなる。
【００３４】
したがって、赤色成分が多い被写体を撮像した場合に、Ｇ輝度正規化部１１６で正規化することで、緑色信号Ｇの積分値は、赤色信号と緑色信号との比率で正規化されて、赤色信号を高域成分まで検出した場合に相当する積分値が得られる。このため、棒グラフの長さの１つの要素で、どの色の被写体を撮像しても、１画素ピッチで検出した場合に相当する高域成分が示されることになる。
【００３５】
図４は、棒グラフの表示例を示したものである。
図４（ａ）に示すように、画面１０の下側に、一定の長さのフォーカスバー１１を白色などの比較的目立たない色で表示し、そのフォーカスバー１１内で、第１要素表示１１ａと第２要素表示１１ｂとを、緑色や黒色などの比較的目立つ色で行う。第１要素表示１１ａは、ピーク最大値選択部１１４で選択された色の積分値に対応した表示である。第２要素表示１１ｂは、Ｇ輝度正規化部１１６で正規化された緑色信号Ｇの積分値に対応した表示である。それぞれの要素表示１１ａ，１１ｂは、対応した積分値の変動で長さが変化する。
【００３６】
図４（ａ）では、第１要素表示１１ａと第２要素表示１１ｂとで、異なる斜線を付与して区別して示したが、実際の画面では区別しない表示でもよい。つまり、第１要素表示１１ａと第２要素表示１１ｂとを加算した棒グラフの長さが、ビューファインダ１０６で表示される画面から判るようにする。第１要素表示１１ａと第２要素表示１１ｂとを加算した棒グラフの長さが長いほど、撮像画像のフォーカス検知エリア内の高周波成分が多くなって、ジャストフォーカス状態に近づいたことが示される。
フォーカス操作を行う撮影作業者は、このビューファインダ１０６での表示を確認しながら、レンズ装置２００のフォーカスリングの操作で、第１要素表示１１ａと第２要素表示１１ｂとを加算した棒グラフの長さが最も長くなるように調整する。
実際の画面では、第２要素表示１１ｂが最も高い周波数成分に対応した要素であり、フォーカスリングの操作に対応して比較的迅速にレベルが変動する。これに対して、第１要素表示１１ａは、第２要素表示１１ｂよりも低い中域の周波数成分の検出に対応した要素であり、第２要素表示１１ｂよりも緩い変動である。したがって、第１要素表示１１ａである程度までの合焦状態が示され、第２要素表示１１ｂで厳密な合焦状態が示されることになり、それぞれの要素を加算して表示することで、良好な表示形態となる。
【００３７】
なお、フォーカスバーを表示するモードとして、第１要素表示１１ａと第２要素表示１１ｂのいずれか一方だけを表示するモードを用意してもよい。例えば、図４（ｂ）に示すように、Ｇ輝度正規化部１１６で正規化された緑色信号Ｇの積分値に対応した要素表示１２ａを行うフォーカスバー１２を、ビューファインダ１０６で表示させてもよい。
あるいは、ピーク最大値選択部１１４で選択された色の積分値に対応した要素だけの棒グラフ表示でもよい。
このような表示モードの選択は、例えば、フォーカスバーの表示処理部であるフォーカスバー生成部１１７内での処理により行われる。
【００３８】
以上説明したように、撮像装置１００のビューファインダ１０６で、輝度の積分値に対応して表示が変化するフォーカスバー表示を行うことで、フォーカス操作をアシストする案内表示が簡単かつ良好に行える。このフォーカスバー表示を行うための処理は、図１に示したように各色成分を検波して積分し、ピーク選択や比率に基づいた正規化を行うだけでよく、比較的簡単な構成で実現ができる。
【００３９】
［４．オートフォーカスに適用した例］
ここまで説明した実施の形態例では、フォーカス状態を検出して、そのフォーカス状態を表示する処理に適用した。これに対して、検出したフォーカス状態に基づいて、撮像装置に装着されたレンズ装置内のフォーカスレンズを駆動して、オートフォーカス調整を行うようにしてもよい。
【００４０】
図５は、オートフォーカス調整を行う撮像装置１００′の構成例を示す。
撮像装置１００′は、図１の例の撮像装置１００と同様に、Ｒ検波エリア積算部１１１とＧ検波エリア積算部１１２とＢ検波エリア積算部１１３とピーク最大値選択部１１４とを備えて、ピーク最大値選択部１１４で最大値となる色の積分値を得る。また撮像装置１００′は、ＲＧＢ輝度比率算出部１１５とＧ輝度正規化部１１６とを備えて、正規化された緑色信号Ｇの積分値を得る。
そして、ピーク最大値選択部１１４で選択された積分値と、Ｇ輝度正規化部１１６で正規化された積分値とを、フォーカスバー生成部１１７に供給すると共に、フォーカス状態判定部１１８に供給する。
【００４１】
撮像装置１００′は、フォーカス状態判定部１１８を備える点で、図１で示した撮像装置１００と異なっている。フォーカス状態判定部１１８は、フォーカス状態の判定結果に基づいて、自動的なフォーカス調整の制御を実行するフォーカス処理部である。すなわち、フォーカス状態判定部１１８から、この撮像装置１００′に装着されたレンズ装置２００′のレンズ駆動部２０２に指令を送り、レンズ２０１の内のフォーカスレンズを駆動させて、自動的なフォーカス調整を行う。
この自動的なフォーカス調整を行うために、フォーカス状態判定部１１８で、ピーク最大値選択部１１４で選択された積分値と、Ｇ輝度正規化部１１６で正規化された積分値との加算値を判定する。そして、その加算値が最大となるようにフォーカスレンズを駆動させる。
【００４２】
図５に示した撮像装置１００′のその他の部分は、図１に示した撮像装置１００と同様に構成する。
なお、図５の例では、フォーカスバー生成部１１７とフォーカス状態判定部１１８の双方を備えた構成として、ビューファインダ１０６でのフォーカスバー表示と、フォーカスレンズを制御するオートフォーカス制御の双方を行うようにした。これに対して、フォーカスバー生成部１１７を設けない構成として、オートフォーカス制御だけを行う撮像装置として構成してもよい。
また、フォーカス状態判定部１１８でフォーカス状態を判定する際にも、ピーク最大値選択部１１４で選択された積分値と、Ｇ輝度正規化部１１６で正規化された積分値との、いずれか一方だけをオートフォーカス制御に使用してもよい。
【００４３】
［５．変形例］
図１や図５に示した撮像装置では、撮像信号から各色の検波信号の積分や比率算出などの処理は、それぞれ専用の回路ブロックで行う構成とした。これに対して、例えば撮像信号を演算する演算処理部を設けて、その演算処理部内で、最大値となる色の積分値を得る処理と、正規化された緑色信号Ｇの積分値を得る処理を行うようにしてもよい。この処理は、演算処理部に、図１の構成と同様の処理を行うソフトウェア（プログラム）を実装することにより実現できる。
【００４４】
また、上述した実施の形態例では、撮像素子１０１ａとして、ベイヤ配列で、赤色信号を得る画素と、緑色信号を得る画素と、青色信号を得る画素とを有するものとした。これに対して、それぞれの色の画素が別の撮像素子に配置された、いわゆる３板式の撮像素子構成の撮像装置に、上述した実施の形態で説明したフォーカス状態検出処理を適用してもよい。
また、図２に示した撮像素子１０１ａの画素配列についても一例を示したものであり、その他の画素配列のものにも適用が可能である。
【００４５】
さらに、撮像素子１０１ａとして、加法混色の３原色である赤色信号と緑色信号の青色信号の画素を配置した例について説明したが、減法混色の３原色の画素を配置した撮像素子にも適用可能である。この減法混色の３原色の場合にも、画素の配置ピッチが最も狭い色の信号を、他の色との比率で正規化することで、同様の処理が行える。
【００４６】
また、上述した実施の形態例では、棒グラフによる案内表示を行う例としたが、例えばピーク最大値選択部１１４で選択された積分値と、Ｇ輝度正規化部１１６で正規化された積分値との加算値を、数値表示などの別の形態で表示させてもよい。
【００４７】
なお、本開示は以下のような構成も取ることができる。
（１）第１、第２及び第３の色の画素を有する撮像素子で撮像する撮像部と、
前記撮像部が出力する撮像信号のフォーカス判定領域内の前記第１、第２及び第３の色の輝度を個別に積分し、輝度の積分値の各色の比率を算出する輝度比率算出部と、
前記撮像部が出力する撮像信号の前記フォーカス判定領域内の第１の色の輝度の積分値を、前記輝度比率算出部で算出した輝度の積分値の比率で正規化する輝度正規化部と、
前記輝度正規化部で正規化した輝度の積分値の変動に対応した表示を行う表示処理部とを備えた
撮像装置。
【００４８】
（２）前記撮像部が出力する撮像信号の前記第１、第２及び第３の色の輝度を積分する色別積分部と、
前記色別積分部で得た積分値の内で、最大値となる積分値を選択する最大値選択部とをさらに備え、
前記最大値選択部で選択した積分値を前記表示処理部に供給して、前記表示処理部は、前記正規化した輝度の積分値と前記選択した輝度の積分値との変動に対応した表示を行う
前記（１）記載の撮像装置。
【００４９】
（３）前記表示処理部は、画面中に、前記正規化した輝度の積分値と前記選択した輝度の積分値とを加算した値、又は前記正規化した輝度の積分値に対応して長さが変化するグラフ表示処理を行う
前記（１）又は（２）記載の撮像装置。
【００５０】
（４）前記撮像素子は、第１の色の画素の水平方向の画素数と、第２及び第３の色の画素の水平方向の画素数が異なる素子である
前記（１）〜（３）のいずれか１項に記載の撮像装置。
【００５１】
（５）前記撮像素子は、ベイヤ配列又は変形ベイヤ配列で赤色画素と緑色画素と青色画素を配置した素子であり、
前記輝度正規化部で正規化する前記第１の色の輝度の積分値は、緑色の輝度の積分値である
前記（１）〜（４）のいずれか１項に記載の撮像装置。
【００５２】
（６）前記輝度正規化部で得た前記第１の色の輝度の積分値に基づいて、前記撮像素子に入射する像光の光路に配置されたフォーカスレンズの駆動を行うフォーカス処理部を備えた
前記（１）〜（５）のいずれか１項に記載の撮像装置。
【符号の説明】
【００５３】
１００，１００′…撮像装置、１０１…撮像部、１０２…撮像信号処理部、１０３…画像フォーマット変換部、１０４…画像信号出力端子、１０５…表示処理部、１０６…ビューファインダ、１０７…ＲＡＷデータ出力端子、１１１…Ｒ検波エリア積算部、１１２…Ｇ検波エリア積算部、１１３…Ｂ検波エリア積算部、１１４…ピーク最大値選択部、１１５…ＲＧＢ輝度比率算出部、１１６…Ｇ輝度正規化部、１１７…フォーカスバー生成部、１１８…フォーカス状態判定部、２００，２００′…レンズ装置、２０１…レンズ、２０２…レンズ駆動部
【技術分野】
【０００１】
本開示は、撮像装置及び撮像方法に関し、特に撮像時のフォーカス調整の技術に関する。
【背景技術】
【０００２】
放送局用や業務用の撮像装置（ビデオカメラ）においては、制作者の意図を反映したマニュアルフォーカス操作によるフォーカス調整を行うことが多い。このようにマニュアルフォーカス操作を行える撮像装置では、撮影作業者によるフォーカス操作を容易にするために、ビューファインダでフォーカス調整をアシストする表示を行うものがある。例えば、映像信号を構成する輝度信号から高域成分を抽出して輪郭強調信号を生成し、その輪郭強調信号を本線の輝度信号に加算する処理を行っている。このようにすることで、撮像画像中の輪郭を強調した表示が、ビューファインダで行われ、ビューファインダの表示を見た撮影作業者は、輪郭部分のフォーカス調整具合が確認しやすくなる。
【０００３】
また、撮像装置で撮像して得た画像のフォーカスの調整状態を、数値やグラフなどで定量的にビューファインダに表示させることで、マニュアルフォーカス調整を行う上でのフォーカスの合焦状態が確認でき、便利である。このようにフォーカスの調整状態を数値などで表示する場合には、例えば、撮像して得た画像の輝度信号の高域成分を検波し、その検波レベルを表示させる。
【０００４】
特許文献１には、輪郭部分を協調した画像を、ビューファインダで表示する技術についての記載がある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−１３５８６５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、近年、撮像装置が備える撮像素子は、単板式の場合、画素の色配列をベイヤ配列などの特殊な配列として、高解像度化を図ったものが開発されている。このような特殊な画素配列の撮像素子で撮像して得た撮像信号は、それぞれの色ごとに画素数や配置間隔などが異なる信号であり、各色で同じ条件で輝度成分が検波できない問題がある。したがって、撮像素子が出力する各色の信号の輝度レベルを検波して表示するだけでは、正確なフォーカス調整状態を表示できない問題があった。
【０００７】
例えば、ベイヤ配列の撮像素子の場合、緑色の画素は、赤色の画素や青色の画素よりも画素数が多い。このため、各色で同じ条件で輝度成分を検出すると、緑色の物体を撮像したときには、比較的高い輝度成分が検出される。一方、赤色の物体や青色の物体を撮像したときには、緑色の被写体を撮像した場合とフォーカス状態が同じであっても、輝度成分の検出レベルが低くなってしまう。したがって、撮像する被写体の色によって、輝度の検出レベルが変動してしまい、色に依存しない正確なフォーカスの合焦状態の検出は困難であった。従来、色に依存しない正確なフォーカスの合焦状態の検出を行うためには、大規模で複雑な回路が必要であると共に、その大規模な回路を使用した消費電力の大きな処理が必要で、撮像装置として好ましくなかった。
【０００８】
なお、ここまでの説明では、マニュアルフォーカス操作によるフォーカス調整時の問題について説明したが、オートフォーカス調整を行う撮像装置で、フォーカスの合焦状態の検出を行う際にも、正確な検出を行うためには、同様の問題があった。
【０００９】
本開示の目的は、撮像して得た信号からフォーカスの調整状態を簡単かつ良好に検出できる撮像装置及び撮像方法を提供することにある。
【課題を解決するための手段】
【００１０】
本開示は、第１、第２及び第３の色の画素を有する撮像素子で撮像した撮像信号のフォーカス判定領域内の第１、第２及び第３の色の輝度を個別に積分し、輝度の積分値の各色の比率を算出する処理を行う。そして、撮像信号から得た、フォーカス判定領域内の第１の色の輝度の積分値を、算出した輝度の積分値の各色の比率で正規化する。さらに、その正規化した第１の色の輝度の積分値に対応した案内表示処理を行う。
【００１１】
このようにしたことで、ビューファインダなどの画面中に、フォーカス判定領域内の特定の色の輝度の積分値の変動状況が表示される。その表示される積分値が最も高くなるようにフォーカス調整することで、ジャストフォーカス状態が得られる。この場合、特定の色の輝度の積分値を、そのときの輝度の各色の積分値の比率で正規化して、その正規化した積分値を表示に使用しているので、撮像した被写体の色がどのような色であっても、安定した表示が行える。
【発明の効果】
【００１２】
本開示によると、特定の色の輝度の積分値を、そのときの輝度の各色の積分値の比率で正規化した値に基づいて、フォーカス調整状態の表示を行うので、被写体の色に依存しない安定したフォーカス調整状態の表示ができる。
【図面の簡単な説明】
【００１３】
【図１】本開示の一実施の形態例による撮像装置の構成を示す図である。
【図２】本開示の一実施の形態例による撮像装置が備える撮像素子の画素配置例を示す説明図である。
【図３】本開示の一実施の形態例による各色成分の輝度レベルの例を示す特性図である。
【図４】本開示の一実施の形態例による表示画面の例を示す説明図である。
【図５】本開示の他の実施の形態例（オートフォーカス調整を行う例）による撮像装置の構成を示す図である。
【発明を実施するための形態】
【００１４】
本開示の一実施の形態例を、以下の順序で説明する。
１．撮像装置の構成例（図１）
２．撮像素子の画素配置例（図２）
３．撮像装置での処理と表示の例（図３，図４）
４．オートフォーカスに適用した例（図５）
５．変形例
【００１５】
［１．撮像装置の構成例］
本開示の一実施の形態例（以下、「本例」と称する）の撮像装置の構成を、図１を参照して説明する。
図１は本例の撮像装置の構成を示した図である。
撮像装置１００は、撮像素子１０１ａと、その撮像素子１０１ａから撮像信号を読み出す回路からなる撮像部１０１を備える。撮像装置１００には、レンズ２０１を備えるレンズ装置２００が装着される。図１ではレンズ２０１を１枚のレンズで示してあるが、実際には複数枚（複数群）のレンズで構成される。レンズ装置２００は、フォーカス調整を行うためのフォーカスリングを備え、撮影作業者がフォーカスリングを回すことで、フォーカス調整用のレンズの位置が移動し、フォーカスが調整される。
そして、レンズ２０１を介して撮像面に入射した像光を、撮像部１０１が備える撮像素子１０１ａで電気的な撮像信号に変換する。
撮像素子１０１ａは、いわゆる単板式と称される１枚の撮像素子であり、その１枚の撮像素子１０１ａの撮像面に、赤色画素と緑色画素と青色画素とが配置してある。撮像素子１０１ａの形式としては、ＣＣＤイメージセンサ，ＣＭＯＳイメージセンサなど各種方式のものが適用可能である。撮像素子１０１ａの画素配列の例については後述する。
【００１６】
撮像部１０１で得た撮像信号を、撮像信号処理部１０２に供給する。撮像部１０１が出力する撮像信号は、撮像素子１０１ａから読み出した撮像信号をそのまま出力する、いわゆるＲＡＷデータ（生データ）である。したがって、撮像部１０１が出力する撮像信号は、赤色画素で得た赤色信号Ｒと緑色画素で得た緑色信号Ｇと青色画素で得た青色信号Ｂとが、撮像素子１０１ａの画素配列に対応して混在した信号である。
なお、撮像装置内の各信号処理系がデジタル化されている場合には、デジタル化されたＲＡＷデータを撮像部１０１から出力させて、撮像信号処理部１０２に供給してもよい。
【００１７】
撮像信号処理部１０２は、供給される撮像信号に対して各種処理を施し、適正な撮像信号とする処理を行う。例えばガンマ補正やホワイトバランス調整などの処理を行う。そして、撮像信号処理部１０２で処理された撮像信号を、画像フォーマット変換部１０３に供給し、所定フォーマットの画像データに変換する。そして、画像フォーマット変換部１０３で変換された画像データを、画像信号出力端子１０４から外部に出力する。
また撮像装置１００は、ＲＡＷデータ出力端子１０７を備え、撮像信号処理部１０２に供給されたＲＡＷデータを、そのままＲＡＷデータ出力端子１０７から外部に出力させることも可能である。
【００１８】
また、画像フォーマット変換部１０３で、ビューファインダ１０６で表示するための画像データを得る変換処理を行い、変換された画像データを表示処理部１０５に供給する。表示処理部１０５は、供給される画像データを処理してビューファインダ１０６で表示させる。この場合、後述するフォーカスバー生成部１１７で生成されたフォーカスバー信号が表示処理部１０５に供給され、フォーカスバーと称される図形を、ビューファインダ１０６で表示中の撮像画像に表示する処理が行われる。フォーカスバーの具体的な例については後述する。
【００１９】
また、撮像部１０１が出力する撮像信号（ＲＡＷデータ）を、Ｒ検波エリア積算部１１１とＧ検波エリア積算部１１２とＢ検波エリア積算部１１３とに供給する。
Ｒ検波エリア積算部１１１で、フォーカス検知エリア内の撮像信号に含まれる赤色信号Ｒの高域の輝度成分を検波し、その検波した輝度値を積分する。Ｇ検波エリア積算部１１２で、フォーカス検知エリア内の撮像信号に含まれる緑色信号Ｇの高域の輝度成分を検波し、その検波した輝度値を積分する。Ｂ検波エリア積算部１１３で、フォーカス検知エリア内の撮像信号に含まれる青色信号Ｂの高域の輝度成分を検波し、その検波した輝度値を積分する。なお、後述するように、撮像素子１０１ａの画素配列から決まる輝度成分の帯域が、各色で変動がある場合には、同じ条件となるように処理する。具体的には、後述する図２（ａ）に示す標準ベイヤ配列の撮像素子１０１ａを使用した場合、Ｇ検波エリア積算部１１２で検波する緑色信号Ｇは、１画素ごとに間引いた信号とし、他の色の信号Ｒ，Ｂと同じ帯域（画素間隔）の信号とする。
【００２０】
Ｒ検波エリア積算部１１１とＧ検波エリア積算部１１２とＢ検波エリア積算部１１３とでの輝度値の積分は、例えば、撮像部１０１が撮像する１フレームの撮像信号ごとに、フォーカス検知エリアの信号に対して行う。
フォーカス検知エリアは、撮像装置１００の制御部（不図示）により設定される。例えば撮像画面の中央部付近をフォーカス検知エリアとし、そのフォーカス検知エリア内のフォーカス状態を検知する。このフォーカス検知エリアを画面中のどの範囲にするかは、例えばユーザ操作で設定してもよい。
【００２１】
それぞれの検波エリア積算部１１１，１１２，１１３で得た積分値を、ピーク最大値選択部１１４に供給し、最大値となる色の積分値が選択される。そして、ピーク最大値選択部１１４で選択された色の積分値を、フォーカスバー生成部１１７に供給する。
【００２２】
また、撮像部１０１が出力する撮像信号を、ＲＧＢ輝度比率算出部１１５に供給する。ＲＧＢ輝度比率算出部１１５で、フォーカス検知エリア内の撮像信号の赤色信号Ｒの積分値と、緑色信号Ｇの積分値と、青色信号Ｂの積分値とを比較し、各色の積分値の比率を算出する。この比率の算出については、例えば、撮像部１０１が撮像する１フレームの撮像信号ごとに行う。そして、ＲＧＢ輝度比率算出部１１５で算出した比率のデータを、Ｇ輝度正規化部１１６に供給する。
【００２３】
また、撮像部１０１が出力する撮像信号の緑色信号Ｇを、Ｇ輝度正規化部１１６に供給する。Ｇ輝度正規化部１１６では、フォーカス検知エリア内の緑色信号Ｇの高域の積分値を算出すると共に、その算出した積分値を、ＲＧＢ輝度比率算出部１１５から供給される比率のデータで正規化する。Ｇ輝度正規化部１１６での積分値の算出と正規化処理についても、１フレームごとに行う。
【００２４】
次に、Ｇ輝度正規化部１１６での比率のデータに基づいた正規化処理について説明する。比率のデータで、緑色信号Ｇの積分値が３色の中で最も高い積分値であるときには、Ｇ輝度正規化部１１６で得た緑色信号Ｇの積分値をそのまま正規化されたデータとする。そして、赤色信号Ｒの積分値が３色の中で最も高い積分値であるときには、赤色信号Ｒの積分値と緑色信号Ｇの積分値との比率に基づいて、緑色信号Ｇの積分値を正規化する。例えば、赤色信号Ｒの積分値と緑色信号Ｇの積分値との比が２：１で、赤成分が緑成分の２倍であるとき、緑色信号Ｇの積分値を２倍にする正規化を行う。
同様に、青色信号Ｂの積分値が３色の中で最も高い積分値であるときには、青色信号Ｂの積分値と緑色信号Ｇの積分値との比率に基づいて、緑色信号Ｇの積分値を正規化する。
【００２５】
そして、Ｇ輝度正規化部１１６で正規化された緑色信号Ｇの積分値を、フォーカスバー生成部１１７に供給する。
フォーカスバー生成部１１７は、撮像画像のフォーカス状態を示す棒グラフ（バー）を表示させる表示信号を生成させる表示処理を行う。すなわち、フォーカスバー生成部１１７で、ピーク最大値選択部１１４で選択された色の積分値と、Ｇ輝度正規化部１１６で正規化された緑色信号Ｇの積分値とを加算した値に基づいて、棒グラフの長さを設定する。そして、その設定した長さの棒グラフを表示させるための棒グラフ表示信号を生成する。
フォーカスバー生成部１１７で生成された棒グラフ表示信号を、表示処理部１０５に供給し、ビューファインダ１０６に供給する撮像画像の表示信号に、棒グラフ表示信号を重畳し、ビューファインダ１０６に棒グラフを表示させる。
【００２６】
［２．撮像素子の画素配置例］
図２は、撮像部１０１が備える撮像素子１０１ａの画素配置例を示す。図２において、Ｒと示した部分が赤色信号Ｒを得る画素であり、Ｇと示した部分が緑色信号Ｇを得る画素であり、Ｂと示した部分が青色信号Ｂを得る画素である。図２に示す各画素配列では、図面上の横方向が水平方向であり、縦方向が垂直方向である。
図２（ａ）は、標準ベイヤ配列の場合の例である。この標準ベイヤ配列の場合、ある１つの水平ラインに、赤色信号Ｒを得る画素と、緑色信号Ｇを得る画素とを、１画素ずつ交互に配置する。そして、その水平ラインに隣接した水平ラインに、青色信号Ｂを得る画素と、緑色信号Ｇを得る画素とが、１画素ずつ交互に配置する。また、赤色信号Ｒを得る画素がある水平ラインでの、緑色信号Ｇを得る画素の配置位置と、青色信号Ｂを得る画素がある水平ラインでの、緑色信号Ｇを得る画素の配置位置は、１画素ずつシフトされた状態になっている。
【００２７】
したがって、図２（ａ）に示す標準ベイヤ配列の撮像素子の場合、垂直方向に隣接した２本の水平ラインを単位として見ると、緑色信号Ｇの画素の最小配置間隔Ｐｇは、画素の配置ピッチと一致する。一方、赤色信号Ｒの画素の最小配置間隔Ｐｒと、青色信号Ｂの画素の最小配置間隔Ｐｂは、緑色の最小配置間隔Ｐｇの２倍の２画素ピッチとなる。
各色の画素の水平方向の最小配置間隔Ｐｒ，Ｐｇ，Ｐｂは、撮像信号（ＲＡＷデータ）に含まれるそれぞれの色成分の高域成分の帯域を決めることになる。具体的には、緑色信号Ｇは１画素ピッチで検出した信号となり、赤色信号Ｒと青色信号Ｂは２画素ピッチで検出した信号となる。この画素ピッチがそのまま撮像信号の周波数帯域に反映する場合、緑色信号Ｇは他の色信号Ｒ，Ｂに比べて２倍高い周波数成分を持つ。
【００２８】
図２（ｂ）は、ベイヤ配列を変形したダブルベイヤ配列の撮像素子の画素配列の例である。このダブルベイヤ配列の場合には、１水平ラインごとに画素の配置位置を１／２画素ずつシフトさせてある。
ある１つの水平ラインに、赤色信号Ｒを得る画素と、青色信号Ｂを得る画素が、１画素ずつ交互に配置してある。そして、その赤色の画素と青色の画素が配置された水平ラインに隣接した水平ラインに、緑色信号Ｇを得る画素だけを配置してある。
このダブルベイヤ配列の場合にも、標準ベイヤ配列の場合と同様に、緑色信号Ｇは１画素ピッチで検出した信号となり、赤色信号Ｒと青色信号Ｂは２画素ピッチで検出した信号となる。
【００２９】
撮像部１０１が備える撮像素子１０１ａとして、例えば、図２（ａ）に示した標準ベイヤ配列のものを適用する。なお、図２（ａ）や図２（ｂ）に示した画素配列は一例であり、その他の画素配列のものを適用してもよい。
【００３０】
［３．撮像装置での処理と表示の例］
次に、本例の撮像装置１００での撮像時に、ビューファインダ１０６でフォーカスバーを表示させる処理例について説明する。
フォーカスバー生成部１１７で生成される表示信号で示される棒グラフは、ピーク最大値選択部１１４で選択された色の積分値と、Ｇ輝度正規化部１１６で正規化された緑色信号Ｇの積分値とを加算した値に対応した長さのグラフである。
【００３１】
ピーク最大値選択部１１４で選択された色の積分値は、撮像信号から得た輝度値の積分値が最も高くなる色の積分値である。したがって、被写体を撮像して得た撮像信号の内で、最も支配的な色の信号を積分した値が、棒グラフの長さの１つの要素となる。
【００３２】
棒グラフの長さのもう１つの要素である、Ｇ輝度正規化部１１６で正規化された緑色信号Ｇの積分値は、緑色信号Ｇが最も高い周波数成分を有する信号であるため、棒グラフ表示に使用する。すなわち、図２（ａ）のベイヤ配列で説明したように、水平方向の最小配置間隔Ｐｒ，Ｐｇ，Ｐｂから、緑色信号Ｇは他の色信号Ｒ，Ｂに比べて２倍高い周波数成分を持つ。フォーカス状態を示すフォーカスバーでは、撮像信号の高域成分の量を示すことで、現在のフォーカス調整状態を精度良く案内できる。
【００３３】
このように最も高域成分が含まれる緑色信号Ｇの積分値を表示に使用して、高域成分の量を示すが、撮像した被写体によっては、撮像信号に含まれる緑色信号Ｇが少ない場合が考えられる。例えば、赤色の被写体を撮像した場合に得られる撮像信号では、緑色信号Ｇは比較的レベルが低く、赤色信号Ｒが比較的高いレベルで検出される。但し、実際にはどのような色の被写体を撮像した場合でも、特定の色の成分だけが検出されることは殆どなく、３色の成分が、それぞれ対応したレベルで検出される。
図３は、赤色成分が多い被写体を撮像した場合の、各色信号Ｒ，Ｇ，Ｂの周波数ごとのレベル例を示したもので、赤色信号Ｒのピーク輝度値Ｙｒは、緑色信号Ｇのピーク輝度値Ｙｇや青色信号Ｂのピーク輝度値Ｙｂよりも高くなる。
【００３４】
したがって、赤色成分が多い被写体を撮像した場合に、Ｇ輝度正規化部１１６で正規化することで、緑色信号Ｇの積分値は、赤色信号と緑色信号との比率で正規化されて、赤色信号を高域成分まで検出した場合に相当する積分値が得られる。このため、棒グラフの長さの１つの要素で、どの色の被写体を撮像しても、１画素ピッチで検出した場合に相当する高域成分が示されることになる。
【００３５】
図４は、棒グラフの表示例を示したものである。
図４（ａ）に示すように、画面１０の下側に、一定の長さのフォーカスバー１１を白色などの比較的目立たない色で表示し、そのフォーカスバー１１内で、第１要素表示１１ａと第２要素表示１１ｂとを、緑色や黒色などの比較的目立つ色で行う。第１要素表示１１ａは、ピーク最大値選択部１１４で選択された色の積分値に対応した表示である。第２要素表示１１ｂは、Ｇ輝度正規化部１１６で正規化された緑色信号Ｇの積分値に対応した表示である。それぞれの要素表示１１ａ，１１ｂは、対応した積分値の変動で長さが変化する。
【００３６】
図４（ａ）では、第１要素表示１１ａと第２要素表示１１ｂとで、異なる斜線を付与して区別して示したが、実際の画面では区別しない表示でもよい。つまり、第１要素表示１１ａと第２要素表示１１ｂとを加算した棒グラフの長さが、ビューファインダ１０６で表示される画面から判るようにする。第１要素表示１１ａと第２要素表示１１ｂとを加算した棒グラフの長さが長いほど、撮像画像のフォーカス検知エリア内の高周波成分が多くなって、ジャストフォーカス状態に近づいたことが示される。
フォーカス操作を行う撮影作業者は、このビューファインダ１０６での表示を確認しながら、レンズ装置２００のフォーカスリングの操作で、第１要素表示１１ａと第２要素表示１１ｂとを加算した棒グラフの長さが最も長くなるように調整する。
実際の画面では、第２要素表示１１ｂが最も高い周波数成分に対応した要素であり、フォーカスリングの操作に対応して比較的迅速にレベルが変動する。これに対して、第１要素表示１１ａは、第２要素表示１１ｂよりも低い中域の周波数成分の検出に対応した要素であり、第２要素表示１１ｂよりも緩い変動である。したがって、第１要素表示１１ａである程度までの合焦状態が示され、第２要素表示１１ｂで厳密な合焦状態が示されることになり、それぞれの要素を加算して表示することで、良好な表示形態となる。
【００３７】
なお、フォーカスバーを表示するモードとして、第１要素表示１１ａと第２要素表示１１ｂのいずれか一方だけを表示するモードを用意してもよい。例えば、図４（ｂ）に示すように、Ｇ輝度正規化部１１６で正規化された緑色信号Ｇの積分値に対応した要素表示１２ａを行うフォーカスバー１２を、ビューファインダ１０６で表示させてもよい。
あるいは、ピーク最大値選択部１１４で選択された色の積分値に対応した要素だけの棒グラフ表示でもよい。
このような表示モードの選択は、例えば、フォーカスバーの表示処理部であるフォーカスバー生成部１１７内での処理により行われる。
【００３８】
以上説明したように、撮像装置１００のビューファインダ１０６で、輝度の積分値に対応して表示が変化するフォーカスバー表示を行うことで、フォーカス操作をアシストする案内表示が簡単かつ良好に行える。このフォーカスバー表示を行うための処理は、図１に示したように各色成分を検波して積分し、ピーク選択や比率に基づいた正規化を行うだけでよく、比較的簡単な構成で実現ができる。
【００３９】
［４．オートフォーカスに適用した例］
ここまで説明した実施の形態例では、フォーカス状態を検出して、そのフォーカス状態を表示する処理に適用した。これに対して、検出したフォーカス状態に基づいて、撮像装置に装着されたレンズ装置内のフォーカスレンズを駆動して、オートフォーカス調整を行うようにしてもよい。
【００４０】
図５は、オートフォーカス調整を行う撮像装置１００′の構成例を示す。
撮像装置１００′は、図１の例の撮像装置１００と同様に、Ｒ検波エリア積算部１１１とＧ検波エリア積算部１１２とＢ検波エリア積算部１１３とピーク最大値選択部１１４とを備えて、ピーク最大値選択部１１４で最大値となる色の積分値を得る。また撮像装置１００′は、ＲＧＢ輝度比率算出部１１５とＧ輝度正規化部１１６とを備えて、正規化された緑色信号Ｇの積分値を得る。
そして、ピーク最大値選択部１１４で選択された積分値と、Ｇ輝度正規化部１１６で正規化された積分値とを、フォーカスバー生成部１１７に供給すると共に、フォーカス状態判定部１１８に供給する。
【００４１】
撮像装置１００′は、フォーカス状態判定部１１８を備える点で、図１で示した撮像装置１００と異なっている。フォーカス状態判定部１１８は、フォーカス状態の判定結果に基づいて、自動的なフォーカス調整の制御を実行するフォーカス処理部である。すなわち、フォーカス状態判定部１１８から、この撮像装置１００′に装着されたレンズ装置２００′のレンズ駆動部２０２に指令を送り、レンズ２０１の内のフォーカスレンズを駆動させて、自動的なフォーカス調整を行う。
この自動的なフォーカス調整を行うために、フォーカス状態判定部１１８で、ピーク最大値選択部１１４で選択された積分値と、Ｇ輝度正規化部１１６で正規化された積分値との加算値を判定する。そして、その加算値が最大となるようにフォーカスレンズを駆動させる。
【００４２】
図５に示した撮像装置１００′のその他の部分は、図１に示した撮像装置１００と同様に構成する。
なお、図５の例では、フォーカスバー生成部１１７とフォーカス状態判定部１１８の双方を備えた構成として、ビューファインダ１０６でのフォーカスバー表示と、フォーカスレンズを制御するオートフォーカス制御の双方を行うようにした。これに対して、フォーカスバー生成部１１７を設けない構成として、オートフォーカス制御だけを行う撮像装置として構成してもよい。
また、フォーカス状態判定部１１８でフォーカス状態を判定する際にも、ピーク最大値選択部１１４で選択された積分値と、Ｇ輝度正規化部１１６で正規化された積分値との、いずれか一方だけをオートフォーカス制御に使用してもよい。
【００４３】
［５．変形例］
図１や図５に示した撮像装置では、撮像信号から各色の検波信号の積分や比率算出などの処理は、それぞれ専用の回路ブロックで行う構成とした。これに対して、例えば撮像信号を演算する演算処理部を設けて、その演算処理部内で、最大値となる色の積分値を得る処理と、正規化された緑色信号Ｇの積分値を得る処理を行うようにしてもよい。この処理は、演算処理部に、図１の構成と同様の処理を行うソフトウェア（プログラム）を実装することにより実現できる。
【００４４】
また、上述した実施の形態例では、撮像素子１０１ａとして、ベイヤ配列で、赤色信号を得る画素と、緑色信号を得る画素と、青色信号を得る画素とを有するものとした。これに対して、それぞれの色の画素が別の撮像素子に配置された、いわゆる３板式の撮像素子構成の撮像装置に、上述した実施の形態で説明したフォーカス状態検出処理を適用してもよい。
また、図２に示した撮像素子１０１ａの画素配列についても一例を示したものであり、その他の画素配列のものにも適用が可能である。
【００４５】
さらに、撮像素子１０１ａとして、加法混色の３原色である赤色信号と緑色信号の青色信号の画素を配置した例について説明したが、減法混色の３原色の画素を配置した撮像素子にも適用可能である。この減法混色の３原色の場合にも、画素の配置ピッチが最も狭い色の信号を、他の色との比率で正規化することで、同様の処理が行える。
【００４６】
また、上述した実施の形態例では、棒グラフによる案内表示を行う例としたが、例えばピーク最大値選択部１１４で選択された積分値と、Ｇ輝度正規化部１１６で正規化された積分値との加算値を、数値表示などの別の形態で表示させてもよい。
【００４７】
なお、本開示は以下のような構成も取ることができる。
（１）第１、第２及び第３の色の画素を有する撮像素子で撮像する撮像部と、
前記撮像部が出力する撮像信号のフォーカス判定領域内の前記第１、第２及び第３の色の輝度を個別に積分し、輝度の積分値の各色の比率を算出する輝度比率算出部と、
前記撮像部が出力する撮像信号の前記フォーカス判定領域内の第１の色の輝度の積分値を、前記輝度比率算出部で算出した輝度の積分値の比率で正規化する輝度正規化部と、
前記輝度正規化部で正規化した輝度の積分値の変動に対応した表示を行う表示処理部とを備えた
撮像装置。
【００４８】
（２）前記撮像部が出力する撮像信号の前記第１、第２及び第３の色の輝度を積分する色別積分部と、
前記色別積分部で得た積分値の内で、最大値となる積分値を選択する最大値選択部とをさらに備え、
前記最大値選択部で選択した積分値を前記表示処理部に供給して、前記表示処理部は、前記正規化した輝度の積分値と前記選択した輝度の積分値との変動に対応した表示を行う
前記（１）記載の撮像装置。
【００４９】
（３）前記表示処理部は、画面中に、前記正規化した輝度の積分値と前記選択した輝度の積分値とを加算した値、又は前記正規化した輝度の積分値に対応して長さが変化するグラフ表示処理を行う
前記（１）又は（２）記載の撮像装置。
【００５０】
（４）前記撮像素子は、第１の色の画素の水平方向の画素数と、第２及び第３の色の画素の水平方向の画素数が異なる素子である
前記（１）〜（３）のいずれか１項に記載の撮像装置。
【００５１】
（５）前記撮像素子は、ベイヤ配列又は変形ベイヤ配列で赤色画素と緑色画素と青色画素を配置した素子であり、
前記輝度正規化部で正規化する前記第１の色の輝度の積分値は、緑色の輝度の積分値である
前記（１）〜（４）のいずれか１項に記載の撮像装置。
【００５２】
（６）前記輝度正規化部で得た前記第１の色の輝度の積分値に基づいて、前記撮像素子に入射する像光の光路に配置されたフォーカスレンズの駆動を行うフォーカス処理部を備えた
前記（１）〜（５）のいずれか１項に記載の撮像装置。
【符号の説明】
【００５３】
１００，１００′…撮像装置、１０１…撮像部、１０２…撮像信号処理部、１０３…画像フォーマット変換部、１０４…画像信号出力端子、１０５…表示処理部、１０６…ビューファインダ、１０７…ＲＡＷデータ出力端子、１１１…Ｒ検波エリア積算部、１１２…Ｇ検波エリア積算部、１１３…Ｂ検波エリア積算部、１１４…ピーク最大値選択部、１１５…ＲＧＢ輝度比率算出部、１１６…Ｇ輝度正規化部、１１７…フォーカスバー生成部、１１８…フォーカス状態判定部、２００，２００′…レンズ装置、２０１…レンズ、２０２…レンズ駆動部
【特許請求の範囲】
【請求項１】
第１、第２及び第３の色の画素を有する撮像素子で撮像する撮像部と、
前記撮像部が出力する撮像信号のフォーカス判定領域内の前記第１、第２及び第３の色の輝度を個別に積分し、輝度の積分値の各色の比率を算出する輝度比率算出部と、
前記撮像部が出力する撮像信号の前記フォーカス判定領域内の第１の色の輝度の積分値を、前記輝度比率算出部で算出した輝度の積分値の比率で正規化する輝度正規化部と、
前記輝度正規化部で正規化した輝度の積分値に対応した表示を行う表示処理部とを備えた
撮像装置。
【請求項２】
前記撮像部が出力する撮像信号の前記第１、第２及び第３の色の輝度を積分する色別積分部と、
前記色別積分部で得た積分値の内で、最大値となる積分値を選択する最大値選択部とをさらに備え、
前記最大値選択部で選択した積分値を前記表示処理部に供給して、前記表示処理部は、前記正規化した輝度の積分値と前記選択した輝度の積分値に対応した案内表示を行う
請求項１記載の撮像装置。
【請求項３】
前記表示処理部は、画面中に、前記正規化した輝度の積分値と前記選択した輝度の積分値とを加算した値に対応した長さのグラフ表示処理を行う
請求項２記載の撮像装置。
【請求項４】
前記撮像素子は、第１の色の画素の水平方向の画素数と、第２及び第３の色の画素の水平方向の画素数が異なる素子である
請求項１記載の撮像装置。
【請求項５】
前記撮像素子は、ベイヤ配列又は変形ベイヤ配列で赤色画素と緑色画素と青色画素を配置した素子であり、
前記輝度正規化部で正規化する前記第１の色の輝度の積分値は、緑色の輝度の積分値である
請求項４記載の撮像装置。
【請求項６】
前記輝度正規化部で得た前記第１の色の輝度の積分値に基づいて、前記撮像素子に入射する像光の光路に配置されたフォーカスレンズの駆動を行うフォーカス処理部を備えた
請求項１記載の撮像装置。
【請求項７】
第１、第２及び第３の色の画素を有する撮像素子で撮像した撮像信号のフォーカス判定領域内の前記第１、第２及び第３の色の輝度を個別に積分し、輝度の積分値の各色の比率を算出し、
前記撮像信号から得た前記フォーカス判定領域内の第１の色の輝度の積分値を、前記輝度の積分値の各色の比率で正規化し、
前記正規化した第１の色の輝度の積分値に対応した案内表示処理を行う
撮像方法。
【請求項８】
前記撮像信号の前記第１、第２及び第３の色の輝度を色別に積分し、その色別の積分値の内で、最大値となる積分値を選択し、
前記正規化した第１の色の積分値と、前記最大値となる積分値とに対応した案内表示処理を行う
請求項７記載の撮像方法。
【請求項１】
第１、第２及び第３の色の画素を有する撮像素子で撮像する撮像部と、
前記撮像部が出力する撮像信号のフォーカス判定領域内の前記第１、第２及び第３の色の輝度を個別に積分し、輝度の積分値の各色の比率を算出する輝度比率算出部と、
前記撮像部が出力する撮像信号の前記フォーカス判定領域内の第１の色の輝度の積分値を、前記輝度比率算出部で算出した輝度の積分値の比率で正規化する輝度正規化部と、
前記輝度正規化部で正規化した輝度の積分値に対応した表示を行う表示処理部とを備えた
撮像装置。
【請求項２】
前記撮像部が出力する撮像信号の前記第１、第２及び第３の色の輝度を積分する色別積分部と、
前記色別積分部で得た積分値の内で、最大値となる積分値を選択する最大値選択部とをさらに備え、
前記最大値選択部で選択した積分値を前記表示処理部に供給して、前記表示処理部は、前記正規化した輝度の積分値と前記選択した輝度の積分値に対応した案内表示を行う
請求項１記載の撮像装置。
【請求項３】
前記表示処理部は、画面中に、前記正規化した輝度の積分値と前記選択した輝度の積分値とを加算した値に対応した長さのグラフ表示処理を行う
請求項２記載の撮像装置。
【請求項４】
前記撮像素子は、第１の色の画素の水平方向の画素数と、第２及び第３の色の画素の水平方向の画素数が異なる素子である
請求項１記載の撮像装置。
【請求項５】
前記撮像素子は、ベイヤ配列又は変形ベイヤ配列で赤色画素と緑色画素と青色画素を配置した素子であり、
前記輝度正規化部で正規化する前記第１の色の輝度の積分値は、緑色の輝度の積分値である
請求項４記載の撮像装置。
【請求項６】
前記輝度正規化部で得た前記第１の色の輝度の積分値に基づいて、前記撮像素子に入射する像光の光路に配置されたフォーカスレンズの駆動を行うフォーカス処理部を備えた
請求項１記載の撮像装置。
【請求項７】
第１、第２及び第３の色の画素を有する撮像素子で撮像した撮像信号のフォーカス判定領域内の前記第１、第２及び第３の色の輝度を個別に積分し、輝度の積分値の各色の比率を算出し、
前記撮像信号から得た前記フォーカス判定領域内の第１の色の輝度の積分値を、前記輝度の積分値の各色の比率で正規化し、
前記正規化した第１の色の輝度の積分値に対応した案内表示処理を行う
撮像方法。
【請求項８】
前記撮像信号の前記第１、第２及び第３の色の輝度を色別に積分し、その色別の積分値の内で、最大値となる積分値を選択し、
前記正規化した第１の色の積分値と、前記最大値となる積分値とに対応した案内表示処理を行う
請求項７記載の撮像方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１２−２４４３４６（Ｐ２０１２−２４４３４６Ａ）
【公開日】平成２４年１２月１０日（２０１２．１２．１０）
【国際特許分類】
【出願番号】特願２０１１−１１１４３３（Ｐ２０１１−１１１４３３）
【出願日】平成２３年５月１８日（２０１１．５．１８）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２４年１２月１０日（２０１２．１２．１０）
【国際特許分類】
【出願日】平成２３年５月１８日（２０１１．５．１８）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]