固体電子撮像装置の制御装置およびその動作制御方法
【目的】焦点検出用光電変換素子を含むＣＣＤを用いて撮像した場合でも撮像画像の劣化を未然に防止する。
【構成】ハッチングで示すフォトダイオード２が焦点検出用フォトダイオード３であり，焦点検出用フォトダイオード３以外のフォトダイオード２が撮像用フォトダイオード４である。そのようなＣＣＤを用いて低感度および高感度でそれぞれ撮像し，低感度撮像画像および高感度撮像画像が得られる。得られた低感度撮像画像と高感度撮像画像とが合成され，合成画像が得られる。画像が破綻せずに適正露光の合成画像が得られる。
【構成】ハッチングで示すフォトダイオード２が焦点検出用フォトダイオード３であり，焦点検出用フォトダイオード３以外のフォトダイオード２が撮像用フォトダイオード４である。そのようなＣＣＤを用いて低感度および高感度でそれぞれ撮像し，低感度撮像画像および高感度撮像画像が得られる。得られた低感度撮像画像と高感度撮像画像とが合成され，合成画像が得られる。画像が破綻せずに適正露光の合成画像が得られる。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は，固体電子撮像装置の制御装置およびその動作制御方法に関する。
【背景技術】
【０００２】
ディジタル・スチル・カメラなどにおいては，行方向および列方向に光電変換素子が多数配列された固体電子撮像素子が利用される。このような固体電子撮像素子において，多数の光電変換素子の中に焦点検出用光電変換素子が設けられることがある。焦点検出用光電変換素子に蓄積された信号電荷を用いて合焦制御が行われる（特許文献１，２，３）。
【０００３】
しかしながら，焦点検出用光電変換素子に入射する受光量は焦点検出用光電変換素子以外の光電変換素子に入射する受光量よりも少ないので，焦点検出用光電変換素子に蓄積された信号電荷を撮像画像にも利用すると焦点検出用光電変換素子に相当する画素部分が暗くなることがある。
【０００４】
また，被写体が動いているかどうかを判定し，映像信号のレベルが変化しないように露光時間を減らしてＡＧＣ（自動利得調整）回路のゲインを上げるものもある（特許文献４）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第3592147号公報
【特許文献２】特許第4007716号公報
【特許文献３】特許第2959142号公報
【特許文献４】特開平11-215431号公報
【発明の概要】
【０００６】
この発明は，焦点検出用光電変換素子を含む固体電子撮像素子を用いて撮像した場合でも撮像画像の劣化を未然に防止することを目的とする。
【０００７】
この発明は，行方向及び列方向に配列された多数の光電変換素子のうち少なくとも２つの焦点検出用光電変換素子（隣接していても隣接していなくともよい）を含む固体電子撮像素子を備えた固体電子撮像装置の制御装置において，上記光電変換素子のうち上記焦点検出用光電変換素子を除く撮像用光電変換素子に蓄積された信号電荷にもとづいて得られる撮像用映像信号のレベルが所定の映像信号レベルとなるような低感度撮像を行うように上記固体電子撮像装置を制御する低感度撮像制御手段，上記焦点検出用光電変換素子に蓄積された信号電荷にもとづいて得られる焦点検出用映像信号のレベルが所定の映像信号レベルとなるような高感度撮像を行うように上記固体電子撮像装置を制御する高感度撮像制御手段，上記低感度撮像制御手段の制御により上記固体電子撮像装置から出力される映像信号によって表される低感度撮像画像と上記高感度撮像制御手段の制御により上記固体電子撮像装置から出力される映像信号によって表される高感度撮像画像とを合成して一駒の合成画像を生成する画像合成手段を備えていることを特徴とする。
【０００８】
この発明は，上記固体電子撮像素子の制御装置の動作制御方法も提供している。すなわち，行方向及び列方向に配列された多数の光電変換素子のうち少なくとも２つの焦点検出用光電変換素子を含む固体電子撮像素子を備えた固体電子撮像装置の制御装置の動作制御方法において，低感度撮像制御手段が，上記光電変換素子のうち上記焦点検出用光電変換素子を除く撮像用光電変換素子に蓄積された信号電荷にもとづいて得られる撮像用映像信号のレベルが所定の映像信号レベルとなるような低感度撮像を行うように上記固体電子撮像装置を制御し，高感度撮像制御手段が，上記焦点検出用光電変換素子に蓄積された信号電荷にもとづいて得られる焦点検出用映像信号のレベルが所定の映像信号レベルとなるように高感度撮像を行うように上記固体電子撮像装置を制御し，画像合成手段が，上記低感度撮像制御手段の制御により上記固体電子撮像装置から出力される映像信号によって表される低感度撮像画像と上記高感度撮像制御手段の制御により上記固体電子撮像装置から出力される映像信号によって表される高感度撮像画像とを合成して一駒の合成画像を生成するものである。
【０００９】
上記撮像用光電変換素子は，フォーカス・レンズ，ズーム・レンズのようにディジタル・カメラ（ディジタル・スチル・カメラ，ムービ・ディジタル・カメラ）の撮像レンズ系におけるレンズ瞳（射出瞳）の全域を通過する光線を受光するものである。上記焦点検出用光電変換素子は，そのような撮像レンズ系におけるレンズ瞳の一部を通過する光線のみを受光するものである。たとえば，撮像レンズ用光電変換素子は，光電変換素子上方にマイクロ・レンズが配置されている場合にはマイクロ・レンズの光軸と光電変換素子の受光領域の中心とが一致するものである。また，焦点検出用光電変換素子はマイクロ・レンズの中心軸が光電変換素子の中心とずれているものであり，一組の光電変換素子は，そのずれの方向が逆となる。
【００１０】
この発明によると，焦点検出用光電変換素子を除く撮像用光電変換素子に蓄積された信号電荷にもとづいて得られる撮像用映像信号のレベルが所定の映像信号レベルとなるような低感度撮像と，焦点検出用光電変換素子に蓄積された信号電荷にもとづいて得られる高感度撮像とが行われる。低感度撮像により得られた低感度撮像画像と高感度撮像により得られた高感度撮像とが合成されて一駒の合成画像が生成される。合成画像のうち，焦点検出用光電変換素子を除く撮像用光電変換素子に相当する画素部分は低感度撮像されたものであり，その撮像用光電変換素子にとって適正な感度となる撮像により得られたものであるから，適正な明るさをもつものとなる。合成画像のうち，焦点検出用光電変換素子に相当する画素部分は高感度撮像されたものであり，その焦点検出用光電変換素子にとって適正な感度となる撮像により得られたものであるから，適正な明るさをもつものとなる。全体として適正な明るさをもつ合成画像か得られる。
【００１１】
上記高感度撮像制御手段の制御により行われる高感度撮像により上記光電変換素子に蓄積された信号電荷のうち，上記焦点検出用光電変換素子に蓄積された信号電荷を上記光電変換素子から読み出すように上記固体電子撮像装置を制御する読み出し制御手段をさらに備えるようにしてもよい。
【００１２】
上記固体電子撮像装置の撮像範囲内に存在する動体のスピードを算出する動体スピード算出手段，上記動体スピード算出手段によって算出された動体のスピードが所定のしきい値を超えている場合に，上記高感度撮像を停止するように上記高感度撮像制御手段を制御する第１の停止制御手段，および上記低感度撮像制御手段の制御による行われる低感度撮像によって得られる低感度撮像画像のうち，上記焦点検出用光電変換素子の位置に相当する画素を画素補間する第１の画素補間手段をさらに備えてもよい。
【００１３】
上記高感度撮像制御手段の制御により行われる低感度撮像の前後において，上記焦点検出用光電変換素子に蓄積された信号電荷にもとづいて合焦の程度をそれぞれ算出する算出手段，上記算出手段に算出された低感度撮像の前後におけるそれぞれの合焦の程度が一定の範囲を超えている場合に，上記高感度撮像を停止するように上記高感度撮像制御手段を制御する第２の停止制御手段，および上記低感度撮像制御手段の制御による行われる低感度撮像によって得られる低感度撮像画像のうち，上記焦点検出用光電変換素子の位置に相当する画素を画素補間する第２の画素補間手段をさらに備えてもよい。
【図面の簡単な説明】
【００１４】
【図１】ＣＣＤの受光面を示している。
【図２】図１に示す受光面の一部の拡大図である。
【図３】ディジタル・スチル・カメラの電気的構成を示すブロック図である。
【図４】アナログ信号処理装置のブロック図である。
【図５】（Ａ）は低感度撮像画像の一例を，（Ｂ）は高感度撮像画像の一例を，（Ｃ）は合成画像の一例を示している。
【図６】撮像モードの処理手順を示すフローチャートである。
【図７】ＣＣＤの模式図である。
【図８】ＣＣＤの模式図である。
【図９】撮像モードの処理手順を示すフローチャートである。
【図１０】撮像モードの処理手順を示すフローチャートである。
【図１１】撮像モードの処理手順を示すフローチャートである。
【図１２】撮像モードの処理手順を示すフローチャートである。
【実施例】
【００１５】
図１は，この発明の実施例を示すもので，ＣＣＤ（固体電子撮像素子）の受光面１を示している。
【００１６】
ＣＣＤには，列方向および行方向に多数のフォトダイオード（光電変換素子）２が配置されている。フォトダイオード２の受光面上にはカラー・フィルタ（図示略）が形成されている。緑色の光成分を透過する特性を有するフィルタが形成されているフォトダイオード２には「Ｇ」の文字が付されている。青色の光成分を透過する特性を有するフィルタが形成されているフォトダイオード２には「Ｂ」の文字が付されている。赤色の光成分を透過する特性を有するフィルタが形成されているフォトダイオード２には「Ｒ」の文字が付されている。フォトダイオード２の受光面前方（上方）にはマイクロ・レンズ（図２参照）が設けられているが図１においては図示が省略されている。
【００１７】
多数のフォトダイオード２のうち，ハッチングで示されている第４ｎ（ｎは０以上の整数）＋１列，第４ｍ（ｍは０以上の整数）＋３行のフォトダイオード２および第４ｎ＋２列，第４ｍ＋４行のフォトダイオード２は焦点検出用フォトダイオード３である。焦点検出用フォトダイオード３に蓄積された信号電荷にもとづいて得られる焦点検出用映像信号を用いて合焦制御を行うことができる。焦点検出用フォトダイオード３は多数設けられているが，少なくとも互いに隣接（横方向，縦方向，斜め方向に隣接のいずれでもよい）したものが２つ（一組）あればよい。
【００１８】
多数のフォトダイオード２のうち，ハッチングで示されていないフォトダイオード２は撮像用フォトダイオード４である。
【００１９】
図２は，図１に示すＣＣＤの受光面１のうち，４行４列のフォトダイオード２の集合部分５の拡大図である。
【００２０】
撮像用フォトダイオード４の受光面上方には，中心軸が撮像用フォトダイオード４の中心に一致し，かつ大きさが受光面の大きさにほぼ対応しているマイクロ・レンズ６が設けられている。焦点検出用フォトダイオード３の受光面上方には，焦点検出用フォトダイオード３の中心に一致せずにずれており，かつ直径が焦点検出用フォトダイオード３の受光面の一辺（焦点検出用フォトダイオード３の受光面が円であれば，その円の直径）の長さの半分であるマイクロ・レンズ７が設けられている。第４ｎ＋１列の焦点検出用フォトダイオード３ではマイクロ・レンズ７は受光面１に向かって左側にずれており，第４ｎ＋２列の焦点検出用フォトダイオード３ではマイクロ・レンズ７は受光面１に向かって右側にずれている。
【００２１】
このように一組の焦点検出用フォトダイオード３が構成されていることにより，焦点検出用フォトダイオード３に蓄積された信号電荷から得られる焦点検出用映像信号を用いて合焦制御を行うことができる。焦点検出用フォトダイオード３のマイクロ・レンズ７を撮像用フォトダイオード４のマイクロ・レンズ６と同じものとし，受光面の受光領域がマイクロ・レンズ７と同様に受光面の左側または右側にずらすことにより焦点検出用フォトダイオード３を構成することもできる。焦点検出用フォトダイオード３を用いた合焦制御は公知であるため，これ以上の説明は省略する。
【００２２】
図３は，上述した受光面１をもつＣＣＤを備えたディジタル・スチル・カメラの電気的構成を示すブロック図である。
【００２３】
ディジタル・スチル・カメラの全体の動作は，ＣＰＵ10によって統括される。
【００２４】
ディジタル・スチル・カメラにはフラッシュ11が設けられており，フラッシュ制御装置12によって制御される。
【００２５】
ディジタル・スチル・カメラには，操作系制御装置50も含まれている。操作系制御装置50には，動作モード・スイッチ51，メニュー／ＯＫボタン52，ズーム／上下レバー53，左右ボタン54，バック・ボタン55，表示切替ボタン56，レリーズ・ボタン57および電源スイッチ58から出力される操作信号は，操作系制御装置50に入力する。
【００２６】
動作モード・スイッチ51により撮像モードが設定されると，フォーカス・レンズ駆動回路13によってフォーカス・レンズ21が駆動され，ズーム・レンズ駆動回路14によってズーム・レンズ22が駆動される。被写体像を表す光線束は，絞り駆動回路15によって制御される絞り23およびシャッタ駆動回路16によって制御されるシャッタ24を介してＣＣＤ25の受光面に入射し，受光面上に結像する。
【００２７】
タイミング・ジェネレータ17から与えられるタイミング・パルスにもとづいてＣＣＤ制御回路18が動作し，ＣＣＤ制御回路18の制御にもとにＣＣＤ25によって撮像された被写体像を表す映像信号がＣＣＤ25から出力される。ＣＣＤ25から出力された映像信号は，アナログ信号処理装置26においてアナログ／ディジタル変換を含む所定のアナログ信号処理が行われる。ＣＣＤ25とアナログ信号処理26とによって固体電子撮像装置27が構成されている。
【００２８】
アナログ信号処理装置26から出力されたディジタル画像データは画像入力コントローラ31によってＡＦ処理装置33およびＡＥ処理装置34に入力する。ＡＦ処理装置33において合焦値が算出され，その合焦値にもとづいてフォーカス・レンズ21が制御される。上述したように，焦点検出用フォトダイオード３に蓄積された信号電荷を利用して合焦制御が行われる場合には，その信号電荷にもとづいて得られる画像データを用いてＡＦ処理装置33において合焦値が算出されるのはいうまでもない。また，ＡＥ処理装置35により露光量が算出され，適正露光となるように絞り23およびシャッタ速度が制御される。
【００２９】
ディジタル画像データは，自動白バランス調整装置34において白バランス調整されて，表示制御装置45を介してモニタ表示装置46に与えられることにより被写体像が表示される。レリーズ・ボタン57が押されると，上述のようにして得られる画像データは圧縮／伸長処理装置41において圧縮される。圧縮された画像データがメディア制御装置44によってメモリ・メモリ・カード44に記録される。
【００３０】
ディジタル・スチル・カメラには，撮影制御装置32，画像処理装置36，特定の被写体を表す画像データを登録する特定被写体登録装置37，特定の被写体を認証する特定被写体認証装置38，特定被写体追跡装置39，特定の被写体像を枠で囲む枠表示装置40，メモリ42，特定被写体検出装置47，および撮影モード設定装置48も含まれている。
【００３１】
図４は，アナログ信号処理装置26の電気的構成を示すブロック図である。
【００３２】
ＣＣＤ25から出力した映像信号はＣＤＳ（相関二重サンプリング）回路61において相関二重サンプリングされて自動利得制御回路62に入力する。自動利得制御回路62は，ＣＰＵ10から与えられるゲイン制御信号にもとづいて異なるゲインで，入力する映像信号のレベルを調整できるものである。自動利得制御回路62においてレベル調整された映像信号がアナログ／ディジタル変換回路63においてディジタル画像データに変換される。このようにして変換されたディジタル画像データが上述のように画像入力コントローラ31に入力する。
【００３３】
図５（Ａ）〜（Ｃ）は，画像の一例を表している。これらの図においては，ＣＣＤ25の受光面に形成されているフォトダイオード２と画像を構成する画素との関係がわかるように，図１に示すようにフィルタを示す符号も必要に応じて図示されている。
【００３４】
図５（Ａ）は，低感度撮像画像70の一例である。
【００３５】
低感度撮像画像70においては，焦点検出用フォトダイオード３に対応する画素は符号71で，撮像用フォトダイオード４に対応する画素は符号72で示されている。
【００３６】
低感度撮像画像70は，ＣＣＤ25の撮像用フォトダイオード４に蓄積された信号電荷にもとづいて得られる撮像用映像信号のレベルが適正なレベルとなるような低感度撮像処理により得られたものである。したがって，撮像用フォトダイオード４に対応する画素72は適正露光量となるが，焦点検出用フォトダイオード３に対応する画素71は露光アンダーとなる。図５（Ａ）においては，画素71が露光アンダーであることを示すために黒塗りされている。
【００３７】
図５（Ｂ）は，高感度撮像画像80の一例である。
【００３８】
高感度撮像画像80においては，焦点検出用フォトダイオード３に対応する画素は符号81で，撮像用フォトダイオード４に対応する画素は符号82で示されている。
【００３９】
高感度撮像画像80は，ＣＣＤ25の焦点検出用フォトダイオード３に蓄積された信号電荷にもとづいて得られる焦点検出用映像信号のレベルが適正なレベルとなるような高感度撮像処理により得られたものである。したがって，焦点検出用フォトダイオード３に対応する画素81は適正露光量となるが，撮像用フォトダイオード４に対応する画素82は露光オーバーとなる。図５（Ｂ）においては，画素82が露光オーバーであることを示すためにＲ，Ｇ，Ｂの符号が省略されて白抜きされている。
【００４０】
この実施例においては低感度撮像画像70を得る場合の露光量と高感度撮像画像80を得る場合の露光量とは同じである（絞り値およびシャッタ速度が同じ）。低感度撮像画像70が得られる場合のアナログ信号処理装置26内の自動利得制御装置62のゲインが，高感度撮像画像80が得られる場合のアナログ信号処理装置26内の自動利得制御装置62のゲインよりも小さくされることにより，低感度撮像画像70と高感度撮像画像80とが得られる。しかしながら，露光量を変えることにより，低感度撮像画像70と高感度撮像画像80とを得るようにしてもよい。
【００４１】
図５（Ｃ）は，合成画像90の一例である。
【００４２】
この実施例においては，低感度撮像画像70を構成する画素のうち，適正露光となっている画素72と高感度撮像画像80のうち適正露光となっている画素81とが組み合わせられて一駒の合成画像90が生成される。合成画像90を構成する画素はすべて適正露光となる。
【００４３】
図６は，撮像モードの処理手順を示すフローチャートである。
【００４４】
撮像モードが設定され，シャッタ・レリーズがオンされると（ステップ101でＹＥＳ），ＣＣＤ25を用いて撮像される。撮像によってＣＣＤ25から出力された映像信号のうち，焦点検出用フォトダイオード３に蓄積された信号電荷にもとづいて得られる焦点検出用映像信号（画像データ）を用いて合焦制御が行われる（ステップ102）。
【００４５】
フォーカス・レンズ21が合焦位置に位置決めされると，ＣＣＤ25を用いて撮像される。撮像により得られた映像信号のうち，上述のように撮像用フォトダイオード４に蓄積された信号電荷にもとづいて得られる撮像用映像信号が適正レベルとなるように低感度撮像処理が行われる（ステップ103）。この低感度撮像処理は，上述したように，自動利得制御回路62のゲインを調整することにより実現される。
【００４６】
その後，再びＣＣＤ25を用いて撮像される。撮像により得られた映像信号のうち，上述のように焦点検出用フォトダイオード３に蓄積された信号電荷にもとづいて得られる焦点検出用映像信号が適正レベルとなるように高感度撮像処理が行われる（ステップ104）。この高感度撮像処理も，上述したように，自動利得制御回路62のゲインが低感度撮像処理のゲインよりも高くなるように調整することにより実現される。
【００４７】
低感度撮像処理により得られた低感度画像を表す画像データおよび高感度撮像処理により得られた高感度画像を表す画像データはメモリ42に記憶される。メモリ42に記憶された画像データが読み出されることにより上述のように合成画像が生成される（ステップ105）。生成された合成画像を表す画像データがメモリ・カード44に記録される（ステップ106）。
【００４８】
図７および図８は，ＣＣＤ25の模式図である。
【００４９】
フォトダイオード２の各列の右側には垂直転送路（図示略）が形成されている。フォトダイオード２に蓄積された信号電荷は，転送ゲート（図示略）に転送ゲート・パルスが与えられることにより垂直転送路にシフトされる。
【００５０】
垂直転送路にシフトされた信号電荷が垂直転送路内を転送させられ，垂直転送路の下側に設けられている水平転送路110にシフトされる。信号電荷は，水平転送路110内を水平転送させられ，増幅回路111において増幅されて，映像信号として出力する。
【００５１】
焦点検出用フォトダイオード３に蓄積された信号電荷にもとづいて得られる焦点検出用映像信号を得る場合には，上述のようにすべてのフォトダイオード２に蓄積された信号電荷のすべてを読み出して，焦点検出用フォトダイオード３の信号電荷にもとづいて得られる焦点検出用映像信号を抽出できる。
【００５２】
図８は，他のやり方によって焦点検出用映像信号を得るものである。
【００５３】
この例では，焦点検出用フォトダイオード３に蓄積された信号電荷のみが焦点検出用フォトダイオード３から垂直転送路にシフトされる。焦点検出用フォトダイオード３に蓄積された信号電荷のみが垂直転送路，水平転送路110および増幅回路111を介して焦点検出用映像信号としてＣＣＤ25から出力される。信号電荷の転送時間が短くなる。
【００５４】
第４ｎ＋１列の第４ｍ＋３行および第４ｎ＋２列の第４ｍ＋４行の焦点検出用フォトダイオード３に蓄積された信号電荷のみがシフトされるように転送ゲートに転送ゲート・パルスを与えることにより，焦点検出用フォトダイオード３に蓄積された信号電荷のみを転送させることができるのはいうまでもない。
【００５５】
上述の実施例では，固体電子撮像素子がＣＣＤの場合について説明したが，ＣＣＤに限らず，Ｃ−ＭＯＳの場合でも同様に，焦点検出用フォトダイオード３に蓄積された信号電荷のみを読み出すことができる。とくに，Ｃ−ＭＯＳの場合には，Ｃ−ＭＯＳを構成するフォトダイオードに蓄積された信号電荷を任意に読み出すことができるので，比較的簡単に焦点検出用フォトダイオード３に蓄積された信号電荷のみを読み出すことができる。
【００５６】
図９および図10は，他の実施例を示すもので，撮像モードの処理手順を示すフローチャートである。これらの図において，図６に示す処理と同一の処理については同一符号を付して説明を省略する。
【００５７】
撮像モードが設定されると，被写体が撮像され，撮像された被写体像の中に動体の画像が存在するかどうかの動体検出処理が行われる（ステップ121）。このような動体検出は，特定被写体検出装置47において行われ，同じ画角で少なくとも２回の撮像により得られる二駒の撮像画像の中で移動している物体があるかどうかを検出することにより実現できる。
【００５８】
シャッタ・レリーズがオンされ（ステップ101でＹＥＳ），焦点検出用映像信号を用いて合焦制御が行われると（ステップ102），動体の速度が算出される（ステップ122）。上述した二駒の撮像画像の中で移動している動体の移動距離と，それらの二駒の撮像間隔とから動体の速度が算出できる。
【００５９】
算出された動体の速度がしきい値よりも大きければ（ステップ123でＮＯ），上述した低感度撮像処理が行われる（ステップ124）。低感度撮像処理により得られた低感度撮像画像から，焦点検出用フォトダイオード３に相当する画素について，それらの画素の回りの画素を用いて画素補間が行われる（ステップ125）。画素補間により，焦点検出用フォトダイオード３に相当する画素については露光オーバーとならずに適正露光となる補間画像が得られる。得られた補間画像がメモリ・カード43に記録される（ステップ106Ａ）。動体の速度が速い場合には，低感度撮像画像における動体の位置と高感度撮像画像における動体の位置とが異なり，低感度撮像画像と高感度撮像画像とを上述のように合成すると合成された画像の動体部分がぶれてしまうことがある。この実施例では，動体の速度が速い場合には，低感度撮像画像と高感度撮像画像との合成をしないので，ぶれの無い画像が得られる。
【００６０】
算出された動体の速度がしきい値以下であれば（ステップ123でＹＥＳ），上述のように低感度撮像と高感度撮像とが行われ（ステップ103，104），低感度撮像画像と高感度撮像画像とが得られる。得られた画像から合成画像が生成される（ステップ105）。
【００６１】
図11および図12は，他の実施例を示すもので，撮像モードの処理手順を示すフローチャートである。
【００６２】
撮像モードとなり，シャッタ・レリーズ・オンとなると（ステップ131でＹＥＳ），被写体が撮像される。撮像により得られた映像信号のうち，上述のように焦点検出用映像信号を用いて合焦値が算出される。算出された合焦値を用いて合焦制御が行われる（ステップ132）。
【００６３】
その後，再び被写体が撮像され，撮像により得られた映像信号のうち撮像用映像信号に適正レベルとなるように上述の低感度撮像処理が行われる（ステップ133）。
【００６４】
低感度撮像処理後に再び被写体が撮像され，撮像により得られた映像信号のうち，焦点検出用映像信号から合焦値が算出される（ステップ134）。
【００６５】
ステップ132で得られた合焦値とステップ134で得られた合焦値とが比較され，それらの合焦値の差が一定範囲内かどうかが判定される（ステップ135）。
【００６６】
合焦値の差が一定範囲内であれば（ステップ135でＹＥＳ），ステップ132で得られた合焦値とステップ134で得られた合焦値があまり変わらないということであり，ステップ132のタイミングでの撮像からステップ134のタイミングでの撮像までの間に被写体がずれていないと考えられる。このために，上述のように高感度撮像処理が行われ（ステップ136），低感度撮像処理により得られた低感度撮像画像と高感度撮像処理により得られた高感度撮像画像との合成画像が生成される（ステップ137）。生成された合成画像を表す画像データがメモリ・カード43に記録される（ステップ138）。
【００６７】
合焦値の差が一定範囲内に無ければ（ステップ135でＮＯ），ステップ132で得られた合焦値とステップ134で得られた合焦値が，かなり変わっているということであり，ステップ132のタイミングでの撮像からステップ134のタイミングでの撮像までの間に被写体がずれてしまっていると考えられる。このために，上述のような高感度撮像処理は行われずに，低感度撮像処理により得られた低感度撮像画像を用いて画素補間が行われる（ステップ139）。画素補間により得られた補間画像を表す画像データがメモリ・カード43に記録される（ステップ138）。
【符号の説明】
【００６８】
２ フォトダイオード
３ 焦点検出用フォトダイオード
４ 撮像用フォトダイオード
10 ＣＰＵ
25 ＣＣＤ
【技術分野】
【０００１】
この発明は，固体電子撮像装置の制御装置およびその動作制御方法に関する。
【背景技術】
【０００２】
ディジタル・スチル・カメラなどにおいては，行方向および列方向に光電変換素子が多数配列された固体電子撮像素子が利用される。このような固体電子撮像素子において，多数の光電変換素子の中に焦点検出用光電変換素子が設けられることがある。焦点検出用光電変換素子に蓄積された信号電荷を用いて合焦制御が行われる（特許文献１，２，３）。
【０００３】
しかしながら，焦点検出用光電変換素子に入射する受光量は焦点検出用光電変換素子以外の光電変換素子に入射する受光量よりも少ないので，焦点検出用光電変換素子に蓄積された信号電荷を撮像画像にも利用すると焦点検出用光電変換素子に相当する画素部分が暗くなることがある。
【０００４】
また，被写体が動いているかどうかを判定し，映像信号のレベルが変化しないように露光時間を減らしてＡＧＣ（自動利得調整）回路のゲインを上げるものもある（特許文献４）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第3592147号公報
【特許文献２】特許第4007716号公報
【特許文献３】特許第2959142号公報
【特許文献４】特開平11-215431号公報
【発明の概要】
【０００６】
この発明は，焦点検出用光電変換素子を含む固体電子撮像素子を用いて撮像した場合でも撮像画像の劣化を未然に防止することを目的とする。
【０００７】
この発明は，行方向及び列方向に配列された多数の光電変換素子のうち少なくとも２つの焦点検出用光電変換素子（隣接していても隣接していなくともよい）を含む固体電子撮像素子を備えた固体電子撮像装置の制御装置において，上記光電変換素子のうち上記焦点検出用光電変換素子を除く撮像用光電変換素子に蓄積された信号電荷にもとづいて得られる撮像用映像信号のレベルが所定の映像信号レベルとなるような低感度撮像を行うように上記固体電子撮像装置を制御する低感度撮像制御手段，上記焦点検出用光電変換素子に蓄積された信号電荷にもとづいて得られる焦点検出用映像信号のレベルが所定の映像信号レベルとなるような高感度撮像を行うように上記固体電子撮像装置を制御する高感度撮像制御手段，上記低感度撮像制御手段の制御により上記固体電子撮像装置から出力される映像信号によって表される低感度撮像画像と上記高感度撮像制御手段の制御により上記固体電子撮像装置から出力される映像信号によって表される高感度撮像画像とを合成して一駒の合成画像を生成する画像合成手段を備えていることを特徴とする。
【０００８】
この発明は，上記固体電子撮像素子の制御装置の動作制御方法も提供している。すなわち，行方向及び列方向に配列された多数の光電変換素子のうち少なくとも２つの焦点検出用光電変換素子を含む固体電子撮像素子を備えた固体電子撮像装置の制御装置の動作制御方法において，低感度撮像制御手段が，上記光電変換素子のうち上記焦点検出用光電変換素子を除く撮像用光電変換素子に蓄積された信号電荷にもとづいて得られる撮像用映像信号のレベルが所定の映像信号レベルとなるような低感度撮像を行うように上記固体電子撮像装置を制御し，高感度撮像制御手段が，上記焦点検出用光電変換素子に蓄積された信号電荷にもとづいて得られる焦点検出用映像信号のレベルが所定の映像信号レベルとなるように高感度撮像を行うように上記固体電子撮像装置を制御し，画像合成手段が，上記低感度撮像制御手段の制御により上記固体電子撮像装置から出力される映像信号によって表される低感度撮像画像と上記高感度撮像制御手段の制御により上記固体電子撮像装置から出力される映像信号によって表される高感度撮像画像とを合成して一駒の合成画像を生成するものである。
【０００９】
上記撮像用光電変換素子は，フォーカス・レンズ，ズーム・レンズのようにディジタル・カメラ（ディジタル・スチル・カメラ，ムービ・ディジタル・カメラ）の撮像レンズ系におけるレンズ瞳（射出瞳）の全域を通過する光線を受光するものである。上記焦点検出用光電変換素子は，そのような撮像レンズ系におけるレンズ瞳の一部を通過する光線のみを受光するものである。たとえば，撮像レンズ用光電変換素子は，光電変換素子上方にマイクロ・レンズが配置されている場合にはマイクロ・レンズの光軸と光電変換素子の受光領域の中心とが一致するものである。また，焦点検出用光電変換素子はマイクロ・レンズの中心軸が光電変換素子の中心とずれているものであり，一組の光電変換素子は，そのずれの方向が逆となる。
【００１０】
この発明によると，焦点検出用光電変換素子を除く撮像用光電変換素子に蓄積された信号電荷にもとづいて得られる撮像用映像信号のレベルが所定の映像信号レベルとなるような低感度撮像と，焦点検出用光電変換素子に蓄積された信号電荷にもとづいて得られる高感度撮像とが行われる。低感度撮像により得られた低感度撮像画像と高感度撮像により得られた高感度撮像とが合成されて一駒の合成画像が生成される。合成画像のうち，焦点検出用光電変換素子を除く撮像用光電変換素子に相当する画素部分は低感度撮像されたものであり，その撮像用光電変換素子にとって適正な感度となる撮像により得られたものであるから，適正な明るさをもつものとなる。合成画像のうち，焦点検出用光電変換素子に相当する画素部分は高感度撮像されたものであり，その焦点検出用光電変換素子にとって適正な感度となる撮像により得られたものであるから，適正な明るさをもつものとなる。全体として適正な明るさをもつ合成画像か得られる。
【００１１】
上記高感度撮像制御手段の制御により行われる高感度撮像により上記光電変換素子に蓄積された信号電荷のうち，上記焦点検出用光電変換素子に蓄積された信号電荷を上記光電変換素子から読み出すように上記固体電子撮像装置を制御する読み出し制御手段をさらに備えるようにしてもよい。
【００１２】
上記固体電子撮像装置の撮像範囲内に存在する動体のスピードを算出する動体スピード算出手段，上記動体スピード算出手段によって算出された動体のスピードが所定のしきい値を超えている場合に，上記高感度撮像を停止するように上記高感度撮像制御手段を制御する第１の停止制御手段，および上記低感度撮像制御手段の制御による行われる低感度撮像によって得られる低感度撮像画像のうち，上記焦点検出用光電変換素子の位置に相当する画素を画素補間する第１の画素補間手段をさらに備えてもよい。
【００１３】
上記高感度撮像制御手段の制御により行われる低感度撮像の前後において，上記焦点検出用光電変換素子に蓄積された信号電荷にもとづいて合焦の程度をそれぞれ算出する算出手段，上記算出手段に算出された低感度撮像の前後におけるそれぞれの合焦の程度が一定の範囲を超えている場合に，上記高感度撮像を停止するように上記高感度撮像制御手段を制御する第２の停止制御手段，および上記低感度撮像制御手段の制御による行われる低感度撮像によって得られる低感度撮像画像のうち，上記焦点検出用光電変換素子の位置に相当する画素を画素補間する第２の画素補間手段をさらに備えてもよい。
【図面の簡単な説明】
【００１４】
【図１】ＣＣＤの受光面を示している。
【図２】図１に示す受光面の一部の拡大図である。
【図３】ディジタル・スチル・カメラの電気的構成を示すブロック図である。
【図４】アナログ信号処理装置のブロック図である。
【図５】（Ａ）は低感度撮像画像の一例を，（Ｂ）は高感度撮像画像の一例を，（Ｃ）は合成画像の一例を示している。
【図６】撮像モードの処理手順を示すフローチャートである。
【図７】ＣＣＤの模式図である。
【図８】ＣＣＤの模式図である。
【図９】撮像モードの処理手順を示すフローチャートである。
【図１０】撮像モードの処理手順を示すフローチャートである。
【図１１】撮像モードの処理手順を示すフローチャートである。
【図１２】撮像モードの処理手順を示すフローチャートである。
【実施例】
【００１５】
図１は，この発明の実施例を示すもので，ＣＣＤ（固体電子撮像素子）の受光面１を示している。
【００１６】
ＣＣＤには，列方向および行方向に多数のフォトダイオード（光電変換素子）２が配置されている。フォトダイオード２の受光面上にはカラー・フィルタ（図示略）が形成されている。緑色の光成分を透過する特性を有するフィルタが形成されているフォトダイオード２には「Ｇ」の文字が付されている。青色の光成分を透過する特性を有するフィルタが形成されているフォトダイオード２には「Ｂ」の文字が付されている。赤色の光成分を透過する特性を有するフィルタが形成されているフォトダイオード２には「Ｒ」の文字が付されている。フォトダイオード２の受光面前方（上方）にはマイクロ・レンズ（図２参照）が設けられているが図１においては図示が省略されている。
【００１７】
多数のフォトダイオード２のうち，ハッチングで示されている第４ｎ（ｎは０以上の整数）＋１列，第４ｍ（ｍは０以上の整数）＋３行のフォトダイオード２および第４ｎ＋２列，第４ｍ＋４行のフォトダイオード２は焦点検出用フォトダイオード３である。焦点検出用フォトダイオード３に蓄積された信号電荷にもとづいて得られる焦点検出用映像信号を用いて合焦制御を行うことができる。焦点検出用フォトダイオード３は多数設けられているが，少なくとも互いに隣接（横方向，縦方向，斜め方向に隣接のいずれでもよい）したものが２つ（一組）あればよい。
【００１８】
多数のフォトダイオード２のうち，ハッチングで示されていないフォトダイオード２は撮像用フォトダイオード４である。
【００１９】
図２は，図１に示すＣＣＤの受光面１のうち，４行４列のフォトダイオード２の集合部分５の拡大図である。
【００２０】
撮像用フォトダイオード４の受光面上方には，中心軸が撮像用フォトダイオード４の中心に一致し，かつ大きさが受光面の大きさにほぼ対応しているマイクロ・レンズ６が設けられている。焦点検出用フォトダイオード３の受光面上方には，焦点検出用フォトダイオード３の中心に一致せずにずれており，かつ直径が焦点検出用フォトダイオード３の受光面の一辺（焦点検出用フォトダイオード３の受光面が円であれば，その円の直径）の長さの半分であるマイクロ・レンズ７が設けられている。第４ｎ＋１列の焦点検出用フォトダイオード３ではマイクロ・レンズ７は受光面１に向かって左側にずれており，第４ｎ＋２列の焦点検出用フォトダイオード３ではマイクロ・レンズ７は受光面１に向かって右側にずれている。
【００２１】
このように一組の焦点検出用フォトダイオード３が構成されていることにより，焦点検出用フォトダイオード３に蓄積された信号電荷から得られる焦点検出用映像信号を用いて合焦制御を行うことができる。焦点検出用フォトダイオード３のマイクロ・レンズ７を撮像用フォトダイオード４のマイクロ・レンズ６と同じものとし，受光面の受光領域がマイクロ・レンズ７と同様に受光面の左側または右側にずらすことにより焦点検出用フォトダイオード３を構成することもできる。焦点検出用フォトダイオード３を用いた合焦制御は公知であるため，これ以上の説明は省略する。
【００２２】
図３は，上述した受光面１をもつＣＣＤを備えたディジタル・スチル・カメラの電気的構成を示すブロック図である。
【００２３】
ディジタル・スチル・カメラの全体の動作は，ＣＰＵ10によって統括される。
【００２４】
ディジタル・スチル・カメラにはフラッシュ11が設けられており，フラッシュ制御装置12によって制御される。
【００２５】
ディジタル・スチル・カメラには，操作系制御装置50も含まれている。操作系制御装置50には，動作モード・スイッチ51，メニュー／ＯＫボタン52，ズーム／上下レバー53，左右ボタン54，バック・ボタン55，表示切替ボタン56，レリーズ・ボタン57および電源スイッチ58から出力される操作信号は，操作系制御装置50に入力する。
【００２６】
動作モード・スイッチ51により撮像モードが設定されると，フォーカス・レンズ駆動回路13によってフォーカス・レンズ21が駆動され，ズーム・レンズ駆動回路14によってズーム・レンズ22が駆動される。被写体像を表す光線束は，絞り駆動回路15によって制御される絞り23およびシャッタ駆動回路16によって制御されるシャッタ24を介してＣＣＤ25の受光面に入射し，受光面上に結像する。
【００２７】
タイミング・ジェネレータ17から与えられるタイミング・パルスにもとづいてＣＣＤ制御回路18が動作し，ＣＣＤ制御回路18の制御にもとにＣＣＤ25によって撮像された被写体像を表す映像信号がＣＣＤ25から出力される。ＣＣＤ25から出力された映像信号は，アナログ信号処理装置26においてアナログ／ディジタル変換を含む所定のアナログ信号処理が行われる。ＣＣＤ25とアナログ信号処理26とによって固体電子撮像装置27が構成されている。
【００２８】
アナログ信号処理装置26から出力されたディジタル画像データは画像入力コントローラ31によってＡＦ処理装置33およびＡＥ処理装置34に入力する。ＡＦ処理装置33において合焦値が算出され，その合焦値にもとづいてフォーカス・レンズ21が制御される。上述したように，焦点検出用フォトダイオード３に蓄積された信号電荷を利用して合焦制御が行われる場合には，その信号電荷にもとづいて得られる画像データを用いてＡＦ処理装置33において合焦値が算出されるのはいうまでもない。また，ＡＥ処理装置35により露光量が算出され，適正露光となるように絞り23およびシャッタ速度が制御される。
【００２９】
ディジタル画像データは，自動白バランス調整装置34において白バランス調整されて，表示制御装置45を介してモニタ表示装置46に与えられることにより被写体像が表示される。レリーズ・ボタン57が押されると，上述のようにして得られる画像データは圧縮／伸長処理装置41において圧縮される。圧縮された画像データがメディア制御装置44によってメモリ・メモリ・カード44に記録される。
【００３０】
ディジタル・スチル・カメラには，撮影制御装置32，画像処理装置36，特定の被写体を表す画像データを登録する特定被写体登録装置37，特定の被写体を認証する特定被写体認証装置38，特定被写体追跡装置39，特定の被写体像を枠で囲む枠表示装置40，メモリ42，特定被写体検出装置47，および撮影モード設定装置48も含まれている。
【００３１】
図４は，アナログ信号処理装置26の電気的構成を示すブロック図である。
【００３２】
ＣＣＤ25から出力した映像信号はＣＤＳ（相関二重サンプリング）回路61において相関二重サンプリングされて自動利得制御回路62に入力する。自動利得制御回路62は，ＣＰＵ10から与えられるゲイン制御信号にもとづいて異なるゲインで，入力する映像信号のレベルを調整できるものである。自動利得制御回路62においてレベル調整された映像信号がアナログ／ディジタル変換回路63においてディジタル画像データに変換される。このようにして変換されたディジタル画像データが上述のように画像入力コントローラ31に入力する。
【００３３】
図５（Ａ）〜（Ｃ）は，画像の一例を表している。これらの図においては，ＣＣＤ25の受光面に形成されているフォトダイオード２と画像を構成する画素との関係がわかるように，図１に示すようにフィルタを示す符号も必要に応じて図示されている。
【００３４】
図５（Ａ）は，低感度撮像画像70の一例である。
【００３５】
低感度撮像画像70においては，焦点検出用フォトダイオード３に対応する画素は符号71で，撮像用フォトダイオード４に対応する画素は符号72で示されている。
【００３６】
低感度撮像画像70は，ＣＣＤ25の撮像用フォトダイオード４に蓄積された信号電荷にもとづいて得られる撮像用映像信号のレベルが適正なレベルとなるような低感度撮像処理により得られたものである。したがって，撮像用フォトダイオード４に対応する画素72は適正露光量となるが，焦点検出用フォトダイオード３に対応する画素71は露光アンダーとなる。図５（Ａ）においては，画素71が露光アンダーであることを示すために黒塗りされている。
【００３７】
図５（Ｂ）は，高感度撮像画像80の一例である。
【００３８】
高感度撮像画像80においては，焦点検出用フォトダイオード３に対応する画素は符号81で，撮像用フォトダイオード４に対応する画素は符号82で示されている。
【００３９】
高感度撮像画像80は，ＣＣＤ25の焦点検出用フォトダイオード３に蓄積された信号電荷にもとづいて得られる焦点検出用映像信号のレベルが適正なレベルとなるような高感度撮像処理により得られたものである。したがって，焦点検出用フォトダイオード３に対応する画素81は適正露光量となるが，撮像用フォトダイオード４に対応する画素82は露光オーバーとなる。図５（Ｂ）においては，画素82が露光オーバーであることを示すためにＲ，Ｇ，Ｂの符号が省略されて白抜きされている。
【００４０】
この実施例においては低感度撮像画像70を得る場合の露光量と高感度撮像画像80を得る場合の露光量とは同じである（絞り値およびシャッタ速度が同じ）。低感度撮像画像70が得られる場合のアナログ信号処理装置26内の自動利得制御装置62のゲインが，高感度撮像画像80が得られる場合のアナログ信号処理装置26内の自動利得制御装置62のゲインよりも小さくされることにより，低感度撮像画像70と高感度撮像画像80とが得られる。しかしながら，露光量を変えることにより，低感度撮像画像70と高感度撮像画像80とを得るようにしてもよい。
【００４１】
図５（Ｃ）は，合成画像90の一例である。
【００４２】
この実施例においては，低感度撮像画像70を構成する画素のうち，適正露光となっている画素72と高感度撮像画像80のうち適正露光となっている画素81とが組み合わせられて一駒の合成画像90が生成される。合成画像90を構成する画素はすべて適正露光となる。
【００４３】
図６は，撮像モードの処理手順を示すフローチャートである。
【００４４】
撮像モードが設定され，シャッタ・レリーズがオンされると（ステップ101でＹＥＳ），ＣＣＤ25を用いて撮像される。撮像によってＣＣＤ25から出力された映像信号のうち，焦点検出用フォトダイオード３に蓄積された信号電荷にもとづいて得られる焦点検出用映像信号（画像データ）を用いて合焦制御が行われる（ステップ102）。
【００４５】
フォーカス・レンズ21が合焦位置に位置決めされると，ＣＣＤ25を用いて撮像される。撮像により得られた映像信号のうち，上述のように撮像用フォトダイオード４に蓄積された信号電荷にもとづいて得られる撮像用映像信号が適正レベルとなるように低感度撮像処理が行われる（ステップ103）。この低感度撮像処理は，上述したように，自動利得制御回路62のゲインを調整することにより実現される。
【００４６】
その後，再びＣＣＤ25を用いて撮像される。撮像により得られた映像信号のうち，上述のように焦点検出用フォトダイオード３に蓄積された信号電荷にもとづいて得られる焦点検出用映像信号が適正レベルとなるように高感度撮像処理が行われる（ステップ104）。この高感度撮像処理も，上述したように，自動利得制御回路62のゲインが低感度撮像処理のゲインよりも高くなるように調整することにより実現される。
【００４７】
低感度撮像処理により得られた低感度画像を表す画像データおよび高感度撮像処理により得られた高感度画像を表す画像データはメモリ42に記憶される。メモリ42に記憶された画像データが読み出されることにより上述のように合成画像が生成される（ステップ105）。生成された合成画像を表す画像データがメモリ・カード44に記録される（ステップ106）。
【００４８】
図７および図８は，ＣＣＤ25の模式図である。
【００４９】
フォトダイオード２の各列の右側には垂直転送路（図示略）が形成されている。フォトダイオード２に蓄積された信号電荷は，転送ゲート（図示略）に転送ゲート・パルスが与えられることにより垂直転送路にシフトされる。
【００５０】
垂直転送路にシフトされた信号電荷が垂直転送路内を転送させられ，垂直転送路の下側に設けられている水平転送路110にシフトされる。信号電荷は，水平転送路110内を水平転送させられ，増幅回路111において増幅されて，映像信号として出力する。
【００５１】
焦点検出用フォトダイオード３に蓄積された信号電荷にもとづいて得られる焦点検出用映像信号を得る場合には，上述のようにすべてのフォトダイオード２に蓄積された信号電荷のすべてを読み出して，焦点検出用フォトダイオード３の信号電荷にもとづいて得られる焦点検出用映像信号を抽出できる。
【００５２】
図８は，他のやり方によって焦点検出用映像信号を得るものである。
【００５３】
この例では，焦点検出用フォトダイオード３に蓄積された信号電荷のみが焦点検出用フォトダイオード３から垂直転送路にシフトされる。焦点検出用フォトダイオード３に蓄積された信号電荷のみが垂直転送路，水平転送路110および増幅回路111を介して焦点検出用映像信号としてＣＣＤ25から出力される。信号電荷の転送時間が短くなる。
【００５４】
第４ｎ＋１列の第４ｍ＋３行および第４ｎ＋２列の第４ｍ＋４行の焦点検出用フォトダイオード３に蓄積された信号電荷のみがシフトされるように転送ゲートに転送ゲート・パルスを与えることにより，焦点検出用フォトダイオード３に蓄積された信号電荷のみを転送させることができるのはいうまでもない。
【００５５】
上述の実施例では，固体電子撮像素子がＣＣＤの場合について説明したが，ＣＣＤに限らず，Ｃ−ＭＯＳの場合でも同様に，焦点検出用フォトダイオード３に蓄積された信号電荷のみを読み出すことができる。とくに，Ｃ−ＭＯＳの場合には，Ｃ−ＭＯＳを構成するフォトダイオードに蓄積された信号電荷を任意に読み出すことができるので，比較的簡単に焦点検出用フォトダイオード３に蓄積された信号電荷のみを読み出すことができる。
【００５６】
図９および図10は，他の実施例を示すもので，撮像モードの処理手順を示すフローチャートである。これらの図において，図６に示す処理と同一の処理については同一符号を付して説明を省略する。
【００５７】
撮像モードが設定されると，被写体が撮像され，撮像された被写体像の中に動体の画像が存在するかどうかの動体検出処理が行われる（ステップ121）。このような動体検出は，特定被写体検出装置47において行われ，同じ画角で少なくとも２回の撮像により得られる二駒の撮像画像の中で移動している物体があるかどうかを検出することにより実現できる。
【００５８】
シャッタ・レリーズがオンされ（ステップ101でＹＥＳ），焦点検出用映像信号を用いて合焦制御が行われると（ステップ102），動体の速度が算出される（ステップ122）。上述した二駒の撮像画像の中で移動している動体の移動距離と，それらの二駒の撮像間隔とから動体の速度が算出できる。
【００５９】
算出された動体の速度がしきい値よりも大きければ（ステップ123でＮＯ），上述した低感度撮像処理が行われる（ステップ124）。低感度撮像処理により得られた低感度撮像画像から，焦点検出用フォトダイオード３に相当する画素について，それらの画素の回りの画素を用いて画素補間が行われる（ステップ125）。画素補間により，焦点検出用フォトダイオード３に相当する画素については露光オーバーとならずに適正露光となる補間画像が得られる。得られた補間画像がメモリ・カード43に記録される（ステップ106Ａ）。動体の速度が速い場合には，低感度撮像画像における動体の位置と高感度撮像画像における動体の位置とが異なり，低感度撮像画像と高感度撮像画像とを上述のように合成すると合成された画像の動体部分がぶれてしまうことがある。この実施例では，動体の速度が速い場合には，低感度撮像画像と高感度撮像画像との合成をしないので，ぶれの無い画像が得られる。
【００６０】
算出された動体の速度がしきい値以下であれば（ステップ123でＹＥＳ），上述のように低感度撮像と高感度撮像とが行われ（ステップ103，104），低感度撮像画像と高感度撮像画像とが得られる。得られた画像から合成画像が生成される（ステップ105）。
【００６１】
図11および図12は，他の実施例を示すもので，撮像モードの処理手順を示すフローチャートである。
【００６２】
撮像モードとなり，シャッタ・レリーズ・オンとなると（ステップ131でＹＥＳ），被写体が撮像される。撮像により得られた映像信号のうち，上述のように焦点検出用映像信号を用いて合焦値が算出される。算出された合焦値を用いて合焦制御が行われる（ステップ132）。
【００６３】
その後，再び被写体が撮像され，撮像により得られた映像信号のうち撮像用映像信号に適正レベルとなるように上述の低感度撮像処理が行われる（ステップ133）。
【００６４】
低感度撮像処理後に再び被写体が撮像され，撮像により得られた映像信号のうち，焦点検出用映像信号から合焦値が算出される（ステップ134）。
【００６５】
ステップ132で得られた合焦値とステップ134で得られた合焦値とが比較され，それらの合焦値の差が一定範囲内かどうかが判定される（ステップ135）。
【００６６】
合焦値の差が一定範囲内であれば（ステップ135でＹＥＳ），ステップ132で得られた合焦値とステップ134で得られた合焦値があまり変わらないということであり，ステップ132のタイミングでの撮像からステップ134のタイミングでの撮像までの間に被写体がずれていないと考えられる。このために，上述のように高感度撮像処理が行われ（ステップ136），低感度撮像処理により得られた低感度撮像画像と高感度撮像処理により得られた高感度撮像画像との合成画像が生成される（ステップ137）。生成された合成画像を表す画像データがメモリ・カード43に記録される（ステップ138）。
【００６７】
合焦値の差が一定範囲内に無ければ（ステップ135でＮＯ），ステップ132で得られた合焦値とステップ134で得られた合焦値が，かなり変わっているということであり，ステップ132のタイミングでの撮像からステップ134のタイミングでの撮像までの間に被写体がずれてしまっていると考えられる。このために，上述のような高感度撮像処理は行われずに，低感度撮像処理により得られた低感度撮像画像を用いて画素補間が行われる（ステップ139）。画素補間により得られた補間画像を表す画像データがメモリ・カード43に記録される（ステップ138）。
【符号の説明】
【００６８】
２ フォトダイオード
３ 焦点検出用フォトダイオード
４ 撮像用フォトダイオード
10 ＣＰＵ
25 ＣＣＤ
【特許請求の範囲】
【請求項１】
行方向及び列方向に配列された多数の光電変換素子のうち少なくとも２つの焦点検出用光電変換素子を含む固体電子撮像素子を備えた固体電子撮像装置の制御装置において，
上記光電変換素子のうち上記焦点検出用光電変換素子を除く撮像用光電変換素子に蓄積された信号電荷にもとづいて得られる撮像用映像信号のレベルが所定の映像信号レベルとなるような低感度撮像を行うように上記固体電子撮像装置を制御する低感度撮像制御手段，
上記焦点検出用光電変換素子に蓄積された信号電荷にもとづいて得られる焦点検出用映像信号のレベルが所定の映像信号レベルとなるような高感度撮像を行うように上記固体電子撮像装置を制御する高感度撮像制御手段，
上記低感度撮像制御手段の制御により上記固体電子撮像装置から出力される映像信号によって表される低感度撮像画像と上記高感度撮像制御手段の制御により上記固体電子撮像装置から出力される映像信号によって表される高感度撮像画像とを合成して一駒の合成画像を生成する画像合成手段，
を備えた固体電子撮像装置の制御装置。
【請求項２】
上記高感度撮像制御手段の制御により行われる高感度撮像により上記光電変換素子に蓄積された信号電荷のうち，上記焦点検出用光電変換素子に蓄積された信号電荷を上記光電変換素子から読み出すように上記固体電子撮像装置を制御する読み出し制御手段，
をさらに備えた請求項１に記載の固体電子撮像装置の制御装置。
【請求項３】
上記固体電子撮像装置の撮像範囲内に存在する動体のスピードを算出する動体スピード算出手段，
上記動体スピード算出手段によって算出された動体のスピードが所定のしきい値を超えている場合に，上記高感度撮像を停止するように上記高感度撮像制御手段を制御する第１の停止制御手段，および
上記低感度撮像制御手段の制御による行われる低感度撮像によって得られる低感度撮像画像のうち，上記焦点検出用光電変換素子の位置に相当する画素を画素補間する第１の画素補間手段，
をさらに備えた請求項１または２に記載の固体電子撮像装置の制御装置。
【請求項４】
上記高感度撮像制御手段の制御により行われる低感度撮像の前後において，上記焦点検出用光電変換素子に蓄積された信号電荷にもとづいて合焦の程度をそれぞれ算出する算出手段，および
上記算出手段に算出された低感度撮像の前後におけるそれぞれの合焦の程度が一定の範囲を超えている場合に，上記高感度撮像を停止するように上記高感度撮像制御手段を制御する第２の停止制御手段，および
上記低感度撮像制御手段の制御による行われる低感度撮像によって得られる低感度撮像画像のうち，上記焦点検出用光電変換素子の位置に相当する画素を画素補間する第２の画素補間手段，
をさらに備えた請求項１から３のうちいずれか一項に記載の固体電子撮像装置の制御装置。
【請求項５】
行方向及び列方向に配列された多数の光電変換素子のうち少なくとも２つの焦点検出用光電変換素子を含む固体電子撮像素子を備えた固体電子撮像装置の制御装置の動作制御方法において，
低感度撮像制御手段が，上記光電変換素子のうち上記焦点検出用光電変換素子を除く撮像用光電変換素子に蓄積された信号電荷にもとづいて得られる撮像用映像信号のレベルが所定の映像信号レベルとなるような低感度撮像を行うように上記固体電子撮像装置を制御し，
高感度撮像制御手段が，上記焦点検出用光電変換素子に蓄積された信号電荷にもとづいて得られる焦点検出用映像信号のレベルが所定の映像信号レベルとなるように高感度撮像を行うような上記固体電子撮像装置を制御し，
画像合成手段が，上記低感度撮像制御手段の制御により上記固体電子撮像装置から出力される映像信号によって表される低感度撮像画像と上記高感度撮像制御手段の制御により上記固体電子撮像素子から出力される映像信号によって表される高感度撮像画像とを合成して一駒の合成画像を生成する，
固体電子撮像装置の制御装置の動作制御方法。
【請求項１】
行方向及び列方向に配列された多数の光電変換素子のうち少なくとも２つの焦点検出用光電変換素子を含む固体電子撮像素子を備えた固体電子撮像装置の制御装置において，
上記光電変換素子のうち上記焦点検出用光電変換素子を除く撮像用光電変換素子に蓄積された信号電荷にもとづいて得られる撮像用映像信号のレベルが所定の映像信号レベルとなるような低感度撮像を行うように上記固体電子撮像装置を制御する低感度撮像制御手段，
上記焦点検出用光電変換素子に蓄積された信号電荷にもとづいて得られる焦点検出用映像信号のレベルが所定の映像信号レベルとなるような高感度撮像を行うように上記固体電子撮像装置を制御する高感度撮像制御手段，
上記低感度撮像制御手段の制御により上記固体電子撮像装置から出力される映像信号によって表される低感度撮像画像と上記高感度撮像制御手段の制御により上記固体電子撮像装置から出力される映像信号によって表される高感度撮像画像とを合成して一駒の合成画像を生成する画像合成手段，
を備えた固体電子撮像装置の制御装置。
【請求項２】
上記高感度撮像制御手段の制御により行われる高感度撮像により上記光電変換素子に蓄積された信号電荷のうち，上記焦点検出用光電変換素子に蓄積された信号電荷を上記光電変換素子から読み出すように上記固体電子撮像装置を制御する読み出し制御手段，
をさらに備えた請求項１に記載の固体電子撮像装置の制御装置。
【請求項３】
上記固体電子撮像装置の撮像範囲内に存在する動体のスピードを算出する動体スピード算出手段，
上記動体スピード算出手段によって算出された動体のスピードが所定のしきい値を超えている場合に，上記高感度撮像を停止するように上記高感度撮像制御手段を制御する第１の停止制御手段，および
上記低感度撮像制御手段の制御による行われる低感度撮像によって得られる低感度撮像画像のうち，上記焦点検出用光電変換素子の位置に相当する画素を画素補間する第１の画素補間手段，
をさらに備えた請求項１または２に記載の固体電子撮像装置の制御装置。
【請求項４】
上記高感度撮像制御手段の制御により行われる低感度撮像の前後において，上記焦点検出用光電変換素子に蓄積された信号電荷にもとづいて合焦の程度をそれぞれ算出する算出手段，および
上記算出手段に算出された低感度撮像の前後におけるそれぞれの合焦の程度が一定の範囲を超えている場合に，上記高感度撮像を停止するように上記高感度撮像制御手段を制御する第２の停止制御手段，および
上記低感度撮像制御手段の制御による行われる低感度撮像によって得られる低感度撮像画像のうち，上記焦点検出用光電変換素子の位置に相当する画素を画素補間する第２の画素補間手段，
をさらに備えた請求項１から３のうちいずれか一項に記載の固体電子撮像装置の制御装置。
【請求項５】
行方向及び列方向に配列された多数の光電変換素子のうち少なくとも２つの焦点検出用光電変換素子を含む固体電子撮像素子を備えた固体電子撮像装置の制御装置の動作制御方法において，
低感度撮像制御手段が，上記光電変換素子のうち上記焦点検出用光電変換素子を除く撮像用光電変換素子に蓄積された信号電荷にもとづいて得られる撮像用映像信号のレベルが所定の映像信号レベルとなるような低感度撮像を行うように上記固体電子撮像装置を制御し，
高感度撮像制御手段が，上記焦点検出用光電変換素子に蓄積された信号電荷にもとづいて得られる焦点検出用映像信号のレベルが所定の映像信号レベルとなるように高感度撮像を行うような上記固体電子撮像装置を制御し，
画像合成手段が，上記低感度撮像制御手段の制御により上記固体電子撮像装置から出力される映像信号によって表される低感度撮像画像と上記高感度撮像制御手段の制御により上記固体電子撮像素子から出力される映像信号によって表される高感度撮像画像とを合成して一駒の合成画像を生成する，
固体電子撮像装置の制御装置の動作制御方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１１−７７７７０（Ｐ２０１１−７７７７０Ａ）
【公開日】平成２３年４月１４日（２０１１．４．１４）
【国際特許分類】
【出願番号】特願２００９−２２６３３５（Ｐ２００９−２２６３３５）
【出願日】平成２１年９月３０日（２００９．９．３０）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
【公開日】平成２３年４月１４日（２０１１．４．１４）
【国際特許分類】
【出願日】平成２１年９月３０日（２００９．９．３０）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
[ Back to top ]