撮像装置
【目的】 ビューファインダ内における注視点の位置と主被写体の位置が一致しなくなった場合にも、自動焦点制御（ＡＦ）等の各種制御を的確に実行し得るよう構成した撮像装置を提供する。
【構成】 視線検出装置ＥＤの出力に基づいて設定された被写体追尾領域内で上記の各種制御を行うための制御信号が不十分な場合、被写体追尾領域の大きさを上記の各種制御が可能となるように設定し、それに基づいてＡＦ等の制御を行う。
【効果】 撮影者の注視点近傍で高周波成分値を監視しながら制御対象領域をできるだけ小さくすることにより、撮影者の意図しない被写体に合焦してしまう、いわゆる遠近競合を未然に防止することができる。撮影者の注視点位置で高周波成分値がＡＦ制御不可能な場合にそれが可能となるレベルに到達するまで、制御対象領域を拡大し、合焦の可能性を高めることができる。
【構成】 視線検出装置ＥＤの出力に基づいて設定された被写体追尾領域内で上記の各種制御を行うための制御信号が不十分な場合、被写体追尾領域の大きさを上記の各種制御が可能となるように設定し、それに基づいてＡＦ等の制御を行う。
【効果】 撮影者の注視点近傍で高周波成分値を監視しながら制御対象領域をできるだけ小さくすることにより、撮影者の意図しない被写体に合焦してしまう、いわゆる遠近競合を未然に防止することができる。撮影者の注視点位置で高周波成分値がＡＦ制御不可能な場合にそれが可能となるレベルに到達するまで、制御対象領域を拡大し、合焦の可能性を高めることができる。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】本発明は、ビューファインダを備えた撮像装置に関するものである。
【０００２】更に詳述すれば本発明は、例えばビデオカメラと、ビデオレコーダと、モニタ用のビューファインダを有するカメラ一体型ＶＴＲに適用可能な、撮像装置に関するものである。
【０００３】
【従来の技術】従来より、観察者が観察面上のどの位置を観察しているかを検出する装置、いわゆる視線（視軸）を検出する装置が種々提案されている。
【０００４】例えば特開昭６１−１７２５５２号公報においては、光源からの平行光束を観察者の眼球の前眼部へ投射し、角膜からの反射光による角膜反射像と瞳孔の結像位置を利用して視軸を求めている。
【０００５】図１９は視線検出方法の原理説明図である。ここで、同図（Ａ）は視線検出光学系の概略図、同図（Ｂ）は光電素子列６からの出力信号の強度図である。また同図において、５は観察者に対して不感の赤外光を放射する発光ダイオードなどの光源であり、投光レンズ３の焦点面に配置されている。光源５より発光した赤外光は、投光レンズ３により平行光となりハーフミラー２で反射し、眼球２０１の角膜２１を照明する。このとき、角膜２１の表面で反射した赤外光の一部による角膜反射像ｄはハーフミラー２を透過し、受光レンズ４により集光され、光電素子列６上の位置Ｚｄ′に再結像する。
【０００６】また虹彩２３の端部ａ，ｂからの光束は、ハーフミラー２および受光レンズ４を介して、光電素子列６上の位置Ｚａ′，Ｚｂ′に該端部ａ，ｂの像を結像する。受光レンズ４の光軸（光軸ア）に対する眼球の光軸イの回転角θが小さい場合には、虹彩２３の端部ａ，ｂのＺ座標をＺａ，Ｚｂとしたとき、虹彩２３の中心位置ｃの座標Ｚｃは
【０００７】
【数１】
Ｚｃ＝（Ｚａ＋Ｚｂ）／２ …（１）
と表わされる。
【０００８】また、角膜反射像の発生位置ＤのＺ座標をＺｄ、角膜２１の曲率中心Ｏと虹彩２３の中心Ｃまでの距離をＯＣとすると、眼球光軸イの回転角θは、
【０００９】
【数２】
ＯＣ＊ｓｉｎθ＝Ｚｃ−Ｚｄ …（２）
の関係式を略満足する。
【００１０】ここで、角膜反射像の位置ｄのＺ座標Ｚｄと角膜２１の曲率中心ＯのＺ座標Ｚｏとは一致している。このため演算手段９において、同図（Ｂ）のごとく光電素子列６面上に投影された各特異点（角膜反射像ｄ及び虹彩の端部ａ，ｂ）の位置を検出することにより、眼球光軸イの回転角θを求めることができる。このとき（２）式は、
【００１１】
【数３】
β＊ＯＣ＊ｓｉｎθ＝（Ｚａ′＋Ｚｂ′）／２−Ｚｄ′ …（３）
と書き換えられる。ただし、βは角膜反射像の発生位置ｄと受光レンズ４との距離Ｌ１と、受光レンズ４と光電素子列６との距離Ｌ０とで決まる倍率であり、通常ほぼ一定の値となっている。
【００１２】一方、カメラ一体型ＶＴＲにおいては、撮影者が、撮影中に各種機能の入力を行おうとする際には、ビューファインダをのぞきながらその操作を行わなければならなかった。また、各種機能のスイッチを確認しながら操作するためには、一度ビューファインダから目を離さなければならず、その結果として、撮影画面が乱れたり、被写体を見失ったりする可能性がある。さらに近年に至り、ユーザ用途の多様化などでカメラ一体型ＶＴＲに付随する各種機能は増加する傾向にある。
【００１３】このような背景を鑑みるとき、例えば上述の視線検出装置を利用してビューファインダ内の視線を検出し、メニュー画面などを用いて各種機能の入力を行うようにすれば、ビューファインダから目を離すことなく、容易に機能入力を行うことが可能となる。
【００１４】また、例えばカメラ一体型ＶＴＲのオートフォーカス（以下、ＡＦという）、オートアイリスコントロール（以下、ＡＥという）、オートホワイトバランス（以下、ＡＷＢという）、自動手ブレ補正（以下、ＡＳという）など撮影動作を補うための各種制御を実行するに際して、時事刻々と変化する主被写体の位置と、撮影者が注視している位置とが一致しているものと想定し、視線検出装置により正確に主被写体を追尾させることができれば、撮影者の意図に反することの無い、より正確なＡＦ，ＡＥ，ＡＷＢ，ＡＳを実現させることができることになる。
【００１５】
【発明が解決しようとする課題】しかしながら、注視点位置に常に撮影者の意図する被写体があるとは限らないので、その様な場合はＡＦ，ＡＥ，ＡＷＢ，ＡＳ等の制御が著しく困難になるという欠点が生じる。
【００１６】よって本発明の目的は上述の点に鑑み、ビューファインダ内における注視点の位置と主被写体の位置が一致しなくなった場合にも、上記ＡＦ，ＡＥ，ＡＷＢ，ＡＳといった各種制御を的確に実行し得るよう構成した撮像装置を提供することにある。
【００１７】
【課題を解決するための手段】かかる目的を達成するために、本発明はビューファインダを備えた撮像装置において、前記ビューファインダ内における注視点を検出する注視点検出手段と、検出された前記注視点を含む所定領域を制御対象領域として設定する制御枠設定手段と、前記制御対象領域内における表示画像に予め定めた処理を施し、特定信号を抽出する信号処理手段と、抽出された前記特定信号に基づいて、前記制御対象領域の大きさ、および／または、位置を変化させる領域制御手段とを具備したものである。すなわち、本発明のひとつの形態として、抽出された前記特定信号に基づき、前記注視点を中心とした前記制御対象領域の大きさのみを変化させることが可能である。あるいは、その他の形態として、抽出された前記特定信号に基づき、前記制御対象領域の大きさを変化させることなく、該制御対象の位置のみを前記注視点の近傍で移動させることが可能である。
【００１８】更に加えて、前記特定信号を入力することにより自動焦点制御，自動アイリス制御，自動ホワイトバランス制御，自動手振れ補正制御のいずれかを行う手段を具備するのが好適である。
【００１９】
【作用】本発明の上記構成によれば、ＡＦ，ＡＥ，ＡＷＢ，ＡＳなど撮影動作を補うための各種制御を実行させるために、時事刻々と変化する被写体の位置を撮影者が注視している位置として検出し、追尾させることにより上記制御を行う場合、注視点検出手段により検出された注視点位置を囲む被写体追尾領域（すなわち、制御対象領域）の大きさを変化させ、あるいは、被写体追尾領域の大きさを変えることなく最初の注視点位置の近傍を検索し、その領域から得られた各種の制御信号に基づいてＡＦ，ＡＥ，ＡＷＢ，ＡＳなどを的確に実行させることが可能となる。かくして本発明によれば、注視点位置に被写体がまったく存在しない場合、あるいは撮影者の意図しない別の被写体が存在する場合でも的確なＡＦ，ＡＥ，ＡＷＢ，ＡＳが可能となり、快適な撮影を実現させることができる。
【００２０】
【実施例】以下、本発明の実施例を詳細に説明する。
【００２１】実施例１以下に詳述する各実施例は、ビデオカメラ、ビデオレンズ、及びモニタ用のビューファインダを具備しているカメラ一体型のＶＴＲであって、ビューファインダの回りに視線検出装置を設けることにより、ＡＦ，ＡＥ，ＡＷＢ，ＡＳなど撮影者の撮影動作を補うための各種制御の中で、時事刻々と変化する被写体の位置を、撮影者が注視している位置として検出し、追尾させることにより、上記の各種制御を最適に行うことのできる装置において、視線検出装置の出力に基づいて設定された被写体追尾領域内で上記の各種制御を行うための制御信号が不十分な場合、被写体追尾領域の大きさを上記の各種制御が可能となるように設定し、それに基づいてＡＦ，ＡＥ，ＡＷＢ，ＡＳなどの制御を行うものである。
【００２２】図１は、本発明の第１の実施例によるカメラ一体型ＶＴＲを示す。
【００２３】図１において、１０１は電子ビューファインダ（以下、ＥＶＦと略す）、１０２はファインダ画面である。
【００２４】ＥＤは視線検出装置であり、受光手段としての光電素子列６と、照明手段としての赤外発光ダイオード５ａ，５ｂと、ファインダ光学系１００と、信号処理回路１０９とにより構成されている。
【００２５】ファインダ光学系１００は、図２に拡大描画するとおり、光路分割用のハーフミラー２と、接眼レンズ１と、受光レンズ４とにより構成されている。ファインダ画面１０２からの光（映像）は可視光透過・赤外光反射のハーフミラー２を通過するとともに接眼レンズ１を通過してアイピース１０５内のアイポイントＥに導かれる。ここで、ファインダ画面１０２からアイポイントＥに入射される光の軸をＸ軸とする。
【００２６】赤外発光ダイオード５ａ，５ｂは接眼レンズ１の眼球２０１側上端部の近傍において、Ｘ軸に対して対象に配置され、赤外光がアイポイントＥの近傍に位置する眼球２０１の中心に入射されるようになっている。眼球２０１からの反射した赤外光は、接眼レンズ１を通り、可視光透過・赤外光反射のハーフミラー２により受光レンズ４に導かれ、光電素子列６に入射するようになっている。
【００２７】図６は、光電素子列６面上の眼球反射像の一例を示したものである。
【００２８】また図２に示すように、Ｘ軸に直交すると共に、ハーフミラー２により受光レンズ４に導かれ、光電素子列６に入射される光の軸に平行な軸をＹ軸とし、Ｘ軸とＹ軸を含む平面に直交する軸をＺ軸とする。そして、光電素子列６においては、複数の光電素子列がＺ軸に平行な直線上に並べられている（図６参照）。
【００２９】図１に示した信号処理回路１０９は、眼球光軸検出回路，眼球判別回路，視線補正回路，注視点検出回路等（いずれも図示せず）により構成されている。ここで、眼球光軸検出回路は眼球光軸の回転角を求めるものである。また眼球判別回路は、ファインダ画面１０２を注視している眼球が左右のいずれであるかを判別するものである。視軸補正回路は、眼球光軸の回転角と眼球判別情報に基づき、視軸の補正を行うものである。さらに、注視点検出回路は、光学定数に基づき注視点を算出するものである。この信号処理回路１０９は例えばマイクロコンピュータのソフトウェアに従って実行される。
【００３０】図４に示すように、赤外発光ダイオード５ａ，５ｂからの光束についてみると、角膜反射像ｅと角膜反射像ｄがＺ軸と平行な方向にそれぞれ形成される。また、角膜反射像ｅと角膜反射像ｄの中点のＺ座標は、角膜２１の曲率中心ｏのＺ座標と一致している。
【００３１】図５に示すように、観察者の眼球光軸がＹ軸を中心に回動していない場合、すなわち、眼球光軸とＸ軸が一致している場合（角膜の曲率中心ｏと瞳孔の中心Ｃ′がＸ軸上にある）の角膜反射像ｅ（ｄ）は、Ｘ軸から＋Ｙ方向にずれて形成される。
【００３２】図３は、信号処理回路１０９による視線検出手順を示すフローチャートである。以下、本図に示す各ステップＳ１〜Ｓ１１を説明する。
【００３３】まず、信号処理回路１０９に内蔵されている眼球光軸検出回路により眼球光軸の回転角を検出し、光電素子列６から像信号を読み出す際に、図６において−Ｙ方向から順次読み出し、角膜反射像ｅ′，ｄ′が形成された光電素子列６の行Ｙｐ′を検出する（Ｓ１）。次に、角膜反射像ｅ′，ｄ′が形成された光電素子列６の列方向の発生位置Ｚｄ′，Ｚｅ′を検出する（Ｓ２）。
【００３４】光電素子列６の行Ｙｐ′から得られる出力信号の一例を図７に示す。
【００３５】次に、角膜反射像の間隔｜Ｚｄ′−Ｚｅ′｜から光学系の結像倍率βを求める（Ｓ３）。眼球からの反射像の結像倍率βは、角膜反射像ｅ，ｄの間隔が赤外発光ダイオード５ａ，５ｂと観察者の眼球との距離に比例して変化するため、光電素子列６上に再結像した角膜反射像の位置ｅ′，ｄ′を検出することにより求めることができる。
【００３６】そして、角膜反射像ｅ，ｄが再結像された光電素子列６の行Ｙｐ′上の虹彩２３と瞳孔２４の境界点Ｚ２ｂ′，Ａ２ａ′を検出し（Ｓ４）、行Ｙｐ′上の瞳孔径｜Ｚ２ｄ′−Ｚ２ａ′｜を算出する（Ｓ５）。
【００３７】通常、角膜反射像が形成される光電素子列６の行Ｙｐ′は、瞳孔中心Ｃ′が存在する光電素子列６の行Ｙ０′より図６において−Ｙ方向にずれている。像信号を読み出すべきもう１つの光電素子列の行Ｙ１′を結像倍率βと瞳孔径により算出する（Ｓ６）。行Ｙ１′は行Ｙｐ′から充分離れている。
【００３８】次に、光電素子列の行Ｙ１′上の虹彩２３と瞳孔２４の境界Ｚ１ｂ′，Ｚ１ａ′を検出し（Ｓ７）、境界点（Ｚ１ａ′，Ｙ１′），境界点（Ｚ１ｂ′，Ｙ１′），境界点（Ｚ２ａ′，Ｙｐ′），境界点（Ｚ２ｂ′，Ｙｐ′）のうち少なくとも３点を用いて瞳孔の中心位置Ｃ′（Ｚｃ′，Ｙｃ′）を求める。
【００３９】次に、角膜反射像の位置（Ｚｄ′，Ｙｐ′），（Ｚｅ′，Ｙｐ′）と、次式（４），（５）から眼球光軸の回転角θｚ，θｙを求める（Ｓ８）。
【００４０】
【数４】
β＊ＯＣ＊ｓｉｎθｚ≒Ｚｃ′−（Ｚｄ′＋Ｚｅ′）／２ …（４）
【００４１】
【数５】
β＊ＯＣ＊ｓｉｎθｙ≒Ｚｃ′−Ｙｐ′＋δＹ′ …（５）
ただし、δＹ′は赤外発光ダイオード５ａ，５ｂが受光レンズ４に対して光電素子列６の列方向の直交する方向に配置されていることにより、角膜反射像の再結像位置ｅ′，ｄ′が光電素子列６の上で角膜２１の曲率中心のＹ座標に対してＹ軸方向のズレを補正する補正値である。
【００４２】ついで、信号処理回路１０９に内蔵されている眼球判別回路により、例えば、算出される眼球光軸の回転角の分布からＥＶＦ１０１を覗いている観察者の眼が左右いずれかを判別し（Ｓ９）、眼球判別情報と眼球光軸の回転角に基づき視軸補正回路により視軸を補正し（Ｓ１０）、ファインダ光学系１００の光学定数に基づき、信号処理回路１０９に内蔵されている注視点検出回路により注視点を算出する（Ｓ１１）。
【００４３】図１に示したビデオカメラ部のＣＣＤイメージセンサ１１８から出力される電気信号は、カメラ信号処理回路１１６を経て映像信号となり、バンドパスフィルタ（ＢＰＦ）１１４とビデオ信号処理回路１４１とに供給される。ビデオ信号処理回路１４１からの出力信号は、記録信号としてＶＴＲ（ビデオテープレコーダ）１４０に送られ、磁気テープに記録される。
【００４４】一方、信号処理回路１０９内の上記注視点検出回路において検出された注視点情報は、ＡＦ制御回路１１０に送られる。ＡＦ制御回路１１０では、バンドパスフィルタ１１４により検出された撮像画面内の高周波成分信号の時系列変化により、その信号振幅が最大になるようにフォーカシングレンズ１２０をレンズ駆動回路１３１を介し駆動モータ（不図示）により駆動させ、ピントを合わせを行っている。
【００４５】さらに、ＡＦ制御回路１１０は撮像画面内の高周波成分信号のピーク位置も検出し、そのピーク位置を中心に所定の範囲で高周波成分の検出を行う被写体追尾も同時に行っている。ＡＦ制御回路１１０において設定された上記検出範囲は、測距枠表示回路１１２及びＥＶＦ表示回路１１１を介して実際にＥＶＦ１０１内のファインダ上に表示される（図１１参照）。
【００４６】図８は、ＡＦ制御回路１１０によるＡＦ制御手順を示す動作フローチャートである。以下、図示した各ステップＳ８０２〜Ｓ８１２について説明する。
【００４７】Ｓ８０２は、信号処理回路１０９に含まれている注視点処理回路より得られる注視点情報、すなわち、現在撮影者がファインダ画面内のどの位置を注視しているかという信号をファインダ内座標値Ｘ（ＩＰX ，ＩＰY ）で受け取るルーチンである（図１１参照）。
【００４８】Ｓ８０４は、Ｓ８０２で受け取った注視点位置座標Ｘ（ＩＰX ，ＩＰY ）を中心にして、所定の大きさの初期制御対象領域Ｗ（図１１参照）を設定するルーチンである。
【００４９】Ｓ８０６は、Ｓ８０４で設定した領域内の高周波成分が所定の大きさより大きいか否かを判断し、大きい時はＳ８０８の測距枠設定１ルーチンへ、小さいときはＳ８１０の測距枠設定２ルーチンへ制御を移行させるルーチンである。このＳ８０８，Ｓ８１０は測距枠設定ルーチンとして本実施例の主眼を成すところであり、後に詳細に説明する。
【００５０】Ｓ８１２は、Ｓ８０８，Ｓ８１０により設定された測距エリア内において、高周波成分の検出を行い、ＡＦ制御を行うルーチンである。
【００５１】次に、上述したＳ８０８，Ｓ８１０の測距枠設定ルーチンについて、図９，図１０および図１１を参照して説明する。
【００５２】図１１において、Ｗ，Ｗ１，Ｗ２はそれぞれ制御対象領域であり、Ｘは注視点座標である。以下、この記号を使って説明する。
【００５３】図９は、Ｓ８０６のルーチンで、初期制御対象領域Ｗ内の高周波成分が所定値より大きいと判断された場合の、測距枠設定１の処理手順を示す。
【００５４】図９において、Ｓ９００は、初期制御対象領域Ｗを所定量だけ縮小させるルーチンである。
【００５５】Ｓ９０２は、Ｓ９００で設定した新制御対象領域が最小制御対象領域Ｗ１より小さいか否かを判断し、小さい場合には、以降の制御を中止してＳ９０８のルーチンに制御を移行させるルーチンである。
【００５６】Ｓ９０４は、新制御対象領域内の高周波成分値が所定値より大きいか否かを判断し、大きい場合は、更に制御対象領域を小さくさせるため、再びＳ９００のルーチンへ制御を移行し、小さい場合は、次の測距枠最終設定ルーチンＳ９０６へ移行させるルーチンである。
【００５７】Ｓ９０６は、高周波成分の値が最後に所定値より小さくなった時に、制御対象領域を測距枠として設定するルーチンである。
【００５８】Ｓ９０８は、測距枠として最小制御対象領域Ｗ１に設定するルーチンである。
【００５９】図１０は、図８に示したＳ８０６ルーチンで、初期制御対象領域Ｗ内の高周波成分が所定値より小さいと判断された場合の、測距枠設定２の処理手順を示す。図１０において、Ｓ１０００は、制御対象領域Ｗを所定量だけ拡大させるルーチンである。
【００６０】Ｓ１００２は、Ｓ１０００で設定した制御対象領域が最大制御対象領域Ｗ２より大きいか否かを判断し、大きい場合には、移行の制御を中止してＳ１００８のルーチンに制御を移行させるルーチンである。
【００６１】Ｓ１００４は、新制御対象領域内の高周波成分値が所定値より大きいか否かを判断し、小さい場合は、更に制御対象領域を大きくさせるため、再びＳ１０００のルーチンへ制御を移行し、大きい場合は、次の測距枠最終設定ルーチン（Ｓ１００６）へ移行させるルーチンである。
【００６２】Ｓ１００６は、高周波成分の値が最後に所定値より大きくなった時の制御対象領域を測距枠として設定するルーチンである。
【００６３】Ｓ１００８は、測距枠として最大制御対象領域Ｗ２に設定するルーチンである。
【００６４】以上の如く、図９すなわち図８の測距枠設定１（Ｓ８０８）によれば、撮影者の注視点近傍で高周波成分値を監視しながら制御対象領域をできるだけ小さくすることにより、撮影者の意図しない被写体に合焦してしまう、いわゆる遠近競合を未然に防止することができる。また図１０すなわち図８の測距枠設定２（Ｓ８１０）によれば、撮影者の注視点位置で高周波成分値がＡＦ制御不可能な場合にそれが可能となるレベルに到達するまで、制御対象領域を拡大し、合焦の可能性を高めることができる。
【００６５】以上述べてきたように、本実施例においては、注視点追尾型ＡＦ機構が搭載されたビデオカメラにおいて、撮影者の注視点位置に意図する被写体がない場合でも、測距枠の大きさを最適に設定することにより、遠近競合、合焦不可能状態を未然に防ぎ、快適なＡＦ撮影を行うことが可能となる。
【００６６】実施例２第１の実施例では、１制御当たりの制御対象領域の拡大、縮小量は一定であったが、何もこれに限ることはなく、例えば制御対象領域内の高周波成分値により可変にしても良い。
【００６７】実施例３第１の実施例では、制御対象領域内の高周波成分の大小により測距枠設定を変えていたが、何もこれに限ることはなく、例えば被写体エッジ成分、あるいは、高周波成分の変化量に応じて測距枠設定を変えても良い。
【００６８】実施例４第１の実施例では、被写体追尾をＡＦ制御に応用した場合について述べたが、何もこれに限ることは無く、例えばＡＳ制御を行うために、視線による被写体追尾を手ブレ補正領域の検出に応用しても同等の効果が得られる。この場合においても、補正領域設定には制御対象領域内の高周波成分の大小を検出すれば良い。すなわちピントの合うところが補正対象となる。
【００６９】図１２は上記ＡＳ制御を行うための回路例であり、図１に示した回路と異なるところは、カメラ信号処理回路１１６の後段にＡ／Ｄ変換器２１４，１フィールド遅延回路２１５，メモリ２１２およびＡＳ制御回路２１０を設け、注視点情報に基づいて、補正枠の大きさを設定する（図１３のＳ１３０８，１３１０参照）ところにある。その他の動作は、第１の実施例と同等であるので、説明は省略する。
【００７０】実施例５以下に詳述する各実施例は、ビデオカメラ、ビデオレンズ、及びモニタ用のビューファインダを具備しているカメラ一体型のＶＴＲであって、前記ビューファインダの回りに視線検出装置を設けることにより、ＡＦ，ＡＥ，ＡＷＢ，ＡＳなど撮影者の撮影動作を補うための各種制御の中で、時事刻々と変化する被写体の位置を、撮影者が注視している位置として検出し、追尾させることにより、上記の各種制御を最適に行うことのできる装置において、視線検出装置の出力に基づいて設定された被写体追尾領域内で上記各種の制御を行うための制御信号が不十分な場合、被写体追尾領域自体の大きさは変えることなく、最初の注視点位置の近傍を検索し、上記の各種制御が可能となるよう再設定し、それに基づいてＡＦ，ＡＥ，ＡＷＢ，ＡＳなどの制御を行うものである。
【００７１】ここで説明する第５の実施例では、図１に示したブロック構成によりＡＦ制御を行うものである。
【００７２】図１４は、ＡＦ制御回路１１０によるＡＦ制御手順を示す動作フローチャートである。Ｓ１４０２は、信号処理回路１０９に内蔵されている注視点処理回路１０９より得られる注視点情報、すなわち、現在撮影者がファインダ画面のどの位置を注視しているかという信号をファインダ内座標値（ＩＰX ，ＩＰY ）で受け取るルーチンである。
【００７３】Ｓ１４０４は、Ｓ１４０２で受け取った注視点位置座標Ｘ（ＩＰX ，ＩＰY ）を中心にして、所定の大きさの初期制御対象領域Ｗ（図１６参照）を設定するルーチンである。
【００７４】Ｓ１４０６は、Ｓ１４０４で設定した領域内の高周波成分が所定の大きさより大きいか否かを判断し、大きい時はＳ１４０１へ、小さいときはＳ１４０８の測距枠設定ルーチンへ制御を移行させるルーチンである。
【００７５】Ｓ１４０８は、Ｓ１４０６で初期制御対象領域Ｗ内の高周波成分が所定値より小さいと判断された場合の測距枠設定ルーチンとして本実施例の主眼を成すところであり、後に詳細に説明する。
【００７６】Ｓ１４１０は、Ｓ１４０６で初期制御対象領域Ｗ内の高周波成分が所定値より大きいと判断された場合に、測距枠としてそれを設定するルーチンである。
【００７７】Ｓ１４１２は、Ｓ１４０８およびＳ１４１０により設定された測距エリア内において、高周波成分の検出を行い、ＡＦ制御を行うルーチンである。
【００７８】次に、本実施例の主眼を成すＳ１４０８の測距枠設定ルーチンについて、図１５および図１６を使用して説明する。
【００７９】図１６において、ＷおよびＷ１〜Ｗ８はそれぞれ制御対象領域であり、Ｘは注視点座標である。ここで、制御対象領域はすべて同じ大きさである。以下、この記号を使って説明する。
【００８０】図１５において、Ｓ１５００は初期制御対象領域ＷをＷ１へ移動させるルーチンである。
【００８１】Ｓ１５０２は、移動した位置での制御対象領域内の高周波成分値を記憶するルーチンである。
【００８２】Ｓ１５０４は、移動した位置が検索範囲の最終位置（Ｗ８）か否かを確認するルーチンであり、最終位置の場合、次の最大値検出ルーチンへ、そうでない場合は、再び制御対象領域を次の領域へ移動させる。
【００８３】Ｓ１５０６は、これまで記憶されているＷ１からＷ８での制御対象領域内の高周波成分最大値を検出し、その位置を明らかにするルーチンである。
【００８４】Ｓ１５０８は、Ｓ１５０６で明らかにされた高周波成分最大値の位置における制御対象領域を測距枠として設定するルーチンである。
【００８５】以上の如く、図１５すなわち図１４の測距枠設定アルゴリズム（Ｓ１４０８）によれば、撮影者の注視点位置で高周波成分値がＡＦ制御不可能な場合に、それが可能となるレベルを注視点近傍で制御対象領域を移動させて検索し、測距枠を高周波成分値が最大値の位置に設定し、合焦の可能性を高めることができる。
【００８６】以上述べてきたように、本実施例においては、注視点追尾型ＡＦが搭載されたビデオカメラにおいて、撮影者の注視点位置に意図する被写体がない場合でも、測距枠の位置を最適に設定することにより、合焦不可能状態を未然に防ぎ、快適なＡＦ撮影を行うことが可能となる。
【００８７】実施例６第５の実施例では、移動させる制御対象領域の大きさと初期制御対象領域の大きさは同じであったが、何もこれに限ることはなく、例えば重ならない程度に、移動させる制御対象領域の大きさを初期制御対象領域のそれより大きくしても良い。
【００８８】実施例７第５の実施例では、制御対象領域を移動させて高周波成分を検索していたが、何もこれに限ることはなく、例えば予め注視点近傍の大きなエリアをサンプリングし、その中で所定の領域内の高周波成分値同士を比較し、最大となる位置を検索しても良い。
【００８９】実施例８第５の実施例では、制御対象領域内の高周波成分値により測距枠設定を行っていたが、何もこれに限ることはなく、例えば被写体エッジ成分、あるいは、高周波成分の変化量に応じて測距枠設定を行っても良い。
【００９０】実施例９第５の実施例では、高周波成分が最大値を示す位置に測距枠を設定していたが、何もこれに限ることはなく、例えば、図１７のフローチャートに示すように、前回合焦制御を行った時に採用した高周波成分値に最も近い値を示す位置に測距枠を設定しても良い。
【００９１】実施例１０第５の実施例では、被写体追尾をＡＦに応用した場合について述べたが、何もこれに限ることは無く、例えばＡＳ制御を行うために図１２に示した回路を用い、視線による被写体追尾を手ブレ補正領域の検出に応用しても同等の効果が得られる。この場合においても、補正領域設定には図１８のフローチャートに示すように、制御対象領域内の高周波成分の大小を検出すれば良い。すなわちピントの合うところが補正対象となる。
【００９２】
【発明の効果】以上述べてきたとおり本発明によれば、注視点追尾機能を有する撮像装置において、注視点位置に意図する被写体が無い場合にも、制御対象領域の大きさあるいは位置を最適に設定することにより、より忠実に撮影者の意図を反映した各種の制御を実行させることが可能となる。
【図面の簡単な説明】
【図１】本発明の第１実施例であるカメラ一体型ＶＴＲの回路構成を示すブロック図である。
【図２】図１に示したファインダ光学系１００の配置例を示す斜視図である。
【図３】図１の信号処理回路１０９による視線検出手段の一例を示すフローチャートである。
【図４】Ｘ軸およびＺ軸を含む平面上の角膜反射像の位置の一例を示す光路図である。
【図５】Ｘ軸およびＹ軸を含む平面上の角膜反射像の位置の一例を示す光路図である。
【図６】眼球からの反射像の一例を示す平面図である。
【図７】図６に示した光電素子列の行Ｙｐ′から得られる出力信号の一例を示す波形図である。
【図８】図１に示したＡＦ制御回路１１０の動作手順を示すフローチャートである。
【図９】図８に示した測距枠設定１（Ｓ８０８）の詳細なフローチャートである。
【図１０】図８に示した測距枠設定２（Ｓ８１０）の詳細なフローチャートである。
【図１１】本実施例の測距枠設定を説明する図である。
【図１２】第４の実施例を示すブロック図である。
【図１３】第４の実施例におけるＡＳ制御手順を示すフローチャートである。
【図１４】第５の実施例におけるＡＦ制御を示すフローチャートである。
【図１５】図１４に示した測距枠設定（Ｓ１４０８）の詳細なフローチャートである。
【図１６】第５の実施例における測距枠設定を説明する図である。
【図１７】第９の実施例における測距枠設定処理を示すフローチャートである。
【図１８】第１０の実施例におけるＡＳ制御手順を示すフローチャートである。
【図１９】従来技術の説明図である。
【符号の説明】
ＥＤ 視線検出装置
５ａ，５ｂ 赤外発光ダイオード
６ 光電素子列
１００ ファインダ光学系
１０１ 電子ビューファインダ（ＥＶＦ）
１０２ ファインダ画面
１０９ 信号処理回路
１１０ ＡＦ（自動焦点）制御回路
１１１ ＥＶＦ表示回路
１１２ 測距枠表示回路
１１４ バンドパスフィルタ（ＢＰＦ）
１１６ カメラ信号処理回路
１１８ ＣＣＤイメージセンサ
１２０ フォーカシングレンズ
１３１ レンズ駆動回路
１４０ ＶＴＲ
１４１ ビデオ信号処理回路
【０００１】
【産業上の利用分野】本発明は、ビューファインダを備えた撮像装置に関するものである。
【０００２】更に詳述すれば本発明は、例えばビデオカメラと、ビデオレコーダと、モニタ用のビューファインダを有するカメラ一体型ＶＴＲに適用可能な、撮像装置に関するものである。
【０００３】
【従来の技術】従来より、観察者が観察面上のどの位置を観察しているかを検出する装置、いわゆる視線（視軸）を検出する装置が種々提案されている。
【０００４】例えば特開昭６１−１７２５５２号公報においては、光源からの平行光束を観察者の眼球の前眼部へ投射し、角膜からの反射光による角膜反射像と瞳孔の結像位置を利用して視軸を求めている。
【０００５】図１９は視線検出方法の原理説明図である。ここで、同図（Ａ）は視線検出光学系の概略図、同図（Ｂ）は光電素子列６からの出力信号の強度図である。また同図において、５は観察者に対して不感の赤外光を放射する発光ダイオードなどの光源であり、投光レンズ３の焦点面に配置されている。光源５より発光した赤外光は、投光レンズ３により平行光となりハーフミラー２で反射し、眼球２０１の角膜２１を照明する。このとき、角膜２１の表面で反射した赤外光の一部による角膜反射像ｄはハーフミラー２を透過し、受光レンズ４により集光され、光電素子列６上の位置Ｚｄ′に再結像する。
【０００６】また虹彩２３の端部ａ，ｂからの光束は、ハーフミラー２および受光レンズ４を介して、光電素子列６上の位置Ｚａ′，Ｚｂ′に該端部ａ，ｂの像を結像する。受光レンズ４の光軸（光軸ア）に対する眼球の光軸イの回転角θが小さい場合には、虹彩２３の端部ａ，ｂのＺ座標をＺａ，Ｚｂとしたとき、虹彩２３の中心位置ｃの座標Ｚｃは
【０００７】
【数１】
Ｚｃ＝（Ｚａ＋Ｚｂ）／２ …（１）
と表わされる。
【０００８】また、角膜反射像の発生位置ＤのＺ座標をＺｄ、角膜２１の曲率中心Ｏと虹彩２３の中心Ｃまでの距離をＯＣとすると、眼球光軸イの回転角θは、
【０００９】
【数２】
ＯＣ＊ｓｉｎθ＝Ｚｃ−Ｚｄ …（２）
の関係式を略満足する。
【００１０】ここで、角膜反射像の位置ｄのＺ座標Ｚｄと角膜２１の曲率中心ＯのＺ座標Ｚｏとは一致している。このため演算手段９において、同図（Ｂ）のごとく光電素子列６面上に投影された各特異点（角膜反射像ｄ及び虹彩の端部ａ，ｂ）の位置を検出することにより、眼球光軸イの回転角θを求めることができる。このとき（２）式は、
【００１１】
【数３】
β＊ＯＣ＊ｓｉｎθ＝（Ｚａ′＋Ｚｂ′）／２−Ｚｄ′ …（３）
と書き換えられる。ただし、βは角膜反射像の発生位置ｄと受光レンズ４との距離Ｌ１と、受光レンズ４と光電素子列６との距離Ｌ０とで決まる倍率であり、通常ほぼ一定の値となっている。
【００１２】一方、カメラ一体型ＶＴＲにおいては、撮影者が、撮影中に各種機能の入力を行おうとする際には、ビューファインダをのぞきながらその操作を行わなければならなかった。また、各種機能のスイッチを確認しながら操作するためには、一度ビューファインダから目を離さなければならず、その結果として、撮影画面が乱れたり、被写体を見失ったりする可能性がある。さらに近年に至り、ユーザ用途の多様化などでカメラ一体型ＶＴＲに付随する各種機能は増加する傾向にある。
【００１３】このような背景を鑑みるとき、例えば上述の視線検出装置を利用してビューファインダ内の視線を検出し、メニュー画面などを用いて各種機能の入力を行うようにすれば、ビューファインダから目を離すことなく、容易に機能入力を行うことが可能となる。
【００１４】また、例えばカメラ一体型ＶＴＲのオートフォーカス（以下、ＡＦという）、オートアイリスコントロール（以下、ＡＥという）、オートホワイトバランス（以下、ＡＷＢという）、自動手ブレ補正（以下、ＡＳという）など撮影動作を補うための各種制御を実行するに際して、時事刻々と変化する主被写体の位置と、撮影者が注視している位置とが一致しているものと想定し、視線検出装置により正確に主被写体を追尾させることができれば、撮影者の意図に反することの無い、より正確なＡＦ，ＡＥ，ＡＷＢ，ＡＳを実現させることができることになる。
【００１５】
【発明が解決しようとする課題】しかしながら、注視点位置に常に撮影者の意図する被写体があるとは限らないので、その様な場合はＡＦ，ＡＥ，ＡＷＢ，ＡＳ等の制御が著しく困難になるという欠点が生じる。
【００１６】よって本発明の目的は上述の点に鑑み、ビューファインダ内における注視点の位置と主被写体の位置が一致しなくなった場合にも、上記ＡＦ，ＡＥ，ＡＷＢ，ＡＳといった各種制御を的確に実行し得るよう構成した撮像装置を提供することにある。
【００１７】
【課題を解決するための手段】かかる目的を達成するために、本発明はビューファインダを備えた撮像装置において、前記ビューファインダ内における注視点を検出する注視点検出手段と、検出された前記注視点を含む所定領域を制御対象領域として設定する制御枠設定手段と、前記制御対象領域内における表示画像に予め定めた処理を施し、特定信号を抽出する信号処理手段と、抽出された前記特定信号に基づいて、前記制御対象領域の大きさ、および／または、位置を変化させる領域制御手段とを具備したものである。すなわち、本発明のひとつの形態として、抽出された前記特定信号に基づき、前記注視点を中心とした前記制御対象領域の大きさのみを変化させることが可能である。あるいは、その他の形態として、抽出された前記特定信号に基づき、前記制御対象領域の大きさを変化させることなく、該制御対象の位置のみを前記注視点の近傍で移動させることが可能である。
【００１８】更に加えて、前記特定信号を入力することにより自動焦点制御，自動アイリス制御，自動ホワイトバランス制御，自動手振れ補正制御のいずれかを行う手段を具備するのが好適である。
【００１９】
【作用】本発明の上記構成によれば、ＡＦ，ＡＥ，ＡＷＢ，ＡＳなど撮影動作を補うための各種制御を実行させるために、時事刻々と変化する被写体の位置を撮影者が注視している位置として検出し、追尾させることにより上記制御を行う場合、注視点検出手段により検出された注視点位置を囲む被写体追尾領域（すなわち、制御対象領域）の大きさを変化させ、あるいは、被写体追尾領域の大きさを変えることなく最初の注視点位置の近傍を検索し、その領域から得られた各種の制御信号に基づいてＡＦ，ＡＥ，ＡＷＢ，ＡＳなどを的確に実行させることが可能となる。かくして本発明によれば、注視点位置に被写体がまったく存在しない場合、あるいは撮影者の意図しない別の被写体が存在する場合でも的確なＡＦ，ＡＥ，ＡＷＢ，ＡＳが可能となり、快適な撮影を実現させることができる。
【００２０】
【実施例】以下、本発明の実施例を詳細に説明する。
【００２１】実施例１以下に詳述する各実施例は、ビデオカメラ、ビデオレンズ、及びモニタ用のビューファインダを具備しているカメラ一体型のＶＴＲであって、ビューファインダの回りに視線検出装置を設けることにより、ＡＦ，ＡＥ，ＡＷＢ，ＡＳなど撮影者の撮影動作を補うための各種制御の中で、時事刻々と変化する被写体の位置を、撮影者が注視している位置として検出し、追尾させることにより、上記の各種制御を最適に行うことのできる装置において、視線検出装置の出力に基づいて設定された被写体追尾領域内で上記の各種制御を行うための制御信号が不十分な場合、被写体追尾領域の大きさを上記の各種制御が可能となるように設定し、それに基づいてＡＦ，ＡＥ，ＡＷＢ，ＡＳなどの制御を行うものである。
【００２２】図１は、本発明の第１の実施例によるカメラ一体型ＶＴＲを示す。
【００２３】図１において、１０１は電子ビューファインダ（以下、ＥＶＦと略す）、１０２はファインダ画面である。
【００２４】ＥＤは視線検出装置であり、受光手段としての光電素子列６と、照明手段としての赤外発光ダイオード５ａ，５ｂと、ファインダ光学系１００と、信号処理回路１０９とにより構成されている。
【００２５】ファインダ光学系１００は、図２に拡大描画するとおり、光路分割用のハーフミラー２と、接眼レンズ１と、受光レンズ４とにより構成されている。ファインダ画面１０２からの光（映像）は可視光透過・赤外光反射のハーフミラー２を通過するとともに接眼レンズ１を通過してアイピース１０５内のアイポイントＥに導かれる。ここで、ファインダ画面１０２からアイポイントＥに入射される光の軸をＸ軸とする。
【００２６】赤外発光ダイオード５ａ，５ｂは接眼レンズ１の眼球２０１側上端部の近傍において、Ｘ軸に対して対象に配置され、赤外光がアイポイントＥの近傍に位置する眼球２０１の中心に入射されるようになっている。眼球２０１からの反射した赤外光は、接眼レンズ１を通り、可視光透過・赤外光反射のハーフミラー２により受光レンズ４に導かれ、光電素子列６に入射するようになっている。
【００２７】図６は、光電素子列６面上の眼球反射像の一例を示したものである。
【００２８】また図２に示すように、Ｘ軸に直交すると共に、ハーフミラー２により受光レンズ４に導かれ、光電素子列６に入射される光の軸に平行な軸をＹ軸とし、Ｘ軸とＹ軸を含む平面に直交する軸をＺ軸とする。そして、光電素子列６においては、複数の光電素子列がＺ軸に平行な直線上に並べられている（図６参照）。
【００２９】図１に示した信号処理回路１０９は、眼球光軸検出回路，眼球判別回路，視線補正回路，注視点検出回路等（いずれも図示せず）により構成されている。ここで、眼球光軸検出回路は眼球光軸の回転角を求めるものである。また眼球判別回路は、ファインダ画面１０２を注視している眼球が左右のいずれであるかを判別するものである。視軸補正回路は、眼球光軸の回転角と眼球判別情報に基づき、視軸の補正を行うものである。さらに、注視点検出回路は、光学定数に基づき注視点を算出するものである。この信号処理回路１０９は例えばマイクロコンピュータのソフトウェアに従って実行される。
【００３０】図４に示すように、赤外発光ダイオード５ａ，５ｂからの光束についてみると、角膜反射像ｅと角膜反射像ｄがＺ軸と平行な方向にそれぞれ形成される。また、角膜反射像ｅと角膜反射像ｄの中点のＺ座標は、角膜２１の曲率中心ｏのＺ座標と一致している。
【００３１】図５に示すように、観察者の眼球光軸がＹ軸を中心に回動していない場合、すなわち、眼球光軸とＸ軸が一致している場合（角膜の曲率中心ｏと瞳孔の中心Ｃ′がＸ軸上にある）の角膜反射像ｅ（ｄ）は、Ｘ軸から＋Ｙ方向にずれて形成される。
【００３２】図３は、信号処理回路１０９による視線検出手順を示すフローチャートである。以下、本図に示す各ステップＳ１〜Ｓ１１を説明する。
【００３３】まず、信号処理回路１０９に内蔵されている眼球光軸検出回路により眼球光軸の回転角を検出し、光電素子列６から像信号を読み出す際に、図６において−Ｙ方向から順次読み出し、角膜反射像ｅ′，ｄ′が形成された光電素子列６の行Ｙｐ′を検出する（Ｓ１）。次に、角膜反射像ｅ′，ｄ′が形成された光電素子列６の列方向の発生位置Ｚｄ′，Ｚｅ′を検出する（Ｓ２）。
【００３４】光電素子列６の行Ｙｐ′から得られる出力信号の一例を図７に示す。
【００３５】次に、角膜反射像の間隔｜Ｚｄ′−Ｚｅ′｜から光学系の結像倍率βを求める（Ｓ３）。眼球からの反射像の結像倍率βは、角膜反射像ｅ，ｄの間隔が赤外発光ダイオード５ａ，５ｂと観察者の眼球との距離に比例して変化するため、光電素子列６上に再結像した角膜反射像の位置ｅ′，ｄ′を検出することにより求めることができる。
【００３６】そして、角膜反射像ｅ，ｄが再結像された光電素子列６の行Ｙｐ′上の虹彩２３と瞳孔２４の境界点Ｚ２ｂ′，Ａ２ａ′を検出し（Ｓ４）、行Ｙｐ′上の瞳孔径｜Ｚ２ｄ′−Ｚ２ａ′｜を算出する（Ｓ５）。
【００３７】通常、角膜反射像が形成される光電素子列６の行Ｙｐ′は、瞳孔中心Ｃ′が存在する光電素子列６の行Ｙ０′より図６において−Ｙ方向にずれている。像信号を読み出すべきもう１つの光電素子列の行Ｙ１′を結像倍率βと瞳孔径により算出する（Ｓ６）。行Ｙ１′は行Ｙｐ′から充分離れている。
【００３８】次に、光電素子列の行Ｙ１′上の虹彩２３と瞳孔２４の境界Ｚ１ｂ′，Ｚ１ａ′を検出し（Ｓ７）、境界点（Ｚ１ａ′，Ｙ１′），境界点（Ｚ１ｂ′，Ｙ１′），境界点（Ｚ２ａ′，Ｙｐ′），境界点（Ｚ２ｂ′，Ｙｐ′）のうち少なくとも３点を用いて瞳孔の中心位置Ｃ′（Ｚｃ′，Ｙｃ′）を求める。
【００３９】次に、角膜反射像の位置（Ｚｄ′，Ｙｐ′），（Ｚｅ′，Ｙｐ′）と、次式（４），（５）から眼球光軸の回転角θｚ，θｙを求める（Ｓ８）。
【００４０】
【数４】
β＊ＯＣ＊ｓｉｎθｚ≒Ｚｃ′−（Ｚｄ′＋Ｚｅ′）／２ …（４）
【００４１】
【数５】
β＊ＯＣ＊ｓｉｎθｙ≒Ｚｃ′−Ｙｐ′＋δＹ′ …（５）
ただし、δＹ′は赤外発光ダイオード５ａ，５ｂが受光レンズ４に対して光電素子列６の列方向の直交する方向に配置されていることにより、角膜反射像の再結像位置ｅ′，ｄ′が光電素子列６の上で角膜２１の曲率中心のＹ座標に対してＹ軸方向のズレを補正する補正値である。
【００４２】ついで、信号処理回路１０９に内蔵されている眼球判別回路により、例えば、算出される眼球光軸の回転角の分布からＥＶＦ１０１を覗いている観察者の眼が左右いずれかを判別し（Ｓ９）、眼球判別情報と眼球光軸の回転角に基づき視軸補正回路により視軸を補正し（Ｓ１０）、ファインダ光学系１００の光学定数に基づき、信号処理回路１０９に内蔵されている注視点検出回路により注視点を算出する（Ｓ１１）。
【００４３】図１に示したビデオカメラ部のＣＣＤイメージセンサ１１８から出力される電気信号は、カメラ信号処理回路１１６を経て映像信号となり、バンドパスフィルタ（ＢＰＦ）１１４とビデオ信号処理回路１４１とに供給される。ビデオ信号処理回路１４１からの出力信号は、記録信号としてＶＴＲ（ビデオテープレコーダ）１４０に送られ、磁気テープに記録される。
【００４４】一方、信号処理回路１０９内の上記注視点検出回路において検出された注視点情報は、ＡＦ制御回路１１０に送られる。ＡＦ制御回路１１０では、バンドパスフィルタ１１４により検出された撮像画面内の高周波成分信号の時系列変化により、その信号振幅が最大になるようにフォーカシングレンズ１２０をレンズ駆動回路１３１を介し駆動モータ（不図示）により駆動させ、ピントを合わせを行っている。
【００４５】さらに、ＡＦ制御回路１１０は撮像画面内の高周波成分信号のピーク位置も検出し、そのピーク位置を中心に所定の範囲で高周波成分の検出を行う被写体追尾も同時に行っている。ＡＦ制御回路１１０において設定された上記検出範囲は、測距枠表示回路１１２及びＥＶＦ表示回路１１１を介して実際にＥＶＦ１０１内のファインダ上に表示される（図１１参照）。
【００４６】図８は、ＡＦ制御回路１１０によるＡＦ制御手順を示す動作フローチャートである。以下、図示した各ステップＳ８０２〜Ｓ８１２について説明する。
【００４７】Ｓ８０２は、信号処理回路１０９に含まれている注視点処理回路より得られる注視点情報、すなわち、現在撮影者がファインダ画面内のどの位置を注視しているかという信号をファインダ内座標値Ｘ（ＩＰX ，ＩＰY ）で受け取るルーチンである（図１１参照）。
【００４８】Ｓ８０４は、Ｓ８０２で受け取った注視点位置座標Ｘ（ＩＰX ，ＩＰY ）を中心にして、所定の大きさの初期制御対象領域Ｗ（図１１参照）を設定するルーチンである。
【００４９】Ｓ８０６は、Ｓ８０４で設定した領域内の高周波成分が所定の大きさより大きいか否かを判断し、大きい時はＳ８０８の測距枠設定１ルーチンへ、小さいときはＳ８１０の測距枠設定２ルーチンへ制御を移行させるルーチンである。このＳ８０８，Ｓ８１０は測距枠設定ルーチンとして本実施例の主眼を成すところであり、後に詳細に説明する。
【００５０】Ｓ８１２は、Ｓ８０８，Ｓ８１０により設定された測距エリア内において、高周波成分の検出を行い、ＡＦ制御を行うルーチンである。
【００５１】次に、上述したＳ８０８，Ｓ８１０の測距枠設定ルーチンについて、図９，図１０および図１１を参照して説明する。
【００５２】図１１において、Ｗ，Ｗ１，Ｗ２はそれぞれ制御対象領域であり、Ｘは注視点座標である。以下、この記号を使って説明する。
【００５３】図９は、Ｓ８０６のルーチンで、初期制御対象領域Ｗ内の高周波成分が所定値より大きいと判断された場合の、測距枠設定１の処理手順を示す。
【００５４】図９において、Ｓ９００は、初期制御対象領域Ｗを所定量だけ縮小させるルーチンである。
【００５５】Ｓ９０２は、Ｓ９００で設定した新制御対象領域が最小制御対象領域Ｗ１より小さいか否かを判断し、小さい場合には、以降の制御を中止してＳ９０８のルーチンに制御を移行させるルーチンである。
【００５６】Ｓ９０４は、新制御対象領域内の高周波成分値が所定値より大きいか否かを判断し、大きい場合は、更に制御対象領域を小さくさせるため、再びＳ９００のルーチンへ制御を移行し、小さい場合は、次の測距枠最終設定ルーチンＳ９０６へ移行させるルーチンである。
【００５７】Ｓ９０６は、高周波成分の値が最後に所定値より小さくなった時に、制御対象領域を測距枠として設定するルーチンである。
【００５８】Ｓ９０８は、測距枠として最小制御対象領域Ｗ１に設定するルーチンである。
【００５９】図１０は、図８に示したＳ８０６ルーチンで、初期制御対象領域Ｗ内の高周波成分が所定値より小さいと判断された場合の、測距枠設定２の処理手順を示す。図１０において、Ｓ１０００は、制御対象領域Ｗを所定量だけ拡大させるルーチンである。
【００６０】Ｓ１００２は、Ｓ１０００で設定した制御対象領域が最大制御対象領域Ｗ２より大きいか否かを判断し、大きい場合には、移行の制御を中止してＳ１００８のルーチンに制御を移行させるルーチンである。
【００６１】Ｓ１００４は、新制御対象領域内の高周波成分値が所定値より大きいか否かを判断し、小さい場合は、更に制御対象領域を大きくさせるため、再びＳ１０００のルーチンへ制御を移行し、大きい場合は、次の測距枠最終設定ルーチン（Ｓ１００６）へ移行させるルーチンである。
【００６２】Ｓ１００６は、高周波成分の値が最後に所定値より大きくなった時の制御対象領域を測距枠として設定するルーチンである。
【００６３】Ｓ１００８は、測距枠として最大制御対象領域Ｗ２に設定するルーチンである。
【００６４】以上の如く、図９すなわち図８の測距枠設定１（Ｓ８０８）によれば、撮影者の注視点近傍で高周波成分値を監視しながら制御対象領域をできるだけ小さくすることにより、撮影者の意図しない被写体に合焦してしまう、いわゆる遠近競合を未然に防止することができる。また図１０すなわち図８の測距枠設定２（Ｓ８１０）によれば、撮影者の注視点位置で高周波成分値がＡＦ制御不可能な場合にそれが可能となるレベルに到達するまで、制御対象領域を拡大し、合焦の可能性を高めることができる。
【００６５】以上述べてきたように、本実施例においては、注視点追尾型ＡＦ機構が搭載されたビデオカメラにおいて、撮影者の注視点位置に意図する被写体がない場合でも、測距枠の大きさを最適に設定することにより、遠近競合、合焦不可能状態を未然に防ぎ、快適なＡＦ撮影を行うことが可能となる。
【００６６】実施例２第１の実施例では、１制御当たりの制御対象領域の拡大、縮小量は一定であったが、何もこれに限ることはなく、例えば制御対象領域内の高周波成分値により可変にしても良い。
【００６７】実施例３第１の実施例では、制御対象領域内の高周波成分の大小により測距枠設定を変えていたが、何もこれに限ることはなく、例えば被写体エッジ成分、あるいは、高周波成分の変化量に応じて測距枠設定を変えても良い。
【００６８】実施例４第１の実施例では、被写体追尾をＡＦ制御に応用した場合について述べたが、何もこれに限ることは無く、例えばＡＳ制御を行うために、視線による被写体追尾を手ブレ補正領域の検出に応用しても同等の効果が得られる。この場合においても、補正領域設定には制御対象領域内の高周波成分の大小を検出すれば良い。すなわちピントの合うところが補正対象となる。
【００６９】図１２は上記ＡＳ制御を行うための回路例であり、図１に示した回路と異なるところは、カメラ信号処理回路１１６の後段にＡ／Ｄ変換器２１４，１フィールド遅延回路２１５，メモリ２１２およびＡＳ制御回路２１０を設け、注視点情報に基づいて、補正枠の大きさを設定する（図１３のＳ１３０８，１３１０参照）ところにある。その他の動作は、第１の実施例と同等であるので、説明は省略する。
【００７０】実施例５以下に詳述する各実施例は、ビデオカメラ、ビデオレンズ、及びモニタ用のビューファインダを具備しているカメラ一体型のＶＴＲであって、前記ビューファインダの回りに視線検出装置を設けることにより、ＡＦ，ＡＥ，ＡＷＢ，ＡＳなど撮影者の撮影動作を補うための各種制御の中で、時事刻々と変化する被写体の位置を、撮影者が注視している位置として検出し、追尾させることにより、上記の各種制御を最適に行うことのできる装置において、視線検出装置の出力に基づいて設定された被写体追尾領域内で上記各種の制御を行うための制御信号が不十分な場合、被写体追尾領域自体の大きさは変えることなく、最初の注視点位置の近傍を検索し、上記の各種制御が可能となるよう再設定し、それに基づいてＡＦ，ＡＥ，ＡＷＢ，ＡＳなどの制御を行うものである。
【００７１】ここで説明する第５の実施例では、図１に示したブロック構成によりＡＦ制御を行うものである。
【００７２】図１４は、ＡＦ制御回路１１０によるＡＦ制御手順を示す動作フローチャートである。Ｓ１４０２は、信号処理回路１０９に内蔵されている注視点処理回路１０９より得られる注視点情報、すなわち、現在撮影者がファインダ画面のどの位置を注視しているかという信号をファインダ内座標値（ＩＰX ，ＩＰY ）で受け取るルーチンである。
【００７３】Ｓ１４０４は、Ｓ１４０２で受け取った注視点位置座標Ｘ（ＩＰX ，ＩＰY ）を中心にして、所定の大きさの初期制御対象領域Ｗ（図１６参照）を設定するルーチンである。
【００７４】Ｓ１４０６は、Ｓ１４０４で設定した領域内の高周波成分が所定の大きさより大きいか否かを判断し、大きい時はＳ１４０１へ、小さいときはＳ１４０８の測距枠設定ルーチンへ制御を移行させるルーチンである。
【００７５】Ｓ１４０８は、Ｓ１４０６で初期制御対象領域Ｗ内の高周波成分が所定値より小さいと判断された場合の測距枠設定ルーチンとして本実施例の主眼を成すところであり、後に詳細に説明する。
【００７６】Ｓ１４１０は、Ｓ１４０６で初期制御対象領域Ｗ内の高周波成分が所定値より大きいと判断された場合に、測距枠としてそれを設定するルーチンである。
【００７７】Ｓ１４１２は、Ｓ１４０８およびＳ１４１０により設定された測距エリア内において、高周波成分の検出を行い、ＡＦ制御を行うルーチンである。
【００７８】次に、本実施例の主眼を成すＳ１４０８の測距枠設定ルーチンについて、図１５および図１６を使用して説明する。
【００７９】図１６において、ＷおよびＷ１〜Ｗ８はそれぞれ制御対象領域であり、Ｘは注視点座標である。ここで、制御対象領域はすべて同じ大きさである。以下、この記号を使って説明する。
【００８０】図１５において、Ｓ１５００は初期制御対象領域ＷをＷ１へ移動させるルーチンである。
【００８１】Ｓ１５０２は、移動した位置での制御対象領域内の高周波成分値を記憶するルーチンである。
【００８２】Ｓ１５０４は、移動した位置が検索範囲の最終位置（Ｗ８）か否かを確認するルーチンであり、最終位置の場合、次の最大値検出ルーチンへ、そうでない場合は、再び制御対象領域を次の領域へ移動させる。
【００８３】Ｓ１５０６は、これまで記憶されているＷ１からＷ８での制御対象領域内の高周波成分最大値を検出し、その位置を明らかにするルーチンである。
【００８４】Ｓ１５０８は、Ｓ１５０６で明らかにされた高周波成分最大値の位置における制御対象領域を測距枠として設定するルーチンである。
【００８５】以上の如く、図１５すなわち図１４の測距枠設定アルゴリズム（Ｓ１４０８）によれば、撮影者の注視点位置で高周波成分値がＡＦ制御不可能な場合に、それが可能となるレベルを注視点近傍で制御対象領域を移動させて検索し、測距枠を高周波成分値が最大値の位置に設定し、合焦の可能性を高めることができる。
【００８６】以上述べてきたように、本実施例においては、注視点追尾型ＡＦが搭載されたビデオカメラにおいて、撮影者の注視点位置に意図する被写体がない場合でも、測距枠の位置を最適に設定することにより、合焦不可能状態を未然に防ぎ、快適なＡＦ撮影を行うことが可能となる。
【００８７】実施例６第５の実施例では、移動させる制御対象領域の大きさと初期制御対象領域の大きさは同じであったが、何もこれに限ることはなく、例えば重ならない程度に、移動させる制御対象領域の大きさを初期制御対象領域のそれより大きくしても良い。
【００８８】実施例７第５の実施例では、制御対象領域を移動させて高周波成分を検索していたが、何もこれに限ることはなく、例えば予め注視点近傍の大きなエリアをサンプリングし、その中で所定の領域内の高周波成分値同士を比較し、最大となる位置を検索しても良い。
【００８９】実施例８第５の実施例では、制御対象領域内の高周波成分値により測距枠設定を行っていたが、何もこれに限ることはなく、例えば被写体エッジ成分、あるいは、高周波成分の変化量に応じて測距枠設定を行っても良い。
【００９０】実施例９第５の実施例では、高周波成分が最大値を示す位置に測距枠を設定していたが、何もこれに限ることはなく、例えば、図１７のフローチャートに示すように、前回合焦制御を行った時に採用した高周波成分値に最も近い値を示す位置に測距枠を設定しても良い。
【００９１】実施例１０第５の実施例では、被写体追尾をＡＦに応用した場合について述べたが、何もこれに限ることは無く、例えばＡＳ制御を行うために図１２に示した回路を用い、視線による被写体追尾を手ブレ補正領域の検出に応用しても同等の効果が得られる。この場合においても、補正領域設定には図１８のフローチャートに示すように、制御対象領域内の高周波成分の大小を検出すれば良い。すなわちピントの合うところが補正対象となる。
【００９２】
【発明の効果】以上述べてきたとおり本発明によれば、注視点追尾機能を有する撮像装置において、注視点位置に意図する被写体が無い場合にも、制御対象領域の大きさあるいは位置を最適に設定することにより、より忠実に撮影者の意図を反映した各種の制御を実行させることが可能となる。
【図面の簡単な説明】
【図１】本発明の第１実施例であるカメラ一体型ＶＴＲの回路構成を示すブロック図である。
【図２】図１に示したファインダ光学系１００の配置例を示す斜視図である。
【図３】図１の信号処理回路１０９による視線検出手段の一例を示すフローチャートである。
【図４】Ｘ軸およびＺ軸を含む平面上の角膜反射像の位置の一例を示す光路図である。
【図５】Ｘ軸およびＹ軸を含む平面上の角膜反射像の位置の一例を示す光路図である。
【図６】眼球からの反射像の一例を示す平面図である。
【図７】図６に示した光電素子列の行Ｙｐ′から得られる出力信号の一例を示す波形図である。
【図８】図１に示したＡＦ制御回路１１０の動作手順を示すフローチャートである。
【図９】図８に示した測距枠設定１（Ｓ８０８）の詳細なフローチャートである。
【図１０】図８に示した測距枠設定２（Ｓ８１０）の詳細なフローチャートである。
【図１１】本実施例の測距枠設定を説明する図である。
【図１２】第４の実施例を示すブロック図である。
【図１３】第４の実施例におけるＡＳ制御手順を示すフローチャートである。
【図１４】第５の実施例におけるＡＦ制御を示すフローチャートである。
【図１５】図１４に示した測距枠設定（Ｓ１４０８）の詳細なフローチャートである。
【図１６】第５の実施例における測距枠設定を説明する図である。
【図１７】第９の実施例における測距枠設定処理を示すフローチャートである。
【図１８】第１０の実施例におけるＡＳ制御手順を示すフローチャートである。
【図１９】従来技術の説明図である。
【符号の説明】
ＥＤ 視線検出装置
５ａ，５ｂ 赤外発光ダイオード
６ 光電素子列
１００ ファインダ光学系
１０１ 電子ビューファインダ（ＥＶＦ）
１０２ ファインダ画面
１０９ 信号処理回路
１１０ ＡＦ（自動焦点）制御回路
１１１ ＥＶＦ表示回路
１１２ 測距枠表示回路
１１４ バンドパスフィルタ（ＢＰＦ）
１１６ カメラ信号処理回路
１１８ ＣＣＤイメージセンサ
１２０ フォーカシングレンズ
１３１ レンズ駆動回路
１４０ ＶＴＲ
１４１ ビデオ信号処理回路
【特許請求の範囲】
【請求項１】 ビューファインダを備えた撮像装置において、前記ビューファインダ内における注視点を検出する注視点検出手段と、検出された前記注視点を含む所定領域を制御対象領域として設定する制御枠設定手段と、前記制御対象領域内における表示画像に予め定めた処理を施し、特定信号を抽出する信号処理手段と、抽出された前記特定信号に基づいて、前記制御対象領域の大きさ、および／または、位置を変化させる領域制御手段とを具備したことを特徴とする撮像装置。
【請求項２】 請求項１において、抽出された前記特定信号に基づき、前記注視点を中心とした前記制御対象領域の大きさのみを変化させることを特徴とする撮像装置。
【請求項３】 請求項１において、抽出された前記特定信号に基づき、前記制御対象領域の大きさを変化させることなく、該制御対象の位置のみを前記注視点の近傍で移動させることを特徴とする撮像装置。
【請求項４】 請求項１において、更に加えて、前記特定信号を入力することにより自動焦点制御，自動アイリス制御，自動ホワイトバランス制御，自動手振れ補正制御のいずれかを行う手段を具備したことを特徴とする撮像装置。
【請求項１】 ビューファインダを備えた撮像装置において、前記ビューファインダ内における注視点を検出する注視点検出手段と、検出された前記注視点を含む所定領域を制御対象領域として設定する制御枠設定手段と、前記制御対象領域内における表示画像に予め定めた処理を施し、特定信号を抽出する信号処理手段と、抽出された前記特定信号に基づいて、前記制御対象領域の大きさ、および／または、位置を変化させる領域制御手段とを具備したことを特徴とする撮像装置。
【請求項２】 請求項１において、抽出された前記特定信号に基づき、前記注視点を中心とした前記制御対象領域の大きさのみを変化させることを特徴とする撮像装置。
【請求項３】 請求項１において、抽出された前記特定信号に基づき、前記制御対象領域の大きさを変化させることなく、該制御対象の位置のみを前記注視点の近傍で移動させることを特徴とする撮像装置。
【請求項４】 請求項１において、更に加えて、前記特定信号を入力することにより自動焦点制御，自動アイリス制御，自動ホワイトバランス制御，自動手振れ補正制御のいずれかを行う手段を具備したことを特徴とする撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１３】
【図１６】
【図１２】
【図１４】
【図１５】
【図１８】
【図１９】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１３】
【図１６】
【図１２】
【図１４】
【図１５】
【図１８】
【図１９】
【図１７】
【公開番号】特開平７−１９１２５６
【公開日】平成７年（１９９５）７月２８日
【国際特許分類】
【出願番号】特願平５−３３１７７９
【出願日】平成５年（１９９３）１２月２７日
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【公開日】平成７年（１９９５）７月２８日
【国際特許分類】
【出願日】平成５年（１９９３）１２月２７日
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
[ Back to top ]