被写体認識機能付きカメラ
【課題】 被写体認識手段をカメラに搭載することを容易すると共に、被写体情報の認識精度や認識スピードを向上させ、操作性の良好なものにする。
【解決手段】 カメラの撮影モードを設定する撮影モード設定手段と、被写体を撮像する複数の画素からなるエリアセンサと、該エリアセンサの出力をもとに撮影する被写体情報を認識する被写体認識手段と、該被写体認識手段による認識結果に応じてカメラの撮影機能の制御を行う制御手段とを有し、前記被写体認識手段は、設定された撮影モードに応じて被写体情報を認識する為の認識アルゴリズムを変更（＃１０８〜＃１１１）する。
【解決手段】 カメラの撮影モードを設定する撮影モード設定手段と、被写体を撮像する複数の画素からなるエリアセンサと、該エリアセンサの出力をもとに撮影する被写体情報を認識する被写体認識手段と、該被写体認識手段による認識結果に応じてカメラの撮影機能の制御を行う制御手段とを有し、前記被写体認識手段は、設定された撮影モードに応じて被写体情報を認識する為の認識アルゴリズムを変更（＃１０８〜＃１１１）する。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、複数の画素からなるエリアセンサの出力を用いて撮影する被写体を認識する被写体認識手段を有する被写体認識機能付きカメラの改良に関するものである
【０００２】
【従来の技術】最近のカメラは機能の自動化が進み、例えば図２に示すような撮影モードダイヤル４３に設定可能な複数の撮影モードを持たせ、撮影者が撮影したいシーンに応じてそれに対応した絵表示の位置に該撮影モードダイヤル４３を設定すれば、あらかじめプログラミングしていた制御方法でカメラを動作させることができるようになっている。したがって、ユーザーは特にカメラの機能の知識がなくとも、撮りたい撮影シーンや状況に応じて絵表示の中から一つを選べば、後はシャッタを押すだけという簡便なものであった。
【０００３】しかし、撮影シーンは設定できても、被写体がどのようなもので、どこにあるのか、具体的には画面内での被写体の位置，大きさ，数などは判らないため、撮影したい被写体に最適な露出制御やオートフォーカスを行うことは正確にはできなかった。従って、ピント合わせも失敗のないようにある程度の被写界深度を持たせた絞りを固定して設定にしたりというように、あらかじめ決められたプログラム線図に沿ったＡＥ露出や、適していると思われるＡＦモードを選択するだけであった。また、逆光のシーンなどの背景と被写体に明るさの差がある場合には、被写体だけに露出を合わせることは難しかった。さらに別の面では、動きのある被写体を常に追尾して露出やオートフォーカスを合わせることも難しいものであった。
【０００４】そこで、撮影する被写体を認識する被写体認識手段を備えたカメラが望まれていた。例えば特開平６−１６０９４４号では、撮影モードの中で動体を撮影するのに適した撮影モードが選択されると、被写体追尾装置を自動的に作動させる制御手段を設けたカメラが提案されており、指定されたエリア内の被写界の色差信号を検出して、この変化によって主要被写体がどの位置に動いたかを検出するようになっている。
【０００５】
【発明が解決しようとする課題】しかしながら、このような色差信号による追尾方法だけでは被写体を正確に把握することはできず、特に被写体の多くを占める人物写真においては有効とならないと言う問題があった。一方では、顔を認識する技術はかなり多くの研究がみられ、カラー画像の中から顔を抽出する方法として、特開平８−６３５９７号など多くの提案がなされているが、いずれにおいても認識するまでの演算量が相当のものとなり、カメラという限られたスペース、マイコン能力、コストにおいてはこれらを実現することは難しいものがあった。特に認識スピードにおいてはシャッタを切るまでの僅かな時間の間に処理しなければならず、高速処理することがぜひとも必要であった。
【０００６】（発明の目的）本発明の第１の目的は、被写体認識手段をカメラに搭載することを容易すると共に、被写体情報の認識精度や認識スピードを向上させ、操作性の良好な被写体認識機能付きカメラを提供しようとするものである。
【０００７】本発明の第２の目的は、被写体情報の認識アルゴリズムを複雑にする事なく、撮影モードに応じて精度良く被写体情報の認識を行うことのできる被写体認識機能付きカメラを提供しようとするものである。
【０００８】本発明の第３の目的は、被写体情報の認識の為の負荷を軽減し、被写体認識手段をカメラに搭載することをより容易なものにすることのできる被写体認識機能付きカメラを提供しようとするものである。
【０００９】
【課題を解決するための手段】上記第１の目的を達成するために、請求項１に記載の発明は、カメラの撮影モードを設定する撮影モード設定手段と、被写体を撮像する複数の画素からなるエリアセンサと、該エリアセンサの出力をもとに撮影する被写体情報を認識する被写体認識手段と、該被写体認識手段による認識結果に応じてカメラの撮影機能の制御を行う制御手段とを有し、前記被写体認識手段は、設定された撮影モードに応じて、被写体情報を認識する為の認識アルゴリズムを変更する被写体認識機能付きカメラとするものである。
【００１０】また、上記第２の目的を達成するために、請求項２に記載の発明は、カメラの撮影モードを設定する撮影モード設定手段と、被写体を撮像する複数の画素からなるエリアセンサと、該エリアセンサの出力をもとに撮影する被写体情報を認識する被写体認識手段と、該被写体認識手段による認識結果に応じてカメラの撮影機能の制御を行う制御手段とを有し、前記被写体認識手段は、設定された撮影モードに応じて、被写体情報を認識する認識アルゴリズム及び該認識アルゴリズムを構成するパラメータを変更する被写体認識機能付きカメラとするものである。
【００１１】また、上記第３の目的を達成するために、請求項５に記載の発明は、カメラの撮影モードを設定する撮影モード設定手段と、被写体を撮像する複数の画素からなるエリアセンサと、該エリアセンサの出力をもとに撮影する被写体情報のうち少なくとも顔を認識する顔認識アルゴリズムを備えた被写体認識手段と、該被写体認識手段による認識結果に応じてカメラの撮影機能の制御を行う制御手段とを有し、前記被写体認識手段は、設定された撮影モードによっては前記顔認識アルゴリズムの動作を行わない被写体認識機能付きカメラとするものである。
【００１２】
【発明の実施の形態】以下、本発明を図示の実施の形態に基づいて詳細に説明する。
【００１３】図１は本発明を一眼レフカメラに適用した際の要部構成図である。同図において、１は撮影レンズ（簡略して４枚のみで図示）で、その構成レンズの一部１ａは焦点位置を調節するフォーカスレンズ、１ｂはぶれ補正用レンズである。ぶれ補正用レンズ１ｂは光軸Ｋと直交する平面において移動することが可能となっており、それによって該撮影レンズ１の結像面内で結像位置を変化させることによって公知の手ぶれ補正を行えるようになっている。２は主ミラーであり、ファインダ系による被写体像の観察状態と被写体像の撮影状態に応じて撮影光路へ斜設されあるいは待避される。３はサブミラーであり、主ミラー２を透過した光束をカメラボディの下方の後述する焦点検出装置６へ向けて反射する。４はシャッタ、５は撮影レンズ１の焦点面に位置するフィルムないし固体撮像素子である画像記録部材である。
【００１４】６は焦点検出装置であり、結像面近傍に配置された視野マスク６１、フィールドレンズ６２、反射ミラー６３，６６、二次結像レンズ６５、絞り６４、公知の位相差検出方式の焦点検出用ラインセンサ６７等から構成されている。焦点検出装置６は最近では画面の中央だけでなくその周辺においても複数の焦点検出点（スディフォーカス情報を検出する為の領域）を設けたものが実現されている。この実施の形態においても、このような複数の焦点検出点を備えた焦点検出装置を想定しているが、この点については既に公知な技術であり詳細な説明は省略する。７は撮影レンズ１の予定結像面に配置されたピント板、８はペンタプリズムである。９と１０はそれぞれファインダ観察面内の被写体輝度を測定するための結像レンズと測光センサであり、測光センサ１０は画面内の複数の領域を測光できるように複数のフォトダイオードから構成されている。１１はファインダ光路内に設けられた半透過ミラーであり、ファインダ光の一部は図１の上方に反射され、結像レンズ１２によって公知のエリアセンサ１３にピント板７に結像している被写体像を再結像する。一方、半透過ミラー１１を透過したファインダ光は接眼レンズ１４に導かれ、撮影者が被写体像を拡大して観察できるようになっている。１５はペンタプリズム８の前面に配置されたストロボユニットであり、発光時にはポップアップするリトラクタブル機構を備えている。１６は撮影者の手ぶれを検出するために光軸Ｋに対してピッチ方向とヨー方向の角速度を検出するように配置された振動ジャイロなどのぶれ検出センサである。
【００１５】３１は撮影レンズ１内に設けられた絞り、３２は絞り駆動装置、３３はフォーカスレンズ駆動用モータ、３４は駆動ギヤ等からなるフォーカスレンズ駆動装置である。３５はフォトカプラとフォーカスレンズ駆動装置３４に取り付けられたパルス板からなるエンコーダであり、フォーカスレンズ駆動装置３４の駆動量を検知してレンズ制御回路１０４に伝えており、該レンズ制御回路１０４はこの情報とカメラからフォーカスレンズ駆動量の情報に基づいてフォーカスレンズ駆動用モータ３３を所定量駆動させ、フォーカスレンズ１ａを合焦位置に移動させるようになっている。
【００１６】３６は撮影レンズ１の絶対位置を検出しカメラから被写体までの距離を得るための被写体距離検出装置であり、例えば至近位置から無限遠までを４bit 程度のコードパターンからなり、不図示のブラシ接点を用いて合焦位置での被写体距離が検出できるようになっている。３７は撮影レンズ１の焦点距離を検知する焦点距離検出装置であり、不図示のブラシ接点を用いてズーミングするレンズに応じた焦点距離情報が検出できるようになっている。３８はぶれ補正用レンズ１ｂを光軸Ｋに直交する平面において移動すさせるシフトレンズ駆動装置である。３９は公知のカメラとレンズとの電気的インターフェイスとなるマウント接点である。
【００１７】図２は、上記構成より成る一眼レフカメラの上面図である。
【００１８】同図において、４１はレリーズボタン、４２は外部モニター用ＬＣＤ、４３はカメラのメインスイッチと撮影モードの選択を行う撮影モードダイヤル、４４はセルフタイマ設定釦である。
【００１９】前記撮影モードダイヤル４３には設定可能な撮影モードが記されており、その中で、４３ａは絵文字で示されたようなシーンに適した撮影モードが設定されたイメージゾーンで、人物撮影に適したポートレイトモード，風景撮影に適した風景モード，接写撮影に適したクローズアップモード，動体写真に適したスポーツモードの４種類が揃えられている。本実施の形態においては、このイメージゾーンの何れかの撮影モードを撮影者が設定した時の動作を説明するものである。４３ｂはグリーンモードと言われる一般的な撮影を想定してカメラがあらかじめ所定の撮影機能を設定する撮影モードである。
【００２０】図３は、上記構成の一眼レフカメラに内蔵された電気回路の構成を示すブロック図であり、図１と同じ部材には同一の符号を付してある。
【００２１】カメラ本体に内蔵されたマイクロコンピュータの、カメラ制御用中央処理装置（以下、ＣＰＵと記す）１０１は、その内部において認識情報処理部１０１ａとＥＥＰＲＯＭ１０１ｂを備えている。そして、該ＣＰＵ１０１には、カメラの諸機能を制御するために各種制御回路が接続されている。
【００２２】測光回路１０２は、測光センサ１０からの信号を増幅後、対数圧縮，Ａ／Ｄ変換し、画面内の複数の領域に対応する各センサの輝度情報としてＣＰＵ１０１に送信する。焦点検出回路１０３は、画面内の複数の位置で位相差方式の焦点検出が行えるように複数組から成るラインセンサ６７からの出力をＡ／Ｄ変換し、ＣＰＵ１０１に送信する。レンズ１に配置されたレンズ制御回路１０４は、マウント接点３９を介してＣＰＵ１０１からの制御情報をもとにフォーカスレンズ駆動用モータ３３を制御すること、絞り駆動装置３１を制御すること、シフトレンズ駆動装置３８を制御することを司っている。
【００２３】ストロボ制御回路１０５は、ＣＰＵ１０１からのストロボ発光の信号を受けると内蔵ストロボ１５をポップアップさせるとともに、レリーズに同期して内蔵ストロボ１５を発光させ、調光センサ５５からの信号を受けてストロボ発光量を制御する。ＳＷ１はレリーズ釦４１の第一ストロークでＯＮし、測光，ＡＦ及び本発明の特徴の一つである被写体認識動作を開始させるためのスイッチ、ＳＷ２はレリーズ釦４１の第二ストロークでＯＮするカメラのレリーズスイッチである。SW-DIAL は撮影モードダイヤル４３内に設けられたダイヤルスイッチである。上記各スイッチ及び図示はしていないがカメラの各所に配置された各種スイッチの状態信号がＳＷ信号入力回路１０６に入力され、データバスによってＣＰＵ１０１に送信される。
【００２４】ＬＣＤ駆動回路１０７は、ＬＣＤ（液晶表示器）を表示駆動させるための公知の構成より成るもので、ＣＰＵ１０１からの信号に従い、絞り値，シャッタ秒時、設定した撮影モード等の表示を、モニター用ＬＣＤ４２や図示しないファインダ内表示用ＬＣＤに表示させる。シャッタ制御回路１０８は、通電すると先幕を走行させるシャッタマグネットＭｇ-1と後幕を走行させるシャッタマグネットＭｇ-2を制御し、感光部材に所定光量を露光させる。モータ制御回路１０９は、フィルムの巻き上げ，巻き戻しを行うモータＭ１と主ミラー２、シャッタ４のチャージを行うモータＭ２を制御すためのものである。上記のシャッタ制御回路１０８とモータ制御回路１０９によって一連のカメラのレリーズシーケンスが実行される。
【００２５】ぶれ検出センサ１６は、カメラの手ぶれによる角速度を出力し、ぶれ検出回路１１１はこの角速度を実際のぶれ量に変換して認識情報処理部１０１ａに送る。それとともに手ぶれ補正回路１１０に送り、該手ぶれ補正回路１１０は実際に手ぶれの補正量に相当するシフトレンズの駆動量を算出してＣＰＵ１０１に送信する。これを受けてＣＰＵ１０１は、前述のようにレンズ制御回路１０４に制御情報を送り、シフトレンズ駆動装置３８を介してぶれ補正用レンズ１ｂを制御して手ぶれ補正を行う。
【００２６】ここで、説明をわかりやすくするために記載したＣＰＵ１０１の内部で構成される認識情報処理部１０１ａへの接続について説明する。
【００２７】まず、前述のぶれ検出回路１１１が接続されており、手ぶれ量が情報信号として入力される。次に、レンズ内に設けた被写体距離検出装置３６、焦点距離検出装置３７の信号からレンズ位置検出回路１１２によって被写体距離情報と撮影レンズの焦点距離情報が入力されるようになっている。
【００２８】エリアセンサ１３は、主に被写体の顔情報を検出するために必要な画素数（約数１０万画素）を備えたカラーエリアセンサであり、公知のＣＣＤやＣ−ＭＯＳセンサから成り、センサ制御回路１１３にて公知の駆動方法で制御されている。センサ制御回路１１３に入力された被写体画像は画像処理回路１１４に送られてＡ／Ｄ変換され、認識情報処理部１０１ａにて必要に応じて図示しないメモリ部に記憶されるとともに、後述のアルゴリズムにしたがって被写体認識回路１１５と被写体像動きベクトル検出回路１１６にそれぞれ必要とする画像データとして供給される。被写体認識回路１１５には、撮影画面に相当する画像データが、被写体像動きベクトル検出回路１１６には、所定の時間差を持った画像データが、それぞれ出力される。
【００２９】前記被写体認識回路１１５では、例えば被写体に顔があれば、その大きさと数を検出する。また、風景であればどのような風景シーンであるかを検出するもので、詳細は後述のアルゴリズムの中で記載する。被写体像動きベクトル検出回路１１６では、複数の領域ごとの時間差のある画像データから２次元の相関演算を行い、動きベクトルを検出するもので、同じく詳細は後述のアルゴリズムの中で記載する。
【００３０】以上のように、ぶれ検出回路１１１，レンズ位置検出回路１１２，被写体認識回路１１５，動きベクトル検出回路１１６がそれぞれＣＰＵ１０１に接続され、認識情報処理部１０１ａに、カメラぶれ情報，レンズの焦点距離情報，被写体距離情報，被写体認識情報，被写体像の動きベクトル情報が入力されるようになっている。
【００３１】１１７は記録用の磁気ヘッドを含む認識情報記録回路であり、前記認識情報処理部１０１ａで最終的に検出された被写体情報を認識情報としてフィルムの磁気記録層に記録するものである。なお、勿論この磁気記録方法に限らず、ＥＥＰＲＯＭ、フラッシュメモリなどの半導体メモリや、ＭＯ，DVD-ROM などの光記録手段や、その他リムーバルな記録メディアでも良い。
【００３２】次に、上記のように構成された一眼レフカメラの動作について説明する。
【００３３】図４は、上記構成における一眼レフカメラの撮影動作までを示すフローチャートである。
【００３４】まず、ステップ＃１０１にて、撮影モードダイアル４３がＬＯＣＫボジションから外されてイメージゾーン４３ａの何れかの撮影モードが設定されると電源が供給され、カメラは撮影準備状態となる。次に、ステップ＃１０２にて、レリーズ釦４１の第一ストロークでＯＮするスイッチＳＷ１がＯＮしているかを検出し、ＯＮしていればステップ＃１０３へ進み、ＯＦＦであればステップ＃１０２の検出を繰り返す。ステップ＃１０３へ進むと、ここでは設定した撮影モードが何であるかを読み込み、ポートレイトモードであればステップ＃１０４へ、風景モードであればステップ＃１０５へ、接写モードであればステップ＃１０６へ、スポーツモードであればステップ＃１０７へ、それぞれ進む。
【００３５】ポートレイトモードであれば、ステップ＃１０４を介してステップ＃１０８に進み、ここでは被写体認識回路１１５が顔認識処理を行う。つまり、被写体認識回路１１５は、エリアセンサ１３により被写体像を所定のフレームレートで順次取り込むとともに、取り込んだ被写体画像から顔認識処理を行い、被写体像の顔の大きさ，数を判定する。この際、ポートレイトモードであることから、被写体認識処理は顔を認識するのに適したアルゴリズムで実行される。顔認識については詳細は後述する。次にステップ＃１１２へ進み、ＣＰＵ１０１はこの結果を前記被写体認識回路１１５より認識情報処理部１０１ａに取り込み、顔認識結果に応じてその被写体にあったＡＥプログラム線図でのＡＥ制御やＡＦ動作の制御内容について決定する。
【００３６】この制御内容の一例を、図５に示す。なお、図５の縦項目は認識した顔の数、横項目は顔領域の大きさを表している。
【００３７】まず、顔の数が一人でかつ顔領域の大きさが所定の大きさよりも大きいときには、ＡＥ（自動露出制御）は装着レンズの開放Ｆナンバーを基準に長焦点側になるとやや絞り込んでいく絞り優先ＡＥプログラムとする。これは一番人物中心となる写真で、顔だけにピントが合うように撮ることを優先に考えるが、装着レンズが長焦点になると顔の一部にしか合わなくなるのでやや絞り込むプログラムとしている。また、ＡＦ（オートフォーカス制御）は、顔領域に含まれる焦点検出点の平均のピント位置に合わせるようにレンズを駆動させることとする。
【００３８】顔領域の大きさが所定の大きさよりも小さい時には、ＡＥは、装着レンズの開放ＦＮｏ（Ｆナンバー）優先プログラムとし、ＡＦは、顔領域のなかで一番至近にあるものにピントを合わせるようにレンズを駆動させることとする。これも顔の大きさの割にはできるだけバックをぼかすように設定しているものである。
【００３９】なお、一人の場合はいずれにおいても内蔵ストロボ１５を強制発光させ、その調光補正量はマイナスの１段としている。これは被写体の瞳にキャッチライトを発生させる為に行うものである。
【００４０】次に、顔の数が二人から三人までであれば、前記ＡＥは、前述のような顔の大きさには関係なく各人にピントが合う絞り値で制御する被写界深度優先プログラムとする。また、ＡＦは、近点と遠点に対して「７：１０」で内分する位置にレンズを駆動するように設定する。これは、近点と遠点のそれぞれの人物のいずれにもピントが合い、それ以外の遠方の背景は極力ぼかすようにしたもので、複数の焦点検出点間でのディフォーカス量に応じていずれもが被写界深度内に入るような絞りを設定し、その絞り値優先のプログラムとしており、いわゆるポートレイト写真ではないが、かなり人物中心に捉えた撮影モードを設定する。
【００４１】次に、顔の数が四人以上、ないし不特定であれば顔の大きさには関係なく、ＡＥは、絞り値＝Ｆ８を基準として焦点距離に応じて絞り込む絞り優先ＡＥプログラムとしている。ＡＦは、各すべての顔の平均の位置にピントが合うようにレンズを駆動すさせることとする。これは、人物にすべてピントが合うのを基準にしながらも、人物と背景のいずれもがシャープに写るようにある程度絞り込んだ設定にし、かつ、焦点距離に応じて長焦点になるほど絞り込むようにしている。いわゆる全体的に人物も背景も調和の取れた写真が撮れるような集合写真的な撮影モードに設定するものである。
【００４２】このように、従来のカメラであればポートレイトモードを選んでも、ＡＥは開放ＦＮｏでの絞り優先ＡＥ、ＡＦはワンショットＡＦに固定されたものが、上記のように人物撮影においていろいろな被写体の状況に合わせて、より一層カメラの制御を最適化できるものである。
【００４３】図４に戻り、以上のようにしてポートレイトモードに設定したときの顔認識結果によるカメラの制御内容が決定されると、実際に制御を行うべくステップ＃１１６に進む。
【００４４】また、風景モードであった場合はステップ＃１０５を介してステップ＃１０９に進み、ここでは被写体認識回路１１５がシーン認識処理を行う。つまり、被写体認識回路１１５は、エリアセンサ１３により被写体像を所定のフレームレートで順次取り込むとともに、取り込んだ被写体画像からシーン認識処理を行い、被写体がどのような風景シーンであるかを認識する。この際、風景モードであることから被写体認識処理はどのような風景であるかを認識するのに適したアルゴリズムで実行される。シーン認識については詳細は後述する。次にステップ＃１１３へ進み、ＣＰＵ１０１はこの結果を前記被写体認識回路１１５より認識情報処理部１０１ａに取り込み、シーン認識結果に応じてそのシーンにあったＡＥ制御やＡＦ動作の制御内容について決定する。
【００４５】例えば、所定以上の面積をしめる緑の領域があれば、これは森林の風景であると認識されてくるので、測光センサの感度や人間の記憶色等を考慮してやや露出補正をオーバー側に掛ける（例えば0.３〜0.５段プラス）制御を行う。また、画面上部に所定以上の面積をしめる青の領域や高輝度の領域があれば、空を含んでいる風景と認識されてくるので、それに相当する測光領域の輝度情報は排除するか所定値より減ずる処置をとる事を行うようにする。ＡＦにおいては、所定の距離よりも近い位置にはピントを合わせないようにリミッターを設けるようにする。
【００４６】このように、従来のカメラであれば風景モードを選択しても、測光方式は通常の評価測光や平均測光の測光値でそのまま制御されるものが、風景撮影の被写体に合わせて、より一層カメラの制御を最適化できるものである。
【００４７】また、接写モードであった場合はステップ＃１０６を介してステップ＃１１０に進み、ここでは被写体認識回路１１５が物体認識処理を行う。つまり、被写体認識回路１１５はエリアセンサ１３により被写体像を所定のフレームレートで順次取り込むとともに、取り込んだ被写体画像から物体認識処理を行い、被写体のなかで主被写体となる物体の大きさと奥行きを認識する。この際、接写モードであることから被写体認識処理は物体の大きさを認識するのに適したアルゴリズムで実行される。物体認識については詳細は後述する。次にステップ＃１１４へ進み、ＣＰＵ１０１はこの結果を前記被写体認識回路１１５より認識情報処理部１０１ａを取り込み、物体認識結果に応じてそのシーンにあったＡＥ制御やＡＦ動作の制御内容について決定する。
【００４８】例えば、画面内において所定以上の面積をしめる物体の領域があり、かつ奥行きが所定以上ある物体であると認識された情報がくると、至近点から奥行き方向に約２／３いったところまでにピントが合うような被写界深度を持つ絞りに設定し、ＡＦも、それを満たす位置にレンズを駆動するようにする。それ以外の大きさと奥行きの物体の場合には、奥行き全部にピントが合う被写界深度を持つ絞りに設定し、ＡＦも、それを満たす位置にレンズを駆動するようにする。これは、接写対象の被写体はある程度よりも大きくなると全体にピントを合わせるためにはかなり絞り込まねばならず、実際に合わせる限界を超えてしまうことや、このような画面の多くを占める被写体を撮影する場合は全体にピントを合わせるようなことは接写写真の仕上がりとしてあまり適当でない場合が多いことによるものである。
【００４９】このように、従来のカメラであれば接写モードを選択しても被写界深度の深めの絞り値を固定とした絞り優先ＡＥ制御されるにすぎなかったが、上記のように接写撮影の対象となる被写体に合わせて、より一層カメラの制御を最適化できるものである。
【００５０】また、スポーツモードであった場合はステップ＃１０７を介してステップ＃１１１に進み、被写体像動きベクトル検出回路１１６が被写体像の動き検出処理を行う。つまり、被写体像動きベクトル検出回路１１６はエリアセンサ１３により被写体像を所定のフレームレートで順次取り込むとともに、取り込んだ被写体画像から被写体像の動き検出処理を行う。この際、スポーツモードであることから被写体認識処理は被写体が何であるかというのではなく、被写体の動きを検出するのに適したアルゴリズムで実行される。動き検出については詳細は後述する。次にステップ＃１１５へ進み、ＣＰＵ１０１はこの結果を被写像動き検出回路１１６より認識情報処理部１０１ａに取り込み、さらにぶれ検出センサ１６とぶれ検出回路１１１にてカメラの手ぶれによる角速度を実際のぶれ量に変換された情報を認識情報処理部１０１ａに取り込む。これにより、認識情報処理部１０１ａは前記被写体動きベクトルぶれ検出回路１１６にて得られた被写体画像の動きベクトル情報から、ぶれ検出回路１１１にて得られた手ぶれ情報を差し引き、実際の被写体の動き量を算出する。これは、前者の被写体像の動きベクトルは撮影者の手ぶれ量も含んで検出されるためである。こうして得られた被写体の動き検出結果に応じてそのシーンにあったＡＥ制御やＡＦ動作の制御内容について決定する。
【００５１】例えば、ＡＥは、被写体の動き量に応じて被写体ぶれを起こさないシャッタスピードに自動設定されるシャッタスピード優先ＡＥとなり、ＡＦは、常にディフォーカス検出を行い、それに合わせてピントを連続的に合わせていくサーボモードに設定するだけでなく、被写体の動く方向に応じて焦点検出点を乗り移らせる、いわゆる追尾モードを実行するように設定する。これは、スポーツモードにおいては動きのある被写体を最重点な対象として補足していこうというものである。
【００５２】このように、従来のカメラであればスポーツモードを選択しても絞りとシャッタスピードの組み合わせが標準のＡＥプログラムよりも高速シャッタ秒時側にセットされたシャッタスピード優先的な露出プログラムに一律に設定され、ＡＦモードもサーボモードに設定するだけであったが、上記のように動体撮影の際の被写体に合わせて、より一層カメラの制御を最適化できるものである。
【００５３】以上のようにしてステップ＃１１２〜＃１１５の各撮影モードに対応した認識情報処理によりＡＥ制御やＡＦ動作の制御内容について決定されると、実際にこの決定された制御内容に沿ってカメラが制御されることになる。
【００５４】上記ステップ＃１１２〜＃１１５のいずれかが実行されると次にステップ＃１１６に進み、焦点検出用ラインセンサ６６の出力を取り込み、各焦点検出点のディフォーカス量を算出する。そして、上記ステップ＃１１２〜＃１１５で決定された制御内容に沿って最終的にピントを合わせるべくディフォーカス量を算出する。そして、ステップ＃１１７に進み、ＣＰＵ１０１はレンズ制御回路１０４に信号を送ってフォーカスレンズ１ａを該ディフォーカス量に応じて所定量だけ駆動させ、レンズの焦点調節を行う。また、ワンショトかサーボかのいわゆるＡＦモードも設定する。次にステップ＃１１８にて、レンズ位置検出回路１１２からレンズ位置情報として焦点距離情報と被写体距離情報を取り込む。次にステップ＃１１９に進み、ＣＰＵ１０１は測光回路１０２に測光を行わせる。そして全測光領域の輝度を検出するとともに、上記ステップ＃１１２〜＃１１５で決定された制御内容にそって、特定領域の重み付けや露出補正をかける測光演算を行わせ、ＣＰＵ１０１はこれを取り込む。
【００５５】次にステップ＃１２０では、ＣＰＵ１０１は、ぶれ検出センサ１６を駆動し、ぶれ検出回路１１１にて実際のぶれ量に変換された情報を撮影モード設定回路１０１ａに取り込む。また、前記実際のぶれ量に変換された情報は手ぶれ補正回路１１０にも送られており、ここで実際に手ぶれの補正量に相当するシフトレンズの駆動量を算出され、ＣＰＵ１０１はこれも取り込む。次にステップ＃１２１にて、ＣＰＵ１０１はシフトレンズ駆動量をもとにレンズ制御回路１０４に制御情報を送り、シフトレンズ駆動装置３８を介してぶれ補正レンズ１ｂを制御し、手ぶれ補正を行う。
【００５６】次にステップ＃１２２にて、上記ステップ＃１１９にて得られた測光値と設定された撮影モードをもとに決定された露出値、すなわちシャッタ秒時と絞り値をＬＣＤ駆動回路１０７がモニター用ＬＣＤ４２に表示する。続くステップ＃１２３では、上記ステップ＃１１２〜＃１１５で決定された制御内容にそってストロボ撮影を必要とする状況であるかを判定し、必要であればステップ＃１２４にて内臓ストロボ１５をポップアップさせる。
【００５７】次のステップ＃１２５では、レリーズ釦４１の第二ストロークでＯＮするスイッチＳＷ２がＯＮしているかを検出し、ＯＦＦしていればステップ＃１０２に戻り、前述の動作を繰り返す。一方、ＯＮしていればステップ＃１２６に進み、カメラのレリーズシーケンスを実行する。具体的には、まずＣＰＵ１０１はモータ制御回路１０９を介してモータＭ２に通電して主ミラー２をアップさせ、レンズ制御回路１０３を介して絞り駆動装置３１を駆動し、所定の開口まで絞り込む。次に、シャッタ制御回路１０８にて所定のシャッタ秒時でシャッタを走行させ、必要であれば先幕が走行完了した時点で、ストロボ制御回路１０５を介して内臓ストロボ１５を発光させ、画像記録部材５への露光を終了させる。その後、モータＭ２に再度通電し、ミラーダウン，シャッタチャージを行うとともにモータＭ１にも通電して、フィルムの駒送りを行い、一連のレリーズシーケンスが終了する。
【００５８】また、銀塩フィルムのカメラであれば、この給送中に、ステップ＃１０８〜＃１１１の被写体認識動作と、上記ステップ＃１１２〜＃１１５の認識情報処理で得られた被写体情報の磁気書き込みを行う。なお、銀塩フィルム以外のＥＥＰＲＯＭ，フラッシュメモリなどの半導体メモリや、ＭＯ，DVD-ROM などの光記録手段や、その他リムーバルな記録メデアにおいては、スイッチＳＷ２がＯＮした直後に記録しても良いし、画像の記録もフィルムでなく電子撮像素子であれば撮影画像の記録の終了後でも構わない。
【００５９】以上説明したように、この実施の第１の形態においては、選択された撮影モードに応じて被写体認識（被写体の動き検知も含める）を行い、かつそれぞれのモードの特徴に応じた認識処理を行っている。
【００６０】次に、図４のステップ＃１０８〜＃１１１の各撮影モードでの被写体認識動作について、図６〜図１１を用いて詳述する。
【００６１】図６は、ポートレイトモードに設定されている時の被写体認識アルゴリズムである、ステップ＃１０８での顔認識を行うフローチャートである。
【００６２】この動作がスタートすると、被写体認識回路１１５はステップ＃２０１にてＥＥＰＲＯＭ１０１ｂから顔認識アルゴリズムに用いる各種パラメータを読み込み、不図示のメモリの所定のアドレスに格納する。なお、この認識アルゴリズムに用いるパラメータについては、他認識アルゴリズムと合わせてまとめて図７に示している。次にステップ＃２０２に進み、処理過程で発生する変数の初期化を行う。次いでステップ＃２０３に進み、顔認識を行う領域の初期設定を行う。ここではポートレイトモードである為、被写体はほぼ中央およびその近傍にあるもの、画面内の上部にある場合がほとんどである。特にカメラの姿勢によって、例えば縦位置撮影では画面上部の割合はかなり高くなる。そこで、画面内の上側領域を多く含む約５０％の領域を初期の認識対象領域として限定するようにパラメータを設定している。
【００６３】次にステップ＃２０４に進み、上記ステップ＃２０３で限定された領域のセンサの予備蓄積を行ったのち、数画素単位でまとめたブロック単位で読み出す。次にステップ＃２０５に進み、各ブロックの輝度が低輝度，中輝度，高輝度かを所定の閾値と比較した上で、比較的低輝度のブロック領域と中輝度の領域が隣接するブロック領域とその周辺領域のみを顔認識を行う領域として更に限定する。これは、人の顔の部分は概ね相対的に中輝度の領域であり、目や髪の毛が概ね低輝度の領域であり、背景には概ね高輝度の領域を含んでいる事によるものである。このように２段階で認識処理を行う領域を限定する事で、認識の処理負荷をかなり軽くしている。この閾値はパラメータとしてＥＥＰＲＯＭ１０１ｂに記憶されており、上記ステップ＃２０１において読み込まれたものである。
【００６４】次にステップ＃２０６に進み、顔認識を行うべくエリアセンサ１３に蓄積動作を行わせ、顔認識を行う領域の被写体画像の読み込み行う。そして、次のステップ＃２０７にて、読み込まれたエリアセンサ１３の各画素のＲ，Ｇ，Ｂの値から明度，色相，彩度，色度，色差といった色の特徴量を求める。ここで求める特徴量は、次のステップで肌色領域を判定すべく色空間での特徴量を求める事になる。次にステップ＃２０８に進み、これらの色の特徴量が予め定めた肌色の範囲内に入っていれば対象画素が肌色であると判定し、肌色領域を抽出する。ここで肌色とみなす色の領域はパラメータに設定されており、例えば測光センサ１０でフリッカーを検知していれば、蛍光燈と判断して肌色領域のパラメータを変化させたり、輝度そのものによって変化させて、光源が変わっても肌色抽出が行えるようにしている。
【００６５】次にステップ＃２０９に進み、肌色と判定された画素領域とその周辺領域からなる画像に対してエッジ検出処理を施す。エッジ検出処理としては幾つかの手法があるが、ここでは２階差分に基づく方法で行う。２階差分は連続空間上で２次微分に相当し、代表的に下記のように表される。
【００６６】
▽2 fij＝fi+1,j＋fi-1,j＋fi,j+1＋fi,j-1−４＊fi,j ・・・・ （１）
なお、fij は第ｉ行、第ｊ列の画素出力値（明度）を表し、▽2 fij はfij のラプラシアン（２次微分）を表すものとする。
【００６７】これを重み行列で表すと図８のようになり、この実施の形態の場合、対象画素を中心としてその周囲８画素を対象とした８近傍ラプラシアンを演算するものである。そして、この値が所定の閾値よりも大きければ対象画素をエッジ画素として２値化する。このように、２階差分を行ってエッジを検出すると差分出力のゼロクロス点を求める事になり、鋭いエッジでも緩やかなエッジでもエッジ強度に影響されずらく、エッジが検出しやすくなるが、反面ノイズに対して敏感になっている。しかし、本アルゴリズムでは肌色検出でかなり対象領域が限定される為、このような手法が効果的である。
【００６８】次にステップ＃２１０に進み、顔であるかの判定の為のマッチング処理を行う。ここでは入力画像のなかである部分画像（テンプレート）を動かしマッチするところを検出するテンプレートマッチングを用いるものとする。まず、大きさと長軸と短軸の比率の異なる複数の楕円の顔のテンプレートを作成する。顔の大きさのしきい値としては画面の中で誰であるか充分判り、人物中心の写真であると思われる程度（例えば全身が画面の１／２程度）の大きさとしておく。これらのテンプレートはあらかじめ作成しておき、図示しないメモリに記憶させておいても良い。顔テンプレートは楕円で２値化されたもので、実際の顔の輪郭とのマッチング度を上げるためにテンプレートの輪郭も数画素の幅を持たせている。さらにマッチング処理を続けて上記ステップ＃２０９で得られた顔候補のエッジ画像と顔テンプレートとのマッチング度を求める。マッチング度を求める測度としていくつかのものがあるが、例えば顔候補のエッジ画像をf(x,y)、テンプレートをt(x,y)、Ｒはテンプレートの全域とすると ∬R(f-t ）2 ｄｘｄｙ ……（２）
で算出される二乗誤差にて判定するものとする。このような方法で数種類の顔テンプレートをを用いてマッチング処理を行い、最もよく一致するテンプレートを対象画素に対して求める。
【００６９】次にステップ＃２１１に進み、算出した二乗誤差の値があらかじめ定めていた閾値より小さければ、対象画素を中心として最もよく一致する顔テンプレートでか囲まれる領域を顔領域であると判定してステップ＃２１２に進む。そして、このステップ＃２１２では、顔領域と判定された顔領域の数と大きさを求めてこれを出力し、図４のステップ＃１０８の顔認識処理が終了することなる。
【００７０】また、上記ステップ＃２１１で顔と判定される領域がなかった場合はステップ＃２１３に進み、今まで行ってきた顔認識の回数を判定する。所定の回数より少なければステップ＃２１４に進み、認識アルゴリズムのパラメータを前回の検出とは異ならせて再度認識処理行わせるべくパラメータを変更する。例えば、認識領域の限定範囲を広げる、肌色特徴量の幅を広げる、エッジ検出のしきい値を変更するなどを行い、ステップ＃２０２に進み、新たな認識パラメータで顔認識処理を行う。
【００７１】また、ステップ＃２１３にて既に所定回数の顔認識を実行している場合は、被写体にポートレイトモードとしてふさわしい被写体ではなかったと判定して、カメラの制御モードをグリーンモードに自動的に設定して、図４のステップ＃１１６に進む。グリーンモードはいわゆる公知の「カメラお任せモード」で、図２の４３ｂに示される撮影モードと同じ設定であり、ごく一般的な撮影に適した制御モードに設定される図９は、風景モードに設定されている時の被写体認識アルゴリズムである、図４のステップ＃１０９でのシーン認識を行うフローチャートである。
【００７２】この動作がスタートすると、被写体認識回路１１５はステップ＃３０１にてＥＥＰＲＯＭ１０１ｂからシーン認識アルゴリズムに用いる各種パラメータを読み込み、不図示のメモリの所定のアドレスに格納する。なお、前述と同じくこの認識アルゴリズムに用いるパラメータについては、まとめて図７に示している。次にステップ＃３０２に進み、処理過程で発生する変数の初期化を行う。そして、次のステップ＃３０３にて、シーン認識を行う領域の初期設定を行う。ここでは風景モードである為、特に認識領域の限定は行わずファインダで観察できるほぼ全領域を対象とすることになる。
【００７３】次にステップ＃３０４に進み、上記ステップ＃３０３で限定された領域のセンサの予備蓄積を行ったのち、数画素単位でまとめたブロック単位で読み出す。次いでステップ＃３０５にて、各ブロックの輝度が低輝度，中輝度，高輝度かを所定の閾値と比較するが、風景モードにおいては低輝度から高輝度まで被写体シーンが及んでいるため、この輝度領域による限定をかけることはなく、従ってこのステップを介しても特に限定しないようにパラメータを設定している。次のステップ＃３０６では、シーン認識を行うべくエリアセンサ１３に蓄積動作を行わせ、シーン認識を行う領域の被写体画像の読み込み行う。そして、次のステップ＃３０７にて、読み込まれたエリアセンサ１３の各画素のＲ，Ｇ，Ｂの値から明度，色相，彩度，色度，色差といった色の特徴量を求める。ここで求める特徴量は、次のステップで自然色領域を判定すべく色空間での特徴量を求める事になる。次にステップ＃３０８に進み、これらの色の特徴量が前記の予め定めた色の範囲内に入っていれば対象画素が自然色であると判定し、色領域を抽出する。ここで自然色とみなす色の領域はパラメータに設定されており、例えばここでは特に森林風景を抽出すべく緑から深緑の領域や空を抽出すべく青の領域を判定するようにパラメータを設定する。
【００７４】次にステップ＃３０９に進み、自然色と判定された画素領域とその周辺領域からなる画像に対してエッジ検出処理を施す。エッジ検出処理としては幾つかの手法があるか、ここでは画像の勾配を利用してエッジの検出を行い、よく知られている方法としてロバーツの勾配を用いる。
【００７５】
［（fi,j−fi+1,j+1）2 ＋（fi,j+1−fi+1,j）2 ］1/2 ・・・・（３）
定義から判るように、ロバーツの勾配は斜め方向のエッジ検出に適しており、これは風景のような自然シーンにおいても適当なものである。そして、この値が所定の閾値よりも大きければ対象画素をエッジ画素として２値化する。閾値としての勾配は比較的緩めにし、なだらかな変化においても検出するようにパラメータを設定してある。
【００７６】次にステップ＃３１０に進み、シーンを認識する領域抽出処理を行う。これもいくつかの手法があるが連結成分処理を行うものとする。エッジ処理によって作られた２値化画像のなかには雑音成分が含まれていることが多い。これら雑音的な小さい成分，突起，穴などは図形融合によって処理できる。あるいは、各連結成分の特徴量（面積や幅）を測り、その値がある閾値以下の成分を消去するようにして連結成分を作っていき、シーンとして特徴のある領域を抽出する。なお更に細線化処理によって線図形に変換して輪郭線抽出を行っても良い。
【００７７】次にステップ＃３１１に進み、抽出された領域があらかじめ定めていた閾値（ここでは画面にしめる大きさが５％以上）より大きければ、風景シーンとなる領域があると判定してステップ＃３１２に進む。ステップ＃３１２では、シーン領域と判定された領域（ここでは森林と思われる領域、空と思われる領域）の画面内のしめる位置を求めてこれを出力し、図４のステップ＃１０９のシーン認識処理が終了することなる。
【００７８】また、上記ステップ＃３１１で風景シーンと判定される領域がなかった場合はステップ＃３１３に進み、今まで行ってきたシーン認識の回数を判定し、所定の回数より少なければステップ＃３１４に進み、認識アルゴリズムのパラメータを前回の検出とは異ならせて再度認識処理行わせるべくパラメータを変更する。例えば自然色特徴量の幅を広げる、エッジ検出の閾値を変更するなどを行い、ステップ＃３０２に進み、新たな認識パラメータでシーン認識処理を再度行う。
【００７９】また、上記ステップ＃３１３にて既に所定回数のシーン認識を実行している場合は、被写体に風景モードとしてふさわしい被写体ではなかったと判定して、ここでもカメラの制御モードをグリーンモードに自動的に設定して、図４のステップ＃１１６に進む。
【００８０】このように、風景シーンの認識アルゴリズムは前述の顔認識アルゴリズムに対して認識アルゴリズムそのものをシーン検出にふさわしいものに変更したり、また同じアルゴリズムでもパラメータを変更して認識処理を行うようにして認識の精度を高めている。
【００８１】なお領域抽出の方法として、領域形成法（Region Growing）を行うとでも良い。これは小さい領域の集合に分割した初期分割からスタートし、隣接領域が併合しても一様な領域と見なせるかどうかを判定しながら併合処理を繰り返すもので、一様性の尺度としては領域境界部での濃度値の不連続性、領域内の濃度値の分布範囲、平均濃度からの最大偏差などがある。しかしながら認識アルゴリズムとしては精度は上がるが、演算能力としてかなりの負荷となってしまう。
【００８２】図１０は、接写モードに設定されている時の被写体認識アルゴリズムである、図４のステップ＃１１０での物体認識を行うフローチャートである。
【００８３】この動作がスタートすと、被写体認識回路１１５はステップ＃４０１にてＥＥＰＲＯＭから物体認識アルゴリズムに用いる各種パラメータを読み込み、不図示のメモリの所定のアドレスに格納する。次にステップ＃４０２に進み、処理過程で発生する変数の初期化を行う。次いでステップ＃４０３にて、シーン認識を行う領域の初期設定を行う。ここでは接写モードである為、被写体はほぼ中央部にあるものがほとんどであるが画面に占める割合はかなり大きい。そこで、画面内の中心約７０％の領域を初期の認識対象領域として限定するようにパラメータを設定している。
【００８４】次にステップ＃４０４に進み、上記ステップ＃４０３で限定された領域のセンサの予備蓄積を行ったのち、数画素単位でまとめたブロック単位で読み出す。そして、次のステップ＃４０５にて、各ブロックの輝度が低輝度，中輝度，高輝度かを所定の閾値と比較した上で、比較的低中輝度のブロック領域と高輝度の領域のみを顔認識を行う領域として更に限定する。基本的には低輝度領域を排除することになり、これは接写撮影を行う対象物は輝度を比較すると低い輝度であることはほとんどない事から限定したものである。
【００８５】次にステップ＃４０６に進み、物体認識を行うべくエリセンサ１３に蓄積動作を行わせ、物体認識を行う領域の被写体画像の読み込み行う。そして、次のステップ＃４０７にて、読み込まれたエリアセンサ１３の各画素のＲ，Ｇ，Ｂの値から明度，色相，彩度，色度，色差と言った色の特徴量を求める。ここで求める特徴量は次のステップで同色領域を判定すべく色空間での特徴量を求める事になる。次にステップ＃３０８に進み、これらの色の特徴量が前記の予め定めたいくつかの種類の色の範囲内に入っているもの同志をそれぞれ対象画素が同色であると判定し、同色領域を抽出する。ここで同色とみなす色の領域はパラメータに設定されている。
【００８６】次にステップ＃４０９に進み、同色と判定された画素領域とその周辺領域からなる画像に対してエッジ検出処理を施すが、ここではシーン認識の上記ステップ＃３０９と同じくロバーツの勾配を用いる。そして、この値が所定の閾値よりも大きければ対象画素をエッジ画素として２値化する。閾値としての勾配は上記ステップ＃３０９に比較してきつめに設定し、ある程度はっきりした変化において検出するようにパラメータを設定してある。
【００８７】次にステップ＃４１０に進み、物体を認識する領域抽出処理を行う。ここではステップ＃３１０と同じであり、説明を省略する。なお領域抽出の方法として、同色領域を抽出してからエッジ処理（閾値処理）を行ったが、色の特徴量を抽出し、同色の領域を抽出する段階で前述の領域形成法（Region Growing）を行うことでも良い。
【００８８】次にステップ＃４１１に進み、抽出された領域があらかじめ定めていた閾値（ここでは画面にしめる大きさが１０％以上）より大きければ、接写する対象物の領域があると判定してステップ＃４１２に進む。そして、このステップ＃４１２では、接写対象物と判定された領域の画面内のしめる位置と大きさを求めてこれを出力する。又合わせて焦点検出回路１０３から対象領域のデフォーカス量を複数求め、これよりおおよその奥行きを検出し出力する。これで図４のステップ＃１１０の物体認識処理が終了することなる。
【００８９】また、上記ステップ＃４１１で接写対象物と判定される領域がなかった場合はステップ＃４１３に進み、今まで行ってきた物体認識の回数を判定し、所定の回数より少なければステップ＃４１４に進み、認識アルゴリズムのパラメータを前回の検出とは異ならせて再度認識処理行わせるべくパラメータを変更する。例えば、同色と見なす特徴量の幅を広げる、エッジ検出の閾値を変更するなどを行い、ステップ＃４０２に進み、新たな認識パラメータで物体認識処理を行う。
【００９０】また、上記ステップ＃４１３にて既に所定回数の物体認識を実行している場合は、被写体は接写モードとしてふさわしい被写体はなかったと判定して、ここでもカメラの制御モードをグリーンモードに自動的に設定して、図４のステップ＃１１６に進む。
【００９１】このように、接写シーンの認識アルゴリズムは前述のシーン認識アルゴリズムに対してほぼ同じアルゴリズムを用いるが、認識のためのパラメータを変更して認識処理を行うようにして、物体をより精度良く認識できるように特化している。
【００９２】図１１は、スポーツモードに設定されている時の被写体認識アルゴリズムである、図４のステップ＃１１１での被写体の動き検出を行うフローチャートである。
【００９３】この動作がスタートすると、被写体認識回路１１５はステップ＃５０１にてＥＥＰＲＯＭから動き検出アルゴリズムに用いる各種パラメータを読み込み、不図示のメモリの所定のアドレスに格納する。そして、次のステップ＃５０２にて、処理過程で発生する変数の初期化を行う。次にステップ＃５０３に進み、シーン認識を行う領域の初期設定を行う。ここでは接写モードである為、被写体はほぼ中央部にあるものがほとんどである。画面に占める割合はそれほど大きくはないが被写体がかなり移動するので、ここでは画面内の中心約７０％の領域を初期の認識対象領域として限定するようにパラメータを設定している。
【００９４】次にステップ＃５０４に進み、動き検出を行うべくエリアセンサ１３に蓄積動作を行わせ、動き検出を行う領域の被写体画像の読み込み行う。ここでは前述の３アルゴリズムはエリアセンサ１３の予備蓄積を行っていたが、スポーツモードでは検出までの時間を極力短くしたいため、このステップを省略している。次にステップ＃５０５に進み、読み込まれたエリアセンサ１３の各画素のＲ，Ｇ，Ｂの値から輝度信号成分としてＧ成分のみを用いて画像に対してエッジ検出処理を施す。ここでも上記ステップ＃３０９と同じくロバーツの勾配を用いる。そして、この値が所定の閾値よりも大きければ対象画素をエッジ画素として２値化する。閾値としての勾配は上記ステップ＃３０９に比較してきつめに設定し、ある程度はっきりした変化において検出するようにパラメータを設定してある。
【００９５】次にステップ＃５０６に進み、検出されたエッジ画像を図示しない所定のメモリに記憶させる。次いでステップ＃５０７にて、次フレームの画像読み出しを行う。続くステップ＃５０８では、上記ステップ＃５０５と同じように輝度信号成分としてのＧ成分のみを用いて画像に対してエッジ検出処理を施す。次にステップ＃５０９に進み、前フレームのエッジ画像をメモリから読み出して今回のフレームの画像との相関を演算し、その相関値に基づいて画像の動きを検出する。算出式としては前フレームの画像fi-1(x,y) 、現フレームの画像fi(x,y) とするとずらし量ξ、ηにおいて min ΣΣ［fi-1（ｘ−ξ、ｙ−η）−fi（ｆｘ、ｙ) ］2 …（４）
又は min ΣΣ｜fi-1（ｘ−ξ、ｙ−η）−fi（ｆｘ、ｙ) ｜ …（４）’となり、これを求める事となる。
【００９６】具体的には、連続する２フレームの画像を比較するわけであるが、この比較はメモリに記憶させた画像データの読み出し位置を一画素づつずらしながら行う。両者の各画素の差の和を求め、その値を１画素ずらす毎に異なる領域に記憶していく。各画素の差の和はbit 比較を行い、異なるbit の数を数える事で行う。次ライン以降も同様の比較を行い、その際の各画素の差の和を１ライン目の値が記憶されている領域に加算していき、これが相関値となる。
【００９７】次にステップ＃５１０に進み、この相関値が最も小さくなったところを求めて、その領域における前回からの動きベクトル（動き量）とする。すなわち、相関値が最小になった際の垂直水平方向にずらした画素数が垂直水平方向の動き量となる。なおこのような手段ではなく、水平方向と垂直方向に射影像を作りその相関値（重心位置の移動量）から動きベクトルを求めても良い。
【００９８】次にステップ＃５１１に進み、動きベクトルが所定量よりも大きければステップ＃５１２に進み、動体被写体があると判定し動きベクトル量を出力する。これで図４のステップ＃１１１の動き検出処理が終了することなる。
【００９９】また、上記ステップ＃５１１で動きベクトルが所定量よりも小さければステップ＃５１３へ進み、スイッチＳＷ２がＯＮしているかを判定し、ＯＮしていればここでもカメラの制御モードをグリーンモードに自動的に設定して、図４のステップ＃１１６に進む。ＯＮしていなければ５０２へ戻り、動き検出を繰り返す。
【０１００】このように、スポーツモードではどのようなものであるかを認識するよりも動体であるかを検出する事になるが、その検出アルゴリズムは認識パラメータを変更する事によって行われている。
【０１０１】（実施の第２の形態）次に、本発明の実施の第２の形態について、図１２のフローチャートを用いて説明する。なお、一眼レフカメラの回路構成等は上記実施の第１の形態と同様であるものとする。
【０１０２】上記実施の第１の形態では、すべての撮影モードにおいて被写体認識処理を行ったが、カメラに搭載しうるＣＰＵの限られた演算能力では難しいものがある。そこで、この実施の第２の形態においては、一般的な撮影の主体である人物を撮影すると思われる撮影モードにおいてのみ被写体認識処理を行うものである。
【０１０３】図１２において、ステップ＃６０１にて、撮影モードダイアル４３がＬＯＣＫボジションから外されてイメージゾーン４３ａの何れかの撮影モードが設定されて電源が供給され、カメラは撮影準備状態となる。次にステップ＃６０２にて、レリーズ釦４１の第一ストロークでＯＮするスイッチＳＷ１がＯＮしているかを検出し、ＯＮしていればステップ＃６０３へ進み、ＯＦＦであればステップ＃６０２の検出を繰り返す。
【０１０４】ステップ＃６０３に進むと、セルフタイマ設定釦４４が押されてセルフタイマモードに設定されているかを設定されているかを判定し、セルフタイマモードであればステップ＃６０９へ進み、ここでは被写体認識回路１１５が顔認識処理を行う。つまり、被写体認識回路１１５は、エリアセンサ１３により被写体像を所定のフレームレートで順次取り込むとともに、取り込んだ被写体画像から顔認識処理を行い、被写体像の顔の大きさ，数を判定する。これは、上記実施の第１の形態のポートレイトモードが設定された時と同じであり、セルフタイマ撮影の際はほとんど人物写真である事から強制的に顔認識処理を行い、セルフタイマ撮影の機能を高めるとともに撮影者の操作性を簡便にしたものである。
【０１０５】また、設定されていなければステップ＃６０４に進み、設定した撮影モードが何であるかを読み込み、ポートレイトモード（＃６０５）か、風景モード（＃６０６）か、接写モード（＃６０７）か、スポーツモード（＃６０８）かのいずれかに進む。
【０１０６】ポートレイトモードであった場合はステップ＃６０５を介してステップ＃６０９に進み、上記実施の第１の形態と同じ動作を行う。また、風景モードか、接写モードか、スポーツモードであれば、ステップ＃６０６，＃６０７，＃６０８を介してステップ＃６１１〜＃６１３で公知の撮影プログラムを設定する。
【０１０７】例えば、風景モードであれば、「ＡＥプログラム＝開放Ｆナンバー」と「１／焦点距離」のポイントから、「Ｔｖ：Ａｖ＝１：２」の比率で変化するプログラム，「ＡＦモード＝ワンショットＡＦ」、「給送モード＝１駒撮り」、「測光モード＝平均測光」というような風景モードプログラムをステップ＃６１１で設定する。
【０１０８】接写モードであれば、「ＡＥプログラム＝被写界深度が深めの絞り優先プログラム」、「ＡＦモード＝ワンショットＡＦ」、「給送モード＝１駒撮り」、「測光モード＝部分測光」というような接写モードプログラムをステップ＃６１２で設定する。また、スポーツモードであれば、「高速側シャッタ秒時側にセットされたシャッタースピード優先的露出プログラム」、「ＡＦモード＝サーボＡＦ」、「給送モード＝連続撮影」、「測光モード＝中央部重点測光」というようなスポーツモードプログラムをステップ＃６１３で設定する。
【０１０９】以上のように設定されると、次にステップ＃６１４に進み、以下のステップ＃６１４〜＃６２５が実行されるが、これらについては上記実施の第１の形態における図４のステップ＃１１６〜＃１２７と同様であるので説明は省略する。
【０１１０】このように、被写体認識処理を顔認識だけに限定し、かつ人物シーンを撮影すると想定できる撮影モードを選択した時のみ機能させるようにしたので、搭載するＣＰＵの負荷が減り、より容易に被写体認識をカメラに搭載できるとともに、すべての撮影シーンにおいて被写体認識機能をの効果を発揮は出来ないものの、多くの撮影シーンで満足の行く結果が引き出せるものとなっている。
【０１１１】なお、セルフモードに限らず公知のリモコン撮影モードにおいても顔認識処理を施すように、この実施の第２の形態を構成しても良い。また、風景モード等の撮影モードだけでなく、ＡＦモードがサーボモードに設定されたり、給送モードが連続撮影モードに設定された時には被写体認識処理を施さないように、この実施の第２の形態を構成しても良い。
【０１１２】以上の実施の各形態によれば、ポートレイトモード、風景モード、接写モードもしくはスポーツモードの何れの撮影モードが設定されているかに応じて、被写体認識回路１１５や被写体像動きベクトル検出回路１１６における認識アルゴリズムを変更するようにしている（図４のステップ＃１０８〜＃１１１、図１２のステップ＃６０９）ので、カメラへの認識手段の搭載が容易なものになり、認識精度や認識スピードを向上させることができ、これによって更に高度なカメラ制御を行なわせ、操作性の良いカメラを提供する事ができる。
【０１１３】また、設定された撮影モードに応じて、被写体認識回路１１５や被写体像動きベクトル検出回路１１６における認識アルゴリズムを構成するパラメータ（図７参照）を変更しているので、認識アルゴリズムを複雑にする事なく、撮影モードに応じて精度良く被写体を認識させることができる。
【０１１４】また、セルフモードやポートレイトモード以外の撮影モードが設定された場合には、前記顔認識アルゴリズムの動作を禁止するようにしているので、より容易にカメラへの認識手段の搭載を可能として、これによって撮影者はシャッタチャンスや画面の構図取りに専念する事ができ、より良好な写真が撮影できる。
【０１１５】（発明と実施の形態の対応）上記実施の各形態において、モードダイヤル４３、セルフタイマ設定釦４４が本発明の撮影モード設定手段に相当し、被写体認識回路１１５と被写体像動きベクトル検出回路１１６が本発明の被写体認識手段に相当し、ＣＰＵ１０１（認識情報処理部１０１ａ）が本発明の制御手段に相当する。
【０１１６】なお本発明は、これらの実施の形態の構成に限定されるものではなく、請求項で示した機能、または実施の形態がもつ機能が達成できる構成であれば、どのようなものであっても良いことは言うまでもない。
【０１１７】また本発明は、一眼レフカメラに適用した例を述べているが、ビデオカメラや電子スティルカメラなどの種々の形態の撮像装置に対しても適用できるものである。
【０１１８】
【発明の効果】以上説明したように、請求項１に記載の発明によれば、被写体認識手段をカメラに搭載することを容易すると共に、被写体情報の認識精度や認識スピードを向上させ、操作性の良好な被写体認識機能付きカメラを提供できるものである。
【０１１９】また、請求項２に記載の発明によれば、被写体情報の認識アルゴリズムを複雑にする事なく、撮影モードに応じて精度良く被写体情報の認識を行うことができる被写体認識機能付きカメラを提供できるものである。
【０１２０】また、請求項５に記載の発明によれば、被写体情報の認識の為の負荷を軽減し、被写体認識手段をカメラに搭載することをより容易なものにすることができる被写体認識機能付きカメラを提供できるものである。
【図面の簡単な説明】
【図１】本発明の実施例における被写体認識機能を備えたカメラに適用した際の要部構成図である。
【図２】図１のカメラの上面図である
【図３】図１のカメラの電気回路の構成を示したブロック図である
【図４】図１のカメラにおいて撮影動作までを示したフローチャートである。
【図５】図１のカメラにおいて顔認識結果によるカメラの制御例を示した図である。
【図６】図１のカメラにおいてポートレイトモードでの被写体認識のフローチャートである。
【図７】図１のカメラにおいて被写体認識動作で用いる認識パラメータを示した図である。
【図８】図１のカメラにおいて８近傍ラプラシアンの行列式である。
【図９】図１のカメラにおいて風景モードでの被写体認識のフローチャートである。
【図１０】図１のカメラにおいて接写モードでの被写体認識のフローチャートである。
【図１１】図１のカメラにおいてスポーツモードでの被写体認識のフローチャートである。
【図１２】本発明の実施の第２の形態におけるカメラの各撮影モードでの撮影動作を示す。
【符号の説明】
６ 焦点検出装置
１０ 測光センサ
１３ エリアセンサ
１６ ぶれ検出センサ
４３ 撮影モードダイヤル
１０４ 測光回路
１０１ ＣＰＵ
１０１ａ 認識情報処理部
１０４ レンズ制御回路
１１１ ぶれ検出回路
１１２ レンズ位置検出回路
１１５ 認識情報処理回路
１１６ 被写体像動きベクトル検出回路
【０００１】
【発明の属する技術分野】本発明は、複数の画素からなるエリアセンサの出力を用いて撮影する被写体を認識する被写体認識手段を有する被写体認識機能付きカメラの改良に関するものである
【０００２】
【従来の技術】最近のカメラは機能の自動化が進み、例えば図２に示すような撮影モードダイヤル４３に設定可能な複数の撮影モードを持たせ、撮影者が撮影したいシーンに応じてそれに対応した絵表示の位置に該撮影モードダイヤル４３を設定すれば、あらかじめプログラミングしていた制御方法でカメラを動作させることができるようになっている。したがって、ユーザーは特にカメラの機能の知識がなくとも、撮りたい撮影シーンや状況に応じて絵表示の中から一つを選べば、後はシャッタを押すだけという簡便なものであった。
【０００３】しかし、撮影シーンは設定できても、被写体がどのようなもので、どこにあるのか、具体的には画面内での被写体の位置，大きさ，数などは判らないため、撮影したい被写体に最適な露出制御やオートフォーカスを行うことは正確にはできなかった。従って、ピント合わせも失敗のないようにある程度の被写界深度を持たせた絞りを固定して設定にしたりというように、あらかじめ決められたプログラム線図に沿ったＡＥ露出や、適していると思われるＡＦモードを選択するだけであった。また、逆光のシーンなどの背景と被写体に明るさの差がある場合には、被写体だけに露出を合わせることは難しかった。さらに別の面では、動きのある被写体を常に追尾して露出やオートフォーカスを合わせることも難しいものであった。
【０００４】そこで、撮影する被写体を認識する被写体認識手段を備えたカメラが望まれていた。例えば特開平６−１６０９４４号では、撮影モードの中で動体を撮影するのに適した撮影モードが選択されると、被写体追尾装置を自動的に作動させる制御手段を設けたカメラが提案されており、指定されたエリア内の被写界の色差信号を検出して、この変化によって主要被写体がどの位置に動いたかを検出するようになっている。
【０００５】
【発明が解決しようとする課題】しかしながら、このような色差信号による追尾方法だけでは被写体を正確に把握することはできず、特に被写体の多くを占める人物写真においては有効とならないと言う問題があった。一方では、顔を認識する技術はかなり多くの研究がみられ、カラー画像の中から顔を抽出する方法として、特開平８−６３５９７号など多くの提案がなされているが、いずれにおいても認識するまでの演算量が相当のものとなり、カメラという限られたスペース、マイコン能力、コストにおいてはこれらを実現することは難しいものがあった。特に認識スピードにおいてはシャッタを切るまでの僅かな時間の間に処理しなければならず、高速処理することがぜひとも必要であった。
【０００６】（発明の目的）本発明の第１の目的は、被写体認識手段をカメラに搭載することを容易すると共に、被写体情報の認識精度や認識スピードを向上させ、操作性の良好な被写体認識機能付きカメラを提供しようとするものである。
【０００７】本発明の第２の目的は、被写体情報の認識アルゴリズムを複雑にする事なく、撮影モードに応じて精度良く被写体情報の認識を行うことのできる被写体認識機能付きカメラを提供しようとするものである。
【０００８】本発明の第３の目的は、被写体情報の認識の為の負荷を軽減し、被写体認識手段をカメラに搭載することをより容易なものにすることのできる被写体認識機能付きカメラを提供しようとするものである。
【０００９】
【課題を解決するための手段】上記第１の目的を達成するために、請求項１に記載の発明は、カメラの撮影モードを設定する撮影モード設定手段と、被写体を撮像する複数の画素からなるエリアセンサと、該エリアセンサの出力をもとに撮影する被写体情報を認識する被写体認識手段と、該被写体認識手段による認識結果に応じてカメラの撮影機能の制御を行う制御手段とを有し、前記被写体認識手段は、設定された撮影モードに応じて、被写体情報を認識する為の認識アルゴリズムを変更する被写体認識機能付きカメラとするものである。
【００１０】また、上記第２の目的を達成するために、請求項２に記載の発明は、カメラの撮影モードを設定する撮影モード設定手段と、被写体を撮像する複数の画素からなるエリアセンサと、該エリアセンサの出力をもとに撮影する被写体情報を認識する被写体認識手段と、該被写体認識手段による認識結果に応じてカメラの撮影機能の制御を行う制御手段とを有し、前記被写体認識手段は、設定された撮影モードに応じて、被写体情報を認識する認識アルゴリズム及び該認識アルゴリズムを構成するパラメータを変更する被写体認識機能付きカメラとするものである。
【００１１】また、上記第３の目的を達成するために、請求項５に記載の発明は、カメラの撮影モードを設定する撮影モード設定手段と、被写体を撮像する複数の画素からなるエリアセンサと、該エリアセンサの出力をもとに撮影する被写体情報のうち少なくとも顔を認識する顔認識アルゴリズムを備えた被写体認識手段と、該被写体認識手段による認識結果に応じてカメラの撮影機能の制御を行う制御手段とを有し、前記被写体認識手段は、設定された撮影モードによっては前記顔認識アルゴリズムの動作を行わない被写体認識機能付きカメラとするものである。
【００１２】
【発明の実施の形態】以下、本発明を図示の実施の形態に基づいて詳細に説明する。
【００１３】図１は本発明を一眼レフカメラに適用した際の要部構成図である。同図において、１は撮影レンズ（簡略して４枚のみで図示）で、その構成レンズの一部１ａは焦点位置を調節するフォーカスレンズ、１ｂはぶれ補正用レンズである。ぶれ補正用レンズ１ｂは光軸Ｋと直交する平面において移動することが可能となっており、それによって該撮影レンズ１の結像面内で結像位置を変化させることによって公知の手ぶれ補正を行えるようになっている。２は主ミラーであり、ファインダ系による被写体像の観察状態と被写体像の撮影状態に応じて撮影光路へ斜設されあるいは待避される。３はサブミラーであり、主ミラー２を透過した光束をカメラボディの下方の後述する焦点検出装置６へ向けて反射する。４はシャッタ、５は撮影レンズ１の焦点面に位置するフィルムないし固体撮像素子である画像記録部材である。
【００１４】６は焦点検出装置であり、結像面近傍に配置された視野マスク６１、フィールドレンズ６２、反射ミラー６３，６６、二次結像レンズ６５、絞り６４、公知の位相差検出方式の焦点検出用ラインセンサ６７等から構成されている。焦点検出装置６は最近では画面の中央だけでなくその周辺においても複数の焦点検出点（スディフォーカス情報を検出する為の領域）を設けたものが実現されている。この実施の形態においても、このような複数の焦点検出点を備えた焦点検出装置を想定しているが、この点については既に公知な技術であり詳細な説明は省略する。７は撮影レンズ１の予定結像面に配置されたピント板、８はペンタプリズムである。９と１０はそれぞれファインダ観察面内の被写体輝度を測定するための結像レンズと測光センサであり、測光センサ１０は画面内の複数の領域を測光できるように複数のフォトダイオードから構成されている。１１はファインダ光路内に設けられた半透過ミラーであり、ファインダ光の一部は図１の上方に反射され、結像レンズ１２によって公知のエリアセンサ１３にピント板７に結像している被写体像を再結像する。一方、半透過ミラー１１を透過したファインダ光は接眼レンズ１４に導かれ、撮影者が被写体像を拡大して観察できるようになっている。１５はペンタプリズム８の前面に配置されたストロボユニットであり、発光時にはポップアップするリトラクタブル機構を備えている。１６は撮影者の手ぶれを検出するために光軸Ｋに対してピッチ方向とヨー方向の角速度を検出するように配置された振動ジャイロなどのぶれ検出センサである。
【００１５】３１は撮影レンズ１内に設けられた絞り、３２は絞り駆動装置、３３はフォーカスレンズ駆動用モータ、３４は駆動ギヤ等からなるフォーカスレンズ駆動装置である。３５はフォトカプラとフォーカスレンズ駆動装置３４に取り付けられたパルス板からなるエンコーダであり、フォーカスレンズ駆動装置３４の駆動量を検知してレンズ制御回路１０４に伝えており、該レンズ制御回路１０４はこの情報とカメラからフォーカスレンズ駆動量の情報に基づいてフォーカスレンズ駆動用モータ３３を所定量駆動させ、フォーカスレンズ１ａを合焦位置に移動させるようになっている。
【００１６】３６は撮影レンズ１の絶対位置を検出しカメラから被写体までの距離を得るための被写体距離検出装置であり、例えば至近位置から無限遠までを４bit 程度のコードパターンからなり、不図示のブラシ接点を用いて合焦位置での被写体距離が検出できるようになっている。３７は撮影レンズ１の焦点距離を検知する焦点距離検出装置であり、不図示のブラシ接点を用いてズーミングするレンズに応じた焦点距離情報が検出できるようになっている。３８はぶれ補正用レンズ１ｂを光軸Ｋに直交する平面において移動すさせるシフトレンズ駆動装置である。３９は公知のカメラとレンズとの電気的インターフェイスとなるマウント接点である。
【００１７】図２は、上記構成より成る一眼レフカメラの上面図である。
【００１８】同図において、４１はレリーズボタン、４２は外部モニター用ＬＣＤ、４３はカメラのメインスイッチと撮影モードの選択を行う撮影モードダイヤル、４４はセルフタイマ設定釦である。
【００１９】前記撮影モードダイヤル４３には設定可能な撮影モードが記されており、その中で、４３ａは絵文字で示されたようなシーンに適した撮影モードが設定されたイメージゾーンで、人物撮影に適したポートレイトモード，風景撮影に適した風景モード，接写撮影に適したクローズアップモード，動体写真に適したスポーツモードの４種類が揃えられている。本実施の形態においては、このイメージゾーンの何れかの撮影モードを撮影者が設定した時の動作を説明するものである。４３ｂはグリーンモードと言われる一般的な撮影を想定してカメラがあらかじめ所定の撮影機能を設定する撮影モードである。
【００２０】図３は、上記構成の一眼レフカメラに内蔵された電気回路の構成を示すブロック図であり、図１と同じ部材には同一の符号を付してある。
【００２１】カメラ本体に内蔵されたマイクロコンピュータの、カメラ制御用中央処理装置（以下、ＣＰＵと記す）１０１は、その内部において認識情報処理部１０１ａとＥＥＰＲＯＭ１０１ｂを備えている。そして、該ＣＰＵ１０１には、カメラの諸機能を制御するために各種制御回路が接続されている。
【００２２】測光回路１０２は、測光センサ１０からの信号を増幅後、対数圧縮，Ａ／Ｄ変換し、画面内の複数の領域に対応する各センサの輝度情報としてＣＰＵ１０１に送信する。焦点検出回路１０３は、画面内の複数の位置で位相差方式の焦点検出が行えるように複数組から成るラインセンサ６７からの出力をＡ／Ｄ変換し、ＣＰＵ１０１に送信する。レンズ１に配置されたレンズ制御回路１０４は、マウント接点３９を介してＣＰＵ１０１からの制御情報をもとにフォーカスレンズ駆動用モータ３３を制御すること、絞り駆動装置３１を制御すること、シフトレンズ駆動装置３８を制御することを司っている。
【００２３】ストロボ制御回路１０５は、ＣＰＵ１０１からのストロボ発光の信号を受けると内蔵ストロボ１５をポップアップさせるとともに、レリーズに同期して内蔵ストロボ１５を発光させ、調光センサ５５からの信号を受けてストロボ発光量を制御する。ＳＷ１はレリーズ釦４１の第一ストロークでＯＮし、測光，ＡＦ及び本発明の特徴の一つである被写体認識動作を開始させるためのスイッチ、ＳＷ２はレリーズ釦４１の第二ストロークでＯＮするカメラのレリーズスイッチである。SW-DIAL は撮影モードダイヤル４３内に設けられたダイヤルスイッチである。上記各スイッチ及び図示はしていないがカメラの各所に配置された各種スイッチの状態信号がＳＷ信号入力回路１０６に入力され、データバスによってＣＰＵ１０１に送信される。
【００２４】ＬＣＤ駆動回路１０７は、ＬＣＤ（液晶表示器）を表示駆動させるための公知の構成より成るもので、ＣＰＵ１０１からの信号に従い、絞り値，シャッタ秒時、設定した撮影モード等の表示を、モニター用ＬＣＤ４２や図示しないファインダ内表示用ＬＣＤに表示させる。シャッタ制御回路１０８は、通電すると先幕を走行させるシャッタマグネットＭｇ-1と後幕を走行させるシャッタマグネットＭｇ-2を制御し、感光部材に所定光量を露光させる。モータ制御回路１０９は、フィルムの巻き上げ，巻き戻しを行うモータＭ１と主ミラー２、シャッタ４のチャージを行うモータＭ２を制御すためのものである。上記のシャッタ制御回路１０８とモータ制御回路１０９によって一連のカメラのレリーズシーケンスが実行される。
【００２５】ぶれ検出センサ１６は、カメラの手ぶれによる角速度を出力し、ぶれ検出回路１１１はこの角速度を実際のぶれ量に変換して認識情報処理部１０１ａに送る。それとともに手ぶれ補正回路１１０に送り、該手ぶれ補正回路１１０は実際に手ぶれの補正量に相当するシフトレンズの駆動量を算出してＣＰＵ１０１に送信する。これを受けてＣＰＵ１０１は、前述のようにレンズ制御回路１０４に制御情報を送り、シフトレンズ駆動装置３８を介してぶれ補正用レンズ１ｂを制御して手ぶれ補正を行う。
【００２６】ここで、説明をわかりやすくするために記載したＣＰＵ１０１の内部で構成される認識情報処理部１０１ａへの接続について説明する。
【００２７】まず、前述のぶれ検出回路１１１が接続されており、手ぶれ量が情報信号として入力される。次に、レンズ内に設けた被写体距離検出装置３６、焦点距離検出装置３７の信号からレンズ位置検出回路１１２によって被写体距離情報と撮影レンズの焦点距離情報が入力されるようになっている。
【００２８】エリアセンサ１３は、主に被写体の顔情報を検出するために必要な画素数（約数１０万画素）を備えたカラーエリアセンサであり、公知のＣＣＤやＣ−ＭＯＳセンサから成り、センサ制御回路１１３にて公知の駆動方法で制御されている。センサ制御回路１１３に入力された被写体画像は画像処理回路１１４に送られてＡ／Ｄ変換され、認識情報処理部１０１ａにて必要に応じて図示しないメモリ部に記憶されるとともに、後述のアルゴリズムにしたがって被写体認識回路１１５と被写体像動きベクトル検出回路１１６にそれぞれ必要とする画像データとして供給される。被写体認識回路１１５には、撮影画面に相当する画像データが、被写体像動きベクトル検出回路１１６には、所定の時間差を持った画像データが、それぞれ出力される。
【００２９】前記被写体認識回路１１５では、例えば被写体に顔があれば、その大きさと数を検出する。また、風景であればどのような風景シーンであるかを検出するもので、詳細は後述のアルゴリズムの中で記載する。被写体像動きベクトル検出回路１１６では、複数の領域ごとの時間差のある画像データから２次元の相関演算を行い、動きベクトルを検出するもので、同じく詳細は後述のアルゴリズムの中で記載する。
【００３０】以上のように、ぶれ検出回路１１１，レンズ位置検出回路１１２，被写体認識回路１１５，動きベクトル検出回路１１６がそれぞれＣＰＵ１０１に接続され、認識情報処理部１０１ａに、カメラぶれ情報，レンズの焦点距離情報，被写体距離情報，被写体認識情報，被写体像の動きベクトル情報が入力されるようになっている。
【００３１】１１７は記録用の磁気ヘッドを含む認識情報記録回路であり、前記認識情報処理部１０１ａで最終的に検出された被写体情報を認識情報としてフィルムの磁気記録層に記録するものである。なお、勿論この磁気記録方法に限らず、ＥＥＰＲＯＭ、フラッシュメモリなどの半導体メモリや、ＭＯ，DVD-ROM などの光記録手段や、その他リムーバルな記録メディアでも良い。
【００３２】次に、上記のように構成された一眼レフカメラの動作について説明する。
【００３３】図４は、上記構成における一眼レフカメラの撮影動作までを示すフローチャートである。
【００３４】まず、ステップ＃１０１にて、撮影モードダイアル４３がＬＯＣＫボジションから外されてイメージゾーン４３ａの何れかの撮影モードが設定されると電源が供給され、カメラは撮影準備状態となる。次に、ステップ＃１０２にて、レリーズ釦４１の第一ストロークでＯＮするスイッチＳＷ１がＯＮしているかを検出し、ＯＮしていればステップ＃１０３へ進み、ＯＦＦであればステップ＃１０２の検出を繰り返す。ステップ＃１０３へ進むと、ここでは設定した撮影モードが何であるかを読み込み、ポートレイトモードであればステップ＃１０４へ、風景モードであればステップ＃１０５へ、接写モードであればステップ＃１０６へ、スポーツモードであればステップ＃１０７へ、それぞれ進む。
【００３５】ポートレイトモードであれば、ステップ＃１０４を介してステップ＃１０８に進み、ここでは被写体認識回路１１５が顔認識処理を行う。つまり、被写体認識回路１１５は、エリアセンサ１３により被写体像を所定のフレームレートで順次取り込むとともに、取り込んだ被写体画像から顔認識処理を行い、被写体像の顔の大きさ，数を判定する。この際、ポートレイトモードであることから、被写体認識処理は顔を認識するのに適したアルゴリズムで実行される。顔認識については詳細は後述する。次にステップ＃１１２へ進み、ＣＰＵ１０１はこの結果を前記被写体認識回路１１５より認識情報処理部１０１ａに取り込み、顔認識結果に応じてその被写体にあったＡＥプログラム線図でのＡＥ制御やＡＦ動作の制御内容について決定する。
【００３６】この制御内容の一例を、図５に示す。なお、図５の縦項目は認識した顔の数、横項目は顔領域の大きさを表している。
【００３７】まず、顔の数が一人でかつ顔領域の大きさが所定の大きさよりも大きいときには、ＡＥ（自動露出制御）は装着レンズの開放Ｆナンバーを基準に長焦点側になるとやや絞り込んでいく絞り優先ＡＥプログラムとする。これは一番人物中心となる写真で、顔だけにピントが合うように撮ることを優先に考えるが、装着レンズが長焦点になると顔の一部にしか合わなくなるのでやや絞り込むプログラムとしている。また、ＡＦ（オートフォーカス制御）は、顔領域に含まれる焦点検出点の平均のピント位置に合わせるようにレンズを駆動させることとする。
【００３８】顔領域の大きさが所定の大きさよりも小さい時には、ＡＥは、装着レンズの開放ＦＮｏ（Ｆナンバー）優先プログラムとし、ＡＦは、顔領域のなかで一番至近にあるものにピントを合わせるようにレンズを駆動させることとする。これも顔の大きさの割にはできるだけバックをぼかすように設定しているものである。
【００３９】なお、一人の場合はいずれにおいても内蔵ストロボ１５を強制発光させ、その調光補正量はマイナスの１段としている。これは被写体の瞳にキャッチライトを発生させる為に行うものである。
【００４０】次に、顔の数が二人から三人までであれば、前記ＡＥは、前述のような顔の大きさには関係なく各人にピントが合う絞り値で制御する被写界深度優先プログラムとする。また、ＡＦは、近点と遠点に対して「７：１０」で内分する位置にレンズを駆動するように設定する。これは、近点と遠点のそれぞれの人物のいずれにもピントが合い、それ以外の遠方の背景は極力ぼかすようにしたもので、複数の焦点検出点間でのディフォーカス量に応じていずれもが被写界深度内に入るような絞りを設定し、その絞り値優先のプログラムとしており、いわゆるポートレイト写真ではないが、かなり人物中心に捉えた撮影モードを設定する。
【００４１】次に、顔の数が四人以上、ないし不特定であれば顔の大きさには関係なく、ＡＥは、絞り値＝Ｆ８を基準として焦点距離に応じて絞り込む絞り優先ＡＥプログラムとしている。ＡＦは、各すべての顔の平均の位置にピントが合うようにレンズを駆動すさせることとする。これは、人物にすべてピントが合うのを基準にしながらも、人物と背景のいずれもがシャープに写るようにある程度絞り込んだ設定にし、かつ、焦点距離に応じて長焦点になるほど絞り込むようにしている。いわゆる全体的に人物も背景も調和の取れた写真が撮れるような集合写真的な撮影モードに設定するものである。
【００４２】このように、従来のカメラであればポートレイトモードを選んでも、ＡＥは開放ＦＮｏでの絞り優先ＡＥ、ＡＦはワンショットＡＦに固定されたものが、上記のように人物撮影においていろいろな被写体の状況に合わせて、より一層カメラの制御を最適化できるものである。
【００４３】図４に戻り、以上のようにしてポートレイトモードに設定したときの顔認識結果によるカメラの制御内容が決定されると、実際に制御を行うべくステップ＃１１６に進む。
【００４４】また、風景モードであった場合はステップ＃１０５を介してステップ＃１０９に進み、ここでは被写体認識回路１１５がシーン認識処理を行う。つまり、被写体認識回路１１５は、エリアセンサ１３により被写体像を所定のフレームレートで順次取り込むとともに、取り込んだ被写体画像からシーン認識処理を行い、被写体がどのような風景シーンであるかを認識する。この際、風景モードであることから被写体認識処理はどのような風景であるかを認識するのに適したアルゴリズムで実行される。シーン認識については詳細は後述する。次にステップ＃１１３へ進み、ＣＰＵ１０１はこの結果を前記被写体認識回路１１５より認識情報処理部１０１ａに取り込み、シーン認識結果に応じてそのシーンにあったＡＥ制御やＡＦ動作の制御内容について決定する。
【００４５】例えば、所定以上の面積をしめる緑の領域があれば、これは森林の風景であると認識されてくるので、測光センサの感度や人間の記憶色等を考慮してやや露出補正をオーバー側に掛ける（例えば0.３〜0.５段プラス）制御を行う。また、画面上部に所定以上の面積をしめる青の領域や高輝度の領域があれば、空を含んでいる風景と認識されてくるので、それに相当する測光領域の輝度情報は排除するか所定値より減ずる処置をとる事を行うようにする。ＡＦにおいては、所定の距離よりも近い位置にはピントを合わせないようにリミッターを設けるようにする。
【００４６】このように、従来のカメラであれば風景モードを選択しても、測光方式は通常の評価測光や平均測光の測光値でそのまま制御されるものが、風景撮影の被写体に合わせて、より一層カメラの制御を最適化できるものである。
【００４７】また、接写モードであった場合はステップ＃１０６を介してステップ＃１１０に進み、ここでは被写体認識回路１１５が物体認識処理を行う。つまり、被写体認識回路１１５はエリアセンサ１３により被写体像を所定のフレームレートで順次取り込むとともに、取り込んだ被写体画像から物体認識処理を行い、被写体のなかで主被写体となる物体の大きさと奥行きを認識する。この際、接写モードであることから被写体認識処理は物体の大きさを認識するのに適したアルゴリズムで実行される。物体認識については詳細は後述する。次にステップ＃１１４へ進み、ＣＰＵ１０１はこの結果を前記被写体認識回路１１５より認識情報処理部１０１ａを取り込み、物体認識結果に応じてそのシーンにあったＡＥ制御やＡＦ動作の制御内容について決定する。
【００４８】例えば、画面内において所定以上の面積をしめる物体の領域があり、かつ奥行きが所定以上ある物体であると認識された情報がくると、至近点から奥行き方向に約２／３いったところまでにピントが合うような被写界深度を持つ絞りに設定し、ＡＦも、それを満たす位置にレンズを駆動するようにする。それ以外の大きさと奥行きの物体の場合には、奥行き全部にピントが合う被写界深度を持つ絞りに設定し、ＡＦも、それを満たす位置にレンズを駆動するようにする。これは、接写対象の被写体はある程度よりも大きくなると全体にピントを合わせるためにはかなり絞り込まねばならず、実際に合わせる限界を超えてしまうことや、このような画面の多くを占める被写体を撮影する場合は全体にピントを合わせるようなことは接写写真の仕上がりとしてあまり適当でない場合が多いことによるものである。
【００４９】このように、従来のカメラであれば接写モードを選択しても被写界深度の深めの絞り値を固定とした絞り優先ＡＥ制御されるにすぎなかったが、上記のように接写撮影の対象となる被写体に合わせて、より一層カメラの制御を最適化できるものである。
【００５０】また、スポーツモードであった場合はステップ＃１０７を介してステップ＃１１１に進み、被写体像動きベクトル検出回路１１６が被写体像の動き検出処理を行う。つまり、被写体像動きベクトル検出回路１１６はエリアセンサ１３により被写体像を所定のフレームレートで順次取り込むとともに、取り込んだ被写体画像から被写体像の動き検出処理を行う。この際、スポーツモードであることから被写体認識処理は被写体が何であるかというのではなく、被写体の動きを検出するのに適したアルゴリズムで実行される。動き検出については詳細は後述する。次にステップ＃１１５へ進み、ＣＰＵ１０１はこの結果を被写像動き検出回路１１６より認識情報処理部１０１ａに取り込み、さらにぶれ検出センサ１６とぶれ検出回路１１１にてカメラの手ぶれによる角速度を実際のぶれ量に変換された情報を認識情報処理部１０１ａに取り込む。これにより、認識情報処理部１０１ａは前記被写体動きベクトルぶれ検出回路１１６にて得られた被写体画像の動きベクトル情報から、ぶれ検出回路１１１にて得られた手ぶれ情報を差し引き、実際の被写体の動き量を算出する。これは、前者の被写体像の動きベクトルは撮影者の手ぶれ量も含んで検出されるためである。こうして得られた被写体の動き検出結果に応じてそのシーンにあったＡＥ制御やＡＦ動作の制御内容について決定する。
【００５１】例えば、ＡＥは、被写体の動き量に応じて被写体ぶれを起こさないシャッタスピードに自動設定されるシャッタスピード優先ＡＥとなり、ＡＦは、常にディフォーカス検出を行い、それに合わせてピントを連続的に合わせていくサーボモードに設定するだけでなく、被写体の動く方向に応じて焦点検出点を乗り移らせる、いわゆる追尾モードを実行するように設定する。これは、スポーツモードにおいては動きのある被写体を最重点な対象として補足していこうというものである。
【００５２】このように、従来のカメラであればスポーツモードを選択しても絞りとシャッタスピードの組み合わせが標準のＡＥプログラムよりも高速シャッタ秒時側にセットされたシャッタスピード優先的な露出プログラムに一律に設定され、ＡＦモードもサーボモードに設定するだけであったが、上記のように動体撮影の際の被写体に合わせて、より一層カメラの制御を最適化できるものである。
【００５３】以上のようにしてステップ＃１１２〜＃１１５の各撮影モードに対応した認識情報処理によりＡＥ制御やＡＦ動作の制御内容について決定されると、実際にこの決定された制御内容に沿ってカメラが制御されることになる。
【００５４】上記ステップ＃１１２〜＃１１５のいずれかが実行されると次にステップ＃１１６に進み、焦点検出用ラインセンサ６６の出力を取り込み、各焦点検出点のディフォーカス量を算出する。そして、上記ステップ＃１１２〜＃１１５で決定された制御内容に沿って最終的にピントを合わせるべくディフォーカス量を算出する。そして、ステップ＃１１７に進み、ＣＰＵ１０１はレンズ制御回路１０４に信号を送ってフォーカスレンズ１ａを該ディフォーカス量に応じて所定量だけ駆動させ、レンズの焦点調節を行う。また、ワンショトかサーボかのいわゆるＡＦモードも設定する。次にステップ＃１１８にて、レンズ位置検出回路１１２からレンズ位置情報として焦点距離情報と被写体距離情報を取り込む。次にステップ＃１１９に進み、ＣＰＵ１０１は測光回路１０２に測光を行わせる。そして全測光領域の輝度を検出するとともに、上記ステップ＃１１２〜＃１１５で決定された制御内容にそって、特定領域の重み付けや露出補正をかける測光演算を行わせ、ＣＰＵ１０１はこれを取り込む。
【００５５】次にステップ＃１２０では、ＣＰＵ１０１は、ぶれ検出センサ１６を駆動し、ぶれ検出回路１１１にて実際のぶれ量に変換された情報を撮影モード設定回路１０１ａに取り込む。また、前記実際のぶれ量に変換された情報は手ぶれ補正回路１１０にも送られており、ここで実際に手ぶれの補正量に相当するシフトレンズの駆動量を算出され、ＣＰＵ１０１はこれも取り込む。次にステップ＃１２１にて、ＣＰＵ１０１はシフトレンズ駆動量をもとにレンズ制御回路１０４に制御情報を送り、シフトレンズ駆動装置３８を介してぶれ補正レンズ１ｂを制御し、手ぶれ補正を行う。
【００５６】次にステップ＃１２２にて、上記ステップ＃１１９にて得られた測光値と設定された撮影モードをもとに決定された露出値、すなわちシャッタ秒時と絞り値をＬＣＤ駆動回路１０７がモニター用ＬＣＤ４２に表示する。続くステップ＃１２３では、上記ステップ＃１１２〜＃１１５で決定された制御内容にそってストロボ撮影を必要とする状況であるかを判定し、必要であればステップ＃１２４にて内臓ストロボ１５をポップアップさせる。
【００５７】次のステップ＃１２５では、レリーズ釦４１の第二ストロークでＯＮするスイッチＳＷ２がＯＮしているかを検出し、ＯＦＦしていればステップ＃１０２に戻り、前述の動作を繰り返す。一方、ＯＮしていればステップ＃１２６に進み、カメラのレリーズシーケンスを実行する。具体的には、まずＣＰＵ１０１はモータ制御回路１０９を介してモータＭ２に通電して主ミラー２をアップさせ、レンズ制御回路１０３を介して絞り駆動装置３１を駆動し、所定の開口まで絞り込む。次に、シャッタ制御回路１０８にて所定のシャッタ秒時でシャッタを走行させ、必要であれば先幕が走行完了した時点で、ストロボ制御回路１０５を介して内臓ストロボ１５を発光させ、画像記録部材５への露光を終了させる。その後、モータＭ２に再度通電し、ミラーダウン，シャッタチャージを行うとともにモータＭ１にも通電して、フィルムの駒送りを行い、一連のレリーズシーケンスが終了する。
【００５８】また、銀塩フィルムのカメラであれば、この給送中に、ステップ＃１０８〜＃１１１の被写体認識動作と、上記ステップ＃１１２〜＃１１５の認識情報処理で得られた被写体情報の磁気書き込みを行う。なお、銀塩フィルム以外のＥＥＰＲＯＭ，フラッシュメモリなどの半導体メモリや、ＭＯ，DVD-ROM などの光記録手段や、その他リムーバルな記録メデアにおいては、スイッチＳＷ２がＯＮした直後に記録しても良いし、画像の記録もフィルムでなく電子撮像素子であれば撮影画像の記録の終了後でも構わない。
【００５９】以上説明したように、この実施の第１の形態においては、選択された撮影モードに応じて被写体認識（被写体の動き検知も含める）を行い、かつそれぞれのモードの特徴に応じた認識処理を行っている。
【００６０】次に、図４のステップ＃１０８〜＃１１１の各撮影モードでの被写体認識動作について、図６〜図１１を用いて詳述する。
【００６１】図６は、ポートレイトモードに設定されている時の被写体認識アルゴリズムである、ステップ＃１０８での顔認識を行うフローチャートである。
【００６２】この動作がスタートすると、被写体認識回路１１５はステップ＃２０１にてＥＥＰＲＯＭ１０１ｂから顔認識アルゴリズムに用いる各種パラメータを読み込み、不図示のメモリの所定のアドレスに格納する。なお、この認識アルゴリズムに用いるパラメータについては、他認識アルゴリズムと合わせてまとめて図７に示している。次にステップ＃２０２に進み、処理過程で発生する変数の初期化を行う。次いでステップ＃２０３に進み、顔認識を行う領域の初期設定を行う。ここではポートレイトモードである為、被写体はほぼ中央およびその近傍にあるもの、画面内の上部にある場合がほとんどである。特にカメラの姿勢によって、例えば縦位置撮影では画面上部の割合はかなり高くなる。そこで、画面内の上側領域を多く含む約５０％の領域を初期の認識対象領域として限定するようにパラメータを設定している。
【００６３】次にステップ＃２０４に進み、上記ステップ＃２０３で限定された領域のセンサの予備蓄積を行ったのち、数画素単位でまとめたブロック単位で読み出す。次にステップ＃２０５に進み、各ブロックの輝度が低輝度，中輝度，高輝度かを所定の閾値と比較した上で、比較的低輝度のブロック領域と中輝度の領域が隣接するブロック領域とその周辺領域のみを顔認識を行う領域として更に限定する。これは、人の顔の部分は概ね相対的に中輝度の領域であり、目や髪の毛が概ね低輝度の領域であり、背景には概ね高輝度の領域を含んでいる事によるものである。このように２段階で認識処理を行う領域を限定する事で、認識の処理負荷をかなり軽くしている。この閾値はパラメータとしてＥＥＰＲＯＭ１０１ｂに記憶されており、上記ステップ＃２０１において読み込まれたものである。
【００６４】次にステップ＃２０６に進み、顔認識を行うべくエリアセンサ１３に蓄積動作を行わせ、顔認識を行う領域の被写体画像の読み込み行う。そして、次のステップ＃２０７にて、読み込まれたエリアセンサ１３の各画素のＲ，Ｇ，Ｂの値から明度，色相，彩度，色度，色差といった色の特徴量を求める。ここで求める特徴量は、次のステップで肌色領域を判定すべく色空間での特徴量を求める事になる。次にステップ＃２０８に進み、これらの色の特徴量が予め定めた肌色の範囲内に入っていれば対象画素が肌色であると判定し、肌色領域を抽出する。ここで肌色とみなす色の領域はパラメータに設定されており、例えば測光センサ１０でフリッカーを検知していれば、蛍光燈と判断して肌色領域のパラメータを変化させたり、輝度そのものによって変化させて、光源が変わっても肌色抽出が行えるようにしている。
【００６５】次にステップ＃２０９に進み、肌色と判定された画素領域とその周辺領域からなる画像に対してエッジ検出処理を施す。エッジ検出処理としては幾つかの手法があるが、ここでは２階差分に基づく方法で行う。２階差分は連続空間上で２次微分に相当し、代表的に下記のように表される。
【００６６】
▽2 fij＝fi+1,j＋fi-1,j＋fi,j+1＋fi,j-1−４＊fi,j ・・・・ （１）
なお、fij は第ｉ行、第ｊ列の画素出力値（明度）を表し、▽2 fij はfij のラプラシアン（２次微分）を表すものとする。
【００６７】これを重み行列で表すと図８のようになり、この実施の形態の場合、対象画素を中心としてその周囲８画素を対象とした８近傍ラプラシアンを演算するものである。そして、この値が所定の閾値よりも大きければ対象画素をエッジ画素として２値化する。このように、２階差分を行ってエッジを検出すると差分出力のゼロクロス点を求める事になり、鋭いエッジでも緩やかなエッジでもエッジ強度に影響されずらく、エッジが検出しやすくなるが、反面ノイズに対して敏感になっている。しかし、本アルゴリズムでは肌色検出でかなり対象領域が限定される為、このような手法が効果的である。
【００６８】次にステップ＃２１０に進み、顔であるかの判定の為のマッチング処理を行う。ここでは入力画像のなかである部分画像（テンプレート）を動かしマッチするところを検出するテンプレートマッチングを用いるものとする。まず、大きさと長軸と短軸の比率の異なる複数の楕円の顔のテンプレートを作成する。顔の大きさのしきい値としては画面の中で誰であるか充分判り、人物中心の写真であると思われる程度（例えば全身が画面の１／２程度）の大きさとしておく。これらのテンプレートはあらかじめ作成しておき、図示しないメモリに記憶させておいても良い。顔テンプレートは楕円で２値化されたもので、実際の顔の輪郭とのマッチング度を上げるためにテンプレートの輪郭も数画素の幅を持たせている。さらにマッチング処理を続けて上記ステップ＃２０９で得られた顔候補のエッジ画像と顔テンプレートとのマッチング度を求める。マッチング度を求める測度としていくつかのものがあるが、例えば顔候補のエッジ画像をf(x,y)、テンプレートをt(x,y)、Ｒはテンプレートの全域とすると ∬R(f-t ）2 ｄｘｄｙ ……（２）
で算出される二乗誤差にて判定するものとする。このような方法で数種類の顔テンプレートをを用いてマッチング処理を行い、最もよく一致するテンプレートを対象画素に対して求める。
【００６９】次にステップ＃２１１に進み、算出した二乗誤差の値があらかじめ定めていた閾値より小さければ、対象画素を中心として最もよく一致する顔テンプレートでか囲まれる領域を顔領域であると判定してステップ＃２１２に進む。そして、このステップ＃２１２では、顔領域と判定された顔領域の数と大きさを求めてこれを出力し、図４のステップ＃１０８の顔認識処理が終了することなる。
【００７０】また、上記ステップ＃２１１で顔と判定される領域がなかった場合はステップ＃２１３に進み、今まで行ってきた顔認識の回数を判定する。所定の回数より少なければステップ＃２１４に進み、認識アルゴリズムのパラメータを前回の検出とは異ならせて再度認識処理行わせるべくパラメータを変更する。例えば、認識領域の限定範囲を広げる、肌色特徴量の幅を広げる、エッジ検出のしきい値を変更するなどを行い、ステップ＃２０２に進み、新たな認識パラメータで顔認識処理を行う。
【００７１】また、ステップ＃２１３にて既に所定回数の顔認識を実行している場合は、被写体にポートレイトモードとしてふさわしい被写体ではなかったと判定して、カメラの制御モードをグリーンモードに自動的に設定して、図４のステップ＃１１６に進む。グリーンモードはいわゆる公知の「カメラお任せモード」で、図２の４３ｂに示される撮影モードと同じ設定であり、ごく一般的な撮影に適した制御モードに設定される図９は、風景モードに設定されている時の被写体認識アルゴリズムである、図４のステップ＃１０９でのシーン認識を行うフローチャートである。
【００７２】この動作がスタートすると、被写体認識回路１１５はステップ＃３０１にてＥＥＰＲＯＭ１０１ｂからシーン認識アルゴリズムに用いる各種パラメータを読み込み、不図示のメモリの所定のアドレスに格納する。なお、前述と同じくこの認識アルゴリズムに用いるパラメータについては、まとめて図７に示している。次にステップ＃３０２に進み、処理過程で発生する変数の初期化を行う。そして、次のステップ＃３０３にて、シーン認識を行う領域の初期設定を行う。ここでは風景モードである為、特に認識領域の限定は行わずファインダで観察できるほぼ全領域を対象とすることになる。
【００７３】次にステップ＃３０４に進み、上記ステップ＃３０３で限定された領域のセンサの予備蓄積を行ったのち、数画素単位でまとめたブロック単位で読み出す。次いでステップ＃３０５にて、各ブロックの輝度が低輝度，中輝度，高輝度かを所定の閾値と比較するが、風景モードにおいては低輝度から高輝度まで被写体シーンが及んでいるため、この輝度領域による限定をかけることはなく、従ってこのステップを介しても特に限定しないようにパラメータを設定している。次のステップ＃３０６では、シーン認識を行うべくエリアセンサ１３に蓄積動作を行わせ、シーン認識を行う領域の被写体画像の読み込み行う。そして、次のステップ＃３０７にて、読み込まれたエリアセンサ１３の各画素のＲ，Ｇ，Ｂの値から明度，色相，彩度，色度，色差といった色の特徴量を求める。ここで求める特徴量は、次のステップで自然色領域を判定すべく色空間での特徴量を求める事になる。次にステップ＃３０８に進み、これらの色の特徴量が前記の予め定めた色の範囲内に入っていれば対象画素が自然色であると判定し、色領域を抽出する。ここで自然色とみなす色の領域はパラメータに設定されており、例えばここでは特に森林風景を抽出すべく緑から深緑の領域や空を抽出すべく青の領域を判定するようにパラメータを設定する。
【００７４】次にステップ＃３０９に進み、自然色と判定された画素領域とその周辺領域からなる画像に対してエッジ検出処理を施す。エッジ検出処理としては幾つかの手法があるか、ここでは画像の勾配を利用してエッジの検出を行い、よく知られている方法としてロバーツの勾配を用いる。
【００７５】
［（fi,j−fi+1,j+1）2 ＋（fi,j+1−fi+1,j）2 ］1/2 ・・・・（３）
定義から判るように、ロバーツの勾配は斜め方向のエッジ検出に適しており、これは風景のような自然シーンにおいても適当なものである。そして、この値が所定の閾値よりも大きければ対象画素をエッジ画素として２値化する。閾値としての勾配は比較的緩めにし、なだらかな変化においても検出するようにパラメータを設定してある。
【００７６】次にステップ＃３１０に進み、シーンを認識する領域抽出処理を行う。これもいくつかの手法があるが連結成分処理を行うものとする。エッジ処理によって作られた２値化画像のなかには雑音成分が含まれていることが多い。これら雑音的な小さい成分，突起，穴などは図形融合によって処理できる。あるいは、各連結成分の特徴量（面積や幅）を測り、その値がある閾値以下の成分を消去するようにして連結成分を作っていき、シーンとして特徴のある領域を抽出する。なお更に細線化処理によって線図形に変換して輪郭線抽出を行っても良い。
【００７７】次にステップ＃３１１に進み、抽出された領域があらかじめ定めていた閾値（ここでは画面にしめる大きさが５％以上）より大きければ、風景シーンとなる領域があると判定してステップ＃３１２に進む。ステップ＃３１２では、シーン領域と判定された領域（ここでは森林と思われる領域、空と思われる領域）の画面内のしめる位置を求めてこれを出力し、図４のステップ＃１０９のシーン認識処理が終了することなる。
【００７８】また、上記ステップ＃３１１で風景シーンと判定される領域がなかった場合はステップ＃３１３に進み、今まで行ってきたシーン認識の回数を判定し、所定の回数より少なければステップ＃３１４に進み、認識アルゴリズムのパラメータを前回の検出とは異ならせて再度認識処理行わせるべくパラメータを変更する。例えば自然色特徴量の幅を広げる、エッジ検出の閾値を変更するなどを行い、ステップ＃３０２に進み、新たな認識パラメータでシーン認識処理を再度行う。
【００７９】また、上記ステップ＃３１３にて既に所定回数のシーン認識を実行している場合は、被写体に風景モードとしてふさわしい被写体ではなかったと判定して、ここでもカメラの制御モードをグリーンモードに自動的に設定して、図４のステップ＃１１６に進む。
【００８０】このように、風景シーンの認識アルゴリズムは前述の顔認識アルゴリズムに対して認識アルゴリズムそのものをシーン検出にふさわしいものに変更したり、また同じアルゴリズムでもパラメータを変更して認識処理を行うようにして認識の精度を高めている。
【００８１】なお領域抽出の方法として、領域形成法（Region Growing）を行うとでも良い。これは小さい領域の集合に分割した初期分割からスタートし、隣接領域が併合しても一様な領域と見なせるかどうかを判定しながら併合処理を繰り返すもので、一様性の尺度としては領域境界部での濃度値の不連続性、領域内の濃度値の分布範囲、平均濃度からの最大偏差などがある。しかしながら認識アルゴリズムとしては精度は上がるが、演算能力としてかなりの負荷となってしまう。
【００８２】図１０は、接写モードに設定されている時の被写体認識アルゴリズムである、図４のステップ＃１１０での物体認識を行うフローチャートである。
【００８３】この動作がスタートすと、被写体認識回路１１５はステップ＃４０１にてＥＥＰＲＯＭから物体認識アルゴリズムに用いる各種パラメータを読み込み、不図示のメモリの所定のアドレスに格納する。次にステップ＃４０２に進み、処理過程で発生する変数の初期化を行う。次いでステップ＃４０３にて、シーン認識を行う領域の初期設定を行う。ここでは接写モードである為、被写体はほぼ中央部にあるものがほとんどであるが画面に占める割合はかなり大きい。そこで、画面内の中心約７０％の領域を初期の認識対象領域として限定するようにパラメータを設定している。
【００８４】次にステップ＃４０４に進み、上記ステップ＃４０３で限定された領域のセンサの予備蓄積を行ったのち、数画素単位でまとめたブロック単位で読み出す。そして、次のステップ＃４０５にて、各ブロックの輝度が低輝度，中輝度，高輝度かを所定の閾値と比較した上で、比較的低中輝度のブロック領域と高輝度の領域のみを顔認識を行う領域として更に限定する。基本的には低輝度領域を排除することになり、これは接写撮影を行う対象物は輝度を比較すると低い輝度であることはほとんどない事から限定したものである。
【００８５】次にステップ＃４０６に進み、物体認識を行うべくエリセンサ１３に蓄積動作を行わせ、物体認識を行う領域の被写体画像の読み込み行う。そして、次のステップ＃４０７にて、読み込まれたエリアセンサ１３の各画素のＲ，Ｇ，Ｂの値から明度，色相，彩度，色度，色差と言った色の特徴量を求める。ここで求める特徴量は次のステップで同色領域を判定すべく色空間での特徴量を求める事になる。次にステップ＃３０８に進み、これらの色の特徴量が前記の予め定めたいくつかの種類の色の範囲内に入っているもの同志をそれぞれ対象画素が同色であると判定し、同色領域を抽出する。ここで同色とみなす色の領域はパラメータに設定されている。
【００８６】次にステップ＃４０９に進み、同色と判定された画素領域とその周辺領域からなる画像に対してエッジ検出処理を施すが、ここではシーン認識の上記ステップ＃３０９と同じくロバーツの勾配を用いる。そして、この値が所定の閾値よりも大きければ対象画素をエッジ画素として２値化する。閾値としての勾配は上記ステップ＃３０９に比較してきつめに設定し、ある程度はっきりした変化において検出するようにパラメータを設定してある。
【００８７】次にステップ＃４１０に進み、物体を認識する領域抽出処理を行う。ここではステップ＃３１０と同じであり、説明を省略する。なお領域抽出の方法として、同色領域を抽出してからエッジ処理（閾値処理）を行ったが、色の特徴量を抽出し、同色の領域を抽出する段階で前述の領域形成法（Region Growing）を行うことでも良い。
【００８８】次にステップ＃４１１に進み、抽出された領域があらかじめ定めていた閾値（ここでは画面にしめる大きさが１０％以上）より大きければ、接写する対象物の領域があると判定してステップ＃４１２に進む。そして、このステップ＃４１２では、接写対象物と判定された領域の画面内のしめる位置と大きさを求めてこれを出力する。又合わせて焦点検出回路１０３から対象領域のデフォーカス量を複数求め、これよりおおよその奥行きを検出し出力する。これで図４のステップ＃１１０の物体認識処理が終了することなる。
【００８９】また、上記ステップ＃４１１で接写対象物と判定される領域がなかった場合はステップ＃４１３に進み、今まで行ってきた物体認識の回数を判定し、所定の回数より少なければステップ＃４１４に進み、認識アルゴリズムのパラメータを前回の検出とは異ならせて再度認識処理行わせるべくパラメータを変更する。例えば、同色と見なす特徴量の幅を広げる、エッジ検出の閾値を変更するなどを行い、ステップ＃４０２に進み、新たな認識パラメータで物体認識処理を行う。
【００９０】また、上記ステップ＃４１３にて既に所定回数の物体認識を実行している場合は、被写体は接写モードとしてふさわしい被写体はなかったと判定して、ここでもカメラの制御モードをグリーンモードに自動的に設定して、図４のステップ＃１１６に進む。
【００９１】このように、接写シーンの認識アルゴリズムは前述のシーン認識アルゴリズムに対してほぼ同じアルゴリズムを用いるが、認識のためのパラメータを変更して認識処理を行うようにして、物体をより精度良く認識できるように特化している。
【００９２】図１１は、スポーツモードに設定されている時の被写体認識アルゴリズムである、図４のステップ＃１１１での被写体の動き検出を行うフローチャートである。
【００９３】この動作がスタートすると、被写体認識回路１１５はステップ＃５０１にてＥＥＰＲＯＭから動き検出アルゴリズムに用いる各種パラメータを読み込み、不図示のメモリの所定のアドレスに格納する。そして、次のステップ＃５０２にて、処理過程で発生する変数の初期化を行う。次にステップ＃５０３に進み、シーン認識を行う領域の初期設定を行う。ここでは接写モードである為、被写体はほぼ中央部にあるものがほとんどである。画面に占める割合はそれほど大きくはないが被写体がかなり移動するので、ここでは画面内の中心約７０％の領域を初期の認識対象領域として限定するようにパラメータを設定している。
【００９４】次にステップ＃５０４に進み、動き検出を行うべくエリアセンサ１３に蓄積動作を行わせ、動き検出を行う領域の被写体画像の読み込み行う。ここでは前述の３アルゴリズムはエリアセンサ１３の予備蓄積を行っていたが、スポーツモードでは検出までの時間を極力短くしたいため、このステップを省略している。次にステップ＃５０５に進み、読み込まれたエリアセンサ１３の各画素のＲ，Ｇ，Ｂの値から輝度信号成分としてＧ成分のみを用いて画像に対してエッジ検出処理を施す。ここでも上記ステップ＃３０９と同じくロバーツの勾配を用いる。そして、この値が所定の閾値よりも大きければ対象画素をエッジ画素として２値化する。閾値としての勾配は上記ステップ＃３０９に比較してきつめに設定し、ある程度はっきりした変化において検出するようにパラメータを設定してある。
【００９５】次にステップ＃５０６に進み、検出されたエッジ画像を図示しない所定のメモリに記憶させる。次いでステップ＃５０７にて、次フレームの画像読み出しを行う。続くステップ＃５０８では、上記ステップ＃５０５と同じように輝度信号成分としてのＧ成分のみを用いて画像に対してエッジ検出処理を施す。次にステップ＃５０９に進み、前フレームのエッジ画像をメモリから読み出して今回のフレームの画像との相関を演算し、その相関値に基づいて画像の動きを検出する。算出式としては前フレームの画像fi-1(x,y) 、現フレームの画像fi(x,y) とするとずらし量ξ、ηにおいて min ΣΣ［fi-1（ｘ−ξ、ｙ−η）−fi（ｆｘ、ｙ) ］2 …（４）
又は min ΣΣ｜fi-1（ｘ−ξ、ｙ−η）−fi（ｆｘ、ｙ) ｜ …（４）’となり、これを求める事となる。
【００９６】具体的には、連続する２フレームの画像を比較するわけであるが、この比較はメモリに記憶させた画像データの読み出し位置を一画素づつずらしながら行う。両者の各画素の差の和を求め、その値を１画素ずらす毎に異なる領域に記憶していく。各画素の差の和はbit 比較を行い、異なるbit の数を数える事で行う。次ライン以降も同様の比較を行い、その際の各画素の差の和を１ライン目の値が記憶されている領域に加算していき、これが相関値となる。
【００９７】次にステップ＃５１０に進み、この相関値が最も小さくなったところを求めて、その領域における前回からの動きベクトル（動き量）とする。すなわち、相関値が最小になった際の垂直水平方向にずらした画素数が垂直水平方向の動き量となる。なおこのような手段ではなく、水平方向と垂直方向に射影像を作りその相関値（重心位置の移動量）から動きベクトルを求めても良い。
【００９８】次にステップ＃５１１に進み、動きベクトルが所定量よりも大きければステップ＃５１２に進み、動体被写体があると判定し動きベクトル量を出力する。これで図４のステップ＃１１１の動き検出処理が終了することなる。
【００９９】また、上記ステップ＃５１１で動きベクトルが所定量よりも小さければステップ＃５１３へ進み、スイッチＳＷ２がＯＮしているかを判定し、ＯＮしていればここでもカメラの制御モードをグリーンモードに自動的に設定して、図４のステップ＃１１６に進む。ＯＮしていなければ５０２へ戻り、動き検出を繰り返す。
【０１００】このように、スポーツモードではどのようなものであるかを認識するよりも動体であるかを検出する事になるが、その検出アルゴリズムは認識パラメータを変更する事によって行われている。
【０１０１】（実施の第２の形態）次に、本発明の実施の第２の形態について、図１２のフローチャートを用いて説明する。なお、一眼レフカメラの回路構成等は上記実施の第１の形態と同様であるものとする。
【０１０２】上記実施の第１の形態では、すべての撮影モードにおいて被写体認識処理を行ったが、カメラに搭載しうるＣＰＵの限られた演算能力では難しいものがある。そこで、この実施の第２の形態においては、一般的な撮影の主体である人物を撮影すると思われる撮影モードにおいてのみ被写体認識処理を行うものである。
【０１０３】図１２において、ステップ＃６０１にて、撮影モードダイアル４３がＬＯＣＫボジションから外されてイメージゾーン４３ａの何れかの撮影モードが設定されて電源が供給され、カメラは撮影準備状態となる。次にステップ＃６０２にて、レリーズ釦４１の第一ストロークでＯＮするスイッチＳＷ１がＯＮしているかを検出し、ＯＮしていればステップ＃６０３へ進み、ＯＦＦであればステップ＃６０２の検出を繰り返す。
【０１０４】ステップ＃６０３に進むと、セルフタイマ設定釦４４が押されてセルフタイマモードに設定されているかを設定されているかを判定し、セルフタイマモードであればステップ＃６０９へ進み、ここでは被写体認識回路１１５が顔認識処理を行う。つまり、被写体認識回路１１５は、エリアセンサ１３により被写体像を所定のフレームレートで順次取り込むとともに、取り込んだ被写体画像から顔認識処理を行い、被写体像の顔の大きさ，数を判定する。これは、上記実施の第１の形態のポートレイトモードが設定された時と同じであり、セルフタイマ撮影の際はほとんど人物写真である事から強制的に顔認識処理を行い、セルフタイマ撮影の機能を高めるとともに撮影者の操作性を簡便にしたものである。
【０１０５】また、設定されていなければステップ＃６０４に進み、設定した撮影モードが何であるかを読み込み、ポートレイトモード（＃６０５）か、風景モード（＃６０６）か、接写モード（＃６０７）か、スポーツモード（＃６０８）かのいずれかに進む。
【０１０６】ポートレイトモードであった場合はステップ＃６０５を介してステップ＃６０９に進み、上記実施の第１の形態と同じ動作を行う。また、風景モードか、接写モードか、スポーツモードであれば、ステップ＃６０６，＃６０７，＃６０８を介してステップ＃６１１〜＃６１３で公知の撮影プログラムを設定する。
【０１０７】例えば、風景モードであれば、「ＡＥプログラム＝開放Ｆナンバー」と「１／焦点距離」のポイントから、「Ｔｖ：Ａｖ＝１：２」の比率で変化するプログラム，「ＡＦモード＝ワンショットＡＦ」、「給送モード＝１駒撮り」、「測光モード＝平均測光」というような風景モードプログラムをステップ＃６１１で設定する。
【０１０８】接写モードであれば、「ＡＥプログラム＝被写界深度が深めの絞り優先プログラム」、「ＡＦモード＝ワンショットＡＦ」、「給送モード＝１駒撮り」、「測光モード＝部分測光」というような接写モードプログラムをステップ＃６１２で設定する。また、スポーツモードであれば、「高速側シャッタ秒時側にセットされたシャッタースピード優先的露出プログラム」、「ＡＦモード＝サーボＡＦ」、「給送モード＝連続撮影」、「測光モード＝中央部重点測光」というようなスポーツモードプログラムをステップ＃６１３で設定する。
【０１０９】以上のように設定されると、次にステップ＃６１４に進み、以下のステップ＃６１４〜＃６２５が実行されるが、これらについては上記実施の第１の形態における図４のステップ＃１１６〜＃１２７と同様であるので説明は省略する。
【０１１０】このように、被写体認識処理を顔認識だけに限定し、かつ人物シーンを撮影すると想定できる撮影モードを選択した時のみ機能させるようにしたので、搭載するＣＰＵの負荷が減り、より容易に被写体認識をカメラに搭載できるとともに、すべての撮影シーンにおいて被写体認識機能をの効果を発揮は出来ないものの、多くの撮影シーンで満足の行く結果が引き出せるものとなっている。
【０１１１】なお、セルフモードに限らず公知のリモコン撮影モードにおいても顔認識処理を施すように、この実施の第２の形態を構成しても良い。また、風景モード等の撮影モードだけでなく、ＡＦモードがサーボモードに設定されたり、給送モードが連続撮影モードに設定された時には被写体認識処理を施さないように、この実施の第２の形態を構成しても良い。
【０１１２】以上の実施の各形態によれば、ポートレイトモード、風景モード、接写モードもしくはスポーツモードの何れの撮影モードが設定されているかに応じて、被写体認識回路１１５や被写体像動きベクトル検出回路１１６における認識アルゴリズムを変更するようにしている（図４のステップ＃１０８〜＃１１１、図１２のステップ＃６０９）ので、カメラへの認識手段の搭載が容易なものになり、認識精度や認識スピードを向上させることができ、これによって更に高度なカメラ制御を行なわせ、操作性の良いカメラを提供する事ができる。
【０１１３】また、設定された撮影モードに応じて、被写体認識回路１１５や被写体像動きベクトル検出回路１１６における認識アルゴリズムを構成するパラメータ（図７参照）を変更しているので、認識アルゴリズムを複雑にする事なく、撮影モードに応じて精度良く被写体を認識させることができる。
【０１１４】また、セルフモードやポートレイトモード以外の撮影モードが設定された場合には、前記顔認識アルゴリズムの動作を禁止するようにしているので、より容易にカメラへの認識手段の搭載を可能として、これによって撮影者はシャッタチャンスや画面の構図取りに専念する事ができ、より良好な写真が撮影できる。
【０１１５】（発明と実施の形態の対応）上記実施の各形態において、モードダイヤル４３、セルフタイマ設定釦４４が本発明の撮影モード設定手段に相当し、被写体認識回路１１５と被写体像動きベクトル検出回路１１６が本発明の被写体認識手段に相当し、ＣＰＵ１０１（認識情報処理部１０１ａ）が本発明の制御手段に相当する。
【０１１６】なお本発明は、これらの実施の形態の構成に限定されるものではなく、請求項で示した機能、または実施の形態がもつ機能が達成できる構成であれば、どのようなものであっても良いことは言うまでもない。
【０１１７】また本発明は、一眼レフカメラに適用した例を述べているが、ビデオカメラや電子スティルカメラなどの種々の形態の撮像装置に対しても適用できるものである。
【０１１８】
【発明の効果】以上説明したように、請求項１に記載の発明によれば、被写体認識手段をカメラに搭載することを容易すると共に、被写体情報の認識精度や認識スピードを向上させ、操作性の良好な被写体認識機能付きカメラを提供できるものである。
【０１１９】また、請求項２に記載の発明によれば、被写体情報の認識アルゴリズムを複雑にする事なく、撮影モードに応じて精度良く被写体情報の認識を行うことができる被写体認識機能付きカメラを提供できるものである。
【０１２０】また、請求項５に記載の発明によれば、被写体情報の認識の為の負荷を軽減し、被写体認識手段をカメラに搭載することをより容易なものにすることができる被写体認識機能付きカメラを提供できるものである。
【図面の簡単な説明】
【図１】本発明の実施例における被写体認識機能を備えたカメラに適用した際の要部構成図である。
【図２】図１のカメラの上面図である
【図３】図１のカメラの電気回路の構成を示したブロック図である
【図４】図１のカメラにおいて撮影動作までを示したフローチャートである。
【図５】図１のカメラにおいて顔認識結果によるカメラの制御例を示した図である。
【図６】図１のカメラにおいてポートレイトモードでの被写体認識のフローチャートである。
【図７】図１のカメラにおいて被写体認識動作で用いる認識パラメータを示した図である。
【図８】図１のカメラにおいて８近傍ラプラシアンの行列式である。
【図９】図１のカメラにおいて風景モードでの被写体認識のフローチャートである。
【図１０】図１のカメラにおいて接写モードでの被写体認識のフローチャートである。
【図１１】図１のカメラにおいてスポーツモードでの被写体認識のフローチャートである。
【図１２】本発明の実施の第２の形態におけるカメラの各撮影モードでの撮影動作を示す。
【符号の説明】
６ 焦点検出装置
１０ 測光センサ
１３ エリアセンサ
１６ ぶれ検出センサ
４３ 撮影モードダイヤル
１０４ 測光回路
１０１ ＣＰＵ
１０１ａ 認識情報処理部
１０４ レンズ制御回路
１１１ ぶれ検出回路
１１２ レンズ位置検出回路
１１５ 認識情報処理回路
１１６ 被写体像動きベクトル検出回路
【特許請求の範囲】
【請求項１】 カメラの撮影モードを設定する撮影モード設定手段と、被写体を撮像する複数の画素からなるエリアセンサと、該エリアセンサの出力をもとに撮影する被写体情報を認識する被写体認識手段と、該被写体認識手段による認識結果に応じてカメラの撮影機能の制御を行う制御手段とを有し、前記被写体認識手段は、設定された撮影モードに応じて、被写体情報を認識する為の認識アルゴリズムを変更することを特徴とする被写体認識機能付きカメラ。
【請求項２】 カメラの撮影モードを設定する撮影モード設定手段と、被写体を撮像する複数の画素からなるエリアセンサと、該エリアセンサの出力をもとに撮影する被写体情報を認識する被写体認識手段と、該被写体認識手段による認識結果に応じてカメラの撮影機能の制御を行う制御手段とを有し、前記被写体認識手段は、設定された撮影モードに応じて、被写体情報を認識する認識アルゴリズム及び該認識アルゴリズムを構成するパラメータを変更することを特徴とする被写体認識機能付きカメラ。
【請求項３】 前記認識アルゴリズムは、少なくとも顔認識を行うアルゴリズムを含むことを特徴とする請求項１又２に記載の被写体認識機能付きカメラ。
【請求項４】 前記認識アルゴリズムは、少なくとも被写体の動きを検出するアルゴリズムを含むことを特徴とする請求項１又は２に記載の被写体認識機能付きカメラ。
【請求項５】 カメラの撮影モードを設定する撮影モード設定手段と、被写体を撮像する複数の画素からなるエリアセンサと、該エリアセンサの出力をもとに撮影する被写体情報のうち少なくとも顔を認識する顔認識アルゴリズムを備えた被写体認識手段と、該被写体認識手段による認識結果に応じてカメラの撮影機能の制御を行う制御手段とを有し、前記被写体認識手段は、設定された撮影モードによっては前記顔認識アルゴリズムの動作を行わないことを特徴とする被写体認識機能付きカメラ。
【請求項６】 前記制御手段は、前記被写体認識手段による前記顔認識アルゴリズムの動作が行われなかった場合は、あらかじめ設定されている撮影モードに対応する情報に基づいてカメラの撮影機能の制御を行うことを特徴とする請求項５に記載の被写体認識機能付きカメラ。
【請求項７】 前記被写体認識手段が前記顔認識アルゴリズムの動作を行わない撮影モードは、人物を主体にしたシーンを撮影する撮影モード以外の撮影モードであることを特徴とする請求項５又は６に記載の被写体認識機能付きカメラ。
【請求項８】 前記カメラの撮影機能の制御とは、露出制御及び焦点調節制御であることを特徴とする請求項１、２又は５に記載の被写体認識機能付きカメラ。
【請求項９】 前記撮影モード設定手段は、被写体の種類または状態に合わせて撮影者が手動により撮影モードを設定する構成のものであることを特徴とする請求項１〜８の何れかに記載の被写体認識機能付きカメラ。
【請求項１】 カメラの撮影モードを設定する撮影モード設定手段と、被写体を撮像する複数の画素からなるエリアセンサと、該エリアセンサの出力をもとに撮影する被写体情報を認識する被写体認識手段と、該被写体認識手段による認識結果に応じてカメラの撮影機能の制御を行う制御手段とを有し、前記被写体認識手段は、設定された撮影モードに応じて、被写体情報を認識する為の認識アルゴリズムを変更することを特徴とする被写体認識機能付きカメラ。
【請求項２】 カメラの撮影モードを設定する撮影モード設定手段と、被写体を撮像する複数の画素からなるエリアセンサと、該エリアセンサの出力をもとに撮影する被写体情報を認識する被写体認識手段と、該被写体認識手段による認識結果に応じてカメラの撮影機能の制御を行う制御手段とを有し、前記被写体認識手段は、設定された撮影モードに応じて、被写体情報を認識する認識アルゴリズム及び該認識アルゴリズムを構成するパラメータを変更することを特徴とする被写体認識機能付きカメラ。
【請求項３】 前記認識アルゴリズムは、少なくとも顔認識を行うアルゴリズムを含むことを特徴とする請求項１又２に記載の被写体認識機能付きカメラ。
【請求項４】 前記認識アルゴリズムは、少なくとも被写体の動きを検出するアルゴリズムを含むことを特徴とする請求項１又は２に記載の被写体認識機能付きカメラ。
【請求項５】 カメラの撮影モードを設定する撮影モード設定手段と、被写体を撮像する複数の画素からなるエリアセンサと、該エリアセンサの出力をもとに撮影する被写体情報のうち少なくとも顔を認識する顔認識アルゴリズムを備えた被写体認識手段と、該被写体認識手段による認識結果に応じてカメラの撮影機能の制御を行う制御手段とを有し、前記被写体認識手段は、設定された撮影モードによっては前記顔認識アルゴリズムの動作を行わないことを特徴とする被写体認識機能付きカメラ。
【請求項６】 前記制御手段は、前記被写体認識手段による前記顔認識アルゴリズムの動作が行われなかった場合は、あらかじめ設定されている撮影モードに対応する情報に基づいてカメラの撮影機能の制御を行うことを特徴とする請求項５に記載の被写体認識機能付きカメラ。
【請求項７】 前記被写体認識手段が前記顔認識アルゴリズムの動作を行わない撮影モードは、人物を主体にしたシーンを撮影する撮影モード以外の撮影モードであることを特徴とする請求項５又は６に記載の被写体認識機能付きカメラ。
【請求項８】 前記カメラの撮影機能の制御とは、露出制御及び焦点調節制御であることを特徴とする請求項１、２又は５に記載の被写体認識機能付きカメラ。
【請求項９】 前記撮影モード設定手段は、被写体の種類または状態に合わせて撮影者が手動により撮影モードを設定する構成のものであることを特徴とする請求項１〜８の何れかに記載の被写体認識機能付きカメラ。
【図１】
【図２】
【図３】
【図４】
【図５】
【図７】
【図６】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図７】
【図６】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２００１−３３０８８２（Ｐ２００１−３３０８８２Ａ）
【公開日】平成１３年１１月３０日（２００１．１１．３０）
【国際特許分類】
【出願番号】特願２０００−１５２４３６（Ｐ２０００−１５２４３６）
【出願日】平成１２年５月２４日（２０００．５．２４）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成１３年１１月３０日（２００１．１１．３０）
【国際特許分類】
【出願日】平成１２年５月２４日（２０００．５．２４）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]