画像処理方法および画像処理装置
【課題】顔領域など特定領域の検出に要する演算量を画像状況に応じて最適化する機能を、被写体の前後動作やズームアップ・ズームアウトの操作に際しても有効化し、演算量削減効果を可及的に高いものにする。
【解決手段】距離算出ステップｎ１０において、順次入力されてくる画像データにおいて距離情報を算出し、距離比較ステップｎ２０において、現在フレーム画像データおよび過去フレーム画像データについてそれぞれ距離算出ステップで得られた距離情報を比較し、特定領域検出用パラメータの設定ステップｎ３０において、距離比較ステップにおける比較結果に基づいて特定領域検出用のパラメータを設定し、特定領域検出ステップｎ４０において、特定領域検出用パラメータの設定ステップにおいて設定された特定領域検出用のパラメータに基づいて特定領域を検出する。
【解決手段】距離算出ステップｎ１０において、順次入力されてくる画像データにおいて距離情報を算出し、距離比較ステップｎ２０において、現在フレーム画像データおよび過去フレーム画像データについてそれぞれ距離算出ステップで得られた距離情報を比較し、特定領域検出用パラメータの設定ステップｎ３０において、距離比較ステップにおける比較結果に基づいて特定領域検出用のパラメータを設定し、特定領域検出ステップｎ４０において、特定領域検出用パラメータの設定ステップにおいて設定された特定領域検出用のパラメータに基づいて特定領域を検出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、順次入力されてくる画像データについて顔領域など特定領域を検出する画像処理方法および画像処理装置にかかわり、詳しくは特定領域の検出に要する演算量を画像状況に応じて最適化し、特定領域検出に要する時間を可及的に短時間化するための技術に関する。
【背景技術】
【０００２】
近年、デジタルカメラ等の撮像装置における画像処理装置はインテリジェント化が進み、顔領域検出機能の搭載が一般的となってきている。顔領域検出手法の一例として、テンプレートマッチング手法がある。以下、従来の技術におけるテンプレートマッチングの概略を図１７を用いて説明する。
【０００３】
図１７（ａ）に示すように、予め大量のサンプル顔画像データＩｓから顔らしさを表現する特徴を基準顔画像データＩｔとして抽出しておく。次いで、図１７（ｂ）に示すように、顔領域検出対象画像データＩｄの全域に亘って部分領域を走査しながら、基準顔画像データＩｔとの類似度を算出して、部分領域が顔領域であるか否かを判定しながら、顔領域の検出を実施する。
【０００４】
また、図１７（ｃ）に示すように、顔領域検出対象画像データＩｄを拡大または縮小した上で同様の処理を行うことにより、大小様々な大きさの顔領域を検出する。
【０００５】
この従来技術ではマッチング回数が膨れ上がり、その演算量は非常に大きいものとなる。
【０００６】
図１８に先行技術の特許文献１に開示の対象画像検索装置の構成図および制御の概念図を示す。特許文献１では、顔検出部２１において順次入力されてくる画像データに対し顔領域検出を行い、顔領域を示す座標情報を出力する。出力された座標情報は顔検出結果蓄積部２３に蓄積される。次いで、検出対象領域設定部２２において、顔検出結果蓄積部２３に蓄積されている（Ｎ−２）フレーム画像データでの顔領域座標Ｃ(N-2)および（Ｎ−１）フレーム画像データでの顔領域座標Ｃ(N-1)に基づき、Ｎフレーム画像データにおける顔領域座標Ｃ(N)を予測し、予測領域を検出対象範囲に設定する。この顔領域座標Ｃ(N)の予測により、演算量を画像状況に応じて最適化し、演算量を削減する。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００７−３３４７７９号公報（第５−７頁、第１，３図）
【発明の概要】
【発明が解決しようとする課題】
【０００８】
上記の従来の技術においては、被写体が撮像装置に対して前後に動いた場合や、撮影者がズームアップまたはズームアウトの操作をした場合において、過去フレーム画像データの特定領域（顔領域）座標から現在フレーム画像データの特定領域座標を予測することはむずかしく、画像状況に応じた演算量の最適化を通じての演算量削減が困難になる。
【０００９】
本発明は、このような事情に鑑みて創作したものであり、顔領域など特定領域の検出に要する演算量を画像状況に応じて最適化する機能を、被写体の前後動作やズームアップ・ズームアウトの操作に際しても有効化し、演算量削減効果を可及的に高いものにすることを目的としている。
【課題を解決するための手段】
【００１０】
本発明は、次のような手段を講じることにより上記の課題を解決する。《１》，《２》，《３》…等の括弧付き数字は〔特許請求の範囲〕の請求項番号と呼応するものであるので、以下の記載においては必ずしも通し番号とはならず、順番が飛ぶ場合がある。
【００１１】
《１》本発明による画像処理方法は、次のような内容の複数のステップを含むものとして構成されている。それは少なくとも、距離算出ステップ、距離比較ステップ、特定領域検出用パラメータの設定ステップおよび特定領域検出ステップである。
【００１２】
距離算出ステップでは、順次入力されてくる画像データにおいて距離情報を算出する。ここで距離情報とは、撮像装置から被写体までの距離またはそれに対応した物理量に関する情報である。
【００１３】
距離比較ステップでは、現在フレーム画像データおよび過去フレーム画像データについてそれぞれ距離算出ステップで得られた距離情報を比較する。比較結果については、増減、変化量（差分）、比率などどのような形式でもよい。
【００１４】
特定領域検出用パラメータの設定ステップでは、距離比較ステップにおける比較結果に基づいて特定領域検出用のパラメータを設定する。特定領域検出用のパラメータとは、検出する特定領域のサイズや検出範囲あるいはこれらに相当する物理量を規定する情報のことであり、その形式もどのようなものでもよい。
【００１５】
特定領域検出ステップでは、特定領域検出用パラメータの設定ステップにおいて設定された特定領域検出用のパラメータに基づいて特定領域を検出する。
【００１６】
上記の構成による作用は次のとおりである。現在フレーム画像データにおける距離情報が過去フレーム画像データにおける距離情報と比較され、その比較結果に応じて特定領域検出用のパラメータが設定され、特定領域が検出される。撮像装置から被写体までの距離またはそれに対応した物理量に関する情報である距離情報は、従来技術のテンプレートマッチング方式や予測方式に比べて迅速容易に算出することが可能である。このことは、被写体の前後動作やズームアップ・ズームアウトの操作に際しての各フレームの画像データにも当てはまる。また、現在フレーム画像データと過去フレーム画像データの距離情報の比較結果から特定領域検出用のパラメータが設定されるが、この設定もテンプレートマッチング方式や予測方式に比べて迅速容易に行うことが可能である。
【００１７】
したがって、本発明の上記の方式によって設定された特定領域検出用のパラメータに基づく特定領域は、その都度の現在フレーム画像データの画像状況に過不足のない最適なパラメータによる特定領域となる。距離情報の比較結果に基づいて特定領域検出用のパラメータを設定するということは、特定領域検出用のパラメータを全サイズに対して設定するのではなく、限定したサイズについて設定するということである。これはつまり、検出対象の特定領域をそのサイズにおいて絞り込んでいることに相当する。この絞り込みにより、演算量を大幅に削減することが可能になる。
【００１８】
さらに、前述のように、過不足のない最適なパラメータによる特定領域とすることにより、被写体の前後動作やズームアップ・ズームアウトの操作に際しても、特定領域検出に要する演算量は、現在フレーム画像データにおける距離情報に応じた最適な演算量となる。
【００１９】
以上の相乗により、本発明によれば、演算量過多に起因する撮像の困難性を回避することが可能となり、顔領域など特定領域の検出に要する時間の削減効果を高めることが可能となる。
【００２０】
《１１》上記《１》の構成の画像処理方法において、さらに、特定領域の動き有無を解析する動作解析ステップと、その解析結果に基づいて次のステップへの分岐を制御する分岐制御ステップとを含む画像処理方法も有用である。上記《１》の構成においては、特定領域検出用のパラメータの設定の基礎が現在フレーム画像データと過去フレーム画像データの距離情報の比較結果にある。ところが、現在フレーム画像データにおける距離情報と過去フレーム画像データにおける距離情報との間に相違が生じるのは、被写体の前後動作やズームアップ・ズームアウトの操作に際してだけのものとは限らない。撮像装置の光軸が左右または上下に振れた場合や被写体が左右または上下に動いた場合でも、両距離情報に相違が生じる。現在フレーム画像データと過去フレーム画像データの距離情報の比較結果から特定領域検出用のパラメータを設定する理由は、被写体の前後動作やズームアップ・ズームアウトの操作にかかわらず、特定領域検出に要する演算量を、現在フレーム画像データにおける距離情報に応じた最適な演算量とし、演算量過多に起因する撮像の困難性を回避するためである。しかし、この演算量調整を、撮像装置の光軸振れや被写体の左右上下の動きのために両距離情報に相違が生じた場合にも適用するとなると、却って、演算量の最適化の妨げになってしまう。そこで、このような場合には、現在フレーム画像データと過去フレーム画像データの距離情報の比較結果から特定領域検出用のパラメータが設定する機能を働かせないように調整する。
【００２１】
前記の動作解析ステップは、前記の距離算出ステップと距離比較ステップとの間に設定される。この動作解析ステップは、過去フレーム画像データにおける距離情報と現在フレーム画像データにおける距離情報に基づいて特定領域に左右上下の動きがあるか否かを解析する。
【００２２】
前記の分岐制御ステップは、動作解析ステップにおける解析結果が特定領域は左右上下の動きを伴わないとする場合は距離比較ステップに進み、解析結果が特定領域は左右上下の動きを伴うとする場合は距離比較ステップをスキップして特定領域検出用パラメータの設定ステップに進む。
【００２３】
さらに、解析結果が特定領域は左右上下の動きを伴うとする場合に、特定領域検出用パラメータの設定ステップでは、特定領域検出用のパラメータを全サイズに対して設定する。全サイズに対して設定するというのは、《１》のように検出対象の特定領域をそのサイズにおいて絞り込み限定するということはしないということである。ここで、特定領域に左右上下の動きがあるか否かの判断において、上記《１》の特定領域検出用のパラメータの設定の場合と同様に、過去および現在のフレーム画像データの距離情報を用いていることが１つの技術ポイントとなる。
【００２４】
本項の構成によれば、現在フレーム画像データと過去フレーム画像データの距離情報に変化があるとき、その原因が被写体の前後動作やズームアップ・ズームアウトの操作にあるときは、上記《１》の処理を行い、一方、その原因が撮像装置の光軸振れや被写体の左右上下の動きに起因して特定領域の左右上下の動きがあるときは、上記《１》の処理は不動作とし、特定領域検出用のパラメータを全サイズに対して設定することとしている。その結果、撮像装置の光軸振れや被写体の左右上下の動きの場合の検出漏れを防止することが可能となる。
【００２５】
本項の技術内容は、後述する《２》〜《１０》にも適用可能である。
【００２６】
《１４》上記《１》の構成の画像処理方法において、特定領域に左右上下の動きがあるか否かを解析するに当たり、上記《１１》とは別の方式もある。ここでは、距離情報の比較結果に代えて、動きベクトルを用いることとする。本項では、上記《１》の構成の画像処理方法において、さらに、動きベクトル生成ステップと、動きベクトル解析ステップとを含んでいる。
【００２７】
前記の動きベクトル生成ステップは、入力されてくる画像データにおいて動きベクトル情報を生成する。
【００２８】
前記の動きベクトル解析ステップは、動きベクトル情報に基づいて特定領域に左右上下の動きがあるか否かを解析する。この動きベクトル解析ステップは分岐制御の機能も担っている。解析結果が特定領域は左右上下の動きを伴わないとする場合は前記の距離比較ステップに進み、解析結果が特定領域は左右上下の動きを伴うとする場合は距離比較ステップをスキップして前記の特定領域検出用パラメータの設定ステップに進む。
【００２９】
さらに、解析結果が特定領域は左右上下の動きを伴うとする場合に、特定領域検出用パラメータの設定ステップでは、特定領域検出用のパラメータを全サイズに対して設定する。全サイズに対して設定するというのは、検出対象の特定領域をそのサイズにおいて絞り込み限定することはしないということである。ここで、特定領域に左右上下の動きがあるか否かの判断において、上記《１》，《１１》とは異なり、動きベクトル情報を用いていることが１つの技術ポイントとなる。
【００３０】
本項の構成によれば、動きベクトルに変化がある場合で、その原因が被写体の前後動作やズームアップ・ズームアウトの操作にあるときは、上記《１》の処理を行い、一方、その原因が撮像装置の光軸振れや被写体の左右上下の動きに起因して特定領域の左右上下の動きがあるときは、上記《１》の処理は不動作とし、特定領域検出用のパラメータを全サイズに対して設定することとしている。その結果、撮像装置の光軸振れや被写体の左右上下の動きの場合の検出漏れを防止することが可能となる。
【００３１】
本項の技術内容は、後述する《２》〜《１０》にも適用可能である。
【００３２】
《２１》上記《１》の構成の画像処理方法に対応する画像処理装置として、順次入力されてくる画像データにおいて距離情報を算出する距離算出部と、現在フレーム画像データおよび過去フレーム画像データについてそれぞれ前記距離算出部で得られた距離情報を比較する距離比較部と、前記距離比較部における比較結果に基づいて特定領域検出用のパラメータを設定する特定領域検出用パラメータ設定部と、前記特定領域検出用パラメータ設定部において設定された前記特定領域検出用のパラメータに基づいて特定領域を検出する特定領域検出部とを備えた画像処理装置が有効である。
【００３３】
この構成の本発明の画像処理装置によれば、演算量過多に起因する撮像の困難性を回避することが可能となり、顔領域など特定領域の検出に要する時間の削減効果を高めることが可能となる。
【００３４】
《２２》上記《１１》の構成の画像処理方法に対応する画像処理装置として、上記《２１》の構成の画像処理装置において、さらに、過去フレーム画像データにおける距離情報と現在フレーム画像データにおける距離情報に基づいて特定領域に左右上下の動きがあるか否かを解析する動作解析部と、前記動作解析部における解析結果が特定領域は左右上下の動きを伴わないとする場合は前記距離比較部を動作させ、解析結果が特定領域は左右上下の動きを伴うとする場合は前記距離比較部を不動作とした上で前記特定領域検出用パラメータ設定部を動作させる分岐制御部とを備え、解析結果が特定領域は左右上下の動きを伴うとする場合に、前記特定領域検出用パラメータ設定部では、特定領域検出用のパラメータを全サイズに対して設定するように構成された画像処理装置が有効である。
【００３５】
この構成の画像処理装置によれば、撮像装置の光軸振れや被写体の左右上下の動きの場合の検出漏れを防止することが可能となる。
【００３６】
《２３》上記《１４》の構成の画像処理方法に対応する画像処理装置として、上記《２１》の構成の画像処理装置において、さらに、入力されてくる画像データにおいて動きベクトル情報を生成する動きベクトル生成部と、前記動きベクトル情報に基づいて特定領域に左右上下の動きがあるか否かを解析し、解析結果が特定領域は左右上下の動きを伴わないとする場合は前記距離比較部を動作させ、解析結果が特定領域は左右上下の動きを伴うとする場合は前記距離比較部を不動作とした上で前記特定領域検出用パラメータ設定部を動作させる動きベクトル解析部とを備え、解析結果が特定領域は左右上下の動きを伴うとする場合に、前記特定領域検出用パラメータ設定部では、特定領域検出用のパラメータを全サイズに対して設定するように構成された画像処理装置が有効である。
【００３７】
この構成の画像処理装置によれば、撮像装置の光軸振れや被写体の左右上下の動きの場合の検出漏れを防止することが可能となる。
【００３８】
また、上記《１》，《１１》，《１４》の画像処理方法は、それぞれの画像処理方法をコンピュータに実行させるためのプログラムとしても展開可能である。
【００３９】
《２７》さらに、上記の《２１》〜《２３》の画像処理装置は、次のような構成の撮像装置として展開される。それは、光学レンズを介して入射した被写体光を受光して撮像信号に変換して出力する撮像素子と、前記撮像素子から出力された撮像信号をデジタル信号に変換するＡ／Ｄ変換部と、前記Ａ／Ｄ変換部の出力したデジタル信号に対して画像処理を行う画像処理回路を含むデジタル信号処理回路と、前記デジタル信号処理回路が出力する画像データをメディアに記録する記録回路と、記録された信号を再生する再生回路とを備え、前記画像処理回路として上記《２１》〜《２３》のいずれかの画像処理装置を備えたものである。
【発明の効果】
【００４０】
本発明によれば、現在フレーム画像データにおける距離情報を過去フレーム画像データにおける距離情報と比較した結果に基づいて特定領域検出用のパラメータを設定し、現在フレームにおける顔領域など特定領域のサイズを予測しかつ限定するので、顔領域など特定領域の検出に要する演算量を画像状況に応じて最適化する機能を、被写体の前後動作やズームアップ・ズームアウトの操作に際しても有効化することができる。すなわち、演算量過多に起因する撮像の困難性を回避しつつ、特定領域の検出における演算量削減効果を可及的に高いものにすることができる。
【図面の簡単な説明】
【００４１】
【図１】本発明の実施例１における画像処理装置の構成を示すブロック図
【図２】本発明の実施例１における画像処理装置の動作（全体フロー）を示すフローチャート（その１）
【図３】本発明の実施例１における画像処理装置の初期フローを示すフローチャート
【図４】本発明の実施例１における被写体までの距離の算出と過去フレーム画像データにおける距離情報との比較についての説明図
【図５】本発明の実施例１における過去フレーム画像データから現在フレーム画像データへの推移の説明図
【図６】本発明の実施例１における顔領域検出用のパラメータの設定および顔領域検出の処理の説明図（その１）
【図７】本発明の実施例１における顔領域検出用のパラメータの設定および顔領域検出の処理の説明図（その２）
【図８】本発明の実施例１における画像処理装置の動作（全体フロー）を示すフローチャート（その２）
【図９】本発明の実施例２における画像処理装置の構成を示すブロック図
【図１０】本発明の実施例２における画像処理装置の動作（全体フロー）を示すフローチャート
【図１１】本発明の実施例２における左右上下動作の有無の解析方法の説明図
【図１２】本発明の実施例２における顔領域が左右上下動作を伴わない場合の特定領域の設定と検出処理の説明図
【図１３】本発明の実施例３における画像処理装置の構成を示すブロック図
【図１４】本発明の実施例３における画像処理装置の動作（全体フロー）を示すフローチャート
【図１５】本発明の実施例３における左右上下動作の有無の解析方法の説明図
【図１６】本発明の実施例にかかわる画像処理装置が搭載されている撮像装置の構成を示すブロック図
【図１７】従来の技術におけるテンプレートマッチングの概略図
【図１８】先行技術に開示の対象画像検索装置の構成図および制御の概念図
【発明を実施するための形態】
【００４２】
上記した《１》の構成の本発明の画像処理方法は、次のような実施の形態においてさらに有利に展開することが可能である。
【００４３】
《２》上記《１》の構成の画像処理方法において、前記の特定領域検出用パラメータの設定ステップにおける特定領域検出用のパラメータについては、検出する特定領域のサイズまたは検出範囲に関するパラメータとするのが好ましい。すなわち、現在フレーム画像データにおける距離情報が過去フレーム画像データにおける距離情報に比べて大きくなったとき、特定領域のサイズまたは検出範囲を縮小するように特定領域検出用のパラメータを設定する。また、逆に、現在フレーム画像データにおける距離情報が過去フレーム画像データにおける距離情報に比べて小さくなったとき、特定領域のサイズまたは検出範囲を拡大するように特定領域検出用のパラメータを設定する。
【００４４】
《３》上記《１》の構成の画像処理方法において、前記の距離比較ステップについては、現在フレーム画像データにおける距離情報と過去フレーム画像データにおける距離情報との差分を閾値と比較するという態様がある。これは、特定領域検出用のパラメータを設定する上で最も簡単な方式の１つである。
【００４５】
《４》距離情報の差分と閾値との比較に言及した上記《３》の構成の画像処理方法において、前記の距離比較ステップについては、過去フレーム画像データで検出された特定領域の内部または周辺の距離情報と現在フレーム画像データにおける同位置の距離情報を比較することは好ましい態様の１つである。
【００４６】
過去フレーム画像データで検出された特定領域は、その位置座標が確定している。これに対して、現在フレーム画像データでは、これからその特定領域を定めるので、特定領域の位置座標は未確定である。そこで、位置座標がすでに確定している過去フレーム画像データで検出された特定領域の内部または周辺と同じ位置において、現在フレーム画像データにおける距離情報を求めることとする。こうすることにより、被写体の前後動作やズームアップ・ズームアウトの操作に際しても、過去・現在の両フレーム画像データの距離情報の比較の精度を高いものにすることが可能となる。
【００４７】
《５》距離情報の差分と閾値との比較に言及した上記《３》の構成の画像処理方法において、前記の距離比較ステップについては、前記の比較結果に基づいて検出する特定領域のサイズに優先順位を付けるようにし、また、前記の特定領域検出用パラメータの設定ステップにおいては、前記の優先順位に基づいたパラメータを設定するようにし、さらに、前記の特定領域検出ステップにおいては、前記の優先順位順に特定領域を検出するようにすることは好ましい態様の１つである。
【００４８】
入力画像データについての拡大・縮小画像データを複数生成する。これら複数の拡大・縮小画像データが候補となる。いま、過去フレーム画像についての複数の拡大・縮小画像データのうちのある１つの拡大・縮小画像データで特定領域が検出されているとする。候補とするのは、その特定領域が検出されている拡大・縮小画像データに対して連続するいくつかの拡大・縮小画像データである。このようにして選択されたいくつかの拡大・縮小画像データのパラメータに優先順位を付ける。すべての候補の中からいくつかに絞り込んで優先順位を付け、優先順位に従って現在フレーム画像データで特定領域を検出するので、特定領域検出に要する演算量の削減が促進され、演算量過多に起因する撮像の困難性をさらに良好に回避することが可能となる。
【００４９】
《６》距離情報の差分と閾値との比較に言及した上記《３》の構成の画像処理方法において、前記の特定領域検出用パラメータの設定ステップについては、前記の距離情報の差分についての判定基準として適当な値の閾値Ｐ（Ｐ＞０）を定めておき、前記の距離情報の差分が閾値Ｐ以上となったとき、過去フレーム画像データで検出された特定領域のサイズよりも小さいサイズの特定領域を検出するためのパラメータを設定し、さらに、前記の特定領域検出ステップにおいては、前記の小さいサイズの特定領域を検出するようにすることは好ましい態様の１つである。
【００５０】
現在フレーム画像データにおける距離情報をＳ、過去フレーム画像データにおける距離情報をＲとすると、距離情報の差分は（Ｓ−Ｒ）となる。この距離情報の差分（Ｓ−Ｒ）を閾値Ｐ（Ｐ＞０）と比較する。
【００５１】
０＜Ｐ≦（Ｓ−Ｒ）
となるときは、現在フレーム画像データにおける距離情報が増大中であるということが分かる。このときは、特定領域の検出対象サイズが小さくなるように特定領域検出用のパラメータを設定すればよい。
【００５２】
《７》距離情報の差分と閾値との比較に言及した上記《３》の構成の画像処理方法において、前記の特定領域検出用パラメータの設定ステップについては、前記の距離情報の差分についての判定基準として適当な値の閾値Ｑ（Ｑ＜０）を定めておき、前記の距離情報の差分が閾値Ｑより小さくなったとき、過去フレーム画像データで検出された特定領域のサイズよりも大きいサイズの特定領域を検出するためのパラメータを設定し、さらに、前記の特定領域検出ステップにおいては、前記の大きいサイズの特定領域を検出するようにすることは好ましい態様の１つである。
【００５３】
現在フレーム画像データにおける距離情報をＳ、過去フレーム画像データにおける距離情報をＲとすると、距離情報の差分は（Ｓ−Ｒ）となる。この距離情報の差分（Ｓ−Ｒ）を閾値Ｑ（Ｑ＜０）と比較する。
【００５４】
（Ｓ−Ｒ）＜Ｑ＜０
となるときは、現在フレーム画像データにおける距離情報が減少中であるということが分かる。このときは、特定領域の検出対象サイズが大きくなるように特定領域検出用のパラメータを設定すればよい。
【００５５】
《８》距離情報の差分と閾値との比較に言及した上記《３》の構成の画像処理方法において、前記の特定領域検出用パラメータの設定ステップについては、前記の距離情報の差分が閾値Ｐ（Ｐ＞０）より小さくかつ閾値Ｑ（Ｑ＜０）以上となったとき、過去フレーム画像データで検出された特定領域のサイズと同等のサイズの特定領域を検出するためのパラメータを設定し、さらに、前記の特定領域検出ステップにおいては、前記同等のサイズの特定領域を検出するようにすることは好ましい態様の１つである。
【００５６】
現在フレーム画像データにおける距離情報をＳ、過去フレーム画像データにおける距離情報をＲとすると、距離情報の差分は（Ｓ−Ｒ）となる。この距離情報の差分（Ｓ−Ｒ）を閾値Ｐ（Ｐ＞０）、閾値Ｑ（Ｑ＜０）と比較する。
【００５７】
Ｑ≦（Ｓ−Ｒ）＜Ｐ
となるときは、現在フレーム画像データにおける距離情報が増加中であるとも、また減少中であるとも言い難いことが分かる。このときは、特定領域の検出対象サイズが過去フレーム画像データでの特定領域の検出対象サイズと同等となるように特定領域検出用のパラメータを設定すればよい。
【００５８】
《９》距離情報の差分が閾値Ｐ（Ｐ＞０）以上となったとき、過去フレーム画像データよりも小さいサイズの特定領域を検出するためのパラメータを設定することとした上記《６》の構成の画像処理方法において、前記の閾値Ｐについて、複数個の閾値Ｐ１〜Ｐｎ（ｎは正の整数、Ｐ１＜Ｐ２＜…＜Ｐｎ）に細分化する。そして、前記の特定領域検出用パラメータの設定ステップにおいては、前記の距離情報の差分と細分化された閾値Ｐ１〜Ｐｎとの大小関係により、特定サイズの特定領域を検出するためのパラメータを設定し、さらに、前記の特定領域検出ステップにおいては、前記の特定サイズの特定領域を検出するようにすることは好ましい態様の１つである。
【００５９】
現在フレーム画像データにおける距離情報をＳ、過去フレーム画像データにおける距離情報をＲとすると、距離情報の差分は（Ｓ−Ｒ）となる。この距離情報の差分（Ｓ−Ｒ）を閾値Ｐ１，Ｐ２，…，Ｐｎ（０＜Ｐ１＜Ｐ２＜…＜Ｐｎ）と各々比較する。
【００６０】
Ｐ１≦（Ｓ−Ｒ）＜Ｐ２の場合、選択されたいくつかの候補のうち最小サイズに対応する拡大・縮小画像データに対してパラメータを設定し、検出処理を実施する。
【００６１】
Ｐ２≦（Ｓ−Ｒ）＜Ｐ３の場合、選択されたいくつかの候補のうち最小サイズの次に大きいサイズに対応する拡大・縮小画像データに対してパラメータを設定し、検出処理を実施する。
【００６２】
Ｐｎ−１≦（Ｓ−Ｒ）＜Ｐｎの場合、選択されたいくつかの候補のうち最大サイズの次に小さいサイズに対応する拡大・縮小画像データに対してパラメータを設定し、検出処理を実施する。
【００６３】
Ｐｎ≦（Ｓ−Ｒ）の場合、選択されたいくつかの候補のうち最大サイズに対応する拡大・縮小画像データに対してパラメータを設定し、検出処理を実施する。
【００６４】
このようにキメの細かいパラメータ設定を行うので、被写体の前後動作やズームアップ・ズームアウトの操作に際しても、特定領域の検出の精度を高いものにすることが可能となる。
【００６５】
《１０》距離情報の差分が閾値Ｑ（Ｑ＜０）より小さくなったとき、過去フレーム画像データよりも大きいサイズの特定領域を検出するためのパラメータを設定することとした上記《７》の構成の画像処理方法において、前記の閾値Ｑについて、複数個の閾値Ｑ１〜Ｑｎ（ｎは正の整数、Ｑｎ＜…＜Ｑ２＜Ｑ１）に細分化する。そして、前記の特定領域検出用パラメータの設定ステップにおいては、前記の距離情報の差分と細分化された閾値Ｑ１〜Ｑｎとの大小関係により、特定サイズの特定領域を検出するためのパラメータを設定し、さらに、前記の特定領域検出ステップにおいては、前記の特定サイズの特定領域を検出するようにすることは好ましい態様の１つである。
【００６６】
現在フレーム画像データにおける距離情報をＳ、過去フレーム画像データにおける距離情報をＲとすると、距離情報の差分は（Ｓ−Ｒ）となる。この距離情報の差分（Ｓ−Ｒ）を閾値Ｑ１，Ｑ２，…，Ｑｎ（Ｑｎ＜…＜Ｑ２＜Ｑ１＜０）と各々比較する。
【００６７】
Ｑ２≦（Ｓ−Ｒ）＜Ｑ１の場合、選択されたいくつかの候補のうち最大サイズに対応する拡大・縮小画像データに対してパラメータを設定し、検出処理を実施する。
【００６８】
Ｑ３≦（Ｓ−Ｒ）＜Ｑ２の場合、選択されたいくつかの候補のうち最大サイズの次に小さいサイズに対応する拡大・縮小画像データに対してパラメータを設定し、検出処理を実施する。
【００６９】
Ｑｎ≦（Ｓ−Ｒ）＜Ｑｎ−１の場合、選択されたいくつかの候補のうち最小サイズの次に大きいサイズに対応する拡大・縮小画像データに対してパラメータを設定し、検出処理を実施する。
【００７０】
（Ｓ−Ｒ）＜Ｑｎの場合、選択されたいくつかの候補のうち最小サイズに対応する拡大・縮小画像データに対してパラメータを設定し、検出処理を実施する。
【００７１】
このようにキメの細かいパラメータ設定を行うので、被写体の前後動作やズームアップ・ズームアウトの操作に際しても、特定領域の検出の精度を高いものにすることが可能となる。
【００７２】
《１２》動作解析ステップについて言及した上記《１１》の構成の画像処理方法において、前記の動作解析ステップについては、過去フレーム画像データで検出された特定領域の内部または周辺の距離情報と現在フレーム画像データにおける同位置の距離情報とに基づいて特定領域に左右上下の動きがあるか否かを解析することは好ましい態様の１つである。
【００７３】
過去フレーム画像データで検出された特定領域は、その位置座標が確定している。これに対して、現在フレーム画像データでは、これからその特定領域を定めるので、特定領域の位置座標は未確定である。そこで、位置座標がすでに確定している過去フレーム画像データで検出された特定領域の内部または周辺と同じ位置において、現在フレーム画像データにおける距離情報を求め、この距離情報とに基づいて特定領域に左右上下の動きがあるか否かを解析することとする。こうすることにより、撮像装置の光軸振れや被写体の左右上下の動きによる特定領域の左右上下の動きの判断を精度の高いものにすることが可能となる。
【００７４】
《１３》上記《１２》の構成の画像処理方法において、前記の動作解析ステップについては、過去フレーム画像データで検出された特定領域の内部または周辺の距離情報と現在フレーム画像データにおける同位置の距離情報との大小関係を各々算出し、１つでも異なる大小関係が現れた場合は特定領域が左右上下の動きを伴うと判断するようにすることは好ましい態様の１つである。
【００７５】
撮像装置の光軸振れや被写体の左右上下の動きに起因して特定領域の左右上下の動きがあるときは、現在フレーム画像データにおける距離情報と過去フレーム画像データにおける距離情報との差分において、その正負の符号が反転し、両距離情報の大小関係が不規則なものとなる。このような不規則が現れてきた場合には、特定領域が左右上下の動きを伴うと判断して上記《１》の処理は不動作とし、特定領域検出用のパラメータを全サイズに対して設定することとする。これによれば、特定領域の左右上下の動きの判断を精度の高いものにすることが可能となる。
【００７６】
《１５》特定領域に左右上下の動きがあるか否かの解析に動きベクトルを用いる上記《１４》の構成の画像処理方法において、前記の動きベクトル解析ステップについて、過去フレーム画像データで検出された特定領域の内部または周辺と同位置の現在フレーム画像データにおける動きベクトルに基づいて特定領域に左右上下の動きがあるか否かを解析するという態様がある。
【００７７】
過去フレーム画像データで検出された特定領域は、その位置座標が確定している。これに対して、現在フレーム画像データでは、これからその特定領域を定めるので、特定領域の位置座標は未確定である。そこで、位置座標がすでに確定している過去フレーム画像データで検出された特定領域の内部または周辺と同じ位置において、現在フレーム画像データにおける距離情報を求めることとする。こうすることにより、被写体の前後動作やズームアップ・ズームアウトの操作に際しても、過去・現在の両フレーム画像データの距離情報の比較の精度を高いものにすることが可能となる。
【００７８】
《１６》上記《１５》の構成の画像処理方法において、前記の動きベクトル解析ステップにおいて、過去フレーム画像データで検出された特定領域の内部または周辺と同位置の入力されてくる画像データにおける動きベクトル情報の合計値を算出し、その合計値が閾値以上となったときに特定領域が左右上下の動きを伴うと判断するという態様がある。
【００７９】
特定領域が左右上下の動きを伴う場合には動きベクトル情報に規則性がなく、その合計値が相対的に大きくなる。このような場合には、左右上下動作有りと判定し、全サイズの特定領域を検出するためのパラメータを設定する。
【００８０】
一方、被写体の前後動作やズームアップ・ズームアウトの操作のときは特定領域が左右上下の動きを伴わないが、このような場合には、動きベクトル情報に規則的に算出され、ベクトルの合計値が相対的に小さくなる。このような場合には、左右上下動作無しと判定し、サイズを限定した特定領域を検出するためのパラメータを設定する。
【００８１】
《１７》動作解析ステップについて言及した上記《１１》の構成の画像処理方法において、前記動作解析ステップで特定領域が左右上下の動きを伴わないと判断したときは、前記特定領域検出用パラメータの設定ステップにおいて、特定領域検出用パラメータを検出対象の特定領域のサイズに対して設定するものとする。
【００８２】
《１８》動きベクトル解析ステップについて言及した上記《１４》の構成の画像処理方法において、前記動きベクトル解析ステップで特定領域が左右上下の動きを伴わないと判断したときは、前記特定領域検出用パラメータの設定ステップにおいて、特定領域検出用パラメータを検出対象の特定領域のサイズに対して設定するものとする。
【００８３】
《１９》上記《１》〜《１８》の構成の画像処理方法において、前記の特定領域としては顔領域を設定するのが典型である。ただし、本発明においては、特定領域は顔領域のみに限定されるものではなく、広く任意の形態の領域に適用され得るものとする。
【００８４】
《２０》上記《１》〜《１９》の構成の画像処理方法において、前記の距離情報としては視差情報を設定してもよい。２つの撮像素子を用いて得られる２つの画像間の視差は、被写体と撮像装置との距離に応じて変化する。この性質を利用して、視差を距離に換算することが可能である。
【実施例】
【００８５】
以下、本発明の画像処理方法および画像処理装置の実施例について図面を参照しながら説明する。以下では、特定領域を顔領域として説明する。
【００８６】
（実施例１）
図１６は本発明の実施例にかかわる画像処理装置が搭載されている撮像装置（例えばデジタルスチルカメラ）の構成を示すブロック図である。
【００８７】
図１６において、１は光学レンズ、２は光学レンズ１を介して入射した被写体光を受光して撮像信号に変換して出力するＣＭＯＳイメージセンサなどの撮像素子、３は撮像素子２から出力された撮像信号をデジタル信号に変換するＡ／Ｄ変換部、４はＡ／Ｄ変換部３の出力したデジタル信号に対して画像処理を行うデジタル信号処理回路、５はデジタル信号処理回路４内に装備される画像処理回路、６はデジタル信号処理回路４が出力する画像データをメディアに記録する記録回路、７は記録回路６に記録された信号を再生する再生回路、８は撮像素子２、Ａ／Ｄ変換部３、デジタル信号処理回路４の駆動をタイミング制御するタイミング制御回路、９は撮像装置ＣＡの全体を制御するシステム制御回路である。
【００８８】
次に、図１６の撮像装置ＣＡの動作を説明する。光学レンズ１を通って入射した画像光は撮像素子２上に結像される。撮像素子２は、タイミング制御回路８によって駆動されることにより、結像された画像光を蓄積し、電気信号へと光電変換する。撮像素子２から読み出された電気信号は、Ａ／Ｄ変換部３によってデジタル信号へと変換された後に、画像処理回路５を含むデジタル信号処理回路４に入力される。デジタル信号処理回路４においては、Ｙ／Ｃ処理、エッジ処理、画像データの拡大縮小および本発明にかかわる画像圧縮伸張処理などの画像処理が行われる。画像処理された信号は、記録回路６においてメディアへ記録される。記録された信号は、再生回路７により再生される。
【００８９】
図１は本発明の実施例１における画像処理装置の構成を示すブロック図である。この画像処理装置は、図１６における画像処理回路５に相当するものである。なお、図１６は、画像処理回路５が後述する実施例２，３の画像処理方法のいずれかの機能を備えている場合に準用される。
【００９０】
図１において、１０は順次入力されてくる画像データにおいて距離情報を算出する距離算出部、２０は現在フレーム画像データおよび過去フレーム画像データについてそれぞれ距離算出部１０で得られた距離情報を比較する距離比較部、３０は距離比較部２０における比較結果に基づいて特定領域検出用のパラメータを設定する特定領域検出用パラメータ設定部、４０は特定領域検出用パラメータ設定部３０において設定された特定領域検出用のパラメータに基づいて特定領域を検出する特定領域検出部である。
【００９１】
図２は本発明の実施例１における画像処理装置の動作（全体フロー）を示すフローチャートである。以下、画像処理装置の動作を説明する。以下での特定領域は顔領域のことである。
【００９２】
ステップｎ１０において、順次入力されてくる画像データデータにおける撮像装置ＣＡから被写体までの距離を算出する（距離算出ステップ）。この動作は距離算出部１０において実行される。距離算出部１０は、入力した画像データを蓄積したり算出した距離情報を蓄積しておくための記憶部を付帯している。この記憶部は、外部におくのが一般的であるが、内部にあってもよい。
【００９３】
次いでステップｎ２０において、現在フレーム画像データにおける距離情報と過去フレーム画像データにおける距離情報とを比較する（距離比較ステップ）。この動作は距離比較部２０において実行される。距離比較部２０は、前記の記憶部から現在フレーム画像データにおける距離情報と過去フレーム画像データにおける距離情報とを同時的に読み出し、両者を比較し、その比較結果を特定領域検出用パラメータ設定部３０に渡す。比較の態様については後述する。
【００９４】
次いでステップｎ３０において、距離比較ステップｎ２０における比較結果に基づいて特定領域検出で用いるパラメータを設定する（特定領域検出用パラメータの設定ステップ）。この動作は特定領域検出用パラメータ設定部３０において実行される。特定領域検出用のパラメータの態様については後述する。
【００９５】
次いでステップｎ４０において、特定領域検出用パラメータの設定ステップｎ３０において設定されたパラメータに基づいて特定領域を検出する（特定領域検出ステップ）。この動作は特定領域検出部４０において実行される。
【００９６】
ここで、本発明における撮像装置から被写体までの距離の算出方法に関して、例として２つの方法を説明する。
【００９７】
１つはレーザー光や電磁波等を被写体に照射し、その反射光の時間遅れに基づいて被写体との距離を算出するアクティブ方式である。
【００９８】
もう１つは、２つの撮像素子を用いて得られる２つの画像データの相関を計算し、２つの画像データ間の視差情報に基づいて距離を算出するパッシブ方式である。
【００９９】
両方式ともに、画像データをＮ×Ｍブロック（Ｎ，Ｍ：正の整数）に分割したブロック単位または画素単位で距離情報を算出することが可能である。
【０１００】
なお、２つの距離算出方法を例として説明したが、本発明における距離算出方法はこれらに限定されるものではない。
【０１０１】
図３は実施例１における初期フローを示す。順次入力されてくる画像データデータに対して特定領域検出ステップｎ２で特定領域検出処理を実施し、特定領域検出有無判定ステップｎ４で特定領域（顔領域）が検出されたと判断した場合は、距離算出ステップｎ６で被写体までの距離を算出し、検出結果を出力する。また、次フレーム以降の画像データに対しては図２に示すフローを実施する。特定領域（顔領域）が検出されなかったと判断した場合は、再度、初期フローの処理を実施する。
【０１０２】
図２のフローに先立って図３の初期フローをおくのは、図２の距離比較ステップｎ２０において、現在フレーム画像データにおける距離情報に対して過去フレーム画像データにおける距離情報を必要とするからである。
【０１０３】
上記の距離算出ステップｎ１０での被写体までの距離の算出と、距離比較ステップｎ２０での過去フレーム画像データにおける距離情報との比較について、図４を用いて説明する。Ｉinは入力画像データである。特定領域Ａの典型例は顔領域である。
【０１０４】
距離情報の比較において比較対象となる画像データ内の位置に関しては、過去フレームで検出された特定領域Ａの内部または周辺のブロックまたは画素を比較すればよい。すなわち、距離算出ステップｎ１０では、入力画像データに対してＮ×Ｍブロック（Ｎ，Ｍ：正の整数）に分割したときのブロック単位Ｂ０で距離情報を算出するものとする。また、距離比較ステップｎ２０では、過去フレーム画像データで検出された特定領域Ａの内部のブロックＢｃ（顔領域の中心座標ＣＣを含むブロック）における距離情報を比較する。
【０１０５】
次に、図５（ａ）に示す入力画像データに対する実施例に関して図２を用いて説明する。図５（ａ）は過去フレーム画像データＦ- で検出された特定領域よりも現在フレーム画像データＦの特定領域が大きい場合である。
【０１０６】
過去フレーム画像データＦ- における距離情報をＲ１、現在フレーム画像データＦにおける距離情報をＳ１（Ｓ１＜Ｒ１）として、距離差分（Ｓ１−Ｒ１）を所定の閾値Ｑ（Ｑ＜０）と比較する。
【０１０７】
（Ｓ１−Ｒ１）＜Ｑの場合、これは撮像装置ＣＡと被写体とが接近中であることを意味し、特定領域サイズが大きくなることが想定される。この場合、特定領域検出用パラメータの設定ステップｎ３０において、過去フレーム画像データＦ- で検出された特定領域サイズよりも大きいサイズの特定領域を検出するためのパラメータを設定し、特定領域検出ステップｎ４０において、設定したパラメータに従って検出処理を実施する。ここで、特定領域検出用のパラメータについては、検出する特定領域のサイズまたは検出範囲に関するパラメータとする。
【０１０８】
次に、前述した特定領域検出用のパラメータの設定および特定領域検出の処理に関して図６を用いて説明する。
【０１０９】
特定領域検出ステップｎ４０では、入力画像データに対して拡大・縮小をｉ回（ｉ：正の整数）実施するものとし、各拡大・縮小画像データをＩ0〜Ｉi-1で表す。
【０１１０】
過去フレームＦ- において拡大・縮小画像データＩi-4で特定領域が検出された場合、現在フレーム画像データＦに対しては、特定領域検出用パラメータの設定ステップｎ３０において、特定領域が検出された拡大・縮小画像データＩi-4に連続する複数の拡大・縮小画像データＩi-3，Ｉi-2，Ｉi-1に対して特定領域検出処理を実施するパラメータを設定する。さらに、特定領域検出ステップｎ４０において、設定したパラメータに従って検出処理を実施する。
【０１１１】
検出処理を実施する拡大・縮小画像データの順番に関しては、連続する複数の拡大・縮小画像データＩi-3，Ｉi-2，Ｉi-1に対して次のように優先順位を決めてもよい。
【０１１２】
距離差分（Ｓ１−Ｒ１）と所定の閾値Ｘ（Ｘ＜Ｑ）と比較して、（Ｓ１−Ｒ１）＜Ｘの場合、これは撮像装置ＣＡと被写体とが接近中で、接近の速度が比較的速いことを意味するため、拡大・縮小画像データＩi-1→Ｉi-2→Ｉi-3の順番で検出処理を実施する。
【０１１３】
一方、Ｘ＜（Ｓ１−Ｒ１）の場合、これは撮像装置ＣＡと被写体とが接近中で、接近の速度が比較的遅いことを意味するため、上記とは逆の、拡大・縮小画像データＩi-3→Ｉi-2→Ｉi-1の順番で検出処理を実施する。
【０１１４】
以上の処理においては、すべての拡大・縮小画像データに対して検出処理を実施するのではなく、それの一部に限定して実施するようにしているため、特定領域検出処理の演算量を削減することができる。
【０１１５】
前述した拡大・縮小画像データの優先順位に従って検出処理を実施し、途中で特定領域が検出された場合には、残りの処理を打ち切ることとする。逆に、検出対象となった拡大・縮小画像データにて特定領域が検出されなかった場合には、検出対象外となっていた拡大・縮小画像データに対して検出処理を実施するものとする。
【０１１６】
次に、図５（ｂ）に示す入力画像データに対する実施例に関して図２を用いて説明する。図５（ｂ）は過去フレーム画像データＦ- で検出された特定領域よりも現在フレーム画像データＦの特定領域が小さい場合である。
【０１１７】
距離算出ステップｎ１０において、入力されてくる現在フレーム画像データＦに対して被写体までの距離を算出し、距離比較ステップｎ２０において、過去フレーム画像データＦ- における距離情報との比較を実施する。距離情報の比較において比較対象となる画像データ内の位置に関しては、図５（ａ）ですでに説明してあるため省略する。
【０１１８】
過去フレーム画像データＦ- における距離情報をＲ２、現在フレーム画像データＦにおける距離情報をＳ２（Ｒ２＜Ｓ２）として、距離差分（Ｓ２−Ｒ２）を所定の閾値Ｐ（Ｐ＞０）と比較する。
【０１１９】
Ｐ≦（Ｓ２−Ｒ２）の場合、これは撮像装置ＣＡと被写体とが離間中であることを意味し、特定領域サイズが小さくなることが想定される。この場合、特定領域検出用パラメータの設定ステップｎ３０において、過去フレーム画像データＦ- で検出された特定領域サイズよりも小さいサイズの特定領域を検出するためのパラメータを設定し、特定領域検出ステップｎ４０において、設定したパラメータに従って検出処理を実施する。
【０１２０】
特定領域検出用のパラメータの設定および特定領域検出の処理に関しては、図５（ａ）ですでに説明してあるため詳細は省略するが、拡大・縮小画像データＩ0〜Ｉi-5に対して同様の処理を実施するものである。
【０１２１】
以上の処理においては、すべての拡大・縮小画像データに対して検出処理を実施するのではなく、それの一部に限定して実施するようにしているため、特定領域検出処理の演算量を削減することができる。
【０１２２】
次に、図５（ｃ）に示す入力画像データに対する実施例に関して図２を用いて説明する。図５（ｃ）は過去フレーム画像データＦ- で検出された特定領域と現在フレーム画像データＦの特定領域が同等の場合である。
【０１２３】
距離算出ステップｎ１０において、入力されてくる現在フレーム画像データＦに対して被写体までの距離を算出し、距離比較ステップｎ２０において、過去フレーム画像データＦ- における距離情報との比較を実施する。距離情報の比較において比較対象となる画像データ内の位置に関しては、図５（ａ）ですでに説明してあるため省略する。
【０１２４】
過去フレーム画像データＦ- における距離情報をＲ３、現在フレーム画像データＦにおける距離情報をＳ３（Ｒ３＝Ｓ３）として、距離差分（Ｓ３−Ｒ３）を所定の閾値Ｐ，Ｑ（Ｐ＞０、Ｑ＜０）と比較する。
【０１２５】
（Ｓ３−Ｒ３）＜ＰかつＱ≦（Ｓ３−Ｒ３）の場合、これは撮像装置ＣＡと被写体とがほとんど接近または離間していないことを意味し、特定領域サイズがほぼ変わらないことが想定される。この場合、特定領域検出用パラメータの設定ステップｎ３０において、過去フレーム画像データＦ- で検出された特定領域サイズと同等のサイズの特定領域を検出するためのパラメータを設定し、特定領域検出ステップｎ４０において、設定したパラメータに従って検出処理を実施する。
【０１２６】
特定領域検出用のパラメータの設定および特定領域検出の処理に関しては、図５（ａ）ですでに説明してあるため詳細は省略するが、過去フレームＦ- において特定領域が検出された拡大・縮小画像データＩi-4に対して同様の処理を実施するものである。
【０１２７】
なお、距離算出ステップｎ１０における算出誤差を許容するために、前後の拡大・縮小画像データに対しても検出処理を実施してもよい。
【０１２８】
以上の処理においては、検出処理はすべての拡大・縮小画像データに対して実施するのではなく、それの一部に限定して実施するようにしているため、特定領域検出処理の演算量を削減することができる。
【０１２９】
次に、図７を用いて、図６の設定方法よりも詳細にパラメータを設定する方法に関して説明する。
【０１３０】
図５（ａ）に示す画像データが入力された場合、距離算出ステップｎ１０において、現在フレーム画像データＦに対して被写体までの距離を算出し、距離比較ステップｎ２０において、過去フレーム画像データＦ- における距離情報との比較を実施する。距離情報の比較において比較対象となる画像データ内の位置に関しては、図５（ａ）ですでに説明してあるため省略する。
【０１３１】
過去フレーム画像データＦ- における距離情報をＲ１、現在フレーム画像データＦにおける距離情報をＳ１（Ｓ１＜Ｒ１）として、距離差分（Ｓ１−Ｒ１）と所定の閾値Ｑ１，Ｑ２，…，Ｑｎ（Ｑｎ＜…＜Ｑ２＜Ｑ１＜０）とを各々比較する。
【０１３２】
Ｑ２≦（Ｓ１−Ｒ１）＜Ｑ１＜０の場合、これは撮像装置ＣＡと被写体とが接近中で、接近の速度が比較的遅いことを意味し、特定領域サイズが徐々に大きくなることが想定される。この場合、特定領域検出用パラメータの設定ステップｎ３０において、拡大・縮小画像データＩi-3に対して特定領域検出処理を実施するパラメータを設定し、特定領域検出ステップｎ４０において、設定したパラメータに従って検出処理を実施する。
【０１３３】
Ｑ３≦（Ｓ１−Ｒ１）＜Ｑ２の場合、これは撮像装置ＣＡと被写体とが接近中で、接近の速度が中間状態であることを意味し、特定領域サイズが中間速度で大きくなることが想定される。この場合、特定領域検出用パラメータの設定ステップｎ３０において、拡大・縮小画像データＩi-2に対して特定領域検出処理を実施するパラメータを設定し、特定領域検出ステップｎ４０において、設定したパラメータに従って検出処理を実施する。
【０１３４】
（Ｓ１−Ｒ１）＜Ｑ３の場合、これは撮像装置ＣＡと被写体とが接近中で、接近の速度が比較的速いことを意味し、特定領域サイズが急速に大きくなることが想定される。この場合、特定領域検出用パラメータの設定ステップｎ３０において、拡大・縮小画像データＩi-1に対して特定領域検出処理を実施するパラメータを設定し、特定領域検出ステップｎ４０において、設定したパラメータに従って検出処理を実施する。
【０１３５】
なお、１つの条件に対して複数の拡大・縮小画像データを割り当ててもよい。
【０１３６】
また、同様に図５（ｂ）に示す画像データが入力された場合に関しても、過去フレーム画像データＦ- における距離情報をＲ２、現在フレーム画像データＦにおける距離情報をＳ２（Ｒ２＜Ｓ２）として、距離差分（Ｓ２−Ｒ２）と所定の閾値Ｐ１〜Ｐｎ（０＜Ｐ１＜Ｐ２＜…＜Ｐｎ）とを各々比較し、特定領域検出用パラメータの設定ステップｎ３０において、各条件に対応した拡大・縮小画像データに対して特定領域検出処理を実施するパラメータを設定し、特定領域検出ステップｎ４０において、設定したパラメータに従って検出処理を実施する。
【０１３７】
なお、図８に示すフローのように本実施例における距離情報を視差情報に置き換えて処理を実施することも可能である。
【０１３８】
（実施例２）
本発明の実施例２は、上記の実施例１にさらに特定領域の左右上下動作の有無判定を導入した画像処理方法に関する。特定領域の左右上下動作の有無判定は、現在フレーム画像データおよび過去フレーム画像データデータにおける距離情報に基づいて行われる。
【０１３９】
図９は本発明の実施例２における画像処理装置の構成を示すブロック図である。この画像処理装置は、図１６における画像処理回路５に相当するものである。図９において、実施例１の図１におけるのと同じ符号は同一構成要素を指しているので、詳しい説明は省略する。１２は距離算出部１０で得られる過去フレーム画像データにおける距離情報と現在フレーム画像データにおける距離情報に基づいて特定領域に左右上下の動きがあるか否かを解析する動作解析部である。１４は動作解析部１２における解析結果が特定領域は左右上下の動きを伴わないとする場合は距離比較部２０を動作させ、解析結果が特定領域は左右上下の動きを伴うとする場合は距離比較部２０を不動作とした上で特定領域検出用パラメータ設定部３０ａを動作させる分岐制御部である。特定領域検出用パラメータ設定部３０ａは、解析結果が特定領域は左右上下の動きを伴うとする場合に、特定領域検出用のパラメータを全サイズに対して設定するように構成されている。
【０１４０】
図１０は図９の画像処理装置が実行するフローであって、現在フレーム画像データおよび過去フレーム画像データデータにおける距離情報に基づいて特定領域の左右上下動作の有無判定を導入したフローを示す。図５（ｄ）に示す入力画像データに対する実施例に関して図１０を用いて説明する。
【０１４１】
図５（ｄ）は過去フレーム画像データＦ- と現在フレーム画像データＦで特定領域に左右上下の動作が有る場合を示している。
【０１４２】
距離算出ステップｎ１０において、入力されてくる現在フレーム画像データＦに対して被写体までの距離を算出する。
【０１４３】
次いでステップｎ１２において、過去フレーム画像データＦ- における距離情報と現在フレーム画像データＦにおける距離情報に基づいて左右上下動作の有無を解析する（動作解析ステップ）。この動作は動作解析部１２において実行される。動作解析部１２は、距離算出部１０における記憶部から現在フレーム画像データにおける距離情報と過去フレーム画像データにおける距離情報とを同時的に読み出し、左右上下動作の有無を解析し、その解析結果を分岐制御部１４に渡す。
【０１４４】
次いでステップｎ１４において、動作解析ステップｎ１２における解析結果が特定領域は左右上下の動きを伴わないとする場合は距離比較ステップｎ２０に進み、解析結果が特定領域は左右上下の動きを伴うとする場合は距離比較ステップｎ２０をスキップして特定領域検出用パラメータの設定ステップｎ３０ａに進む（分岐制御ステップ）。この動作は分岐制御部１４において実行される。
【０１４５】
続く特定領域検出用パラメータの設定ステップｎ３０ａにおいては、ステップｎ２０からのフローのときは実施例１と同様の処理を実行し、ステップＳ１４からのフローのときは、全サイズの特定領域を検出するためのパラメータを設定する。後者の動作は特定領域検出用パラメータ設定部３０ａにおいて実行される。
【０１４６】
次いで特定領域検出ステップｎ４０において、設定したパラメータに従って検出処理を実施する。
【０１４７】
ここで、左右上下動作の有無の解析方法に関して図１１を用いて説明する。
【０１４８】
距離情報は実施例１と同様に、距離算出ステップｎ１０において、入力画像データに対してＮ×Ｍブロック（Ｎ，Ｍ：正の整数）に分割したときのブロック単位で算出されるものとする。
【０１４９】
動作解析ステップｎ１２では、過去フレーム画像データＦ- における特定領域の周辺ブロックまたは内部ブロックの距離情報と現在フレーム画像データＦにおける同位置のブロックの距離情報を各々比較すればよいが、本実施例では周辺ブロック（図１１の網掛けされたブロック）を各々比較し、大小関係を算出する。
【０１５０】
図１１（ａ）においては、過去フレーム画像データＦ- より現在フレーム画像データＦの距離情報が大きいブロックＢ１および過去フレーム画像データＦ- より現在フレーム画像データＦの距離情報が小さいブロックＢ２の両方が存在している。そのため、分岐制御ステップｎ１４において左右上下動作有りと判定し、特定領域検出用パラメータの設定ステップｎ３０ａにおいて、全サイズの特定領域を検出するためのパラメータを設定する。
【０１５１】
図１１（ｂ）においては、過去フレーム画像データＦ- より現在フレーム画像データＦの距離情報が大きいブロックＢ１のみが存在している。そのため、動作解析ステップｎ１２において左右上下動作無しと判定し、分岐制御ステップｎ１４からステップｎ２０に分岐し、以降、実施例１と同様の処理を実施する。
【０１５２】
以上の処理を実施することにより、特定領域が左右上下の動作を伴ったとしても検出漏れを防止することができる。
【０１５３】
また、図１２に示すように特定領域が左右上下動作を伴わない場合、特定領域検出用のパラメータにて現在フレーム画像データＦにおける検出対象の特定領域Ａ* を設定し、特定領域検出ステップｎ４０において、設定したパラメータに従って検出処理を実施することで、特定領域検出処理の演算量を削減することができる。設定する検出対象の特定領域Ａ* については、実施例１で説明した拡大・縮小画像データから現在フレーム画像データＦにおける特定領域サイズを予測し、その予測に基づいて設定することが望ましい。過去フレーム画像データＦ- における特定領域より現在フレーム画像データＦにおける特定領域が大きい場合も同様である。
【０１５４】
（実施例３）
本発明の実施例３は、上記の実施例１にさらに動きベクトル情報に基づく特定領域の左右上下動作の有無判定を導入した画像処理方法に関する。
【０１５５】
図１３は本発明の実施例３における画像処理装置の構成を示すブロック図である。この画像処理装置は、図１６における画像処理回路５に相当するものである。図１３において、実施例１の図１におけるのと同じ符号は同一構成要素を指しているので、詳しい説明は省略する。１６は入力されてくる画像データにおいて動きベクトル情報を生成する動きベクトル生成部である。１８は動きベクトル生成部１６による動きベクトル情報に基づいて特定領域に左右上下の動きがあるか否かを解析するとともに、その解析結果が特定領域は左右上下の動きを伴わないとする場合は距離比較部２０を動作させ、解析結果が特定領域は左右上下の動きを伴うとする場合は距離比較部２０を不動作とした上で特定領域検出用パラメータ設定部３０ａを動作させる動きベクトル解析部（分岐制御機能付き）である。特定領域検出用パラメータ設定部３０ａは、解析結果が特定領域は左右上下の動きを伴うとする場合に、特定領域検出用のパラメータを全サイズに対して設定するように構成されている。
【０１５６】
図１４は図１３の画像処理装置が実行するフローであって、動きベクトル情報に基づく特定領域の左右上下動作の有無判定を導入したフローを示す。図５（ｄ）に示す入力画像データに対する実施例に関して図１４を用いて説明する。
【０１５７】
距離算出ステップｎ１０において、入力されてくる現在フレーム画像データＦに対して被写体までの距離を算出する。
【０１５８】
次いでステップｎ１６において動きベクトルを算出する（動きベクトル生成ステップ）。この動作は動きベクトル生成部１６において実行される。
【０１５９】
動きベクトル情報は、入力画像データに対してＮ×Ｍブロック（Ｎ，Ｍ：正の整数）に分割したときのブロック単位で算出されるものとする。
【０１６０】
次いでステップｎ１８において、動きベクトル情報に基づいて左右上下動作の有無を解析し、解析結果が特定領域は左右上下の動きを伴わないとする場合は距離比較ステップｎ２０に進み、解析結果が特定領域は左右上下の動きを伴うとする場合は距離比較ステップｎ２０をスキップして特定領域検出用パラメータの設定ステップｎ３０ａに進む（動きベクトル解析ステップ）。この動作は動きベクトル解析部１８において実行される。
【０１６１】
続く特定領域検出用パラメータの設定ステップｎ３０ａにおいては、ステップｎ２０からのフローのときは実施例１と同様の処理を実行し、ステップＳ１８からのフローのときは、実施例２と同様に全サイズの特定領域を検出するためのパラメータを設定する。後者の動作は特定領域検出用パラメータ設定部３０ａにおいて実行される。
【０１６２】
次いで特定領域検出ステップｎ４０において、設定したパラメータに従って検出処理を実施する。
【０１６３】
ここで、左右上下動作の有無の解析方法に関して図１５を用いて説明する。
【０１６４】
動きベクトル解析ステップｎ１８では過去フレーム画像データＦ- における特定領域の周辺ブロックまたは内部ブロックの動きベクトル情報を解析すればよいが、本実施例では周辺ブロック（図１５の矢印のブロック）の動きベクトルを解析する。解析方法は周辺ブロックにおける動きベクトル情報の合計値を算出し、所定の閾値ＭＶとの比較を実施する。
【０１６５】
図１５（ａ）においては、周辺ブロックの動きベクトル情報に規則性がなく、ベクトルの合計値が所定の閾値ＭＶ以上となるため、左右上下動作有りと判定し、特定領域検出用パラメータの設定ステップｎ３０ａにおいて、全サイズの特定領域を検出するためのパラメータを設定する。
【０１６６】
図１５（ｂ）においては、周辺ブロックの動きベクトル情報に規則的に算出され、ベクトルの合計値が所定の閾値ＭＶより小さくなるため、左右上下動作無しと判定し、以降実施例１と同様の処理を実施する。
【０１６７】
以上の処理を実施することにより、撮像装置ＣＡに対して特定領域が左右上下の動作を伴ったとしても検出漏れを防止することができる。
【０１６８】
また、実施例２と同様に、図１２に示すように特定領域が左右上下動作を伴わない場合、特定領域検出用のパラメータにて現在フレーム画像データＦにおける検出対象の特定領域Ａ* を設定し、特定領域検出ステップｎ４０において、設定したパラメータに従って検出処理を実施することで特定領域検出処理の演算量を削減することができる。設定する検出対象の特定領域Ａ* は実施例１で説明した拡大・縮小画像データから現在フレーム画像データＦにおける特定領域サイズを予測し、その予測に基づいて設定することが望ましい。過去フレーム画像データＦ- における特定領域より現在フレーム画像データＦにおける特定領域が大きい場合も同様である。
【０１６９】
なお、画像処理回路５における画像処理は、必ずしも光学レンズ１を介して撮像素子２に結像された画像光に基づく信号のみに適用されるものではなく、例えば外部装置から電気信号として入力されてくる画像データ信号を処理する際にも適用可能であることは言うまでもない。
【０１７０】
なお、上記で説明した実施例１〜３はあくまで一例であり、これらに対して様々な改変を行うことが可能である。
【産業上の利用可能性】
【０１７１】
本発明は、顔領域など特定領域の検出機能を備えるデジタルカメラ（デジタルスチルカメラ、デジタルビデオカメラ、カメラ付き携帯等）やネットワークカメラ、監視カメラ、テレビ内蔵型カメラ、インターホンカメラ、その他のインテリジェントカメラ等の撮像装置において、被写体の前後動作やズームアップ・ズームアウトの操作に際しても、演算量過多に起因する撮像の困難性を回避しつつ、特定領域の検出における演算量削減効果を達成する上で有用である。
【符号の説明】
【０１７２】
ｎ４ 特定領域検出有無判定ステップ
ｎ６，ｎ１０ 距離算出ステップ
ｎ１０ａ 視差算出ステップ
ｎ１２ 動作解析ステップ
ｎ１４ 分岐制御ステップ
ｎ１６ 動きベクトル生成ステップ
ｎ１８ 動きベクトル解析ステップ
ｎ２０ 距離比較ステップ
ｎ２０ａ 視差比較ステップ
ｎ３０ 特定領域検出用パラメータの設定ステップ
ｎ４０ 特定領域検出ステップ
ＣＡ 撮像装置
１ 光学レンズ
２ 撮像素子
３ Ａ／Ｄ変換部
４ デジタル信号処理回路
５ 画像処理回路
１０ 距離算出部
１２ 動作解析部
１４ 分岐制御部
１６ 動きベクトル生成部
１８ 動きベクトル解析部
２０ 距離比較部
３０，３０ａ 特定領域検出用パラメータ設定部
４０ 特定領域検出部
【技術分野】
【０００１】
本発明は、順次入力されてくる画像データについて顔領域など特定領域を検出する画像処理方法および画像処理装置にかかわり、詳しくは特定領域の検出に要する演算量を画像状況に応じて最適化し、特定領域検出に要する時間を可及的に短時間化するための技術に関する。
【背景技術】
【０００２】
近年、デジタルカメラ等の撮像装置における画像処理装置はインテリジェント化が進み、顔領域検出機能の搭載が一般的となってきている。顔領域検出手法の一例として、テンプレートマッチング手法がある。以下、従来の技術におけるテンプレートマッチングの概略を図１７を用いて説明する。
【０００３】
図１７（ａ）に示すように、予め大量のサンプル顔画像データＩｓから顔らしさを表現する特徴を基準顔画像データＩｔとして抽出しておく。次いで、図１７（ｂ）に示すように、顔領域検出対象画像データＩｄの全域に亘って部分領域を走査しながら、基準顔画像データＩｔとの類似度を算出して、部分領域が顔領域であるか否かを判定しながら、顔領域の検出を実施する。
【０００４】
また、図１７（ｃ）に示すように、顔領域検出対象画像データＩｄを拡大または縮小した上で同様の処理を行うことにより、大小様々な大きさの顔領域を検出する。
【０００５】
この従来技術ではマッチング回数が膨れ上がり、その演算量は非常に大きいものとなる。
【０００６】
図１８に先行技術の特許文献１に開示の対象画像検索装置の構成図および制御の概念図を示す。特許文献１では、顔検出部２１において順次入力されてくる画像データに対し顔領域検出を行い、顔領域を示す座標情報を出力する。出力された座標情報は顔検出結果蓄積部２３に蓄積される。次いで、検出対象領域設定部２２において、顔検出結果蓄積部２３に蓄積されている（Ｎ−２）フレーム画像データでの顔領域座標Ｃ(N-2)および（Ｎ−１）フレーム画像データでの顔領域座標Ｃ(N-1)に基づき、Ｎフレーム画像データにおける顔領域座標Ｃ(N)を予測し、予測領域を検出対象範囲に設定する。この顔領域座標Ｃ(N)の予測により、演算量を画像状況に応じて最適化し、演算量を削減する。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００７−３３４７７９号公報（第５−７頁、第１，３図）
【発明の概要】
【発明が解決しようとする課題】
【０００８】
上記の従来の技術においては、被写体が撮像装置に対して前後に動いた場合や、撮影者がズームアップまたはズームアウトの操作をした場合において、過去フレーム画像データの特定領域（顔領域）座標から現在フレーム画像データの特定領域座標を予測することはむずかしく、画像状況に応じた演算量の最適化を通じての演算量削減が困難になる。
【０００９】
本発明は、このような事情に鑑みて創作したものであり、顔領域など特定領域の検出に要する演算量を画像状況に応じて最適化する機能を、被写体の前後動作やズームアップ・ズームアウトの操作に際しても有効化し、演算量削減効果を可及的に高いものにすることを目的としている。
【課題を解決するための手段】
【００１０】
本発明は、次のような手段を講じることにより上記の課題を解決する。《１》，《２》，《３》…等の括弧付き数字は〔特許請求の範囲〕の請求項番号と呼応するものであるので、以下の記載においては必ずしも通し番号とはならず、順番が飛ぶ場合がある。
【００１１】
《１》本発明による画像処理方法は、次のような内容の複数のステップを含むものとして構成されている。それは少なくとも、距離算出ステップ、距離比較ステップ、特定領域検出用パラメータの設定ステップおよび特定領域検出ステップである。
【００１２】
距離算出ステップでは、順次入力されてくる画像データにおいて距離情報を算出する。ここで距離情報とは、撮像装置から被写体までの距離またはそれに対応した物理量に関する情報である。
【００１３】
距離比較ステップでは、現在フレーム画像データおよび過去フレーム画像データについてそれぞれ距離算出ステップで得られた距離情報を比較する。比較結果については、増減、変化量（差分）、比率などどのような形式でもよい。
【００１４】
特定領域検出用パラメータの設定ステップでは、距離比較ステップにおける比較結果に基づいて特定領域検出用のパラメータを設定する。特定領域検出用のパラメータとは、検出する特定領域のサイズや検出範囲あるいはこれらに相当する物理量を規定する情報のことであり、その形式もどのようなものでもよい。
【００１５】
特定領域検出ステップでは、特定領域検出用パラメータの設定ステップにおいて設定された特定領域検出用のパラメータに基づいて特定領域を検出する。
【００１６】
上記の構成による作用は次のとおりである。現在フレーム画像データにおける距離情報が過去フレーム画像データにおける距離情報と比較され、その比較結果に応じて特定領域検出用のパラメータが設定され、特定領域が検出される。撮像装置から被写体までの距離またはそれに対応した物理量に関する情報である距離情報は、従来技術のテンプレートマッチング方式や予測方式に比べて迅速容易に算出することが可能である。このことは、被写体の前後動作やズームアップ・ズームアウトの操作に際しての各フレームの画像データにも当てはまる。また、現在フレーム画像データと過去フレーム画像データの距離情報の比較結果から特定領域検出用のパラメータが設定されるが、この設定もテンプレートマッチング方式や予測方式に比べて迅速容易に行うことが可能である。
【００１７】
したがって、本発明の上記の方式によって設定された特定領域検出用のパラメータに基づく特定領域は、その都度の現在フレーム画像データの画像状況に過不足のない最適なパラメータによる特定領域となる。距離情報の比較結果に基づいて特定領域検出用のパラメータを設定するということは、特定領域検出用のパラメータを全サイズに対して設定するのではなく、限定したサイズについて設定するということである。これはつまり、検出対象の特定領域をそのサイズにおいて絞り込んでいることに相当する。この絞り込みにより、演算量を大幅に削減することが可能になる。
【００１８】
さらに、前述のように、過不足のない最適なパラメータによる特定領域とすることにより、被写体の前後動作やズームアップ・ズームアウトの操作に際しても、特定領域検出に要する演算量は、現在フレーム画像データにおける距離情報に応じた最適な演算量となる。
【００１９】
以上の相乗により、本発明によれば、演算量過多に起因する撮像の困難性を回避することが可能となり、顔領域など特定領域の検出に要する時間の削減効果を高めることが可能となる。
【００２０】
《１１》上記《１》の構成の画像処理方法において、さらに、特定領域の動き有無を解析する動作解析ステップと、その解析結果に基づいて次のステップへの分岐を制御する分岐制御ステップとを含む画像処理方法も有用である。上記《１》の構成においては、特定領域検出用のパラメータの設定の基礎が現在フレーム画像データと過去フレーム画像データの距離情報の比較結果にある。ところが、現在フレーム画像データにおける距離情報と過去フレーム画像データにおける距離情報との間に相違が生じるのは、被写体の前後動作やズームアップ・ズームアウトの操作に際してだけのものとは限らない。撮像装置の光軸が左右または上下に振れた場合や被写体が左右または上下に動いた場合でも、両距離情報に相違が生じる。現在フレーム画像データと過去フレーム画像データの距離情報の比較結果から特定領域検出用のパラメータを設定する理由は、被写体の前後動作やズームアップ・ズームアウトの操作にかかわらず、特定領域検出に要する演算量を、現在フレーム画像データにおける距離情報に応じた最適な演算量とし、演算量過多に起因する撮像の困難性を回避するためである。しかし、この演算量調整を、撮像装置の光軸振れや被写体の左右上下の動きのために両距離情報に相違が生じた場合にも適用するとなると、却って、演算量の最適化の妨げになってしまう。そこで、このような場合には、現在フレーム画像データと過去フレーム画像データの距離情報の比較結果から特定領域検出用のパラメータが設定する機能を働かせないように調整する。
【００２１】
前記の動作解析ステップは、前記の距離算出ステップと距離比較ステップとの間に設定される。この動作解析ステップは、過去フレーム画像データにおける距離情報と現在フレーム画像データにおける距離情報に基づいて特定領域に左右上下の動きがあるか否かを解析する。
【００２２】
前記の分岐制御ステップは、動作解析ステップにおける解析結果が特定領域は左右上下の動きを伴わないとする場合は距離比較ステップに進み、解析結果が特定領域は左右上下の動きを伴うとする場合は距離比較ステップをスキップして特定領域検出用パラメータの設定ステップに進む。
【００２３】
さらに、解析結果が特定領域は左右上下の動きを伴うとする場合に、特定領域検出用パラメータの設定ステップでは、特定領域検出用のパラメータを全サイズに対して設定する。全サイズに対して設定するというのは、《１》のように検出対象の特定領域をそのサイズにおいて絞り込み限定するということはしないということである。ここで、特定領域に左右上下の動きがあるか否かの判断において、上記《１》の特定領域検出用のパラメータの設定の場合と同様に、過去および現在のフレーム画像データの距離情報を用いていることが１つの技術ポイントとなる。
【００２４】
本項の構成によれば、現在フレーム画像データと過去フレーム画像データの距離情報に変化があるとき、その原因が被写体の前後動作やズームアップ・ズームアウトの操作にあるときは、上記《１》の処理を行い、一方、その原因が撮像装置の光軸振れや被写体の左右上下の動きに起因して特定領域の左右上下の動きがあるときは、上記《１》の処理は不動作とし、特定領域検出用のパラメータを全サイズに対して設定することとしている。その結果、撮像装置の光軸振れや被写体の左右上下の動きの場合の検出漏れを防止することが可能となる。
【００２５】
本項の技術内容は、後述する《２》〜《１０》にも適用可能である。
【００２６】
《１４》上記《１》の構成の画像処理方法において、特定領域に左右上下の動きがあるか否かを解析するに当たり、上記《１１》とは別の方式もある。ここでは、距離情報の比較結果に代えて、動きベクトルを用いることとする。本項では、上記《１》の構成の画像処理方法において、さらに、動きベクトル生成ステップと、動きベクトル解析ステップとを含んでいる。
【００２７】
前記の動きベクトル生成ステップは、入力されてくる画像データにおいて動きベクトル情報を生成する。
【００２８】
前記の動きベクトル解析ステップは、動きベクトル情報に基づいて特定領域に左右上下の動きがあるか否かを解析する。この動きベクトル解析ステップは分岐制御の機能も担っている。解析結果が特定領域は左右上下の動きを伴わないとする場合は前記の距離比較ステップに進み、解析結果が特定領域は左右上下の動きを伴うとする場合は距離比較ステップをスキップして前記の特定領域検出用パラメータの設定ステップに進む。
【００２９】
さらに、解析結果が特定領域は左右上下の動きを伴うとする場合に、特定領域検出用パラメータの設定ステップでは、特定領域検出用のパラメータを全サイズに対して設定する。全サイズに対して設定するというのは、検出対象の特定領域をそのサイズにおいて絞り込み限定することはしないということである。ここで、特定領域に左右上下の動きがあるか否かの判断において、上記《１》，《１１》とは異なり、動きベクトル情報を用いていることが１つの技術ポイントとなる。
【００３０】
本項の構成によれば、動きベクトルに変化がある場合で、その原因が被写体の前後動作やズームアップ・ズームアウトの操作にあるときは、上記《１》の処理を行い、一方、その原因が撮像装置の光軸振れや被写体の左右上下の動きに起因して特定領域の左右上下の動きがあるときは、上記《１》の処理は不動作とし、特定領域検出用のパラメータを全サイズに対して設定することとしている。その結果、撮像装置の光軸振れや被写体の左右上下の動きの場合の検出漏れを防止することが可能となる。
【００３１】
本項の技術内容は、後述する《２》〜《１０》にも適用可能である。
【００３２】
《２１》上記《１》の構成の画像処理方法に対応する画像処理装置として、順次入力されてくる画像データにおいて距離情報を算出する距離算出部と、現在フレーム画像データおよび過去フレーム画像データについてそれぞれ前記距離算出部で得られた距離情報を比較する距離比較部と、前記距離比較部における比較結果に基づいて特定領域検出用のパラメータを設定する特定領域検出用パラメータ設定部と、前記特定領域検出用パラメータ設定部において設定された前記特定領域検出用のパラメータに基づいて特定領域を検出する特定領域検出部とを備えた画像処理装置が有効である。
【００３３】
この構成の本発明の画像処理装置によれば、演算量過多に起因する撮像の困難性を回避することが可能となり、顔領域など特定領域の検出に要する時間の削減効果を高めることが可能となる。
【００３４】
《２２》上記《１１》の構成の画像処理方法に対応する画像処理装置として、上記《２１》の構成の画像処理装置において、さらに、過去フレーム画像データにおける距離情報と現在フレーム画像データにおける距離情報に基づいて特定領域に左右上下の動きがあるか否かを解析する動作解析部と、前記動作解析部における解析結果が特定領域は左右上下の動きを伴わないとする場合は前記距離比較部を動作させ、解析結果が特定領域は左右上下の動きを伴うとする場合は前記距離比較部を不動作とした上で前記特定領域検出用パラメータ設定部を動作させる分岐制御部とを備え、解析結果が特定領域は左右上下の動きを伴うとする場合に、前記特定領域検出用パラメータ設定部では、特定領域検出用のパラメータを全サイズに対して設定するように構成された画像処理装置が有効である。
【００３５】
この構成の画像処理装置によれば、撮像装置の光軸振れや被写体の左右上下の動きの場合の検出漏れを防止することが可能となる。
【００３６】
《２３》上記《１４》の構成の画像処理方法に対応する画像処理装置として、上記《２１》の構成の画像処理装置において、さらに、入力されてくる画像データにおいて動きベクトル情報を生成する動きベクトル生成部と、前記動きベクトル情報に基づいて特定領域に左右上下の動きがあるか否かを解析し、解析結果が特定領域は左右上下の動きを伴わないとする場合は前記距離比較部を動作させ、解析結果が特定領域は左右上下の動きを伴うとする場合は前記距離比較部を不動作とした上で前記特定領域検出用パラメータ設定部を動作させる動きベクトル解析部とを備え、解析結果が特定領域は左右上下の動きを伴うとする場合に、前記特定領域検出用パラメータ設定部では、特定領域検出用のパラメータを全サイズに対して設定するように構成された画像処理装置が有効である。
【００３７】
この構成の画像処理装置によれば、撮像装置の光軸振れや被写体の左右上下の動きの場合の検出漏れを防止することが可能となる。
【００３８】
また、上記《１》，《１１》，《１４》の画像処理方法は、それぞれの画像処理方法をコンピュータに実行させるためのプログラムとしても展開可能である。
【００３９】
《２７》さらに、上記の《２１》〜《２３》の画像処理装置は、次のような構成の撮像装置として展開される。それは、光学レンズを介して入射した被写体光を受光して撮像信号に変換して出力する撮像素子と、前記撮像素子から出力された撮像信号をデジタル信号に変換するＡ／Ｄ変換部と、前記Ａ／Ｄ変換部の出力したデジタル信号に対して画像処理を行う画像処理回路を含むデジタル信号処理回路と、前記デジタル信号処理回路が出力する画像データをメディアに記録する記録回路と、記録された信号を再生する再生回路とを備え、前記画像処理回路として上記《２１》〜《２３》のいずれかの画像処理装置を備えたものである。
【発明の効果】
【００４０】
本発明によれば、現在フレーム画像データにおける距離情報を過去フレーム画像データにおける距離情報と比較した結果に基づいて特定領域検出用のパラメータを設定し、現在フレームにおける顔領域など特定領域のサイズを予測しかつ限定するので、顔領域など特定領域の検出に要する演算量を画像状況に応じて最適化する機能を、被写体の前後動作やズームアップ・ズームアウトの操作に際しても有効化することができる。すなわち、演算量過多に起因する撮像の困難性を回避しつつ、特定領域の検出における演算量削減効果を可及的に高いものにすることができる。
【図面の簡単な説明】
【００４１】
【図１】本発明の実施例１における画像処理装置の構成を示すブロック図
【図２】本発明の実施例１における画像処理装置の動作（全体フロー）を示すフローチャート（その１）
【図３】本発明の実施例１における画像処理装置の初期フローを示すフローチャート
【図４】本発明の実施例１における被写体までの距離の算出と過去フレーム画像データにおける距離情報との比較についての説明図
【図５】本発明の実施例１における過去フレーム画像データから現在フレーム画像データへの推移の説明図
【図６】本発明の実施例１における顔領域検出用のパラメータの設定および顔領域検出の処理の説明図（その１）
【図７】本発明の実施例１における顔領域検出用のパラメータの設定および顔領域検出の処理の説明図（その２）
【図８】本発明の実施例１における画像処理装置の動作（全体フロー）を示すフローチャート（その２）
【図９】本発明の実施例２における画像処理装置の構成を示すブロック図
【図１０】本発明の実施例２における画像処理装置の動作（全体フロー）を示すフローチャート
【図１１】本発明の実施例２における左右上下動作の有無の解析方法の説明図
【図１２】本発明の実施例２における顔領域が左右上下動作を伴わない場合の特定領域の設定と検出処理の説明図
【図１３】本発明の実施例３における画像処理装置の構成を示すブロック図
【図１４】本発明の実施例３における画像処理装置の動作（全体フロー）を示すフローチャート
【図１５】本発明の実施例３における左右上下動作の有無の解析方法の説明図
【図１６】本発明の実施例にかかわる画像処理装置が搭載されている撮像装置の構成を示すブロック図
【図１７】従来の技術におけるテンプレートマッチングの概略図
【図１８】先行技術に開示の対象画像検索装置の構成図および制御の概念図
【発明を実施するための形態】
【００４２】
上記した《１》の構成の本発明の画像処理方法は、次のような実施の形態においてさらに有利に展開することが可能である。
【００４３】
《２》上記《１》の構成の画像処理方法において、前記の特定領域検出用パラメータの設定ステップにおける特定領域検出用のパラメータについては、検出する特定領域のサイズまたは検出範囲に関するパラメータとするのが好ましい。すなわち、現在フレーム画像データにおける距離情報が過去フレーム画像データにおける距離情報に比べて大きくなったとき、特定領域のサイズまたは検出範囲を縮小するように特定領域検出用のパラメータを設定する。また、逆に、現在フレーム画像データにおける距離情報が過去フレーム画像データにおける距離情報に比べて小さくなったとき、特定領域のサイズまたは検出範囲を拡大するように特定領域検出用のパラメータを設定する。
【００４４】
《３》上記《１》の構成の画像処理方法において、前記の距離比較ステップについては、現在フレーム画像データにおける距離情報と過去フレーム画像データにおける距離情報との差分を閾値と比較するという態様がある。これは、特定領域検出用のパラメータを設定する上で最も簡単な方式の１つである。
【００４５】
《４》距離情報の差分と閾値との比較に言及した上記《３》の構成の画像処理方法において、前記の距離比較ステップについては、過去フレーム画像データで検出された特定領域の内部または周辺の距離情報と現在フレーム画像データにおける同位置の距離情報を比較することは好ましい態様の１つである。
【００４６】
過去フレーム画像データで検出された特定領域は、その位置座標が確定している。これに対して、現在フレーム画像データでは、これからその特定領域を定めるので、特定領域の位置座標は未確定である。そこで、位置座標がすでに確定している過去フレーム画像データで検出された特定領域の内部または周辺と同じ位置において、現在フレーム画像データにおける距離情報を求めることとする。こうすることにより、被写体の前後動作やズームアップ・ズームアウトの操作に際しても、過去・現在の両フレーム画像データの距離情報の比較の精度を高いものにすることが可能となる。
【００４７】
《５》距離情報の差分と閾値との比較に言及した上記《３》の構成の画像処理方法において、前記の距離比較ステップについては、前記の比較結果に基づいて検出する特定領域のサイズに優先順位を付けるようにし、また、前記の特定領域検出用パラメータの設定ステップにおいては、前記の優先順位に基づいたパラメータを設定するようにし、さらに、前記の特定領域検出ステップにおいては、前記の優先順位順に特定領域を検出するようにすることは好ましい態様の１つである。
【００４８】
入力画像データについての拡大・縮小画像データを複数生成する。これら複数の拡大・縮小画像データが候補となる。いま、過去フレーム画像についての複数の拡大・縮小画像データのうちのある１つの拡大・縮小画像データで特定領域が検出されているとする。候補とするのは、その特定領域が検出されている拡大・縮小画像データに対して連続するいくつかの拡大・縮小画像データである。このようにして選択されたいくつかの拡大・縮小画像データのパラメータに優先順位を付ける。すべての候補の中からいくつかに絞り込んで優先順位を付け、優先順位に従って現在フレーム画像データで特定領域を検出するので、特定領域検出に要する演算量の削減が促進され、演算量過多に起因する撮像の困難性をさらに良好に回避することが可能となる。
【００４９】
《６》距離情報の差分と閾値との比較に言及した上記《３》の構成の画像処理方法において、前記の特定領域検出用パラメータの設定ステップについては、前記の距離情報の差分についての判定基準として適当な値の閾値Ｐ（Ｐ＞０）を定めておき、前記の距離情報の差分が閾値Ｐ以上となったとき、過去フレーム画像データで検出された特定領域のサイズよりも小さいサイズの特定領域を検出するためのパラメータを設定し、さらに、前記の特定領域検出ステップにおいては、前記の小さいサイズの特定領域を検出するようにすることは好ましい態様の１つである。
【００５０】
現在フレーム画像データにおける距離情報をＳ、過去フレーム画像データにおける距離情報をＲとすると、距離情報の差分は（Ｓ−Ｒ）となる。この距離情報の差分（Ｓ−Ｒ）を閾値Ｐ（Ｐ＞０）と比較する。
【００５１】
０＜Ｐ≦（Ｓ−Ｒ）
となるときは、現在フレーム画像データにおける距離情報が増大中であるということが分かる。このときは、特定領域の検出対象サイズが小さくなるように特定領域検出用のパラメータを設定すればよい。
【００５２】
《７》距離情報の差分と閾値との比較に言及した上記《３》の構成の画像処理方法において、前記の特定領域検出用パラメータの設定ステップについては、前記の距離情報の差分についての判定基準として適当な値の閾値Ｑ（Ｑ＜０）を定めておき、前記の距離情報の差分が閾値Ｑより小さくなったとき、過去フレーム画像データで検出された特定領域のサイズよりも大きいサイズの特定領域を検出するためのパラメータを設定し、さらに、前記の特定領域検出ステップにおいては、前記の大きいサイズの特定領域を検出するようにすることは好ましい態様の１つである。
【００５３】
現在フレーム画像データにおける距離情報をＳ、過去フレーム画像データにおける距離情報をＲとすると、距離情報の差分は（Ｓ−Ｒ）となる。この距離情報の差分（Ｓ−Ｒ）を閾値Ｑ（Ｑ＜０）と比較する。
【００５４】
（Ｓ−Ｒ）＜Ｑ＜０
となるときは、現在フレーム画像データにおける距離情報が減少中であるということが分かる。このときは、特定領域の検出対象サイズが大きくなるように特定領域検出用のパラメータを設定すればよい。
【００５５】
《８》距離情報の差分と閾値との比較に言及した上記《３》の構成の画像処理方法において、前記の特定領域検出用パラメータの設定ステップについては、前記の距離情報の差分が閾値Ｐ（Ｐ＞０）より小さくかつ閾値Ｑ（Ｑ＜０）以上となったとき、過去フレーム画像データで検出された特定領域のサイズと同等のサイズの特定領域を検出するためのパラメータを設定し、さらに、前記の特定領域検出ステップにおいては、前記同等のサイズの特定領域を検出するようにすることは好ましい態様の１つである。
【００５６】
現在フレーム画像データにおける距離情報をＳ、過去フレーム画像データにおける距離情報をＲとすると、距離情報の差分は（Ｓ−Ｒ）となる。この距離情報の差分（Ｓ−Ｒ）を閾値Ｐ（Ｐ＞０）、閾値Ｑ（Ｑ＜０）と比較する。
【００５７】
Ｑ≦（Ｓ−Ｒ）＜Ｐ
となるときは、現在フレーム画像データにおける距離情報が増加中であるとも、また減少中であるとも言い難いことが分かる。このときは、特定領域の検出対象サイズが過去フレーム画像データでの特定領域の検出対象サイズと同等となるように特定領域検出用のパラメータを設定すればよい。
【００５８】
《９》距離情報の差分が閾値Ｐ（Ｐ＞０）以上となったとき、過去フレーム画像データよりも小さいサイズの特定領域を検出するためのパラメータを設定することとした上記《６》の構成の画像処理方法において、前記の閾値Ｐについて、複数個の閾値Ｐ１〜Ｐｎ（ｎは正の整数、Ｐ１＜Ｐ２＜…＜Ｐｎ）に細分化する。そして、前記の特定領域検出用パラメータの設定ステップにおいては、前記の距離情報の差分と細分化された閾値Ｐ１〜Ｐｎとの大小関係により、特定サイズの特定領域を検出するためのパラメータを設定し、さらに、前記の特定領域検出ステップにおいては、前記の特定サイズの特定領域を検出するようにすることは好ましい態様の１つである。
【００５９】
現在フレーム画像データにおける距離情報をＳ、過去フレーム画像データにおける距離情報をＲとすると、距離情報の差分は（Ｓ−Ｒ）となる。この距離情報の差分（Ｓ−Ｒ）を閾値Ｐ１，Ｐ２，…，Ｐｎ（０＜Ｐ１＜Ｐ２＜…＜Ｐｎ）と各々比較する。
【００６０】
Ｐ１≦（Ｓ−Ｒ）＜Ｐ２の場合、選択されたいくつかの候補のうち最小サイズに対応する拡大・縮小画像データに対してパラメータを設定し、検出処理を実施する。
【００６１】
Ｐ２≦（Ｓ−Ｒ）＜Ｐ３の場合、選択されたいくつかの候補のうち最小サイズの次に大きいサイズに対応する拡大・縮小画像データに対してパラメータを設定し、検出処理を実施する。
【００６２】
Ｐｎ−１≦（Ｓ−Ｒ）＜Ｐｎの場合、選択されたいくつかの候補のうち最大サイズの次に小さいサイズに対応する拡大・縮小画像データに対してパラメータを設定し、検出処理を実施する。
【００６３】
Ｐｎ≦（Ｓ−Ｒ）の場合、選択されたいくつかの候補のうち最大サイズに対応する拡大・縮小画像データに対してパラメータを設定し、検出処理を実施する。
【００６４】
このようにキメの細かいパラメータ設定を行うので、被写体の前後動作やズームアップ・ズームアウトの操作に際しても、特定領域の検出の精度を高いものにすることが可能となる。
【００６５】
《１０》距離情報の差分が閾値Ｑ（Ｑ＜０）より小さくなったとき、過去フレーム画像データよりも大きいサイズの特定領域を検出するためのパラメータを設定することとした上記《７》の構成の画像処理方法において、前記の閾値Ｑについて、複数個の閾値Ｑ１〜Ｑｎ（ｎは正の整数、Ｑｎ＜…＜Ｑ２＜Ｑ１）に細分化する。そして、前記の特定領域検出用パラメータの設定ステップにおいては、前記の距離情報の差分と細分化された閾値Ｑ１〜Ｑｎとの大小関係により、特定サイズの特定領域を検出するためのパラメータを設定し、さらに、前記の特定領域検出ステップにおいては、前記の特定サイズの特定領域を検出するようにすることは好ましい態様の１つである。
【００６６】
現在フレーム画像データにおける距離情報をＳ、過去フレーム画像データにおける距離情報をＲとすると、距離情報の差分は（Ｓ−Ｒ）となる。この距離情報の差分（Ｓ−Ｒ）を閾値Ｑ１，Ｑ２，…，Ｑｎ（Ｑｎ＜…＜Ｑ２＜Ｑ１＜０）と各々比較する。
【００６７】
Ｑ２≦（Ｓ−Ｒ）＜Ｑ１の場合、選択されたいくつかの候補のうち最大サイズに対応する拡大・縮小画像データに対してパラメータを設定し、検出処理を実施する。
【００６８】
Ｑ３≦（Ｓ−Ｒ）＜Ｑ２の場合、選択されたいくつかの候補のうち最大サイズの次に小さいサイズに対応する拡大・縮小画像データに対してパラメータを設定し、検出処理を実施する。
【００６９】
Ｑｎ≦（Ｓ−Ｒ）＜Ｑｎ−１の場合、選択されたいくつかの候補のうち最小サイズの次に大きいサイズに対応する拡大・縮小画像データに対してパラメータを設定し、検出処理を実施する。
【００７０】
（Ｓ−Ｒ）＜Ｑｎの場合、選択されたいくつかの候補のうち最小サイズに対応する拡大・縮小画像データに対してパラメータを設定し、検出処理を実施する。
【００７１】
このようにキメの細かいパラメータ設定を行うので、被写体の前後動作やズームアップ・ズームアウトの操作に際しても、特定領域の検出の精度を高いものにすることが可能となる。
【００７２】
《１２》動作解析ステップについて言及した上記《１１》の構成の画像処理方法において、前記の動作解析ステップについては、過去フレーム画像データで検出された特定領域の内部または周辺の距離情報と現在フレーム画像データにおける同位置の距離情報とに基づいて特定領域に左右上下の動きがあるか否かを解析することは好ましい態様の１つである。
【００７３】
過去フレーム画像データで検出された特定領域は、その位置座標が確定している。これに対して、現在フレーム画像データでは、これからその特定領域を定めるので、特定領域の位置座標は未確定である。そこで、位置座標がすでに確定している過去フレーム画像データで検出された特定領域の内部または周辺と同じ位置において、現在フレーム画像データにおける距離情報を求め、この距離情報とに基づいて特定領域に左右上下の動きがあるか否かを解析することとする。こうすることにより、撮像装置の光軸振れや被写体の左右上下の動きによる特定領域の左右上下の動きの判断を精度の高いものにすることが可能となる。
【００７４】
《１３》上記《１２》の構成の画像処理方法において、前記の動作解析ステップについては、過去フレーム画像データで検出された特定領域の内部または周辺の距離情報と現在フレーム画像データにおける同位置の距離情報との大小関係を各々算出し、１つでも異なる大小関係が現れた場合は特定領域が左右上下の動きを伴うと判断するようにすることは好ましい態様の１つである。
【００７５】
撮像装置の光軸振れや被写体の左右上下の動きに起因して特定領域の左右上下の動きがあるときは、現在フレーム画像データにおける距離情報と過去フレーム画像データにおける距離情報との差分において、その正負の符号が反転し、両距離情報の大小関係が不規則なものとなる。このような不規則が現れてきた場合には、特定領域が左右上下の動きを伴うと判断して上記《１》の処理は不動作とし、特定領域検出用のパラメータを全サイズに対して設定することとする。これによれば、特定領域の左右上下の動きの判断を精度の高いものにすることが可能となる。
【００７６】
《１５》特定領域に左右上下の動きがあるか否かの解析に動きベクトルを用いる上記《１４》の構成の画像処理方法において、前記の動きベクトル解析ステップについて、過去フレーム画像データで検出された特定領域の内部または周辺と同位置の現在フレーム画像データにおける動きベクトルに基づいて特定領域に左右上下の動きがあるか否かを解析するという態様がある。
【００７７】
過去フレーム画像データで検出された特定領域は、その位置座標が確定している。これに対して、現在フレーム画像データでは、これからその特定領域を定めるので、特定領域の位置座標は未確定である。そこで、位置座標がすでに確定している過去フレーム画像データで検出された特定領域の内部または周辺と同じ位置において、現在フレーム画像データにおける距離情報を求めることとする。こうすることにより、被写体の前後動作やズームアップ・ズームアウトの操作に際しても、過去・現在の両フレーム画像データの距離情報の比較の精度を高いものにすることが可能となる。
【００７８】
《１６》上記《１５》の構成の画像処理方法において、前記の動きベクトル解析ステップにおいて、過去フレーム画像データで検出された特定領域の内部または周辺と同位置の入力されてくる画像データにおける動きベクトル情報の合計値を算出し、その合計値が閾値以上となったときに特定領域が左右上下の動きを伴うと判断するという態様がある。
【００７９】
特定領域が左右上下の動きを伴う場合には動きベクトル情報に規則性がなく、その合計値が相対的に大きくなる。このような場合には、左右上下動作有りと判定し、全サイズの特定領域を検出するためのパラメータを設定する。
【００８０】
一方、被写体の前後動作やズームアップ・ズームアウトの操作のときは特定領域が左右上下の動きを伴わないが、このような場合には、動きベクトル情報に規則的に算出され、ベクトルの合計値が相対的に小さくなる。このような場合には、左右上下動作無しと判定し、サイズを限定した特定領域を検出するためのパラメータを設定する。
【００８１】
《１７》動作解析ステップについて言及した上記《１１》の構成の画像処理方法において、前記動作解析ステップで特定領域が左右上下の動きを伴わないと判断したときは、前記特定領域検出用パラメータの設定ステップにおいて、特定領域検出用パラメータを検出対象の特定領域のサイズに対して設定するものとする。
【００８２】
《１８》動きベクトル解析ステップについて言及した上記《１４》の構成の画像処理方法において、前記動きベクトル解析ステップで特定領域が左右上下の動きを伴わないと判断したときは、前記特定領域検出用パラメータの設定ステップにおいて、特定領域検出用パラメータを検出対象の特定領域のサイズに対して設定するものとする。
【００８３】
《１９》上記《１》〜《１８》の構成の画像処理方法において、前記の特定領域としては顔領域を設定するのが典型である。ただし、本発明においては、特定領域は顔領域のみに限定されるものではなく、広く任意の形態の領域に適用され得るものとする。
【００８４】
《２０》上記《１》〜《１９》の構成の画像処理方法において、前記の距離情報としては視差情報を設定してもよい。２つの撮像素子を用いて得られる２つの画像間の視差は、被写体と撮像装置との距離に応じて変化する。この性質を利用して、視差を距離に換算することが可能である。
【実施例】
【００８５】
以下、本発明の画像処理方法および画像処理装置の実施例について図面を参照しながら説明する。以下では、特定領域を顔領域として説明する。
【００８６】
（実施例１）
図１６は本発明の実施例にかかわる画像処理装置が搭載されている撮像装置（例えばデジタルスチルカメラ）の構成を示すブロック図である。
【００８７】
図１６において、１は光学レンズ、２は光学レンズ１を介して入射した被写体光を受光して撮像信号に変換して出力するＣＭＯＳイメージセンサなどの撮像素子、３は撮像素子２から出力された撮像信号をデジタル信号に変換するＡ／Ｄ変換部、４はＡ／Ｄ変換部３の出力したデジタル信号に対して画像処理を行うデジタル信号処理回路、５はデジタル信号処理回路４内に装備される画像処理回路、６はデジタル信号処理回路４が出力する画像データをメディアに記録する記録回路、７は記録回路６に記録された信号を再生する再生回路、８は撮像素子２、Ａ／Ｄ変換部３、デジタル信号処理回路４の駆動をタイミング制御するタイミング制御回路、９は撮像装置ＣＡの全体を制御するシステム制御回路である。
【００８８】
次に、図１６の撮像装置ＣＡの動作を説明する。光学レンズ１を通って入射した画像光は撮像素子２上に結像される。撮像素子２は、タイミング制御回路８によって駆動されることにより、結像された画像光を蓄積し、電気信号へと光電変換する。撮像素子２から読み出された電気信号は、Ａ／Ｄ変換部３によってデジタル信号へと変換された後に、画像処理回路５を含むデジタル信号処理回路４に入力される。デジタル信号処理回路４においては、Ｙ／Ｃ処理、エッジ処理、画像データの拡大縮小および本発明にかかわる画像圧縮伸張処理などの画像処理が行われる。画像処理された信号は、記録回路６においてメディアへ記録される。記録された信号は、再生回路７により再生される。
【００８９】
図１は本発明の実施例１における画像処理装置の構成を示すブロック図である。この画像処理装置は、図１６における画像処理回路５に相当するものである。なお、図１６は、画像処理回路５が後述する実施例２，３の画像処理方法のいずれかの機能を備えている場合に準用される。
【００９０】
図１において、１０は順次入力されてくる画像データにおいて距離情報を算出する距離算出部、２０は現在フレーム画像データおよび過去フレーム画像データについてそれぞれ距離算出部１０で得られた距離情報を比較する距離比較部、３０は距離比較部２０における比較結果に基づいて特定領域検出用のパラメータを設定する特定領域検出用パラメータ設定部、４０は特定領域検出用パラメータ設定部３０において設定された特定領域検出用のパラメータに基づいて特定領域を検出する特定領域検出部である。
【００９１】
図２は本発明の実施例１における画像処理装置の動作（全体フロー）を示すフローチャートである。以下、画像処理装置の動作を説明する。以下での特定領域は顔領域のことである。
【００９２】
ステップｎ１０において、順次入力されてくる画像データデータにおける撮像装置ＣＡから被写体までの距離を算出する（距離算出ステップ）。この動作は距離算出部１０において実行される。距離算出部１０は、入力した画像データを蓄積したり算出した距離情報を蓄積しておくための記憶部を付帯している。この記憶部は、外部におくのが一般的であるが、内部にあってもよい。
【００９３】
次いでステップｎ２０において、現在フレーム画像データにおける距離情報と過去フレーム画像データにおける距離情報とを比較する（距離比較ステップ）。この動作は距離比較部２０において実行される。距離比較部２０は、前記の記憶部から現在フレーム画像データにおける距離情報と過去フレーム画像データにおける距離情報とを同時的に読み出し、両者を比較し、その比較結果を特定領域検出用パラメータ設定部３０に渡す。比較の態様については後述する。
【００９４】
次いでステップｎ３０において、距離比較ステップｎ２０における比較結果に基づいて特定領域検出で用いるパラメータを設定する（特定領域検出用パラメータの設定ステップ）。この動作は特定領域検出用パラメータ設定部３０において実行される。特定領域検出用のパラメータの態様については後述する。
【００９５】
次いでステップｎ４０において、特定領域検出用パラメータの設定ステップｎ３０において設定されたパラメータに基づいて特定領域を検出する（特定領域検出ステップ）。この動作は特定領域検出部４０において実行される。
【００９６】
ここで、本発明における撮像装置から被写体までの距離の算出方法に関して、例として２つの方法を説明する。
【００９７】
１つはレーザー光や電磁波等を被写体に照射し、その反射光の時間遅れに基づいて被写体との距離を算出するアクティブ方式である。
【００９８】
もう１つは、２つの撮像素子を用いて得られる２つの画像データの相関を計算し、２つの画像データ間の視差情報に基づいて距離を算出するパッシブ方式である。
【００９９】
両方式ともに、画像データをＮ×Ｍブロック（Ｎ，Ｍ：正の整数）に分割したブロック単位または画素単位で距離情報を算出することが可能である。
【０１００】
なお、２つの距離算出方法を例として説明したが、本発明における距離算出方法はこれらに限定されるものではない。
【０１０１】
図３は実施例１における初期フローを示す。順次入力されてくる画像データデータに対して特定領域検出ステップｎ２で特定領域検出処理を実施し、特定領域検出有無判定ステップｎ４で特定領域（顔領域）が検出されたと判断した場合は、距離算出ステップｎ６で被写体までの距離を算出し、検出結果を出力する。また、次フレーム以降の画像データに対しては図２に示すフローを実施する。特定領域（顔領域）が検出されなかったと判断した場合は、再度、初期フローの処理を実施する。
【０１０２】
図２のフローに先立って図３の初期フローをおくのは、図２の距離比較ステップｎ２０において、現在フレーム画像データにおける距離情報に対して過去フレーム画像データにおける距離情報を必要とするからである。
【０１０３】
上記の距離算出ステップｎ１０での被写体までの距離の算出と、距離比較ステップｎ２０での過去フレーム画像データにおける距離情報との比較について、図４を用いて説明する。Ｉinは入力画像データである。特定領域Ａの典型例は顔領域である。
【０１０４】
距離情報の比較において比較対象となる画像データ内の位置に関しては、過去フレームで検出された特定領域Ａの内部または周辺のブロックまたは画素を比較すればよい。すなわち、距離算出ステップｎ１０では、入力画像データに対してＮ×Ｍブロック（Ｎ，Ｍ：正の整数）に分割したときのブロック単位Ｂ０で距離情報を算出するものとする。また、距離比較ステップｎ２０では、過去フレーム画像データで検出された特定領域Ａの内部のブロックＢｃ（顔領域の中心座標ＣＣを含むブロック）における距離情報を比較する。
【０１０５】
次に、図５（ａ）に示す入力画像データに対する実施例に関して図２を用いて説明する。図５（ａ）は過去フレーム画像データＦ- で検出された特定領域よりも現在フレーム画像データＦの特定領域が大きい場合である。
【０１０６】
過去フレーム画像データＦ- における距離情報をＲ１、現在フレーム画像データＦにおける距離情報をＳ１（Ｓ１＜Ｒ１）として、距離差分（Ｓ１−Ｒ１）を所定の閾値Ｑ（Ｑ＜０）と比較する。
【０１０７】
（Ｓ１−Ｒ１）＜Ｑの場合、これは撮像装置ＣＡと被写体とが接近中であることを意味し、特定領域サイズが大きくなることが想定される。この場合、特定領域検出用パラメータの設定ステップｎ３０において、過去フレーム画像データＦ- で検出された特定領域サイズよりも大きいサイズの特定領域を検出するためのパラメータを設定し、特定領域検出ステップｎ４０において、設定したパラメータに従って検出処理を実施する。ここで、特定領域検出用のパラメータについては、検出する特定領域のサイズまたは検出範囲に関するパラメータとする。
【０１０８】
次に、前述した特定領域検出用のパラメータの設定および特定領域検出の処理に関して図６を用いて説明する。
【０１０９】
特定領域検出ステップｎ４０では、入力画像データに対して拡大・縮小をｉ回（ｉ：正の整数）実施するものとし、各拡大・縮小画像データをＩ0〜Ｉi-1で表す。
【０１１０】
過去フレームＦ- において拡大・縮小画像データＩi-4で特定領域が検出された場合、現在フレーム画像データＦに対しては、特定領域検出用パラメータの設定ステップｎ３０において、特定領域が検出された拡大・縮小画像データＩi-4に連続する複数の拡大・縮小画像データＩi-3，Ｉi-2，Ｉi-1に対して特定領域検出処理を実施するパラメータを設定する。さらに、特定領域検出ステップｎ４０において、設定したパラメータに従って検出処理を実施する。
【０１１１】
検出処理を実施する拡大・縮小画像データの順番に関しては、連続する複数の拡大・縮小画像データＩi-3，Ｉi-2，Ｉi-1に対して次のように優先順位を決めてもよい。
【０１１２】
距離差分（Ｓ１−Ｒ１）と所定の閾値Ｘ（Ｘ＜Ｑ）と比較して、（Ｓ１−Ｒ１）＜Ｘの場合、これは撮像装置ＣＡと被写体とが接近中で、接近の速度が比較的速いことを意味するため、拡大・縮小画像データＩi-1→Ｉi-2→Ｉi-3の順番で検出処理を実施する。
【０１１３】
一方、Ｘ＜（Ｓ１−Ｒ１）の場合、これは撮像装置ＣＡと被写体とが接近中で、接近の速度が比較的遅いことを意味するため、上記とは逆の、拡大・縮小画像データＩi-3→Ｉi-2→Ｉi-1の順番で検出処理を実施する。
【０１１４】
以上の処理においては、すべての拡大・縮小画像データに対して検出処理を実施するのではなく、それの一部に限定して実施するようにしているため、特定領域検出処理の演算量を削減することができる。
【０１１５】
前述した拡大・縮小画像データの優先順位に従って検出処理を実施し、途中で特定領域が検出された場合には、残りの処理を打ち切ることとする。逆に、検出対象となった拡大・縮小画像データにて特定領域が検出されなかった場合には、検出対象外となっていた拡大・縮小画像データに対して検出処理を実施するものとする。
【０１１６】
次に、図５（ｂ）に示す入力画像データに対する実施例に関して図２を用いて説明する。図５（ｂ）は過去フレーム画像データＦ- で検出された特定領域よりも現在フレーム画像データＦの特定領域が小さい場合である。
【０１１７】
距離算出ステップｎ１０において、入力されてくる現在フレーム画像データＦに対して被写体までの距離を算出し、距離比較ステップｎ２０において、過去フレーム画像データＦ- における距離情報との比較を実施する。距離情報の比較において比較対象となる画像データ内の位置に関しては、図５（ａ）ですでに説明してあるため省略する。
【０１１８】
過去フレーム画像データＦ- における距離情報をＲ２、現在フレーム画像データＦにおける距離情報をＳ２（Ｒ２＜Ｓ２）として、距離差分（Ｓ２−Ｒ２）を所定の閾値Ｐ（Ｐ＞０）と比較する。
【０１１９】
Ｐ≦（Ｓ２−Ｒ２）の場合、これは撮像装置ＣＡと被写体とが離間中であることを意味し、特定領域サイズが小さくなることが想定される。この場合、特定領域検出用パラメータの設定ステップｎ３０において、過去フレーム画像データＦ- で検出された特定領域サイズよりも小さいサイズの特定領域を検出するためのパラメータを設定し、特定領域検出ステップｎ４０において、設定したパラメータに従って検出処理を実施する。
【０１２０】
特定領域検出用のパラメータの設定および特定領域検出の処理に関しては、図５（ａ）ですでに説明してあるため詳細は省略するが、拡大・縮小画像データＩ0〜Ｉi-5に対して同様の処理を実施するものである。
【０１２１】
以上の処理においては、すべての拡大・縮小画像データに対して検出処理を実施するのではなく、それの一部に限定して実施するようにしているため、特定領域検出処理の演算量を削減することができる。
【０１２２】
次に、図５（ｃ）に示す入力画像データに対する実施例に関して図２を用いて説明する。図５（ｃ）は過去フレーム画像データＦ- で検出された特定領域と現在フレーム画像データＦの特定領域が同等の場合である。
【０１２３】
距離算出ステップｎ１０において、入力されてくる現在フレーム画像データＦに対して被写体までの距離を算出し、距離比較ステップｎ２０において、過去フレーム画像データＦ- における距離情報との比較を実施する。距離情報の比較において比較対象となる画像データ内の位置に関しては、図５（ａ）ですでに説明してあるため省略する。
【０１２４】
過去フレーム画像データＦ- における距離情報をＲ３、現在フレーム画像データＦにおける距離情報をＳ３（Ｒ３＝Ｓ３）として、距離差分（Ｓ３−Ｒ３）を所定の閾値Ｐ，Ｑ（Ｐ＞０、Ｑ＜０）と比較する。
【０１２５】
（Ｓ３−Ｒ３）＜ＰかつＱ≦（Ｓ３−Ｒ３）の場合、これは撮像装置ＣＡと被写体とがほとんど接近または離間していないことを意味し、特定領域サイズがほぼ変わらないことが想定される。この場合、特定領域検出用パラメータの設定ステップｎ３０において、過去フレーム画像データＦ- で検出された特定領域サイズと同等のサイズの特定領域を検出するためのパラメータを設定し、特定領域検出ステップｎ４０において、設定したパラメータに従って検出処理を実施する。
【０１２６】
特定領域検出用のパラメータの設定および特定領域検出の処理に関しては、図５（ａ）ですでに説明してあるため詳細は省略するが、過去フレームＦ- において特定領域が検出された拡大・縮小画像データＩi-4に対して同様の処理を実施するものである。
【０１２７】
なお、距離算出ステップｎ１０における算出誤差を許容するために、前後の拡大・縮小画像データに対しても検出処理を実施してもよい。
【０１２８】
以上の処理においては、検出処理はすべての拡大・縮小画像データに対して実施するのではなく、それの一部に限定して実施するようにしているため、特定領域検出処理の演算量を削減することができる。
【０１２９】
次に、図７を用いて、図６の設定方法よりも詳細にパラメータを設定する方法に関して説明する。
【０１３０】
図５（ａ）に示す画像データが入力された場合、距離算出ステップｎ１０において、現在フレーム画像データＦに対して被写体までの距離を算出し、距離比較ステップｎ２０において、過去フレーム画像データＦ- における距離情報との比較を実施する。距離情報の比較において比較対象となる画像データ内の位置に関しては、図５（ａ）ですでに説明してあるため省略する。
【０１３１】
過去フレーム画像データＦ- における距離情報をＲ１、現在フレーム画像データＦにおける距離情報をＳ１（Ｓ１＜Ｒ１）として、距離差分（Ｓ１−Ｒ１）と所定の閾値Ｑ１，Ｑ２，…，Ｑｎ（Ｑｎ＜…＜Ｑ２＜Ｑ１＜０）とを各々比較する。
【０１３２】
Ｑ２≦（Ｓ１−Ｒ１）＜Ｑ１＜０の場合、これは撮像装置ＣＡと被写体とが接近中で、接近の速度が比較的遅いことを意味し、特定領域サイズが徐々に大きくなることが想定される。この場合、特定領域検出用パラメータの設定ステップｎ３０において、拡大・縮小画像データＩi-3に対して特定領域検出処理を実施するパラメータを設定し、特定領域検出ステップｎ４０において、設定したパラメータに従って検出処理を実施する。
【０１３３】
Ｑ３≦（Ｓ１−Ｒ１）＜Ｑ２の場合、これは撮像装置ＣＡと被写体とが接近中で、接近の速度が中間状態であることを意味し、特定領域サイズが中間速度で大きくなることが想定される。この場合、特定領域検出用パラメータの設定ステップｎ３０において、拡大・縮小画像データＩi-2に対して特定領域検出処理を実施するパラメータを設定し、特定領域検出ステップｎ４０において、設定したパラメータに従って検出処理を実施する。
【０１３４】
（Ｓ１−Ｒ１）＜Ｑ３の場合、これは撮像装置ＣＡと被写体とが接近中で、接近の速度が比較的速いことを意味し、特定領域サイズが急速に大きくなることが想定される。この場合、特定領域検出用パラメータの設定ステップｎ３０において、拡大・縮小画像データＩi-1に対して特定領域検出処理を実施するパラメータを設定し、特定領域検出ステップｎ４０において、設定したパラメータに従って検出処理を実施する。
【０１３５】
なお、１つの条件に対して複数の拡大・縮小画像データを割り当ててもよい。
【０１３６】
また、同様に図５（ｂ）に示す画像データが入力された場合に関しても、過去フレーム画像データＦ- における距離情報をＲ２、現在フレーム画像データＦにおける距離情報をＳ２（Ｒ２＜Ｓ２）として、距離差分（Ｓ２−Ｒ２）と所定の閾値Ｐ１〜Ｐｎ（０＜Ｐ１＜Ｐ２＜…＜Ｐｎ）とを各々比較し、特定領域検出用パラメータの設定ステップｎ３０において、各条件に対応した拡大・縮小画像データに対して特定領域検出処理を実施するパラメータを設定し、特定領域検出ステップｎ４０において、設定したパラメータに従って検出処理を実施する。
【０１３７】
なお、図８に示すフローのように本実施例における距離情報を視差情報に置き換えて処理を実施することも可能である。
【０１３８】
（実施例２）
本発明の実施例２は、上記の実施例１にさらに特定領域の左右上下動作の有無判定を導入した画像処理方法に関する。特定領域の左右上下動作の有無判定は、現在フレーム画像データおよび過去フレーム画像データデータにおける距離情報に基づいて行われる。
【０１３９】
図９は本発明の実施例２における画像処理装置の構成を示すブロック図である。この画像処理装置は、図１６における画像処理回路５に相当するものである。図９において、実施例１の図１におけるのと同じ符号は同一構成要素を指しているので、詳しい説明は省略する。１２は距離算出部１０で得られる過去フレーム画像データにおける距離情報と現在フレーム画像データにおける距離情報に基づいて特定領域に左右上下の動きがあるか否かを解析する動作解析部である。１４は動作解析部１２における解析結果が特定領域は左右上下の動きを伴わないとする場合は距離比較部２０を動作させ、解析結果が特定領域は左右上下の動きを伴うとする場合は距離比較部２０を不動作とした上で特定領域検出用パラメータ設定部３０ａを動作させる分岐制御部である。特定領域検出用パラメータ設定部３０ａは、解析結果が特定領域は左右上下の動きを伴うとする場合に、特定領域検出用のパラメータを全サイズに対して設定するように構成されている。
【０１４０】
図１０は図９の画像処理装置が実行するフローであって、現在フレーム画像データおよび過去フレーム画像データデータにおける距離情報に基づいて特定領域の左右上下動作の有無判定を導入したフローを示す。図５（ｄ）に示す入力画像データに対する実施例に関して図１０を用いて説明する。
【０１４１】
図５（ｄ）は過去フレーム画像データＦ- と現在フレーム画像データＦで特定領域に左右上下の動作が有る場合を示している。
【０１４２】
距離算出ステップｎ１０において、入力されてくる現在フレーム画像データＦに対して被写体までの距離を算出する。
【０１４３】
次いでステップｎ１２において、過去フレーム画像データＦ- における距離情報と現在フレーム画像データＦにおける距離情報に基づいて左右上下動作の有無を解析する（動作解析ステップ）。この動作は動作解析部１２において実行される。動作解析部１２は、距離算出部１０における記憶部から現在フレーム画像データにおける距離情報と過去フレーム画像データにおける距離情報とを同時的に読み出し、左右上下動作の有無を解析し、その解析結果を分岐制御部１４に渡す。
【０１４４】
次いでステップｎ１４において、動作解析ステップｎ１２における解析結果が特定領域は左右上下の動きを伴わないとする場合は距離比較ステップｎ２０に進み、解析結果が特定領域は左右上下の動きを伴うとする場合は距離比較ステップｎ２０をスキップして特定領域検出用パラメータの設定ステップｎ３０ａに進む（分岐制御ステップ）。この動作は分岐制御部１４において実行される。
【０１４５】
続く特定領域検出用パラメータの設定ステップｎ３０ａにおいては、ステップｎ２０からのフローのときは実施例１と同様の処理を実行し、ステップＳ１４からのフローのときは、全サイズの特定領域を検出するためのパラメータを設定する。後者の動作は特定領域検出用パラメータ設定部３０ａにおいて実行される。
【０１４６】
次いで特定領域検出ステップｎ４０において、設定したパラメータに従って検出処理を実施する。
【０１４７】
ここで、左右上下動作の有無の解析方法に関して図１１を用いて説明する。
【０１４８】
距離情報は実施例１と同様に、距離算出ステップｎ１０において、入力画像データに対してＮ×Ｍブロック（Ｎ，Ｍ：正の整数）に分割したときのブロック単位で算出されるものとする。
【０１４９】
動作解析ステップｎ１２では、過去フレーム画像データＦ- における特定領域の周辺ブロックまたは内部ブロックの距離情報と現在フレーム画像データＦにおける同位置のブロックの距離情報を各々比較すればよいが、本実施例では周辺ブロック（図１１の網掛けされたブロック）を各々比較し、大小関係を算出する。
【０１５０】
図１１（ａ）においては、過去フレーム画像データＦ- より現在フレーム画像データＦの距離情報が大きいブロックＢ１および過去フレーム画像データＦ- より現在フレーム画像データＦの距離情報が小さいブロックＢ２の両方が存在している。そのため、分岐制御ステップｎ１４において左右上下動作有りと判定し、特定領域検出用パラメータの設定ステップｎ３０ａにおいて、全サイズの特定領域を検出するためのパラメータを設定する。
【０１５１】
図１１（ｂ）においては、過去フレーム画像データＦ- より現在フレーム画像データＦの距離情報が大きいブロックＢ１のみが存在している。そのため、動作解析ステップｎ１２において左右上下動作無しと判定し、分岐制御ステップｎ１４からステップｎ２０に分岐し、以降、実施例１と同様の処理を実施する。
【０１５２】
以上の処理を実施することにより、特定領域が左右上下の動作を伴ったとしても検出漏れを防止することができる。
【０１５３】
また、図１２に示すように特定領域が左右上下動作を伴わない場合、特定領域検出用のパラメータにて現在フレーム画像データＦにおける検出対象の特定領域Ａ* を設定し、特定領域検出ステップｎ４０において、設定したパラメータに従って検出処理を実施することで、特定領域検出処理の演算量を削減することができる。設定する検出対象の特定領域Ａ* については、実施例１で説明した拡大・縮小画像データから現在フレーム画像データＦにおける特定領域サイズを予測し、その予測に基づいて設定することが望ましい。過去フレーム画像データＦ- における特定領域より現在フレーム画像データＦにおける特定領域が大きい場合も同様である。
【０１５４】
（実施例３）
本発明の実施例３は、上記の実施例１にさらに動きベクトル情報に基づく特定領域の左右上下動作の有無判定を導入した画像処理方法に関する。
【０１５５】
図１３は本発明の実施例３における画像処理装置の構成を示すブロック図である。この画像処理装置は、図１６における画像処理回路５に相当するものである。図１３において、実施例１の図１におけるのと同じ符号は同一構成要素を指しているので、詳しい説明は省略する。１６は入力されてくる画像データにおいて動きベクトル情報を生成する動きベクトル生成部である。１８は動きベクトル生成部１６による動きベクトル情報に基づいて特定領域に左右上下の動きがあるか否かを解析するとともに、その解析結果が特定領域は左右上下の動きを伴わないとする場合は距離比較部２０を動作させ、解析結果が特定領域は左右上下の動きを伴うとする場合は距離比較部２０を不動作とした上で特定領域検出用パラメータ設定部３０ａを動作させる動きベクトル解析部（分岐制御機能付き）である。特定領域検出用パラメータ設定部３０ａは、解析結果が特定領域は左右上下の動きを伴うとする場合に、特定領域検出用のパラメータを全サイズに対して設定するように構成されている。
【０１５６】
図１４は図１３の画像処理装置が実行するフローであって、動きベクトル情報に基づく特定領域の左右上下動作の有無判定を導入したフローを示す。図５（ｄ）に示す入力画像データに対する実施例に関して図１４を用いて説明する。
【０１５７】
距離算出ステップｎ１０において、入力されてくる現在フレーム画像データＦに対して被写体までの距離を算出する。
【０１５８】
次いでステップｎ１６において動きベクトルを算出する（動きベクトル生成ステップ）。この動作は動きベクトル生成部１６において実行される。
【０１５９】
動きベクトル情報は、入力画像データに対してＮ×Ｍブロック（Ｎ，Ｍ：正の整数）に分割したときのブロック単位で算出されるものとする。
【０１６０】
次いでステップｎ１８において、動きベクトル情報に基づいて左右上下動作の有無を解析し、解析結果が特定領域は左右上下の動きを伴わないとする場合は距離比較ステップｎ２０に進み、解析結果が特定領域は左右上下の動きを伴うとする場合は距離比較ステップｎ２０をスキップして特定領域検出用パラメータの設定ステップｎ３０ａに進む（動きベクトル解析ステップ）。この動作は動きベクトル解析部１８において実行される。
【０１６１】
続く特定領域検出用パラメータの設定ステップｎ３０ａにおいては、ステップｎ２０からのフローのときは実施例１と同様の処理を実行し、ステップＳ１８からのフローのときは、実施例２と同様に全サイズの特定領域を検出するためのパラメータを設定する。後者の動作は特定領域検出用パラメータ設定部３０ａにおいて実行される。
【０１６２】
次いで特定領域検出ステップｎ４０において、設定したパラメータに従って検出処理を実施する。
【０１６３】
ここで、左右上下動作の有無の解析方法に関して図１５を用いて説明する。
【０１６４】
動きベクトル解析ステップｎ１８では過去フレーム画像データＦ- における特定領域の周辺ブロックまたは内部ブロックの動きベクトル情報を解析すればよいが、本実施例では周辺ブロック（図１５の矢印のブロック）の動きベクトルを解析する。解析方法は周辺ブロックにおける動きベクトル情報の合計値を算出し、所定の閾値ＭＶとの比較を実施する。
【０１６５】
図１５（ａ）においては、周辺ブロックの動きベクトル情報に規則性がなく、ベクトルの合計値が所定の閾値ＭＶ以上となるため、左右上下動作有りと判定し、特定領域検出用パラメータの設定ステップｎ３０ａにおいて、全サイズの特定領域を検出するためのパラメータを設定する。
【０１６６】
図１５（ｂ）においては、周辺ブロックの動きベクトル情報に規則的に算出され、ベクトルの合計値が所定の閾値ＭＶより小さくなるため、左右上下動作無しと判定し、以降実施例１と同様の処理を実施する。
【０１６７】
以上の処理を実施することにより、撮像装置ＣＡに対して特定領域が左右上下の動作を伴ったとしても検出漏れを防止することができる。
【０１６８】
また、実施例２と同様に、図１２に示すように特定領域が左右上下動作を伴わない場合、特定領域検出用のパラメータにて現在フレーム画像データＦにおける検出対象の特定領域Ａ* を設定し、特定領域検出ステップｎ４０において、設定したパラメータに従って検出処理を実施することで特定領域検出処理の演算量を削減することができる。設定する検出対象の特定領域Ａ* は実施例１で説明した拡大・縮小画像データから現在フレーム画像データＦにおける特定領域サイズを予測し、その予測に基づいて設定することが望ましい。過去フレーム画像データＦ- における特定領域より現在フレーム画像データＦにおける特定領域が大きい場合も同様である。
【０１６９】
なお、画像処理回路５における画像処理は、必ずしも光学レンズ１を介して撮像素子２に結像された画像光に基づく信号のみに適用されるものではなく、例えば外部装置から電気信号として入力されてくる画像データ信号を処理する際にも適用可能であることは言うまでもない。
【０１７０】
なお、上記で説明した実施例１〜３はあくまで一例であり、これらに対して様々な改変を行うことが可能である。
【産業上の利用可能性】
【０１７１】
本発明は、顔領域など特定領域の検出機能を備えるデジタルカメラ（デジタルスチルカメラ、デジタルビデオカメラ、カメラ付き携帯等）やネットワークカメラ、監視カメラ、テレビ内蔵型カメラ、インターホンカメラ、その他のインテリジェントカメラ等の撮像装置において、被写体の前後動作やズームアップ・ズームアウトの操作に際しても、演算量過多に起因する撮像の困難性を回避しつつ、特定領域の検出における演算量削減効果を達成する上で有用である。
【符号の説明】
【０１７２】
ｎ４ 特定領域検出有無判定ステップ
ｎ６，ｎ１０ 距離算出ステップ
ｎ１０ａ 視差算出ステップ
ｎ１２ 動作解析ステップ
ｎ１４ 分岐制御ステップ
ｎ１６ 動きベクトル生成ステップ
ｎ１８ 動きベクトル解析ステップ
ｎ２０ 距離比較ステップ
ｎ２０ａ 視差比較ステップ
ｎ３０ 特定領域検出用パラメータの設定ステップ
ｎ４０ 特定領域検出ステップ
ＣＡ 撮像装置
１ 光学レンズ
２ 撮像素子
３ Ａ／Ｄ変換部
４ デジタル信号処理回路
５ 画像処理回路
１０ 距離算出部
１２ 動作解析部
１４ 分岐制御部
１６ 動きベクトル生成部
１８ 動きベクトル解析部
２０ 距離比較部
３０，３０ａ 特定領域検出用パラメータ設定部
４０ 特定領域検出部
【特許請求の範囲】
【請求項１】
順次入力されてくる画像データにおいて距離情報を算出する距離算出ステップと、
現在フレーム画像データおよび過去フレーム画像データについてそれぞれ前記距離算出ステップで得られた距離情報を比較する距離比較ステップと、
前記距離比較ステップにおける比較結果に基づいて特定領域検出用のパラメータを設定する特定領域検出用パラメータの設定ステップと、
前記特定領域検出用パラメータの設定ステップにおいて設定された前記特定領域検出用のパラメータに基づいて特定領域を検出する特定領域検出ステップとを含む画像処理方法。
【請求項２】
前記特定領域検出用パラメータの設定ステップにおける前記特定領域検出用のパラメータは、検出する特定領域のサイズまたは検出範囲に関するパラメータである請求項１に記載の画像処理方法。
【請求項３】
前記距離比較ステップにおいては、前記現在フレーム画像データにおける距離情報と前記過去フレーム画像データにおける距離情報との差分を閾値と比較する請求項１に記載の画像処理方法。
【請求項４】
前記距離比較ステップにおいては、過去フレーム画像データで検出された特定領域の内部または周辺の距離情報と現在フレーム画像データにおける同位置の距離情報を比較する請求項３に記載の画像処理方法。
【請求項５】
前記距離比較ステップにおいては、前記比較結果に基づいて検出する特定領域のサイズに優先順位を付け、前記特定領域検出用パラメータの設定ステップにおいては、前記優先順位に基づいたパラメータを設定し、前記特定領域検出ステップにおいては、前記優先順位順に特定領域を検出する請求項３に記載の画像処理方法。
【請求項６】
前記特定領域検出用パラメータの設定ステップにおいては、前記距離情報の差分が閾値Ｐ（Ｐ＞０）以上となったとき、過去フレーム画像データで検出された特定領域のサイズよりも小さいサイズの特定領域を検出するためのパラメータを設定し、前記特定領域検出ステップにおいては、前記小さいサイズの特定領域を検出する請求項３に記載の画像処理方法。
【請求項７】
前記特定領域検出用パラメータの設定ステップにおいては、前記距離情報の差分が閾値Ｑ（Ｑ＜０）より小さくなったとき、過去フレーム画像データで検出された特定領域のサイズよりも大きいサイズの特定領域を検出するためのパラメータを設定し、前記特定領域検出ステップにおいては、前記大きいサイズの特定領域を検出する請求項３に記載の画像処理方法。
【請求項８】
前記特定領域検出用パラメータの設定ステップにおいては、前記距離情報の差分が閾値Ｐ（Ｐ＞０）より小さくかつ閾値Ｑ（Ｑ＜０）以上となったとき、過去フレーム画像データで検出された特定領域のサイズと同等のサイズの特定領域を検出するためのパラメータを設定し、前記特定領域検出ステップにおいては、前記同等のサイズの特定領域を検出する請求項３に記載の画像処理方法。
【請求項９】
前記閾値Ｐは、複数個の閾値Ｐ１〜Ｐｎ（ｎは正の整数、Ｐ１＜Ｐ２＜…＜Ｐｎ）に細分化され、前記特定領域検出用パラメータの設定ステップにおいては、前記距離情報の差分と前記細分化された閾値Ｐ１〜Ｐｎとの大小関係により、特定サイズの特定領域を検出するためのパラメータを設定し、前記特定領域検出ステップにおいては、前記特定サイズの特定領域を検出する請求項６に記載の画像処理方法。
【請求項１０】
前記閾値Ｑは、複数個の閾値Ｑ１〜Ｑｎ（ｎは正の整数、Ｑｎ＜…＜Ｑ２＜Ｑ１）に細分化され、前記特定領域検出用パラメータの設定ステップにおいては、前記距離情報の差分と前記細分化された閾値Ｑ１〜Ｑｎとの大小関係により、特定サイズの特定領域を検出するためのパラメータを設定し、前記特定領域検出ステップにおいては、前記特定サイズの特定領域を検出する請求項７に記載の画像処理方法。
【請求項１１】
前記距離算出ステップと前記距離比較ステップとの間に、さらに、
過去フレーム画像データにおける距離情報と現在フレーム画像データにおける距離情報に基づいて特定領域に左右上下の動きがあるか否かを解析する動作解析ステップと、
前記動作解析ステップにおける解析結果が特定領域は左右上下の動きを伴わないとする場合は前記距離比較ステップに進み、解析結果が特定領域は左右上下の動きを伴うとする場合は前記距離比較ステップをスキップして前記特定領域検出用パラメータの設定ステップに進む分岐制御ステップとを含み、
解析結果が特定領域は左右上下の動きを伴うとする場合に、前記特定領域検出用パラメータの設定ステップでは、特定領域検出用のパラメータを全サイズに対して設定する請求項１から請求項１０までのいずれか１項に記載の画像処理方法。
【請求項１２】
前記動作解析ステップにおいては、過去フレーム画像データで検出された特定領域の内部または周辺の距離情報と現在フレーム画像データにおける同位置の距離情報とに基づいて特定領域に左右上下の動きがあるか否かを解析する請求項１１に記載の画像処理方法。
【請求項１３】
前記動作解析ステップにおいては、過去フレーム画像データで検出された特定領域の内部または周辺の距離情報と現在フレーム画像データにおける同位置の距離情報との大小関係を各々算出し、１つでも異なる大小関係が現れた場合は特定領域が左右上下の動きを伴うと判断する請求項１２に記載の画像処理方法。
【請求項１４】
前記距離算出ステップと前記距離比較ステップとの間に、さらに、
入力されてくる画像データにおいて動きベクトル情報を生成する動きベクトル生成ステップと、
前記動きベクトル情報に基づいて特定領域に左右上下の動きがあるか否かを解析し、解析結果が特定領域は左右上下の動きを伴わないとする場合は前記距離比較ステップに進み、解析結果が特定領域は左右上下の動きを伴うとする場合は前記距離比較ステップをスキップして前記特定領域検出用パラメータの設定ステップに進む動きベクトル解析ステップとを含み、
解析結果が特定領域は左右上下の動きを伴うとする場合に、前記特定領域検出用パラメータの設定ステップでは、特定領域検出用のパラメータを全サイズに対して設定する請求項１から請求項１０までのいずれか１項に記載の画像処理方法。
【請求項１５】
前記動きベクトル解析ステップにおいて、過去フレーム画像データで検出された特定領域の内部または周辺と同位置の現在フレーム画像データにおける動きベクトルに基づいて特定領域に左右上下の動きがあるか否かを解析する請求項１４に記載の画像処理方法。
【請求項１６】
前記動きベクトル解析ステップにおいて、過去フレーム画像データで検出された特定領域の内部または周辺と同位置の入力されてくる画像データにおける動きベクトル情報の合計値を算出し、前記合計値が閾値以上となったときに特定領域が左右上下の動きを伴うと判断する請求項１５に記載の画像処理方法。
【請求項１７】
前記動作解析ステップで特定領域が左右上下の動きを伴わないと判断したときは、前記特定領域検出用パラメータの設定ステップにおいて、特定領域検出用パラメータを検出対象の特定領域のサイズに対して設定する請求項１１に記載の画像処理方法。
【請求項１８】
前記動きベクトル解析ステップで特定領域が左右上下の動きを伴わないと判断したときは、前記特定領域検出用パラメータの設定ステップにおいて、特定領域検出用パラメータを検出対象の特定領域のサイズに対して設定する請求項１４に記載の画像処理方法。
【請求項１９】
前記特定領域として顔領域を設定する請求項１から請求項１８までのいずれか１項に記載の画像処理方法。
【請求項２０】
前記距離情報として視差情報を設定する請求項１から請求項１９までのいずれか１項に記載の画像処理方法。
【請求項２１】
順次入力されてくる画像データにおいて距離情報を算出する距離算出部と、
現在フレーム画像データおよび過去フレーム画像データについてそれぞれ前記距離算出部で得られた距離情報を比較する距離比較部と、
前記距離比較部における比較結果に基づいて特定領域検出用のパラメータを設定する特定領域検出用パラメータ設定部と、
前記特定領域検出用パラメータ設定部において設定された前記特定領域検出用のパラメータに基づいて特定領域を検出する特定領域検出部とを備えた画像処理装置。
【請求項２２】
さらに、
過去フレーム画像データにおける距離情報と現在フレーム画像データにおける距離情報に基づいて特定領域に左右上下の動きがあるか否かを解析する動作解析部と、
前記動作解析部における解析結果が特定領域は左右上下の動きを伴わないとする場合は前記距離比較部を動作させ、解析結果が特定領域は左右上下の動きを伴うとする場合は前記距離比較部を不動作とした上で前記特定領域検出用パラメータ設定部を動作させる分岐制御部とを備え、
解析結果が特定領域は左右上下の動きを伴うとする場合に、前記特定領域検出用パラメータ設定部では、特定領域検出用のパラメータを全サイズに対して設定する請求項２１に記載の画像処理装置。
【請求項２３】
さらに、
入力されてくる画像データにおいて動きベクトル情報を生成する動きベクトル生成部と、
前記動きベクトル情報に基づいて特定領域に左右上下の動きがあるか否かを解析し、解析結果が特定領域は左右上下の動きを伴わないとする場合は前記距離比較部を動作させ、解析結果が特定領域は左右上下の動きを伴うとする場合は前記距離比較部を不動作とした上で前記特定領域検出用パラメータ設定部を動作させる動きベクトル解析部とを備え、
解析結果が特定領域は左右上下の動きを伴うとする場合に、前記特定領域検出用パラメータ設定部では、特定領域検出用のパラメータを全サイズに対して設定する請求項２１に記載の画像処理装置。
【請求項２４】
順次入力されてくる画像データにおいて距離情報を算出する手順と、
現在フレーム画像データおよび過去フレーム画像データについてそれぞれ前記距離算出手順で得られた距離情報を比較する手順と、
前記距離情報を比較する手順における比較結果に基づいて特定領域検出用のパラメータを設定する手順と、
前記特定領域検出用パラメータを設定する手順において設定された前記特定領域検出用のパラメータに基づいて特定領域を検出する手順とをコンピュータに実行させるための画像処理用のプログラム。
【請求項２５】
前記距離情報を算出する手順と前記距離情報を比較する手順との間に、さらに、
過去フレーム画像データにおける距離情報と現在フレーム画像データにおける距離情報に基づいて特定領域に左右上下の動きがあるか否かを解析する手順と、
前記左右上下の動きがあるか否かを解析する手順における解析結果が特定領域は左右上下の動きを伴わないとする場合は前記距離情報を比較する手順に進み、解析結果が特定領域は左右上下の動きを伴うとする場合は前記距離情報を比較する手順をスキップして前記特定領域検出用パラメータを設定する手順に進む手順とを含み、
解析結果が特定領域は左右上下の動きを伴うとする場合に、前記特定領域検出用パラメータを設定する手順では、特定領域検出用のパラメータを全サイズに対して設定する請求項２４に記載の画像処理用のプログラム。
【請求項２６】
前記距離情報を算出する手順と前記距離情報を比較する手順との間に、さらに、
入力されてくる画像データにおいて動きベクトル情報を生成する手順と、
前記動きベクトル情報に基づいて特定領域に左右上下の動きがあるか否かを解析し、解析結果が特定領域は左右上下の動きを伴わないとする場合は前記距離情報を比較する手順に進み、解析結果が特定領域は左右上下の動きを伴うとする場合は前記距離情報を比較する手順をスキップして前記特定領域検出用パラメータの設定手順に進む手順とを含み、
解析結果が特定領域は左右上下の動きを伴うとする場合に、前記特定領域検出用パラメータを設定する手順では、特定領域検出用のパラメータを全サイズに対して設定する請求項２４に記載の画像処理用のプログラム。
【請求項２７】
光学レンズを介して入射した被写体光を受光して撮像信号に変換して出力する撮像素子と、前記撮像素子から出力された撮像信号をデジタル信号に変換するＡ／Ｄ変換部と、前記Ａ／Ｄ変換部の出力したデジタル信号に対して画像処理を行う画像処理回路を含むデジタル信号処理回路と、前記デジタル信号処理回路が出力する画像データをメディアに記録する記録回路と、記録された信号を再生する再生回路とを備え、前記画像処理回路として請求項２１から請求項２３までのいずれか１項に記載の画像処理装置を備えている撮像装置。
【請求項１】
順次入力されてくる画像データにおいて距離情報を算出する距離算出ステップと、
現在フレーム画像データおよび過去フレーム画像データについてそれぞれ前記距離算出ステップで得られた距離情報を比較する距離比較ステップと、
前記距離比較ステップにおける比較結果に基づいて特定領域検出用のパラメータを設定する特定領域検出用パラメータの設定ステップと、
前記特定領域検出用パラメータの設定ステップにおいて設定された前記特定領域検出用のパラメータに基づいて特定領域を検出する特定領域検出ステップとを含む画像処理方法。
【請求項２】
前記特定領域検出用パラメータの設定ステップにおける前記特定領域検出用のパラメータは、検出する特定領域のサイズまたは検出範囲に関するパラメータである請求項１に記載の画像処理方法。
【請求項３】
前記距離比較ステップにおいては、前記現在フレーム画像データにおける距離情報と前記過去フレーム画像データにおける距離情報との差分を閾値と比較する請求項１に記載の画像処理方法。
【請求項４】
前記距離比較ステップにおいては、過去フレーム画像データで検出された特定領域の内部または周辺の距離情報と現在フレーム画像データにおける同位置の距離情報を比較する請求項３に記載の画像処理方法。
【請求項５】
前記距離比較ステップにおいては、前記比較結果に基づいて検出する特定領域のサイズに優先順位を付け、前記特定領域検出用パラメータの設定ステップにおいては、前記優先順位に基づいたパラメータを設定し、前記特定領域検出ステップにおいては、前記優先順位順に特定領域を検出する請求項３に記載の画像処理方法。
【請求項６】
前記特定領域検出用パラメータの設定ステップにおいては、前記距離情報の差分が閾値Ｐ（Ｐ＞０）以上となったとき、過去フレーム画像データで検出された特定領域のサイズよりも小さいサイズの特定領域を検出するためのパラメータを設定し、前記特定領域検出ステップにおいては、前記小さいサイズの特定領域を検出する請求項３に記載の画像処理方法。
【請求項７】
前記特定領域検出用パラメータの設定ステップにおいては、前記距離情報の差分が閾値Ｑ（Ｑ＜０）より小さくなったとき、過去フレーム画像データで検出された特定領域のサイズよりも大きいサイズの特定領域を検出するためのパラメータを設定し、前記特定領域検出ステップにおいては、前記大きいサイズの特定領域を検出する請求項３に記載の画像処理方法。
【請求項８】
前記特定領域検出用パラメータの設定ステップにおいては、前記距離情報の差分が閾値Ｐ（Ｐ＞０）より小さくかつ閾値Ｑ（Ｑ＜０）以上となったとき、過去フレーム画像データで検出された特定領域のサイズと同等のサイズの特定領域を検出するためのパラメータを設定し、前記特定領域検出ステップにおいては、前記同等のサイズの特定領域を検出する請求項３に記載の画像処理方法。
【請求項９】
前記閾値Ｐは、複数個の閾値Ｐ１〜Ｐｎ（ｎは正の整数、Ｐ１＜Ｐ２＜…＜Ｐｎ）に細分化され、前記特定領域検出用パラメータの設定ステップにおいては、前記距離情報の差分と前記細分化された閾値Ｐ１〜Ｐｎとの大小関係により、特定サイズの特定領域を検出するためのパラメータを設定し、前記特定領域検出ステップにおいては、前記特定サイズの特定領域を検出する請求項６に記載の画像処理方法。
【請求項１０】
前記閾値Ｑは、複数個の閾値Ｑ１〜Ｑｎ（ｎは正の整数、Ｑｎ＜…＜Ｑ２＜Ｑ１）に細分化され、前記特定領域検出用パラメータの設定ステップにおいては、前記距離情報の差分と前記細分化された閾値Ｑ１〜Ｑｎとの大小関係により、特定サイズの特定領域を検出するためのパラメータを設定し、前記特定領域検出ステップにおいては、前記特定サイズの特定領域を検出する請求項７に記載の画像処理方法。
【請求項１１】
前記距離算出ステップと前記距離比較ステップとの間に、さらに、
過去フレーム画像データにおける距離情報と現在フレーム画像データにおける距離情報に基づいて特定領域に左右上下の動きがあるか否かを解析する動作解析ステップと、
前記動作解析ステップにおける解析結果が特定領域は左右上下の動きを伴わないとする場合は前記距離比較ステップに進み、解析結果が特定領域は左右上下の動きを伴うとする場合は前記距離比較ステップをスキップして前記特定領域検出用パラメータの設定ステップに進む分岐制御ステップとを含み、
解析結果が特定領域は左右上下の動きを伴うとする場合に、前記特定領域検出用パラメータの設定ステップでは、特定領域検出用のパラメータを全サイズに対して設定する請求項１から請求項１０までのいずれか１項に記載の画像処理方法。
【請求項１２】
前記動作解析ステップにおいては、過去フレーム画像データで検出された特定領域の内部または周辺の距離情報と現在フレーム画像データにおける同位置の距離情報とに基づいて特定領域に左右上下の動きがあるか否かを解析する請求項１１に記載の画像処理方法。
【請求項１３】
前記動作解析ステップにおいては、過去フレーム画像データで検出された特定領域の内部または周辺の距離情報と現在フレーム画像データにおける同位置の距離情報との大小関係を各々算出し、１つでも異なる大小関係が現れた場合は特定領域が左右上下の動きを伴うと判断する請求項１２に記載の画像処理方法。
【請求項１４】
前記距離算出ステップと前記距離比較ステップとの間に、さらに、
入力されてくる画像データにおいて動きベクトル情報を生成する動きベクトル生成ステップと、
前記動きベクトル情報に基づいて特定領域に左右上下の動きがあるか否かを解析し、解析結果が特定領域は左右上下の動きを伴わないとする場合は前記距離比較ステップに進み、解析結果が特定領域は左右上下の動きを伴うとする場合は前記距離比較ステップをスキップして前記特定領域検出用パラメータの設定ステップに進む動きベクトル解析ステップとを含み、
解析結果が特定領域は左右上下の動きを伴うとする場合に、前記特定領域検出用パラメータの設定ステップでは、特定領域検出用のパラメータを全サイズに対して設定する請求項１から請求項１０までのいずれか１項に記載の画像処理方法。
【請求項１５】
前記動きベクトル解析ステップにおいて、過去フレーム画像データで検出された特定領域の内部または周辺と同位置の現在フレーム画像データにおける動きベクトルに基づいて特定領域に左右上下の動きがあるか否かを解析する請求項１４に記載の画像処理方法。
【請求項１６】
前記動きベクトル解析ステップにおいて、過去フレーム画像データで検出された特定領域の内部または周辺と同位置の入力されてくる画像データにおける動きベクトル情報の合計値を算出し、前記合計値が閾値以上となったときに特定領域が左右上下の動きを伴うと判断する請求項１５に記載の画像処理方法。
【請求項１７】
前記動作解析ステップで特定領域が左右上下の動きを伴わないと判断したときは、前記特定領域検出用パラメータの設定ステップにおいて、特定領域検出用パラメータを検出対象の特定領域のサイズに対して設定する請求項１１に記載の画像処理方法。
【請求項１８】
前記動きベクトル解析ステップで特定領域が左右上下の動きを伴わないと判断したときは、前記特定領域検出用パラメータの設定ステップにおいて、特定領域検出用パラメータを検出対象の特定領域のサイズに対して設定する請求項１４に記載の画像処理方法。
【請求項１９】
前記特定領域として顔領域を設定する請求項１から請求項１８までのいずれか１項に記載の画像処理方法。
【請求項２０】
前記距離情報として視差情報を設定する請求項１から請求項１９までのいずれか１項に記載の画像処理方法。
【請求項２１】
順次入力されてくる画像データにおいて距離情報を算出する距離算出部と、
現在フレーム画像データおよび過去フレーム画像データについてそれぞれ前記距離算出部で得られた距離情報を比較する距離比較部と、
前記距離比較部における比較結果に基づいて特定領域検出用のパラメータを設定する特定領域検出用パラメータ設定部と、
前記特定領域検出用パラメータ設定部において設定された前記特定領域検出用のパラメータに基づいて特定領域を検出する特定領域検出部とを備えた画像処理装置。
【請求項２２】
さらに、
過去フレーム画像データにおける距離情報と現在フレーム画像データにおける距離情報に基づいて特定領域に左右上下の動きがあるか否かを解析する動作解析部と、
前記動作解析部における解析結果が特定領域は左右上下の動きを伴わないとする場合は前記距離比較部を動作させ、解析結果が特定領域は左右上下の動きを伴うとする場合は前記距離比較部を不動作とした上で前記特定領域検出用パラメータ設定部を動作させる分岐制御部とを備え、
解析結果が特定領域は左右上下の動きを伴うとする場合に、前記特定領域検出用パラメータ設定部では、特定領域検出用のパラメータを全サイズに対して設定する請求項２１に記載の画像処理装置。
【請求項２３】
さらに、
入力されてくる画像データにおいて動きベクトル情報を生成する動きベクトル生成部と、
前記動きベクトル情報に基づいて特定領域に左右上下の動きがあるか否かを解析し、解析結果が特定領域は左右上下の動きを伴わないとする場合は前記距離比較部を動作させ、解析結果が特定領域は左右上下の動きを伴うとする場合は前記距離比較部を不動作とした上で前記特定領域検出用パラメータ設定部を動作させる動きベクトル解析部とを備え、
解析結果が特定領域は左右上下の動きを伴うとする場合に、前記特定領域検出用パラメータ設定部では、特定領域検出用のパラメータを全サイズに対して設定する請求項２１に記載の画像処理装置。
【請求項２４】
順次入力されてくる画像データにおいて距離情報を算出する手順と、
現在フレーム画像データおよび過去フレーム画像データについてそれぞれ前記距離算出手順で得られた距離情報を比較する手順と、
前記距離情報を比較する手順における比較結果に基づいて特定領域検出用のパラメータを設定する手順と、
前記特定領域検出用パラメータを設定する手順において設定された前記特定領域検出用のパラメータに基づいて特定領域を検出する手順とをコンピュータに実行させるための画像処理用のプログラム。
【請求項２５】
前記距離情報を算出する手順と前記距離情報を比較する手順との間に、さらに、
過去フレーム画像データにおける距離情報と現在フレーム画像データにおける距離情報に基づいて特定領域に左右上下の動きがあるか否かを解析する手順と、
前記左右上下の動きがあるか否かを解析する手順における解析結果が特定領域は左右上下の動きを伴わないとする場合は前記距離情報を比較する手順に進み、解析結果が特定領域は左右上下の動きを伴うとする場合は前記距離情報を比較する手順をスキップして前記特定領域検出用パラメータを設定する手順に進む手順とを含み、
解析結果が特定領域は左右上下の動きを伴うとする場合に、前記特定領域検出用パラメータを設定する手順では、特定領域検出用のパラメータを全サイズに対して設定する請求項２４に記載の画像処理用のプログラム。
【請求項２６】
前記距離情報を算出する手順と前記距離情報を比較する手順との間に、さらに、
入力されてくる画像データにおいて動きベクトル情報を生成する手順と、
前記動きベクトル情報に基づいて特定領域に左右上下の動きがあるか否かを解析し、解析結果が特定領域は左右上下の動きを伴わないとする場合は前記距離情報を比較する手順に進み、解析結果が特定領域は左右上下の動きを伴うとする場合は前記距離情報を比較する手順をスキップして前記特定領域検出用パラメータの設定手順に進む手順とを含み、
解析結果が特定領域は左右上下の動きを伴うとする場合に、前記特定領域検出用パラメータを設定する手順では、特定領域検出用のパラメータを全サイズに対して設定する請求項２４に記載の画像処理用のプログラム。
【請求項２７】
光学レンズを介して入射した被写体光を受光して撮像信号に変換して出力する撮像素子と、前記撮像素子から出力された撮像信号をデジタル信号に変換するＡ／Ｄ変換部と、前記Ａ／Ｄ変換部の出力したデジタル信号に対して画像処理を行う画像処理回路を含むデジタル信号処理回路と、前記デジタル信号処理回路が出力する画像データをメディアに記録する記録回路と、記録された信号を再生する再生回路とを備え、前記画像処理回路として請求項２１から請求項２３までのいずれか１項に記載の画像処理装置を備えている撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【公開番号】特開２０１２−１０５１３０（Ｐ２０１２−１０５１３０Ａ）
【公開日】平成２４年５月３１日（２０１２．５．３１）
【国際特許分類】
【出願番号】特願２０１０−２５２７４４（Ｐ２０１０−２５２７４４）
【出願日】平成２２年１１月１１日（２０１０．１１．１１）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２４年５月３１日（２０１２．５．３１）
【国際特許分類】
【出願日】平成２２年１１月１１日（２０１０．１１．１１）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]