注目領域推定装置、コンピュータプログラム及び注目領域推定方法
【課題】注目被写体の領域の推定精度を向上すること。
【解決手段】画像において、注目されている被写体が写った領域である注目領域を推定する注目領域推定装置である。画像から注目領域の候補である候補領域を検出し、画像から消失点の位置を検出し、消失点の画像上の位置と候補領域の画像上の位置とに基づいて、実空間における候補領域の位置を推定し、実空間における位置の推定結果に基づいて、候補領域の中から注目領域を推定する。
【解決手段】画像において、注目されている被写体が写った領域である注目領域を推定する注目領域推定装置である。画像から注目領域の候補である候補領域を検出し、画像から消失点の位置を検出し、消失点の画像上の位置と候補領域の画像上の位置とに基づいて、実空間における候補領域の位置を推定し、実空間における位置の推定結果に基づいて、候補領域の中から注目領域を推定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像内の注目被写体の領域を推定する技術に関する。
【背景技術】
【０００２】
近年、画像の中の注目被写体の領域（注目領域）を推定する技術に対する要求が高まっている。例えば、特許文献１に開示された技術では、撮像装置において撮像画像の中から注目被写体の領域を検出し、注目被写体に対して合焦を行う。
このように注目領域を画像の中から検出する技術として以下のような花弁領域の抽出技術がある（非特許文献１参照）。この技術では、AdaBoostと、Saliency Mapという視覚注意の情報とを用いたGraph Cutsにより花弁領域を抽出する。より具体的には、まずAdaBoostにより矩形の花弁領域を検出し、物体（検出した花弁領域）と背景（検出した花弁領域以外の領域）の色ヒストグラムをそれぞれＧＭＭ（混合正規分布：Gaussian Mixture Model）に適用し尤度を求める。そして、尤度に基づいたSaliency Mapを用いて視覚注意を引く強さを基に花弁領域を検出する。ここで、顕著性を事前確率と定義し、ベイズの定理から事後確率を求め、Graph Cutsを用いることによって最終的に花弁領域を抽出する。このような処理により、花弁の色やその位置を予めユーザーが指定するといった制約条件を設ける必要が無くなる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−００２６９１号公報
【非特許文献】
【０００４】
【非特許文献１】福田恵太、他２名、「AdaBoostとSaliency Mapを用いたGraph Cutsによる花弁領域の自動抽出法」、画像の認識・理解シンポジウム (MIRU2008) 2008 年 7 月、p.796-801
【発明の概要】
【発明が解決しようとする課題】
【０００５】
画像中の注目被写体を認識するためには、正確に画像から注目領域を抽出する必要があり、背景が注目領域に入らないようにすることが不可避である。従来の手法のように色情報やテクスチャ情報といったアピアランスベースの特徴量のみを使って注目領域を限定しようとすると、複数の注目被写体を含んだ領域を一つの注目領域として抽出してしまったり、実際の注目領域よりも広い範囲を注目領域として抽出してしまったりしていた。そうすると、注目被写体とは関係の無い被写体が写った領域も注目領域として抽出され、抽出された画像が被写体認識の対象となってしまい、認識精度の低下を招いてしまうという問題があった。また、認識を行うという目的以外にも、上述したように合焦を行うためなど様々な目的で注目領域を推定することに対する要望があり、精度良く注目領域を推定することが望まれている。
【０００６】
上記事情に鑑み、本発明は、注目被写体の領域の推定精度を向上する技術の提供を目的としている。
【課題を解決するための手段】
【０００７】
本発明の一態様は、画像において、注目されている被写体が写った領域である注目領域を推定する注目領域推定装置であって、画像から注目領域の候補である候補領域を検出する候補領域検出部と、画像から消失点の位置を検出する消失点検出部と、前記消失点の画像上の位置と前記候補領域の画像上の位置とに基づいて、実空間における候補領域の位置を推定する位置推定部と、実空間における位置の推定結果に基づいて、候補領域の中から注目領域を推定する注目領域推定部と、を備える。
【０００８】
本発明の一態様は、上記の注目領域推定装置であって、前記位置推定部は、前記消失点の画像上の位置と前記候補領域の画像上の位置との間の距離に基づいて、実空間における前記候補領域の奥行きを推定し、前記注目領域推定部は、前記奥行きの推定結果に基づいて、手前に位置する前記候補領域を注目領域として推定する。
【０００９】
本発明の一態様は、上記の注目領域推定装置であって、前記位置推定部は、前記消失点の画像上の位置と前記候補領域の画像上の形状とに基づいて、前記候補領域の被写体が実空間において構造物の平面上にほぼ同一の平面として位置するか否かを推定する。
【００１０】
本発明の一態様は、コンピュータを、上記のいずれか一つの態様における注目領域推定装置として動作させるためのコンピュータプログラムである。
【００１１】
本発明の一態様は、画像において、注目されている被写体が写った領域である注目領域を推定する注目領域推定方法であって、画像から注目領域の候補である候補領域を検出する候補領域検出ステップと、画像から消失点の位置を検出する消失点検出ステップと、前記消失点の画像上の位置と前記候補領域の画像上の位置とに基づいて、実空間における候補領域の位置を推定する位置推定ステップと、実空間における位置の推定結果に基づいて、候補領域の中から注目領域を推定する注目領域推定ステップと、を有する。
【００１２】
本発明の一態様は、上記の注目領域推定方法であって、前記位置推定ステップにおいて、前記消失点の画像上の位置と前記候補領域の画像上の位置との間の距離に基づいて、実空間における前記候補領域の奥行きを推定し、前記注目領域推定ステップにおいて、前記奥行きの推定結果に基づいて、手前に位置する前記候補領域を注目領域として推定する。
【００１３】
本発明の一態様は、上記の注目領域推定方法であって、前記位置推定ステップは、前記消失点の画像上の位置と前記候補領域の画像上の形状とに基づいて、前記候補領域の被写体が実空間において構造物の平面上にほぼ同一の平面として位置するか否かを推定する。
【発明の効果】
【００１４】
本発明により、注目被写体の領域の推定精度の向上が可能となる。
【図面の簡単な説明】
【００１５】
【図１】注目領域推定装置の機能構成を表す概略ブロック図である。
【図２】候補領域検出部の処理の概略を示す図である。
【図３】消失点検出部の処理の概略を示す図である。
【図４】位置推定部の処理の概略を示す図である。
【図５】注目領域推定部によって推定された注目領域の具体例を示す図である。
【図６】注目領域推定装置の処理の流れを表すフローチャートである。
【図７】注目領域推定装置の変形例の機能構成を示す概略ブロック図である。
【図８】被写体が壁などの平面に張り付いているかを推定する処理の概略を示す図である。
【発明を実施するための形態】
【００１６】
［概要］
注目領域推定装置は、画像を解析することによって、ユーザーが注目していると推定される被写体（以下、「注目被写体」という。）が写っている領域（以下、「注目領域」という。）を推定する。具体的な処理は以下の通りである。まず、注目領域推定装置は、画像の特徴量から注目領域の候補（以下、「候補領域」という。）を検出する。また、注目領域推定装置は、画像から消失点の位置を算出する。次に、注目領域推定装置は、消失点の画像上の位置と候補領域の画像上の位置とに基づいて、実空間における各候補領域の位置を推定する。そして、注目領域推定装置は、実空間における位置の推定結果に基づいて、候補領域の中から注目領域を推定する。
【００１７】
［実施形態］
次に、注目領域推定装置の詳細について説明する。
図１は、注目領域推定装置１００の機能構成を表す概略ブロック図である。注目領域推定装置１００は、バスで接続されたＣＰＵ（Central Processing Unit）やメモリや補助記憶装置などを備え、注目領域推定プログラムを実行する。注目領域推定装置１００は、このプログラムを実行することによって、画像入力部１０１、候補領域検出部１０２、消失点検出部１０３、位置推定部１０４、注目領域推定部１０５、出力部１０６を備える装置として機能する。なお、注目領域推定装置１００の各機能の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されても良い。注目領域推定プログラムは、コンピュータ読み取り可能な記録媒体に記録されても良い。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。
【００１８】
画像入力部１０１は、注目領域推定装置１００に対して入力される画像のデータを受け付ける。画像入力部１０１は、例えばＣＤ−ＲＯＭやＵＳＢメモリ（Universal Serial Bus Memory）等の記録媒体に記録された画像のデータを読み出しても良い。また、画像入力部１０１は、スチルカメラやビデオカメラによって撮像された画像を、カメラから受信しても良い。また、画像領域推定装置１００がスチルカメラやビデオカメラに内蔵されている場合は、画像入力部１０１は撮像された画像又は撮像前の画像をバスから受信しても良い。また、画像入力部１０１は、ネットワークを介して他の情報処理装置から画像のデータを受信しても良い。画像入力部１０１は、画像のデータの入力を受けることが可能な構成であれば、さらに異なる態様で構成されても良い。画像入力部１０１によって入力が受け付けられた画像を、「入力画像」という。
【００１９】
候補領域検出部１０２は、入力画像から、注目領域を検出する。消失点検出部１０３は、入力画像において消失点を検出する。位置推定部１０４は、消失点の位置と候補領域の位置とに基づいて、実空間における各候補領域の位置を推定する。注目領域推定装置１０５は、実空間における位置の推定結果に基づいて、候補領域の中から注目領域を推定する。
【００２０】
出力部１０６は、注目領域推定部１０５における推定結果を出力する。出力部１０６が出力する内容は、注目領域推定部１０５が推定した注目領域を表す座標の情報であっても良いし、入力画像から抽出した注目領域の画像のデータであっても良い。出力部１０６が出力する内容は、注目領域推定部１０５の推定結果に関するものであればどのようなものであっても良い。
【００２１】
次に、候補領域検出部１０２の処理について詳細に説明する。候補領域検出部１０２は、予め定められた所定の基準を満たす領域を候補領域として検出する。例えば、候補領域検出部１０２は、画像内に存在する矩形の被写体の領域を候補領域として検出しても良い。例えば、候補領域検出部１０２は、画像内に存在する人の顔の領域を候補領域として検出しても良い。例えば、候補領域検出部１０２は、人の視覚的注意を引きやすいと推定される領域を候補領域として検出しても良い。
【００２２】
以下、候補領域検出部１０２の一つの具体例について説明する。候補領域検出部１０２は、入力画像内に存在する矩形の被写体の領域のうち、人の視覚的注意を引きやすいと推定される領域を候補領域として検出する。図２は、このように構成された候補領域検出部１０２の処理の概略を示す図である。図２Ａは、入力画像の例を示す図である。図２Ａに示される入力画像は、地下街の天井付近を撮像した画像であり、天井から吊された複数の矩形の看板が写っている。図２Ｂは、人の視覚的注意を引く強さを２５６階調で表した画像を示す図である。図２Ｃは、検出された矩形の被写体の領域を示す図である。図２Ｄは、検出された候補領域の例を示す図である。
【００２３】
まず、候補領域検出部１０２は、入力画像（図２Ａ）から、各画素又は各部分領域について人の視覚的注意を引く強さを評価し、評価結果を表す画像（図２Ｂ）を生成する。部分領域とは、複数の画素からなる領域であり、例えば２×２の画素からなる領域や、４×４の画素からなる領域などである。人の視覚的注意を引く強さは、例えば以下の文献に開示されたSaliency Mapという技術を用いて評価することが出来る。L.Itti, C.Koch and E.Niebur,“ A Model of Saliency-based Visual Attention for Rapid Scene Analysis, ”IEEE Trans.Pattern Analysis and Machine Intelligence, Vol.20, No.11, pp.1254-1259, 1998。この場合、候補領域検出部１０２は、入力画像において、カラー特徴量やコントラスト情報等の局所特徴量を算出する。そして、候補領域検出部１０２は、算出結果に基づいて、各画素又は各部分領域における人の視覚的注意を引く強さを算出する。
【００２４】
また、候補領域検出部１０２は、入力画像（図２Ａ）から、矩形の被写体の領域を検出する。画像内に存在する矩形の被写体の領域は、例えば以下の文献に開示された技術を用いて検出することが出来る。北原 亮、中村 高雄、片山 淳、安野 貴之、“携帯端末上における幾何補正のためのリアルタイム矩形追跡手法”、Technical report of IEICE. ISEC 106(351), 1-6, 2006-11-09。図２Ｃの場合、候補領域検出部１０２は、四つの矩形領域３１〜３４を検出する。なお、人の視覚的注意を引く強さを算出する処理と、矩形領域を検出する処理とは、どちらが先に行われても良いし、同時に並行して行われても良い。
【００２５】
次に、候補領域検出部１０２は、検出した矩形領域のそれぞれについて、人の視覚的注意を引く強さの値に基づいて、所定の条件を満たしているか否か評価する。そして、候補領域検出部１０２は、所定の条件を満たしている矩形領域を候補領域として検出する。所定の条件はどのような条件であっても良い。例えば、矩形領域内における各画素の人の視覚的注意を引く強さの平均値が閾値を超えていることが条件であっても良い。例えば、矩形領域内における各画素の人の視覚的注意を引く強さのうち最大値が閾値を超えていることが条件であっても良い。例えば、矩形領域内における各画素の人の視覚的注意を引く強さの平均値が閾値を超えており且つ標準偏差が閾値を超えていないことが条件であっても良い。図２Ｄでは、四つの矩形領域３１〜３４のうち、二つの矩形領域３３及び３４が候補領域として検出される。
【００２６】
一般的に撮影者は視覚的注意を引くような被写体に注目して撮影する。そのため、人の視覚的注意を引く強さが強い被写体が注目被写体である可能性が高い。したがって、このような処理によって候補領域を選択することで、より正確に注目領域を推定することが可能となる。
【００２７】
次に、消失点検出部１０３の処理について詳細に説明する。消失点検出部１０３は、入力画像から消失点を検出する。以下、消失点検出部１０３の一つの具体例について説明する。消失点検出部１０３は、入力画像から直線を検出し、検出した直線に基づいて消失点を検出しても良い。図３は、このように構成された消失点検出部１０３の処理の概略を示す図である。図３Ａは、入力画像の例を示す図である。図３Ａに示される入力画像は図２Ａに示した入力画像と同じである。図３Ｂは、入力画像から検出された直線及び消失点を示す図である。
【００２８】
まず、消失点検出部１０３は、入力画像（図３Ａ）から所定の長さ以上の直線を検出する。例えば、消失点検出部１０３は、Hough変換を行うことによって入力画像から直線を検出しても良い。図３Ａからは、図３Ｂに示すように四本の直線４１〜４４が検出される。次に、消失点検出部１０３は、検出された複数の直線の中から二本の直線を選択し、その交点の位置を算出する。消失点検出部１０３は、検出された複数の直線のうち、算出された交点を通過する直線の数を計数し、その数をこの交点の得票数として記録する。消失点検出部１０３は、全ての直線の組み合わせについて交点の得票数を取得する。そして、消失点検出部１０３は、得票数の一番多い交点を消失点４５として取得する。
【００２９】
なお、消失点の位置の算出方法は上述した方法に限られない。例えば、消失点検出部１０３は、入力画像（図３Ａ）から最も長い直線及び２番目に長い直線を検出し、その交点の位置を消失点の位置として算出しても良い。
次に、位置推定部１０４の処理について詳細に説明する。以下、位置推定部１０４の一つの具体例について説明する。位置推定部１０４は、候補領域の位置について、消失点からの距離が長いほど実空間では手前に位置し、消失点からの距離が短いほど実空間では奥に位置すると推定しても良い。なお、ここでいう距離は、画像上の距離である。図４は、このように構成された位置推定部１０４の処理の概略を示す図である。図４Ａは、各候補領域に対して所定の基準に従って消失点から直線を引いた様子を示す図である。図４Ｂは、消失点から引いた二つの直線の角度θ１を表す図である。
【００３０】
位置推定部１０４は、各候補領域の左上隅の点と消失点とを直線で結ぶ。図４Ａでは、消失点４５と、候補領域３３の左上隅の点５２とが直線５１で結ばれている。また、消失点４５と、候補領域３４の左上隅の点５３とが直線５１で結ばれている。このように、各候補領域と消失点とを結んだ直線が同一直線である場合、すなわち各直線の角度が０度である場合には、位置推定部１０４は、消失点４５からの距離が長いほど手前に位置し、消失点４５からの距離が短いほど奥に位置すると推定する。具体的には、位置推定部１０４は、候補領域３３の左上隅の点５２と消失点との距離を算出し、候補領域３４の左上隅の点５３と消失点との距離を算出する。そして、位置推定部１０４は、算出された距離が長い方の候補領域３３をより手前に位置する候補領域であると推定し、算出された距離が短い方の候補領域３４をより奥に位置する候補領域であると推定する。
【００３１】
位置推定部１０４は、各候補領域と消失点とを結んだ直線の角度が０度でなかったとしても、所定の角度未満である場合には角度が０度であるとみなして、上述した処理と同じ処理によって候補領域の位置を推定しても良い。図４Ｂに示されるように、候補領域３３の左上隅の点５２と消失点４５とを結んだ直線５１と、候補領域３４の左上隅の点５３と消失点４５とを結んだ直線５４との角度θ１が０度でない場合であっても、角度θ１が所定の角度（閾値）未満である場合には、位置推定部１０４は、消失点４５と点５２及び点５３との距離をそれぞれ算出し、距離の長い方の候補領域３３をより手前に位置する候補領域であると推定する。
【００３２】
次に、注目領域推定部１０５の処理について詳細に説明する。図５は、図２〜図４に示された処理の具体例において、注目領域推定部１０５によって推定された注目領域の具体例を示す図である。注目領域推定装置１０５は、実空間における位置の推定結果において、最も手前に位置すると推定された候補領域を注目領域として推定する。図５の場合、最も手前に位置すると推定された候補領域３３が注目領域として推定される。
【００３３】
次に、注目領域推定装置１００の処理の流れについて説明する。図６は、注目領域推定装置１００の処理の流れを表すフローチャートである。まず、画像入力部１０１が、画像のデータの入力を受け付ける（ステップＳ１０１）。次に、候補領域検出部１０２が、入力画像から候補領域を検出する（ステップＳ１０２）。次に、消失点検出部１０３が、入力画像において消失点を検出する（ステップＳ１０３）。次に、位置推定部１０４が、消失点の位置と候補領域の位置とに基づいて、実空間における各候補領域の位置を推定する（ステップＳ１０４）。次に、注目領域推定装置１０５が、実空間における位置の推定結果に基づいて、候補領域の中から注目領域を推定する（ステップＳ１０５）。そして、出力部１０６が、注目領域推定部１０５の推定結果を出力する（ステップＳ１０６）。
【００３４】
このように構成された注目領域推定装置１００では、注目被写体の領域（注目領域）の推定精度が向上する。以下、このような効果について詳細に説明する。注目領域推定装置１００では、入力画像における消失点が検出され、検出された消失点の位置に基づいて画像内の候補領域の実空間における位置が推定される。例えば、候補領域同士の実空間における相対的な位置関係（例えば視点位置からの奥行きの位置関係）が推定される。そして、推定された位置に基づいて注目領域が推定される。そのため、実空間の位置に基づきより高い精度で注目領域を推定することが可能となる。例えば、一般的には手前に位置するほど注目されている被写体であることが多い。したがって、最も手前に位置する被写体の領域が注目領域であると仮定すれば、この仮定に基づく限り上記の処理によって高い精度で注目領域を推定することが可能となる。
【００３５】
＜変形例＞
図７は、注目領域推定装置１００の変形例の機能構成を示す概略ブロック図である。変形された注目領域推定装置１００は、位置関係ＤＢ２０１をさらに備える。位置関係ＤＢ２０１は、複数の候補領域の中から注目領域を推定するための基準を示す情報を記憶した記憶装置である。位置関係ＤＢ２０１は、例えば壁などの構造物の平面に張り付いている被写体の候補領域が注目領域であるという基準を記憶しても良い。位置関係ＤＢ２０１は、例えば壁などの構造物の平面から飛び出している被写体の候補領域が注目領域であるという基準を記憶しても良い。変形例における位置推定部１０４は、位置関係ＤＢ２０１に記憶されている基準に応じて、候補領域の位置を推定する。
【００３６】
例えば、上記のような基準が位置関係ＤＢ２０１に記憶されている場合は、位置推定部１０４は各候補領域について、被写体が壁などの構造物の平面に張り付いているか否かについて推定する。具体的には、位置推定部１０４は、消失点の画像上の位置と候補領域の画像上の形状とに基づいて、候補領域の被写体が実空間において構造物の平面上にほぼ同一の平面として位置する（平面に張り付いている）か否かを推定する、注目領域推定部１０５は、位置推定部１０４による位置の推定結果に基づいて、位置関係ＤＢ２０１に記憶されている基準にしたがって注目領域を推定する。
【００３７】
図８は、被写体が壁などの平面に張り付いているかを推定する処理の概略を示す図である。図８Ａは、入力画像の例を示す図である。図８Ｂは、消失点及び候補領域の具体例を示す図である。以下、図８Ｂを用いて、被写体が壁などの平面に張り付いているかを推定する処理の一具体例について説明する。
【００３８】
位置推定部１０４は、候補領域の左上隅、左下隅、右下隅、右上隅の各点と消失点とを直線で結ぶ。図８Ｂでは、位置推定部１０４は、候補領域７１については、左上隅の点６１、左下隅の点６２、右下隅の点６３、右上隅の点６４と消失点６０とを直線で結ぶ。また、位置推定部１０４は、候補領域７２については、左上隅の点６５、左下隅の点６６、右下隅の点６７、右上隅の点６８と消失点６０とを直線で結ぶ。
【００３９】
次に、位置推定部１０４は、候補領域の矩形において隣り合っている隅の点同士で、消失点との直線が成す角度を算出する。例えば、図８Ｂにおいて、候補領域７１の左上隅の点６１と左下隅の点６２とは隣り合っており、それぞれの点と消失点６０との直線が成す角度はθ２である。位置推定部１０４は、この角度が０度又は所定の角度よりも小さい場合、その二つの点を結ぶ辺は平面上に張り付いていると推定する。そして、残る二点も同様に平面上に張り付いていると推定された候補領域の被写体について、位置推定部１０４は壁などの平面に張り付いていると推定する。一方、いずれの点の組み合わせにおいても角度が所定の角度以上である場合、位置推定部１０４は、その候補領域の被写体について、壁などの平面から飛び出していると推定する。
【００４０】
例えば、図８Ｂの候補領域７１に関しては、隣り合う点の全ての組み合わせ（６１と６２、６２と６３、６３と６４、６４と６１）において、直線が成す角度は所定の角度を超えている。そのため、位置推定部１０４は、候補領域７１の被写体について、壁などの平面から飛び出していると推定する。一方、候補領域７２に関しては、点６８と点６５との組み合わせ及び点６６と点６７との組み合わせにおいて、直線が成す角度が０度又は所定の角度未満である。そのため、位置推定部１０４は、候補領域７２の被写体について、壁などの平面に張り付いていると推定する。
【００４１】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【００４２】
１００…注目領域推定装置， １０１…画像入力部， １０２…候補領域検出部， １０３…消失点検出部， １０４…位置推定部， １０５…注目領域推定部， １０６…出力部， ２０１…位置関係ＤＢ， ３１〜３４，７１，７２…候補領域， ４１〜４４，５１，５４…直線， ４５，６０…消失点， ５２，５３…候補領域の左上隅の点， ６１〜６８…候補領域上の点
【技術分野】
【０００１】
本発明は、画像内の注目被写体の領域を推定する技術に関する。
【背景技術】
【０００２】
近年、画像の中の注目被写体の領域（注目領域）を推定する技術に対する要求が高まっている。例えば、特許文献１に開示された技術では、撮像装置において撮像画像の中から注目被写体の領域を検出し、注目被写体に対して合焦を行う。
このように注目領域を画像の中から検出する技術として以下のような花弁領域の抽出技術がある（非特許文献１参照）。この技術では、AdaBoostと、Saliency Mapという視覚注意の情報とを用いたGraph Cutsにより花弁領域を抽出する。より具体的には、まずAdaBoostにより矩形の花弁領域を検出し、物体（検出した花弁領域）と背景（検出した花弁領域以外の領域）の色ヒストグラムをそれぞれＧＭＭ（混合正規分布：Gaussian Mixture Model）に適用し尤度を求める。そして、尤度に基づいたSaliency Mapを用いて視覚注意を引く強さを基に花弁領域を検出する。ここで、顕著性を事前確率と定義し、ベイズの定理から事後確率を求め、Graph Cutsを用いることによって最終的に花弁領域を抽出する。このような処理により、花弁の色やその位置を予めユーザーが指定するといった制約条件を設ける必要が無くなる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−００２６９１号公報
【非特許文献】
【０００４】
【非特許文献１】福田恵太、他２名、「AdaBoostとSaliency Mapを用いたGraph Cutsによる花弁領域の自動抽出法」、画像の認識・理解シンポジウム (MIRU2008) 2008 年 7 月、p.796-801
【発明の概要】
【発明が解決しようとする課題】
【０００５】
画像中の注目被写体を認識するためには、正確に画像から注目領域を抽出する必要があり、背景が注目領域に入らないようにすることが不可避である。従来の手法のように色情報やテクスチャ情報といったアピアランスベースの特徴量のみを使って注目領域を限定しようとすると、複数の注目被写体を含んだ領域を一つの注目領域として抽出してしまったり、実際の注目領域よりも広い範囲を注目領域として抽出してしまったりしていた。そうすると、注目被写体とは関係の無い被写体が写った領域も注目領域として抽出され、抽出された画像が被写体認識の対象となってしまい、認識精度の低下を招いてしまうという問題があった。また、認識を行うという目的以外にも、上述したように合焦を行うためなど様々な目的で注目領域を推定することに対する要望があり、精度良く注目領域を推定することが望まれている。
【０００６】
上記事情に鑑み、本発明は、注目被写体の領域の推定精度を向上する技術の提供を目的としている。
【課題を解決するための手段】
【０００７】
本発明の一態様は、画像において、注目されている被写体が写った領域である注目領域を推定する注目領域推定装置であって、画像から注目領域の候補である候補領域を検出する候補領域検出部と、画像から消失点の位置を検出する消失点検出部と、前記消失点の画像上の位置と前記候補領域の画像上の位置とに基づいて、実空間における候補領域の位置を推定する位置推定部と、実空間における位置の推定結果に基づいて、候補領域の中から注目領域を推定する注目領域推定部と、を備える。
【０００８】
本発明の一態様は、上記の注目領域推定装置であって、前記位置推定部は、前記消失点の画像上の位置と前記候補領域の画像上の位置との間の距離に基づいて、実空間における前記候補領域の奥行きを推定し、前記注目領域推定部は、前記奥行きの推定結果に基づいて、手前に位置する前記候補領域を注目領域として推定する。
【０００９】
本発明の一態様は、上記の注目領域推定装置であって、前記位置推定部は、前記消失点の画像上の位置と前記候補領域の画像上の形状とに基づいて、前記候補領域の被写体が実空間において構造物の平面上にほぼ同一の平面として位置するか否かを推定する。
【００１０】
本発明の一態様は、コンピュータを、上記のいずれか一つの態様における注目領域推定装置として動作させるためのコンピュータプログラムである。
【００１１】
本発明の一態様は、画像において、注目されている被写体が写った領域である注目領域を推定する注目領域推定方法であって、画像から注目領域の候補である候補領域を検出する候補領域検出ステップと、画像から消失点の位置を検出する消失点検出ステップと、前記消失点の画像上の位置と前記候補領域の画像上の位置とに基づいて、実空間における候補領域の位置を推定する位置推定ステップと、実空間における位置の推定結果に基づいて、候補領域の中から注目領域を推定する注目領域推定ステップと、を有する。
【００１２】
本発明の一態様は、上記の注目領域推定方法であって、前記位置推定ステップにおいて、前記消失点の画像上の位置と前記候補領域の画像上の位置との間の距離に基づいて、実空間における前記候補領域の奥行きを推定し、前記注目領域推定ステップにおいて、前記奥行きの推定結果に基づいて、手前に位置する前記候補領域を注目領域として推定する。
【００１３】
本発明の一態様は、上記の注目領域推定方法であって、前記位置推定ステップは、前記消失点の画像上の位置と前記候補領域の画像上の形状とに基づいて、前記候補領域の被写体が実空間において構造物の平面上にほぼ同一の平面として位置するか否かを推定する。
【発明の効果】
【００１４】
本発明により、注目被写体の領域の推定精度の向上が可能となる。
【図面の簡単な説明】
【００１５】
【図１】注目領域推定装置の機能構成を表す概略ブロック図である。
【図２】候補領域検出部の処理の概略を示す図である。
【図３】消失点検出部の処理の概略を示す図である。
【図４】位置推定部の処理の概略を示す図である。
【図５】注目領域推定部によって推定された注目領域の具体例を示す図である。
【図６】注目領域推定装置の処理の流れを表すフローチャートである。
【図７】注目領域推定装置の変形例の機能構成を示す概略ブロック図である。
【図８】被写体が壁などの平面に張り付いているかを推定する処理の概略を示す図である。
【発明を実施するための形態】
【００１６】
［概要］
注目領域推定装置は、画像を解析することによって、ユーザーが注目していると推定される被写体（以下、「注目被写体」という。）が写っている領域（以下、「注目領域」という。）を推定する。具体的な処理は以下の通りである。まず、注目領域推定装置は、画像の特徴量から注目領域の候補（以下、「候補領域」という。）を検出する。また、注目領域推定装置は、画像から消失点の位置を算出する。次に、注目領域推定装置は、消失点の画像上の位置と候補領域の画像上の位置とに基づいて、実空間における各候補領域の位置を推定する。そして、注目領域推定装置は、実空間における位置の推定結果に基づいて、候補領域の中から注目領域を推定する。
【００１７】
［実施形態］
次に、注目領域推定装置の詳細について説明する。
図１は、注目領域推定装置１００の機能構成を表す概略ブロック図である。注目領域推定装置１００は、バスで接続されたＣＰＵ（Central Processing Unit）やメモリや補助記憶装置などを備え、注目領域推定プログラムを実行する。注目領域推定装置１００は、このプログラムを実行することによって、画像入力部１０１、候補領域検出部１０２、消失点検出部１０３、位置推定部１０４、注目領域推定部１０５、出力部１０６を備える装置として機能する。なお、注目領域推定装置１００の各機能の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されても良い。注目領域推定プログラムは、コンピュータ読み取り可能な記録媒体に記録されても良い。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。
【００１８】
画像入力部１０１は、注目領域推定装置１００に対して入力される画像のデータを受け付ける。画像入力部１０１は、例えばＣＤ−ＲＯＭやＵＳＢメモリ（Universal Serial Bus Memory）等の記録媒体に記録された画像のデータを読み出しても良い。また、画像入力部１０１は、スチルカメラやビデオカメラによって撮像された画像を、カメラから受信しても良い。また、画像領域推定装置１００がスチルカメラやビデオカメラに内蔵されている場合は、画像入力部１０１は撮像された画像又は撮像前の画像をバスから受信しても良い。また、画像入力部１０１は、ネットワークを介して他の情報処理装置から画像のデータを受信しても良い。画像入力部１０１は、画像のデータの入力を受けることが可能な構成であれば、さらに異なる態様で構成されても良い。画像入力部１０１によって入力が受け付けられた画像を、「入力画像」という。
【００１９】
候補領域検出部１０２は、入力画像から、注目領域を検出する。消失点検出部１０３は、入力画像において消失点を検出する。位置推定部１０４は、消失点の位置と候補領域の位置とに基づいて、実空間における各候補領域の位置を推定する。注目領域推定装置１０５は、実空間における位置の推定結果に基づいて、候補領域の中から注目領域を推定する。
【００２０】
出力部１０６は、注目領域推定部１０５における推定結果を出力する。出力部１０６が出力する内容は、注目領域推定部１０５が推定した注目領域を表す座標の情報であっても良いし、入力画像から抽出した注目領域の画像のデータであっても良い。出力部１０６が出力する内容は、注目領域推定部１０５の推定結果に関するものであればどのようなものであっても良い。
【００２１】
次に、候補領域検出部１０２の処理について詳細に説明する。候補領域検出部１０２は、予め定められた所定の基準を満たす領域を候補領域として検出する。例えば、候補領域検出部１０２は、画像内に存在する矩形の被写体の領域を候補領域として検出しても良い。例えば、候補領域検出部１０２は、画像内に存在する人の顔の領域を候補領域として検出しても良い。例えば、候補領域検出部１０２は、人の視覚的注意を引きやすいと推定される領域を候補領域として検出しても良い。
【００２２】
以下、候補領域検出部１０２の一つの具体例について説明する。候補領域検出部１０２は、入力画像内に存在する矩形の被写体の領域のうち、人の視覚的注意を引きやすいと推定される領域を候補領域として検出する。図２は、このように構成された候補領域検出部１０２の処理の概略を示す図である。図２Ａは、入力画像の例を示す図である。図２Ａに示される入力画像は、地下街の天井付近を撮像した画像であり、天井から吊された複数の矩形の看板が写っている。図２Ｂは、人の視覚的注意を引く強さを２５６階調で表した画像を示す図である。図２Ｃは、検出された矩形の被写体の領域を示す図である。図２Ｄは、検出された候補領域の例を示す図である。
【００２３】
まず、候補領域検出部１０２は、入力画像（図２Ａ）から、各画素又は各部分領域について人の視覚的注意を引く強さを評価し、評価結果を表す画像（図２Ｂ）を生成する。部分領域とは、複数の画素からなる領域であり、例えば２×２の画素からなる領域や、４×４の画素からなる領域などである。人の視覚的注意を引く強さは、例えば以下の文献に開示されたSaliency Mapという技術を用いて評価することが出来る。L.Itti, C.Koch and E.Niebur,“ A Model of Saliency-based Visual Attention for Rapid Scene Analysis, ”IEEE Trans.Pattern Analysis and Machine Intelligence, Vol.20, No.11, pp.1254-1259, 1998。この場合、候補領域検出部１０２は、入力画像において、カラー特徴量やコントラスト情報等の局所特徴量を算出する。そして、候補領域検出部１０２は、算出結果に基づいて、各画素又は各部分領域における人の視覚的注意を引く強さを算出する。
【００２４】
また、候補領域検出部１０２は、入力画像（図２Ａ）から、矩形の被写体の領域を検出する。画像内に存在する矩形の被写体の領域は、例えば以下の文献に開示された技術を用いて検出することが出来る。北原 亮、中村 高雄、片山 淳、安野 貴之、“携帯端末上における幾何補正のためのリアルタイム矩形追跡手法”、Technical report of IEICE. ISEC 106(351), 1-6, 2006-11-09。図２Ｃの場合、候補領域検出部１０２は、四つの矩形領域３１〜３４を検出する。なお、人の視覚的注意を引く強さを算出する処理と、矩形領域を検出する処理とは、どちらが先に行われても良いし、同時に並行して行われても良い。
【００２５】
次に、候補領域検出部１０２は、検出した矩形領域のそれぞれについて、人の視覚的注意を引く強さの値に基づいて、所定の条件を満たしているか否か評価する。そして、候補領域検出部１０２は、所定の条件を満たしている矩形領域を候補領域として検出する。所定の条件はどのような条件であっても良い。例えば、矩形領域内における各画素の人の視覚的注意を引く強さの平均値が閾値を超えていることが条件であっても良い。例えば、矩形領域内における各画素の人の視覚的注意を引く強さのうち最大値が閾値を超えていることが条件であっても良い。例えば、矩形領域内における各画素の人の視覚的注意を引く強さの平均値が閾値を超えており且つ標準偏差が閾値を超えていないことが条件であっても良い。図２Ｄでは、四つの矩形領域３１〜３４のうち、二つの矩形領域３３及び３４が候補領域として検出される。
【００２６】
一般的に撮影者は視覚的注意を引くような被写体に注目して撮影する。そのため、人の視覚的注意を引く強さが強い被写体が注目被写体である可能性が高い。したがって、このような処理によって候補領域を選択することで、より正確に注目領域を推定することが可能となる。
【００２７】
次に、消失点検出部１０３の処理について詳細に説明する。消失点検出部１０３は、入力画像から消失点を検出する。以下、消失点検出部１０３の一つの具体例について説明する。消失点検出部１０３は、入力画像から直線を検出し、検出した直線に基づいて消失点を検出しても良い。図３は、このように構成された消失点検出部１０３の処理の概略を示す図である。図３Ａは、入力画像の例を示す図である。図３Ａに示される入力画像は図２Ａに示した入力画像と同じである。図３Ｂは、入力画像から検出された直線及び消失点を示す図である。
【００２８】
まず、消失点検出部１０３は、入力画像（図３Ａ）から所定の長さ以上の直線を検出する。例えば、消失点検出部１０３は、Hough変換を行うことによって入力画像から直線を検出しても良い。図３Ａからは、図３Ｂに示すように四本の直線４１〜４４が検出される。次に、消失点検出部１０３は、検出された複数の直線の中から二本の直線を選択し、その交点の位置を算出する。消失点検出部１０３は、検出された複数の直線のうち、算出された交点を通過する直線の数を計数し、その数をこの交点の得票数として記録する。消失点検出部１０３は、全ての直線の組み合わせについて交点の得票数を取得する。そして、消失点検出部１０３は、得票数の一番多い交点を消失点４５として取得する。
【００２９】
なお、消失点の位置の算出方法は上述した方法に限られない。例えば、消失点検出部１０３は、入力画像（図３Ａ）から最も長い直線及び２番目に長い直線を検出し、その交点の位置を消失点の位置として算出しても良い。
次に、位置推定部１０４の処理について詳細に説明する。以下、位置推定部１０４の一つの具体例について説明する。位置推定部１０４は、候補領域の位置について、消失点からの距離が長いほど実空間では手前に位置し、消失点からの距離が短いほど実空間では奥に位置すると推定しても良い。なお、ここでいう距離は、画像上の距離である。図４は、このように構成された位置推定部１０４の処理の概略を示す図である。図４Ａは、各候補領域に対して所定の基準に従って消失点から直線を引いた様子を示す図である。図４Ｂは、消失点から引いた二つの直線の角度θ１を表す図である。
【００３０】
位置推定部１０４は、各候補領域の左上隅の点と消失点とを直線で結ぶ。図４Ａでは、消失点４５と、候補領域３３の左上隅の点５２とが直線５１で結ばれている。また、消失点４５と、候補領域３４の左上隅の点５３とが直線５１で結ばれている。このように、各候補領域と消失点とを結んだ直線が同一直線である場合、すなわち各直線の角度が０度である場合には、位置推定部１０４は、消失点４５からの距離が長いほど手前に位置し、消失点４５からの距離が短いほど奥に位置すると推定する。具体的には、位置推定部１０４は、候補領域３３の左上隅の点５２と消失点との距離を算出し、候補領域３４の左上隅の点５３と消失点との距離を算出する。そして、位置推定部１０４は、算出された距離が長い方の候補領域３３をより手前に位置する候補領域であると推定し、算出された距離が短い方の候補領域３４をより奥に位置する候補領域であると推定する。
【００３１】
位置推定部１０４は、各候補領域と消失点とを結んだ直線の角度が０度でなかったとしても、所定の角度未満である場合には角度が０度であるとみなして、上述した処理と同じ処理によって候補領域の位置を推定しても良い。図４Ｂに示されるように、候補領域３３の左上隅の点５２と消失点４５とを結んだ直線５１と、候補領域３４の左上隅の点５３と消失点４５とを結んだ直線５４との角度θ１が０度でない場合であっても、角度θ１が所定の角度（閾値）未満である場合には、位置推定部１０４は、消失点４５と点５２及び点５３との距離をそれぞれ算出し、距離の長い方の候補領域３３をより手前に位置する候補領域であると推定する。
【００３２】
次に、注目領域推定部１０５の処理について詳細に説明する。図５は、図２〜図４に示された処理の具体例において、注目領域推定部１０５によって推定された注目領域の具体例を示す図である。注目領域推定装置１０５は、実空間における位置の推定結果において、最も手前に位置すると推定された候補領域を注目領域として推定する。図５の場合、最も手前に位置すると推定された候補領域３３が注目領域として推定される。
【００３３】
次に、注目領域推定装置１００の処理の流れについて説明する。図６は、注目領域推定装置１００の処理の流れを表すフローチャートである。まず、画像入力部１０１が、画像のデータの入力を受け付ける（ステップＳ１０１）。次に、候補領域検出部１０２が、入力画像から候補領域を検出する（ステップＳ１０２）。次に、消失点検出部１０３が、入力画像において消失点を検出する（ステップＳ１０３）。次に、位置推定部１０４が、消失点の位置と候補領域の位置とに基づいて、実空間における各候補領域の位置を推定する（ステップＳ１０４）。次に、注目領域推定装置１０５が、実空間における位置の推定結果に基づいて、候補領域の中から注目領域を推定する（ステップＳ１０５）。そして、出力部１０６が、注目領域推定部１０５の推定結果を出力する（ステップＳ１０６）。
【００３４】
このように構成された注目領域推定装置１００では、注目被写体の領域（注目領域）の推定精度が向上する。以下、このような効果について詳細に説明する。注目領域推定装置１００では、入力画像における消失点が検出され、検出された消失点の位置に基づいて画像内の候補領域の実空間における位置が推定される。例えば、候補領域同士の実空間における相対的な位置関係（例えば視点位置からの奥行きの位置関係）が推定される。そして、推定された位置に基づいて注目領域が推定される。そのため、実空間の位置に基づきより高い精度で注目領域を推定することが可能となる。例えば、一般的には手前に位置するほど注目されている被写体であることが多い。したがって、最も手前に位置する被写体の領域が注目領域であると仮定すれば、この仮定に基づく限り上記の処理によって高い精度で注目領域を推定することが可能となる。
【００３５】
＜変形例＞
図７は、注目領域推定装置１００の変形例の機能構成を示す概略ブロック図である。変形された注目領域推定装置１００は、位置関係ＤＢ２０１をさらに備える。位置関係ＤＢ２０１は、複数の候補領域の中から注目領域を推定するための基準を示す情報を記憶した記憶装置である。位置関係ＤＢ２０１は、例えば壁などの構造物の平面に張り付いている被写体の候補領域が注目領域であるという基準を記憶しても良い。位置関係ＤＢ２０１は、例えば壁などの構造物の平面から飛び出している被写体の候補領域が注目領域であるという基準を記憶しても良い。変形例における位置推定部１０４は、位置関係ＤＢ２０１に記憶されている基準に応じて、候補領域の位置を推定する。
【００３６】
例えば、上記のような基準が位置関係ＤＢ２０１に記憶されている場合は、位置推定部１０４は各候補領域について、被写体が壁などの構造物の平面に張り付いているか否かについて推定する。具体的には、位置推定部１０４は、消失点の画像上の位置と候補領域の画像上の形状とに基づいて、候補領域の被写体が実空間において構造物の平面上にほぼ同一の平面として位置する（平面に張り付いている）か否かを推定する、注目領域推定部１０５は、位置推定部１０４による位置の推定結果に基づいて、位置関係ＤＢ２０１に記憶されている基準にしたがって注目領域を推定する。
【００３７】
図８は、被写体が壁などの平面に張り付いているかを推定する処理の概略を示す図である。図８Ａは、入力画像の例を示す図である。図８Ｂは、消失点及び候補領域の具体例を示す図である。以下、図８Ｂを用いて、被写体が壁などの平面に張り付いているかを推定する処理の一具体例について説明する。
【００３８】
位置推定部１０４は、候補領域の左上隅、左下隅、右下隅、右上隅の各点と消失点とを直線で結ぶ。図８Ｂでは、位置推定部１０４は、候補領域７１については、左上隅の点６１、左下隅の点６２、右下隅の点６３、右上隅の点６４と消失点６０とを直線で結ぶ。また、位置推定部１０４は、候補領域７２については、左上隅の点６５、左下隅の点６６、右下隅の点６７、右上隅の点６８と消失点６０とを直線で結ぶ。
【００３９】
次に、位置推定部１０４は、候補領域の矩形において隣り合っている隅の点同士で、消失点との直線が成す角度を算出する。例えば、図８Ｂにおいて、候補領域７１の左上隅の点６１と左下隅の点６２とは隣り合っており、それぞれの点と消失点６０との直線が成す角度はθ２である。位置推定部１０４は、この角度が０度又は所定の角度よりも小さい場合、その二つの点を結ぶ辺は平面上に張り付いていると推定する。そして、残る二点も同様に平面上に張り付いていると推定された候補領域の被写体について、位置推定部１０４は壁などの平面に張り付いていると推定する。一方、いずれの点の組み合わせにおいても角度が所定の角度以上である場合、位置推定部１０４は、その候補領域の被写体について、壁などの平面から飛び出していると推定する。
【００４０】
例えば、図８Ｂの候補領域７１に関しては、隣り合う点の全ての組み合わせ（６１と６２、６２と６３、６３と６４、６４と６１）において、直線が成す角度は所定の角度を超えている。そのため、位置推定部１０４は、候補領域７１の被写体について、壁などの平面から飛び出していると推定する。一方、候補領域７２に関しては、点６８と点６５との組み合わせ及び点６６と点６７との組み合わせにおいて、直線が成す角度が０度又は所定の角度未満である。そのため、位置推定部１０４は、候補領域７２の被写体について、壁などの平面に張り付いていると推定する。
【００４１】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【００４２】
１００…注目領域推定装置， １０１…画像入力部， １０２…候補領域検出部， １０３…消失点検出部， １０４…位置推定部， １０５…注目領域推定部， １０６…出力部， ２０１…位置関係ＤＢ， ３１〜３４，７１，７２…候補領域， ４１〜４４，５１，５４…直線， ４５，６０…消失点， ５２，５３…候補領域の左上隅の点， ６１〜６８…候補領域上の点
【特許請求の範囲】
【請求項１】
画像において、注目されている被写体が写った領域である注目領域を推定する注目領域推定装置であって、
画像から注目領域の候補である候補領域を検出する候補領域検出部と、
画像から消失点の位置を検出する消失点検出部と、
前記消失点の画像上の位置と前記候補領域の画像上の位置とに基づいて、実空間における候補領域の位置を推定する位置推定部と、
実空間における位置の推定結果に基づいて、候補領域の中から注目領域を推定する注目領域推定部と、
を備える注目領域推定装置。
【請求項２】
前記位置推定部は、前記消失点の画像上の位置と前記候補領域の画像上の位置との間の距離に基づいて、実空間における前記候補領域の奥行きを推定し、
前記注目領域推定部は、前記奥行きの推定結果に基づいて、手前に位置する前記候補領域を注目領域として推定する、請求項１に記載の注目領域推定装置。
【請求項３】
前記位置推定部は、前記消失点の画像上の位置と前記候補領域の画像上の形状とに基づいて、前記候補領域の被写体が実空間において構造物の平面上にほぼ同一の平面として位置するか否かを推定する、請求項１又は２に記載の注目領域推定装置。
【請求項４】
コンピュータを、請求項１〜３のいずれか一項に記載の注目領域推定装置として動作させるためのコンピュータプログラム。
【請求項５】
画像において、注目されている被写体が写った領域である注目領域を推定する注目領域推定方法であって、
画像から注目領域の候補である候補領域を検出する候補領域検出ステップと、
画像から消失点の位置を検出する消失点検出ステップと、
前記消失点の画像上の位置と前記候補領域の画像上の位置とに基づいて、実空間における候補領域の位置を推定する位置推定ステップと、
実空間における位置の推定結果に基づいて、候補領域の中から注目領域を推定する注目領域推定ステップと、
を有する注目領域推定方法。
【請求項６】
前記位置推定ステップにおいて、前記消失点の画像上の位置と前記候補領域の画像上の位置との間の距離に基づいて、実空間における前記候補領域の奥行きを推定し、
前記注目領域推定ステップにおいて、前記奥行きの推定結果に基づいて、手前に位置する前記候補領域を注目領域として推定する、請求項５に記載の注目領域推定方法。
【請求項７】
前記位置推定ステップは、前記消失点の画像上の位置と前記候補領域の画像上の形状とに基づいて、前記候補領域の被写体が実空間において構造物の平面上にほぼ同一の平面として位置するか否かを推定する、請求項５又は６に記載の注目領域推定方法。
【請求項１】
画像において、注目されている被写体が写った領域である注目領域を推定する注目領域推定装置であって、
画像から注目領域の候補である候補領域を検出する候補領域検出部と、
画像から消失点の位置を検出する消失点検出部と、
前記消失点の画像上の位置と前記候補領域の画像上の位置とに基づいて、実空間における候補領域の位置を推定する位置推定部と、
実空間における位置の推定結果に基づいて、候補領域の中から注目領域を推定する注目領域推定部と、
を備える注目領域推定装置。
【請求項２】
前記位置推定部は、前記消失点の画像上の位置と前記候補領域の画像上の位置との間の距離に基づいて、実空間における前記候補領域の奥行きを推定し、
前記注目領域推定部は、前記奥行きの推定結果に基づいて、手前に位置する前記候補領域を注目領域として推定する、請求項１に記載の注目領域推定装置。
【請求項３】
前記位置推定部は、前記消失点の画像上の位置と前記候補領域の画像上の形状とに基づいて、前記候補領域の被写体が実空間において構造物の平面上にほぼ同一の平面として位置するか否かを推定する、請求項１又は２に記載の注目領域推定装置。
【請求項４】
コンピュータを、請求項１〜３のいずれか一項に記載の注目領域推定装置として動作させるためのコンピュータプログラム。
【請求項５】
画像において、注目されている被写体が写った領域である注目領域を推定する注目領域推定方法であって、
画像から注目領域の候補である候補領域を検出する候補領域検出ステップと、
画像から消失点の位置を検出する消失点検出ステップと、
前記消失点の画像上の位置と前記候補領域の画像上の位置とに基づいて、実空間における候補領域の位置を推定する位置推定ステップと、
実空間における位置の推定結果に基づいて、候補領域の中から注目領域を推定する注目領域推定ステップと、
を有する注目領域推定方法。
【請求項６】
前記位置推定ステップにおいて、前記消失点の画像上の位置と前記候補領域の画像上の位置との間の距離に基づいて、実空間における前記候補領域の奥行きを推定し、
前記注目領域推定ステップにおいて、前記奥行きの推定結果に基づいて、手前に位置する前記候補領域を注目領域として推定する、請求項５に記載の注目領域推定方法。
【請求項７】
前記位置推定ステップは、前記消失点の画像上の位置と前記候補領域の画像上の形状とに基づいて、前記候補領域の被写体が実空間において構造物の平面上にほぼ同一の平面として位置するか否かを推定する、請求項５又は６に記載の注目領域推定方法。
【図１】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図８】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図８】
【公開番号】特開２０１２−２３８０７７（Ｐ２０１２−２３８０７７Ａ）
【公開日】平成２４年１２月６日（２０１２．１２．６）
【国際特許分類】
【出願番号】特願２０１１−１０５１５２（Ｐ２０１１−１０５１５２）
【出願日】平成２３年５月１０日（２０１１．５．１０）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成２４年１２月６日（２０１２．１２．６）
【国際特許分類】
【出願日】平成２３年５月１０日（２０１１．５．１０）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]