情報処理装置、その処理方法、プログラム及び撮像装置
【課題】
視線検出に際して、視線検出に際して、画像上における視線の向きだけではなく、撮像装置と顔との位置関係をも考慮することにより視線検出を高精度に行なえるようにした技術を提供する。
【解決手段】
情報処理装置は、撮像光学系を介して入力される画像を取得する画像取得手段と、前記画像から人物の顔を検出する顔検出手段と、前記顔の視線を検出する視線検出手段と、前記人物と前記撮像光学系との位置関係を示す情報を取得する取得手段と、前記位置関係を示す情報に基づいて前記検出された視線が所定の方向を向いているか否かを判定する判定手段とを具備する。
視線検出に際して、視線検出に際して、画像上における視線の向きだけではなく、撮像装置と顔との位置関係をも考慮することにより視線検出を高精度に行なえるようにした技術を提供する。
【解決手段】
情報処理装置は、撮像光学系を介して入力される画像を取得する画像取得手段と、前記画像から人物の顔を検出する顔検出手段と、前記顔の視線を検出する視線検出手段と、前記人物と前記撮像光学系との位置関係を示す情報を取得する取得手段と、前記位置関係を示す情報に基づいて前記検出された視線が所定の方向を向いているか否かを判定する判定手段とを具備する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、その処理方法、プログラム及び撮像装置に関する。
【背景技術】
【０００２】
図１０に示すような視線の向き又は視線の方向（θ１、θ２）を検出する技術が開示されている（特許文献１）。特許文献１には、エッジなどに基づいて顔の輪郭や目など複数の部位を検出し、その位置関係に基づいて顔の向きを検出する技術が開示されている。また更に、特許文献１においては、瞳の位置を検出することによって、車両に設置されたカメラを基準とした運転者の視線の向き（θ１、θ２）を検出する技術も開示されている。
【０００３】
また、これ以外の方法で視線の向き（θ１、θ２）を検出する技術も知られている（特許文献２）。特許文献２には、エネルギーモデルを使用して目領域を検出し、この目領域と予め用意しておいた画像辞書とを比較することで視線の向き（θ１、θ２）を検出する技術が開示されている。
【０００４】
これらの視線の向き（θ１、θ２）を検出する技術を更に応用した技術も知られている（特許文献３）。特許文献３には、自動車の運転者の視線を検出し、当該検出した視線の向き（θ１、θ２）に基づいて運転者の脇見を判定する技術が開示されている。この他、被写体の視線がカメラ方向を向いた場合、又は所定の表情の場合に撮像を行なう技術も開示されている（特許文献４）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−２１０２３９号公報
【特許文献２】特開平０９−０８１７３２号公報
【特許文献３】特開２００９−１５７７３６号公報
【特許文献４】特開２００１−０５１３３８号公報
【特許文献５】特開２００７−２６５３６７号公報
【非特許文献】
【０００６】
【非特許文献１】P. Viola, M. Jones, “Rapid Object Detection using a Boosted Cascade of Simple Features", in Proc. Of CVPR, vol.1, pp.511-518, December, 2001
【非特許文献２】御手洗祐輔, 森克彦, 真継優和, “選択的モジュール起動を用いたConvolutionalNeuralNetworksによる変動にロバストな 顔検出システム", FIT (情報科学技術フォーラム), Ll-013, 2003
【非特許文献３】Timothy F. Cootes, Gareth J. Edwards, and Christopher J. Taylor, “Active Appearance Models", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 23, No.6, JUNE 2001
【発明の概要】
【発明が解決しようとする課題】
【０００７】
従来、画像から顔を検出する顔検出技術の他、顔の状態を検出する表情検出技術や視線検出技術など種々の技術が研究されている。これらの技術は、例えば、デジタルカメラにおける自動シャッターなどに応用されている。
【０００８】
これら顔検出技術や表情検出技術など多くの技術では、一般に、デジタルカメラなどの撮像装置と被写体との位置関係を考慮していない。しかし、視線の向き（θ１、θ２）がどこを注視しているか否かを検出する場合、図１１（俯瞰図）に示すように、実際の空間（実空間）における撮像装置と顔との位置（又は、距離）関係、撮像光学系の倍率（又は、焦点距離）を考慮する必要がある。
【０００９】
ここで、このような点を考慮しなかった場合に生じる問題点として３つ例を挙げて説明する。
【００１０】
・第１の問題点
図１２（ａ）には、実際の空間（実空間）における被写体と撮像装置との位置関係、及び被写体の視線の向き（θ１、θ２）が矢印として示されている。図１２（ｂ）には、図１２（ａ）に示す撮像装置により得られる画像の一例が示されている。
【００１１】
ここで、顔Ａ及び顔Ｂは異なる場所を見ている。しかし、それにも関わらず、図１２（ｂ）に示すように、画像内における顔のアピアランスは同一となる。そのため、被写体と撮像装置との位置関係を考慮せず、画像内における顔のアピアランスだけの情報を用いた場合、撮像装置においては、顔Ａ及び顔Ｂが同じ場所を見ていると判定してしまう可能性がある。
【００１２】
しかし、これまでの視線検出技術では、撮像装置の正面に被写体の顔があることのみを前提としており、被写体と撮像装置との位置関係については考慮されていなかった。そのため、このような問題を解決するためには、被写体と撮像装置との位置関係を考慮しなくてはならない。
【００１３】
・第２の問題点
図１３（ａ）には、撮像装置が広角の場合における被写体と撮像装置との位置関係、及び被写体の視線の向き（θ１、θ２）が矢印として示される図と、そのときに撮像装置により得られる画像の一例が示されている。また、図１３（ｂ）には、撮像装置が望遠の場合における被写体と撮像装置との位置関係、及び被写体の視線の向き（θ１、θ２）が矢印として示される図と、そのときに撮像装置により得られる画像の一例が示されている。
【００１４】
図１３（ａ）に示すように撮像装置が広角である場合と、図１３（ｂ）のように撮像装置が望遠である場合とでは画角が異なる。そのため、被写体が移動していないにも関わらず、画像内における顔の位置が移動してしまう。
【００１５】
そのため、上述した第１の問題点では、被写体と撮像装置との位置関係の重要性を述べたが、このような問題点を解決するためには、撮像光学系の倍率（又は焦点距離）をも考慮しなくてはならない。
【００１６】
・第３の問題点
図１４には、実際の空間（実空間）における撮像装置から被写体までの距離Ｌが短い場合と、長い場合とが示されている。
【００１７】
撮像装置から被写体までの距離Ｌが短ければ、被写体は、撮像装置における特定箇所に視線の向き（θ１、θ２）を正確に合わせることができる。しかし、撮像装置から被写体までの距離Ｌが長ければ、被写体は、撮像装置における特定箇所に視線の向き（θ１、θ２）を正確に合わせることが難しい。
【００１８】
そのため、画像上においては、視線の向き（θ１、θ２）が撮像装置を向いていないように見え、例えば、視線検出技術を自動撮像などに応用した場合には、撮像が行なわれないといった問題が生じる可能性がある。
【００１９】
本発明は、上記問題点に鑑みてなされたものであり、視線検出に際して、画像上における視線の向きだけではなく、撮像装置と顔との位置関係をも考慮することにより視線検出を高精度に行なえるようにした技術を提供することを目的とする。
【課題を解決するための手段】
【００２０】
上記課題を解決するため、本発明の一態様による情報処理装置は、撮像光学系を介して入力される画像を取得する画像取得手段と、前記画像から人物の顔を検出する顔検出手段と、前記顔の視線を検出する視線検出手段と、前記人物と前記撮像光学系との位置関係を示す情報を取得する取得手段と、前記位置関係を示す情報に基づいて前記検出された視線が所定の方向を向いているか否かを判定する判定手段とを具備する。
【発明の効果】
【００２１】
本発明によれば、視線検出に際して、画像から検出した顔の視線の向きだけではなく、撮像装置と顔との位置関係をも考慮する。これにより、視線検出をより高精度に行なうことができる。
【図面の簡単な説明】
【００２２】
【図１】本発明の一実施の形態に係わる撮像装置３０における機能的な構成の一例を示す図。
【図２】図１に示す撮像装置３０における処理の流れの一例を示すフローチャート。
【図３】視線検出処理の一例を説明するための図。
【図４】視線検出処理の一例を説明するための図。
【図５】図２のＳ１１０に示すカメラ視線の検出処理の流れの一例を示すフローチャート。
【図６】距離Ｌの測定に用いられるテーブルの構成の一例を示す図。
【図７】距離Ｌの測定方法の一例を説明するための図。
【図８】距離Ｒの測定方法の一例を説明するための図。
【図９】変形例の一例を説明するための図。
【図１０】従来技術の一例を説明するための図。
【図１１】従来技術の一例を説明するための図。
【図１２】従来技術の一例を説明するための図。
【図１３】従来技術の一例を説明するための図。
【図１４】従来技術の一例を説明するための図。
【発明を実施するための形態】
【００２３】
以下、本発明に係わる実施の形態について添付図面を参照して詳細に説明する。
【００２４】
（実施形態１）
図１は、本発明の一実施の形態に係わる撮像装置３０における機能的な構成の一例を示す図である。ここでは、撮像装置３０において、自動シャッターを実現する構成について説明する。なお、以下の説明では、被写体の視線の向き（θ１、θ２）が撮像装置３０を向いていることをカメラ視線と呼ぶ。ここでは、カメラ視線（垂直、水平）のうち、水平方向のみについて説明する。すなわち、図１１に示すように、水平方向への視線の向きがθ１’のときにカメラ視線と呼ぶ。
【００２５】
撮像装置３０には、コンピュータが内蔵されている。コンピュータには、ＣＰＵ等の主制御手段、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、外部記録媒体（例えば、メモリカード）等の記憶手段が具備される。また、コンピュータにはその他、ボタンやディスプレイ又はタッチパネル等の入出力手段、ネットワークカード等の通信手段等も具備されていても良い。なお、これら各構成部は、バス等により接続され、主制御手段が記憶手段に記憶されたプログラムを実行することで制御される。
【００２６】
ここで、撮像装置３０は、その機能的な構成として、画像取得部１０と、顔検出部１１と、正規化画像生成部１２と、顔器官検出部１３と、視線検出部１４と、カメラ視線検出部１５と、撮像制御部１６とを具備して構成される。これら構成は、例えば、ＣＰＵがＲＯＭ等に格納されたプログラムを実行することにより実現される。なお、専用のハードウェア構成として実現されても勿論構わない。
【００２７】
画像取得部１０は、画像を取得する。すなわち、レンズ等の撮像光学系を介して撮像部（不図示）により入力される画像を取得する。
【００２８】
顔検出部１１は、画像取得部１０により取得された画像から人物の顔を検出する。正規化画像生成部１２は、顔検出部１１により検出された顔領域の切り出しを行なうとともに、顔の大きさが所定サイズ及び顔の向きが正立するようにアフィン変換を行なう。
【００２９】
顔器官検出部１３は、顔検出部１１により検出された顔から、例えば、目尻、目頭、瞼、上唇などの複数の顔の器官（顔器官）を検出する。視線検出部１４は、顔検出部１１により検出された顔から、視線の向き（θ１、θ２）等の検出を行なう。
【００３０】
カメラ視線検出部１５は、処理対象となる顔（より具体的には、視線の向き）がカメラ方向を向いているか否かの判定を行なう。カメラ視線検出部１５には、位置関係取得部１７と、カメラ視線判定部１８とが設けられる。位置関係取得部１７は、撮像装置（撮像光学系）３０と被写体との位置関係を示す情報を取得する。カメラ視線判定部１８は、当該位置関係を示す情報に基づいて、被写体の視線の向き（θ１、θ２）がカメラ方向を向いているか否かを判定する。
【００３１】
撮像制御部１６は、カメラ視線検出部１５の判定結果に基づいて撮像の実行を制御する。撮像制御部１６においては、例えば、画像内で検出された人物の顔の視線が全てカメラ視線である場合に撮像を実施する。
【００３２】
以上が、撮像装置３０の構成の一例についての説明である。なお、撮像装置３０の構成は、必ずしもこのような構成に限られない。例えば、撮像制御部１６を必ずしも必要な構成ではなく、省略しても良い。この場合、撮像装置３０ではなく、例えば、情報処理装置（ＰＣ（Personal Computer）やその他のデバイス等）上に図１に示す機能構成を実現すれば良い。
【００３３】
次に、図２を用いて、図１に示す撮像装置３０における処理の流れの一例について説明する。
【００３４】
［Ｓ１００］
この処理では、まず、ユーザ等によりモードの選択が行なわれる。本実施形態においては、モードとして、例えば、通常撮像モードや自動撮像モードが設けられる。自動撮像モードにおいては、被写体の視線の向き（θ１、θ２）が所定の撮像条件を満足した場合、例えば、視線がカメラ方向を向いた場合（カメラ視線になった場合）に自動的に撮像が行なわれる。ここでは、自動撮像モードが選択されたものとする。
【００３５】
［Ｓ１０１、Ｓ１０２］
Ｓ１００の処理で選択されたモード（自動撮像モード）では、シャッターボタンが押下された場合に処理が実行される。そのため、撮像装置３０は、シャッターボタンが押下されたか否かを判定する。シャッターボタンが押下された場合（Ｓ１０１でＹＥＳ）、撮像装置３０は、画像取得部１０において、レンズなどの光学系、ＣＭＯＳやＣＣＤなどの撮像素子、ＡＤ変換器などを介して画像を取得する（Ｓ１０２）。
【００３６】
［Ｓ１０３］
撮像装置３０は、顔検出部１１において、Ｓ１０２の処理で取得した画像に対して顔検出処理を行なう。顔を検出する技術は、ブースティングをベースとした非特許文献１や、ニューラルネットワークをベースとした非特許文献２などの技術を用いれば良い。顔検出の手法は、これに限られず、人物の顔を検出できるのであれば、その手法は特に問わない。なお、これらの顔検出の手法においては、基本的には、顔を構成する目や口などの部位を検出し、その位置関係から顔の存在有無を判定している。そのため、顔検出処理においては、図３に示すように、顔の位置（顔の中心位置）４３に加えて、目の中心位置４１及び４２、口の中心位置４４も検出される。
【００３７】
［Ｓ１０４〜Ｓ１０６］
撮像装置３０は、顔が検出されたか否かを判定し、顔が検出されていない場合には（Ｓ１０４でＮＯ）、再度、Ｓ１０２の処理に戻る。顔が検出された場合（Ｓ１０４でＹＥＳ）、撮像装置３０は、ＡＥ、ＡＦを行なう（Ｓ１０５）。そして、撮像装置３０は、顔検出部１１において、Ｓ１０２の処理で検出された１又は複数の顔の内、１つの顔を選択する（Ｓ１０６）。
【００３８】
［Ｓ１０７］
撮像装置３０は、正規化画像生成部１２において、図３に示すような顔の中心位置４３、目の中心位置４１及び４２等を用いて、顔領域の切り出しを行なうとともに、顔の大きさが所定サイズ及び顔の向きが正立するようにアフィン変換を行なう（Ｓ１０７）。例えば、図３に示すように、左目の中心位置４１と右目の中心位置４２との間の距離Ｗを顔の大きさ、左目の中心位置４１と右目の中心位置４２との２点から算出される傾きを顔の向きとして定義する。そして、左目の中心位置４１と右目の中心位置４２との間のＷ’と、実際の左目の中心位置４１と右目の中心位置４２との２点から算出される線分との傾きが０度となるように、アフィン変換を行なう。
【００３９】
［Ｓ１０８］
撮像装置３０は、顔器官検出部１３において、Ｓ１０３の処理で検出された顔の中心位置４３、目の中心位置４１及び４２、口の中心位置４４に加え、図４に示すような更に細かな特徴点（目尻、目頭、瞼、上唇など）を検出する（Ｓ１０８）。目尻、目頭、瞼、上唇など更に細かな特徴点（すなわち、顔器官）の検出には、例えば、モデルベースの非特許文献３など種々の技術を用いれば良い。
【００４０】
［Ｓ１０９］
撮像装置３０は、視線検出部１４において、視線の向き（θ１、θ２）を検出する。視線の向きは、Ｓ１０３の処理で検出された顔の中心位置４３、目の中心位置４１及び４２、口の中心位置４４、Ｓ１０８の処理で検出された更に細かな特徴点（目尻、目頭、瞼、上唇など）を用いて検出する。
【００４１】
視線検出技術としては、例えば、特許文献５に示されるように、Ｓ１０８の処理で検出された更に細かな特徴点（目尻、目頭、瞼、上唇など）の相対的な位置関係を使用すれば良い。また、例えば、Ｓ１０８の処理で検出された更に細かな特徴点（目尻、目頭、瞼、上唇など）を基準として複数の領域を設定し、予め作成された辞書画像と比較することで視線の向き（θ１、θ２）を検出するようにしても良い。なお、基準方向から所定の対象物に対する視線の向き（すなわち、視線方向を表す角度）を検出するのではなく、視線に関する情報としてそれ以外の情報を検出するようにしても良い。例えば、所定の方向にある対象物に対して視線が向いている度合い（すなわち、視線方向が所定の方向と一致していることを示す尤度）として、所定視線方向の尤度を検出するようにしても良い。
【００４２】
このようにして、Ｓ１０３における顔検出処理、Ｓ１０７における正規化画像生成処理、Ｓ１０８における顔器官検出処理、Ｓ１０９における視線検出処理が順次行なわれる。このような処理によって、顔のアピアランスから被写体の視線の向き（θ１、θ２）を検出することができる。なお、顔検出処理、正規化画像生成処理、顔器官検出処理、及び視線検出処理は、上述した技術や手法を必ずしも用いる必要はなく、他の技術を用いてそれぞれ実施するようにしても良い。
【００４３】
［Ｓ１１０］
撮像装置３０は、カメラ視線検出部１５において、Ｓ１０９の処理で検出された被写体の視線の向き（θ１、θ２）と、撮像装置３０と被写体との位置（距離）関係とに基づいて、カメラ視線を検出する。この処理の詳細については後述するが、簡単に説明すると、Ｓ１０９の処理で選択された顔の視線が、カメラ方向を向いているか否かの判定が行なわれる。
【００４４】
［Ｓ１１１］
撮像装置３０は、Ｓ１０３の処理で検出された顔の中で、未だ上述したＳ１０６〜Ｓ１１０の処理が実施されていない顔があれば（Ｓ１１１でＹＥＳ）、再度、Ｓ１０６の処理に戻る。Ｓ１０３の処理で検出された顔全てについて上述した処理を実施していれば（Ｓ１１１でＮＯ）、撮像装置３０は、Ｓ１１２の処理に進む。
【００４５】
［Ｓ１１２、Ｓ１１３］
撮像装置３０は、撮像制御部１６において、所定の撮像条件を満たすか否かを判定する。この判定処理では、例えば、Ｓ１０３の処理で検出された全ての顔がカメラ視線であるという条件を満たすか否かを判定する。なお、撮像条件は、Ｓ１００におけるモード選択時に設定・変更可能である。
【００４６】
判定の結果、所定の撮像条件を満たすと判定された場合（Ｓ１１２でＹＥＳ）、撮像装置３０は、撮像制御部１６において、撮像部（不図示）を制御して撮像を行なう（Ｓ１１３）。この撮像は、例えば、Ｓ１０３の処理で検出された全ての顔がカメラ視線である場合に実施される。なお、撮像を実施する前に、再度、ＡＥ・ＡＦを実施するようにしても良い。
【００４７】
一方、Ｓ１１２の処理で所定の撮像条件を満たさないと判定した場合（Ｓ１１２でＮＯ）、撮像装置３０は、再度、Ｓ１０２の処理に戻り、次の画像を取得する。
【００４８】
次に、図５を用いて、上述した図２のＳ１１０に示すカメラ視線の検出処理の詳細な流れの一例について説明する。
【００４９】
まず、始めにカメラ視線の検出処理の概要について説明する。撮像装置３０は、自装置（撮像装置３０）と被写体との距離、つまり、図１１に示す距離Ｒ（ＲＸ）とＬとに基づいて、被写体の視線の向き（θ１、θ２）が撮像装置３０に向いた時の視線の向き（θ１’、θ２’）を推定する。ここで、距離Ｌは、撮像光学系の光軸の方向に沿った当該撮像光学系と被写体との距離（第１の距離）を示す。距離Ｒは、撮像光学系の光軸に直交する方向に沿った当該撮像光学系と被写体との距離（第２の距離）を示す。ここでは、説明を簡単にするため、視線の向きは、（地面に対して）垂直な方向は考慮せず、（地面と）水平な方向のみについて考慮する。このとき、被写体が撮像装置３０の方向に向いたときの視線の向きθ１’は、式（１）のように表すことができる。
式（１）
【００５０】
すなわち、画像から得られる顔の中心位置４３や顔の大きさＷ、撮像光学系の撮像パラメータ（倍率Ｚ、又は焦点距離ｆ）に基づいて、撮像光学系の中心から被写体の顔の中心までの水平方向の距離ＲＸと、撮像装置から被写体までの距離Ｌとを求める。なお、この処理の詳細については後述する。
【００５１】
その後、撮像装置３０は、被写体が自装置（撮像装置３０）を向いた時の視線の向き（θ１’、θ２’）を中心として、カメラ視線と判定する視線の向き（θ１、θ２）の範囲を設定する。最後に、Ｓ１０９の処理で検出された視線の向き（θ１、θ２）と、カメラ視線となる視線の向き（θ１、θ２）の範囲とを用いることにより、被写体の視線の向き（θ１、θ２）がカメラ視線であるか否かを判定する。
【００５２】
ここで、図５を用いて、各ステップにおける処理について説明する。
【００５３】
［Ｓ２００］
撮像装置３０は、まず、撮像装置３０から被写体までの距離Ｌ（図１１参照）を推定する（Ｓ２００）。距離Ｌの推定方法としては、種々挙げられるが、例えば、赤外線を被写体に向けて投射し、その反射光を計測することにより測定しても良い。また、異なる複数の撮像装置から取得される画像を使用したステレオ方式などもある。その他、画像内における被写体の顔の大きさと撮像光学系の倍率Ｚとを使用して、被写体までの距離Ｌを推定することもできる。
【００５４】
このように距離Ｌを推定する方法は種々あり、どのような手法を用いても構わないが、本実施形態においては、画像内における被写体の顔の大きさＷと、撮像光学系の倍率Ｚとを用いて撮像装置から被写体までの距離Ｌを推定する。なお、本実施形態においては、撮像装置３０の焦点距離が最も短いとき（広角）を倍率Ｚ＝１．０として説明する。
【００５５】
ここで、被写体の顔の大きさＷと撮像光学系の倍率Ｚとを用いて、被写体までの距離Ｌを推定する方法の一例として２通り例を挙げて説明する。
【００５６】
［距離Ｌの第１の測定方法］
第１の測定方法としては、まず、図６に示すテーブルを予め保持しておく。図６に示すテーブルには、撮像光学系の倍率Ｚ（又は焦点距離ｆ）と、図３に示す画像内における顔の大きさＷと、撮像装置３０から被写体までの距離Ｌとの関係を示す情報が保持される。
【００５７】
つまり、図６に示すテーブルには、撮像光学系の倍率Ｚと、顔の大きさＷと、そのときの撮像装置から被写体までの距離Ｌとの値が複数回測定された値が保持される。この場合、撮像装置３０は、画像における顔の大きさＷと撮像光学系の倍率Ｚとに基づいて、それに対応する（被写体までの）距離Ｌをテーブルから取得する。なお、撮像光学系の倍率Ｚは、撮像光学系の倍率Ｚを自動的に取得可能であれば自動的に取得し、そうでない場合には、ユーザーが手動で設定すれば良い。
【００５８】
［距離Ｌの第２の測定方法］
上述した第１の測定方法で使用するテーブルを作成するには、倍率Ｚや顔の大きさＷを変更した数多くのパターンを測定する必要があるが、代表的なパターンを基準として被写体までの距離Ｌを推定する手法を採っても良い。
【００５９】
例えば、図７に示すように、撮像装置と被写体とが所定の位置関係にある状態において、撮像光学系の倍率Ｚｂ（又は焦点距離ｆｂ）、顔の大きさＷｂ、被写体までの距離Ｌｂを測定し、それを所定の基準とする。そして、画像から検出処理を行なう度に、当該基準に基づいて距離Ｌを算出するようにしても良い。
【００６０】
顔の大きさＷが大きくなれば、被写体までの距離Ｌは短くなる。そのため、被写体までの距離Ｌと顔の大きさＷは、反比例の関係にある。一方、撮像光学系の倍率Ｚが大きくなれば、顔の大きさＷも大きくなる。そのため、撮像光学系の倍率Ｚと顔の大きさＷとは、比例関係にある。このような関係を用いることにより、被写体までの距離Ｌを算出することができる。
【００６１】
例えば、（基準（撮像装置）から被写体までの）距離Ｌｂを約２［ｍ］、撮像装置の焦点距離ｆｂを約３５［ｍｍ］とした場合、撮像装置により取得された画像内における顔の大きさＷｂは、約５０［ｐｉｘｅｌ］となる。そのため、これを基準として考えると、以下の式（２）のように表すことができる。
式（２）
【００６２】
実際に、距離Ｌを約２［ｍ］に保持したまま、焦点距離ｆを２倍の７０［ｍｍ］として、撮像装置により取得された画像内における顔の大きさＷを測定すると、約２倍の約１００［ｐｉｘｅｌ］となる。また、距離Ｌを１／２倍の約１［ｍ］、焦点距離ｆを３５［ｍｍ］にした場合に撮像装置により取得された画像内における顔の大きさＷを測定すると、約２倍の約１００［ｐｉｘｅｌ］となる。
【００６３】
このような測定結果からも明らかなように、被写体までの距離Ｌは、式（２）を用いて求めることができる。
【００６４】
ここでは、距離Ｌの測定方法として、第１の測定方法及び第２の測定方法について例を挙げて説明したが、勿論、これ以外の方法で距離Ｌを測定するように構成しても良い。
【００６５】
［Ｓ２０１］
撮像装置３０は、続いて、撮像光学系の中心から被写体の顔の中心までの距離Ｒ（図１１参照）を推定する（Ｓ２０１）。
【００６６】
ここで、撮像光学系の中心から被写体の顔の中心までの距離Ｒの測定方法について２通り例を挙げて説明する。
【００６７】
［距離Ｒの第１の測定方法］
上記距離Ｌの測定を行なう場合と同様に、テーブルを用いる方法が挙げられる。この場合、テーブルには、画像の中心５１から顔までの距離Ｐｘ（及びＰｙ）と、撮像光学系の中心から被写体の顔の中心までの距離Ｒｘ（及びＲｙ）とが対応付けて保持される（図８（ａ）参照）。すなわち、距離Ｐｘ（及びＰｙ）に基づいて、距離Ｒｘ（及びＲｙ）を求めれば良い。
【００６８】
この場合にも、上述した距離Ｌにおける第１の測定方法と同様にして、距離Ｐや距離Ｒの値を変更しながら複数回測定を行ない、その結果をテーブルに保持させれば良い。
【００６９】
［距離Ｒの第２の測定方法］
撮像光学系の中心から被写体の顔の中心までの距離Ｒｂは、画像の中心５１から顔までの距離Ｐｂ、撮像光学系の中心から被写体の顔の中心までの距離Ｒｂ、撮像装置から被写体までの距離Ｌｂ、撮像光学系の倍率Ｚｂを用いて求めても良い（図８（ｂ）参照）。すなわち、所定の基準を設け、画像から検出処理を行なう度に、当該基準に基づいて距離Ｒを算出しても良い。
【００７０】
ここで、画像の中心５１から顔までの水平方向の距離Ｐｘが長くなれば、実空間における撮像光学系の中心から被写体の顔の中心までの水平方向の距離Ｒｘも長くなる。そのため、撮像光学系の中心から被写体の顔の中心までの水平方向の距離Ｒｘと、画像中心５１から顔までの水平方向の距離Ｐｘとは比例関係になる。
【００７１】
また、画角をγ、焦点距離をｆ、撮像面の幅をｘとすると、これらの関係は、式（３）のように表すことができる。撮像光学系の倍率Ｚを大きくしていくと、焦点距離ｆが長くなり、その結果、画角が小さくなる。
式（３）
【００７２】
しかし、被写体が撮像光学系の中心からずれた位置にある場合、画角が小さくなると、実空間上で顔が移動していないにも関わらず、画像中心５１から顔までの水平方向の距離Ｐｘが長くなる。
【００７３】
ここで、例えば、（基準となる）撮像装置から被写体までの距離Ｌを約２［ｍ］、焦点距離ｆを３５［ｍｍ］とした場合の画像中心５１から顔までの水平方向の距離Ｐｘを１０００［ｐｉｘｅｌ］とする。
【００７４】
この場合、距離Ｌを約２［ｍ］に保持したまま、焦点距離ｆを２倍の７０［ｍｍ］にして距離Ｐｘを測定すると、約２倍の約２０００［ｐｉｘｅｌ］になる。距離Ｌが変わった場合には、上記同様に画像の中心５１から顔までの水平方向の距離Ｐｘが変化する。
【００７５】
また、例えば、距離Ｌを約２［ｍ］、焦点距離ｆを３５［ｍｍ］とした場合の画像中心５１から顔までの水平方向の距離Ｐｘを１０００［ｐｉｘｅｌ］とする。この場合、焦点距離ｆを３５［ｍｍ］に保持したまま、距離Ｌを１／２倍の約１［ｍ］に変更し、画像中心５１から顔までの水平方向の距離Ｐｘを測定した場合、距離Ｐｘは、約２倍の約２０００［ｐｉｘｅｌ］になる。
【００７６】
このような関係から、撮像光学系の中心から被写体の顔の中心までの距離Ｒｘ（Ｒｙ）についても、距離Ｌと同様に測定することができる。
【００７７】
ここでは、距離Ｒを測定する方法として、第１の測定方法及び第２の測定方法について例を挙げて説明したが、勿論、これ以外の方法で距離Ｒを測定するように構成しても良い。
【００７８】
このように種々の方法により、撮像光学系中心から被写体の顔中心までの距離Ｒｘ（及びＲｙ）を推定することができる。
【００７９】
［Ｓ２０２］
距離Ｌ及び距離Ｒの推定が済むと、撮像装置３０は、カメラ視線の範囲を決定する（Ｓ２０２）。すなわち、式（４）に示すように、被写体の視線の向き（θ１、θ２）がカメラ方向を向いたと判定するための基準（範囲）を決定する。
式（４）
なお、上述した通り、
θ’１は、
であり、
θ’２は、
である。
【００８０】
また、Ｌは、撮像装置から被写体までの距離を示しており、Ｒｘは、撮像光学系の中心から被写体の顔の中心までの水平方向の距離を示しており、Ｒｙは、撮像光学系の中心から被写体の顔の中心までの垂直方向の距離を示す。
【００８１】
被写体の視線の向き（θ１、θ２）は、視差等の個人差の他、様々な影響が含まれる可能性がある。そのため、ｂ１及びｂ２（定数）により、被写体の視線の向き（θ１、θ２）がカメラ方向を向いたと判定する範囲を設定する。
【００８２】
また、撮像装置から被写体までの距離Ｌが長い場合、被写体の視線の向き（θ１、θ２）が撮像光学系から、ずれてしまう可能性がある。つまり、対象物体が小さくなると、その対象物体の特定の位置に視線の向き（θ１、θ２）を向けることが困難になる。そのため、被写体の視線の向き（θ１、θ２）がカメラ方向を向いたと判定する範囲を設定する定数ｂ１及びｂ２を、以下の式（５）のように、撮像装置から被写体までの距離Ｌに応じて変更するようにしても良い。式（５）の定数ｂ１’及びｂ２’は、撮像装置から被写体までの距離Ｌに応じて異なる値が設定される。
式（５）
【００８３】
［Ｓ２０３］
撮像装置３０は、Ｓ２０２の処理でカメラ方向を向いたと判定する範囲と、Ｓ１０９の処理で検出した視線の向き（θ１、θ２）とに基づいて、カメラ視線であるか否かの判定を行なう。つまり、Ｓ１０９の処理で検出した視線の向き（θ１、θ２）が所定の範囲内であれば、カメラ視線であると判定し、そうでない場合、カメラ視線でないと判定する。 なお、上述した通り、視線の向き（θ１、θ２）がカメラ視線であるか否かの判定ではなく、所定視線方向の尤度を検出するようにしても良い。
【００８４】
以上説明したように本実施形態によれば、顔のアピアランスから検出した視線の向き（θ１、θ２）に加えて、撮像装置（撮像光学系）と被写体（顔）との位置関係をも考慮してカメラ視線であるか否かを判定する。これにより、従来よりも、視線検出を高精度に行なうことができる。
【００８５】
以上が本発明の代表的な実施形態の一例であるが、本発明は、上記及び図面に示す実施形態に限定することなく、その要旨を変更しない範囲内で適宜変形して実施できるものである。
【００８６】
例えば、上述した説明においては、撮像光学系の倍率Ｚ、画像内における顔の位置４３や大きさＷを用いてカメラ視線であるか否かを判定していたが、必ずしも、これらの情報全てを用いて判定を行なう必要はない。
【００８７】
例えば、図９に示すように、画像を水平方向に領域分割し、分割領域毎に被写体の水平方向の視線の向きθ１がカメラ方向を向いたと判定するための基準となるカメラ視線の範囲を設定しても良い。すなわち、この場合、顔の位置４３のＸ座標（水平方向）のみを用いてカメラ視線の範囲が決められている。
【００８８】
なお、垂直方向の視線の向きθ２がカメラ方向を向いたと判定するカメラ視線の範囲も同じように設定すれば良い。このように顔の位置４３のみを使用するだけでも、図１２（ａ）及び図１２（ｂ）に示す顔Ｂのような視線が明らかにカメラ方向を向いていない顔を取り除くことができる。
【００８９】
また、本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体等としての実施態様を採ることもできる。具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。
【００９０】
（その他の実施形態）
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【技術分野】
【０００１】
本発明は、情報処理装置、その処理方法、プログラム及び撮像装置に関する。
【背景技術】
【０００２】
図１０に示すような視線の向き又は視線の方向（θ１、θ２）を検出する技術が開示されている（特許文献１）。特許文献１には、エッジなどに基づいて顔の輪郭や目など複数の部位を検出し、その位置関係に基づいて顔の向きを検出する技術が開示されている。また更に、特許文献１においては、瞳の位置を検出することによって、車両に設置されたカメラを基準とした運転者の視線の向き（θ１、θ２）を検出する技術も開示されている。
【０００３】
また、これ以外の方法で視線の向き（θ１、θ２）を検出する技術も知られている（特許文献２）。特許文献２には、エネルギーモデルを使用して目領域を検出し、この目領域と予め用意しておいた画像辞書とを比較することで視線の向き（θ１、θ２）を検出する技術が開示されている。
【０００４】
これらの視線の向き（θ１、θ２）を検出する技術を更に応用した技術も知られている（特許文献３）。特許文献３には、自動車の運転者の視線を検出し、当該検出した視線の向き（θ１、θ２）に基づいて運転者の脇見を判定する技術が開示されている。この他、被写体の視線がカメラ方向を向いた場合、又は所定の表情の場合に撮像を行なう技術も開示されている（特許文献４）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−２１０２３９号公報
【特許文献２】特開平０９−０８１７３２号公報
【特許文献３】特開２００９−１５７７３６号公報
【特許文献４】特開２００１−０５１３３８号公報
【特許文献５】特開２００７−２６５３６７号公報
【非特許文献】
【０００６】
【非特許文献１】P. Viola, M. Jones, “Rapid Object Detection using a Boosted Cascade of Simple Features", in Proc. Of CVPR, vol.1, pp.511-518, December, 2001
【非特許文献２】御手洗祐輔, 森克彦, 真継優和, “選択的モジュール起動を用いたConvolutionalNeuralNetworksによる変動にロバストな 顔検出システム", FIT (情報科学技術フォーラム), Ll-013, 2003
【非特許文献３】Timothy F. Cootes, Gareth J. Edwards, and Christopher J. Taylor, “Active Appearance Models", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 23, No.6, JUNE 2001
【発明の概要】
【発明が解決しようとする課題】
【０００７】
従来、画像から顔を検出する顔検出技術の他、顔の状態を検出する表情検出技術や視線検出技術など種々の技術が研究されている。これらの技術は、例えば、デジタルカメラにおける自動シャッターなどに応用されている。
【０００８】
これら顔検出技術や表情検出技術など多くの技術では、一般に、デジタルカメラなどの撮像装置と被写体との位置関係を考慮していない。しかし、視線の向き（θ１、θ２）がどこを注視しているか否かを検出する場合、図１１（俯瞰図）に示すように、実際の空間（実空間）における撮像装置と顔との位置（又は、距離）関係、撮像光学系の倍率（又は、焦点距離）を考慮する必要がある。
【０００９】
ここで、このような点を考慮しなかった場合に生じる問題点として３つ例を挙げて説明する。
【００１０】
・第１の問題点
図１２（ａ）には、実際の空間（実空間）における被写体と撮像装置との位置関係、及び被写体の視線の向き（θ１、θ２）が矢印として示されている。図１２（ｂ）には、図１２（ａ）に示す撮像装置により得られる画像の一例が示されている。
【００１１】
ここで、顔Ａ及び顔Ｂは異なる場所を見ている。しかし、それにも関わらず、図１２（ｂ）に示すように、画像内における顔のアピアランスは同一となる。そのため、被写体と撮像装置との位置関係を考慮せず、画像内における顔のアピアランスだけの情報を用いた場合、撮像装置においては、顔Ａ及び顔Ｂが同じ場所を見ていると判定してしまう可能性がある。
【００１２】
しかし、これまでの視線検出技術では、撮像装置の正面に被写体の顔があることのみを前提としており、被写体と撮像装置との位置関係については考慮されていなかった。そのため、このような問題を解決するためには、被写体と撮像装置との位置関係を考慮しなくてはならない。
【００１３】
・第２の問題点
図１３（ａ）には、撮像装置が広角の場合における被写体と撮像装置との位置関係、及び被写体の視線の向き（θ１、θ２）が矢印として示される図と、そのときに撮像装置により得られる画像の一例が示されている。また、図１３（ｂ）には、撮像装置が望遠の場合における被写体と撮像装置との位置関係、及び被写体の視線の向き（θ１、θ２）が矢印として示される図と、そのときに撮像装置により得られる画像の一例が示されている。
【００１４】
図１３（ａ）に示すように撮像装置が広角である場合と、図１３（ｂ）のように撮像装置が望遠である場合とでは画角が異なる。そのため、被写体が移動していないにも関わらず、画像内における顔の位置が移動してしまう。
【００１５】
そのため、上述した第１の問題点では、被写体と撮像装置との位置関係の重要性を述べたが、このような問題点を解決するためには、撮像光学系の倍率（又は焦点距離）をも考慮しなくてはならない。
【００１６】
・第３の問題点
図１４には、実際の空間（実空間）における撮像装置から被写体までの距離Ｌが短い場合と、長い場合とが示されている。
【００１７】
撮像装置から被写体までの距離Ｌが短ければ、被写体は、撮像装置における特定箇所に視線の向き（θ１、θ２）を正確に合わせることができる。しかし、撮像装置から被写体までの距離Ｌが長ければ、被写体は、撮像装置における特定箇所に視線の向き（θ１、θ２）を正確に合わせることが難しい。
【００１８】
そのため、画像上においては、視線の向き（θ１、θ２）が撮像装置を向いていないように見え、例えば、視線検出技術を自動撮像などに応用した場合には、撮像が行なわれないといった問題が生じる可能性がある。
【００１９】
本発明は、上記問題点に鑑みてなされたものであり、視線検出に際して、画像上における視線の向きだけではなく、撮像装置と顔との位置関係をも考慮することにより視線検出を高精度に行なえるようにした技術を提供することを目的とする。
【課題を解決するための手段】
【００２０】
上記課題を解決するため、本発明の一態様による情報処理装置は、撮像光学系を介して入力される画像を取得する画像取得手段と、前記画像から人物の顔を検出する顔検出手段と、前記顔の視線を検出する視線検出手段と、前記人物と前記撮像光学系との位置関係を示す情報を取得する取得手段と、前記位置関係を示す情報に基づいて前記検出された視線が所定の方向を向いているか否かを判定する判定手段とを具備する。
【発明の効果】
【００２１】
本発明によれば、視線検出に際して、画像から検出した顔の視線の向きだけではなく、撮像装置と顔との位置関係をも考慮する。これにより、視線検出をより高精度に行なうことができる。
【図面の簡単な説明】
【００２２】
【図１】本発明の一実施の形態に係わる撮像装置３０における機能的な構成の一例を示す図。
【図２】図１に示す撮像装置３０における処理の流れの一例を示すフローチャート。
【図３】視線検出処理の一例を説明するための図。
【図４】視線検出処理の一例を説明するための図。
【図５】図２のＳ１１０に示すカメラ視線の検出処理の流れの一例を示すフローチャート。
【図６】距離Ｌの測定に用いられるテーブルの構成の一例を示す図。
【図７】距離Ｌの測定方法の一例を説明するための図。
【図８】距離Ｒの測定方法の一例を説明するための図。
【図９】変形例の一例を説明するための図。
【図１０】従来技術の一例を説明するための図。
【図１１】従来技術の一例を説明するための図。
【図１２】従来技術の一例を説明するための図。
【図１３】従来技術の一例を説明するための図。
【図１４】従来技術の一例を説明するための図。
【発明を実施するための形態】
【００２３】
以下、本発明に係わる実施の形態について添付図面を参照して詳細に説明する。
【００２４】
（実施形態１）
図１は、本発明の一実施の形態に係わる撮像装置３０における機能的な構成の一例を示す図である。ここでは、撮像装置３０において、自動シャッターを実現する構成について説明する。なお、以下の説明では、被写体の視線の向き（θ１、θ２）が撮像装置３０を向いていることをカメラ視線と呼ぶ。ここでは、カメラ視線（垂直、水平）のうち、水平方向のみについて説明する。すなわち、図１１に示すように、水平方向への視線の向きがθ１’のときにカメラ視線と呼ぶ。
【００２５】
撮像装置３０には、コンピュータが内蔵されている。コンピュータには、ＣＰＵ等の主制御手段、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、外部記録媒体（例えば、メモリカード）等の記憶手段が具備される。また、コンピュータにはその他、ボタンやディスプレイ又はタッチパネル等の入出力手段、ネットワークカード等の通信手段等も具備されていても良い。なお、これら各構成部は、バス等により接続され、主制御手段が記憶手段に記憶されたプログラムを実行することで制御される。
【００２６】
ここで、撮像装置３０は、その機能的な構成として、画像取得部１０と、顔検出部１１と、正規化画像生成部１２と、顔器官検出部１３と、視線検出部１４と、カメラ視線検出部１５と、撮像制御部１６とを具備して構成される。これら構成は、例えば、ＣＰＵがＲＯＭ等に格納されたプログラムを実行することにより実現される。なお、専用のハードウェア構成として実現されても勿論構わない。
【００２７】
画像取得部１０は、画像を取得する。すなわち、レンズ等の撮像光学系を介して撮像部（不図示）により入力される画像を取得する。
【００２８】
顔検出部１１は、画像取得部１０により取得された画像から人物の顔を検出する。正規化画像生成部１２は、顔検出部１１により検出された顔領域の切り出しを行なうとともに、顔の大きさが所定サイズ及び顔の向きが正立するようにアフィン変換を行なう。
【００２９】
顔器官検出部１３は、顔検出部１１により検出された顔から、例えば、目尻、目頭、瞼、上唇などの複数の顔の器官（顔器官）を検出する。視線検出部１４は、顔検出部１１により検出された顔から、視線の向き（θ１、θ２）等の検出を行なう。
【００３０】
カメラ視線検出部１５は、処理対象となる顔（より具体的には、視線の向き）がカメラ方向を向いているか否かの判定を行なう。カメラ視線検出部１５には、位置関係取得部１７と、カメラ視線判定部１８とが設けられる。位置関係取得部１７は、撮像装置（撮像光学系）３０と被写体との位置関係を示す情報を取得する。カメラ視線判定部１８は、当該位置関係を示す情報に基づいて、被写体の視線の向き（θ１、θ２）がカメラ方向を向いているか否かを判定する。
【００３１】
撮像制御部１６は、カメラ視線検出部１５の判定結果に基づいて撮像の実行を制御する。撮像制御部１６においては、例えば、画像内で検出された人物の顔の視線が全てカメラ視線である場合に撮像を実施する。
【００３２】
以上が、撮像装置３０の構成の一例についての説明である。なお、撮像装置３０の構成は、必ずしもこのような構成に限られない。例えば、撮像制御部１６を必ずしも必要な構成ではなく、省略しても良い。この場合、撮像装置３０ではなく、例えば、情報処理装置（ＰＣ（Personal Computer）やその他のデバイス等）上に図１に示す機能構成を実現すれば良い。
【００３３】
次に、図２を用いて、図１に示す撮像装置３０における処理の流れの一例について説明する。
【００３４】
［Ｓ１００］
この処理では、まず、ユーザ等によりモードの選択が行なわれる。本実施形態においては、モードとして、例えば、通常撮像モードや自動撮像モードが設けられる。自動撮像モードにおいては、被写体の視線の向き（θ１、θ２）が所定の撮像条件を満足した場合、例えば、視線がカメラ方向を向いた場合（カメラ視線になった場合）に自動的に撮像が行なわれる。ここでは、自動撮像モードが選択されたものとする。
【００３５】
［Ｓ１０１、Ｓ１０２］
Ｓ１００の処理で選択されたモード（自動撮像モード）では、シャッターボタンが押下された場合に処理が実行される。そのため、撮像装置３０は、シャッターボタンが押下されたか否かを判定する。シャッターボタンが押下された場合（Ｓ１０１でＹＥＳ）、撮像装置３０は、画像取得部１０において、レンズなどの光学系、ＣＭＯＳやＣＣＤなどの撮像素子、ＡＤ変換器などを介して画像を取得する（Ｓ１０２）。
【００３６】
［Ｓ１０３］
撮像装置３０は、顔検出部１１において、Ｓ１０２の処理で取得した画像に対して顔検出処理を行なう。顔を検出する技術は、ブースティングをベースとした非特許文献１や、ニューラルネットワークをベースとした非特許文献２などの技術を用いれば良い。顔検出の手法は、これに限られず、人物の顔を検出できるのであれば、その手法は特に問わない。なお、これらの顔検出の手法においては、基本的には、顔を構成する目や口などの部位を検出し、その位置関係から顔の存在有無を判定している。そのため、顔検出処理においては、図３に示すように、顔の位置（顔の中心位置）４３に加えて、目の中心位置４１及び４２、口の中心位置４４も検出される。
【００３７】
［Ｓ１０４〜Ｓ１０６］
撮像装置３０は、顔が検出されたか否かを判定し、顔が検出されていない場合には（Ｓ１０４でＮＯ）、再度、Ｓ１０２の処理に戻る。顔が検出された場合（Ｓ１０４でＹＥＳ）、撮像装置３０は、ＡＥ、ＡＦを行なう（Ｓ１０５）。そして、撮像装置３０は、顔検出部１１において、Ｓ１０２の処理で検出された１又は複数の顔の内、１つの顔を選択する（Ｓ１０６）。
【００３８】
［Ｓ１０７］
撮像装置３０は、正規化画像生成部１２において、図３に示すような顔の中心位置４３、目の中心位置４１及び４２等を用いて、顔領域の切り出しを行なうとともに、顔の大きさが所定サイズ及び顔の向きが正立するようにアフィン変換を行なう（Ｓ１０７）。例えば、図３に示すように、左目の中心位置４１と右目の中心位置４２との間の距離Ｗを顔の大きさ、左目の中心位置４１と右目の中心位置４２との２点から算出される傾きを顔の向きとして定義する。そして、左目の中心位置４１と右目の中心位置４２との間のＷ’と、実際の左目の中心位置４１と右目の中心位置４２との２点から算出される線分との傾きが０度となるように、アフィン変換を行なう。
【００３９】
［Ｓ１０８］
撮像装置３０は、顔器官検出部１３において、Ｓ１０３の処理で検出された顔の中心位置４３、目の中心位置４１及び４２、口の中心位置４４に加え、図４に示すような更に細かな特徴点（目尻、目頭、瞼、上唇など）を検出する（Ｓ１０８）。目尻、目頭、瞼、上唇など更に細かな特徴点（すなわち、顔器官）の検出には、例えば、モデルベースの非特許文献３など種々の技術を用いれば良い。
【００４０】
［Ｓ１０９］
撮像装置３０は、視線検出部１４において、視線の向き（θ１、θ２）を検出する。視線の向きは、Ｓ１０３の処理で検出された顔の中心位置４３、目の中心位置４１及び４２、口の中心位置４４、Ｓ１０８の処理で検出された更に細かな特徴点（目尻、目頭、瞼、上唇など）を用いて検出する。
【００４１】
視線検出技術としては、例えば、特許文献５に示されるように、Ｓ１０８の処理で検出された更に細かな特徴点（目尻、目頭、瞼、上唇など）の相対的な位置関係を使用すれば良い。また、例えば、Ｓ１０８の処理で検出された更に細かな特徴点（目尻、目頭、瞼、上唇など）を基準として複数の領域を設定し、予め作成された辞書画像と比較することで視線の向き（θ１、θ２）を検出するようにしても良い。なお、基準方向から所定の対象物に対する視線の向き（すなわち、視線方向を表す角度）を検出するのではなく、視線に関する情報としてそれ以外の情報を検出するようにしても良い。例えば、所定の方向にある対象物に対して視線が向いている度合い（すなわち、視線方向が所定の方向と一致していることを示す尤度）として、所定視線方向の尤度を検出するようにしても良い。
【００４２】
このようにして、Ｓ１０３における顔検出処理、Ｓ１０７における正規化画像生成処理、Ｓ１０８における顔器官検出処理、Ｓ１０９における視線検出処理が順次行なわれる。このような処理によって、顔のアピアランスから被写体の視線の向き（θ１、θ２）を検出することができる。なお、顔検出処理、正規化画像生成処理、顔器官検出処理、及び視線検出処理は、上述した技術や手法を必ずしも用いる必要はなく、他の技術を用いてそれぞれ実施するようにしても良い。
【００４３】
［Ｓ１１０］
撮像装置３０は、カメラ視線検出部１５において、Ｓ１０９の処理で検出された被写体の視線の向き（θ１、θ２）と、撮像装置３０と被写体との位置（距離）関係とに基づいて、カメラ視線を検出する。この処理の詳細については後述するが、簡単に説明すると、Ｓ１０９の処理で選択された顔の視線が、カメラ方向を向いているか否かの判定が行なわれる。
【００４４】
［Ｓ１１１］
撮像装置３０は、Ｓ１０３の処理で検出された顔の中で、未だ上述したＳ１０６〜Ｓ１１０の処理が実施されていない顔があれば（Ｓ１１１でＹＥＳ）、再度、Ｓ１０６の処理に戻る。Ｓ１０３の処理で検出された顔全てについて上述した処理を実施していれば（Ｓ１１１でＮＯ）、撮像装置３０は、Ｓ１１２の処理に進む。
【００４５】
［Ｓ１１２、Ｓ１１３］
撮像装置３０は、撮像制御部１６において、所定の撮像条件を満たすか否かを判定する。この判定処理では、例えば、Ｓ１０３の処理で検出された全ての顔がカメラ視線であるという条件を満たすか否かを判定する。なお、撮像条件は、Ｓ１００におけるモード選択時に設定・変更可能である。
【００４６】
判定の結果、所定の撮像条件を満たすと判定された場合（Ｓ１１２でＹＥＳ）、撮像装置３０は、撮像制御部１６において、撮像部（不図示）を制御して撮像を行なう（Ｓ１１３）。この撮像は、例えば、Ｓ１０３の処理で検出された全ての顔がカメラ視線である場合に実施される。なお、撮像を実施する前に、再度、ＡＥ・ＡＦを実施するようにしても良い。
【００４７】
一方、Ｓ１１２の処理で所定の撮像条件を満たさないと判定した場合（Ｓ１１２でＮＯ）、撮像装置３０は、再度、Ｓ１０２の処理に戻り、次の画像を取得する。
【００４８】
次に、図５を用いて、上述した図２のＳ１１０に示すカメラ視線の検出処理の詳細な流れの一例について説明する。
【００４９】
まず、始めにカメラ視線の検出処理の概要について説明する。撮像装置３０は、自装置（撮像装置３０）と被写体との距離、つまり、図１１に示す距離Ｒ（ＲＸ）とＬとに基づいて、被写体の視線の向き（θ１、θ２）が撮像装置３０に向いた時の視線の向き（θ１’、θ２’）を推定する。ここで、距離Ｌは、撮像光学系の光軸の方向に沿った当該撮像光学系と被写体との距離（第１の距離）を示す。距離Ｒは、撮像光学系の光軸に直交する方向に沿った当該撮像光学系と被写体との距離（第２の距離）を示す。ここでは、説明を簡単にするため、視線の向きは、（地面に対して）垂直な方向は考慮せず、（地面と）水平な方向のみについて考慮する。このとき、被写体が撮像装置３０の方向に向いたときの視線の向きθ１’は、式（１）のように表すことができる。
式（１）
【００５０】
すなわち、画像から得られる顔の中心位置４３や顔の大きさＷ、撮像光学系の撮像パラメータ（倍率Ｚ、又は焦点距離ｆ）に基づいて、撮像光学系の中心から被写体の顔の中心までの水平方向の距離ＲＸと、撮像装置から被写体までの距離Ｌとを求める。なお、この処理の詳細については後述する。
【００５１】
その後、撮像装置３０は、被写体が自装置（撮像装置３０）を向いた時の視線の向き（θ１’、θ２’）を中心として、カメラ視線と判定する視線の向き（θ１、θ２）の範囲を設定する。最後に、Ｓ１０９の処理で検出された視線の向き（θ１、θ２）と、カメラ視線となる視線の向き（θ１、θ２）の範囲とを用いることにより、被写体の視線の向き（θ１、θ２）がカメラ視線であるか否かを判定する。
【００５２】
ここで、図５を用いて、各ステップにおける処理について説明する。
【００５３】
［Ｓ２００］
撮像装置３０は、まず、撮像装置３０から被写体までの距離Ｌ（図１１参照）を推定する（Ｓ２００）。距離Ｌの推定方法としては、種々挙げられるが、例えば、赤外線を被写体に向けて投射し、その反射光を計測することにより測定しても良い。また、異なる複数の撮像装置から取得される画像を使用したステレオ方式などもある。その他、画像内における被写体の顔の大きさと撮像光学系の倍率Ｚとを使用して、被写体までの距離Ｌを推定することもできる。
【００５４】
このように距離Ｌを推定する方法は種々あり、どのような手法を用いても構わないが、本実施形態においては、画像内における被写体の顔の大きさＷと、撮像光学系の倍率Ｚとを用いて撮像装置から被写体までの距離Ｌを推定する。なお、本実施形態においては、撮像装置３０の焦点距離が最も短いとき（広角）を倍率Ｚ＝１．０として説明する。
【００５５】
ここで、被写体の顔の大きさＷと撮像光学系の倍率Ｚとを用いて、被写体までの距離Ｌを推定する方法の一例として２通り例を挙げて説明する。
【００５６】
［距離Ｌの第１の測定方法］
第１の測定方法としては、まず、図６に示すテーブルを予め保持しておく。図６に示すテーブルには、撮像光学系の倍率Ｚ（又は焦点距離ｆ）と、図３に示す画像内における顔の大きさＷと、撮像装置３０から被写体までの距離Ｌとの関係を示す情報が保持される。
【００５７】
つまり、図６に示すテーブルには、撮像光学系の倍率Ｚと、顔の大きさＷと、そのときの撮像装置から被写体までの距離Ｌとの値が複数回測定された値が保持される。この場合、撮像装置３０は、画像における顔の大きさＷと撮像光学系の倍率Ｚとに基づいて、それに対応する（被写体までの）距離Ｌをテーブルから取得する。なお、撮像光学系の倍率Ｚは、撮像光学系の倍率Ｚを自動的に取得可能であれば自動的に取得し、そうでない場合には、ユーザーが手動で設定すれば良い。
【００５８】
［距離Ｌの第２の測定方法］
上述した第１の測定方法で使用するテーブルを作成するには、倍率Ｚや顔の大きさＷを変更した数多くのパターンを測定する必要があるが、代表的なパターンを基準として被写体までの距離Ｌを推定する手法を採っても良い。
【００５９】
例えば、図７に示すように、撮像装置と被写体とが所定の位置関係にある状態において、撮像光学系の倍率Ｚｂ（又は焦点距離ｆｂ）、顔の大きさＷｂ、被写体までの距離Ｌｂを測定し、それを所定の基準とする。そして、画像から検出処理を行なう度に、当該基準に基づいて距離Ｌを算出するようにしても良い。
【００６０】
顔の大きさＷが大きくなれば、被写体までの距離Ｌは短くなる。そのため、被写体までの距離Ｌと顔の大きさＷは、反比例の関係にある。一方、撮像光学系の倍率Ｚが大きくなれば、顔の大きさＷも大きくなる。そのため、撮像光学系の倍率Ｚと顔の大きさＷとは、比例関係にある。このような関係を用いることにより、被写体までの距離Ｌを算出することができる。
【００６１】
例えば、（基準（撮像装置）から被写体までの）距離Ｌｂを約２［ｍ］、撮像装置の焦点距離ｆｂを約３５［ｍｍ］とした場合、撮像装置により取得された画像内における顔の大きさＷｂは、約５０［ｐｉｘｅｌ］となる。そのため、これを基準として考えると、以下の式（２）のように表すことができる。
式（２）
【００６２】
実際に、距離Ｌを約２［ｍ］に保持したまま、焦点距離ｆを２倍の７０［ｍｍ］として、撮像装置により取得された画像内における顔の大きさＷを測定すると、約２倍の約１００［ｐｉｘｅｌ］となる。また、距離Ｌを１／２倍の約１［ｍ］、焦点距離ｆを３５［ｍｍ］にした場合に撮像装置により取得された画像内における顔の大きさＷを測定すると、約２倍の約１００［ｐｉｘｅｌ］となる。
【００６３】
このような測定結果からも明らかなように、被写体までの距離Ｌは、式（２）を用いて求めることができる。
【００６４】
ここでは、距離Ｌの測定方法として、第１の測定方法及び第２の測定方法について例を挙げて説明したが、勿論、これ以外の方法で距離Ｌを測定するように構成しても良い。
【００６５】
［Ｓ２０１］
撮像装置３０は、続いて、撮像光学系の中心から被写体の顔の中心までの距離Ｒ（図１１参照）を推定する（Ｓ２０１）。
【００６６】
ここで、撮像光学系の中心から被写体の顔の中心までの距離Ｒの測定方法について２通り例を挙げて説明する。
【００６７】
［距離Ｒの第１の測定方法］
上記距離Ｌの測定を行なう場合と同様に、テーブルを用いる方法が挙げられる。この場合、テーブルには、画像の中心５１から顔までの距離Ｐｘ（及びＰｙ）と、撮像光学系の中心から被写体の顔の中心までの距離Ｒｘ（及びＲｙ）とが対応付けて保持される（図８（ａ）参照）。すなわち、距離Ｐｘ（及びＰｙ）に基づいて、距離Ｒｘ（及びＲｙ）を求めれば良い。
【００６８】
この場合にも、上述した距離Ｌにおける第１の測定方法と同様にして、距離Ｐや距離Ｒの値を変更しながら複数回測定を行ない、その結果をテーブルに保持させれば良い。
【００６９】
［距離Ｒの第２の測定方法］
撮像光学系の中心から被写体の顔の中心までの距離Ｒｂは、画像の中心５１から顔までの距離Ｐｂ、撮像光学系の中心から被写体の顔の中心までの距離Ｒｂ、撮像装置から被写体までの距離Ｌｂ、撮像光学系の倍率Ｚｂを用いて求めても良い（図８（ｂ）参照）。すなわち、所定の基準を設け、画像から検出処理を行なう度に、当該基準に基づいて距離Ｒを算出しても良い。
【００７０】
ここで、画像の中心５１から顔までの水平方向の距離Ｐｘが長くなれば、実空間における撮像光学系の中心から被写体の顔の中心までの水平方向の距離Ｒｘも長くなる。そのため、撮像光学系の中心から被写体の顔の中心までの水平方向の距離Ｒｘと、画像中心５１から顔までの水平方向の距離Ｐｘとは比例関係になる。
【００７１】
また、画角をγ、焦点距離をｆ、撮像面の幅をｘとすると、これらの関係は、式（３）のように表すことができる。撮像光学系の倍率Ｚを大きくしていくと、焦点距離ｆが長くなり、その結果、画角が小さくなる。
式（３）
【００７２】
しかし、被写体が撮像光学系の中心からずれた位置にある場合、画角が小さくなると、実空間上で顔が移動していないにも関わらず、画像中心５１から顔までの水平方向の距離Ｐｘが長くなる。
【００７３】
ここで、例えば、（基準となる）撮像装置から被写体までの距離Ｌを約２［ｍ］、焦点距離ｆを３５［ｍｍ］とした場合の画像中心５１から顔までの水平方向の距離Ｐｘを１０００［ｐｉｘｅｌ］とする。
【００７４】
この場合、距離Ｌを約２［ｍ］に保持したまま、焦点距離ｆを２倍の７０［ｍｍ］にして距離Ｐｘを測定すると、約２倍の約２０００［ｐｉｘｅｌ］になる。距離Ｌが変わった場合には、上記同様に画像の中心５１から顔までの水平方向の距離Ｐｘが変化する。
【００７５】
また、例えば、距離Ｌを約２［ｍ］、焦点距離ｆを３５［ｍｍ］とした場合の画像中心５１から顔までの水平方向の距離Ｐｘを１０００［ｐｉｘｅｌ］とする。この場合、焦点距離ｆを３５［ｍｍ］に保持したまま、距離Ｌを１／２倍の約１［ｍ］に変更し、画像中心５１から顔までの水平方向の距離Ｐｘを測定した場合、距離Ｐｘは、約２倍の約２０００［ｐｉｘｅｌ］になる。
【００７６】
このような関係から、撮像光学系の中心から被写体の顔の中心までの距離Ｒｘ（Ｒｙ）についても、距離Ｌと同様に測定することができる。
【００７７】
ここでは、距離Ｒを測定する方法として、第１の測定方法及び第２の測定方法について例を挙げて説明したが、勿論、これ以外の方法で距離Ｒを測定するように構成しても良い。
【００７８】
このように種々の方法により、撮像光学系中心から被写体の顔中心までの距離Ｒｘ（及びＲｙ）を推定することができる。
【００７９】
［Ｓ２０２］
距離Ｌ及び距離Ｒの推定が済むと、撮像装置３０は、カメラ視線の範囲を決定する（Ｓ２０２）。すなわち、式（４）に示すように、被写体の視線の向き（θ１、θ２）がカメラ方向を向いたと判定するための基準（範囲）を決定する。
式（４）
なお、上述した通り、
θ’１は、
であり、
θ’２は、
である。
【００８０】
また、Ｌは、撮像装置から被写体までの距離を示しており、Ｒｘは、撮像光学系の中心から被写体の顔の中心までの水平方向の距離を示しており、Ｒｙは、撮像光学系の中心から被写体の顔の中心までの垂直方向の距離を示す。
【００８１】
被写体の視線の向き（θ１、θ２）は、視差等の個人差の他、様々な影響が含まれる可能性がある。そのため、ｂ１及びｂ２（定数）により、被写体の視線の向き（θ１、θ２）がカメラ方向を向いたと判定する範囲を設定する。
【００８２】
また、撮像装置から被写体までの距離Ｌが長い場合、被写体の視線の向き（θ１、θ２）が撮像光学系から、ずれてしまう可能性がある。つまり、対象物体が小さくなると、その対象物体の特定の位置に視線の向き（θ１、θ２）を向けることが困難になる。そのため、被写体の視線の向き（θ１、θ２）がカメラ方向を向いたと判定する範囲を設定する定数ｂ１及びｂ２を、以下の式（５）のように、撮像装置から被写体までの距離Ｌに応じて変更するようにしても良い。式（５）の定数ｂ１’及びｂ２’は、撮像装置から被写体までの距離Ｌに応じて異なる値が設定される。
式（５）
【００８３】
［Ｓ２０３］
撮像装置３０は、Ｓ２０２の処理でカメラ方向を向いたと判定する範囲と、Ｓ１０９の処理で検出した視線の向き（θ１、θ２）とに基づいて、カメラ視線であるか否かの判定を行なう。つまり、Ｓ１０９の処理で検出した視線の向き（θ１、θ２）が所定の範囲内であれば、カメラ視線であると判定し、そうでない場合、カメラ視線でないと判定する。 なお、上述した通り、視線の向き（θ１、θ２）がカメラ視線であるか否かの判定ではなく、所定視線方向の尤度を検出するようにしても良い。
【００８４】
以上説明したように本実施形態によれば、顔のアピアランスから検出した視線の向き（θ１、θ２）に加えて、撮像装置（撮像光学系）と被写体（顔）との位置関係をも考慮してカメラ視線であるか否かを判定する。これにより、従来よりも、視線検出を高精度に行なうことができる。
【００８５】
以上が本発明の代表的な実施形態の一例であるが、本発明は、上記及び図面に示す実施形態に限定することなく、その要旨を変更しない範囲内で適宜変形して実施できるものである。
【００８６】
例えば、上述した説明においては、撮像光学系の倍率Ｚ、画像内における顔の位置４３や大きさＷを用いてカメラ視線であるか否かを判定していたが、必ずしも、これらの情報全てを用いて判定を行なう必要はない。
【００８７】
例えば、図９に示すように、画像を水平方向に領域分割し、分割領域毎に被写体の水平方向の視線の向きθ１がカメラ方向を向いたと判定するための基準となるカメラ視線の範囲を設定しても良い。すなわち、この場合、顔の位置４３のＸ座標（水平方向）のみを用いてカメラ視線の範囲が決められている。
【００８８】
なお、垂直方向の視線の向きθ２がカメラ方向を向いたと判定するカメラ視線の範囲も同じように設定すれば良い。このように顔の位置４３のみを使用するだけでも、図１２（ａ）及び図１２（ｂ）に示す顔Ｂのような視線が明らかにカメラ方向を向いていない顔を取り除くことができる。
【００８９】
また、本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体等としての実施態様を採ることもできる。具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。
【００９０】
（その他の実施形態）
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【特許請求の範囲】
【請求項１】
撮像光学系を介して入力される画像を取得する画像取得手段と、
前記画像から人物の顔を検出する顔検出手段と、
前記顔の視線を検出する視線検出手段と、
前記人物と前記撮像光学系との位置関係を示す情報を取得する取得手段と、
前記位置関係を示す情報に基づいて前記検出された視線が所定の方向を向いているか否かを判定する判定手段と
を具備することを特徴とする情報処理装置。
【請求項２】
前記顔検出手段は、
前記画像から人物の顔を検出するとともに該画像内における顔の位置及び大きさを検出し、
前記取得手段は、
前記画像内における顔の位置と顔の大きさと前記撮像光学系の撮像パラメータとの少なくともいずれかを用いて、前記人物と前記撮像光学系との位置関係を示す情報を取得する
ことを特徴とする請求項１記載の情報処理装置。
【請求項３】
前記取得手段は、
前記人物と前記撮像光学系との位置関係を示す情報として、前記撮像光学系の光軸の方向に沿った該撮像光学系と前記人物との間の距離を示す第１の距離と、前記撮像光学系の光軸に直交する方向に沿った該撮像光学系と前記人物との間の距離を示す第２の距離とを取得する
ことを特徴とする請求項１記載の情報処理装置。
【請求項４】
前記顔検出手段は、
前記画像から人物の顔を検出するとともに該顔の大きさを検出し、
前記判定手段は、
前記顔の大きさと前記撮像光学系の撮像パラメータとに基づいて前記第１の距離を取得する
ことを特徴とする請求項３記載の情報処理装置。
【請求項５】
前記顔検出手段は、
前記画像から人物の顔を検出するとともに該画像内における顔の位置を検出し、
前記判定手段は、
前記画像内における顔の位置と前記撮像光学系の撮像パラメータとに基づいて前記第２の距離を取得する
ことを特徴とする請求項３又は４記載の情報処理装置。
【請求項６】
前記撮像パラメータは、倍率又は焦点距離を含む
ことを特徴とする請求項４又は５記載の情報処理装置。
【請求項７】
前記判定手段は、
前記位置関係を示す情報に基づいて前記検出された視線が所定の方向を向いているか否かの判定の基準となる範囲を設定し、該設定した範囲に前記検出された視線が入るか否かに基づいて前記判定を行なう
ことを特徴とする請求項１記載の情報処理装置。
【請求項８】
前記判定手段は、
前記位置関係を示す情報に基づいて前記検出された視線が所定の方向を向いているか否かの判定の基準となる範囲を設定し、該設定した範囲に前記検出された視線が入るか否かに基づいて前記判定を行ない、
前記判定の基準となる範囲は、
前記第１の距離の大きさに比例して広く設定される
ことを特徴とする請求項３から６のいずれか１項に記載の情報処理装置。
【請求項９】
前記判定手段は、
前記位置関係を示す情報に基づいて前記検出された視線が所定の方向に対して一致することを示す尤度を判定する
ことを特徴とする請求項１記載の情報処理装置。
【請求項１０】
請求項１から９のいずれか１項に記載の情報処理装置と、
前記判定手段により前記検出された視線が所定の方向を向いていると判定された場合に、撮像の実行を制御する撮像制御手段と
を具備することを特徴とする撮像装置。
【請求項１１】
情報処理装置の処理方法であって、
画像取得手段が、撮像光学系を介して入力される画像を取得する工程と、
顔検出手段が、前記画像から人物の顔を検出する工程と、
視線検出手段が、前記顔の視線を検出する工程と、
取得手段が、前記人物と前記撮像光学系との位置関係を示す情報を取得する工程と、
判定手段が、前記位置関係を示す情報に基づいて前記検出された視線が所定の方向を向いているか否かを判定する工程と
を含むことを特徴とする処理方法。
【請求項１２】
コンピュータを、
撮像光学系を介して入力される画像を取得する画像取得手段、
前記画像から人物の顔を検出する顔検出手段、
前記顔の視線を検出する視線検出手段、
前記人物と前記撮像光学系との位置関係を示す情報を取得する取得手段、
前記位置関係を示す情報に基づいて前記検出された視線が所定の方向を向いているか否かを判定する判定手段
として機能させるためのプログラム。
【請求項１】
撮像光学系を介して入力される画像を取得する画像取得手段と、
前記画像から人物の顔を検出する顔検出手段と、
前記顔の視線を検出する視線検出手段と、
前記人物と前記撮像光学系との位置関係を示す情報を取得する取得手段と、
前記位置関係を示す情報に基づいて前記検出された視線が所定の方向を向いているか否かを判定する判定手段と
を具備することを特徴とする情報処理装置。
【請求項２】
前記顔検出手段は、
前記画像から人物の顔を検出するとともに該画像内における顔の位置及び大きさを検出し、
前記取得手段は、
前記画像内における顔の位置と顔の大きさと前記撮像光学系の撮像パラメータとの少なくともいずれかを用いて、前記人物と前記撮像光学系との位置関係を示す情報を取得する
ことを特徴とする請求項１記載の情報処理装置。
【請求項３】
前記取得手段は、
前記人物と前記撮像光学系との位置関係を示す情報として、前記撮像光学系の光軸の方向に沿った該撮像光学系と前記人物との間の距離を示す第１の距離と、前記撮像光学系の光軸に直交する方向に沿った該撮像光学系と前記人物との間の距離を示す第２の距離とを取得する
ことを特徴とする請求項１記載の情報処理装置。
【請求項４】
前記顔検出手段は、
前記画像から人物の顔を検出するとともに該顔の大きさを検出し、
前記判定手段は、
前記顔の大きさと前記撮像光学系の撮像パラメータとに基づいて前記第１の距離を取得する
ことを特徴とする請求項３記載の情報処理装置。
【請求項５】
前記顔検出手段は、
前記画像から人物の顔を検出するとともに該画像内における顔の位置を検出し、
前記判定手段は、
前記画像内における顔の位置と前記撮像光学系の撮像パラメータとに基づいて前記第２の距離を取得する
ことを特徴とする請求項３又は４記載の情報処理装置。
【請求項６】
前記撮像パラメータは、倍率又は焦点距離を含む
ことを特徴とする請求項４又は５記載の情報処理装置。
【請求項７】
前記判定手段は、
前記位置関係を示す情報に基づいて前記検出された視線が所定の方向を向いているか否かの判定の基準となる範囲を設定し、該設定した範囲に前記検出された視線が入るか否かに基づいて前記判定を行なう
ことを特徴とする請求項１記載の情報処理装置。
【請求項８】
前記判定手段は、
前記位置関係を示す情報に基づいて前記検出された視線が所定の方向を向いているか否かの判定の基準となる範囲を設定し、該設定した範囲に前記検出された視線が入るか否かに基づいて前記判定を行ない、
前記判定の基準となる範囲は、
前記第１の距離の大きさに比例して広く設定される
ことを特徴とする請求項３から６のいずれか１項に記載の情報処理装置。
【請求項９】
前記判定手段は、
前記位置関係を示す情報に基づいて前記検出された視線が所定の方向に対して一致することを示す尤度を判定する
ことを特徴とする請求項１記載の情報処理装置。
【請求項１０】
請求項１から９のいずれか１項に記載の情報処理装置と、
前記判定手段により前記検出された視線が所定の方向を向いていると判定された場合に、撮像の実行を制御する撮像制御手段と
を具備することを特徴とする撮像装置。
【請求項１１】
情報処理装置の処理方法であって、
画像取得手段が、撮像光学系を介して入力される画像を取得する工程と、
顔検出手段が、前記画像から人物の顔を検出する工程と、
視線検出手段が、前記顔の視線を検出する工程と、
取得手段が、前記人物と前記撮像光学系との位置関係を示す情報を取得する工程と、
判定手段が、前記位置関係を示す情報に基づいて前記検出された視線が所定の方向を向いているか否かを判定する工程と
を含むことを特徴とする処理方法。
【請求項１２】
コンピュータを、
撮像光学系を介して入力される画像を取得する画像取得手段、
前記画像から人物の顔を検出する顔検出手段、
前記顔の視線を検出する視線検出手段、
前記人物と前記撮像光学系との位置関係を示す情報を取得する取得手段、
前記位置関係を示す情報に基づいて前記検出された視線が所定の方向を向いているか否かを判定する判定手段
として機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１２−２２７８３０（Ｐ２０１２−２２７８３０Ａ）
【公開日】平成２４年１１月１５日（２０１２．１１．１５）
【国際特許分類】
【出願番号】特願２０１１−９５２８４（Ｐ２０１１−９５２８４）
【出願日】平成２３年４月２１日（２０１１．４．２１）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２４年１１月１５日（２０１２．１１．１５）
【国際特許分類】
【出願日】平成２３年４月２１日（２０１１．４．２１）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]