顔方向特定装置及び撮像装置
【課題】簡素な処理で顔方向の特定が可能な顔方向特定装置及び撮像装置等の提供。
【解決手段】顔方向特定装置は、少なくとも撮影者の目を撮像可能な撮像部により撮像された撮像画像を取得する画像取得部と、取得された撮像画像に基づいて、撮影者の目領域での反射光の反射光情報を検出する反射情報検出部と、検出された反射光情報に基づいて、撮影者の顔方向を特定する顔方向特定部を含む。
【解決手段】顔方向特定装置は、少なくとも撮影者の目を撮像可能な撮像部により撮像された撮像画像を取得する画像取得部と、取得された撮像画像に基づいて、撮影者の目領域での反射光の反射光情報を検出する反射情報検出部と、検出された反射光情報に基づいて、撮影者の顔方向を特定する顔方向特定部を含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顔方向特定装置及び撮像装置等に関係する。
【背景技術】
【０００２】
近年、ヒューマンインターフェース環境等の向上のために、人間の顔の方向を特定する顔方向特定手法が実用化されつつある。このような顔方向特定手法の従来技術としては特許文献１、２などに開示される技術がある。
【０００３】
例えば特許文献１の従来技術では、顔の円筒モデルを作成し，初期値テンプレートにより表現されている円筒モデルを様々な回転角度で回転させ、そのずれから顔方向を特定している。また特許文献２の従来技術では、左右の眼鏡に車両内の構造物が映り込むことを利用し，左右の眼鏡への映り込みの移動から顔方向を特定している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−１９７７２２
【特許文献２】特開２００４−７０５１４
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１の従来技術では、モデルの作成が煩雑であったり、モデルフィッティングの演算のためのハードウェアの処理負荷が大きいという課題がある。また特許文献２の従来技術では、顔方向特定の対象となる対象者が眼鏡を掛けている必要があることや、車内環境を予め正確に把握しておく必要があるなどの制約条件が多く、その実現が容易ではないという課題がある。
【０００６】
本発明の幾つかの態様によれば、簡素な処理で顔方向の特定が可能な顔方向特定装置及び撮像装置等を提供できる。
【課題を解決するための手段】
【０００７】
本発明の一態様は、少なくとも撮影者の目を撮像可能な撮像部により撮像された撮像画像を取得する画像取得部と、取得された前記撮像画像に基づいて、前記撮影者の目領域での反射光の反射光情報を検出する反射情報検出部と、前記反射光情報に基づいて、前記撮影者の顔方向を特定する顔方向特定部とを含む顔方向特定装置に関係する。
【０００８】
本発明の一態様によれば、撮影者の目を撮像可能な撮像部により撮像された撮像画像が取得され、撮影者の目領域での反射光の反射光情報が検出される。そして、検出された反射光情報により、撮影者の顔方向が特定される。このようにすれば、反射光情報等の検出処理を行うだけで、撮影者の顔方向を特定できるため、簡素な処理で顔方向の特定が可能な顔方向特定装置の提供が可能になる。
【０００９】
また本発明の一態様では、取得された前記撮像画像に基づいて、前記光源の光源方向情報を検出する光源情報検出部を含み、前記顔方向特定部は、検出された前記光源方向情報と前記反射光情報とに基づいて、前記撮影者の顔方向を特定してもよい。
【００１０】
このようにすれば、反射光情報のみならず光源方向情報についても撮像画像に基づき検出し、光源方向も反映させた顔方向の特定処理を実現できるようになる。
【００１１】
また本発明の一態様では、前記光源情報検出部は、前記撮像部の方向に対する前記光源の方向を、前記光源方向情報として検出してもよい。
【００１２】
このようにすれば、撮像装置の方向に対する相対的な光源方向を光源方向情報として検出して、顔方向を特定できるようになる。
【００１３】
また本発明の一態様では、前記光源情報検出部は、前記撮像画像での前記光源の位置情報に基づいて、前記光源方向情報を検出してもよい。
【００１４】
このように撮像画像において光源が映る位置を特定する位置情報を利用して光源方向情報を検出すれば、負荷が少ない簡素な処理で光源方向情報を検出できるようになる。
【００１５】
また本発明の一態様では、前記光源情報検出部は、前記撮像画像での前記光源の画像の位置情報に基づいて、前記撮像部の方向に対する前記光源の方向を検出し、前記反射情報検出部は、前記撮像画像に映る前記目領域における前記反射光の相対的な位置情報を検出し、前記顔方向特定部は、検出された前記光源の方向と、前記反射光の相対的な位置情報とに基づいて、前記撮影者の顔方向を特定してもよい。
【００１６】
このようにすれば、撮像画像を用いて、光源の画像の位置情報から光源の方向を検出できると共に、撮像画像に映る目領域における反射光の相対的な位置情報を検出できる。そして、これらの光源の方向と反射光の相対的な位置情報に基づき顔方向を特定できるため、撮像画像を用いた簡素な画像処理等で顔方向の特定が可能になる。
【００１７】
また本発明の一態様では、前記撮像部と前記撮影者との位置関係を検出する位置関係検出部を含み、前記位置関係検出部は、前記撮像画像での前記撮影者の顔画像の位置情報に基づいて、前記撮像部と前記撮影者との位置関係を検出してもよい。
【００１８】
このようにすれば、光源方向の検出や反射光の相対的な位置情報の検出に利用される撮像画像を有効活用して、撮像装置と撮影者の位置関係も反映させた撮影者の顔方向の特定が可能になる。
【００１９】
また本発明の一態様では、前記画像取得部は、前記撮像画像として全方位画像を取得し、前記光源情報検出部は、前記全方位画像での前記光源の画像の位置情報に基づいて、前記光源方向情報を検出し、前記反射情報検出部は、前記全方位画像に映る前記目領域における前記反射光の相対的な位置情報に基づいて、前記反射光情報を検出してもよい。
【００２０】
このようにすれば、光源の画像や目領域における反射光の画像が全方位画像に映ることを利用して、光源方向情報や反射光情報を検出して、撮影者の顔方向を特定できるようになる。
【００２１】
また本発明の一態様では、前記撮像部と前記撮影者との位置関係を検出する位置関係検出部を含み、前記顔方向特定部は、前記反射光情報と、前記撮像部と前記撮影者との位置関係とに基づいて、前記撮影者の顔方向を特定してもよい。
【００２２】
このようにすれば、撮像装置と撮影者の位置関係も反映させた顔方向の特定処理が可能になる。
【００２３】
また本発明の一態様では、前記位置関係検出部は、前記撮像画像での前記撮影者の顔画像の位置情報に基づいて、前記撮像部と前記撮影者との位置関係を検出してもよい。
【００２４】
このようにすれば、例えば光源方向情報や反射光情報のみならず、撮像装置と撮影者との位置関係についても撮像画像に基づき検出して、顔方向を特定できるようになる。
【００２５】
また本発明の一態様では、前記反射情報検出部は、前記撮像画像に映る前記目領域における前記反射光の相対的な位置情報を、前記反射光情報として検出してもよい。
【００２６】
このようにすれば、顔方向が変化した場合に目領域における反射光の相対的な位置情報も変化することを利用して、顔方向の変化を検出できる。
【００２７】
また本発明の一態様では、前記反射情報検出部は、前記目領域の目じり及び目頭に対する前記反射光の相対的な位置情報を、前記反射光情報として検出してもよい。
【００２８】
このようにすれば、目領域の目じり及び目頭と、これらに対する反射光の相対的な位置情報を検出するだけで、顔方向を特定するための反射光情報を検出できるようになる。
【００２９】
また本発明の一態様では、光源の照合処理を行う照合処理部を含み、前記反射情報検出部は、前記撮像画像に映る前記目領域での反射光の画像の形状情報、色情報及び強度情報の少なくとも１つを検出し、前記照合処理部は、前記撮像画像に映る前記光源の画像の形状情報、色情報及び強度情報の少なくとも１つと、前記反射光の画像の形状情報、色情報及び強度情報の少なくとも１つとの照合処理を行って、前記目領域での反射光が、前記光源からの光による反射光であるかを判定してもよい。
【００３０】
このようにすれば、撮像画像に映る光源の画像と、撮像画像に映る目領域での反射光の画像との照合処理が可能になり、例えば顔方向の誤検出を防止したり、撮影者の周囲に複数の光源が存在する場合に対応できるようになる。
【００３１】
また本発明の一態様では、前記撮像画像から、前記顔方向特定部で特定された顔方向に対応する画像範囲のトリミング処理を行う画像トリミング部を含んでもよい。
【００３２】
このようにすれば、撮影者がその顔を向けた方向の画像範囲を特定して、撮像画像からトリミングすることが可能になる。
【００３３】
また本発明の一態様では、前記顔方向特定部は、前記撮像部の方向を前記光源の光源方向として、前記撮影者の顔方向を特定してもよい。
【００３４】
このようにすれば、光源方向の検出処理を行わなくても、撮影者の顔方向を特定できるようになる。
【００３５】
また本発明の一態様では、前記撮像部が設けられる撮像装置の表示部が、前記撮影者の顔方向を特定するための前記光源として用いられ、前記反射情報検出部は、前記表示部からの光が前記目領域で反射した場合に、前記表示部からの光の反射光の反射光情報を検出し、前記顔方向特定部は、検出された前記反射光情報に基づいて、前記撮影者の顔方向を特定してもよい。
【００３６】
このようにすれば、撮像装置の表示部を、撮影者の顔方向を特定するための光源として用いることができる。そして、表示部からの光の反射光の反射光情報を検出し、検出された反射光情報に基づいて、撮影者の顔方向を特定できるようになる。
【００３７】
また本発明の一態様では、光源の照合処理を行う照合処理部を含み、前記表示部には、光源用表示物が表示され、前記反射情報検出部は、前記撮像画像に映る前記目領域での反射光の画像の形状情報、色情報及び強度情報の少なくとも１つを検出し、前記照合処理部は、前記撮像画像に映る前記光源用表示物の画像の形状情報、色情報及び強度情報の少なくとも１つと、前記反射光の画像の形状情報、色情報及び強度情報の少なくとも１つとの照合処理を行って、前記目領域での反射光が、前記表示部の前記光源用表示物からの光による反射光であるかを判定してもよい。
【００３８】
このようにすれば、撮像画像に映る光源用表示物の画像と、撮像画像に映る目領域での反射光の画像との照合処理が可能になり、例えば顔方向の誤検出を防止することが可能になる。また光源用表示物は表示部に表示されるものであるため、光源用表示物のパターン形状の制御は容易であり、光源用表示物のパターン形状を認識し易い形状等にすることで、照合処理の精度や安定度を向上できる。
【００３９】
また本発明の他の態様は、上記のいずれかに記載の顔方向特定装置と、前記撮像部とを含む撮像装置に関係する。
【００４０】
また本発明の他の態様では、画像を表示する表示部を含み、前記表示部が、前記撮影者の顔方向を特定するための前記光源として用いられ、前記反射情報検出部は、前記表示部からの光が前記目領域で反射した場合に、前記表示部からの光の反射光の反射光情報を検出し、前記顔方向特定部は、検出された前記反射光情報に基づいて、前記撮影者の顔方向を特定してもよい。
【００４１】
このようにすれば、撮像装置の表示部を、撮影者の顔方向を特定するための光源として用いて、撮影者の顔方向を特定できるようになる。
【図面の簡単な説明】
【００４２】
【図１】図１（Ａ）〜図１（Ｃ）は本実施形態の顔方向特定手法の説明図。
【図２】本実施形態の顔方向特定装置、撮像装置の第１の構成例。
【図３】本実施形態の顔方向特定手法の説明図。
【図４】図４（Ａ）、図４（Ｂ）は目領域における反射光の位置の検出手法の説明図。
【図５】図５（Ａ）、図５（Ｂ）は光源方向、反射光位置から顔方向を特定する手法の説明図。
【図６】図６（Ａ）、図６（Ｂ）は光源方向、反射光位置から顔方向を特定する手法の説明図。
【図７】本実施形態で使用される演算テーブルの一例。
【図８】図８（Ａ）〜図８（Ｄ）は反射光位置と顔方向の変化の関係について説明するための図。
【図９】図９（Ａ）、図９（Ｂ）は光源方向、反射光位置、撮影者とカメラの位置関係から顔方向を特定する手法の説明図。
【図１０】図１０（Ａ）、図１０（Ｂ）は光源方向、反射光位置、撮影者とカメラの位置関係から顔方向を特定する手法の説明図。
【図１１】本実施形態の顔方向特定処理の具体例を示すフローチャート。
【図１２】図１２（Ａ）〜図１２（Ｃ）は顔の上下方向の向きの変化を特定する法の説明図。
【図１３】本実施形態の顔方向特定装置、撮像装置の第２の構成例。
【図１４】光源画像と反射光画像の照合処理についての説明図。
【図１５】本実施形態の顔方向特定装置、撮像装置の第３の構成例。
【図１６】全方位画像から顔方向に対応する画像範囲をトリミングする手法の説明図。
【図１７】本実施形態の顔方向特定装置、撮像装置の第４の構成例。
【図１８】図１８（Ａ）〜図１８（Ｄ）は表示部を光源として顔方向を特定する手法の説明図。
【図１９】カメラと光源が一致した場合の顔方向特定手法の説明図。
【図２０】表示部に光源用表示物を表示して顔方向を特定する手法の説明図。
【図２１】図２１（Ａ）、図２１（Ｂ）はデジタルフォトフレームへの適用例。
【図２２】本実施形態の顔方向特定処理の具体例を示すフローチャート。
【発明を実施するための形態】
【００４３】
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【００４４】
１．第１の構成例
本実施形態では、眼球に映った像とその像の方向から顔の方向を特定する。例えば図１（Ａ）〜図１（Ｃ）では、撮影者ＵＳの顔の目領域において、撮影者ＵＳの前方に位置する図示しない光源（例えば蛍光灯）からの光が反射され、その反射光の位置ＰＬＲに光源の像（物体像）が映っている。そして図１（Ａ）では撮影者ＵＳの顔は正面方向（カメラ方向を基準として正面方向）を向いているが、図１（Ｂ）では、正面方向に対して２０度の顔方向となっており、図１（Ｃ）では４５度の顔方向となっている。
【００４５】
このように顔方向（顔の向き）が変化した場合に、図１（Ａ）、図１（Ｂ）、図１（Ｃ）に示すように、目領域における反射光の位置ＰＬＲが変化する。具体的には、目じりＥＴから反射光位置ＰＬＲまでの距離をＬ１とし、目頭ＥＬから反射光位置ＰＬＲまでの距離をＬ２とした場合に、Ｌ１とＬ２の距離比率が変化する。
【００４６】
そこで本実施形態では、目領域での反射光の位置ＰＬＲから、撮影者の顔方向を特定する手法を採用する。図２にこのような本実施形態の手法を実現する顔方向特定装置２０及びこれを含む撮像装置１００の第１の構成例を示す。
【００４７】
図２に示すように撮像装置１００（電子機器）は撮像部１０と顔方向特定装置２０を含む。なお撮像装置１００は、これらの構成要素以外にも、撮像画像のスルー画を表示する表示部や、撮影者の操作環境を実現する操作部や、撮像装置１００の制御を行う制御部や、外部との通信を行う通信部等の他の構成要素を含んでもよい。
【００４８】
また本実施形態では、撮像装置１００として、例えば全方位カメラなどの電子カメラ（デジタルカメラ、ビデオカメラ）を想定しているが、本実施形態の撮像装置１００は電子カメラには限定されず、例えば携帯電話機、携帯型情報端末、携帯型ゲーム機、パーソナルコンピュータ等の種々の電子機器に適用できる。
【００４９】
撮像部１０は、例えばレンズなどの光学系や、ＣＣＤやＣＭＯＳセンサなどの撮像素子により実現される。また撮像部１０は、撮像素子からのアナログ信号をデジタルデータに変換するＡＦＥ（Analog Front End）や、フォーカス制御部などを含んでもよい。そして本実施形態の撮像部１０は、少なくとも撮影者の目の撮像（目及び光源の撮像）が可能になっている。
【００５０】
撮像装置１００としては、例えば３６０度の全方位の画像を撮像できる全方位カメラを採用できる。この場合には撮像部１０は、魚眼レンズや円錐・多角錐・球面・双曲面ミラーなどの光学系を含むことができる。一例としては、撮像部１０は、第１の撮像素子と第１の魚眼レンズから構成される第１の撮像ユニットと、第２の撮像素子と第２の魚眼レンズから構成される第２の撮像ユニットを背面合わせすることで構成できる。なお撮像装置１００は、必ずしも全方位カメラである必要はなく、例えば撮影者の目と光源の画像を別個のカメラで撮影することで、本実施形態の手法を実現してもよい。即ち、通常の１台のカメラや複数台のカメラを使用する構成であってもよい。なお、以下では、撮像装置１００を、適宜、「カメラ」或いは「全方位カメラ」と呼ぶ。
【００５１】
顔方向特定装置２０は、画像取得部２２、光源情報検出部３０、反射情報検出部４０、位置関係検出部５０、顔方向特定部６０、記憶部７０を含む。なおこれらの構成要素の一部（例えば光源情報検出部、位置関係検出部、記憶部等）を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。また顔方向特定装置２０（顔方向特定システム、画像処理装置）の機能は、例えばＣＰＵ（プロセッサ）とＣＰＵ上で動作するプログラムにより実現したり、画像処理用の専用ＩＣ等により実現できる。
【００５２】
画像取得部２２は、撮像部１０により撮像された撮像画像を取得する。例えば撮像部１０からの撮像画像のデータを撮像部１０から入力することで、撮像画像を取得する。或いは図示しない通信部及びネットワークを介して撮像画像のデータを外部から受信することで、撮像画像を取得したり、記憶部７０に保存されていた撮像画像のデータを読み出すことで、撮像画像を取得してもよい。
【００５３】
ここで画像取得部２２が取得する撮像画像（処理対象画像）は、少なくとも撮影者の目の画像や光源の画像を含む。例えば撮像装置１００が全方位カメラである場合には、撮影者の目の画像と光源の画像の両方が映った全方位画像が画像取得部２２により取得される。全方位画像は、例えば同心円状の画像やこの同心円状の画像を円筒面上に投影することで得られるパノラマ画像などである。
【００５４】
なお、撮影者の目の画像や光源の画像は、例えば全方位カメラなどにより同じタイミングで取得してもよいし、別々のタイミングで取得してもよい。例えば撮影画像は、撮影者の目と光源を別々のカメラで撮影したものであってもよい。また光源の画像は、撮影者の目領域での反射光の像として検出できるものであればよく、例えば太陽や蛍光灯やランプの像などを含む物体像である。
【００５５】
光源情報検出部３０は光源情報を取得する。例えば画像取得部２２により取得された撮像画像（処理対象画像）に基づいて、光源の光源方向情報を検出（取得）する。即ち光源の方向を画像中から検出する。
【００５６】
具体的には光源情報検出部３０は、カメラ方向（撮像部の方向、撮影方向）に対する光源の方向（相対的な方向）を、光源方向情報として検出する。例えばカメラ方向と光源の方向のなす角度（相対角度）を光源方向情報して検出する。カメラ方向（基準方向）は、カメラの向く方向であり、例えばカメラの光軸の方向である。また例えば撮像画像が光源の画像と撮影者の顔画像の両方が映った全方位画像などである場合には、光源情報検出部３０は、撮像画像での光源の画像の位置情報に基づいて、光源方向情報を検出する。
【００５７】
光源方向情報は、光源方向検出部３２により検出される。光源方向検出部３２は、取得された撮像画像（全方位画像）から例えば最も輝度値が高い領域を、光源画像領域として検出する。そして検出された光源画像領域の位置情報に基づいて、光源の方向を検出する。なお画像処理以外の手法で光源方向を検出してもよい。
【００５８】
反射情報検出部４０は、撮影者の眼球において反射される光の情報を取得する。例えば画像取得部２２により取得された撮像画像に基づいて、撮影者の目領域での反射光の反射光情報を検出（取得）する。
【００５９】
具体的には反射情報検出部４０は、撮像画像に映る目領域（眼球）における反射光の相対的な位置情報を、反射光情報として検出する。更に具体的には、目領域の目じり及び目頭に対する反射光の相対的な位置情報（距離比率等）を、反射光情報として検出する。反射光の位置は、例えば、光源からの光が撮影者の目領域で反射した場合に、その反射光の像が撮像部１０の撮像面に結像する位置である。
【００６０】
反射情報検出部４０は、目領域検出部４２、反射光位置検出部４３を含む。目領域検出部４２は撮影者の目領域（眼球）を検出する。例えば撮像画像の中から撮影者の顔画像を検出し、その顔画像から目領域を検出する。この際に図１（Ａ）〜図１（Ｃ）で説明した目領域の目じりＥＴや目頭ＥＬの位置も検出する。そして反射光位置検出部４３は、このように検出された目領域での反射光の相対的な位置ＰＬＲを検出する。例えば目じりＥＴ、目頭ＥＬと反射光位置ＰＬＲとの間の距離Ｌ１、Ｌ２（距離比率）を検出する。
【００６１】
位置関係検出部５０は、撮影者とカメラの位置関係（相対的な位置関係）を検出（取得）する。例えば画像取得部２２で取得された撮像画像での撮影者の顔画像の位置情報に基づいて、撮影者とカメラの位置関係を検出する。
【００６２】
なお撮影者（眼球）とカメラ（撮像装置）の位置関係の検出手法は、撮像画像から検出する手法には限定されず、例えば超音波距離センサを用いる計測手法、ステレオカメラを用いる計測手法、ビデオカメラで合焦したレンズ位置から眼球までの距離を算出する計測手法などの種々の手法を採用できる。
【００６３】
顔方向特定部６０は顔方向の特定処理を行う。例えば光源情報検出部３０で検出された光源方向情報と、反射情報検出部４０で検出された反射光情報に基づいて、撮影者の顔方向（顔が向く方向）を特定する。また顔方向特定部６０は、位置関係検出部５０によりカメラと撮影者の相対的な位置関係が検出され、検出された位置関係を顔方向の特定に反映させる場合には、光源方向情報と、反射光情報と、カメラと撮影者との位置関係に基づいて、撮影者の顔方向を特定する。
【００６４】
記憶部７０はＲＡＭなどのメモリにより実現されるものであり、演算テーブル７２を含む。この演算テーブル７２は、例えば光源方向情報、反射光情報、カメラと撮影者の位置関係情報を入力とし、顔方向の情報を出力とするテーブルである。顔方向特定部６０は、例えばこの演算テーブル７２を用いることで撮影者の顔方向を求める。
【００６５】
図３に示すように本実施形態では、カメラ１００（撮像装置）により、撮影者ＵＳの目と光源ＬＳの画像を撮像する。そして光源情報検出部３０は、撮像画像から、光源ＬＳの光源方向ＤＬを検出する。この光源方向ＤＬはカメラ方向に対する相対的な方向である。また図４（Ａ）、図４（Ｂ）に示すように、反射情報検出部４０は、撮像画像から、撮影者ＵＳの目領域での反射光の位置ＰＬＲを検出する。この反射光の像は、光源ＬＳからの光ＬＬが目領域において反射することで得られる像である。
【００６６】
そして顔方向特定部６０は、検出された光源方向ＤＬ（広義には光源情報）と、反射光の位置ＰＬＲ（広義には反射光情報）に基づいて、撮影者ＵＳの顔方向ＤＦを特定する。このとき、位置関係検出部５０がカメラ１００と撮影者ＵＳとの位置関係ＰＣＦを求めている場合には、光源方向ＤＬと反射光位置ＰＬＲと位置関係ＰＣＦに基づいて、顔方向ＤＦを特定する。
【００６７】
即ち本実施形態では光源からの光は平行光であると仮定する。また眼球は真球であると仮定する。光源からの光が平行光であるとすると、カメラに対する光源の方向と眼球に対する光源の方向は平行（ほぼ平行）であると考えることができる。従って、カメラに対する光源の方向から、眼球に対する光源の方向を特定できる。
【００６８】
一方、眼球は真球であり、撮影者が顔方向を変えたときに眼球の中心を通る中心軸回りに眼球が回転するものと仮定すると、撮影者の顔方向が変化しても、眼球上での反射光の位置は変化しない。従って、図４（Ａ）、図４（Ｂ）に示すように、目領域中での反射光の位置と目じり及び目頭との位置関係を検出することで、カメラに対する撮影者の顔の方向を推定できる。
【００６９】
例えば反射光の位置と目じり及び目頭との位置関係が、図４（Ａ）のＣ１からＣ２の位置関係になった場合には、図１（Ａ）〜図１（Ｃ）に示すように撮影者の顔の向きが左方向に回転したと判断できる。一方、Ｃ１からＣ３の位置関係になった場合には、撮影者の顔の向きが右方向に回転したと判断できる。
【００７０】
このように本実施形態では、光源の方向の検出と反射光の位置の検出だけで、撮影者の顔方向を特定できる。従って、少ない制約下で簡素な処理により撮影者の顔方向を特定できる。例えば本実施形態の顔方向特定装置を、車内における運転者のわき見検出に適用した場合には、車内環境が予め正確に把握されていなくても、光源方向と反射光位置を検出するだけで、運転者の顔方向の変化を検出して、運転者のわき見を検出できる。また光源方向の検出や反射光位置の検出は、比較的簡素な画像処理で実現できるため、複雑な装置や処理を用いることなく撮影者の顔方向を特定できるという利点がある。
【００７１】
２．顔方向特定手法の詳細
次に図５（Ａ）〜図１２（Ｃ）を用いて本実施形態の顔方向特定手法の詳細について説明する。
【００７２】
図５（Ａ）は全方位カメラにより撮影された全方向画像ＩＭＡであるパノラマ画像の例である。このパノラマ画像の座標系では、図５（Ｂ）のカメラ方向ＤＣ（撮像部の方向、撮影方向）に対する角度φがＸ座標に対して設定され、カメラ方向ＤＣと同じ方向が角度φ＝０になる。
【００７３】
この全方位画像ＩＭＡでは、図５（Ｂ）に示すように、カメラ１００（全方位カメラ）により撮影者ＵＳと光源ＬＳの両方の画像が撮影される。そして図５（Ｂ）では、カメラ方向ＤＣに撮影者ＵＳが存在するため、図５（Ａ）に示すように撮影者ＵＳの顔画像は、全方位画像ＩＭＡのパノラマ座標系において、φ＝α＝０度（degree）の場所に映っている。ここでαは、カメラ方向ＤＣに対する撮影者の相対的な方向を表す角度であり、図５（Ｂ）ではカメラ方向ＤＣと撮影者の方向が一致しているため、α＝０度になる。
【００７４】
一方、図５（Ａ）において光源ＬＳの画像は、全方位画像ＩＭＡのパノラマ座標系において、φ＝βの場所に映っている。ここでβは、カメラ方向ＤＣに対する光源方向ＤＬの相対的な方向を表す角度（ＤＣとＤＬのなす角度）であり、図５（Ｂ）ではカメラ方向ＤＣと光源方向ＤＬのなす角度βは０度と１８０度の間の角度になっている。そして光源ＬＳからの光が平行光であると仮定すると、カメラ１００に対する光源方向ＤＬと、眼球に対する光源方向ＤＬ’は平行（ほぼ平行）になる。
【００７５】
そして反射光の位置は、眼球の各点の法線Ｎと、眼球に対する光源方向ＤＬ’と、カメラ方向ＤＣから一意的に定まる。即ち法線Ｎの方向とカメラ方向ＤＣとのなす角度と、法線Ｎの方向と光源方向ＤＬ’とのなす角度が等しくなる位置が、図４（Ａ）、図４（Ｂ）で説明した反射光の位置ＰＬＲになる。
【００７６】
また図６（Ａ）、図６（Ｂ）は、撮影者ＵＳの顔方向ＤＦが図５（Ａ）、図５（Ｂ）から変化したときの状況を示す図である。図６（Ｂ）と図５（Ｂ）では光源方向ＤＬ’は変わらず、顔方向ＤＦだけが変化している。従って図６（Ａ）に示すように、撮影者ＵＳの顔画像と光源ＬＳの画像の位置関係は変わらず、撮影者ＵＳの顔画像はφ＝α＝0度の場所に映り、光源ＬＳの画像はφ＝βの場所に映る。
【００７７】
一方、図５（Ｂ）と図６（Ｂ）を比較すれば明らかなように、顔方向ＤＦが変化することで、反射光の位置と目領域の相対的位置関係を表す距離比率Ｌ１、Ｌ２は変化する。
【００７８】
以上から明らかなように、撮影者の顔方向ＤＦを表す角度θは、θ＝ｆ（α、β、Ｌ１、Ｌ２）という関数で表すことができる。ここで角度θは、カメラ方向ＤＣに対する顔方向ＤＦの相対的な方向を表す角度（ＤＣとＤＦのなす角度）である。
【００７９】
例えば図７に、角度α、β及びＬ１とＬ２の距離比率が入力され、角度θを出力する演算テーブル７２の例を示す。
【００８０】
例えばカメラ方向ＤＣと撮影者の方向が一致してα＝０度であり、β＝１８０度であり、距離比率（Ｌ１：Ｌ２）が１対１である場合には、顔方向ＤＦを表す角度θは１８０度であると判断される。これは、撮影者及びカメラの正面方向に光源が存在し、撮影者の顔方向ＤＦが光源の方に向いており、反射光の像が眼球の瞳の中央に映っている状況を意味する。
【００８１】
また、α＝０度であり、β＝９０度であり、距離比率が例えば１対０．１である場合には、顔方向ＤＦを表す角度θは１８０度であると判断される。これは、撮影者及びカメラの真横の方向に光源が存在し、撮影者の顔方向ＤＦが光源方向と直交する方向に向いており、反射光の像が眼球の目頭付近の位置に映っている状況を意味する。
【００８２】
このように本実施形態では、光源方向を表す角度βと、反射光の位置を表す距離比率（Ｌ１：Ｌ２）により、撮影者の顔方向ＤＦを特定している。
【００８３】
例えば図８（Ａ）、図８（Ｂ）に、撮影者の顔方向ＤＦが変化することで眼球の向く方向が変化している状況を示す。ここで、眼球は真球であり、撮影者の顔方向ＤＦが変化したときに、眼球がその中心を通る中心軸回りに回転すると仮定する。すると、図８（Ａ）と図８（Ｂ）で、反射光位置ＰＬＲの場所自体は変化しないが、目領域に対する反射光位置ＰＬＲの相対的な位置関係は変化する。即ち目じりＥＴ及び目頭ＥＬと反射光位置ＰＬＲとの相対的な位置関係は変化する。従って、この相対的な位置関係を検出することで、顔方向ＤＦを検出できる。
【００８４】
一方、図８（Ｃ）、図８（Ｄ）は、図８（Ａ）、図８（Ｂ）に対して眼球に対する光源方向ＤＬ’（カメラに対する光源方向ＤＬ）が変化している。この場合には、反射光位置ＰＬＲの場所自体が、図８（Ａ）、図８（Ｂ）から変化する。そして撮影者の顔方向ＤＦが変化すると、目領域に対する反射光位置ＰＬＲの相対的な位置関係が変化する。
【００８５】
これらの図８（Ａ）〜図８（Ｄ）から明らかなように、光源方向ＤＬ’（ＤＬ）を求めることで、反射光位置ＰＬＲの場所が特定され、そのときの目領域に対する反射光位置ＰＬＲの相対的な位置関係（Ｌ１：Ｌ２）を特定することで、顔方向ＤＦを特定できるようになる。
【００８６】
図９（Ａ）、図９（Ｂ）は、カメラ１００と撮影者の相対的な位置関係が、図５（Ａ）、図５（Ｂ）の位置関係から変化した状況を示す図である。即ち図５（Ｂ）ではカメラ方向ＤＣの場所に撮影者が存在していたが、図９（Ｂ）では、カメラ方向ＤＣに対して角度αをなす方向の場所に撮影者が存在している。この場合には、図９（Ａ）の全方位画像ＩＭＡにおいて、撮影者ＵＳの顔画像は、φ＝α＞０の場所に映る。即ち図５（Ａ）に対して撮影者ＵＳの顔画像の位置が変化する。
【００８７】
一方、図９（Ｂ）では図５（Ｂ）に対して光源方向ＤＬ’（ＤＬ）については変化しないため、光源ＬＳの画像は図５（Ａ）と同じ位置に映る。従って、図９（Ａ）では角度差β−αは、図５（Ａ）に比べて小さくなる。
【００８８】
図１０（Ａ）、図１０（Ｂ）は、撮影者ＵＳの顔方向ＤＦが図９（Ａ）、図９（Ｂ）から変化したときの状況を示す図である。この場合には、距離比率（Ｌ１：Ｌ２）が変化するため、これを検出することで、顔方向ＤＦの変化を検出できる。
【００８９】
以上のように、顔方向ＤＦの特定に、カメラと撮影者の相対的な位置関係も反映させる場合には、この位置関係を表す角度αも考慮して、顔方向ＤＦを表す角度θ＝（α、β、Ｌ１、Ｌ２）を求めればよい。こうすることで顔方向ＤＦを、より正確に特定することが可能になる。
【００９０】
なお、カメラと撮影者の位置関係が固定されているものと想定し、顔方向ＤＦの大まかな変化を求める場合には、角度θの計算に角度αを反映させないようにしてもよい。
【００９１】
次に図１１のフローチャートを用いて本実施形態の手法の詳細な処理例について説明する。
【００９２】
まず全方位画像の撮像処理を行う（ステップＳ１）。即ち図５（Ａ）等に示すように撮影者の顔画像と光源の画像の両方が映った全方位画像を撮影する。
【００９３】
次に、得られた全方位画像から撮影者の顔領域を検出し、顔領域から目領域を検出する（ステップＳ２、Ｓ３）。そして図４（Ａ）、図４（Ｂ）で説明したように、反射光の検出処理を行い、目じり及び目頭と反射光の位置についての距離比率（Ｌ１：Ｌ２）を計算する（ステップＳ４、Ｓ５）。
【００９４】
そして距離比率を計算できた場合には、光源方向の検出処理を行う（ステップＳ６、Ｓ７）。例えば図５（Ａ）のように光源の画像の位置を求めることで、光源方向を検出する。そして、光源方向を検出できた場合には、顔位置、距離比率、光源方向を用いて演算テーブルにより顔方向を特定する（ステップＳ８、Ｓ９）。即ち図７で説明した演算テーブルを用いて顔方向を表す角度θを求める。
【００９５】
以上のように本実施形態では、全方位画像ＩＭＡ（広義には撮像画像）での光源ＬＳの画像の位置情報に基づいて、カメラ方向ＤＣ（撮像装置の方向）に対する光源方向ＤＬ’（ＤＬ）を検出する。即ち図５（Ａ）等の光源ＬＳの画像の位置から角度βを求めて、光源方向ＤＬ’（ＤＬ）を検出する。
【００９６】
また全方位画像ＩＭＡに映る目領域における反射光の相対的な位置情報を検出する。例えば目じり及び目頭と反射光位置との距離比率を、相対的な位置情報として検出する。
【００９７】
そして、検出された光源方向ＤＬ’と、反射光の相対的な位置情報（Ｌ１：Ｌ２）に基づいて、撮影者の顔方向ＤＦを特定する。或いは図９（Ａ）〜図１０（Ｂ）で説明したように、全方位画像ＩＭＡでの撮影者の顔画像の位置情報に基づいて、カメラと撮影者との位置関係を検出する。即ちカメラ方向ＤＣに対する撮影者の方向を表す角度αを検出する。そして、光源方向ＤＬ’と、反射光の位置情報と、カメラと撮影者との位置関係に基づいて、撮影者の顔方向ＤＦを特定する。
【００９８】
このようにすれば、全方位画像ＩＭＡに対して簡単な画像処理を行うだけで、光源方向と反射光位置を求めて、撮影者の顔方向を特定できるようになる。更にカメラと撮影者の位置関係も反映させて顔方向を特定することで、顔方向の更に正確な特定が可能になる。
【００９９】
なお本実施形態では、眼球に対する光源方向の算出の際に眼球を真球であると仮定したが、眼球についての人間工学的なデータや個人データに基づいて、眼球に対する光源方向ベクトルを算出する手法や、眼球の曲率、半径などを推定してから精度良く眼球に対する光源方向ベクトルを算出する手法を採用してもよい。こうすることで、より高い精度で眼球に対する光源方向を検出できる。或いは、両目を用いる検出手法や目の顔面内方向の回転を考慮する手法で精度の向上を図ってもよい。
【０１００】
また、以上では、撮影者の左右方向での顔の向きの変化を検出する例について説明したが、同様の手法により上下方向での顔も向きの変化も検出できる。
【０１０１】
例えば図１２（Ａ）において、ＸＥ、ＹＥ、ＺＥのいずれの座標軸回りで眼球が回転したとしても、カメラ方向ＤＣと眼球が交わる交点Ｐ１の位置や、光源方向ＤＬ’と眼球が交わる交点Ｐ２の位置は変化せず、反射光位置ＰＬＲの場所も変化しない。
【０１０２】
そして図１２（Ｂ）に示すように、撮影者の顔方向が変化して、ＸＥ、ＹＥ、ＺＥの座標軸回りで眼球が回転すると、反射光位置ＰＬＲと目領域ＲＥとの相対的な位置関係だけが変化する。例えばＬ１とＬ２の距離比率やＬ３とＬ４の距離比率が変化する。従って、撮影者の顔方向が変化して、ＸＥ、ＹＥ、ＺＥの座標軸回りで眼球が回転した場合に、反射光位置ＰＬＲと目領域ＲＥとの相対的な位置関係を検出することで、左右方向のみならず上下方向での顔の向きの変化も検出できる。例えば図５（Ａ）では、パノラマ座標系のＸ軸方向に設定された角度φ＝β、γを求めることで、光源方向等を検出したが、顔の向きが上下方向に変化する場合には、パノラマ座標系のＹ軸方向に設定された角度φ２＝ρ、γを求めることで、光源方向等を検出すればよい。
【０１０３】
３．第２の構成例
図１３に本実施形態の第２の構成例を示す。この第２の構成例では、顔方向特定装置２０は、図２の第１の構成例の構成要素に加えて、光源の照合処理を行う照合処理部８０を更に含む。また光源情報検出部３０は、光源方向検出部３２に加えて、光源形状認識部３４、光源色認識部３５、光源強度認識部３６を含む。また反射情報検出部４０は、目領域検出部４２、反射光位置検出部４３に加えて、反射光形状認識部４４、反射光色認識部４５、反射光強度認識部４６を含む。
【０１０４】
例えば図１（Ａ）〜図１（Ｃ）の手法により反射光位置ＰＬＲを検出して、撮影者の顔方向を検出する場合に、撮影者の周囲には太陽や蛍光灯などの複数の光源が存在している可能性がある。そして図５（Ａ）のように全方位画像ＩＭＡでの光源の画像の位置（φ＝β）から光源方向を検出する場合に、光源方向が検出された光源と、目領域に映る反射光の像を形成する光源とが異なる光源であると、顔方向が誤検出されてしまう。
【０１０５】
そこで本実施形態の第２の構成例では、図１４に示すように、撮像画像（全方位画像）に映る光源の画像ＩＬＳと、目領域に映る反射光の画像ＩＬＲの照合処理（マッチング処理）を行うことで、上記のような顔方向の誤検出を防止する。また撮影者の周囲に複数の光源が存在する場合にもこれに対応できるようにする。
【０１０６】
具体的には図１３の光源情報検出部３０は、撮像画像に映る光源の画像の形状情報、色情報及び強度情報の少なくとも１つを検出する。これらの光源の画像の形状情報、色情報、強度情報の検出は、各々、光源形状認識部３４、光源色認識部３５、光源強度認識部３６により行われる。
【０１０７】
例えば光源形状認識部３４は、撮像画像に映る光源の形状が、例えば細長い形状なのか丸い形状なのかなどを、画像認識処理により認識する。例えば予め用意された複数の形状パターンとの照合処理を行うことで光源の形状を認識する。また光源色認識部３５は、撮像画像に映る光源の色を認識する。例えばＲ、Ｇ、Ｂ成分等を解析することで光源の色を認識する。また光源強度認識部３６は、撮像画像に映る光源が、強い強度の光源なのか弱い強度の光源なのかなどを認識する。例えば画像の輝度値を検出することで光源の強度を認識する。
【０１０８】
また反射情報検出部４０は、撮像画像に映る目領域での反射光の画像の形状情報、色情報及び強度情報の少なくとも１つを検出する。これらの反射光の画像の形状情報、色情報、強度情報の検出は、各々、反射光形状認識部４４、反射光色認識部４５、反射光強度認識部４６により行われる。そして、これらの反射光形状認識部４４、反射光色認識部４５、反射光強度認識部４６は、上述した光源形状認識部３４、光源色認識部３５、光源強度認識部３６と同様の処理により、目領域に映る反射光の画像の形状、色、強度を認識する。
【０１０９】
そして照合処理部８０は、光源の画像の形状情報、色情報、強度情報の少なくとも１つと、反射光の画像の形状情報、色情報、強度情報の少なくとも１つとの照合処理を行って、目領域での反射光が、光源からの光による反射光であるかを判定する。この場合に形状、色、強度の１つだけで照合処理を行ってもよいし、形状、色、強度のうちの２つ又は３つを用いて照合処理を行ってもよい。
【０１１０】
そして顔方向特定部６０は、照合処理部８０での照合処理により、光源画像の形状や色や強度と、反射光画像の形状や色や強度が一致したことを条件に、光源方向情報、反射光情報等に基づく顔方向の特定処理を行う。こうすることで、光源方向が検出された光源と、反射光の像を形成する光源とが異なる光源である場合には、顔方向の特定処理は行われないようになるため、顔方向の誤検出を防止できる。また撮影者の周囲に複数の光源が存在する場合にも対応できるようになる。
【０１１１】
４．第３の構成例
図１５に本実施形態の第３の構成例を示す。この第３の構成例では、顔方向特定装置２０は、図２の第１の構成例の構成要素に加えて、画像トリミング部９０を更に含む。なお図１３の第２の構成例と図１５の第３の構成例を組み合わせた変形実施も可能である。具体的には図１３の第２の構成例に対して画像トリミング部９０の構成要素を加えてもよい。
【０１１２】
画像トリミング部９０（フレーミング部）は画像のトリミング処理（フレーミング処理）を行う。具体的には、画像取得部２２により取得された撮像画像から、顔方向特定部６０で特定された顔方向に対応する画像範囲のトリミング処理を行う。例えば撮像部１０で撮影された全方位画像の中から、顔方向に対応する例えば矩形形状の画像範囲を切り出す処理を行う。
【０１１３】
例えば図１６において、撮影者ＵＳが所持するカメラ１００により、撮影者ＵＳの周囲の全方位画像ＩＭＡが撮影されている。そして顔方向ＤＦが図１６に示す方向である場合には、撮影者ＵＳは、全方位画像ＩＭＡのうち顔方向ＤＦに対応する画像範囲ＲＩＭに存在する風景や人物等の被写体に興味を持っていると推定できる。
【０１１４】
そこで、撮影者ＵＳが指定した画角又は任意の画角で、全方位画像ＩＭＡの中から画像範囲ＲＩＭをトリミングする処理を行う。この場合に、例えば撮影者ＵＳが手動で画角を指定して画像範囲ＲＩＭをトリミングしたり、顔が向いている時間に応じて撮影者ＵＳの興味の度合いを判断し、画角を決定してもよい。
【０１１５】
例えば全方位カメラにより全方位画像を撮影した場合に、その時々の状況において撮影者が一体どの被写体に興味を持って撮影したのかを、後から判断することは難しい。
【０１１６】
この点、第３の構成例では、撮影者の顔方向が自動認識され、その顔方向に対応する画像範囲が自動的にトリミングされる。従って、撮影者が意識しなくても、その時々の状況において撮影者が興味を持ったと思われる被写体を含む画像を、ユーザに提示することが可能になる。
【０１１７】
なお、トリミングされた画像は、カメラ等に設けられた表示部にスルー画としてリアルタイムに表示してもよいし、トリミングされた画像のデータを記憶部７０に保存（記録）しておいて、後々に撮影者がＰＣ（パーソナルコンピュータ）等を用いてトリミング画像を鑑賞できるようにしてもよい。この場合に本実施形態のトリミング処理は、画像範囲の画像を実際にトリミングする処理には限定されず、例えばそのトリミング範囲を指定する範囲指定情報を、全方位画像等の撮像画像に関連づけて記憶部７０に保存する処理も含まれる。この場合には、後々に撮影者がＰＣ等を用いて鑑賞する際に、撮像画像に関連づけられた範囲指定情報に基づいて、画像範囲に対応する画像を切り出せばよい。
【０１１８】
５．第４の構成例
図１７に本実施形態の第４の構成例を示す。この第４の構成例では、図２で設けられていた光源情報検出部３０が設けられていない。また図１７では例えば表示制御部１１０、表示部１２０が設けられている。なお図１７の第４の構成例と図１３、図１５の第２、第３の構成例等を組み合わせた変形実施も可能である。
【０１１９】
例えば図５（Ａ）、図５（Ｂ）では、撮像画像（全方位画像）ＩＭＡに映る光源ＬＳの画像から光源方向情報（ＤＬ、ＤＬ’）を検出し、検出された光源方向情報と反射光情報（Ｌ１、Ｌ２）に基づき撮影者の顔方向（ＤＦ）を特定している。しかしながら、光源方向情報が予め既知である場合には、光源方向情報の検出は不要であり、このため図１７の第４の構成例では光源情報検出部の構成要素が省略されている。
【０１２０】
具体的には図１７では、顔方向特定部６０は、所定の方向に光源方向が固定されているとして、撮影者の顔方向を特定する。例えば顔方向特定部６０は、カメラ方向（撮像部１０の方向）を光源の光源方向として、撮影者の顔方向を特定する。
【０１２１】
電子カメラ、携帯電話機、携帯型ゲーム機などの撮像装置１００では、画像を表示する表示部１２０と、表示部１２０に画像を表示する制御を行う表示制御部１１０を備えている。表示部１２０には例えばバックライトなどが設けられ、本実施形態では、表示部１２０（バックライト）が撮影者の顔方向を特定するための光源として用いられる。
【０１２２】
そして反射情報検出部４０は、表示部１２０からの光が目領域で反射した場合に、表示部１２０からの光の反射光の反射光情報を検出する。そして顔方向特定部６０は、検出された反射光情報に基づいて、撮影者の顔方向を特定する。
【０１２３】
また図１７の第４の構成例の手法と図１３の第２の構成例の手法を組み合わせてもよい。この場合には表示部１２０には、光源用表示物が表示される。そして反射情報検出部４０は、撮像画像に映る目領域での反射光の画像の形状情報、色情報及び強度情報の少なくとも１つを検出する。また照合処理部８０は、撮像画像に映る光源用表示物の画像の形状情報、色情報及び強度情報の少なくとも１つと、反射光の画像の形状情報、色情報及び強度情報の少なくとも１つとの照合処理を行う。そして目領域での反射光が、表示部の光源用表示物からの光による反射光であるかを判定する。こうすることで、表示部１２０に表示される光源用表示物を、光源として適正に検出できるようになる。これにより、光源の誤検出を防止でき、顔方向の誤検出を防止できるようになる。
【０１２４】
次に図１８（Ａ）〜図１８（Ｄ）を用いて本実施形態の第４の構成例の手法について詳細に説明する。
【０１２５】
図１８（Ａ）において、携帯電話機ＰＤ（広義には撮像装置）には、カメラＣＭと表示部ＤＩＳＰが設けられている。そして表示部ＤＩＳＰからの光が、撮影者（ユーザ）の目領域で反射している。即ち表示部ＤＩＳＰからの光の反射像ＩＭＲが位置ＰＬＲに映っている。
【０１２６】
図１８（Ｂ）では、カメラＣＭの方向に対して撮影者の顔方向ＤＦが変化している。この場合には目領域での反射像ＩＭＲの位置ＰＬＲも変化する。そして図１８（Ａ）、図１８（Ｂ）では光源方向ＤＬはカメラ方向とほぼ一致していると考えられる。従って、この反射位置ＰＬＲを検出することで、光源方向ＤＬを検出することなく、顔方向ＤＦを特定できるようになる。
【０１２７】
具体的には図１８（Ｃ）、図１８（Ｄ）に示すように携帯電話機ＰＤのカメラ方向に対して顔方向ＤＦが変化すると、反射光の位置と目領域の相対的位置関係を表すＬ１、Ｌ２の距離比率が変化する。従って、この距離比率を求めることで、光源方向ＤＬを検出することなく顔方向ＤＦを特定できる。
【０１２８】
例えば図１９において、カメラＣＭと光源ＬＳは一致していると考えられるため、カメラ方向ＤＣと光源方向のなす角度βは０度になる。また撮影者の方向を表す角度αも０度になる。従って、撮影者の顔方向ＤＦを表す角度θは、θ＝ｆ（α、β、Ｌ１、Ｌ２）＝ｆ（０、０、Ｌ１、Ｌ２）と表される。従って、図７で説明したテーブル等を用いて角度θを求めることで、撮影者の顔方向ＤＦを特定できるようになる。
【０１２９】
また図２０に示すように、表示部ＤＩＳＰに、認識しやすい形状パターンである光源用表示物ＬＯＢを表示するようにしてもよい。例えば図２０では三角形の形状パターンが光源用表示物ＬＯＢとして表示されている。
【０１３０】
このようにすれば、例えば図１３、図１４で説明したような光源の照合処理を行うことで、光源用表示物ＬＯＢを光源として容易に認識することが可能になる。即ち、カメラＣＭの撮像画像に映る光源用表示物ＬＯＢの画像の形状情報や色情報や強度情報と、目に映る反射光の画像の形状情報や色情報や強度情報の照合処理を行って、目領域の反射光が、光源用表示物ＬＯＢからの光による反射光であるかを判定する。例えば図２０では、目領域の反射光が三角形の形状パターンである場合には、光源表示物ＬＯＢからの反射光であると判定する。こうすることで、より安定度・精度が高い顔方向の特定処理を実現できる。なお光源表示物ＬＯＢの形状は三角形には限定されず、円、四角形、ウィンドウ形状等の種々の形状パターンが考えられる。
【０１３１】
例えば顔の向きにより操作情報を入力するインターフェースモードでは、当該インターフェースモードへの移行時に、図２０に示すような光源用表示物ＬＯＢを表示部ＤＩＳＰに表示する。そして顔方向の特定処理により、顔を右に向けたと判定した場合には第１の操作（例えばページめくり）、顔を左に向けたと判定した場合には第２の操作（例えばページ戻し）、顔を上に向けたと判定した場合には第３の操作（例えば否定の意思表示）、顔を下に向けたと判定した場合には第４の操作（例えば肯定の意思表示）が行われたと判断する。このようにすれば、これまでにないタイプのインターフェース環境を提供できるようになる。
【０１３２】
また本実施形態の手法は種々の機器に適用できる。例えば図２１（Ａ）、図２１（Ｂ）はデジタルフォトフレーム３００への適用例である。このデジタルフォトフレーム３００は、フォトスタンドの写真を入れる部分が液晶ディスプレイ等の表示部３４０に置き換えられた形態の装置であり、メモリカードや通信装置を介して読み込まれたデジタルの画像データ（電子写真）の再生処理を行う。具体的には、このデジタルフォトフレーム３００は、家の中などの任意の場所にユーザにより設置される。そして、デジタルの画像データや音データなどのコンテンツ情報の再生処理（画像再生、音再生）を実行する。デジタルフォトフレーム３００は、例えばユーザの明示的な再生指示がなくても、画像等のコンテンツ情報（メディア情報）を自動的に再生することができる。例えば写真のスライドショーを自動的に実行したり、映像の自動再生を行う。なおデジタルフォトフレーム３００は壁掛けタイプのものであってもよい。
【０１３３】
そしてこのデジタルフォトフレーム３００には、カメラ（撮像部）３５０が設けられており、デジタルフォトフレーム３００に表示されるコンテンツを鑑賞するユーザを撮影することができる。またカメラ３５０の近くには図２０で説明した光源用表示物ＬＯＢが表示されている。そして、カメラ３５０で撮影した撮像画像を用いて、光源用表示物ＬＯＢの反射光が映る目領域の位置（Ｌ１、Ｌ２）を検出することで、ユーザの顔方向を特定する。
【０１３４】
例えば図２１（Ａ）では、顔方向の特定処理により、ユーザの顔方向がデジタルフォトフレーム３００の表示部３４０の方に向いていないと判定される。即ち表示部３４０を注視していないと判定される。従って、この場合にはデジタルフォトフレーム３００は非注視モードに設定され、壁紙・時計・カレンダ等の背景画像コンテンツが表示部３４０に表示される。
【０１３５】
一方、図２１（Ｂ）では、顔方向の特定処理により、ユーザの顔方向がデジタルフォトフレーム３００の表示部３４０の方に向いていると判定される。即ち表示部３４０を注視していると判定される。従って、この場合にはデジタルフォトフレーム３００は注視モードに設定され、通常コンテンツ（注視用コンテンツ）が表示部３４０に表示される。例えばデジタルフォトフレーム３００に記録されている写真のスライドショーを実行する。こうすることで、これまでにないタイプのデジタルフォトフレームを提供できる。
【０１３６】
図２２に本実施形態の処理を説明するフローチャートを示す。まず背景画像コンテンツを表示する（ステップＳ１１）。そして、カメラによりユーザの顔画像を取得し、取得された顔画像に基づいて目領域の検出処理と反射光の検出処理を行う（ステップＳ１２、Ｓ１３、Ｓ１４）。
【０１３７】
次に、目じり、目頭、反射光の位置の距離比率の計算処理を行い、演算テーブルにより顔方向を特定する（ステップＳ１５、Ｓ１６）。そして図２１（Ａ）、図２１（Ｂ）で説明したように、ユーザが表示部３４０を注視しているか否かを検出し、注視している場合には通常コンテンツを表示する（ステップＳ１７、Ｓ１８）。
【０１３８】
なお、上記のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば明細書又は図面において、少なくとも一度、より広義または同義な異なる用語（撮像装置、撮像画像、光源情報、反射光情報等）と共に記載された用語（カメラ・全方位カメラ、全方位画像、光源方向、反射光位置等）は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。
【０１３９】
また顔画像特定装置、撮像装置の構成、動作も本実施形態で説明したものに限定されず、種々の変形実施が可能である。例えば本実施形態の顔方向特定装置は種々の機器に適用できる。例えば本実施形態の顔方向特定装置をカメラ付き携帯電話機に設けた場合に、携帯電話機が有する液晶表示部（広義には表示装置）を本実施形態の光源として利用できる。特に、液晶表示部と同じ面に設けられた自分撮り用のカメラを有効利用することで、容易且つ安価に本実施形態の顔方向特定手法を実現できる。
【符号の説明】
【０１４０】
ＵＳ 撮影者、ＬＳ 光源、ＤＬ、ＤＬ’ 光源方向、ＤＣ カメラ方向、
Ｎ 法線、ＤＦ 顔方向、ＰＬＲ 反射光位置、ＥＴ 目じり、ＥＬ 目頭、
１０ 撮像部、２０ 顔方向特定装置、２２ 画像取得部、３０ 光源情報検出部、
３２ 光源方向検出部、３４ 光源形状認識部、３５ 光源色認識部、
３６ 光源強度認識部、４２ 目領域検出部、４３ 反射光位置検出部、
４４ 反射光形状認識部、４５ 反射光色認識部、４６ 反射光強度認識部、
５０ 位置関係検出部、６０ 顔方向特定部、７０ 記憶部、７２ 演算テーブル、
８０ 照合処理部、９０ 画像トリミング部、１００ 撮像装置
【技術分野】
【０００１】
本発明は、顔方向特定装置及び撮像装置等に関係する。
【背景技術】
【０００２】
近年、ヒューマンインターフェース環境等の向上のために、人間の顔の方向を特定する顔方向特定手法が実用化されつつある。このような顔方向特定手法の従来技術としては特許文献１、２などに開示される技術がある。
【０００３】
例えば特許文献１の従来技術では、顔の円筒モデルを作成し，初期値テンプレートにより表現されている円筒モデルを様々な回転角度で回転させ、そのずれから顔方向を特定している。また特許文献２の従来技術では、左右の眼鏡に車両内の構造物が映り込むことを利用し，左右の眼鏡への映り込みの移動から顔方向を特定している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−１９７７２２
【特許文献２】特開２００４−７０５１４
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１の従来技術では、モデルの作成が煩雑であったり、モデルフィッティングの演算のためのハードウェアの処理負荷が大きいという課題がある。また特許文献２の従来技術では、顔方向特定の対象となる対象者が眼鏡を掛けている必要があることや、車内環境を予め正確に把握しておく必要があるなどの制約条件が多く、その実現が容易ではないという課題がある。
【０００６】
本発明の幾つかの態様によれば、簡素な処理で顔方向の特定が可能な顔方向特定装置及び撮像装置等を提供できる。
【課題を解決するための手段】
【０００７】
本発明の一態様は、少なくとも撮影者の目を撮像可能な撮像部により撮像された撮像画像を取得する画像取得部と、取得された前記撮像画像に基づいて、前記撮影者の目領域での反射光の反射光情報を検出する反射情報検出部と、前記反射光情報に基づいて、前記撮影者の顔方向を特定する顔方向特定部とを含む顔方向特定装置に関係する。
【０００８】
本発明の一態様によれば、撮影者の目を撮像可能な撮像部により撮像された撮像画像が取得され、撮影者の目領域での反射光の反射光情報が検出される。そして、検出された反射光情報により、撮影者の顔方向が特定される。このようにすれば、反射光情報等の検出処理を行うだけで、撮影者の顔方向を特定できるため、簡素な処理で顔方向の特定が可能な顔方向特定装置の提供が可能になる。
【０００９】
また本発明の一態様では、取得された前記撮像画像に基づいて、前記光源の光源方向情報を検出する光源情報検出部を含み、前記顔方向特定部は、検出された前記光源方向情報と前記反射光情報とに基づいて、前記撮影者の顔方向を特定してもよい。
【００１０】
このようにすれば、反射光情報のみならず光源方向情報についても撮像画像に基づき検出し、光源方向も反映させた顔方向の特定処理を実現できるようになる。
【００１１】
また本発明の一態様では、前記光源情報検出部は、前記撮像部の方向に対する前記光源の方向を、前記光源方向情報として検出してもよい。
【００１２】
このようにすれば、撮像装置の方向に対する相対的な光源方向を光源方向情報として検出して、顔方向を特定できるようになる。
【００１３】
また本発明の一態様では、前記光源情報検出部は、前記撮像画像での前記光源の位置情報に基づいて、前記光源方向情報を検出してもよい。
【００１４】
このように撮像画像において光源が映る位置を特定する位置情報を利用して光源方向情報を検出すれば、負荷が少ない簡素な処理で光源方向情報を検出できるようになる。
【００１５】
また本発明の一態様では、前記光源情報検出部は、前記撮像画像での前記光源の画像の位置情報に基づいて、前記撮像部の方向に対する前記光源の方向を検出し、前記反射情報検出部は、前記撮像画像に映る前記目領域における前記反射光の相対的な位置情報を検出し、前記顔方向特定部は、検出された前記光源の方向と、前記反射光の相対的な位置情報とに基づいて、前記撮影者の顔方向を特定してもよい。
【００１６】
このようにすれば、撮像画像を用いて、光源の画像の位置情報から光源の方向を検出できると共に、撮像画像に映る目領域における反射光の相対的な位置情報を検出できる。そして、これらの光源の方向と反射光の相対的な位置情報に基づき顔方向を特定できるため、撮像画像を用いた簡素な画像処理等で顔方向の特定が可能になる。
【００１７】
また本発明の一態様では、前記撮像部と前記撮影者との位置関係を検出する位置関係検出部を含み、前記位置関係検出部は、前記撮像画像での前記撮影者の顔画像の位置情報に基づいて、前記撮像部と前記撮影者との位置関係を検出してもよい。
【００１８】
このようにすれば、光源方向の検出や反射光の相対的な位置情報の検出に利用される撮像画像を有効活用して、撮像装置と撮影者の位置関係も反映させた撮影者の顔方向の特定が可能になる。
【００１９】
また本発明の一態様では、前記画像取得部は、前記撮像画像として全方位画像を取得し、前記光源情報検出部は、前記全方位画像での前記光源の画像の位置情報に基づいて、前記光源方向情報を検出し、前記反射情報検出部は、前記全方位画像に映る前記目領域における前記反射光の相対的な位置情報に基づいて、前記反射光情報を検出してもよい。
【００２０】
このようにすれば、光源の画像や目領域における反射光の画像が全方位画像に映ることを利用して、光源方向情報や反射光情報を検出して、撮影者の顔方向を特定できるようになる。
【００２１】
また本発明の一態様では、前記撮像部と前記撮影者との位置関係を検出する位置関係検出部を含み、前記顔方向特定部は、前記反射光情報と、前記撮像部と前記撮影者との位置関係とに基づいて、前記撮影者の顔方向を特定してもよい。
【００２２】
このようにすれば、撮像装置と撮影者の位置関係も反映させた顔方向の特定処理が可能になる。
【００２３】
また本発明の一態様では、前記位置関係検出部は、前記撮像画像での前記撮影者の顔画像の位置情報に基づいて、前記撮像部と前記撮影者との位置関係を検出してもよい。
【００２４】
このようにすれば、例えば光源方向情報や反射光情報のみならず、撮像装置と撮影者との位置関係についても撮像画像に基づき検出して、顔方向を特定できるようになる。
【００２５】
また本発明の一態様では、前記反射情報検出部は、前記撮像画像に映る前記目領域における前記反射光の相対的な位置情報を、前記反射光情報として検出してもよい。
【００２６】
このようにすれば、顔方向が変化した場合に目領域における反射光の相対的な位置情報も変化することを利用して、顔方向の変化を検出できる。
【００２７】
また本発明の一態様では、前記反射情報検出部は、前記目領域の目じり及び目頭に対する前記反射光の相対的な位置情報を、前記反射光情報として検出してもよい。
【００２８】
このようにすれば、目領域の目じり及び目頭と、これらに対する反射光の相対的な位置情報を検出するだけで、顔方向を特定するための反射光情報を検出できるようになる。
【００２９】
また本発明の一態様では、光源の照合処理を行う照合処理部を含み、前記反射情報検出部は、前記撮像画像に映る前記目領域での反射光の画像の形状情報、色情報及び強度情報の少なくとも１つを検出し、前記照合処理部は、前記撮像画像に映る前記光源の画像の形状情報、色情報及び強度情報の少なくとも１つと、前記反射光の画像の形状情報、色情報及び強度情報の少なくとも１つとの照合処理を行って、前記目領域での反射光が、前記光源からの光による反射光であるかを判定してもよい。
【００３０】
このようにすれば、撮像画像に映る光源の画像と、撮像画像に映る目領域での反射光の画像との照合処理が可能になり、例えば顔方向の誤検出を防止したり、撮影者の周囲に複数の光源が存在する場合に対応できるようになる。
【００３１】
また本発明の一態様では、前記撮像画像から、前記顔方向特定部で特定された顔方向に対応する画像範囲のトリミング処理を行う画像トリミング部を含んでもよい。
【００３２】
このようにすれば、撮影者がその顔を向けた方向の画像範囲を特定して、撮像画像からトリミングすることが可能になる。
【００３３】
また本発明の一態様では、前記顔方向特定部は、前記撮像部の方向を前記光源の光源方向として、前記撮影者の顔方向を特定してもよい。
【００３４】
このようにすれば、光源方向の検出処理を行わなくても、撮影者の顔方向を特定できるようになる。
【００３５】
また本発明の一態様では、前記撮像部が設けられる撮像装置の表示部が、前記撮影者の顔方向を特定するための前記光源として用いられ、前記反射情報検出部は、前記表示部からの光が前記目領域で反射した場合に、前記表示部からの光の反射光の反射光情報を検出し、前記顔方向特定部は、検出された前記反射光情報に基づいて、前記撮影者の顔方向を特定してもよい。
【００３６】
このようにすれば、撮像装置の表示部を、撮影者の顔方向を特定するための光源として用いることができる。そして、表示部からの光の反射光の反射光情報を検出し、検出された反射光情報に基づいて、撮影者の顔方向を特定できるようになる。
【００３７】
また本発明の一態様では、光源の照合処理を行う照合処理部を含み、前記表示部には、光源用表示物が表示され、前記反射情報検出部は、前記撮像画像に映る前記目領域での反射光の画像の形状情報、色情報及び強度情報の少なくとも１つを検出し、前記照合処理部は、前記撮像画像に映る前記光源用表示物の画像の形状情報、色情報及び強度情報の少なくとも１つと、前記反射光の画像の形状情報、色情報及び強度情報の少なくとも１つとの照合処理を行って、前記目領域での反射光が、前記表示部の前記光源用表示物からの光による反射光であるかを判定してもよい。
【００３８】
このようにすれば、撮像画像に映る光源用表示物の画像と、撮像画像に映る目領域での反射光の画像との照合処理が可能になり、例えば顔方向の誤検出を防止することが可能になる。また光源用表示物は表示部に表示されるものであるため、光源用表示物のパターン形状の制御は容易であり、光源用表示物のパターン形状を認識し易い形状等にすることで、照合処理の精度や安定度を向上できる。
【００３９】
また本発明の他の態様は、上記のいずれかに記載の顔方向特定装置と、前記撮像部とを含む撮像装置に関係する。
【００４０】
また本発明の他の態様では、画像を表示する表示部を含み、前記表示部が、前記撮影者の顔方向を特定するための前記光源として用いられ、前記反射情報検出部は、前記表示部からの光が前記目領域で反射した場合に、前記表示部からの光の反射光の反射光情報を検出し、前記顔方向特定部は、検出された前記反射光情報に基づいて、前記撮影者の顔方向を特定してもよい。
【００４１】
このようにすれば、撮像装置の表示部を、撮影者の顔方向を特定するための光源として用いて、撮影者の顔方向を特定できるようになる。
【図面の簡単な説明】
【００４２】
【図１】図１（Ａ）〜図１（Ｃ）は本実施形態の顔方向特定手法の説明図。
【図２】本実施形態の顔方向特定装置、撮像装置の第１の構成例。
【図３】本実施形態の顔方向特定手法の説明図。
【図４】図４（Ａ）、図４（Ｂ）は目領域における反射光の位置の検出手法の説明図。
【図５】図５（Ａ）、図５（Ｂ）は光源方向、反射光位置から顔方向を特定する手法の説明図。
【図６】図６（Ａ）、図６（Ｂ）は光源方向、反射光位置から顔方向を特定する手法の説明図。
【図７】本実施形態で使用される演算テーブルの一例。
【図８】図８（Ａ）〜図８（Ｄ）は反射光位置と顔方向の変化の関係について説明するための図。
【図９】図９（Ａ）、図９（Ｂ）は光源方向、反射光位置、撮影者とカメラの位置関係から顔方向を特定する手法の説明図。
【図１０】図１０（Ａ）、図１０（Ｂ）は光源方向、反射光位置、撮影者とカメラの位置関係から顔方向を特定する手法の説明図。
【図１１】本実施形態の顔方向特定処理の具体例を示すフローチャート。
【図１２】図１２（Ａ）〜図１２（Ｃ）は顔の上下方向の向きの変化を特定する法の説明図。
【図１３】本実施形態の顔方向特定装置、撮像装置の第２の構成例。
【図１４】光源画像と反射光画像の照合処理についての説明図。
【図１５】本実施形態の顔方向特定装置、撮像装置の第３の構成例。
【図１６】全方位画像から顔方向に対応する画像範囲をトリミングする手法の説明図。
【図１７】本実施形態の顔方向特定装置、撮像装置の第４の構成例。
【図１８】図１８（Ａ）〜図１８（Ｄ）は表示部を光源として顔方向を特定する手法の説明図。
【図１９】カメラと光源が一致した場合の顔方向特定手法の説明図。
【図２０】表示部に光源用表示物を表示して顔方向を特定する手法の説明図。
【図２１】図２１（Ａ）、図２１（Ｂ）はデジタルフォトフレームへの適用例。
【図２２】本実施形態の顔方向特定処理の具体例を示すフローチャート。
【発明を実施するための形態】
【００４３】
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【００４４】
１．第１の構成例
本実施形態では、眼球に映った像とその像の方向から顔の方向を特定する。例えば図１（Ａ）〜図１（Ｃ）では、撮影者ＵＳの顔の目領域において、撮影者ＵＳの前方に位置する図示しない光源（例えば蛍光灯）からの光が反射され、その反射光の位置ＰＬＲに光源の像（物体像）が映っている。そして図１（Ａ）では撮影者ＵＳの顔は正面方向（カメラ方向を基準として正面方向）を向いているが、図１（Ｂ）では、正面方向に対して２０度の顔方向となっており、図１（Ｃ）では４５度の顔方向となっている。
【００４５】
このように顔方向（顔の向き）が変化した場合に、図１（Ａ）、図１（Ｂ）、図１（Ｃ）に示すように、目領域における反射光の位置ＰＬＲが変化する。具体的には、目じりＥＴから反射光位置ＰＬＲまでの距離をＬ１とし、目頭ＥＬから反射光位置ＰＬＲまでの距離をＬ２とした場合に、Ｌ１とＬ２の距離比率が変化する。
【００４６】
そこで本実施形態では、目領域での反射光の位置ＰＬＲから、撮影者の顔方向を特定する手法を採用する。図２にこのような本実施形態の手法を実現する顔方向特定装置２０及びこれを含む撮像装置１００の第１の構成例を示す。
【００４７】
図２に示すように撮像装置１００（電子機器）は撮像部１０と顔方向特定装置２０を含む。なお撮像装置１００は、これらの構成要素以外にも、撮像画像のスルー画を表示する表示部や、撮影者の操作環境を実現する操作部や、撮像装置１００の制御を行う制御部や、外部との通信を行う通信部等の他の構成要素を含んでもよい。
【００４８】
また本実施形態では、撮像装置１００として、例えば全方位カメラなどの電子カメラ（デジタルカメラ、ビデオカメラ）を想定しているが、本実施形態の撮像装置１００は電子カメラには限定されず、例えば携帯電話機、携帯型情報端末、携帯型ゲーム機、パーソナルコンピュータ等の種々の電子機器に適用できる。
【００４９】
撮像部１０は、例えばレンズなどの光学系や、ＣＣＤやＣＭＯＳセンサなどの撮像素子により実現される。また撮像部１０は、撮像素子からのアナログ信号をデジタルデータに変換するＡＦＥ（Analog Front End）や、フォーカス制御部などを含んでもよい。そして本実施形態の撮像部１０は、少なくとも撮影者の目の撮像（目及び光源の撮像）が可能になっている。
【００５０】
撮像装置１００としては、例えば３６０度の全方位の画像を撮像できる全方位カメラを採用できる。この場合には撮像部１０は、魚眼レンズや円錐・多角錐・球面・双曲面ミラーなどの光学系を含むことができる。一例としては、撮像部１０は、第１の撮像素子と第１の魚眼レンズから構成される第１の撮像ユニットと、第２の撮像素子と第２の魚眼レンズから構成される第２の撮像ユニットを背面合わせすることで構成できる。なお撮像装置１００は、必ずしも全方位カメラである必要はなく、例えば撮影者の目と光源の画像を別個のカメラで撮影することで、本実施形態の手法を実現してもよい。即ち、通常の１台のカメラや複数台のカメラを使用する構成であってもよい。なお、以下では、撮像装置１００を、適宜、「カメラ」或いは「全方位カメラ」と呼ぶ。
【００５１】
顔方向特定装置２０は、画像取得部２２、光源情報検出部３０、反射情報検出部４０、位置関係検出部５０、顔方向特定部６０、記憶部７０を含む。なおこれらの構成要素の一部（例えば光源情報検出部、位置関係検出部、記憶部等）を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。また顔方向特定装置２０（顔方向特定システム、画像処理装置）の機能は、例えばＣＰＵ（プロセッサ）とＣＰＵ上で動作するプログラムにより実現したり、画像処理用の専用ＩＣ等により実現できる。
【００５２】
画像取得部２２は、撮像部１０により撮像された撮像画像を取得する。例えば撮像部１０からの撮像画像のデータを撮像部１０から入力することで、撮像画像を取得する。或いは図示しない通信部及びネットワークを介して撮像画像のデータを外部から受信することで、撮像画像を取得したり、記憶部７０に保存されていた撮像画像のデータを読み出すことで、撮像画像を取得してもよい。
【００５３】
ここで画像取得部２２が取得する撮像画像（処理対象画像）は、少なくとも撮影者の目の画像や光源の画像を含む。例えば撮像装置１００が全方位カメラである場合には、撮影者の目の画像と光源の画像の両方が映った全方位画像が画像取得部２２により取得される。全方位画像は、例えば同心円状の画像やこの同心円状の画像を円筒面上に投影することで得られるパノラマ画像などである。
【００５４】
なお、撮影者の目の画像や光源の画像は、例えば全方位カメラなどにより同じタイミングで取得してもよいし、別々のタイミングで取得してもよい。例えば撮影画像は、撮影者の目と光源を別々のカメラで撮影したものであってもよい。また光源の画像は、撮影者の目領域での反射光の像として検出できるものであればよく、例えば太陽や蛍光灯やランプの像などを含む物体像である。
【００５５】
光源情報検出部３０は光源情報を取得する。例えば画像取得部２２により取得された撮像画像（処理対象画像）に基づいて、光源の光源方向情報を検出（取得）する。即ち光源の方向を画像中から検出する。
【００５６】
具体的には光源情報検出部３０は、カメラ方向（撮像部の方向、撮影方向）に対する光源の方向（相対的な方向）を、光源方向情報として検出する。例えばカメラ方向と光源の方向のなす角度（相対角度）を光源方向情報して検出する。カメラ方向（基準方向）は、カメラの向く方向であり、例えばカメラの光軸の方向である。また例えば撮像画像が光源の画像と撮影者の顔画像の両方が映った全方位画像などである場合には、光源情報検出部３０は、撮像画像での光源の画像の位置情報に基づいて、光源方向情報を検出する。
【００５７】
光源方向情報は、光源方向検出部３２により検出される。光源方向検出部３２は、取得された撮像画像（全方位画像）から例えば最も輝度値が高い領域を、光源画像領域として検出する。そして検出された光源画像領域の位置情報に基づいて、光源の方向を検出する。なお画像処理以外の手法で光源方向を検出してもよい。
【００５８】
反射情報検出部４０は、撮影者の眼球において反射される光の情報を取得する。例えば画像取得部２２により取得された撮像画像に基づいて、撮影者の目領域での反射光の反射光情報を検出（取得）する。
【００５９】
具体的には反射情報検出部４０は、撮像画像に映る目領域（眼球）における反射光の相対的な位置情報を、反射光情報として検出する。更に具体的には、目領域の目じり及び目頭に対する反射光の相対的な位置情報（距離比率等）を、反射光情報として検出する。反射光の位置は、例えば、光源からの光が撮影者の目領域で反射した場合に、その反射光の像が撮像部１０の撮像面に結像する位置である。
【００６０】
反射情報検出部４０は、目領域検出部４２、反射光位置検出部４３を含む。目領域検出部４２は撮影者の目領域（眼球）を検出する。例えば撮像画像の中から撮影者の顔画像を検出し、その顔画像から目領域を検出する。この際に図１（Ａ）〜図１（Ｃ）で説明した目領域の目じりＥＴや目頭ＥＬの位置も検出する。そして反射光位置検出部４３は、このように検出された目領域での反射光の相対的な位置ＰＬＲを検出する。例えば目じりＥＴ、目頭ＥＬと反射光位置ＰＬＲとの間の距離Ｌ１、Ｌ２（距離比率）を検出する。
【００６１】
位置関係検出部５０は、撮影者とカメラの位置関係（相対的な位置関係）を検出（取得）する。例えば画像取得部２２で取得された撮像画像での撮影者の顔画像の位置情報に基づいて、撮影者とカメラの位置関係を検出する。
【００６２】
なお撮影者（眼球）とカメラ（撮像装置）の位置関係の検出手法は、撮像画像から検出する手法には限定されず、例えば超音波距離センサを用いる計測手法、ステレオカメラを用いる計測手法、ビデオカメラで合焦したレンズ位置から眼球までの距離を算出する計測手法などの種々の手法を採用できる。
【００６３】
顔方向特定部６０は顔方向の特定処理を行う。例えば光源情報検出部３０で検出された光源方向情報と、反射情報検出部４０で検出された反射光情報に基づいて、撮影者の顔方向（顔が向く方向）を特定する。また顔方向特定部６０は、位置関係検出部５０によりカメラと撮影者の相対的な位置関係が検出され、検出された位置関係を顔方向の特定に反映させる場合には、光源方向情報と、反射光情報と、カメラと撮影者との位置関係に基づいて、撮影者の顔方向を特定する。
【００６４】
記憶部７０はＲＡＭなどのメモリにより実現されるものであり、演算テーブル７２を含む。この演算テーブル７２は、例えば光源方向情報、反射光情報、カメラと撮影者の位置関係情報を入力とし、顔方向の情報を出力とするテーブルである。顔方向特定部６０は、例えばこの演算テーブル７２を用いることで撮影者の顔方向を求める。
【００６５】
図３に示すように本実施形態では、カメラ１００（撮像装置）により、撮影者ＵＳの目と光源ＬＳの画像を撮像する。そして光源情報検出部３０は、撮像画像から、光源ＬＳの光源方向ＤＬを検出する。この光源方向ＤＬはカメラ方向に対する相対的な方向である。また図４（Ａ）、図４（Ｂ）に示すように、反射情報検出部４０は、撮像画像から、撮影者ＵＳの目領域での反射光の位置ＰＬＲを検出する。この反射光の像は、光源ＬＳからの光ＬＬが目領域において反射することで得られる像である。
【００６６】
そして顔方向特定部６０は、検出された光源方向ＤＬ（広義には光源情報）と、反射光の位置ＰＬＲ（広義には反射光情報）に基づいて、撮影者ＵＳの顔方向ＤＦを特定する。このとき、位置関係検出部５０がカメラ１００と撮影者ＵＳとの位置関係ＰＣＦを求めている場合には、光源方向ＤＬと反射光位置ＰＬＲと位置関係ＰＣＦに基づいて、顔方向ＤＦを特定する。
【００６７】
即ち本実施形態では光源からの光は平行光であると仮定する。また眼球は真球であると仮定する。光源からの光が平行光であるとすると、カメラに対する光源の方向と眼球に対する光源の方向は平行（ほぼ平行）であると考えることができる。従って、カメラに対する光源の方向から、眼球に対する光源の方向を特定できる。
【００６８】
一方、眼球は真球であり、撮影者が顔方向を変えたときに眼球の中心を通る中心軸回りに眼球が回転するものと仮定すると、撮影者の顔方向が変化しても、眼球上での反射光の位置は変化しない。従って、図４（Ａ）、図４（Ｂ）に示すように、目領域中での反射光の位置と目じり及び目頭との位置関係を検出することで、カメラに対する撮影者の顔の方向を推定できる。
【００６９】
例えば反射光の位置と目じり及び目頭との位置関係が、図４（Ａ）のＣ１からＣ２の位置関係になった場合には、図１（Ａ）〜図１（Ｃ）に示すように撮影者の顔の向きが左方向に回転したと判断できる。一方、Ｃ１からＣ３の位置関係になった場合には、撮影者の顔の向きが右方向に回転したと判断できる。
【００７０】
このように本実施形態では、光源の方向の検出と反射光の位置の検出だけで、撮影者の顔方向を特定できる。従って、少ない制約下で簡素な処理により撮影者の顔方向を特定できる。例えば本実施形態の顔方向特定装置を、車内における運転者のわき見検出に適用した場合には、車内環境が予め正確に把握されていなくても、光源方向と反射光位置を検出するだけで、運転者の顔方向の変化を検出して、運転者のわき見を検出できる。また光源方向の検出や反射光位置の検出は、比較的簡素な画像処理で実現できるため、複雑な装置や処理を用いることなく撮影者の顔方向を特定できるという利点がある。
【００７１】
２．顔方向特定手法の詳細
次に図５（Ａ）〜図１２（Ｃ）を用いて本実施形態の顔方向特定手法の詳細について説明する。
【００７２】
図５（Ａ）は全方位カメラにより撮影された全方向画像ＩＭＡであるパノラマ画像の例である。このパノラマ画像の座標系では、図５（Ｂ）のカメラ方向ＤＣ（撮像部の方向、撮影方向）に対する角度φがＸ座標に対して設定され、カメラ方向ＤＣと同じ方向が角度φ＝０になる。
【００７３】
この全方位画像ＩＭＡでは、図５（Ｂ）に示すように、カメラ１００（全方位カメラ）により撮影者ＵＳと光源ＬＳの両方の画像が撮影される。そして図５（Ｂ）では、カメラ方向ＤＣに撮影者ＵＳが存在するため、図５（Ａ）に示すように撮影者ＵＳの顔画像は、全方位画像ＩＭＡのパノラマ座標系において、φ＝α＝０度（degree）の場所に映っている。ここでαは、カメラ方向ＤＣに対する撮影者の相対的な方向を表す角度であり、図５（Ｂ）ではカメラ方向ＤＣと撮影者の方向が一致しているため、α＝０度になる。
【００７４】
一方、図５（Ａ）において光源ＬＳの画像は、全方位画像ＩＭＡのパノラマ座標系において、φ＝βの場所に映っている。ここでβは、カメラ方向ＤＣに対する光源方向ＤＬの相対的な方向を表す角度（ＤＣとＤＬのなす角度）であり、図５（Ｂ）ではカメラ方向ＤＣと光源方向ＤＬのなす角度βは０度と１８０度の間の角度になっている。そして光源ＬＳからの光が平行光であると仮定すると、カメラ１００に対する光源方向ＤＬと、眼球に対する光源方向ＤＬ’は平行（ほぼ平行）になる。
【００７５】
そして反射光の位置は、眼球の各点の法線Ｎと、眼球に対する光源方向ＤＬ’と、カメラ方向ＤＣから一意的に定まる。即ち法線Ｎの方向とカメラ方向ＤＣとのなす角度と、法線Ｎの方向と光源方向ＤＬ’とのなす角度が等しくなる位置が、図４（Ａ）、図４（Ｂ）で説明した反射光の位置ＰＬＲになる。
【００７６】
また図６（Ａ）、図６（Ｂ）は、撮影者ＵＳの顔方向ＤＦが図５（Ａ）、図５（Ｂ）から変化したときの状況を示す図である。図６（Ｂ）と図５（Ｂ）では光源方向ＤＬ’は変わらず、顔方向ＤＦだけが変化している。従って図６（Ａ）に示すように、撮影者ＵＳの顔画像と光源ＬＳの画像の位置関係は変わらず、撮影者ＵＳの顔画像はφ＝α＝0度の場所に映り、光源ＬＳの画像はφ＝βの場所に映る。
【００７７】
一方、図５（Ｂ）と図６（Ｂ）を比較すれば明らかなように、顔方向ＤＦが変化することで、反射光の位置と目領域の相対的位置関係を表す距離比率Ｌ１、Ｌ２は変化する。
【００７８】
以上から明らかなように、撮影者の顔方向ＤＦを表す角度θは、θ＝ｆ（α、β、Ｌ１、Ｌ２）という関数で表すことができる。ここで角度θは、カメラ方向ＤＣに対する顔方向ＤＦの相対的な方向を表す角度（ＤＣとＤＦのなす角度）である。
【００７９】
例えば図７に、角度α、β及びＬ１とＬ２の距離比率が入力され、角度θを出力する演算テーブル７２の例を示す。
【００８０】
例えばカメラ方向ＤＣと撮影者の方向が一致してα＝０度であり、β＝１８０度であり、距離比率（Ｌ１：Ｌ２）が１対１である場合には、顔方向ＤＦを表す角度θは１８０度であると判断される。これは、撮影者及びカメラの正面方向に光源が存在し、撮影者の顔方向ＤＦが光源の方に向いており、反射光の像が眼球の瞳の中央に映っている状況を意味する。
【００８１】
また、α＝０度であり、β＝９０度であり、距離比率が例えば１対０．１である場合には、顔方向ＤＦを表す角度θは１８０度であると判断される。これは、撮影者及びカメラの真横の方向に光源が存在し、撮影者の顔方向ＤＦが光源方向と直交する方向に向いており、反射光の像が眼球の目頭付近の位置に映っている状況を意味する。
【００８２】
このように本実施形態では、光源方向を表す角度βと、反射光の位置を表す距離比率（Ｌ１：Ｌ２）により、撮影者の顔方向ＤＦを特定している。
【００８３】
例えば図８（Ａ）、図８（Ｂ）に、撮影者の顔方向ＤＦが変化することで眼球の向く方向が変化している状況を示す。ここで、眼球は真球であり、撮影者の顔方向ＤＦが変化したときに、眼球がその中心を通る中心軸回りに回転すると仮定する。すると、図８（Ａ）と図８（Ｂ）で、反射光位置ＰＬＲの場所自体は変化しないが、目領域に対する反射光位置ＰＬＲの相対的な位置関係は変化する。即ち目じりＥＴ及び目頭ＥＬと反射光位置ＰＬＲとの相対的な位置関係は変化する。従って、この相対的な位置関係を検出することで、顔方向ＤＦを検出できる。
【００８４】
一方、図８（Ｃ）、図８（Ｄ）は、図８（Ａ）、図８（Ｂ）に対して眼球に対する光源方向ＤＬ’（カメラに対する光源方向ＤＬ）が変化している。この場合には、反射光位置ＰＬＲの場所自体が、図８（Ａ）、図８（Ｂ）から変化する。そして撮影者の顔方向ＤＦが変化すると、目領域に対する反射光位置ＰＬＲの相対的な位置関係が変化する。
【００８５】
これらの図８（Ａ）〜図８（Ｄ）から明らかなように、光源方向ＤＬ’（ＤＬ）を求めることで、反射光位置ＰＬＲの場所が特定され、そのときの目領域に対する反射光位置ＰＬＲの相対的な位置関係（Ｌ１：Ｌ２）を特定することで、顔方向ＤＦを特定できるようになる。
【００８６】
図９（Ａ）、図９（Ｂ）は、カメラ１００と撮影者の相対的な位置関係が、図５（Ａ）、図５（Ｂ）の位置関係から変化した状況を示す図である。即ち図５（Ｂ）ではカメラ方向ＤＣの場所に撮影者が存在していたが、図９（Ｂ）では、カメラ方向ＤＣに対して角度αをなす方向の場所に撮影者が存在している。この場合には、図９（Ａ）の全方位画像ＩＭＡにおいて、撮影者ＵＳの顔画像は、φ＝α＞０の場所に映る。即ち図５（Ａ）に対して撮影者ＵＳの顔画像の位置が変化する。
【００８７】
一方、図９（Ｂ）では図５（Ｂ）に対して光源方向ＤＬ’（ＤＬ）については変化しないため、光源ＬＳの画像は図５（Ａ）と同じ位置に映る。従って、図９（Ａ）では角度差β−αは、図５（Ａ）に比べて小さくなる。
【００８８】
図１０（Ａ）、図１０（Ｂ）は、撮影者ＵＳの顔方向ＤＦが図９（Ａ）、図９（Ｂ）から変化したときの状況を示す図である。この場合には、距離比率（Ｌ１：Ｌ２）が変化するため、これを検出することで、顔方向ＤＦの変化を検出できる。
【００８９】
以上のように、顔方向ＤＦの特定に、カメラと撮影者の相対的な位置関係も反映させる場合には、この位置関係を表す角度αも考慮して、顔方向ＤＦを表す角度θ＝（α、β、Ｌ１、Ｌ２）を求めればよい。こうすることで顔方向ＤＦを、より正確に特定することが可能になる。
【００９０】
なお、カメラと撮影者の位置関係が固定されているものと想定し、顔方向ＤＦの大まかな変化を求める場合には、角度θの計算に角度αを反映させないようにしてもよい。
【００９１】
次に図１１のフローチャートを用いて本実施形態の手法の詳細な処理例について説明する。
【００９２】
まず全方位画像の撮像処理を行う（ステップＳ１）。即ち図５（Ａ）等に示すように撮影者の顔画像と光源の画像の両方が映った全方位画像を撮影する。
【００９３】
次に、得られた全方位画像から撮影者の顔領域を検出し、顔領域から目領域を検出する（ステップＳ２、Ｓ３）。そして図４（Ａ）、図４（Ｂ）で説明したように、反射光の検出処理を行い、目じり及び目頭と反射光の位置についての距離比率（Ｌ１：Ｌ２）を計算する（ステップＳ４、Ｓ５）。
【００９４】
そして距離比率を計算できた場合には、光源方向の検出処理を行う（ステップＳ６、Ｓ７）。例えば図５（Ａ）のように光源の画像の位置を求めることで、光源方向を検出する。そして、光源方向を検出できた場合には、顔位置、距離比率、光源方向を用いて演算テーブルにより顔方向を特定する（ステップＳ８、Ｓ９）。即ち図７で説明した演算テーブルを用いて顔方向を表す角度θを求める。
【００９５】
以上のように本実施形態では、全方位画像ＩＭＡ（広義には撮像画像）での光源ＬＳの画像の位置情報に基づいて、カメラ方向ＤＣ（撮像装置の方向）に対する光源方向ＤＬ’（ＤＬ）を検出する。即ち図５（Ａ）等の光源ＬＳの画像の位置から角度βを求めて、光源方向ＤＬ’（ＤＬ）を検出する。
【００９６】
また全方位画像ＩＭＡに映る目領域における反射光の相対的な位置情報を検出する。例えば目じり及び目頭と反射光位置との距離比率を、相対的な位置情報として検出する。
【００９７】
そして、検出された光源方向ＤＬ’と、反射光の相対的な位置情報（Ｌ１：Ｌ２）に基づいて、撮影者の顔方向ＤＦを特定する。或いは図９（Ａ）〜図１０（Ｂ）で説明したように、全方位画像ＩＭＡでの撮影者の顔画像の位置情報に基づいて、カメラと撮影者との位置関係を検出する。即ちカメラ方向ＤＣに対する撮影者の方向を表す角度αを検出する。そして、光源方向ＤＬ’と、反射光の位置情報と、カメラと撮影者との位置関係に基づいて、撮影者の顔方向ＤＦを特定する。
【００９８】
このようにすれば、全方位画像ＩＭＡに対して簡単な画像処理を行うだけで、光源方向と反射光位置を求めて、撮影者の顔方向を特定できるようになる。更にカメラと撮影者の位置関係も反映させて顔方向を特定することで、顔方向の更に正確な特定が可能になる。
【００９９】
なお本実施形態では、眼球に対する光源方向の算出の際に眼球を真球であると仮定したが、眼球についての人間工学的なデータや個人データに基づいて、眼球に対する光源方向ベクトルを算出する手法や、眼球の曲率、半径などを推定してから精度良く眼球に対する光源方向ベクトルを算出する手法を採用してもよい。こうすることで、より高い精度で眼球に対する光源方向を検出できる。或いは、両目を用いる検出手法や目の顔面内方向の回転を考慮する手法で精度の向上を図ってもよい。
【０１００】
また、以上では、撮影者の左右方向での顔の向きの変化を検出する例について説明したが、同様の手法により上下方向での顔も向きの変化も検出できる。
【０１０１】
例えば図１２（Ａ）において、ＸＥ、ＹＥ、ＺＥのいずれの座標軸回りで眼球が回転したとしても、カメラ方向ＤＣと眼球が交わる交点Ｐ１の位置や、光源方向ＤＬ’と眼球が交わる交点Ｐ２の位置は変化せず、反射光位置ＰＬＲの場所も変化しない。
【０１０２】
そして図１２（Ｂ）に示すように、撮影者の顔方向が変化して、ＸＥ、ＹＥ、ＺＥの座標軸回りで眼球が回転すると、反射光位置ＰＬＲと目領域ＲＥとの相対的な位置関係だけが変化する。例えばＬ１とＬ２の距離比率やＬ３とＬ４の距離比率が変化する。従って、撮影者の顔方向が変化して、ＸＥ、ＹＥ、ＺＥの座標軸回りで眼球が回転した場合に、反射光位置ＰＬＲと目領域ＲＥとの相対的な位置関係を検出することで、左右方向のみならず上下方向での顔の向きの変化も検出できる。例えば図５（Ａ）では、パノラマ座標系のＸ軸方向に設定された角度φ＝β、γを求めることで、光源方向等を検出したが、顔の向きが上下方向に変化する場合には、パノラマ座標系のＹ軸方向に設定された角度φ２＝ρ、γを求めることで、光源方向等を検出すればよい。
【０１０３】
３．第２の構成例
図１３に本実施形態の第２の構成例を示す。この第２の構成例では、顔方向特定装置２０は、図２の第１の構成例の構成要素に加えて、光源の照合処理を行う照合処理部８０を更に含む。また光源情報検出部３０は、光源方向検出部３２に加えて、光源形状認識部３４、光源色認識部３５、光源強度認識部３６を含む。また反射情報検出部４０は、目領域検出部４２、反射光位置検出部４３に加えて、反射光形状認識部４４、反射光色認識部４５、反射光強度認識部４６を含む。
【０１０４】
例えば図１（Ａ）〜図１（Ｃ）の手法により反射光位置ＰＬＲを検出して、撮影者の顔方向を検出する場合に、撮影者の周囲には太陽や蛍光灯などの複数の光源が存在している可能性がある。そして図５（Ａ）のように全方位画像ＩＭＡでの光源の画像の位置（φ＝β）から光源方向を検出する場合に、光源方向が検出された光源と、目領域に映る反射光の像を形成する光源とが異なる光源であると、顔方向が誤検出されてしまう。
【０１０５】
そこで本実施形態の第２の構成例では、図１４に示すように、撮像画像（全方位画像）に映る光源の画像ＩＬＳと、目領域に映る反射光の画像ＩＬＲの照合処理（マッチング処理）を行うことで、上記のような顔方向の誤検出を防止する。また撮影者の周囲に複数の光源が存在する場合にもこれに対応できるようにする。
【０１０６】
具体的には図１３の光源情報検出部３０は、撮像画像に映る光源の画像の形状情報、色情報及び強度情報の少なくとも１つを検出する。これらの光源の画像の形状情報、色情報、強度情報の検出は、各々、光源形状認識部３４、光源色認識部３５、光源強度認識部３６により行われる。
【０１０７】
例えば光源形状認識部３４は、撮像画像に映る光源の形状が、例えば細長い形状なのか丸い形状なのかなどを、画像認識処理により認識する。例えば予め用意された複数の形状パターンとの照合処理を行うことで光源の形状を認識する。また光源色認識部３５は、撮像画像に映る光源の色を認識する。例えばＲ、Ｇ、Ｂ成分等を解析することで光源の色を認識する。また光源強度認識部３６は、撮像画像に映る光源が、強い強度の光源なのか弱い強度の光源なのかなどを認識する。例えば画像の輝度値を検出することで光源の強度を認識する。
【０１０８】
また反射情報検出部４０は、撮像画像に映る目領域での反射光の画像の形状情報、色情報及び強度情報の少なくとも１つを検出する。これらの反射光の画像の形状情報、色情報、強度情報の検出は、各々、反射光形状認識部４４、反射光色認識部４５、反射光強度認識部４６により行われる。そして、これらの反射光形状認識部４４、反射光色認識部４５、反射光強度認識部４６は、上述した光源形状認識部３４、光源色認識部３５、光源強度認識部３６と同様の処理により、目領域に映る反射光の画像の形状、色、強度を認識する。
【０１０９】
そして照合処理部８０は、光源の画像の形状情報、色情報、強度情報の少なくとも１つと、反射光の画像の形状情報、色情報、強度情報の少なくとも１つとの照合処理を行って、目領域での反射光が、光源からの光による反射光であるかを判定する。この場合に形状、色、強度の１つだけで照合処理を行ってもよいし、形状、色、強度のうちの２つ又は３つを用いて照合処理を行ってもよい。
【０１１０】
そして顔方向特定部６０は、照合処理部８０での照合処理により、光源画像の形状や色や強度と、反射光画像の形状や色や強度が一致したことを条件に、光源方向情報、反射光情報等に基づく顔方向の特定処理を行う。こうすることで、光源方向が検出された光源と、反射光の像を形成する光源とが異なる光源である場合には、顔方向の特定処理は行われないようになるため、顔方向の誤検出を防止できる。また撮影者の周囲に複数の光源が存在する場合にも対応できるようになる。
【０１１１】
４．第３の構成例
図１５に本実施形態の第３の構成例を示す。この第３の構成例では、顔方向特定装置２０は、図２の第１の構成例の構成要素に加えて、画像トリミング部９０を更に含む。なお図１３の第２の構成例と図１５の第３の構成例を組み合わせた変形実施も可能である。具体的には図１３の第２の構成例に対して画像トリミング部９０の構成要素を加えてもよい。
【０１１２】
画像トリミング部９０（フレーミング部）は画像のトリミング処理（フレーミング処理）を行う。具体的には、画像取得部２２により取得された撮像画像から、顔方向特定部６０で特定された顔方向に対応する画像範囲のトリミング処理を行う。例えば撮像部１０で撮影された全方位画像の中から、顔方向に対応する例えば矩形形状の画像範囲を切り出す処理を行う。
【０１１３】
例えば図１６において、撮影者ＵＳが所持するカメラ１００により、撮影者ＵＳの周囲の全方位画像ＩＭＡが撮影されている。そして顔方向ＤＦが図１６に示す方向である場合には、撮影者ＵＳは、全方位画像ＩＭＡのうち顔方向ＤＦに対応する画像範囲ＲＩＭに存在する風景や人物等の被写体に興味を持っていると推定できる。
【０１１４】
そこで、撮影者ＵＳが指定した画角又は任意の画角で、全方位画像ＩＭＡの中から画像範囲ＲＩＭをトリミングする処理を行う。この場合に、例えば撮影者ＵＳが手動で画角を指定して画像範囲ＲＩＭをトリミングしたり、顔が向いている時間に応じて撮影者ＵＳの興味の度合いを判断し、画角を決定してもよい。
【０１１５】
例えば全方位カメラにより全方位画像を撮影した場合に、その時々の状況において撮影者が一体どの被写体に興味を持って撮影したのかを、後から判断することは難しい。
【０１１６】
この点、第３の構成例では、撮影者の顔方向が自動認識され、その顔方向に対応する画像範囲が自動的にトリミングされる。従って、撮影者が意識しなくても、その時々の状況において撮影者が興味を持ったと思われる被写体を含む画像を、ユーザに提示することが可能になる。
【０１１７】
なお、トリミングされた画像は、カメラ等に設けられた表示部にスルー画としてリアルタイムに表示してもよいし、トリミングされた画像のデータを記憶部７０に保存（記録）しておいて、後々に撮影者がＰＣ（パーソナルコンピュータ）等を用いてトリミング画像を鑑賞できるようにしてもよい。この場合に本実施形態のトリミング処理は、画像範囲の画像を実際にトリミングする処理には限定されず、例えばそのトリミング範囲を指定する範囲指定情報を、全方位画像等の撮像画像に関連づけて記憶部７０に保存する処理も含まれる。この場合には、後々に撮影者がＰＣ等を用いて鑑賞する際に、撮像画像に関連づけられた範囲指定情報に基づいて、画像範囲に対応する画像を切り出せばよい。
【０１１８】
５．第４の構成例
図１７に本実施形態の第４の構成例を示す。この第４の構成例では、図２で設けられていた光源情報検出部３０が設けられていない。また図１７では例えば表示制御部１１０、表示部１２０が設けられている。なお図１７の第４の構成例と図１３、図１５の第２、第３の構成例等を組み合わせた変形実施も可能である。
【０１１９】
例えば図５（Ａ）、図５（Ｂ）では、撮像画像（全方位画像）ＩＭＡに映る光源ＬＳの画像から光源方向情報（ＤＬ、ＤＬ’）を検出し、検出された光源方向情報と反射光情報（Ｌ１、Ｌ２）に基づき撮影者の顔方向（ＤＦ）を特定している。しかしながら、光源方向情報が予め既知である場合には、光源方向情報の検出は不要であり、このため図１７の第４の構成例では光源情報検出部の構成要素が省略されている。
【０１２０】
具体的には図１７では、顔方向特定部６０は、所定の方向に光源方向が固定されているとして、撮影者の顔方向を特定する。例えば顔方向特定部６０は、カメラ方向（撮像部１０の方向）を光源の光源方向として、撮影者の顔方向を特定する。
【０１２１】
電子カメラ、携帯電話機、携帯型ゲーム機などの撮像装置１００では、画像を表示する表示部１２０と、表示部１２０に画像を表示する制御を行う表示制御部１１０を備えている。表示部１２０には例えばバックライトなどが設けられ、本実施形態では、表示部１２０（バックライト）が撮影者の顔方向を特定するための光源として用いられる。
【０１２２】
そして反射情報検出部４０は、表示部１２０からの光が目領域で反射した場合に、表示部１２０からの光の反射光の反射光情報を検出する。そして顔方向特定部６０は、検出された反射光情報に基づいて、撮影者の顔方向を特定する。
【０１２３】
また図１７の第４の構成例の手法と図１３の第２の構成例の手法を組み合わせてもよい。この場合には表示部１２０には、光源用表示物が表示される。そして反射情報検出部４０は、撮像画像に映る目領域での反射光の画像の形状情報、色情報及び強度情報の少なくとも１つを検出する。また照合処理部８０は、撮像画像に映る光源用表示物の画像の形状情報、色情報及び強度情報の少なくとも１つと、反射光の画像の形状情報、色情報及び強度情報の少なくとも１つとの照合処理を行う。そして目領域での反射光が、表示部の光源用表示物からの光による反射光であるかを判定する。こうすることで、表示部１２０に表示される光源用表示物を、光源として適正に検出できるようになる。これにより、光源の誤検出を防止でき、顔方向の誤検出を防止できるようになる。
【０１２４】
次に図１８（Ａ）〜図１８（Ｄ）を用いて本実施形態の第４の構成例の手法について詳細に説明する。
【０１２５】
図１８（Ａ）において、携帯電話機ＰＤ（広義には撮像装置）には、カメラＣＭと表示部ＤＩＳＰが設けられている。そして表示部ＤＩＳＰからの光が、撮影者（ユーザ）の目領域で反射している。即ち表示部ＤＩＳＰからの光の反射像ＩＭＲが位置ＰＬＲに映っている。
【０１２６】
図１８（Ｂ）では、カメラＣＭの方向に対して撮影者の顔方向ＤＦが変化している。この場合には目領域での反射像ＩＭＲの位置ＰＬＲも変化する。そして図１８（Ａ）、図１８（Ｂ）では光源方向ＤＬはカメラ方向とほぼ一致していると考えられる。従って、この反射位置ＰＬＲを検出することで、光源方向ＤＬを検出することなく、顔方向ＤＦを特定できるようになる。
【０１２７】
具体的には図１８（Ｃ）、図１８（Ｄ）に示すように携帯電話機ＰＤのカメラ方向に対して顔方向ＤＦが変化すると、反射光の位置と目領域の相対的位置関係を表すＬ１、Ｌ２の距離比率が変化する。従って、この距離比率を求めることで、光源方向ＤＬを検出することなく顔方向ＤＦを特定できる。
【０１２８】
例えば図１９において、カメラＣＭと光源ＬＳは一致していると考えられるため、カメラ方向ＤＣと光源方向のなす角度βは０度になる。また撮影者の方向を表す角度αも０度になる。従って、撮影者の顔方向ＤＦを表す角度θは、θ＝ｆ（α、β、Ｌ１、Ｌ２）＝ｆ（０、０、Ｌ１、Ｌ２）と表される。従って、図７で説明したテーブル等を用いて角度θを求めることで、撮影者の顔方向ＤＦを特定できるようになる。
【０１２９】
また図２０に示すように、表示部ＤＩＳＰに、認識しやすい形状パターンである光源用表示物ＬＯＢを表示するようにしてもよい。例えば図２０では三角形の形状パターンが光源用表示物ＬＯＢとして表示されている。
【０１３０】
このようにすれば、例えば図１３、図１４で説明したような光源の照合処理を行うことで、光源用表示物ＬＯＢを光源として容易に認識することが可能になる。即ち、カメラＣＭの撮像画像に映る光源用表示物ＬＯＢの画像の形状情報や色情報や強度情報と、目に映る反射光の画像の形状情報や色情報や強度情報の照合処理を行って、目領域の反射光が、光源用表示物ＬＯＢからの光による反射光であるかを判定する。例えば図２０では、目領域の反射光が三角形の形状パターンである場合には、光源表示物ＬＯＢからの反射光であると判定する。こうすることで、より安定度・精度が高い顔方向の特定処理を実現できる。なお光源表示物ＬＯＢの形状は三角形には限定されず、円、四角形、ウィンドウ形状等の種々の形状パターンが考えられる。
【０１３１】
例えば顔の向きにより操作情報を入力するインターフェースモードでは、当該インターフェースモードへの移行時に、図２０に示すような光源用表示物ＬＯＢを表示部ＤＩＳＰに表示する。そして顔方向の特定処理により、顔を右に向けたと判定した場合には第１の操作（例えばページめくり）、顔を左に向けたと判定した場合には第２の操作（例えばページ戻し）、顔を上に向けたと判定した場合には第３の操作（例えば否定の意思表示）、顔を下に向けたと判定した場合には第４の操作（例えば肯定の意思表示）が行われたと判断する。このようにすれば、これまでにないタイプのインターフェース環境を提供できるようになる。
【０１３２】
また本実施形態の手法は種々の機器に適用できる。例えば図２１（Ａ）、図２１（Ｂ）はデジタルフォトフレーム３００への適用例である。このデジタルフォトフレーム３００は、フォトスタンドの写真を入れる部分が液晶ディスプレイ等の表示部３４０に置き換えられた形態の装置であり、メモリカードや通信装置を介して読み込まれたデジタルの画像データ（電子写真）の再生処理を行う。具体的には、このデジタルフォトフレーム３００は、家の中などの任意の場所にユーザにより設置される。そして、デジタルの画像データや音データなどのコンテンツ情報の再生処理（画像再生、音再生）を実行する。デジタルフォトフレーム３００は、例えばユーザの明示的な再生指示がなくても、画像等のコンテンツ情報（メディア情報）を自動的に再生することができる。例えば写真のスライドショーを自動的に実行したり、映像の自動再生を行う。なおデジタルフォトフレーム３００は壁掛けタイプのものであってもよい。
【０１３３】
そしてこのデジタルフォトフレーム３００には、カメラ（撮像部）３５０が設けられており、デジタルフォトフレーム３００に表示されるコンテンツを鑑賞するユーザを撮影することができる。またカメラ３５０の近くには図２０で説明した光源用表示物ＬＯＢが表示されている。そして、カメラ３５０で撮影した撮像画像を用いて、光源用表示物ＬＯＢの反射光が映る目領域の位置（Ｌ１、Ｌ２）を検出することで、ユーザの顔方向を特定する。
【０１３４】
例えば図２１（Ａ）では、顔方向の特定処理により、ユーザの顔方向がデジタルフォトフレーム３００の表示部３４０の方に向いていないと判定される。即ち表示部３４０を注視していないと判定される。従って、この場合にはデジタルフォトフレーム３００は非注視モードに設定され、壁紙・時計・カレンダ等の背景画像コンテンツが表示部３４０に表示される。
【０１３５】
一方、図２１（Ｂ）では、顔方向の特定処理により、ユーザの顔方向がデジタルフォトフレーム３００の表示部３４０の方に向いていると判定される。即ち表示部３４０を注視していると判定される。従って、この場合にはデジタルフォトフレーム３００は注視モードに設定され、通常コンテンツ（注視用コンテンツ）が表示部３４０に表示される。例えばデジタルフォトフレーム３００に記録されている写真のスライドショーを実行する。こうすることで、これまでにないタイプのデジタルフォトフレームを提供できる。
【０１３６】
図２２に本実施形態の処理を説明するフローチャートを示す。まず背景画像コンテンツを表示する（ステップＳ１１）。そして、カメラによりユーザの顔画像を取得し、取得された顔画像に基づいて目領域の検出処理と反射光の検出処理を行う（ステップＳ１２、Ｓ１３、Ｓ１４）。
【０１３７】
次に、目じり、目頭、反射光の位置の距離比率の計算処理を行い、演算テーブルにより顔方向を特定する（ステップＳ１５、Ｓ１６）。そして図２１（Ａ）、図２１（Ｂ）で説明したように、ユーザが表示部３４０を注視しているか否かを検出し、注視している場合には通常コンテンツを表示する（ステップＳ１７、Ｓ１８）。
【０１３８】
なお、上記のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば明細書又は図面において、少なくとも一度、より広義または同義な異なる用語（撮像装置、撮像画像、光源情報、反射光情報等）と共に記載された用語（カメラ・全方位カメラ、全方位画像、光源方向、反射光位置等）は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。
【０１３９】
また顔画像特定装置、撮像装置の構成、動作も本実施形態で説明したものに限定されず、種々の変形実施が可能である。例えば本実施形態の顔方向特定装置は種々の機器に適用できる。例えば本実施形態の顔方向特定装置をカメラ付き携帯電話機に設けた場合に、携帯電話機が有する液晶表示部（広義には表示装置）を本実施形態の光源として利用できる。特に、液晶表示部と同じ面に設けられた自分撮り用のカメラを有効利用することで、容易且つ安価に本実施形態の顔方向特定手法を実現できる。
【符号の説明】
【０１４０】
ＵＳ 撮影者、ＬＳ 光源、ＤＬ、ＤＬ’ 光源方向、ＤＣ カメラ方向、
Ｎ 法線、ＤＦ 顔方向、ＰＬＲ 反射光位置、ＥＴ 目じり、ＥＬ 目頭、
１０ 撮像部、２０ 顔方向特定装置、２２ 画像取得部、３０ 光源情報検出部、
３２ 光源方向検出部、３４ 光源形状認識部、３５ 光源色認識部、
３６ 光源強度認識部、４２ 目領域検出部、４３ 反射光位置検出部、
４４ 反射光形状認識部、４５ 反射光色認識部、４６ 反射光強度認識部、
５０ 位置関係検出部、６０ 顔方向特定部、７０ 記憶部、７２ 演算テーブル、
８０ 照合処理部、９０ 画像トリミング部、１００ 撮像装置
【特許請求の範囲】
【請求項１】
少なくとも撮影者の目を撮像可能な撮像部により撮像された撮像画像を取得する画像取得部と、
取得された前記撮像画像に基づいて、前記撮影者の目領域での反射光の反射光情報を検出する反射情報検出部と、
前記反射光情報に基づいて、前記撮影者の顔方向を特定する顔方向特定部と、
を含むことを特徴とする顔方向特定装置。
【請求項２】
請求項１において、
取得された前記撮像画像に基づいて、前記光源の光源方向情報を検出する光源情報検出部を含み、
前記顔方向特定部は、
検出された前記光源方向情報と前記反射光情報とに基づいて、前記撮影者の顔方向を特定することを特徴とする顔方向特定装置。
【請求項３】
請求項２において、
前記光源情報検出部は、
前記撮像部の方向に対する前記光源の方向を、前記光源方向情報として検出することを特徴とする顔方向特定装置。
【請求項４】
請求項２又は３において、
前記光源情報検出部は、
前記撮像画像での前記光源の位置情報に基づいて、前記光源方向情報を検出することを特徴とする顔方向特定装置。
【請求項５】
請求項２乃至４のいずれかにおいて、
前記光源情報検出部は、
前記撮像画像での前記光源の画像の位置情報に基づいて、前記撮像部の方向に対する前記光源の方向を検出し、
前記反射情報検出部は、
前記撮像画像に映る前記目領域における前記反射光の相対的な位置情報を検出し、
前記顔方向特定部は、
検出された前記光源の方向と、前記反射光の相対的な位置情報とに基づいて、前記撮影者の顔方向を特定することを特徴とする顔方向特定装置。
【請求項６】
請求項５において、
前記撮像部と前記撮影者との位置関係を検出する位置関係検出部を含み、
前記位置関係検出部は、
前記撮像画像での前記撮影者の顔画像の位置情報に基づいて、前記撮像部と前記撮影者との位置関係を検出することを特徴とする顔方向特定装置。
【請求項７】
請求項２乃至６のいずれかにおいて、
前記画像取得部は、
前記撮像画像として全方位画像を取得し、
前記光源情報検出部は、
前記全方位画像での前記光源の画像の位置情報に基づいて、前記光源方向情報を検出し、
前記反射情報検出部は、
前記全方位画像に映る前記目領域における前記反射光の相対的な位置情報に基づいて、前記反射光情報を検出することを特徴とする顔方向特定装置。
【請求項８】
請求項１乃至７のいずれかにおいて、
前記撮像部と前記撮影者との位置関係を検出する位置関係検出部を含み、
前記顔方向特定部は、
前記反射光情報と、前記撮像部と前記撮影者との位置関係とに基づいて、前記撮影者の顔方向を特定することを特徴とする顔方向特定装置。
【請求項９】
請求項８において、
前記位置関係検出部は、
前記撮像画像での前記撮影者の顔画像の位置情報に基づいて、前記撮像部と前記撮影者との位置関係を検出することを特徴とする顔方向特定装置。
【請求項１０】
請求項１乃至９のいずれかにおいて、
前記反射情報検出部は、
前記撮像画像に映る前記目領域における前記反射光の相対的な位置情報を、前記反射光情報として検出することを特徴とする顔方向特定装置。
【請求項１１】
請求項１０において、
前記反射情報検出部は、
前記目領域の目じり及び目頭に対する前記反射光の相対的な位置情報を、前記反射光情報として検出することを特徴とする顔方向特定装置。
【請求項１２】
請求項１乃至１１のいずれかにおいて、
光源の照合処理を行う照合処理部を含み、
前記反射情報検出部は、
前記撮像画像に映る前記目領域での反射光の画像の形状情報、色情報及び強度情報の少なくとも１つを検出し、
前記照合処理部は、
前記撮像画像に映る前記光源の画像の形状情報、色情報及び強度情報の少なくとも１つと、前記反射光の画像の形状情報、色情報及び強度情報の少なくとも１つとの照合処理を行って、前記目領域での反射光が、前記光源からの光による反射光であるかを判定することを特徴とする顔方向特定装置。
【請求項１３】
請求項１乃至１２のいずれかにおいて、
前記撮像画像から、前記顔方向特定部で特定された顔方向に対応する画像範囲のトリミング処理を行う画像トリミング部を含むことを特徴とする顔方向特定装置。
【請求項１４】
請求項１において、
前記顔方向特定部は、
前記撮像部の方向を前記光源の光源方向として、前記撮影者の顔方向を特定することを特徴とする顔方向特定装置。
【請求項１５】
請求項１において、
前記撮像部が設けられる撮像装置の表示部が、前記撮影者の顔方向を特定するための前記光源として用いられ、
前記反射情報検出部は、
前記表示部からの光が前記目領域で反射した場合に、前記表示部からの光の反射光の反射光情報を検出し、
前記顔方向特定部は、
検出された前記反射光情報に基づいて、前記撮影者の顔方向を特定することを特徴とする顔方向特定装置。
【請求項１６】
請求項１５において、
光源の照合処理を行う照合処理部を含み、
前記表示部には、光源用表示物が表示され、
前記反射情報検出部は、
前記撮像画像に映る前記目領域での反射光の画像の形状情報、色情報及び強度情報の少なくとも１つを検出し、
前記照合処理部は、
前記撮像画像に映る前記光源用表示物の画像の形状情報、色情報及び強度情報の少なくとも１つと、前記反射光の画像の形状情報、色情報及び強度情報の少なくとも１つとの照合処理を行って、前記目領域での反射光が、前記表示部の前記光源用表示物からの光による反射光であるかを判定することを特徴とする顔方向特定装置。
【請求項１７】
請求項１乃至１６のいずれかに記載の顔方向特定装置と、
前記撮像部と、
を含むことを特徴とする撮像装置。
【請求項１８】
請求項１７において、
画像を表示する表示部を含み、
前記表示部が、前記撮影者の顔方向を特定するための前記光源として用いられ、
前記反射情報検出部は、
前記表示部からの光が前記目領域で反射した場合に、前記表示部からの光の反射光の反射光情報を検出し、
前記顔方向特定部は、
検出された前記反射光情報に基づいて、前記撮影者の顔方向を特定することを特徴とする撮像装置。
【請求項１】
少なくとも撮影者の目を撮像可能な撮像部により撮像された撮像画像を取得する画像取得部と、
取得された前記撮像画像に基づいて、前記撮影者の目領域での反射光の反射光情報を検出する反射情報検出部と、
前記反射光情報に基づいて、前記撮影者の顔方向を特定する顔方向特定部と、
を含むことを特徴とする顔方向特定装置。
【請求項２】
請求項１において、
取得された前記撮像画像に基づいて、前記光源の光源方向情報を検出する光源情報検出部を含み、
前記顔方向特定部は、
検出された前記光源方向情報と前記反射光情報とに基づいて、前記撮影者の顔方向を特定することを特徴とする顔方向特定装置。
【請求項３】
請求項２において、
前記光源情報検出部は、
前記撮像部の方向に対する前記光源の方向を、前記光源方向情報として検出することを特徴とする顔方向特定装置。
【請求項４】
請求項２又は３において、
前記光源情報検出部は、
前記撮像画像での前記光源の位置情報に基づいて、前記光源方向情報を検出することを特徴とする顔方向特定装置。
【請求項５】
請求項２乃至４のいずれかにおいて、
前記光源情報検出部は、
前記撮像画像での前記光源の画像の位置情報に基づいて、前記撮像部の方向に対する前記光源の方向を検出し、
前記反射情報検出部は、
前記撮像画像に映る前記目領域における前記反射光の相対的な位置情報を検出し、
前記顔方向特定部は、
検出された前記光源の方向と、前記反射光の相対的な位置情報とに基づいて、前記撮影者の顔方向を特定することを特徴とする顔方向特定装置。
【請求項６】
請求項５において、
前記撮像部と前記撮影者との位置関係を検出する位置関係検出部を含み、
前記位置関係検出部は、
前記撮像画像での前記撮影者の顔画像の位置情報に基づいて、前記撮像部と前記撮影者との位置関係を検出することを特徴とする顔方向特定装置。
【請求項７】
請求項２乃至６のいずれかにおいて、
前記画像取得部は、
前記撮像画像として全方位画像を取得し、
前記光源情報検出部は、
前記全方位画像での前記光源の画像の位置情報に基づいて、前記光源方向情報を検出し、
前記反射情報検出部は、
前記全方位画像に映る前記目領域における前記反射光の相対的な位置情報に基づいて、前記反射光情報を検出することを特徴とする顔方向特定装置。
【請求項８】
請求項１乃至７のいずれかにおいて、
前記撮像部と前記撮影者との位置関係を検出する位置関係検出部を含み、
前記顔方向特定部は、
前記反射光情報と、前記撮像部と前記撮影者との位置関係とに基づいて、前記撮影者の顔方向を特定することを特徴とする顔方向特定装置。
【請求項９】
請求項８において、
前記位置関係検出部は、
前記撮像画像での前記撮影者の顔画像の位置情報に基づいて、前記撮像部と前記撮影者との位置関係を検出することを特徴とする顔方向特定装置。
【請求項１０】
請求項１乃至９のいずれかにおいて、
前記反射情報検出部は、
前記撮像画像に映る前記目領域における前記反射光の相対的な位置情報を、前記反射光情報として検出することを特徴とする顔方向特定装置。
【請求項１１】
請求項１０において、
前記反射情報検出部は、
前記目領域の目じり及び目頭に対する前記反射光の相対的な位置情報を、前記反射光情報として検出することを特徴とする顔方向特定装置。
【請求項１２】
請求項１乃至１１のいずれかにおいて、
光源の照合処理を行う照合処理部を含み、
前記反射情報検出部は、
前記撮像画像に映る前記目領域での反射光の画像の形状情報、色情報及び強度情報の少なくとも１つを検出し、
前記照合処理部は、
前記撮像画像に映る前記光源の画像の形状情報、色情報及び強度情報の少なくとも１つと、前記反射光の画像の形状情報、色情報及び強度情報の少なくとも１つとの照合処理を行って、前記目領域での反射光が、前記光源からの光による反射光であるかを判定することを特徴とする顔方向特定装置。
【請求項１３】
請求項１乃至１２のいずれかにおいて、
前記撮像画像から、前記顔方向特定部で特定された顔方向に対応する画像範囲のトリミング処理を行う画像トリミング部を含むことを特徴とする顔方向特定装置。
【請求項１４】
請求項１において、
前記顔方向特定部は、
前記撮像部の方向を前記光源の光源方向として、前記撮影者の顔方向を特定することを特徴とする顔方向特定装置。
【請求項１５】
請求項１において、
前記撮像部が設けられる撮像装置の表示部が、前記撮影者の顔方向を特定するための前記光源として用いられ、
前記反射情報検出部は、
前記表示部からの光が前記目領域で反射した場合に、前記表示部からの光の反射光の反射光情報を検出し、
前記顔方向特定部は、
検出された前記反射光情報に基づいて、前記撮影者の顔方向を特定することを特徴とする顔方向特定装置。
【請求項１６】
請求項１５において、
光源の照合処理を行う照合処理部を含み、
前記表示部には、光源用表示物が表示され、
前記反射情報検出部は、
前記撮像画像に映る前記目領域での反射光の画像の形状情報、色情報及び強度情報の少なくとも１つを検出し、
前記照合処理部は、
前記撮像画像に映る前記光源用表示物の画像の形状情報、色情報及び強度情報の少なくとも１つと、前記反射光の画像の形状情報、色情報及び強度情報の少なくとも１つとの照合処理を行って、前記目領域での反射光が、前記表示部の前記光源用表示物からの光による反射光であるかを判定することを特徴とする顔方向特定装置。
【請求項１７】
請求項１乃至１６のいずれかに記載の顔方向特定装置と、
前記撮像部と、
を含むことを特徴とする撮像装置。
【請求項１８】
請求項１７において、
画像を表示する表示部を含み、
前記表示部が、前記撮影者の顔方向を特定するための前記光源として用いられ、
前記反射情報検出部は、
前記表示部からの光が前記目領域で反射した場合に、前記表示部からの光の反射光の反射光情報を検出し、
前記顔方向特定部は、
検出された前記反射光情報に基づいて、前記撮影者の顔方向を特定することを特徴とする撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【公開番号】特開２０１１−１１３１９６（Ｐ２０１１−１１３１９６Ａ）
【公開日】平成２３年６月９日（２０１１．６．９）
【国際特許分類】
【出願番号】特願２００９−２６７６０８（Ｐ２００９−２６７６０８）
【出願日】平成２１年１１月２５日（２００９．１１．２５）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２３年６月９日（２０１１．６．９）
【国際特許分類】
【出願日】平成２１年１１月２５日（２００９．１１．２５）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]