画像処理プログラムおよび画像処理装置
【課題】顔を撮影した画像内から、顔部品の特徴点を誤って検出してしまう可能性を低減させることを課題とする。
【解決手段】画像処理装置は、顔を撮影した画像を入力し、該入力した画像内に含まれる顔の特徴点の候補を複数抽出して、該複数抽出した顔の特徴点の候補が該特徴点である尤もらしさを示す尤度値を取得する。続いて、画像処理装置は、候補として抽出された特徴点間の距離を評価するための参照値と尤度値とに基づいて、複数抽出した顔の特徴点の候補間の距離を評価する。そして、画像処理装置は、特徴点の候補間の距離に関する評価の結果に応じて画像から特徴点を検出する。
【解決手段】画像処理装置は、顔を撮影した画像を入力し、該入力した画像内に含まれる顔の特徴点の候補を複数抽出して、該複数抽出した顔の特徴点の候補が該特徴点である尤もらしさを示す尤度値を取得する。続いて、画像処理装置は、候補として抽出された特徴点間の距離を評価するための参照値と尤度値とに基づいて、複数抽出した顔の特徴点の候補間の距離を評価する。そして、画像処理装置は、特徴点の候補間の距離に関する評価の結果に応じて画像から特徴点を検出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本願の開示する技術は、画像処理プログラムおよび画像処理装置に関する。
【背景技術】
【０００２】
従来、例えば、顔を撮影した画像内から、目や鼻、口などの顔を構成する部品である、いわゆる顔部品を画像の特徴点として検出する技術がある。
【０００３】
例えば、顔を撮影した画像内から顔部品の可能性がある複数の候補点を抽出し、抽出した複数の候補点の中から、顔部品の位置関係に基づいて顔部品の特徴点を検出する従来技術１がある。また、例えば、顔を撮影した画像内から顔部品の可能性がある複数の候補点を抽出し、抽出した複数の候補点を所定の条件でいくつかに絞込んだ後、絞り込んだ各候補点の中から、顔部品の位置関係に基づいて顔部品の特徴点を検出する従来技術２がある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−３７４９号公報
【非特許文献】
【０００５】
【非特許文献１】福井和広 他、「形状抽出とパターン照合の組合せによる顔特徴点抽出」、電子情報通信学会論文誌、Ｖｏｌ．Ｊ−８０−Ｄ−ＩＩ、Ｎｏ．８、ｐｐ．２１７０−２１７７、１９９７年８月
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述した従来技術１や従来技術２は、顔を撮影した画像内から、顔部品の特徴点を誤って検出してしまう場合があるという問題がある。以下、顔を撮影した画像内から、顔部品として目の瞳孔および鼻の穴の特徴点を検出する場合を例に挙げ、上述した従来技術１や従来技術２の問題点について図２０および図２１を用いて説明する。図２０および図２１は、従来技術の問題点の説明に用いる図である。図２０および図２１に記述したＰ１は目の瞳孔に対応する特徴点の候補点を示し、図２０および図２１に記述したＰ２は鼻の穴に対応する特徴点の候補点を示す。
【０００７】
上述した従来技術１は、まず、図２０のＡ１に示すように、顔を撮影した画像内から瞳孔の可能性がある複数の候補点Ｐ１および鼻の穴の可能性がある複数の候補点Ｐ２を抽出する。続いて、従来技術１は、図２０のＡ２に示すように、顔部品としての位置関係に基づいて、複数の候補点Ｐ１および複数の候補点Ｐ２について位置関係を評価する。そして、従来技術１は、図２０のＡ３に示すように、顔を撮影した画像内から、瞳孔および鼻の穴の特徴点を最終的に検出する。このように、従来技術１は、顔部品の位置関係として尤もらしい候補点であれば、顔部品以外に対応する候補点であっても顔部品の特徴点として検出してしまう。このため、顔部品の特徴点を誤って検出してしまう場合がある。
【０００８】
また、上述した従来技術２は、まず、図２１のＢ１に示すように、顔を撮影した画像内から、瞳孔の可能性がある複数の候補点Ｐ１および鼻の穴の可能性がある複数の候補点Ｐ２を抽出する。続いて、従来技術２は、図２１のＢ２に示すように、顔の画像内から抽出した複数の候補点Ｐ１および複数の候補点Ｐ２を所定の条件に基づいて絞り込んだ後、顔部品としての位置関係に基づいて、複数の候補点Ｐ１および複数の候補点Ｐ２の位置関係について評価する。そして、従来技術２は、図２１のＢ３に示すように、顔を撮影した画像内から、瞳孔および鼻の穴の特徴点を最終的に検出する。このように、従来技術２は、顔部品の候補点を絞り込んだ段階で、上述した図２１のＢ２に示すように、顔部品に対応する候補点が欠落してしまう場合がある。このため、顔部品の特徴点を誤って検出してしまう場合がある。
【０００９】
開示の技術は、上記に鑑みてなされたものであって、顔を撮影した画像内から、顔部品の特徴点を誤って検出してしまう可能性を低減させることが可能な画像処理プログラムおよび画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本願の開示する画像処理プログラムは、一つの態様において、コンピュータに、顔を撮影した画像内に含まれる顔の特徴点の候補を複数抽出して、該複数抽出した顔の特徴点の候補が該特徴点である尤もらしさを示す尤度値を取得する処理を実行させる。さらに、コンピュータに、候補として抽出された特徴点間の距離を評価するための参照値と尤度値とに基づいて、複数抽出した顔の特徴点の候補間の距離を評価する処理を実行させる。さらに、コンピュータに、顔の特徴点の候補間の距離に関する評価の結果に応じて特徴点を検出する処理を実行させる。
【発明の効果】
【００１１】
本願の開示する技術の一つの態様によれば、顔を撮影した画像内から、顔部品の特徴点を誤って検出してしまう可能性を低減させることができる。
【図面の簡単な説明】
【００１２】
【図１】図１は、実施例１に係る画像処理装置の構成を示す機能ブロック図である。
【図２】図２は、実施例１に係る距離情報記憶部に記憶される情報の説明に用いる概念図である。
【図３】図３は、実施例１に係る距離情報記憶部に記憶される情報の一例を示す図である。
【図４】図４は、実施例１に係る取得部の説明に用いる図である。
【図５】図５は、実施例１に係る取得部の説明に用いる図である。
【図６】図６は、実施例１に係る評価部の説明に用いる図である。
【図７】図７は、実施例１に係る評価部の説明に用いる図である。
【図８】図８は、実施例１に係る評価部の説明に用いる図である。
【図９】図９は、実施例１に係る評価部の説明に用いる図である。
【図１０】図１０は、実施例１に係る評価部の説明に用いる図である。
【図１１】図１１は、実施例１に係る評価部の説明に用いる図である。
【図１２】図１２は、実施例１に係る画像処理装置による処理の流れを示す図である。
【図１３】図１３は、実施例２に係る画像処理装置の構成を示す機能ブロック図である。
【図１４】図１４は、実施例２に係る重要度記憶部に記憶される情報の一例を示す図である。
【図１５】図１５は、実施例２に係る尤度調整部の説明に用いる図である。
【図１６】図１６は、実施例２に係る画像処理装置による処理の流れを示す図である。
【図１７】図１７は、実施例２に係る尤度調整処理の流れを示す図である。
【図１８】図１８は、実施例３に係る尤度調整処理の流れを示す図である。
【図１９】図１９は、画像処理プログラムを実行する電子機器の一例を示す図である。
【図２０】図２０は、従来技術の問題点の説明に用いる図である。
【図２１】図２１は、従来技術の問題点の説明に用いる図である。
【発明を実施するための形態】
【００１３】
以下に、図面を参照しつつ、本願の開示する画像処理プログラムおよび画像処理装置の一実施形態について詳細に説明する。本願の開示する画像処理プログラムおよび画像処理装置の一実施形態として後述する実施例により、本願が開示する技術が限定されるものではない。なお、以下の実施例では、画像中に人の顔が写っている画像のことを顔画像と呼び、顔に含まれる目や鼻を顔部品と呼ぶ。そして、以下の実施例では、顔画像から、例えば、顔画像内に映し出された目の瞳孔および鼻の穴の位置を特徴点として検出する場合の一実施形態について説明する。また、以下の実施例に開示する技術は、処理内容に矛盾を生じさせない範囲で適宜組み合わせることが可能である。
【実施例１】
【００１４】
［画像処理装置の構成（実施例１）］
図１は、実施例１に係る画像処理装置の構成を示す機能ブロック図である。なお、図１には、実施例１に係る画像処理装置の機能を説明する上で必要となる機能ブロックを図示する。図１に示すように、実施例１に係る画像処理装置２００は、例えば、撮影装置１００に接続される。
【００１５】
撮影装置１００は、例えば、単眼カメラやステレオカメラなどに該当する。撮影装置１００は、例えば、顔画像を撮影して取得する。
【００１６】
また、図２に示すように、画像処理装置２００は、入力部２１０、記憶部２２０および制御部２３０を有する。
【００１７】
入力部２１０は、例えば、カメラインターフェースであり、撮影装置１００により取得された顔画像を入力する。入力部２１０は、撮影装置１００から入力した顔画像を画像記憶部２２１に格納する。
【００１８】
記憶部２２０は、図１に示すように、画像記憶部２２１および距離情報記憶部２２２を有する。なお、記憶部２２０は、例えば、ＲＡＭ（Random Access Memory）やフラッシュメモリ(flash memory)などの半導体メモリ素子である。
【００１９】
画像記憶部２２１は、例えば、入力部２１０により入力された顔画像を記憶する。
【００２０】
距離情報記憶部２２２は、所定の撮影条件で顔画像を撮影した場合に、顔画像内に顔部品の候補として映し出された候補特徴点間の距離を評価するための距離情報、言い換えれば、顔画像内に映し出される顔部品の正しい位置関係の情報を記憶する。以下、図２および図３を用いて、距離情報記憶部２２２に記憶される距離情報について説明する。図２は、実施例１に係る距離情報記憶部に記憶される情報の説明に用いる概念図である。図３は、実施例１に係る距離情報記憶部に記憶される情報の一例を示す図である。
【００２１】
図２のαは、顔画像内の目の瞳孔と鼻の穴との位置関係を示すモデルである。このモデルαは、図２に示すように、瞳孔のモデルであるＥ１およびＥ２、鼻の穴のモデルであるＮ１およびＮ２、瞳孔のモデルＥ１と鼻の穴のモデルＮ１とを接続するリンク、瞳孔のモデルＥ２と鼻の穴のモデルＮ２とを接続するリンクを含む。そして、上述した距離情報を概念的に説明すれば、瞳孔と鼻の穴を接続するリンクの長さ、つまり、図２に示すＥ１とＮ１との距離およびＥ２とＮ２との距離、言い換えれば、画像上の画素数に応じた距離に相当する。図２に示す例では、Ｅ１とＮ１との距離およびＥ２とＮ２との距離がそれぞれ「１．２」となっている。
【００２２】
そこで、距離情報記憶部２２２は、図３に示すように、上述したモデルαについて、瞳孔のモデルＥ１と鼻の穴のモデルＮ１との距離、および瞳孔のモデルＥ２と鼻の穴のモデルＮ２との距離である「１．２」を距離情報として記憶する。なお、距離情報記憶部２２２が記憶しているモデルαについての瞳孔と鼻の穴との距離「１．２」は、瞳孔間の距離、つまりＥ１とＥ２との距離を「１」として、Ｅ１とＮ１との距離およびＥ２とＮ２との距離を正規化した値である。距離情報記憶部２２２は、瞳孔と鼻の穴との距離を正規化して持たなくても良く、例えば、瞳孔と鼻の穴との距離として、例えば画素数をそのまま記憶しても良い。
【００２３】
また、実施例１は、顔画像内に映し出された目の瞳孔および鼻の穴の位置を特徴点として検出する場合の一実施形態を説明するものであるので、距離情報記憶部２２２は、瞳孔と鼻の穴との距離情報を記憶する。しかし、目の瞳孔および鼻の穴以外、顔部品、例えば、口（口角）や耳（耳の穴）なども検出対象とする場合には、検出対象とする顔部品間の距離情報をそれぞれ記憶することとなる。
【００２４】
なお、距離情報記憶部２２２に記憶される距離情報は、例えば、学習用の複数の顔画像について瞳孔と鼻の穴との距離をそれぞれ算出し、算出した各距離に基づいて平均的な距離を導出することにより得ることができる。上述してきた距離情報は参照値の一例である。
【００２５】
図１に戻り、制御部２３０は、顔検出部２３１と、取得部２３２と、評価部２３３と、検出部２３４とを有する。なお、制御部２３０は、例えば、電子回路や集積回路に該当する。電子回路としては、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）がある。また、集積回路としては、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array)などがある。
【００２６】
顔検出部２３１は、入力部２１０により画像が入力されると、入力された画像を画像記憶部２２１から取得し、取得した画像内から顔を検出する。例えば、顔検出部２３１は、エッジ抽出やパターンマッチング、フレーム間差分やニューラルネットワークなどの既存技術を用いて、画像から顔の検出を試みる。
【００２７】
取得部２３２は、顔検出部２３１により画像内から顔が検出された場合には、画像内に含まれる瞳孔や鼻の穴の候補を複数抽出して、複数抽出した瞳孔や鼻の穴の候補が瞳孔や鼻の穴である尤もらしさを示す尤度値を取得する。以下、図４および図５を用いて、取得部について説明する。図４および図５は、実施例１に係る取得部の説明に用いる図である。図４および図５に記述するＥ３およびＥ４は、画像から瞳孔の候補として抽出される候補特徴点を示す。図４および図５に記述するＮ３およびＮ４は、画像から鼻の穴の候補として抽出される候補特徴点を示す。
【００２８】
例えば、取得部２３２は、分離度フィルタを用いて、図４に示すＥ３およびＥ４のように、画像から瞳孔の候補である候補特徴点を複数抽出する。また、取得部２３２は、分離度フィルタを用いて、例えば、図４に示すＮ３およびＮ４のように、画像から鼻の穴の候補である候補特徴点を複数抽出する。なお、取得部２３２は、分離度フィルタを用いる方法とは異なる方法、例えば、パターンマッチングなどを用いて候補特徴点を抽出してもよい。そして、取得部２３２は、画像から瞳孔や鼻の穴の候補を抽出する際に得られる分離度フィルタの応答値を尤度値として取得する。
【００２９】
そして、取得部２３２は、内部的に有するＲＡＭなどの記憶部に、画像から取得した候補特徴点に関するデータを格納しておく。例えば、図５に示すように、取得部２３２は、顔部品の種類ごとに、候補特徴点の識別記号、候補特徴点の画像上の座標および尤度値を対応付けて記憶部に格納する。例えば、図５に示すように、取得部２３２は、顔部品の種類「瞳孔」について、候補特徴点の識別記号「Ｅ３」、候補特徴点の画像上の座標「（Ｘ１，Ｙ１）」および尤度値「Ｖ１」を対応付けて記憶部に格納する。また、取得部２３２は、図５に示すように、顔部品の種類「瞳孔」について、候補特徴点の識別記号「Ｅ４」、候補特徴点の画像上の座標「（Ｘ２，Ｙ２）」および尤度値「Ｖ２」を対応付けて記憶部に格納する。また、取得部２３２は、図５に示すように、顔部品の種類「鼻の穴」について、候補特徴点の識別記号「Ｎ３」、候補特徴点の画像上の座標「（Ｘ３，Ｙ３）」および尤度値「Ｖ３」を対応付けて記憶部に格納する。また、取得部２３２は、図５に示すように、顔部品の種類「鼻の穴」について、候補特徴点の識別記号「Ｎ４」、候補特徴点の画像上の座標「（Ｘ４，Ｙ４）」および尤度値「Ｖ４」を対応付けて記憶部に格納する。
【００３０】
図１に戻り、評価部２３３は、距離情報記憶部２２２に記憶されている距離情報と取得部２３２により取得された候補特徴点の尤度値とに基づいて、複数抽出した候補特徴点間の距離を評価する。以下、図６〜図１１を用いて、評価部について説明する。図６〜図１１は、実施例１に係る評価部の説明に用いる図である。
【００３１】
図６に示すように、評価部２３３は、取得部２３２により複数抽出された候補特徴点の組合せを作成する。例えば、評価部２３３は、瞳孔の候補として抽出された候補特徴点２つと、鼻の穴の候補として抽出された候補特徴点２つからなる全ての組合せを作成する。なお、評価部２３３は、距離情報記憶部２２２に記憶されている距離情報が瞳孔間の距離を基準として正規化されている場合には、組合せを作成する段階で、瞳孔間の距離がこの距離情報と同等にならない組合せは作成しないようにすることができる。こうすれば、後段の処理負荷を軽減できる。
【００３２】
続いて、評価部２３３は、作成した候補特徴点の組合せの中から組合せを１つ取得し、取得した組合せの候補特徴点間の距離を算出する。例えば、評価部２３３は、候補特徴点の組合せの中から組合せを取得し、取得した瞳孔の候補特徴点と鼻の穴の候補特徴点間の距離をそれぞれ算出する。例えば、図７に示す例では、評価部２３３は、候補特徴点の組合せβを取得し、瞳孔の候補特徴点Ｅ３と鼻の穴の候補特徴点Ｎ３との距離「１．５」、瞳孔の候補特徴点Ｅ４と鼻の穴の候補特徴点Ｎ４との距離「１．０」をそれぞれ算出する。
【００３３】
続いて、評価部２３３は、距離情報記憶部２２２に記憶されている距離情報と取得部２３２により取得された候補特徴点の尤度値とに基づいて、上述した組合せβの候補特徴点間の距離を評価する。まず、評価部２３３は、距離情報記憶部２２２から距離情報を取得し、取得部２３２から組合せβの各候補特徴点の尤度値を取得する。続いて、評価部２３３は、組合せβの各候補特徴点間の距離と距離情報とを照合して、組合せβの各候補特徴点間の距離と距離情報との差を算出する。例えば、図８に示すように、評価部２３３は、組合せβの各候補特徴点間の距離と距離情報と照合して、「Ｅ３-Ｎ３間」の距離と「Ｅ１-Ｎ１間」の距離の差「０．３」を算出する。また、図８に示すように、評価部２３３は、「Ｅ４-Ｎ４間」と「Ｅ１-Ｎ１間」の距離の差「０．２」を算出する。
【００３４】
続いて、評価部２３３は、組合せβの各候補特徴点の尤度値に応じて、組合せβの各候補特徴点間の距離と距離情報との差を調整する。例えば、評価部２３３は、組合せβの候補特徴点Ｅ３と候補特徴点Ｎ３の尤度値の和、および組合せβの候補特徴点Ｅ４と候補特徴点Ｎ４の尤度値の和をそれぞれ算出する。そして、評価部２３３は、尤度値の和に対応する係数Ｃを組合せβの各候補特徴点間の距離と距離情報との差に乗算することにより、各候補特徴点間の距離と距離情報との差を調整する。
【００３５】
この係数Ｃの値は、例えば、図９に示すように、尤度値の和が「０」のときに最大値（ＭＡＸ）となり、尤度値の和が大きくなるに従って小さくなって、尤度値の和がある値以上で一定の最小値（ＭＩＮ）となる。この係数Ｃは、尤度値が高い候補特徴点間の距離については、距離情報記憶部２２２に記憶されている距離情報との差が小さくなるように調整するものである。つまり、評価部２３３は、係数Ｃを用いることにより、顔部品として尤もらしい候補特徴点ほど、顔部品、つまり瞳孔と鼻の穴とが正しい位置関係を有する可能性が高いものとして評価する。
【００３６】
例えば、図１０に示す例では、評価部２３３により、組合せβの各候補特徴点間の距離と距離情報との差を調整した結果、「Ｅ３-Ｎ３間」の距離と「Ｅ１-Ｎ１間」の距離の差は「０．１」、「Ｅ４-Ｎ４間」と「Ｅ１-Ｎ１間」の距離の差「０．３」となる。続いて、評価部２３３は各候補特徴点間の距離の差の和を算出する。この距離の差の和が小さいほど、例えば、画像内から抽出した瞳孔の候補点と鼻の穴の候補点の位置関係、例えば図８に示す組合せβが、瞳孔と鼻の穴の正しい位置関係、例えば図８に示すモデルαにより近いことを示す。
【００３７】
そして、評価部２３３は、内部的に有するＲＡＭなどの記憶部に、組合せβについての処理結果を格納する。例えば、図１１に示すように、評価部２３３は、候補特徴点の組合せごとに、組合せの識別記号、組合せに含まれる候補特徴点の識別記号、候補特徴点の画像上の座標および候補特徴点間の距離の差の和を対応付けて記憶部に格納する。例えば、図１１に示すように、評価部２３３は、組合せの識別記号「β」に対応付けて、組合せに含まれる候補特徴点の識別記号「Ｅ３」と、候補特徴点の画像上の座標「（Ｘ１，Ｙ１）」とを記憶部に格納する。同様に、評価部２３３は、図１１に示すように、組合せの識別記号「β」に対応付けて、組合せに含まれる候補特徴点の識別記号「Ｅ４」と、候補特徴点の画像上の座標「（Ｘ２，Ｙ２）」とを記憶部に格納する。同様に、図１１に示すように、評価部２３３は、組合せの識別記号「β」に対応付けて、組合せに含まれる候補特徴点の識別記号「Ｎ３」と、候補特徴点の画像上の座標「（Ｘ３，Ｙ３）」とを記憶部に格納する。同様に、図１１に示すように、評価部２３３は、組合せの識別記号「β」に対応付けて、組合せに含まれる候補特徴点の識別記号「Ｎ４」と、候補特徴点の画像上の座標「（Ｘ４，Ｙ４）」とを記憶部に格納する。また、図１１に示すように、評価部２３３は、組合せの識別記号「β」に対応付けて、候補特徴点間の距離の差の和「０．４」を記憶部に格納する。
【００３８】
評価部２３３は、作成した候補特徴点の組合せの全てについて、上述してきた処理を完了したかどうかを判定し、組合せの全てについて処理を完了していない場合には、残りの組合せの中から組合せを１つ取得し、上述してきた処理を実行する。このように、評価部２３３が、候補特徴点の組合せの全てについて上述してきた処理を実行し、例えば、図１１に示すようなデータを作成することで、候補特徴点の組合せごとに候補特徴点間の距離の差の和および候補特徴点の座標が分かる。
【００３９】
図１に戻り、検出部２３４は、評価部２３３による候補特徴点の組合せについての評価結果に応じて、瞳孔や鼻の穴に対応する特徴点の位置を取得する。例えば、検出部２３４は、評価部２３３による評価結果を取得し、候補特徴点間の距離の差の和が最小であるレコードを特定する。そして、候補特徴点間の距離の差の和が最小であるレコードを特定すると、そのレコードの各候補特徴点の座標を取得する。
【００４０】
なお、図１に示す画像処理装置２００が、例えば携帯電話などの携帯端末に実装された場合、検出部２３４により取得された特徴点の座標値は、例えば角膜反射法などを用いて、携帯電話のユーザの視線を検出する処理に利用される。また、図１に示す画像処理装置２００が、例えば車両に搭載されたＥＣＵ（Electronic Control Unit）などに実装された場合、検出部２３４により取得された特徴点の座標値は、例えば角膜反射法などを用いて車両の運転者の視線を検出する処理にも利用される。例えば、検出部２３４により取得された特徴点の座標値を用いて視線を検出する方法を説明すると、まず、検出部２３４により取得された瞳孔のＸ，Ｙ座標を利用して瞳孔の中心位置を求める。続いて、求めた瞳孔の中心位置と角膜反射点とを追跡し、角膜の曲率中心と眼球の回転中心との違いに基づき視線を検出する。また、検出部２３４により取得された画像の特徴点の座標値は、顔画像に基づいて個人を認証する認証処理時に、処理対象領域を画像から切り出す場合に利用される。例えば、瞳孔と鼻の穴を含む処理対象領域を切り出す場合に利用できる。
【００４１】
［画像処理装置による処理（実施例１）］
続いて、図１２を用いて、実施例１に係る画像処理装置による処理の流れを説明する。図１２は、実施例１に係る画像処理装置による処理の流れを示す図である。なお、図１２に示す処理は、画像フレームが入力されるたびに実行される。
【００４２】
図１２に示すように、例えば、制御部２３０により入力部２１０による画像の入力が検出されると（ステップＳ１０１，ＹＥＳ）、顔検出部２３１は、入力された画像を画像記憶部２２１から取得し、取得した画像内から顔を検出する（ステップ１０２）。なお、入力部２１０による画像の入力が検出されない場合（ステップＳ１０１，ＮＯ）、制御部２３０は、入力部２１０による画像の入力を繰り返し判定する。
【００４３】
顔検出部２３１により画像から顔が検出されなかった場合には（ステップＳ１０２，ＮＯ）、制御部２３０は処理を終了し、次の画像の入力を待機する。顔検出部２３１により画像から顔が検出されると（ステップＳ１０２，ＹＥＳ）、取得部２３２は、画像内に含まれる瞳孔や鼻の穴の候補特徴点を複数抽出する（ステップＳ１０３）。なお、取得部２３２は、ステップＳ１０３において、例えば、画像から瞳孔や鼻の穴の候補を抽出する際に得られる分類度フィルタの応答値を尤度値として取得する。
【００４４】
続いて、評価部２３３は、取得部２３２により複数抽出された候補特徴点の組合せを作成し（ステップＳ１０４）、作成した候補特徴点の組合せの中から組合せを１つ取得する（ステップＳ１０５）。続いて、評価部２３３は、ステップＳ１０５にて取得した組合せの候補特徴点間の距離を算出する（ステップＳ１０６）。続いて、評価部２３３は、距離情報記憶部２２２に記憶されている距離情報と取得部２３２により取得された候補特徴点の尤度値とに基づいて、ステップＳ１０５にて取得した組合せの候補特徴点間の距離を評価する（ステップＳ１０７）。つまり、ステップＳ１０７では、尤度値が高い候補特徴点間の距離と、距離情報記憶部２２２に記憶されている距離情報との差が小さくなるように調整する。そして、評価部２３３は、評価結果を格納し（ステップＳ１０８）、ステップＳ１０４にて作成した全組合せについて処理を完了したかどうかを判定する（ステップＳ１０９）。
【００４５】
判定の結果、処理を完了していない場合には（ステップＳ１０９，ＮＯ）、評価部２３３は、上述したステップＳ１０５に戻り、ステップＳ１０５からステップＳ１０９までの処理を実行する。一方、評価部２３３により、処理が完了しているものと判定された場合には（ステップＳ１０９，ＹＥＳ）、検出部２３４は、評価部２３３による評価結果に基づいて画像の特徴点を検出する（ステップＳ１１０）。言い換えれば、検出部２３４は、候補特徴点間の距離の差の和が最小である候補特徴点の座標を取得する。
【００４６】
なお、図１２に示す例では、ステップＳ１０２に示すように、画像から顔を検出する処理を実行したが、顔を撮影した画像のみが入力される場合には、ステップＳ１０２の処理を省略することもできる。
【００４７】
［実施例１による効果］
上述してきたように、実施例１に係る画像処理装置は、顔画像内に含まれる顔部品の候補特徴点を複数抽出し、顔部品である尤もらしさを示す尤度値を取得する。そして、実施例１に係る画像処理装置は、候補特徴点間の距離を評価するための距離情報と、候補特徴点の尤度値とに基づいて候補特徴点間の距離を評価する。そして、実施例１に係る画像処理装置は、候補特徴点間の距離に関する評価結果に応じて、顔画像に顔部品として含まれる特徴点を検出する。つまり、候補特徴点の尤度値に応じて候補特徴点間の距離を調整し、候補特徴点間の距離と距離情報記憶部２２２に記憶されている距離情報との差ができるだけ小さい候補特徴点ほど、顔部品の可能性が高い特徴点として検出する。このようなことから、実施例１によれば、顔を撮影した画像内から、顔部品の特徴点を誤って検出してしまう可能性を低減させることができる。
【実施例２】
【００４８】
上述した実施例１において、例えば、入力される画像の特性に応じた顔部品の種別ごとに重要度を予め設定し、この重要度を用いて候補特徴点の尤度値を調整してもよい。
【００４９】
［画像処理装置の構成（実施例２）］
図１３は、実施例２に係る画像処理装置の構成を示す機能ブロック図である。実施例２に係る画像処理装置は、重要度記憶部２２３および尤度調整部２３５を有する点が実施例１とは異なる。
【００５０】
重要度記憶部２２３は、入力される画像の特性に応じた顔部品の種別ごとに予め設定された重要度を記憶する。図１４は、実施例２に係る重要度記憶部に記憶される情報の一例を示す図である。図１４に示すように、重要度記憶部２２３は、顔部品の種別ごとに予め設定された重要度を記憶し、例えば、瞳孔に対応する重要度「１．５」および鼻の穴に対応する重要度「０．８」を記憶する。ここで、入力される画像の特性とは、例えば、顔に正対する方向から撮影したり、顔の下側から上側へ向けた方向で撮影したり、顔の上側から下側へ向けた方向で撮影したりなど、どのような撮影方向で撮影された画像であるかを意味する。例えば、顔に正対する方向から撮影した画像では、鼻の穴よりも瞳孔がより鮮明に撮影される可能性が高いので、鼻の穴よりも瞳孔の重要度を高く設定する。あるいは、顔の下側から上側へ向けた方向で撮影した画像では、瞳孔よりも鼻の穴がより鮮明に撮影される可能性が高いので、瞳孔よりも鼻の穴の重要度を高く設定する。
【００５１】
尤度調整部２３５は、重要度記憶部２２３に記憶されている重要度を用いて、取得部２３２により取得された候補特徴点の尤度値を調整する。図１５は、実施例２に係る尤度調整部の説明に用いる図である。例えば、尤度調整部２３５は、図１５に示すように、瞳孔の候補特徴点の尤度値に対して、重要度記憶部２２３に記憶されている重要度「１．５」を乗算することにより、瞳孔の候補特徴点の尤度値を調整する。また、尤度調整部２３５は、図１５に示すように、鼻の穴の候補特徴点の尤度値に対して、重要度記憶部２２３に記憶されている重要度「０．８」を乗算することにより、鼻の穴の候補特徴点の尤度値を調整する。
【００５２】
［画像処理装置による処理（実施例２）］
続いて、図１６および図１７を用いて、実施例２に係る画像処理装置による処理の流れを説明する。図１６は、実施例２に係る画像処理装置による処理の流れを示す図である。図１７は、実施例２に係る尤度調整処理の流れを示す図である。
【００５３】
まず、図１６を用いて、実施例２に係る画像処理装置による処理の流れを説明する。図１６に示すステップＳ２０４の処理が、実施例１に係る画像処理装置による処理、つまり、上述した図１２に示す処理とは異なる。
【００５４】
取得部２３２により瞳孔や鼻の穴の候補特徴点が複数抽出されると（ステップＳ２０３）、尤度調整部２３５は、重要度記憶部２２３に記憶されている重要度を用いて、候補特徴点の尤度値を調整する尤度調整処理を実行する（ステップＳ２０４）。以下、ステップＳ２０５〜ステップＳ２１１までの処理は、上述した図１２に示すステップＳ１０４〜ステップＳ１１０までの処理と同様である。
【００５５】
つまり、評価部２３３は、候補特徴点の組合せを作成し（ステップＳ２０５）、組合せを１つ取得する（ステップＳ２０６）。続いて、評価部２３３は、ステップＳ２０６にて取得した組合せの候補特徴点間の距離を算出する（ステップＳ２０７）。続いて、評価部２３３は、距離情報記憶部２２２に記憶された距離情報と上述したステップＳ２０４により調整された尤度値とに基づいて、ステップＳ２０６にて取得した組合せの候補特徴点間の距離を評価する（ステップＳ２０８）。そして、評価部２３３は、評価結果を格納し（ステップＳ２０９）、ステップＳ２０５にて作成した全組合せについて処理を完了したかどうかを判定する（ステップＳ２１０）。判定の結果、処理を完了していない場合には（ステップＳ２１０，ＮＯ）、ステップＳ２０６に戻り、ステップＳ２０６からステップＳ２１０までの処理を実行する。一方、処理が完了しているものと判定された場合には（ステップＳ２１０，ＹＥＳ）、検出部２３４は、評価部２３３による評価結果に基づいて画像の特徴点を検出する（ステップＳ２１１）。
【００５６】
次に、図１７を用いて、実施例２に係る尤度調整処理について説明する。図１７に示すように、尤度調整部２３５は、重要度記憶部２２３から顔部品ごとの重要度を読み込む（ステップＳ３０１）。そして、尤度調整部２３５は、重要度記憶部２２３から読み込んだ重要度を用いて、取得部２３２により取得された各候補特徴点の尤度値をそれぞれ調整する（ステップＳ３０２）。
【００５７】
［実施例２による効果］
上述してきたように、実施例２に係る画像処理装置は、顔部品の種別ごとに重要度を予め設定し、この重要度を用いて候補特徴点の尤度値を調整する。そして、実施例２に係る画像処理装置は、例えば、入力される画像が、どのような撮影方向で撮影された画像が入力されたものであるのかに応じて、この重要度を設定する。このようなことから、実施例２によれば、撮影方向の違いにより、画像内により鮮明に映し出される顔部品が異なる点を考慮しつつ候補特徴点の尤度値を調整できる。
【実施例３】
【００５８】
上述した実施例２では、例えば、入力される画像の特性に応じた顔部品の種別ごとに、候補特徴点の尤度値を調整するための重要度を予め設定する場合を説明した。これに限定されるのではなく、例えば、入力される画像内に含まれる顔部品の状態に応じて、この重要度を動的に調整してもよい。
【００５９】
［画像処理装置の構成（実施例３）］
実施例３に係る画像処理装置は、実施例２に係る画像処理装置と基本的に同様の構成を有するが、以下に説明する尤度調整部２３５の処理機能が異なる。
【００６０】
尤度調整部２３５は、重要度記憶部２２３に記憶されている顔部品ごとの重要度を初期値として読み込む。続いて、尤度調整部２３５は、入力した画像から、瞳孔の候補特徴点を含む所定サイズの領域を切り出し、切り出した領域内に含まれる各画素の輝度値を取得する。
【００６１】
続いて、尤度調整部２３５は、取得した各画素の輝度値に基づいて、入力した画像が目を閉じた状態を撮影したものであるか否かを判定する。例えば、尤度調整部２３５は、輝度値のヒストグラムを作成し、肌色に対応する輝度値がピークの度数を有する場合には、目を閉じた状態であると判定する。
【００６２】
尤度調整部２３５は、判定の結果、入力した画像が目を閉じた状態を撮影したものである場合には、瞳孔の重要度の初期値を低く変更し、この重要度を用いて瞳孔の候補特徴点の尤度値を調整する。一方、尤度調整部２３５は、判定の結果、入力した画像が目を閉じた状態を撮影したものではない、つまり目を開けた状態を撮影したものである場合には、瞳孔の重要度の初期値を高く変更し、この重要度を用いて瞳孔の候補特徴点の尤度値を調整する。なお、尤度調整部２３５は、入力した画像が目を開けた状態を撮影したものである場合、重要度記憶部２２３から初期値として読み込んだ重要度をそのまま用いて、瞳孔の候補特徴点の尤度値を調整してもよい。
【００６３】
なお、尤度調整部２３５は、入力した画像内の上瞼と下瞼との間隔の変化により、瞳孔の重要度を動的に調整してもよい。例えば、尤度調整部２３５は、時系列で入力される数フレームの各画像について、エッジをそれぞれ検出して目の輪郭を抽出する。そして、尤度調整部２３５は、現入力フレームの方が一つ前のフレームよりも上瞼と下瞼との間隔が狭くなっていれば重要度を低く調整する。なお、目を開けた状態にあるか否かを判定するための値や、上瞼と下瞼との間隔を示す値は特徴量の一例である。
【００６４】
［画像処理装置による処理（実施例３）］
続いて、図１８を用いて、実施例３に係る尤度調整処理の流れを説明する。図１８は、実施例３に係る尤度調整処理の流れを示す図である。図１８に示すように、尤度調整部２３５は、重要度記憶部２２３に記憶されている顔部品ごとの重要度を初期値として読み込む（ステップＳ４０１）。続いて、尤度調整部２３５は、入力した画像から、瞳孔の候補特徴点を含む所定サイズの領域を切り出し、切り出した領域内に含まれる各画素の輝度値を取得する（ステップＳ４０２）。続いて、尤度調整部２３５は、取得した各画素の輝度値に基づいて、入力した画像が目を閉じた状態を撮影したものであるか否かを判定する（ステップＳ４０３）。
【００６５】
尤度調整部２３５は、入力した画像が目を閉じた状態を撮影したものと判定した場合には（ステップＳ４０３，ＹＥＳ）、次のように処理を行う。すなわち、尤度調整部２３５は、瞳孔の重要度の初期値を低く調整して、この重要度を用いて瞳孔の候補特徴点の尤度値を調整し（ステップＳ４０４）、処理を終了する。一方、尤度調整部２３５は、入力した画像が目を閉じた状態を撮影したものではないと判定した場合には（ステップＳ４０３，ＮＯ）、次のように処理を行う。すなわち、尤度調整部２３５は、瞳孔の重要度の初期値を高く調整して、この重要度を用いて瞳孔の候補特徴点の尤度値を調整し（ステップＳ４０５）、処理を終了する。
【００６６】
［実施例３による効果］
上述してきたように、実施例３に係る画像処理装置は、入力される画像内に含まれる顔部品の状態に応じて、この重要度を動的に調整する。このようなことから、実施例３によれば、例えば、画像から瞳孔に対応する特徴点を検出しようとしても、目を閉じて上手く検出できない場合など、顔部品が上手く検出できない状況に応じて候補特徴点の尤度値を調整できる。
【実施例４】
【００６７】
以下、本願の開示する画像処理プログラムおよび画像処理装置の他の実施形態を説明する。
【００６８】
（１）装置構成等
例えば、図１に示した画像処理装置２００の機能ブロックの構成は概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。例えば、図１に示した顔検出部２３１と取得部２３２とを機能的または物理的に統合してもよい。同様に、図１に示した評価部２３３と検出部２３４とを機能的または物理的に統合してもよい。このように、画像処理装置２００の機能ブロックの全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
【００６９】
（２）画像処理プログラム
また、上述の実施例１〜３にて説明した画像処理装置２００により実行される各種の処理は、例えば、車両に搭載されるＥＣＵ（Electronic Control Unit）に実装されたマイコンなどの電子機器で所定のプログラムを実行することによって実現することもできる。そこで、以下では、図１９を用いて、実施例１〜３にて説明した画像処理装置２００により実行される処理と同様の機能を実現する画像処理プログラムを実行する電子機器の一例を説明する。図１９は、画像処理プログラムを実行する電子機器の一例を示す図である。
【００７０】
図１９に示すように、画像処理装置２００により実行される各種処理を実現する電子機器３００は、各種演算処理を実行するＣＰＵ（Central Processing Unit）３１０を有する。また、図１９に示すように、電子機器３００は、カメラ画像を取得するためのカメラインターフェース３２０、ディスプレイとの間で各種データのやり取りを行うためのディスプレイインターフェース３３０を有する。また、図１９に示すように、電子機器３００は、ハードウェアアクセラレータとして機能するグラフィックエンジン３４０を有する。
【００７１】
また、図１９に示すように、電子機器３００は、ＣＰＵ３１０により各種処理を実現するためのプログラムやデータ等を記憶するハードディスク装置３５０と、各種情報を一時記憶するＲＡＭ（Random Access Memory）などのメモリ３６０とを有する。そして、各装置３１０〜３６０は、バス３７０に接続される。
【００７２】
なお、ＣＰＵ３１０の代わりに、例えば、ＭＰＵ（Micro Processing Unit）などの電子回路、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ(Field Programmable Gate Array)などの集積回路を用いることもできる。また、メモリ３６０の代わりに、フラッシュメモリ(flash memory)などの半導体メモリ素子を用いることもできる。
【００７３】
ハードディスク装置３５０には、画像処理装置２００の機能と同様の機能を発揮する画像処理プログラム３５１および画像処理用データ３５２が記憶されている。なお、この画像処理プログラム３５１を適宜分散させて、ネットワークを介して通信可能に接続された他のコンピュータの記憶部に記憶させておくこともできる。
【００７４】
そして、ＣＰＵ３１０が、画像処理プログラム３５１をハードディスク装置３５０から読み出してメモリ３６０に展開することにより、図１９に示すように、画像処理プログラム３５１は画像処理プロセス３６１として機能する。画像処理プロセス３６１は、ハードディスク装置３５０から読み出した画像処理用データ３５２等の各種データを適宜メモリ３６０上の自身に割当てられた領域に展開し、この展開した各種データに基づいて各種処理を実行する。
【００７５】
なお、画像処理プロセス３６１は、例えば、実施例１〜３で説明した画像処理装置２００の制御部２３０にて実行される処理、例えば、図１２，図１６〜１８に示す処理を含む。
【００７６】
なお、画像処理プログラム３５１については、必ずしも最初からハードディスク装置３５０に記憶させておく必要はない。例えば、電子機器３００が実装されたＥＣＵへ対応ドライブを接続可能なフレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、電子機器３００がこれらから各プログラムを読み出して実行するようにしてもよい。
【００７７】
さらには、公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介して、電子機器３００が実装されたＥＣＵに接続される「他のコンピュータ（またはサーバ）」などに各プログラムを記憶させておく。そして、電子機器３００がこれらから各プログラムを読み出して実行するようにしてもよい。
【００７８】
以上の実施例を含む実施形態に関し、さらに以下の付記を開示する。
【００７９】
（付記１）コンピュータに、
顔を撮影した画像内に含まれる顔の特徴点の候補を複数抽出して、該複数抽出した顔の特徴点の候補それぞれにつき、該特徴点である尤もらしさを示す尤度値を取得し、
前記候補として複数抽出された特徴点間の距離を評価するための参照値とそれぞれの前記特徴点の候補に対応する前記尤度値とに基づいて、前記複数抽出した顔の特徴点の候補間の距離を評価し、
前記距離を評価した結果に応じて、前記複数抽出した顔の特徴点の候補の中から前記特徴点を検出する
処理を実行させることを特徴とする画像処理プログラム。
【００８０】
（付記２）前記コンピュータに、
検出対象とする前記特徴点に応じた重要度を用いて前記尤度値を調整する処理をさらに実行させ、
前記参照値と前記調整された前記尤度値とに基づいて、前記複数抽出した顔の特徴点の候補間の距離を評価することを特徴とする付記１に記載の画像処理プログラム。
【００８１】
（付記３）前記入力した画像から得られる特徴量に応じて前記重要度を変更する処理をさらに実行させることを特徴とする付記２に記載の画像処理プログラム。
【００８２】
（付記４）前記特徴点を検出する処理は、前記特徴点の候補間の距離に関する評価の結果が最も高い特徴点を検出し、
前記コンピュータに、
検出した前記特徴点の前記画像上の位置を取得し、取得した前記位置を用いて前記画像に撮影されている顔の視線を検出する処理をさらに実行させることを特徴とする付記１に記載の画像処理プログラム。
【００８３】
（付記５）顔を撮影した画像内に含まれる顔の特徴点の候補を複数抽出して、該複数抽出した顔の特徴点の候補それぞれにつき、該特徴点である尤もらしさを示す尤度値を取得する取得部と、
前記候補として複数抽出された特徴点間の距離を評価するための参照値とそれぞれの前記特徴点の候補に対応する前記尤度値とに基づいて、前記複数抽出した顔の特徴点の候補間の距離を評価する評価部と、
前記距離を評価した結果に応じて、前記複数抽出した顔の特徴点の候補の中から前記特徴点を検出する検出部と
を有することを特徴とする画像処理装置。
【００８４】
（付記６）検出対象とする前記特徴点に応じた重要度を用いて前記尤度値を調整する尤度調整部をさらに有し、
前記参照値と前記調整された前記尤度値とに基づいて、前記複数抽出した顔の特徴点の候補間の距離を評価することを特徴とする付記５に記載の画像処理装置。
【００８５】
（付記７）前記入力した画像から得られる特徴量に応じて前記重要度を変更する変更部をさらに有することを特徴とする付記６に記載の画像処理装置。
【００８６】
（付記８）前記検出部は、前記特徴点の候補間の距離に関する評価の結果が最も高い特徴点を検出し、
検出した前記特徴点の前記画像上の位置を取得し、取得した前記位置を用いて前記画像に撮影されている顔の視線を検出する視線検出部をさらに有することを特徴とする付記５に記載の画像処理装置。
【符号の説明】
【００８７】
１００ 撮影装置
２００ 画像処理装置
２１０ 入力部
２２０ 記憶部
２２１ 画像記憶部
２２２ 距離情報記憶部
２２３ 重要度記憶部
２３０ 制御部
２３１ 顔検出部
２３２ 取得部
２３３ 評価部
２３４ 検出部
２３５ 尤度調整部
３００ 電子機器
３１０ ＣＰＵ
３２０ カメラインターフェース
３３０ ディスプレイインターフェース
３４０ グラフィックエンジン
３５０ ハードディスク装置
３５１ 画像処理プログラム
３５２ 画像処理用データ
３６０ メモリ
３６１ 画像処理プロセス
【技術分野】
【０００１】
本願の開示する技術は、画像処理プログラムおよび画像処理装置に関する。
【背景技術】
【０００２】
従来、例えば、顔を撮影した画像内から、目や鼻、口などの顔を構成する部品である、いわゆる顔部品を画像の特徴点として検出する技術がある。
【０００３】
例えば、顔を撮影した画像内から顔部品の可能性がある複数の候補点を抽出し、抽出した複数の候補点の中から、顔部品の位置関係に基づいて顔部品の特徴点を検出する従来技術１がある。また、例えば、顔を撮影した画像内から顔部品の可能性がある複数の候補点を抽出し、抽出した複数の候補点を所定の条件でいくつかに絞込んだ後、絞り込んだ各候補点の中から、顔部品の位置関係に基づいて顔部品の特徴点を検出する従来技術２がある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−３７４９号公報
【非特許文献】
【０００５】
【非特許文献１】福井和広 他、「形状抽出とパターン照合の組合せによる顔特徴点抽出」、電子情報通信学会論文誌、Ｖｏｌ．Ｊ−８０−Ｄ−ＩＩ、Ｎｏ．８、ｐｐ．２１７０−２１７７、１９９７年８月
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述した従来技術１や従来技術２は、顔を撮影した画像内から、顔部品の特徴点を誤って検出してしまう場合があるという問題がある。以下、顔を撮影した画像内から、顔部品として目の瞳孔および鼻の穴の特徴点を検出する場合を例に挙げ、上述した従来技術１や従来技術２の問題点について図２０および図２１を用いて説明する。図２０および図２１は、従来技術の問題点の説明に用いる図である。図２０および図２１に記述したＰ１は目の瞳孔に対応する特徴点の候補点を示し、図２０および図２１に記述したＰ２は鼻の穴に対応する特徴点の候補点を示す。
【０００７】
上述した従来技術１は、まず、図２０のＡ１に示すように、顔を撮影した画像内から瞳孔の可能性がある複数の候補点Ｐ１および鼻の穴の可能性がある複数の候補点Ｐ２を抽出する。続いて、従来技術１は、図２０のＡ２に示すように、顔部品としての位置関係に基づいて、複数の候補点Ｐ１および複数の候補点Ｐ２について位置関係を評価する。そして、従来技術１は、図２０のＡ３に示すように、顔を撮影した画像内から、瞳孔および鼻の穴の特徴点を最終的に検出する。このように、従来技術１は、顔部品の位置関係として尤もらしい候補点であれば、顔部品以外に対応する候補点であっても顔部品の特徴点として検出してしまう。このため、顔部品の特徴点を誤って検出してしまう場合がある。
【０００８】
また、上述した従来技術２は、まず、図２１のＢ１に示すように、顔を撮影した画像内から、瞳孔の可能性がある複数の候補点Ｐ１および鼻の穴の可能性がある複数の候補点Ｐ２を抽出する。続いて、従来技術２は、図２１のＢ２に示すように、顔の画像内から抽出した複数の候補点Ｐ１および複数の候補点Ｐ２を所定の条件に基づいて絞り込んだ後、顔部品としての位置関係に基づいて、複数の候補点Ｐ１および複数の候補点Ｐ２の位置関係について評価する。そして、従来技術２は、図２１のＢ３に示すように、顔を撮影した画像内から、瞳孔および鼻の穴の特徴点を最終的に検出する。このように、従来技術２は、顔部品の候補点を絞り込んだ段階で、上述した図２１のＢ２に示すように、顔部品に対応する候補点が欠落してしまう場合がある。このため、顔部品の特徴点を誤って検出してしまう場合がある。
【０００９】
開示の技術は、上記に鑑みてなされたものであって、顔を撮影した画像内から、顔部品の特徴点を誤って検出してしまう可能性を低減させることが可能な画像処理プログラムおよび画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本願の開示する画像処理プログラムは、一つの態様において、コンピュータに、顔を撮影した画像内に含まれる顔の特徴点の候補を複数抽出して、該複数抽出した顔の特徴点の候補が該特徴点である尤もらしさを示す尤度値を取得する処理を実行させる。さらに、コンピュータに、候補として抽出された特徴点間の距離を評価するための参照値と尤度値とに基づいて、複数抽出した顔の特徴点の候補間の距離を評価する処理を実行させる。さらに、コンピュータに、顔の特徴点の候補間の距離に関する評価の結果に応じて特徴点を検出する処理を実行させる。
【発明の効果】
【００１１】
本願の開示する技術の一つの態様によれば、顔を撮影した画像内から、顔部品の特徴点を誤って検出してしまう可能性を低減させることができる。
【図面の簡単な説明】
【００１２】
【図１】図１は、実施例１に係る画像処理装置の構成を示す機能ブロック図である。
【図２】図２は、実施例１に係る距離情報記憶部に記憶される情報の説明に用いる概念図である。
【図３】図３は、実施例１に係る距離情報記憶部に記憶される情報の一例を示す図である。
【図４】図４は、実施例１に係る取得部の説明に用いる図である。
【図５】図５は、実施例１に係る取得部の説明に用いる図である。
【図６】図６は、実施例１に係る評価部の説明に用いる図である。
【図７】図７は、実施例１に係る評価部の説明に用いる図である。
【図８】図８は、実施例１に係る評価部の説明に用いる図である。
【図９】図９は、実施例１に係る評価部の説明に用いる図である。
【図１０】図１０は、実施例１に係る評価部の説明に用いる図である。
【図１１】図１１は、実施例１に係る評価部の説明に用いる図である。
【図１２】図１２は、実施例１に係る画像処理装置による処理の流れを示す図である。
【図１３】図１３は、実施例２に係る画像処理装置の構成を示す機能ブロック図である。
【図１４】図１４は、実施例２に係る重要度記憶部に記憶される情報の一例を示す図である。
【図１５】図１５は、実施例２に係る尤度調整部の説明に用いる図である。
【図１６】図１６は、実施例２に係る画像処理装置による処理の流れを示す図である。
【図１７】図１７は、実施例２に係る尤度調整処理の流れを示す図である。
【図１８】図１８は、実施例３に係る尤度調整処理の流れを示す図である。
【図１９】図１９は、画像処理プログラムを実行する電子機器の一例を示す図である。
【図２０】図２０は、従来技術の問題点の説明に用いる図である。
【図２１】図２１は、従来技術の問題点の説明に用いる図である。
【発明を実施するための形態】
【００１３】
以下に、図面を参照しつつ、本願の開示する画像処理プログラムおよび画像処理装置の一実施形態について詳細に説明する。本願の開示する画像処理プログラムおよび画像処理装置の一実施形態として後述する実施例により、本願が開示する技術が限定されるものではない。なお、以下の実施例では、画像中に人の顔が写っている画像のことを顔画像と呼び、顔に含まれる目や鼻を顔部品と呼ぶ。そして、以下の実施例では、顔画像から、例えば、顔画像内に映し出された目の瞳孔および鼻の穴の位置を特徴点として検出する場合の一実施形態について説明する。また、以下の実施例に開示する技術は、処理内容に矛盾を生じさせない範囲で適宜組み合わせることが可能である。
【実施例１】
【００１４】
［画像処理装置の構成（実施例１）］
図１は、実施例１に係る画像処理装置の構成を示す機能ブロック図である。なお、図１には、実施例１に係る画像処理装置の機能を説明する上で必要となる機能ブロックを図示する。図１に示すように、実施例１に係る画像処理装置２００は、例えば、撮影装置１００に接続される。
【００１５】
撮影装置１００は、例えば、単眼カメラやステレオカメラなどに該当する。撮影装置１００は、例えば、顔画像を撮影して取得する。
【００１６】
また、図２に示すように、画像処理装置２００は、入力部２１０、記憶部２２０および制御部２３０を有する。
【００１７】
入力部２１０は、例えば、カメラインターフェースであり、撮影装置１００により取得された顔画像を入力する。入力部２１０は、撮影装置１００から入力した顔画像を画像記憶部２２１に格納する。
【００１８】
記憶部２２０は、図１に示すように、画像記憶部２２１および距離情報記憶部２２２を有する。なお、記憶部２２０は、例えば、ＲＡＭ（Random Access Memory）やフラッシュメモリ(flash memory)などの半導体メモリ素子である。
【００１９】
画像記憶部２２１は、例えば、入力部２１０により入力された顔画像を記憶する。
【００２０】
距離情報記憶部２２２は、所定の撮影条件で顔画像を撮影した場合に、顔画像内に顔部品の候補として映し出された候補特徴点間の距離を評価するための距離情報、言い換えれば、顔画像内に映し出される顔部品の正しい位置関係の情報を記憶する。以下、図２および図３を用いて、距離情報記憶部２２２に記憶される距離情報について説明する。図２は、実施例１に係る距離情報記憶部に記憶される情報の説明に用いる概念図である。図３は、実施例１に係る距離情報記憶部に記憶される情報の一例を示す図である。
【００２１】
図２のαは、顔画像内の目の瞳孔と鼻の穴との位置関係を示すモデルである。このモデルαは、図２に示すように、瞳孔のモデルであるＥ１およびＥ２、鼻の穴のモデルであるＮ１およびＮ２、瞳孔のモデルＥ１と鼻の穴のモデルＮ１とを接続するリンク、瞳孔のモデルＥ２と鼻の穴のモデルＮ２とを接続するリンクを含む。そして、上述した距離情報を概念的に説明すれば、瞳孔と鼻の穴を接続するリンクの長さ、つまり、図２に示すＥ１とＮ１との距離およびＥ２とＮ２との距離、言い換えれば、画像上の画素数に応じた距離に相当する。図２に示す例では、Ｅ１とＮ１との距離およびＥ２とＮ２との距離がそれぞれ「１．２」となっている。
【００２２】
そこで、距離情報記憶部２２２は、図３に示すように、上述したモデルαについて、瞳孔のモデルＥ１と鼻の穴のモデルＮ１との距離、および瞳孔のモデルＥ２と鼻の穴のモデルＮ２との距離である「１．２」を距離情報として記憶する。なお、距離情報記憶部２２２が記憶しているモデルαについての瞳孔と鼻の穴との距離「１．２」は、瞳孔間の距離、つまりＥ１とＥ２との距離を「１」として、Ｅ１とＮ１との距離およびＥ２とＮ２との距離を正規化した値である。距離情報記憶部２２２は、瞳孔と鼻の穴との距離を正規化して持たなくても良く、例えば、瞳孔と鼻の穴との距離として、例えば画素数をそのまま記憶しても良い。
【００２３】
また、実施例１は、顔画像内に映し出された目の瞳孔および鼻の穴の位置を特徴点として検出する場合の一実施形態を説明するものであるので、距離情報記憶部２２２は、瞳孔と鼻の穴との距離情報を記憶する。しかし、目の瞳孔および鼻の穴以外、顔部品、例えば、口（口角）や耳（耳の穴）なども検出対象とする場合には、検出対象とする顔部品間の距離情報をそれぞれ記憶することとなる。
【００２４】
なお、距離情報記憶部２２２に記憶される距離情報は、例えば、学習用の複数の顔画像について瞳孔と鼻の穴との距離をそれぞれ算出し、算出した各距離に基づいて平均的な距離を導出することにより得ることができる。上述してきた距離情報は参照値の一例である。
【００２５】
図１に戻り、制御部２３０は、顔検出部２３１と、取得部２３２と、評価部２３３と、検出部２３４とを有する。なお、制御部２３０は、例えば、電子回路や集積回路に該当する。電子回路としては、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）がある。また、集積回路としては、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array)などがある。
【００２６】
顔検出部２３１は、入力部２１０により画像が入力されると、入力された画像を画像記憶部２２１から取得し、取得した画像内から顔を検出する。例えば、顔検出部２３１は、エッジ抽出やパターンマッチング、フレーム間差分やニューラルネットワークなどの既存技術を用いて、画像から顔の検出を試みる。
【００２７】
取得部２３２は、顔検出部２３１により画像内から顔が検出された場合には、画像内に含まれる瞳孔や鼻の穴の候補を複数抽出して、複数抽出した瞳孔や鼻の穴の候補が瞳孔や鼻の穴である尤もらしさを示す尤度値を取得する。以下、図４および図５を用いて、取得部について説明する。図４および図５は、実施例１に係る取得部の説明に用いる図である。図４および図５に記述するＥ３およびＥ４は、画像から瞳孔の候補として抽出される候補特徴点を示す。図４および図５に記述するＮ３およびＮ４は、画像から鼻の穴の候補として抽出される候補特徴点を示す。
【００２８】
例えば、取得部２３２は、分離度フィルタを用いて、図４に示すＥ３およびＥ４のように、画像から瞳孔の候補である候補特徴点を複数抽出する。また、取得部２３２は、分離度フィルタを用いて、例えば、図４に示すＮ３およびＮ４のように、画像から鼻の穴の候補である候補特徴点を複数抽出する。なお、取得部２３２は、分離度フィルタを用いる方法とは異なる方法、例えば、パターンマッチングなどを用いて候補特徴点を抽出してもよい。そして、取得部２３２は、画像から瞳孔や鼻の穴の候補を抽出する際に得られる分離度フィルタの応答値を尤度値として取得する。
【００２９】
そして、取得部２３２は、内部的に有するＲＡＭなどの記憶部に、画像から取得した候補特徴点に関するデータを格納しておく。例えば、図５に示すように、取得部２３２は、顔部品の種類ごとに、候補特徴点の識別記号、候補特徴点の画像上の座標および尤度値を対応付けて記憶部に格納する。例えば、図５に示すように、取得部２３２は、顔部品の種類「瞳孔」について、候補特徴点の識別記号「Ｅ３」、候補特徴点の画像上の座標「（Ｘ１，Ｙ１）」および尤度値「Ｖ１」を対応付けて記憶部に格納する。また、取得部２３２は、図５に示すように、顔部品の種類「瞳孔」について、候補特徴点の識別記号「Ｅ４」、候補特徴点の画像上の座標「（Ｘ２，Ｙ２）」および尤度値「Ｖ２」を対応付けて記憶部に格納する。また、取得部２３２は、図５に示すように、顔部品の種類「鼻の穴」について、候補特徴点の識別記号「Ｎ３」、候補特徴点の画像上の座標「（Ｘ３，Ｙ３）」および尤度値「Ｖ３」を対応付けて記憶部に格納する。また、取得部２３２は、図５に示すように、顔部品の種類「鼻の穴」について、候補特徴点の識別記号「Ｎ４」、候補特徴点の画像上の座標「（Ｘ４，Ｙ４）」および尤度値「Ｖ４」を対応付けて記憶部に格納する。
【００３０】
図１に戻り、評価部２３３は、距離情報記憶部２２２に記憶されている距離情報と取得部２３２により取得された候補特徴点の尤度値とに基づいて、複数抽出した候補特徴点間の距離を評価する。以下、図６〜図１１を用いて、評価部について説明する。図６〜図１１は、実施例１に係る評価部の説明に用いる図である。
【００３１】
図６に示すように、評価部２３３は、取得部２３２により複数抽出された候補特徴点の組合せを作成する。例えば、評価部２３３は、瞳孔の候補として抽出された候補特徴点２つと、鼻の穴の候補として抽出された候補特徴点２つからなる全ての組合せを作成する。なお、評価部２３３は、距離情報記憶部２２２に記憶されている距離情報が瞳孔間の距離を基準として正規化されている場合には、組合せを作成する段階で、瞳孔間の距離がこの距離情報と同等にならない組合せは作成しないようにすることができる。こうすれば、後段の処理負荷を軽減できる。
【００３２】
続いて、評価部２３３は、作成した候補特徴点の組合せの中から組合せを１つ取得し、取得した組合せの候補特徴点間の距離を算出する。例えば、評価部２３３は、候補特徴点の組合せの中から組合せを取得し、取得した瞳孔の候補特徴点と鼻の穴の候補特徴点間の距離をそれぞれ算出する。例えば、図７に示す例では、評価部２３３は、候補特徴点の組合せβを取得し、瞳孔の候補特徴点Ｅ３と鼻の穴の候補特徴点Ｎ３との距離「１．５」、瞳孔の候補特徴点Ｅ４と鼻の穴の候補特徴点Ｎ４との距離「１．０」をそれぞれ算出する。
【００３３】
続いて、評価部２３３は、距離情報記憶部２２２に記憶されている距離情報と取得部２３２により取得された候補特徴点の尤度値とに基づいて、上述した組合せβの候補特徴点間の距離を評価する。まず、評価部２３３は、距離情報記憶部２２２から距離情報を取得し、取得部２３２から組合せβの各候補特徴点の尤度値を取得する。続いて、評価部２３３は、組合せβの各候補特徴点間の距離と距離情報とを照合して、組合せβの各候補特徴点間の距離と距離情報との差を算出する。例えば、図８に示すように、評価部２３３は、組合せβの各候補特徴点間の距離と距離情報と照合して、「Ｅ３-Ｎ３間」の距離と「Ｅ１-Ｎ１間」の距離の差「０．３」を算出する。また、図８に示すように、評価部２３３は、「Ｅ４-Ｎ４間」と「Ｅ１-Ｎ１間」の距離の差「０．２」を算出する。
【００３４】
続いて、評価部２３３は、組合せβの各候補特徴点の尤度値に応じて、組合せβの各候補特徴点間の距離と距離情報との差を調整する。例えば、評価部２３３は、組合せβの候補特徴点Ｅ３と候補特徴点Ｎ３の尤度値の和、および組合せβの候補特徴点Ｅ４と候補特徴点Ｎ４の尤度値の和をそれぞれ算出する。そして、評価部２３３は、尤度値の和に対応する係数Ｃを組合せβの各候補特徴点間の距離と距離情報との差に乗算することにより、各候補特徴点間の距離と距離情報との差を調整する。
【００３５】
この係数Ｃの値は、例えば、図９に示すように、尤度値の和が「０」のときに最大値（ＭＡＸ）となり、尤度値の和が大きくなるに従って小さくなって、尤度値の和がある値以上で一定の最小値（ＭＩＮ）となる。この係数Ｃは、尤度値が高い候補特徴点間の距離については、距離情報記憶部２２２に記憶されている距離情報との差が小さくなるように調整するものである。つまり、評価部２３３は、係数Ｃを用いることにより、顔部品として尤もらしい候補特徴点ほど、顔部品、つまり瞳孔と鼻の穴とが正しい位置関係を有する可能性が高いものとして評価する。
【００３６】
例えば、図１０に示す例では、評価部２３３により、組合せβの各候補特徴点間の距離と距離情報との差を調整した結果、「Ｅ３-Ｎ３間」の距離と「Ｅ１-Ｎ１間」の距離の差は「０．１」、「Ｅ４-Ｎ４間」と「Ｅ１-Ｎ１間」の距離の差「０．３」となる。続いて、評価部２３３は各候補特徴点間の距離の差の和を算出する。この距離の差の和が小さいほど、例えば、画像内から抽出した瞳孔の候補点と鼻の穴の候補点の位置関係、例えば図８に示す組合せβが、瞳孔と鼻の穴の正しい位置関係、例えば図８に示すモデルαにより近いことを示す。
【００３７】
そして、評価部２３３は、内部的に有するＲＡＭなどの記憶部に、組合せβについての処理結果を格納する。例えば、図１１に示すように、評価部２３３は、候補特徴点の組合せごとに、組合せの識別記号、組合せに含まれる候補特徴点の識別記号、候補特徴点の画像上の座標および候補特徴点間の距離の差の和を対応付けて記憶部に格納する。例えば、図１１に示すように、評価部２３３は、組合せの識別記号「β」に対応付けて、組合せに含まれる候補特徴点の識別記号「Ｅ３」と、候補特徴点の画像上の座標「（Ｘ１，Ｙ１）」とを記憶部に格納する。同様に、評価部２３３は、図１１に示すように、組合せの識別記号「β」に対応付けて、組合せに含まれる候補特徴点の識別記号「Ｅ４」と、候補特徴点の画像上の座標「（Ｘ２，Ｙ２）」とを記憶部に格納する。同様に、図１１に示すように、評価部２３３は、組合せの識別記号「β」に対応付けて、組合せに含まれる候補特徴点の識別記号「Ｎ３」と、候補特徴点の画像上の座標「（Ｘ３，Ｙ３）」とを記憶部に格納する。同様に、図１１に示すように、評価部２３３は、組合せの識別記号「β」に対応付けて、組合せに含まれる候補特徴点の識別記号「Ｎ４」と、候補特徴点の画像上の座標「（Ｘ４，Ｙ４）」とを記憶部に格納する。また、図１１に示すように、評価部２３３は、組合せの識別記号「β」に対応付けて、候補特徴点間の距離の差の和「０．４」を記憶部に格納する。
【００３８】
評価部２３３は、作成した候補特徴点の組合せの全てについて、上述してきた処理を完了したかどうかを判定し、組合せの全てについて処理を完了していない場合には、残りの組合せの中から組合せを１つ取得し、上述してきた処理を実行する。このように、評価部２３３が、候補特徴点の組合せの全てについて上述してきた処理を実行し、例えば、図１１に示すようなデータを作成することで、候補特徴点の組合せごとに候補特徴点間の距離の差の和および候補特徴点の座標が分かる。
【００３９】
図１に戻り、検出部２３４は、評価部２３３による候補特徴点の組合せについての評価結果に応じて、瞳孔や鼻の穴に対応する特徴点の位置を取得する。例えば、検出部２３４は、評価部２３３による評価結果を取得し、候補特徴点間の距離の差の和が最小であるレコードを特定する。そして、候補特徴点間の距離の差の和が最小であるレコードを特定すると、そのレコードの各候補特徴点の座標を取得する。
【００４０】
なお、図１に示す画像処理装置２００が、例えば携帯電話などの携帯端末に実装された場合、検出部２３４により取得された特徴点の座標値は、例えば角膜反射法などを用いて、携帯電話のユーザの視線を検出する処理に利用される。また、図１に示す画像処理装置２００が、例えば車両に搭載されたＥＣＵ（Electronic Control Unit）などに実装された場合、検出部２３４により取得された特徴点の座標値は、例えば角膜反射法などを用いて車両の運転者の視線を検出する処理にも利用される。例えば、検出部２３４により取得された特徴点の座標値を用いて視線を検出する方法を説明すると、まず、検出部２３４により取得された瞳孔のＸ，Ｙ座標を利用して瞳孔の中心位置を求める。続いて、求めた瞳孔の中心位置と角膜反射点とを追跡し、角膜の曲率中心と眼球の回転中心との違いに基づき視線を検出する。また、検出部２３４により取得された画像の特徴点の座標値は、顔画像に基づいて個人を認証する認証処理時に、処理対象領域を画像から切り出す場合に利用される。例えば、瞳孔と鼻の穴を含む処理対象領域を切り出す場合に利用できる。
【００４１】
［画像処理装置による処理（実施例１）］
続いて、図１２を用いて、実施例１に係る画像処理装置による処理の流れを説明する。図１２は、実施例１に係る画像処理装置による処理の流れを示す図である。なお、図１２に示す処理は、画像フレームが入力されるたびに実行される。
【００４２】
図１２に示すように、例えば、制御部２３０により入力部２１０による画像の入力が検出されると（ステップＳ１０１，ＹＥＳ）、顔検出部２３１は、入力された画像を画像記憶部２２１から取得し、取得した画像内から顔を検出する（ステップ１０２）。なお、入力部２１０による画像の入力が検出されない場合（ステップＳ１０１，ＮＯ）、制御部２３０は、入力部２１０による画像の入力を繰り返し判定する。
【００４３】
顔検出部２３１により画像から顔が検出されなかった場合には（ステップＳ１０２，ＮＯ）、制御部２３０は処理を終了し、次の画像の入力を待機する。顔検出部２３１により画像から顔が検出されると（ステップＳ１０２，ＹＥＳ）、取得部２３２は、画像内に含まれる瞳孔や鼻の穴の候補特徴点を複数抽出する（ステップＳ１０３）。なお、取得部２３２は、ステップＳ１０３において、例えば、画像から瞳孔や鼻の穴の候補を抽出する際に得られる分類度フィルタの応答値を尤度値として取得する。
【００４４】
続いて、評価部２３３は、取得部２３２により複数抽出された候補特徴点の組合せを作成し（ステップＳ１０４）、作成した候補特徴点の組合せの中から組合せを１つ取得する（ステップＳ１０５）。続いて、評価部２３３は、ステップＳ１０５にて取得した組合せの候補特徴点間の距離を算出する（ステップＳ１０６）。続いて、評価部２３３は、距離情報記憶部２２２に記憶されている距離情報と取得部２３２により取得された候補特徴点の尤度値とに基づいて、ステップＳ１０５にて取得した組合せの候補特徴点間の距離を評価する（ステップＳ１０７）。つまり、ステップＳ１０７では、尤度値が高い候補特徴点間の距離と、距離情報記憶部２２２に記憶されている距離情報との差が小さくなるように調整する。そして、評価部２３３は、評価結果を格納し（ステップＳ１０８）、ステップＳ１０４にて作成した全組合せについて処理を完了したかどうかを判定する（ステップＳ１０９）。
【００４５】
判定の結果、処理を完了していない場合には（ステップＳ１０９，ＮＯ）、評価部２３３は、上述したステップＳ１０５に戻り、ステップＳ１０５からステップＳ１０９までの処理を実行する。一方、評価部２３３により、処理が完了しているものと判定された場合には（ステップＳ１０９，ＹＥＳ）、検出部２３４は、評価部２３３による評価結果に基づいて画像の特徴点を検出する（ステップＳ１１０）。言い換えれば、検出部２３４は、候補特徴点間の距離の差の和が最小である候補特徴点の座標を取得する。
【００４６】
なお、図１２に示す例では、ステップＳ１０２に示すように、画像から顔を検出する処理を実行したが、顔を撮影した画像のみが入力される場合には、ステップＳ１０２の処理を省略することもできる。
【００４７】
［実施例１による効果］
上述してきたように、実施例１に係る画像処理装置は、顔画像内に含まれる顔部品の候補特徴点を複数抽出し、顔部品である尤もらしさを示す尤度値を取得する。そして、実施例１に係る画像処理装置は、候補特徴点間の距離を評価するための距離情報と、候補特徴点の尤度値とに基づいて候補特徴点間の距離を評価する。そして、実施例１に係る画像処理装置は、候補特徴点間の距離に関する評価結果に応じて、顔画像に顔部品として含まれる特徴点を検出する。つまり、候補特徴点の尤度値に応じて候補特徴点間の距離を調整し、候補特徴点間の距離と距離情報記憶部２２２に記憶されている距離情報との差ができるだけ小さい候補特徴点ほど、顔部品の可能性が高い特徴点として検出する。このようなことから、実施例１によれば、顔を撮影した画像内から、顔部品の特徴点を誤って検出してしまう可能性を低減させることができる。
【実施例２】
【００４８】
上述した実施例１において、例えば、入力される画像の特性に応じた顔部品の種別ごとに重要度を予め設定し、この重要度を用いて候補特徴点の尤度値を調整してもよい。
【００４９】
［画像処理装置の構成（実施例２）］
図１３は、実施例２に係る画像処理装置の構成を示す機能ブロック図である。実施例２に係る画像処理装置は、重要度記憶部２２３および尤度調整部２３５を有する点が実施例１とは異なる。
【００５０】
重要度記憶部２２３は、入力される画像の特性に応じた顔部品の種別ごとに予め設定された重要度を記憶する。図１４は、実施例２に係る重要度記憶部に記憶される情報の一例を示す図である。図１４に示すように、重要度記憶部２２３は、顔部品の種別ごとに予め設定された重要度を記憶し、例えば、瞳孔に対応する重要度「１．５」および鼻の穴に対応する重要度「０．８」を記憶する。ここで、入力される画像の特性とは、例えば、顔に正対する方向から撮影したり、顔の下側から上側へ向けた方向で撮影したり、顔の上側から下側へ向けた方向で撮影したりなど、どのような撮影方向で撮影された画像であるかを意味する。例えば、顔に正対する方向から撮影した画像では、鼻の穴よりも瞳孔がより鮮明に撮影される可能性が高いので、鼻の穴よりも瞳孔の重要度を高く設定する。あるいは、顔の下側から上側へ向けた方向で撮影した画像では、瞳孔よりも鼻の穴がより鮮明に撮影される可能性が高いので、瞳孔よりも鼻の穴の重要度を高く設定する。
【００５１】
尤度調整部２３５は、重要度記憶部２２３に記憶されている重要度を用いて、取得部２３２により取得された候補特徴点の尤度値を調整する。図１５は、実施例２に係る尤度調整部の説明に用いる図である。例えば、尤度調整部２３５は、図１５に示すように、瞳孔の候補特徴点の尤度値に対して、重要度記憶部２２３に記憶されている重要度「１．５」を乗算することにより、瞳孔の候補特徴点の尤度値を調整する。また、尤度調整部２３５は、図１５に示すように、鼻の穴の候補特徴点の尤度値に対して、重要度記憶部２２３に記憶されている重要度「０．８」を乗算することにより、鼻の穴の候補特徴点の尤度値を調整する。
【００５２】
［画像処理装置による処理（実施例２）］
続いて、図１６および図１７を用いて、実施例２に係る画像処理装置による処理の流れを説明する。図１６は、実施例２に係る画像処理装置による処理の流れを示す図である。図１７は、実施例２に係る尤度調整処理の流れを示す図である。
【００５３】
まず、図１６を用いて、実施例２に係る画像処理装置による処理の流れを説明する。図１６に示すステップＳ２０４の処理が、実施例１に係る画像処理装置による処理、つまり、上述した図１２に示す処理とは異なる。
【００５４】
取得部２３２により瞳孔や鼻の穴の候補特徴点が複数抽出されると（ステップＳ２０３）、尤度調整部２３５は、重要度記憶部２２３に記憶されている重要度を用いて、候補特徴点の尤度値を調整する尤度調整処理を実行する（ステップＳ２０４）。以下、ステップＳ２０５〜ステップＳ２１１までの処理は、上述した図１２に示すステップＳ１０４〜ステップＳ１１０までの処理と同様である。
【００５５】
つまり、評価部２３３は、候補特徴点の組合せを作成し（ステップＳ２０５）、組合せを１つ取得する（ステップＳ２０６）。続いて、評価部２３３は、ステップＳ２０６にて取得した組合せの候補特徴点間の距離を算出する（ステップＳ２０７）。続いて、評価部２３３は、距離情報記憶部２２２に記憶された距離情報と上述したステップＳ２０４により調整された尤度値とに基づいて、ステップＳ２０６にて取得した組合せの候補特徴点間の距離を評価する（ステップＳ２０８）。そして、評価部２３３は、評価結果を格納し（ステップＳ２０９）、ステップＳ２０５にて作成した全組合せについて処理を完了したかどうかを判定する（ステップＳ２１０）。判定の結果、処理を完了していない場合には（ステップＳ２１０，ＮＯ）、ステップＳ２０６に戻り、ステップＳ２０６からステップＳ２１０までの処理を実行する。一方、処理が完了しているものと判定された場合には（ステップＳ２１０，ＹＥＳ）、検出部２３４は、評価部２３３による評価結果に基づいて画像の特徴点を検出する（ステップＳ２１１）。
【００５６】
次に、図１７を用いて、実施例２に係る尤度調整処理について説明する。図１７に示すように、尤度調整部２３５は、重要度記憶部２２３から顔部品ごとの重要度を読み込む（ステップＳ３０１）。そして、尤度調整部２３５は、重要度記憶部２２３から読み込んだ重要度を用いて、取得部２３２により取得された各候補特徴点の尤度値をそれぞれ調整する（ステップＳ３０２）。
【００５７】
［実施例２による効果］
上述してきたように、実施例２に係る画像処理装置は、顔部品の種別ごとに重要度を予め設定し、この重要度を用いて候補特徴点の尤度値を調整する。そして、実施例２に係る画像処理装置は、例えば、入力される画像が、どのような撮影方向で撮影された画像が入力されたものであるのかに応じて、この重要度を設定する。このようなことから、実施例２によれば、撮影方向の違いにより、画像内により鮮明に映し出される顔部品が異なる点を考慮しつつ候補特徴点の尤度値を調整できる。
【実施例３】
【００５８】
上述した実施例２では、例えば、入力される画像の特性に応じた顔部品の種別ごとに、候補特徴点の尤度値を調整するための重要度を予め設定する場合を説明した。これに限定されるのではなく、例えば、入力される画像内に含まれる顔部品の状態に応じて、この重要度を動的に調整してもよい。
【００５９】
［画像処理装置の構成（実施例３）］
実施例３に係る画像処理装置は、実施例２に係る画像処理装置と基本的に同様の構成を有するが、以下に説明する尤度調整部２３５の処理機能が異なる。
【００６０】
尤度調整部２３５は、重要度記憶部２２３に記憶されている顔部品ごとの重要度を初期値として読み込む。続いて、尤度調整部２３５は、入力した画像から、瞳孔の候補特徴点を含む所定サイズの領域を切り出し、切り出した領域内に含まれる各画素の輝度値を取得する。
【００６１】
続いて、尤度調整部２３５は、取得した各画素の輝度値に基づいて、入力した画像が目を閉じた状態を撮影したものであるか否かを判定する。例えば、尤度調整部２３５は、輝度値のヒストグラムを作成し、肌色に対応する輝度値がピークの度数を有する場合には、目を閉じた状態であると判定する。
【００６２】
尤度調整部２３５は、判定の結果、入力した画像が目を閉じた状態を撮影したものである場合には、瞳孔の重要度の初期値を低く変更し、この重要度を用いて瞳孔の候補特徴点の尤度値を調整する。一方、尤度調整部２３５は、判定の結果、入力した画像が目を閉じた状態を撮影したものではない、つまり目を開けた状態を撮影したものである場合には、瞳孔の重要度の初期値を高く変更し、この重要度を用いて瞳孔の候補特徴点の尤度値を調整する。なお、尤度調整部２３５は、入力した画像が目を開けた状態を撮影したものである場合、重要度記憶部２２３から初期値として読み込んだ重要度をそのまま用いて、瞳孔の候補特徴点の尤度値を調整してもよい。
【００６３】
なお、尤度調整部２３５は、入力した画像内の上瞼と下瞼との間隔の変化により、瞳孔の重要度を動的に調整してもよい。例えば、尤度調整部２３５は、時系列で入力される数フレームの各画像について、エッジをそれぞれ検出して目の輪郭を抽出する。そして、尤度調整部２３５は、現入力フレームの方が一つ前のフレームよりも上瞼と下瞼との間隔が狭くなっていれば重要度を低く調整する。なお、目を開けた状態にあるか否かを判定するための値や、上瞼と下瞼との間隔を示す値は特徴量の一例である。
【００６４】
［画像処理装置による処理（実施例３）］
続いて、図１８を用いて、実施例３に係る尤度調整処理の流れを説明する。図１８は、実施例３に係る尤度調整処理の流れを示す図である。図１８に示すように、尤度調整部２３５は、重要度記憶部２２３に記憶されている顔部品ごとの重要度を初期値として読み込む（ステップＳ４０１）。続いて、尤度調整部２３５は、入力した画像から、瞳孔の候補特徴点を含む所定サイズの領域を切り出し、切り出した領域内に含まれる各画素の輝度値を取得する（ステップＳ４０２）。続いて、尤度調整部２３５は、取得した各画素の輝度値に基づいて、入力した画像が目を閉じた状態を撮影したものであるか否かを判定する（ステップＳ４０３）。
【００６５】
尤度調整部２３５は、入力した画像が目を閉じた状態を撮影したものと判定した場合には（ステップＳ４０３，ＹＥＳ）、次のように処理を行う。すなわち、尤度調整部２３５は、瞳孔の重要度の初期値を低く調整して、この重要度を用いて瞳孔の候補特徴点の尤度値を調整し（ステップＳ４０４）、処理を終了する。一方、尤度調整部２３５は、入力した画像が目を閉じた状態を撮影したものではないと判定した場合には（ステップＳ４０３，ＮＯ）、次のように処理を行う。すなわち、尤度調整部２３５は、瞳孔の重要度の初期値を高く調整して、この重要度を用いて瞳孔の候補特徴点の尤度値を調整し（ステップＳ４０５）、処理を終了する。
【００６６】
［実施例３による効果］
上述してきたように、実施例３に係る画像処理装置は、入力される画像内に含まれる顔部品の状態に応じて、この重要度を動的に調整する。このようなことから、実施例３によれば、例えば、画像から瞳孔に対応する特徴点を検出しようとしても、目を閉じて上手く検出できない場合など、顔部品が上手く検出できない状況に応じて候補特徴点の尤度値を調整できる。
【実施例４】
【００６７】
以下、本願の開示する画像処理プログラムおよび画像処理装置の他の実施形態を説明する。
【００６８】
（１）装置構成等
例えば、図１に示した画像処理装置２００の機能ブロックの構成は概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。例えば、図１に示した顔検出部２３１と取得部２３２とを機能的または物理的に統合してもよい。同様に、図１に示した評価部２３３と検出部２３４とを機能的または物理的に統合してもよい。このように、画像処理装置２００の機能ブロックの全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
【００６９】
（２）画像処理プログラム
また、上述の実施例１〜３にて説明した画像処理装置２００により実行される各種の処理は、例えば、車両に搭載されるＥＣＵ（Electronic Control Unit）に実装されたマイコンなどの電子機器で所定のプログラムを実行することによって実現することもできる。そこで、以下では、図１９を用いて、実施例１〜３にて説明した画像処理装置２００により実行される処理と同様の機能を実現する画像処理プログラムを実行する電子機器の一例を説明する。図１９は、画像処理プログラムを実行する電子機器の一例を示す図である。
【００７０】
図１９に示すように、画像処理装置２００により実行される各種処理を実現する電子機器３００は、各種演算処理を実行するＣＰＵ（Central Processing Unit）３１０を有する。また、図１９に示すように、電子機器３００は、カメラ画像を取得するためのカメラインターフェース３２０、ディスプレイとの間で各種データのやり取りを行うためのディスプレイインターフェース３３０を有する。また、図１９に示すように、電子機器３００は、ハードウェアアクセラレータとして機能するグラフィックエンジン３４０を有する。
【００７１】
また、図１９に示すように、電子機器３００は、ＣＰＵ３１０により各種処理を実現するためのプログラムやデータ等を記憶するハードディスク装置３５０と、各種情報を一時記憶するＲＡＭ（Random Access Memory）などのメモリ３６０とを有する。そして、各装置３１０〜３６０は、バス３７０に接続される。
【００７２】
なお、ＣＰＵ３１０の代わりに、例えば、ＭＰＵ（Micro Processing Unit）などの電子回路、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ(Field Programmable Gate Array)などの集積回路を用いることもできる。また、メモリ３６０の代わりに、フラッシュメモリ(flash memory)などの半導体メモリ素子を用いることもできる。
【００７３】
ハードディスク装置３５０には、画像処理装置２００の機能と同様の機能を発揮する画像処理プログラム３５１および画像処理用データ３５２が記憶されている。なお、この画像処理プログラム３５１を適宜分散させて、ネットワークを介して通信可能に接続された他のコンピュータの記憶部に記憶させておくこともできる。
【００７４】
そして、ＣＰＵ３１０が、画像処理プログラム３５１をハードディスク装置３５０から読み出してメモリ３６０に展開することにより、図１９に示すように、画像処理プログラム３５１は画像処理プロセス３６１として機能する。画像処理プロセス３６１は、ハードディスク装置３５０から読み出した画像処理用データ３５２等の各種データを適宜メモリ３６０上の自身に割当てられた領域に展開し、この展開した各種データに基づいて各種処理を実行する。
【００７５】
なお、画像処理プロセス３６１は、例えば、実施例１〜３で説明した画像処理装置２００の制御部２３０にて実行される処理、例えば、図１２，図１６〜１８に示す処理を含む。
【００７６】
なお、画像処理プログラム３５１については、必ずしも最初からハードディスク装置３５０に記憶させておく必要はない。例えば、電子機器３００が実装されたＥＣＵへ対応ドライブを接続可能なフレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、電子機器３００がこれらから各プログラムを読み出して実行するようにしてもよい。
【００７７】
さらには、公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介して、電子機器３００が実装されたＥＣＵに接続される「他のコンピュータ（またはサーバ）」などに各プログラムを記憶させておく。そして、電子機器３００がこれらから各プログラムを読み出して実行するようにしてもよい。
【００７８】
以上の実施例を含む実施形態に関し、さらに以下の付記を開示する。
【００７９】
（付記１）コンピュータに、
顔を撮影した画像内に含まれる顔の特徴点の候補を複数抽出して、該複数抽出した顔の特徴点の候補それぞれにつき、該特徴点である尤もらしさを示す尤度値を取得し、
前記候補として複数抽出された特徴点間の距離を評価するための参照値とそれぞれの前記特徴点の候補に対応する前記尤度値とに基づいて、前記複数抽出した顔の特徴点の候補間の距離を評価し、
前記距離を評価した結果に応じて、前記複数抽出した顔の特徴点の候補の中から前記特徴点を検出する
処理を実行させることを特徴とする画像処理プログラム。
【００８０】
（付記２）前記コンピュータに、
検出対象とする前記特徴点に応じた重要度を用いて前記尤度値を調整する処理をさらに実行させ、
前記参照値と前記調整された前記尤度値とに基づいて、前記複数抽出した顔の特徴点の候補間の距離を評価することを特徴とする付記１に記載の画像処理プログラム。
【００８１】
（付記３）前記入力した画像から得られる特徴量に応じて前記重要度を変更する処理をさらに実行させることを特徴とする付記２に記載の画像処理プログラム。
【００８２】
（付記４）前記特徴点を検出する処理は、前記特徴点の候補間の距離に関する評価の結果が最も高い特徴点を検出し、
前記コンピュータに、
検出した前記特徴点の前記画像上の位置を取得し、取得した前記位置を用いて前記画像に撮影されている顔の視線を検出する処理をさらに実行させることを特徴とする付記１に記載の画像処理プログラム。
【００８３】
（付記５）顔を撮影した画像内に含まれる顔の特徴点の候補を複数抽出して、該複数抽出した顔の特徴点の候補それぞれにつき、該特徴点である尤もらしさを示す尤度値を取得する取得部と、
前記候補として複数抽出された特徴点間の距離を評価するための参照値とそれぞれの前記特徴点の候補に対応する前記尤度値とに基づいて、前記複数抽出した顔の特徴点の候補間の距離を評価する評価部と、
前記距離を評価した結果に応じて、前記複数抽出した顔の特徴点の候補の中から前記特徴点を検出する検出部と
を有することを特徴とする画像処理装置。
【００８４】
（付記６）検出対象とする前記特徴点に応じた重要度を用いて前記尤度値を調整する尤度調整部をさらに有し、
前記参照値と前記調整された前記尤度値とに基づいて、前記複数抽出した顔の特徴点の候補間の距離を評価することを特徴とする付記５に記載の画像処理装置。
【００８５】
（付記７）前記入力した画像から得られる特徴量に応じて前記重要度を変更する変更部をさらに有することを特徴とする付記６に記載の画像処理装置。
【００８６】
（付記８）前記検出部は、前記特徴点の候補間の距離に関する評価の結果が最も高い特徴点を検出し、
検出した前記特徴点の前記画像上の位置を取得し、取得した前記位置を用いて前記画像に撮影されている顔の視線を検出する視線検出部をさらに有することを特徴とする付記５に記載の画像処理装置。
【符号の説明】
【００８７】
１００ 撮影装置
２００ 画像処理装置
２１０ 入力部
２２０ 記憶部
２２１ 画像記憶部
２２２ 距離情報記憶部
２２３ 重要度記憶部
２３０ 制御部
２３１ 顔検出部
２３２ 取得部
２３３ 評価部
２３４ 検出部
２３５ 尤度調整部
３００ 電子機器
３１０ ＣＰＵ
３２０ カメラインターフェース
３３０ ディスプレイインターフェース
３４０ グラフィックエンジン
３５０ ハードディスク装置
３５１ 画像処理プログラム
３５２ 画像処理用データ
３６０ メモリ
３６１ 画像処理プロセス
【特許請求の範囲】
【請求項１】
コンピュータに、
顔を撮影した画像内に含まれる顔の特徴点の候補を複数抽出して、該複数抽出した顔の特徴点の候補それぞれにつき、該特徴点である尤もらしさを示す尤度値を取得し、
前記候補として複数抽出された特徴点間の距離を評価するための参照値とそれぞれの前記特徴点の候補に対応する前記尤度値とに基づいて、前記複数抽出した顔の特徴点の候補間の距離を評価し、
前記距離を評価した結果に応じて、前記複数抽出した顔の特徴点の候補の中から前記特徴点を検出する
処理を実行させることを特徴とする画像処理プログラム。
【請求項２】
前記コンピュータに、
検出対象とする前記特徴点に応じた重要度を用いて前記尤度値を調整する処理をさらに実行させ、
前記参照値と前記調整された前記尤度値とに基づいて、前記複数抽出した顔の特徴点の候補間の距離を評価することを特徴とする請求項１に記載の画像処理プログラム。
【請求項３】
前記画像内から得られる特徴量に応じて前記重要度を変更する処理をさらに実行させることを特徴とする請求項２に記載の画像処理プログラム。
【請求項４】
顔を撮影した画像内に含まれる顔の特徴点の候補を複数抽出して、該複数抽出した顔の特徴点の候補それぞれにつき、該特徴点である尤もらしさを示す尤度値を取得する取得部と、
前記候補として複数抽出された特徴点間の距離を評価するための参照値とそれぞれの前記特徴点の候補に対応する前記尤度値とに基づいて、前記複数抽出した顔の特徴点の候補間の距離を評価する評価部と、
前記距離を評価した結果に応じて、前記複数抽出した顔の特徴点の候補の中から前記特徴点を検出する検出部と
を有することを特徴とする画像処理装置。
【請求項１】
コンピュータに、
顔を撮影した画像内に含まれる顔の特徴点の候補を複数抽出して、該複数抽出した顔の特徴点の候補それぞれにつき、該特徴点である尤もらしさを示す尤度値を取得し、
前記候補として複数抽出された特徴点間の距離を評価するための参照値とそれぞれの前記特徴点の候補に対応する前記尤度値とに基づいて、前記複数抽出した顔の特徴点の候補間の距離を評価し、
前記距離を評価した結果に応じて、前記複数抽出した顔の特徴点の候補の中から前記特徴点を検出する
処理を実行させることを特徴とする画像処理プログラム。
【請求項２】
前記コンピュータに、
検出対象とする前記特徴点に応じた重要度を用いて前記尤度値を調整する処理をさらに実行させ、
前記参照値と前記調整された前記尤度値とに基づいて、前記複数抽出した顔の特徴点の候補間の距離を評価することを特徴とする請求項１に記載の画像処理プログラム。
【請求項３】
前記画像内から得られる特徴量に応じて前記重要度を変更する処理をさらに実行させることを特徴とする請求項２に記載の画像処理プログラム。
【請求項４】
顔を撮影した画像内に含まれる顔の特徴点の候補を複数抽出して、該複数抽出した顔の特徴点の候補それぞれにつき、該特徴点である尤もらしさを示す尤度値を取得する取得部と、
前記候補として複数抽出された特徴点間の距離を評価するための参照値とそれぞれの前記特徴点の候補に対応する前記尤度値とに基づいて、前記複数抽出した顔の特徴点の候補間の距離を評価する評価部と、
前記距離を評価した結果に応じて、前記複数抽出した顔の特徴点の候補の中から前記特徴点を検出する検出部と
を有することを特徴とする画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【公開番号】特開２０１２−６８７１９（Ｐ２０１２−６８７１９Ａ）
【公開日】平成２４年４月５日（２０１２．４．５）
【国際特許分類】
【出願番号】特願２０１０−２１０８２２（Ｐ２０１０−２１０８２２）
【出願日】平成２２年９月２１日（２０１０．９．２１）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
【公開日】平成２４年４月５日（２０１２．４．５）
【国際特許分類】
【出願日】平成２２年９月２１日（２０１０．９．２１）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
[ Back to top ]