画像処理方法、画像処理装置、画像処理システム及びコンピュータプログラム
【課題】斜め下方又は斜め上方へ視線を向けた顔の俯仰を正確に検出することができる画像処理装置及び該画像処理装置を備えた画像処理システムを提供する。
【解決手段】運転者の顔を撮像する撮像装置１と、顔の画像データに基づいて顔の向きを検出する画像処理装置２とを備える画像処理システムにおいて、画像処理装置２に、画像データから顔画像の垂直方向における耳の位置を検出する耳検出手段と、画像データから顔画像の垂直方向における他の顔部位の位置を検出する顔部位検出手段と、検出された耳及び他の顔部位の位置に基づいて顔の俯仰を検出する俯仰検出手段とを備える。
【解決手段】運転者の顔を撮像する撮像装置１と、顔の画像データに基づいて顔の向きを検出する画像処理装置２とを備える画像処理システムにおいて、画像処理装置２に、画像データから顔画像の垂直方向における耳の位置を検出する耳検出手段と、画像データから顔画像の垂直方向における他の顔部位の位置を検出する顔部位検出手段と、検出された耳及び他の顔部位の位置に基づいて顔の俯仰を検出する俯仰検出手段とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顔画像の画像データに基づいて顔の向きを検出する画像処理方法、該画像処理方法を実施する画像処理装置、該画像処理装置を備えた画像処理システム、及びコンピュータを前記画像処理装置として機能させるためのコンピュータプログラムに関する。
【背景技術】
【０００２】
自動車等の車両の運転状態を監視する運転状態監視システムが提案されている。運転状態監視システムは、運転者の顔を撮像できる適宜箇所に設置された撮像装置及び画像処理装置等から構成されている。撮像装置は運転者の顔を撮像し、画像処理装置は撮像して得られた画像データに基づいて運転者の顔の向きを検出する。運転状態監視システムを用いて顔の向きを検出することにより、運転者の脇見運転を検知することができ、脇見運転をしている運転者に警告を発するシステムを構成することも可能である。
【０００３】
特許文献１には、水平方向における顔領域と鼻との位置関係から顔の向きを検出する画像処理装置が提案されている。特許文献１に係る画像処理装置は、撮像装置が撮像して得た画像データから射影演算、閾値処理等によって顔領域を検出する。また、画像データから眼の位置を検出し、検出した眼の位置を基準にして鼻の位置を検出する。そして、水平方向における顔領域に対する鼻の位置関係に基づいて顔の左右向きを検出する。
【０００４】
特許文献２には、画像データから検出された眼の位置及び形状、例えば眼の縦横比によって、顔の上下向き、左右向きを判定する画像処理装置が提案されている。
【特許文献１】特開２００４−２３４３６７号公報
【特許文献２】特開２００４−１３３７４９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に係る顔の向き検出装置にあっては、視線を斜め下方へ落とすような脇見、例えばエアコン、ラジオ、カーナビゲーション装置等を操作するような脇見状態の検出は困難であるという問題があった。
運転者が道路脇のお店、看板、通行人に視線を向ける場合、運転者の顔は比較的大きく横方向に回転するため、このような脇見を検出することは比較的容易である。これに対して運転者が斜め下方へ視線を落とすような脇見は、運転者の顔がわずかに下方へ傾く程度であるため、検出困難である。
【０００６】
また、特許文献２に係る顔の向き検出装置にあっては、眼の形状で顔の向きを検出する構成であるため、眼の位置及び形状を正確に検出する必要があるが、斜め下方を向いた運転者の眼周辺の輝度は低くなり、眼の位置及び形状を誤り無く検出して、顔の向きを検出することは困難であるという問題があった。
また、運転者の表情が変化して眼の形状が変化した場合、顔の向きを誤検出するという問題があった。
【０００７】
本願発明者は、運転者が斜め下方を向いた場合、耳に対する他の顔部位、例えば鼻の上下位置が大きく変化する点、斜め下方を向いた場合、耳が正面側を向くため位置検出が容易である点に着眼した。
【０００８】
本発明は斯かる事情に鑑みてなされたものであり、顔画像の所定方向、例えば垂直方向における耳及び他の顔部位の上下位置を検出し、耳及び他の顔部位の位置関係に基づいて顔の向きを検出することにより、斜め下方又は斜め上方へ視線を向けた場合の顔の俯仰を正確に検出することができる画像処理方法、該画像処理方法を実施する画像処理装置、該画像処理装置を備えた画像処理システム、及びコンピュータを前記画像処理装置として機能させるコンピュータプログラムを提供することを目的とする。
【０００９】
本発明の他の目的は、髪型の影響を最も受けにくい耳朶部分の位置を検出するように構成することにより、髪型に関わらず耳の位置を検出し、顔の俯仰を検出することができる画像処理装置、及び画像処理装置を備えた画像処理システムを提供することにある。
【００１０】
本発明の他の目的は、正面向きの耳及び他の顔部位の位置関係を学習し、該位置関係に基づいて顔の俯仰を算出するように構成することにより、顔を撮像する撮像装置の設置箇所、撮像される被写体の個人差に関わらず顔の俯仰を正確に検出することができる画像処理装置、及び該画像処理装置を備えた画像処理システムを提供することにある。
【００１１】
本発明の他の目的は、眼、口等に比べて形状変化が少なく、比較的検出し易い鼻の位置を検出して顔の俯仰を検出するように構成することにより、より正確に顔の向きを検出することができる画像処理装置、及び該画像処理装置を備えた画像処理システムを提供することにある。
【課題を解決するための手段】
【００１２】
第１発明に係る画像処理方法は、顔の画像データに基づいて顔の向きを検出する画像処理方法において、画像データから顔画像の所定方向における耳の位置を検出する耳検出ステップと、画像データから顔画像の所定方向における他の顔部位の位置を検出する顔部位検出ステップと、検出された耳及び他の顔部位の位置に基づいて顔の俯仰を検出する俯仰検出ステップとを有することを特徴とする。
【００１３】
第２発明に係る画像処理装置は、顔の画像データに基づいて顔の向きを検出する画像処理装置において、画像データから顔画像の所定方向における耳の位置を検出する耳検出手段と、画像データから顔画像の所定方向における他の顔部位の位置を検出する顔部位検出手段と、検出された耳及び他の顔部位の位置に基づいて顔の俯仰を検出する俯仰検出手段とを備えることを特徴とする。
【００１４】
第３発明に係る画像処理装置は、前記所定方向に対して斜め方向へ輝度が高い画像領域から輝度が低い画像領域へ変化するエッジを抽出するエッジ抽出フィルタを備え、前記耳検出手段は、前記エッジ抽出フィルタによって、耳の輪郭を抽出する抽出手段と、該抽出手段が抽出した輪郭の形状に基づいて耳朶部分の位置を検出する手段とを備えることを特徴とする。
【００１５】
第４発明に係る画像処理装置は、時系列順に画像データを取得するように構成してあり、時系列順の各画像データから前記耳検出手段及び顔部位検出手段が検出した耳及び他の顔部位の位置関係を記憶する手段と、所定頻度以上の前記位置関係を特定する特定手段とを備え、前記俯仰検出手段は、検出された耳及び顔部位の位置関係、並びに前記特定手段が特定した位置関係を比較して顔の俯仰を検出するように構成してあることを特徴とする。
【００１６】
第５発明に係る画像処理装置は、前記顔部位検出手段は顔画像における鼻の位置を検出する手段を備えることを特徴とする。
【００１７】
第６発明に係る画像処理システムは、第２発明乃至第４発明のいずれか一つに記載の画像処理装置と、車両の運転者を撮像する撮像装置とを備え、前記画像処理装置は、前記撮像装置が撮像した運転者の顔の画像データに基づいて該運転者の俯仰を検出するように構成してあることを特徴とする。
【００１８】
第７発明に係るコンピュータプログラムは、コンピュータに、前記第６発明に係る各ステップを実行させることを特徴とする。
【００１９】
第１、第２、第６及び第７発明にあっては、顔の画像データから顔画像の所定方向、例えば垂直方向における耳及び他の顔部位の位置を検出する。顔が斜め下方又は斜め上方を向いた場合、耳は正面側を向き、しかも耳の形状は表情等によって変化しないため、耳の位置検出は容易である。
そして、検出された耳及び他の顔部位の位置関係に基づいて顔の俯仰を検出する。顔の向きが上下する場合、所定方向における耳の位置と他の顔部位との位置関係が変化するため、該位置関係に基づいて顔の俯仰を検出することができる。具体的には、顔の向きが上下しても耳の位置はあまり変動せず、顔が下方を向いた場合、他の顔部位の位置が下方へ移動し、顔が上方を向いた場合、他の顔部位の位置が上方へ移動する。
【００２０】
第３及び第５発明にあっては、抽出手段は、所定方向に対して斜め方向へ輝度が高い画像領域から輝度が低い画像領域へ変化するエッジを抽出するエッジ抽出フィルタを用いて、耳の輪郭を抽出する。耳の画像領域は背景の画像領域に比べて輝度が高いため、前記エッジ抽出フィルタにて耳の輪郭を抽出することができる。
そして、耳検出手段は、抽出された輪郭の形状に基づいて耳朶部分の位置を検出し、俯仰検出手段は耳朶部分の位置と他の顔部位の位置とに基づいて顔の俯仰を検出する。耳朶部分は、髪型の影響を受けにくいため、耳朶部分の位置を検出するように構成することで、より正確に顔の俯仰を検出することができる。
なお、耳朶部分の位置は、例えば検出処理領域における前記所定方向又は該所定方向に直交する方向に並んだ画素の内、最大のフィルタ値を有する画素位置を選択し、該画素位置が他の所定方向へ並んでいる部分を耳朶部分の位置として検出するようにすれば良い。
【００２１】
第４発明及び第６発明にあっては、耳検出手段及び顔部位検出手段は、時系列順に取得された各画像データから耳及び他の顔部位の位置を検出し、画像処理装置は検出された位置を記憶する。そして、特定手段は所定頻度以上の位置関係を特定する。所定頻度以上の位置関係は、顔が正面を向いている場合の耳及び他の顔部位の位置関係に相当すると推定される。
俯仰検出手段は、現時点で検出された耳及び顔部位の位置関係と、特定手段が特定した位置関係、つまり正面を向いている場合の位置関係とを比較することで、顔の俯仰を検出する。正面を向いている場合に比べて、耳に対する顔部位の位置が下方にある場合、顔が下向きであり、耳に対する顔部位の位置が上方にある場合、顔が上向きであるとして、顔の俯仰が検出される。
【００２２】
第５発明及び第６発明にあっては、顔部位検出手段は顔画像の所定方向における鼻の位置を検出し、俯仰検出手段は耳及び鼻の位置に基づいて顔の俯仰を検出する。鼻の形状は顔の表情変化に関わらず変化せず、検出が容易であるため、鼻の位置を誤検出すること無く顔の俯仰をより正確に検出することができる。
【発明の効果】
【００２３】
第１発明、第２発明、第６発明及び第７発明にあっては、所定方向、例えば画像の垂直方向における耳及び他の顔部位の位置関係に基づいて顔の俯仰を検出することにより、斜め下方又は斜め上方へ視線を向けた場合の顔の俯仰を正確に検出することができる。
なお、耳の位置を検出する場合、画像データから顔領域を検出し、顔領域を基準として耳を含むと推定される検出処理領域を算出し、該検出処理領域において耳の輪郭を抽出するように構成した場合、より高速、確実に耳を検出することができる。
【００２４】
第３及び第５発明にあっては、耳朶部分の位置を検出することにより、髪型に関わらず耳の位置を検出し、斜め下方又は斜め上方へ視線を向けた場合の顔の俯仰を検出することができる。
【００２５】
第４発明及び第６発明にあっては、耳及び他の顔部位の位置関係を学習して顔の俯仰を検出するため、顔を撮像する撮像装置の設置箇所、撮像される被写体の個人差に関わらず斜め下方又は斜め上方へ視線を向けた場合の顔の俯仰を正確に検出することができる。
【００２６】
第５発明及び第６発明にあっては、眼、口等に比べて形状変化が少なく、比較的検出し易い鼻の位置を検出し、耳及び鼻の位置に基づいて顔の俯仰を検出することにより、被撮像者の表情が変化しても正確に斜め下方又は斜め上方へ視線を向けた場合の顔の向きを検出することができる。
なお、鼻の位置として鼻穴は周囲との輝度差が大きく、検出が容易であり、かつ正確に位置を検出することができるため、正確に顔の俯仰を検出することができる。
【発明を実施するための最良の形態】
【００２７】
以下、本発明をその実施の形態を示す図面に基づいて詳述する。
図１は、本発明の実施の形態における画像処理システムの構成例を示すブロック図である。図中１は、車両に搭載された撮像装置であり、撮像装置１は、画像処理を行う画像処理装置２に通信網を介して接続されている。通信網は、例えば専用ケーブル等の通信線、又は有線若しくは無線の車内ＬＡＮ（Local Area Network）によって構成されている。
【００２８】
撮像装置１は、車両内のハンドル、ダッシュボード等の運転者の前方に配設され、運転者の顔の横方向及び縦方向が画像の水平方向及び垂直方向になるように撮像することが可能な状態に調整されている。
撮像装置１は、装置全体を制御するＭＰＵ（Micro Processor Unit）１１と、ＭＰＵ１１の制御に基づき実行される各種コンピュータプログラム及びデータを記録するＲＯＭ（Read Only Memory）１２と、ＲＯＭ１２に記録されたコンピュータプログラムの実行時に一時的に発生する各種データを記録するＲＡＭ（Random Access Memory）１３と、ＣＣＤ（Charge Coupled Device）等の撮像素子を用いて構成される撮像部１４と、撮像部１４の撮像により得られたアナログの画像データをデジタルデータに変換するＡ／Ｄ変換器１５と、Ａ／Ｄ変換器１５によりデジタルに変換された画像データを一時的に記録するフレームメモリ１６と、画像処理装置２との通信に用いられる通信インタフェース１７とを備えている。
【００２９】
撮像装置１では、撮像部１４が、連続的又は断続的に撮像処理を行い、撮像処理に基づいて例えば１秒当たり３０枚の画像データ（画像フレーム）を生成してＡ／Ｄ変換器１５へ出力する。Ａ／Ｄ変換器１５は、画像を構成する各画素を２５６階調（１Ｂｙｔｅ）等の階調にて示されるデジタルの画像データに変換し、フレームメモリ１６に記録させる。フレームメモリ１６に記録させた画像データは、所定のタイミングで通信インタフェース１７から画像処理装置２へ出力される。
【００３０】
画像を構成する各画素は、二次元に配列されており、画像データは、平面直角座標系、所謂ＸＹ座標系にて示される各画素の位置、及び階調値として示される各画素の輝度を示すデータ（輝度値）を含んでいる。画像の水平方向は、画像データのＸ軸方向に対応し、画像の垂直方向は、画像データのＹ軸方向に対応する。
なお、各画素に対し夫々ＸＹ座標系による座標を示すのではなく、データ内に配列される順序により座標を示す様にしても良い。また、本実施の形態ではグレイスケイルの画像データに基づく画像処理を説明する。カラーの画像データを用いる場合、該画像データを構成する画素の輝度データについて同様の画像処理を実行すれば良い。
【００３１】
画像処理装置２はコンピュータを実装しており、装置全体を制御するＣＰＵ（Central Processing Unit）２１と、本発明の実施の形態に係るコンピュータプログラム３１及びデータ等の各種情報を記録した記録媒体４１、例えばＣＤ−ＲＯＭから情報を読み取る補助記録部２２と、補助記録部２２により読み取った各種情報を記録するハードディスク（以下ＨＤという）２３と、ＨＤ２３に記録されたコンピュータプログラム３１の実行時に一時的に発生する各種データを記録するＲＡＭ２４と、揮発性メモリにて構成されるフレームメモリ２５と、撮像装置１との通信に用いられる通信インタフェース２６とを備えている。
【００３２】
本発明のコンピュータプログラム３１は、少なくともコンピュータに、顔の画像データから耳及び他の顔部位の位置を検出する処理と、検出された耳及び他の顔部位の位置関係に基づいて顔の俯仰を検出する処理とを実行させるためのプログラムである。また、記録媒体４１には、コンピュータプログラム３１がコンピュータ読み取り可能に記録されている。
なお、コンピュータプログラム３１は、言うまでもなく外部のコンピュータから有線又は無線の通信ネットワークを介して流通するものも含み、画像処理装置２が該通信ネットワークを介してコンピュータプログラム３１を取得し、ＨＤ２３に記録するようにしても良い。
【００３３】
そしてＣＰＵ２１が、ＨＤ２３から本発明のコンピュータプログラム３１及びデータ等の各種情報を読み取り、ＲＡＭ２４に記録させてコンピュータプログラム３１に含まれる各種処理手順を実行することで、コンピュータは、本実施の形態の画像処理装置２として動作する。ＨＤ２３に記録されるデータとしては、コンピュータプログラム３１の実行に係るデータ、例えば後述する耳抽出フィルタ（エッジ抽出フィルタ）、各種定数等の様々なデータ等がある。
【００３４】
画像処理装置２は、撮像装置１から出力された画像データを通信インタフェース２６にて受け付け、受け付けた画像データをフレームメモリ２５に記録し、フレームメモリ２５に記録した画像データを読み出して、様々な画像処理を行う。
【００３５】
次に本発明の実施の形態における画像処理システムにて用いられる各種装置の処理内容について説明する。本発明の実施の形態に係る画像処理システムは、運転者の脇見、特に視線を斜め下方又は斜め上方へ向けた場合の顔の俯仰を検出する処理を実行する。
【００３６】
図２は、顔の俯仰検出に係るＣＰＵ２１の処理手順を示すフローチャートである。ＣＰＵ２１は、撮像装置１にて撮像されるフレームメモリ２５に記録された画像データを取得し（ステップＳ１１）、顔の画像データから射影演算、閾値処理等によって顔領域を検出する（ステップＳ１２）。
【００３７】
そして、ＣＰＵ２１は、検出した顔領域の端部分を検出処理範囲として算出し、該検出処理範囲内でフィルタ処理、閾値処理等の各種処理を行うことにより、垂直方向における耳の位置を検出する耳認識処理を実行する（ステップＳ１３）。耳の位置は、顔の俯仰を判定するための基準であり、斜め下方を向いた場合、耳が正面側を向くため位置検出が容易である。また、運転者が斜め下方を向いた場合、耳に対する他の顔部位、例えば鼻の上下位置が大きく変化するため、位置基準として優れている。
【００３８】
次いで、ＣＰＵ２１は、顔の俯仰を判定するための情報として他の顔部位、例えば鼻、特に鼻穴の位置を顔領域から検出し（ステップＳ１４）、ステップＳ１３，１４で検出された耳の位置及び他の顔部位の位置に基づいて顔の俯仰を検出する（ステップＳ１５）。
顔が上下した場合、耳に対する鼻穴の位置も垂直方向に上下するため、耳及び鼻穴の位置を比較することによって顔の俯仰を検出することができる。耳に対する鼻穴の位置は、顔がわずかに上下しただけでも大きく変化するため、運転者がエアコン、ラジオを操作する際に視線を斜め下方に落とし、顔がわずかに斜め下方を向いたような場合であっても、このような顔の俯仰を検出することができ、脇見運転を効果的に検出することができる。
【００３９】
以下、図２のフローチャートを用いて説明した処理内容を更に具体的に説明する。
【００４０】
図３は、顔領域Ｒ０の検出方法を概念的に示す説明図である。実線で示した矩形枠は、ステップＳ１１で取得した画像データの画像全体である。Ｘは画像データにおける水平方向を、Ｙは画像データにおける垂直方向を夫々示している。前記画像には、運転者の顔画像及び背景画像が含まれており、運転者の顔面部分を囲む一点鎖線の矩形枠はステップＳ１２で検出された顔領域Ｒ０を示している。
【００４１】
ＣＰＵ２１は、ステップＳ１２の処理によって、画像の各Ｙ座標について、水平方向に並ぶ各画素の輝度値を積算し、積算して得た輝度積算値と、所定の閾値とを比較することで垂直方向における顔領域Ｒ０の範囲を検出する。Ｆｙ１は、垂直方向における顔領域Ｒ０の上端のＹ座標を、Ｆｙ２は、垂直方向における顔領域Ｒ０の下端のＹ座標を示している。顔領域は、髪の領域及び背景領域と比較して明るく撮像されため、輝度積算値と閾値とを比較することによって顔領域Ｒ０を検出することができる。
【００４２】
同様に、ＣＰＵ２１は、画像の各Ｘ座標について、垂直方向に並ぶ各画素の輝度値を積算し、積算して得た輝度積算値と、所定の閾値とを比較することで水平方向における顔領域Ｒ０の範囲を検出する。Ｆｘ１は、水平方向における顔領域Ｒ０の左端を、Ｆｘ２は、水平方向における顔領域Ｒ０の右端を示している。なお、「左」は、撮像装置１側から見た左、即ち図３の紙面における左側を意味し、「右」は図３の紙面における右側を意味している。従って、撮像されている運転者側から見ると左右が逆になる。
【００４３】
図４は、耳認識に係るＣＰＵ２１の処理手順を示すフローチャートである。まず、ＣＰＵ２１は、顔領域Ｒ０を基準として、耳認識処理を実行するための検出処理範囲を算出する（ステップＳ２１）。
【００４４】
図５は、検出処理範囲の算出方法を概念的に示す説明図である。図５中、実線で示す外側の矩形枠は画像全体を示しており、該矩形枠の内側であって耳を囲む実線で描かれた矩形枠は検出処理範囲を示している。
【００４５】
検出処理範囲の左端は、顔領域Ｒ０の右端を基準にして、顔幅のＮ１％左側の位置である。Ｎ１はＨＤ２３が記憶している定数である。より具体的には、顔領域Ｒ０の横幅をＦＷ＝Ｆｘ２−Ｆｘ１とした場合、検出処理範囲の左端は、Ｆｘ２−ＦＷ×（Ｎ１／１００）にて算出される。
検出処理範囲の右端は、顔領域Ｒ０の右端を基準にして、顔幅のＮ２％右側の位置である。Ｎ２もＨＤ２３が記憶している定数であり、検出処理範囲の右端は、Ｆｘ２＋ＦＷ（Ｎ２／１００）にて算出される。
検出処理範囲の上端及び下端は、顔領域Ｒ０の上端Ｆｙ１及び下端Ｆｙ２と同値である。
【００４６】
なお、検出処理領域Ｒ１は、右側の耳を検出するための領域であるが、左側の耳を検出する領域も同様にして算出することができる。つまり、左側の耳の検出処理領域の左端はＦｘ１−ＦＷ×（Ｎ２／１００）にて算出され、右端はＦｘ１＋ＦＷ（Ｎ１／１００）にて算出される。上端及び下端は、顔領域Ｒ０の上端Ｆｙ１及び下端Ｆｙ２と同値である。
【００４７】
ステップＳ２１で検出処理範囲の算出を終えた場合、ＣＰＵ２１は、検出処理範囲において耳抽出フィルタにてフィルタ処理を実行することにより、耳の輪郭に相当する斜めエッジを抽出する（ステップＳ２２）。
【００４８】
図６は、耳抽出フィルタの係数の一例を示す説明図である。図６（ａ）は図５の紙面上における右側の耳を抽出する右耳用の耳抽出フィルタであり、図６（ｂ）は左耳用の耳抽出フィルタである。なお、説明の便宜上、撮像装置１側から左右を規定しているため、運転者側から見た右耳と左耳とが逆になっている。
【００４９】
右耳用抽出フィルタは、斜め右下方へ輝度が高い画像領域から輝度が低い画像領域へ変化するエッジを抽出する５×５マトリクスの斜めエッジフィルタである。図６（ａ）に示した係数は、垂直方向及び水平方向に並ぶ５×５＝２５の画素の輝度値に対して乗ずる数値であり、ハッチングで示した中心の一の画素（注目画素）と、その外側に隣接する８近傍の画素と、更に外側に隣接する１６画素の輝度値に対し、夫々対応する一の係数を乗じて、その結果を加算した値を注目画素のフィルタ値として算出する。
【００５０】
より詳細には、検出処理領域Ｒ１における注目画素のＸ座標をｘ、Ｙ座標をｙ、座標（ｘ，ｙ）における画素の輝度値をｆ（ｘ、ｙ）、注目画素のフィルタ値をｇ（ｘ，ｙ）とした場合、フィルタ値は下記の式１で表される。
ｇ（ｘ，ｙ）＝ｆ（ｉ−２，ｊ−２）＋ｆ（ｉ，ｊ−２）＋ｆ（ｉ＋２，ｊ−２）＋ｆ（ｉ−２，ｊ）−２×ｆ（ｉ＋１，ｊ＋１）−ｆ（ｉ＋２，ｊ＋１）＋ｆ（ｉ−２，ｊ＋２）−ｆ（ｉ＋１，ｊ＋２）−ｆ（ｉ＋２，ｊ＋２）…式１
【００５１】
左耳用抽出フィルタは、斜め左下方へ輝度が高い画像領域から輝度が低い画像領域へ変化するエッジを抽出する５×５マトリクスの斜めエッジフィルタであり、各係数の意味及びフィルタ処理方法は右耳用抽出フィルタ同様である。
【００５２】
図７は、耳位置の検出方法を概念的に示す説明図である。図７（ａ）は、検出処理領域Ｒ１の耳部分周辺の画像部分を示している。ハッチングで示した部分は運転者の髪の領域及び背景領域等の暗い画像領域を示しており、ハッチングが付されていない部分はハッチング部分に比べて明るい画像領域を示している。
図７（ａ）に示した画像に対してステップＳ２２のフィルタ処理を実行した場合、耳の画像領域と、背景の画像領域との境界部分等におけるフィルタ値が他の画像領域のフィルタ値に比べて大きな値として算出される。
【００５３】
ステップＳ２２の処理を終えた場合、ＣＰＵ２１は、図７（ｂ）に示すように、各Ｙ座標において水平方向に並ぶ画素中、フィルタ値が最大となるＸ座標を算出する（ステップＳ２３）。図７（ｂ）は、フィルタ処理された画像を概念的に示した説明図である。図中の破線は顔、首、髪部分の輪郭を示す仮想線であり、黒丸印で示された画素は、各水平方向に並ぶ画素中、最大のフィルタ値を有する画素の位置座標を示している。
【００５４】
そして、ＣＰＵ２１は、各Ｙ座標と、フィルタ値最大のＸ座標と、該フィルタ値とを対応付けたＹ方向テーブルを記憶する（ステップＳ２４）。以下、Ｙ方向テーブルに記憶されたフィルタ値を耳輪郭候補フィルタ値という。
例えば、図７（ｂ）に示すように、Ｙ座標がｙ１を有する水平方向に並ぶ画素中、最大のフィルタ値を有する画素は黒丸印で示された箇所の画素であり、該画素のＸ座標はｘ１である。この場合、Ｙ方向テーブルには、座標ｙ１に対して、Ｘ座標としてｘ１、座標（ｘ１，ｙ１）におけるフィルタ値とが対応付けられて記憶される。他のＹ座標についても同様に処理される。
【００５５】
次いで、ＣＰＵ２１は、耳の輪郭に関する情報を有するＹ方向テーブルを参照し、耳の形状に基づいて耳の位置、特に耳朶部分の位置Ｅを検出する（ステップＳ２５）。耳朶部分の位置Ｅは、図７（ｃ）に示すように、耳朶と顔との結合部分の位置である。耳朶は運転者の髪型の影響を最も受けにくい部分である。従って、該耳位置を検出するように構成することによって、運転者の髪型に関わらず耳位置Ｅを検出することができる。
【００５６】
図８及び図９は、耳位置検出に係るＣＰＵ２１の処理手順を示すフローチャートである。
まず、ＣＰＵ２１は、垂直方向における画素の位置を示す変数としての座標ｙに処理範囲上端のＹ座標を設定する（ステップＳ３１）。
なお、検出処理範囲における最上端の各画素、及び該最上端よりも１画素下側の各画素についてはフィルタ処理されていないため、更にその１画素下側のＹ座標を上端のＹ座標として設定する。
【００５７】
次いで、ＣＰＵ２１は、Ｙ方向テーブルを参照して座標ｙ〜座標（ｙ＋Ｎ）の耳輪郭候補フィルタ値が第１閾値より大きいか否かを判定する（ステップＳ３２）。第１閾値は、ＨＤ２３が記憶した定数である。Ｎは、耳朶と顔との結合領域、即ち耳朶部分であるか否かを評価するために必要な耳輪郭候補フィルタ値のサンプル数であり、ＨＤ２３が記憶している。Ｎは定数であっても良いが、顔領域Ｒ０の大きさ、例えば顔幅ＦＷに比例するように構成した方がより好ましい。運転者が撮像装置１に近い場合、耳の画像領域は大きく、運転者が撮像装置１から遠い場合、耳の画像領域は小さくなるため、顔領域Ｒ０の大きさに応じて耳位置を評価するために必要なサンプル数も増減するからである。サンプル数が少なすぎると、耳位置の検出が不正確になり、サンプル数が多すぎると処理速度が低下する。
【００５８】
座標ｙ〜（ｙ＋Ｎ）の各耳輪郭候補フィルタ値が第１閾値より大きいと判定した場合（ステップＳ３２：ＹＥＳ）、座標ｙ〜（ｙ＋Ｎ）における耳輪郭候補フィルタ値を有するＸ座標が同一所定方向に変化しているか否かを判定する（ステップＳ３３）。右耳（運転者側から見て左耳）の場合、座標ｙの値が大きい程、耳輪郭候補フィルタ値のＸ座標が小さくなる。ステップＳ３２の処理によって、耳朶の輪郭に近似する形状を有する耳輪郭候補フィルタ値が選択される。
【００５９】
同一方向に変化していると判定した場合（ステップＳ３３：ＹＥＳ）、ＣＰＵ２１は、耳朶を選択するための耳スコアを算出する。耳スコアは、Ｎ個並んだ耳輪郭候補フィルタ値のＸ座標の最大値をＸｍａｘ、最小値をＸｍｉｎとした場合、耳スコアは下記の式２で表される。
耳スコア＝耳輪郭候補フィルタ値×（Ｘｍａｘ−Ｘｍｉｎ）…式２
【００６０】
耳スコアは、耳輪郭候補フィルタ値が大きい程、また耳輪郭候補フィルタ値の並ぶ方向が水平方向に離れている程大きな値になるため、該耳スコアの値が大きい箇所を検出することによって、図７（ｃ）中、「＋」印で示すように耳朶と顔との結合部分の位置Ｅを特定することができる。
【００６１】
次いでＣＰＵ２１は、ステップＳ３４で算出した耳スコアをｙ座標とを対応付けて一時記憶する（ステップＳ３５）。ステップＳ３５の処理を終えた場合、ステップＳ３２で座標ｙ〜（ｙ＋Ｎ）の耳輪郭候補フィルタ値のいずれかが第１閾値より小さいと判定した場合（ステップＳ３２：ＮＯ）、ステップＳ３３で同一方向に変化していないと判定した場合（ステップＳ３３：ＮＯ）、ＣＰＵ２１は、ｙ座標が処理範囲の下端のＹ座標であるか否かを判定する（ステップＳ３６）。
【００６２】
ｙ座標が処理範囲の下端のＹ座標でないと判定した場合（ステップＳ３６：ＮＯ）、ＣＰＵ２１は、ｙに１を加算して（ステップＳ３７）、処理をステップＳ３２に戻す。ｙ座標が処理範囲の下端のＹ座標であると判定した場合（ステップＳ３６：ＹＥＳ）、ＣＰＵ２１は、耳スコアが最大のＹ座標を特定する（ステップＳ３８）。
【００６３】
次いで、ＣＰＵ２１は、最大の耳スコアが第２閾値より大きいか否かを判定する（ステップＳ３９）。最大の耳スコアが第２閾値より大きいと判定した場合（ステップＳ３９：ＹＥＳ）、耳スコアが最大のＹ座標を垂直方向における耳位置として記憶し（ステップＳ４０）、耳位置検出の処理を終える。最大の耳スコアが第２閾値以下であると判定した場合（ステップＳ３９：ＮＯ）、ＣＰＵ２１は、耳位置が検出されなかったことを示す情報を記憶し（ステップＳ４１）、耳位置検出の処理を終える。
【００６４】
なお、図８及び図９に示した耳位置の検出方法は一例であり、耳抽出フィルタを用いて得られたフィルタ値を用いて耳位置を検出できるのであれば、他の演算方法で算出するように構成しても良い。
【００６５】
次に、図２に示すステップＳ１４の処理内容、特に鼻の位置検出方法を説明する。
図１０は、鼻の位置検出方法を概念的に示す説明図、図１１は鼻穴の位置検出方法を概念的に示す説明図である。図１０中、実線で示す外側の矩形枠は画像全体を示しており、該矩形枠の内側であって鼻を囲む破線で描かれた矩形枠は鼻を検出するための検出処理範囲Ｒ２を示している。
【００６６】
ＣＰＵ２１は、鼻を検出するための検出処理領域Ｒ２を検出すべく、水平方向に並ぶ画素の輝度を積算し、積算した結果から垂直方向の輝度積算値の変化を導出する。そして、ＣＰＵ２１は、導出された垂直方向における輝度積算値の変化から、極小値を示す複数のＹ座標位置を検出する。この処理によって、図１０に示すように水平方向における輝度平均が低い眉、眼、鼻及び口をも含む複数の検出対象の候補が検出される。次いで、ＣＰＵ２１は検出された極小値を示すＹ座標において水平方向に並ぶ画素の輝度値の変化から、検出対象の候補の両端を検出し、水平方向における極小点を検出する。鼻の周辺部分においては、「×」印で示すように小鼻の両端と、鼻穴に相当する２つの極小点が検出される。ＣＰＵ２１は、顔領域Ｒ０の幅Ｆｗと、水平方向における小鼻両端の長さとの比、極小点の数等に基づいて、鼻周辺の検出処理範囲を特定する。
【００６７】
次いで、図１１に示すようにＣＰＵ２１は、水平方向に並ぶ画素の輝度値の変化から、極小点周辺を探索領域Ｒ４，Ｒ５として選択し、黒領域抽出フィルタ等を用いて鼻穴の位置を検出する。そして、顔の向きを検出する鼻の位置としては例えば、両鼻穴の中点Ｃの座標を使用する。
【００６８】
次に、俯仰検出の処理内容を説明する。
図１２は、顔の俯仰検出に係るＣＰＵ２１の処理手順を示すフローチャートである。
まず、ＣＰＵ２１は、正面時の顔部位と耳との位置関係をＨＤ２３から読み出す（ステップＳ５１）。撮像装置１と被写体である運転者との位置関係が固定されている場合、例えば運転席における撮像装置１の設置位置が決まっている場合、正面時の顔部位と耳との位置関係を固定値としてＨＤ２３に記憶させておくと良い。また、個人差を考慮し顔部位と鼻との位置関係に幅を持たせるように構成しても良い。更に、後述するように過去の認識結果に基づいて、検出頻度が高い位置関係を正面向きと仮定し、当該位置関係を正面時の顔部位と耳との位置関係として採用しても良い。
【００６９】
ステップＳ５１の処理を終えた場合、ＣＰＵ２１は、耳に対する顔部位の位置が正面時に比して上方にあるか否かを判定する（ステップＳ５２）。
【００７０】
図１３は、正面側から見た顔の向きと鼻及び耳の位置との関係を示す模式図、図１４は、横方向から見た顔の向きと、鼻及び耳の位置との関係を示す模式図である。図１３（ａ）及び図１４（ａ）は運転者が正面を向いた状態を示しており、図１３（ｂ）及び図１４（ｂ）は下向き、特に斜め下向きの状態を示している。図１３及び図１４に示すように、顔が下向き又は斜め下向きになった場合、正面時に比して耳の位置に対する鼻の位置が下方に変化することがわかる。具体的には、運転者が正面を向いている場合、垂直方向における鼻のＹ座標Ｃｙは、耳のＹ座標Ｎｙに比べて小さいが、運転者が下方を向いている場合、鼻のＹ座標Ｃｙは、耳のＹ座標Ｎｙに比べて大きな値になる。同様に顔が上向き又は斜め上向きになった場合、正面時に比して耳の位置に対する鼻の位置が上方に変化する。
【００７１】
ステップＳ５２で耳に対する顔部位の位置が正面時に比して上方にあると判定した場合（ステップＳ５２：ＹＥＳ）、ＣＰＵ２１は、顔の向きとして上向きを記憶し（ステップＳ５３）、処理を終える。
【００７２】
ステップＳ５２で耳に対する顔部位の位置が正面時に比して上方に無いと判定した場合（ステップＳ５２：ＮＯ）、ＣＰＵ２１は、耳に対する顔部位の位置が正面時に比して下方にあるか否かを判定する（ステップＳ５４）。
【００７３】
耳に対する顔部位の位置が正面時に比して下方にあると判定した場合（ステップＳ５４：ＹＥＳ）、ＣＰＵ２１は、顔の向きとして下向きを記憶する（ステップＳ５６）。
【００７４】
耳に対する顔部位の位置が正面時に比して下方に無いと判定した場合（ステップＳ５４：ＮＯ）、ＣＰＵ２１は、顔の向きとして正面向きを記憶する（ステップＳ５５）。
【００７５】
以上、実施の形態１に係る画像処理方法を実施する画像処理装置２、画像処理システム、コンピュータを画像処理装置２として機能させるためのコンピュータプログラム、及び記録媒体４１にあっては、耳及び他の顔部位の位置関係に基づいて俯仰を検出するため、斜め下方又は斜め上方へ視線を向けた場合の顔の俯仰を正確に検出することができる。
【００７６】
また、特に耳朶部分の位置を検出するように構成されているため、髪型に関わらず耳の位置を検出し、斜め下方又は斜め上方へ視線を向けた場合の顔の俯仰を検出することができる。
【００７７】
更に、眼、口等に比べて形状変化が少なく、比較的検出し易い鼻の位置を検出し、耳及び鼻の位置に基づいて顔の俯仰を検出することにより、より正確に斜め下方又は斜め上方へ視線を向けた場合の顔の向きを検出することができる。
更にまた、特に顔における特徴的な形状及び輝度分布を有する鼻穴を検出するように構成されているため、より簡易及び正確に鼻の位置を検出することができ、より正確に顔の俯仰を検出することができる。
【００７８】
図１５は、変形例における顔の俯仰検出に係るＣＰＵの処理手順を示すフローチャートである。ＣＰＵ２１は、図２に示すステップＳ１１〜ステップＳ１３同様、画像データを取得し（ステップＳ１１１）、顔領域Ｒ０を検出し（ステップＳ１１２）、耳の認識処理を実行し（ステップＳ１１３）、他の顔部位を検出する（ステップＳ１１４）。
【００７９】
そして、ＣＰＵ２１は、検出された耳位置と顔位置との位置関係、特に垂直方向Ｙにおける位置関係を記憶し（ステップＳ１１５）、過去に検出された位置関係を参照することで最頻の位置関係を正面時の耳及び顔部位の位置関係として特定し、記憶する（ステップＳ１１６）。
【００８０】
次いで、ＣＰＵ２１はステップＳ１１６で記憶した正面時の耳及び顔部位の位置関係と、ステップＳ１１３及びステップＳ１１４で検出した耳及び顔部位の位置関係とに基づいて、顔の俯仰を検出する（ステップＳ１１７）。
【００８１】
このように構成された変形例における顔の向き検出装置にあっては、正面時における耳及び顔部位の位置関係を学習する構成であるため、顔を撮像する撮像装置１の設置箇所、撮像される被写体の個人差に関わらず斜め下方又は斜め上方へ視線を向けた場合の顔の俯仰を正確に検出することができる。
【００８２】
また、撮像装置１の設置場所を適宜選択可能に構成する場合であっても、設置された撮像装置１の位置に応じて正面時における耳及び顔部位の位置関係を学習するため、撮像装置１の設置位置に関わらず顔の向きを正確に検出することができる。
【００８３】
なお、上述の実施の形態では、顔の向き検出装置１は、ＨＤ２３に各種の動作を行なうためのコンピュータプログラムを記憶しており、これらのコンピュータプログラムをＣＰＵ２１が実行することにより各動作を実現しているが、各動作をハードウェアにより構成することも可能である。
【００８４】
また、実施の形態にあっては、耳及び鼻の位置関係に基づいて顔の俯仰を検出するように構成してあるが、他の顔部位、例えば眼、口、眉毛、顎部分等と鼻との位置関係に基づいて顔の俯仰を検出するように構成しても良い。
【００８５】
更に、実施の形態にあっては耳をエッジ抽出フィルタにて検出するように構成してあるが、他の処理、例えばパターンマッチング等の処理によって耳位置を検出するように構成しても良い。
【００８６】
（付記１）
顔の画像データに基づいて顔の向きを検出する画像処理方法において、
画像データから顔画像の所定方向における耳の位置を検出する耳検出ステップと、
画像データから顔画像の所定方向における他の顔部位の位置を検出する顔部位検出ステップと、
検出された耳及び他の顔部位の位置に基づいて顔の俯仰を検出する俯仰検出ステップと
を有することを特徴とする画像処理方法。
【００８７】
（付記２）
顔の画像データに基づいて顔の向きを検出する画像処理装置において、
画像データから顔画像の所定方向における耳の位置を検出する耳検出手段と、
画像データから顔画像の所定方向における他の顔部位の位置を検出する顔部位検出手段と、
検出された耳及び他の顔部位の位置に基づいて顔の俯仰を検出する俯仰検出手段と
を備えることを特徴とする画像処理装置。
【００８８】
（付記３）
前記所定方向に対して斜め方向へ輝度が高い画像領域から輝度が低い画像領域へ変化するエッジを抽出するエッジ抽出フィルタを備え、
前記耳検出手段は、
前記エッジ抽出フィルタによって、耳の輪郭を抽出する抽出手段と、
該抽出手段が抽出した輪郭の形状に基づいて耳朶部分の位置を検出する手段と
を備えることを特徴とする付記２に記載の画像処理装置。
（付記４）
画像データから顔領域を検出する顔領域検出手段と、
該顔領域検出手段が検出した顔領域の横方向端部を含む検出処理領域を算出する算出手段と
を備え、
前記抽出手段は、
前記算出手段が算出した検出処理領域において耳の輪郭を抽出するように構成してある
ことを特徴とする付記３に記載の画像処理装置。
（付記５）
前記耳検出手段は、
検出処理領域における前記所定方向又は該所定方向に直交する方向に並んだ画素の内、最大のフィルタ値を有する画素位置を選択する手段を備え、
該画素位置が他の所定方向へ並んでいる部分を耳朶部分の位置として検出するようにしてある
ことを特徴とする付記４に記載の画像処理装置。
（付記６）
時系列順に画像データを取得するように構成してあり、
時系列順の各画像データから前記耳検出手段及び顔部位検出手段が検出した耳及び他の顔部位の位置関係を記憶する手段と、
所定頻度以上の前記位置関係を特定する特定手段と
を備え、
前記俯仰検出手段は、
検出された耳及び顔部位の位置関係、並びに前記特定手段が特定した位置関係を比較して顔の俯仰を検出するように構成してある
ことを特徴とする付記２乃至付記５に記載の画像処理装置。
（付記７）
前記顔部位検出手段は顔画像における鼻の位置を検出する手段を備える
ことを特徴とする付記２乃至付記６のいずれか一つに記載の画像処理装置。
（付記８）
前記顔部位検出手段は顔画像における鼻穴の位置を検出する手段を備えることを特徴とする付記７に記載の画像処理装置。
（付記９）
前記所定方向は画像における垂直方向である
ことを特徴とする付記２乃至付記８に記載の画像処理装置。
（付記１０）
付記２乃至付記９のいずれか一つに記載の画像処理装置と、
車両の運転者を撮像する撮像装置と
を備え、
前記画像処理装置は、
前記撮像装置が撮像した運転者の顔の画像データに基づいて該運転者の俯仰を検出するように構成してあることを特徴とする画像処理システム。
（付記１１）
コンピュータに、顔の画像データに基づいて顔の向きを検出させるコンピュータプログラムにおいて、
コンピュータに、
画像データから顔画像の所定方向における耳の位置を検出する耳検出ステップと、
画像データから顔画像の所定方向における他の顔部位の位置を検出する顔部位検出ステップと、
検出された耳及び他の顔部位の位置に基づいて顔の俯仰を検出する俯仰検出ステップと
を実行させることを特徴とするコンピュータプログラム。
（付記１２）
コンピュータに、顔の画像データに基づいて顔の向きを検出させるコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体において、
コンピュータに、
画像データから顔画像の所定方向における耳の位置を検出する耳検出ステップと、
画像データから顔画像の所定方向における他の顔部位の位置を検出する顔部位検出ステップと、
検出された耳及び他の顔部位の位置に基づいて顔の俯仰を検出する俯仰検出ステップと
を実行させるコンピュータプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。
【図面の簡単な説明】
【００８９】
【図１】本発明の実施の形態における画像処理システムの構成例を示すブロック図である。
【図２】顔の俯仰検出に係るＣＰＵの処理手順を示すフローチャートである。
【図３】顔領域の検出方法を概念的に示す説明図である。
【図４】耳認識に係るＣＰＵの処理手順を示すフローチャートである。
【図５】検出処理範囲の算出方法を概念的に示す説明図である。
【図６】耳抽出フィルタの係数の一例を示す説明図である。
【図７】耳位置の検出方法を概念的に示す説明図である。
【図８】耳位置検出に係るＣＰＵの処理手順を示すフローチャートである。
【図９】耳位置検出に係るＣＰＵの処理手順を示すフローチャートである。
【図１０】鼻の位置検出方法を概念的に示す説明図である。
【図１１】鼻穴の位置検出方法を概念的に示す説明図である。
【図１２】顔の俯仰検出に係るＣＰＵの処理手順を示すフローチャートである。
【図１３】正面側から見た顔の向きと鼻及び耳の位置との関係を示す模式図である。
【図１４】横方向から見た顔の向きと、鼻及び耳の位置との関係を示す模式図である。
【図１５】変形例における顔の俯仰検出に係るＣＰＵの処理手順を示すフローチャートである。
【符号の説明】
【００９０】
１ 撮像装置
２ 画像処理装置
１１ ＭＰＵ
２１ ＣＰＵ
２３ ＨＤ
３１ コンピュータプログラム
４１ 記録媒体
【技術分野】
【０００１】
本発明は、顔画像の画像データに基づいて顔の向きを検出する画像処理方法、該画像処理方法を実施する画像処理装置、該画像処理装置を備えた画像処理システム、及びコンピュータを前記画像処理装置として機能させるためのコンピュータプログラムに関する。
【背景技術】
【０００２】
自動車等の車両の運転状態を監視する運転状態監視システムが提案されている。運転状態監視システムは、運転者の顔を撮像できる適宜箇所に設置された撮像装置及び画像処理装置等から構成されている。撮像装置は運転者の顔を撮像し、画像処理装置は撮像して得られた画像データに基づいて運転者の顔の向きを検出する。運転状態監視システムを用いて顔の向きを検出することにより、運転者の脇見運転を検知することができ、脇見運転をしている運転者に警告を発するシステムを構成することも可能である。
【０００３】
特許文献１には、水平方向における顔領域と鼻との位置関係から顔の向きを検出する画像処理装置が提案されている。特許文献１に係る画像処理装置は、撮像装置が撮像して得た画像データから射影演算、閾値処理等によって顔領域を検出する。また、画像データから眼の位置を検出し、検出した眼の位置を基準にして鼻の位置を検出する。そして、水平方向における顔領域に対する鼻の位置関係に基づいて顔の左右向きを検出する。
【０００４】
特許文献２には、画像データから検出された眼の位置及び形状、例えば眼の縦横比によって、顔の上下向き、左右向きを判定する画像処理装置が提案されている。
【特許文献１】特開２００４−２３４３６７号公報
【特許文献２】特開２００４−１３３７４９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に係る顔の向き検出装置にあっては、視線を斜め下方へ落とすような脇見、例えばエアコン、ラジオ、カーナビゲーション装置等を操作するような脇見状態の検出は困難であるという問題があった。
運転者が道路脇のお店、看板、通行人に視線を向ける場合、運転者の顔は比較的大きく横方向に回転するため、このような脇見を検出することは比較的容易である。これに対して運転者が斜め下方へ視線を落とすような脇見は、運転者の顔がわずかに下方へ傾く程度であるため、検出困難である。
【０００６】
また、特許文献２に係る顔の向き検出装置にあっては、眼の形状で顔の向きを検出する構成であるため、眼の位置及び形状を正確に検出する必要があるが、斜め下方を向いた運転者の眼周辺の輝度は低くなり、眼の位置及び形状を誤り無く検出して、顔の向きを検出することは困難であるという問題があった。
また、運転者の表情が変化して眼の形状が変化した場合、顔の向きを誤検出するという問題があった。
【０００７】
本願発明者は、運転者が斜め下方を向いた場合、耳に対する他の顔部位、例えば鼻の上下位置が大きく変化する点、斜め下方を向いた場合、耳が正面側を向くため位置検出が容易である点に着眼した。
【０００８】
本発明は斯かる事情に鑑みてなされたものであり、顔画像の所定方向、例えば垂直方向における耳及び他の顔部位の上下位置を検出し、耳及び他の顔部位の位置関係に基づいて顔の向きを検出することにより、斜め下方又は斜め上方へ視線を向けた場合の顔の俯仰を正確に検出することができる画像処理方法、該画像処理方法を実施する画像処理装置、該画像処理装置を備えた画像処理システム、及びコンピュータを前記画像処理装置として機能させるコンピュータプログラムを提供することを目的とする。
【０００９】
本発明の他の目的は、髪型の影響を最も受けにくい耳朶部分の位置を検出するように構成することにより、髪型に関わらず耳の位置を検出し、顔の俯仰を検出することができる画像処理装置、及び画像処理装置を備えた画像処理システムを提供することにある。
【００１０】
本発明の他の目的は、正面向きの耳及び他の顔部位の位置関係を学習し、該位置関係に基づいて顔の俯仰を算出するように構成することにより、顔を撮像する撮像装置の設置箇所、撮像される被写体の個人差に関わらず顔の俯仰を正確に検出することができる画像処理装置、及び該画像処理装置を備えた画像処理システムを提供することにある。
【００１１】
本発明の他の目的は、眼、口等に比べて形状変化が少なく、比較的検出し易い鼻の位置を検出して顔の俯仰を検出するように構成することにより、より正確に顔の向きを検出することができる画像処理装置、及び該画像処理装置を備えた画像処理システムを提供することにある。
【課題を解決するための手段】
【００１２】
第１発明に係る画像処理方法は、顔の画像データに基づいて顔の向きを検出する画像処理方法において、画像データから顔画像の所定方向における耳の位置を検出する耳検出ステップと、画像データから顔画像の所定方向における他の顔部位の位置を検出する顔部位検出ステップと、検出された耳及び他の顔部位の位置に基づいて顔の俯仰を検出する俯仰検出ステップとを有することを特徴とする。
【００１３】
第２発明に係る画像処理装置は、顔の画像データに基づいて顔の向きを検出する画像処理装置において、画像データから顔画像の所定方向における耳の位置を検出する耳検出手段と、画像データから顔画像の所定方向における他の顔部位の位置を検出する顔部位検出手段と、検出された耳及び他の顔部位の位置に基づいて顔の俯仰を検出する俯仰検出手段とを備えることを特徴とする。
【００１４】
第３発明に係る画像処理装置は、前記所定方向に対して斜め方向へ輝度が高い画像領域から輝度が低い画像領域へ変化するエッジを抽出するエッジ抽出フィルタを備え、前記耳検出手段は、前記エッジ抽出フィルタによって、耳の輪郭を抽出する抽出手段と、該抽出手段が抽出した輪郭の形状に基づいて耳朶部分の位置を検出する手段とを備えることを特徴とする。
【００１５】
第４発明に係る画像処理装置は、時系列順に画像データを取得するように構成してあり、時系列順の各画像データから前記耳検出手段及び顔部位検出手段が検出した耳及び他の顔部位の位置関係を記憶する手段と、所定頻度以上の前記位置関係を特定する特定手段とを備え、前記俯仰検出手段は、検出された耳及び顔部位の位置関係、並びに前記特定手段が特定した位置関係を比較して顔の俯仰を検出するように構成してあることを特徴とする。
【００１６】
第５発明に係る画像処理装置は、前記顔部位検出手段は顔画像における鼻の位置を検出する手段を備えることを特徴とする。
【００１７】
第６発明に係る画像処理システムは、第２発明乃至第４発明のいずれか一つに記載の画像処理装置と、車両の運転者を撮像する撮像装置とを備え、前記画像処理装置は、前記撮像装置が撮像した運転者の顔の画像データに基づいて該運転者の俯仰を検出するように構成してあることを特徴とする。
【００１８】
第７発明に係るコンピュータプログラムは、コンピュータに、前記第６発明に係る各ステップを実行させることを特徴とする。
【００１９】
第１、第２、第６及び第７発明にあっては、顔の画像データから顔画像の所定方向、例えば垂直方向における耳及び他の顔部位の位置を検出する。顔が斜め下方又は斜め上方を向いた場合、耳は正面側を向き、しかも耳の形状は表情等によって変化しないため、耳の位置検出は容易である。
そして、検出された耳及び他の顔部位の位置関係に基づいて顔の俯仰を検出する。顔の向きが上下する場合、所定方向における耳の位置と他の顔部位との位置関係が変化するため、該位置関係に基づいて顔の俯仰を検出することができる。具体的には、顔の向きが上下しても耳の位置はあまり変動せず、顔が下方を向いた場合、他の顔部位の位置が下方へ移動し、顔が上方を向いた場合、他の顔部位の位置が上方へ移動する。
【００２０】
第３及び第５発明にあっては、抽出手段は、所定方向に対して斜め方向へ輝度が高い画像領域から輝度が低い画像領域へ変化するエッジを抽出するエッジ抽出フィルタを用いて、耳の輪郭を抽出する。耳の画像領域は背景の画像領域に比べて輝度が高いため、前記エッジ抽出フィルタにて耳の輪郭を抽出することができる。
そして、耳検出手段は、抽出された輪郭の形状に基づいて耳朶部分の位置を検出し、俯仰検出手段は耳朶部分の位置と他の顔部位の位置とに基づいて顔の俯仰を検出する。耳朶部分は、髪型の影響を受けにくいため、耳朶部分の位置を検出するように構成することで、より正確に顔の俯仰を検出することができる。
なお、耳朶部分の位置は、例えば検出処理領域における前記所定方向又は該所定方向に直交する方向に並んだ画素の内、最大のフィルタ値を有する画素位置を選択し、該画素位置が他の所定方向へ並んでいる部分を耳朶部分の位置として検出するようにすれば良い。
【００２１】
第４発明及び第６発明にあっては、耳検出手段及び顔部位検出手段は、時系列順に取得された各画像データから耳及び他の顔部位の位置を検出し、画像処理装置は検出された位置を記憶する。そして、特定手段は所定頻度以上の位置関係を特定する。所定頻度以上の位置関係は、顔が正面を向いている場合の耳及び他の顔部位の位置関係に相当すると推定される。
俯仰検出手段は、現時点で検出された耳及び顔部位の位置関係と、特定手段が特定した位置関係、つまり正面を向いている場合の位置関係とを比較することで、顔の俯仰を検出する。正面を向いている場合に比べて、耳に対する顔部位の位置が下方にある場合、顔が下向きであり、耳に対する顔部位の位置が上方にある場合、顔が上向きであるとして、顔の俯仰が検出される。
【００２２】
第５発明及び第６発明にあっては、顔部位検出手段は顔画像の所定方向における鼻の位置を検出し、俯仰検出手段は耳及び鼻の位置に基づいて顔の俯仰を検出する。鼻の形状は顔の表情変化に関わらず変化せず、検出が容易であるため、鼻の位置を誤検出すること無く顔の俯仰をより正確に検出することができる。
【発明の効果】
【００２３】
第１発明、第２発明、第６発明及び第７発明にあっては、所定方向、例えば画像の垂直方向における耳及び他の顔部位の位置関係に基づいて顔の俯仰を検出することにより、斜め下方又は斜め上方へ視線を向けた場合の顔の俯仰を正確に検出することができる。
なお、耳の位置を検出する場合、画像データから顔領域を検出し、顔領域を基準として耳を含むと推定される検出処理領域を算出し、該検出処理領域において耳の輪郭を抽出するように構成した場合、より高速、確実に耳を検出することができる。
【００２４】
第３及び第５発明にあっては、耳朶部分の位置を検出することにより、髪型に関わらず耳の位置を検出し、斜め下方又は斜め上方へ視線を向けた場合の顔の俯仰を検出することができる。
【００２５】
第４発明及び第６発明にあっては、耳及び他の顔部位の位置関係を学習して顔の俯仰を検出するため、顔を撮像する撮像装置の設置箇所、撮像される被写体の個人差に関わらず斜め下方又は斜め上方へ視線を向けた場合の顔の俯仰を正確に検出することができる。
【００２６】
第５発明及び第６発明にあっては、眼、口等に比べて形状変化が少なく、比較的検出し易い鼻の位置を検出し、耳及び鼻の位置に基づいて顔の俯仰を検出することにより、被撮像者の表情が変化しても正確に斜め下方又は斜め上方へ視線を向けた場合の顔の向きを検出することができる。
なお、鼻の位置として鼻穴は周囲との輝度差が大きく、検出が容易であり、かつ正確に位置を検出することができるため、正確に顔の俯仰を検出することができる。
【発明を実施するための最良の形態】
【００２７】
以下、本発明をその実施の形態を示す図面に基づいて詳述する。
図１は、本発明の実施の形態における画像処理システムの構成例を示すブロック図である。図中１は、車両に搭載された撮像装置であり、撮像装置１は、画像処理を行う画像処理装置２に通信網を介して接続されている。通信網は、例えば専用ケーブル等の通信線、又は有線若しくは無線の車内ＬＡＮ（Local Area Network）によって構成されている。
【００２８】
撮像装置１は、車両内のハンドル、ダッシュボード等の運転者の前方に配設され、運転者の顔の横方向及び縦方向が画像の水平方向及び垂直方向になるように撮像することが可能な状態に調整されている。
撮像装置１は、装置全体を制御するＭＰＵ（Micro Processor Unit）１１と、ＭＰＵ１１の制御に基づき実行される各種コンピュータプログラム及びデータを記録するＲＯＭ（Read Only Memory）１２と、ＲＯＭ１２に記録されたコンピュータプログラムの実行時に一時的に発生する各種データを記録するＲＡＭ（Random Access Memory）１３と、ＣＣＤ（Charge Coupled Device）等の撮像素子を用いて構成される撮像部１４と、撮像部１４の撮像により得られたアナログの画像データをデジタルデータに変換するＡ／Ｄ変換器１５と、Ａ／Ｄ変換器１５によりデジタルに変換された画像データを一時的に記録するフレームメモリ１６と、画像処理装置２との通信に用いられる通信インタフェース１７とを備えている。
【００２９】
撮像装置１では、撮像部１４が、連続的又は断続的に撮像処理を行い、撮像処理に基づいて例えば１秒当たり３０枚の画像データ（画像フレーム）を生成してＡ／Ｄ変換器１５へ出力する。Ａ／Ｄ変換器１５は、画像を構成する各画素を２５６階調（１Ｂｙｔｅ）等の階調にて示されるデジタルの画像データに変換し、フレームメモリ１６に記録させる。フレームメモリ１６に記録させた画像データは、所定のタイミングで通信インタフェース１７から画像処理装置２へ出力される。
【００３０】
画像を構成する各画素は、二次元に配列されており、画像データは、平面直角座標系、所謂ＸＹ座標系にて示される各画素の位置、及び階調値として示される各画素の輝度を示すデータ（輝度値）を含んでいる。画像の水平方向は、画像データのＸ軸方向に対応し、画像の垂直方向は、画像データのＹ軸方向に対応する。
なお、各画素に対し夫々ＸＹ座標系による座標を示すのではなく、データ内に配列される順序により座標を示す様にしても良い。また、本実施の形態ではグレイスケイルの画像データに基づく画像処理を説明する。カラーの画像データを用いる場合、該画像データを構成する画素の輝度データについて同様の画像処理を実行すれば良い。
【００３１】
画像処理装置２はコンピュータを実装しており、装置全体を制御するＣＰＵ（Central Processing Unit）２１と、本発明の実施の形態に係るコンピュータプログラム３１及びデータ等の各種情報を記録した記録媒体４１、例えばＣＤ−ＲＯＭから情報を読み取る補助記録部２２と、補助記録部２２により読み取った各種情報を記録するハードディスク（以下ＨＤという）２３と、ＨＤ２３に記録されたコンピュータプログラム３１の実行時に一時的に発生する各種データを記録するＲＡＭ２４と、揮発性メモリにて構成されるフレームメモリ２５と、撮像装置１との通信に用いられる通信インタフェース２６とを備えている。
【００３２】
本発明のコンピュータプログラム３１は、少なくともコンピュータに、顔の画像データから耳及び他の顔部位の位置を検出する処理と、検出された耳及び他の顔部位の位置関係に基づいて顔の俯仰を検出する処理とを実行させるためのプログラムである。また、記録媒体４１には、コンピュータプログラム３１がコンピュータ読み取り可能に記録されている。
なお、コンピュータプログラム３１は、言うまでもなく外部のコンピュータから有線又は無線の通信ネットワークを介して流通するものも含み、画像処理装置２が該通信ネットワークを介してコンピュータプログラム３１を取得し、ＨＤ２３に記録するようにしても良い。
【００３３】
そしてＣＰＵ２１が、ＨＤ２３から本発明のコンピュータプログラム３１及びデータ等の各種情報を読み取り、ＲＡＭ２４に記録させてコンピュータプログラム３１に含まれる各種処理手順を実行することで、コンピュータは、本実施の形態の画像処理装置２として動作する。ＨＤ２３に記録されるデータとしては、コンピュータプログラム３１の実行に係るデータ、例えば後述する耳抽出フィルタ（エッジ抽出フィルタ）、各種定数等の様々なデータ等がある。
【００３４】
画像処理装置２は、撮像装置１から出力された画像データを通信インタフェース２６にて受け付け、受け付けた画像データをフレームメモリ２５に記録し、フレームメモリ２５に記録した画像データを読み出して、様々な画像処理を行う。
【００３５】
次に本発明の実施の形態における画像処理システムにて用いられる各種装置の処理内容について説明する。本発明の実施の形態に係る画像処理システムは、運転者の脇見、特に視線を斜め下方又は斜め上方へ向けた場合の顔の俯仰を検出する処理を実行する。
【００３６】
図２は、顔の俯仰検出に係るＣＰＵ２１の処理手順を示すフローチャートである。ＣＰＵ２１は、撮像装置１にて撮像されるフレームメモリ２５に記録された画像データを取得し（ステップＳ１１）、顔の画像データから射影演算、閾値処理等によって顔領域を検出する（ステップＳ１２）。
【００３７】
そして、ＣＰＵ２１は、検出した顔領域の端部分を検出処理範囲として算出し、該検出処理範囲内でフィルタ処理、閾値処理等の各種処理を行うことにより、垂直方向における耳の位置を検出する耳認識処理を実行する（ステップＳ１３）。耳の位置は、顔の俯仰を判定するための基準であり、斜め下方を向いた場合、耳が正面側を向くため位置検出が容易である。また、運転者が斜め下方を向いた場合、耳に対する他の顔部位、例えば鼻の上下位置が大きく変化するため、位置基準として優れている。
【００３８】
次いで、ＣＰＵ２１は、顔の俯仰を判定するための情報として他の顔部位、例えば鼻、特に鼻穴の位置を顔領域から検出し（ステップＳ１４）、ステップＳ１３，１４で検出された耳の位置及び他の顔部位の位置に基づいて顔の俯仰を検出する（ステップＳ１５）。
顔が上下した場合、耳に対する鼻穴の位置も垂直方向に上下するため、耳及び鼻穴の位置を比較することによって顔の俯仰を検出することができる。耳に対する鼻穴の位置は、顔がわずかに上下しただけでも大きく変化するため、運転者がエアコン、ラジオを操作する際に視線を斜め下方に落とし、顔がわずかに斜め下方を向いたような場合であっても、このような顔の俯仰を検出することができ、脇見運転を効果的に検出することができる。
【００３９】
以下、図２のフローチャートを用いて説明した処理内容を更に具体的に説明する。
【００４０】
図３は、顔領域Ｒ０の検出方法を概念的に示す説明図である。実線で示した矩形枠は、ステップＳ１１で取得した画像データの画像全体である。Ｘは画像データにおける水平方向を、Ｙは画像データにおける垂直方向を夫々示している。前記画像には、運転者の顔画像及び背景画像が含まれており、運転者の顔面部分を囲む一点鎖線の矩形枠はステップＳ１２で検出された顔領域Ｒ０を示している。
【００４１】
ＣＰＵ２１は、ステップＳ１２の処理によって、画像の各Ｙ座標について、水平方向に並ぶ各画素の輝度値を積算し、積算して得た輝度積算値と、所定の閾値とを比較することで垂直方向における顔領域Ｒ０の範囲を検出する。Ｆｙ１は、垂直方向における顔領域Ｒ０の上端のＹ座標を、Ｆｙ２は、垂直方向における顔領域Ｒ０の下端のＹ座標を示している。顔領域は、髪の領域及び背景領域と比較して明るく撮像されため、輝度積算値と閾値とを比較することによって顔領域Ｒ０を検出することができる。
【００４２】
同様に、ＣＰＵ２１は、画像の各Ｘ座標について、垂直方向に並ぶ各画素の輝度値を積算し、積算して得た輝度積算値と、所定の閾値とを比較することで水平方向における顔領域Ｒ０の範囲を検出する。Ｆｘ１は、水平方向における顔領域Ｒ０の左端を、Ｆｘ２は、水平方向における顔領域Ｒ０の右端を示している。なお、「左」は、撮像装置１側から見た左、即ち図３の紙面における左側を意味し、「右」は図３の紙面における右側を意味している。従って、撮像されている運転者側から見ると左右が逆になる。
【００４３】
図４は、耳認識に係るＣＰＵ２１の処理手順を示すフローチャートである。まず、ＣＰＵ２１は、顔領域Ｒ０を基準として、耳認識処理を実行するための検出処理範囲を算出する（ステップＳ２１）。
【００４４】
図５は、検出処理範囲の算出方法を概念的に示す説明図である。図５中、実線で示す外側の矩形枠は画像全体を示しており、該矩形枠の内側であって耳を囲む実線で描かれた矩形枠は検出処理範囲を示している。
【００４５】
検出処理範囲の左端は、顔領域Ｒ０の右端を基準にして、顔幅のＮ１％左側の位置である。Ｎ１はＨＤ２３が記憶している定数である。より具体的には、顔領域Ｒ０の横幅をＦＷ＝Ｆｘ２−Ｆｘ１とした場合、検出処理範囲の左端は、Ｆｘ２−ＦＷ×（Ｎ１／１００）にて算出される。
検出処理範囲の右端は、顔領域Ｒ０の右端を基準にして、顔幅のＮ２％右側の位置である。Ｎ２もＨＤ２３が記憶している定数であり、検出処理範囲の右端は、Ｆｘ２＋ＦＷ（Ｎ２／１００）にて算出される。
検出処理範囲の上端及び下端は、顔領域Ｒ０の上端Ｆｙ１及び下端Ｆｙ２と同値である。
【００４６】
なお、検出処理領域Ｒ１は、右側の耳を検出するための領域であるが、左側の耳を検出する領域も同様にして算出することができる。つまり、左側の耳の検出処理領域の左端はＦｘ１−ＦＷ×（Ｎ２／１００）にて算出され、右端はＦｘ１＋ＦＷ（Ｎ１／１００）にて算出される。上端及び下端は、顔領域Ｒ０の上端Ｆｙ１及び下端Ｆｙ２と同値である。
【００４７】
ステップＳ２１で検出処理範囲の算出を終えた場合、ＣＰＵ２１は、検出処理範囲において耳抽出フィルタにてフィルタ処理を実行することにより、耳の輪郭に相当する斜めエッジを抽出する（ステップＳ２２）。
【００４８】
図６は、耳抽出フィルタの係数の一例を示す説明図である。図６（ａ）は図５の紙面上における右側の耳を抽出する右耳用の耳抽出フィルタであり、図６（ｂ）は左耳用の耳抽出フィルタである。なお、説明の便宜上、撮像装置１側から左右を規定しているため、運転者側から見た右耳と左耳とが逆になっている。
【００４９】
右耳用抽出フィルタは、斜め右下方へ輝度が高い画像領域から輝度が低い画像領域へ変化するエッジを抽出する５×５マトリクスの斜めエッジフィルタである。図６（ａ）に示した係数は、垂直方向及び水平方向に並ぶ５×５＝２５の画素の輝度値に対して乗ずる数値であり、ハッチングで示した中心の一の画素（注目画素）と、その外側に隣接する８近傍の画素と、更に外側に隣接する１６画素の輝度値に対し、夫々対応する一の係数を乗じて、その結果を加算した値を注目画素のフィルタ値として算出する。
【００５０】
より詳細には、検出処理領域Ｒ１における注目画素のＸ座標をｘ、Ｙ座標をｙ、座標（ｘ，ｙ）における画素の輝度値をｆ（ｘ、ｙ）、注目画素のフィルタ値をｇ（ｘ，ｙ）とした場合、フィルタ値は下記の式１で表される。
ｇ（ｘ，ｙ）＝ｆ（ｉ−２，ｊ−２）＋ｆ（ｉ，ｊ−２）＋ｆ（ｉ＋２，ｊ−２）＋ｆ（ｉ−２，ｊ）−２×ｆ（ｉ＋１，ｊ＋１）−ｆ（ｉ＋２，ｊ＋１）＋ｆ（ｉ−２，ｊ＋２）−ｆ（ｉ＋１，ｊ＋２）−ｆ（ｉ＋２，ｊ＋２）…式１
【００５１】
左耳用抽出フィルタは、斜め左下方へ輝度が高い画像領域から輝度が低い画像領域へ変化するエッジを抽出する５×５マトリクスの斜めエッジフィルタであり、各係数の意味及びフィルタ処理方法は右耳用抽出フィルタ同様である。
【００５２】
図７は、耳位置の検出方法を概念的に示す説明図である。図７（ａ）は、検出処理領域Ｒ１の耳部分周辺の画像部分を示している。ハッチングで示した部分は運転者の髪の領域及び背景領域等の暗い画像領域を示しており、ハッチングが付されていない部分はハッチング部分に比べて明るい画像領域を示している。
図７（ａ）に示した画像に対してステップＳ２２のフィルタ処理を実行した場合、耳の画像領域と、背景の画像領域との境界部分等におけるフィルタ値が他の画像領域のフィルタ値に比べて大きな値として算出される。
【００５３】
ステップＳ２２の処理を終えた場合、ＣＰＵ２１は、図７（ｂ）に示すように、各Ｙ座標において水平方向に並ぶ画素中、フィルタ値が最大となるＸ座標を算出する（ステップＳ２３）。図７（ｂ）は、フィルタ処理された画像を概念的に示した説明図である。図中の破線は顔、首、髪部分の輪郭を示す仮想線であり、黒丸印で示された画素は、各水平方向に並ぶ画素中、最大のフィルタ値を有する画素の位置座標を示している。
【００５４】
そして、ＣＰＵ２１は、各Ｙ座標と、フィルタ値最大のＸ座標と、該フィルタ値とを対応付けたＹ方向テーブルを記憶する（ステップＳ２４）。以下、Ｙ方向テーブルに記憶されたフィルタ値を耳輪郭候補フィルタ値という。
例えば、図７（ｂ）に示すように、Ｙ座標がｙ１を有する水平方向に並ぶ画素中、最大のフィルタ値を有する画素は黒丸印で示された箇所の画素であり、該画素のＸ座標はｘ１である。この場合、Ｙ方向テーブルには、座標ｙ１に対して、Ｘ座標としてｘ１、座標（ｘ１，ｙ１）におけるフィルタ値とが対応付けられて記憶される。他のＹ座標についても同様に処理される。
【００５５】
次いで、ＣＰＵ２１は、耳の輪郭に関する情報を有するＹ方向テーブルを参照し、耳の形状に基づいて耳の位置、特に耳朶部分の位置Ｅを検出する（ステップＳ２５）。耳朶部分の位置Ｅは、図７（ｃ）に示すように、耳朶と顔との結合部分の位置である。耳朶は運転者の髪型の影響を最も受けにくい部分である。従って、該耳位置を検出するように構成することによって、運転者の髪型に関わらず耳位置Ｅを検出することができる。
【００５６】
図８及び図９は、耳位置検出に係るＣＰＵ２１の処理手順を示すフローチャートである。
まず、ＣＰＵ２１は、垂直方向における画素の位置を示す変数としての座標ｙに処理範囲上端のＹ座標を設定する（ステップＳ３１）。
なお、検出処理範囲における最上端の各画素、及び該最上端よりも１画素下側の各画素についてはフィルタ処理されていないため、更にその１画素下側のＹ座標を上端のＹ座標として設定する。
【００５７】
次いで、ＣＰＵ２１は、Ｙ方向テーブルを参照して座標ｙ〜座標（ｙ＋Ｎ）の耳輪郭候補フィルタ値が第１閾値より大きいか否かを判定する（ステップＳ３２）。第１閾値は、ＨＤ２３が記憶した定数である。Ｎは、耳朶と顔との結合領域、即ち耳朶部分であるか否かを評価するために必要な耳輪郭候補フィルタ値のサンプル数であり、ＨＤ２３が記憶している。Ｎは定数であっても良いが、顔領域Ｒ０の大きさ、例えば顔幅ＦＷに比例するように構成した方がより好ましい。運転者が撮像装置１に近い場合、耳の画像領域は大きく、運転者が撮像装置１から遠い場合、耳の画像領域は小さくなるため、顔領域Ｒ０の大きさに応じて耳位置を評価するために必要なサンプル数も増減するからである。サンプル数が少なすぎると、耳位置の検出が不正確になり、サンプル数が多すぎると処理速度が低下する。
【００５８】
座標ｙ〜（ｙ＋Ｎ）の各耳輪郭候補フィルタ値が第１閾値より大きいと判定した場合（ステップＳ３２：ＹＥＳ）、座標ｙ〜（ｙ＋Ｎ）における耳輪郭候補フィルタ値を有するＸ座標が同一所定方向に変化しているか否かを判定する（ステップＳ３３）。右耳（運転者側から見て左耳）の場合、座標ｙの値が大きい程、耳輪郭候補フィルタ値のＸ座標が小さくなる。ステップＳ３２の処理によって、耳朶の輪郭に近似する形状を有する耳輪郭候補フィルタ値が選択される。
【００５９】
同一方向に変化していると判定した場合（ステップＳ３３：ＹＥＳ）、ＣＰＵ２１は、耳朶を選択するための耳スコアを算出する。耳スコアは、Ｎ個並んだ耳輪郭候補フィルタ値のＸ座標の最大値をＸｍａｘ、最小値をＸｍｉｎとした場合、耳スコアは下記の式２で表される。
耳スコア＝耳輪郭候補フィルタ値×（Ｘｍａｘ−Ｘｍｉｎ）…式２
【００６０】
耳スコアは、耳輪郭候補フィルタ値が大きい程、また耳輪郭候補フィルタ値の並ぶ方向が水平方向に離れている程大きな値になるため、該耳スコアの値が大きい箇所を検出することによって、図７（ｃ）中、「＋」印で示すように耳朶と顔との結合部分の位置Ｅを特定することができる。
【００６１】
次いでＣＰＵ２１は、ステップＳ３４で算出した耳スコアをｙ座標とを対応付けて一時記憶する（ステップＳ３５）。ステップＳ３５の処理を終えた場合、ステップＳ３２で座標ｙ〜（ｙ＋Ｎ）の耳輪郭候補フィルタ値のいずれかが第１閾値より小さいと判定した場合（ステップＳ３２：ＮＯ）、ステップＳ３３で同一方向に変化していないと判定した場合（ステップＳ３３：ＮＯ）、ＣＰＵ２１は、ｙ座標が処理範囲の下端のＹ座標であるか否かを判定する（ステップＳ３６）。
【００６２】
ｙ座標が処理範囲の下端のＹ座標でないと判定した場合（ステップＳ３６：ＮＯ）、ＣＰＵ２１は、ｙに１を加算して（ステップＳ３７）、処理をステップＳ３２に戻す。ｙ座標が処理範囲の下端のＹ座標であると判定した場合（ステップＳ３６：ＹＥＳ）、ＣＰＵ２１は、耳スコアが最大のＹ座標を特定する（ステップＳ３８）。
【００６３】
次いで、ＣＰＵ２１は、最大の耳スコアが第２閾値より大きいか否かを判定する（ステップＳ３９）。最大の耳スコアが第２閾値より大きいと判定した場合（ステップＳ３９：ＹＥＳ）、耳スコアが最大のＹ座標を垂直方向における耳位置として記憶し（ステップＳ４０）、耳位置検出の処理を終える。最大の耳スコアが第２閾値以下であると判定した場合（ステップＳ３９：ＮＯ）、ＣＰＵ２１は、耳位置が検出されなかったことを示す情報を記憶し（ステップＳ４１）、耳位置検出の処理を終える。
【００６４】
なお、図８及び図９に示した耳位置の検出方法は一例であり、耳抽出フィルタを用いて得られたフィルタ値を用いて耳位置を検出できるのであれば、他の演算方法で算出するように構成しても良い。
【００６５】
次に、図２に示すステップＳ１４の処理内容、特に鼻の位置検出方法を説明する。
図１０は、鼻の位置検出方法を概念的に示す説明図、図１１は鼻穴の位置検出方法を概念的に示す説明図である。図１０中、実線で示す外側の矩形枠は画像全体を示しており、該矩形枠の内側であって鼻を囲む破線で描かれた矩形枠は鼻を検出するための検出処理範囲Ｒ２を示している。
【００６６】
ＣＰＵ２１は、鼻を検出するための検出処理領域Ｒ２を検出すべく、水平方向に並ぶ画素の輝度を積算し、積算した結果から垂直方向の輝度積算値の変化を導出する。そして、ＣＰＵ２１は、導出された垂直方向における輝度積算値の変化から、極小値を示す複数のＹ座標位置を検出する。この処理によって、図１０に示すように水平方向における輝度平均が低い眉、眼、鼻及び口をも含む複数の検出対象の候補が検出される。次いで、ＣＰＵ２１は検出された極小値を示すＹ座標において水平方向に並ぶ画素の輝度値の変化から、検出対象の候補の両端を検出し、水平方向における極小点を検出する。鼻の周辺部分においては、「×」印で示すように小鼻の両端と、鼻穴に相当する２つの極小点が検出される。ＣＰＵ２１は、顔領域Ｒ０の幅Ｆｗと、水平方向における小鼻両端の長さとの比、極小点の数等に基づいて、鼻周辺の検出処理範囲を特定する。
【００６７】
次いで、図１１に示すようにＣＰＵ２１は、水平方向に並ぶ画素の輝度値の変化から、極小点周辺を探索領域Ｒ４，Ｒ５として選択し、黒領域抽出フィルタ等を用いて鼻穴の位置を検出する。そして、顔の向きを検出する鼻の位置としては例えば、両鼻穴の中点Ｃの座標を使用する。
【００６８】
次に、俯仰検出の処理内容を説明する。
図１２は、顔の俯仰検出に係るＣＰＵ２１の処理手順を示すフローチャートである。
まず、ＣＰＵ２１は、正面時の顔部位と耳との位置関係をＨＤ２３から読み出す（ステップＳ５１）。撮像装置１と被写体である運転者との位置関係が固定されている場合、例えば運転席における撮像装置１の設置位置が決まっている場合、正面時の顔部位と耳との位置関係を固定値としてＨＤ２３に記憶させておくと良い。また、個人差を考慮し顔部位と鼻との位置関係に幅を持たせるように構成しても良い。更に、後述するように過去の認識結果に基づいて、検出頻度が高い位置関係を正面向きと仮定し、当該位置関係を正面時の顔部位と耳との位置関係として採用しても良い。
【００６９】
ステップＳ５１の処理を終えた場合、ＣＰＵ２１は、耳に対する顔部位の位置が正面時に比して上方にあるか否かを判定する（ステップＳ５２）。
【００７０】
図１３は、正面側から見た顔の向きと鼻及び耳の位置との関係を示す模式図、図１４は、横方向から見た顔の向きと、鼻及び耳の位置との関係を示す模式図である。図１３（ａ）及び図１４（ａ）は運転者が正面を向いた状態を示しており、図１３（ｂ）及び図１４（ｂ）は下向き、特に斜め下向きの状態を示している。図１３及び図１４に示すように、顔が下向き又は斜め下向きになった場合、正面時に比して耳の位置に対する鼻の位置が下方に変化することがわかる。具体的には、運転者が正面を向いている場合、垂直方向における鼻のＹ座標Ｃｙは、耳のＹ座標Ｎｙに比べて小さいが、運転者が下方を向いている場合、鼻のＹ座標Ｃｙは、耳のＹ座標Ｎｙに比べて大きな値になる。同様に顔が上向き又は斜め上向きになった場合、正面時に比して耳の位置に対する鼻の位置が上方に変化する。
【００７１】
ステップＳ５２で耳に対する顔部位の位置が正面時に比して上方にあると判定した場合（ステップＳ５２：ＹＥＳ）、ＣＰＵ２１は、顔の向きとして上向きを記憶し（ステップＳ５３）、処理を終える。
【００７２】
ステップＳ５２で耳に対する顔部位の位置が正面時に比して上方に無いと判定した場合（ステップＳ５２：ＮＯ）、ＣＰＵ２１は、耳に対する顔部位の位置が正面時に比して下方にあるか否かを判定する（ステップＳ５４）。
【００７３】
耳に対する顔部位の位置が正面時に比して下方にあると判定した場合（ステップＳ５４：ＹＥＳ）、ＣＰＵ２１は、顔の向きとして下向きを記憶する（ステップＳ５６）。
【００７４】
耳に対する顔部位の位置が正面時に比して下方に無いと判定した場合（ステップＳ５４：ＮＯ）、ＣＰＵ２１は、顔の向きとして正面向きを記憶する（ステップＳ５５）。
【００７５】
以上、実施の形態１に係る画像処理方法を実施する画像処理装置２、画像処理システム、コンピュータを画像処理装置２として機能させるためのコンピュータプログラム、及び記録媒体４１にあっては、耳及び他の顔部位の位置関係に基づいて俯仰を検出するため、斜め下方又は斜め上方へ視線を向けた場合の顔の俯仰を正確に検出することができる。
【００７６】
また、特に耳朶部分の位置を検出するように構成されているため、髪型に関わらず耳の位置を検出し、斜め下方又は斜め上方へ視線を向けた場合の顔の俯仰を検出することができる。
【００７７】
更に、眼、口等に比べて形状変化が少なく、比較的検出し易い鼻の位置を検出し、耳及び鼻の位置に基づいて顔の俯仰を検出することにより、より正確に斜め下方又は斜め上方へ視線を向けた場合の顔の向きを検出することができる。
更にまた、特に顔における特徴的な形状及び輝度分布を有する鼻穴を検出するように構成されているため、より簡易及び正確に鼻の位置を検出することができ、より正確に顔の俯仰を検出することができる。
【００７８】
図１５は、変形例における顔の俯仰検出に係るＣＰＵの処理手順を示すフローチャートである。ＣＰＵ２１は、図２に示すステップＳ１１〜ステップＳ１３同様、画像データを取得し（ステップＳ１１１）、顔領域Ｒ０を検出し（ステップＳ１１２）、耳の認識処理を実行し（ステップＳ１１３）、他の顔部位を検出する（ステップＳ１１４）。
【００７９】
そして、ＣＰＵ２１は、検出された耳位置と顔位置との位置関係、特に垂直方向Ｙにおける位置関係を記憶し（ステップＳ１１５）、過去に検出された位置関係を参照することで最頻の位置関係を正面時の耳及び顔部位の位置関係として特定し、記憶する（ステップＳ１１６）。
【００８０】
次いで、ＣＰＵ２１はステップＳ１１６で記憶した正面時の耳及び顔部位の位置関係と、ステップＳ１１３及びステップＳ１１４で検出した耳及び顔部位の位置関係とに基づいて、顔の俯仰を検出する（ステップＳ１１７）。
【００８１】
このように構成された変形例における顔の向き検出装置にあっては、正面時における耳及び顔部位の位置関係を学習する構成であるため、顔を撮像する撮像装置１の設置箇所、撮像される被写体の個人差に関わらず斜め下方又は斜め上方へ視線を向けた場合の顔の俯仰を正確に検出することができる。
【００８２】
また、撮像装置１の設置場所を適宜選択可能に構成する場合であっても、設置された撮像装置１の位置に応じて正面時における耳及び顔部位の位置関係を学習するため、撮像装置１の設置位置に関わらず顔の向きを正確に検出することができる。
【００８３】
なお、上述の実施の形態では、顔の向き検出装置１は、ＨＤ２３に各種の動作を行なうためのコンピュータプログラムを記憶しており、これらのコンピュータプログラムをＣＰＵ２１が実行することにより各動作を実現しているが、各動作をハードウェアにより構成することも可能である。
【００８４】
また、実施の形態にあっては、耳及び鼻の位置関係に基づいて顔の俯仰を検出するように構成してあるが、他の顔部位、例えば眼、口、眉毛、顎部分等と鼻との位置関係に基づいて顔の俯仰を検出するように構成しても良い。
【００８５】
更に、実施の形態にあっては耳をエッジ抽出フィルタにて検出するように構成してあるが、他の処理、例えばパターンマッチング等の処理によって耳位置を検出するように構成しても良い。
【００８６】
（付記１）
顔の画像データに基づいて顔の向きを検出する画像処理方法において、
画像データから顔画像の所定方向における耳の位置を検出する耳検出ステップと、
画像データから顔画像の所定方向における他の顔部位の位置を検出する顔部位検出ステップと、
検出された耳及び他の顔部位の位置に基づいて顔の俯仰を検出する俯仰検出ステップと
を有することを特徴とする画像処理方法。
【００８７】
（付記２）
顔の画像データに基づいて顔の向きを検出する画像処理装置において、
画像データから顔画像の所定方向における耳の位置を検出する耳検出手段と、
画像データから顔画像の所定方向における他の顔部位の位置を検出する顔部位検出手段と、
検出された耳及び他の顔部位の位置に基づいて顔の俯仰を検出する俯仰検出手段と
を備えることを特徴とする画像処理装置。
【００８８】
（付記３）
前記所定方向に対して斜め方向へ輝度が高い画像領域から輝度が低い画像領域へ変化するエッジを抽出するエッジ抽出フィルタを備え、
前記耳検出手段は、
前記エッジ抽出フィルタによって、耳の輪郭を抽出する抽出手段と、
該抽出手段が抽出した輪郭の形状に基づいて耳朶部分の位置を検出する手段と
を備えることを特徴とする付記２に記載の画像処理装置。
（付記４）
画像データから顔領域を検出する顔領域検出手段と、
該顔領域検出手段が検出した顔領域の横方向端部を含む検出処理領域を算出する算出手段と
を備え、
前記抽出手段は、
前記算出手段が算出した検出処理領域において耳の輪郭を抽出するように構成してある
ことを特徴とする付記３に記載の画像処理装置。
（付記５）
前記耳検出手段は、
検出処理領域における前記所定方向又は該所定方向に直交する方向に並んだ画素の内、最大のフィルタ値を有する画素位置を選択する手段を備え、
該画素位置が他の所定方向へ並んでいる部分を耳朶部分の位置として検出するようにしてある
ことを特徴とする付記４に記載の画像処理装置。
（付記６）
時系列順に画像データを取得するように構成してあり、
時系列順の各画像データから前記耳検出手段及び顔部位検出手段が検出した耳及び他の顔部位の位置関係を記憶する手段と、
所定頻度以上の前記位置関係を特定する特定手段と
を備え、
前記俯仰検出手段は、
検出された耳及び顔部位の位置関係、並びに前記特定手段が特定した位置関係を比較して顔の俯仰を検出するように構成してある
ことを特徴とする付記２乃至付記５に記載の画像処理装置。
（付記７）
前記顔部位検出手段は顔画像における鼻の位置を検出する手段を備える
ことを特徴とする付記２乃至付記６のいずれか一つに記載の画像処理装置。
（付記８）
前記顔部位検出手段は顔画像における鼻穴の位置を検出する手段を備えることを特徴とする付記７に記載の画像処理装置。
（付記９）
前記所定方向は画像における垂直方向である
ことを特徴とする付記２乃至付記８に記載の画像処理装置。
（付記１０）
付記２乃至付記９のいずれか一つに記載の画像処理装置と、
車両の運転者を撮像する撮像装置と
を備え、
前記画像処理装置は、
前記撮像装置が撮像した運転者の顔の画像データに基づいて該運転者の俯仰を検出するように構成してあることを特徴とする画像処理システム。
（付記１１）
コンピュータに、顔の画像データに基づいて顔の向きを検出させるコンピュータプログラムにおいて、
コンピュータに、
画像データから顔画像の所定方向における耳の位置を検出する耳検出ステップと、
画像データから顔画像の所定方向における他の顔部位の位置を検出する顔部位検出ステップと、
検出された耳及び他の顔部位の位置に基づいて顔の俯仰を検出する俯仰検出ステップと
を実行させることを特徴とするコンピュータプログラム。
（付記１２）
コンピュータに、顔の画像データに基づいて顔の向きを検出させるコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体において、
コンピュータに、
画像データから顔画像の所定方向における耳の位置を検出する耳検出ステップと、
画像データから顔画像の所定方向における他の顔部位の位置を検出する顔部位検出ステップと、
検出された耳及び他の顔部位の位置に基づいて顔の俯仰を検出する俯仰検出ステップと
を実行させるコンピュータプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。
【図面の簡単な説明】
【００８９】
【図１】本発明の実施の形態における画像処理システムの構成例を示すブロック図である。
【図２】顔の俯仰検出に係るＣＰＵの処理手順を示すフローチャートである。
【図３】顔領域の検出方法を概念的に示す説明図である。
【図４】耳認識に係るＣＰＵの処理手順を示すフローチャートである。
【図５】検出処理範囲の算出方法を概念的に示す説明図である。
【図６】耳抽出フィルタの係数の一例を示す説明図である。
【図７】耳位置の検出方法を概念的に示す説明図である。
【図８】耳位置検出に係るＣＰＵの処理手順を示すフローチャートである。
【図９】耳位置検出に係るＣＰＵの処理手順を示すフローチャートである。
【図１０】鼻の位置検出方法を概念的に示す説明図である。
【図１１】鼻穴の位置検出方法を概念的に示す説明図である。
【図１２】顔の俯仰検出に係るＣＰＵの処理手順を示すフローチャートである。
【図１３】正面側から見た顔の向きと鼻及び耳の位置との関係を示す模式図である。
【図１４】横方向から見た顔の向きと、鼻及び耳の位置との関係を示す模式図である。
【図１５】変形例における顔の俯仰検出に係るＣＰＵの処理手順を示すフローチャートである。
【符号の説明】
【００９０】
１ 撮像装置
２ 画像処理装置
１１ ＭＰＵ
２１ ＣＰＵ
２３ ＨＤ
３１ コンピュータプログラム
４１ 記録媒体
【特許請求の範囲】
【請求項１】
顔の画像データに基づいて顔の向きを検出する画像処理方法において、
画像データから顔画像の所定方向における耳の位置を検出する耳検出ステップと、
画像データから顔画像の所定方向における他の顔部位の位置を検出する顔部位検出ステップと、
検出された耳及び他の顔部位の位置に基づいて顔の俯仰を検出する俯仰検出ステップと
を有することを特徴とする画像処理方法。
【請求項２】
顔の画像データに基づいて顔の向きを検出する画像処理装置において、
画像データから顔画像の所定方向における耳の位置を検出する耳検出手段と、
画像データから顔画像の所定方向における他の顔部位の位置を検出する顔部位検出手段と、
検出された耳及び他の顔部位の位置に基づいて顔の俯仰を検出する俯仰検出手段と
を備えることを特徴とする画像処理装置。
【請求項３】
前記所定方向に対して斜め方向へ輝度が高い画像領域から輝度が低い画像領域へ変化するエッジを抽出するエッジ抽出フィルタを備え、
前記耳検出手段は、
前記エッジ抽出フィルタによって、耳の輪郭を抽出する抽出手段と、
該抽出手段が抽出した輪郭の形状に基づいて耳朶部分の位置を検出する手段と
を備えることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
時系列順に画像データを取得するように構成してあり、
時系列順の各画像データから前記耳検出手段及び顔部位検出手段が検出した耳及び他の顔部位の位置関係を記憶する手段と、
所定頻度以上の前記位置関係を特定する特定手段と
を備え、
前記俯仰検出手段は、
検出された耳及び顔部位の位置関係、並びに前記特定手段が特定した位置関係を比較して顔の俯仰を検出するように構成してある
ことを特徴とする請求項２又は請求項３に記載の画像処理装置。
【請求項５】
前記顔部位検出手段は顔画像における鼻の位置を検出する手段を備える
ことを特徴とする請求項２乃至請求項４のいずれか一つに記載の画像処理装置。
【請求項６】
請求項２乃至請求項４のいずれか一つに記載の画像処理装置と、
車両の運転者を撮像する撮像装置と
を備え、
前記画像処理装置は、
前記撮像装置が撮像した運転者の顔の画像データに基づいて該運転者の俯仰を検出するように構成してあることを特徴とする画像処理システム。
【請求項７】
コンピュータに、顔の画像データに基づいて顔の向きを検出させるコンピュータプログラムにおいて、
コンピュータに、
画像データから顔画像の所定方向における耳の位置を検出する耳検出ステップと、
画像データから顔画像の所定方向における他の顔部位の位置を検出する顔部位検出ステップと、
検出された耳及び他の顔部位の位置に基づいて顔の俯仰を検出する俯仰検出ステップと
を実行させることを特徴とするコンピュータプログラム。
【請求項１】
顔の画像データに基づいて顔の向きを検出する画像処理方法において、
画像データから顔画像の所定方向における耳の位置を検出する耳検出ステップと、
画像データから顔画像の所定方向における他の顔部位の位置を検出する顔部位検出ステップと、
検出された耳及び他の顔部位の位置に基づいて顔の俯仰を検出する俯仰検出ステップと
を有することを特徴とする画像処理方法。
【請求項２】
顔の画像データに基づいて顔の向きを検出する画像処理装置において、
画像データから顔画像の所定方向における耳の位置を検出する耳検出手段と、
画像データから顔画像の所定方向における他の顔部位の位置を検出する顔部位検出手段と、
検出された耳及び他の顔部位の位置に基づいて顔の俯仰を検出する俯仰検出手段と
を備えることを特徴とする画像処理装置。
【請求項３】
前記所定方向に対して斜め方向へ輝度が高い画像領域から輝度が低い画像領域へ変化するエッジを抽出するエッジ抽出フィルタを備え、
前記耳検出手段は、
前記エッジ抽出フィルタによって、耳の輪郭を抽出する抽出手段と、
該抽出手段が抽出した輪郭の形状に基づいて耳朶部分の位置を検出する手段と
を備えることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
時系列順に画像データを取得するように構成してあり、
時系列順の各画像データから前記耳検出手段及び顔部位検出手段が検出した耳及び他の顔部位の位置関係を記憶する手段と、
所定頻度以上の前記位置関係を特定する特定手段と
を備え、
前記俯仰検出手段は、
検出された耳及び顔部位の位置関係、並びに前記特定手段が特定した位置関係を比較して顔の俯仰を検出するように構成してある
ことを特徴とする請求項２又は請求項３に記載の画像処理装置。
【請求項５】
前記顔部位検出手段は顔画像における鼻の位置を検出する手段を備える
ことを特徴とする請求項２乃至請求項４のいずれか一つに記載の画像処理装置。
【請求項６】
請求項２乃至請求項４のいずれか一つに記載の画像処理装置と、
車両の運転者を撮像する撮像装置と
を備え、
前記画像処理装置は、
前記撮像装置が撮像した運転者の顔の画像データに基づいて該運転者の俯仰を検出するように構成してあることを特徴とする画像処理システム。
【請求項７】
コンピュータに、顔の画像データに基づいて顔の向きを検出させるコンピュータプログラムにおいて、
コンピュータに、
画像データから顔画像の所定方向における耳の位置を検出する耳検出ステップと、
画像データから顔画像の所定方向における他の顔部位の位置を検出する顔部位検出ステップと、
検出された耳及び他の顔部位の位置に基づいて顔の俯仰を検出する俯仰検出ステップと
を実行させることを特徴とするコンピュータプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２００８−２５７５７４（Ｐ２００８−２５７５７４Ａ）
【公開日】平成２０年１０月２３日（２００８．１０．２３）
【国際特許分類】
【出願番号】特願２００７−１００６３３（Ｐ２００７−１００６３３）
【出願日】平成１９年４月６日（２００７．４．６）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
【公開日】平成２０年１０月２３日（２００８．１０．２３）
【国際特許分類】
【出願日】平成１９年４月６日（２００７．４．６）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
[ Back to top ]