顔撮影システム
【課題】ユーザの顔を撮影する撮影手段の取り付け方向が適正か否かを容易に判断できる顔撮影システムを提供すること。
【解決手段】顔撮影システムは、ユーザの顔を撮影できる位置に取り付けられ、取り付け方向に報じた撮影範囲を撮影する撮影手段としてのカメラ装置と、そのカメラ装置の取り付け方向が適正か否かを判定する制御部とを備える。その制御部は、カメラ装置が撮影した撮影画像を取得する（Ｓ１０）。その撮影画像からユーザの顔に対応する顔領域を検出する（Ｓ２０）。検出した顔領域の中心座標を検出する（Ｓ３０）。その中心座標が、カメラ装置の取り付け方向が適正とされる範囲として撮影画像中に予め定められた適正範囲に含まれているか否かを判定する（Ｓ４０）。その判定結果を報知する（Ｓ５０）。
【解決手段】顔撮影システムは、ユーザの顔を撮影できる位置に取り付けられ、取り付け方向に報じた撮影範囲を撮影する撮影手段としてのカメラ装置と、そのカメラ装置の取り付け方向が適正か否かを判定する制御部とを備える。その制御部は、カメラ装置が撮影した撮影画像を取得する（Ｓ１０）。その撮影画像からユーザの顔に対応する顔領域を検出する（Ｓ２０）。検出した顔領域の中心座標を検出する（Ｓ３０）。その中心座標が、カメラ装置の取り付け方向が適正とされる範囲として撮影画像中に予め定められた適正範囲に含まれているか否かを判定する（Ｓ４０）。その判定結果を報知する（Ｓ５０）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば車両の運転者の瞬きや顔向きを検出するために適用され、ユーザの顔を撮影する顔撮影システムに関する。
【背景技術】
【０００２】
従来、車両の運転者などのユーザの顔をカメラ（撮影手段）で撮影し、その撮影画像に基づいてユーザの瞬きや顔向きを検出するシステムが知られている。そのシステムにおいては、ユーザの顔がカメラの撮影画角内（撮影範囲内）に収まるように、すなわちユーザの顔の位置に対してカメラの撮影範囲が適正となるようにそのカメラの取り付け方向が調整されている必要がある。車両に標準装備される場合など、カメラの取り付け方向が適切になるように考慮された取り付け構造が予め車両に用意されている場合には特段の調整は必要ないが、アフターマーケット品など任意の場所に取り付けが可能な場合においては、カメラを取り付ける際にカメラの取り付け方向を調整する必要がある。
【０００３】
カメラの取り付け方向の調整方法に関して、特許文献１には、カメラが有するレンズの光軸をユーザの眼球又は瞼付近の位置に一致させる作業を容易にできるカメラが開示されている。具体的には、特許文献１のカメラの筐体には、レンズの光軸に対して平行な中心軸を有する貫通孔が開けられている。これによれば、ユーザは、その貫通孔の向こう側の景色が見通せるようにカメラの位置（取り付け方向）を調整することにより、光軸を運転者自身の眼球又は瞼付近の位置に一致させることができるようにしたものである。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−２４０８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、ユーザの顔の位置は一定の範囲内で変化する場合がある。特に、トラックやバスなどの大型車ではハンドルが大きいので、その運転者は、ハンドルを回す際に手の動きにともなって顔も動かす場合がある。このような場合、当初、ユーザの顔がカメラの撮影範囲のぎりぎりの位置に収まっていたとしても、その後に撮影範囲から外れてしまうことも起こり得る。このように、ユーザの顔の位置が変化したとしてもカメラの撮影範囲内に収まるように、ユーザの顔の位置変化を、実際の運転姿勢を考慮してカメラの取り付け方向を調整する必要がある。
【０００６】
この点、特許文献１の方法では、ユーザは、カメラの筐体に形成された貫通孔に視線を向けながらカメラの取り付け方向を調整しなければいけないので、実際のシステム使用時のユーザの運転姿勢とは異なる姿勢でカメラの取り付け方向を調整することとなる。そのため、実際のシステム使用時のユーザの顔の位置とは異なる位置を基準としてカメラの取り付け方向が調整されてしまい、実際の使用時にはユーザの顔が撮影範囲から外れてしまうことが起こり得る。
【０００７】
本発明は上記事情に鑑みてなされたものであり、ユーザの顔を撮影する撮影手段の取り付け方向が適正か否かを容易に判断できる顔撮影システムを提供することを課題とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明の顔撮影システムは、ユーザの顔を撮影できる位置に取り付けられ、取り付け方向に応じた撮影範囲を撮影する撮影手段と、
その撮影手段が撮影した撮影画像から、前記ユーザの顔に対応する顔領域を検出する顔領域検出手段と、
前記撮影画像に対する前記顔領域検出手段が検出した前記顔領域の位置に基づいて、前記撮影手段の取り付け方向が適正か否かを判定する適否判定手段と、
その適否判定手段が前記取り付け方向が適正ではないと判定した場合に、前記取り付け方向が適正ではないことを報知する報知手段と、を備えることを特徴とする。
【０００９】
これによれば、顔領域検出手段が、撮影手段が撮影した撮影画像から顔領域を検出するので、ユーザにカメラ位置に視線を向けるなどの特別な動作を要求することなく、実際の運転姿勢をとった状態で得られる撮影画像に対して顔領域がどの位置にあるのかを把握できる。よって、適否判定手段は、撮影画像に対する顔領域の位置に基づいて、撮影手段の取り付け方向が適正か否かを判断できる。そして、取り付け方向が適正ではない場合には、報知手段が適正でないことを報知するので、実際の使用状態において取り付け方向が適正か否かを容易に判断できる。
【００１０】
また、本発明における適否判定手段は、前記撮影画像に対する前記顔領域の位置が適正とされる範囲として予め定められた前記撮影画像中の適正範囲に前記顔領域が含まれているか否かを判定することで、前記撮影手段の取り付け方向が適正か否かを判定するものであることを特徴とする。
【００１１】
これによれば、撮影画像中に、撮影画像に対する顔領域の位置が適正とされる適正範囲が予め定められる。撮影画像は撮影手段の取り付け方向に対応し、顔領域はユーザの顔に対応するものなので、適否判定手段が適正範囲に顔領域が含まれているか否かを判定することで、ユーザの顔の位置に対して撮影手段の取り付け方向が適正か否かを判定できる。
【００１２】
また、本発明における適否判定手段は、前記顔領域の特定の基準点が前記適正範囲に含まれているか否かを判定するものであることを特徴とする。
【００１３】
これによれば、適否判定手段が顔領域の特定の基準点が適正範囲に含まれているか否かを判定しているので、顔領域の全部の点が適正範囲に含まれているか否かを判定する場合に比べて、顔領域の位置が適正か否かを簡易に判定できる。
【００１４】
また、本発明における適否判定手段は、前記基準点として前記顔領域の中心点が前記適正範囲に含まれているか否かを判定するものであることを特徴とする。
【００１５】
これによれば、顔領域の中心点は顔領域の形状を考慮して決定できる点であるので、適否判定手段がその中心点が適正範囲に含まれているか否かを判定することで、顔領域の位置が適正か否かを精度良く判定できる。
【００１６】
また、本発明における前記顔領域検出手段は、前記顔領域として四角形状の領域を検出するものであり、
前記適否判定手段は、前記基準点として四角形状の前記顔領域の四隅の点が前記適正範囲に含まれているか否かを判定するものであることを特徴とする。
【００１７】
これによれば、四角形状の顔領域の四隅の点は、顔領域の大きさが反映された点であるので、適否判定手段がそれら四隅の点が適正範囲に含まれているか否かを判定することで、顔領域の位置が適正か否かを精度良く判定できる。
【００１８】
また、本発明における前記報知手段は、前記顔領域が前記適正範囲に含まれていない場合に、前記適正範囲に対する前記顔領域の位置を報知することを特徴とする。
【００１９】
これによれば、顔領域が適正範囲に含まれていない場合には、報知手段が適正範囲に対する顔領域の位置を報知するので、撮影手段の取り付け方向を適正な方向に調整しやすくできる。
【００２０】
また、本発明における撮影手段は、前記撮影手段の取り付け方向を可変とさせる方向可変機構を含むことを特徴とする。
【００２１】
これによれば、撮影手段には方向可変機構が含まれているので、報知手段による報知に基づいて撮影手段の取り付け方向を変更できる。このように、方向可変機構を含む撮影手段の取り付け方向の調整に、本発明を適用すると好適である。
【図面の簡単な説明】
【００２２】
【図１】顔撮影システムの概略構成を説明する図である。
【図２】カメラ装置２０の本体部２１の前面２１ａを示した図である。
【図３】運転者の顔向きを検出する顔向き検出処理の手順を示したフローチャートである。
【図４】図３の各ステップにおける撮影画像等に対する処理を説明する図である。
【図５】カメラ装置２０の取り付け方向の適否を判定する適否判定処理の手順を示したフローチャートである。
【図６】図５の各ステップにおける撮影画像に対する処理を説明する図である。
【図７】撮影画像中に設定される適正範囲の変形例を示した図である。
【発明を実施するための形態】
【００２３】
以下、本発明に係る顔撮影システムの実施形態を説明する。図１は、本実施形態の顔撮影システムの概略構成を説明する図である。具体的には、図１（ａ）は顔撮影システムが搭載されたトラック１００の車室を横から見た図を示している。また、図１（ｂ）は、図１（ａ）のカメラ装置２０の撮影範囲７０を上から見た図を示している。本実施形態の顔撮影システムは、大型車両であるトラック１００の車室に搭載され、そのトラック１００の運転者の顔向きや瞬きを検出するための、その運転者の顔ｆを撮影するシステムとされる。なお、そのトラック１００の車室には、運転者が着座する運転席１０１が設けられ、その運転席１０１の前方にはハンドル２０１やダッシュボード１０２が設けられている。顔撮影システムは、図１に示すように、制御部１０及びカメラ装置２０を備えている。
【００２４】
カメラ装置２０は、運転者の顔ｆを撮影するものであり、運転席１０１前方のダッシュボード１０２上に取り付けられている。また、カメラ装置２０の取り付け方向（カメラ装置２０の撮影方向）は、運転者の顔ｆを撮影できる方向（運転席１０１のヘッドレスト辺りの方向）に調整されている。本実施形態では、カメラ装置２０は、アフターマーケット品など任意の場所に取り付け可能なものとされている。
【００２５】
そのカメラ装置２０は、本体部２１及び支持部２３を備えている。支持部２３は本体部２１を支持する部分とされ、支持部２３の下部がダッシュボード１０２上に粘着シール等で固定されている。本体部２１は、ＣＣＤイメージセンサ等の撮像素子（図示外）が内蔵されるとともに、前面２１ａにレンズ２２が設けられる形で構成されている。すなわち、本体部２１は、レンズ２２によって結像された被写体（この場合は運転者の顔ｆ）の像が撮像素子によって画像データに変換される部分とされる。本体部２１による撮影画角は予め定められており、具体的には、上下方向の撮影画角（図１（ａ）の方向から見たときの撮影画角）が「θ１」、左右方向（図１（ｂ）の方向から見たときの撮影画角）が「θ２」とされている。そのため、本体部２１は、本体部２１（カメラ装置２０）の取り付け方向を基準として、上下方向の撮影画角θ１及び左右方向の撮影画角θ２で定まる撮影範囲７０（図１参照）を撮影する。
【００２６】
本体部２１と支持部２３の間には、本体部２１の取り付け方向（撮影方向）を上下左右に可変とさせる方向可変機構２４（図１（ａ）参照）が設けられている。つまり、本体部２１は、上下方向Ｄ１（図１（ａ）参照）及び左右方向Ｄ２（図１（ｂ）参照）に手動で向きが変えられるようになっている。その方向可変機構２４として、ポータブルナビ等で採用されている、取り付け方向を変えることができる公知の取り付け部と同様の機構を採用することができる。このように、方向可変機構２４によって本体部２１の取り付け方向を調整することが可能とされており、これによって、本体部２１による撮影範囲７０は取り付け方向に応じて変化されることになる。
【００２７】
図２は、本体部２１を前から見た図であり、すなわち本体部２１の前面２１ａを示している。図２に示すように、本体部２１の前面２１ａにはＬＥＤ２５が設けられている。そのＬＥＤ２５は、例えばＲＧＢそれぞれの光量を調整して、複数の色の光を発することができるＬＥＤとされる。
【００２８】
なお、カメラ装置２０は、被写体（この場合は運転者の顔ｆ）に近赤外光を照射する近赤外ＬＥＤ（図示外）及び外部からの光のうち可視光を遮断する可視光カットフィルタ（図示外）を含んでいる。そのため、夜などの周囲が暗い場合でもカメラ装置２０で撮影可能とされ、また、カメラ装置２０で撮影された撮影画像は白黒画像とされる。
【００２９】
制御部１０は、ＣＰＵ、ＲＯＭ、ＲＡＭ等から構成され、ＣＰＵがＲＯＭに記憶された制御プログラムにしたがった処理を実行することで、運転者の顔向きや瞬きを検出する顔向き検出処理や、カメラ装置２０の取り付け方向が適正か否かを判定する適否判定処理を実行するものである。その制御部１０は、カメラ装置２０と電気的に接続されており、カメラ装置２０で撮影した撮影画像に基づいて、上記の顔向き検出処理や適否判定処理を実行している。なお、図１では、ダッシュボード１０２の位置に制御部１０を図示しているが、その制御部１０はトラック１００のどの位置に設けられていたとしてもよい。また、制御部１０は、カメラ装置２０内に設けられたとしてもよい。
【００３０】
制御部１０が実行する適否判定処理が本発明の特徴部分であるが、顔向き検出処理についても以下に簡単に説明する。ここで、図３は、制御部１０が実行する運転者の顔向きを検出する顔向き検出処理の手順を示したフローチャートを示している。また、図４は、図３の各ステップにおける撮影画像等に対する処理を説明する図である。なお、図３の顔向き検出処理は、例えばトラック１００のエンジン始動にともなって開始される。先ず、カメラ装置２０で撮影された撮影画像を取得する（Ｓ１０１）。図４（ａ）は、Ｓ１０１で取得した撮影画像４０１を例示した図である。図４（ａ）に示すように、撮影画像４０１は、運転者の顔ｆに対応する顔領域４１０及びそれ以外の背景領域４０２から構成される。以下、その撮影画像４０１を処理の対象として説明する。
【００３１】
次いで、その撮影画像４０１の輝度に基づいて、撮影画像４０１に含まれる顔領域４１０の位置を大雑把に検出する（Ｓ１０２）。図４（ｂ）は、撮影画像４０１の縦の画素列の輝度和の変化を示したライン４０３を示している。なお、図４（ｂ）では、図４（ａ）の撮影画像４０１の各画素列の位置に対応させて輝度和のライン４０３を示している。ライン４０３が示すように、一般的に、顔領域４１０の輝度和は、背景領域４０２の輝度和に比べて大きくされている。よって、そのライン４０３の輝度和変化を見ることで、撮影画像４０１に対する顔領域４１０の左右方向の位置を大雑把に把握できる。このＳ１０２では、撮影画像４０１の縦の画素列の輝度和に加えて、横の画素列の輝度和に基づいて、顔領域４１０の撮影画像４０１に対する左右方向及び上下方向の大雑把の位置を検出する。
【００３２】
次いで、撮影画像４０１から、顔を構成する眼や鼻などの顔部品に対応する領域を検出する（Ｓ１０３）。図４（ｃ）は、撮影画像４０１を示しており、その撮影画像４０１の顔領域４１０には、左眼に対応する左眼領域４１１、右眼に対応する右眼領域４１２、鼻に対応する鼻領域４１３など、顔部品に対応する領域が含まれている。それら各領域４１１〜４１３は、各部品に応じた画像特徴量（エッジ情報、輝度情報）を有している。そこで、Ｓ１０３では、撮影画像４０１に含まれる各画像特徴量を予め用意された顔部品のテンプレートと比較（マッチング）することで、顔を構成する各部品の領域を検出している。
【００３３】
次いで、Ｓ１０２で検出された顔領域４１０の大雑把な位置とＳ１０３で検出された各顔部品とに基づいて、最終的な顔領域４１０の位置を検出する（Ｓ１０４）。この際、Ｓ１０２やＳ１０３では、顔領域４１０の候補となる複数の領域や顔部品の候補となる複数の領域を検出してしまう可能性があるので、検出した顔部品の並び順（眼の下に鼻があり、鼻の下に口があるなど）を考慮して、真の顔部品に絞っていく。また、顔の傾きによって、顔の輪郭や顔部品の形状が変わってくるので、その顔の傾きによる形状変化を考慮して、検出した顔部品に対して適宜補正を加える。図４（ｄ）は、Ｓ１０４による検出結果を示しており、具体的には、撮影画像４０１のうちの領域４２０が顔領域として検出されたことを示している。このように、Ｓ１０２〜Ｓ１０４の処理を実行することで、実際の顔領域４１０と一致した顔領域４２０を検出できる。なお、本実施形態では、四角形状の顔領域４２０を検出している。
【００３４】
次いで、撮影画像４０１に含まれる眼領域の上下瞼の距離などから、運転者の眼の開度（瞬き）を検出する（Ｓ１０５）。次いで、Ｓ１０２〜Ｓ１０４で検出した顔領域４２０に含まれる顔部品の対称性などから、運転者の顔向きを検出する（Ｓ１０６）。次いで、Ｓ１０５で検出した瞬きやＳ１０６で検出した顔向きの情報を出力して（Ｓ１０７）、その出力結果に応じた処理（よそ見をしている場合には警告をするなど）を適宜実行する。次いで、例えばエンジンが停止されたか否かに基づいて、この顔向き検出処理を終了するか否かを判定する（Ｓ１０８）。エンジンが動いている間は（Ｓ１０８：Ｎｏ）は上記の処理（Ｓ１０１〜Ｓ１０７）が繰り返し実行され、エンジンが停止された場合に（Ｓ１０８：Ｙｅｓ）、図３のフローチャートの処理が終了される。
【００３５】
このように、制御部１０は、運転者の瞬きや顔向きを検出して、必要に応じて警告をしたりするが、その前提として、カメラ装置２０で運転者の顔ｆを撮影することが必要となる。一方、当初はカメラ装置２０で運転者の顔ｆを撮影できていたとしても、運転中に運転者の顔ｆが動いた際に、カメラ装置２０の撮影範囲７０（図１参照）から運転者の顔ｆが外れてしまう場合がある。つまり、運転中に継続して顔ｆを検出することを考えると、ただ単に撮影範囲７０に運転者の顔ｆが含まれていればいいというわけではない。具体的には、撮影範囲７０のうち顔領域の検出に適した特定の範囲７１（図１参照）に顔ｆが位置するように、カメラ装置２０の取り付け方向を調整する必要がある。そこで、制御部１０は、上述したようにカメラ装置２０の取り付け方向が適正か否かを判定する適否判定処理を実行している。以下、その適否判定処理の詳細を説明する。
【００３６】
ここで、図５は、制御部１０が実行する適否判定処理の手順を示したフローチャートである。また、図６は、図５の各ステップにおける撮影画像に対する処理を説明する図である。なお、図５のフローチャートの処理は、例えば、トラック１００のエンジン始動にともなって開始され、又は、所定の開始スイッチ（図示外）が操作されたことに基づいて開始され、又はエンジン稼働中に定期的に開始される。
【００３７】
先ず、カメラ装置２０で撮影された撮影画像を取得する（Ｓ１０）。図６（ａ）は、Ｓ１０で取得した撮影画像３０１を例示した図である。図６（ａ）に示すように、撮影画像３０１には運転者の顔ｆに対応する顔領域３１０が含まれている。また、撮影画像３０１の大きさは、カメラ装置２０の撮影範囲７０に基づいて定められ、より具体的には、撮影画像３０１の横幅ａ１は、カメラ装置２０の左右方向の撮影画角θ２（図１（ｂ）参照）に基づいて定められ、縦幅ｂ１は、カメラ装置２０の上下方向の撮影画角θ１（図１（ａ）参照）に基づいて定められる。以下、その撮影画像３０１を処理の対象として説明する。
【００３８】
次いで、撮影画像３０１に含まれる顔領域３１０を検出する（Ｓ２０）。具体的には、先に説明した図３のフローチャートの処理のうちのＳ１０２〜Ｓ１０４の処理を実行して、顔領域３１０を検出する。なお、このＳ２０では、顔部品の詳細な位置までは必要としていないので、Ｓ１０２の処理のみを実行してもよい。図６（ｂ）は、Ｓ２０による検出結果を示しており、具体的には、撮影画像３０１のうちの領域３２０が顔領域として検出されたことを示している。図６（ｂ）に示すように、この場合は、検出した顔領域３２０と実際の顔領域３１０とが一致しているものとする。また、検出した顔領域３２０は四角形状とされている。なお、Ｓ２０における顔領域の検出方法は、Ｓ１０２〜Ｓ１０４の方法に限定されるものでなく、どのような手法で顔領域を検出してもよい。
【００３９】
次いで、検出した顔領域３２０の中心座標（中心点）を検出する（Ｓ３０）。具体的には例えば、図６（ｃ）に示すように、顔領域３２０の横幅の中心を通る中心線３２０ａと縦幅の中心を通る中心線３２０ｂの交点３２１を、顔領域３２０の中心座標として検出する。
【００４０】
次いで、顔領域３２０の中心座標３２１が撮影画像３０１の適正な位置にあるか否かを判定することで、カメラ装置２０の取り付け方向が適正か否かを判定する（Ｓ４０）。具体的には、図６（ｄ）に示すように、撮影画像３０１の中心３５１付近の一定の範囲３５０を、顔領域３２０の中心座標３２１の位置が適正とされる適正範囲として、予め定めておく。より具体的には、例えば、撮影画像３０１の中心３５１を中心とした、撮影画像３０１の横幅ａ１の半分（５０％）の横幅ａ２、撮影画像３０１の縦幅ｂ１の半分（５０％）の縦幅ｂ２を有する適正範囲３５０を予め定める。なお、適正範囲３５０は、図１に示す撮影範囲７０のうち顔領域の検出に適した特定の範囲７１に対応する範囲とされる。そして、顔領域３２０の中心座標３２１がその適正範囲３５０に含まれているか否かを判定する。そして、中心座標３２１が適正範囲３５０に含まれている場合にはカメラ装置２０の取り付け方向が適正であると判定し、含まれていない場合にはカメラ装置２０の取り付け方向が適正ではないと判定する。
【００４１】
次いで、Ｓ４０の判定結果を、カメラ装置２０に設けられたＬＥＤ２５（図２参照）で報知する（Ｓ５０）。具体的には、例えば、カメラ装置２０の取り付け方向が適正である場合にはＬＥＤ２５を青色に光らせ、適正でない場合にはＬＥＤ２５を赤色で光らせるなど、ＬＥＤ２５の発光色を変えることで適正か否かを報知する。加えて、顔領域３２０の中心座標３２１が適正範囲３５０に含まれていない場合には、その中心座標３２１が適正範囲３５０に対してどの位置で外れているのかも報知する。具体的には、例えば、中心座標３２１の位置（顔領域３２０の位置）ごとにＬＥＤ２５の点滅パターンを予め定めておく。そして、ＬＥＤ２５の点滅パターンを変えることで、中心座標３２１の位置（顔領域３２０の位置）を報知する。その点滅パターンとして、例えば、適正範囲３５０に対して中心座標３２１が右側に外れている場合には短い点滅周期の点滅パターンとし、左側に外れている場合には長い点滅周期の点滅パターンとする。
【００４２】
また、ＬＥＤ２５の点滅パターンに代えて、又はＬＥＤ２５の点滅パターンに加えて、ＬＥＤ２５の発光色を変えることで、中心座標３２１の位置（顔領域３２０の位置）を報知してもよい。具体的には、例えば、適正範囲３５０に対して中心座標３２１が右側に外れている場合には「赤色」でＬＥＤ２５を発光させ、左側に外れている場合には「緑色」でＬＥＤ２５を発光させ、上側に外れている場合には「黄色」でＬＥＤ２５を発光させ、下側に外れている場合には「紫色」でＬＥＤ２５を発光させる。また、例えば、適正範囲３５０に対して中心座標３２１が右側に外れている場合には「緑色で点滅周期が短い点滅パターン」でＬＥＤ２５を発光させ、左側に外れている場合には「緑色で点滅周期が長い点滅パターン」でＬＥＤ２５を発光させ、上側に外れている場合には「赤色で点滅周期が短い点滅パターン」で発光させ、下側に外れている場合には「赤色で点滅周期が長い点滅パターン」で発光させるとしてもよい。
【００４３】
又は、モールス信号のように、一回の報知で、長短の点灯を複雑に組み合わせた点滅パターンでＬＥＤ２５を発光させてもよい。この場合、中心座標３２１の位置に応じた複数の点滅パターンを予め決めておく。
【００４４】
これによって、ユーザは、カメラ装置２０の取り付け方向が適正か否かを容易に判断でき、適正でない場合には、カメラ装置２０（本体部２１）の取り付け方向をどのように変更すれば適正になるのかも容易に判断できる。Ｓ５０の処理の後、図５のフローチャートの処理を終了する。
【００４５】
以上説明したように、本実施形態では、カメラ装置２０の取り付け方向を容易に適正に調整できるとともに、一つのＬＥＤ２５で上記の報知を行っているので、システムの構成を簡素にできる。なお、本発明に係る顔撮影システムは上記実施形態に限定されるものではなく、特許請求の範囲の記載を逸脱しない限度で種々変形することができる。以下、変形例について説明する。
【００４６】
（変形例１）
上記実施形態では、図５のＳ３０、Ｓ４０において、顔領域の中心座標が撮影画像中の適正範囲に含まれているか否かを判定することで、カメラ装置２０の取り付け方向が適正か否かを判定していたが、中心座標に代えて、他の基準点が適正範囲に含まれているか否かを判定してもよい。具体的には、例えば、四角形状の顔領域の四隅の点が適正範囲に含まれているか否かを判定してもよい。この場合、図５のＳ３０では、図６（ｃ）に示すように、顔領域３２０の四隅の点３２２ａ〜３２２ｄを検出する。そして、Ｓ４０では、それら四隅の点３２２ａ〜３２２ｄが適正範囲３５０（図６（ｄ）参照）に含まれているか否かを判定する。それら四隅の点３２２ａ〜３２２ｄは、顔領域３２０の大きさが反映された点であるので、顔領域３２０全体が適正範囲３５０に含まれているか否かを判定できる。よって、カメラ装置２０の取り付け方向が適正か否かを精度良く判定できる。
【００４７】
（変形例２）
上記実施形態では、撮影画像に対する顔領域の位置が適正とされる適正範囲として、撮影画像の中心を中心とした撮影画像の５０％の大きさの適正範囲を定めていたが（図６（ｄ）参照）、これに限られるものではない。ここで、図７は、適正範囲の変形例を示した図である。すなわち、図７（ａ）に示すように、適正の程度が異なる複数の適正範囲を設定してもよい。図７（ａ）では、顔領域の位置が一応適正とみなせる範囲である第一の適正範囲５５１と、その第一の適正範囲５５１内に設定された、より一層適正とみなせる範囲である第二の適正範囲５５２を示している。そして、図５のＳ５０では、顔領域が適正範囲５５１、５５２に含まれている場合に、含まれている適正範囲５５１、５５２に応じた報知を行うようにする。例えば、顔領域が第一の適正範囲５５１に含まれている場合には、一応適正であるが事後的に適正でなくなる可能性があることを示した報知（警告）として、例えばＬＥＤ２５を黄色に発光させる。他方、顔領域が第二の適正範囲５５２に含まれている場合には、カメラ装置２０の取り付け方向が適正であり調整する必要がないことを示した報知として、例えばＬＥＤ２５を青色で発光させる。これによって、ユーザは、ＬＥＤ２５が黄色に発光された場合にはカメラ装置２０の取り付け方向を必要に応じて調整する必要があることを把握でき、ＬＥＤ２５が青色に発光された場合にはカメラ装置２０の取り付け方向を調整する必要がないことを把握できる。
【００４８】
また、図７（ｂ）に示すように、適正範囲を撮影画像の中心付近に設定しなくてもよく、運転中における予想される顔の動きに応じた位置に適正範囲を設定してもよい。図７（ｂ）では、適正範囲５５３の中心５５３ａが撮影画像５０１の中心５０１ａよりも下側に位置し、適正範囲５５３が撮影画像５０１の下辺りに設定された例を示している。例えばエアクッションの運転席を採用いている場合には、運転中に運転者が上方向に跳ねることが予想されるので、図７（ｂ）のように撮影画像の下辺りに適正範囲を設定するのが好適である。
【００４９】
また、適正範囲の形状は、上記実施形態のように四角形状に限定されるものではなく、例えば円状の適正範囲を設定してもよい。さらに、適正範囲の大きさも上記実施形態のように撮影画像の５０％の大きさに限定されるものではなく、例えば、適正範囲を撮影画像の３０％の大きさにして厳しめに適否を判定しても、逆に、適正範囲を撮影画像の７０％の大きさにして甘めに適否を判定してもよい。
【００５０】
（変形例３）
上記実施形態では、カメラ装置２０の取り付け方向の適否の報知を、一つのＬＥＤ２５の発光で行っていたが、当然これに限定されるものではない。例えば、カメラ装置２０に複数のＬＥＤを設けて、それら複数のＬＥＤを利用して適否の報知をしてもよい。例えば、適正であることを報知するためのＬＥＤと、適正ではないことを報知するためのＬＥＤとを設けてもよい。
【００５１】
また、例えば、顔領域の位置が適正ではない場合であって、その顔領域の位置に応じた複数のＬＥＤを設けてもよい。例えば、顔領域が右側に外れていることを報知するためのＬＥＤ、左側に外れていることを報知するためのＬＥＤ、上側に外れていることを報知するためのＬＥＤ、及び下側に外れていることを報知するためのＬＥＤを設けてもよい。これによって、より一層、カメラ装置２０の取り付け方向を調整しやすくできる。
【００５２】
また、ＬＥＤに代えて、文字や図形を表示する液晶ディスプレイなどのディスプレイや、音を発するスピーカを利用して、報知を行ってもよい。この場合、車載ナビゲーション装置などの他の車載装置のディスプレイやスピーカを利用して報知を行ってもよい。これによって、システムの構成を簡素に維持しつつ、より一層、カメラ装置２０の取り付け方向を調整しやすくできる。
【００５３】
（変形例４）
上記実施形態では、運転者の顔向きを検出するシステムの制御部１０（図１参照）が、カメラ装置２０の取り付け方向の適否判定処理を実行していたが、専用の診断ツールを用意し、その診断ツールが適否判定処理を実行するようにしてもよい。特にディーラ等でカメラ装置２０を後付けするときに、カメラ装置２０の取り付け方向を調整する必要があることから、ディーラ等に、適否判定処理を実行する診断ツールを用意しておく。そして、その診断ツールが例えばカメラ装置２０に接続されたときに、診断ツールが図５の適否判定処理を実行するようにする。この場合、適否の報知を診断ツールに設けられた表示部で行うようにする。これによって、車両におけるシステムの構成を簡素にできる。
【００５４】
なお、上記実施形態において、カメラ装置２０が本発明の「撮影手段」に相当する。図５のＳ１０及びＳ２０の処理を実行する制御部１０が本発明の「顔領域検出手段」に相当する。図５のＳ３０及びＳ４０の処理を実行する制御部１０が本発明の「適否判定手段」に相当する。図５のＳ５０の処理を実行する制御部１０及びＬＥＤ２５が本発明の「報知手段」に相当する。
【符号の説明】
【００５５】
１０ 制御部
２０ カメラ装置
２１ 本体部
２２ レンズ
２３ 支持部
２４ 方向可変機構
２５ ＬＥＤ
７０ 撮影範囲
１００ トラック
３０１、５０１ 撮影画像
３１０ 実際の顔領域
３２０ 検出した顔領域
３２１ 顔領域の中心座標
３２２ａ〜３２２ｄ 顔領域の四隅の点
３５０、５５１、５５２ 適正範囲
３５１、５５３ａ 適正範囲の中心
【技術分野】
【０００１】
本発明は、例えば車両の運転者の瞬きや顔向きを検出するために適用され、ユーザの顔を撮影する顔撮影システムに関する。
【背景技術】
【０００２】
従来、車両の運転者などのユーザの顔をカメラ（撮影手段）で撮影し、その撮影画像に基づいてユーザの瞬きや顔向きを検出するシステムが知られている。そのシステムにおいては、ユーザの顔がカメラの撮影画角内（撮影範囲内）に収まるように、すなわちユーザの顔の位置に対してカメラの撮影範囲が適正となるようにそのカメラの取り付け方向が調整されている必要がある。車両に標準装備される場合など、カメラの取り付け方向が適切になるように考慮された取り付け構造が予め車両に用意されている場合には特段の調整は必要ないが、アフターマーケット品など任意の場所に取り付けが可能な場合においては、カメラを取り付ける際にカメラの取り付け方向を調整する必要がある。
【０００３】
カメラの取り付け方向の調整方法に関して、特許文献１には、カメラが有するレンズの光軸をユーザの眼球又は瞼付近の位置に一致させる作業を容易にできるカメラが開示されている。具体的には、特許文献１のカメラの筐体には、レンズの光軸に対して平行な中心軸を有する貫通孔が開けられている。これによれば、ユーザは、その貫通孔の向こう側の景色が見通せるようにカメラの位置（取り付け方向）を調整することにより、光軸を運転者自身の眼球又は瞼付近の位置に一致させることができるようにしたものである。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−２４０８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、ユーザの顔の位置は一定の範囲内で変化する場合がある。特に、トラックやバスなどの大型車ではハンドルが大きいので、その運転者は、ハンドルを回す際に手の動きにともなって顔も動かす場合がある。このような場合、当初、ユーザの顔がカメラの撮影範囲のぎりぎりの位置に収まっていたとしても、その後に撮影範囲から外れてしまうことも起こり得る。このように、ユーザの顔の位置が変化したとしてもカメラの撮影範囲内に収まるように、ユーザの顔の位置変化を、実際の運転姿勢を考慮してカメラの取り付け方向を調整する必要がある。
【０００６】
この点、特許文献１の方法では、ユーザは、カメラの筐体に形成された貫通孔に視線を向けながらカメラの取り付け方向を調整しなければいけないので、実際のシステム使用時のユーザの運転姿勢とは異なる姿勢でカメラの取り付け方向を調整することとなる。そのため、実際のシステム使用時のユーザの顔の位置とは異なる位置を基準としてカメラの取り付け方向が調整されてしまい、実際の使用時にはユーザの顔が撮影範囲から外れてしまうことが起こり得る。
【０００７】
本発明は上記事情に鑑みてなされたものであり、ユーザの顔を撮影する撮影手段の取り付け方向が適正か否かを容易に判断できる顔撮影システムを提供することを課題とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明の顔撮影システムは、ユーザの顔を撮影できる位置に取り付けられ、取り付け方向に応じた撮影範囲を撮影する撮影手段と、
その撮影手段が撮影した撮影画像から、前記ユーザの顔に対応する顔領域を検出する顔領域検出手段と、
前記撮影画像に対する前記顔領域検出手段が検出した前記顔領域の位置に基づいて、前記撮影手段の取り付け方向が適正か否かを判定する適否判定手段と、
その適否判定手段が前記取り付け方向が適正ではないと判定した場合に、前記取り付け方向が適正ではないことを報知する報知手段と、を備えることを特徴とする。
【０００９】
これによれば、顔領域検出手段が、撮影手段が撮影した撮影画像から顔領域を検出するので、ユーザにカメラ位置に視線を向けるなどの特別な動作を要求することなく、実際の運転姿勢をとった状態で得られる撮影画像に対して顔領域がどの位置にあるのかを把握できる。よって、適否判定手段は、撮影画像に対する顔領域の位置に基づいて、撮影手段の取り付け方向が適正か否かを判断できる。そして、取り付け方向が適正ではない場合には、報知手段が適正でないことを報知するので、実際の使用状態において取り付け方向が適正か否かを容易に判断できる。
【００１０】
また、本発明における適否判定手段は、前記撮影画像に対する前記顔領域の位置が適正とされる範囲として予め定められた前記撮影画像中の適正範囲に前記顔領域が含まれているか否かを判定することで、前記撮影手段の取り付け方向が適正か否かを判定するものであることを特徴とする。
【００１１】
これによれば、撮影画像中に、撮影画像に対する顔領域の位置が適正とされる適正範囲が予め定められる。撮影画像は撮影手段の取り付け方向に対応し、顔領域はユーザの顔に対応するものなので、適否判定手段が適正範囲に顔領域が含まれているか否かを判定することで、ユーザの顔の位置に対して撮影手段の取り付け方向が適正か否かを判定できる。
【００１２】
また、本発明における適否判定手段は、前記顔領域の特定の基準点が前記適正範囲に含まれているか否かを判定するものであることを特徴とする。
【００１３】
これによれば、適否判定手段が顔領域の特定の基準点が適正範囲に含まれているか否かを判定しているので、顔領域の全部の点が適正範囲に含まれているか否かを判定する場合に比べて、顔領域の位置が適正か否かを簡易に判定できる。
【００１４】
また、本発明における適否判定手段は、前記基準点として前記顔領域の中心点が前記適正範囲に含まれているか否かを判定するものであることを特徴とする。
【００１５】
これによれば、顔領域の中心点は顔領域の形状を考慮して決定できる点であるので、適否判定手段がその中心点が適正範囲に含まれているか否かを判定することで、顔領域の位置が適正か否かを精度良く判定できる。
【００１６】
また、本発明における前記顔領域検出手段は、前記顔領域として四角形状の領域を検出するものであり、
前記適否判定手段は、前記基準点として四角形状の前記顔領域の四隅の点が前記適正範囲に含まれているか否かを判定するものであることを特徴とする。
【００１７】
これによれば、四角形状の顔領域の四隅の点は、顔領域の大きさが反映された点であるので、適否判定手段がそれら四隅の点が適正範囲に含まれているか否かを判定することで、顔領域の位置が適正か否かを精度良く判定できる。
【００１８】
また、本発明における前記報知手段は、前記顔領域が前記適正範囲に含まれていない場合に、前記適正範囲に対する前記顔領域の位置を報知することを特徴とする。
【００１９】
これによれば、顔領域が適正範囲に含まれていない場合には、報知手段が適正範囲に対する顔領域の位置を報知するので、撮影手段の取り付け方向を適正な方向に調整しやすくできる。
【００２０】
また、本発明における撮影手段は、前記撮影手段の取り付け方向を可変とさせる方向可変機構を含むことを特徴とする。
【００２１】
これによれば、撮影手段には方向可変機構が含まれているので、報知手段による報知に基づいて撮影手段の取り付け方向を変更できる。このように、方向可変機構を含む撮影手段の取り付け方向の調整に、本発明を適用すると好適である。
【図面の簡単な説明】
【００２２】
【図１】顔撮影システムの概略構成を説明する図である。
【図２】カメラ装置２０の本体部２１の前面２１ａを示した図である。
【図３】運転者の顔向きを検出する顔向き検出処理の手順を示したフローチャートである。
【図４】図３の各ステップにおける撮影画像等に対する処理を説明する図である。
【図５】カメラ装置２０の取り付け方向の適否を判定する適否判定処理の手順を示したフローチャートである。
【図６】図５の各ステップにおける撮影画像に対する処理を説明する図である。
【図７】撮影画像中に設定される適正範囲の変形例を示した図である。
【発明を実施するための形態】
【００２３】
以下、本発明に係る顔撮影システムの実施形態を説明する。図１は、本実施形態の顔撮影システムの概略構成を説明する図である。具体的には、図１（ａ）は顔撮影システムが搭載されたトラック１００の車室を横から見た図を示している。また、図１（ｂ）は、図１（ａ）のカメラ装置２０の撮影範囲７０を上から見た図を示している。本実施形態の顔撮影システムは、大型車両であるトラック１００の車室に搭載され、そのトラック１００の運転者の顔向きや瞬きを検出するための、その運転者の顔ｆを撮影するシステムとされる。なお、そのトラック１００の車室には、運転者が着座する運転席１０１が設けられ、その運転席１０１の前方にはハンドル２０１やダッシュボード１０２が設けられている。顔撮影システムは、図１に示すように、制御部１０及びカメラ装置２０を備えている。
【００２４】
カメラ装置２０は、運転者の顔ｆを撮影するものであり、運転席１０１前方のダッシュボード１０２上に取り付けられている。また、カメラ装置２０の取り付け方向（カメラ装置２０の撮影方向）は、運転者の顔ｆを撮影できる方向（運転席１０１のヘッドレスト辺りの方向）に調整されている。本実施形態では、カメラ装置２０は、アフターマーケット品など任意の場所に取り付け可能なものとされている。
【００２５】
そのカメラ装置２０は、本体部２１及び支持部２３を備えている。支持部２３は本体部２１を支持する部分とされ、支持部２３の下部がダッシュボード１０２上に粘着シール等で固定されている。本体部２１は、ＣＣＤイメージセンサ等の撮像素子（図示外）が内蔵されるとともに、前面２１ａにレンズ２２が設けられる形で構成されている。すなわち、本体部２１は、レンズ２２によって結像された被写体（この場合は運転者の顔ｆ）の像が撮像素子によって画像データに変換される部分とされる。本体部２１による撮影画角は予め定められており、具体的には、上下方向の撮影画角（図１（ａ）の方向から見たときの撮影画角）が「θ１」、左右方向（図１（ｂ）の方向から見たときの撮影画角）が「θ２」とされている。そのため、本体部２１は、本体部２１（カメラ装置２０）の取り付け方向を基準として、上下方向の撮影画角θ１及び左右方向の撮影画角θ２で定まる撮影範囲７０（図１参照）を撮影する。
【００２６】
本体部２１と支持部２３の間には、本体部２１の取り付け方向（撮影方向）を上下左右に可変とさせる方向可変機構２４（図１（ａ）参照）が設けられている。つまり、本体部２１は、上下方向Ｄ１（図１（ａ）参照）及び左右方向Ｄ２（図１（ｂ）参照）に手動で向きが変えられるようになっている。その方向可変機構２４として、ポータブルナビ等で採用されている、取り付け方向を変えることができる公知の取り付け部と同様の機構を採用することができる。このように、方向可変機構２４によって本体部２１の取り付け方向を調整することが可能とされており、これによって、本体部２１による撮影範囲７０は取り付け方向に応じて変化されることになる。
【００２７】
図２は、本体部２１を前から見た図であり、すなわち本体部２１の前面２１ａを示している。図２に示すように、本体部２１の前面２１ａにはＬＥＤ２５が設けられている。そのＬＥＤ２５は、例えばＲＧＢそれぞれの光量を調整して、複数の色の光を発することができるＬＥＤとされる。
【００２８】
なお、カメラ装置２０は、被写体（この場合は運転者の顔ｆ）に近赤外光を照射する近赤外ＬＥＤ（図示外）及び外部からの光のうち可視光を遮断する可視光カットフィルタ（図示外）を含んでいる。そのため、夜などの周囲が暗い場合でもカメラ装置２０で撮影可能とされ、また、カメラ装置２０で撮影された撮影画像は白黒画像とされる。
【００２９】
制御部１０は、ＣＰＵ、ＲＯＭ、ＲＡＭ等から構成され、ＣＰＵがＲＯＭに記憶された制御プログラムにしたがった処理を実行することで、運転者の顔向きや瞬きを検出する顔向き検出処理や、カメラ装置２０の取り付け方向が適正か否かを判定する適否判定処理を実行するものである。その制御部１０は、カメラ装置２０と電気的に接続されており、カメラ装置２０で撮影した撮影画像に基づいて、上記の顔向き検出処理や適否判定処理を実行している。なお、図１では、ダッシュボード１０２の位置に制御部１０を図示しているが、その制御部１０はトラック１００のどの位置に設けられていたとしてもよい。また、制御部１０は、カメラ装置２０内に設けられたとしてもよい。
【００３０】
制御部１０が実行する適否判定処理が本発明の特徴部分であるが、顔向き検出処理についても以下に簡単に説明する。ここで、図３は、制御部１０が実行する運転者の顔向きを検出する顔向き検出処理の手順を示したフローチャートを示している。また、図４は、図３の各ステップにおける撮影画像等に対する処理を説明する図である。なお、図３の顔向き検出処理は、例えばトラック１００のエンジン始動にともなって開始される。先ず、カメラ装置２０で撮影された撮影画像を取得する（Ｓ１０１）。図４（ａ）は、Ｓ１０１で取得した撮影画像４０１を例示した図である。図４（ａ）に示すように、撮影画像４０１は、運転者の顔ｆに対応する顔領域４１０及びそれ以外の背景領域４０２から構成される。以下、その撮影画像４０１を処理の対象として説明する。
【００３１】
次いで、その撮影画像４０１の輝度に基づいて、撮影画像４０１に含まれる顔領域４１０の位置を大雑把に検出する（Ｓ１０２）。図４（ｂ）は、撮影画像４０１の縦の画素列の輝度和の変化を示したライン４０３を示している。なお、図４（ｂ）では、図４（ａ）の撮影画像４０１の各画素列の位置に対応させて輝度和のライン４０３を示している。ライン４０３が示すように、一般的に、顔領域４１０の輝度和は、背景領域４０２の輝度和に比べて大きくされている。よって、そのライン４０３の輝度和変化を見ることで、撮影画像４０１に対する顔領域４１０の左右方向の位置を大雑把に把握できる。このＳ１０２では、撮影画像４０１の縦の画素列の輝度和に加えて、横の画素列の輝度和に基づいて、顔領域４１０の撮影画像４０１に対する左右方向及び上下方向の大雑把の位置を検出する。
【００３２】
次いで、撮影画像４０１から、顔を構成する眼や鼻などの顔部品に対応する領域を検出する（Ｓ１０３）。図４（ｃ）は、撮影画像４０１を示しており、その撮影画像４０１の顔領域４１０には、左眼に対応する左眼領域４１１、右眼に対応する右眼領域４１２、鼻に対応する鼻領域４１３など、顔部品に対応する領域が含まれている。それら各領域４１１〜４１３は、各部品に応じた画像特徴量（エッジ情報、輝度情報）を有している。そこで、Ｓ１０３では、撮影画像４０１に含まれる各画像特徴量を予め用意された顔部品のテンプレートと比較（マッチング）することで、顔を構成する各部品の領域を検出している。
【００３３】
次いで、Ｓ１０２で検出された顔領域４１０の大雑把な位置とＳ１０３で検出された各顔部品とに基づいて、最終的な顔領域４１０の位置を検出する（Ｓ１０４）。この際、Ｓ１０２やＳ１０３では、顔領域４１０の候補となる複数の領域や顔部品の候補となる複数の領域を検出してしまう可能性があるので、検出した顔部品の並び順（眼の下に鼻があり、鼻の下に口があるなど）を考慮して、真の顔部品に絞っていく。また、顔の傾きによって、顔の輪郭や顔部品の形状が変わってくるので、その顔の傾きによる形状変化を考慮して、検出した顔部品に対して適宜補正を加える。図４（ｄ）は、Ｓ１０４による検出結果を示しており、具体的には、撮影画像４０１のうちの領域４２０が顔領域として検出されたことを示している。このように、Ｓ１０２〜Ｓ１０４の処理を実行することで、実際の顔領域４１０と一致した顔領域４２０を検出できる。なお、本実施形態では、四角形状の顔領域４２０を検出している。
【００３４】
次いで、撮影画像４０１に含まれる眼領域の上下瞼の距離などから、運転者の眼の開度（瞬き）を検出する（Ｓ１０５）。次いで、Ｓ１０２〜Ｓ１０４で検出した顔領域４２０に含まれる顔部品の対称性などから、運転者の顔向きを検出する（Ｓ１０６）。次いで、Ｓ１０５で検出した瞬きやＳ１０６で検出した顔向きの情報を出力して（Ｓ１０７）、その出力結果に応じた処理（よそ見をしている場合には警告をするなど）を適宜実行する。次いで、例えばエンジンが停止されたか否かに基づいて、この顔向き検出処理を終了するか否かを判定する（Ｓ１０８）。エンジンが動いている間は（Ｓ１０８：Ｎｏ）は上記の処理（Ｓ１０１〜Ｓ１０７）が繰り返し実行され、エンジンが停止された場合に（Ｓ１０８：Ｙｅｓ）、図３のフローチャートの処理が終了される。
【００３５】
このように、制御部１０は、運転者の瞬きや顔向きを検出して、必要に応じて警告をしたりするが、その前提として、カメラ装置２０で運転者の顔ｆを撮影することが必要となる。一方、当初はカメラ装置２０で運転者の顔ｆを撮影できていたとしても、運転中に運転者の顔ｆが動いた際に、カメラ装置２０の撮影範囲７０（図１参照）から運転者の顔ｆが外れてしまう場合がある。つまり、運転中に継続して顔ｆを検出することを考えると、ただ単に撮影範囲７０に運転者の顔ｆが含まれていればいいというわけではない。具体的には、撮影範囲７０のうち顔領域の検出に適した特定の範囲７１（図１参照）に顔ｆが位置するように、カメラ装置２０の取り付け方向を調整する必要がある。そこで、制御部１０は、上述したようにカメラ装置２０の取り付け方向が適正か否かを判定する適否判定処理を実行している。以下、その適否判定処理の詳細を説明する。
【００３６】
ここで、図５は、制御部１０が実行する適否判定処理の手順を示したフローチャートである。また、図６は、図５の各ステップにおける撮影画像に対する処理を説明する図である。なお、図５のフローチャートの処理は、例えば、トラック１００のエンジン始動にともなって開始され、又は、所定の開始スイッチ（図示外）が操作されたことに基づいて開始され、又はエンジン稼働中に定期的に開始される。
【００３７】
先ず、カメラ装置２０で撮影された撮影画像を取得する（Ｓ１０）。図６（ａ）は、Ｓ１０で取得した撮影画像３０１を例示した図である。図６（ａ）に示すように、撮影画像３０１には運転者の顔ｆに対応する顔領域３１０が含まれている。また、撮影画像３０１の大きさは、カメラ装置２０の撮影範囲７０に基づいて定められ、より具体的には、撮影画像３０１の横幅ａ１は、カメラ装置２０の左右方向の撮影画角θ２（図１（ｂ）参照）に基づいて定められ、縦幅ｂ１は、カメラ装置２０の上下方向の撮影画角θ１（図１（ａ）参照）に基づいて定められる。以下、その撮影画像３０１を処理の対象として説明する。
【００３８】
次いで、撮影画像３０１に含まれる顔領域３１０を検出する（Ｓ２０）。具体的には、先に説明した図３のフローチャートの処理のうちのＳ１０２〜Ｓ１０４の処理を実行して、顔領域３１０を検出する。なお、このＳ２０では、顔部品の詳細な位置までは必要としていないので、Ｓ１０２の処理のみを実行してもよい。図６（ｂ）は、Ｓ２０による検出結果を示しており、具体的には、撮影画像３０１のうちの領域３２０が顔領域として検出されたことを示している。図６（ｂ）に示すように、この場合は、検出した顔領域３２０と実際の顔領域３１０とが一致しているものとする。また、検出した顔領域３２０は四角形状とされている。なお、Ｓ２０における顔領域の検出方法は、Ｓ１０２〜Ｓ１０４の方法に限定されるものでなく、どのような手法で顔領域を検出してもよい。
【００３９】
次いで、検出した顔領域３２０の中心座標（中心点）を検出する（Ｓ３０）。具体的には例えば、図６（ｃ）に示すように、顔領域３２０の横幅の中心を通る中心線３２０ａと縦幅の中心を通る中心線３２０ｂの交点３２１を、顔領域３２０の中心座標として検出する。
【００４０】
次いで、顔領域３２０の中心座標３２１が撮影画像３０１の適正な位置にあるか否かを判定することで、カメラ装置２０の取り付け方向が適正か否かを判定する（Ｓ４０）。具体的には、図６（ｄ）に示すように、撮影画像３０１の中心３５１付近の一定の範囲３５０を、顔領域３２０の中心座標３２１の位置が適正とされる適正範囲として、予め定めておく。より具体的には、例えば、撮影画像３０１の中心３５１を中心とした、撮影画像３０１の横幅ａ１の半分（５０％）の横幅ａ２、撮影画像３０１の縦幅ｂ１の半分（５０％）の縦幅ｂ２を有する適正範囲３５０を予め定める。なお、適正範囲３５０は、図１に示す撮影範囲７０のうち顔領域の検出に適した特定の範囲７１に対応する範囲とされる。そして、顔領域３２０の中心座標３２１がその適正範囲３５０に含まれているか否かを判定する。そして、中心座標３２１が適正範囲３５０に含まれている場合にはカメラ装置２０の取り付け方向が適正であると判定し、含まれていない場合にはカメラ装置２０の取り付け方向が適正ではないと判定する。
【００４１】
次いで、Ｓ４０の判定結果を、カメラ装置２０に設けられたＬＥＤ２５（図２参照）で報知する（Ｓ５０）。具体的には、例えば、カメラ装置２０の取り付け方向が適正である場合にはＬＥＤ２５を青色に光らせ、適正でない場合にはＬＥＤ２５を赤色で光らせるなど、ＬＥＤ２５の発光色を変えることで適正か否かを報知する。加えて、顔領域３２０の中心座標３２１が適正範囲３５０に含まれていない場合には、その中心座標３２１が適正範囲３５０に対してどの位置で外れているのかも報知する。具体的には、例えば、中心座標３２１の位置（顔領域３２０の位置）ごとにＬＥＤ２５の点滅パターンを予め定めておく。そして、ＬＥＤ２５の点滅パターンを変えることで、中心座標３２１の位置（顔領域３２０の位置）を報知する。その点滅パターンとして、例えば、適正範囲３５０に対して中心座標３２１が右側に外れている場合には短い点滅周期の点滅パターンとし、左側に外れている場合には長い点滅周期の点滅パターンとする。
【００４２】
また、ＬＥＤ２５の点滅パターンに代えて、又はＬＥＤ２５の点滅パターンに加えて、ＬＥＤ２５の発光色を変えることで、中心座標３２１の位置（顔領域３２０の位置）を報知してもよい。具体的には、例えば、適正範囲３５０に対して中心座標３２１が右側に外れている場合には「赤色」でＬＥＤ２５を発光させ、左側に外れている場合には「緑色」でＬＥＤ２５を発光させ、上側に外れている場合には「黄色」でＬＥＤ２５を発光させ、下側に外れている場合には「紫色」でＬＥＤ２５を発光させる。また、例えば、適正範囲３５０に対して中心座標３２１が右側に外れている場合には「緑色で点滅周期が短い点滅パターン」でＬＥＤ２５を発光させ、左側に外れている場合には「緑色で点滅周期が長い点滅パターン」でＬＥＤ２５を発光させ、上側に外れている場合には「赤色で点滅周期が短い点滅パターン」で発光させ、下側に外れている場合には「赤色で点滅周期が長い点滅パターン」で発光させるとしてもよい。
【００４３】
又は、モールス信号のように、一回の報知で、長短の点灯を複雑に組み合わせた点滅パターンでＬＥＤ２５を発光させてもよい。この場合、中心座標３２１の位置に応じた複数の点滅パターンを予め決めておく。
【００４４】
これによって、ユーザは、カメラ装置２０の取り付け方向が適正か否かを容易に判断でき、適正でない場合には、カメラ装置２０（本体部２１）の取り付け方向をどのように変更すれば適正になるのかも容易に判断できる。Ｓ５０の処理の後、図５のフローチャートの処理を終了する。
【００４５】
以上説明したように、本実施形態では、カメラ装置２０の取り付け方向を容易に適正に調整できるとともに、一つのＬＥＤ２５で上記の報知を行っているので、システムの構成を簡素にできる。なお、本発明に係る顔撮影システムは上記実施形態に限定されるものではなく、特許請求の範囲の記載を逸脱しない限度で種々変形することができる。以下、変形例について説明する。
【００４６】
（変形例１）
上記実施形態では、図５のＳ３０、Ｓ４０において、顔領域の中心座標が撮影画像中の適正範囲に含まれているか否かを判定することで、カメラ装置２０の取り付け方向が適正か否かを判定していたが、中心座標に代えて、他の基準点が適正範囲に含まれているか否かを判定してもよい。具体的には、例えば、四角形状の顔領域の四隅の点が適正範囲に含まれているか否かを判定してもよい。この場合、図５のＳ３０では、図６（ｃ）に示すように、顔領域３２０の四隅の点３２２ａ〜３２２ｄを検出する。そして、Ｓ４０では、それら四隅の点３２２ａ〜３２２ｄが適正範囲３５０（図６（ｄ）参照）に含まれているか否かを判定する。それら四隅の点３２２ａ〜３２２ｄは、顔領域３２０の大きさが反映された点であるので、顔領域３２０全体が適正範囲３５０に含まれているか否かを判定できる。よって、カメラ装置２０の取り付け方向が適正か否かを精度良く判定できる。
【００４７】
（変形例２）
上記実施形態では、撮影画像に対する顔領域の位置が適正とされる適正範囲として、撮影画像の中心を中心とした撮影画像の５０％の大きさの適正範囲を定めていたが（図６（ｄ）参照）、これに限られるものではない。ここで、図７は、適正範囲の変形例を示した図である。すなわち、図７（ａ）に示すように、適正の程度が異なる複数の適正範囲を設定してもよい。図７（ａ）では、顔領域の位置が一応適正とみなせる範囲である第一の適正範囲５５１と、その第一の適正範囲５５１内に設定された、より一層適正とみなせる範囲である第二の適正範囲５５２を示している。そして、図５のＳ５０では、顔領域が適正範囲５５１、５５２に含まれている場合に、含まれている適正範囲５５１、５５２に応じた報知を行うようにする。例えば、顔領域が第一の適正範囲５５１に含まれている場合には、一応適正であるが事後的に適正でなくなる可能性があることを示した報知（警告）として、例えばＬＥＤ２５を黄色に発光させる。他方、顔領域が第二の適正範囲５５２に含まれている場合には、カメラ装置２０の取り付け方向が適正であり調整する必要がないことを示した報知として、例えばＬＥＤ２５を青色で発光させる。これによって、ユーザは、ＬＥＤ２５が黄色に発光された場合にはカメラ装置２０の取り付け方向を必要に応じて調整する必要があることを把握でき、ＬＥＤ２５が青色に発光された場合にはカメラ装置２０の取り付け方向を調整する必要がないことを把握できる。
【００４８】
また、図７（ｂ）に示すように、適正範囲を撮影画像の中心付近に設定しなくてもよく、運転中における予想される顔の動きに応じた位置に適正範囲を設定してもよい。図７（ｂ）では、適正範囲５５３の中心５５３ａが撮影画像５０１の中心５０１ａよりも下側に位置し、適正範囲５５３が撮影画像５０１の下辺りに設定された例を示している。例えばエアクッションの運転席を採用いている場合には、運転中に運転者が上方向に跳ねることが予想されるので、図７（ｂ）のように撮影画像の下辺りに適正範囲を設定するのが好適である。
【００４９】
また、適正範囲の形状は、上記実施形態のように四角形状に限定されるものではなく、例えば円状の適正範囲を設定してもよい。さらに、適正範囲の大きさも上記実施形態のように撮影画像の５０％の大きさに限定されるものではなく、例えば、適正範囲を撮影画像の３０％の大きさにして厳しめに適否を判定しても、逆に、適正範囲を撮影画像の７０％の大きさにして甘めに適否を判定してもよい。
【００５０】
（変形例３）
上記実施形態では、カメラ装置２０の取り付け方向の適否の報知を、一つのＬＥＤ２５の発光で行っていたが、当然これに限定されるものではない。例えば、カメラ装置２０に複数のＬＥＤを設けて、それら複数のＬＥＤを利用して適否の報知をしてもよい。例えば、適正であることを報知するためのＬＥＤと、適正ではないことを報知するためのＬＥＤとを設けてもよい。
【００５１】
また、例えば、顔領域の位置が適正ではない場合であって、その顔領域の位置に応じた複数のＬＥＤを設けてもよい。例えば、顔領域が右側に外れていることを報知するためのＬＥＤ、左側に外れていることを報知するためのＬＥＤ、上側に外れていることを報知するためのＬＥＤ、及び下側に外れていることを報知するためのＬＥＤを設けてもよい。これによって、より一層、カメラ装置２０の取り付け方向を調整しやすくできる。
【００５２】
また、ＬＥＤに代えて、文字や図形を表示する液晶ディスプレイなどのディスプレイや、音を発するスピーカを利用して、報知を行ってもよい。この場合、車載ナビゲーション装置などの他の車載装置のディスプレイやスピーカを利用して報知を行ってもよい。これによって、システムの構成を簡素に維持しつつ、より一層、カメラ装置２０の取り付け方向を調整しやすくできる。
【００５３】
（変形例４）
上記実施形態では、運転者の顔向きを検出するシステムの制御部１０（図１参照）が、カメラ装置２０の取り付け方向の適否判定処理を実行していたが、専用の診断ツールを用意し、その診断ツールが適否判定処理を実行するようにしてもよい。特にディーラ等でカメラ装置２０を後付けするときに、カメラ装置２０の取り付け方向を調整する必要があることから、ディーラ等に、適否判定処理を実行する診断ツールを用意しておく。そして、その診断ツールが例えばカメラ装置２０に接続されたときに、診断ツールが図５の適否判定処理を実行するようにする。この場合、適否の報知を診断ツールに設けられた表示部で行うようにする。これによって、車両におけるシステムの構成を簡素にできる。
【００５４】
なお、上記実施形態において、カメラ装置２０が本発明の「撮影手段」に相当する。図５のＳ１０及びＳ２０の処理を実行する制御部１０が本発明の「顔領域検出手段」に相当する。図５のＳ３０及びＳ４０の処理を実行する制御部１０が本発明の「適否判定手段」に相当する。図５のＳ５０の処理を実行する制御部１０及びＬＥＤ２５が本発明の「報知手段」に相当する。
【符号の説明】
【００５５】
１０ 制御部
２０ カメラ装置
２１ 本体部
２２ レンズ
２３ 支持部
２４ 方向可変機構
２５ ＬＥＤ
７０ 撮影範囲
１００ トラック
３０１、５０１ 撮影画像
３１０ 実際の顔領域
３２０ 検出した顔領域
３２１ 顔領域の中心座標
３２２ａ〜３２２ｄ 顔領域の四隅の点
３５０、５５１、５５２ 適正範囲
３５１、５５３ａ 適正範囲の中心
【特許請求の範囲】
【請求項１】
ユーザの顔を撮影できる位置に取り付けられ、取り付け方向に応じた撮影範囲を撮影する撮影手段と、
その撮影手段が撮影した撮影画像から、前記ユーザの顔に対応する顔領域を検出する顔領域検出手段と、
前記撮影画像に対する前記顔領域検出手段が検出した前記顔領域の位置に基づいて、前記撮影手段の取り付け方向が適正か否かを判定する適否判定手段と、
その適否判定手段が前記取り付け方向が適正ではないと判定した場合に、前記取り付け方向が適正ではないことを報知する報知手段と、を備えることを特徴とする顔撮影システム。
【請求項２】
前記適否判定手段は、前記撮影画像に対する前記顔領域の位置が適正とされる範囲として予め定められた前記撮影画像中の適正範囲に前記顔領域が含まれているか否かを判定することで、前記撮影手段の取り付け方向が適正か否かを判定するものであることを特徴とする請求項１に記載の顔撮影システム。
【請求項３】
前記適否判定手段は、前記顔領域の特定の基準点が前記適正範囲に含まれているか否かを判定するものであることを特徴とする請求項２に記載の顔撮影システム。
【請求項４】
前記適否判定手段は、前記基準点として前記顔領域の中心点が前記適正範囲に含まれているか否かを判定するものであることを特徴とする請求項３に記載の顔撮影システム。
【請求項５】
前記顔領域検出手段は、前記顔領域として四角形状の領域を検出するものであり、
前記適否判定手段は、前記基準点として四角形状の前記顔領域の四隅の点が前記適正範囲に含まれているか否かを判定するものであることを特徴とする請求項３に記載の顔撮影システム。
【請求項６】
前記報知手段は、前記顔領域が前記適正範囲に含まれていない場合に、前記適正範囲に対する前記顔領域の位置を報知することを特徴とする請求項２〜５のいずれか１項に記載の顔撮影システム。
【請求項７】
前記撮影手段は、前記撮影手段の取り付け方向を可変とさせる方向可変機構を含むことを特徴とする請求項１〜６のいずれか１項に記載の顔撮影システム。
【請求項１】
ユーザの顔を撮影できる位置に取り付けられ、取り付け方向に応じた撮影範囲を撮影する撮影手段と、
その撮影手段が撮影した撮影画像から、前記ユーザの顔に対応する顔領域を検出する顔領域検出手段と、
前記撮影画像に対する前記顔領域検出手段が検出した前記顔領域の位置に基づいて、前記撮影手段の取り付け方向が適正か否かを判定する適否判定手段と、
その適否判定手段が前記取り付け方向が適正ではないと判定した場合に、前記取り付け方向が適正ではないことを報知する報知手段と、を備えることを特徴とする顔撮影システム。
【請求項２】
前記適否判定手段は、前記撮影画像に対する前記顔領域の位置が適正とされる範囲として予め定められた前記撮影画像中の適正範囲に前記顔領域が含まれているか否かを判定することで、前記撮影手段の取り付け方向が適正か否かを判定するものであることを特徴とする請求項１に記載の顔撮影システム。
【請求項３】
前記適否判定手段は、前記顔領域の特定の基準点が前記適正範囲に含まれているか否かを判定するものであることを特徴とする請求項２に記載の顔撮影システム。
【請求項４】
前記適否判定手段は、前記基準点として前記顔領域の中心点が前記適正範囲に含まれているか否かを判定するものであることを特徴とする請求項３に記載の顔撮影システム。
【請求項５】
前記顔領域検出手段は、前記顔領域として四角形状の領域を検出するものであり、
前記適否判定手段は、前記基準点として四角形状の前記顔領域の四隅の点が前記適正範囲に含まれているか否かを判定するものであることを特徴とする請求項３に記載の顔撮影システム。
【請求項６】
前記報知手段は、前記顔領域が前記適正範囲に含まれていない場合に、前記適正範囲に対する前記顔領域の位置を報知することを特徴とする請求項２〜５のいずれか１項に記載の顔撮影システム。
【請求項７】
前記撮影手段は、前記撮影手段の取り付け方向を可変とさせる方向可変機構を含むことを特徴とする請求項１〜６のいずれか１項に記載の顔撮影システム。
【図２】
【図３】
【図５】
【図７】
【図１】
【図４】
【図６】
【図３】
【図５】
【図７】
【図１】
【図４】
【図６】
【公開番号】特開２０１２−１２９６９９（Ｐ２０１２−１２９６９９Ａ）
【公開日】平成２４年７月５日（２０１２．７．５）
【国際特許分類】
【出願番号】特願２０１０−２７７９７５（Ｐ２０１０−２７７９７５）
【出願日】平成２２年１２月１４日（２０１０．１２．１４）
【出願人】（０００００４２６０）株式会社デンソー (27,639)
【Ｆターム（参考）】
【公開日】平成２４年７月５日（２０１２．７．５）
【国際特許分類】
【出願日】平成２２年１２月１４日（２０１０．１２．１４）
【出願人】（０００００４２６０）株式会社デンソー (27,639)
【Ｆターム（参考）】
[ Back to top ]