撮像装置及び被写体検出方法
【課題】対象物体の認識精度を高めることができる撮像装置を提供する。
【解決手段】撮像手段により撮像された撮像画像から被写体を検出する検出手段と、撮像された画像から、被写体の特徴点を抽出する特徴点抽出手段と、撮像手段の撮像方向に対して被写体が向いている被写体方向を取得する方向取得手段と、被写体方向に応じて、特徴点４０を補正する特徴点補正手段とを備え、検出手段は、特徴点補正手段により補正された特徴点４０に応じて、前記被写体を検出する。
【解決手段】撮像手段により撮像された撮像画像から被写体を検出する検出手段と、撮像された画像から、被写体の特徴点を抽出する特徴点抽出手段と、撮像手段の撮像方向に対して被写体が向いている被写体方向を取得する方向取得手段と、被写体方向に応じて、特徴点４０を補正する特徴点補正手段とを備え、検出手段は、特徴点補正手段により補正された特徴点４０に応じて、前記被写体を検出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置及び被写体の検出方法に関するものである。
【背景技術】
【０００２】
撮像した画像中から対象物体が写っている領域を特定し、当該領域に写っている対象物体の特徴と、予め格納された人の顔画像の特徴を示すテンプレートデータとを比較し、一致しているか否かを判定することで、前記対象物体を検出するカメラ装置が知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−２３６２７６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記カメラ装置の位置、カメラ装置の撮影方向及び対象物体の向きによって、カメラ装置の撮像手段の撮影方向に対して対象物体の向きが変わるため、対象物体に含まれる特徴点に位置ずれが生じ、対象物体を精度よく検出できない可能性があった。
【０００５】
本発明が解決しようとする課題は、対象物体の認識精度を高めることができる撮像装置及び検出方法を提供することである。
【課題を解決するための手段】
【０００６】
本発明は、撮像手段の撮像方向に対して被写体が向いている被写体方向を取得すし、被写体方向に応じて被写体の特徴点を補正し、補正された特徴点に応じて、被写体を検出することにより、上記課題を解決する。
【発明の効果】
【０００７】
本発明によれば、撮像手段の撮像方向に応じて、被写体方向及び当該被写体方向に基づく特徴量の補正値が特定され、補正された特徴量に応じて被写体を検出するため、被写体が撮像手段の撮像方向を向いていない状態で撮像された画像からでも、被写体を精度よく検出することができる。
【図面の簡単な説明】
【０００８】
【図１】（ａ）は発明の実施形態に係る撮像装置を備えた車両を模式化した平面図、（ｂ）は（ａ）の要部側面図である。
【図２】図１のカメラの斜視図である。
【図３】発明の実施形態に係る撮像装置のブロック図である。
【図４ａ】図１のカメラによる撮像画像の概略図である。
【図４ｂ】図１のカメラによる撮像画像を補正した後の画像の概略図である。
【図５】図３のカメラ用テーブルに格納されるテーブルである。
【図６】図３の顔認識用テーブルに格納されるテーブルである。
【図７】図３の撮像装置の制御手順を示すフローチャートである。
【図８】図１の他のカメラの斜視図である。
【図９】発明の他の実施形態に係る撮像装置を備えた車両を模式化した平面図である。
【図１０】発明の他の実施形態に係る撮像装置のブロック図である。
【図１１】図９のカメラを含む撮像装置の制御手順を示すフローチャートである。
【図１２】発明の他の実施形態に係る撮像装置を備えた車両を模式化した平面図である。
【図１３】発明の他の実施形態に係る撮像装置の制御手順を示すフローチャートである。
【図１４】発明の他の実施形態に係る撮像装置を備えた車両を模式化した平面図である。
【図１５】発明の他の実施形態に係る撮像装置のブロック図である。
【図１６】図１５の撮像装置を用いた、通信システムの概略図である。
【図１７】図１４の車両が交差点に停車した状態を示す概略図である。
【図１８】図１６の撮像装置の制御手順を示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態を図面に基づいて説明する。
【００１０】
《第１実施形態》
図１は、本発明の撮像装置を備えた車両を示し、（ａ）は当該車両を模式化した平面図、（ｂ）は（ａ）の要部側面図を示す。以下、本例の撮像装置を車両に搭載した場合について説明するが、本例の撮像装置は、車両以外に搭載してもよい。
【００１１】
図１に示すように、車両１には、カメラ１０１がインストルメントパネル１０３上であって助手席の前方に設けられる。ドライバー１０２は、車両１を運転しており、車両１０１の進行方向に対して視線を向けている。ドライバー１０２の頭部の後方にはヘッドレスト１０４が設けられる。ヘッドレスト１０４は、車両１の運転席のヘッドレストであり、ドライバー１０２の頭部を支えている。図１（ａ）に示すように、カメラ１０１は、被写体であるドライバー１０２の顔の方向を向いており、ヘッドレスト１０４の正面から約１５〜２０ｃｍ、前方に離れた位置に向いている。一方、ドライバー１０２は通常、正面を向いており、カメラ１０１側を向いていない。そのため、カメラ１０１の撮像方向、言い換えるとカメラ１０１に含まれるレンズの光軸方向と、ドライバー１０２が向いている方向とは、対向していない。車両１の平面方向において、カメラ１０１の撮像方向に対する、ドライバー１０２が向いている方向の角度をαとする。
【００１２】
また、図１（ｂ）に示すように、車両１の側面方向においても、カメラ１０１の撮像方向、言い換えるとカメラ１０１に含まれるレンズの光軸方向と、ドライバー１０２が向いている方向とは、対向していない。車両１の側面方向において、カメラ１０１の撮像方向に対する、ドライバー１０２が向いている方向の角度をβとする。つまり、角度α及び角度βを用いて、カメラ１０１の撮像方向とドライバー１０２が向いている方向と関係を表すと、水平方向において、ドライバー１０２は、カメラ１の撮像方向に対して角度αをなす方向を向いており、垂直方向において、ドライバー１０２は、カメラ１の撮像方向に対して角度βをなす方向を向いている。このように、本例において、車両１の運転中、ドライバー１０２の頭部は、ヘッドレスト１０４に触れる位置にあり、カメラ１０１がドライバー１０２を撮像する際、カメラ１０１の撮像方向は、ほぼ一定の角度に保たれる。そして、カメラ１０１の設置位置及びドライバー１０２の頭の位置（ヘッドレスト１０４の位置）が予め決められているため、カメラ１０１の撮像方向に対するドライバー１０２が運転中に向いている方向は、角度α及び角度βにより、特定される。
【００１３】
カメラ１０１は、可動式の撮像装置であり、撮影する方向を変えて、車両内及び車両外を撮影し、例えば図２に示すように、１個のカメラを搭載した可動するタイプである。図２は、カメラ１０１の斜視図である。カメラ１０１は、インストルメントパネル１０５に埋め込ませてもよく、インストルメントパネル１０５上に搭載してもよい。またカメラ１０１は、後述するように、画像認識機能を有しており、ドライバー１０２を含め特定の人物を認識することができる。
【００１４】
次に、図３を用いて、カメラ１０１のシステムを説明する。図３は、カメラ１０１のシステムを示すブロックである。撮像部３０１は、レンズ（図示しない）、撮像素子（図示しない）等を有し、撮像装置としての基本構成部分であり、ドライバー１０２からの光束を光電変換した画像信号として、ドライバー１０２を捕らえる。図１に示す状態において、撮像部３０１により撮像された撮像画像を図４ａに示す。図４ａは、ドライバー１０２の撮像画像である。ドライバー１０２は、カメラ１０１の方向とは異なり、車両１の進行方向を向いているため、撮像画像において、図４ａに示すように、ドライバー１０２は正面を向いていない。特徴点４０は、人の顔の特徴的な部分を示し、特徴点４０１は、ドライバー１０２の目を、特徴点４０２は顔の輪郭を示す。特徴点４０は、後述するように、顔認識のために用いられ、顔の部位又は輪郭を示している。また撮像部３０１は、カメラ制御部３０７からの制御信号に基づき、撮像方向を変え、また当該制御信号に基づき、かつ、顔の部分にズームさせ、ドライバー１０２の顔に焦点を合わせて撮像する。
【００１５】
本例のシステムは、後述するように、人物が存在するか否かを特定する機能及び特定の人物を認識する機能を有する。そのため、撮像部３０１は、カメラ１０１の固定位置を中心に、周囲に向けて回動しつつ画像を撮影し、また特定の部分に対してズームアップして撮影する。
【００１６】
画像処理部３０２は、撮像部３０１で撮像した撮像画像を処理する部分であり、当該撮像画像の明るさ、色調等の画像パラメータを補正し、撮像画像を処理する。また画像処理部３０２により撮像画像を補正するための補正情報は、後述する補正情報処理部３０８から送信され、画像処理部３０２は、当該補正情報に基づき、画像を補正する。
【００１７】
特徴量抽出部３０３は、画像処理部３０２により補正された画像から、特徴点４０のパラメータである特徴量を抽出する。特徴量には、特徴点４０の位置を示す座標パラメータ及び特徴点４０の明るさ、色彩を示すパラメータ等が含まれる。また特徴量抽出部３０３は、特徴点４０の有無から、人物が存在するか否かを判定する。
【００１８】
特徴量補正部３０４は、特徴量抽出部３０３により抽出された特徴量を、補正情報処理部３０８から送信される補正情報を用いて、補正する。特徴補正部３０４により補正された画像を、図４ｂに示す。図４ｂは、ドライバー１０２の顔画像であり、補正後の画像である。図４ａに示すように、ドライバー１０２は撮像３０１の撮像方向を向いていないため、撮像画像に写るドライバー１０２は、正面を向いていない。その一方で、上記の通り、撮像部３０１の撮像方向に対してドライバーが向いている方向は、角度α及び角度βにより特定されるため、本例は、当該角度α及び角度βに応じて、図４ａの画像を、図４ｂに示す画像に補正する。これにより、特徴量に基づく、人物の認識精度を高める。
【００１９】
カメラ制御部３０７は、撮像部３０１の状態を管理しており、撮像部３０１が回動する角度を検出し、当該角度を含む、撮像部３０１の状態を示す信号を、補正情報制御部３０８に送信する。これにより、カメラ１０１が向いている撮像方向が検出され、補正情報処理部３０８に送信される。また、撮像方向に対しドライバー１０２が向いている方向は、撮像方向を検出することにより、特定される。
【００２０】
補正情報処理部３０８は、補正情報保管用データベース３１０に記録されているデータから、補正情報を抽出し、画像処理部３０２及び特徴量３０４に、当該補正情報を送信する。また補正情報制御部３０８は、撮像部１０１の角度及びズーム範囲等を含む制御信号をカメラ制御部３０７へ送信する。
【００２１】
補正情報保管用データベース３１０は、カメラ用のテーブル３１１と、顔認識用のテーブル３１２を有する。カメラ用テーブル３１１は、図５に示すように、角度α及び角度βとカメラパラメータとを対応づけて格納する。図５は、カメラ用テーブル３１１に格納されるテーブルを示す概略図である。テーブルに格納される角度には、カメラの固定位置に対して運転席の顔部分を示す角度、カメラの固定位置に対して助手席の顔部分を示す角度、カメラの固定値に対して運転席の窓方向を示す角度である、特定の角度が記録されており、走行時にドライバー１０２が通常向いている正面方向を基準とする角度により、記録されている。なお、角度の基準となる方向は、当該正面方向以外であってもよい。カメラパラメータは、例えばカメラ１０１のズーム倍率、オートフォーカス用の焦点レンズ（図示しない）の位置、ホワイトバランス等の数値であり、ドライバー１０２や助手席側の人物の顔部分に対してズームアップをして、焦点を合わせるためのパラメータであって、補正情報に相当する。
【００２２】
顔認識用のテーブル３１２は、図６に示すように、角度α及びβと、顔の特徴量の補正パラメータとを対応づけて、格納する。図６は、顔認識用テーブル３１２に格納されるテーブルを示す概略図である。顔の特徴量の補正パラメータとは、例えば、撮像画像上における目の位置座標、顎の位置座標、目や顎の明るさや色調等を補正するための値であって、補正情報に相当する。Ｘは撮像画像の縦軸を示し、Ｙは撮像画像の縦軸を示す。Ｘ、Ｙのそれぞれに対応する数値は、座標メモリ上の移動量を示す。図４ａ及び図４ｂに示すように、撮像部３０１により撮像される画像に含まれる特徴点の位置と、正面を見た人物の特徴点の位置は、ずれており、ずれの量は、撮像方向に対してドライバーが向いている方向に基づいて、特定される。そのため、本例の顔認識用テーブル３１２には、角度α及びβに対する、特徴量の位置ずれの量が、補正パラメータとして格納される。
【００２３】
図３に戻り、パターンマッチング部３０５は、特徴量補正部３０４により補正された特徴量と、個人特徴量データベース３０９に記録されている特徴量とを比較し、個人特徴量データベース３０９に登録されている人物に合致するか否かを判断し、撮像画像に撮影された人物を特定する。
【００２４】
外部入出力インターフェイス３０６は、パターンマッチング３０５の判別結果を、外部に出力する。外部に出力された判別結果は、例えばドライバー１０２毎又は助手席側の人物後に合ったコンテンツを提供する際に用いられる。
【００２５】
個人特徴量データベース３０９には、予め登録されている人物の特徴量が記録されている。人物の特徴量の登録について、例えば、登録したい人物が撮像部３０１の方向を向いて撮影をし、撮像画像から特徴量を抽出して、個人特徴量データベース３０９に保存する。または、自宅のＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、携帯電話、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、記録メディア等に保存されている画像データを、外部入出力インターフェイス３０６により、本例のシステムに取り込んで、特徴量を記録してもよく、またインターネット等から転送される画像データを外部入出力インターフェイス３０６により取り込み、当該画像データから特徴量を記録してもよい。
【００２６】
次に、本例のカメラ１０１のシステムにおける、制御内容について説明する。まず、撮像部３０１は、可動しつつ撮影し、画像情報を、画像処理部３０２を介して特徴量抽出部３０３へ送信し、撮像部３０１の角度の情報を、カメラ制御部３０７を介して、補正情報処理部３０８へ送信する。特徴量抽出部３０３は、撮像画像から、人物が写っているか否かを判定する。人物の有無は、顔の特徴点４０の有無から判断される。カメラ制御部３０７は、特徴量抽出部３０３の判断結果から、人物が写った時の角度を特定し、当該角度で撮像部３０１を固定する。
【００２７】
また補正情報処理部３０８は、人物が写った時の角度に対応するカメラパラメータ及び顔の特徴量の補正パラメータを補正情報保管用データベース３１０から抽出し、画像処理部３０２、カメラ制御部３０７及び特徴量補正部３０４へ送信する。
【００２８】
カメラ制御部３０７は、補正情報処理部３０８から送信されるカメラパラメータに基づき、撮影対象を特定し、撮像部３０１により撮像する。当該撮像画像の焦点は、顔に合っており、撮影範囲は、人物の顔部分にズームアップされている。これにより、本例は、人物を特定した角度に応じて、人物の顔部分に焦点を合わせるため、精度のよい顔画像を撮影することができ、顔の特徴量の検出精度を高めることができる。
【００２９】
また画像処理部３０２は、顔部分の撮像画像から、補正情報処理部３０８から送信されるカメラパラメータを用いて、画像処理を行う。画像処理部３０２による画像処理は、特徴量を抽出し易い画像にするために、顔部分の撮像画像の明るさや色調等を処理する。これにより、本例は、人物を特定した角度に応じて、画像処理を行うため、それぞれの角度に合わせた処理パラメータを用いて画像処理を行うことができ、精度のよい顔画像に処理することができ、顔の特徴量の検出精度を高めることができる。
【００３０】
特徴量抽出部３０３は、画像処理部３０２により処理された画像から、特徴点４０を抽出し、当該特徴点から特徴量を演算する。次に、特徴量補正部３０４は、補正情報処理部３０８から送信される補正パラメータを用いて、特徴量を補正する。これにより、図４ａに示す特徴点４０１及び特徴点４０２の位置及び色調等が補正され、図４ｂに示す特徴点４０１及び特徴点４０２となる。なお、図４ｂは、説明のために顔部分の全体を描写している。
【００３１】
そして、パターンマッチング３０５は、補正された特徴量と、個人特徴量データベース３０９に記録されている特徴量とを比較し、登録されている人物に合致するか否かを判断し、撮像画像に撮影された人物を特定する。
【００３２】
次に、本例の制御手順を、図７を用いて説明する。図７は、本例の撮像装置の制御手順を示すフローチャートである。
【００３３】
ステップＳ１にて、撮像部３０１は、可動し、周囲を撮影する。ステップＳ２にて、特徴量抽出部３０３は、撮像画像から人物の特徴点４０を有するか否かを判定し、人物の有無を判定する。人物が写っていないと判定された場合は、ステップＳ１に戻り、撮像部３０１による撮影を続ける。一方、人物が写っていると判断される場合、ステップＳ３にて、人物が写っていると判断される時の、撮像部３０１の撮像方向の角度を特定する。図１に示す場合では、人物としてドライバー１０２が特定され、角度α及び角度βが、当該撮像方向の角度として、特定される。
【００３４】
次に、ステップＳ４にて、補正情報処理部３０８は、補正情報保管用データベース３１０を参照し、ステップＳ３にて特定された角度に対応するカメラパラメータがあるか否かを判定する。カメラパラメータがカメラ用テーブル３１１に存在しない場合、ステップＳ６に進む。
【００３５】
ここで、カメラパラメータが補正情報保管用データベース３１０に存在しない場合について、説明する。例えば、人混みの付近に車両を止め、車両の周囲が多くの人がいる場合、カメラ１０１は、補正情報保管用データベース３１０に記録していない角度の位置で、人物を撮影し、当該人物を認識する場合がある。この場合、本例のシステムにより人物を特定する必要はないため、補正情報保管用データベース３１０に、当該角度は特定の角度として、記録されていない。
【００３６】
一方、ステップＳ３にて特定された角度に対応するカメラパラメータがある場合、カメラ制御部３０７は、対応するカメラパラメータに応じて、人物の顔部分を撮影する（ステップＳ５）。なお、図１に示す場合、角度α及び角度βに対応するカメラパラメータのズームは２．０倍を示すため（図５を参照）、２．０倍のズームで、人物の顔部分を撮影する。
【００３７】
次に、ステップＳ６にて、特定された角度に対応するカメラパラメータがない場合は、ステップＳ１にて撮影された撮像画像から特徴点４０を抽出し、特定された角度に対応する補正パラメータがある場合は、ステップＳ５にて撮影された撮像画像から特徴点４０を抽出する。ステップＳ７にて、補正情報処理部３０８は、補正情報保管用データベース３１０を参照し、ステップＳ３にて特定された角度に対応する補正パラメータがあるか否かを判断する。補正パラメータが顔認識用テーブル３１２に存在しない場合、特徴量は補正されず、ステップＳ９へ進む。
【００３８】
一方、ステップＳ３にて特定された角度に対応するカメラパラメータがある場合、特徴量補正部３０４は、対応する補正パラメータに応じて、特徴量を補正する（ステップＳ８）。なお、図１に示す場合、角度α及び角度βに対応する補正パラメータの「目（左目）」はＸ：１．０、Ｙ：１．０を示し、「顎」はＸ：−１．１、Ｙ：０．０を示す。特徴量補正部３０４は、補正前の特徴量の中で、左目の位置座標（例えば、Ｘ：１０．０ Ｙ：１２．０）を、補正パラメータの数値分（Ｘ：１．０、Ｙ：１．０）移動させ、補正後の位置座標（例えば、Ｘ：１１．０ Ｙ：１３．０）とする。他の特徴点についても、同様に座標位置を補正する。
【００３９】
そして、パターンマッチング部３０５は、個人特徴量データベース３０９を参照し、特定された角度に対応する補正パラメータがない場合は、ステップＳ６にて抽出された特徴量に基づき、人物を特定し、特定された角度に対応する補正パラメータがある場合は、ステップＳ８にて補正された特徴量に基づき、人物を特定する（ステップＳ９）。
【００４０】
上記のように本例は、カメラ１０１の撮像方向に対して、人物が向いている方向を特定し、当該方向に応じて、カメラ１０１の撮像画像に含まれる特徴点４０の特徴量を補正し、補正された特徴量に応じて人物を特定する。これにより、本例は被写体の認識精度を高めることができる。
【００４１】
またカメラ１０１の設置位置は固定されているが、被写体の位置は１点に固定されていないため、被写体の位置に応じて、カメラ１０１から被写体までの距離はかわってしまう。しかし、本例は、限られた空間内において、被写体がカメラ１０１の設置位置及びカメラ１０１の撮像方向における被写体までの距離を予め想定することができるため、撮像方向に対して被写体が向いている方向に応じて、カメラパラメータ及び特徴量の補正パラメータを補正情報保管用データベース３１０に、予め保存する。これにより、本例は、被写体の位置を特定することで被写体が向いている方向を特定し、被写体が向いている方向に応じて、カメラパラメータを用いて撮影するため、特徴点４０を抽出し易い画像を撮像することができ、被写体の認識精度を高めることができる。
【００４２】
また本例は、被写体の位置を特定することで撮像方向に対して被写体が向いている方向を特定し、当該被写体が向いている方向に応じて、補正パラメータを用いて特徴量を補正し、補正された特徴点４０から被写体を特定する。これにより、カメラ１０１により撮像される画像において、被写体が正面を向いておらず、特徴点４０がずれている場合であっても、被写体が向いている方向に応じて、特徴点４０のずれを補正することができ、被写体の認識精度を高めることができる。
【００４３】
なお、本例は、１個のカメラを搭載したカメラを、カメラ１０１に用いたが、図８に示すように、２個のカメラを搭載したカメラ８０１でもよい。図８は、カメラ８０１の斜視図であり、図８の矢印は可動方向を示す。
【００４４】
また、本例において、特徴量抽出部３０３は、特徴量を抽出する際、補正情報保管用データベース３１０から補正情報処理部３０８により抽出される情報を用いて、特徴量を抽出してもよい。この際、補正情報保管用データベース３１０には、撮像部３０１の撮像方向に応じて、特徴量を抽出する位置や特徴点を識別するための色調等に関するデータを対応づけて保存しておく。そして、特徴量抽出部３０３は、補正前の撮像画像から、当該データを参照し、特徴点を抽出し特徴量を演算してもよい。
【００４５】
なお、本例の撮像部３０１が本発明の「撮像手段」に相当し、特徴量抽出部４０３が「特徴点抽出手段」に、パターンマッチング部３０５が「検出手段」に、カメラ制御部３０７が「方向取得手段」に、特徴量補正部３０４は「特徴量補正手段」に、顔認識用テーブル３１２が「第１のデータベース」に、カメラ用テーブル３１１が「第２のデータベース」に、個人特徴量データベース３０９が「記録手段」に、画像処理部３０２が「画像補正手段」に、外部入出力インターフェイス３０６が「取得手段」に相当し、カメラ１０１の撮像方向に対して被写体が向いている方向が「被写体方向」に相当する。
【００４６】
《第２実施形態》
発明の他の実施形態に係る撮像装置を、図９及び１０を用いて説明する。本例は上述した第１実施形態に対して、アプリケーション制御部１１１、個人用データベース１１２を備え、助手席に人が乗っている点が異なる。これ以外の構成で上述した第１実施形態と同じ構成は、その記載を適宜、援用する。図９は、本発明の撮像装置を備えた車両を模式化した平面図を示し、図１０は、本発明の撮像装置のシステムのブロック図を示す。
【００４７】
図９に示すように、助手席乗員９０２は、助手席に座っており、車両１の進行方向に対して視線を向けている。助手席乗員９０２の頭部の後方にはヘッドレスト９０４が設けられる。ヘッドレスト９０４は、車両１の運転席のヘッドレストであり、助手席乗員９０２の頭部を支えている。
【００４８】
図１０に示すように、本例の撮像装置のシステムには、アプリケーション制御部１１１及び個人用データベース１１２が設けられる。個人用データベース１１２には、予め登録されている人物の好みに合わせて、起動させるアプリケーション（例えば、ＴＶ、ラジオ、音楽プレーヤーなどの車載器で使用されるアプリケーション）及びソフトウェア（アプリケーションに含まれる、映画ソフト、音楽ソフトなど）が、登録された人物毎に対応させて、テーブルとして保存されている。起動させるアプリケーションは、任意に設定を変えることができる。また、個人用データベース１１２には、予め登録されている人物の感情と特徴点４０とが対応づけて、記録されている。当該感情とは、例えば人物の怒り、笑い等であり、顔の表情により区別される。そして、顔の表情は、口の大きさや目や眉毛の位置などから推定され、特徴点４０から推定される。また、個人用データベース１１２に保存されているソフトウェアは、人物の感情とも対応づけされ、保存されている。例えば怒りの感情に対しては、怒りを静めるために穏やかな楽曲を収録した音楽ソフトが対応づけられ、笑いに対しては、明るい楽曲を収録した音楽ソフトが対応づけられている。
【００４９】
感情を推定するための特徴量の登録又は更新は、登録したい人物が撮像部３０１の方向を向いて撮影をし、撮像画像から特徴量を抽出して、個人用データベース１１２に保存する。
【００５０】
アプリケーション制御部１１１は、個人用データベース１１２を参照して、パターンマッチング３０５により特定された人物に対応するアプリケーションを特定し、当該アプリケーションを起動させる。またアプリケーション制御部１１１は、パターンマッチング３０５により特定された人物と当該人物の特徴量から、人物の感情を推定し、起動するアプリケーションの中で、推定された感情に対応するソフトウェアを実行する。
【００５１】
撮像部３０１は、運転席及び助手席を含む空間内に存在する人物（被写体）を撮影するために、一定の可動域で、動作し、当該一定の可動域において、所定の周期で撮像を繰り返す。これにより、撮像部３０１は、ドライバー１０２及び助手席乗員９０２を撮像する。
【００５２】
次に本例の制御内容及び制御手順を、図１１を用いて説明する。図１１は、本例の制御手順を示すフローチャートである。
【００５３】
ステップＳ１、ステップＳ３〜ステップＳ９の制御内容は、第１実施形態に係る電池制御部６の制御内容である、ステップＳ１、ステップＳ３〜ステップＳ９と同様であるため、省略する。
【００５４】
ステップＳ７１にて、カメラ制御部３０７は、撮像部３０１により撮像された撮像画像から、人物を特定する。撮像部３０１により撮影された画像は、限られた空間内を一通り撮像するため、カメラ制御部３０７は、一通り撮影された画像のなから、人物が写っているか否かを判定する。図９に示す場合、カメラ制御部３０７は、ドライバー１０２と助手席乗員９０２を、それぞれ特定する。そして、ステップＳ３〜ステップＳ９の制御処理は、特定されたドライバー１０２及び助手席乗員９０２について行う。
【００５５】
ステップＳ７２にて、アプリケーション制御部１１１は、個人用データベース１１２を参照し、特定された人物が、個人用データベースに登録されているか否かを判定する。
【００５６】
人物が登録されない場合、ステップＳ７３にて、アプリケーション制御部１１１は、当該人物を新規に登録するか否かのメッセージを表示部（図示しない）に表示する。そして、アプリケーション制御部１１１は、新規に登録しない旨の制御信号を受信した場合、本例の処理を終了する。一方、アプリケーション制御部１１１は、新規に登録する旨の制御信号を受信した場合、ステップＳ７４にて、個人用データベース１１２に、登録されていなかった人物に関するデータを更新する。個人用データベース１１２において、登録されていなかった人物と、当該人物の特徴量とが、対応づけられ、新規に登録される。またアプリケーション及びソフトウェアも新規に登録される。アプリケーション及びソフトウェアの登録は、例えばアプリケーション制御部１１１により、新規の人物に対して登録するアプリケーション又はソフトウェアを選択させ、感情を推定する際に使用される特徴量を抽出すために、新規の人物に対して画像の撮影を促す。そして、撮影された画像から、アプリケーション制御部１１１は、各感情と特徴量を対応づけて、個人用データベース１１２を更新する。
【００５７】
一方、人物が登録されている場合、ステップＳ７５にて、アプリケーション制御部１１１は、特徴量から、当該人物の感情を推定する。そして、ステップＳ７６にて、アプリケーション制御部１１１は、ステップＳ９にて特定された人物に対応するアプリケーションを起動し、ステップＳ７５にて推定された感情に対応するソフトウェアを実行する。
【００５８】
なお、ステップＳ７５にて感情が推定できない場合は、ステップＳ９にて特定された人物に対応するアプリケーションを起動させて、本例の制御処理を終了させてもよい。
【００５９】
上記のように、本例は、アプリケーション制御部１１１により、人物の感情を推定し、推定された感情に応じて、アプリケーション起動し、ソフトウェアを実行する。これにより、本例のシステムにより特定された人物の好みに合わせて、アプリケーション起動させ、ソフトウェアを実行させることができる。
【００６０】
なお、本例の「アプリケーション制御部１１１」は本発明の「感情推定手段」に相当する。
【００６１】
《第３実施形態》
発明の他の実施形態に係る撮像装置を、図１２を用いて説明する。本例は上述した第１実施形態に対して、車両外の人物を特定し、個人認証を行いキーの開錠を制御する点が異なる。これ以外の構成で上述した第１及び２実施形態と同じ構成は、その記載を適宜、援用する。図１２は、本発明の撮像装置を備えた車両を模式化した平面図を示す。
【００６２】
図１２に示すように、ドライバー１０２は、車両１の外側であって、車両１の運転席側のドアの前に立っている。カメラ１０１は、車両１内だけではなく、車両１の外部周辺も撮影する。そして、本例の撮像装置は、車両１の外部を撮影した画像に応じて、人物を特定する。特定された人物が、個人特徴データベース３０９に登録されている人物と同一であると認証された場合、アプリケーション制御部１１１により、車両１のキーが開錠される。アプリケーション制御部１１１には、パターンマッチング部３０５により人物の特定の結果と、無線タイプのキーから送信される認証信号の照合の結果に基づき、車両１の開錠及び施錠を制御する。
【００６３】
次に本例の制御内容及び制御手順を、図１３を用いて説明する。図１３は、本例の制御手順を示すフローチャートである。
【００６４】
ステップＳ１〜ステップＳ８の制御内容は、第１実施形態に係る撮像装置の制御内容である、ステップＳ１〜ステップＳ８と同様であるため、省略する。
【００６５】
ステップＳ８１にて、パターンマッチング部３０５により、特定された人物が、個人特徴量データベース３０１に登録されていると判断されると、ステップＳ８２に進む。図１３に示す場合、ドライバー１０２が、ステップＳ８により、登録された人物である、と特定される。
【００６６】
そして、ステップＳ８２にて、特定された人物が、運転席側のドアに前に立っているか否かが判断される。特定された人物の位置は、ステップＳ３にて特定された、カメラ１０１の撮像方向から、把握される。
【００６７】
特定された人物が、運転席側のドアに前に立っていると判断された場合、ステップＳ８２にて、特定された人物が車両１用のキーを持っていれば、ドアのキーが開錠される。なお、特定された人物がキーを持っているか否かについては、車両１のシステムが、例えば無線タイプのキーから送信される認証信号の照合により、判断される。
【００６８】
一方、ステップＳ８１にて、パターンマッチング部３０５により、特定された人物が、個人特徴量データベースに登録されていないと判断された場合、及び、ステップＳ８２にて、特定された人物が運転席側のドアに前に立っていないと判断された場合は、本例の制御処理を終了する。
【００６９】
上記のように、本例は、補正された特徴量に基づき、車両外の人物を特定し、個人認証を行い、キーの開錠制御を行う。これにより、本例は、信頼性の高い、エントリーシステムを提供することができる。
【００７０】
《第４実施形態》
発明の他の実施形態に係る撮像装置を、図１４〜１７を用いて説明する。本例は上述した第１実施形態に対して、被写体の特徴量から、被写体が向いている方向を検出する点が異なる。これ以外の構成で上述した第１実施形態と同じ構成は、その記載を適宜、援用する。図１４は、本発明の撮像装置を備えた車両を模式化した平面図あり、図１５は、本発明の撮像装置のシステムを示すブロック図である。図１６は、本例の撮像装置を用いた、通信システムを示す概略図である。図１７は、車両１がある交差点に停車した状態を示す概略図である。
【００７１】
図１４に示すように、ドライバー１０２は、運転席に座っているが、点線の矢印で示すように、正面とは異なり、助手席側のフロントウインカー１０５の方向を向いている。
【００７２】
図１５に示すように、本例のカメラ１０１は、顔角度検出部５０１を有する。顔角度検出部５０１は、パターンマッチング部３０５により特定された人物の顔の角度を、当該人物の特徴点４０から検出する。情報提供部５０２は、顔角度検出部５０１により検出された、人物が向いている方向に応じて、ドライバー１０２に情報を提供する。
【００７３】
情報提供部５０２には、外部との通信装置が設けられ、図１６に示すように、情報提供部５０２は、ネットワーク５０３を介して、サーバ５０４と通信を行う。サーバ５０４には、データベース５０５が設けられる。データベース５０５には、地図上における車両の現在の位置を基準として、顔角度検出部５０１により検出される、人物が向いている方向を記録することができる。また、データベース５０５には、道路情報だけではなく、道路の周囲の看板、店、観光案内に関する情報が記録されている。例えば、図１７に示すように、ある交差点において、車両１の停止位置の周囲の情報として、信号６０１、停止線６０２及び広告用看板６０３等に関する案内情報が、データベース５０５に保存される。
【００７４】
次に、図１８を用いて、本例の制御内容及び制御手順を説明する。ステップＳ１〜ステップＳ９の制御内容は、第１実施形態に係る撮像装置の制御内容である、ステップＳ１〜ステップＳ８９同様であるため、省略する。
【００７５】
ステップＳ９にて、人物が特定された後、ステップＳ３にて特定された撮像方向の角度を固定化した状態で、任意のタイミングで人物の顔部分を撮影する（Ｓ１０１）。人物は必ずしも正面を向いていないため、カメラ１０１の撮像方向に対する、人物が向いている方向の角度は、角度α及び角度βとはならない。
【００７６】
次に、ステップＳ１０２にて、ステップＳ１０１の撮像画像から、人物の特徴点４０が検出され、特徴量が演算される。なお、特徴点４０の抽出方法及び特徴量の演算方法は、ステップＳ６の方法と同様である。
【００７７】
ステップＳ１０３にて、顔角度検出部５０１は、ステップＳ１０２により抽出された特徴量を、ステップＳ８で使用した補正パラメータで補正する。そして、補正された特徴量と、ステップＳ８の特徴量のずれを演算する。
【００７８】
ここで、特徴量のずれについて説明する。ステップＳ８により補正された特徴量は、図４ｂに示すように、画像において、正面の顔の特徴量に相当する。一方、ステップＳ１０３により補正された特徴量は、当該画像において、正面に対して傾いた顔の特徴量に相当する。そして、この顔の傾きは、固定されたカメラ１０１の撮像方向に対して、人物が向いている方向に相当する。そのため、ステップＳ１０３による、特徴量のずれを演算することで、人物が向いている方向を特定することができる。
【００７９】
そして、ステップＳ１０４にて、当該特徴量のずれに基づき、人物が向いている方向を検出する。
【００８０】
次に、ステップＳ１０４により検出された、人物が向いている方向を用いた、情報提供部５０２の制御内容について、図１５〜図１７を用いて説明する。情報提供部５０２は、顔角度検出部５０１から、人物の顔が向いている方向に関する情報を受けとると、当該情報及び車両１の現在の位置情報を、ネットワークを介して、サーバ５０４に送信する。サーバ５０４は、データベース５０５を参照して、これら情報に対応する案内情報を、情報提供部５０２へ送信する。例えば、図１７に示すように、車両１が停止線６０２の位置で停止、ドライバー１０２が、広告用看板６０３の方向を向いていたとする。この場合、サーバ５０４は、広告用看板６０３に関する案内情報（例えば、広告用看板６０３が宿泊施設の広告である場合、当該宿泊施設の空き情報など）を、車両１に送信する。そして、情報提供部５０２は、案内情報を、図示しないスピーカから音声で出力し、ドライバー１０２に提供する。
【００８１】
なお本例は、車両１の位置及び人物が向いている方向に応じて、観光地等における道案内の情報などの観光情報や、事故多発場所等の警告情報を送受信し、乗員に情報を提示してもよい。
【００８２】
また本例は、顔角度検出部５０１により検出される、人物が向いている方向に関する情報を、データベース５０５に蓄積して記録してもよい。これにより、車両１の所定の位置において、ドライバー１０２が、よく向いている方向を特定することができる。
【００８３】
上記のように本例は、顔角度検出部５０１により、人物の顔の向いている方向を検出する。これにより、本例は、検出された人物の顔の向いている方向に応じて、被写体に対して、情報の提示などを行うことができ、より快適な車両環境を提供することができる。
【００８４】
また本例は、人物を特定した後、当該人物の特徴点４０に応じて、人物の顔の向いている方向を検出する。これにより、本例は、人物の顔の向いている方向を精度よく検出することができる。
【００８５】
なお、本例は、補正後の特徴量のずれに応じて、人物が向いている方向を検出するが、補正前である、ステップＳ６の特徴量とステップＳ１０２の特徴量のずれに応じて、人物が向いている方向を検出してもよい。
【００８６】
また、顔認識用テーブル３１２には、複数の特定の角度と、画像において顔を正面に向けるよう特徴点４０を移動させるための補正パラメータとが対応づけて記録されている。本例のステップＳ８により、画像において、正面の顔の特徴点４０に相当する、特徴点４０の座標上の位置（以下、「正面顔の特徴点の位置」と称す。）が分かっている。そして、ステップＳ１０２により抽出された特徴点４０の位置を、正面顔の特徴点の位置に一致させるための移動量は、顔認識用テーブル３１２の補正パラメータに相当する。そのため、本例の顔角度検出部５０１は、顔認識用テーブル３１２を参照し、ステップＳ８により補正された特徴量と、ステップＳ１０２により抽出された特徴量から、人物が向いている方向を検出してもよい。
【００８７】
なお本例の顔角度検出部５０１が、本発明の「方向検出手段」に相当し、情報提供部５０２が「情報提供手段」に相当する。また顔角度検出手段５０１は、パターンマッチング部３０５の一部としてもよい。
【符号の説明】
【００８８】
１…車両
１０１…カメラ
１０２…ドライバー
１０３…インストルメントパネル
１０４…ヘッドレスト
１０５…フロントウインカー
１１１…アプリケーション制御部
１１２…個人用データベース
３０１…撮像部
３０２…画像処理部
３０３…特徴量抽出部
３０４…特徴量補正部
３０５…パターンマッチング部
３０６…外部入出力インターフェイス
３０７…カメラ制御部
３０８…補正情報処理部
３０９…個人特徴量データベース
３１０…補正情報保管用データベース
３１１…カメラ用テーブル
３１２…顔認識用テーブル
４０…特徴点
４０１…特徴点
４０２…特徴点
５０１…顔角度検出部
５０２…情報提供部
５０３…ネットワーク
５０４…サーバ
５０５…データベース
６０１…信号
６０２…停止線
６０３…看板
８０１…カメラ
９０２…助手席乗員
９０４…ヘッドレスト
【技術分野】
【０００１】
本発明は、撮像装置及び被写体の検出方法に関するものである。
【背景技術】
【０００２】
撮像した画像中から対象物体が写っている領域を特定し、当該領域に写っている対象物体の特徴と、予め格納された人の顔画像の特徴を示すテンプレートデータとを比較し、一致しているか否かを判定することで、前記対象物体を検出するカメラ装置が知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−２３６２７６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記カメラ装置の位置、カメラ装置の撮影方向及び対象物体の向きによって、カメラ装置の撮像手段の撮影方向に対して対象物体の向きが変わるため、対象物体に含まれる特徴点に位置ずれが生じ、対象物体を精度よく検出できない可能性があった。
【０００５】
本発明が解決しようとする課題は、対象物体の認識精度を高めることができる撮像装置及び検出方法を提供することである。
【課題を解決するための手段】
【０００６】
本発明は、撮像手段の撮像方向に対して被写体が向いている被写体方向を取得すし、被写体方向に応じて被写体の特徴点を補正し、補正された特徴点に応じて、被写体を検出することにより、上記課題を解決する。
【発明の効果】
【０００７】
本発明によれば、撮像手段の撮像方向に応じて、被写体方向及び当該被写体方向に基づく特徴量の補正値が特定され、補正された特徴量に応じて被写体を検出するため、被写体が撮像手段の撮像方向を向いていない状態で撮像された画像からでも、被写体を精度よく検出することができる。
【図面の簡単な説明】
【０００８】
【図１】（ａ）は発明の実施形態に係る撮像装置を備えた車両を模式化した平面図、（ｂ）は（ａ）の要部側面図である。
【図２】図１のカメラの斜視図である。
【図３】発明の実施形態に係る撮像装置のブロック図である。
【図４ａ】図１のカメラによる撮像画像の概略図である。
【図４ｂ】図１のカメラによる撮像画像を補正した後の画像の概略図である。
【図５】図３のカメラ用テーブルに格納されるテーブルである。
【図６】図３の顔認識用テーブルに格納されるテーブルである。
【図７】図３の撮像装置の制御手順を示すフローチャートである。
【図８】図１の他のカメラの斜視図である。
【図９】発明の他の実施形態に係る撮像装置を備えた車両を模式化した平面図である。
【図１０】発明の他の実施形態に係る撮像装置のブロック図である。
【図１１】図９のカメラを含む撮像装置の制御手順を示すフローチャートである。
【図１２】発明の他の実施形態に係る撮像装置を備えた車両を模式化した平面図である。
【図１３】発明の他の実施形態に係る撮像装置の制御手順を示すフローチャートである。
【図１４】発明の他の実施形態に係る撮像装置を備えた車両を模式化した平面図である。
【図１５】発明の他の実施形態に係る撮像装置のブロック図である。
【図１６】図１５の撮像装置を用いた、通信システムの概略図である。
【図１７】図１４の車両が交差点に停車した状態を示す概略図である。
【図１８】図１６の撮像装置の制御手順を示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態を図面に基づいて説明する。
【００１０】
《第１実施形態》
図１は、本発明の撮像装置を備えた車両を示し、（ａ）は当該車両を模式化した平面図、（ｂ）は（ａ）の要部側面図を示す。以下、本例の撮像装置を車両に搭載した場合について説明するが、本例の撮像装置は、車両以外に搭載してもよい。
【００１１】
図１に示すように、車両１には、カメラ１０１がインストルメントパネル１０３上であって助手席の前方に設けられる。ドライバー１０２は、車両１を運転しており、車両１０１の進行方向に対して視線を向けている。ドライバー１０２の頭部の後方にはヘッドレスト１０４が設けられる。ヘッドレスト１０４は、車両１の運転席のヘッドレストであり、ドライバー１０２の頭部を支えている。図１（ａ）に示すように、カメラ１０１は、被写体であるドライバー１０２の顔の方向を向いており、ヘッドレスト１０４の正面から約１５〜２０ｃｍ、前方に離れた位置に向いている。一方、ドライバー１０２は通常、正面を向いており、カメラ１０１側を向いていない。そのため、カメラ１０１の撮像方向、言い換えるとカメラ１０１に含まれるレンズの光軸方向と、ドライバー１０２が向いている方向とは、対向していない。車両１の平面方向において、カメラ１０１の撮像方向に対する、ドライバー１０２が向いている方向の角度をαとする。
【００１２】
また、図１（ｂ）に示すように、車両１の側面方向においても、カメラ１０１の撮像方向、言い換えるとカメラ１０１に含まれるレンズの光軸方向と、ドライバー１０２が向いている方向とは、対向していない。車両１の側面方向において、カメラ１０１の撮像方向に対する、ドライバー１０２が向いている方向の角度をβとする。つまり、角度α及び角度βを用いて、カメラ１０１の撮像方向とドライバー１０２が向いている方向と関係を表すと、水平方向において、ドライバー１０２は、カメラ１の撮像方向に対して角度αをなす方向を向いており、垂直方向において、ドライバー１０２は、カメラ１の撮像方向に対して角度βをなす方向を向いている。このように、本例において、車両１の運転中、ドライバー１０２の頭部は、ヘッドレスト１０４に触れる位置にあり、カメラ１０１がドライバー１０２を撮像する際、カメラ１０１の撮像方向は、ほぼ一定の角度に保たれる。そして、カメラ１０１の設置位置及びドライバー１０２の頭の位置（ヘッドレスト１０４の位置）が予め決められているため、カメラ１０１の撮像方向に対するドライバー１０２が運転中に向いている方向は、角度α及び角度βにより、特定される。
【００１３】
カメラ１０１は、可動式の撮像装置であり、撮影する方向を変えて、車両内及び車両外を撮影し、例えば図２に示すように、１個のカメラを搭載した可動するタイプである。図２は、カメラ１０１の斜視図である。カメラ１０１は、インストルメントパネル１０５に埋め込ませてもよく、インストルメントパネル１０５上に搭載してもよい。またカメラ１０１は、後述するように、画像認識機能を有しており、ドライバー１０２を含め特定の人物を認識することができる。
【００１４】
次に、図３を用いて、カメラ１０１のシステムを説明する。図３は、カメラ１０１のシステムを示すブロックである。撮像部３０１は、レンズ（図示しない）、撮像素子（図示しない）等を有し、撮像装置としての基本構成部分であり、ドライバー１０２からの光束を光電変換した画像信号として、ドライバー１０２を捕らえる。図１に示す状態において、撮像部３０１により撮像された撮像画像を図４ａに示す。図４ａは、ドライバー１０２の撮像画像である。ドライバー１０２は、カメラ１０１の方向とは異なり、車両１の進行方向を向いているため、撮像画像において、図４ａに示すように、ドライバー１０２は正面を向いていない。特徴点４０は、人の顔の特徴的な部分を示し、特徴点４０１は、ドライバー１０２の目を、特徴点４０２は顔の輪郭を示す。特徴点４０は、後述するように、顔認識のために用いられ、顔の部位又は輪郭を示している。また撮像部３０１は、カメラ制御部３０７からの制御信号に基づき、撮像方向を変え、また当該制御信号に基づき、かつ、顔の部分にズームさせ、ドライバー１０２の顔に焦点を合わせて撮像する。
【００１５】
本例のシステムは、後述するように、人物が存在するか否かを特定する機能及び特定の人物を認識する機能を有する。そのため、撮像部３０１は、カメラ１０１の固定位置を中心に、周囲に向けて回動しつつ画像を撮影し、また特定の部分に対してズームアップして撮影する。
【００１６】
画像処理部３０２は、撮像部３０１で撮像した撮像画像を処理する部分であり、当該撮像画像の明るさ、色調等の画像パラメータを補正し、撮像画像を処理する。また画像処理部３０２により撮像画像を補正するための補正情報は、後述する補正情報処理部３０８から送信され、画像処理部３０２は、当該補正情報に基づき、画像を補正する。
【００１７】
特徴量抽出部３０３は、画像処理部３０２により補正された画像から、特徴点４０のパラメータである特徴量を抽出する。特徴量には、特徴点４０の位置を示す座標パラメータ及び特徴点４０の明るさ、色彩を示すパラメータ等が含まれる。また特徴量抽出部３０３は、特徴点４０の有無から、人物が存在するか否かを判定する。
【００１８】
特徴量補正部３０４は、特徴量抽出部３０３により抽出された特徴量を、補正情報処理部３０８から送信される補正情報を用いて、補正する。特徴補正部３０４により補正された画像を、図４ｂに示す。図４ｂは、ドライバー１０２の顔画像であり、補正後の画像である。図４ａに示すように、ドライバー１０２は撮像３０１の撮像方向を向いていないため、撮像画像に写るドライバー１０２は、正面を向いていない。その一方で、上記の通り、撮像部３０１の撮像方向に対してドライバーが向いている方向は、角度α及び角度βにより特定されるため、本例は、当該角度α及び角度βに応じて、図４ａの画像を、図４ｂに示す画像に補正する。これにより、特徴量に基づく、人物の認識精度を高める。
【００１９】
カメラ制御部３０７は、撮像部３０１の状態を管理しており、撮像部３０１が回動する角度を検出し、当該角度を含む、撮像部３０１の状態を示す信号を、補正情報制御部３０８に送信する。これにより、カメラ１０１が向いている撮像方向が検出され、補正情報処理部３０８に送信される。また、撮像方向に対しドライバー１０２が向いている方向は、撮像方向を検出することにより、特定される。
【００２０】
補正情報処理部３０８は、補正情報保管用データベース３１０に記録されているデータから、補正情報を抽出し、画像処理部３０２及び特徴量３０４に、当該補正情報を送信する。また補正情報制御部３０８は、撮像部１０１の角度及びズーム範囲等を含む制御信号をカメラ制御部３０７へ送信する。
【００２１】
補正情報保管用データベース３１０は、カメラ用のテーブル３１１と、顔認識用のテーブル３１２を有する。カメラ用テーブル３１１は、図５に示すように、角度α及び角度βとカメラパラメータとを対応づけて格納する。図５は、カメラ用テーブル３１１に格納されるテーブルを示す概略図である。テーブルに格納される角度には、カメラの固定位置に対して運転席の顔部分を示す角度、カメラの固定位置に対して助手席の顔部分を示す角度、カメラの固定値に対して運転席の窓方向を示す角度である、特定の角度が記録されており、走行時にドライバー１０２が通常向いている正面方向を基準とする角度により、記録されている。なお、角度の基準となる方向は、当該正面方向以外であってもよい。カメラパラメータは、例えばカメラ１０１のズーム倍率、オートフォーカス用の焦点レンズ（図示しない）の位置、ホワイトバランス等の数値であり、ドライバー１０２や助手席側の人物の顔部分に対してズームアップをして、焦点を合わせるためのパラメータであって、補正情報に相当する。
【００２２】
顔認識用のテーブル３１２は、図６に示すように、角度α及びβと、顔の特徴量の補正パラメータとを対応づけて、格納する。図６は、顔認識用テーブル３１２に格納されるテーブルを示す概略図である。顔の特徴量の補正パラメータとは、例えば、撮像画像上における目の位置座標、顎の位置座標、目や顎の明るさや色調等を補正するための値であって、補正情報に相当する。Ｘは撮像画像の縦軸を示し、Ｙは撮像画像の縦軸を示す。Ｘ、Ｙのそれぞれに対応する数値は、座標メモリ上の移動量を示す。図４ａ及び図４ｂに示すように、撮像部３０１により撮像される画像に含まれる特徴点の位置と、正面を見た人物の特徴点の位置は、ずれており、ずれの量は、撮像方向に対してドライバーが向いている方向に基づいて、特定される。そのため、本例の顔認識用テーブル３１２には、角度α及びβに対する、特徴量の位置ずれの量が、補正パラメータとして格納される。
【００２３】
図３に戻り、パターンマッチング部３０５は、特徴量補正部３０４により補正された特徴量と、個人特徴量データベース３０９に記録されている特徴量とを比較し、個人特徴量データベース３０９に登録されている人物に合致するか否かを判断し、撮像画像に撮影された人物を特定する。
【００２４】
外部入出力インターフェイス３０６は、パターンマッチング３０５の判別結果を、外部に出力する。外部に出力された判別結果は、例えばドライバー１０２毎又は助手席側の人物後に合ったコンテンツを提供する際に用いられる。
【００２５】
個人特徴量データベース３０９には、予め登録されている人物の特徴量が記録されている。人物の特徴量の登録について、例えば、登録したい人物が撮像部３０１の方向を向いて撮影をし、撮像画像から特徴量を抽出して、個人特徴量データベース３０９に保存する。または、自宅のＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、携帯電話、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、記録メディア等に保存されている画像データを、外部入出力インターフェイス３０６により、本例のシステムに取り込んで、特徴量を記録してもよく、またインターネット等から転送される画像データを外部入出力インターフェイス３０６により取り込み、当該画像データから特徴量を記録してもよい。
【００２６】
次に、本例のカメラ１０１のシステムにおける、制御内容について説明する。まず、撮像部３０１は、可動しつつ撮影し、画像情報を、画像処理部３０２を介して特徴量抽出部３０３へ送信し、撮像部３０１の角度の情報を、カメラ制御部３０７を介して、補正情報処理部３０８へ送信する。特徴量抽出部３０３は、撮像画像から、人物が写っているか否かを判定する。人物の有無は、顔の特徴点４０の有無から判断される。カメラ制御部３０７は、特徴量抽出部３０３の判断結果から、人物が写った時の角度を特定し、当該角度で撮像部３０１を固定する。
【００２７】
また補正情報処理部３０８は、人物が写った時の角度に対応するカメラパラメータ及び顔の特徴量の補正パラメータを補正情報保管用データベース３１０から抽出し、画像処理部３０２、カメラ制御部３０７及び特徴量補正部３０４へ送信する。
【００２８】
カメラ制御部３０７は、補正情報処理部３０８から送信されるカメラパラメータに基づき、撮影対象を特定し、撮像部３０１により撮像する。当該撮像画像の焦点は、顔に合っており、撮影範囲は、人物の顔部分にズームアップされている。これにより、本例は、人物を特定した角度に応じて、人物の顔部分に焦点を合わせるため、精度のよい顔画像を撮影することができ、顔の特徴量の検出精度を高めることができる。
【００２９】
また画像処理部３０２は、顔部分の撮像画像から、補正情報処理部３０８から送信されるカメラパラメータを用いて、画像処理を行う。画像処理部３０２による画像処理は、特徴量を抽出し易い画像にするために、顔部分の撮像画像の明るさや色調等を処理する。これにより、本例は、人物を特定した角度に応じて、画像処理を行うため、それぞれの角度に合わせた処理パラメータを用いて画像処理を行うことができ、精度のよい顔画像に処理することができ、顔の特徴量の検出精度を高めることができる。
【００３０】
特徴量抽出部３０３は、画像処理部３０２により処理された画像から、特徴点４０を抽出し、当該特徴点から特徴量を演算する。次に、特徴量補正部３０４は、補正情報処理部３０８から送信される補正パラメータを用いて、特徴量を補正する。これにより、図４ａに示す特徴点４０１及び特徴点４０２の位置及び色調等が補正され、図４ｂに示す特徴点４０１及び特徴点４０２となる。なお、図４ｂは、説明のために顔部分の全体を描写している。
【００３１】
そして、パターンマッチング３０５は、補正された特徴量と、個人特徴量データベース３０９に記録されている特徴量とを比較し、登録されている人物に合致するか否かを判断し、撮像画像に撮影された人物を特定する。
【００３２】
次に、本例の制御手順を、図７を用いて説明する。図７は、本例の撮像装置の制御手順を示すフローチャートである。
【００３３】
ステップＳ１にて、撮像部３０１は、可動し、周囲を撮影する。ステップＳ２にて、特徴量抽出部３０３は、撮像画像から人物の特徴点４０を有するか否かを判定し、人物の有無を判定する。人物が写っていないと判定された場合は、ステップＳ１に戻り、撮像部３０１による撮影を続ける。一方、人物が写っていると判断される場合、ステップＳ３にて、人物が写っていると判断される時の、撮像部３０１の撮像方向の角度を特定する。図１に示す場合では、人物としてドライバー１０２が特定され、角度α及び角度βが、当該撮像方向の角度として、特定される。
【００３４】
次に、ステップＳ４にて、補正情報処理部３０８は、補正情報保管用データベース３１０を参照し、ステップＳ３にて特定された角度に対応するカメラパラメータがあるか否かを判定する。カメラパラメータがカメラ用テーブル３１１に存在しない場合、ステップＳ６に進む。
【００３５】
ここで、カメラパラメータが補正情報保管用データベース３１０に存在しない場合について、説明する。例えば、人混みの付近に車両を止め、車両の周囲が多くの人がいる場合、カメラ１０１は、補正情報保管用データベース３１０に記録していない角度の位置で、人物を撮影し、当該人物を認識する場合がある。この場合、本例のシステムにより人物を特定する必要はないため、補正情報保管用データベース３１０に、当該角度は特定の角度として、記録されていない。
【００３６】
一方、ステップＳ３にて特定された角度に対応するカメラパラメータがある場合、カメラ制御部３０７は、対応するカメラパラメータに応じて、人物の顔部分を撮影する（ステップＳ５）。なお、図１に示す場合、角度α及び角度βに対応するカメラパラメータのズームは２．０倍を示すため（図５を参照）、２．０倍のズームで、人物の顔部分を撮影する。
【００３７】
次に、ステップＳ６にて、特定された角度に対応するカメラパラメータがない場合は、ステップＳ１にて撮影された撮像画像から特徴点４０を抽出し、特定された角度に対応する補正パラメータがある場合は、ステップＳ５にて撮影された撮像画像から特徴点４０を抽出する。ステップＳ７にて、補正情報処理部３０８は、補正情報保管用データベース３１０を参照し、ステップＳ３にて特定された角度に対応する補正パラメータがあるか否かを判断する。補正パラメータが顔認識用テーブル３１２に存在しない場合、特徴量は補正されず、ステップＳ９へ進む。
【００３８】
一方、ステップＳ３にて特定された角度に対応するカメラパラメータがある場合、特徴量補正部３０４は、対応する補正パラメータに応じて、特徴量を補正する（ステップＳ８）。なお、図１に示す場合、角度α及び角度βに対応する補正パラメータの「目（左目）」はＸ：１．０、Ｙ：１．０を示し、「顎」はＸ：−１．１、Ｙ：０．０を示す。特徴量補正部３０４は、補正前の特徴量の中で、左目の位置座標（例えば、Ｘ：１０．０ Ｙ：１２．０）を、補正パラメータの数値分（Ｘ：１．０、Ｙ：１．０）移動させ、補正後の位置座標（例えば、Ｘ：１１．０ Ｙ：１３．０）とする。他の特徴点についても、同様に座標位置を補正する。
【００３９】
そして、パターンマッチング部３０５は、個人特徴量データベース３０９を参照し、特定された角度に対応する補正パラメータがない場合は、ステップＳ６にて抽出された特徴量に基づき、人物を特定し、特定された角度に対応する補正パラメータがある場合は、ステップＳ８にて補正された特徴量に基づき、人物を特定する（ステップＳ９）。
【００４０】
上記のように本例は、カメラ１０１の撮像方向に対して、人物が向いている方向を特定し、当該方向に応じて、カメラ１０１の撮像画像に含まれる特徴点４０の特徴量を補正し、補正された特徴量に応じて人物を特定する。これにより、本例は被写体の認識精度を高めることができる。
【００４１】
またカメラ１０１の設置位置は固定されているが、被写体の位置は１点に固定されていないため、被写体の位置に応じて、カメラ１０１から被写体までの距離はかわってしまう。しかし、本例は、限られた空間内において、被写体がカメラ１０１の設置位置及びカメラ１０１の撮像方向における被写体までの距離を予め想定することができるため、撮像方向に対して被写体が向いている方向に応じて、カメラパラメータ及び特徴量の補正パラメータを補正情報保管用データベース３１０に、予め保存する。これにより、本例は、被写体の位置を特定することで被写体が向いている方向を特定し、被写体が向いている方向に応じて、カメラパラメータを用いて撮影するため、特徴点４０を抽出し易い画像を撮像することができ、被写体の認識精度を高めることができる。
【００４２】
また本例は、被写体の位置を特定することで撮像方向に対して被写体が向いている方向を特定し、当該被写体が向いている方向に応じて、補正パラメータを用いて特徴量を補正し、補正された特徴点４０から被写体を特定する。これにより、カメラ１０１により撮像される画像において、被写体が正面を向いておらず、特徴点４０がずれている場合であっても、被写体が向いている方向に応じて、特徴点４０のずれを補正することができ、被写体の認識精度を高めることができる。
【００４３】
なお、本例は、１個のカメラを搭載したカメラを、カメラ１０１に用いたが、図８に示すように、２個のカメラを搭載したカメラ８０１でもよい。図８は、カメラ８０１の斜視図であり、図８の矢印は可動方向を示す。
【００４４】
また、本例において、特徴量抽出部３０３は、特徴量を抽出する際、補正情報保管用データベース３１０から補正情報処理部３０８により抽出される情報を用いて、特徴量を抽出してもよい。この際、補正情報保管用データベース３１０には、撮像部３０１の撮像方向に応じて、特徴量を抽出する位置や特徴点を識別するための色調等に関するデータを対応づけて保存しておく。そして、特徴量抽出部３０３は、補正前の撮像画像から、当該データを参照し、特徴点を抽出し特徴量を演算してもよい。
【００４５】
なお、本例の撮像部３０１が本発明の「撮像手段」に相当し、特徴量抽出部４０３が「特徴点抽出手段」に、パターンマッチング部３０５が「検出手段」に、カメラ制御部３０７が「方向取得手段」に、特徴量補正部３０４は「特徴量補正手段」に、顔認識用テーブル３１２が「第１のデータベース」に、カメラ用テーブル３１１が「第２のデータベース」に、個人特徴量データベース３０９が「記録手段」に、画像処理部３０２が「画像補正手段」に、外部入出力インターフェイス３０６が「取得手段」に相当し、カメラ１０１の撮像方向に対して被写体が向いている方向が「被写体方向」に相当する。
【００４６】
《第２実施形態》
発明の他の実施形態に係る撮像装置を、図９及び１０を用いて説明する。本例は上述した第１実施形態に対して、アプリケーション制御部１１１、個人用データベース１１２を備え、助手席に人が乗っている点が異なる。これ以外の構成で上述した第１実施形態と同じ構成は、その記載を適宜、援用する。図９は、本発明の撮像装置を備えた車両を模式化した平面図を示し、図１０は、本発明の撮像装置のシステムのブロック図を示す。
【００４７】
図９に示すように、助手席乗員９０２は、助手席に座っており、車両１の進行方向に対して視線を向けている。助手席乗員９０２の頭部の後方にはヘッドレスト９０４が設けられる。ヘッドレスト９０４は、車両１の運転席のヘッドレストであり、助手席乗員９０２の頭部を支えている。
【００４８】
図１０に示すように、本例の撮像装置のシステムには、アプリケーション制御部１１１及び個人用データベース１１２が設けられる。個人用データベース１１２には、予め登録されている人物の好みに合わせて、起動させるアプリケーション（例えば、ＴＶ、ラジオ、音楽プレーヤーなどの車載器で使用されるアプリケーション）及びソフトウェア（アプリケーションに含まれる、映画ソフト、音楽ソフトなど）が、登録された人物毎に対応させて、テーブルとして保存されている。起動させるアプリケーションは、任意に設定を変えることができる。また、個人用データベース１１２には、予め登録されている人物の感情と特徴点４０とが対応づけて、記録されている。当該感情とは、例えば人物の怒り、笑い等であり、顔の表情により区別される。そして、顔の表情は、口の大きさや目や眉毛の位置などから推定され、特徴点４０から推定される。また、個人用データベース１１２に保存されているソフトウェアは、人物の感情とも対応づけされ、保存されている。例えば怒りの感情に対しては、怒りを静めるために穏やかな楽曲を収録した音楽ソフトが対応づけられ、笑いに対しては、明るい楽曲を収録した音楽ソフトが対応づけられている。
【００４９】
感情を推定するための特徴量の登録又は更新は、登録したい人物が撮像部３０１の方向を向いて撮影をし、撮像画像から特徴量を抽出して、個人用データベース１１２に保存する。
【００５０】
アプリケーション制御部１１１は、個人用データベース１１２を参照して、パターンマッチング３０５により特定された人物に対応するアプリケーションを特定し、当該アプリケーションを起動させる。またアプリケーション制御部１１１は、パターンマッチング３０５により特定された人物と当該人物の特徴量から、人物の感情を推定し、起動するアプリケーションの中で、推定された感情に対応するソフトウェアを実行する。
【００５１】
撮像部３０１は、運転席及び助手席を含む空間内に存在する人物（被写体）を撮影するために、一定の可動域で、動作し、当該一定の可動域において、所定の周期で撮像を繰り返す。これにより、撮像部３０１は、ドライバー１０２及び助手席乗員９０２を撮像する。
【００５２】
次に本例の制御内容及び制御手順を、図１１を用いて説明する。図１１は、本例の制御手順を示すフローチャートである。
【００５３】
ステップＳ１、ステップＳ３〜ステップＳ９の制御内容は、第１実施形態に係る電池制御部６の制御内容である、ステップＳ１、ステップＳ３〜ステップＳ９と同様であるため、省略する。
【００５４】
ステップＳ７１にて、カメラ制御部３０７は、撮像部３０１により撮像された撮像画像から、人物を特定する。撮像部３０１により撮影された画像は、限られた空間内を一通り撮像するため、カメラ制御部３０７は、一通り撮影された画像のなから、人物が写っているか否かを判定する。図９に示す場合、カメラ制御部３０７は、ドライバー１０２と助手席乗員９０２を、それぞれ特定する。そして、ステップＳ３〜ステップＳ９の制御処理は、特定されたドライバー１０２及び助手席乗員９０２について行う。
【００５５】
ステップＳ７２にて、アプリケーション制御部１１１は、個人用データベース１１２を参照し、特定された人物が、個人用データベースに登録されているか否かを判定する。
【００５６】
人物が登録されない場合、ステップＳ７３にて、アプリケーション制御部１１１は、当該人物を新規に登録するか否かのメッセージを表示部（図示しない）に表示する。そして、アプリケーション制御部１１１は、新規に登録しない旨の制御信号を受信した場合、本例の処理を終了する。一方、アプリケーション制御部１１１は、新規に登録する旨の制御信号を受信した場合、ステップＳ７４にて、個人用データベース１１２に、登録されていなかった人物に関するデータを更新する。個人用データベース１１２において、登録されていなかった人物と、当該人物の特徴量とが、対応づけられ、新規に登録される。またアプリケーション及びソフトウェアも新規に登録される。アプリケーション及びソフトウェアの登録は、例えばアプリケーション制御部１１１により、新規の人物に対して登録するアプリケーション又はソフトウェアを選択させ、感情を推定する際に使用される特徴量を抽出すために、新規の人物に対して画像の撮影を促す。そして、撮影された画像から、アプリケーション制御部１１１は、各感情と特徴量を対応づけて、個人用データベース１１２を更新する。
【００５７】
一方、人物が登録されている場合、ステップＳ７５にて、アプリケーション制御部１１１は、特徴量から、当該人物の感情を推定する。そして、ステップＳ７６にて、アプリケーション制御部１１１は、ステップＳ９にて特定された人物に対応するアプリケーションを起動し、ステップＳ７５にて推定された感情に対応するソフトウェアを実行する。
【００５８】
なお、ステップＳ７５にて感情が推定できない場合は、ステップＳ９にて特定された人物に対応するアプリケーションを起動させて、本例の制御処理を終了させてもよい。
【００５９】
上記のように、本例は、アプリケーション制御部１１１により、人物の感情を推定し、推定された感情に応じて、アプリケーション起動し、ソフトウェアを実行する。これにより、本例のシステムにより特定された人物の好みに合わせて、アプリケーション起動させ、ソフトウェアを実行させることができる。
【００６０】
なお、本例の「アプリケーション制御部１１１」は本発明の「感情推定手段」に相当する。
【００６１】
《第３実施形態》
発明の他の実施形態に係る撮像装置を、図１２を用いて説明する。本例は上述した第１実施形態に対して、車両外の人物を特定し、個人認証を行いキーの開錠を制御する点が異なる。これ以外の構成で上述した第１及び２実施形態と同じ構成は、その記載を適宜、援用する。図１２は、本発明の撮像装置を備えた車両を模式化した平面図を示す。
【００６２】
図１２に示すように、ドライバー１０２は、車両１の外側であって、車両１の運転席側のドアの前に立っている。カメラ１０１は、車両１内だけではなく、車両１の外部周辺も撮影する。そして、本例の撮像装置は、車両１の外部を撮影した画像に応じて、人物を特定する。特定された人物が、個人特徴データベース３０９に登録されている人物と同一であると認証された場合、アプリケーション制御部１１１により、車両１のキーが開錠される。アプリケーション制御部１１１には、パターンマッチング部３０５により人物の特定の結果と、無線タイプのキーから送信される認証信号の照合の結果に基づき、車両１の開錠及び施錠を制御する。
【００６３】
次に本例の制御内容及び制御手順を、図１３を用いて説明する。図１３は、本例の制御手順を示すフローチャートである。
【００６４】
ステップＳ１〜ステップＳ８の制御内容は、第１実施形態に係る撮像装置の制御内容である、ステップＳ１〜ステップＳ８と同様であるため、省略する。
【００６５】
ステップＳ８１にて、パターンマッチング部３０５により、特定された人物が、個人特徴量データベース３０１に登録されていると判断されると、ステップＳ８２に進む。図１３に示す場合、ドライバー１０２が、ステップＳ８により、登録された人物である、と特定される。
【００６６】
そして、ステップＳ８２にて、特定された人物が、運転席側のドアに前に立っているか否かが判断される。特定された人物の位置は、ステップＳ３にて特定された、カメラ１０１の撮像方向から、把握される。
【００６７】
特定された人物が、運転席側のドアに前に立っていると判断された場合、ステップＳ８２にて、特定された人物が車両１用のキーを持っていれば、ドアのキーが開錠される。なお、特定された人物がキーを持っているか否かについては、車両１のシステムが、例えば無線タイプのキーから送信される認証信号の照合により、判断される。
【００６８】
一方、ステップＳ８１にて、パターンマッチング部３０５により、特定された人物が、個人特徴量データベースに登録されていないと判断された場合、及び、ステップＳ８２にて、特定された人物が運転席側のドアに前に立っていないと判断された場合は、本例の制御処理を終了する。
【００６９】
上記のように、本例は、補正された特徴量に基づき、車両外の人物を特定し、個人認証を行い、キーの開錠制御を行う。これにより、本例は、信頼性の高い、エントリーシステムを提供することができる。
【００７０】
《第４実施形態》
発明の他の実施形態に係る撮像装置を、図１４〜１７を用いて説明する。本例は上述した第１実施形態に対して、被写体の特徴量から、被写体が向いている方向を検出する点が異なる。これ以外の構成で上述した第１実施形態と同じ構成は、その記載を適宜、援用する。図１４は、本発明の撮像装置を備えた車両を模式化した平面図あり、図１５は、本発明の撮像装置のシステムを示すブロック図である。図１６は、本例の撮像装置を用いた、通信システムを示す概略図である。図１７は、車両１がある交差点に停車した状態を示す概略図である。
【００７１】
図１４に示すように、ドライバー１０２は、運転席に座っているが、点線の矢印で示すように、正面とは異なり、助手席側のフロントウインカー１０５の方向を向いている。
【００７２】
図１５に示すように、本例のカメラ１０１は、顔角度検出部５０１を有する。顔角度検出部５０１は、パターンマッチング部３０５により特定された人物の顔の角度を、当該人物の特徴点４０から検出する。情報提供部５０２は、顔角度検出部５０１により検出された、人物が向いている方向に応じて、ドライバー１０２に情報を提供する。
【００７３】
情報提供部５０２には、外部との通信装置が設けられ、図１６に示すように、情報提供部５０２は、ネットワーク５０３を介して、サーバ５０４と通信を行う。サーバ５０４には、データベース５０５が設けられる。データベース５０５には、地図上における車両の現在の位置を基準として、顔角度検出部５０１により検出される、人物が向いている方向を記録することができる。また、データベース５０５には、道路情報だけではなく、道路の周囲の看板、店、観光案内に関する情報が記録されている。例えば、図１７に示すように、ある交差点において、車両１の停止位置の周囲の情報として、信号６０１、停止線６０２及び広告用看板６０３等に関する案内情報が、データベース５０５に保存される。
【００７４】
次に、図１８を用いて、本例の制御内容及び制御手順を説明する。ステップＳ１〜ステップＳ９の制御内容は、第１実施形態に係る撮像装置の制御内容である、ステップＳ１〜ステップＳ８９同様であるため、省略する。
【００７５】
ステップＳ９にて、人物が特定された後、ステップＳ３にて特定された撮像方向の角度を固定化した状態で、任意のタイミングで人物の顔部分を撮影する（Ｓ１０１）。人物は必ずしも正面を向いていないため、カメラ１０１の撮像方向に対する、人物が向いている方向の角度は、角度α及び角度βとはならない。
【００７６】
次に、ステップＳ１０２にて、ステップＳ１０１の撮像画像から、人物の特徴点４０が検出され、特徴量が演算される。なお、特徴点４０の抽出方法及び特徴量の演算方法は、ステップＳ６の方法と同様である。
【００７７】
ステップＳ１０３にて、顔角度検出部５０１は、ステップＳ１０２により抽出された特徴量を、ステップＳ８で使用した補正パラメータで補正する。そして、補正された特徴量と、ステップＳ８の特徴量のずれを演算する。
【００７８】
ここで、特徴量のずれについて説明する。ステップＳ８により補正された特徴量は、図４ｂに示すように、画像において、正面の顔の特徴量に相当する。一方、ステップＳ１０３により補正された特徴量は、当該画像において、正面に対して傾いた顔の特徴量に相当する。そして、この顔の傾きは、固定されたカメラ１０１の撮像方向に対して、人物が向いている方向に相当する。そのため、ステップＳ１０３による、特徴量のずれを演算することで、人物が向いている方向を特定することができる。
【００７９】
そして、ステップＳ１０４にて、当該特徴量のずれに基づき、人物が向いている方向を検出する。
【００８０】
次に、ステップＳ１０４により検出された、人物が向いている方向を用いた、情報提供部５０２の制御内容について、図１５〜図１７を用いて説明する。情報提供部５０２は、顔角度検出部５０１から、人物の顔が向いている方向に関する情報を受けとると、当該情報及び車両１の現在の位置情報を、ネットワークを介して、サーバ５０４に送信する。サーバ５０４は、データベース５０５を参照して、これら情報に対応する案内情報を、情報提供部５０２へ送信する。例えば、図１７に示すように、車両１が停止線６０２の位置で停止、ドライバー１０２が、広告用看板６０３の方向を向いていたとする。この場合、サーバ５０４は、広告用看板６０３に関する案内情報（例えば、広告用看板６０３が宿泊施設の広告である場合、当該宿泊施設の空き情報など）を、車両１に送信する。そして、情報提供部５０２は、案内情報を、図示しないスピーカから音声で出力し、ドライバー１０２に提供する。
【００８１】
なお本例は、車両１の位置及び人物が向いている方向に応じて、観光地等における道案内の情報などの観光情報や、事故多発場所等の警告情報を送受信し、乗員に情報を提示してもよい。
【００８２】
また本例は、顔角度検出部５０１により検出される、人物が向いている方向に関する情報を、データベース５０５に蓄積して記録してもよい。これにより、車両１の所定の位置において、ドライバー１０２が、よく向いている方向を特定することができる。
【００８３】
上記のように本例は、顔角度検出部５０１により、人物の顔の向いている方向を検出する。これにより、本例は、検出された人物の顔の向いている方向に応じて、被写体に対して、情報の提示などを行うことができ、より快適な車両環境を提供することができる。
【００８４】
また本例は、人物を特定した後、当該人物の特徴点４０に応じて、人物の顔の向いている方向を検出する。これにより、本例は、人物の顔の向いている方向を精度よく検出することができる。
【００８５】
なお、本例は、補正後の特徴量のずれに応じて、人物が向いている方向を検出するが、補正前である、ステップＳ６の特徴量とステップＳ１０２の特徴量のずれに応じて、人物が向いている方向を検出してもよい。
【００８６】
また、顔認識用テーブル３１２には、複数の特定の角度と、画像において顔を正面に向けるよう特徴点４０を移動させるための補正パラメータとが対応づけて記録されている。本例のステップＳ８により、画像において、正面の顔の特徴点４０に相当する、特徴点４０の座標上の位置（以下、「正面顔の特徴点の位置」と称す。）が分かっている。そして、ステップＳ１０２により抽出された特徴点４０の位置を、正面顔の特徴点の位置に一致させるための移動量は、顔認識用テーブル３１２の補正パラメータに相当する。そのため、本例の顔角度検出部５０１は、顔認識用テーブル３１２を参照し、ステップＳ８により補正された特徴量と、ステップＳ１０２により抽出された特徴量から、人物が向いている方向を検出してもよい。
【００８７】
なお本例の顔角度検出部５０１が、本発明の「方向検出手段」に相当し、情報提供部５０２が「情報提供手段」に相当する。また顔角度検出手段５０１は、パターンマッチング部３０５の一部としてもよい。
【符号の説明】
【００８８】
１…車両
１０１…カメラ
１０２…ドライバー
１０３…インストルメントパネル
１０４…ヘッドレスト
１０５…フロントウインカー
１１１…アプリケーション制御部
１１２…個人用データベース
３０１…撮像部
３０２…画像処理部
３０３…特徴量抽出部
３０４…特徴量補正部
３０５…パターンマッチング部
３０６…外部入出力インターフェイス
３０７…カメラ制御部
３０８…補正情報処理部
３０９…個人特徴量データベース
３１０…補正情報保管用データベース
３１１…カメラ用テーブル
３１２…顔認識用テーブル
４０…特徴点
４０１…特徴点
４０２…特徴点
５０１…顔角度検出部
５０２…情報提供部
５０３…ネットワーク
５０４…サーバ
５０５…データベース
６０１…信号
６０２…停止線
６０３…看板
８０１…カメラ
９０２…助手席乗員
９０４…ヘッドレスト
【特許請求の範囲】
【請求項１】
撮像手段と
前記撮像手段により撮像された撮像画像から被写体を検出する検出手段と、
撮像された画像から、被写体の特徴点を抽出する特徴点抽出手段と、
前記撮像手段の撮像方向に対して被写体が向いている被写体方向を取得する方向取得手段と、
前記被写体方向に応じて、前記特徴点を補正する特徴点補正手段とを備え、
前記検出手段は、前記特徴点補正手段により補正された特徴点に応じて、前記被写体を検出することを特徴とする撮像装置。
【請求項２】
前記方向取得手段は、前記被写体方向を、前記撮像手段が固定される位置に対する前記撮像方向により特定することを特徴とする請求項１記載の撮像装置。
【請求項３】
前記被写体方向と前記特徴点の補正パラメータとを対応づける第１のデータベースをさらに有し、
前記特徴点補正手段は、前記第１のデータベースを参照して、前記補正パラメータを用いて前記特徴点を補正することを特徴とする請求項１又は２記載の撮像装置。
【請求項４】
前記撮像手段の撮像方向と前記撮像手段の焦点検出位置とを対応づける第２のデータベースを有し、
前記撮像手段は、前記第２のデータベースを参照して、前記撮像方向に対応する焦点検出位置に基づき前記被写体を撮影することを特徴とする請求項１〜３のいずれか一項に記載の撮像装置。
【請求項５】
前記撮像手段は、所定の位置に固定されており、
前記検出手段は、前記撮像画像から被写体の位置を特定し、
前記撮像方向は、前記所定の位置に対する前記被写体の位置から特定されることを特徴とする請求項１〜４のいずれか一項に記載の撮像装置。
【請求項６】
登録された人物の顔の部位又は顔の輪郭を示す特徴点を記録する記録手段をさらに備え、
前記検出手段は、前記補正された特徴点と、前記記録手段に記録されている特徴点とから、被写体を特定することを特徴とする請求項１〜５のいずれか一項に記載の撮像装置。
【請求項７】
ネットワーク上に記録されている、登録された人物の顔の部位又は顔の輪郭を示す特徴点を取得する取得手段をさらに備え、
前記検出手段は、前記補正された特徴点と、前記取得手段により取得された特徴点とから、被写体を特定することを特徴とする請求項１〜５のいずれか一項に記載の撮像装置。
【請求項８】
前記被写体方向に応じて、前記撮像画像を補正する画像補正手段をさらに有し、
前記特徴点抽出手段は、前記画像補正手段により補正された画像から、被写体の特徴点を抽出することを特徴とする請求項１〜７のいずれか一項に記載の撮像装置。
【請求項９】
前記補正された特徴点に応じて、前記被写体の感情を推定する感情推定手段をさらに備えることを特徴とする請求項１〜８のいずれか一項に記載の撮像装置。
【請求項１０】
前記第１のデータベースは、複数の前記被写体方向と複数の前記補正パラメータとを、それぞれ対応づけ、
前記第１のデータを参照して、前記検出手段により検出された被写体が向いている方向を検出する方向検出手段をさらに備えることを特徴とする請求項３記載の撮像装置。
【請求項１１】
前記方向検出手段は、前記検出手段により検出された被写体の特徴点と、前記特徴点抽出手段により抽出される特徴点との差異から、被写体の方向を検出することを特徴とする請求項１０記載の撮像装置。
【請求項１２】
前記方向検出手段により検出された被写体方向に応じて前記被写体に対して情報を提供する情報提供手段をさらに備えることを特徴とする請求項１０又は１１記載の撮像装置。
【請求項１３】
撮像手段により撮像された撮像画像から被写体を検出する検出工程と、
前記撮像画像から、被写体の特徴点を抽出する特徴点抽出工程と、
前記撮像手段の撮像方向に対して被写体が向いている被写体方向を取得する方向取得工程と、
前記被写体方向に応じて、前記特徴点を補正する特徴点補正工程とを含み、
前記検出工程は、前記特徴点補正工程により補正された特徴点に応じて、前記被写体を検出することを特徴とする被写体検出方法。
【請求項１】
撮像手段と
前記撮像手段により撮像された撮像画像から被写体を検出する検出手段と、
撮像された画像から、被写体の特徴点を抽出する特徴点抽出手段と、
前記撮像手段の撮像方向に対して被写体が向いている被写体方向を取得する方向取得手段と、
前記被写体方向に応じて、前記特徴点を補正する特徴点補正手段とを備え、
前記検出手段は、前記特徴点補正手段により補正された特徴点に応じて、前記被写体を検出することを特徴とする撮像装置。
【請求項２】
前記方向取得手段は、前記被写体方向を、前記撮像手段が固定される位置に対する前記撮像方向により特定することを特徴とする請求項１記載の撮像装置。
【請求項３】
前記被写体方向と前記特徴点の補正パラメータとを対応づける第１のデータベースをさらに有し、
前記特徴点補正手段は、前記第１のデータベースを参照して、前記補正パラメータを用いて前記特徴点を補正することを特徴とする請求項１又は２記載の撮像装置。
【請求項４】
前記撮像手段の撮像方向と前記撮像手段の焦点検出位置とを対応づける第２のデータベースを有し、
前記撮像手段は、前記第２のデータベースを参照して、前記撮像方向に対応する焦点検出位置に基づき前記被写体を撮影することを特徴とする請求項１〜３のいずれか一項に記載の撮像装置。
【請求項５】
前記撮像手段は、所定の位置に固定されており、
前記検出手段は、前記撮像画像から被写体の位置を特定し、
前記撮像方向は、前記所定の位置に対する前記被写体の位置から特定されることを特徴とする請求項１〜４のいずれか一項に記載の撮像装置。
【請求項６】
登録された人物の顔の部位又は顔の輪郭を示す特徴点を記録する記録手段をさらに備え、
前記検出手段は、前記補正された特徴点と、前記記録手段に記録されている特徴点とから、被写体を特定することを特徴とする請求項１〜５のいずれか一項に記載の撮像装置。
【請求項７】
ネットワーク上に記録されている、登録された人物の顔の部位又は顔の輪郭を示す特徴点を取得する取得手段をさらに備え、
前記検出手段は、前記補正された特徴点と、前記取得手段により取得された特徴点とから、被写体を特定することを特徴とする請求項１〜５のいずれか一項に記載の撮像装置。
【請求項８】
前記被写体方向に応じて、前記撮像画像を補正する画像補正手段をさらに有し、
前記特徴点抽出手段は、前記画像補正手段により補正された画像から、被写体の特徴点を抽出することを特徴とする請求項１〜７のいずれか一項に記載の撮像装置。
【請求項９】
前記補正された特徴点に応じて、前記被写体の感情を推定する感情推定手段をさらに備えることを特徴とする請求項１〜８のいずれか一項に記載の撮像装置。
【請求項１０】
前記第１のデータベースは、複数の前記被写体方向と複数の前記補正パラメータとを、それぞれ対応づけ、
前記第１のデータを参照して、前記検出手段により検出された被写体が向いている方向を検出する方向検出手段をさらに備えることを特徴とする請求項３記載の撮像装置。
【請求項１１】
前記方向検出手段は、前記検出手段により検出された被写体の特徴点と、前記特徴点抽出手段により抽出される特徴点との差異から、被写体の方向を検出することを特徴とする請求項１０記載の撮像装置。
【請求項１２】
前記方向検出手段により検出された被写体方向に応じて前記被写体に対して情報を提供する情報提供手段をさらに備えることを特徴とする請求項１０又は１１記載の撮像装置。
【請求項１３】
撮像手段により撮像された撮像画像から被写体を検出する検出工程と、
前記撮像画像から、被写体の特徴点を抽出する特徴点抽出工程と、
前記撮像手段の撮像方向に対して被写体が向いている被写体方向を取得する方向取得工程と、
前記被写体方向に応じて、前記特徴点を補正する特徴点補正工程とを含み、
前記検出工程は、前記特徴点補正工程により補正された特徴点に応じて、前記被写体を検出することを特徴とする被写体検出方法。
【図１】
【図２】
【図３】
【図４ａ】
【図４ｂ】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図２】
【図３】
【図４ａ】
【図４ｂ】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【公開番号】特開２０１１−２０５３２１（Ｐ２０１１−２０５３２１Ａ）
【公開日】平成２３年１０月１３日（２０１１．１０．１３）
【国際特許分類】
【出願番号】特願２０１０−６９７２４（Ｐ２０１０−６９７２４）
【出願日】平成２２年３月２５日（２０１０．３．２５）
【出願人】（０００００３９９７）日産自動車株式会社 (16,386)
【Ｆターム（参考）】
【公開日】平成２３年１０月１３日（２０１１．１０．１３）
【国際特許分類】
【出願日】平成２２年３月２５日（２０１０．３．２５）
【出願人】（０００００３９９７）日産自動車株式会社 (16,386)
【Ｆターム（参考）】
[ Back to top ]