車両動作制御装置および方法、並びにプログラム
【課題】未登録者に対しても、未登録者によって最適なサービスを提供できるようにする。
【解決手段】類似度計算部１４は、撮像された照合対象者の顔画像の特徴量と、登録者情報DB２２、または未登録者情報DB２４に登録された登録者、または未登録者の顔画像の特徴量との類似度を計算し、照合判定部１５が類似度が閾値よりも高いとき、サービス判定部１６にその旨を通知する。関連情報取得部３０は、対登録者情報を含む関連情報を取得し、時系列情報DB生成部２５、およびサービス判定部１６に供給する。時系列情報DB生成部２５は、時系列情報DB２６を更新する。統計情報DB生成部２７は、時系列情報DBより統計情報DB２８を生成する。サービス判定部１６は、関連情報、時系列情報DB２６、および統計情報DB２８に基づいてサービスを提供する。本発明は、車両に適用することができる。
【解決手段】類似度計算部１４は、撮像された照合対象者の顔画像の特徴量と、登録者情報DB２２、または未登録者情報DB２４に登録された登録者、または未登録者の顔画像の特徴量との類似度を計算し、照合判定部１５が類似度が閾値よりも高いとき、サービス判定部１６にその旨を通知する。関連情報取得部３０は、対登録者情報を含む関連情報を取得し、時系列情報DB生成部２５、およびサービス判定部１６に供給する。時系列情報DB生成部２５は、時系列情報DB２６を更新する。統計情報DB生成部２７は、時系列情報DBより統計情報DB２８を生成する。サービス判定部１６は、関連情報、時系列情報DB２６、および統計情報DB２８に基づいてサービスを提供する。本発明は、車両に適用することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両動作制御装置および方法、並びにプログラムに関し、特に、特定の登録処理をしていない未登録の運転者に対しても、未登録運転者のそれぞれに応じて適切に車両の動作を制御できるようにした車両動作制御装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
従来、顔画像を用いた認識処理により、運転者を個別に特定する技術が提案されている（特許文献１，２参照）。
【０００３】
さらに、これらの技術を用いて、車両の内外部に設置したカメラにより撮像した顔画像から得られる情報と、予めデータベースに登録された顔画像に対応付けて登録されている個人情報や運転免許証などの個人を特定し得る外部情報とを併せて比較して運転者を特定し、特定された個人毎に最適なサービスを提供する技術が提案されている（特許文献３乃至５参照）。
【０００４】
上述したこれらの技術においては、比較したい人物に対して、何らかの比較基準を特定の人物毎にデータベースに登録したり，運転免許証などの個人情報を備えたカードをカードリーダなどで読み取るなど（特許文献６参照）して用意し、この基準情報と一致するか否かにより、比較した人物が正規の運転者であるか否かが判定される。
【０００５】
ところで、上述した技術によると、基準情報と一致しなかった人物に対しては「不正」と判定されることとなるが、「不正」と判定された人物に対しては、新規登録を促したり、自動車操作を制限したりする技術が提案されている（特許文献７，８参照）。
【０００６】
また、「不正」と判定された人物が自動車内外に存在していることを、正規登録者に通報する方法も提案されている（特許文献９，１０参照）。また、逆に「不正な人物」を登録しておき、特定の人物を識別した場合のみ「不正」と判定する方法も提案されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００７−１８６１４４号公報
【特許文献２】特開２００３−２１４２４１号公報
【特許文献３】特開２００１−０６００９５号公報
【特許文献４】特開２００１−１８２８１２号公報
【特許文献５】特開２００７−３０８０６９号公報
【特許文献６】特開２００２−２０３２４４号公報
【特許文献７】特開２００６−３５０５６６号公報
【特許文献８】特開２００６−３２７３４６号公報
【特許文献９】特開２００１−０１４５７５号公報
【特許文献１０】特開２００６−２５９８２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、未登録であるが故に、「不正」と判断されたのみで自動車操作に過度な規制を加えると、登録された運転者と親しい、例えば、家族や友人などの場合、自動車操作に制限を加えるのは不適当な場合が多い。
【０００９】
また、 代行運転や運転手交代などの一時的な搭乗の場合、わざわざ登録するのは面倒であり、登録しないで正規操作を可能としたいようなとき、不便である。
【００１０】
複数の登録者に対して個別サービスを提供することは従来可能であるが、未登録者に対しては画一的な対応しかできない。
【００１１】
本発明はこのような状況に鑑みてなされたものであり、特に、自動車の搭乗者の認識処理において、未登録者であっても個別に最適な対応を実現できるようにするものである。
【課題を解決するための手段】
【００１２】
本発明の一側面の車両動作制御装置は、照合対象者の画像を撮像する撮像手段と、前記撮像手段により撮像された画像より前記照合対象者の顔画像を抽出する顔画像抽出手段と、前記顔画像抽出手段により抽出された照合対象者の顔画像の特徴量を抽出する特徴量抽出手段と、登録者の顔画像の特徴量を登録者情報データベースとして記憶する登録者記憶手段と、未登録者の顔画像の特徴量を記憶する未登録者記憶手段と、前記特徴量抽出手段により抽出された照合対象者の顔画像の特徴量と、前記登録者情報データベースに記憶された登録者、または前記未登録者記憶手段に記憶された未登録者の顔画像の特徴量との類似度を計算する類似度計算手段と、前記類似度と所定の閾値とを、前記登録者情報データベース、または、前記未登録者記憶手段に記憶されている順序で照合し、前記所定の閾値よりも高い登録者を前記照合対象者として検索し、前記所定の閾値よりも類似度の高い前記登録者が存在しない場合、前記所定の閾値よりも類似度の高い未登録者を前記照合対象者として検索する検索手段と、前記照合対象者として検索された未登録者の前記登録者との関係を示す情報を検出する関係情報検出手段と、前記検索手段により前記登録者、または前記未登録者が検索された場合、前記登録者に対応付けて予め設定される状態、または前記未登録者の登録者との関係を示す情報に対応付けて予め設定される状態に車両動作状態を制御する動作制御手段と、前記動作制御手段により、前記車両動作状態が制御されたときの前記登録者、または前記未登録者に対応付けて、前記登録者との関係を示す情報について、前記未登録者毎に、前記登録者との関係を示す情報の統計的な処理結果を統計情報データベースとして更新する統計情報データベース更新手段と、前記統計情報データベースに登録された、前記未登録者毎の、前記登録者との関係の情報の統計的な処理結果に対応して、前記未登録者記憶手段に記憶されている未登録者の記憶順序を並び替える並び替え手段とを含み、前記検索手段は、前記類似度と前記所定の閾値とを、前記並び替え手段により並び替えられた記憶順序で前記未登録者記憶手段に記憶されている未登録者を照合し、前記所定の閾値よりも類似度の高い未登録者を検索する。
【００１３】
前記未登録者記憶手段には、未登録者の顔画像の特徴量を未登録者情報データベースとして記憶させ、前記類似度計算手段には、前記特徴量抽出手段により抽出された照合対象者の顔画像の特徴量と、前記登録者情報データベースに記憶された登録者、または前記未登録者情報データベースに記憶された未登録者の顔画像の特徴量との類似度を計算させ、前記関係情報検出手段には、前記照合対象者として検索された未登録者の前記登録者との時系列の前後関係を示す情報を検出させ、前記動作制御手段には、前記検索手段により前記登録者、または前記未登録者が検索された場合、前記登録者に対応付けて予め設定される状態、または前記未登録者の登録者との時系列の前後関係を示す情報に対応付けて予め設定される状態に車両動作状態を制御させ、前記動作制御手段により、前記車両動作状態が制御されたときの前記登録者、または前記未登録者の顔画像に対応付けて、前記登録者との時系列の前後関係を示す情報を時系列情報データベースとして更新する時系列情報データベース更新手段をさらに含ませるようにすることができ、前記統計情報データベース更新手段には、前記時系列情報データベースの情報について、前記未登録者毎に、前記登録者との時系列の前後関係を示す情報の統計的な処理結果を統計情報データベースとして更新させ、前記並び替え手段には、前記統計情報データベースに登録された、前記未登録者毎の、前記登録者との前後関係の情報の統計的な処理結果に対応して、前記未登録者データベースの未登録者の記憶順序を並び替えさせ、前記検索手段には、前記類似度と前記所定の閾値とを、前記並び替え手段により並び替えられた記憶順序で前記未登録者情報データベースに記憶されている未登録者を照合し、前記所定の閾値よりも類似度の高い未登録者を前記照合対象者として検索させるようにすることができる。
【００１４】
前記動作制御手段により、前記車両動作状態が制御されたときの関連情報を取得する関連情報取得手段とをさらに含ませるようにすることができ、前記時系列情報データベース更新手段には、前記動作制御手段により、前記車両動作状態が制御されたときの前記登録者、または前記未登録者の顔画像に対応付けて、前記時系列の前後関係を示す情報、および前記関連情報を前記時系列情報データベースとして更新させ、前記統計情報データベース更新手段には、前記時系列情報データベースの情報について、前記未登録者毎に、前記登録者との時系列の前後関係、および前記関連情報の統計的な処理結果を統計情報データベースとして更新させ、前記関係情報検出手段には、前記時系列データベースにおける、前記照合対象者として検索された未登録者の、前記登録者との前記時系列の前後関係を示す情報、および前記関連情報を検出させ、前記並び替え手段には、前記統計情報データベースに登録された、前記未登録者毎の、前記登録者との時系列の前後関係を示す情報、および前記関連情報の統計的な処理結果に対応して、前記未登録者データベースの未登録者の記憶順序を並び替えるようにさせることができる。
【００１５】
前記関連情報には、年齢、性別、人種、眼鏡等付帯物、化粧、煙草等の情報を含む顔属性情報、および時刻、同乗者、位置、走行距離、走行区間、天候情報、車両動作、安全装置動作、若しくは運転癖情報を含ませるようにすることができる。
【００１６】
本発明の一側面の車両動作制御方法は、照合対象者の画像を撮像する撮像ステップと、前記撮像ステップの処理により撮像された画像より前記照合対象者の顔画像を抽出する顔画像抽出ステップと、前記顔画像抽出ステップの処理により抽出された照合対象者の顔画像の特徴量を抽出する特徴量抽出ステップと、登録者の顔画像の特徴量を登録者情報データベースとして記憶する登録者記憶ステップと、未登録者の顔画像の特徴量を記憶する未登録者記憶ステップと、前記特徴量抽出ステップの処理により抽出された照合対象者の顔画像の特徴量と、前記登録者情報データベースに記憶された登録者、または前記未登録者記憶ステップの処理で記憶された未登録者の顔画像の特徴量との類似度を計算する類似度計算ステップと、前記類似度と所定の閾値とを、前記登録者情報データベース、または、前記未登録者記憶ステップの処理により記憶されている順序で照合し、前記所定の閾値よりも高い登録者を前記照合対象者として検索し、前記所定の閾値よりも類似度の高い前記登録者が存在しない場合、前記所定の閾値よりも類似度の高い未登録者を前記照合対象者として検索する検索ステップと、前記照合対象者として検索された未登録者の前記登録者との関係を示す情報を検出する関係情報検出ステップと、前記検索ステップの処理により前記登録者、または前記未登録者が検索された場合、前記登録者に対応付けて予め設定される状態、または前記未登録者の登録者との関係を示す情報に対応付けて予め設定される状態に車両動作状態を制御する動作制御ステップと、前記動作制御ステップの処理により、前記車両動作状態が制御されたときの前記登録者、または前記未登録者に対応付けて、前記登録者との関係を示す情報について、前記未登録者毎に、前記登録者との関係を示す情報の統計的な処理結果を統計情報データベースとして更新する統計情報データベース更新ステップと、前記統計情報データベースに登録された、前記未登録者毎の、前記登録者との関係の情報の統計的な処理結果に対応して、前記未登録者記憶ステップの処理により記憶されている未登録者の記憶順序を並び替える並び替えステップとを含み、前記検索ステップの処理は、前記類似度と前記所定の閾値とを、前記並び替えステップの処理により並び替えられた記憶順序で前記未登録者記憶ステップの処理により記憶されている未登録者を照合し、前記所定の閾値よりも類似度の高い未登録者を検索する。
【００１７】
本発明の一側面のプログラムは、照合対象者の画像を撮像する撮像ステップと、前記撮像ステップの処理により撮像された画像より前記照合対象者の顔画像を抽出する顔画像抽出ステップと、前記顔画像抽出ステップの処理により抽出された照合対象者の顔画像の特徴量を抽出する特徴量抽出ステップと、登録者の顔画像の特徴量を登録者情報データベースとして記憶する登録者記憶ステップと、未登録者の顔画像の特徴量を記憶する未登録者記憶ステップと、前記特徴量抽出ステップの処理により抽出された照合対象者の顔画像の特徴量と、前記登録者情報データベースに記憶された登録者、または前記未登録者記憶ステップの処理で記憶された未登録者の顔画像の特徴量との類似度を計算する類似度計算ステップと、前記類似度と所定の閾値とを、前記登録者情報データベース、または、前記未登録者記憶ステップの処理により記憶されている順序で照合し、前記所定の閾値よりも高い登録者を前記照合対象者として検索し、前記所定の閾値よりも類似度の高い前記登録者が存在しない場合、前記所定の閾値よりも類似度の高い未登録者を前記照合対象者として検索する検索ステップと、前記照合対象者として検索された未登録者の前記登録者との関係を示す情報を検出する関係情報検出ステップと、前記検索ステップの処理により前記登録者、または前記未登録者が検索された場合、前記登録者に対応付けて予め設定される状態、または前記未登録者の登録者との関係を示す情報に対応付けて予め設定される状態に車両動作状態を制御する動作制御ステップと、前記動作制御ステップの処理により、前記車両動作状態が制御されたときの前記登録者、または前記未登録者に対応付けて、前記登録者との関係を示す情報について、前記未登録者毎に、前記登録者との関係を示す情報の統計的な処理結果を統計情報データベースとして更新する統計情報データベース更新ステップと、前記統計情報データベースに登録された、前記未登録者毎の、前記登録者との関係の情報の統計的な処理結果に対応して、前記未登録者記憶ステップの処理により記憶されている未登録者の記憶順序を並び替える並び替えステップとを含む処理を車両動作制御装置を制御するコンピュータに実行させ、前記検索ステップの処理は、前記類似度と前記所定の閾値とを、前記並び替えステップの処理により並び替えられた記憶順序で前記未登録者記憶ステップの処理により記憶されている未登録者を照合し、前記所定の閾値よりも類似度の高い未登録者を検索する。
【００１８】
本発明の一側面の車両動作制御装置は、照合対象者の画像を撮像する撮像手段とは、例えば、車両に搭載された運転者、および搭乗者を撮像する撮像部であり、前記撮像手段により撮像された画像より前記照合対象者の顔画像を抽出する顔画像抽出手段とは、例えば、撮像部により撮像された画像から顔画像を抽出する顔画像抽出部であり、前記顔画像抽出手段により抽出された照合対象者の顔画像の特徴量を抽出する特徴量抽出手段とは、例えば、顔画像抽出部より抽出された顔画像より特徴量を抽出する特徴量抽出部であり、登録者の顔画像の特徴量を登録者情報データベースとして記憶する登録者記憶手段とは、例えば、登録者の顔画像と特徴量との情報からなる登録者データベースであり、未登録者の顔画像の特徴量を記憶する未登録者記憶手段とは、例えば、未登録者の顔画像と特徴量との情報からなる未登録者情報データベースであり、前記特徴量抽出手段により抽出された照合対象者の顔画像の特徴量と、前記登録者情報データベースに記憶された登録者、または前記未登録者記憶手段に記憶された未登録者の顔画像の特徴量との類似度を計算する類似度計算手段とは、照合対象者の顔画像の特徴量と、前記登録者情報データベースに記憶された登録者、または前記未登録者情報データベースに記憶された未登録者の顔画像の特徴量との類似度を計算する類似度計算部であり、前記類似度と所定の閾値とを、前記登録者情報データベース、または、前記未登録者記憶手段に記憶されている順序で照合し、前記所定の閾値よりも高い登録者を前記照合対象者として検索し、前記所定の閾値よりも類似度の高い前記登録者が存在しない場合、前記所定の閾値よりも類似度の高い未登録者を前記照合対象者として検索する検索手段とは、例えば、類似度をそれぞれ所定の閾値と比較し類似度の高い登録者、または未登録者を検索する照合判定部であり、前記照合対象者として検索された未登録者の前記登録者との関係を示す情報を検出する関係情報検出手段とは、例えば、時系列情報データベースの情報に基づいて時系列の未登録者毎の登録者との前後関係を検出する対登録者情報取得部であり、前記検索手段により前記登録者、または前記未登録者が検索された場合、前記登録者に対応付けて予め設定される状態、または前記未登録者の登録者との関係を示す情報に対応付けて予め設定される状態に車両動作状態を制御する動作制御手段とは、例えば、車両の各種の動作を制御する車両動作制御部であり、前記動作制御手段により、前記車両動作状態が制御されたときの前記登録者、または前記未登録者に対応付けて、前記登録者との関係を示す情報について、前記未登録者毎に、前記登録者との関係を示す情報の統計的な処理結果を統計情報データベースとして更新する統計情報データベース更新手段とは、例えば、統計情報データベース生成部であり、前記統計情報データベースに登録された、前記未登録者毎の、前記登録者との関係の情報の統計的な処理結果に対応して、前記未登録者記憶手段に記憶されている未登録者の記憶順序を並び替える並び替え手段とは、例えば、ソート処理部であり、前記検索手段である照合判定部は、前記類似度と前記所定の閾値とを、ソート処理部である前記並び替え手段により並び替えられた記憶順序で前記未登録者データベースである前記未登録者記憶手段に記憶されている未登録者を照合し、前記所定の閾値よりも類似度の高い未登録者を検索する。
【００１９】
すなわち、照合判定部は、前記類似度と所定の閾値とを、未登録者データベースの未登録者が、ソート処理部により並び替えられた記憶順序で照合され、前記所定の閾値よりも類似度の高い未登録者を検索する。
【００２０】
このため、未登録者データベースのうち、統計情報データベースに登録された、前記未登録者毎の、前記登録者との関係を示す情報のうち、前記関係情報検出手段により検出された前記登録者との関係を示す情報の統計的な処理結果に対応する未登録者が上位となるように並び替えられるため、検索処理を効率よく、高速で実現することができると共に、検索された未登録者に対して、登録者との関係を示す情報に対応付けて設定される状態に車両動作状態を制御することができる。
【００２１】
結果として、未登録者であっても、登録者との関係を示す情報に対応して、異なる状態に車両動作状態を制御することができるので、例えば、登録者の次に運転席に座る頻度が高い人物については、未登録者であっても比較的に登録者に親しい人物であることを想定して、車両を運転する際の規制を広く解除させるような設定とし、逆に、登録者が乗ったタイミングとは無関係に、かつ、それほど高くない頻度で運転席に座る人物については、登録者に対して、それほど親しい人物ではない可能性が高いので、運転に必要最小限の規制のみしか解除せず、さらには、全く初めて運転席に座るような未登録者の場合、エンジンも始動できないほど動作を規制させるといったことが可能となり、自動車の搭乗者の認識処理において、未登録者であっても個別に最適な対応を実現することが可能となる。
【発明の効果】
【００２２】
本発明によれば、自動車の搭乗者の認識処理において、未登録者であっても個別に最適な対応を実現することが可能となる。
【図面の簡単な説明】
【００２３】
【図１】本発明を適用した車両動作制御装置の構成例を説明する図である。
【図２】登録者と未登録者とを説明する図である。
【図３】時系列情報データベースを説明する図である。
【図４】統計情報データベースを説明する図である。
【図５】顔認証サービス処理を説明するフローチャートである。
【図６】未登録者対応処理を説明するフローチャートである。
【図７】関連情報取得処理を説明するフローチャートである。
【図８】汎用のコンピュータの構成例を示す図である。
【発明を実施するための形態】
【００２４】
［本発明に係る車両動作制御装置の一実施の形態の構成例］
図１は、本発明に係る車両動作制御装置の一実施の形態の構成例を示す図である。
【００２５】
図１の車両動作制御装置は、実際には、車両そのものを構成するものであり、カメラなどの撮像装置により撮像した画像より運転者や同乗者の顔画像を抽出し、抽出された顔画像に基づいて、運転者が、登録者であるか、または、未登録者であるかを照合し、登録者である場合、登録者に対応して、例えば、運転席のリクライニングや高さ調整、テレスコピックステアリングなどを登録された位置に調整し、エンジンが始動できるように車両の動作を制御する。また、顔画像に基づいて、運転者が未登録者である場合、図１の車両動作制御装置は、例えば、登録者の家族のように、未登録者であっても、登録者に準じた人物であることが認識できたときには、運転席の調整は省くが、エンジンが始動できるように車両を制御し、さらに、未登録者であって、登録者に親しい人物でもないとき、エンジンは始動さえもできないように車両を制御する。すなわち、図１の車両動作制御装置は、顔認証により運転者に最適なサービスを提供するものである。
【００２６】
次に、図１の車両動作制御装置の構成について詳細を説明する。
【００２７】
運転者撮像部１１−１、および同乗者撮像部１１−２は、いずれもCCD（Charge Coupled Devices）またはCMOS（Complementary Metal Oxide Semiconductor）などの撮像素子から構成されており、それぞれ運転席に搭乗した運転者、並びに助手席、および後部座席等の同乗者を撮像し、撮像した画像を顔画像抽出部１２に供給する。尚、運転者撮像部１１−１および同乗者撮像部１１−２は、運転席を含めて１台の撮像部により全員が撮像可能であれば、個別に設ける必要はなく、１台であってもよい。また、いわゆるミニバンなどの３列シートが採用されている車両などでは、各列毎に撮像部を備えるようにするなどし、さらに多くの画像を撮像できる構成としてもよい。
【００２８】
顔画像抽出部１２は、運転者撮像部１１−１、および同乗者撮像部１１−２より供給されてくる画像より、顔の輪郭や、目、鼻、耳、および口などの器官の配置により、顔画像の位置を特定し、特定された領域の画像を顔画像として抽出し、抽出した顔画像の情報を特徴量抽出部１３、登録者情報登録部２１、および未登録者情報登録部２３に供給する。
【００２９】
特徴量抽出部１３は、顔画像抽出部１２より供給されてくる顔画像より、例えば、左右の目の中央位置の間隔、左右それぞれの目と鼻の間隔、および輪郭形状などを特徴量として抽出し、類似度計算部１４、登録者情報登録部２１、および未登録者情報登録部２３に供給する。
【００３０】
情報入力部２０は、登録者の登録情報を入力するためのものであり、例えば、登録者の氏名、年齢、性別、および血液型など個人情報などのテキスト情報を入力するキーボードおよび操作ボタンの他、例えば、登録者の好みのシートの位置、リクライニング角度、およびテレスコピックステアリングの伸縮位置などを入力、または、読み取る機能を備えたものであり、それらの情報の入力を受け付けると、登録者情報登録部２１に供給する。
【００３１】
登録者情報登録部２１は、情報入力部２０より供給されてくる登録者の各種の情報、顔画像抽出部１２より供給されてくる登録者の顔画像、並びに特徴量抽出部１３より供給されてくる顔画像の特徴量の情報を、顔画像に対応付けて登録者情報データベース２２（以降、登録者情報DB２２とも称する）として登録する。
【００３２】
尚、以降においても、顔画像と特徴量とをそれぞれ管理するものとして説明を進めるものとするが、照合に必要とされる特徴量については、顔画像より求めることができるので、顔画像のみを記憶し、必要に応じて記憶した顔画像より特徴量を求めるようにしてもよい。
【００３３】
類似度計算部１４は、特徴量抽出部１３より供給されてくる特徴量と、登録者情報DB２２、または、未登録者情報データベース２４（以降においては、未登録者情報DB２４と称する）に登録されている未登録者の特徴量とを用いて、それぞれ類似度を計算し、計算した類似度を照合判定部１５に供給する。この際、類似度計算部１４は、未登録者情報DB２４に登録されている順序通りに類似度を順次求める。
【００３４】
照合判定部１５は、類似度計算部１４より供給されてくる類似度と所定の閾値とを比較し、所定の閾値よりも類似度が高ければ、登録者であるものとみなし、該当する登録者の情報を登録者情報DB２２より読み出して、サービス判定部１６、同乗者情報取得部３２、および時系列情報DB生成部２５に供給する。また、照合判定部１５は、登録者情報DB２２に登録されている登録者の特徴量との類似度が、いずれも所定の閾値よりも高くない場合、未登録者情報登録部２３に対して、その顔画像、および特徴量を未登録者として未登録者情報DB２４に登録するように指示する。
【００３５】
未登録者情報登録部２３は、未登録者情報DB２４に登録が指示された顔画像、および特徴量を、顔画像抽出部１２、および特徴量抽出部１３より、それぞれ取得し、顔画像に対応付けて特徴量の情報を未登録者情報DB２４に登録する。
【００３６】
ここで、登録者および未登録者について説明する。
【００３７】
登録者とは、自らの意思を持って顔画像を登録した人物であり、登録者情報とは、顔画像、顔画像の特徴量、および個人情報を含むものである。これに対して、未登録者とは、顔画像として認証のために供給されてきた顔画像のうち、登録者として認識されなかった人物であり、未登録者情報DB２４は、登録者として認識されなかった人物の顔画像をデータベース化したものである。すなわち、図２で示されるように、顔画像Ｆ１乃至Ｆ３の特徴量が抽出され、登録者情報DB２２に登録されている登録者の顔画像の特徴量を用いて類似度を計算したところ、顔画像Ｆ１については類似度が所定の閾値よりも高く、登録者であると認識されたが、顔画像Ｆ２，Ｆ３については、いずれも類似度が所定の閾値よりも高くなく、未登録者であると判定される。このような場合、顔画像Ｆ２，Ｆ３は、未登録者Ａ，Ｂとして未登録者情報DB２４に登録される。実際には、未登録者情報DB２４には、未登録者の顔画像、および特徴量が対応付けて登録される。
【００３８】
図１の説明に戻る。
【００３９】
対登録者情報取得部２９は、運転者が未登録者Ａとして判定された場合、後述する時系列情報DB２６の情報に基づいて、登録者との時系列の前後関係の情報を取得する。時系列情報DB２６には、登録者、および未登録者の時系列の関連情報が記録されており、例えば、対登録者情報取得部２９は、未登録者Ａが、登録者Ｓが運転した次のタイミングで利用したという時系列の前後関係を示す関連情報を取得し、バス４１を介して関連情報取得部３０に供給する。
【００４０】
同乗者情報取得部３２は、同乗者撮像部１１−２により撮像された画像より抽出される顔画像の照合結果に基づいて、運転者が撮像されたタイミングにおける、車両の同乗者情報を取得し、バス４１を介して関連情報取得部３０に供給する。すなわち、例えば、同乗者情報取得部３２は、同乗者として登録者Ｔ、および未登録者Ｂといった情報を取得し、関連情報取得部３０に供給する。RTC（Real Time Clock）３３は、現在の時刻情報を発生し、関連情報として関連情報取得部３０に供給する。GPS（Global Positioning System）３４は、図示せぬ衛星からの信号を取得し、緯度、および経度からなる地球上の位置を求め、位置情報からなる関連情報としてバス４１を介して関連情報取得部３０に供給する。
【００４１】
走行距離情報取得部３５は、図示せぬ走行距離測定装置より走行距離を取得し、関連情報として、バス４１を介して関連情報取得部３０に供給する。走行区間情報取得部３６は、図示せぬナビゲーション装置などより、走行の基点となった位置と、走行の終点となった位置（認識された運転者が下車した位置など）とを地図情報などから求めて、関連情報としてバス４１を介して関連情報取得部３０に供給する。天候情報取得部３７は、温度センサ、湿度センサ、および雨滴感知センサなどからなり外気温度、外気湿度、降雨、および降雪などの天候情報を関連情報として検出し、バス４１を介して関連情報取得部３０に供給する。
【００４２】
車両動作情報取得部３８は、車両の動作状態として、例えば、エンジンがオンにされた、前扉が開いた、前消灯が点灯した、エアコンのオンまたはオフ、および設定温度、並びにナビゲーション装置の目的地の設定など、車両に付帯する各種の装置の動作状態である車両動作情報を関連情報として取得し、バス４１を介して関連情報取得部３０に供給する。安全動作情報取得部３９は、車両の安全に関わる動作として、急ブレーキ、急ハンドル、接触、またはエアバッグの開放など安全に関わる安全動作情報を関連情報として取得し、バス４１を介して関連情報取得部３０に供給する。運転癖情報取得部４０は、車両を運転する運転者の運転時の、シフトチェンジのタイミング、アクセルを踏み込む変化率、ブレーキをかけ始めてから停止するまでの距離など、運転の癖となる運転癖情報を関連情報として取得し、バス４１を介して関連情報取得部３０に供給する。
【００４３】
関連情報取得部３０は、対登録者情報、同乗者情報、時刻情報、位置情報、走行距離情報、走行区間情報、天候情報、車両動作情報、安全情報、および運転癖情報を取得し、サービス判定部１６、時系列情報DB生成部２５、およびソート処理部３１に供給する。時系列情報DB生成部２５は、関連情報取得部３０より供給されてくる関連情報、および照合判定部１５より供給されてくる照合結果とを用いて、照合結果となる顔画像に対応付けて、関連情報を時系列に登録したデータベースである時系列情報DB２６を生成すると共に、更新する。尚、関連情報は、対登録者情報、同乗者情報、時刻情報、位置情報、走行距離情報、走行区間情報、天候情報、車両動作情報、安全情報、および運転癖情報に限るものではなく、例えば、顔画像より推定可能な、年齢、性別、人種、眼鏡等付帯物、化粧、煙草等の情報を含む顔属性情報などを含めたものとしてもよい、これら全てを使うようにしてもよいし、一部のものを使うようにしてもよい。
【００４４】
［時系列情報データベース］
時系列情報DB２６は、例えば、図３で示されるようなものである。図３においては、横軸を時系列（時間軸）として、それぞれのタイミングにおける顔画像を配置し、縦軸に、その顔画像に対応付けた関連情報を配置するものである。図３においては、最初の時刻Ｔ１のタイミングにおいて、未登録者Ａが認識されたことを示し、その未登録者Ａの関連情報として、走行距離情報取得部３５により取得された走行距離が１ｋｍであり、走行区間情報取得部３６により取得された走行区間が、自宅からコンビニエンスストアまでであり、車両動作情報取得部３８により取得された、助手席のドアが開閉したことが関連情報として登録されている。
【００４５】
そして、時刻Ｔ２のタイミングにおいて、登録者αが認識されたことが示されている。
【００４６】
また、時刻Ｔ３のタイミングにおいて、未登録者Ｂが認識されたことを示し、その未登録者Ｂの関連情報として、GPS３４により取得されたB地点において搭乗し、走行距離情報取得部３５により取得された走行距離が１．５ｋｍであり、同乗者情報取得部３２により取得された、同乗者が登録者βであるという関連情報が登録されている。
【００４７】
さらに、時刻Ｔ４のタイミングにおいて、登録者αが認識されたことが示されている。
【００４８】
また、時刻Ｔ５のタイミングにおいて、未登録者Ｂが認識されたことを示し、その未登録者Ｂの関連情報として、GPS３４により取得されたC地点において搭乗され、同乗者情報取得部３２により取得された、同乗者が登録者βであるという関連情報が登録されている。
【００４９】
さらに、時刻Ｔ６のタイミングにおいて、登録者αが認識されたことが示されている。
【００５０】
また、時刻Ｔ７のタイミングにおいて、未登録者Ｃが認識されたことを示し、その未登録者Ｃの関連情報として、GPS３４により取得されたC地点において搭乗し、走行距離情報取得部３５により取得された走行距離が１．５ｋｍであり、同乗者情報取得部３２により取得された、同乗者が登録者βであるという関連情報が登録されている。
【００５１】
さらに、時刻Ｔ８のタイミングにおいて、登録者αが認識されたことが示されている。
【００５２】
このように時系列情報DB２６においては、認識された登録者および未登録者が時系列に配置されると共に、認識された未登録者については、関連情報が付加される。この結果、登録者、および未登録者がどのような順序で認識され、それぞれの運転者が運転したときの関連情報が登録される。
【００５３】
統計情報DB生成部２７は、時系列情報DB２６に登録されている時系列情報の各情報を統計処理し、統計情報DB２８を生成すると共に、更新する。
【００５４】
［統計情報データベース］
統計情報DB２８は、例えば、図４で示されるようなものである。図４においては、図３の時系列情報DB２６の情報が統計処理されたものであり、上段に未登録者Ａの統計情報が登録されており、走行距離が１ｋｍであるという走行距離情報の関連情報が１回、自宅からコンビニエンスストアまでの走行区間情報の関連情報が１回、助手席ドアが開閉したという車両動作情報の関連情報が１回、登録者の前のタイミングで運転しているという同乗者情報の関連情報が１回となっている。
【００５５】
また、中段には、未登録者Ｂの統計情報が登録されており、Ｃ地点で搭乗しているという位置情報の関連情報が１回、B地点で搭乗しているという位置情報の関連情報が１回、登録者の後に乗車しているという対登録者情報の関連情報が２回、登録者の間に乗車しているという対登録者情報の関連情報が１回、平均走行距離が1.5ｋｍであるという走行距離情報の関連情報が１回、登録者βとの同乗という同乗者情報の関連情報が１回登録されている。
【００５６】
さらに、下段には、未登録者Ｃの統計情報が登録されており、Ｃ地点で搭乗しているという位置情報の関連情報が１回、登録者の後に乗車しているという対登録者情報の関連情報が１回、平均走行距離が1.5ｋｍであるという走行距離情報の関連情報が１回、登録者βとの同乗という同乗者情報の関連情報が１回登録されている。
【００５７】
すなわち、未登録者Ａ，Ｃについては、図３で示される時系列情報における時刻Ｔ１，Ｔ７における情報のみで統計情報が構成されており、未登録者Ｂについては、時刻Ｔ３，Ｔ５における関連情報について、累積加算、または平均値が求められることにより、統計情報DB２８が構成されている。
【００５８】
ここで、図１の説明に戻る。
【００５９】
ソート処理部３１は、関連情報取得部３０より供給されてくる関連情報、時系列情報DB２６、および統計情報DB２８の情報に基づいて、未登録者情報DB２４に登録されている未登録者の登録順序を並べ替える。すなわち、照合結果が未登録者である場合、その未登録者の顔画像の特徴量による類似度の計算処理をするにあたり、関連情報、時系列情報、および統計情報により未登録者情報DB２４に登録されている未登録者情報の登録順序を、照合結果が一致する可能性の高い順序で並び替え、未登録者の特定に係る照合処理の負荷を低減すると共に、高速で未登録者を特定できるようにする。
【００６０】
サービス判定部１６は、時系列情報DB２５、統計情報DB２８、および関連情報に基づいて、照合判定部１５により照合され、特定された登録者、または、未登録者に対応するサービス条件毎に設定されているサービス内容を、サービス条件記憶部１６ａより読み出し、車両動作制御部１９を制御して対応するサービスを実現させる。その際、必要に応じて、サービス判定部１６は、LCD（Liquid Crystal Display）や有機EL（Electro Luminescence）などからなる表示部１７に対して画像によりサービスを提供する、または、音声出力部１８より音声によりサービスを提供する。
【００６１】
［顔認証サービス処理］
次に、図５のフローチャートを参照して、顔認証サービス処理について説明する。
【００６２】
ステップＳ１において、運転者撮像部１１−１（または同乗者撮像部１１−２）は、画像を撮像し、撮像した画像を顔画像抽出部１２に供給する。尚、画像には、運転者撮像部１１−１により撮像された画像と、同乗者撮像部１１−２により撮像された画像とを識別する識別情報を付加して顔画像抽出部１２に供給する。
【００６３】
ステップＳ２において、顔画像抽出部１２は、画像より目、口、鼻、および耳などの器官の配置、並びに、輪郭などの情報から顔画像の位置を特定し、特定した顔画像の領域を切り出すことにより、顔画像を生成して特徴量抽出部１３、登録者情報登録部２１、および未登録者情報登録部２３に供給する。尚、上述した識別情報についても、各顔画像に付加され、以降においては、顔画像が運転者のものであるか、同乗者のものであるかが識別される。
【００６４】
ステップＳ３において、特徴量抽出部１３は、顔画像抽出部１２より供給されてきた顔画像より、例えば、左右の目の間隔、鼻と額の間隔、および額とあごの間隔、さらには、これらの比などの特徴量を抽出して、類似度計算部１４、登録者情報登録部２１、および未登録者情報登録部２３に供給する。
【００６５】
ステップＳ４において、類似度計算部１４は、図示せぬカウンタｘを１に初期化する。
【００６６】
ステップＳ５において、類似度計算部１４は、登録者情報DB２２より登録者情報（ｘ）を読み出す。尚、ここで、登録者情報（ｘ）は、登録者情報DB２２に登録された登録者情報の個別の登録順序を示すカウンタｘにより識別した登録者情報である。
【００６７】
ステップＳ６において、類似度計算部１４は、登録者情報（ｘ）の特徴量と、特徴量抽出部１３より供給されてきた顔画像の特徴量とを用いて類似度を計算し、照合判定部１５に供給する。類似度としては、特徴量同士の比率や、差分などを用い、ここでは、同一の人物の類似度が高い値となるように計算される。
【００６８】
ステップＳ７において、照合判定部１５は、登録者情報（ｘ）の特徴量との類似度が所定の閾値よりも高いか否かを判定し、所定の閾値よりも小さいとき、すなわち、類似していないと判定された場合、処理は、ステップＳ８に進む。
【００６９】
ステップＳ８において、類似度計算部１４は、登録者情報DB２２に登録されている登録者情報の全てについて類似度を計算したか否かを判定する。ステップＳ８において、全ての登録者情報について類似度を計算していないと判定された場合、ステップＳ９において、カウンタｘを１インクリメントし、処理は、ステップＳ５に戻る。すなわち、類似度が所定の閾値よりも高い登録者情報（ｘ）が求められるまで、ステップＳ５乃至Ｓ９の処理が繰り返される。そして、ステップＳ７において、登録者情報（ｘ）の特徴量との類似度が所定の閾値よりも高いと判定された場合、処理は、ステップＳ１０に進む。
【００７０】
ステップＳ１０において、照合判定部１５は、登録者情報（ｘ）に対応する登録者が検出されたことを時系列情報DB生成部２５、およびサービス判定部１６に供給する。また、関連情報取得部３０は、RTC３３により発生されている現在時刻の情報を取得し、時系列情報DB生成部２５に供給する。
【００７１】
ステップＳ１１において、時系列情報DB生成部２５は、照合結果として検索された登録者の顔画像、および時刻情報に基づいて、時系列情報DB２６を更新する。
【００７２】
ステップＳ１２において、サービス判定部１６は、照合結果として検索された登録者に対応付けて設定されているサービス内容を、サービス条件記憶部１６ａより読み出す。
【００７３】
ステップＳ１３において、サービス判定部１６は、読み出したサービス内容に応じて、車両動作制御部１９を制御して、車両を動作させて運転者および同乗者に対してサービスを提供する。すなわち、例えば、車両動作制御部１９は、シートの位置、リクライニングの角度、およびテレスコピックステアリングの伸縮位置等を登録者に対して設定されている状態に動作させる。また、車両動作制御部１９は、エンジンを始動可能な状態に設定する。この際、必要に応じて、サービス判定部１６は、表示部１７、および音声出力部１８を制御して、シートの位置を調整し、エンジン始動が可能であることを画像、および音声により運転者に提示する。
【００７４】
すなわち、登録された人物が運転者である場合、顔画像の特徴量に基づいて照合されることにより、登録者が検索され、検索された登録者に対応付けて設定されているサービスが運転者に提供される。このため、予め登録された登録者に対して、登録者にとって最適なサービスを提供することが可能となる。尚、提供されるサービスは、シートの状態設定や、エンジンの始動の可否を設定するのみでなく、その他の様々な車両の動作の設定であってもよい。
【００７５】
一方、ステップＳ８において、全ての登録者情報の特徴量との類似度が計算され、全ての登録者情報による処理が終了したと判定された場合、ステップＳ１４において、照合判定部１５は、登録者が検索されなかったことをサービス判定部１６に供給する。サービス判定部１６は、サービス条件記憶部１６ａに記憶されている登録者が存在しない場合のサービス内容として、表示部１７、および音声出力部１８を制御して、運転者が未登録者であり、登録を促すような情報を運転者に提示する。
【００７６】
ステップＳ１５において、情報入力部２０は、登録処理に応じるような操作がなされたか否かを判定し、例えば、登録者として登録するのに必要とされる登録情報が情報入力部２０が操作されることにより入力された場合、処理は、ステップＳ１６に進む。
【００７７】
ステップＳ１６において、登録者情報登録部２１は、情報入力部２０が操作されて入力された情報、顔画像抽出部１２より供給されてきた顔画像、および特徴量抽出部１３より供給されてきた特徴量とをまとめ、顔画像に対応付けて、登録者情報DB２２に登録し、処理は、ステップＳ１０戻る。
【００７８】
すなわち、全登録者との照合の結果、登録者ではないと判定されると、新たな登録者として登録するように促し、それに応じた場合、顔画像に対応付けて、登録情報と、特徴量とが、登録者情報DB２２として登録される。
【００７９】
一方、ステップＳ１５において、登録に応じる操作がなされなかった、すなわち、登録者として登録する意思がないと判定された場合、ステップＳ１８において、未登録処理対応処理が実行される。
【００８０】
［未登録者対応処理］
ここで、図６のフローチャートを参照して、未登録者対応処理について説明する。
【００８１】
ステップＳ１０１において、関連情報取得部３０は、各種の関連情報取得処理を実行して、関連情報を取得する。
【００８２】
［関連情報取得処理］
ここで、図７のフローチャートを参照して、関連情報取得処理について説明する。
【００８３】
ステップＳ１３１において、RTC３３は、時刻情報を発生し、関連情報取得部３０に供給する。関連情報取得部３０は、取得した時刻情報を、サービス判定部１６、時系列情報DB生成部２５、およびソート処理部３１に供給する。
【００８４】
ステップＳ１３２において、同乗者情報取得部３２は、照合判定部１５より供給されてくる、同乗者撮像部１１−２に撮像された顔画像の照合結果として、登録者、または未登録者の情報を同乗者の情報として取得し、関連情報取得部３０に供給する。関連情報取得部３０は、取得した同乗者情報をサービス判定部１６、時系列情報DB生成部２５、およびソート処理部３１に供給する。尚、同乗者の顔画像の認識処理については、図５のフローチャートを参照して説明した処理と同様であるので、その説明は省略する。
【００８５】
ステップＳ１３３において、GPS３４は、図示せぬ衛星からの信号に基づいて、地球上の緯度、および経度として位置情報を取得し、関連情報取得部３０に供給する。関連情報取得部３０は、取得した位置情報をサービス判定部１６、時系列情報DB生成部２５、およびソート処理部３１に供給する。
【００８６】
ステップＳ１３４において、走行距離情報取得部３５は、図示せぬ走行距離測定装置より走行距離情報を取得し、関連情報取得部３０に供給する。関連情報取得部３０は、取得した走行距離情報をサービス判定部１６、時系列情報DB生成部２５、およびソート処理部３１に供給する。尚、走行距離情報は、運転終了時に取得される情報であるので、一回の走行が完了したタイミングにおいて最終的な情報が走行距離情報となる。
【００８７】
ステップＳ１３５において、走行区間情報取得部３６は、図示せぬナビゲーション装置より走行区間情報を取得し、関連情報取得部３０に供給する。関連情報取得部３０は、取得した走行区間情報をサービス判定部１６、時系列情報DB生成部２５、およびソート処理部３１に供給する。尚、走行区間情報は、運転終了時に取得される情報であるので、一回の走行が完了したタイミングにおける最終的な情報が走行区間情報となる。
【００８８】
ステップＳ１３６において、天候情報取得部３７は、天候情報を取得し、関連情報取得部３０に供給する。関連情報取得部３０は、取得した天候情報をサービス判定部１６、時系列情報DB生成部２５、およびソート処理部３１に供給する。
【００８９】
ステップＳ１３７において、車両動作情報取得部３８は、車両動作情報を取得し、関連情報取得部３０に供給する。関連情報取得部３０は、取得した車両動作情報をサービス判定部１６、時系列情報DB生成部２５、およびソート処理部３１に供給する。
【００９０】
ステップＳ１３８において、安全動作情報取得部３９は、安全動作情報を取得し、関連情報取得部３０に供給する。関連情報取得部３０は、取得した安全動作情報をサービス判定部１６、時系列情報DB生成部２５、およびソート処理部３１に供給する。
【００９１】
ステップＳ１３９において、運転癖情報取得部４０は、運転癖情報を取得し、関連情報取得部３０に供給する。関連情報取得部３０は、取得した運転癖情報をサービス判定部１６、時系列情報DB生成部２５、およびソート処理部３１に供給する。
【００９２】
ステップＳ１４０において、対登録者情報取得部２９は、対登録者情報を取得し、関連情報取得部３０に供給する。関連情報取得部３０は、取得した対登録者情報をサービス判定部１６、時系列情報DB生成部２５、およびソート処理部３１に供給する。
【００９３】
以上の処理により、各種の関連情報が取得されて関連情報取得部３０に供給され、さらに、サービス判定部１６、時系列情報DB生成部２５、およびソート処理部３１に供給される。
【００９４】
ここで、図６のフローチャートの説明に戻る。
【００９５】
ステップＳ１０２において、ソート処理部３１は、関連情報取得部３０より供給されてきた関連情報、および統計情報DB２８の情報に基づいて、未登録者情報DB２４に登録されている未登録者のうち、照合結果として一致する可能性の高い未登録者情報が上位の順位となるように未登録者情報の順序を並び替える。
【００９６】
すなわち、例えば、ステップＳ１０１の処理により、位置情報としてC地点での乗車、走行距離情報として１．５ｋｍ、および同乗者情報が登録者βであり、さらに、対登録者情報として登録者の後に乗車しているという関連情報が取得された場合、図４で示されるような統計情報DB２８のとき、未登録者Ａ乃至Ｃのうち、ソート処理部３１は、これらの関連情報を全て含む未登録者Ｂ，Ｃが上位となるように未登録者情報DB２４の登録順序を並び替える。さらに、ソート処理部３１は、統計処理の頻度に応じた順序で未登録者情報の登録順序を並び替える。このように、未登録者情報DB２４のうち、関連情報、および統計情報DB２８に基づいて、照合結果が一致する可能性の高い未登録者情報を上位とする登録順序に並び替えることで、該当する未登録者情報を迅速に見つけ出せるようにすることが可能となる。
【００９７】
ステップＳ１０３において、ソート処理部３１は、関連情報取得部３０より供給されてきた関連情報および時系列情報DB２６に基づいて、未登録者情報DB２４に登録されている未登録者のうち、照合結果として一致する可能性の高い未登録者情報が上位の順位となるように未登録者情報の順序を並び替える。
【００９８】
すなわち、例えば、図４で示される統計情報DB２８の場合、ステップＳ１０２の処理により未登録者情報DB２４には、未登録者Ｂ，Ｃが上位となるように未登録者情報が登録されていることになる。今の場合、位置情報としてC地点での乗車、走行距離情報として１．５ｋｍ、および同乗者情報が登録者βであり、さらに、対登録者情報として登録者の後に乗車しているという関連情報を多く満たす時系列情報を検索する。例えば、図３で示されるように、これらの情報を満たすのは、未登録者Ｃとなるので、ソート処理部３１は、未登録者Ｂよりも未登録者Ｃが上位となるように未登録者情報DB２４の登録順序を並び替える。このように、未登録情報DB２４のうち、関連情報、および時系列情報DB２６に基づいて、照合結果が一致する可能性の高い未登録者情報を上位とする登録順序に並び替えることで、さらに、該当する未登録者情報を迅速に見つけ出せるようにすることができる。
【００９９】
すなわち、統計情報DB２８においては、関連情報の統計結果に基づいて、各未登録者毎の関連情報の傾向に基づいて、未登録者情報DB２４の登録順序を並び替えることができ、さらに、時系列情報DB２６においては、関連情報の同時発生条件などに基づいて、さらに、未登録者情報DB２４の登録順序を並び替えることができるので、これらの登録順序の並び替えにより、関連情報に合致する可能性の高い未登録者情報をより上位に並び替えることができるので、迅速に、関連情報に合致する未登録者情報を検索できるようにすることができる。
【０１００】
ステップＳ１０４において、類似度計算部１４は、図示せぬカウンタｙを１に初期化する。
【０１０１】
ステップＳ１０５において、類似度計算部１４は、未登録者情報DB２４より未登録者情報（ｙ）を読み出す。尚、ここで、未登録者情報（ｙ）は、未登録者情報DB２４に登録された未登録者情報の個別の登録順序を示すカウンタｙにより識別した未登録者情報である。
【０１０２】
ステップＳ１０６において、類似度計算部１４は、未登録者情報（ｙ）の特徴量と、特徴量抽出部１３より供給されてきた顔画像の特徴量とを用いて類似度を計算し、照合判定部１５に供給する。
【０１０３】
ステップＳ１０７において、照合判定部１５は、未登録者情報（ｙ）の特徴量との類似度が所定の閾値よりも高いか否かを判定し、所定の閾値よりも小さいとき、すなわち、類似していないと判定された場合、処理は、ステップＳ１０８に進む。
【０１０４】
ステップＳ１０８において、類似度計算部１４は、未登録者情報DB２４に登録されている登録者情報の全てについて類似度を計算したか否かを判定する。ステップＳ１０８において、全ての登録者情報について類似度を計算していないと判定された場合、ステップＳ１０９において、カウンタｙを１インクリメントし、処理は、ステップＳ１０５に戻る。すなわち、類似度が所定の閾値よりも高い未登録者情報（ｙ）が求められるまで、ステップＳ１０５乃至Ｓ１０９の処理が繰り返される。そして、ステップＳ１０７において、未登録者情報（ｙ）の特徴量との類似度が所定の閾値よりも高いと判定された場合、処理は、ステップＳ１１１に進む。
【０１０５】
ステップＳ１１１において、照合判定部１５は、未登録者情報（ｙ）に対応する未登録者が検出されたことを時系列情報DB生成部２５、およびサービス判定部１６に供給する。サービス判定部１６は、照合結果として検索された未登録者、および関連情報に対応付けて設定されているサービス内容を、サービス条件記憶部１６ａより読み出す。
【０１０６】
ステップＳ１１２において、サービス判定部１６は、読み出したサービス内容に応じて、車両動作制御部１９を制御して、車両を動作させて運転者および同乗者に対してサービスを提供する。すなわち、例えば、車両動作制御部１９は、未登録者Ｃであると判定した場合、車両に搭乗する位置がほぼ同じであり、走行距離も長くなく、登録者βが同乗しており、さらに、登録者の後に乗車しているという関連情報から、対登録者情報および同乗者情報から見ても、登録者と親しい人物であるものとみなし、エンジン開始動作を可能とする。ただし、この場合、シートの位置や調整などは登録されていないので、実施しないようにさせる。この際、必要に応じて、サービス判定部１６は、表示部１７、および音声出力部１８を制御して、シートの位置は調整していないが、エンジン始動が可能であることを画像、および音声により運転者に提示する。
【０１０７】
ステップＳ１１３において、時系列情報DB生成部２５は、関連情報取得部３０より供給されてきた関連情報に基づいて、時系列情報DB２６を更新する。すなわち、新たな時刻に照合結果として登録される未登録者を登録すると共に、対応付けて関連情報を付加して時系列情報DB２６を更新する。
【０１０８】
ステップＳ１１４において、統計情報DB生成部２７は、時系列情報DB２６の各未登録者毎の関連情報を累積加算、または、平均化するなどして、統計処理し、統計情報DB２８を更新する。
【０１０９】
一方、ステップＳ１０８において、全ての未登録者情報について処理されたと判定された場合、処理は、ステップＳ１１０に進む。
【０１１０】
ステップＳ１１０において、照合判定部１５は、これまで、未登録者情報DB２４にも登録されたことがない完全な未登録者であることをサービス判定部１６に供給すると共に、完全未登録者であるので、未登録者情報を登録するように未登録者情報登録部２３に指示する。未登録者情報登録部２３は、この指示に応じて、顔画像抽出部１２より供給されてきた顔画像、および、特徴量抽出部１３より供給されてくる特徴量を顔画像に対応付けて未登録者情報DB２４に登録する。
【０１１１】
ステップＳ１１５において、サービス判定部１６は、照合結果として検索されることがなかった完全な未登録者（完全未登録者）であること、および関連情報に対応付けて設定されているサービス内容を、サービス条件記憶部１６ａより読み出す。
【０１１２】
ステップＳ１１６において、サービス判定部１６は、読み出したサービス内容に応じて、車両動作制御部１９を制御して、車両を動作させて運転者および同乗者に対してサービスを提供する。すなわち、例えば、車両動作制御部１９は、完全未登録者であって、同乗者もなく、時刻情報が深夜であるような場合、エンジンを始動不能な状態に設定する。この際、必要に応じて、サービス判定部１６は、表示部１７、および音声出力部１８を制御して、盗難が発生していることを提示する。
【０１１３】
すなわち、完全未登録者が運転者であって、同乗者もなく、時刻情報が深夜であるような場合、運転者は、車両の窃盗犯であるものとみなし、エンジンを始動不能の状態にすると共に、盗難が発生していることを車外にも提示できるように、ホーンや前照灯を点滅させるなどする。結果として、顔画像に基づいて、完全な未登録者が検出されると、盗難であるものとみなして、車両の所有者に対して有用なサービスを提供することが可能となる。
【０１１４】
また、以上においては、未登録者が、登録者との時系列の前後関係、または、同乗者であるか否かなどにより登録者に親しい人物であると考えられるような場合、登録処理がなされていない状態であっても、エンジンの始動を可能にさせる例について説明してきたが、例えば、未登録者であるが、直前まで登録者が運転しており、エンジンを切らないまま未登録者が検出されており、さらに、同一の未登録者が過去数回にわたって検出されていることから、運転手交代の可能性があるとみなし、エンジンの始動、および車両の動作を登録者と同様に設定させるようにしてもよい。
【０１１５】
さらに、未登録者Ａは、時系列情報DB２５によると走行区間情報の関連情報において、登録者Ｘの次に乗車する場合はルートＡを走行することが多く、登録者Ｙの次に乗車する場合はルートＢを走行することが多いので、未登録者Ａが登録者Ｘの次に乗車するときはルートＡを走行するようにナビゲーション装置を設定し、登録者Ｙの次に乗車する場合は、ルートＢを走行するようにナビゲーション装置を設定することにより、未登録者に対しても前後関係により対応を区別してサービスを提供することが可能となる。
【０１１６】
尚、本実施例においては、登録者ではない場合、常に登録を促す処理となっているが、例えば、深夜などにおいて、登録者ではない人物が撮像されていたような場合、窃盗犯などが撮像されていることもあり、そのような場合については、ステップＳ８において、全ての登録者情報について照合処理がなされた後のタイミングにおいて、ステップＳ１０１における関連情報取得処理を実施し、登録処理そのものを禁止させるようにしてもよい。
【０１１７】
また、ステップＳ１０１における関連情報取得処理については、例えば、乗車時には走行距離情報などの関連情報については取得できないので、乗車時、発進時、走行中、停車時、降車時など、イベント毎に取得する関連情報を変えるようにしてもよい。
【０１１８】
さらに、上述した実施例においては、各種のデータベースについて、個別に管理されるものとして説明を進めてきたが、必ずしも個別のデータベースとして構成されていなければならないものではなく、例えば、全データを１元管理したデータベースを構成し、必要な情報のみを抽出し、並び替えるようにするなどして、1個のデータベースから派生的に、上述した複数のデータベースが構成されるようにしてもよいものである。
【０１１９】
ところで、上述した一連の監視処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【０１２０】
図８は、汎用のパーソナルコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタフェース１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。
【０１２１】
入出力インタフェース１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブルメディア１０１１に対してデータを読み書きするドライブ１０１０が接続されている。
【０１２２】
CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブルメディア１０１１から読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１２３】
尚、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理は、もちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理を含むものである。
【０１２４】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【符号の説明】
【０１２５】
１１−１ 運転者撮像部
１１−２ 同乗者撮像部
１２ 顔画像抽出部
１３ 特徴量抽出部
１４ 類似度計算部
１５ 照合判定部
１６ サービス判定部
１９ 車両動作制御部
２２ 登録者情報DB
２４ 未登録者情報DB
２５ 時系列情報DB生成部
２６ 時系列情報DB
２７ 統計情報DB生成部
２８ 統計情報DB
２９ 対登録者情報取得部
３０ 関連情報取得部
３１ ソート処理部
【技術分野】
【０００１】
本発明は、車両動作制御装置および方法、並びにプログラムに関し、特に、特定の登録処理をしていない未登録の運転者に対しても、未登録運転者のそれぞれに応じて適切に車両の動作を制御できるようにした車両動作制御装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
従来、顔画像を用いた認識処理により、運転者を個別に特定する技術が提案されている（特許文献１，２参照）。
【０００３】
さらに、これらの技術を用いて、車両の内外部に設置したカメラにより撮像した顔画像から得られる情報と、予めデータベースに登録された顔画像に対応付けて登録されている個人情報や運転免許証などの個人を特定し得る外部情報とを併せて比較して運転者を特定し、特定された個人毎に最適なサービスを提供する技術が提案されている（特許文献３乃至５参照）。
【０００４】
上述したこれらの技術においては、比較したい人物に対して、何らかの比較基準を特定の人物毎にデータベースに登録したり，運転免許証などの個人情報を備えたカードをカードリーダなどで読み取るなど（特許文献６参照）して用意し、この基準情報と一致するか否かにより、比較した人物が正規の運転者であるか否かが判定される。
【０００５】
ところで、上述した技術によると、基準情報と一致しなかった人物に対しては「不正」と判定されることとなるが、「不正」と判定された人物に対しては、新規登録を促したり、自動車操作を制限したりする技術が提案されている（特許文献７，８参照）。
【０００６】
また、「不正」と判定された人物が自動車内外に存在していることを、正規登録者に通報する方法も提案されている（特許文献９，１０参照）。また、逆に「不正な人物」を登録しておき、特定の人物を識別した場合のみ「不正」と判定する方法も提案されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００７−１８６１４４号公報
【特許文献２】特開２００３−２１４２４１号公報
【特許文献３】特開２００１−０６００９５号公報
【特許文献４】特開２００１−１８２８１２号公報
【特許文献５】特開２００７−３０８０６９号公報
【特許文献６】特開２００２−２０３２４４号公報
【特許文献７】特開２００６−３５０５６６号公報
【特許文献８】特開２００６−３２７３４６号公報
【特許文献９】特開２００１−０１４５７５号公報
【特許文献１０】特開２００６−２５９８２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、未登録であるが故に、「不正」と判断されたのみで自動車操作に過度な規制を加えると、登録された運転者と親しい、例えば、家族や友人などの場合、自動車操作に制限を加えるのは不適当な場合が多い。
【０００９】
また、 代行運転や運転手交代などの一時的な搭乗の場合、わざわざ登録するのは面倒であり、登録しないで正規操作を可能としたいようなとき、不便である。
【００１０】
複数の登録者に対して個別サービスを提供することは従来可能であるが、未登録者に対しては画一的な対応しかできない。
【００１１】
本発明はこのような状況に鑑みてなされたものであり、特に、自動車の搭乗者の認識処理において、未登録者であっても個別に最適な対応を実現できるようにするものである。
【課題を解決するための手段】
【００１２】
本発明の一側面の車両動作制御装置は、照合対象者の画像を撮像する撮像手段と、前記撮像手段により撮像された画像より前記照合対象者の顔画像を抽出する顔画像抽出手段と、前記顔画像抽出手段により抽出された照合対象者の顔画像の特徴量を抽出する特徴量抽出手段と、登録者の顔画像の特徴量を登録者情報データベースとして記憶する登録者記憶手段と、未登録者の顔画像の特徴量を記憶する未登録者記憶手段と、前記特徴量抽出手段により抽出された照合対象者の顔画像の特徴量と、前記登録者情報データベースに記憶された登録者、または前記未登録者記憶手段に記憶された未登録者の顔画像の特徴量との類似度を計算する類似度計算手段と、前記類似度と所定の閾値とを、前記登録者情報データベース、または、前記未登録者記憶手段に記憶されている順序で照合し、前記所定の閾値よりも高い登録者を前記照合対象者として検索し、前記所定の閾値よりも類似度の高い前記登録者が存在しない場合、前記所定の閾値よりも類似度の高い未登録者を前記照合対象者として検索する検索手段と、前記照合対象者として検索された未登録者の前記登録者との関係を示す情報を検出する関係情報検出手段と、前記検索手段により前記登録者、または前記未登録者が検索された場合、前記登録者に対応付けて予め設定される状態、または前記未登録者の登録者との関係を示す情報に対応付けて予め設定される状態に車両動作状態を制御する動作制御手段と、前記動作制御手段により、前記車両動作状態が制御されたときの前記登録者、または前記未登録者に対応付けて、前記登録者との関係を示す情報について、前記未登録者毎に、前記登録者との関係を示す情報の統計的な処理結果を統計情報データベースとして更新する統計情報データベース更新手段と、前記統計情報データベースに登録された、前記未登録者毎の、前記登録者との関係の情報の統計的な処理結果に対応して、前記未登録者記憶手段に記憶されている未登録者の記憶順序を並び替える並び替え手段とを含み、前記検索手段は、前記類似度と前記所定の閾値とを、前記並び替え手段により並び替えられた記憶順序で前記未登録者記憶手段に記憶されている未登録者を照合し、前記所定の閾値よりも類似度の高い未登録者を検索する。
【００１３】
前記未登録者記憶手段には、未登録者の顔画像の特徴量を未登録者情報データベースとして記憶させ、前記類似度計算手段には、前記特徴量抽出手段により抽出された照合対象者の顔画像の特徴量と、前記登録者情報データベースに記憶された登録者、または前記未登録者情報データベースに記憶された未登録者の顔画像の特徴量との類似度を計算させ、前記関係情報検出手段には、前記照合対象者として検索された未登録者の前記登録者との時系列の前後関係を示す情報を検出させ、前記動作制御手段には、前記検索手段により前記登録者、または前記未登録者が検索された場合、前記登録者に対応付けて予め設定される状態、または前記未登録者の登録者との時系列の前後関係を示す情報に対応付けて予め設定される状態に車両動作状態を制御させ、前記動作制御手段により、前記車両動作状態が制御されたときの前記登録者、または前記未登録者の顔画像に対応付けて、前記登録者との時系列の前後関係を示す情報を時系列情報データベースとして更新する時系列情報データベース更新手段をさらに含ませるようにすることができ、前記統計情報データベース更新手段には、前記時系列情報データベースの情報について、前記未登録者毎に、前記登録者との時系列の前後関係を示す情報の統計的な処理結果を統計情報データベースとして更新させ、前記並び替え手段には、前記統計情報データベースに登録された、前記未登録者毎の、前記登録者との前後関係の情報の統計的な処理結果に対応して、前記未登録者データベースの未登録者の記憶順序を並び替えさせ、前記検索手段には、前記類似度と前記所定の閾値とを、前記並び替え手段により並び替えられた記憶順序で前記未登録者情報データベースに記憶されている未登録者を照合し、前記所定の閾値よりも類似度の高い未登録者を前記照合対象者として検索させるようにすることができる。
【００１４】
前記動作制御手段により、前記車両動作状態が制御されたときの関連情報を取得する関連情報取得手段とをさらに含ませるようにすることができ、前記時系列情報データベース更新手段には、前記動作制御手段により、前記車両動作状態が制御されたときの前記登録者、または前記未登録者の顔画像に対応付けて、前記時系列の前後関係を示す情報、および前記関連情報を前記時系列情報データベースとして更新させ、前記統計情報データベース更新手段には、前記時系列情報データベースの情報について、前記未登録者毎に、前記登録者との時系列の前後関係、および前記関連情報の統計的な処理結果を統計情報データベースとして更新させ、前記関係情報検出手段には、前記時系列データベースにおける、前記照合対象者として検索された未登録者の、前記登録者との前記時系列の前後関係を示す情報、および前記関連情報を検出させ、前記並び替え手段には、前記統計情報データベースに登録された、前記未登録者毎の、前記登録者との時系列の前後関係を示す情報、および前記関連情報の統計的な処理結果に対応して、前記未登録者データベースの未登録者の記憶順序を並び替えるようにさせることができる。
【００１５】
前記関連情報には、年齢、性別、人種、眼鏡等付帯物、化粧、煙草等の情報を含む顔属性情報、および時刻、同乗者、位置、走行距離、走行区間、天候情報、車両動作、安全装置動作、若しくは運転癖情報を含ませるようにすることができる。
【００１６】
本発明の一側面の車両動作制御方法は、照合対象者の画像を撮像する撮像ステップと、前記撮像ステップの処理により撮像された画像より前記照合対象者の顔画像を抽出する顔画像抽出ステップと、前記顔画像抽出ステップの処理により抽出された照合対象者の顔画像の特徴量を抽出する特徴量抽出ステップと、登録者の顔画像の特徴量を登録者情報データベースとして記憶する登録者記憶ステップと、未登録者の顔画像の特徴量を記憶する未登録者記憶ステップと、前記特徴量抽出ステップの処理により抽出された照合対象者の顔画像の特徴量と、前記登録者情報データベースに記憶された登録者、または前記未登録者記憶ステップの処理で記憶された未登録者の顔画像の特徴量との類似度を計算する類似度計算ステップと、前記類似度と所定の閾値とを、前記登録者情報データベース、または、前記未登録者記憶ステップの処理により記憶されている順序で照合し、前記所定の閾値よりも高い登録者を前記照合対象者として検索し、前記所定の閾値よりも類似度の高い前記登録者が存在しない場合、前記所定の閾値よりも類似度の高い未登録者を前記照合対象者として検索する検索ステップと、前記照合対象者として検索された未登録者の前記登録者との関係を示す情報を検出する関係情報検出ステップと、前記検索ステップの処理により前記登録者、または前記未登録者が検索された場合、前記登録者に対応付けて予め設定される状態、または前記未登録者の登録者との関係を示す情報に対応付けて予め設定される状態に車両動作状態を制御する動作制御ステップと、前記動作制御ステップの処理により、前記車両動作状態が制御されたときの前記登録者、または前記未登録者に対応付けて、前記登録者との関係を示す情報について、前記未登録者毎に、前記登録者との関係を示す情報の統計的な処理結果を統計情報データベースとして更新する統計情報データベース更新ステップと、前記統計情報データベースに登録された、前記未登録者毎の、前記登録者との関係の情報の統計的な処理結果に対応して、前記未登録者記憶ステップの処理により記憶されている未登録者の記憶順序を並び替える並び替えステップとを含み、前記検索ステップの処理は、前記類似度と前記所定の閾値とを、前記並び替えステップの処理により並び替えられた記憶順序で前記未登録者記憶ステップの処理により記憶されている未登録者を照合し、前記所定の閾値よりも類似度の高い未登録者を検索する。
【００１７】
本発明の一側面のプログラムは、照合対象者の画像を撮像する撮像ステップと、前記撮像ステップの処理により撮像された画像より前記照合対象者の顔画像を抽出する顔画像抽出ステップと、前記顔画像抽出ステップの処理により抽出された照合対象者の顔画像の特徴量を抽出する特徴量抽出ステップと、登録者の顔画像の特徴量を登録者情報データベースとして記憶する登録者記憶ステップと、未登録者の顔画像の特徴量を記憶する未登録者記憶ステップと、前記特徴量抽出ステップの処理により抽出された照合対象者の顔画像の特徴量と、前記登録者情報データベースに記憶された登録者、または前記未登録者記憶ステップの処理で記憶された未登録者の顔画像の特徴量との類似度を計算する類似度計算ステップと、前記類似度と所定の閾値とを、前記登録者情報データベース、または、前記未登録者記憶ステップの処理により記憶されている順序で照合し、前記所定の閾値よりも高い登録者を前記照合対象者として検索し、前記所定の閾値よりも類似度の高い前記登録者が存在しない場合、前記所定の閾値よりも類似度の高い未登録者を前記照合対象者として検索する検索ステップと、前記照合対象者として検索された未登録者の前記登録者との関係を示す情報を検出する関係情報検出ステップと、前記検索ステップの処理により前記登録者、または前記未登録者が検索された場合、前記登録者に対応付けて予め設定される状態、または前記未登録者の登録者との関係を示す情報に対応付けて予め設定される状態に車両動作状態を制御する動作制御ステップと、前記動作制御ステップの処理により、前記車両動作状態が制御されたときの前記登録者、または前記未登録者に対応付けて、前記登録者との関係を示す情報について、前記未登録者毎に、前記登録者との関係を示す情報の統計的な処理結果を統計情報データベースとして更新する統計情報データベース更新ステップと、前記統計情報データベースに登録された、前記未登録者毎の、前記登録者との関係の情報の統計的な処理結果に対応して、前記未登録者記憶ステップの処理により記憶されている未登録者の記憶順序を並び替える並び替えステップとを含む処理を車両動作制御装置を制御するコンピュータに実行させ、前記検索ステップの処理は、前記類似度と前記所定の閾値とを、前記並び替えステップの処理により並び替えられた記憶順序で前記未登録者記憶ステップの処理により記憶されている未登録者を照合し、前記所定の閾値よりも類似度の高い未登録者を検索する。
【００１８】
本発明の一側面の車両動作制御装置は、照合対象者の画像を撮像する撮像手段とは、例えば、車両に搭載された運転者、および搭乗者を撮像する撮像部であり、前記撮像手段により撮像された画像より前記照合対象者の顔画像を抽出する顔画像抽出手段とは、例えば、撮像部により撮像された画像から顔画像を抽出する顔画像抽出部であり、前記顔画像抽出手段により抽出された照合対象者の顔画像の特徴量を抽出する特徴量抽出手段とは、例えば、顔画像抽出部より抽出された顔画像より特徴量を抽出する特徴量抽出部であり、登録者の顔画像の特徴量を登録者情報データベースとして記憶する登録者記憶手段とは、例えば、登録者の顔画像と特徴量との情報からなる登録者データベースであり、未登録者の顔画像の特徴量を記憶する未登録者記憶手段とは、例えば、未登録者の顔画像と特徴量との情報からなる未登録者情報データベースであり、前記特徴量抽出手段により抽出された照合対象者の顔画像の特徴量と、前記登録者情報データベースに記憶された登録者、または前記未登録者記憶手段に記憶された未登録者の顔画像の特徴量との類似度を計算する類似度計算手段とは、照合対象者の顔画像の特徴量と、前記登録者情報データベースに記憶された登録者、または前記未登録者情報データベースに記憶された未登録者の顔画像の特徴量との類似度を計算する類似度計算部であり、前記類似度と所定の閾値とを、前記登録者情報データベース、または、前記未登録者記憶手段に記憶されている順序で照合し、前記所定の閾値よりも高い登録者を前記照合対象者として検索し、前記所定の閾値よりも類似度の高い前記登録者が存在しない場合、前記所定の閾値よりも類似度の高い未登録者を前記照合対象者として検索する検索手段とは、例えば、類似度をそれぞれ所定の閾値と比較し類似度の高い登録者、または未登録者を検索する照合判定部であり、前記照合対象者として検索された未登録者の前記登録者との関係を示す情報を検出する関係情報検出手段とは、例えば、時系列情報データベースの情報に基づいて時系列の未登録者毎の登録者との前後関係を検出する対登録者情報取得部であり、前記検索手段により前記登録者、または前記未登録者が検索された場合、前記登録者に対応付けて予め設定される状態、または前記未登録者の登録者との関係を示す情報に対応付けて予め設定される状態に車両動作状態を制御する動作制御手段とは、例えば、車両の各種の動作を制御する車両動作制御部であり、前記動作制御手段により、前記車両動作状態が制御されたときの前記登録者、または前記未登録者に対応付けて、前記登録者との関係を示す情報について、前記未登録者毎に、前記登録者との関係を示す情報の統計的な処理結果を統計情報データベースとして更新する統計情報データベース更新手段とは、例えば、統計情報データベース生成部であり、前記統計情報データベースに登録された、前記未登録者毎の、前記登録者との関係の情報の統計的な処理結果に対応して、前記未登録者記憶手段に記憶されている未登録者の記憶順序を並び替える並び替え手段とは、例えば、ソート処理部であり、前記検索手段である照合判定部は、前記類似度と前記所定の閾値とを、ソート処理部である前記並び替え手段により並び替えられた記憶順序で前記未登録者データベースである前記未登録者記憶手段に記憶されている未登録者を照合し、前記所定の閾値よりも類似度の高い未登録者を検索する。
【００１９】
すなわち、照合判定部は、前記類似度と所定の閾値とを、未登録者データベースの未登録者が、ソート処理部により並び替えられた記憶順序で照合され、前記所定の閾値よりも類似度の高い未登録者を検索する。
【００２０】
このため、未登録者データベースのうち、統計情報データベースに登録された、前記未登録者毎の、前記登録者との関係を示す情報のうち、前記関係情報検出手段により検出された前記登録者との関係を示す情報の統計的な処理結果に対応する未登録者が上位となるように並び替えられるため、検索処理を効率よく、高速で実現することができると共に、検索された未登録者に対して、登録者との関係を示す情報に対応付けて設定される状態に車両動作状態を制御することができる。
【００２１】
結果として、未登録者であっても、登録者との関係を示す情報に対応して、異なる状態に車両動作状態を制御することができるので、例えば、登録者の次に運転席に座る頻度が高い人物については、未登録者であっても比較的に登録者に親しい人物であることを想定して、車両を運転する際の規制を広く解除させるような設定とし、逆に、登録者が乗ったタイミングとは無関係に、かつ、それほど高くない頻度で運転席に座る人物については、登録者に対して、それほど親しい人物ではない可能性が高いので、運転に必要最小限の規制のみしか解除せず、さらには、全く初めて運転席に座るような未登録者の場合、エンジンも始動できないほど動作を規制させるといったことが可能となり、自動車の搭乗者の認識処理において、未登録者であっても個別に最適な対応を実現することが可能となる。
【発明の効果】
【００２２】
本発明によれば、自動車の搭乗者の認識処理において、未登録者であっても個別に最適な対応を実現することが可能となる。
【図面の簡単な説明】
【００２３】
【図１】本発明を適用した車両動作制御装置の構成例を説明する図である。
【図２】登録者と未登録者とを説明する図である。
【図３】時系列情報データベースを説明する図である。
【図４】統計情報データベースを説明する図である。
【図５】顔認証サービス処理を説明するフローチャートである。
【図６】未登録者対応処理を説明するフローチャートである。
【図７】関連情報取得処理を説明するフローチャートである。
【図８】汎用のコンピュータの構成例を示す図である。
【発明を実施するための形態】
【００２４】
［本発明に係る車両動作制御装置の一実施の形態の構成例］
図１は、本発明に係る車両動作制御装置の一実施の形態の構成例を示す図である。
【００２５】
図１の車両動作制御装置は、実際には、車両そのものを構成するものであり、カメラなどの撮像装置により撮像した画像より運転者や同乗者の顔画像を抽出し、抽出された顔画像に基づいて、運転者が、登録者であるか、または、未登録者であるかを照合し、登録者である場合、登録者に対応して、例えば、運転席のリクライニングや高さ調整、テレスコピックステアリングなどを登録された位置に調整し、エンジンが始動できるように車両の動作を制御する。また、顔画像に基づいて、運転者が未登録者である場合、図１の車両動作制御装置は、例えば、登録者の家族のように、未登録者であっても、登録者に準じた人物であることが認識できたときには、運転席の調整は省くが、エンジンが始動できるように車両を制御し、さらに、未登録者であって、登録者に親しい人物でもないとき、エンジンは始動さえもできないように車両を制御する。すなわち、図１の車両動作制御装置は、顔認証により運転者に最適なサービスを提供するものである。
【００２６】
次に、図１の車両動作制御装置の構成について詳細を説明する。
【００２７】
運転者撮像部１１−１、および同乗者撮像部１１−２は、いずれもCCD（Charge Coupled Devices）またはCMOS（Complementary Metal Oxide Semiconductor）などの撮像素子から構成されており、それぞれ運転席に搭乗した運転者、並びに助手席、および後部座席等の同乗者を撮像し、撮像した画像を顔画像抽出部１２に供給する。尚、運転者撮像部１１−１および同乗者撮像部１１−２は、運転席を含めて１台の撮像部により全員が撮像可能であれば、個別に設ける必要はなく、１台であってもよい。また、いわゆるミニバンなどの３列シートが採用されている車両などでは、各列毎に撮像部を備えるようにするなどし、さらに多くの画像を撮像できる構成としてもよい。
【００２８】
顔画像抽出部１２は、運転者撮像部１１−１、および同乗者撮像部１１−２より供給されてくる画像より、顔の輪郭や、目、鼻、耳、および口などの器官の配置により、顔画像の位置を特定し、特定された領域の画像を顔画像として抽出し、抽出した顔画像の情報を特徴量抽出部１３、登録者情報登録部２１、および未登録者情報登録部２３に供給する。
【００２９】
特徴量抽出部１３は、顔画像抽出部１２より供給されてくる顔画像より、例えば、左右の目の中央位置の間隔、左右それぞれの目と鼻の間隔、および輪郭形状などを特徴量として抽出し、類似度計算部１４、登録者情報登録部２１、および未登録者情報登録部２３に供給する。
【００３０】
情報入力部２０は、登録者の登録情報を入力するためのものであり、例えば、登録者の氏名、年齢、性別、および血液型など個人情報などのテキスト情報を入力するキーボードおよび操作ボタンの他、例えば、登録者の好みのシートの位置、リクライニング角度、およびテレスコピックステアリングの伸縮位置などを入力、または、読み取る機能を備えたものであり、それらの情報の入力を受け付けると、登録者情報登録部２１に供給する。
【００３１】
登録者情報登録部２１は、情報入力部２０より供給されてくる登録者の各種の情報、顔画像抽出部１２より供給されてくる登録者の顔画像、並びに特徴量抽出部１３より供給されてくる顔画像の特徴量の情報を、顔画像に対応付けて登録者情報データベース２２（以降、登録者情報DB２２とも称する）として登録する。
【００３２】
尚、以降においても、顔画像と特徴量とをそれぞれ管理するものとして説明を進めるものとするが、照合に必要とされる特徴量については、顔画像より求めることができるので、顔画像のみを記憶し、必要に応じて記憶した顔画像より特徴量を求めるようにしてもよい。
【００３３】
類似度計算部１４は、特徴量抽出部１３より供給されてくる特徴量と、登録者情報DB２２、または、未登録者情報データベース２４（以降においては、未登録者情報DB２４と称する）に登録されている未登録者の特徴量とを用いて、それぞれ類似度を計算し、計算した類似度を照合判定部１５に供給する。この際、類似度計算部１４は、未登録者情報DB２４に登録されている順序通りに類似度を順次求める。
【００３４】
照合判定部１５は、類似度計算部１４より供給されてくる類似度と所定の閾値とを比較し、所定の閾値よりも類似度が高ければ、登録者であるものとみなし、該当する登録者の情報を登録者情報DB２２より読み出して、サービス判定部１６、同乗者情報取得部３２、および時系列情報DB生成部２５に供給する。また、照合判定部１５は、登録者情報DB２２に登録されている登録者の特徴量との類似度が、いずれも所定の閾値よりも高くない場合、未登録者情報登録部２３に対して、その顔画像、および特徴量を未登録者として未登録者情報DB２４に登録するように指示する。
【００３５】
未登録者情報登録部２３は、未登録者情報DB２４に登録が指示された顔画像、および特徴量を、顔画像抽出部１２、および特徴量抽出部１３より、それぞれ取得し、顔画像に対応付けて特徴量の情報を未登録者情報DB２４に登録する。
【００３６】
ここで、登録者および未登録者について説明する。
【００３７】
登録者とは、自らの意思を持って顔画像を登録した人物であり、登録者情報とは、顔画像、顔画像の特徴量、および個人情報を含むものである。これに対して、未登録者とは、顔画像として認証のために供給されてきた顔画像のうち、登録者として認識されなかった人物であり、未登録者情報DB２４は、登録者として認識されなかった人物の顔画像をデータベース化したものである。すなわち、図２で示されるように、顔画像Ｆ１乃至Ｆ３の特徴量が抽出され、登録者情報DB２２に登録されている登録者の顔画像の特徴量を用いて類似度を計算したところ、顔画像Ｆ１については類似度が所定の閾値よりも高く、登録者であると認識されたが、顔画像Ｆ２，Ｆ３については、いずれも類似度が所定の閾値よりも高くなく、未登録者であると判定される。このような場合、顔画像Ｆ２，Ｆ３は、未登録者Ａ，Ｂとして未登録者情報DB２４に登録される。実際には、未登録者情報DB２４には、未登録者の顔画像、および特徴量が対応付けて登録される。
【００３８】
図１の説明に戻る。
【００３９】
対登録者情報取得部２９は、運転者が未登録者Ａとして判定された場合、後述する時系列情報DB２６の情報に基づいて、登録者との時系列の前後関係の情報を取得する。時系列情報DB２６には、登録者、および未登録者の時系列の関連情報が記録されており、例えば、対登録者情報取得部２９は、未登録者Ａが、登録者Ｓが運転した次のタイミングで利用したという時系列の前後関係を示す関連情報を取得し、バス４１を介して関連情報取得部３０に供給する。
【００４０】
同乗者情報取得部３２は、同乗者撮像部１１−２により撮像された画像より抽出される顔画像の照合結果に基づいて、運転者が撮像されたタイミングにおける、車両の同乗者情報を取得し、バス４１を介して関連情報取得部３０に供給する。すなわち、例えば、同乗者情報取得部３２は、同乗者として登録者Ｔ、および未登録者Ｂといった情報を取得し、関連情報取得部３０に供給する。RTC（Real Time Clock）３３は、現在の時刻情報を発生し、関連情報として関連情報取得部３０に供給する。GPS（Global Positioning System）３４は、図示せぬ衛星からの信号を取得し、緯度、および経度からなる地球上の位置を求め、位置情報からなる関連情報としてバス４１を介して関連情報取得部３０に供給する。
【００４１】
走行距離情報取得部３５は、図示せぬ走行距離測定装置より走行距離を取得し、関連情報として、バス４１を介して関連情報取得部３０に供給する。走行区間情報取得部３６は、図示せぬナビゲーション装置などより、走行の基点となった位置と、走行の終点となった位置（認識された運転者が下車した位置など）とを地図情報などから求めて、関連情報としてバス４１を介して関連情報取得部３０に供給する。天候情報取得部３７は、温度センサ、湿度センサ、および雨滴感知センサなどからなり外気温度、外気湿度、降雨、および降雪などの天候情報を関連情報として検出し、バス４１を介して関連情報取得部３０に供給する。
【００４２】
車両動作情報取得部３８は、車両の動作状態として、例えば、エンジンがオンにされた、前扉が開いた、前消灯が点灯した、エアコンのオンまたはオフ、および設定温度、並びにナビゲーション装置の目的地の設定など、車両に付帯する各種の装置の動作状態である車両動作情報を関連情報として取得し、バス４１を介して関連情報取得部３０に供給する。安全動作情報取得部３９は、車両の安全に関わる動作として、急ブレーキ、急ハンドル、接触、またはエアバッグの開放など安全に関わる安全動作情報を関連情報として取得し、バス４１を介して関連情報取得部３０に供給する。運転癖情報取得部４０は、車両を運転する運転者の運転時の、シフトチェンジのタイミング、アクセルを踏み込む変化率、ブレーキをかけ始めてから停止するまでの距離など、運転の癖となる運転癖情報を関連情報として取得し、バス４１を介して関連情報取得部３０に供給する。
【００４３】
関連情報取得部３０は、対登録者情報、同乗者情報、時刻情報、位置情報、走行距離情報、走行区間情報、天候情報、車両動作情報、安全情報、および運転癖情報を取得し、サービス判定部１６、時系列情報DB生成部２５、およびソート処理部３１に供給する。時系列情報DB生成部２５は、関連情報取得部３０より供給されてくる関連情報、および照合判定部１５より供給されてくる照合結果とを用いて、照合結果となる顔画像に対応付けて、関連情報を時系列に登録したデータベースである時系列情報DB２６を生成すると共に、更新する。尚、関連情報は、対登録者情報、同乗者情報、時刻情報、位置情報、走行距離情報、走行区間情報、天候情報、車両動作情報、安全情報、および運転癖情報に限るものではなく、例えば、顔画像より推定可能な、年齢、性別、人種、眼鏡等付帯物、化粧、煙草等の情報を含む顔属性情報などを含めたものとしてもよい、これら全てを使うようにしてもよいし、一部のものを使うようにしてもよい。
【００４４】
［時系列情報データベース］
時系列情報DB２６は、例えば、図３で示されるようなものである。図３においては、横軸を時系列（時間軸）として、それぞれのタイミングにおける顔画像を配置し、縦軸に、その顔画像に対応付けた関連情報を配置するものである。図３においては、最初の時刻Ｔ１のタイミングにおいて、未登録者Ａが認識されたことを示し、その未登録者Ａの関連情報として、走行距離情報取得部３５により取得された走行距離が１ｋｍであり、走行区間情報取得部３６により取得された走行区間が、自宅からコンビニエンスストアまでであり、車両動作情報取得部３８により取得された、助手席のドアが開閉したことが関連情報として登録されている。
【００４５】
そして、時刻Ｔ２のタイミングにおいて、登録者αが認識されたことが示されている。
【００４６】
また、時刻Ｔ３のタイミングにおいて、未登録者Ｂが認識されたことを示し、その未登録者Ｂの関連情報として、GPS３４により取得されたB地点において搭乗し、走行距離情報取得部３５により取得された走行距離が１．５ｋｍであり、同乗者情報取得部３２により取得された、同乗者が登録者βであるという関連情報が登録されている。
【００４７】
さらに、時刻Ｔ４のタイミングにおいて、登録者αが認識されたことが示されている。
【００４８】
また、時刻Ｔ５のタイミングにおいて、未登録者Ｂが認識されたことを示し、その未登録者Ｂの関連情報として、GPS３４により取得されたC地点において搭乗され、同乗者情報取得部３２により取得された、同乗者が登録者βであるという関連情報が登録されている。
【００４９】
さらに、時刻Ｔ６のタイミングにおいて、登録者αが認識されたことが示されている。
【００５０】
また、時刻Ｔ７のタイミングにおいて、未登録者Ｃが認識されたことを示し、その未登録者Ｃの関連情報として、GPS３４により取得されたC地点において搭乗し、走行距離情報取得部３５により取得された走行距離が１．５ｋｍであり、同乗者情報取得部３２により取得された、同乗者が登録者βであるという関連情報が登録されている。
【００５１】
さらに、時刻Ｔ８のタイミングにおいて、登録者αが認識されたことが示されている。
【００５２】
このように時系列情報DB２６においては、認識された登録者および未登録者が時系列に配置されると共に、認識された未登録者については、関連情報が付加される。この結果、登録者、および未登録者がどのような順序で認識され、それぞれの運転者が運転したときの関連情報が登録される。
【００５３】
統計情報DB生成部２７は、時系列情報DB２６に登録されている時系列情報の各情報を統計処理し、統計情報DB２８を生成すると共に、更新する。
【００５４】
［統計情報データベース］
統計情報DB２８は、例えば、図４で示されるようなものである。図４においては、図３の時系列情報DB２６の情報が統計処理されたものであり、上段に未登録者Ａの統計情報が登録されており、走行距離が１ｋｍであるという走行距離情報の関連情報が１回、自宅からコンビニエンスストアまでの走行区間情報の関連情報が１回、助手席ドアが開閉したという車両動作情報の関連情報が１回、登録者の前のタイミングで運転しているという同乗者情報の関連情報が１回となっている。
【００５５】
また、中段には、未登録者Ｂの統計情報が登録されており、Ｃ地点で搭乗しているという位置情報の関連情報が１回、B地点で搭乗しているという位置情報の関連情報が１回、登録者の後に乗車しているという対登録者情報の関連情報が２回、登録者の間に乗車しているという対登録者情報の関連情報が１回、平均走行距離が1.5ｋｍであるという走行距離情報の関連情報が１回、登録者βとの同乗という同乗者情報の関連情報が１回登録されている。
【００５６】
さらに、下段には、未登録者Ｃの統計情報が登録されており、Ｃ地点で搭乗しているという位置情報の関連情報が１回、登録者の後に乗車しているという対登録者情報の関連情報が１回、平均走行距離が1.5ｋｍであるという走行距離情報の関連情報が１回、登録者βとの同乗という同乗者情報の関連情報が１回登録されている。
【００５７】
すなわち、未登録者Ａ，Ｃについては、図３で示される時系列情報における時刻Ｔ１，Ｔ７における情報のみで統計情報が構成されており、未登録者Ｂについては、時刻Ｔ３，Ｔ５における関連情報について、累積加算、または平均値が求められることにより、統計情報DB２８が構成されている。
【００５８】
ここで、図１の説明に戻る。
【００５９】
ソート処理部３１は、関連情報取得部３０より供給されてくる関連情報、時系列情報DB２６、および統計情報DB２８の情報に基づいて、未登録者情報DB２４に登録されている未登録者の登録順序を並べ替える。すなわち、照合結果が未登録者である場合、その未登録者の顔画像の特徴量による類似度の計算処理をするにあたり、関連情報、時系列情報、および統計情報により未登録者情報DB２４に登録されている未登録者情報の登録順序を、照合結果が一致する可能性の高い順序で並び替え、未登録者の特定に係る照合処理の負荷を低減すると共に、高速で未登録者を特定できるようにする。
【００６０】
サービス判定部１６は、時系列情報DB２５、統計情報DB２８、および関連情報に基づいて、照合判定部１５により照合され、特定された登録者、または、未登録者に対応するサービス条件毎に設定されているサービス内容を、サービス条件記憶部１６ａより読み出し、車両動作制御部１９を制御して対応するサービスを実現させる。その際、必要に応じて、サービス判定部１６は、LCD（Liquid Crystal Display）や有機EL（Electro Luminescence）などからなる表示部１７に対して画像によりサービスを提供する、または、音声出力部１８より音声によりサービスを提供する。
【００６１】
［顔認証サービス処理］
次に、図５のフローチャートを参照して、顔認証サービス処理について説明する。
【００６２】
ステップＳ１において、運転者撮像部１１−１（または同乗者撮像部１１−２）は、画像を撮像し、撮像した画像を顔画像抽出部１２に供給する。尚、画像には、運転者撮像部１１−１により撮像された画像と、同乗者撮像部１１−２により撮像された画像とを識別する識別情報を付加して顔画像抽出部１２に供給する。
【００６３】
ステップＳ２において、顔画像抽出部１２は、画像より目、口、鼻、および耳などの器官の配置、並びに、輪郭などの情報から顔画像の位置を特定し、特定した顔画像の領域を切り出すことにより、顔画像を生成して特徴量抽出部１３、登録者情報登録部２１、および未登録者情報登録部２３に供給する。尚、上述した識別情報についても、各顔画像に付加され、以降においては、顔画像が運転者のものであるか、同乗者のものであるかが識別される。
【００６４】
ステップＳ３において、特徴量抽出部１３は、顔画像抽出部１２より供給されてきた顔画像より、例えば、左右の目の間隔、鼻と額の間隔、および額とあごの間隔、さらには、これらの比などの特徴量を抽出して、類似度計算部１４、登録者情報登録部２１、および未登録者情報登録部２３に供給する。
【００６５】
ステップＳ４において、類似度計算部１４は、図示せぬカウンタｘを１に初期化する。
【００６６】
ステップＳ５において、類似度計算部１４は、登録者情報DB２２より登録者情報（ｘ）を読み出す。尚、ここで、登録者情報（ｘ）は、登録者情報DB２２に登録された登録者情報の個別の登録順序を示すカウンタｘにより識別した登録者情報である。
【００６７】
ステップＳ６において、類似度計算部１４は、登録者情報（ｘ）の特徴量と、特徴量抽出部１３より供給されてきた顔画像の特徴量とを用いて類似度を計算し、照合判定部１５に供給する。類似度としては、特徴量同士の比率や、差分などを用い、ここでは、同一の人物の類似度が高い値となるように計算される。
【００６８】
ステップＳ７において、照合判定部１５は、登録者情報（ｘ）の特徴量との類似度が所定の閾値よりも高いか否かを判定し、所定の閾値よりも小さいとき、すなわち、類似していないと判定された場合、処理は、ステップＳ８に進む。
【００６９】
ステップＳ８において、類似度計算部１４は、登録者情報DB２２に登録されている登録者情報の全てについて類似度を計算したか否かを判定する。ステップＳ８において、全ての登録者情報について類似度を計算していないと判定された場合、ステップＳ９において、カウンタｘを１インクリメントし、処理は、ステップＳ５に戻る。すなわち、類似度が所定の閾値よりも高い登録者情報（ｘ）が求められるまで、ステップＳ５乃至Ｓ９の処理が繰り返される。そして、ステップＳ７において、登録者情報（ｘ）の特徴量との類似度が所定の閾値よりも高いと判定された場合、処理は、ステップＳ１０に進む。
【００７０】
ステップＳ１０において、照合判定部１５は、登録者情報（ｘ）に対応する登録者が検出されたことを時系列情報DB生成部２５、およびサービス判定部１６に供給する。また、関連情報取得部３０は、RTC３３により発生されている現在時刻の情報を取得し、時系列情報DB生成部２５に供給する。
【００７１】
ステップＳ１１において、時系列情報DB生成部２５は、照合結果として検索された登録者の顔画像、および時刻情報に基づいて、時系列情報DB２６を更新する。
【００７２】
ステップＳ１２において、サービス判定部１６は、照合結果として検索された登録者に対応付けて設定されているサービス内容を、サービス条件記憶部１６ａより読み出す。
【００７３】
ステップＳ１３において、サービス判定部１６は、読み出したサービス内容に応じて、車両動作制御部１９を制御して、車両を動作させて運転者および同乗者に対してサービスを提供する。すなわち、例えば、車両動作制御部１９は、シートの位置、リクライニングの角度、およびテレスコピックステアリングの伸縮位置等を登録者に対して設定されている状態に動作させる。また、車両動作制御部１９は、エンジンを始動可能な状態に設定する。この際、必要に応じて、サービス判定部１６は、表示部１７、および音声出力部１８を制御して、シートの位置を調整し、エンジン始動が可能であることを画像、および音声により運転者に提示する。
【００７４】
すなわち、登録された人物が運転者である場合、顔画像の特徴量に基づいて照合されることにより、登録者が検索され、検索された登録者に対応付けて設定されているサービスが運転者に提供される。このため、予め登録された登録者に対して、登録者にとって最適なサービスを提供することが可能となる。尚、提供されるサービスは、シートの状態設定や、エンジンの始動の可否を設定するのみでなく、その他の様々な車両の動作の設定であってもよい。
【００７５】
一方、ステップＳ８において、全ての登録者情報の特徴量との類似度が計算され、全ての登録者情報による処理が終了したと判定された場合、ステップＳ１４において、照合判定部１５は、登録者が検索されなかったことをサービス判定部１６に供給する。サービス判定部１６は、サービス条件記憶部１６ａに記憶されている登録者が存在しない場合のサービス内容として、表示部１７、および音声出力部１８を制御して、運転者が未登録者であり、登録を促すような情報を運転者に提示する。
【００７６】
ステップＳ１５において、情報入力部２０は、登録処理に応じるような操作がなされたか否かを判定し、例えば、登録者として登録するのに必要とされる登録情報が情報入力部２０が操作されることにより入力された場合、処理は、ステップＳ１６に進む。
【００７７】
ステップＳ１６において、登録者情報登録部２１は、情報入力部２０が操作されて入力された情報、顔画像抽出部１２より供給されてきた顔画像、および特徴量抽出部１３より供給されてきた特徴量とをまとめ、顔画像に対応付けて、登録者情報DB２２に登録し、処理は、ステップＳ１０戻る。
【００７８】
すなわち、全登録者との照合の結果、登録者ではないと判定されると、新たな登録者として登録するように促し、それに応じた場合、顔画像に対応付けて、登録情報と、特徴量とが、登録者情報DB２２として登録される。
【００７９】
一方、ステップＳ１５において、登録に応じる操作がなされなかった、すなわち、登録者として登録する意思がないと判定された場合、ステップＳ１８において、未登録処理対応処理が実行される。
【００８０】
［未登録者対応処理］
ここで、図６のフローチャートを参照して、未登録者対応処理について説明する。
【００８１】
ステップＳ１０１において、関連情報取得部３０は、各種の関連情報取得処理を実行して、関連情報を取得する。
【００８２】
［関連情報取得処理］
ここで、図７のフローチャートを参照して、関連情報取得処理について説明する。
【００８３】
ステップＳ１３１において、RTC３３は、時刻情報を発生し、関連情報取得部３０に供給する。関連情報取得部３０は、取得した時刻情報を、サービス判定部１６、時系列情報DB生成部２５、およびソート処理部３１に供給する。
【００８４】
ステップＳ１３２において、同乗者情報取得部３２は、照合判定部１５より供給されてくる、同乗者撮像部１１−２に撮像された顔画像の照合結果として、登録者、または未登録者の情報を同乗者の情報として取得し、関連情報取得部３０に供給する。関連情報取得部３０は、取得した同乗者情報をサービス判定部１６、時系列情報DB生成部２５、およびソート処理部３１に供給する。尚、同乗者の顔画像の認識処理については、図５のフローチャートを参照して説明した処理と同様であるので、その説明は省略する。
【００８５】
ステップＳ１３３において、GPS３４は、図示せぬ衛星からの信号に基づいて、地球上の緯度、および経度として位置情報を取得し、関連情報取得部３０に供給する。関連情報取得部３０は、取得した位置情報をサービス判定部１６、時系列情報DB生成部２５、およびソート処理部３１に供給する。
【００８６】
ステップＳ１３４において、走行距離情報取得部３５は、図示せぬ走行距離測定装置より走行距離情報を取得し、関連情報取得部３０に供給する。関連情報取得部３０は、取得した走行距離情報をサービス判定部１６、時系列情報DB生成部２５、およびソート処理部３１に供給する。尚、走行距離情報は、運転終了時に取得される情報であるので、一回の走行が完了したタイミングにおいて最終的な情報が走行距離情報となる。
【００８７】
ステップＳ１３５において、走行区間情報取得部３６は、図示せぬナビゲーション装置より走行区間情報を取得し、関連情報取得部３０に供給する。関連情報取得部３０は、取得した走行区間情報をサービス判定部１６、時系列情報DB生成部２５、およびソート処理部３１に供給する。尚、走行区間情報は、運転終了時に取得される情報であるので、一回の走行が完了したタイミングにおける最終的な情報が走行区間情報となる。
【００８８】
ステップＳ１３６において、天候情報取得部３７は、天候情報を取得し、関連情報取得部３０に供給する。関連情報取得部３０は、取得した天候情報をサービス判定部１６、時系列情報DB生成部２５、およびソート処理部３１に供給する。
【００８９】
ステップＳ１３７において、車両動作情報取得部３８は、車両動作情報を取得し、関連情報取得部３０に供給する。関連情報取得部３０は、取得した車両動作情報をサービス判定部１６、時系列情報DB生成部２５、およびソート処理部３１に供給する。
【００９０】
ステップＳ１３８において、安全動作情報取得部３９は、安全動作情報を取得し、関連情報取得部３０に供給する。関連情報取得部３０は、取得した安全動作情報をサービス判定部１６、時系列情報DB生成部２５、およびソート処理部３１に供給する。
【００９１】
ステップＳ１３９において、運転癖情報取得部４０は、運転癖情報を取得し、関連情報取得部３０に供給する。関連情報取得部３０は、取得した運転癖情報をサービス判定部１６、時系列情報DB生成部２５、およびソート処理部３１に供給する。
【００９２】
ステップＳ１４０において、対登録者情報取得部２９は、対登録者情報を取得し、関連情報取得部３０に供給する。関連情報取得部３０は、取得した対登録者情報をサービス判定部１６、時系列情報DB生成部２５、およびソート処理部３１に供給する。
【００９３】
以上の処理により、各種の関連情報が取得されて関連情報取得部３０に供給され、さらに、サービス判定部１６、時系列情報DB生成部２５、およびソート処理部３１に供給される。
【００９４】
ここで、図６のフローチャートの説明に戻る。
【００９５】
ステップＳ１０２において、ソート処理部３１は、関連情報取得部３０より供給されてきた関連情報、および統計情報DB２８の情報に基づいて、未登録者情報DB２４に登録されている未登録者のうち、照合結果として一致する可能性の高い未登録者情報が上位の順位となるように未登録者情報の順序を並び替える。
【００９６】
すなわち、例えば、ステップＳ１０１の処理により、位置情報としてC地点での乗車、走行距離情報として１．５ｋｍ、および同乗者情報が登録者βであり、さらに、対登録者情報として登録者の後に乗車しているという関連情報が取得された場合、図４で示されるような統計情報DB２８のとき、未登録者Ａ乃至Ｃのうち、ソート処理部３１は、これらの関連情報を全て含む未登録者Ｂ，Ｃが上位となるように未登録者情報DB２４の登録順序を並び替える。さらに、ソート処理部３１は、統計処理の頻度に応じた順序で未登録者情報の登録順序を並び替える。このように、未登録者情報DB２４のうち、関連情報、および統計情報DB２８に基づいて、照合結果が一致する可能性の高い未登録者情報を上位とする登録順序に並び替えることで、該当する未登録者情報を迅速に見つけ出せるようにすることが可能となる。
【００９７】
ステップＳ１０３において、ソート処理部３１は、関連情報取得部３０より供給されてきた関連情報および時系列情報DB２６に基づいて、未登録者情報DB２４に登録されている未登録者のうち、照合結果として一致する可能性の高い未登録者情報が上位の順位となるように未登録者情報の順序を並び替える。
【００９８】
すなわち、例えば、図４で示される統計情報DB２８の場合、ステップＳ１０２の処理により未登録者情報DB２４には、未登録者Ｂ，Ｃが上位となるように未登録者情報が登録されていることになる。今の場合、位置情報としてC地点での乗車、走行距離情報として１．５ｋｍ、および同乗者情報が登録者βであり、さらに、対登録者情報として登録者の後に乗車しているという関連情報を多く満たす時系列情報を検索する。例えば、図３で示されるように、これらの情報を満たすのは、未登録者Ｃとなるので、ソート処理部３１は、未登録者Ｂよりも未登録者Ｃが上位となるように未登録者情報DB２４の登録順序を並び替える。このように、未登録情報DB２４のうち、関連情報、および時系列情報DB２６に基づいて、照合結果が一致する可能性の高い未登録者情報を上位とする登録順序に並び替えることで、さらに、該当する未登録者情報を迅速に見つけ出せるようにすることができる。
【００９９】
すなわち、統計情報DB２８においては、関連情報の統計結果に基づいて、各未登録者毎の関連情報の傾向に基づいて、未登録者情報DB２４の登録順序を並び替えることができ、さらに、時系列情報DB２６においては、関連情報の同時発生条件などに基づいて、さらに、未登録者情報DB２４の登録順序を並び替えることができるので、これらの登録順序の並び替えにより、関連情報に合致する可能性の高い未登録者情報をより上位に並び替えることができるので、迅速に、関連情報に合致する未登録者情報を検索できるようにすることができる。
【０１００】
ステップＳ１０４において、類似度計算部１４は、図示せぬカウンタｙを１に初期化する。
【０１０１】
ステップＳ１０５において、類似度計算部１４は、未登録者情報DB２４より未登録者情報（ｙ）を読み出す。尚、ここで、未登録者情報（ｙ）は、未登録者情報DB２４に登録された未登録者情報の個別の登録順序を示すカウンタｙにより識別した未登録者情報である。
【０１０２】
ステップＳ１０６において、類似度計算部１４は、未登録者情報（ｙ）の特徴量と、特徴量抽出部１３より供給されてきた顔画像の特徴量とを用いて類似度を計算し、照合判定部１５に供給する。
【０１０３】
ステップＳ１０７において、照合判定部１５は、未登録者情報（ｙ）の特徴量との類似度が所定の閾値よりも高いか否かを判定し、所定の閾値よりも小さいとき、すなわち、類似していないと判定された場合、処理は、ステップＳ１０８に進む。
【０１０４】
ステップＳ１０８において、類似度計算部１４は、未登録者情報DB２４に登録されている登録者情報の全てについて類似度を計算したか否かを判定する。ステップＳ１０８において、全ての登録者情報について類似度を計算していないと判定された場合、ステップＳ１０９において、カウンタｙを１インクリメントし、処理は、ステップＳ１０５に戻る。すなわち、類似度が所定の閾値よりも高い未登録者情報（ｙ）が求められるまで、ステップＳ１０５乃至Ｓ１０９の処理が繰り返される。そして、ステップＳ１０７において、未登録者情報（ｙ）の特徴量との類似度が所定の閾値よりも高いと判定された場合、処理は、ステップＳ１１１に進む。
【０１０５】
ステップＳ１１１において、照合判定部１５は、未登録者情報（ｙ）に対応する未登録者が検出されたことを時系列情報DB生成部２５、およびサービス判定部１６に供給する。サービス判定部１６は、照合結果として検索された未登録者、および関連情報に対応付けて設定されているサービス内容を、サービス条件記憶部１６ａより読み出す。
【０１０６】
ステップＳ１１２において、サービス判定部１６は、読み出したサービス内容に応じて、車両動作制御部１９を制御して、車両を動作させて運転者および同乗者に対してサービスを提供する。すなわち、例えば、車両動作制御部１９は、未登録者Ｃであると判定した場合、車両に搭乗する位置がほぼ同じであり、走行距離も長くなく、登録者βが同乗しており、さらに、登録者の後に乗車しているという関連情報から、対登録者情報および同乗者情報から見ても、登録者と親しい人物であるものとみなし、エンジン開始動作を可能とする。ただし、この場合、シートの位置や調整などは登録されていないので、実施しないようにさせる。この際、必要に応じて、サービス判定部１６は、表示部１７、および音声出力部１８を制御して、シートの位置は調整していないが、エンジン始動が可能であることを画像、および音声により運転者に提示する。
【０１０７】
ステップＳ１１３において、時系列情報DB生成部２５は、関連情報取得部３０より供給されてきた関連情報に基づいて、時系列情報DB２６を更新する。すなわち、新たな時刻に照合結果として登録される未登録者を登録すると共に、対応付けて関連情報を付加して時系列情報DB２６を更新する。
【０１０８】
ステップＳ１１４において、統計情報DB生成部２７は、時系列情報DB２６の各未登録者毎の関連情報を累積加算、または、平均化するなどして、統計処理し、統計情報DB２８を更新する。
【０１０９】
一方、ステップＳ１０８において、全ての未登録者情報について処理されたと判定された場合、処理は、ステップＳ１１０に進む。
【０１１０】
ステップＳ１１０において、照合判定部１５は、これまで、未登録者情報DB２４にも登録されたことがない完全な未登録者であることをサービス判定部１６に供給すると共に、完全未登録者であるので、未登録者情報を登録するように未登録者情報登録部２３に指示する。未登録者情報登録部２３は、この指示に応じて、顔画像抽出部１２より供給されてきた顔画像、および、特徴量抽出部１３より供給されてくる特徴量を顔画像に対応付けて未登録者情報DB２４に登録する。
【０１１１】
ステップＳ１１５において、サービス判定部１６は、照合結果として検索されることがなかった完全な未登録者（完全未登録者）であること、および関連情報に対応付けて設定されているサービス内容を、サービス条件記憶部１６ａより読み出す。
【０１１２】
ステップＳ１１６において、サービス判定部１６は、読み出したサービス内容に応じて、車両動作制御部１９を制御して、車両を動作させて運転者および同乗者に対してサービスを提供する。すなわち、例えば、車両動作制御部１９は、完全未登録者であって、同乗者もなく、時刻情報が深夜であるような場合、エンジンを始動不能な状態に設定する。この際、必要に応じて、サービス判定部１６は、表示部１７、および音声出力部１８を制御して、盗難が発生していることを提示する。
【０１１３】
すなわち、完全未登録者が運転者であって、同乗者もなく、時刻情報が深夜であるような場合、運転者は、車両の窃盗犯であるものとみなし、エンジンを始動不能の状態にすると共に、盗難が発生していることを車外にも提示できるように、ホーンや前照灯を点滅させるなどする。結果として、顔画像に基づいて、完全な未登録者が検出されると、盗難であるものとみなして、車両の所有者に対して有用なサービスを提供することが可能となる。
【０１１４】
また、以上においては、未登録者が、登録者との時系列の前後関係、または、同乗者であるか否かなどにより登録者に親しい人物であると考えられるような場合、登録処理がなされていない状態であっても、エンジンの始動を可能にさせる例について説明してきたが、例えば、未登録者であるが、直前まで登録者が運転しており、エンジンを切らないまま未登録者が検出されており、さらに、同一の未登録者が過去数回にわたって検出されていることから、運転手交代の可能性があるとみなし、エンジンの始動、および車両の動作を登録者と同様に設定させるようにしてもよい。
【０１１５】
さらに、未登録者Ａは、時系列情報DB２５によると走行区間情報の関連情報において、登録者Ｘの次に乗車する場合はルートＡを走行することが多く、登録者Ｙの次に乗車する場合はルートＢを走行することが多いので、未登録者Ａが登録者Ｘの次に乗車するときはルートＡを走行するようにナビゲーション装置を設定し、登録者Ｙの次に乗車する場合は、ルートＢを走行するようにナビゲーション装置を設定することにより、未登録者に対しても前後関係により対応を区別してサービスを提供することが可能となる。
【０１１６】
尚、本実施例においては、登録者ではない場合、常に登録を促す処理となっているが、例えば、深夜などにおいて、登録者ではない人物が撮像されていたような場合、窃盗犯などが撮像されていることもあり、そのような場合については、ステップＳ８において、全ての登録者情報について照合処理がなされた後のタイミングにおいて、ステップＳ１０１における関連情報取得処理を実施し、登録処理そのものを禁止させるようにしてもよい。
【０１１７】
また、ステップＳ１０１における関連情報取得処理については、例えば、乗車時には走行距離情報などの関連情報については取得できないので、乗車時、発進時、走行中、停車時、降車時など、イベント毎に取得する関連情報を変えるようにしてもよい。
【０１１８】
さらに、上述した実施例においては、各種のデータベースについて、個別に管理されるものとして説明を進めてきたが、必ずしも個別のデータベースとして構成されていなければならないものではなく、例えば、全データを１元管理したデータベースを構成し、必要な情報のみを抽出し、並び替えるようにするなどして、1個のデータベースから派生的に、上述した複数のデータベースが構成されるようにしてもよいものである。
【０１１９】
ところで、上述した一連の監視処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【０１２０】
図８は、汎用のパーソナルコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタフェース１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。
【０１２１】
入出力インタフェース１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブルメディア１０１１に対してデータを読み書きするドライブ１０１０が接続されている。
【０１２２】
CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブルメディア１０１１から読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１２３】
尚、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理は、もちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理を含むものである。
【０１２４】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【符号の説明】
【０１２５】
１１−１ 運転者撮像部
１１−２ 同乗者撮像部
１２ 顔画像抽出部
１３ 特徴量抽出部
１４ 類似度計算部
１５ 照合判定部
１６ サービス判定部
１９ 車両動作制御部
２２ 登録者情報DB
２４ 未登録者情報DB
２５ 時系列情報DB生成部
２６ 時系列情報DB
２７ 統計情報DB生成部
２８ 統計情報DB
２９ 対登録者情報取得部
３０ 関連情報取得部
３１ ソート処理部
【特許請求の範囲】
【請求項１】
照合対象者の画像を撮像する撮像手段と、
前記撮像手段により撮像された画像より前記照合対象者の顔画像を抽出する顔画像抽出手段と、
前記顔画像抽出手段により抽出された照合対象者の顔画像の特徴量を抽出する特徴量抽出手段と、
登録者の顔画像の特徴量を登録者情報データベースとして記憶する登録者記憶手段と、
未登録者の顔画像の特徴量を記憶する未登録者記憶手段と、
前記特徴量抽出手段により抽出された照合対象者の顔画像の特徴量と、前記登録者情報データベースに記憶された登録者、または前記未登録者記憶手段に記憶された未登録者の顔画像の特徴量との類似度を計算する類似度計算手段と、
前記類似度と所定の閾値とを、前記登録者情報データベース、または、前記未登録者記憶手段に記憶されている順序で照合し、前記所定の閾値よりも高い登録者を前記照合対象者として検索し、前記所定の閾値よりも類似度の高い前記登録者が存在しない場合、前記所定の閾値よりも類似度の高い未登録者を前記照合対象者として検索する検索手段と、
前記照合対象者として検索された未登録者の前記登録者との関係を示す情報を検出する関係情報検出手段と、
前記検索手段により前記登録者、または前記未登録者が検索された場合、前記登録者に対応付けて予め設定される状態、または前記未登録者の登録者との関係を示す情報に対応付けて予め設定される状態に車両動作状態を制御する動作制御手段と、
前記動作制御手段により、前記車両動作状態が制御されたときの前記登録者、または前記未登録者に対応付けて、前記登録者との関係を示す情報について、前記未登録者毎に、前記登録者との関係を示す情報の統計的な処理結果を統計情報データベースとして更新する統計情報データベース更新手段と、
前記統計情報データベースに登録された、前記未登録者毎の、前記登録者との関係の情報の統計的な処理結果に対応して、前記未登録者記憶手段に記憶されている未登録者の記憶順序を並び替える並び替え手段とを含み、
前記検索手段は、前記類似度と前記所定の閾値とを、前記並び替え手段により並び替えられた記憶順序で前記未登録者記憶手段に記憶されている未登録者を照合し、前記所定の閾値よりも類似度の高い未登録者を検索する
車両動作制御装置。
【請求項２】
前記未登録者記憶手段は、未登録者の顔画像の特徴量を未登録者情報データベースとして記憶し、
前記類似度計算手段は、前記特徴量抽出手段により抽出された照合対象者の顔画像の特徴量と、前記登録者情報データベースに記憶された登録者、または前記未登録者情報データベースに記憶された未登録者の顔画像の特徴量との類似度を計算し、
前記関係情報検出手段は、前記照合対象者として検索された未登録者の前記登録者との時系列の前後関係を示す情報を検出し、
前記動作制御手段は、前記検索手段により前記登録者、または前記未登録者が検索された場合、前記登録者に対応付けて予め設定される状態、または前記未登録者の登録者との時系列の前後関係を示す情報に対応付けて予め設定される状態に車両動作状態を制御し、
前記動作制御手段により、前記車両動作状態が制御されたときの前記登録者、または前記未登録者の顔画像に対応付けて、前記登録者との時系列の前後関係を示す情報を時系列情報データベースとして更新する時系列情報データベース更新手段をさらに含み、
前記統計情報データベース更新手段は、前記時系列情報データベースの情報について、前記未登録者毎に、前記登録者との時系列の前後関係を示す情報の統計的な処理結果を統計情報データベースとして更新し、
前記並び替え手段は、前記統計情報データベースに登録された、前記未登録者毎の、前記登録者との前後関係の情報の統計的な処理結果に対応して、前記未登録者データベースの未登録者の記憶順序を並び替え、
前記検索手段は、前記類似度と前記所定の閾値とを、前記並び替え手段により並び替えられた記憶順序で前記未登録者情報データベースに記憶されている未登録者を照合し、前記所定の閾値よりも類似度の高い未登録者を前記照合対象者として検索する
請求項１に記載の車両動作制御装置。
【請求項３】
前記動作制御手段により、前記車両動作状態が制御されたときの関連情報を取得する関連情報取得手段とをさらに含み、
前記時系列情報データベース更新手段は、前記動作制御手段により、前記車両動作状態が制御されたときの前記登録者、または前記未登録者の顔画像に対応付けて、前記時系列の前後関係を示す情報、および前記関連情報を前記時系列情報データベースとして更新し、
前記統計情報データベース更新手段は、前記時系列情報データベースの情報について、前記未登録者毎に、前記登録者との時系列の前後関係、および前記関連情報の統計的な処理結果を統計情報データベースとして更新し、
前記関係情報検出手段は、前記時系列データベースにおける、前記照合対象者として検索された未登録者の、前記登録者との前記時系列の前後関係を示す情報、および前記関連情報を検出し、
前記並び替え手段は、前記統計情報データベースに登録された、前記未登録者毎の、前記登録者との時系列の前後関係を示す情報、および前記関連情報の統計的な処理結果に対応して、前記未登録者データベースの未登録者の記憶順序を並び替える
請求項１に記載の車両動作制御装置。
【請求項４】
前記関連情報は、年齢、性別、人種、眼鏡等付帯物、化粧、煙草等の情報を含む顔属性情報、および時刻、同乗者、位置、走行距離、走行区間、天候情報、車両動作、安全装置動作、若しくは運転癖情報を含む
請求項１に記載の車両動作制御装置。
【請求項５】
照合対象者の画像を撮像する撮像ステップと、
前記撮像ステップの処理により撮像された画像より前記照合対象者の顔画像を抽出する顔画像抽出ステップと、
前記顔画像抽出ステップの処理により抽出された照合対象者の顔画像の特徴量を抽出する特徴量抽出ステップと、
登録者の顔画像の特徴量を登録者情報データベースとして記憶する登録者記憶ステップと、
未登録者の顔画像の特徴量を記憶する未登録者記憶ステップと、
前記特徴量抽出ステップの処理により抽出された照合対象者の顔画像の特徴量と、前記登録者情報データベースに記憶された登録者、または前記未登録者記憶ステップの処理で記憶された未登録者の顔画像の特徴量との類似度を計算する類似度計算ステップと、
前記類似度と所定の閾値とを、前記登録者情報データベース、または、前記未登録者記憶ステップの処理により記憶されている順序で照合し、前記所定の閾値よりも高い登録者を前記照合対象者として検索し、前記所定の閾値よりも類似度の高い前記登録者が存在しない場合、前記所定の閾値よりも類似度の高い未登録者を前記照合対象者として検索する検索ステップと、
前記照合対象者として検索された未登録者の前記登録者との関係を示す情報を検出する関係情報検出ステップと、
前記検索ステップの処理により前記登録者、または前記未登録者が検索された場合、前記登録者に対応付けて予め設定される状態、または前記未登録者の登録者との関係を示す情報に対応付けて予め設定される状態に車両動作状態を制御する動作制御ステップと、
前記動作制御ステップの処理により、前記車両動作状態が制御されたときの前記登録者、または前記未登録者に対応付けて、前記登録者との関係を示す情報について、前記未登録者毎に、前記登録者との関係を示す情報の統計的な処理結果を統計情報データベースとして更新する統計情報データベース更新ステップと、
前記統計情報データベースに登録された、前記未登録者毎の、前記登録者との関係の情報の統計的な処理結果に対応して、前記未登録者記憶ステップの処理により記憶されている未登録者の記憶順序を並び替える並び替えステップとを含み、
前記検索ステップの処理は、前記類似度と前記所定の閾値とを、前記並び替えステップの処理により並び替えられた記憶順序で前記未登録者記憶ステップの処理により記憶されている未登録者を照合し、前記所定の閾値よりも類似度の高い未登録者を検索する
車両動作制御方法。
【請求項６】
照合対象者の画像を撮像する撮像ステップと、
前記撮像ステップの処理により撮像された画像より前記照合対象者の顔画像を抽出する顔画像抽出ステップと、
前記顔画像抽出ステップの処理により抽出された照合対象者の顔画像の特徴量を抽出する特徴量抽出ステップと、
登録者の顔画像の特徴量を登録者情報データベースとして記憶する登録者記憶ステップと、
未登録者の顔画像の特徴量を記憶する未登録者記憶ステップと、
前記特徴量抽出ステップの処理により抽出された照合対象者の顔画像の特徴量と、前記登録者情報データベースに記憶された登録者、または前記未登録者記憶ステップの処理で記憶された未登録者の顔画像の特徴量との類似度を計算する類似度計算ステップと、
前記類似度と所定の閾値とを、前記登録者情報データベース、または、前記未登録者記憶ステップの処理により記憶されている順序で照合し、前記所定の閾値よりも高い登録者を前記照合対象者として検索し、前記所定の閾値よりも類似度の高い前記登録者が存在しない場合、前記所定の閾値よりも類似度の高い未登録者を前記照合対象者として検索する検索ステップと、
前記照合対象者として検索された未登録者の前記登録者との関係を示す情報を検出する関係情報検出ステップと、
前記検索ステップの処理により前記登録者、または前記未登録者が検索された場合、前記登録者に対応付けて予め設定される状態、または前記未登録者の登録者との関係を示す情報に対応付けて予め設定される状態に車両動作状態を制御する動作制御ステップと、
前記動作制御ステップの処理により、前記車両動作状態が制御されたときの前記登録者、または前記未登録者に対応付けて、前記登録者との関係を示す情報について、前記未登録者毎に、前記登録者との関係を示す情報の統計的な処理結果を統計情報データベースとして更新する統計情報データベース更新ステップと、
前記統計情報データベースに登録された、前記未登録者毎の、前記登録者との関係の情報の統計的な処理結果に対応して、前記未登録者記憶ステップの処理により記憶されている未登録者の記憶順序を並び替える並び替えステップとを含む処理を車両動作制御装置を制御するコンピュータに実行させ、
前記検索ステップの処理は、前記類似度と前記所定の閾値とを、前記並び替えステップの処理により並び替えられた記憶順序で前記未登録者記憶ステップの処理により記憶されている未登録者を照合し、前記所定の閾値よりも類似度の高い未登録者を検索する
プログラム。
【請求項１】
照合対象者の画像を撮像する撮像手段と、
前記撮像手段により撮像された画像より前記照合対象者の顔画像を抽出する顔画像抽出手段と、
前記顔画像抽出手段により抽出された照合対象者の顔画像の特徴量を抽出する特徴量抽出手段と、
登録者の顔画像の特徴量を登録者情報データベースとして記憶する登録者記憶手段と、
未登録者の顔画像の特徴量を記憶する未登録者記憶手段と、
前記特徴量抽出手段により抽出された照合対象者の顔画像の特徴量と、前記登録者情報データベースに記憶された登録者、または前記未登録者記憶手段に記憶された未登録者の顔画像の特徴量との類似度を計算する類似度計算手段と、
前記類似度と所定の閾値とを、前記登録者情報データベース、または、前記未登録者記憶手段に記憶されている順序で照合し、前記所定の閾値よりも高い登録者を前記照合対象者として検索し、前記所定の閾値よりも類似度の高い前記登録者が存在しない場合、前記所定の閾値よりも類似度の高い未登録者を前記照合対象者として検索する検索手段と、
前記照合対象者として検索された未登録者の前記登録者との関係を示す情報を検出する関係情報検出手段と、
前記検索手段により前記登録者、または前記未登録者が検索された場合、前記登録者に対応付けて予め設定される状態、または前記未登録者の登録者との関係を示す情報に対応付けて予め設定される状態に車両動作状態を制御する動作制御手段と、
前記動作制御手段により、前記車両動作状態が制御されたときの前記登録者、または前記未登録者に対応付けて、前記登録者との関係を示す情報について、前記未登録者毎に、前記登録者との関係を示す情報の統計的な処理結果を統計情報データベースとして更新する統計情報データベース更新手段と、
前記統計情報データベースに登録された、前記未登録者毎の、前記登録者との関係の情報の統計的な処理結果に対応して、前記未登録者記憶手段に記憶されている未登録者の記憶順序を並び替える並び替え手段とを含み、
前記検索手段は、前記類似度と前記所定の閾値とを、前記並び替え手段により並び替えられた記憶順序で前記未登録者記憶手段に記憶されている未登録者を照合し、前記所定の閾値よりも類似度の高い未登録者を検索する
車両動作制御装置。
【請求項２】
前記未登録者記憶手段は、未登録者の顔画像の特徴量を未登録者情報データベースとして記憶し、
前記類似度計算手段は、前記特徴量抽出手段により抽出された照合対象者の顔画像の特徴量と、前記登録者情報データベースに記憶された登録者、または前記未登録者情報データベースに記憶された未登録者の顔画像の特徴量との類似度を計算し、
前記関係情報検出手段は、前記照合対象者として検索された未登録者の前記登録者との時系列の前後関係を示す情報を検出し、
前記動作制御手段は、前記検索手段により前記登録者、または前記未登録者が検索された場合、前記登録者に対応付けて予め設定される状態、または前記未登録者の登録者との時系列の前後関係を示す情報に対応付けて予め設定される状態に車両動作状態を制御し、
前記動作制御手段により、前記車両動作状態が制御されたときの前記登録者、または前記未登録者の顔画像に対応付けて、前記登録者との時系列の前後関係を示す情報を時系列情報データベースとして更新する時系列情報データベース更新手段をさらに含み、
前記統計情報データベース更新手段は、前記時系列情報データベースの情報について、前記未登録者毎に、前記登録者との時系列の前後関係を示す情報の統計的な処理結果を統計情報データベースとして更新し、
前記並び替え手段は、前記統計情報データベースに登録された、前記未登録者毎の、前記登録者との前後関係の情報の統計的な処理結果に対応して、前記未登録者データベースの未登録者の記憶順序を並び替え、
前記検索手段は、前記類似度と前記所定の閾値とを、前記並び替え手段により並び替えられた記憶順序で前記未登録者情報データベースに記憶されている未登録者を照合し、前記所定の閾値よりも類似度の高い未登録者を前記照合対象者として検索する
請求項１に記載の車両動作制御装置。
【請求項３】
前記動作制御手段により、前記車両動作状態が制御されたときの関連情報を取得する関連情報取得手段とをさらに含み、
前記時系列情報データベース更新手段は、前記動作制御手段により、前記車両動作状態が制御されたときの前記登録者、または前記未登録者の顔画像に対応付けて、前記時系列の前後関係を示す情報、および前記関連情報を前記時系列情報データベースとして更新し、
前記統計情報データベース更新手段は、前記時系列情報データベースの情報について、前記未登録者毎に、前記登録者との時系列の前後関係、および前記関連情報の統計的な処理結果を統計情報データベースとして更新し、
前記関係情報検出手段は、前記時系列データベースにおける、前記照合対象者として検索された未登録者の、前記登録者との前記時系列の前後関係を示す情報、および前記関連情報を検出し、
前記並び替え手段は、前記統計情報データベースに登録された、前記未登録者毎の、前記登録者との時系列の前後関係を示す情報、および前記関連情報の統計的な処理結果に対応して、前記未登録者データベースの未登録者の記憶順序を並び替える
請求項１に記載の車両動作制御装置。
【請求項４】
前記関連情報は、年齢、性別、人種、眼鏡等付帯物、化粧、煙草等の情報を含む顔属性情報、および時刻、同乗者、位置、走行距離、走行区間、天候情報、車両動作、安全装置動作、若しくは運転癖情報を含む
請求項１に記載の車両動作制御装置。
【請求項５】
照合対象者の画像を撮像する撮像ステップと、
前記撮像ステップの処理により撮像された画像より前記照合対象者の顔画像を抽出する顔画像抽出ステップと、
前記顔画像抽出ステップの処理により抽出された照合対象者の顔画像の特徴量を抽出する特徴量抽出ステップと、
登録者の顔画像の特徴量を登録者情報データベースとして記憶する登録者記憶ステップと、
未登録者の顔画像の特徴量を記憶する未登録者記憶ステップと、
前記特徴量抽出ステップの処理により抽出された照合対象者の顔画像の特徴量と、前記登録者情報データベースに記憶された登録者、または前記未登録者記憶ステップの処理で記憶された未登録者の顔画像の特徴量との類似度を計算する類似度計算ステップと、
前記類似度と所定の閾値とを、前記登録者情報データベース、または、前記未登録者記憶ステップの処理により記憶されている順序で照合し、前記所定の閾値よりも高い登録者を前記照合対象者として検索し、前記所定の閾値よりも類似度の高い前記登録者が存在しない場合、前記所定の閾値よりも類似度の高い未登録者を前記照合対象者として検索する検索ステップと、
前記照合対象者として検索された未登録者の前記登録者との関係を示す情報を検出する関係情報検出ステップと、
前記検索ステップの処理により前記登録者、または前記未登録者が検索された場合、前記登録者に対応付けて予め設定される状態、または前記未登録者の登録者との関係を示す情報に対応付けて予め設定される状態に車両動作状態を制御する動作制御ステップと、
前記動作制御ステップの処理により、前記車両動作状態が制御されたときの前記登録者、または前記未登録者に対応付けて、前記登録者との関係を示す情報について、前記未登録者毎に、前記登録者との関係を示す情報の統計的な処理結果を統計情報データベースとして更新する統計情報データベース更新ステップと、
前記統計情報データベースに登録された、前記未登録者毎の、前記登録者との関係の情報の統計的な処理結果に対応して、前記未登録者記憶ステップの処理により記憶されている未登録者の記憶順序を並び替える並び替えステップとを含み、
前記検索ステップの処理は、前記類似度と前記所定の閾値とを、前記並び替えステップの処理により並び替えられた記憶順序で前記未登録者記憶ステップの処理により記憶されている未登録者を照合し、前記所定の閾値よりも類似度の高い未登録者を検索する
車両動作制御方法。
【請求項６】
照合対象者の画像を撮像する撮像ステップと、
前記撮像ステップの処理により撮像された画像より前記照合対象者の顔画像を抽出する顔画像抽出ステップと、
前記顔画像抽出ステップの処理により抽出された照合対象者の顔画像の特徴量を抽出する特徴量抽出ステップと、
登録者の顔画像の特徴量を登録者情報データベースとして記憶する登録者記憶ステップと、
未登録者の顔画像の特徴量を記憶する未登録者記憶ステップと、
前記特徴量抽出ステップの処理により抽出された照合対象者の顔画像の特徴量と、前記登録者情報データベースに記憶された登録者、または前記未登録者記憶ステップの処理で記憶された未登録者の顔画像の特徴量との類似度を計算する類似度計算ステップと、
前記類似度と所定の閾値とを、前記登録者情報データベース、または、前記未登録者記憶ステップの処理により記憶されている順序で照合し、前記所定の閾値よりも高い登録者を前記照合対象者として検索し、前記所定の閾値よりも類似度の高い前記登録者が存在しない場合、前記所定の閾値よりも類似度の高い未登録者を前記照合対象者として検索する検索ステップと、
前記照合対象者として検索された未登録者の前記登録者との関係を示す情報を検出する関係情報検出ステップと、
前記検索ステップの処理により前記登録者、または前記未登録者が検索された場合、前記登録者に対応付けて予め設定される状態、または前記未登録者の登録者との関係を示す情報に対応付けて予め設定される状態に車両動作状態を制御する動作制御ステップと、
前記動作制御ステップの処理により、前記車両動作状態が制御されたときの前記登録者、または前記未登録者に対応付けて、前記登録者との関係を示す情報について、前記未登録者毎に、前記登録者との関係を示す情報の統計的な処理結果を統計情報データベースとして更新する統計情報データベース更新ステップと、
前記統計情報データベースに登録された、前記未登録者毎の、前記登録者との関係の情報の統計的な処理結果に対応して、前記未登録者記憶ステップの処理により記憶されている未登録者の記憶順序を並び替える並び替えステップとを含む処理を車両動作制御装置を制御するコンピュータに実行させ、
前記検索ステップの処理は、前記類似度と前記所定の閾値とを、前記並び替えステップの処理により並び替えられた記憶順序で前記未登録者記憶ステップの処理により記憶されている未登録者を照合し、前記所定の閾値よりも類似度の高い未登録者を検索する
プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１０−２１３７４９（Ｐ２０１０−２１３７４９Ａ）
【公開日】平成２２年９月３０日（２０１０．９．３０）
【国際特許分類】
【出願番号】特願２００９−６０６２４（Ｐ２００９−６０６２４）
【出願日】平成２１年３月１３日（２００９．３．１３）
【出願人】（０００００２９４５）オムロン株式会社 (3,542)
【Ｆターム（参考）】
【公開日】平成２２年９月３０日（２０１０．９．３０）
【国際特許分類】
【出願日】平成２１年３月１３日（２００９．３．１３）
【出願人】（０００００２９４５）オムロン株式会社 (3,542)
【Ｆターム（参考）】
[ Back to top ]