人物認証装置および人物認証方法
【課題】人物と携帯端末との対応を自動的に認識し、通信端末の有するデータや機能を対応する人物に対して適正に提供可能とすること。
【解決手段】カメラＣ１〜Ｃｎで車両内外を撮影し、乗員検出部２０がカメラの撮影結果に対する画像認識によって乗員の位置を検出する。また携帯端末検出部３０は、複数のアンテナＡ１〜Ａｎでの受信強度から携帯端末の位置を検出する。対応判定部１５は、人物の位置と携帯端末の位置とを用いて対応関係を設定する。
【解決手段】カメラＣ１〜Ｃｎで車両内外を撮影し、乗員検出部２０がカメラの撮影結果に対する画像認識によって乗員の位置を検出する。また携帯端末検出部３０は、複数のアンテナＡ１〜Ａｎでの受信強度から携帯端末の位置を検出する。対応判定部１５は、人物の位置と携帯端末の位置とを用いて対応関係を設定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人物の認証を人物認証装置および人物認証方法に関し、特に通信端末と人物の対応関係を認識する人物認証装置および人物認証方法に関する。
【背景技術】
【０００２】
近年、カーナビゲーションシステムが普及してきており、自動車には、音楽や映像の視聴、ナビゲーション情報の表示などを行うことができる車載装置が搭載されることが一般的となってきている。また、このような車載装置は、乗車者が携帯する携帯電話やＰＤＡ（Personal Digital Assistant）といった携帯型の通信端末装置と通信し、携帯型の通信端末装置／車載装置間でデータ送受信を行うようになってきた。
【０００３】
このように、通信機器同士で通信を行う場合、Ｂｌｕｅｔｏｏｔｈ（登録商標）と呼ばれる無線通信規格がよく知られている。Ｂｌｕｅｔｏｏｔｈ（登録商標）は、２．４ＧＨｚの周波数帯を用いる無線通信規格であり、半径数十メートル範囲内の無線通信が可能である。
【０００４】
ところで、携帯型の通信端末装置の普及に伴い、車両内に複数の通信端末装置が持ち込まれることも多くなってきている。しかし、この場合、複数の通信端末装置と所有者である人物との対応関係が不明確となり、利用者にとっての使い勝手が良いとはいえないのが現状である。
【０００５】
車両内の人物と通信端末装置との対応関係を考慮した従来技術として、特許文献１は、電波検知器などで携帯電話が使用中であることを検出し、カメラでの撮影から運転手が使用していること検出すると、警告を出力する技術を開示している。
【０００６】
【特許文献１】特開２００７−２４９４７８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、従来の技術では、通信端末を手に持っていない人物について、その人物に対応する（その人物が所有する）通信端末を特定することができなかった。そのため、通信端末に車両の設定に有用な情報や、乗車中に利用可能なコンテンツを格納している場合であっても、かかる情報やコンテンツを有効利用することができないという問題点があった。
【０００８】
また、近年、運転操作の妨げにならない範囲で携帯電話の機能を利用可能とすべく、ハンズフリー通話機能や、メール読み上げ機能などが実現されているが、複数の携帯電話が車内存在する場合に、どの携帯電話を上記機能の対象とするかを決定するためにも、携帯電話（通信端末）と乗員（人物）との対応関係を認識することが求められてきた。
【０００９】
本発明は、上述した従来技術における問題点を解消し、課題を解決するためになされたものであり、人物と通信端末との対応を自動的に認識し、通信端末の有するデータや機能を対応する人物に対して適正に提供可能とする人物認証装置および人物認証方法を提供すること目的とする。
【課題を解決するための手段】
【００１０】
上述した問題を解決し、目的を達成するため、本発明にかかる人物認証装置および人物認証方法は、画像認識によって人物を検出し、無線通信によって通信端末を検出し、人物の位置と通信端末の位置とを比較して人物と前記通信端末との対応関係を判定する。
【発明の効果】
【００１１】
本発明によれば、人物と通信端末との対応を自動的に認識し、通信端末の有するデータや機能を対応する人物に対して適正に提供可能とする人物認証装置および人物認証方法を得ることができるという効果を奏する。
【発明を実施するための最良の形態】
【００１２】
以下、図面を参照して、本発明に係る人物認証装置および人物認証方法について説明する。
【実施例】
【００１３】
図１は、本発明の実施例である乗員認証装置の概要構成を示す概要構成図である。同図に示した乗員認証装置１０は車両に搭載される車載装置であり、複数のカメラＣ１〜Ｃｎ、複数のアンテナＡ１〜Ａｎ、ナビゲーション装置４１、オーディオ装置４２、空調装置４３、車体制御装置４４と接続している。
【００１４】
カメラＣ１〜Ｃｎは、車両に搭載され、車内や車外を撮影する撮影手段である。アンテナＡ１〜Ａｎは、同じく車両に搭載され、車内や車外の通信端末（例えば携帯電話）と近距離通信（例えばＢｌｕｅｔｏｏｔｈ（登録商標））で通信する通信手段である。ここで、カメラは車内外を撮影できれば一つのみでもよいが、通信手段については複数のアンテナを設ける。これは、複数のアンテナ位置での位置の受信強度を比較して通信端末の位置を特定するためである。
【００１５】
乗員認証装置１０は、その内部に映像受信部１１、映像解析部１２、電波受信部１３、乗員検知部２０、電波強度解析部１４、携帯端末検出部３０、対応判定部１５、サービス制御部１６を有する。
【００１６】
映像受信部１１は、カメラＣ１〜Ｃｎが撮影した映像を受信し、映像解析部１２に渡す。映像解析部１２は、映像受信部１１が撮影した映像を解析し、物体が存在する画像領域を特定して乗員検出部２０に出力する。乗員検出部２０は、映像解析部１２の出力に対して画像認識処理を行なって、人物を検出する。
【００１７】
具体的には、乗員検出部２０は、その内部に人物認識部２１、人物位置検出部２２、人物動作検出部２３、追跡処理部２４を有する。人物認識部２１は、映像解析部１２が出力した画像領域のうち、人物の像である領域を識別する処理を行なう。このとき、人物を特定可能な画像上の特徴量を算出可能であれは、算出することが望ましい（人物の特徴量の用途については後述する。）。
【００１８】
人物位置検出部２２は、人物認識部２１が認識した人物の位置を検出する処理部である。この人物の位置の検出は、人物の像を撮影したカメラの設置位置と撮影方向、画像内での人物像の位置、他のカメラの撮影結果との比較などによって行なうことができる。
【００１９】
人物動作検出部２３は、連続画像から人物の像の形状変化を認識することで、人物の動作を検出する処理部である。また、追跡処理部２４は、連続画像から人物の像の位置変化を認識することで、人物の移動を検出する処理部である。この追跡の結果は、人物位置検出部２２にフィードバックされる。
【００２０】
乗員検出部２０は、以上の処理の結果、すなわち人物の認識結果、位置検出の結果、動作検出の結果、追跡処理の結果（移動検出の結果）を対応判定部１５に出力する。
【００２１】
電波受信部１３は、アンテナＡ１〜Ａｎの受信電波を受け取り、電波強度解析部１４に渡す。電波強度解析部１４は、電波受信部１３から取得した各アンテナの受信強度を解析し、解析結果を携帯端末検出部３０に出力する。携帯端末検出部３０は、電波強度解析部１４の解析結果を用いて携帯端末を検出する。
【００２２】
具体的には、携帯端末検出部３０は、その内部にアンテナ判別部３１、端末位置検出部３２、端末移動検出部３３を有する。アンテナ判別部３１は、各アンテナを判別し、アンテナごとの受信強度を求める。
【００２３】
端末位置検出部３２は、アンテナごとの受信強度を比較し、携帯端末の位置を検出する処理部である。この端末の位置の検出は、端末からの電波を受信したアンテナの設置位置と受信方向を考慮した比較によって行なうことができる。
【００２４】
端末移動検出部３３は、各アンテナでの受信強度の推移から端末の移動を検出する処理部である。
【００２５】
携帯端末検出部３０は、以上の処理の結果、すなわち端末の位置と移動状態の検出結果対応判定部１５に出力する。
【００２６】
対応判定部１５は、乗員検出部２０が出力した人物の位置と、携帯端末検出部３０が出力した携帯端末の位置とを比較して前記人物と前記携帯端末との対応関係を判定する対応関係判定手段である。
【００２７】
対応判定部１５による判定の概要について図２および図３を参照して説明する。ここでは、乗員が車外から接近し、運転席に乗車し、助手席に携帯電話を置くまでの状況を例に説明を行なう。
【００２８】
まず、図２に示したように、カメラＣ１〜Ｃｎのうち、車外を撮影可能なカメラの撮影結果から画像認識によって人物を認識し、オプティカルフローなどを用いてその人物の移動（車両への接近）を検出する。
【００２９】
乗員が車内に入ると、カメラＣ１〜Ｃｎのうち、車内を撮影可能なカメラの撮影画像に対し、オプティカルフローなどを用いてその人物が携帯電話を助手席に置く動作を検出する。
【００３０】
同時に、図３に示したように、アンテナＡ１〜Ａｎは、それぞれの位置で携帯端末と通信する。携帯端末とアンテナとの距離によって受信強度に差ができるので、アンテナの受信電波強度から携帯電話の位置を知ることができる。また、携帯電話の位置による電波強度の変化から、携帯電話の移動方向を求めることができる。
【００３１】
例えば図３に示したように、携帯電話を持った乗員が車両に接近すると、まず、最も近いアンテナのみが弱い電波強度で反応し、その後、乗員の車両への接近に伴って各アンテナの受信強度が大きくなる。
【００３２】
次に、乗員が車両に乗り込んだ後では、運転席側のアンテナでの受信強度が強から弱になり、助手席側のアンテナでの受信強度が弱から強に変わったことから、携帯電話が運転席側から助手席側に移動したことがわかる。
【００３３】
携帯電話が所有者である人物から離れるまでは、携帯電話と人物の位置はおおよそ一致するものとする。そこで、判定対応部１５は、携帯電話に最も近い人物かつ携帯電話の移動方向と人物の動作方向が一致する人物を携帯電話の所有者とする。
【００３４】
判定対応部１５は、携帯電話の所有者を決定した後、携帯電話と人物を対応づけて乗員情報保持部１５ａに記憶させる。その後は、対応付けた人物（携帯電話の所有者）が撮影可能な範囲内に居る限り追跡を行なう。
【００３５】
したがって、例えば、後部座席のドアを空けて携帯電話を後部座席に置いた後、一旦車外に出て運転席に着座する場合のように、人物の位置が携帯電話の位置から離れ、人物の位置のみが変化する場合でも、携帯電話の所有者である人物の位置を常に監視し、人物と携帯電話との対応関係を保持することができる。
【００３６】
サービス制御部１６は、対応判定部１５による判定結果、すなわち人物と携帯端末との対応関係を用い、携帯端末が保持する情報を用いたサービスを当該携帯端末に対応する人物の着座位置に対して実行するサービス制御手段である。
【００３７】
ここでは、サービス制御部１６による制御をうける装置として、ナビゲーション装置４１、オーディオ装置４２、空調装置４３、車体制御装置４４を例示している。
【００３８】
ナビゲーション装置４１は、ＧＰＳ人工衛星などを利用して自車両の位置情報を特定し、目的地までの経路誘導や交通に地域に関する情報提供を行なう装置である。オーディオ装置４２は、音楽データや映像データの再生、ラジオ放送、テレビ放送の受信などを行なう車載装置である。空調装置４３は、車室内の冷暖房など空調処理を行なう車載装置である。車体制御部４４は、シートの位置、角度、座面高さ、ルームミラーやサイドミラーの角度調整、ハンドルの高さや角度など、各種車載機器の制御を行なう装置である。
【００３９】
サービス制御部１６は、これらの車載装置を制御し、図４に示すサービスを提供する。
図４に示したように、運転席乗員に対して提供するサービスとしては、携帯端末に格納された設定情報を用いた空調装置４３の設定・制御、携帯端末に格納された音楽などのオーディオ装置によるコンテンツ再生、音楽や映像の再生における設定変更、携帯端末装置に着信したメールの読み上げ、ハンズフリー通話機能の実現、携帯端末に格納された設定情報を用いた車体制御部４４の制御によるミラー位置制御とシート位置（角度含む）制御、携帯端末に格納された自宅位置などのナビゲーション装置４１への提供などを実行することができる。
【００４０】
また、運転席以外の乗員に対して提供するサービスとしては、携帯端末の遠隔操作、携帯端末に格納された設定情報を用いた空調装置４３の設定・制御、携帯端末装置に格納された設定情報を用いた車体制御部３４の制御によるシート位置（角度含む）制御、などを実行することができる。また、携帯端末装置に格納された音楽などのオーディオ装置によるコンテンツ再生、音楽や映像の再生における設定変更なども実行可能である。
【００４１】
つぎに図５を参照し、乗員認証装置１０の処理動作について説明する。図５に示したフローチャートは、乗員認証装置１０のメインフローであり、繰り返し実行される処理である。特に好適には、車両を駐車している状態であっても乗員認証装置１０は動作させておき、乗員が接近した時点で乗員検出を行なうことができるようにしておくのが好ましい。
【００４２】
まず乗員検出部２０が乗員検出処理を実行し（ステップＳ１０１）、携帯端末検出部３０が携帯端末検出処理を実行する（ステップＳ１０２）。
【００４３】
乗員検出処理によって乗員が検出され、携帯端末検出処理によって携帯端末が検出されると、対応判定部１５が対応判定処理を行なう（ステップＳ１０３）。さらに、対応関係が設定された乗員について乗員追跡判定処理を行ない（ステップＳ１０４）、追跡終了と判定される（ステップＳ１０５，Ｙｅｓ）まで、乗員の追跡を継続して実行する。
【００４４】
図６は、乗員検出処理の詳細を説明するフローチャートである。図６に示したように、乗員検出部２０は、まず、人物認識部２１による人物の検知を実行し（ステップＳ２０１）、つぎに人物位置検出部２２によって人物の位置を検出し（ステップＳ２０２）、人物動作検出部２３によって人物の動作とその方向を検出し（ステップＳ２０３）、乗員検出処理を終了する。
【００４５】
図７は、携帯端末検出処理の詳細を説明するフローチャートである。図７に示したように、携帯端末検出部３０は、まずアンテナ判別部３１によってアンテナの認識を行ない（ステップＳ３０１）、つぎに端末位置検出部３２が各アンテナの電波強度から端末の位置を検出し（ステップＳ３０２）、端末移動検出部３３が電波強度の推移から端末の移動方向を検出して（ステップＳ３０３）、端末検出処理を終了する。
【００４６】
図８は、対応判定処理の詳細を説明するフローチャートである。まず、対応判定部１５は、人物の位置と携帯端末の位置を比較する（ステップＳ４０１）。その結果、人物の位置から携帯端末までの距離が閾値以下である場合（ステップＳ４０２，Ｙｅｓ）、人物の移動方向（動作方向）と携帯端末の移動方向とを比較する（ステップＳ４０３）。
【００４７】
そして、人物の移動方向と携帯端末の移動方向とが一致する場合（ステップＳ４０４，Ｙｅｓ）、人物と携帯端末とを対応付けて（ステップＳ４０５）、対応判定処理を終了する。なお、人物から携帯端末までの距離が閾値より大きい場合（ステップＳ４０２，Ｎｏ）、また人物の動作方向と携帯端末の移動方向とが一致しない場合（ステップＳ４０４，Ｎｏ）にはそのまま対応判定処理を終了する。
【００４８】
図９は、乗員追跡判定処理の詳細を説明するフローチャートである。乗員検出部３０は、対応判定部１５によって対応関係が設定されており（ステップＳ５０１，Ｙｅｓ）、かつカメラに人物が写っている場合に（ステップＳ５０２，Ｙｅｓ）、「追跡」と判定する（ステップＳ５０３）。
【００４９】
一方、対応関係が設定されていない場合（ステップＳ５０１，Ｎｏ）、もしくは対応を設定した人物がカメラに写っていない（カメラの撮影範囲外に出た）場合に（ステップＳ５０２，Ｎｏ）、「追跡終了」と判定する（ステップＳ５０４）。
【００５０】
なお、カメラに写っている状態とは、複数のカメラのいずれに映っていればよく、あるカメラの撮影範囲から出ても他のカメラの撮影範囲に居る場合（例えば乗車時に車外を撮影するカメラの撮影範囲から出て、車内を撮影するカメラの撮影範囲に入った場合）には、カメラを切り替えて追跡を継続する。
【００５１】
このように、人物の追跡は、人物がカメラの撮影範囲外に出た時点で終了するが、上述したように人物の特徴量を算出して保持していれば、一旦カメラの撮影範囲から出た人物が再び戻ってきた場合に、特徴量に基づいてその人物を認識し、追跡を継続することができる。また、次回以降、その人物を画像認識によって個人認証し、サービスの制御やセキュリティ動作の制御に使用することができる。
【００５２】
また、人物がカメラから見えなくなるまで追跡する構成では、乗車後、車両が走行中である場合も追跡が継続される。しかし、一旦車両か走行を開始すると、人物の移動がおこることはまれであるので、走行開始時点で人物位置を確定とし、追跡を一時中断したり、追跡の間隔を伸ばすようにしてもよい。
【００５３】
以上説明してきたように、本実施例にかかる乗員認証装置１０は、乗員検出部２０が画像認識によって乗員の位置を検出し、携帯端末検出部３０が複数のアンテナでの受信強度から携帯端末の位置を検出し、人物の位置と携帯端末の位置とを用いて対応関係を設定する。そのため、人物と携帯端末との対応を自動的に認識し、通信端末の有するデータや機能を対応する人物に対して適正に提供することができる。
【産業上の利用可能性】
【００５４】
以上のように、本発明にかかる人物認証装置および人物認証方法は、人物の認証に有用であり、特に携帯端末と利用者との対応付けに適している。
【図面の簡単な説明】
【００５５】
【図１】本発明の実施例にかかる乗員認証装置の概要構成を示す概要構成図である。
【図２】画像認識による乗員の検出について説明する説明図である。
【図３】電波受信強度の比較による携帯端末の位置検出について説明する説明図である。
【図４】人物と携帯端末の対応に基づくサービス制御について説明する説明図である。
【図５】本発明の実施例にかかる乗員認証装置の処理動作を説明するフローチャートである。
【図６】乗員検出処理の詳細について説明するフローチャートである。
【図７】携帯端末検出処理の詳細について説明するフローチャートである。
【図８】対応判定処理の詳細について説明するフローチャートである。
【図９】乗員追跡判定処理の詳細について説明するフローチャートである。
【符号の説明】
【００５６】
１０ 乗員認証装置
１１ 映像受信部
１２ 映像解析部
１３ 電波受信部
１４ 電波強度解析部
１５ 対応判定部
１５ａ 乗員情報保持部
１６ サービス制御部
２０ 乗員検出部
２１ 人物認識部
２２ 人物位置検出部
２３ 人物動作検出部
２４ 追跡処理部
３０ 携帯端末検出部
３１ アンテナ判別部
３２ 端末位置検出部
３３ 端末移動検出部
４１ ナビゲーション装置
４２ オーディオ装置
４３ 空調装置
４４ 車体制御装置
Ｃ１〜Ｃｎ カメラ
Ａ１〜Ａｎ アンテナ
【技術分野】
【０００１】
本発明は、人物の認証を人物認証装置および人物認証方法に関し、特に通信端末と人物の対応関係を認識する人物認証装置および人物認証方法に関する。
【背景技術】
【０００２】
近年、カーナビゲーションシステムが普及してきており、自動車には、音楽や映像の視聴、ナビゲーション情報の表示などを行うことができる車載装置が搭載されることが一般的となってきている。また、このような車載装置は、乗車者が携帯する携帯電話やＰＤＡ（Personal Digital Assistant）といった携帯型の通信端末装置と通信し、携帯型の通信端末装置／車載装置間でデータ送受信を行うようになってきた。
【０００３】
このように、通信機器同士で通信を行う場合、Ｂｌｕｅｔｏｏｔｈ（登録商標）と呼ばれる無線通信規格がよく知られている。Ｂｌｕｅｔｏｏｔｈ（登録商標）は、２．４ＧＨｚの周波数帯を用いる無線通信規格であり、半径数十メートル範囲内の無線通信が可能である。
【０００４】
ところで、携帯型の通信端末装置の普及に伴い、車両内に複数の通信端末装置が持ち込まれることも多くなってきている。しかし、この場合、複数の通信端末装置と所有者である人物との対応関係が不明確となり、利用者にとっての使い勝手が良いとはいえないのが現状である。
【０００５】
車両内の人物と通信端末装置との対応関係を考慮した従来技術として、特許文献１は、電波検知器などで携帯電話が使用中であることを検出し、カメラでの撮影から運転手が使用していること検出すると、警告を出力する技術を開示している。
【０００６】
【特許文献１】特開２００７−２４９４７８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、従来の技術では、通信端末を手に持っていない人物について、その人物に対応する（その人物が所有する）通信端末を特定することができなかった。そのため、通信端末に車両の設定に有用な情報や、乗車中に利用可能なコンテンツを格納している場合であっても、かかる情報やコンテンツを有効利用することができないという問題点があった。
【０００８】
また、近年、運転操作の妨げにならない範囲で携帯電話の機能を利用可能とすべく、ハンズフリー通話機能や、メール読み上げ機能などが実現されているが、複数の携帯電話が車内存在する場合に、どの携帯電話を上記機能の対象とするかを決定するためにも、携帯電話（通信端末）と乗員（人物）との対応関係を認識することが求められてきた。
【０００９】
本発明は、上述した従来技術における問題点を解消し、課題を解決するためになされたものであり、人物と通信端末との対応を自動的に認識し、通信端末の有するデータや機能を対応する人物に対して適正に提供可能とする人物認証装置および人物認証方法を提供すること目的とする。
【課題を解決するための手段】
【００１０】
上述した問題を解決し、目的を達成するため、本発明にかかる人物認証装置および人物認証方法は、画像認識によって人物を検出し、無線通信によって通信端末を検出し、人物の位置と通信端末の位置とを比較して人物と前記通信端末との対応関係を判定する。
【発明の効果】
【００１１】
本発明によれば、人物と通信端末との対応を自動的に認識し、通信端末の有するデータや機能を対応する人物に対して適正に提供可能とする人物認証装置および人物認証方法を得ることができるという効果を奏する。
【発明を実施するための最良の形態】
【００１２】
以下、図面を参照して、本発明に係る人物認証装置および人物認証方法について説明する。
【実施例】
【００１３】
図１は、本発明の実施例である乗員認証装置の概要構成を示す概要構成図である。同図に示した乗員認証装置１０は車両に搭載される車載装置であり、複数のカメラＣ１〜Ｃｎ、複数のアンテナＡ１〜Ａｎ、ナビゲーション装置４１、オーディオ装置４２、空調装置４３、車体制御装置４４と接続している。
【００１４】
カメラＣ１〜Ｃｎは、車両に搭載され、車内や車外を撮影する撮影手段である。アンテナＡ１〜Ａｎは、同じく車両に搭載され、車内や車外の通信端末（例えば携帯電話）と近距離通信（例えばＢｌｕｅｔｏｏｔｈ（登録商標））で通信する通信手段である。ここで、カメラは車内外を撮影できれば一つのみでもよいが、通信手段については複数のアンテナを設ける。これは、複数のアンテナ位置での位置の受信強度を比較して通信端末の位置を特定するためである。
【００１５】
乗員認証装置１０は、その内部に映像受信部１１、映像解析部１２、電波受信部１３、乗員検知部２０、電波強度解析部１４、携帯端末検出部３０、対応判定部１５、サービス制御部１６を有する。
【００１６】
映像受信部１１は、カメラＣ１〜Ｃｎが撮影した映像を受信し、映像解析部１２に渡す。映像解析部１２は、映像受信部１１が撮影した映像を解析し、物体が存在する画像領域を特定して乗員検出部２０に出力する。乗員検出部２０は、映像解析部１２の出力に対して画像認識処理を行なって、人物を検出する。
【００１７】
具体的には、乗員検出部２０は、その内部に人物認識部２１、人物位置検出部２２、人物動作検出部２３、追跡処理部２４を有する。人物認識部２１は、映像解析部１２が出力した画像領域のうち、人物の像である領域を識別する処理を行なう。このとき、人物を特定可能な画像上の特徴量を算出可能であれは、算出することが望ましい（人物の特徴量の用途については後述する。）。
【００１８】
人物位置検出部２２は、人物認識部２１が認識した人物の位置を検出する処理部である。この人物の位置の検出は、人物の像を撮影したカメラの設置位置と撮影方向、画像内での人物像の位置、他のカメラの撮影結果との比較などによって行なうことができる。
【００１９】
人物動作検出部２３は、連続画像から人物の像の形状変化を認識することで、人物の動作を検出する処理部である。また、追跡処理部２４は、連続画像から人物の像の位置変化を認識することで、人物の移動を検出する処理部である。この追跡の結果は、人物位置検出部２２にフィードバックされる。
【００２０】
乗員検出部２０は、以上の処理の結果、すなわち人物の認識結果、位置検出の結果、動作検出の結果、追跡処理の結果（移動検出の結果）を対応判定部１５に出力する。
【００２１】
電波受信部１３は、アンテナＡ１〜Ａｎの受信電波を受け取り、電波強度解析部１４に渡す。電波強度解析部１４は、電波受信部１３から取得した各アンテナの受信強度を解析し、解析結果を携帯端末検出部３０に出力する。携帯端末検出部３０は、電波強度解析部１４の解析結果を用いて携帯端末を検出する。
【００２２】
具体的には、携帯端末検出部３０は、その内部にアンテナ判別部３１、端末位置検出部３２、端末移動検出部３３を有する。アンテナ判別部３１は、各アンテナを判別し、アンテナごとの受信強度を求める。
【００２３】
端末位置検出部３２は、アンテナごとの受信強度を比較し、携帯端末の位置を検出する処理部である。この端末の位置の検出は、端末からの電波を受信したアンテナの設置位置と受信方向を考慮した比較によって行なうことができる。
【００２４】
端末移動検出部３３は、各アンテナでの受信強度の推移から端末の移動を検出する処理部である。
【００２５】
携帯端末検出部３０は、以上の処理の結果、すなわち端末の位置と移動状態の検出結果対応判定部１５に出力する。
【００２６】
対応判定部１５は、乗員検出部２０が出力した人物の位置と、携帯端末検出部３０が出力した携帯端末の位置とを比較して前記人物と前記携帯端末との対応関係を判定する対応関係判定手段である。
【００２７】
対応判定部１５による判定の概要について図２および図３を参照して説明する。ここでは、乗員が車外から接近し、運転席に乗車し、助手席に携帯電話を置くまでの状況を例に説明を行なう。
【００２８】
まず、図２に示したように、カメラＣ１〜Ｃｎのうち、車外を撮影可能なカメラの撮影結果から画像認識によって人物を認識し、オプティカルフローなどを用いてその人物の移動（車両への接近）を検出する。
【００２９】
乗員が車内に入ると、カメラＣ１〜Ｃｎのうち、車内を撮影可能なカメラの撮影画像に対し、オプティカルフローなどを用いてその人物が携帯電話を助手席に置く動作を検出する。
【００３０】
同時に、図３に示したように、アンテナＡ１〜Ａｎは、それぞれの位置で携帯端末と通信する。携帯端末とアンテナとの距離によって受信強度に差ができるので、アンテナの受信電波強度から携帯電話の位置を知ることができる。また、携帯電話の位置による電波強度の変化から、携帯電話の移動方向を求めることができる。
【００３１】
例えば図３に示したように、携帯電話を持った乗員が車両に接近すると、まず、最も近いアンテナのみが弱い電波強度で反応し、その後、乗員の車両への接近に伴って各アンテナの受信強度が大きくなる。
【００３２】
次に、乗員が車両に乗り込んだ後では、運転席側のアンテナでの受信強度が強から弱になり、助手席側のアンテナでの受信強度が弱から強に変わったことから、携帯電話が運転席側から助手席側に移動したことがわかる。
【００３３】
携帯電話が所有者である人物から離れるまでは、携帯電話と人物の位置はおおよそ一致するものとする。そこで、判定対応部１５は、携帯電話に最も近い人物かつ携帯電話の移動方向と人物の動作方向が一致する人物を携帯電話の所有者とする。
【００３４】
判定対応部１５は、携帯電話の所有者を決定した後、携帯電話と人物を対応づけて乗員情報保持部１５ａに記憶させる。その後は、対応付けた人物（携帯電話の所有者）が撮影可能な範囲内に居る限り追跡を行なう。
【００３５】
したがって、例えば、後部座席のドアを空けて携帯電話を後部座席に置いた後、一旦車外に出て運転席に着座する場合のように、人物の位置が携帯電話の位置から離れ、人物の位置のみが変化する場合でも、携帯電話の所有者である人物の位置を常に監視し、人物と携帯電話との対応関係を保持することができる。
【００３６】
サービス制御部１６は、対応判定部１５による判定結果、すなわち人物と携帯端末との対応関係を用い、携帯端末が保持する情報を用いたサービスを当該携帯端末に対応する人物の着座位置に対して実行するサービス制御手段である。
【００３７】
ここでは、サービス制御部１６による制御をうける装置として、ナビゲーション装置４１、オーディオ装置４２、空調装置４３、車体制御装置４４を例示している。
【００３８】
ナビゲーション装置４１は、ＧＰＳ人工衛星などを利用して自車両の位置情報を特定し、目的地までの経路誘導や交通に地域に関する情報提供を行なう装置である。オーディオ装置４２は、音楽データや映像データの再生、ラジオ放送、テレビ放送の受信などを行なう車載装置である。空調装置４３は、車室内の冷暖房など空調処理を行なう車載装置である。車体制御部４４は、シートの位置、角度、座面高さ、ルームミラーやサイドミラーの角度調整、ハンドルの高さや角度など、各種車載機器の制御を行なう装置である。
【００３９】
サービス制御部１６は、これらの車載装置を制御し、図４に示すサービスを提供する。
図４に示したように、運転席乗員に対して提供するサービスとしては、携帯端末に格納された設定情報を用いた空調装置４３の設定・制御、携帯端末に格納された音楽などのオーディオ装置によるコンテンツ再生、音楽や映像の再生における設定変更、携帯端末装置に着信したメールの読み上げ、ハンズフリー通話機能の実現、携帯端末に格納された設定情報を用いた車体制御部４４の制御によるミラー位置制御とシート位置（角度含む）制御、携帯端末に格納された自宅位置などのナビゲーション装置４１への提供などを実行することができる。
【００４０】
また、運転席以外の乗員に対して提供するサービスとしては、携帯端末の遠隔操作、携帯端末に格納された設定情報を用いた空調装置４３の設定・制御、携帯端末装置に格納された設定情報を用いた車体制御部３４の制御によるシート位置（角度含む）制御、などを実行することができる。また、携帯端末装置に格納された音楽などのオーディオ装置によるコンテンツ再生、音楽や映像の再生における設定変更なども実行可能である。
【００４１】
つぎに図５を参照し、乗員認証装置１０の処理動作について説明する。図５に示したフローチャートは、乗員認証装置１０のメインフローであり、繰り返し実行される処理である。特に好適には、車両を駐車している状態であっても乗員認証装置１０は動作させておき、乗員が接近した時点で乗員検出を行なうことができるようにしておくのが好ましい。
【００４２】
まず乗員検出部２０が乗員検出処理を実行し（ステップＳ１０１）、携帯端末検出部３０が携帯端末検出処理を実行する（ステップＳ１０２）。
【００４３】
乗員検出処理によって乗員が検出され、携帯端末検出処理によって携帯端末が検出されると、対応判定部１５が対応判定処理を行なう（ステップＳ１０３）。さらに、対応関係が設定された乗員について乗員追跡判定処理を行ない（ステップＳ１０４）、追跡終了と判定される（ステップＳ１０５，Ｙｅｓ）まで、乗員の追跡を継続して実行する。
【００４４】
図６は、乗員検出処理の詳細を説明するフローチャートである。図６に示したように、乗員検出部２０は、まず、人物認識部２１による人物の検知を実行し（ステップＳ２０１）、つぎに人物位置検出部２２によって人物の位置を検出し（ステップＳ２０２）、人物動作検出部２３によって人物の動作とその方向を検出し（ステップＳ２０３）、乗員検出処理を終了する。
【００４５】
図７は、携帯端末検出処理の詳細を説明するフローチャートである。図７に示したように、携帯端末検出部３０は、まずアンテナ判別部３１によってアンテナの認識を行ない（ステップＳ３０１）、つぎに端末位置検出部３２が各アンテナの電波強度から端末の位置を検出し（ステップＳ３０２）、端末移動検出部３３が電波強度の推移から端末の移動方向を検出して（ステップＳ３０３）、端末検出処理を終了する。
【００４６】
図８は、対応判定処理の詳細を説明するフローチャートである。まず、対応判定部１５は、人物の位置と携帯端末の位置を比較する（ステップＳ４０１）。その結果、人物の位置から携帯端末までの距離が閾値以下である場合（ステップＳ４０２，Ｙｅｓ）、人物の移動方向（動作方向）と携帯端末の移動方向とを比較する（ステップＳ４０３）。
【００４７】
そして、人物の移動方向と携帯端末の移動方向とが一致する場合（ステップＳ４０４，Ｙｅｓ）、人物と携帯端末とを対応付けて（ステップＳ４０５）、対応判定処理を終了する。なお、人物から携帯端末までの距離が閾値より大きい場合（ステップＳ４０２，Ｎｏ）、また人物の動作方向と携帯端末の移動方向とが一致しない場合（ステップＳ４０４，Ｎｏ）にはそのまま対応判定処理を終了する。
【００４８】
図９は、乗員追跡判定処理の詳細を説明するフローチャートである。乗員検出部３０は、対応判定部１５によって対応関係が設定されており（ステップＳ５０１，Ｙｅｓ）、かつカメラに人物が写っている場合に（ステップＳ５０２，Ｙｅｓ）、「追跡」と判定する（ステップＳ５０３）。
【００４９】
一方、対応関係が設定されていない場合（ステップＳ５０１，Ｎｏ）、もしくは対応を設定した人物がカメラに写っていない（カメラの撮影範囲外に出た）場合に（ステップＳ５０２，Ｎｏ）、「追跡終了」と判定する（ステップＳ５０４）。
【００５０】
なお、カメラに写っている状態とは、複数のカメラのいずれに映っていればよく、あるカメラの撮影範囲から出ても他のカメラの撮影範囲に居る場合（例えば乗車時に車外を撮影するカメラの撮影範囲から出て、車内を撮影するカメラの撮影範囲に入った場合）には、カメラを切り替えて追跡を継続する。
【００５１】
このように、人物の追跡は、人物がカメラの撮影範囲外に出た時点で終了するが、上述したように人物の特徴量を算出して保持していれば、一旦カメラの撮影範囲から出た人物が再び戻ってきた場合に、特徴量に基づいてその人物を認識し、追跡を継続することができる。また、次回以降、その人物を画像認識によって個人認証し、サービスの制御やセキュリティ動作の制御に使用することができる。
【００５２】
また、人物がカメラから見えなくなるまで追跡する構成では、乗車後、車両が走行中である場合も追跡が継続される。しかし、一旦車両か走行を開始すると、人物の移動がおこることはまれであるので、走行開始時点で人物位置を確定とし、追跡を一時中断したり、追跡の間隔を伸ばすようにしてもよい。
【００５３】
以上説明してきたように、本実施例にかかる乗員認証装置１０は、乗員検出部２０が画像認識によって乗員の位置を検出し、携帯端末検出部３０が複数のアンテナでの受信強度から携帯端末の位置を検出し、人物の位置と携帯端末の位置とを用いて対応関係を設定する。そのため、人物と携帯端末との対応を自動的に認識し、通信端末の有するデータや機能を対応する人物に対して適正に提供することができる。
【産業上の利用可能性】
【００５４】
以上のように、本発明にかかる人物認証装置および人物認証方法は、人物の認証に有用であり、特に携帯端末と利用者との対応付けに適している。
【図面の簡単な説明】
【００５５】
【図１】本発明の実施例にかかる乗員認証装置の概要構成を示す概要構成図である。
【図２】画像認識による乗員の検出について説明する説明図である。
【図３】電波受信強度の比較による携帯端末の位置検出について説明する説明図である。
【図４】人物と携帯端末の対応に基づくサービス制御について説明する説明図である。
【図５】本発明の実施例にかかる乗員認証装置の処理動作を説明するフローチャートである。
【図６】乗員検出処理の詳細について説明するフローチャートである。
【図７】携帯端末検出処理の詳細について説明するフローチャートである。
【図８】対応判定処理の詳細について説明するフローチャートである。
【図９】乗員追跡判定処理の詳細について説明するフローチャートである。
【符号の説明】
【００５６】
１０ 乗員認証装置
１１ 映像受信部
１２ 映像解析部
１３ 電波受信部
１４ 電波強度解析部
１５ 対応判定部
１５ａ 乗員情報保持部
１６ サービス制御部
２０ 乗員検出部
２１ 人物認識部
２２ 人物位置検出部
２３ 人物動作検出部
２４ 追跡処理部
３０ 携帯端末検出部
３１ アンテナ判別部
３２ 端末位置検出部
３３ 端末移動検出部
４１ ナビゲーション装置
４２ オーディオ装置
４３ 空調装置
４４ 車体制御装置
Ｃ１〜Ｃｎ カメラ
Ａ１〜Ａｎ アンテナ
【特許請求の範囲】
【請求項１】
画像認識によって人物を検出する人物検出手段と、
無線通信によって通信端末を検出する通信端末検出手段と、
前記人物検出手段が検出した人物の位置と、前記通信端末検出手段が検出した通信端末の位置とを比較して前記人物と前記通信端末との対応関係を判定する対応関係判定手段と、
を備えたことを特徴とする人物認証装置。
【請求項２】
前記対応関係判定手段による判定結果を用い、前記通信端末が保持する情報を用いたサービスを当該通信端末に対応する人物の存在する位置に対して実行するサービス制御手段をさらに備えたことを特徴とする請求項１に記載の人物認証装置。
【請求項３】
前記人物は車両の乗員であり、前記サービス制御手段は、前記人物の着座位置に対する車両設定の変更、前記通信端末の車載入出力機器による遠隔操作、前記通信端末が保持するデータの再生出力のいずれかを少なくとも制御することを特徴とする請求項２に記載の人物認証装置。
【請求項４】
前記人物検出手段は、前記人物の移動および／または動作をさらに検出し、前記通信端末検出手段は前記通信端末の移動をさらに検出し、対応関係判定手段は、前記人物の移動および／または動作と前記通信端末の移動とをさらに比較して前記対応関係を判定することを特徴とする請求項１〜３のいずれか一つに記載の人物認証装置。
【請求項５】
前記人物検出手段は、前記対応関係判定手段によって前記通信端末と対応づけられた後も前記人物の移動を追跡し、前記人物が存在する位置を更新することを特徴とする請求項１〜４のいずれか一つに記載の人物認証装置。
【請求項６】
前記対応関係判定手段は、前記通信端末と対応付けた人物の画像の特徴を保持することを特徴とする請求項１〜５のいずれか一つに記載の人物認証装置。
【請求項７】
画像認識によって人物を検出する人物検出工程と、
無線通信によって通信端末を検出する通信端末検出工程と、
前記人物検出工程で検出した人物の位置と、前記通信端末検出工程で検出した通信端末の位置とを比較して前記人物と前記通信端末との対応関係を判定する対応関係判定工程と、
を含んだことを特徴とする人物認証方法。
【請求項１】
画像認識によって人物を検出する人物検出手段と、
無線通信によって通信端末を検出する通信端末検出手段と、
前記人物検出手段が検出した人物の位置と、前記通信端末検出手段が検出した通信端末の位置とを比較して前記人物と前記通信端末との対応関係を判定する対応関係判定手段と、
を備えたことを特徴とする人物認証装置。
【請求項２】
前記対応関係判定手段による判定結果を用い、前記通信端末が保持する情報を用いたサービスを当該通信端末に対応する人物の存在する位置に対して実行するサービス制御手段をさらに備えたことを特徴とする請求項１に記載の人物認証装置。
【請求項３】
前記人物は車両の乗員であり、前記サービス制御手段は、前記人物の着座位置に対する車両設定の変更、前記通信端末の車載入出力機器による遠隔操作、前記通信端末が保持するデータの再生出力のいずれかを少なくとも制御することを特徴とする請求項２に記載の人物認証装置。
【請求項４】
前記人物検出手段は、前記人物の移動および／または動作をさらに検出し、前記通信端末検出手段は前記通信端末の移動をさらに検出し、対応関係判定手段は、前記人物の移動および／または動作と前記通信端末の移動とをさらに比較して前記対応関係を判定することを特徴とする請求項１〜３のいずれか一つに記載の人物認証装置。
【請求項５】
前記人物検出手段は、前記対応関係判定手段によって前記通信端末と対応づけられた後も前記人物の移動を追跡し、前記人物が存在する位置を更新することを特徴とする請求項１〜４のいずれか一つに記載の人物認証装置。
【請求項６】
前記対応関係判定手段は、前記通信端末と対応付けた人物の画像の特徴を保持することを特徴とする請求項１〜５のいずれか一つに記載の人物認証装置。
【請求項７】
画像認識によって人物を検出する人物検出工程と、
無線通信によって通信端末を検出する通信端末検出工程と、
前記人物検出工程で検出した人物の位置と、前記通信端末検出工程で検出した通信端末の位置とを比較して前記人物と前記通信端末との対応関係を判定する対応関係判定工程と、
を含んだことを特徴とする人物認証方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２００９−２８４４４２（Ｐ２００９−２８４４４２Ａ）
【公開日】平成２１年１２月３日（２００９．１２．３）
【国際特許分類】
【出願番号】特願２００８−１３７１６０（Ｐ２００８−１３７１６０）
【出願日】平成２０年５月２６日（２００８．５．２６）
【出願人】（０００２３７５９２）富士通テン株式会社 (3,383)
【Ｆターム（参考）】
【公開日】平成２１年１２月３日（２００９．１２．３）
【国際特許分類】
【出願日】平成２０年５月２６日（２００８．５．２６）
【出願人】（０００２３７５９２）富士通テン株式会社 (3,383)
【Ｆターム（参考）】
[ Back to top ]