人物識別システム
【課題】特定人物の識別精度の向上が図れる人物識別システムを提供すること。
【解決手段】特定人物Ｍの識別に用いる識別情報において特定人物Ｍを識別するのに不足している条件を判断し、特定人物Ｍを追尾して移動するモビルロボットＲにより上記条件となったときに特定人物Ｍの識別に用いる特徴情報を取得し、その特徴情報を特定人物Ｍの識別に用いる識別情報として設定して識別情報の更新を行う。特定人物Ｍを追尾するモビルロボットＲにより識別に必要な特徴情報を取得するため、タイミングを逃すことなく確実にその特徴情報を取得することができる。
【解決手段】特定人物Ｍの識別に用いる識別情報において特定人物Ｍを識別するのに不足している条件を判断し、特定人物Ｍを追尾して移動するモビルロボットＲにより上記条件となったときに特定人物Ｍの識別に用いる特徴情報を取得し、その特徴情報を特定人物Ｍの識別に用いる識別情報として設定して識別情報の更新を行う。特定人物Ｍを追尾するモビルロボットＲにより識別に必要な特徴情報を取得するため、タイミングを逃すことなく確実にその特徴情報を取得することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、特定人物の識別を行う人物識別システムに関するものである。
【背景技術】
【０００２】
従来、特定人物の識別を行う装置として、例えば、自走式の自動搬送ロボットであって、取扱い登録者の人体の特徴などを読み取って登録者を認識する登録者認識部を備えたものが知られている（例えば、特許文献１参照）。この装置は、取扱い登録者を認識することにより、搬送物の盗難などを防止してセキュリティ機能を向上させようとするものである。
【特許文献１】特開２００１−２８７１８３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、このような装置にあっては、認識時の天候や明るさが異なるなど認識環境が変化した場合、それに類似する登録者の特徴情報を取得していないと、登録者の識別が困難となる。そのような事態を回避するためには、登録者の特徴情報などを事前に多数記憶し、その記憶データに基づいて識別対象人物が登録者であるか否かを識別することが考えられる。ところが、登録者の特徴情報など多大なデータ数になると、登録者の固有の特徴が薄れて識別精度が低下するおそれがある。
【０００４】
そこで本発明は、このような技術課題を解決するためになされたものであって、特定人物の識別精度の向上が図れる人物識別システムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
すなわち本発明に係る人物識別システムは、特定人物の識別を行う人物識別システムであって、前記特定人物の識別に用いる識別情報において前記特定人物を所定以上の精度で識別するのに不足している条件を判断する判断手段と、前記特定人物を追尾して移動しながら、前記判断手段に判断された条件となったときに前記特定人物の識別に用いる特徴情報を取得する自律移動体と、前記自律移動体により取得された特徴情報を前記特定人物の識別に用いる識別情報として設定して前記識別情報の更新を行う識別情報更新手段とを備えて構成されている。
【０００６】
この発明によれば、特定人物を追尾して移動する自律移動体によって特定人物の識別に用いる特徴情報を取得することにより、識別に必要な特徴情報を取得できる時にタイミングを逃すことなく確実にその特徴情報を取得することができる。このため、特定人物の識別精度の向上が図れる。
【０００７】
また本発明に係る人物識別システムにおいて、前記判断手段は、前記特定人物の識別に用いる識別情報において前記特定人物を所定以上の精度で識別するのに不足している天候条件若しくは照度条件を判断し、前記自律移動体は、前記天候条件若しくは前記照度条件となったときに前記特定人物の識別に用いる特徴情報を取得することが好ましい。
【０００８】
また本発明に係る人物識別システムにおいて、前記判断手段は、前記特定人物の識別に用いる識別情報において前記特定人物を所定以上の精度で識別するのに不足している前記特定人物の向き条件を判断し、前記自律移動体は、前記特定人物の向き条件となったときに前記特定人物の識別に用いる特徴情報を取得することが好ましい。
【発明の効果】
【０００９】
本発明によれば、識別に必要な特徴情報を取得できる時に確実に取得することにより、特定人物の識別精度の向上を図ることができる。
【発明を実施するための最良の形態】
【００１０】
以下、添付図面を参照して本発明の実施形態について説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。
（第一実施形態）
【００１１】
図１は本発明の第一実施形態に係る人物識別システムのモビルロボット及び特定人物を模式的に示した平面図、図２はモビルロボットの構造を示す側面図、図３はモビルロボットと基地局との関係を示す模式図、図４はモビルロボットにおける制御装置の構成概要を示すブロック図、図５は基地局の構成を示すブロック図である。
【００１２】
図１に示すように、特定人物Ｍは、識別すべき対象となる人物であり、例えばモビルロボットＲの使用者、オーナー、もしくは主人である。モビルロボットＲは、特定人物Ｍを追尾して移動する自律移動体である。このモビルロボットＲは、特定人物Ｍと所定の位置関係を保ちながら移動するものであり、例えば特定人物Ｍの近傍において特定人物Ｍおよびその周辺状況を観測しつつその観測情報に基づいて特定人物Ｍを先導し、あるいは特定人物Ｍに追従する。
【００１３】
図２に示すように、モビルロボットＲは、走行装置１により移動可能なボディＲ１と、このボディＲ１に対して回転可能に接続されたヘッドＲ２とを備えている。ボディＲ１には、報知、警報、案内などの各種のメッセージを画像や文字により表示可能なディスプレイ２が設置されている。そして、このボディＲ１には、電源としてのバッテリ３、ヘッドＲ２を回転駆動するためのヘッド駆動モータ４の他、走行装置１、ディスプレイ２、ヘッド駆動モータ４などを制御するための制御装置５が内蔵されている。
【００１４】
一方、モビルロボットＲのヘッドＲ２には、特定人物Ｍおよびその周辺に存在する障害物（他の人物や動物、構造物、設置物、車両等）などを含む周辺状況をステレオ画像として観測するための左右一対のＣＣＤカメラ（または赤外線カメラ）６Ａ、６Ｂと、報知、警報、案内などの各種メッセージの音声を発声可能なスピーカ７とが設置されている。また、ヘッドＲ２には、他のモビルロボットや基地局との間で送受信を行うためのアンテナ８が設けられている。
【００１５】
図３に示すように、モビルロボットＲと基地局Ｂとの間では、信号の送受信が可能となっている。基地局Ｂは、モビルロボットＲが取得した情報を収集する情報管理センタとして機能するものであり、例えば基地局Ｂと無線によりモビルロボットＲと通信可能となっている。基地局Ｂは、センタ制御装置Ｂ１、送受信用のアンテナＢ４などを備えている。
【００１６】
図１および図２に示すように、走行装置１は、例えば、ホイールインモータ１Ａ、１Ｂにより回転方向および回転速度が左右独立に制御される左右一対の駆動車輪１Ｃ、１Ｄと、３６０度の旋回が可能なキャスタ車輪１Ｅと、を有する。
【００１７】
この走行装置１は、左右一対の駆動車輪１Ｃ、１Ｄが同方向に前転駆動または後転駆動されることでモビルロボットＲを前進または後退させる。その際、左右一対の駆動車輪１Ｃ、１Ｄの回転速度が同速度であればモビルロボットＲを直進させ、左右一対の駆動車輪１Ｃ、１Ｄの回転速度に差があれば駆動車輪１Ｃ、１Ｄのうち回転速度の遅い側にモビルロボットＲを旋回させる。そして、この走行装置１は、左右一対の駆動車輪１Ｃ、１Ｄが同速度で相互に逆方向に回転駆動されると、モビルロボットＲをその場で左右の何れかに回転させる。
【００１８】
ここで、制御装置５は、ＥＣＵ（ElectricControl Unit）等のマイクロコンピュータのハードウェアおよびソフトウェアを利用して構成されている。この制御装置５は、ホイールインモータ１Ａ、１Ｂやヘッド駆動モータ４の駆動回路、ディスプレイ２、ＣＣＤカメラ６Ａ、６Ｂ、スピーカ７等との間の入出力インターフェースＩ／ＯおよびＡ／Ｄコンバータの他、プログラムおよびデータを記憶したＲＯＭ（Read Only Memory）、入力データ等を一時記憶するＲＡＭ（Random Access Memory）、プログラムを実行するＣＰＵ（Central Processing Unit）等をハードウェアとして備えている。
【００１９】
そして、この制御装置５は、図４に示すように、画像生成部１１、特定人物検出部１２、ヘッド駆動モータ制御部１３、走行障害物検出部１４、ホイールインモータ制御部１５、報知情報作成部１６、表示制御部１７、通信部１８、データ収集部１９及びデータベース２０を備えている。
【００２０】
ＣＣＤカメラ６Ａ、６Ｂは、特定人物Ｍを含む周辺状況を撮影し、撮影データを計測時刻情報とともに画像生成部１１に所定時間毎に出力する。画像生成部１１は、左右のＣＣＤカメラ６Ａ、６Ｂから出力される左右の撮影データおよび計測時刻情報に基づいて各計測時刻におけるステレオ画像を順次生成し、その画像データを計測時刻情報とともに特定人物検出部１２、走行障害物検出部１４及びデータベース２０へ所定時間毎に繰り返して出力する。
【００２１】
このＣＣＤカメラ６Ａ、６Ｂは、モビルロボットＲが屋外にいるときには空の色を撮像することにより天候検出手段として機能する。例えば、ＣＣＤカメラ６Ａ、６Ｂが撮像した空の色に基づいて、その撮像時が晴れであるとか曇りであるとか天候を検出することができる。また、特定人物Ｍの影の有無に基づいて撮影時が晴れであるか否かを判定することができる。
【００２２】
特定人物検出部１２は、画像生成部１１から順次出力される画像データに基づいて特定人物Ｍの検出を行うものであり、例えば、画像生成部１１から順次出力される画像データに基づいて撮影画像のエッジ処理を行い、予め記憶されている特定人物Ｍの輪郭モデルとのマッチング処理により特定人物Ｍを検出する。特定人物検出部１２は、検出された特定人物Ｍのステレオ画像をステレオマッチング処理することにより、特定人物Ｍの３次元位置を三角測量の原理で所定時間毎に推測して特定人物Ｍの３次元データを検出する。特定人物検出部１２は、検出した特定人物Ｍの３次元位置データをヘッド駆動モータ制御部１３およびホイールインモータ制御部１５に出力する。
【００２３】
ヘッド駆動モータ制御部１３は、出力された特定人物Ｍの３次元位置データに基づき、特定人物Ｍがたとえば画像中央に位置するようにヘッド駆動モータ４の回転を制御してモビルロボットＲのヘッドＲ２を回転させる。
【００２４】
走行障害物検出部１４は、画像生成部１１から所定時間毎に順次出力された画像データに基づいて撮影画像のエッジ処理を行うことにより、撮影画像中に存在する障害物（他の人物や動物、構造物、設置物、車両等）を検出する。走行障害物検出部１４は、検出された障害物のステレオ画像をステレオマッチング処理することにより、障害物の３次元位置を三角測量の原理で所定時間毎に推測して障害物の３次元データを検出する。走行障害物検出部１４は、検出した障害物の３次元位置データをホイールインモータ制御部１５および報知情報作成部１６に出力する。
【００２５】
ホイールインモータ制御部１５は、出力された特定人物Ｍおよび障害物の３次元位置データに基づいて、モビルロボットＲが特定人物Ｍの近傍において障害物を避けつつ特定人物Ｍを先導し、あるいは特定人物Ｍに追従するように、ホイールインモータ１Ａ、１Ｂの回転を個別に制御して走行装置１の駆動車輪１Ｃ、１Ｄの回転方向および回転速度を個別に制御する。
【００２６】
報知情報作成部１６は、特定人物検出部１２から出力された特定人物Ｍおよび走行障害物検出部１４から出力された障害物の３次元位置データに基づき、モビルロボットＲが特定人物Ｍの近傍において障害物があるか否かを検出する。また、障害物が検出された場合には、スピーカ７に障害物がある旨を報知させるとともに、ディスプレイ２に表示させて、特定人物Ｍに障害物の存在を知らせる。
【００２７】
表示制御部１７は、報知情報作成部１６から表示情報を受けてディスプレイ２に画像表示信号や表示制御信号を出力してディスプレイ２の表示制御を行う。
【００２８】
通信部１８は、ＣＣＤカメラ６Ａ、６Ｂで撮像した画像データを撮像時の時刻情報及び撮像時の位置情報と共に、図３に示す基地局Ｂへアンテナ８を介して送信する。その際、通信部１８は、撮像時の位置情報を送信せず、画像データを撮像時の時刻情報と共に送信する場合もある。また、通信部１８は、基地局Ｂのセンタ制御装置Ｂ１から送信される情報を受信し、受信した情報をデータベース２０に記録する。
【００２９】
データ収集部１９は、指定された条件の下における特定人物Ｍの画像データを収集するものである。例えば、指定された条件が雨天時である場合、ＣＣＤカメラ６Ａ、６Ｂに雨天時に特定人物Ｍの画像データを撮像させ、その画像データを特定人物Ｍの特徴情報として通信部１８に基地局Ｂへ送信させる。
【００３０】
モビルロボットＲには、位置センサ９ａが設けられている。位置センサ９ａは、モビルロボットＲが自己位置を検出する自己位置検出手段として機能するものである。位置センサ９ａとしては、例えばＧＰＳ装置が用いられる。位置センサ９ａにより検出された位置情報は、データベース２０に記録される。その際、位置情報は、時刻情報と共に記録することが好ましい。
【００３１】
また、モビルロボットＲには、雨滴センサ９ｂが設けられている。雨滴センサ９ｂは、雨滴の有無を検出するセンサであって、天候検出手段として機能するものである。雨滴センサ９ｂにより検出された雨滴情報は、データベース２０に記録される。その際、雨滴情報は、時刻情報と共に記録することが好ましい。
【００３２】
さらに、モビルロボットＲには、照度センサ９ｃが設けられている。照度センサ９ｃは、モビルロボットＲ周辺の照度を検出するセンサであって、照度検出手段として機能するものである。照度センサ９ｃにより検出された照度情報は、データベース２０に記録される。その際、照度情報は、時刻情報と共に記録することが好ましい。
【００３３】
図５に示すように、センタ制御装置Ｂ１は、通信部３１、データベース３２、識別性能判定部３３、不足データ判断部３４、データ収集指示部３５、および識別学習部３６を備えている。また、センタ制御装置Ｂ１には、モニタＢ２、表示内容入力部Ｂ３、およびアンテナＢ４が接続されている。
【００３４】
通信部３１は、モビルロボットＲと通信するための通信手段であり、モビルロボットＲから送信される画像データ、撮像時の時刻情報、撮像時の位置情報などを受信し、それらの受信データや受信情報をデータベース３２に出力する。このデータベース３２は、表示内容入力部Ｂ２３の指令信号を受けて所定のデータや情報をモニタＢ２に出力する。
【００３５】
また、データベース３２は、特定人物Ｍを識別するための識別情報である識別画像データを記録保存している。この識別画像データは、画像撮像時の天候や照度に応じて分類して保存され、識別学習する際に用いられる。
【００３６】
また、データベース３２には、特定人物Ｍの識別性能を評価するための評価用画像データが記録保存されている。この評価用画像データは、特定人物Ｍの識別性能を評価する際に用いられる。
【００３７】
識別性能判定部３３は、データベース３２に記録される識別画像データを用いて特定人物Ｍを識別する際の識別性能を判定するものであり、例えば画像撮像時の天候や照度に応じて分類された識別画像データ毎に識別性能値を算出し、その識別性能値が所定の設定しきい値以上であるか否かを判定する。
【００３８】
不足データ判断部３４は、データベース３２に記録される識別画像データを用いて特定人物Ｍを識別する際に所定以上の識別精度で識別を行うために不足する識別画像データを判断するものである。
【００３９】
データ収集指示部３５は、不足データ判断部３４で不足していると判断された識別画像データを収集させるものであり、通信部３１にデータ収集指示信号を出力する。これにより、通信部３１は、モビルロボットＲに対し、所定条件において不足している画像データの収集指示の信号を送信する。
【００４０】
識別学習部３６は、データベース３２において識別画像データとして設定される画像データに基づいて特定人物Ｍの識別学習を行うものである。この識別学習部３６は、識別画像データとして新たな画像データが追加された場合には、その画像データを含む識別画像データにより識別学習を実行する。
【００４１】
次に本実施形態に係る人物識別システムの動作について説明する。
【００４２】
図３において、モビルロボットＲは、特定人物Ｍを追従して移動しながら、特定人物Ｍを撮像し、その画像データを基地局Ｂに送信する。基地局Ｂでは、その画像データを受信し、画像データについて特定人物Ｍの識別性能の評価を行い、所定の識別性能を発揮するために不足する画像データを判定し、その不足データを収集するようにモビルロボットＲに指令信号を送信する。また、基地局Ｂでは、画像データについて識別学習を行い、識別学習結果をモビルロボットＲに送信する。モビルロボットＲは、これらの信号を受信して、識別画像データを収集し、特定人物Ｍの識別に活用する。これにより、人物識別システムが、特定人物Ｍを識別する際のモビルロボットＲのオンライン学習システムとして機能する。
【００４３】
図６は、基地局Ｂにおける識別性能評価処理を示すフローチャートである。
【００４４】
この図６の識別性能評価処理は、センタ制御装置Ｂ１によって所定の周期で繰り返し実行される。まず、Ｓ６０に示すように、識別性能値の算出処理が行われる。識別性能値の算出処理は、データベース３２に記録される特定人物Ｍを識別するための識別画像データについて識別性能値を算出する処理である。例えば、評価用画像データを用いられ、画像撮像時の天候や照度に応じて分類された識別画像データをその分類毎に識別性能値が算出される。識別性能値の算出手法としては、例えば識別画像データと評価用画像データの相関値が算出され、その相関値に基づいて識別性能値が算出される。
【００４５】
そして、Ｓ６２に移行し、識別画像データの識別性能値が所定の設定しきい値以上であるか否かが判断される。この判断処理は、画像撮像時の天候や照度に応じて分類された分類毎に行われる。
【００４６】
このＳ６２にて識別画像データの識別性能値が所定の設定しきい値以上であると判断された場合には、制御処理を終了する。一方、Ｓ６２にて識別画像データの識別性能値が所定の設定しきい値以上でないと判断された場合、例えばある分類で識別画像データの識別性能値が所定の設定しきい値以上でないと判断された場合には、特定人物Ｍの特徴情報として画像データの収集指示処理が行われる（Ｓ６４）。
【００４７】
この収集指示処理は、識別性能値が設定しきい値以上でない識別画像データを不足データとし、その不足データの撮像条件における識別画像データの収集をモビルロボットＲに対して指示する処理である。例えば、雨天の天候条件における識別性能値が所定値より低い場合には、雨天の撮影条件における画像データの収集する指令信号をモビルロボットＲに対して送信する。この収集指示処理を終えたら、識別性能評価処理の制御処理を終了する。
【００４８】
図７は、モビルロボットＲにおけるデータ収集処理を示すフローチャートである。
【００４９】
この図７のデータ収集処理は、制御装置５によって所定の周期で繰り返し実行される。まず、Ｓ７０に示すように、指定データ収集指令があるか否かが判断される。すなわち、通信部１８が指定条件の画像データを収集する指令信号を受信したか否かが判断される。例えば、通信部１８が指定条件の画像データを収集する指令信号を受信した場合に収集指令フラグをセットすることとし、この収集指令フラグがセットされているか否かに基づいて指定データの収集指令があったか否かを判断すればよい。
【００５０】
Ｓ７０にて指定データ収集指令がないと判断された場合には、制御処理を終了する。一方、Ｓ７０にて指定データ収集指令があると判断された場合には、指定条件の判定処理が行われる（Ｓ７２）。例えば、雨天時の画像データを収集する指令があった場合には、雨滴センサ９ｂの検出信号に基づいて雨天条件になっているか否かが判定される。また、晴天時の画像データを収集する指令があった場合には、ＣＣＤカメラ６Ａ、６Ｂの撮像画像を用いた空の色彩検出や影の有無検出などに基づき、晴天条件になっているか否かが判定される。また、所定照度の画像データを収集する指令があった場合には、照度センサ９ｃの検出信号に基づいて所定照度条件になっているか否かが判定される。
【００５１】
そして、Ｓ７４に移行し、指定条件となっているか否かが判断される。例えば、指定条件が雨天である場合、Ｓ７２にて雨天であると判定された場合には指定条件となっていると判断される。一方、Ｓ７２にて雨天でないと判定された場合には指定条件となっていないと判断される。
【００５２】
Ｓ７４にて指定条件となっていないと判断された場合には、制御処理を終了する。一方、Ｓ７４にて指定条件となっていると判断された場合には、データ収集処理が行われる（Ｓ７６）。すなわち、ＣＣＤカメラ６Ａ、６Ｂにより特定人物Ｍが撮像され、その撮像画像が特定人物Ｍの特徴情報としてデータベース２０に記録される。この場合、複数の向きから特定人物Ｍの画像を取得することが好ましい。
【００５３】
そして、Ｓ７８に移行し、特徴情報送信処理が行われる。この特徴情報送信処理は、Ｓ７６で取得された指定条件における特定人物Ｍの画像データを特徴情報として基地局Ｂに送信する処理である。この特徴情報送信処理を終えたら、モビルロボットＲにおけるデータ収集処理を終了する。
【００５４】
図８は、基地局Ｂにおける識別情報補充処理を示すフローチャートである。
【００５５】
この図８の識別情報補充処理は、センタ制御装置Ｂ１によって所定の周期で繰り返し実行される。まず、Ｓ８０に示すように、指定した特定人物Ｍの特徴情報を取得したか否かが判断される。すなわち、指定した条件における特定人物Ｍの画像データを受信したか否かが判断される。
【００５６】
そのＳ８０にて指定した特定人物Ｍの特徴情報を取得していないと判断された場合には、制御処理を終了する。一方、指定した特定人物Ｍの特徴情報を取得したと判断された場合には、特徴情報記録処理が行われる（Ｓ８２）。特徴情報記録処理は、取得した特定人物Ｍの特徴情報である画像データを識別画像データとしてデータベース３２に記録する処理である。その際、取得した画像データは、その画像データが属する分類に指定されて記録される。
【００５７】
そして、Ｓ８４に移行し、識別性能値の算出処理が行われる。識別性能値の算出処理は、データベース３２に記録される特定人物Ｍを識別するための識別画像データについて識別性能値を算出する処理であり、図６のＳ６０と同様に行われる。その際、Ｓ８０で取得された画像データも識別画像データの一つに設定され、算出処理が行われる。
【００５８】
そして、Ｓ８６に移行し、識別画像データの識別性能値が所定の設定しきい値以上であるか否かが判断される。この判断処理は、図６のＳ６２と同様に行われ、例えば画像撮像時の天候や照度に応じて分類された分類毎に行われる。
【００５９】
このＳ８６にて識別画像データの識別性能値が所定の設定しきい値以上であると判断された場合には、識別学習処理が行われる（Ｓ８８）。識別学習処理は、識別画像データを用いて識別学習を行う処理である。例えば、分類分けされた識別画像データからパターン辞書を構成し、識別対象画像に対しパターン認識により識別できるようにする。
【００６０】
一方、Ｓ８６にて識別画像データの識別性能値が所定の設定しきい値以上でないと判断された場合、例えばある分類で識別画像データの識別性能値が所定の設定しきい値以上でないと判断された場合には、特定人物Ｍの特徴情報として画像データの収集指示処理が行われる（Ｓ９０）。
【００６１】
この収集指示処理は、識別性能値が設定しきい値以上でない識別画像データを不足データとし、その不足データの撮像条件における識別画像データの収集をモビルロボットＲに対して指示する処理である。図６のＳ６４と同様な処理が行われる。この収集指示処理を終えたら、基地局Ｂにおける識別情報補充処理の制御処理を終了する。
【００６２】
以上のように、本実施形態に係る人物識別システムによれば、特定人物Ｍを追尾して移動するモビルロボットＲによって特定人物Ｍの識別に用いる特徴情報を取得することにより、識別に必要な特徴情報を取得できる時にタイミングを逃すことなく確実にその特徴情報を取得することができる。このため、特定人物Ｍの識別精度の向上が図れる。
（第二実施形態）
【００６３】
次に本発明の第二実施形態に係る人物識別システムについて説明する。
【００６４】
本実施形態に係る人物識別システムは、上述した第一実施形態に係る人物識別システムとほぼ同様に構成されるものであるが、第一実施形態に係る人物識別システムでは天候条件や照度条件について識別画像データの不足データをモビルロボットＲに取得させるものであるのに対し、本実施形態に係る人物識別システムでは、識別すべき人物の向きの条件について識別画像データの不足データをモビルロボットＲに取得させるものである。
【００６５】
本実施形態に係る人物識別システムは、図１〜５に示すものとほぼ同様に構成されるが、モビルロボットＲとして雨滴センサ９ｂ、照度センサ９ｃの設置を省略したものを用いてもよい。
【００６６】
また、本実施形態に係る人物識別システムにおいて、基地局Ｂにおける識別性能評価処理、モビルロボットＲにおけるデータ収集処理、基地局Ｂにおける識別情報補充処理は、図６〜図８に示すフローチャートにより実行することができるが、第一実施形態に係る人物識別システムと制御処理の内容が異なっている。
【００６７】
図６〜８を用いて、本実施形態に係る人物識別システムの動作について説明する。
【００６８】
基地局Ｂにおける識別性能評価処理は、まず、Ｓ６０に示すように、識別性能値の算出処理が行われる。識別性能値の算出処理は、データベース３２に記録される特定人物Ｍを識別するための識別画像データについて識別性能値を算出する処理である。例えば、評価用画像データを用いられ、特定人物Ｍの向きに応じて分類された識別画像データをその分類毎に識別性能値が算出される。例えば、識別画像データは、右向き、左向き、下向き、上向きなどの分類で分けられており、これらの分類毎に識別性能値が算出される。識別性能値の算出手法としては、例えば識別画像データと評価用画像データの相関値が算出され、その相関値に基づいて識別性能値が算出される。
【００６９】
そして、Ｓ６２に移行し、識別画像データの識別性能値が所定の設定しきい値以上であるか否かが判断される。この判断処理は、特定人物Ｍの向きに応じて分類された分類毎に行われる。
【００７０】
このＳ６２にて識別画像データの識別性能値が所定の設定しきい値以上であると判断された場合には、制御処理を終了する。一方、Ｓ６２にて識別画像データの識別性能値が所定の設定しきい値以上でないと判断された場合、例えばある分類で識別画像データの識別性能値が所定の設定しきい値以上でないと判断された場合には、特定人物Ｍの特徴情報として画像データの収集指示処理が行われる（Ｓ６４）。
【００７１】
この収集指示処理は、識別性能値が設定しきい値以上でない識別画像データを不足データとし、その不足データの撮像条件における識別画像データの収集をモビルロボットＲに対して指示する処理である。例えば、右向きの識別性能値が所定値より低い場合には、右向きの撮影条件における画像データの収集する指令信号をモビルロボットＲに対して送信する。この収集指示処理を終えたら、識別性能評価処理の制御処理を終了する。
【００７２】
次に、本実施形態に係る人物識別システムにおけるモビルロボットＲのデータ収集処理について説明する。
【００７３】
モビルロボットＲのデータ収集処理は、まず、図７のＳ７０に示すように、指定データ収集指令があるか否かが判断される。すなわち、通信部１８が指定条件の画像データを収集する指令信号を受信したか否かが判断される。例えば、通信部１８が指定条件の画像データを収集する指令信号を受信した場合に収集指令フラグをセットすることとし、この収集指令フラグがセットされているか否かに基づいて指定データの収集指令があったか否かを判断すればよい。
【００７４】
Ｓ７０にて指定データ収集指令がないと判断された場合には、制御処理を終了する。一方、Ｓ７０にて指定データ収集指令があると判断された場合には、指定条件の判定処理が行われる（Ｓ７２）。例えば、右向きの画像データを収集する指令があった場合には、ＣＣＤカメラ６Ａ、６Ｂの撮像画像により特定人物Ｍが右向きになっているか否かが判定される。その際、右向きの特定人物Ｍが撮像されるようにモビルロボットＲを移動させることが好ましい。
【００７５】
そして、Ｓ７４に移行し、指定条件となっているか否かが判断される。例えば、指定条件が右向きの撮像である場合、Ｓ７２にて特定人物Ｍが右向きであると判定された場合には指定条件となっていると判断される。一方、Ｓ７２にて特定人物Ｍが右向きでないと判定された場合には指定条件となっていないと判断される。
【００７６】
Ｓ７４にて指定条件となっていないと判断された場合には、制御処理を終了する。一方、Ｓ７４にて指定条件となっていると判断された場合には、データ収集処理が行われる（Ｓ７６）。すなわち、ＣＣＤカメラ６Ａ、６Ｂにより特定人物Ｍが撮像され、その撮像画像が特定人物Ｍの特徴情報としてデータベース２０に記録される。
【００７７】
そして、Ｓ７８に移行し、特徴情報送信処理が行われる。この特徴情報送信処理は、Ｓ７６で取得された指定条件における特定人物Ｍの画像データを特徴情報として基地局Ｂに送信する処理である。この特徴情報送信処理を終えたら、モビルロボットＲにおけるデータ収集処理を終了する。
【００７８】
次に、本実施形態に係る人物識別システムにおける基地局Ｂの識別情報補充処理について説明する。
【００７９】
基地局Ｂの識別情報補充処理は、まず、図８のＳ８０に示すように、指定した特定人物Ｍの特徴情報を取得したか否かが判断される。すなわち、指定した条件における特定人物Ｍの画像データを受信したか否かが判断される。
【００８０】
そのＳ８０にて指定した特定人物Ｍの特徴情報を取得していないと判断された場合には、制御処理を終了する。一方、指定した特定人物Ｍの特徴情報を取得したと判断された場合には、特徴情報記録処理が行われる（Ｓ８２）。特徴情報記録処理は、取得した特定人物Ｍの特徴情報である画像データを識別画像データとしてデータベース３２に記録する処理である。その際、取得した画像データは、その画像データが属する分類に指定されて記録される。
【００８１】
そして、Ｓ８４に移行し、識別性能値の算出処理が行われる。識別性能値の算出処理は、データベース３２に記録される特定人物Ｍを識別するための識別画像データについて識別性能値を算出する処理であり、図６のＳ６０と同様に行われる。その際、Ｓ８０で取得された画像データも識別画像データの一つに設定され、算出処理が行われる。
【００８２】
そして、Ｓ８６に移行し、識別画像データの識別性能値が所定の設定しきい値以上であるか否かが判断される。この判断処理は、図６のＳ６２と同様に行われ、例えば特定人物Ｍの向きに応じて区分けされた分類毎に行われる。
【００８３】
このＳ８６にて識別画像データの識別性能値が所定の設定しきい値以上であると判断された場合には、識別学習処理が行われる（Ｓ８８）。識別学習処理は、識別画像データを用いて識別学習を行う処理である。例えば、分類分けされた識別画像データからパターン辞書を構成し、識別対象画像に対しパターン認識により識別できるようにする。
【００８４】
一方、Ｓ８６にて識別画像データの識別性能値が所定の設定しきい値以上でないと判断された場合、例えばある分類で識別画像データの識別性能値が所定の設定しきい値以上でないと判断された場合には、特定人物Ｍの特徴情報として画像データの収集指示処理が行われる（Ｓ９０）。
【００８５】
この収集指示処理は、識別性能値が設定しきい値以上でない識別画像データを不足データとし、その不足データの撮像条件における識別画像データの収集をモビルロボットＲに対して指示する処理である。図６のＳ６４と同様な処理が行われる。この収集指示処理を終えたら、基地局Ｂにおける識別情報補充処理の制御処理を終了する。
【００８６】
以上のように、本実施形態に係る人物識別システムによれば、第一実施形態に係る人物識別システムと同様な作用効果が得られる。すなわち、特定人物Ｍを追尾して移動するモビルロボットＲによって特定人物Ｍの識別に用いる特徴情報を取得することにより、識別に必要な特徴情報を取得できる時にタイミングを逃すことなく確実にその特徴情報を取得することができる。このため、特定人物Ｍの識別精度の向上が図れる。
【００８７】
なお、上述した各実施形態は、本発明に係る人物識別システムの一例を示すものである。本発明に係る人物識別システムは、これらの実施形態に係る人物識別システムに限られるものではなく、各請求項に記載した要旨を変更しない範囲で、実施形態に係る人物識別システムを変形し、又は他のものに適用したものであってもよい。
【００８８】
例えば、上述した各実施形態では、識別性能を判定する識別性能判定部３３、識別画像データの不足を判断する不足データ判断部３４、不足データを補って識別学習する識別学習部３６を基地局Ｂに設けた場合ついて説明したが、これらの識別性能判定部３３、不足データ判断部３４、識別学習部３６をモビルロボットＲに設けてもよい。
【図面の簡単な説明】
【００８９】
【図１】本発明の第一実施形態に係る人物識別システムにおけるモビルロボットＲと特定人物Ｍを模式的に示す平面図である。
【図２】第一実施形態に係る人物識別システムにおけるモビルロボットＲの側面図である。
【図３】第一実施形態に係る人物識別システムにおけるモビルロボットＲ、基地局Ｂ通信状況の説明図である。
【図４】図２のモビルロボットＲにおける制御装置の構成概要を示すブロック図である。
【図５】第一実施形態に係る人物識別システムの基地局Ｂの構成概要を示すブロック図である。
【図６】図５の基地局Ｂにおける識別性能評価処理を示すフローチャートである。
【図７】図４のモビルロボットＲにおけるデータ収集処理を示すフローチャートである。
【図８】図５の基地局Ｂにおける識別情報補充処理を示すフローチャートである。
【符号の説明】
【００９０】
１…走行装置、２…ディスプレイ、５…制御装置、６Ａ、６Ｂ…カメラ、７…スピーカ、８…アンテナ、９ａ…位置センサ、９ｂ…雨滴センサ、９ｃ…照度センサ、Ｂ…基地局、Ｍ…特定人物、Ｒ…モビルロボット（自律移動体）。
【技術分野】
【０００１】
本発明は、特定人物の識別を行う人物識別システムに関するものである。
【背景技術】
【０００２】
従来、特定人物の識別を行う装置として、例えば、自走式の自動搬送ロボットであって、取扱い登録者の人体の特徴などを読み取って登録者を認識する登録者認識部を備えたものが知られている（例えば、特許文献１参照）。この装置は、取扱い登録者を認識することにより、搬送物の盗難などを防止してセキュリティ機能を向上させようとするものである。
【特許文献１】特開２００１−２８７１８３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、このような装置にあっては、認識時の天候や明るさが異なるなど認識環境が変化した場合、それに類似する登録者の特徴情報を取得していないと、登録者の識別が困難となる。そのような事態を回避するためには、登録者の特徴情報などを事前に多数記憶し、その記憶データに基づいて識別対象人物が登録者であるか否かを識別することが考えられる。ところが、登録者の特徴情報など多大なデータ数になると、登録者の固有の特徴が薄れて識別精度が低下するおそれがある。
【０００４】
そこで本発明は、このような技術課題を解決するためになされたものであって、特定人物の識別精度の向上が図れる人物識別システムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
すなわち本発明に係る人物識別システムは、特定人物の識別を行う人物識別システムであって、前記特定人物の識別に用いる識別情報において前記特定人物を所定以上の精度で識別するのに不足している条件を判断する判断手段と、前記特定人物を追尾して移動しながら、前記判断手段に判断された条件となったときに前記特定人物の識別に用いる特徴情報を取得する自律移動体と、前記自律移動体により取得された特徴情報を前記特定人物の識別に用いる識別情報として設定して前記識別情報の更新を行う識別情報更新手段とを備えて構成されている。
【０００６】
この発明によれば、特定人物を追尾して移動する自律移動体によって特定人物の識別に用いる特徴情報を取得することにより、識別に必要な特徴情報を取得できる時にタイミングを逃すことなく確実にその特徴情報を取得することができる。このため、特定人物の識別精度の向上が図れる。
【０００７】
また本発明に係る人物識別システムにおいて、前記判断手段は、前記特定人物の識別に用いる識別情報において前記特定人物を所定以上の精度で識別するのに不足している天候条件若しくは照度条件を判断し、前記自律移動体は、前記天候条件若しくは前記照度条件となったときに前記特定人物の識別に用いる特徴情報を取得することが好ましい。
【０００８】
また本発明に係る人物識別システムにおいて、前記判断手段は、前記特定人物の識別に用いる識別情報において前記特定人物を所定以上の精度で識別するのに不足している前記特定人物の向き条件を判断し、前記自律移動体は、前記特定人物の向き条件となったときに前記特定人物の識別に用いる特徴情報を取得することが好ましい。
【発明の効果】
【０００９】
本発明によれば、識別に必要な特徴情報を取得できる時に確実に取得することにより、特定人物の識別精度の向上を図ることができる。
【発明を実施するための最良の形態】
【００１０】
以下、添付図面を参照して本発明の実施形態について説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。
（第一実施形態）
【００１１】
図１は本発明の第一実施形態に係る人物識別システムのモビルロボット及び特定人物を模式的に示した平面図、図２はモビルロボットの構造を示す側面図、図３はモビルロボットと基地局との関係を示す模式図、図４はモビルロボットにおける制御装置の構成概要を示すブロック図、図５は基地局の構成を示すブロック図である。
【００１２】
図１に示すように、特定人物Ｍは、識別すべき対象となる人物であり、例えばモビルロボットＲの使用者、オーナー、もしくは主人である。モビルロボットＲは、特定人物Ｍを追尾して移動する自律移動体である。このモビルロボットＲは、特定人物Ｍと所定の位置関係を保ちながら移動するものであり、例えば特定人物Ｍの近傍において特定人物Ｍおよびその周辺状況を観測しつつその観測情報に基づいて特定人物Ｍを先導し、あるいは特定人物Ｍに追従する。
【００１３】
図２に示すように、モビルロボットＲは、走行装置１により移動可能なボディＲ１と、このボディＲ１に対して回転可能に接続されたヘッドＲ２とを備えている。ボディＲ１には、報知、警報、案内などの各種のメッセージを画像や文字により表示可能なディスプレイ２が設置されている。そして、このボディＲ１には、電源としてのバッテリ３、ヘッドＲ２を回転駆動するためのヘッド駆動モータ４の他、走行装置１、ディスプレイ２、ヘッド駆動モータ４などを制御するための制御装置５が内蔵されている。
【００１４】
一方、モビルロボットＲのヘッドＲ２には、特定人物Ｍおよびその周辺に存在する障害物（他の人物や動物、構造物、設置物、車両等）などを含む周辺状況をステレオ画像として観測するための左右一対のＣＣＤカメラ（または赤外線カメラ）６Ａ、６Ｂと、報知、警報、案内などの各種メッセージの音声を発声可能なスピーカ７とが設置されている。また、ヘッドＲ２には、他のモビルロボットや基地局との間で送受信を行うためのアンテナ８が設けられている。
【００１５】
図３に示すように、モビルロボットＲと基地局Ｂとの間では、信号の送受信が可能となっている。基地局Ｂは、モビルロボットＲが取得した情報を収集する情報管理センタとして機能するものであり、例えば基地局Ｂと無線によりモビルロボットＲと通信可能となっている。基地局Ｂは、センタ制御装置Ｂ１、送受信用のアンテナＢ４などを備えている。
【００１６】
図１および図２に示すように、走行装置１は、例えば、ホイールインモータ１Ａ、１Ｂにより回転方向および回転速度が左右独立に制御される左右一対の駆動車輪１Ｃ、１Ｄと、３６０度の旋回が可能なキャスタ車輪１Ｅと、を有する。
【００１７】
この走行装置１は、左右一対の駆動車輪１Ｃ、１Ｄが同方向に前転駆動または後転駆動されることでモビルロボットＲを前進または後退させる。その際、左右一対の駆動車輪１Ｃ、１Ｄの回転速度が同速度であればモビルロボットＲを直進させ、左右一対の駆動車輪１Ｃ、１Ｄの回転速度に差があれば駆動車輪１Ｃ、１Ｄのうち回転速度の遅い側にモビルロボットＲを旋回させる。そして、この走行装置１は、左右一対の駆動車輪１Ｃ、１Ｄが同速度で相互に逆方向に回転駆動されると、モビルロボットＲをその場で左右の何れかに回転させる。
【００１８】
ここで、制御装置５は、ＥＣＵ（ElectricControl Unit）等のマイクロコンピュータのハードウェアおよびソフトウェアを利用して構成されている。この制御装置５は、ホイールインモータ１Ａ、１Ｂやヘッド駆動モータ４の駆動回路、ディスプレイ２、ＣＣＤカメラ６Ａ、６Ｂ、スピーカ７等との間の入出力インターフェースＩ／ＯおよびＡ／Ｄコンバータの他、プログラムおよびデータを記憶したＲＯＭ（Read Only Memory）、入力データ等を一時記憶するＲＡＭ（Random Access Memory）、プログラムを実行するＣＰＵ（Central Processing Unit）等をハードウェアとして備えている。
【００１９】
そして、この制御装置５は、図４に示すように、画像生成部１１、特定人物検出部１２、ヘッド駆動モータ制御部１３、走行障害物検出部１４、ホイールインモータ制御部１５、報知情報作成部１６、表示制御部１７、通信部１８、データ収集部１９及びデータベース２０を備えている。
【００２０】
ＣＣＤカメラ６Ａ、６Ｂは、特定人物Ｍを含む周辺状況を撮影し、撮影データを計測時刻情報とともに画像生成部１１に所定時間毎に出力する。画像生成部１１は、左右のＣＣＤカメラ６Ａ、６Ｂから出力される左右の撮影データおよび計測時刻情報に基づいて各計測時刻におけるステレオ画像を順次生成し、その画像データを計測時刻情報とともに特定人物検出部１２、走行障害物検出部１４及びデータベース２０へ所定時間毎に繰り返して出力する。
【００２１】
このＣＣＤカメラ６Ａ、６Ｂは、モビルロボットＲが屋外にいるときには空の色を撮像することにより天候検出手段として機能する。例えば、ＣＣＤカメラ６Ａ、６Ｂが撮像した空の色に基づいて、その撮像時が晴れであるとか曇りであるとか天候を検出することができる。また、特定人物Ｍの影の有無に基づいて撮影時が晴れであるか否かを判定することができる。
【００２２】
特定人物検出部１２は、画像生成部１１から順次出力される画像データに基づいて特定人物Ｍの検出を行うものであり、例えば、画像生成部１１から順次出力される画像データに基づいて撮影画像のエッジ処理を行い、予め記憶されている特定人物Ｍの輪郭モデルとのマッチング処理により特定人物Ｍを検出する。特定人物検出部１２は、検出された特定人物Ｍのステレオ画像をステレオマッチング処理することにより、特定人物Ｍの３次元位置を三角測量の原理で所定時間毎に推測して特定人物Ｍの３次元データを検出する。特定人物検出部１２は、検出した特定人物Ｍの３次元位置データをヘッド駆動モータ制御部１３およびホイールインモータ制御部１５に出力する。
【００２３】
ヘッド駆動モータ制御部１３は、出力された特定人物Ｍの３次元位置データに基づき、特定人物Ｍがたとえば画像中央に位置するようにヘッド駆動モータ４の回転を制御してモビルロボットＲのヘッドＲ２を回転させる。
【００２４】
走行障害物検出部１４は、画像生成部１１から所定時間毎に順次出力された画像データに基づいて撮影画像のエッジ処理を行うことにより、撮影画像中に存在する障害物（他の人物や動物、構造物、設置物、車両等）を検出する。走行障害物検出部１４は、検出された障害物のステレオ画像をステレオマッチング処理することにより、障害物の３次元位置を三角測量の原理で所定時間毎に推測して障害物の３次元データを検出する。走行障害物検出部１４は、検出した障害物の３次元位置データをホイールインモータ制御部１５および報知情報作成部１６に出力する。
【００２５】
ホイールインモータ制御部１５は、出力された特定人物Ｍおよび障害物の３次元位置データに基づいて、モビルロボットＲが特定人物Ｍの近傍において障害物を避けつつ特定人物Ｍを先導し、あるいは特定人物Ｍに追従するように、ホイールインモータ１Ａ、１Ｂの回転を個別に制御して走行装置１の駆動車輪１Ｃ、１Ｄの回転方向および回転速度を個別に制御する。
【００２６】
報知情報作成部１６は、特定人物検出部１２から出力された特定人物Ｍおよび走行障害物検出部１４から出力された障害物の３次元位置データに基づき、モビルロボットＲが特定人物Ｍの近傍において障害物があるか否かを検出する。また、障害物が検出された場合には、スピーカ７に障害物がある旨を報知させるとともに、ディスプレイ２に表示させて、特定人物Ｍに障害物の存在を知らせる。
【００２７】
表示制御部１７は、報知情報作成部１６から表示情報を受けてディスプレイ２に画像表示信号や表示制御信号を出力してディスプレイ２の表示制御を行う。
【００２８】
通信部１８は、ＣＣＤカメラ６Ａ、６Ｂで撮像した画像データを撮像時の時刻情報及び撮像時の位置情報と共に、図３に示す基地局Ｂへアンテナ８を介して送信する。その際、通信部１８は、撮像時の位置情報を送信せず、画像データを撮像時の時刻情報と共に送信する場合もある。また、通信部１８は、基地局Ｂのセンタ制御装置Ｂ１から送信される情報を受信し、受信した情報をデータベース２０に記録する。
【００２９】
データ収集部１９は、指定された条件の下における特定人物Ｍの画像データを収集するものである。例えば、指定された条件が雨天時である場合、ＣＣＤカメラ６Ａ、６Ｂに雨天時に特定人物Ｍの画像データを撮像させ、その画像データを特定人物Ｍの特徴情報として通信部１８に基地局Ｂへ送信させる。
【００３０】
モビルロボットＲには、位置センサ９ａが設けられている。位置センサ９ａは、モビルロボットＲが自己位置を検出する自己位置検出手段として機能するものである。位置センサ９ａとしては、例えばＧＰＳ装置が用いられる。位置センサ９ａにより検出された位置情報は、データベース２０に記録される。その際、位置情報は、時刻情報と共に記録することが好ましい。
【００３１】
また、モビルロボットＲには、雨滴センサ９ｂが設けられている。雨滴センサ９ｂは、雨滴の有無を検出するセンサであって、天候検出手段として機能するものである。雨滴センサ９ｂにより検出された雨滴情報は、データベース２０に記録される。その際、雨滴情報は、時刻情報と共に記録することが好ましい。
【００３２】
さらに、モビルロボットＲには、照度センサ９ｃが設けられている。照度センサ９ｃは、モビルロボットＲ周辺の照度を検出するセンサであって、照度検出手段として機能するものである。照度センサ９ｃにより検出された照度情報は、データベース２０に記録される。その際、照度情報は、時刻情報と共に記録することが好ましい。
【００３３】
図５に示すように、センタ制御装置Ｂ１は、通信部３１、データベース３２、識別性能判定部３３、不足データ判断部３４、データ収集指示部３５、および識別学習部３６を備えている。また、センタ制御装置Ｂ１には、モニタＢ２、表示内容入力部Ｂ３、およびアンテナＢ４が接続されている。
【００３４】
通信部３１は、モビルロボットＲと通信するための通信手段であり、モビルロボットＲから送信される画像データ、撮像時の時刻情報、撮像時の位置情報などを受信し、それらの受信データや受信情報をデータベース３２に出力する。このデータベース３２は、表示内容入力部Ｂ２３の指令信号を受けて所定のデータや情報をモニタＢ２に出力する。
【００３５】
また、データベース３２は、特定人物Ｍを識別するための識別情報である識別画像データを記録保存している。この識別画像データは、画像撮像時の天候や照度に応じて分類して保存され、識別学習する際に用いられる。
【００３６】
また、データベース３２には、特定人物Ｍの識別性能を評価するための評価用画像データが記録保存されている。この評価用画像データは、特定人物Ｍの識別性能を評価する際に用いられる。
【００３７】
識別性能判定部３３は、データベース３２に記録される識別画像データを用いて特定人物Ｍを識別する際の識別性能を判定するものであり、例えば画像撮像時の天候や照度に応じて分類された識別画像データ毎に識別性能値を算出し、その識別性能値が所定の設定しきい値以上であるか否かを判定する。
【００３８】
不足データ判断部３４は、データベース３２に記録される識別画像データを用いて特定人物Ｍを識別する際に所定以上の識別精度で識別を行うために不足する識別画像データを判断するものである。
【００３９】
データ収集指示部３５は、不足データ判断部３４で不足していると判断された識別画像データを収集させるものであり、通信部３１にデータ収集指示信号を出力する。これにより、通信部３１は、モビルロボットＲに対し、所定条件において不足している画像データの収集指示の信号を送信する。
【００４０】
識別学習部３６は、データベース３２において識別画像データとして設定される画像データに基づいて特定人物Ｍの識別学習を行うものである。この識別学習部３６は、識別画像データとして新たな画像データが追加された場合には、その画像データを含む識別画像データにより識別学習を実行する。
【００４１】
次に本実施形態に係る人物識別システムの動作について説明する。
【００４２】
図３において、モビルロボットＲは、特定人物Ｍを追従して移動しながら、特定人物Ｍを撮像し、その画像データを基地局Ｂに送信する。基地局Ｂでは、その画像データを受信し、画像データについて特定人物Ｍの識別性能の評価を行い、所定の識別性能を発揮するために不足する画像データを判定し、その不足データを収集するようにモビルロボットＲに指令信号を送信する。また、基地局Ｂでは、画像データについて識別学習を行い、識別学習結果をモビルロボットＲに送信する。モビルロボットＲは、これらの信号を受信して、識別画像データを収集し、特定人物Ｍの識別に活用する。これにより、人物識別システムが、特定人物Ｍを識別する際のモビルロボットＲのオンライン学習システムとして機能する。
【００４３】
図６は、基地局Ｂにおける識別性能評価処理を示すフローチャートである。
【００４４】
この図６の識別性能評価処理は、センタ制御装置Ｂ１によって所定の周期で繰り返し実行される。まず、Ｓ６０に示すように、識別性能値の算出処理が行われる。識別性能値の算出処理は、データベース３２に記録される特定人物Ｍを識別するための識別画像データについて識別性能値を算出する処理である。例えば、評価用画像データを用いられ、画像撮像時の天候や照度に応じて分類された識別画像データをその分類毎に識別性能値が算出される。識別性能値の算出手法としては、例えば識別画像データと評価用画像データの相関値が算出され、その相関値に基づいて識別性能値が算出される。
【００４５】
そして、Ｓ６２に移行し、識別画像データの識別性能値が所定の設定しきい値以上であるか否かが判断される。この判断処理は、画像撮像時の天候や照度に応じて分類された分類毎に行われる。
【００４６】
このＳ６２にて識別画像データの識別性能値が所定の設定しきい値以上であると判断された場合には、制御処理を終了する。一方、Ｓ６２にて識別画像データの識別性能値が所定の設定しきい値以上でないと判断された場合、例えばある分類で識別画像データの識別性能値が所定の設定しきい値以上でないと判断された場合には、特定人物Ｍの特徴情報として画像データの収集指示処理が行われる（Ｓ６４）。
【００４７】
この収集指示処理は、識別性能値が設定しきい値以上でない識別画像データを不足データとし、その不足データの撮像条件における識別画像データの収集をモビルロボットＲに対して指示する処理である。例えば、雨天の天候条件における識別性能値が所定値より低い場合には、雨天の撮影条件における画像データの収集する指令信号をモビルロボットＲに対して送信する。この収集指示処理を終えたら、識別性能評価処理の制御処理を終了する。
【００４８】
図７は、モビルロボットＲにおけるデータ収集処理を示すフローチャートである。
【００４９】
この図７のデータ収集処理は、制御装置５によって所定の周期で繰り返し実行される。まず、Ｓ７０に示すように、指定データ収集指令があるか否かが判断される。すなわち、通信部１８が指定条件の画像データを収集する指令信号を受信したか否かが判断される。例えば、通信部１８が指定条件の画像データを収集する指令信号を受信した場合に収集指令フラグをセットすることとし、この収集指令フラグがセットされているか否かに基づいて指定データの収集指令があったか否かを判断すればよい。
【００５０】
Ｓ７０にて指定データ収集指令がないと判断された場合には、制御処理を終了する。一方、Ｓ７０にて指定データ収集指令があると判断された場合には、指定条件の判定処理が行われる（Ｓ７２）。例えば、雨天時の画像データを収集する指令があった場合には、雨滴センサ９ｂの検出信号に基づいて雨天条件になっているか否かが判定される。また、晴天時の画像データを収集する指令があった場合には、ＣＣＤカメラ６Ａ、６Ｂの撮像画像を用いた空の色彩検出や影の有無検出などに基づき、晴天条件になっているか否かが判定される。また、所定照度の画像データを収集する指令があった場合には、照度センサ９ｃの検出信号に基づいて所定照度条件になっているか否かが判定される。
【００５１】
そして、Ｓ７４に移行し、指定条件となっているか否かが判断される。例えば、指定条件が雨天である場合、Ｓ７２にて雨天であると判定された場合には指定条件となっていると判断される。一方、Ｓ７２にて雨天でないと判定された場合には指定条件となっていないと判断される。
【００５２】
Ｓ７４にて指定条件となっていないと判断された場合には、制御処理を終了する。一方、Ｓ７４にて指定条件となっていると判断された場合には、データ収集処理が行われる（Ｓ７６）。すなわち、ＣＣＤカメラ６Ａ、６Ｂにより特定人物Ｍが撮像され、その撮像画像が特定人物Ｍの特徴情報としてデータベース２０に記録される。この場合、複数の向きから特定人物Ｍの画像を取得することが好ましい。
【００５３】
そして、Ｓ７８に移行し、特徴情報送信処理が行われる。この特徴情報送信処理は、Ｓ７６で取得された指定条件における特定人物Ｍの画像データを特徴情報として基地局Ｂに送信する処理である。この特徴情報送信処理を終えたら、モビルロボットＲにおけるデータ収集処理を終了する。
【００５４】
図８は、基地局Ｂにおける識別情報補充処理を示すフローチャートである。
【００５５】
この図８の識別情報補充処理は、センタ制御装置Ｂ１によって所定の周期で繰り返し実行される。まず、Ｓ８０に示すように、指定した特定人物Ｍの特徴情報を取得したか否かが判断される。すなわち、指定した条件における特定人物Ｍの画像データを受信したか否かが判断される。
【００５６】
そのＳ８０にて指定した特定人物Ｍの特徴情報を取得していないと判断された場合には、制御処理を終了する。一方、指定した特定人物Ｍの特徴情報を取得したと判断された場合には、特徴情報記録処理が行われる（Ｓ８２）。特徴情報記録処理は、取得した特定人物Ｍの特徴情報である画像データを識別画像データとしてデータベース３２に記録する処理である。その際、取得した画像データは、その画像データが属する分類に指定されて記録される。
【００５７】
そして、Ｓ８４に移行し、識別性能値の算出処理が行われる。識別性能値の算出処理は、データベース３２に記録される特定人物Ｍを識別するための識別画像データについて識別性能値を算出する処理であり、図６のＳ６０と同様に行われる。その際、Ｓ８０で取得された画像データも識別画像データの一つに設定され、算出処理が行われる。
【００５８】
そして、Ｓ８６に移行し、識別画像データの識別性能値が所定の設定しきい値以上であるか否かが判断される。この判断処理は、図６のＳ６２と同様に行われ、例えば画像撮像時の天候や照度に応じて分類された分類毎に行われる。
【００５９】
このＳ８６にて識別画像データの識別性能値が所定の設定しきい値以上であると判断された場合には、識別学習処理が行われる（Ｓ８８）。識別学習処理は、識別画像データを用いて識別学習を行う処理である。例えば、分類分けされた識別画像データからパターン辞書を構成し、識別対象画像に対しパターン認識により識別できるようにする。
【００６０】
一方、Ｓ８６にて識別画像データの識別性能値が所定の設定しきい値以上でないと判断された場合、例えばある分類で識別画像データの識別性能値が所定の設定しきい値以上でないと判断された場合には、特定人物Ｍの特徴情報として画像データの収集指示処理が行われる（Ｓ９０）。
【００６１】
この収集指示処理は、識別性能値が設定しきい値以上でない識別画像データを不足データとし、その不足データの撮像条件における識別画像データの収集をモビルロボットＲに対して指示する処理である。図６のＳ６４と同様な処理が行われる。この収集指示処理を終えたら、基地局Ｂにおける識別情報補充処理の制御処理を終了する。
【００６２】
以上のように、本実施形態に係る人物識別システムによれば、特定人物Ｍを追尾して移動するモビルロボットＲによって特定人物Ｍの識別に用いる特徴情報を取得することにより、識別に必要な特徴情報を取得できる時にタイミングを逃すことなく確実にその特徴情報を取得することができる。このため、特定人物Ｍの識別精度の向上が図れる。
（第二実施形態）
【００６３】
次に本発明の第二実施形態に係る人物識別システムについて説明する。
【００６４】
本実施形態に係る人物識別システムは、上述した第一実施形態に係る人物識別システムとほぼ同様に構成されるものであるが、第一実施形態に係る人物識別システムでは天候条件や照度条件について識別画像データの不足データをモビルロボットＲに取得させるものであるのに対し、本実施形態に係る人物識別システムでは、識別すべき人物の向きの条件について識別画像データの不足データをモビルロボットＲに取得させるものである。
【００６５】
本実施形態に係る人物識別システムは、図１〜５に示すものとほぼ同様に構成されるが、モビルロボットＲとして雨滴センサ９ｂ、照度センサ９ｃの設置を省略したものを用いてもよい。
【００６６】
また、本実施形態に係る人物識別システムにおいて、基地局Ｂにおける識別性能評価処理、モビルロボットＲにおけるデータ収集処理、基地局Ｂにおける識別情報補充処理は、図６〜図８に示すフローチャートにより実行することができるが、第一実施形態に係る人物識別システムと制御処理の内容が異なっている。
【００６７】
図６〜８を用いて、本実施形態に係る人物識別システムの動作について説明する。
【００６８】
基地局Ｂにおける識別性能評価処理は、まず、Ｓ６０に示すように、識別性能値の算出処理が行われる。識別性能値の算出処理は、データベース３２に記録される特定人物Ｍを識別するための識別画像データについて識別性能値を算出する処理である。例えば、評価用画像データを用いられ、特定人物Ｍの向きに応じて分類された識別画像データをその分類毎に識別性能値が算出される。例えば、識別画像データは、右向き、左向き、下向き、上向きなどの分類で分けられており、これらの分類毎に識別性能値が算出される。識別性能値の算出手法としては、例えば識別画像データと評価用画像データの相関値が算出され、その相関値に基づいて識別性能値が算出される。
【００６９】
そして、Ｓ６２に移行し、識別画像データの識別性能値が所定の設定しきい値以上であるか否かが判断される。この判断処理は、特定人物Ｍの向きに応じて分類された分類毎に行われる。
【００７０】
このＳ６２にて識別画像データの識別性能値が所定の設定しきい値以上であると判断された場合には、制御処理を終了する。一方、Ｓ６２にて識別画像データの識別性能値が所定の設定しきい値以上でないと判断された場合、例えばある分類で識別画像データの識別性能値が所定の設定しきい値以上でないと判断された場合には、特定人物Ｍの特徴情報として画像データの収集指示処理が行われる（Ｓ６４）。
【００７１】
この収集指示処理は、識別性能値が設定しきい値以上でない識別画像データを不足データとし、その不足データの撮像条件における識別画像データの収集をモビルロボットＲに対して指示する処理である。例えば、右向きの識別性能値が所定値より低い場合には、右向きの撮影条件における画像データの収集する指令信号をモビルロボットＲに対して送信する。この収集指示処理を終えたら、識別性能評価処理の制御処理を終了する。
【００７２】
次に、本実施形態に係る人物識別システムにおけるモビルロボットＲのデータ収集処理について説明する。
【００７３】
モビルロボットＲのデータ収集処理は、まず、図７のＳ７０に示すように、指定データ収集指令があるか否かが判断される。すなわち、通信部１８が指定条件の画像データを収集する指令信号を受信したか否かが判断される。例えば、通信部１８が指定条件の画像データを収集する指令信号を受信した場合に収集指令フラグをセットすることとし、この収集指令フラグがセットされているか否かに基づいて指定データの収集指令があったか否かを判断すればよい。
【００７４】
Ｓ７０にて指定データ収集指令がないと判断された場合には、制御処理を終了する。一方、Ｓ７０にて指定データ収集指令があると判断された場合には、指定条件の判定処理が行われる（Ｓ７２）。例えば、右向きの画像データを収集する指令があった場合には、ＣＣＤカメラ６Ａ、６Ｂの撮像画像により特定人物Ｍが右向きになっているか否かが判定される。その際、右向きの特定人物Ｍが撮像されるようにモビルロボットＲを移動させることが好ましい。
【００７５】
そして、Ｓ７４に移行し、指定条件となっているか否かが判断される。例えば、指定条件が右向きの撮像である場合、Ｓ７２にて特定人物Ｍが右向きであると判定された場合には指定条件となっていると判断される。一方、Ｓ７２にて特定人物Ｍが右向きでないと判定された場合には指定条件となっていないと判断される。
【００７６】
Ｓ７４にて指定条件となっていないと判断された場合には、制御処理を終了する。一方、Ｓ７４にて指定条件となっていると判断された場合には、データ収集処理が行われる（Ｓ７６）。すなわち、ＣＣＤカメラ６Ａ、６Ｂにより特定人物Ｍが撮像され、その撮像画像が特定人物Ｍの特徴情報としてデータベース２０に記録される。
【００７７】
そして、Ｓ７８に移行し、特徴情報送信処理が行われる。この特徴情報送信処理は、Ｓ７６で取得された指定条件における特定人物Ｍの画像データを特徴情報として基地局Ｂに送信する処理である。この特徴情報送信処理を終えたら、モビルロボットＲにおけるデータ収集処理を終了する。
【００７８】
次に、本実施形態に係る人物識別システムにおける基地局Ｂの識別情報補充処理について説明する。
【００７９】
基地局Ｂの識別情報補充処理は、まず、図８のＳ８０に示すように、指定した特定人物Ｍの特徴情報を取得したか否かが判断される。すなわち、指定した条件における特定人物Ｍの画像データを受信したか否かが判断される。
【００８０】
そのＳ８０にて指定した特定人物Ｍの特徴情報を取得していないと判断された場合には、制御処理を終了する。一方、指定した特定人物Ｍの特徴情報を取得したと判断された場合には、特徴情報記録処理が行われる（Ｓ８２）。特徴情報記録処理は、取得した特定人物Ｍの特徴情報である画像データを識別画像データとしてデータベース３２に記録する処理である。その際、取得した画像データは、その画像データが属する分類に指定されて記録される。
【００８１】
そして、Ｓ８４に移行し、識別性能値の算出処理が行われる。識別性能値の算出処理は、データベース３２に記録される特定人物Ｍを識別するための識別画像データについて識別性能値を算出する処理であり、図６のＳ６０と同様に行われる。その際、Ｓ８０で取得された画像データも識別画像データの一つに設定され、算出処理が行われる。
【００８２】
そして、Ｓ８６に移行し、識別画像データの識別性能値が所定の設定しきい値以上であるか否かが判断される。この判断処理は、図６のＳ６２と同様に行われ、例えば特定人物Ｍの向きに応じて区分けされた分類毎に行われる。
【００８３】
このＳ８６にて識別画像データの識別性能値が所定の設定しきい値以上であると判断された場合には、識別学習処理が行われる（Ｓ８８）。識別学習処理は、識別画像データを用いて識別学習を行う処理である。例えば、分類分けされた識別画像データからパターン辞書を構成し、識別対象画像に対しパターン認識により識別できるようにする。
【００８４】
一方、Ｓ８６にて識別画像データの識別性能値が所定の設定しきい値以上でないと判断された場合、例えばある分類で識別画像データの識別性能値が所定の設定しきい値以上でないと判断された場合には、特定人物Ｍの特徴情報として画像データの収集指示処理が行われる（Ｓ９０）。
【００８５】
この収集指示処理は、識別性能値が設定しきい値以上でない識別画像データを不足データとし、その不足データの撮像条件における識別画像データの収集をモビルロボットＲに対して指示する処理である。図６のＳ６４と同様な処理が行われる。この収集指示処理を終えたら、基地局Ｂにおける識別情報補充処理の制御処理を終了する。
【００８６】
以上のように、本実施形態に係る人物識別システムによれば、第一実施形態に係る人物識別システムと同様な作用効果が得られる。すなわち、特定人物Ｍを追尾して移動するモビルロボットＲによって特定人物Ｍの識別に用いる特徴情報を取得することにより、識別に必要な特徴情報を取得できる時にタイミングを逃すことなく確実にその特徴情報を取得することができる。このため、特定人物Ｍの識別精度の向上が図れる。
【００８７】
なお、上述した各実施形態は、本発明に係る人物識別システムの一例を示すものである。本発明に係る人物識別システムは、これらの実施形態に係る人物識別システムに限られるものではなく、各請求項に記載した要旨を変更しない範囲で、実施形態に係る人物識別システムを変形し、又は他のものに適用したものであってもよい。
【００８８】
例えば、上述した各実施形態では、識別性能を判定する識別性能判定部３３、識別画像データの不足を判断する不足データ判断部３４、不足データを補って識別学習する識別学習部３６を基地局Ｂに設けた場合ついて説明したが、これらの識別性能判定部３３、不足データ判断部３４、識別学習部３６をモビルロボットＲに設けてもよい。
【図面の簡単な説明】
【００８９】
【図１】本発明の第一実施形態に係る人物識別システムにおけるモビルロボットＲと特定人物Ｍを模式的に示す平面図である。
【図２】第一実施形態に係る人物識別システムにおけるモビルロボットＲの側面図である。
【図３】第一実施形態に係る人物識別システムにおけるモビルロボットＲ、基地局Ｂ通信状況の説明図である。
【図４】図２のモビルロボットＲにおける制御装置の構成概要を示すブロック図である。
【図５】第一実施形態に係る人物識別システムの基地局Ｂの構成概要を示すブロック図である。
【図６】図５の基地局Ｂにおける識別性能評価処理を示すフローチャートである。
【図７】図４のモビルロボットＲにおけるデータ収集処理を示すフローチャートである。
【図８】図５の基地局Ｂにおける識別情報補充処理を示すフローチャートである。
【符号の説明】
【００９０】
１…走行装置、２…ディスプレイ、５…制御装置、６Ａ、６Ｂ…カメラ、７…スピーカ、８…アンテナ、９ａ…位置センサ、９ｂ…雨滴センサ、９ｃ…照度センサ、Ｂ…基地局、Ｍ…特定人物、Ｒ…モビルロボット（自律移動体）。
【特許請求の範囲】
【請求項１】
特定人物の識別を行う人物識別システムであって、
前記特定人物の識別に用いる識別情報において前記特定人物を所定以上の精度で識別するのに不足している条件を判断する判断手段と、
前記特定人物を追尾して移動しながら、前記判断手段に判断された条件となったときに前記特定人物の識別に用いる特徴情報を取得する自律移動体と、
前記自律移動体により取得された特徴情報を前記特定人物の識別に用いる識別情報として設定して前記識別情報の更新を行う識別情報更新手段と、
を備えた人物識別システム。
【請求項２】
前記判断手段は、前記特定人物の識別に用いる識別情報において前記特定人物を所定以上の精度で識別するのに不足している天候条件若しくは照度条件を判断し、
前記自律移動体は、前記天候条件若しくは前記照度条件となったときに前記特定人物の識別に用いる特徴情報を取得すること、
を特徴とする請求項１に記載の人物識別システム。
【請求項３】
前記判断手段は、前記特定人物の識別に用いる識別情報において前記特定人物を所定以上の精度で識別するのに不足している前記特定人物の向き条件を判断し、
前記自律移動体は、前記特定人物の向き条件となったときに前記特定人物の識別に用いる特徴情報を取得すること、
を特徴とする請求項１に記載の人物識別システム。
【請求項１】
特定人物の識別を行う人物識別システムであって、
前記特定人物の識別に用いる識別情報において前記特定人物を所定以上の精度で識別するのに不足している条件を判断する判断手段と、
前記特定人物を追尾して移動しながら、前記判断手段に判断された条件となったときに前記特定人物の識別に用いる特徴情報を取得する自律移動体と、
前記自律移動体により取得された特徴情報を前記特定人物の識別に用いる識別情報として設定して前記識別情報の更新を行う識別情報更新手段と、
を備えた人物識別システム。
【請求項２】
前記判断手段は、前記特定人物の識別に用いる識別情報において前記特定人物を所定以上の精度で識別するのに不足している天候条件若しくは照度条件を判断し、
前記自律移動体は、前記天候条件若しくは前記照度条件となったときに前記特定人物の識別に用いる特徴情報を取得すること、
を特徴とする請求項１に記載の人物識別システム。
【請求項３】
前記判断手段は、前記特定人物の識別に用いる識別情報において前記特定人物を所定以上の精度で識別するのに不足している前記特定人物の向き条件を判断し、
前記自律移動体は、前記特定人物の向き条件となったときに前記特定人物の識別に用いる特徴情報を取得すること、
を特徴とする請求項１に記載の人物識別システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２００８−１２６３６（Ｐ２００８−１２６３６Ａ）
【公開日】平成２０年１月２４日（２００８．１．２４）
【国際特許分類】
【出願番号】特願２００６−１８８１０４（Ｐ２００６−１８８１０４）
【出願日】平成１８年７月７日（２００６．７．７）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
【公開日】平成２０年１月２４日（２００８．１．２４）
【国際特許分類】
【出願日】平成１８年７月７日（２００６．７．７）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
[ Back to top ]