ロボット装置、照合環境判定方法、及び照合環境判定プログラム
【課題】 一般家庭といった照明変動が大きい所や照合にとって著しく劣悪な照明環境が存在するような所で顔照合を行なう場合の照合の誤りを減ずることができるロボット装置を提供する。
【解決手段】 照明環境状態を検出する照明環境状態観測手段と、前記照明環境状態が照合に適するか判断する判断手段を有し、前記判断手段が照明環境状態に対する照合の成否を記録した照合性能記録手段を参照して前記照明環境状態が照合に適するか判断し、前記照明環境状態が照合に適さないと判断された場合には、前記顔検出照合手段における照合を行わないロボット装置。
【解決手段】 照明環境状態を検出する照明環境状態観測手段と、前記照明環境状態が照合に適するか判断する判断手段を有し、前記判断手段が照明環境状態に対する照合の成否を記録した照合性能記録手段を参照して前記照明環境状態が照合に適するか判断し、前記照明環境状態が照合に適さないと判断された場合には、前記顔検出照合手段における照合を行わないロボット装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、家庭内で用いられ、ユーザの顔を画像情報を用いて記憶し照合する機能を有するロボット装置、照合環境判定方法、及び照合環境判定プログラムに関する。
【背景技術】
【０００２】
昨今のペット型ロボットに代表されるロボット装置は、エンターテイメント用途ということもあり、所有者の顔画像を登録して、撮像した画像から人物を照合し名前を呼んだりするように構成されている。
【０００３】
顔照合機能を持つ従来のロボット装置の構成例を図２０に示す。これは、画像を撮像する撮像手段１、前記撮像手段１で得られた画像から人物の顔領域を検出して記憶し、また新たに取得した画像に対して、記憶した顔画像情報を用いて人物の照合を行う顔検出照合手段２、顔検出照合手段２で得られた照合結果をユーザに通知する情報通知手段３、情報通知手段３によりユーザに通知した照合結果が正しいか誤っているかをユーザが入力する情報入力手段４、ロボットを制御するための制御手段７、ロボット自身が移動するための走行手段８などから構成される。ロボットは制御手段７からの命令に基づいて情報入力手段４と情報通知手段３を用いてユーザとやりとりをし、走行手段８を用いて部屋内を移動する。そして撮像手段１、顔検出照合手段２を用いてユーザの顔を認識し、対話しているユーザが誰であるのかを判断する。
【０００４】
家庭で用いられるロボットで顔照合を行う場合、家庭における照明環境が問題となる。家屋内は、照明が部屋に一つであることが多かったり、室内へ日光を取り込みやすい設計となっていたりするため、場所や時間帯による照明変動が激しい。また細かな作業をするために照明設計されているオフィスなどに比べて比較的暗くなっているため、著しく劣悪な照合環境も存在する。従来の照合方式では、このような照明環境の変動に起因する照明変動によって顔画像の特徴量が変動した場合、特徴量の変動を吸収できず照合性能精度が低下する。また、顔領域に充分な照明が当たっていない場合は、照合に必要な特徴を抽出することができず照合がうまくいかない場合もある。
【０００５】
このような照明環境の変動が激しい条件下で顔照合を行なう方法として、特開２０００−２２２５７６号公報に開示された技術がある。この公報に開示された技術は、一人につき照明の当たり方の異なる複数の画像から抽出される特徴量を辞書データとして蓄え、それらを用いて線形判別を行うことで照明変動を吸収するものである。
【０００６】
【特許文献１】特開２０００−２２２５７６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、この特開２０００−２２２５７６号公報に開示された技術を用いても登録時と著しく異なる照明状態で取得した顔画像ではその変動を吸収することができず、正しく照合することができないという問題がある。
【０００８】
本発明は上記事情に鑑みてなされたものであり、一般家庭といった照明変動が大きい場所や、照合にとって著しく劣悪な照明環境が存在するような場所で顔照合を行なう場合に、顔照合の誤りを減ずることができるロボット装置、照合環境判定方法、及び照合環境判定プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
係る目的を達成するために、本発明は、入力画像に対して顔画像情報を用いて人物の照合を行う顔検出照合手段を備えるロボット装置であって、照明環境状態を検出する照明環境状態観測手段と、前記照明環境状態が照合に適するか判断する判断手段を有し、前記判断手段が照明環境状態に対する照合の成否を記録した照合性能記録手段を参照して前記照明環境状態が照合に適するか判断し、前記照明環境状態が照合に適さないと判断された場合には、前記顔検出照合手段における照合を行わないことを特徴とする。
【発明の効果】
【００１０】
以上の説明より明らかなように本発明は、照明環境を判断し、照合に適さない照明環境では照合を行なわないようにすることで、照合の誤りを減らすことができる。従って、照明変動が大きく、極端に暗いなどの顔照合にとって劣悪な環境が存在する家庭で誤り少なく顔照合を行うことができる。
また、照合を行うときに照明環境の観測を行いそのときの照明環境で過去にどのくらいの割合で正解だったかをみて、正解が少ない照明環境であれば照合をせずにロボットを動かしてその位置や方向を変える。異なる家庭の照明環境や顔登録の状態には多様なバリエーションがあり、どのような照明環境の場合に照合がうまくいくのかを前もって精度良く予測してロボットを設計するのは困難である。そこでユーザが実際に使って顔照合を行う過程でどのような場所、どのような照明状態で照合がうまく行かないのかを学習すれば、前もって苦手な照明条件を想定するのに比べて精度良く照合が得意な場合やそうでない場合を判断することができる。
また、過去の照合性能を照合性能記録手段から検索し、時刻、カーテンの状態および照明装置の状態が現在の状態と同じ照明カテゴリの中で、顔照合結果が正解した回数の累計を照合を行った回数の累計で割った値が現在の照明カテゴリでの値以上で閾値以上もしくは最高の位置へ移動を行う。このようにすることで良好な照明環境にユーザを導くことができ顔照合の誤りを減らすことができる。
また、ユーザ毎に顔登録したときの照明状態を記憶しておき、ユーザがロボットと対話している最中に過去にそのユーザが顔登録を行っていないような照明条件であればユーザの顔登録を開始する、またはユーザに顔登録をするように促す。このようにすることでより効率よく様々な照明条件の顔画像を登録することが可能となる。
また、様々な照明状態毎に顔画像を登録しておき、照合を行うときはそのときの照明状態を観測し、同じ照明状態で登録された画像から作られた辞書を用いて照合を行う。このようにすることで照明環境を評価せずに登録・照合を行なう場合よりも精度良く照合を行うことができる。
【発明を実施するための最良の形態】
【００１１】
次に添付図面を参照しながら本発明に係る実施の形態を詳細に説明する。図１〜図１９を参照すると本発明に係る実施の形態が示されている。
（第１の実施の形態）
（構成の説明）
図１を参照すると本発明に係る第１の実施形態は、画像を撮像しデジタル化するＣＣＤカメラ、またはアナログ撮像器とＡＤ変換器とからなる撮像手段１と、撮像手段１で得られた画像から人物の顔領域を検出して記憶すると共に、制御手段７によって顔照合を行なう状態への遷移が決定されると、新たに取得した画像の人物照合を、予め記憶した顔画像情報を用いて行なう顔検出照合手段２と、顔検出照合手段２で得られた照合結果を音声で発話したり、ＣＲＴ上に表示するなどしてユーザに通知する情報通知手段３と、情報通知手段３によってユーザに通知した照合結果が正しいか誤っているかをユーザが音声、ボタン、またはスイッチなどで入力する情報入力手段４と、照明状態が顔照合に適するかどうかを判定する照合結果信頼性算出手段５と、ロボットの部屋の中での位置や時刻などの情報を保持するロボット状態観測手段６と、ロボットを制御する制御手段７と、ロボット自身が移動するための車輪やモータなどといった走行手段８と、を有する。
【００１２】
顔検出照合手段２は、撮像手段１で撮像した画像から人物の顔を検出して登録したり、制御手段７によって顔照合を行なう状態への遷移が決定されると、新たに取得した画像の人物照合を、予め記憶した顔画像を用いて行なう。ここで、画像から人物の顔画像を検出する方法の一例として、特開２０００−２２２５７６号公報に開示された方法を説明する。まず、画面内で動きのある画素群を検出する。入力画像データと、それより１つ前に入力された画像データとの差分をとり、差分画像ｇを生成する。さらに過去ｍフレーム分（ｍは２以上の整数）の差分画像ｇを加算し、平均を取ることによって、統合差分画像Ｇを得る。統合差分画像Ｇは、動きのない領域の画素値が０で、動きのある領域ほど画素値が大きい値を取る。統合差分画像Ｇは、ごま塩ノイズを多く含むので、ノイズ除去処理を行う。ノイズ除去処理の例としては、膨張収縮処理や、メジアンフィルタ処理などがある。次に、統合差分画像Ｇから頭部矩形座標を求める。各スキャンライン毎に動き領域幅を求める。動き領域幅は各スキャンラインにおいて動き領域のｘ座標最大値と最小値の差分を表している。次に、頭部のｙ座標を求める。頭頂座標の求め方としては、動き領域のｙ座標の最小値を頭頂とする方法がある。次に、頭部矩形の底辺のｙ座標を求める。頭部矩形の底辺座標の求め方としては、頭頂から下方向（ｙ方向）に検索し、動き領域幅が動き領域幅の平均値ｄｍよりも小さいラインを求め、そのラインの中でＹ座標が最も大きいところを、頭部矩形の底辺とする方法を用いてもよい。次に、頭部矩形の左右のｘ座標を求める。左右のｘ座標の求め方としては、頭頂から頭部下部までの範囲で最も動き領域幅の大きなラインにおける動き領域の左右端の座標を求める方法を用いる。このようにして求めた頭部矩形内を、１画素ずつずらしながら適当な大きさの矩形で切り出し顔らしさを評価し、もっとも顔らしい位置を顔として検出する。顔らしさの評価には、まず、あらかじめ用意したさまざまな人物の多数の画像から、人手で正確に顔画像を切り出し、この切り出した顔画像データを主成分分析することで低次の固有ベクトルで張られる部分空間を得る。そして、この低次の固有ベクトルで張られる部分空間と、前述した適当な大きさで切り出した矩形画像との距離が近いかどうかで判断を行なう。この他に、文献「小杉信、”個人識別のための多重ピラミッドを用いたシーン中の顔の探索・位置決め”、電子情報通信学会論文誌、Vol.J77-D-II, No4, pp.672-681, April 1994 」にある濃淡パターンによるテンプレートマッチングを用いた方法を適用することも可能である。
【００１３】
また、顔画像の照合方法については、文献「M.Turk, A.Pentland, ”FaceRecognition on Using Eigenfaces ”,Proceedings of IEEE, CVPR91」に示された、多数の顔画像を主成分分析した結果得られる基底ベクトルのうち低次のもので張られる部分空間へ入力顔画像を射影した成分を特徴ベクトルとし、照合対象となる画像の特徴ベクトルと、登録されているそれぞれの人物を代表する登録画像の特徴ベクトルとのユークリッド距離を検索し、このユークリッド距離が最も小さい人物を識別結果とする方法を適用してもよい。また、特開２０００−２２２５７６号公報に開示された人物の特徴データから作成した線形判別辞書を用いて対象顔画像との類似度の大きさを求めることでパターン識別する方法を用いてもよい。
【００１４】
情報通知手段３は制御手段７によって制御され、顔検出照合手段２により人物の照合結果が出た段階で照合結果をユーザに通知し、照合結果が正しいかどうかの確認を求める。例えば、あらかじめ録音した音声や計算機による合成音声でスピーカから照合結果のユーザの名前を発話したり、ＣＲＴや液晶モニタにユーザの名前やマークを提示する。
【００１５】
情報入力手段４は制御手段７によって制御され、情報通知手段３で通知した照合結果に対するユーザの回答を取得する。例えばユーザが「はい」というか「いいえ」というかを音声認識により識別したり、ユーザがボタンを押すことで正解かどうかをロボットへ入力できるようにする。
【００１６】
照合結果信頼性算出手段５は、撮像手段１やロボット状態観測手段６からの情報から、顔照合を行おうとするときの照明環境が照合に適するかどうかを判定する。
【００１７】
照明環境を特徴付ける量としては以下に挙げるものなどが利用できる。
［撮像手段１からの情報］
１．顔領域のコントラスト（顔検出照合手段２で得られる顔領域の輝度値の分散。）
照明環境によっては検出された顔領域のコントラストが大きかったり小さかったりする。一般に逆光であるとか顔にほとんど照明が当たらない場合、顔領域のコントラストは小さくなる。顔領域のコントラストが小さいと顔の特徴が失われてしまうため精度の高い照合ができなくなる。顔領域のコントラストは環境によって変化し、照合性能に大きな影響を与える。
２．顔領域と背景の平均輝度の比（顔検出照合手段２で得られる顔領域の輝度値の平均と、その外側近傍領域の輝度値の平均の比）
顔領域と背景の平均輝度値の比は逆光のときに大きくなる。逆光のときはコントラストも小さくなったり検出精度が下がるなど照合にとって不利となる。
３．画像全体の輝度値の平均
画像全体の輝度値の平均は、部屋全体の明るさをおおざっぱに表す。部屋の明るさは顔にあたる光量に関連する。
【００１８】
これらの条件の判定方法は、１の顔領域のコントラストは、特徴量は大きいほど照合に適していると判断することができ、２の顔領域と背景の平均輝度値の比と、３の画像全体の輝度値の平均は、上限と下限を決めたある範囲内にあるかどうかで照合に適しているか否かを判断することができる。
【００１９】
［カメラ以外から得られる情報］
１．時刻（朝か昼か夕方か夜か）
昼間野外から差し込む自然光が存在する場合と、夜その部屋の照明のみで照らされている場合では、照明環境が大きく異なる。
２．照明装置が点灯しているかどうか（図示しない照明装置状態観測手段を部屋に設置されている照明装置に連動させ、照明装置が点灯しているかどうかをロボット（ロボット状態観測手段６）が取得する）
３．カーテンが開いているかどうか（図示しないカーテン状態観測手段を部屋に設置されているカーテンに連動させ、カーテンが開いているかどうかをロボット（ロボット状態観測手段６）が取得する）
照明装置が点灯しているかどうかとカーテンが開いているかどうかという情報は、家庭内の主要な光源である照明光や自然光の有無に大きく関わる。
４．ロボットの部屋の中での位置（車輪のエンコーダや画像からの情報を用いてロボット位置を取得する）
照明や自然光が入り込む位置は部屋の中で固定されているため、部屋の中でどこにロボットがいてどのような方向で人を観測するかが顔にあたる光と大きく関係する。
【００２０】
これらの条件の判定方法は、照明装置が点灯しているかどうかと、カーテンが開いているかどうかという情報から、照合を行う時刻での現在のロボット位置での照明環境を判定して照合に適しているかどうかを判定する。
【００２１】
ロボット状態観測手段６は、照合結果信頼性算出手段５で照明環境を判断するのに用いる、カメラ以外からの情報を取得する。例えばロボットの部屋の中での位置を求めるための車輪のエンコーダや、部屋に設置されている照明装置に連動して照明が点灯しているかどうかを判断する部屋状態観測手段（不図示）や、カーテンに連動してカーテンが開いているかどうかを判断するカーテン状態観測手段（不図示）などの一つまたは複数からなる。
【００２２】
制御手段７は、ロボットを制御する。走行手段８は、モータ、車軸、車輪などを有しロボットの部屋内での移動を実現する。
【００２３】
（動作の説明）
次に、図２に示されたフローチャートを参照しながら本実施形態の動作手順を説明する。第１の実施形態では、まず、制御手段７で顔を識別する状態への遷移が決定されると（ステップＳ２０１）、照合結果信頼性算出手段５で、顔照合を行おうとするときの照明環境を撮像手段１やロボット状態観測手段６からの情報から得て、照合に適しているかどうかを判断する（ステップＳ２０２）。
【００２４】
まず、ステップＳ２０２で信頼性が高いと判断された場合（ステップＳ２０２／ＹＥＳ）を説明する。この場合、顔検出照合手段２で、撮像手段１で得られた画像から顔画像を検出して照合を行い、あらかじめ登録してある人物の誰かに対応付けを行う（ステップＳ２０３）。その結果の人物をＬとする。その後、情報通知手段３で照合結果をユーザへ知らせ、照合結果が正しいかどうかの確認をユーザに求める（ステップＳ２０４）。
【００２５】
次にステップＳ２０２で信頼性が低いと判断された場合（ステップＳ２０２／ＮＯ）を説明する。この場合、顔照合を行わず、走行手段８を用いてロボット本体を移動し（ステップＳ２０５）、再び照明環境を撮像手段１やロボット状態観測手段６から観測し測定する。何度移動してもステップＳ２０２の条件が満たされない場合は、顔照合を行うような動作フローとする実現方法も考えられる。
【００２６】
このように本実施形態は、照明状態をあらかじめ持っている知識で判断して照合に適さない照明環境では照合を避けることで、照合の誤りを減らすことができる。具体的には、検出された顔領域の画像に充分なコントラストが出ていない場合や、部屋の照明装置がついていない場合に、照合に適していないと判定して照合を行なわずにロボットを動かしてその位置や方向を変えることで誤判定の発生を減らすことができる。
【００２７】
（第２の実施の形態）
（構成の説明）
本発明に係る第２の実施形態について図面を参照して詳細に説明する。図３を参照すると本発明の第２の実施形態は、画像を撮像しデジタル化するＣＣＤカメラ、またはアナログ撮像器とＡＤ変換器とからなる撮像手段１と、撮像手段１で得られた画像から人物の顔領域を検出して記憶すると共に、制御手段７によって顔照合を行なう状態への遷移が決定されると、新たに取得した画像の人物照合を、予め記憶した顔画像情報を用いて行なう顔検出照合手段２と、顔検出照合手段２で得られた照合結果を音声で発話したり、ＣＲＴ上に表示するなどしてユーザに通知する情報通知手段３と、情報通知手段３を通じてユーザに通知した照合結果が正しいか誤っているかを、ユーザが音声、ボタン、またはスイッチなどで入力する情報入力手段４と、撮像手段１やロボット状態観測手段６からの情報から顔照合を行おうとするときの照明環境が照合に適しているかどうかを判定する照明環境判定手段５００と、ロボットの部屋の中での位置や時刻などの情報を保持するロボット状態観測手段６と、ロボットを制御するための制御手段７と、ロボット自身が移動するための車輪やモータなどといった走行手段８とを有する。
【００２８】
また、照明環境判定手段５００は、撮像手段１から得られる画像情報や、ロボット状態観測手段６から得られる時刻、現在位置に関する情報を基に照明環境を判断し、照明環境が予め決めてあるカテゴリのどれに対応するのかを判断する照明環境判断手段５０１と、情報入力手段４で得られた照合結果正誤情報に従って、顔照合が成功した回数と顔照合を行なった回数とを前記カテゴリ毎に記録する照合性能記録手段５０２と、照合性能記録手段５０２に記録されている情報を基に照明環境判断手段５０１で判定された現在の照明環境が照合に適するものかどうかを判断する照明環境比較手段５０３と、を有する。
【００２９】
照明環境判断手段５０１は、顔照合を行おうとするときの照明環境を撮像手段１やロボット状態観測手段６からの情報から判断する。照明環境を判定する際の判定材料については上述した第１の実施形態と同一であるため説明を省略する。これら判定材料の一つないし複数を用いて照明環境を表現する。具体的には図４に示すようなテーブルを用意し、照明環境をカテゴリ分けする。つまり照明環境判断手段５０１では顔照合を行おうとするときに上述したような判断材料を観測し、現在の照明環境があらかじめ設定されたどのカテゴリに属するのかを出力する。
【００３０】
照合性能記録手段５０２は、図５に示すような形式で、顔照合が成功した回数と顔照合を行なった回数とをあらかじめ決められたカテゴリ毎に記録している。そして、情報入力手段４で顔照合に対する回答をユーザから取得すると、対応するカテゴリに顔画像が成功したか否かと、顔照合を行なった回数とを記録する。
【００３１】
照明環境比較手段５０３は、照明環境判断手段５０１から得られる照明環境のときの照合性能を照合性能記録手段５０２から検索し、照合を行った回数（ｔ（Ｋ））の累計が予め設定された閾値以上で、かつ、２．顔照合結果が正解した回数の累計（ｒ（Ｋ））を照合を行った回数の累計（ｔ（Ｋ））で割った照合性能値が、あらかじめ設定された閾値以上であった場合に、その照明環境での照合結果は信頼性が高いと判断する。それ以外の場合［（ｔ（Ｋ））が予め設定された閾値以下、またはｔ（Ｋ）が閾値以上で、ｒ（Ｋ）／ｔ（Ｋ）が閾値未満の場合］、その環境での照合結果は信頼性が低いと判断する。
【００３２】
（動作の説明）
次に、図６に示されたフローチャートを参照しながら本実施形態の動作手順を説明する。第２の実施形態では、まず、制御手段７で自律行動状態から顔を識別する状態への遷移が決定されると（ステップＳ６０１／ＹＥＳ）、照明環境判断手段５０１で、顔照合を行おうとするときの照明環境を撮像手段１やロボット状態観測手段６からの情報から判断し、前述のように図４で示したような形でカテゴリ分けする（ステップＳ６０２）。このカテゴリのことを照明カテゴリとよぶ。照明カテゴリにはＩＤが付けられ、そのＩＤのことを照明ＩＤと呼ぶ。ここで判断された照明カテゴリのＩＤをＫとする。
【００３３】
次に、照明環境比較手段５０３で、照明環境判断手段５０１で判断された照明ＩＤがＫのときの照合性能を照合性能記録手段５０２から検索し、照合を行った回数（ｔ（Ｋ））の累計が予め設定された閾値以上で、かつ、２．顔照合結果が正解した回数の累計（ｒ（Ｋ））を照合を行った回数の累計（ｔ（Ｋ））で割った照合性能値があらかじめ設定された閾値以上であった場合に、その環境での照合結果は信頼性が高いと判断する（ステップＳ６０３／ＹＥＳ）。それ以外の場合［（ｔ（Ｋ））が予め設定された閾値以下、またはｔ（Ｋ）が閾値以上で、ｒ（Ｋ）／ｔ（Ｋ）が閾値未満の場合］、その環境での照合結果は信頼性が低いと判断する（ステップＳ６０３／ＮＯ）。なお、ｔ（Ｋ）が小さい時には、無条件で顔照合を行い、照合を行なった回数（ｔ（Ｋ））と、照合に正解した場合には正解した回数（ｒ（Ｋ））とをインクリメントさせてもよい。
【００３４】
照明環境比較手段５０３で照合の信頼性が高いと判断された場合（ステップＳ６０３／ＹＥＳ）、顔検出照合手段２で、撮像手段１で得られた画像から顔画像を検出して予め登録された顔画像との照合を行い、登録してある人物の誰かに対応付けを行う（ステップＳ６０４）。その結果の人物をＬとする。その後、情報通知手段３で照合結果をユーザへ知らせ、照合結果が正しいかどうかの確認をユーザに求める（ステップＳ６０５）。それを受け、ユーザが示した回答を情報入力手段４で取得し、正解だったか不正解だったかを判断する（ステップＳ６０６）。正解だったときは（ステップＳ６０６／ＹＥＳ）、照明ＩＤがＫのときの照合を行った回数ｔ（Ｋ）と照明ＩＤがＫのときに正解した回数ｒ（Ｋ）を１増やし、ユーザとの対話などの自律行動へ戻る（ステップＳ６０９、かつＳ６０７）。また、不正解だったときは照合を行なった回数ｔ（Ｋ）を１増やし（ステップＳ６０７）、ユーザとの対話などの自律行動へ戻る。
【００３５】
次に、照明環境比較手段５０３で照合の信頼性が低いと判断された場合（ステップＳ６０３／ＮＯ）、顔照合を行わず、走行手段８を用いてロボット本体を移動し（ステップＳ６０８）、再び照明環境を観測し、判定する。何度移動してもステップＳ６０３の条件が満たされない場合は、顔照合を行うような動作フローとする実現方法も考えられる。なお、ロボットの移動に関して、ユーザに違和感を与えないように自然な演出を施すことが望ましい。
【００３６】
このように本実施形態は、顔照合が行なわれる度にそのときの照明環境の観測と照合結果が正しいかどうかの確認を行い、その照明環境で照合が行われた回数と正解だった回数を累積して記録する。累積が十分されたら、照合を行なうときに照明環境の観測を行い、そのときの照明環境で過去にどのくらいの割合で正解したかをみて、正解が少ない照明環境であれば照合をせずにロボットを動かしてその位置や方向を変える。このようにして過去の照合の履歴をみて照合結果が良くない照合環境では照合を避けることで照合の誤りを減らすことができる。
【００３７】
異なる家庭の照明環境や顔登録の状態には多様なバリエーションがあり、どのような照明環境の場合に照合がうまくいくのかを前もって精度よく予測してロボットを設計するのは困難である。そこで、ユーザが実際に使用する段階で、どのような場所、どのような照明状態で照合がうまくいかないのかを学習すれば、前もって苦手な照明条件を想定する場合に比べて精度良く照合を行なうことができる。
【００３８】
（第３の実施の形態）
（構成の説明）
本発明に係る第３の実施形態について図面を参照して詳細に説明する。図７を参照すると本発明に係る第３の実施形態は、第２の実施形態に加えて人物の全体的な特徴量を抽出する全体特徴量抽出手段５０４を具備する。
【００３９】
全体特徴量抽出手段５０４は、制御手段７によって制御され、撮像手段１によって撮像された画像から人物を特定可能な特徴量を抽出する。全体特徴量抽出手段５０４は、ユーザ毎の特徴量が予め登録された辞書を具備し、撮像手段１で撮像された画像からユーザを特定する特徴量を抽出する。この辞書に登録された特徴量とは、例えば、ユーザの身長、体型、髪型、眼鏡をかけているか否かといったユーザを特定することが可能となる情報である。全体特徴量抽出手段５０４は、全体特徴量を抽出することができた場合には特徴量ありを示す情報を、抽出することができなかった場合には特徴量なしを示す情報を照明環境比較手段５０３に出力する。
【００４０】
照明環境比較手段５０３は、全体特徴量抽出手段５０４により全体特徴量が抽出されたか否かによって、照明環境判断手段５０１で判断された照明カテゴリでの照合性能を判断する閾値を変更して照合性能を判定する。
【００４１】
次に、図８に示されたフローチャートを参照しながら本実施形態の動作手順を説明する。まず、制御手段７で自律行動状態から顔を識別する状態への遷移が決定されると（ステップＳ８０１）、照合環境判断手段５０１で、顔照合を行なおうとするときの照明環境を撮像手段１やロボット状態観測手段６からの情報から判断し、照明カテゴリに分ける（ステップＳ８０２）。なお、ここで判断された照明カテゴリのＩＤをＫとする。
【００４２】
また、全体特徴量抽出手段５０４は、辞書を参照しながら、撮像手段１によって撮像された画像からユーザを特定することができる特徴量の抽出を試みる（ステップＳ８０３）。特徴量を抽出することができた場合には（ステップＳ８０３／ＹＥＳ）、特徴量ありを示す情報を照明環境比較手段５０３に出力する。また、特徴量を抽出することができなかった場合には（ステップＳ８０３／の）、特徴量なしを示す情報を照明環境比較手段５０３に出力する。
【００４３】
照明環境比較手段５０３は、照明環境判断手段５０１から照明ＩＤの情報を取得すると共に全体特徴量抽出手段５０４から全体特徴量あり／なしの情報を取得すると、照明環境判断手段５０１から取得した照明ＩＤがＫのときの照合性能を照合性能記録手段５０２から検索する。
【００４４】
全体特徴量抽出手段５０４によって全体特徴量を抽出することができなかった場合には、照明環境比較手段５０３は顔照合結果が正解した回数の累計（ｒ（Ｋ））を照合を行なった回数の累計（ｔ（Ｋ））で割った照合性能値を、上述した第２の実施形態で使用した閾値（Ｒ１という）と比較する（ステップＳ８０４）。また、全体特徴量を抽出することができた場合には、この閾値よりも低く設定された閾値（Ｒ２という）により照合性能値との比較を行なう（ステップＳ８０５）。
【００４５】
照合を行なった回数の累計が閾値以上で、照合性能値が予め設定された閾値以上の場合に、照明環境比較手段５０３はその環境での照合結果は信頼性が高いと判断する。また、それ以外のときはその照合環境での照合性能は信頼性が低いと判断する。なお、以下の動作手順は、図６を用いて説明した第２の実施形態の動作手順と同一であるため説明を省略する。
【００４６】
このように本実施形態は、ユーザを判定する材料に照明環境だけではなくユーーザを特定する特徴量を導入することでユーザの判定をより高精度に行なうことができる。
【００４７】
（第４の実施の形態）
（構成の説明）
本発明に係る第４の実施形態について図面を参照して詳細に説明する。図９を参照すると本発明に係る第４の実施形態は、第２の実施形態の構成に加えて、照合にとって適切な位置へ移動を行なうための走行計画を立てる走行計画生成手段９を有する。
【００４８】
本実施形態は、図１０に示されるように１つの部屋を幾つかの領域に分割し、分割した各領域に識別ＩＤを付加して管理している。また、照合性能記録手段５０２は、図１１に示されるように識別ＩＤが付された領域毎に、照明カテゴリとその照明カテゴリでの照合性能とを記録して管理している。
【００４９】
また、本実施形態のロボット状態観測手段６は、図示しない照明装置状態観測手段から照明装置の状態情報を取得する共に、同じく図示しないカーテン状態観測手段によりカーテンの状態情報を取得する。なお、照明装置状態観測手段は、部屋に設置された照明装置と連動し、照明装置が点灯しているかどうかを検出する。また、カーテン状態観測手段は、カーテンに連動してカーテンが開いているかどうかを検出する。
【００５０】
走行計画生成手段９は、ロボット状態観測手段６から現在のロボットの位置情報を取得すると共に、照合性能を照合性能記録手段５０２から検索し、照合性能値が現在の位置よりも高い位置へ移動するように走行計画を立案し走行手段８に指示を出す。具体的には、時刻、カーテンの状態及び照明装置の状態が現在の状態と同じ照明カテゴリの中で、顔照合結果が正解した回数の累計を照合を行なった回数の累計で割った照合性能値が現在の照明カテゴリでのそれ以上で、閾値以上もしくは最高の位置へ移動するよう指示を出す。
【００５１】
また、走行計画生成手段９は照合性能値と移動距離とを考慮して移動先を決定してもよい。この場合、現在の照明カテゴリと同一の照合カテゴリでの照合性能が現在位置のものよりも高く、ロボット状態観測手段６から取得した現在位置情報から算出される移動距離が短い領域に移動するように移動計画を立てることになる。
【００５２】
このように本実施形態は、時刻、カーテンの状態、及び照明装置の状態が現在の状態と同じ照明カテゴリの中で、照合性能値が閾値以上もしくは最高の位置へ移動を行なうようにすることで、良好な照明環境にユーザを導くことができる。
【００５３】
（第５の実施の形態）
（構成の説明）
本発明に係る第５の実施の形態について図面を参照しながら詳細に説明する。図１２を参照すると本発明に係る第５の実施形態の照明環境判定手段５００は、撮像手段１から得られる画像情報やロボット状態観測手段６から得られる時刻や位置の情報を基に照明環境を判断し、あらかじめ決めてあるカテゴリのどれに対応するのかを判断する照明環境判断手段５０１と、顔検出照合手段２へ顔画像を登録したときの照明ＩＤをユーザ毎に記憶する登録時照明環境記録手段１０と、登録時照明環境記録手段１０に記録されている情報を基に、対話中のユーザが現在の照明環境で過去に顔画像を登録したかどうかを判断する登録時照明環境比較手段１１と、を具備する。
【００５４】
登録時照明環境記録手段１０は、照明環境判断手段５０１によって判定された、ユーザが顔検出照合手段２へ顔を登録したときの照明ＩＤをユーザ毎に全て記録しておく。
【００５５】
登録時照明環境条件比較手段１１は、現在対話中のユーザが照明環境判断手段５０１から得られる現在の照明環境で過去に顔画像登録を行なったかどうかを登録時照明環境記録手段１０に記録されている情報を検索することで判定する。
【００５６】
（動作の説明）
次に、図１３に示されたフローチャートを参照しながら本実施形態の動作手順を説明する。本実施形態は顔を顔検出照合手段２へ登録する方法に関するものである。ロボットがユーザＬと対話しているときにある確率で登録を行うかどうかを決定する状態へ遷移する（ステップＳ１３０１）。まず、対話しているユーザの顔画像がすでに顔検出照合手段２に登録されているかどうかで分岐する（ステップＳ１３０２）。もし登録されていない場合は（ステップＳ１３０２／ＮＯ）、無条件でステップＳ１３０４へ、登録されている場合には（ステップＳ１３０２／ＹＥＳ）、１／１０の確率でステップＳ１３０４へ、９／１０の確率でユーザとの対話へ戻る。ここでは、１から１０の自然数をランダムに発生させ、発生した値が１であった場合には（ステップＳ１３０３／ＹＥＳ）、ステップＳ１３０４に遷移する。ステップＳ１３０４では、照明環境判断手段５０１でその時点の照明環境をあらかじめ決めてある照明のカテゴリに分類する。その結果のカテゴリの照明ＩＤをＫとする。次にステップＳ１３０５で対話中のユーザＬが過去に照明ＩＤがＫの環境で顔登録をしているかどうかを登録時照明環境記録手段１０に記録されている情報を基に判断する。もしそのユーザＬの照明ＩＤがＫのときの顔画像が登録時照明環境記録手段１０に登録されている場合には（ステップＳ１３０５／ＹＥＳ）、ユーザとの対話へ戻り、登録されていない場合には（ステップＳ１３０５／ＮＯ）、ステップＳ１３０６へ進む。ステップＳ１３０６では、顔検出照合手段２で顔登録を行い、ユーザＬが照明ＩＤ＝Ｋで顔登録したことを登録時照明環境記録手段１０へ記録する（ステップＳ１３０７）。
【００５７】
このように本実施形態は、ユーザ毎に登録したときの照明状態を記憶しておき、ユーザがロボットと対話している最中に過去にそのユーザが顔登録を行なっていないような照明環境であれば、ユーザの顔登録を開始する。このようにすることでより効率よく様々な照明条件の顔画像を登録することが可能となる。
【００５８】
なお、上述した実施形態では、ユーザとの対話と顔照合とをそれぞれ独立した行動として記載しているが、対話の最中に顔画像の撮影を行なうものであってもよい。
【００５９】
（第６の実施の形態）
（構成の説明）
本発明の第６の実施の形態について図面を参照して詳細に説明する。図１４を参照すると本実施の形態の照明環境判定手段５００は、照明環境判断手段５０１だけからなる。また、顔検出照合手段２は、撮像手段１で得られた画像から顔の領域を検出して切り出し、特徴データに変換する顔検出手段２０１と、人物毎の顔の特徴データ群を照明環境判断手段５０１で得られた照明カテゴリ毎に保存するデータ管理手段２０３と、照明カテゴリ毎の特徴データで認識辞書を作成する辞書作成手段２０４と、辞書作成手段２０４で作成した認識辞書を照明カテゴリ毎に保存する辞書保存手段２０５と、照明環境判断手段５０１の出力と同じ照明カテゴリの辞書を辞書保存手段２０５から選択し、顔照合手段２０２へ供給する辞書選択手段２０６と、辞書選択手段２０６から供給された辞書に基づいて顔検出手段２０１から供給される特徴データが誰の顔であるのかの照合を行う顔照合手段２０２を有する。
【００６０】
データ管理手段２０３は、登録時に取得された人物毎の顔の特徴データ群を図１５のように照明環境判断手段５０１で得られた照明カテゴリによって分類して保存する。顔画像からその特徴データを抽出する方法は、正面顔画像を左から右へ１ライン毎にスキャンし、上から下へ１ライン終われば次のラインをスキャンして１次元データを生成し（ラスタスキャン）、それを特徴データとして用いる。その他に１次微分フィルタや２次微分フィルタを用いてフィルタリングし、エッジ情報を抽出したものをラスタスキャンして特徴データとする方法を用いてもよい。
【００６１】
辞書作成手段２０４は、同じ照明カテゴリの特徴データだけを用いて認識辞書を作成する。図１６では照明ＩＤがＴ１、Ｔ２のそれぞれのデータセットを用いて辞書を作成している。辞書としては、特開２０００−２２２５７６号公報に記載されている人物の特徴データから生成される線形判別辞書などを用いることができる。これらの辞書は辞書保存手段２０５でやはり照明カテゴリ毎に保存される。
【００６２】
辞書選択手段２０６では、照明環境判断手段５０１で決定された照明カテゴリのデータで作られた辞書を顔照合手段２０２へ供給する。図１７の例では辞書保存手段２０５に保存されているＴ２のときの辞書が供給される。
【００６３】
顔照合手段２０２では供給された辞書を使って顔検出手段２０１から供給される特徴データとの照合を行う。具体的には特開２０００−２２２５７６号公報に開示された人物の特徴データから作成した線形判別辞書を用いて、対象顔画像との類似度の大きさを求めることでパターン識別する方法を適用することができる。
【００６４】
（動作の説明）
次に、図１８、１９に示されたフローチャートを参照しながら本実施形態の動作手順を説明する。まず顔登録時の動作について図１８を参照しながら説明する。ロボットがユーザＬと対話しているときにある確率で登録を行うかどうかを決定する状態へ遷移する（ステップＳ１８０１）。まず、対話しているユーザの顔画像がすでに顔検出照合手段２に登録されているかどうかで分岐する（ステップＳ１８０２）。もし登録されていない場合は（ステップＳ１８０２／ＮＯ）、無条件でステップＳ１８０４へ、登録されている場合には（ステップＳ１８０２／ＹＥＳ）、１／１０の確率でステップＳ１８０１へ、９／１０の確率でユーザとの対話へ戻る。ここでは、１から１０の自然数をランダムに発生させ、発生した値が１であった場合には（ステップＳ１８０３／ＹＥＳ）、ステップＳ１８０４に遷移する。ステップＳ１８０４では、照明環境判断手段５０１でその時点の照明環境をあらかじめ決めてある照明のカテゴリに分類する。その結果のカテゴリの照明ＩＤをＫとする。次にステップＳ１８０５で、撮像手段１を用いて画像の撮影を開始し、その画像から顔検出手段２０１で顔の特徴データを取得し、取得したデータをデータ管理手段２０３の「ユーザＬ、照明カテゴリＫ」の領域へ格納する。一般に特徴データは一回の登録でも複数枚取得されるので、取得が終了するまでこれを続ける。取得が終了したらステップＳ１８０６に進み、辞書作成手段２０４で照明ＩＤがＫのデータに関して辞書を作成し辞書保存手段２０５へ保存する。このとき照明ＩＤがＫのデータが全員分そろっていない場合は処理を中断する。あるいはその場合は照明カテゴリに無関係に全てのデータを使って辞書を作成するという動作でもよい。
【００６５】
次に顔照合時の動作について図１９を参照しながら説明する。まず、制御手段７で顔を識別する状態への遷移が決定されると（ステップＳ１９０１）、照明環境判断手段５０１で、顔照合を行おうとするときの照明環境を撮像手段１やロボット状態観測手段６からの情報から判断し、あらかじめ決めてある照明のカテゴリに分類する。その結果の照明ＩＤをＫとする（ステップＳ１９０２）。次に照明ＩＤがＫの特徴データで作られた辞書が辞書保存手段２０５に保存されているかどうかを辞書選択手段２０６により調べる（ステップＳ１９０３）。もし保存されていなければ（ステップＳ１９０３／ＮＯ）、そのまま照合を中止しユーザとの対話に戻る。もし保存されていれば（ステップＳ１９０３／ＹＥＳ）、辞書選択手段２０６により照合ＩＤがＫの特徴データで作成した辞書を辞書保存手段２０５から取得し、顔照合手段２０２へ供給する（ステップＳ１９０４）。次に、撮像手段１で画像の撮像を開始し、その画像から顔検出手段２０１で顔の特徴データを取得し、取得した特徴データと供給された辞書を用いて顔照合手段２０２で照合を行い、撮像手段１で撮像した顔画像が誰であるかを判定する（ステップＳ１９０５）。
【００６６】
このように本実施形態は、様々な照明環境毎に顔画像を登録しておき、照合を行なう時は、そのときと同じ照明環境で登録された画像から作られた辞書を用いて照合を行なう。このようにすることで精度よく照合を行なうことができる。
【００６７】
また、本実施形態も、ユーザとの対話と顔照合とをそれぞれ独立した行動として記載しているが、対話の最中に顔画像の撮影を行なって照合を行なうものであってもよい。
【００６８】
なお、上述した実施形態は本発明の好適な実施の形態である。但し、これに限定されるものではなく本発明の要旨を逸脱しない範囲内において種々変形実施が可能である。例えば、上述した実施形態において照合環境を判定する材料として季節（夏と冬とで部屋に日
光が入り込む角度が異なるため）や天気予報（インターネット等を利用してその日の天気情報を取得し、照合環境を判定する材料の一つとする）を考慮してもよい。
【００６９】
また、本発明の照合環境判定プログラムに係る実施形態は、それぞれ図２、６、８、１３、１８、１９に示された動作手順で制御するプログラムに基づいて各手段が制御動作を行なうことで実現される。
【図面の簡単な説明】
【００７０】
【図１】本発明に係る第１の実施形態の構成を示すブロック図である。
【図２】本発明に係る第１の実施形態の動作手順を示すフローチャートである。
【図３】本発明に係る第２の実施形態の示すブロック図である。
【図４】第２の実施形態での照明環境判断手段で照明環境をカテゴリ分けする方法を示す図である。
【図５】第２の実施形態での照合性能記録手段で照明環境毎に照合結果の履歴を記録する方法を示す図である。
【図６】本発明に係る第２の実施形態の動作手順を示すフローチャートである。
【図７】本発明に係る第３の実施形態の構成を示すブロック図である。
【図８】本発明に係る第３の実施形態の動作手順を示すフローチャートである。
【図９】本発明に係る第４の実施形態の構成を示すブロック図である。
【図１０】部屋を領域に分割し、領域毎にＩＤを付けて管理する方法を説明するための図である。
【図１１】第４の実施形態での照明環境判断手段で照明環境をカテゴリ分けする方法を示す図である。
【図１２】本発明に係る第５の実施形態の構成を示すブロック図である。
【図１３】本発明に係る第５の実施形態の動作手順を示すフローチャートである。
【図１４】本発明に係る第６の実施形態の構成を示すブロック図である。
【図１５】第６の実施形態でのデータ管理手段で、登録時に取得された人物毎の顔の特徴データ群を照明カテゴリ毎に保存する例を示す図である。
【図１６】第６の実施形態での辞書作成手段で、同じ照明カテゴリの特徴データだけを用いて認識辞書を作成する例を示す図である。
【図１７】第６の実施形態での辞書選択手段で、ある照明カテゴリのデータで作られた辞書を照合手段へ供給する例を示す図である。
【図１８】第６の実施形態の動作手順（顔登録時）を示すフローチャートである。
【図１９】第６の実施形態の動作手順（顔照合時）を示すフローチャートである。
【図２０】顔照合機能を持つ従来のロボット装置の構成を示すブロック図である。
【符号の説明】
【００７１】
１ 撮像手段
２ 顔検出照合手段
２０１ 顔検出手段
２０２ 顔照合手段
２０３ データ管理手段
２０４ 辞書作成手段
２０５ 辞書保存手段
２０６ 辞書選択手段
３ 情報通知手段
４ 情報入力手段
５ 照合結果信頼性算出手段
５００ 照明環境判定手段
５０１ 照明環境判断手段
５０２ 照合性能記録手段
５０３ 照明環境比較手段
５０４ 全体特徴量抽出手段
６ ロボット状態観測手段
７ 制御手段
８ 走行手段
９ 走行計画生成手段
１０ 登録時照明環境記録手段
１１ 登録時照明環境比較手段
【技術分野】
【０００１】
本発明は、家庭内で用いられ、ユーザの顔を画像情報を用いて記憶し照合する機能を有するロボット装置、照合環境判定方法、及び照合環境判定プログラムに関する。
【背景技術】
【０００２】
昨今のペット型ロボットに代表されるロボット装置は、エンターテイメント用途ということもあり、所有者の顔画像を登録して、撮像した画像から人物を照合し名前を呼んだりするように構成されている。
【０００３】
顔照合機能を持つ従来のロボット装置の構成例を図２０に示す。これは、画像を撮像する撮像手段１、前記撮像手段１で得られた画像から人物の顔領域を検出して記憶し、また新たに取得した画像に対して、記憶した顔画像情報を用いて人物の照合を行う顔検出照合手段２、顔検出照合手段２で得られた照合結果をユーザに通知する情報通知手段３、情報通知手段３によりユーザに通知した照合結果が正しいか誤っているかをユーザが入力する情報入力手段４、ロボットを制御するための制御手段７、ロボット自身が移動するための走行手段８などから構成される。ロボットは制御手段７からの命令に基づいて情報入力手段４と情報通知手段３を用いてユーザとやりとりをし、走行手段８を用いて部屋内を移動する。そして撮像手段１、顔検出照合手段２を用いてユーザの顔を認識し、対話しているユーザが誰であるのかを判断する。
【０００４】
家庭で用いられるロボットで顔照合を行う場合、家庭における照明環境が問題となる。家屋内は、照明が部屋に一つであることが多かったり、室内へ日光を取り込みやすい設計となっていたりするため、場所や時間帯による照明変動が激しい。また細かな作業をするために照明設計されているオフィスなどに比べて比較的暗くなっているため、著しく劣悪な照合環境も存在する。従来の照合方式では、このような照明環境の変動に起因する照明変動によって顔画像の特徴量が変動した場合、特徴量の変動を吸収できず照合性能精度が低下する。また、顔領域に充分な照明が当たっていない場合は、照合に必要な特徴を抽出することができず照合がうまくいかない場合もある。
【０００５】
このような照明環境の変動が激しい条件下で顔照合を行なう方法として、特開２０００−２２２５７６号公報に開示された技術がある。この公報に開示された技術は、一人につき照明の当たり方の異なる複数の画像から抽出される特徴量を辞書データとして蓄え、それらを用いて線形判別を行うことで照明変動を吸収するものである。
【０００６】
【特許文献１】特開２０００−２２２５７６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、この特開２０００−２２２５７６号公報に開示された技術を用いても登録時と著しく異なる照明状態で取得した顔画像ではその変動を吸収することができず、正しく照合することができないという問題がある。
【０００８】
本発明は上記事情に鑑みてなされたものであり、一般家庭といった照明変動が大きい場所や、照合にとって著しく劣悪な照明環境が存在するような場所で顔照合を行なう場合に、顔照合の誤りを減ずることができるロボット装置、照合環境判定方法、及び照合環境判定プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
係る目的を達成するために、本発明は、入力画像に対して顔画像情報を用いて人物の照合を行う顔検出照合手段を備えるロボット装置であって、照明環境状態を検出する照明環境状態観測手段と、前記照明環境状態が照合に適するか判断する判断手段を有し、前記判断手段が照明環境状態に対する照合の成否を記録した照合性能記録手段を参照して前記照明環境状態が照合に適するか判断し、前記照明環境状態が照合に適さないと判断された場合には、前記顔検出照合手段における照合を行わないことを特徴とする。
【発明の効果】
【００１０】
以上の説明より明らかなように本発明は、照明環境を判断し、照合に適さない照明環境では照合を行なわないようにすることで、照合の誤りを減らすことができる。従って、照明変動が大きく、極端に暗いなどの顔照合にとって劣悪な環境が存在する家庭で誤り少なく顔照合を行うことができる。
また、照合を行うときに照明環境の観測を行いそのときの照明環境で過去にどのくらいの割合で正解だったかをみて、正解が少ない照明環境であれば照合をせずにロボットを動かしてその位置や方向を変える。異なる家庭の照明環境や顔登録の状態には多様なバリエーションがあり、どのような照明環境の場合に照合がうまくいくのかを前もって精度良く予測してロボットを設計するのは困難である。そこでユーザが実際に使って顔照合を行う過程でどのような場所、どのような照明状態で照合がうまく行かないのかを学習すれば、前もって苦手な照明条件を想定するのに比べて精度良く照合が得意な場合やそうでない場合を判断することができる。
また、過去の照合性能を照合性能記録手段から検索し、時刻、カーテンの状態および照明装置の状態が現在の状態と同じ照明カテゴリの中で、顔照合結果が正解した回数の累計を照合を行った回数の累計で割った値が現在の照明カテゴリでの値以上で閾値以上もしくは最高の位置へ移動を行う。このようにすることで良好な照明環境にユーザを導くことができ顔照合の誤りを減らすことができる。
また、ユーザ毎に顔登録したときの照明状態を記憶しておき、ユーザがロボットと対話している最中に過去にそのユーザが顔登録を行っていないような照明条件であればユーザの顔登録を開始する、またはユーザに顔登録をするように促す。このようにすることでより効率よく様々な照明条件の顔画像を登録することが可能となる。
また、様々な照明状態毎に顔画像を登録しておき、照合を行うときはそのときの照明状態を観測し、同じ照明状態で登録された画像から作られた辞書を用いて照合を行う。このようにすることで照明環境を評価せずに登録・照合を行なう場合よりも精度良く照合を行うことができる。
【発明を実施するための最良の形態】
【００１１】
次に添付図面を参照しながら本発明に係る実施の形態を詳細に説明する。図１〜図１９を参照すると本発明に係る実施の形態が示されている。
（第１の実施の形態）
（構成の説明）
図１を参照すると本発明に係る第１の実施形態は、画像を撮像しデジタル化するＣＣＤカメラ、またはアナログ撮像器とＡＤ変換器とからなる撮像手段１と、撮像手段１で得られた画像から人物の顔領域を検出して記憶すると共に、制御手段７によって顔照合を行なう状態への遷移が決定されると、新たに取得した画像の人物照合を、予め記憶した顔画像情報を用いて行なう顔検出照合手段２と、顔検出照合手段２で得られた照合結果を音声で発話したり、ＣＲＴ上に表示するなどしてユーザに通知する情報通知手段３と、情報通知手段３によってユーザに通知した照合結果が正しいか誤っているかをユーザが音声、ボタン、またはスイッチなどで入力する情報入力手段４と、照明状態が顔照合に適するかどうかを判定する照合結果信頼性算出手段５と、ロボットの部屋の中での位置や時刻などの情報を保持するロボット状態観測手段６と、ロボットを制御する制御手段７と、ロボット自身が移動するための車輪やモータなどといった走行手段８と、を有する。
【００１２】
顔検出照合手段２は、撮像手段１で撮像した画像から人物の顔を検出して登録したり、制御手段７によって顔照合を行なう状態への遷移が決定されると、新たに取得した画像の人物照合を、予め記憶した顔画像を用いて行なう。ここで、画像から人物の顔画像を検出する方法の一例として、特開２０００−２２２５７６号公報に開示された方法を説明する。まず、画面内で動きのある画素群を検出する。入力画像データと、それより１つ前に入力された画像データとの差分をとり、差分画像ｇを生成する。さらに過去ｍフレーム分（ｍは２以上の整数）の差分画像ｇを加算し、平均を取ることによって、統合差分画像Ｇを得る。統合差分画像Ｇは、動きのない領域の画素値が０で、動きのある領域ほど画素値が大きい値を取る。統合差分画像Ｇは、ごま塩ノイズを多く含むので、ノイズ除去処理を行う。ノイズ除去処理の例としては、膨張収縮処理や、メジアンフィルタ処理などがある。次に、統合差分画像Ｇから頭部矩形座標を求める。各スキャンライン毎に動き領域幅を求める。動き領域幅は各スキャンラインにおいて動き領域のｘ座標最大値と最小値の差分を表している。次に、頭部のｙ座標を求める。頭頂座標の求め方としては、動き領域のｙ座標の最小値を頭頂とする方法がある。次に、頭部矩形の底辺のｙ座標を求める。頭部矩形の底辺座標の求め方としては、頭頂から下方向（ｙ方向）に検索し、動き領域幅が動き領域幅の平均値ｄｍよりも小さいラインを求め、そのラインの中でＹ座標が最も大きいところを、頭部矩形の底辺とする方法を用いてもよい。次に、頭部矩形の左右のｘ座標を求める。左右のｘ座標の求め方としては、頭頂から頭部下部までの範囲で最も動き領域幅の大きなラインにおける動き領域の左右端の座標を求める方法を用いる。このようにして求めた頭部矩形内を、１画素ずつずらしながら適当な大きさの矩形で切り出し顔らしさを評価し、もっとも顔らしい位置を顔として検出する。顔らしさの評価には、まず、あらかじめ用意したさまざまな人物の多数の画像から、人手で正確に顔画像を切り出し、この切り出した顔画像データを主成分分析することで低次の固有ベクトルで張られる部分空間を得る。そして、この低次の固有ベクトルで張られる部分空間と、前述した適当な大きさで切り出した矩形画像との距離が近いかどうかで判断を行なう。この他に、文献「小杉信、”個人識別のための多重ピラミッドを用いたシーン中の顔の探索・位置決め”、電子情報通信学会論文誌、Vol.J77-D-II, No4, pp.672-681, April 1994 」にある濃淡パターンによるテンプレートマッチングを用いた方法を適用することも可能である。
【００１３】
また、顔画像の照合方法については、文献「M.Turk, A.Pentland, ”FaceRecognition on Using Eigenfaces ”,Proceedings of IEEE, CVPR91」に示された、多数の顔画像を主成分分析した結果得られる基底ベクトルのうち低次のもので張られる部分空間へ入力顔画像を射影した成分を特徴ベクトルとし、照合対象となる画像の特徴ベクトルと、登録されているそれぞれの人物を代表する登録画像の特徴ベクトルとのユークリッド距離を検索し、このユークリッド距離が最も小さい人物を識別結果とする方法を適用してもよい。また、特開２０００−２２２５７６号公報に開示された人物の特徴データから作成した線形判別辞書を用いて対象顔画像との類似度の大きさを求めることでパターン識別する方法を用いてもよい。
【００１４】
情報通知手段３は制御手段７によって制御され、顔検出照合手段２により人物の照合結果が出た段階で照合結果をユーザに通知し、照合結果が正しいかどうかの確認を求める。例えば、あらかじめ録音した音声や計算機による合成音声でスピーカから照合結果のユーザの名前を発話したり、ＣＲＴや液晶モニタにユーザの名前やマークを提示する。
【００１５】
情報入力手段４は制御手段７によって制御され、情報通知手段３で通知した照合結果に対するユーザの回答を取得する。例えばユーザが「はい」というか「いいえ」というかを音声認識により識別したり、ユーザがボタンを押すことで正解かどうかをロボットへ入力できるようにする。
【００１６】
照合結果信頼性算出手段５は、撮像手段１やロボット状態観測手段６からの情報から、顔照合を行おうとするときの照明環境が照合に適するかどうかを判定する。
【００１７】
照明環境を特徴付ける量としては以下に挙げるものなどが利用できる。
［撮像手段１からの情報］
１．顔領域のコントラスト（顔検出照合手段２で得られる顔領域の輝度値の分散。）
照明環境によっては検出された顔領域のコントラストが大きかったり小さかったりする。一般に逆光であるとか顔にほとんど照明が当たらない場合、顔領域のコントラストは小さくなる。顔領域のコントラストが小さいと顔の特徴が失われてしまうため精度の高い照合ができなくなる。顔領域のコントラストは環境によって変化し、照合性能に大きな影響を与える。
２．顔領域と背景の平均輝度の比（顔検出照合手段２で得られる顔領域の輝度値の平均と、その外側近傍領域の輝度値の平均の比）
顔領域と背景の平均輝度値の比は逆光のときに大きくなる。逆光のときはコントラストも小さくなったり検出精度が下がるなど照合にとって不利となる。
３．画像全体の輝度値の平均
画像全体の輝度値の平均は、部屋全体の明るさをおおざっぱに表す。部屋の明るさは顔にあたる光量に関連する。
【００１８】
これらの条件の判定方法は、１の顔領域のコントラストは、特徴量は大きいほど照合に適していると判断することができ、２の顔領域と背景の平均輝度値の比と、３の画像全体の輝度値の平均は、上限と下限を決めたある範囲内にあるかどうかで照合に適しているか否かを判断することができる。
【００１９】
［カメラ以外から得られる情報］
１．時刻（朝か昼か夕方か夜か）
昼間野外から差し込む自然光が存在する場合と、夜その部屋の照明のみで照らされている場合では、照明環境が大きく異なる。
２．照明装置が点灯しているかどうか（図示しない照明装置状態観測手段を部屋に設置されている照明装置に連動させ、照明装置が点灯しているかどうかをロボット（ロボット状態観測手段６）が取得する）
３．カーテンが開いているかどうか（図示しないカーテン状態観測手段を部屋に設置されているカーテンに連動させ、カーテンが開いているかどうかをロボット（ロボット状態観測手段６）が取得する）
照明装置が点灯しているかどうかとカーテンが開いているかどうかという情報は、家庭内の主要な光源である照明光や自然光の有無に大きく関わる。
４．ロボットの部屋の中での位置（車輪のエンコーダや画像からの情報を用いてロボット位置を取得する）
照明や自然光が入り込む位置は部屋の中で固定されているため、部屋の中でどこにロボットがいてどのような方向で人を観測するかが顔にあたる光と大きく関係する。
【００２０】
これらの条件の判定方法は、照明装置が点灯しているかどうかと、カーテンが開いているかどうかという情報から、照合を行う時刻での現在のロボット位置での照明環境を判定して照合に適しているかどうかを判定する。
【００２１】
ロボット状態観測手段６は、照合結果信頼性算出手段５で照明環境を判断するのに用いる、カメラ以外からの情報を取得する。例えばロボットの部屋の中での位置を求めるための車輪のエンコーダや、部屋に設置されている照明装置に連動して照明が点灯しているかどうかを判断する部屋状態観測手段（不図示）や、カーテンに連動してカーテンが開いているかどうかを判断するカーテン状態観測手段（不図示）などの一つまたは複数からなる。
【００２２】
制御手段７は、ロボットを制御する。走行手段８は、モータ、車軸、車輪などを有しロボットの部屋内での移動を実現する。
【００２３】
（動作の説明）
次に、図２に示されたフローチャートを参照しながら本実施形態の動作手順を説明する。第１の実施形態では、まず、制御手段７で顔を識別する状態への遷移が決定されると（ステップＳ２０１）、照合結果信頼性算出手段５で、顔照合を行おうとするときの照明環境を撮像手段１やロボット状態観測手段６からの情報から得て、照合に適しているかどうかを判断する（ステップＳ２０２）。
【００２４】
まず、ステップＳ２０２で信頼性が高いと判断された場合（ステップＳ２０２／ＹＥＳ）を説明する。この場合、顔検出照合手段２で、撮像手段１で得られた画像から顔画像を検出して照合を行い、あらかじめ登録してある人物の誰かに対応付けを行う（ステップＳ２０３）。その結果の人物をＬとする。その後、情報通知手段３で照合結果をユーザへ知らせ、照合結果が正しいかどうかの確認をユーザに求める（ステップＳ２０４）。
【００２５】
次にステップＳ２０２で信頼性が低いと判断された場合（ステップＳ２０２／ＮＯ）を説明する。この場合、顔照合を行わず、走行手段８を用いてロボット本体を移動し（ステップＳ２０５）、再び照明環境を撮像手段１やロボット状態観測手段６から観測し測定する。何度移動してもステップＳ２０２の条件が満たされない場合は、顔照合を行うような動作フローとする実現方法も考えられる。
【００２６】
このように本実施形態は、照明状態をあらかじめ持っている知識で判断して照合に適さない照明環境では照合を避けることで、照合の誤りを減らすことができる。具体的には、検出された顔領域の画像に充分なコントラストが出ていない場合や、部屋の照明装置がついていない場合に、照合に適していないと判定して照合を行なわずにロボットを動かしてその位置や方向を変えることで誤判定の発生を減らすことができる。
【００２７】
（第２の実施の形態）
（構成の説明）
本発明に係る第２の実施形態について図面を参照して詳細に説明する。図３を参照すると本発明の第２の実施形態は、画像を撮像しデジタル化するＣＣＤカメラ、またはアナログ撮像器とＡＤ変換器とからなる撮像手段１と、撮像手段１で得られた画像から人物の顔領域を検出して記憶すると共に、制御手段７によって顔照合を行なう状態への遷移が決定されると、新たに取得した画像の人物照合を、予め記憶した顔画像情報を用いて行なう顔検出照合手段２と、顔検出照合手段２で得られた照合結果を音声で発話したり、ＣＲＴ上に表示するなどしてユーザに通知する情報通知手段３と、情報通知手段３を通じてユーザに通知した照合結果が正しいか誤っているかを、ユーザが音声、ボタン、またはスイッチなどで入力する情報入力手段４と、撮像手段１やロボット状態観測手段６からの情報から顔照合を行おうとするときの照明環境が照合に適しているかどうかを判定する照明環境判定手段５００と、ロボットの部屋の中での位置や時刻などの情報を保持するロボット状態観測手段６と、ロボットを制御するための制御手段７と、ロボット自身が移動するための車輪やモータなどといった走行手段８とを有する。
【００２８】
また、照明環境判定手段５００は、撮像手段１から得られる画像情報や、ロボット状態観測手段６から得られる時刻、現在位置に関する情報を基に照明環境を判断し、照明環境が予め決めてあるカテゴリのどれに対応するのかを判断する照明環境判断手段５０１と、情報入力手段４で得られた照合結果正誤情報に従って、顔照合が成功した回数と顔照合を行なった回数とを前記カテゴリ毎に記録する照合性能記録手段５０２と、照合性能記録手段５０２に記録されている情報を基に照明環境判断手段５０１で判定された現在の照明環境が照合に適するものかどうかを判断する照明環境比較手段５０３と、を有する。
【００２９】
照明環境判断手段５０１は、顔照合を行おうとするときの照明環境を撮像手段１やロボット状態観測手段６からの情報から判断する。照明環境を判定する際の判定材料については上述した第１の実施形態と同一であるため説明を省略する。これら判定材料の一つないし複数を用いて照明環境を表現する。具体的には図４に示すようなテーブルを用意し、照明環境をカテゴリ分けする。つまり照明環境判断手段５０１では顔照合を行おうとするときに上述したような判断材料を観測し、現在の照明環境があらかじめ設定されたどのカテゴリに属するのかを出力する。
【００３０】
照合性能記録手段５０２は、図５に示すような形式で、顔照合が成功した回数と顔照合を行なった回数とをあらかじめ決められたカテゴリ毎に記録している。そして、情報入力手段４で顔照合に対する回答をユーザから取得すると、対応するカテゴリに顔画像が成功したか否かと、顔照合を行なった回数とを記録する。
【００３１】
照明環境比較手段５０３は、照明環境判断手段５０１から得られる照明環境のときの照合性能を照合性能記録手段５０２から検索し、照合を行った回数（ｔ（Ｋ））の累計が予め設定された閾値以上で、かつ、２．顔照合結果が正解した回数の累計（ｒ（Ｋ））を照合を行った回数の累計（ｔ（Ｋ））で割った照合性能値が、あらかじめ設定された閾値以上であった場合に、その照明環境での照合結果は信頼性が高いと判断する。それ以外の場合［（ｔ（Ｋ））が予め設定された閾値以下、またはｔ（Ｋ）が閾値以上で、ｒ（Ｋ）／ｔ（Ｋ）が閾値未満の場合］、その環境での照合結果は信頼性が低いと判断する。
【００３２】
（動作の説明）
次に、図６に示されたフローチャートを参照しながら本実施形態の動作手順を説明する。第２の実施形態では、まず、制御手段７で自律行動状態から顔を識別する状態への遷移が決定されると（ステップＳ６０１／ＹＥＳ）、照明環境判断手段５０１で、顔照合を行おうとするときの照明環境を撮像手段１やロボット状態観測手段６からの情報から判断し、前述のように図４で示したような形でカテゴリ分けする（ステップＳ６０２）。このカテゴリのことを照明カテゴリとよぶ。照明カテゴリにはＩＤが付けられ、そのＩＤのことを照明ＩＤと呼ぶ。ここで判断された照明カテゴリのＩＤをＫとする。
【００３３】
次に、照明環境比較手段５０３で、照明環境判断手段５０１で判断された照明ＩＤがＫのときの照合性能を照合性能記録手段５０２から検索し、照合を行った回数（ｔ（Ｋ））の累計が予め設定された閾値以上で、かつ、２．顔照合結果が正解した回数の累計（ｒ（Ｋ））を照合を行った回数の累計（ｔ（Ｋ））で割った照合性能値があらかじめ設定された閾値以上であった場合に、その環境での照合結果は信頼性が高いと判断する（ステップＳ６０３／ＹＥＳ）。それ以外の場合［（ｔ（Ｋ））が予め設定された閾値以下、またはｔ（Ｋ）が閾値以上で、ｒ（Ｋ）／ｔ（Ｋ）が閾値未満の場合］、その環境での照合結果は信頼性が低いと判断する（ステップＳ６０３／ＮＯ）。なお、ｔ（Ｋ）が小さい時には、無条件で顔照合を行い、照合を行なった回数（ｔ（Ｋ））と、照合に正解した場合には正解した回数（ｒ（Ｋ））とをインクリメントさせてもよい。
【００３４】
照明環境比較手段５０３で照合の信頼性が高いと判断された場合（ステップＳ６０３／ＹＥＳ）、顔検出照合手段２で、撮像手段１で得られた画像から顔画像を検出して予め登録された顔画像との照合を行い、登録してある人物の誰かに対応付けを行う（ステップＳ６０４）。その結果の人物をＬとする。その後、情報通知手段３で照合結果をユーザへ知らせ、照合結果が正しいかどうかの確認をユーザに求める（ステップＳ６０５）。それを受け、ユーザが示した回答を情報入力手段４で取得し、正解だったか不正解だったかを判断する（ステップＳ６０６）。正解だったときは（ステップＳ６０６／ＹＥＳ）、照明ＩＤがＫのときの照合を行った回数ｔ（Ｋ）と照明ＩＤがＫのときに正解した回数ｒ（Ｋ）を１増やし、ユーザとの対話などの自律行動へ戻る（ステップＳ６０９、かつＳ６０７）。また、不正解だったときは照合を行なった回数ｔ（Ｋ）を１増やし（ステップＳ６０７）、ユーザとの対話などの自律行動へ戻る。
【００３５】
次に、照明環境比較手段５０３で照合の信頼性が低いと判断された場合（ステップＳ６０３／ＮＯ）、顔照合を行わず、走行手段８を用いてロボット本体を移動し（ステップＳ６０８）、再び照明環境を観測し、判定する。何度移動してもステップＳ６０３の条件が満たされない場合は、顔照合を行うような動作フローとする実現方法も考えられる。なお、ロボットの移動に関して、ユーザに違和感を与えないように自然な演出を施すことが望ましい。
【００３６】
このように本実施形態は、顔照合が行なわれる度にそのときの照明環境の観測と照合結果が正しいかどうかの確認を行い、その照明環境で照合が行われた回数と正解だった回数を累積して記録する。累積が十分されたら、照合を行なうときに照明環境の観測を行い、そのときの照明環境で過去にどのくらいの割合で正解したかをみて、正解が少ない照明環境であれば照合をせずにロボットを動かしてその位置や方向を変える。このようにして過去の照合の履歴をみて照合結果が良くない照合環境では照合を避けることで照合の誤りを減らすことができる。
【００３７】
異なる家庭の照明環境や顔登録の状態には多様なバリエーションがあり、どのような照明環境の場合に照合がうまくいくのかを前もって精度よく予測してロボットを設計するのは困難である。そこで、ユーザが実際に使用する段階で、どのような場所、どのような照明状態で照合がうまくいかないのかを学習すれば、前もって苦手な照明条件を想定する場合に比べて精度良く照合を行なうことができる。
【００３８】
（第３の実施の形態）
（構成の説明）
本発明に係る第３の実施形態について図面を参照して詳細に説明する。図７を参照すると本発明に係る第３の実施形態は、第２の実施形態に加えて人物の全体的な特徴量を抽出する全体特徴量抽出手段５０４を具備する。
【００３９】
全体特徴量抽出手段５０４は、制御手段７によって制御され、撮像手段１によって撮像された画像から人物を特定可能な特徴量を抽出する。全体特徴量抽出手段５０４は、ユーザ毎の特徴量が予め登録された辞書を具備し、撮像手段１で撮像された画像からユーザを特定する特徴量を抽出する。この辞書に登録された特徴量とは、例えば、ユーザの身長、体型、髪型、眼鏡をかけているか否かといったユーザを特定することが可能となる情報である。全体特徴量抽出手段５０４は、全体特徴量を抽出することができた場合には特徴量ありを示す情報を、抽出することができなかった場合には特徴量なしを示す情報を照明環境比較手段５０３に出力する。
【００４０】
照明環境比較手段５０３は、全体特徴量抽出手段５０４により全体特徴量が抽出されたか否かによって、照明環境判断手段５０１で判断された照明カテゴリでの照合性能を判断する閾値を変更して照合性能を判定する。
【００４１】
次に、図８に示されたフローチャートを参照しながら本実施形態の動作手順を説明する。まず、制御手段７で自律行動状態から顔を識別する状態への遷移が決定されると（ステップＳ８０１）、照合環境判断手段５０１で、顔照合を行なおうとするときの照明環境を撮像手段１やロボット状態観測手段６からの情報から判断し、照明カテゴリに分ける（ステップＳ８０２）。なお、ここで判断された照明カテゴリのＩＤをＫとする。
【００４２】
また、全体特徴量抽出手段５０４は、辞書を参照しながら、撮像手段１によって撮像された画像からユーザを特定することができる特徴量の抽出を試みる（ステップＳ８０３）。特徴量を抽出することができた場合には（ステップＳ８０３／ＹＥＳ）、特徴量ありを示す情報を照明環境比較手段５０３に出力する。また、特徴量を抽出することができなかった場合には（ステップＳ８０３／の）、特徴量なしを示す情報を照明環境比較手段５０３に出力する。
【００４３】
照明環境比較手段５０３は、照明環境判断手段５０１から照明ＩＤの情報を取得すると共に全体特徴量抽出手段５０４から全体特徴量あり／なしの情報を取得すると、照明環境判断手段５０１から取得した照明ＩＤがＫのときの照合性能を照合性能記録手段５０２から検索する。
【００４４】
全体特徴量抽出手段５０４によって全体特徴量を抽出することができなかった場合には、照明環境比較手段５０３は顔照合結果が正解した回数の累計（ｒ（Ｋ））を照合を行なった回数の累計（ｔ（Ｋ））で割った照合性能値を、上述した第２の実施形態で使用した閾値（Ｒ１という）と比較する（ステップＳ８０４）。また、全体特徴量を抽出することができた場合には、この閾値よりも低く設定された閾値（Ｒ２という）により照合性能値との比較を行なう（ステップＳ８０５）。
【００４５】
照合を行なった回数の累計が閾値以上で、照合性能値が予め設定された閾値以上の場合に、照明環境比較手段５０３はその環境での照合結果は信頼性が高いと判断する。また、それ以外のときはその照合環境での照合性能は信頼性が低いと判断する。なお、以下の動作手順は、図６を用いて説明した第２の実施形態の動作手順と同一であるため説明を省略する。
【００４６】
このように本実施形態は、ユーザを判定する材料に照明環境だけではなくユーーザを特定する特徴量を導入することでユーザの判定をより高精度に行なうことができる。
【００４７】
（第４の実施の形態）
（構成の説明）
本発明に係る第４の実施形態について図面を参照して詳細に説明する。図９を参照すると本発明に係る第４の実施形態は、第２の実施形態の構成に加えて、照合にとって適切な位置へ移動を行なうための走行計画を立てる走行計画生成手段９を有する。
【００４８】
本実施形態は、図１０に示されるように１つの部屋を幾つかの領域に分割し、分割した各領域に識別ＩＤを付加して管理している。また、照合性能記録手段５０２は、図１１に示されるように識別ＩＤが付された領域毎に、照明カテゴリとその照明カテゴリでの照合性能とを記録して管理している。
【００４９】
また、本実施形態のロボット状態観測手段６は、図示しない照明装置状態観測手段から照明装置の状態情報を取得する共に、同じく図示しないカーテン状態観測手段によりカーテンの状態情報を取得する。なお、照明装置状態観測手段は、部屋に設置された照明装置と連動し、照明装置が点灯しているかどうかを検出する。また、カーテン状態観測手段は、カーテンに連動してカーテンが開いているかどうかを検出する。
【００５０】
走行計画生成手段９は、ロボット状態観測手段６から現在のロボットの位置情報を取得すると共に、照合性能を照合性能記録手段５０２から検索し、照合性能値が現在の位置よりも高い位置へ移動するように走行計画を立案し走行手段８に指示を出す。具体的には、時刻、カーテンの状態及び照明装置の状態が現在の状態と同じ照明カテゴリの中で、顔照合結果が正解した回数の累計を照合を行なった回数の累計で割った照合性能値が現在の照明カテゴリでのそれ以上で、閾値以上もしくは最高の位置へ移動するよう指示を出す。
【００５１】
また、走行計画生成手段９は照合性能値と移動距離とを考慮して移動先を決定してもよい。この場合、現在の照明カテゴリと同一の照合カテゴリでの照合性能が現在位置のものよりも高く、ロボット状態観測手段６から取得した現在位置情報から算出される移動距離が短い領域に移動するように移動計画を立てることになる。
【００５２】
このように本実施形態は、時刻、カーテンの状態、及び照明装置の状態が現在の状態と同じ照明カテゴリの中で、照合性能値が閾値以上もしくは最高の位置へ移動を行なうようにすることで、良好な照明環境にユーザを導くことができる。
【００５３】
（第５の実施の形態）
（構成の説明）
本発明に係る第５の実施の形態について図面を参照しながら詳細に説明する。図１２を参照すると本発明に係る第５の実施形態の照明環境判定手段５００は、撮像手段１から得られる画像情報やロボット状態観測手段６から得られる時刻や位置の情報を基に照明環境を判断し、あらかじめ決めてあるカテゴリのどれに対応するのかを判断する照明環境判断手段５０１と、顔検出照合手段２へ顔画像を登録したときの照明ＩＤをユーザ毎に記憶する登録時照明環境記録手段１０と、登録時照明環境記録手段１０に記録されている情報を基に、対話中のユーザが現在の照明環境で過去に顔画像を登録したかどうかを判断する登録時照明環境比較手段１１と、を具備する。
【００５４】
登録時照明環境記録手段１０は、照明環境判断手段５０１によって判定された、ユーザが顔検出照合手段２へ顔を登録したときの照明ＩＤをユーザ毎に全て記録しておく。
【００５５】
登録時照明環境条件比較手段１１は、現在対話中のユーザが照明環境判断手段５０１から得られる現在の照明環境で過去に顔画像登録を行なったかどうかを登録時照明環境記録手段１０に記録されている情報を検索することで判定する。
【００５６】
（動作の説明）
次に、図１３に示されたフローチャートを参照しながら本実施形態の動作手順を説明する。本実施形態は顔を顔検出照合手段２へ登録する方法に関するものである。ロボットがユーザＬと対話しているときにある確率で登録を行うかどうかを決定する状態へ遷移する（ステップＳ１３０１）。まず、対話しているユーザの顔画像がすでに顔検出照合手段２に登録されているかどうかで分岐する（ステップＳ１３０２）。もし登録されていない場合は（ステップＳ１３０２／ＮＯ）、無条件でステップＳ１３０４へ、登録されている場合には（ステップＳ１３０２／ＹＥＳ）、１／１０の確率でステップＳ１３０４へ、９／１０の確率でユーザとの対話へ戻る。ここでは、１から１０の自然数をランダムに発生させ、発生した値が１であった場合には（ステップＳ１３０３／ＹＥＳ）、ステップＳ１３０４に遷移する。ステップＳ１３０４では、照明環境判断手段５０１でその時点の照明環境をあらかじめ決めてある照明のカテゴリに分類する。その結果のカテゴリの照明ＩＤをＫとする。次にステップＳ１３０５で対話中のユーザＬが過去に照明ＩＤがＫの環境で顔登録をしているかどうかを登録時照明環境記録手段１０に記録されている情報を基に判断する。もしそのユーザＬの照明ＩＤがＫのときの顔画像が登録時照明環境記録手段１０に登録されている場合には（ステップＳ１３０５／ＹＥＳ）、ユーザとの対話へ戻り、登録されていない場合には（ステップＳ１３０５／ＮＯ）、ステップＳ１３０６へ進む。ステップＳ１３０６では、顔検出照合手段２で顔登録を行い、ユーザＬが照明ＩＤ＝Ｋで顔登録したことを登録時照明環境記録手段１０へ記録する（ステップＳ１３０７）。
【００５７】
このように本実施形態は、ユーザ毎に登録したときの照明状態を記憶しておき、ユーザがロボットと対話している最中に過去にそのユーザが顔登録を行なっていないような照明環境であれば、ユーザの顔登録を開始する。このようにすることでより効率よく様々な照明条件の顔画像を登録することが可能となる。
【００５８】
なお、上述した実施形態では、ユーザとの対話と顔照合とをそれぞれ独立した行動として記載しているが、対話の最中に顔画像の撮影を行なうものであってもよい。
【００５９】
（第６の実施の形態）
（構成の説明）
本発明の第６の実施の形態について図面を参照して詳細に説明する。図１４を参照すると本実施の形態の照明環境判定手段５００は、照明環境判断手段５０１だけからなる。また、顔検出照合手段２は、撮像手段１で得られた画像から顔の領域を検出して切り出し、特徴データに変換する顔検出手段２０１と、人物毎の顔の特徴データ群を照明環境判断手段５０１で得られた照明カテゴリ毎に保存するデータ管理手段２０３と、照明カテゴリ毎の特徴データで認識辞書を作成する辞書作成手段２０４と、辞書作成手段２０４で作成した認識辞書を照明カテゴリ毎に保存する辞書保存手段２０５と、照明環境判断手段５０１の出力と同じ照明カテゴリの辞書を辞書保存手段２０５から選択し、顔照合手段２０２へ供給する辞書選択手段２０６と、辞書選択手段２０６から供給された辞書に基づいて顔検出手段２０１から供給される特徴データが誰の顔であるのかの照合を行う顔照合手段２０２を有する。
【００６０】
データ管理手段２０３は、登録時に取得された人物毎の顔の特徴データ群を図１５のように照明環境判断手段５０１で得られた照明カテゴリによって分類して保存する。顔画像からその特徴データを抽出する方法は、正面顔画像を左から右へ１ライン毎にスキャンし、上から下へ１ライン終われば次のラインをスキャンして１次元データを生成し（ラスタスキャン）、それを特徴データとして用いる。その他に１次微分フィルタや２次微分フィルタを用いてフィルタリングし、エッジ情報を抽出したものをラスタスキャンして特徴データとする方法を用いてもよい。
【００６１】
辞書作成手段２０４は、同じ照明カテゴリの特徴データだけを用いて認識辞書を作成する。図１６では照明ＩＤがＴ１、Ｔ２のそれぞれのデータセットを用いて辞書を作成している。辞書としては、特開２０００−２２２５７６号公報に記載されている人物の特徴データから生成される線形判別辞書などを用いることができる。これらの辞書は辞書保存手段２０５でやはり照明カテゴリ毎に保存される。
【００６２】
辞書選択手段２０６では、照明環境判断手段５０１で決定された照明カテゴリのデータで作られた辞書を顔照合手段２０２へ供給する。図１７の例では辞書保存手段２０５に保存されているＴ２のときの辞書が供給される。
【００６３】
顔照合手段２０２では供給された辞書を使って顔検出手段２０１から供給される特徴データとの照合を行う。具体的には特開２０００−２２２５７６号公報に開示された人物の特徴データから作成した線形判別辞書を用いて、対象顔画像との類似度の大きさを求めることでパターン識別する方法を適用することができる。
【００６４】
（動作の説明）
次に、図１８、１９に示されたフローチャートを参照しながら本実施形態の動作手順を説明する。まず顔登録時の動作について図１８を参照しながら説明する。ロボットがユーザＬと対話しているときにある確率で登録を行うかどうかを決定する状態へ遷移する（ステップＳ１８０１）。まず、対話しているユーザの顔画像がすでに顔検出照合手段２に登録されているかどうかで分岐する（ステップＳ１８０２）。もし登録されていない場合は（ステップＳ１８０２／ＮＯ）、無条件でステップＳ１８０４へ、登録されている場合には（ステップＳ１８０２／ＹＥＳ）、１／１０の確率でステップＳ１８０１へ、９／１０の確率でユーザとの対話へ戻る。ここでは、１から１０の自然数をランダムに発生させ、発生した値が１であった場合には（ステップＳ１８０３／ＹＥＳ）、ステップＳ１８０４に遷移する。ステップＳ１８０４では、照明環境判断手段５０１でその時点の照明環境をあらかじめ決めてある照明のカテゴリに分類する。その結果のカテゴリの照明ＩＤをＫとする。次にステップＳ１８０５で、撮像手段１を用いて画像の撮影を開始し、その画像から顔検出手段２０１で顔の特徴データを取得し、取得したデータをデータ管理手段２０３の「ユーザＬ、照明カテゴリＫ」の領域へ格納する。一般に特徴データは一回の登録でも複数枚取得されるので、取得が終了するまでこれを続ける。取得が終了したらステップＳ１８０６に進み、辞書作成手段２０４で照明ＩＤがＫのデータに関して辞書を作成し辞書保存手段２０５へ保存する。このとき照明ＩＤがＫのデータが全員分そろっていない場合は処理を中断する。あるいはその場合は照明カテゴリに無関係に全てのデータを使って辞書を作成するという動作でもよい。
【００６５】
次に顔照合時の動作について図１９を参照しながら説明する。まず、制御手段７で顔を識別する状態への遷移が決定されると（ステップＳ１９０１）、照明環境判断手段５０１で、顔照合を行おうとするときの照明環境を撮像手段１やロボット状態観測手段６からの情報から判断し、あらかじめ決めてある照明のカテゴリに分類する。その結果の照明ＩＤをＫとする（ステップＳ１９０２）。次に照明ＩＤがＫの特徴データで作られた辞書が辞書保存手段２０５に保存されているかどうかを辞書選択手段２０６により調べる（ステップＳ１９０３）。もし保存されていなければ（ステップＳ１９０３／ＮＯ）、そのまま照合を中止しユーザとの対話に戻る。もし保存されていれば（ステップＳ１９０３／ＹＥＳ）、辞書選択手段２０６により照合ＩＤがＫの特徴データで作成した辞書を辞書保存手段２０５から取得し、顔照合手段２０２へ供給する（ステップＳ１９０４）。次に、撮像手段１で画像の撮像を開始し、その画像から顔検出手段２０１で顔の特徴データを取得し、取得した特徴データと供給された辞書を用いて顔照合手段２０２で照合を行い、撮像手段１で撮像した顔画像が誰であるかを判定する（ステップＳ１９０５）。
【００６６】
このように本実施形態は、様々な照明環境毎に顔画像を登録しておき、照合を行なう時は、そのときと同じ照明環境で登録された画像から作られた辞書を用いて照合を行なう。このようにすることで精度よく照合を行なうことができる。
【００６７】
また、本実施形態も、ユーザとの対話と顔照合とをそれぞれ独立した行動として記載しているが、対話の最中に顔画像の撮影を行なって照合を行なうものであってもよい。
【００６８】
なお、上述した実施形態は本発明の好適な実施の形態である。但し、これに限定されるものではなく本発明の要旨を逸脱しない範囲内において種々変形実施が可能である。例えば、上述した実施形態において照合環境を判定する材料として季節（夏と冬とで部屋に日
光が入り込む角度が異なるため）や天気予報（インターネット等を利用してその日の天気情報を取得し、照合環境を判定する材料の一つとする）を考慮してもよい。
【００６９】
また、本発明の照合環境判定プログラムに係る実施形態は、それぞれ図２、６、８、１３、１８、１９に示された動作手順で制御するプログラムに基づいて各手段が制御動作を行なうことで実現される。
【図面の簡単な説明】
【００７０】
【図１】本発明に係る第１の実施形態の構成を示すブロック図である。
【図２】本発明に係る第１の実施形態の動作手順を示すフローチャートである。
【図３】本発明に係る第２の実施形態の示すブロック図である。
【図４】第２の実施形態での照明環境判断手段で照明環境をカテゴリ分けする方法を示す図である。
【図５】第２の実施形態での照合性能記録手段で照明環境毎に照合結果の履歴を記録する方法を示す図である。
【図６】本発明に係る第２の実施形態の動作手順を示すフローチャートである。
【図７】本発明に係る第３の実施形態の構成を示すブロック図である。
【図８】本発明に係る第３の実施形態の動作手順を示すフローチャートである。
【図９】本発明に係る第４の実施形態の構成を示すブロック図である。
【図１０】部屋を領域に分割し、領域毎にＩＤを付けて管理する方法を説明するための図である。
【図１１】第４の実施形態での照明環境判断手段で照明環境をカテゴリ分けする方法を示す図である。
【図１２】本発明に係る第５の実施形態の構成を示すブロック図である。
【図１３】本発明に係る第５の実施形態の動作手順を示すフローチャートである。
【図１４】本発明に係る第６の実施形態の構成を示すブロック図である。
【図１５】第６の実施形態でのデータ管理手段で、登録時に取得された人物毎の顔の特徴データ群を照明カテゴリ毎に保存する例を示す図である。
【図１６】第６の実施形態での辞書作成手段で、同じ照明カテゴリの特徴データだけを用いて認識辞書を作成する例を示す図である。
【図１７】第６の実施形態での辞書選択手段で、ある照明カテゴリのデータで作られた辞書を照合手段へ供給する例を示す図である。
【図１８】第６の実施形態の動作手順（顔登録時）を示すフローチャートである。
【図１９】第６の実施形態の動作手順（顔照合時）を示すフローチャートである。
【図２０】顔照合機能を持つ従来のロボット装置の構成を示すブロック図である。
【符号の説明】
【００７１】
１ 撮像手段
２ 顔検出照合手段
２０１ 顔検出手段
２０２ 顔照合手段
２０３ データ管理手段
２０４ 辞書作成手段
２０５ 辞書保存手段
２０６ 辞書選択手段
３ 情報通知手段
４ 情報入力手段
５ 照合結果信頼性算出手段
５００ 照明環境判定手段
５０１ 照明環境判断手段
５０２ 照合性能記録手段
５０３ 照明環境比較手段
５０４ 全体特徴量抽出手段
６ ロボット状態観測手段
７ 制御手段
８ 走行手段
９ 走行計画生成手段
１０ 登録時照明環境記録手段
１１ 登録時照明環境比較手段
【特許請求の範囲】
【請求項１】
入力画像に対して顔画像情報を用いて人物の照合を行う顔検出照合手段を備えるロボット装置であって、
照明環境状態を検出する照明環境状態観測手段と、
前記照明環境状態が照合に適するか判断する判断手段を有し、
前記判断手段が照明環境状態に対する照合の成否を記録した照合性能記録手段を参照して前記照明環境状態が照合に適するか判断し、
前記照明環境状態が照合に適さないと判断された場合には、前記顔検出照合手段における照合を行わないことを特徴とするロボット装置。
【請求項２】
前記ロボット装置を移動させる走行手段を有し、
前記照合性能記録手段には、位置情報及び照明環境状態に対する照合の成否が記録されており、
前記判断手段で前記照明環境状態が照合に適さないと判断された場合には、前記走行手段により照合に適する場所に移動することを特徴とする請求項１記載のロボット装置。
【請求項３】
前記走行手段は、前記判断手段で前記照明環境状態が照合に適さないと判断された場合には、前記場所のうち照合の成功した場所に移動すること
を特徴とする請求項２記載のロボット装置。
【請求項４】
前記走行手段は、前記判断手段で前記照明環境状態が照合に適さないと判断された場合には、前記場所のうち照合の成功した頻度の高い場所に移動すること
を特徴とする請求項２記載のロボット装置。
【請求項５】
前記走行手段は、前記判断手段で前記照明環境状態が照合に適さないと判断された場合には、前記場所のうち現在の場所より照合の成功した頻度の高い場所に移動すること
を特徴とする請求項２記載のロボット装置。
【請求項６】
前記判断手段は、
前記顔検出照合手段で検出された顔領域の画像の画素値の分散と、前記顔検出照合手段で検出された顔領域の輝度値の平均とその外側近傍領域の輝度値の平均の比と、画像全体の輝度値の平均と、の少なくとも１つを照明環境状態を判定する判断材料とすること
を特徴とする請求項１から５の何れか一項に記載のロボット装置。
【請求項７】
部屋の照明装置と連動してその部屋の照明が点灯しているかどうかを検出する照明装置状態観測手段を用いて部屋の照明環境状態を観測するロボット状態観測手段を有し、
前記判断手段は、その部屋の照明がついているかどうかを照明環境状態のカテゴリ分けをする際の基準量の１つとすること
を特徴とする請求項１から５の何れか１項に記載のロボット装置。
【請求項８】
部屋のカーテンと連動してその部屋のカーテンが開いているかどうかを検出するカーテン状態観測手段を用いて部屋のカーテンの開閉状態を観測するロボット状態観測手段を有し、
判断手段は、その部屋のカーテンが開いているどうかを照明環境状態のカテゴリ分けをする際の基準量の１つとすること
を特徴とする請求項１から５の何れか１項に記載のロボット装置。
【請求項９】
時刻に関する情報を保持するロボット状態観測手段を有し、
前記判断手段は、照合を行おうとするときの時刻を照明環境状態のカテゴリ分けをする際の基準量の１つとすること
を特徴とする請求項１から５の何れか１項に記載のロボット装置。
【請求項１０】
ロボット装置の部屋内での位置を観測し、
位置情報として保持するロボット状態観測手段を有し、
前記判断手段は、照合を行おうとするときのロボット装置の部屋内での位置を照明環境状態のカテゴリ分けをする際の基準量の１つとすること
を特徴とする請求項１から５の何れか１項に記載のロボット装置。
【請求項１１】
入力画像に対して顔画像情報を用いて人物の照合を行う顔検出照合工程を有するロボット装置の照合環境判定方法であって、
照明環境状態を検出する照明環境状態観測工程と、
前記照明環境状態が照合に適するか判断する判断工程を有し、
前記判断工程が照明環境状態に対する照合の成否を記録した照合性能記録手段を参照して前記照明環境状態が照合に適するか判断し、
前記照明環境状態が照合に適さないと判断された場合には、前記顔検出照合工程における照合を行わないことを特徴とする照合環境判定方法。
【請求項１２】
走行手段により前記ロボット装置を移動させる移動工程を有し、
前記照合性能記録手段には、位置情報及び照明環境状態に対する照合の成否が記録されており、
前記判断工程で前記照明環境状態が照合に適さないと判断された場合には、前記移動工程により照合に適する場所に移動させることを特徴とする請求項１１記載の照合環境判定方法。
【請求項１３】
前記移動工程において、前記判断工程で前記照明環境状態が照合に適さないと判断された場合には、前記場所のうち照合の成功した場所に移動させること
を特徴とする請求項１２記載の照合環境判定方法。
【請求項１４】
前記移動工程において、前記判断工程で前記照明環境状態が照合に適さないと判断された場合には、前記場所のうち照合の成功した頻度の高い場所に移動させること
を特徴とする請求項１２記載の照合環境判定方法。
【請求項１５】
前記移動工程において、前記判断工程で前記照明環境状態が照合に適さないと判断された場合には、前記場所のうち現在の場所より照合の成功した頻度の高い場所に移動させること
を特徴とする請求項１２記載の照合環境判定方法。
【請求項１６】
前記判断工程は、
前記顔検出照合工程で検出された顔領域の画像の画素値の分散と、前記顔検出照合手段で検出された顔領域の輝度値の平均とその外側近傍領域の輝度値の平均の比と、画像全体の輝度値の平均と、の少なくとも１つを照明環境状態を判定する判断材料とすること
を特徴とする請求項１１から１５の何れか一項に記載の照合環境判定方法。
【請求項１７】
部屋の照明装置と連動してその部屋の照明が点灯しているかどうかを検出する照明装置状態観測手段を用いて部屋の照明環境状態を観測するロボット状態観測工程を有し、
前記判断工程は、その部屋の照明がついているかどうかを照明環境状態のカテゴリ分けをする際の基準量の１つとすること
を特徴とする請求項１１から１５の何れか１項に記載の照合環境判定方法。
【請求項１８】
部屋のカーテンと連動してその部屋のカーテンが開いているかどうかを検出するカーテン状態観測手段を用いて部屋のカーテンの開閉状態を観測するロボット状態観測工程を有し、
前記判断工程は、その部屋のカーテンが開いているどうかを照明環境状態のカテゴリ分けをする際の基準量の１つとすること
を特徴とする請求項１１から１５の何れか１項に記載の照合環境判定方法。
【請求項１９】
前記判断工程は、照合を行おうとするときの時刻を照明環境状態のカテゴリ分けをする際の基準量の１つとすること
を特徴とする請求項１１から１５の何れか１項に記載の照合環境判定方法。
【請求項２０】
ロボット装置の部屋内での位置を観測するロボット状態観測工程を有し、
前記判断工程は、照合を行おうとするときのロボット装置の部屋内での位置を照明環境状態のカテゴリ分けをする際の基準量の１つとすること
を特徴とする請求項１１から１５の何れか１項に記載の照合環境判定方法。
【請求項２１】
入力画像に対して顔画像情報を用いて人物の照合を行う顔検出照合処理を有するロボット装置の照合環境判定プログラムであって、
照明環境状態を検出する照明環境状態観測処理と、
前記照明環境状態が照合に適するか判断する判断処理を有し、
前記判断処理が照明環境状態に対する照合の成否を記録した照合性能記録手段を参照して前記照明環境状態が照合に適するか判断し、
前記照明環境状態が照合に適さないと判断された場合には、前記顔検出照合処理における照合を行わないことを特徴とする照合環境判定プログラム。
【請求項２２】
走行手段により前記ロボット装置を移動させる移動処理を有し、
前記照合性能記録手段には、位置情報及び照明環境状態に対する照合の成否が記録されており、
前記判断処理で前記照明環境状態が照合に適さないと判断された場合には、前記移動処理により照合に適する場所に移動させることを特徴とする請求項２１記載の照合環境判定プログラム。
【請求項２３】
前記移動処理において、前記判断処理で前記照明環境状態が照合に適さないと判断された場合には、前記場所のうち照合の成功した場所に移動させること
を特徴とする請求項２２記載の照合環境判定プログラム。
【請求項２４】
前記移動処理において、前記判断処理で前記照明環境状態が照合に適さないと判断された場合には、前記場所のうち照合の成功した頻度の高い場所に移動させること
を特徴とする請求項２２記載の照合環境判定プログラム。
【請求項２５】
前記移動処理において、前記判断処理で前記照明環境状態が照合に適さないと判断された場合には、前記場所のうち現在の場所より照合の成功した頻度の高い場所に移動させること
を特徴とする請求項２２記載の照合環境判定プログラム。
【請求項２６】
前記判断処理は、
前記顔検出照合処理で検出された顔領域の画像の画素値の分散と、前記顔検出照合手段で検出された顔領域の輝度値の平均とその外側近傍領域の輝度値の平均の比と、画像全体の輝度値の平均と、の少なくとも１つを照明環境状態を判定する判断材料とすること
を特徴とする請求項２１から２５の何れか一項に記載の照合環境判定プログラム。
【請求項２７】
部屋の照明装置と連動してその部屋の照明が点灯しているかどうかを検出する照明装置状態観測手段を用いて部屋の照明環境状態を観測するロボット状態観測処理を有し、
前記判断処理は、その部屋の照明がついているかどうかを照明環境状態のカテゴリ分けをする際の基準量の１つとすること
を特徴とする請求項２１から２５の何れか１項に記載の照合環境判定プログラム。
【請求項２８】
部屋のカーテンと連動してその部屋のカーテンが開いているかどうかを検出するカーテン状態観測手段を用いて部屋のカーテンの開閉状態を観測するロボット状態観測処理を有し、
前記判断処理は、その部屋のカーテンが開いているどうかを照明環境状態のカテゴリ分けをする際の基準量の１つとすること
を特徴とする請求項２１から２５の何れか１項に記載の照合環境判定プログラム。
【請求項２９】
前記判断処理は、照合を行おうとするときの時刻を照明環境状態のカテゴリ分けをする際の基準量の１つとすること
を特徴とする請求項２１から２５の何れか１項に記載の照合環境判定プログラム。
【請求項３０】
ロボット装置の部屋内での位置を観測するロボット状態観測処理を有し、
前記判断処理は、照合を行おうとするときのロボット装置の部屋内での位置を照明環境状態のカテゴリ分けをする際の基準量の１つとすること
を特徴とする請求項２１から２５の何れか１項に記載の照合環境判定プログラム。
【請求項１】
入力画像に対して顔画像情報を用いて人物の照合を行う顔検出照合手段を備えるロボット装置であって、
照明環境状態を検出する照明環境状態観測手段と、
前記照明環境状態が照合に適するか判断する判断手段を有し、
前記判断手段が照明環境状態に対する照合の成否を記録した照合性能記録手段を参照して前記照明環境状態が照合に適するか判断し、
前記照明環境状態が照合に適さないと判断された場合には、前記顔検出照合手段における照合を行わないことを特徴とするロボット装置。
【請求項２】
前記ロボット装置を移動させる走行手段を有し、
前記照合性能記録手段には、位置情報及び照明環境状態に対する照合の成否が記録されており、
前記判断手段で前記照明環境状態が照合に適さないと判断された場合には、前記走行手段により照合に適する場所に移動することを特徴とする請求項１記載のロボット装置。
【請求項３】
前記走行手段は、前記判断手段で前記照明環境状態が照合に適さないと判断された場合には、前記場所のうち照合の成功した場所に移動すること
を特徴とする請求項２記載のロボット装置。
【請求項４】
前記走行手段は、前記判断手段で前記照明環境状態が照合に適さないと判断された場合には、前記場所のうち照合の成功した頻度の高い場所に移動すること
を特徴とする請求項２記載のロボット装置。
【請求項５】
前記走行手段は、前記判断手段で前記照明環境状態が照合に適さないと判断された場合には、前記場所のうち現在の場所より照合の成功した頻度の高い場所に移動すること
を特徴とする請求項２記載のロボット装置。
【請求項６】
前記判断手段は、
前記顔検出照合手段で検出された顔領域の画像の画素値の分散と、前記顔検出照合手段で検出された顔領域の輝度値の平均とその外側近傍領域の輝度値の平均の比と、画像全体の輝度値の平均と、の少なくとも１つを照明環境状態を判定する判断材料とすること
を特徴とする請求項１から５の何れか一項に記載のロボット装置。
【請求項７】
部屋の照明装置と連動してその部屋の照明が点灯しているかどうかを検出する照明装置状態観測手段を用いて部屋の照明環境状態を観測するロボット状態観測手段を有し、
前記判断手段は、その部屋の照明がついているかどうかを照明環境状態のカテゴリ分けをする際の基準量の１つとすること
を特徴とする請求項１から５の何れか１項に記載のロボット装置。
【請求項８】
部屋のカーテンと連動してその部屋のカーテンが開いているかどうかを検出するカーテン状態観測手段を用いて部屋のカーテンの開閉状態を観測するロボット状態観測手段を有し、
判断手段は、その部屋のカーテンが開いているどうかを照明環境状態のカテゴリ分けをする際の基準量の１つとすること
を特徴とする請求項１から５の何れか１項に記載のロボット装置。
【請求項９】
時刻に関する情報を保持するロボット状態観測手段を有し、
前記判断手段は、照合を行おうとするときの時刻を照明環境状態のカテゴリ分けをする際の基準量の１つとすること
を特徴とする請求項１から５の何れか１項に記載のロボット装置。
【請求項１０】
ロボット装置の部屋内での位置を観測し、
位置情報として保持するロボット状態観測手段を有し、
前記判断手段は、照合を行おうとするときのロボット装置の部屋内での位置を照明環境状態のカテゴリ分けをする際の基準量の１つとすること
を特徴とする請求項１から５の何れか１項に記載のロボット装置。
【請求項１１】
入力画像に対して顔画像情報を用いて人物の照合を行う顔検出照合工程を有するロボット装置の照合環境判定方法であって、
照明環境状態を検出する照明環境状態観測工程と、
前記照明環境状態が照合に適するか判断する判断工程を有し、
前記判断工程が照明環境状態に対する照合の成否を記録した照合性能記録手段を参照して前記照明環境状態が照合に適するか判断し、
前記照明環境状態が照合に適さないと判断された場合には、前記顔検出照合工程における照合を行わないことを特徴とする照合環境判定方法。
【請求項１２】
走行手段により前記ロボット装置を移動させる移動工程を有し、
前記照合性能記録手段には、位置情報及び照明環境状態に対する照合の成否が記録されており、
前記判断工程で前記照明環境状態が照合に適さないと判断された場合には、前記移動工程により照合に適する場所に移動させることを特徴とする請求項１１記載の照合環境判定方法。
【請求項１３】
前記移動工程において、前記判断工程で前記照明環境状態が照合に適さないと判断された場合には、前記場所のうち照合の成功した場所に移動させること
を特徴とする請求項１２記載の照合環境判定方法。
【請求項１４】
前記移動工程において、前記判断工程で前記照明環境状態が照合に適さないと判断された場合には、前記場所のうち照合の成功した頻度の高い場所に移動させること
を特徴とする請求項１２記載の照合環境判定方法。
【請求項１５】
前記移動工程において、前記判断工程で前記照明環境状態が照合に適さないと判断された場合には、前記場所のうち現在の場所より照合の成功した頻度の高い場所に移動させること
を特徴とする請求項１２記載の照合環境判定方法。
【請求項１６】
前記判断工程は、
前記顔検出照合工程で検出された顔領域の画像の画素値の分散と、前記顔検出照合手段で検出された顔領域の輝度値の平均とその外側近傍領域の輝度値の平均の比と、画像全体の輝度値の平均と、の少なくとも１つを照明環境状態を判定する判断材料とすること
を特徴とする請求項１１から１５の何れか一項に記載の照合環境判定方法。
【請求項１７】
部屋の照明装置と連動してその部屋の照明が点灯しているかどうかを検出する照明装置状態観測手段を用いて部屋の照明環境状態を観測するロボット状態観測工程を有し、
前記判断工程は、その部屋の照明がついているかどうかを照明環境状態のカテゴリ分けをする際の基準量の１つとすること
を特徴とする請求項１１から１５の何れか１項に記載の照合環境判定方法。
【請求項１８】
部屋のカーテンと連動してその部屋のカーテンが開いているかどうかを検出するカーテン状態観測手段を用いて部屋のカーテンの開閉状態を観測するロボット状態観測工程を有し、
前記判断工程は、その部屋のカーテンが開いているどうかを照明環境状態のカテゴリ分けをする際の基準量の１つとすること
を特徴とする請求項１１から１５の何れか１項に記載の照合環境判定方法。
【請求項１９】
前記判断工程は、照合を行おうとするときの時刻を照明環境状態のカテゴリ分けをする際の基準量の１つとすること
を特徴とする請求項１１から１５の何れか１項に記載の照合環境判定方法。
【請求項２０】
ロボット装置の部屋内での位置を観測するロボット状態観測工程を有し、
前記判断工程は、照合を行おうとするときのロボット装置の部屋内での位置を照明環境状態のカテゴリ分けをする際の基準量の１つとすること
を特徴とする請求項１１から１５の何れか１項に記載の照合環境判定方法。
【請求項２１】
入力画像に対して顔画像情報を用いて人物の照合を行う顔検出照合処理を有するロボット装置の照合環境判定プログラムであって、
照明環境状態を検出する照明環境状態観測処理と、
前記照明環境状態が照合に適するか判断する判断処理を有し、
前記判断処理が照明環境状態に対する照合の成否を記録した照合性能記録手段を参照して前記照明環境状態が照合に適するか判断し、
前記照明環境状態が照合に適さないと判断された場合には、前記顔検出照合処理における照合を行わないことを特徴とする照合環境判定プログラム。
【請求項２２】
走行手段により前記ロボット装置を移動させる移動処理を有し、
前記照合性能記録手段には、位置情報及び照明環境状態に対する照合の成否が記録されており、
前記判断処理で前記照明環境状態が照合に適さないと判断された場合には、前記移動処理により照合に適する場所に移動させることを特徴とする請求項２１記載の照合環境判定プログラム。
【請求項２３】
前記移動処理において、前記判断処理で前記照明環境状態が照合に適さないと判断された場合には、前記場所のうち照合の成功した場所に移動させること
を特徴とする請求項２２記載の照合環境判定プログラム。
【請求項２４】
前記移動処理において、前記判断処理で前記照明環境状態が照合に適さないと判断された場合には、前記場所のうち照合の成功した頻度の高い場所に移動させること
を特徴とする請求項２２記載の照合環境判定プログラム。
【請求項２５】
前記移動処理において、前記判断処理で前記照明環境状態が照合に適さないと判断された場合には、前記場所のうち現在の場所より照合の成功した頻度の高い場所に移動させること
を特徴とする請求項２２記載の照合環境判定プログラム。
【請求項２６】
前記判断処理は、
前記顔検出照合処理で検出された顔領域の画像の画素値の分散と、前記顔検出照合手段で検出された顔領域の輝度値の平均とその外側近傍領域の輝度値の平均の比と、画像全体の輝度値の平均と、の少なくとも１つを照明環境状態を判定する判断材料とすること
を特徴とする請求項２１から２５の何れか一項に記載の照合環境判定プログラム。
【請求項２７】
部屋の照明装置と連動してその部屋の照明が点灯しているかどうかを検出する照明装置状態観測手段を用いて部屋の照明環境状態を観測するロボット状態観測処理を有し、
前記判断処理は、その部屋の照明がついているかどうかを照明環境状態のカテゴリ分けをする際の基準量の１つとすること
を特徴とする請求項２１から２５の何れか１項に記載の照合環境判定プログラム。
【請求項２８】
部屋のカーテンと連動してその部屋のカーテンが開いているかどうかを検出するカーテン状態観測手段を用いて部屋のカーテンの開閉状態を観測するロボット状態観測処理を有し、
前記判断処理は、その部屋のカーテンが開いているどうかを照明環境状態のカテゴリ分けをする際の基準量の１つとすること
を特徴とする請求項２１から２５の何れか１項に記載の照合環境判定プログラム。
【請求項２９】
前記判断処理は、照合を行おうとするときの時刻を照明環境状態のカテゴリ分けをする際の基準量の１つとすること
を特徴とする請求項２１から２５の何れか１項に記載の照合環境判定プログラム。
【請求項３０】
ロボット装置の部屋内での位置を観測するロボット状態観測処理を有し、
前記判断処理は、照合を行おうとするときのロボット装置の部屋内での位置を照明環境状態のカテゴリ分けをする際の基準量の１つとすること
を特徴とする請求項２１から２５の何れか１項に記載の照合環境判定プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【公開番号】特開２００８−２４３２１７（Ｐ２００８−２４３２１７Ａ）
【公開日】平成２０年１０月９日（２００８．１０．９）
【国際特許分類】
【出願番号】特願２００８−１１０８７０（Ｐ２００８−１１０８７０）
【出願日】平成２０年４月２２日（２００８．４．２２）
【分割の表示】特願２００２−１７６４２（Ｐ２００２−１７６４２）の分割
【原出願日】平成１４年１月２５日（２００２．１．２５）
【出願人】（０００００４２３７）日本電気株式会社 (19,353)
【Ｆターム（参考）】
【公開日】平成２０年１０月９日（２００８．１０．９）
【国際特許分類】
【出願日】平成２０年４月２２日（２００８．４．２２）
【分割の表示】特願２００２−１７６４２（Ｐ２００２−１７６４２）の分割
【原出願日】平成１４年１月２５日（２００２．１．２５）
【出願人】（０００００４２３７）日本電気株式会社 (19,353)
【Ｆターム（参考）】
[ Back to top ]