情報処理装置、情報処理方法、およびプログラム
【課題】識別対象画像の被写体が登録済みの被写体のいずれであるかを判別する際の精度を向上させる。
【解決手段】輝度レベル飽和処理部２１は、登録用元画像に対して、露出過多で撮像された状態を再現するための画像処理を行うことにより登録用画像を生成する。反対に、輝度レベル間引き処理部２２は、登録用元画像に対して、露出不足で撮像された状態を再現するための画像処理を行うことにより登録用画像を生成する。本発明は、顔判別などの画像識別装置に適用できる。
【解決手段】輝度レベル飽和処理部２１は、登録用元画像に対して、露出過多で撮像された状態を再現するための画像処理を行うことにより登録用画像を生成する。反対に、輝度レベル間引き処理部２２は、登録用元画像に対して、露出不足で撮像された状態を再現するための画像処理を行うことにより登録用画像を生成する。本発明は、顔判別などの画像識別装置に適用できる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法、およびプログラムに関し、特に、例えば、撮像された被写体を識別する場合に用いて好適な情報処理装置、情報処理方法、およびプログラムに関する。
【背景技術】
【０００２】
従来、識別対象とする人物の顔を撮像し、その結果得られる画像に基づいて、その人物が誰であるのかを判別する顔識別技術が存在する。
【０００３】
図１は、従来存在する顔識別技術の一連の動作（以下、顔識別処理と称する）を説明するフローチャートである。
【０００４】
顔識別処理は、識別対象となり得る人物（登録人物）の顔を予め登録する登録フェーズと、識別対象とする人物の顔を判別する判別フェーズとからなり、以下に説明するステップＳ１乃至Ｓ３の処理が登録フェーズ、ステップＳ４乃至Ｓ７の処理が判別フェーズである。
【０００５】
登録フェーズであるステップＳ１においては、各登録人物の顔が様々な撮像条件の下で複数の登録用画像が撮像される。ここで、様々な撮像条件とは、照明の位置や照度を変化させたものを指す。様々な撮像条件の中には、人物の顔が適切な輝度で撮像される、最適な撮像される照明の位置や照度を示す撮像条件もあるが、例えば、逆光となって人物の顔の輝度が不足してしまったり、反対に、人物の顔の輝度が飽和したりしてしまう不適切な撮像条件も含まれる。
【０００６】
ステップＳ２においては、複数の登録用画像の特徴量が抽出される。ステップＳ３では、複数の登録用画像から抽出された特徴量が各登録人物に対応付けて、データベースに蓄積される。
【０００７】
判別フェーズであるステップＳ４においては、識別対象とする人物の顔が撮像されて識別対象画像が生成される。ステップＳ５においては、識別対象画像の特徴量が抽出される。
【０００８】
ステップＳ６においては、識別対象画像の特徴量と、データベースに登録済みの登録用画像の特徴量との類似度が算出される。ステップＳ７においては、算出された類似度に基づいて識別対象画像の人物が登録人物のうちの誰であるかが判別される（登録人物の誰にも判別されないこともある）。
【０００９】
上述したように、登録フェーズにおいて、不適切な撮像条件の下で撮像した登録画像の特徴量も登録することにより、判別フェーズにおいて、識別対象とする人物の顔の撮像が不適切な撮像条件の下で行われたとしても、その顔を判別することが可能となる。
【００１０】
ただし、上述した顔識別処理では、登録フェーズにおいて、同一の登録人物に対して様々な撮像条件の下で複数回撮像を行わなければならず、この処理が面倒である。
【００１１】
そこで、登録人物を１回のみ撮像し、その結果得られた画像に対して様々な補正を行うことにより複数の登録用画像を得る方法も提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】特開２００８−２５１０３９号公報
【発明の概要】
【発明が解決しようとする課題】
【００１３】
上述したように、撮像して得られた画像を補正することにより複数の登録用画像を得ることは従来提案されているものの、具体的には、補正により、単に画像全体を明るくしたり、暗くしたりしているに過ぎない。
【００１４】
また、判別フェーズでの判別精度を上げるためには、識別対象画像を撮像する撮像部（カメラ）の特性なども考慮した補正により登録用画像を生成すべきであるが、現状、そのような方法は提案されていない。
【００１５】
本発明はこのような状況に鑑みてなされたものであり、識別対象画像を撮像する撮像部（カメラ）の特性に基づく補正により登録用画像を生成することにより、判別フェーズでの判別精度を向上させるようにするものである。
【課題を解決するための手段】
【００１６】
本発明の一側面である情報処理装置は、撮像部の撮像特性に基づき、登録する被写体が撮像されている登録用元画像を元にして、撮像時の異なる複数の照明条件が想定された複数の登録用画像を生成する登録用画像生成手段と、前記識別対象とする被写体が撮像されている識別対象画像および前記複数の登録用画像のそれぞれの特徴量を抽出する特徴量抽出手段と、前記識別対象画像の特徴量と、前記複数の登録用画像の特徴量との類似度に基づき、前記識別対象画像の被写体を識別する識別手段とを含む。
【００１７】
前記登録用画像生成手段は、前記撮像特性に基づき、登録する被写体が撮像されている登録用元画像を元にして、撮像時の露光過多が想定された飽和処理により前記登録用画像を生成することができる。
【００１８】
前記撮像特性は、前記撮像部におけるγ補正のパラメータ、またはニー補正における閾値の少なくとも一方を含むことができる。
【００１９】
前記登録用画像生成手段は、さらに、登録する被写体が撮像されている登録用元画像を元にして、撮像時の露光不足が想定された間引き処理により前記登録用画像を生成することができる。
【００２０】
本発明の一側面である情報処理装置は、登録または識別の対象とする被写体を撮像する前記撮像部から前記撮像特性を取得する取得手段をさらに含むことができる。
【００２１】
本発明の一側面である情報処理装置は、登録または識別の対象とする被写体を撮像する前記撮像部の前記撮像特性を予め保持する保持手段をさらに含むことができる。
【００２２】
本発明の一側面である情報処理方法は、情報処理装置による、撮像部の撮像特性に基づき、登録する被写体が撮像されている登録用元画像を元にして、撮像時の異なる複数の照明条件が想定された複数の登録用画像を生成する登録用画像生成ステップと、前記複数の登録用画像のそれぞれの特徴量を抽出する第１の特徴量抽出ステップと、前記識別対象とする被写体が撮像されている識別対象画像の特徴量を抽出する第２の特徴量抽出ステップと、前記識別対象画像の特徴量と、前記複数の登録用画像の特徴量との類似度に基づき、前記識別対象画像の被写体を識別する識別ステップとを含む。
【００２３】
本発明の一側面であるプログラムは、コンピュータを、撮像部の撮像特性に基づき、登録する被写体が撮像されている登録用元画像を元にして、撮像時の異なる複数の照明条件が想定された複数の登録用画像を生成する登録用画像生成手段と、前記識別対象とする被写体が撮像されている識別対象画像および前記複数の登録用画像のそれぞれの特徴量を抽出する特徴量抽出手段と、前記識別対象画像の特徴量と、前記複数の登録用画像の特徴量との類似度に基づき、前記識別対象画像の被写体を識別する識別手段として機能させる。
【００２４】
本発明の一側面においては、撮像部の撮像特性に基づき、登録する被写体が撮像されている登録用元画像を元にして、撮像時の異なる複数の照明条件が想定された複数の登録用画像が生成される。また、識別対象とする被写体が撮像されている識別対象画像および複数の登録用画像のそれぞれの特徴量が抽出され、識別対象画像の特徴量と、複数の登録用画像の特徴量との類似度に基づき、識別対象画像の被写体が識別される。
【発明の効果】
【００２５】
本発明の一側面によれば、判別フェーズでの判別精度を向上させることができる。
【図面の簡単な説明】
【００２６】
【図１】従来の顔識別処理を説明するフローチャートである。
【図２】本発明を適用した画像識別装置の構成例を示すブロック図である。
【図３】図２の登録用画像生成部の詳細な構成例を示すブロック図である。
【図４】露出過多、または露出不足で撮像された状態を説明したための図である。
【図５】ニー補正に基づいて飽和処理を説明するための図である。
【図６】γ補正に基づいて飽和処理を説明するための図である。
【図７】ディテール処理を説明するための図である。
【図８】本発明を適用した顔識別処理を説明するフローチャートである。
【図９】コンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００２７】
以下、発明を実施するための最良の形態（以下、実施の形態と称する）について、図面を参照しながら詳細に説明する。なお、説明は、以下の順序で行なう。
【００２８】
＜１．実施の形態＞
［画像識別装置の構成例］
図２は、本発明の実施の形態である画像識別装置の構成例を示している。
【００２９】
この画像識別装置１０は、登録フェーズにおいて、登録する被写体（例えば、人物の顔）を撮像し、その結果得られた画像に所定の画像処理を施して複数の登録用画像を生成し、複数の登録用画像の特徴量を抽出してデータベースに蓄積する。または、画像識別装置１０は、判別フェーズにおいて、識別対象画像の被写体が、予め登録されている被写体のいずれと同一であるかを識別する。
【００３０】
画像識別装置１０は、撮像部１１、撮像特性取得部１２、登録用画像生成部１３、特徴量抽出部１４、登録用画像ＤＢ（データベース）１５、類似度計算部１６、および判別部１７から構成される。
【００３１】
撮像部１１は、例えばデジタルカメラから成り、登録フェーズにおいては、登録する被写体をモノクロ撮像し、その結果得られる輝度画像（以下、登録用元画像と称する）を登録用画像生成部１３に出力する。また、判別フェーズにおいては、識別対象とする被写体をモノクロ撮像し、その結果得られる輝度画像（以下、識別対象画像と称する）を特徴量抽出部１４に出力する。なお、撮像部１１にて被写体をカラー撮像し、その画素のうちの輝度成分にのみ着目するようにしてもよい。
【００３２】
撮像特性取得部１２は、撮像部１１の撮像特性、具体的には、撮像された画像を解析することにより、γ補正におけるパラメータや、ニー補正におけるニー補正閾値などを取得して登録用画像生成部１３に通知する。
【００３３】
なお、予め取得または推測した撮像部１１の撮像特性を、登録用画像生成部１３の内部に設けたメモリ（不図示）などに保持しておくようにしてもよい。この場合、撮像特性取得部１２が撮像部１１から撮像特性を取得できないときに、保持されている撮像特性を用いるようにすればよいし、あるいは、撮像特性取得部１２を省略するようにしてもよい。さらに、撮像部１１が出力する画像のフォーマットに依存するが、撮像特性を画像のプロパティ情報から読み出すようにしてもよい。
【００３４】
登録用画像生成部１３は、通知される撮像部１１の撮像特性に基づき、撮像部１１から入力される登録用元画像に所定の画像処理を行い、その結果得られる複数の登録用画像を特徴量抽出部１４に出力する。また、登録用画像生成部１３は、入力される登録用元画像もそのまま登録用画像として特徴量抽出部１４に出力する。
【００３５】
特徴量抽出部１４は、登録フェーズにおいて、登録用画像生成部１３から入力される複数の登録用画像の特徴量を抽出して登録用画像ＤＢ１５に出力する。また、特徴量抽出部１４は、判別フェーズにおいて、撮像部１１から入力される識別対象画像の特徴量を抽出して類似度計算部１６に出力する。なお、特徴量の抽出方法については任意である。
【００３６】
登録用画像ＤＢ１５は、登録する被写体の識別情報に対し、対応する複数の登録用画像から抽出された特徴量を対応付けて登録する。
【００３７】
類似度計算部１６は、判別フェーズにおいて、識別対象画像の特徴量と、登録用画像ＤＢ１５に登録されている各登録用画像のとの類似度を算出して判別部１７に出力する。ここで、類似度は、例えば特徴量が多次元ベクトルによって表現される場合には、両者の距離により表現することができる。
【００３８】
判別部１７は、類似度計算部１６により算出される類似度に基づき、識別対象画像の被写体が、予め登録されている被写体のいずれと同一であるかを判別する。
【００３９】
［登録用画像生成部１３の詳細な構成例］
図３は、登録用画像生成部１３の詳細な構成例を示している。
【００４０】
登録用画像生成部１３は、輝度レベル飽和処理部２１、輝度レベル間引き処理部２２、および輝度レベルディテール処理部２３から構成される。
【００４１】
輝度レベル飽和処理部２１は、登録用元画像に対して、露出過多で撮像された状態を再現するための画像処理を行うことにより登録用画像を生成する。反対に、輝度レベル間引き処理部２２は、登録用元画像に対して、露出不足で撮像された状態を再現するための画像処理を行うことにより登録用画像を生成する。
【００４２】
図４は、露出過多で撮像された状態、および露出不足で撮像された状態を示している。以下、同図に示されるように、人の顔を撮像し、その目付近のx方向ラインに注目した場合を例にして説明する。
【００４３】
撮像時の露出が適正である場合、その輝度は、許容されている範囲（例えば、８ビットの場合には０乃至２５５）に分散して配置される。しかしながら、その撮像時に露出過多であると、その輝度は、全体的に大きな値となり、画素によっては最大値（例えば、８ビットの場合には２５５）に飽和してしまうことになる。反対に、その撮像時に露出不足であると、その輝度は、全体的に小さな値となり、各画素の輝度の差が小さくなる、すなわち、量子化誤差が生じてしまうことになる。
【００４４】
そこで、輝度レベル飽和処理部２１では、撮像部１１の撮像特性に基づいて、登録用元画像の輝度を増加させ、輝度に許容されている最大値（例えば、８ビットの場合には２５５）を超える画素については最大値に置換することにより登録用画像を生成する。なお、登録用元画像の輝度を増加させる程度を変化させることにより、飽和している画素の面積が異なる、露出過多が再現された複数の登録用画像を生成するようにしてもよい。
【００４５】
具体的には、撮像部１１において、図５に示すように、ニー補正閾値を越える高輝度域を圧縮するニー補正が行われている場合、曲線ａで示される登録用元画像の輝度を、曲線ｂで示されるまで増加させ、ニー補正閾値を越えた輝度についてその値を圧縮して曲線ｂ’に示す登録用画像を生成する。また、曲線ａで示される登録用元画像の輝度を、曲線ｃで示されるまで増加させ、ニー補正閾値を越えた輝度についてその値を圧縮し、さらに最大値を超える輝度については最大値に置換して曲線ｃ’に示す登録用画像を生成する。
【００４６】
また、撮像部１１において、図６に示すように、γ補正が行われている場合には、登録用元画像の輝度を増加させた後、γ補正を行って登録用画像を生成する。また、曲線ａで示される登録用元画像の輝度を、曲線ｃで示されるまで増加させ、ニー補正閾値を越えた輝度についてその値を圧縮し、さらに最大値を超える輝度については最大値に置換して曲線ｃ’に示す登録用画像を生成する。
【００４７】
図３に戻る。輝度レベル間引き処理部２２では、登録用元画像の輝度の上位ビットを間引くことにより、輝度を低減させて、意図的に量子化誤差が生じている登録用画像を生成する。なお、登録用元画像の輝度を上位ビット側から１ビットだけ間引いた登録用画像、２ビットだけ間引いた登録用画像、３ビットだけ間引いた登録用画像などの、露出不足が再現された複数の登録用画像を生成するようにしてもよい。
【００４８】
輝度レベルディテール処理部２３は、登録用元画像に対し、例えば図７に示されるような輝度のエッジを強調する処理を施して登録用画像を生成する。
【００４９】
輝度レベル飽和処理部２１、輝度レベル間引き処理部２２、および輝度レベルディテール処理部２３にて生成された各登録用画像は、特徴量抽出部１４に出力される。
【００５０】
なお、さらに、登録用画像生成部１３において、ピントが合っていないまま撮像された状態を再現するための画像処理を行うことにより登録用画像を生成するようにしてもよい。
［動作説明］
次に、画像識別装置１０の動作について図８を参照して説明する。図８は、画像識別装置１０による顔識別処理を説明するフローチャートである。
【００５１】
この顔識別処理は、識別対象となり得る人物（登録人物）の顔を予め登録する登録フェーズと、識別対象とする人物の顔を識別する判別フェーズとからなり、以下に説明するステップＳ２１乃至Ｓ２５の処理が登録フェーズ、ステップＳ２６乃至Ｓ２９の処理が判別フェーズである。
【００５２】
登録フェーズであるステップＳ２１において、撮像特性取得部１２は、撮像部１１の撮像特性を取得して登録用画像生成部１３に通知する。
【００５３】
ステップＳ２２において、撮像部１１は、各登録人物の顔を撮像し、その結果得られた登録用元画像を登録用画像生成部１３に出力する。
【００５４】
ステップＳ２３において、登録用画像生成部１３は、通知された撮像部１１の撮像特性に基づき、撮像部１１から入力された登録用元画像を元にして複数の登録用画像を特徴量抽出部１４に出力する。また、登録用元画像もそのまま登録用画像として特徴量抽出部１４に出力する。
【００５５】
ステップＳ２４において、特徴量抽出部１４は、複数の登録用画像からそれぞれの特徴量を抽出して登録用データベースＤＢ１５に出力する。ステップＳ２５において、登録用画像ＤＢ１５は、登録する被写体の識別情報に対し、対応する複数の登録用画像から抽出された特徴量を対応付けて登録する。
【００５６】
判別フェーズであるステップＳ２６において、撮像部１１は、識別対象とする人物の顔を撮像し、その結果得られた識別対象画像を特徴量抽出部１４に出力する。ステップＳ２７において、特徴量抽出部１４は、識別対象画像の特徴量を抽出して類似度計算部１６に出力する。
【００５７】
ステップＳ２８において、類似度計算部１６は、登録用データベースＤＢ１５を参照し、識別対象画像の特徴量と、登録用データベースＤＢ１５に登録済みの各登録用画像の特徴量との類似度を算出して判別部１７に出力する。ステップＳ２９において、判別部１７は、算出された類似度に基づいて、識別対象画像の人物が登録人物のうちの誰であるかを判別する。以上で、顔識別処理は終了される。
【００５８】
上述した顔識別処理によれば、撮像特性を考慮して、登録用元画像から複数の登録用画像を生成しているので、仮に識別対象画像を撮像するときに露出過多であったり、反対に露出不足であったりしても、判別精度を低下させることなく、識別対象画像の人物を判別することができる。
【００５９】
なお、本実施の形態においては、登録フェーズにおいて、登録用元画像から複数の登録用画像を生成しその特徴量を計算して登録するようにしたが、登録フェーズにおいて、登録用元画像のみの特徴量を計算して登録するようにし、識別フェーズにおいて、登録用元画像から複数の登録用画像を生成しその特徴量を計算するようにしてもよい。
【００６０】
また、本実施の形態においては、人の顔を識別対象としたが、識別対象はこれに限るものではなく任意である。
【００６１】
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどに、プログラム記録媒体からインストールされる。
【００６２】
図９は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【００６３】
このコンピュータ１００において、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。
【００６４】
バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、キーボード、マウス、マイクロホンなどよりなる入力部１０６、ディスプレイ、スピーカなどよりなる出力部１０７、ハードディスクや不揮発性のメモリなどよりなる記憶部１０８、ネットワークインタフェースなどよりなる通信部１０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア１１１を駆動するドライブ１１０が接続されている。
【００６５】
以上のように構成されるコンピュータ１００では、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５およびバス１０４を介して、RAM１０３にロードして実行することにより、上述した一連の処理が行われる。
【００６６】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであってもよいし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであってもよい。
【００６７】
また、プログラムは、１台のコンピュータにより処理されるものであってもよいし、複数のコンピュータによって分散処理されるものであってもよい。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであってもよい。
【００６８】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【００６９】
１０ 画像識別装置， １１ 撮像部， １２ 撮像特性取得部， １３ 登録用画像生成部， １４ 特徴量抽出部， １５ 登録用画像ＤＢ， １６ 類似度計算部， １７ 判別部， ２１ 輝度レベル飽和処理部， ２２ 輝度レベル間引き処理部， ２３ 輝度レベルディテール処理部
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法、およびプログラムに関し、特に、例えば、撮像された被写体を識別する場合に用いて好適な情報処理装置、情報処理方法、およびプログラムに関する。
【背景技術】
【０００２】
従来、識別対象とする人物の顔を撮像し、その結果得られる画像に基づいて、その人物が誰であるのかを判別する顔識別技術が存在する。
【０００３】
図１は、従来存在する顔識別技術の一連の動作（以下、顔識別処理と称する）を説明するフローチャートである。
【０００４】
顔識別処理は、識別対象となり得る人物（登録人物）の顔を予め登録する登録フェーズと、識別対象とする人物の顔を判別する判別フェーズとからなり、以下に説明するステップＳ１乃至Ｓ３の処理が登録フェーズ、ステップＳ４乃至Ｓ７の処理が判別フェーズである。
【０００５】
登録フェーズであるステップＳ１においては、各登録人物の顔が様々な撮像条件の下で複数の登録用画像が撮像される。ここで、様々な撮像条件とは、照明の位置や照度を変化させたものを指す。様々な撮像条件の中には、人物の顔が適切な輝度で撮像される、最適な撮像される照明の位置や照度を示す撮像条件もあるが、例えば、逆光となって人物の顔の輝度が不足してしまったり、反対に、人物の顔の輝度が飽和したりしてしまう不適切な撮像条件も含まれる。
【０００６】
ステップＳ２においては、複数の登録用画像の特徴量が抽出される。ステップＳ３では、複数の登録用画像から抽出された特徴量が各登録人物に対応付けて、データベースに蓄積される。
【０００７】
判別フェーズであるステップＳ４においては、識別対象とする人物の顔が撮像されて識別対象画像が生成される。ステップＳ５においては、識別対象画像の特徴量が抽出される。
【０００８】
ステップＳ６においては、識別対象画像の特徴量と、データベースに登録済みの登録用画像の特徴量との類似度が算出される。ステップＳ７においては、算出された類似度に基づいて識別対象画像の人物が登録人物のうちの誰であるかが判別される（登録人物の誰にも判別されないこともある）。
【０００９】
上述したように、登録フェーズにおいて、不適切な撮像条件の下で撮像した登録画像の特徴量も登録することにより、判別フェーズにおいて、識別対象とする人物の顔の撮像が不適切な撮像条件の下で行われたとしても、その顔を判別することが可能となる。
【００１０】
ただし、上述した顔識別処理では、登録フェーズにおいて、同一の登録人物に対して様々な撮像条件の下で複数回撮像を行わなければならず、この処理が面倒である。
【００１１】
そこで、登録人物を１回のみ撮像し、その結果得られた画像に対して様々な補正を行うことにより複数の登録用画像を得る方法も提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】特開２００８−２５１０３９号公報
【発明の概要】
【発明が解決しようとする課題】
【００１３】
上述したように、撮像して得られた画像を補正することにより複数の登録用画像を得ることは従来提案されているものの、具体的には、補正により、単に画像全体を明るくしたり、暗くしたりしているに過ぎない。
【００１４】
また、判別フェーズでの判別精度を上げるためには、識別対象画像を撮像する撮像部（カメラ）の特性なども考慮した補正により登録用画像を生成すべきであるが、現状、そのような方法は提案されていない。
【００１５】
本発明はこのような状況に鑑みてなされたものであり、識別対象画像を撮像する撮像部（カメラ）の特性に基づく補正により登録用画像を生成することにより、判別フェーズでの判別精度を向上させるようにするものである。
【課題を解決するための手段】
【００１６】
本発明の一側面である情報処理装置は、撮像部の撮像特性に基づき、登録する被写体が撮像されている登録用元画像を元にして、撮像時の異なる複数の照明条件が想定された複数の登録用画像を生成する登録用画像生成手段と、前記識別対象とする被写体が撮像されている識別対象画像および前記複数の登録用画像のそれぞれの特徴量を抽出する特徴量抽出手段と、前記識別対象画像の特徴量と、前記複数の登録用画像の特徴量との類似度に基づき、前記識別対象画像の被写体を識別する識別手段とを含む。
【００１７】
前記登録用画像生成手段は、前記撮像特性に基づき、登録する被写体が撮像されている登録用元画像を元にして、撮像時の露光過多が想定された飽和処理により前記登録用画像を生成することができる。
【００１８】
前記撮像特性は、前記撮像部におけるγ補正のパラメータ、またはニー補正における閾値の少なくとも一方を含むことができる。
【００１９】
前記登録用画像生成手段は、さらに、登録する被写体が撮像されている登録用元画像を元にして、撮像時の露光不足が想定された間引き処理により前記登録用画像を生成することができる。
【００２０】
本発明の一側面である情報処理装置は、登録または識別の対象とする被写体を撮像する前記撮像部から前記撮像特性を取得する取得手段をさらに含むことができる。
【００２１】
本発明の一側面である情報処理装置は、登録または識別の対象とする被写体を撮像する前記撮像部の前記撮像特性を予め保持する保持手段をさらに含むことができる。
【００２２】
本発明の一側面である情報処理方法は、情報処理装置による、撮像部の撮像特性に基づき、登録する被写体が撮像されている登録用元画像を元にして、撮像時の異なる複数の照明条件が想定された複数の登録用画像を生成する登録用画像生成ステップと、前記複数の登録用画像のそれぞれの特徴量を抽出する第１の特徴量抽出ステップと、前記識別対象とする被写体が撮像されている識別対象画像の特徴量を抽出する第２の特徴量抽出ステップと、前記識別対象画像の特徴量と、前記複数の登録用画像の特徴量との類似度に基づき、前記識別対象画像の被写体を識別する識別ステップとを含む。
【００２３】
本発明の一側面であるプログラムは、コンピュータを、撮像部の撮像特性に基づき、登録する被写体が撮像されている登録用元画像を元にして、撮像時の異なる複数の照明条件が想定された複数の登録用画像を生成する登録用画像生成手段と、前記識別対象とする被写体が撮像されている識別対象画像および前記複数の登録用画像のそれぞれの特徴量を抽出する特徴量抽出手段と、前記識別対象画像の特徴量と、前記複数の登録用画像の特徴量との類似度に基づき、前記識別対象画像の被写体を識別する識別手段として機能させる。
【００２４】
本発明の一側面においては、撮像部の撮像特性に基づき、登録する被写体が撮像されている登録用元画像を元にして、撮像時の異なる複数の照明条件が想定された複数の登録用画像が生成される。また、識別対象とする被写体が撮像されている識別対象画像および複数の登録用画像のそれぞれの特徴量が抽出され、識別対象画像の特徴量と、複数の登録用画像の特徴量との類似度に基づき、識別対象画像の被写体が識別される。
【発明の効果】
【００２５】
本発明の一側面によれば、判別フェーズでの判別精度を向上させることができる。
【図面の簡単な説明】
【００２６】
【図１】従来の顔識別処理を説明するフローチャートである。
【図２】本発明を適用した画像識別装置の構成例を示すブロック図である。
【図３】図２の登録用画像生成部の詳細な構成例を示すブロック図である。
【図４】露出過多、または露出不足で撮像された状態を説明したための図である。
【図５】ニー補正に基づいて飽和処理を説明するための図である。
【図６】γ補正に基づいて飽和処理を説明するための図である。
【図７】ディテール処理を説明するための図である。
【図８】本発明を適用した顔識別処理を説明するフローチャートである。
【図９】コンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００２７】
以下、発明を実施するための最良の形態（以下、実施の形態と称する）について、図面を参照しながら詳細に説明する。なお、説明は、以下の順序で行なう。
【００２８】
＜１．実施の形態＞
［画像識別装置の構成例］
図２は、本発明の実施の形態である画像識別装置の構成例を示している。
【００２９】
この画像識別装置１０は、登録フェーズにおいて、登録する被写体（例えば、人物の顔）を撮像し、その結果得られた画像に所定の画像処理を施して複数の登録用画像を生成し、複数の登録用画像の特徴量を抽出してデータベースに蓄積する。または、画像識別装置１０は、判別フェーズにおいて、識別対象画像の被写体が、予め登録されている被写体のいずれと同一であるかを識別する。
【００３０】
画像識別装置１０は、撮像部１１、撮像特性取得部１２、登録用画像生成部１３、特徴量抽出部１４、登録用画像ＤＢ（データベース）１５、類似度計算部１６、および判別部１７から構成される。
【００３１】
撮像部１１は、例えばデジタルカメラから成り、登録フェーズにおいては、登録する被写体をモノクロ撮像し、その結果得られる輝度画像（以下、登録用元画像と称する）を登録用画像生成部１３に出力する。また、判別フェーズにおいては、識別対象とする被写体をモノクロ撮像し、その結果得られる輝度画像（以下、識別対象画像と称する）を特徴量抽出部１４に出力する。なお、撮像部１１にて被写体をカラー撮像し、その画素のうちの輝度成分にのみ着目するようにしてもよい。
【００３２】
撮像特性取得部１２は、撮像部１１の撮像特性、具体的には、撮像された画像を解析することにより、γ補正におけるパラメータや、ニー補正におけるニー補正閾値などを取得して登録用画像生成部１３に通知する。
【００３３】
なお、予め取得または推測した撮像部１１の撮像特性を、登録用画像生成部１３の内部に設けたメモリ（不図示）などに保持しておくようにしてもよい。この場合、撮像特性取得部１２が撮像部１１から撮像特性を取得できないときに、保持されている撮像特性を用いるようにすればよいし、あるいは、撮像特性取得部１２を省略するようにしてもよい。さらに、撮像部１１が出力する画像のフォーマットに依存するが、撮像特性を画像のプロパティ情報から読み出すようにしてもよい。
【００３４】
登録用画像生成部１３は、通知される撮像部１１の撮像特性に基づき、撮像部１１から入力される登録用元画像に所定の画像処理を行い、その結果得られる複数の登録用画像を特徴量抽出部１４に出力する。また、登録用画像生成部１３は、入力される登録用元画像もそのまま登録用画像として特徴量抽出部１４に出力する。
【００３５】
特徴量抽出部１４は、登録フェーズにおいて、登録用画像生成部１３から入力される複数の登録用画像の特徴量を抽出して登録用画像ＤＢ１５に出力する。また、特徴量抽出部１４は、判別フェーズにおいて、撮像部１１から入力される識別対象画像の特徴量を抽出して類似度計算部１６に出力する。なお、特徴量の抽出方法については任意である。
【００３６】
登録用画像ＤＢ１５は、登録する被写体の識別情報に対し、対応する複数の登録用画像から抽出された特徴量を対応付けて登録する。
【００３７】
類似度計算部１６は、判別フェーズにおいて、識別対象画像の特徴量と、登録用画像ＤＢ１５に登録されている各登録用画像のとの類似度を算出して判別部１７に出力する。ここで、類似度は、例えば特徴量が多次元ベクトルによって表現される場合には、両者の距離により表現することができる。
【００３８】
判別部１７は、類似度計算部１６により算出される類似度に基づき、識別対象画像の被写体が、予め登録されている被写体のいずれと同一であるかを判別する。
【００３９】
［登録用画像生成部１３の詳細な構成例］
図３は、登録用画像生成部１３の詳細な構成例を示している。
【００４０】
登録用画像生成部１３は、輝度レベル飽和処理部２１、輝度レベル間引き処理部２２、および輝度レベルディテール処理部２３から構成される。
【００４１】
輝度レベル飽和処理部２１は、登録用元画像に対して、露出過多で撮像された状態を再現するための画像処理を行うことにより登録用画像を生成する。反対に、輝度レベル間引き処理部２２は、登録用元画像に対して、露出不足で撮像された状態を再現するための画像処理を行うことにより登録用画像を生成する。
【００４２】
図４は、露出過多で撮像された状態、および露出不足で撮像された状態を示している。以下、同図に示されるように、人の顔を撮像し、その目付近のx方向ラインに注目した場合を例にして説明する。
【００４３】
撮像時の露出が適正である場合、その輝度は、許容されている範囲（例えば、８ビットの場合には０乃至２５５）に分散して配置される。しかしながら、その撮像時に露出過多であると、その輝度は、全体的に大きな値となり、画素によっては最大値（例えば、８ビットの場合には２５５）に飽和してしまうことになる。反対に、その撮像時に露出不足であると、その輝度は、全体的に小さな値となり、各画素の輝度の差が小さくなる、すなわち、量子化誤差が生じてしまうことになる。
【００４４】
そこで、輝度レベル飽和処理部２１では、撮像部１１の撮像特性に基づいて、登録用元画像の輝度を増加させ、輝度に許容されている最大値（例えば、８ビットの場合には２５５）を超える画素については最大値に置換することにより登録用画像を生成する。なお、登録用元画像の輝度を増加させる程度を変化させることにより、飽和している画素の面積が異なる、露出過多が再現された複数の登録用画像を生成するようにしてもよい。
【００４５】
具体的には、撮像部１１において、図５に示すように、ニー補正閾値を越える高輝度域を圧縮するニー補正が行われている場合、曲線ａで示される登録用元画像の輝度を、曲線ｂで示されるまで増加させ、ニー補正閾値を越えた輝度についてその値を圧縮して曲線ｂ’に示す登録用画像を生成する。また、曲線ａで示される登録用元画像の輝度を、曲線ｃで示されるまで増加させ、ニー補正閾値を越えた輝度についてその値を圧縮し、さらに最大値を超える輝度については最大値に置換して曲線ｃ’に示す登録用画像を生成する。
【００４６】
また、撮像部１１において、図６に示すように、γ補正が行われている場合には、登録用元画像の輝度を増加させた後、γ補正を行って登録用画像を生成する。また、曲線ａで示される登録用元画像の輝度を、曲線ｃで示されるまで増加させ、ニー補正閾値を越えた輝度についてその値を圧縮し、さらに最大値を超える輝度については最大値に置換して曲線ｃ’に示す登録用画像を生成する。
【００４７】
図３に戻る。輝度レベル間引き処理部２２では、登録用元画像の輝度の上位ビットを間引くことにより、輝度を低減させて、意図的に量子化誤差が生じている登録用画像を生成する。なお、登録用元画像の輝度を上位ビット側から１ビットだけ間引いた登録用画像、２ビットだけ間引いた登録用画像、３ビットだけ間引いた登録用画像などの、露出不足が再現された複数の登録用画像を生成するようにしてもよい。
【００４８】
輝度レベルディテール処理部２３は、登録用元画像に対し、例えば図７に示されるような輝度のエッジを強調する処理を施して登録用画像を生成する。
【００４９】
輝度レベル飽和処理部２１、輝度レベル間引き処理部２２、および輝度レベルディテール処理部２３にて生成された各登録用画像は、特徴量抽出部１４に出力される。
【００５０】
なお、さらに、登録用画像生成部１３において、ピントが合っていないまま撮像された状態を再現するための画像処理を行うことにより登録用画像を生成するようにしてもよい。
［動作説明］
次に、画像識別装置１０の動作について図８を参照して説明する。図８は、画像識別装置１０による顔識別処理を説明するフローチャートである。
【００５１】
この顔識別処理は、識別対象となり得る人物（登録人物）の顔を予め登録する登録フェーズと、識別対象とする人物の顔を識別する判別フェーズとからなり、以下に説明するステップＳ２１乃至Ｓ２５の処理が登録フェーズ、ステップＳ２６乃至Ｓ２９の処理が判別フェーズである。
【００５２】
登録フェーズであるステップＳ２１において、撮像特性取得部１２は、撮像部１１の撮像特性を取得して登録用画像生成部１３に通知する。
【００５３】
ステップＳ２２において、撮像部１１は、各登録人物の顔を撮像し、その結果得られた登録用元画像を登録用画像生成部１３に出力する。
【００５４】
ステップＳ２３において、登録用画像生成部１３は、通知された撮像部１１の撮像特性に基づき、撮像部１１から入力された登録用元画像を元にして複数の登録用画像を特徴量抽出部１４に出力する。また、登録用元画像もそのまま登録用画像として特徴量抽出部１４に出力する。
【００５５】
ステップＳ２４において、特徴量抽出部１４は、複数の登録用画像からそれぞれの特徴量を抽出して登録用データベースＤＢ１５に出力する。ステップＳ２５において、登録用画像ＤＢ１５は、登録する被写体の識別情報に対し、対応する複数の登録用画像から抽出された特徴量を対応付けて登録する。
【００５６】
判別フェーズであるステップＳ２６において、撮像部１１は、識別対象とする人物の顔を撮像し、その結果得られた識別対象画像を特徴量抽出部１４に出力する。ステップＳ２７において、特徴量抽出部１４は、識別対象画像の特徴量を抽出して類似度計算部１６に出力する。
【００５７】
ステップＳ２８において、類似度計算部１６は、登録用データベースＤＢ１５を参照し、識別対象画像の特徴量と、登録用データベースＤＢ１５に登録済みの各登録用画像の特徴量との類似度を算出して判別部１７に出力する。ステップＳ２９において、判別部１７は、算出された類似度に基づいて、識別対象画像の人物が登録人物のうちの誰であるかを判別する。以上で、顔識別処理は終了される。
【００５８】
上述した顔識別処理によれば、撮像特性を考慮して、登録用元画像から複数の登録用画像を生成しているので、仮に識別対象画像を撮像するときに露出過多であったり、反対に露出不足であったりしても、判別精度を低下させることなく、識別対象画像の人物を判別することができる。
【００５９】
なお、本実施の形態においては、登録フェーズにおいて、登録用元画像から複数の登録用画像を生成しその特徴量を計算して登録するようにしたが、登録フェーズにおいて、登録用元画像のみの特徴量を計算して登録するようにし、識別フェーズにおいて、登録用元画像から複数の登録用画像を生成しその特徴量を計算するようにしてもよい。
【００６０】
また、本実施の形態においては、人の顔を識別対象としたが、識別対象はこれに限るものではなく任意である。
【００６１】
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどに、プログラム記録媒体からインストールされる。
【００６２】
図９は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【００６３】
このコンピュータ１００において、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。
【００６４】
バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、キーボード、マウス、マイクロホンなどよりなる入力部１０６、ディスプレイ、スピーカなどよりなる出力部１０７、ハードディスクや不揮発性のメモリなどよりなる記憶部１０８、ネットワークインタフェースなどよりなる通信部１０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア１１１を駆動するドライブ１１０が接続されている。
【００６５】
以上のように構成されるコンピュータ１００では、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５およびバス１０４を介して、RAM１０３にロードして実行することにより、上述した一連の処理が行われる。
【００６６】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであってもよいし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであってもよい。
【００６７】
また、プログラムは、１台のコンピュータにより処理されるものであってもよいし、複数のコンピュータによって分散処理されるものであってもよい。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであってもよい。
【００６８】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【００６９】
１０ 画像識別装置， １１ 撮像部， １２ 撮像特性取得部， １３ 登録用画像生成部， １４ 特徴量抽出部， １５ 登録用画像ＤＢ， １６ 類似度計算部， １７ 判別部， ２１ 輝度レベル飽和処理部， ２２ 輝度レベル間引き処理部， ２３ 輝度レベルディテール処理部
【特許請求の範囲】
【請求項１】
撮像部の撮像特性に基づき、登録する被写体が撮像されている登録用元画像を元にして、撮像時の異なる複数の照明条件が想定された複数の登録用画像を生成する登録用画像生成手段と、
前記識別対象とする被写体が撮像されている識別対象画像および前記複数の登録用画像のそれぞれの特徴量を抽出する特徴量抽出手段と、
前記識別対象画像の特徴量と、前記複数の登録用画像の特徴量との類似度に基づき、前記識別対象画像の被写体を識別する識別手段と
を含む情報処理装置。
【請求項２】
前記登録用画像生成手段は、前記撮像特性に基づき、登録する被写体が撮像されている登録用元画像を元にして、撮像時の露光過多が想定された飽和処理により前記登録用画像を生成する
請求項１に記載の情報処理装置。
【請求項３】
前記撮像特性は、前記撮像部におけるγ補正のパラメータ、またはニー補正における閾値の少なくとも一方を含む
請求項１または２に記載の情報処理装置。
【請求項４】
前記登録用画像生成手段は、さらに、登録する被写体が撮像されている登録用元画像を元にして、撮像時の露光不足が想定された間引き処理により前記登録用画像を生成する
請求項１乃至３に記載の情報処理装置。
【請求項５】
登録または識別の対象とする被写体を撮像する前記撮像部から前記撮像特性を取得する取得手段を
さらに含む請求項１乃至４に記載の情報処理装置。
【請求項６】
登録または識別の対象とする被写体を撮像する前記撮像部の前記撮像特性を予め保持する保持手段を
さらに含む請求項１乃至５に記載の情報処理装置。
【請求項７】
情報処理装置の情報処理方法において、
情報処理装置による、
撮像部の撮像特性に基づき、登録する被写体が撮像されている登録用元画像を元にして、撮像時の異なる複数の照明条件が想定された複数の登録用画像を生成する登録用画像生成ステップと、
前記複数の登録用画像のそれぞれの特徴量を抽出する第１の特徴量抽出ステップと、
前記識別対象とする被写体が撮像されている識別対象画像の特徴量を抽出する第２の特徴量抽出ステップと、
前記識別対象画像の特徴量と、前記複数の登録用画像の特徴量との類似度に基づき、前記識別対象画像の被写体を識別する識別ステップと
を含む情報処理方法。
【請求項８】
コンピュータを、
撮像部の撮像特性に基づき、登録する被写体が撮像されている登録用元画像を元にして、撮像時の異なる複数の照明条件が想定された複数の登録用画像を生成する登録用画像生成手段と、
前記識別対象とする被写体が撮像されている識別対象画像および前記複数の登録用画像のそれぞれの特徴量を抽出する特徴量抽出手段と、
前記識別対象画像の特徴量と、前記複数の登録用画像の特徴量との類似度に基づき、前記識別対象画像の被写体を識別する識別手段と
して機能させるプログラム。
【請求項１】
撮像部の撮像特性に基づき、登録する被写体が撮像されている登録用元画像を元にして、撮像時の異なる複数の照明条件が想定された複数の登録用画像を生成する登録用画像生成手段と、
前記識別対象とする被写体が撮像されている識別対象画像および前記複数の登録用画像のそれぞれの特徴量を抽出する特徴量抽出手段と、
前記識別対象画像の特徴量と、前記複数の登録用画像の特徴量との類似度に基づき、前記識別対象画像の被写体を識別する識別手段と
を含む情報処理装置。
【請求項２】
前記登録用画像生成手段は、前記撮像特性に基づき、登録する被写体が撮像されている登録用元画像を元にして、撮像時の露光過多が想定された飽和処理により前記登録用画像を生成する
請求項１に記載の情報処理装置。
【請求項３】
前記撮像特性は、前記撮像部におけるγ補正のパラメータ、またはニー補正における閾値の少なくとも一方を含む
請求項１または２に記載の情報処理装置。
【請求項４】
前記登録用画像生成手段は、さらに、登録する被写体が撮像されている登録用元画像を元にして、撮像時の露光不足が想定された間引き処理により前記登録用画像を生成する
請求項１乃至３に記載の情報処理装置。
【請求項５】
登録または識別の対象とする被写体を撮像する前記撮像部から前記撮像特性を取得する取得手段を
さらに含む請求項１乃至４に記載の情報処理装置。
【請求項６】
登録または識別の対象とする被写体を撮像する前記撮像部の前記撮像特性を予め保持する保持手段を
さらに含む請求項１乃至５に記載の情報処理装置。
【請求項７】
情報処理装置の情報処理方法において、
情報処理装置による、
撮像部の撮像特性に基づき、登録する被写体が撮像されている登録用元画像を元にして、撮像時の異なる複数の照明条件が想定された複数の登録用画像を生成する登録用画像生成ステップと、
前記複数の登録用画像のそれぞれの特徴量を抽出する第１の特徴量抽出ステップと、
前記識別対象とする被写体が撮像されている識別対象画像の特徴量を抽出する第２の特徴量抽出ステップと、
前記識別対象画像の特徴量と、前記複数の登録用画像の特徴量との類似度に基づき、前記識別対象画像の被写体を識別する識別ステップと
を含む情報処理方法。
【請求項８】
コンピュータを、
撮像部の撮像特性に基づき、登録する被写体が撮像されている登録用元画像を元にして、撮像時の異なる複数の照明条件が想定された複数の登録用画像を生成する登録用画像生成手段と、
前記識別対象とする被写体が撮像されている識別対象画像および前記複数の登録用画像のそれぞれの特徴量を抽出する特徴量抽出手段と、
前記識別対象画像の特徴量と、前記複数の登録用画像の特徴量との類似度に基づき、前記識別対象画像の被写体を識別する識別手段と
して機能させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１２−５８９５４（Ｐ２０１２−５８９５４Ａ）
【公開日】平成２４年３月２２日（２０１２．３．２２）
【国際特許分類】
【出願番号】特願２０１０−２００７３４（Ｐ２０１０−２００７３４）
【出願日】平成２２年９月８日（２０１０．９．８）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２４年３月２２日（２０１２．３．２２）
【国際特許分類】
【出願日】平成２２年９月８日（２０１０．９．８）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]