画像処理装置および方法、並びにプログラム
【課題】画像内の被写体の種別の認識精度を向上できるようにする。
【解決手段】距離検出部３２は、画像取得部３１により取得された画像内に撮像されている被写体の、画像の撮像時の撮像機器からの距離の情報を、画像の画素単位で取得する。物体認識部３６の領域分割部４１は、画像、および距離情報に基づいて、画像における被写体となる前景領域と、それ以外の背景領域とに領域を分割する。背景影響低減特徴量抽出部４２は、画像、距離情報、および分割された背景領域の情報の全て、またはそのいずれかに基づいて、背景による被写体の種別の認識に対する影響を低減する特徴量を抽出する。認識処理部４３は、抽出された特徴量に基づいて、画像における前景となる被写体の種別を認識する。本発明は、画像処理装置に適用することができる。
【解決手段】距離検出部３２は、画像取得部３１により取得された画像内に撮像されている被写体の、画像の撮像時の撮像機器からの距離の情報を、画像の画素単位で取得する。物体認識部３６の領域分割部４１は、画像、および距離情報に基づいて、画像における被写体となる前景領域と、それ以外の背景領域とに領域を分割する。背景影響低減特徴量抽出部４２は、画像、距離情報、および分割された背景領域の情報の全て、またはそのいずれかに基づいて、背景による被写体の種別の認識に対する影響を低減する特徴量を抽出する。認識処理部４３は、抽出された特徴量に基づいて、画像における前景となる被写体の種別を認識する。本発明は、画像処理装置に適用することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および方法、並びにプログラムに関し、特に、画像内の被写体となる物体の種別の認識精度を向上させるようにした画像処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
従来において、物体認識技術として、認識対象を人の掌とし、グー、チョキ、またはパー等の手の形状を識別する技術がある。
【０００３】
また、これらの物体認識技術の物体認識精度を向上させるために、画像と併せて、特定の条件や付加情報を利用する技術があり、その一例として、肌色情報を利用することで手の領域を取得し易くし、手の形状認識の精度向上を図るようにした技術が提案されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−１４８６６３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１の技術においては、肌色情報を用いる為に、認識処理の精度が照明等の影響を受け易い。
【０００６】
本発明はこのような状況に鑑みてなされたものであり、特に、様々な環境の下で撮像された画像に対しても画像内の被写体となる物体の種別を高精度で認識できるようにするものである。
【課題を解決するための手段】
【０００７】
本発明の一側面の画像処理装置は、画像を取得する画像取得手段と、前記画像内に撮像されている被写体の、前記画像の撮像時の撮像機器からの距離の情報を、前記画像の画素単位で取得する距離取得手段と、前記画像、および前記距離情報に基づいて、前記画像における被写体となる前景領域と、それ以外の背景領域とに領域を分割する領域分割手段と、前記画像、前記距離情報、および前記領域分割手段により分割された背景領域の情報の全て、またはそのいずれかに基づいて、前記背景による被写体の種別の認識に対する影響を低減する特徴量を抽出する背景影響低減特徴量抽出手段と、前記背景影響低減特徴量抽出手段により抽出された特徴量に基づいて、前記画像における前景となる被写体の種別を認識する認識手段とを含む。
【０００８】
前記背景影響低減特徴量抽出手段には、前記画像、および前記領域分割手段により分割された背景領域の情報に基づいて、前記画像のうち、前記背景領域に対応する画素を平滑化する平滑化手段を含ませるようにすることができ、前記平滑化手段により前記背景領域に対応する画素が平滑化された画像より、前記背景による被写体の種別の認識に対する影響を低減する特徴量を抽出させるようにすることができる。
【０００９】
前記平滑化手段には、前記領域分割手段により分割された背景領域の画素に対して、その近傍の画素の背景画素と前景画素との比率に応じた強度で画素を平滑化させるようにすることができる。
【００１０】
背景影響低減特徴量抽出手段には、前記画像の特徴量を抽出する特徴量抽出手段と、前記画像、および距離情報、前記領域分割手段により分割された背景領域の情報に基づいて、重み設定し、前記特徴量に前記重みを付する重み設定手段とを含ませるようにすることができ、前記重み設定手段により設定された重みが付された特徴量を、前記背景による被写体の種別の認識に対する影響を低減する特徴量として抽出させるようにすることができる。
【００１１】
前記特徴量抽出手段には、HOG特徴量を抽出させるようにすることができる。
【００１２】
本発明の一側面の画像処理方法は、画像を取得する画像取得手段と、前記画像内に撮像されている被写体の、前記画像の撮像時の撮像機器からの距離の情報を、前記画像の画素単位で取得する距離取得手段と、前記画像、および前記距離情報に基づいて、前記画像における被写体となる前景領域と、それ以外の背景領域とに領域を分割する領域分割手段と、前記画像、前記距離情報、および前記領域分割手段により分割された背景領域の情報の全て、またはそのいずれかに基づいて、前記背景による被写体の種別の認識に対する影響を低減する特徴量を抽出する背景影響低減特徴量抽出手段と、前記背景影響低減特徴量抽出手段により抽出された特徴量に基づいて、前記画像における前景となる被写体の種別を認識する認識手段とを含む画像処理装置の画像処理方法であって、前記画像取得手段における、前記画像を取得する画像取得ステップと、前記距離取得手段における、前記画像内に撮像されている被写体の、前記画像の撮像時の撮像機器からの距離の情報を、前記画像の画素単位で取得する距離取得ステップと、前記領域分割手段における、前記画像、および前記距離情報に基づいて、前記画像における被写体となる前景領域と、それ以外の背景領域とに領域を分割する領域分割ステップと、前記背景影響低減特徴量抽出手段における、前記画像、前記距離情報、および前記領域分割ステップの処理により分割された背景領域の情報の全て、またはそのいずれかに基づいて、前記背景による被写体の種別の認識に対する影響を低減する特徴量を抽出する背景影響低減特徴量抽出ステップと、前記認識手段における、前記背景影響低減特徴量抽出ステップの処理により抽出された特徴量に基づいて、前記画像における前景となる被写体の種別を認識する認識ステップとを含む。
【００１３】
本発明の一側面のプログラムは、画像を取得する画像取得手段と、前記画像内に撮像されている被写体の、前記画像の撮像時の撮像機器からの距離の情報を、前記画像の画素単位で取得する距離取得手段と、前記画像、および前記距離情報に基づいて、前記画像における被写体となる前景領域と、それ以外の背景領域とに領域を分割する領域分割手段と、前記画像、前記距離情報、および前記領域分割手段により分割された背景領域の情報の全て、またはそのいずれかに基づいて、前記背景による被写体の種別の認識に対する影響を低減する特徴量を抽出する背景影響低減特徴量抽出手段と、前記背景影響低減特徴量抽出手段により抽出された特徴量に基づいて、前記画像における前景となる被写体の種別を認識する認識手段とを含む画像処理装置を制御するコンピュータに、前記画像取得手段における、前記画像を取得する画像取得ステップと、前記距離取得手段における、前記画像内に撮像されている被写体の、前記画像の撮像時の撮像機器からの距離の情報を、前記画像の画素単位で取得する距離取得ステップと、前記領域分割手段における、前記画像、および前記距離情報に基づいて、前記画像における被写体となる前景領域と、それ以外の背景領域とに領域を分割する領域分割ステップと、前記背景影響低減特徴量抽出手段における、前記画像、前記距離情報、および前記領域分割ステップの処理により分割された背景領域の情報の全て、またはそのいずれかに基づいて、前記背景による被写体の種別の認識に対する影響を低減する特徴量を抽出する背景影響低減特徴量抽出ステップと、前記認識手段における、前記背景影響低減特徴量抽出ステップの処理により抽出された特徴量に基づいて、前記画像における前景となる被写体の種別を認識する認識ステップとを含む処理を実行させる。
【００１４】
本発明の一側面においては、画像が取得され、前記画像内に撮像されている被写体の、前記画像の撮像時の撮像機器からの距離の情報が、前記画像の画素単位で取得され、前記画像、および前記距離情報に基づいて、前記画像における被写体となる前景領域と、それ以外の背景領域とに領域が分割され、前記画像、前記距離情報、および分割された背景領域の情報の全て、またはそのいずれかに基づいて、前記背景による被写体の種別の認識に対する影響が低減される特徴量が抽出され、抽出された特徴量に基づいて、前記画像における前景となる被写体の種別が認識される。
【００１５】
本発明の画像処理装置は、独立した装置であっても良いし、画像処理を行うブロックであっても良い。
【発明の効果】
【００１６】
本発明の一側面によれば、様々な環境下で撮像された画像に含まれる被写体である物体の種別の識別精度を向上させることが可能となる。
【図面の簡単な説明】
【００１７】
【図１】本発明を適用した画像処理装置の一実施の形態の構成例を示すブロック図である。
【図２】図１の画像処理装置による物体認識処理を説明するフローチャートである。
【図３】図１の画像処理装置による物体認識処理を説明する図である。
【図４】図１の画像処理装置による背景影響低減特徴量抽出処理を説明するフローチャートである。
【図５】図１の画像処理装置による画像加工処理を説明するフローチャートである。
【図６】図１の画像処理装置による特徴量抽出処理を説明するフローチャートである。
【図７】特徴量抽出処理を説明する図である。
【図８】本発明を適用した画像処理装置のその他の実施の形態の構成例を示すブロック図である。
【図９】図８の画像処理装置による背景影響低減特徴量抽出処理を説明するフローチャートである。
【図１０】本発明を適用した画像処理装置のさらにその他の実施の形態の構成例を示すブロック図である。
【図１１】図１０の画像処理装置による特徴量抽出処理を説明するフローチャートである。
【図１２】汎用のパーソナルコンピュータの構成例を説明する図である。
【発明を実施するための最良の形態】
【００１８】
以下、発明を実施するための最良の形態（以下実施の形態とする）について説明する。尚、説明は以下の順序で行う。
１．第１の実施の形態（画像加工処理と特徴量抽出処理とで認識精度低下を低減する例）
２．第２の実施の形態（特徴量抽出処理のみで認識精度低下を低減する例）
３．第３の実施の形態（画像加工処理のみで認識精度低下を低減する例）
【００１９】
＜１．第１の実施の形態＞
［画像処理装置の構成例］
図１は、本発明を適用した画像処理装置のハードウェアの一実施の形態の構成例を示している。図１の画像処理装置１１は、様々な環境下で撮像された画像に含まれる被写体である物体の種別を認識するものである。
【００２０】
画像処理装置１１は、画像取得部３１、距離検出部３２、目標位置検出部３３、拡大縮小部３４，３５、および物体認識部３６を備えている。
【００２１】
画像取得部３１は、CCD（Charge Coupled Devices）やCMOS（Complementary Metal Oxide Semiconductor）などからなる撮像素子によりリアルタイムに複数の画像をステレオ画像のように撮像して、距離検出部３２、および目標位置検出部３３に供給する。また、画像取得部３１は、リアルタイムに撮像されているステレオ画像に代えて、予め撮像された少なくとも１枚の画像を取得するようにしてもよく、この場合、取得した画像を目標位置検出部３３にのみ供給する。
【００２２】
距離検出部３２は、画像取得部３１によりステレオ画像などの複数の画像がリアルタイムに撮像される場合、撮像された画像間の対応点探索処理により対応点における視差を求める。そして、距離検出部３２は、求められた対応点における視差により撮像された画像に含まれる被写体の画素単位での画像取得部３１から被写体までの距離を求めて、距離情報として目標位置検出部３３、および拡大縮小部３５に供給する。また、距離検出部３２は、画像取得部３１よりリアルタイムでステレオ画像などが取得できず、予め撮像された画像が供給される場合、画像を用いた手法とは異なる、例えば、TOF（Time of Flight）法などにより撮像時における被写体までの距離を検出し、距離情報として目標位置検出部３３、および拡大縮小部３５に供給する。さらに、距離検出部３２は、画像取得部３１により取得された画像が撮像されるタイミングにおいて、例えば、測距センサなどにより検出された画像内の被写体までの撮像位置からの距離の情報を距離情報として取得して、目標位置検出部３３、および拡大縮小部３５に供給する。
【００２３】
目標位置検出部３３は、画像取得部３１より供給されてくる画像、および、距離検出部３２により供給されてくる距離情報に基づいて、画像内に存在する目標位置を検出し、目標位置の情報に基づいて画像内の必要領域を切り出して拡大縮小部３４に供給する。ここで、目標とは、認識すべき対象となる被写体としての物体であり、目標位置とは、３次元座標空間における目標である被写体の位置を示す座標である。目標位置検出部３３は、例えば、画像取得部３１が撮像素子である場合、その撮像素子や測距センサから最も近い領域（若しくは点）、または、所定の距離の条件を満たす領域を、逐次モンテカルロ法等の任意の確率モデルを用いた推定等により目標位置として求める。尚、目標位置検出部３３は、画像取得部３１により取得された画像のうち、必要とされる領域を求めて、求められたその領域を切り出すものであるが、処理領域を特定することが目的であるため、必ずしも必要ではない。特に、取得される画像の被写体の領域が所定領域より大きいことが想定されているような場合などには、その処理は必ずしも必要ではないので、目標位置検出部３３は、構成として省略するようにしてもよいものである。
【００２４】
拡大縮小部３４，３５は、画像、および距離情報を処理の必要に応じてサイズを拡大、または縮小して物体認識部３６に供給する。より詳細には、拡大縮小部３４，３５は、ニアレストネイバー法、バイリニア法、バイキュービック法、またはLanczosフィルタ等により画像、および距離情報を拡大、または縮小する。尚、サイズの拡大、または縮小は、必要に応じてなされる処理であるため、拡大縮小部３４，３５は、拡大または縮小せずにそのままのサイズで出力するようにしてもよい。
【００２５】
物体認識部３６は、拡大縮小部３４より供給されてくる画像と、拡大縮小部３５より供給されてくる距離情報とに基づいて、画像内の被写体である物体の種別を識別して認識し、認識結果として出力する。より詳細には、物体認識部３６は、領域分割部４１、背景影響低減特徴量抽出部４２、および認識処理部４３を備えている。
【００２６】
領域分割部４１は、拡大縮小部３５より供給されてくる距離情報に基づいて、拡大縮小部３４より供給されてくる画像を、前景領域、および背景領域に分割し、領域分割情報として背景影響低減特徴量抽出部４２に供給する。より具体的には、領域分割部４１は、例えば、距離情報に含まれる全画素の距離の中央値を求め、中央値よりも近い距離となる画素を前景領域とし、遠い距離となる画素を背景領域とする。ただし、前景領域および背景領域の分割は、これ以外の手法であっても良く、例えば、所定の距離より近い画素を前景領域とし、これより遠い画素を背景領域としてもよいし、画像セグメンテーション等の任意のオブジェクト抽出と距離を併せて、例えば、所定のオブジェクトの距離よりも近い距離の画素を前景領域とし、それ以外を背景領域とするようにしてもよい。また、領域分割情報は、各画素が、分割されたそれぞれ前景領域または背景領域のいずれに属するのかを示すフラグ情報となる。従って、画像の全領域が前景領域と背景領域の２つの領域に分割される場合、領域分割情報は、前景領域を示すフラグと背景領域を示すフラグで構成される情報となる。さらに、領域分割部４１は、前景領域および背景領域以外に距離に応じた更に多くの領域に分割するようにしてもよく、この場合、領域分割情報は、距離に応じて分割される領域を示すフラグで構成される情報となる。
【００２７】
背景影響低減特徴量抽出部４２は、拡大縮小部３４より供給される画像、拡大縮小部３５より供給される距離情報、および領域分割部４１より供給される領域分割情報に基づいて、背景領域の影響により前景領域である物体の種別の認識低下を低減させるための特徴量を抽出して認識処理部４３に出力する。より詳細には、背景影響低減特徴量抽出部４２は、画像加工部５１、および特徴量抽出部５２を備えている。
【００２８】
画像加工部５１は、領域分割情報、および距離情報に基づいて、画像のうち、背景領域に属する画素に対して平滑化処理を施す。より詳細には、画像加工部５１は、比率計算部６１、比率強度計算部６２、距離強度計算部６３、および平滑化部６４を備えている。比率計算部６１は、背景領域に属する画素のそれぞれに対応付けて局所領域を設定し、局所領域に属する画素の背景領域に属する画素の割合を比率として求める。比率強度計算部６２は、平滑化部６４における平滑化の強度を比率計算部６１により求められた比率に基づいて比率強度として計算する。距離強度計算部６３は、距離情報に基づいて、平滑化部６４における平滑化の強度を距離強度として計算する。平滑化部６４は、比率強度、および距離強度に対応した強度で、背景領域に属する画素を平滑化する。
【００２９】
特徴量抽出部５２は、領域分割情報および距離情報に基づいて、画像加工部５１により背景領域が平滑化された画像より、認識処理に必要となる特徴量としてHOG（Histogram of Oriented Gradients）特徴量を抽出する。より詳細には、特徴量抽出部５２は、勾配計算部７１、比率計算部７２、比率重み計算部７３、距離重み計算部７４、ヒストグラム生成部７５、および正規化部７６を備えている。勾配計算部７１は、画像加工部５１より供給されてくる画像における各画素について勾配の大きさと方向を求める。比率計算部７２は、比率計算部６１と同様に、各画素のそれぞれに対応付けて局所領域を設定し、局所領域に属する画素の背景領域に属する画素の割合を比率として求める。比率重み計算部７３は、比率計算部７２により計算された比率に基づいて、各画素の勾配の大きさに付加する比率重みを設定する。距離重み計算部７４は、距離情報に基づいて、各画素の距離に応じて、各画素の勾配の大きさに付加する距離重みを設定する。ヒストグラム生成部７５は、複数の画素からなるセル単位で勾配の方向別に、勾配の大きさに比率重み、および距離重みを付加して度数を求め、求められた度数に基づいてヒストグラムを生成する。正規化部７６は、複数のセルからなるブロック単位で、生成されたヒストグラムを正規化し、これをHOG特徴量として認識処理部４３に供給する。尚、この例においては、特徴量としてHOG特徴量を抽出する例について説明しているが、物体の認識に利用できる特徴量であれば、これに限るものではなく、例えば、Haar-like特徴量、SIFT特徴量、またはGabor特徴量等などを利用するようにしても良い。
【００３０】
認識処理部４３は、背景影響低減特徴量抽出部４２より供給されてくる背景影響低減特徴量に基づいて、例えば、SVM(Support Vector Machine)、またはBoostingなどにより物体の種別を識別する認識処理を実行し、認識結果を出力する。
【００３１】
［物体認識処理］
次に、図２のフローチャートを参照して、物体認識処理について説明する。
【００３２】
ステップＳ１１において、画像取得部３１は、被写体となる物体を含む画像を取得して、距離検出部３２、および目標位置検出部３３に供給する。
【００３３】
ステップＳ１２において、距離検出部３２は、画像取得部３１により取得された画像に含まれる被写体としての物体のそれぞれに対応する画素単位の距離の情報を検出し、目標位置検出部３３、および拡大縮小部３５に供給する。より詳細には、例えば、画像取得部３１が撮像素子を備えており、リアルタイムにステレオ画像などの複数のアングルから同一の被写体を捉えるように撮像する場合、距離検出部３２は、複数の画像の対応点探索処理により、その視差を用いて各画素単位で距離を求め、距離情報として検出する。
【００３４】
ステップＳ１３において、目標位置検出部３３は、画像取得部３１より供給されてくる画像、および、距離検出部３２により供給されてくる距離情報に基づいて、画像内に存在する目標位置を検出し、ステップＳ１４において、目標位置の情報に基づいて画像内の必要領域を切り出して調整し、拡大縮小部３４に供給する。
【００３５】
ステップＳ１５において、拡大縮小部３４，３５は、それぞれ目標位置検出部３３により目標位置に基づいて調整された画像、および距離情報を処理に適当なサイズに拡大、または縮小し、物体認識部３６に供給する。尚、拡大縮小部３４，３５より供給されてくるサイズが拡大、または縮小されている画像、および距離情報については、それぞれ処理に適当な領域についてサイズが調整されているのみであるので、以降においては、単に画像、および距離情報と称するものとする。
【００３６】
ステップＳ１６において、物体認識部３６における領域分割部４１は、距離情報に基づいて、画像を画素単位で前景領域、および背景領域に分割する。より詳細には、領域分割部４１は、例えば、各画素について、距離情報に基づいて、所定の距離より近い距離の画素について前景領域に分類し、その他の画素を背景領域に分類することにより、前景領域と背景領域とに分割する。すなわち、例えば、図３の画像Ａ１で示されるような画像が取得されると共に、図３の距離情報Ａ２が検出される場合、図３の領域分割情報Ａ３が求められる。ここで、画像Ａ１は、掌からなる被写体となる物体Ｚ１が背景Ｚ２上に存在する画像である。また、距離情報Ａ２は、掌の物体Ｚ１の存在する領域全体が所定の距離を示す配色Ｚ１１で描かれ、背景Ｚ２における空間内の各画素の距離が遠くなるにつれて黒くなるように配色Ｚ１２で示されている。さらに、領域分割情報Ａ３は、掌の物体Ｚ１の存在する領域より僅かに背後となる所定の距離より近い掌が白色の前景領域Ｚ２１として表示されており、それ以降については、背景領域Ｚ２２として示される灰色で示されている。結果として、掌の物体Ｚ１に対応する領域が前景領域Ｚ２１として分割され、それ以外が背景領域Ｚ２２に分割されている。
【００３７】
ステップＳ１７において、背景影響低減特徴量抽出部４２は、背景影響低減特徴量抽出処理を実行し、距離情報、および領域分割情報に基づいて、画像より背景影響低減特徴量を抽出する。
【００３８】
［背景影響低減特徴量抽出処理］
ここで、図４のフローチャートを参照して、背景影響低減特徴量抽出処理について説明する。背景影響低減特徴量抽出処理は、画像加工部５１においてステップＳ３１で実行される画像加工処理と、特徴量抽出部５２において、ステップＳ３２で実行される特徴量抽出処理とから構成される。
【００３９】
［画像加工処理］
ここで、図５のフローチャートを参照して、画像加工処理について説明する。
【００４０】
ステップＳ５１において、画像加工部５１は、画像を構成する垂直方向の座標、すなわちｙ座標のカウンタｙを０に初期化する。
【００４１】
ステップＳ５２において、画像加工部５１は、画像を構成する水平方向の座標、すなわちｘ座標のカウンタｘを０に初期化する。
【００４２】
ステップＳ５３において、画像加工部５１は、距離情報に基づいて、画像上の処理対象である画素Ｉ（ｘ，ｙ）が背景領域であるか否かを判定し、例えば、背景領域を示すフラグである場合、処理は、ステップＳ５４に進む。
【００４３】
ステップＳ５４において、画像加工部５１は、比率計算部６１を制御して、画素Ｉ（ｘ，ｙ）に対応する局所領域を設定する。すなわち、比率制御部６１は、例えば、処理対象である画素Ｉ（ｘ，ｙ）を中心とした６画素×６画素の方形領域を局所領域に設定する。
【００４４】
ステップＳ５５において、比率計算部６１は、局所領域に属する各画素の前景領域に属する画素数と、背景領域に属する画素数との比率ｑを計算する。
【００４５】
ステップＳ５６において、画像加工部５１は、比率強度計算部６２を制御して、処理対象となる画素Ｉ（ｘ，ｙ）の平滑化の比率ｑに基づいた比率強度Ｓｔ＿ｑを計算する。すなわち、例えば、比率ｑが前景領域の割合が高いことを示している場合、処理対象となる画素Ｉ（ｘ，ｙ）の周辺には、物体の認識処理に影響を及ぼす背景領域の画素が少ないと考えられるため、比率強度計算部６２は、比率強度Ｓｔ＿ｑを弱くするように計算する。一方、比率ｑが背景領域の割合が高いことを示している場合、処理対象となる画素Ｉ（ｘ，ｙ）の周辺には、物体の認識処理に影響を及ぼす背景領域の画素が多いと考えられるため、比率強度計算部６２は、比率強度Ｓｔ＿ｑを強くするように計算する。
【００４６】
ステップＳ５７において、画像加工部５１は、距離強度計算部６３を制御して、処理対象となる画素Ｉ（ｘ，ｙ）の平滑化の距離情報の距離に基づいた距離強度ｋｋを計算する。すなわち、処理対象である画素Ｉ（ｘ，ｙ）の距離が遠いほど背景領域であると考えられるので、距離強度計算部６３は、距離強度Ｓｔ＿ｄを強くするように計算し、逆に、距離が近いほど、距離強度Ｓｔ＿ｄを弱くして平滑化する。
【００４７】
ステップＳ５８において、画像加工部５１は、平滑化部６４を制御して、比率強度Ｓｔ＿ｑおよび距離強度Ｓｔ＿ｄに対応した強度で、処理対象である画素Ｉ（ｘ，ｙ）を平滑化する。このように、平滑化の強度は、比率ｑと距離に依存することとなるため、例えば、平滑化部６４は、比率強度Ｓｔ＿ｑおよび距離強度Ｓｔ＿ｄの乗算結果Ｓｔ＿ｑ×Ｓｔ＿ｄに基づいて、平滑化の強度を設定するようにしてもよい。
【００４８】
一方、ステップＳ５３において、処理対象となる画素Ｉ（ｘ，ｙ）が背景領域のフラグではないと判定された場合、ステップＳ５４乃至Ｓ５８の処理はスキップされる。
【００４９】
例えば、処理対象の画素Ｉ（ｘ，ｙ）が、図３の分割領域情報Ａ４における画素Ｂ１である場合、画素Ｂ１は、前景領域に属するため、ステップＳ５３において、処理対象となる画素が背景領域のフラグではないと判定されて、ステップＳ５４乃至Ｓ５８の処理がスキップされる。
【００５０】
一方、例えば、処理対象の画素Ｉ（ｘ，ｙ）が、図３の分割領域情報Ａ４における画素Ｂ２またはＢ３である場合、画素Ｂ２，Ｂ３は、背景領域に属すので、局所領域Ｚ１０２，Ｚ１０３における背景領域の割合に基づいて、それぞれが平滑化される。すなわち、局所領域Ｚ１０３は、全てが背景領域であるが、局所領域Ｚ１０２は、一部のみが背景領域である。このため、画素Ｂ３は、画素Ｂ２よりも、より強い強度で平滑化されることになる。
【００５１】
ステップＳ５９において、画像加工部５１は、画像を構成する水平方向の座標、すなわちｘ座標のカウンタｘを１インクリメントする。
【００５２】
ステップＳ６０において、画像加工部５１は、カウンタｘが画像の水平方向のサイズＳｘよりも小さいか否かを判定し、小さいと判定した場合、処理は、ステップＳ５３に戻る。すなわち、カウンタｘが水平方向のサイズＳｘよりも小さくなるまで、ステップＳ５３乃至Ｓ６０の処理が繰り返される。そして、ステップＳ６０において、カウンタｘが水平方向のサイズＳｘよりも小さいと判定された場合、処理は、ステップＳ６１に進む。
【００５３】
ステップＳ６１において、画像加工部５１は、画像を構成する水平方向の座標、すなわちｘ座標のカウンタｘを１インクリメントする。
【００５４】
ステップＳ６２において、画像加工部５１は、カウンタｙが画像の垂直方向のサイズＳｙよりも小さいか否かを判定し、小さいと判定した場合、処理は、ステップＳ５２に戻る。すなわち、カウンタｙが垂直方向のサイズＳｙよりも小さくなるまで、ステップＳ５２乃至Ｓ６２の処理が繰り返される。そして、ステップＳ６２において、カウンタｙが垂直方向のサイズＳｙよりも小さいと判定された場合、処理は、終了する。
【００５５】
すなわち、領域分割情報に基づいて、背景領域に対応する画素については、局所領域における背景領域と前景領域との比率、および距離情報の距離に対応した強度で平滑化される。この結果、物体の種別の認識に影響を与える背景領域の画素による影響が低減されることになり、後段において、認識処理に影響を与える背景領域の画素の影響が低減された画像から特徴量が抽出されることになるので、物体の種別の認識処理における認識率を向上させることが可能となる。尚、平滑化の強度については、比率のみで制御するようにしても、距離のみで制御するようにしても、背景領域による認識処理の認識精度の低減を抑制する効果を奏する事ができるので、いずれかのみで平滑化の強度を制御するようにしても良い。
【００５６】
［特徴量抽出処理］
次に、図６のフローチャートを参照して、特徴量抽出処理について説明する。
【００５７】
ステップＳ７１において、特徴量抽出部５２は、画像を構成する垂直方向の座標、すなわちｙ座標のカウンタｙを０に初期化する。
【００５８】
ステップＳ７２において、特徴量抽出部５２は、画像を構成する水平方向の座標、すなわちｘ座標のカウンタｘを０に初期化する。
【００５９】
ステップＳ７３において、特徴量抽出部５２は、勾配計算部７１を制御して、処理対象となる画素Ｉ（ｘ，ｙ）について勾配の角度および大きさを計算させる。より詳細には、例えば、処理対象画素Ｉ（ｘ，ｙ）が、図７の画素Ｃ１である場合、勾配計算部７１は、その垂直方向１３１に隣接する画素Ｉ（ｘ，ｙ＋１），Ｉ（ｘ，ｙ−１）および水平方向１３２に隣接する画素Ｉ（ｘ＋１，ｙ），Ｉ（ｘ−１，ｙ）を用いて、以下の式（１）を計算することにより勾配を求める。尚、図７の左上部においては、処理対象となる画素Ｉ（ｘ，ｙ）の勾配の配置が示されており、図７の中央上部にいては、処理対象画素Ｃ１である画素１２１を含むｍ画素×ｎ画素からなるセル１０２の構成例が示されている。さらに、図７の右上部においては、セル１０２に対応するセル１１１がＭ個×Ｎ個からなるブロック１０１の構成例が示されており、下部には、セル１０２を構成する各画素の勾配の方向Ｌ１乃至ＬＬ毎の度数からなるヒストグラム１０３の例が示されている。
【００６０】
【数１】
【００６１】
ここで、ｇｘ（ｘ，ｙ），ｇｙ（ｘ，ｙ）は、それぞれ水平方向の勾配、および垂直方向の勾配である。
【００６２】
そして、勾配計算部７１は、以下の式（２），式（３）を計算することにより、それぞれ勾配の大きさ、および角度を計算する。
【００６３】
【数２】
【数３】
【００６４】
ここｒ（ｘ，ｙ）は、勾配の大きさであり、θ（ｘ，ｙ）は、勾配の角度を示している。
【００６５】
ステップＳ７４において、特徴量抽出部５２は、比率計算部７２を制御して、画像上の処理対象である画素Ｉ（ｘ，ｙ）に対応する局所領域を設定する。すなわち、ステップＳ７４の処理により、比率計算部７２は、例えば、処理対象である画素Ｉ（ｘ，ｙ）を中心とした近傍のｕ画素×ｖ画素の方形領域を局所領域に設定する。
【００６６】
ステップＳ７５において、比率計算部７２は、局所領域に属する各画素の前景領域に属する画素数と、背景領域に属する画素数との比率ｑを計算する。
【００６７】
ステップＳ７６において、特徴量抽出部５２は、比率重み計算部７３を制御して、比率ｑに基づいて比率重みｗｋを計算させる。
【００６８】
ステップＳ７７において、特徴量抽出部５２は、距離重み計算部７４を制御して、距離情報における処理対象となる画素Ｉ（ｘ，ｙ）の距離に基づいて、距離重みｗｄを計算させる。
【００６９】
ステップＳ７８において、特徴量抽出部５２は、画像を構成する水平方向の座標、すなわちｘ座標のカウンタｘを１インクリメントする。
【００７０】
ステップＳ７９において、特徴量抽出部５２は、カウンタｘが画像の水平方向のサイズＳｘよりも小さいか否かを判定し、小さいと判定した場合、処理は、ステップＳ７３に戻る。すなわち、カウンタｘが水平方向のサイズＳｘよりも小さくなるまで、ステップＳ７３乃至Ｓ７９の処理が繰り返される。そして、ステップＳ７９において、カウンタｘが水平方向のサイズＳｘよりも小さいと判定された場合、処理は、ステップＳ８０に進む。
【００７１】
ステップＳ８０において、特徴量抽出部５２は、画像を構成する水平方向の座標、すなわちｘ座標のカウンタｘを１インクリメントする。
【００７２】
ステップＳ８１において、特徴量抽出部５２は、カウンタｙが画像の垂直方向のサイズＳｙよりも小さいか否かを判定し、小さいと判定した場合、処理は、ステップＳ７２に戻る。すなわち、カウンタｙが垂直方向のサイズＳｙよりも小さくなるまで、ステップＳ７２乃至Ｓ８１の処理が繰り返される。そして、ステップＳ８１において、カウンタｙが垂直方向のサイズＳｙよりも小さいと判定された場合、処理は、ステップＳ８２に進む。
【００７３】
ステップＳ８２において、ヒストグラム生成部７５は、未処理のセルを処理対象のセルに設定する。すなわち、図７の中央上部で示されるように、複数の画素群からなるセルを画像内に設定し、そのうち、未処理のセルを処理対象のセルに設定する。尚、図７の中央上部においては、ｍ画素×ｎ画素のセル１０２が設定される例が示されている。
【００７４】
ステップＳ８３において、ヒストグラム生成部７５は、処理対象となるセルにおける勾配の方向毎の比率重みｗｋ、および距離重みｗｄを含めた度数を設定する。すなわち、HOG特徴量は、図７の中央上部で示されるセル１０２の各画素について勾配方向を方向Ｌ１乃至ＬＬに分けて、各画素の勾配方向に属する度数から求められるヒストグラムに基づくものである。
【００７５】
すなわち、ヒストグラム生成部７５は、以下の式（４）で示されるように、各画素の勾配方向Ｌｌの度数ｆｌ’を設定する。
【００７６】
【数４】
【００７７】
ここで、ｆｌ’は、方向Ｌｌの度数であり、ｗｋは、ステップＳ７６の処理で求められた各画素の局所領域における前景領域と背景領域との比率に基づいた比率重みである。また、ｗｄは、ステップＳ７７の処理で求められた各画素の距離情報の距離に応じて設定される距離重みであり、ｒｌ（ｘ，ｙ）は、勾配の大きさである。
【００７８】
すなわち、比率重みｗｋは、以下の式（５）で設定される前景領域と背景領域との比率ｂに基づいて設定されている。
【００７９】
【数５】
【００８０】
ここで、δ（Ｄ）は、以下の式（６）で設定される領域分割情報Ｄ（ｘ，ｙ）を一般化した関数である。また、ｕ，ｖは、局所領域がｕ画素×ｖ画素の領域であることを示している。
【００８１】
【数６】
【００８２】
ここで、すなわち、関数δ（Ｄ）は、前景領域では１であり、背景領域では０となる関数である。
【００８３】
例えば、比率重みｗｋをｋ段階設定する場合、比率重み計算部７３は、これらの条件に基づいて、例えば、以下の式（７）で示されるように重みを含めた度数を設定する。
【００８４】
【数７】
【００８５】
ここで、ｔｈ１，ｔｈ２，・・・，ｔｈｋは、ｋ段階の重みを設定するための閾値であり、比率重みｗｋ、および閾値ｔｈｋは、以下の式（８）で示される関係となる。
【００８６】
【数８】
【００８７】
すなわち、比率ｂが大きくなるに連れて、比率重みｗｋも大きくなり、すなわち、前景領域の比率が大きいほど、比率重みｗｋは、大きく設定されて、逆に、前景領域の比率が小さいほど、比率重みｗｋは小さく設定される。このため、物体の識別に影響を及ぼす背景領域の画素によるヒストグラムの度数が軽減されるように比率重みｗｋが設定されるので、特徴量より背景領域の画素による影響を排除し、認識精度を向上させることが可能となる。
【００８８】
同様に、距離重みｗｄは、各画素について、距離情報に応じて、距離が大きいほど小さく設定され、逆に、距離が小さいほど大きく設定される。このため、やはり、物体の識別に影響を及ぼす背景領域の画素によるヒストグラムの度数が軽減されるように距離重みｗｄが設定されるので、特徴量より背景領域の画素による影響を排除し、認識精度を向上させることが可能となる。
【００８９】
ステップＳ８４において、ヒストグラム生成部７５は、このようにして求められた比率重みｗｋ、および距離重みｗｄを含む度数に基づいて、処理対象となるセル単位でヒストグラムを生成する。すなわち、ヒストグラムは、各画素の勾配方向を、所定数に分類し、分類される勾配方向毎の度数の和であり、例えば、以下の式（９）で示される。
【００９０】
【数９】
【００９１】
ここで、Ｆは、各セルのヒストグラムであり、ｆＬ１，ｆＬ２、・・・ｆＬＬは、各勾配方向ＬＬ毎の度数を示している。
【００９２】
ステップＳ８５において、ヒストグラム生成部７５は、未処理のセルが存在するか否かを判定し、未処理のセルが存在する場合、処理は、ステップＳ８２に戻る。すなわち、全てのセルについてヒストグラムが生成されるまで、ステップＳ８２乃至Ｓ８５の処理が繰り返される。そして、ステップＳ８５において、全てのセルについてヒストグラムが求められ、未処理のセルが存在しないと判定された場合、処理は、ステップＳ８６に進む。
【００９３】
ステップＳ８６において、正規化部７６は、未処理のブロックを処理対象のブロックに設定する。すなわち、ブロックは、複数のセルからなる領域であり、例えば、図７の右上部のようにセルがＭ個×Ｎ個の領域である。
【００９４】
ステップＳ８７において、正規化部７６は、求められたセル単位で求められたヒストグラムを各セルを中心として設定される処理対象のブロック単位で正規化し、ブロック単位で正規化されたヒストグラムによりHOG特徴量を生成し、認識処理部４３に出力する。すなわち、セル単位で設定されるブロック単位のヒストグラムＶは、以下の式（１０）となる。
【００９５】
【数１０】
【００９６】
正規化部７６は、全てのセルに対して、セル単位で設定されるブロック内のヒストグラムＶを、以下の式（１１）を計算することにより正規化する。この結果、各セル毎に設定されるブロック単位の正規化結果がHOG特徴量として求められることになる。
【００９７】
【数１１】
【００９８】
ここで、Ｖバーは、ブロック単位のヒストグラムＶが正規化されたものを示している。また、εは、ブロック単位のヒストグラムＶがゼロとなって発散しないようにさせるための定数である。
【００９９】
ステップＳ８８において、正規化部７６は、未処理のブロックが存在するか否かを判定し、未処理のブロックが存在する場合、処理は、ステップＳ８６に戻る。すなわち、全てのブロックに対して正規化処理がなされるまで、ステップＳ８６乃至Ｓ８８の処理が繰り返される。そして、ステップＳ８８において、全てのブロックの正規化処理が終了し、未処理のブロックが存在しないと判定された場合、処理は、終了する。
【０１００】
すなわち、画像内が前景領域と背景領域との２種類にしか設定されない場合、比率重みｗｋは、ｋ＝２であるときの処理となる。従って、前景領域および背景領域以外の領域を距離情報に基づいて設定し、ｋ＞２とするときも、距離が近い領域の比率が高いほど比率重みｗｋを大きくすると共に、距離が近い画素についての距離重みｗｄを大きくすることで、距離の遠い画素、すなわち、背景領域に属しているものとみなされる、認識処理に影響を及ぼす要素を排除することが可能となり、より高い精度で物体の種別を識別して認識することが可能となる。
【０１０１】
ここで、図２のフローチャートに戻る。
【０１０２】
ステップＳ１８において、認識処理部４３は、上述した処理により供給されてきた背景影響低減特徴量に基づいて、例えば、SVM(Support Vector Machine)、またはBoostingなどにより画像に含まれる物体の種別を識別して認識し、認識結果を出力する。
【０１０３】
以上の処理により、画像における背景領域に属する画素を、局所領域における前景領域と背景領域との比率に応じた強度で平滑化した上で、さらに、各画素について局所領域における前景領域と背景領域との比率に応じて設定される比率重みと、各画素の距離情報に基づいて設定される距離重みとを付して特徴量を抽出するようにした。この結果、物体の認識処理において、認識精度を低減させる背景領域の影響を低減させることが可能となり、物体の認識精度を向上させることが可能となる。
【０１０４】
＜２．第２の実施の形態＞
［その他の画像処理装置の構成例］
以上においては、画像加工処理、および特徴量抽出処理の両方の処理において、物体の認識精度を低下させる要因となる背景領域の画素による影響を低減させる例について説明してきたが、いずれの処理のみであっても効果を奏するものである。従って、図８で示される画像処理装置１１のように、画像加工部５１を削除するような構成としても、特徴量抽出処理により背景領域の画素による影響を低減させることが可能である。その場合、背景影響低減特徴量抽出処理は、図９で示されるように、ステップＳ１０１で示される特徴量抽出処理のみとなる。尚、特徴量抽出処理については、図６のフローチャートを参照して説明した処理と同様であるので、その説明は省略するものとする。
【０１０５】
＜３．第３の実施の形態＞
［さらにその他の画像処理装置の構成例］
また、図１０で示される画像処理装置１１のように、画像加工処理のみで物体の認識精度を低下させる要因となる背景領域の画素による影響を低減させるようにしてもよい。すなわち、図１０における画像処理装置１１においては、背景影響特徴量抽出部５２における特徴量抽出部５２より比率計算部７２、比率重み計算部７３、および距離重み計算部７４が削除されている。この場合、特徴量抽出処理は、図１１で示されるように、図６のステップＳ７５乃至Ｓ７７の比率重みおよび距離重みを設定する処理が含まれておらず、ステップＳ１３０において、比率重みおよび距離重みを考慮しない度数が設定される。尚、図１１のフローチャートで示されるステップＳ１２１乃至Ｓ１２９，Ｓ１３１乃至Ｓ１３５の処理は、図６のステップＳ７１乃至Ｓ７４，Ｓ７８乃至Ｓ８２，Ｓ８４乃至Ｓ８８の処理と同様であるので、その説明は省略する。
【０１０６】
以上によれば、画像に含まれる被写体たる物体の種別を認識する認識処理における認識精度を低減させる要因となる背景領域の要素を排除して特徴量を抽出できるようにしたので、画像に含まれる被写体たる物体の種別を認識する認識精度を向上させることが可能となる。
【０１０７】
ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【０１０８】
図１２は、汎用のパーソナルコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタ-フェイス１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。
【０１０９】
入出力インタ-フェイス１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブルメディア１０１１に対してデータを読み書きするドライブ１０１０が接続されている。
【０１１０】
CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブルメディア１０１１から読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１１１】
尚、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理は、もちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理を含むものである。
【符号の説明】
【０１１２】
１１ 画像処理装置， ３１ 画像取得部， ３２ 距離検出部， ３３ 目標位置検出部， ３４，３５ 拡大縮小部， ３６ 物体認識部， ４１ 領域分割部， ４２ 背景影響低減特徴量抽出部， ４３ 認識処理部， ５１ 画像加工部， ５２ 特徴量抽出部， ６１ 比率計算部， ６２ 比率強度計算部， ６３ 距離強度計算部， ６４ 平滑化部， ７１ 勾配計算部， ７２ 比率計算部， ７３ 比率重み計算部， ７４ 距離重み計算部， ７５ ヒストグラム生成部， ７６ 正規化部
【技術分野】
【０００１】
本発明は、画像処理装置および方法、並びにプログラムに関し、特に、画像内の被写体となる物体の種別の認識精度を向上させるようにした画像処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
従来において、物体認識技術として、認識対象を人の掌とし、グー、チョキ、またはパー等の手の形状を識別する技術がある。
【０００３】
また、これらの物体認識技術の物体認識精度を向上させるために、画像と併せて、特定の条件や付加情報を利用する技術があり、その一例として、肌色情報を利用することで手の領域を取得し易くし、手の形状認識の精度向上を図るようにした技術が提案されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−１４８６６３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１の技術においては、肌色情報を用いる為に、認識処理の精度が照明等の影響を受け易い。
【０００６】
本発明はこのような状況に鑑みてなされたものであり、特に、様々な環境の下で撮像された画像に対しても画像内の被写体となる物体の種別を高精度で認識できるようにするものである。
【課題を解決するための手段】
【０００７】
本発明の一側面の画像処理装置は、画像を取得する画像取得手段と、前記画像内に撮像されている被写体の、前記画像の撮像時の撮像機器からの距離の情報を、前記画像の画素単位で取得する距離取得手段と、前記画像、および前記距離情報に基づいて、前記画像における被写体となる前景領域と、それ以外の背景領域とに領域を分割する領域分割手段と、前記画像、前記距離情報、および前記領域分割手段により分割された背景領域の情報の全て、またはそのいずれかに基づいて、前記背景による被写体の種別の認識に対する影響を低減する特徴量を抽出する背景影響低減特徴量抽出手段と、前記背景影響低減特徴量抽出手段により抽出された特徴量に基づいて、前記画像における前景となる被写体の種別を認識する認識手段とを含む。
【０００８】
前記背景影響低減特徴量抽出手段には、前記画像、および前記領域分割手段により分割された背景領域の情報に基づいて、前記画像のうち、前記背景領域に対応する画素を平滑化する平滑化手段を含ませるようにすることができ、前記平滑化手段により前記背景領域に対応する画素が平滑化された画像より、前記背景による被写体の種別の認識に対する影響を低減する特徴量を抽出させるようにすることができる。
【０００９】
前記平滑化手段には、前記領域分割手段により分割された背景領域の画素に対して、その近傍の画素の背景画素と前景画素との比率に応じた強度で画素を平滑化させるようにすることができる。
【００１０】
背景影響低減特徴量抽出手段には、前記画像の特徴量を抽出する特徴量抽出手段と、前記画像、および距離情報、前記領域分割手段により分割された背景領域の情報に基づいて、重み設定し、前記特徴量に前記重みを付する重み設定手段とを含ませるようにすることができ、前記重み設定手段により設定された重みが付された特徴量を、前記背景による被写体の種別の認識に対する影響を低減する特徴量として抽出させるようにすることができる。
【００１１】
前記特徴量抽出手段には、HOG特徴量を抽出させるようにすることができる。
【００１２】
本発明の一側面の画像処理方法は、画像を取得する画像取得手段と、前記画像内に撮像されている被写体の、前記画像の撮像時の撮像機器からの距離の情報を、前記画像の画素単位で取得する距離取得手段と、前記画像、および前記距離情報に基づいて、前記画像における被写体となる前景領域と、それ以外の背景領域とに領域を分割する領域分割手段と、前記画像、前記距離情報、および前記領域分割手段により分割された背景領域の情報の全て、またはそのいずれかに基づいて、前記背景による被写体の種別の認識に対する影響を低減する特徴量を抽出する背景影響低減特徴量抽出手段と、前記背景影響低減特徴量抽出手段により抽出された特徴量に基づいて、前記画像における前景となる被写体の種別を認識する認識手段とを含む画像処理装置の画像処理方法であって、前記画像取得手段における、前記画像を取得する画像取得ステップと、前記距離取得手段における、前記画像内に撮像されている被写体の、前記画像の撮像時の撮像機器からの距離の情報を、前記画像の画素単位で取得する距離取得ステップと、前記領域分割手段における、前記画像、および前記距離情報に基づいて、前記画像における被写体となる前景領域と、それ以外の背景領域とに領域を分割する領域分割ステップと、前記背景影響低減特徴量抽出手段における、前記画像、前記距離情報、および前記領域分割ステップの処理により分割された背景領域の情報の全て、またはそのいずれかに基づいて、前記背景による被写体の種別の認識に対する影響を低減する特徴量を抽出する背景影響低減特徴量抽出ステップと、前記認識手段における、前記背景影響低減特徴量抽出ステップの処理により抽出された特徴量に基づいて、前記画像における前景となる被写体の種別を認識する認識ステップとを含む。
【００１３】
本発明の一側面のプログラムは、画像を取得する画像取得手段と、前記画像内に撮像されている被写体の、前記画像の撮像時の撮像機器からの距離の情報を、前記画像の画素単位で取得する距離取得手段と、前記画像、および前記距離情報に基づいて、前記画像における被写体となる前景領域と、それ以外の背景領域とに領域を分割する領域分割手段と、前記画像、前記距離情報、および前記領域分割手段により分割された背景領域の情報の全て、またはそのいずれかに基づいて、前記背景による被写体の種別の認識に対する影響を低減する特徴量を抽出する背景影響低減特徴量抽出手段と、前記背景影響低減特徴量抽出手段により抽出された特徴量に基づいて、前記画像における前景となる被写体の種別を認識する認識手段とを含む画像処理装置を制御するコンピュータに、前記画像取得手段における、前記画像を取得する画像取得ステップと、前記距離取得手段における、前記画像内に撮像されている被写体の、前記画像の撮像時の撮像機器からの距離の情報を、前記画像の画素単位で取得する距離取得ステップと、前記領域分割手段における、前記画像、および前記距離情報に基づいて、前記画像における被写体となる前景領域と、それ以外の背景領域とに領域を分割する領域分割ステップと、前記背景影響低減特徴量抽出手段における、前記画像、前記距離情報、および前記領域分割ステップの処理により分割された背景領域の情報の全て、またはそのいずれかに基づいて、前記背景による被写体の種別の認識に対する影響を低減する特徴量を抽出する背景影響低減特徴量抽出ステップと、前記認識手段における、前記背景影響低減特徴量抽出ステップの処理により抽出された特徴量に基づいて、前記画像における前景となる被写体の種別を認識する認識ステップとを含む処理を実行させる。
【００１４】
本発明の一側面においては、画像が取得され、前記画像内に撮像されている被写体の、前記画像の撮像時の撮像機器からの距離の情報が、前記画像の画素単位で取得され、前記画像、および前記距離情報に基づいて、前記画像における被写体となる前景領域と、それ以外の背景領域とに領域が分割され、前記画像、前記距離情報、および分割された背景領域の情報の全て、またはそのいずれかに基づいて、前記背景による被写体の種別の認識に対する影響が低減される特徴量が抽出され、抽出された特徴量に基づいて、前記画像における前景となる被写体の種別が認識される。
【００１５】
本発明の画像処理装置は、独立した装置であっても良いし、画像処理を行うブロックであっても良い。
【発明の効果】
【００１６】
本発明の一側面によれば、様々な環境下で撮像された画像に含まれる被写体である物体の種別の識別精度を向上させることが可能となる。
【図面の簡単な説明】
【００１７】
【図１】本発明を適用した画像処理装置の一実施の形態の構成例を示すブロック図である。
【図２】図１の画像処理装置による物体認識処理を説明するフローチャートである。
【図３】図１の画像処理装置による物体認識処理を説明する図である。
【図４】図１の画像処理装置による背景影響低減特徴量抽出処理を説明するフローチャートである。
【図５】図１の画像処理装置による画像加工処理を説明するフローチャートである。
【図６】図１の画像処理装置による特徴量抽出処理を説明するフローチャートである。
【図７】特徴量抽出処理を説明する図である。
【図８】本発明を適用した画像処理装置のその他の実施の形態の構成例を示すブロック図である。
【図９】図８の画像処理装置による背景影響低減特徴量抽出処理を説明するフローチャートである。
【図１０】本発明を適用した画像処理装置のさらにその他の実施の形態の構成例を示すブロック図である。
【図１１】図１０の画像処理装置による特徴量抽出処理を説明するフローチャートである。
【図１２】汎用のパーソナルコンピュータの構成例を説明する図である。
【発明を実施するための最良の形態】
【００１８】
以下、発明を実施するための最良の形態（以下実施の形態とする）について説明する。尚、説明は以下の順序で行う。
１．第１の実施の形態（画像加工処理と特徴量抽出処理とで認識精度低下を低減する例）
２．第２の実施の形態（特徴量抽出処理のみで認識精度低下を低減する例）
３．第３の実施の形態（画像加工処理のみで認識精度低下を低減する例）
【００１９】
＜１．第１の実施の形態＞
［画像処理装置の構成例］
図１は、本発明を適用した画像処理装置のハードウェアの一実施の形態の構成例を示している。図１の画像処理装置１１は、様々な環境下で撮像された画像に含まれる被写体である物体の種別を認識するものである。
【００２０】
画像処理装置１１は、画像取得部３１、距離検出部３２、目標位置検出部３３、拡大縮小部３４，３５、および物体認識部３６を備えている。
【００２１】
画像取得部３１は、CCD（Charge Coupled Devices）やCMOS（Complementary Metal Oxide Semiconductor）などからなる撮像素子によりリアルタイムに複数の画像をステレオ画像のように撮像して、距離検出部３２、および目標位置検出部３３に供給する。また、画像取得部３１は、リアルタイムに撮像されているステレオ画像に代えて、予め撮像された少なくとも１枚の画像を取得するようにしてもよく、この場合、取得した画像を目標位置検出部３３にのみ供給する。
【００２２】
距離検出部３２は、画像取得部３１によりステレオ画像などの複数の画像がリアルタイムに撮像される場合、撮像された画像間の対応点探索処理により対応点における視差を求める。そして、距離検出部３２は、求められた対応点における視差により撮像された画像に含まれる被写体の画素単位での画像取得部３１から被写体までの距離を求めて、距離情報として目標位置検出部３３、および拡大縮小部３５に供給する。また、距離検出部３２は、画像取得部３１よりリアルタイムでステレオ画像などが取得できず、予め撮像された画像が供給される場合、画像を用いた手法とは異なる、例えば、TOF（Time of Flight）法などにより撮像時における被写体までの距離を検出し、距離情報として目標位置検出部３３、および拡大縮小部３５に供給する。さらに、距離検出部３２は、画像取得部３１により取得された画像が撮像されるタイミングにおいて、例えば、測距センサなどにより検出された画像内の被写体までの撮像位置からの距離の情報を距離情報として取得して、目標位置検出部３３、および拡大縮小部３５に供給する。
【００２３】
目標位置検出部３３は、画像取得部３１より供給されてくる画像、および、距離検出部３２により供給されてくる距離情報に基づいて、画像内に存在する目標位置を検出し、目標位置の情報に基づいて画像内の必要領域を切り出して拡大縮小部３４に供給する。ここで、目標とは、認識すべき対象となる被写体としての物体であり、目標位置とは、３次元座標空間における目標である被写体の位置を示す座標である。目標位置検出部３３は、例えば、画像取得部３１が撮像素子である場合、その撮像素子や測距センサから最も近い領域（若しくは点）、または、所定の距離の条件を満たす領域を、逐次モンテカルロ法等の任意の確率モデルを用いた推定等により目標位置として求める。尚、目標位置検出部３３は、画像取得部３１により取得された画像のうち、必要とされる領域を求めて、求められたその領域を切り出すものであるが、処理領域を特定することが目的であるため、必ずしも必要ではない。特に、取得される画像の被写体の領域が所定領域より大きいことが想定されているような場合などには、その処理は必ずしも必要ではないので、目標位置検出部３３は、構成として省略するようにしてもよいものである。
【００２４】
拡大縮小部３４，３５は、画像、および距離情報を処理の必要に応じてサイズを拡大、または縮小して物体認識部３６に供給する。より詳細には、拡大縮小部３４，３５は、ニアレストネイバー法、バイリニア法、バイキュービック法、またはLanczosフィルタ等により画像、および距離情報を拡大、または縮小する。尚、サイズの拡大、または縮小は、必要に応じてなされる処理であるため、拡大縮小部３４，３５は、拡大または縮小せずにそのままのサイズで出力するようにしてもよい。
【００２５】
物体認識部３６は、拡大縮小部３４より供給されてくる画像と、拡大縮小部３５より供給されてくる距離情報とに基づいて、画像内の被写体である物体の種別を識別して認識し、認識結果として出力する。より詳細には、物体認識部３６は、領域分割部４１、背景影響低減特徴量抽出部４２、および認識処理部４３を備えている。
【００２６】
領域分割部４１は、拡大縮小部３５より供給されてくる距離情報に基づいて、拡大縮小部３４より供給されてくる画像を、前景領域、および背景領域に分割し、領域分割情報として背景影響低減特徴量抽出部４２に供給する。より具体的には、領域分割部４１は、例えば、距離情報に含まれる全画素の距離の中央値を求め、中央値よりも近い距離となる画素を前景領域とし、遠い距離となる画素を背景領域とする。ただし、前景領域および背景領域の分割は、これ以外の手法であっても良く、例えば、所定の距離より近い画素を前景領域とし、これより遠い画素を背景領域としてもよいし、画像セグメンテーション等の任意のオブジェクト抽出と距離を併せて、例えば、所定のオブジェクトの距離よりも近い距離の画素を前景領域とし、それ以外を背景領域とするようにしてもよい。また、領域分割情報は、各画素が、分割されたそれぞれ前景領域または背景領域のいずれに属するのかを示すフラグ情報となる。従って、画像の全領域が前景領域と背景領域の２つの領域に分割される場合、領域分割情報は、前景領域を示すフラグと背景領域を示すフラグで構成される情報となる。さらに、領域分割部４１は、前景領域および背景領域以外に距離に応じた更に多くの領域に分割するようにしてもよく、この場合、領域分割情報は、距離に応じて分割される領域を示すフラグで構成される情報となる。
【００２７】
背景影響低減特徴量抽出部４２は、拡大縮小部３４より供給される画像、拡大縮小部３５より供給される距離情報、および領域分割部４１より供給される領域分割情報に基づいて、背景領域の影響により前景領域である物体の種別の認識低下を低減させるための特徴量を抽出して認識処理部４３に出力する。より詳細には、背景影響低減特徴量抽出部４２は、画像加工部５１、および特徴量抽出部５２を備えている。
【００２８】
画像加工部５１は、領域分割情報、および距離情報に基づいて、画像のうち、背景領域に属する画素に対して平滑化処理を施す。より詳細には、画像加工部５１は、比率計算部６１、比率強度計算部６２、距離強度計算部６３、および平滑化部６４を備えている。比率計算部６１は、背景領域に属する画素のそれぞれに対応付けて局所領域を設定し、局所領域に属する画素の背景領域に属する画素の割合を比率として求める。比率強度計算部６２は、平滑化部６４における平滑化の強度を比率計算部６１により求められた比率に基づいて比率強度として計算する。距離強度計算部６３は、距離情報に基づいて、平滑化部６４における平滑化の強度を距離強度として計算する。平滑化部６４は、比率強度、および距離強度に対応した強度で、背景領域に属する画素を平滑化する。
【００２９】
特徴量抽出部５２は、領域分割情報および距離情報に基づいて、画像加工部５１により背景領域が平滑化された画像より、認識処理に必要となる特徴量としてHOG（Histogram of Oriented Gradients）特徴量を抽出する。より詳細には、特徴量抽出部５２は、勾配計算部７１、比率計算部７２、比率重み計算部７３、距離重み計算部７４、ヒストグラム生成部７５、および正規化部７６を備えている。勾配計算部７１は、画像加工部５１より供給されてくる画像における各画素について勾配の大きさと方向を求める。比率計算部７２は、比率計算部６１と同様に、各画素のそれぞれに対応付けて局所領域を設定し、局所領域に属する画素の背景領域に属する画素の割合を比率として求める。比率重み計算部７３は、比率計算部７２により計算された比率に基づいて、各画素の勾配の大きさに付加する比率重みを設定する。距離重み計算部７４は、距離情報に基づいて、各画素の距離に応じて、各画素の勾配の大きさに付加する距離重みを設定する。ヒストグラム生成部７５は、複数の画素からなるセル単位で勾配の方向別に、勾配の大きさに比率重み、および距離重みを付加して度数を求め、求められた度数に基づいてヒストグラムを生成する。正規化部７６は、複数のセルからなるブロック単位で、生成されたヒストグラムを正規化し、これをHOG特徴量として認識処理部４３に供給する。尚、この例においては、特徴量としてHOG特徴量を抽出する例について説明しているが、物体の認識に利用できる特徴量であれば、これに限るものではなく、例えば、Haar-like特徴量、SIFT特徴量、またはGabor特徴量等などを利用するようにしても良い。
【００３０】
認識処理部４３は、背景影響低減特徴量抽出部４２より供給されてくる背景影響低減特徴量に基づいて、例えば、SVM(Support Vector Machine)、またはBoostingなどにより物体の種別を識別する認識処理を実行し、認識結果を出力する。
【００３１】
［物体認識処理］
次に、図２のフローチャートを参照して、物体認識処理について説明する。
【００３２】
ステップＳ１１において、画像取得部３１は、被写体となる物体を含む画像を取得して、距離検出部３２、および目標位置検出部３３に供給する。
【００３３】
ステップＳ１２において、距離検出部３２は、画像取得部３１により取得された画像に含まれる被写体としての物体のそれぞれに対応する画素単位の距離の情報を検出し、目標位置検出部３３、および拡大縮小部３５に供給する。より詳細には、例えば、画像取得部３１が撮像素子を備えており、リアルタイムにステレオ画像などの複数のアングルから同一の被写体を捉えるように撮像する場合、距離検出部３２は、複数の画像の対応点探索処理により、その視差を用いて各画素単位で距離を求め、距離情報として検出する。
【００３４】
ステップＳ１３において、目標位置検出部３３は、画像取得部３１より供給されてくる画像、および、距離検出部３２により供給されてくる距離情報に基づいて、画像内に存在する目標位置を検出し、ステップＳ１４において、目標位置の情報に基づいて画像内の必要領域を切り出して調整し、拡大縮小部３４に供給する。
【００３５】
ステップＳ１５において、拡大縮小部３４，３５は、それぞれ目標位置検出部３３により目標位置に基づいて調整された画像、および距離情報を処理に適当なサイズに拡大、または縮小し、物体認識部３６に供給する。尚、拡大縮小部３４，３５より供給されてくるサイズが拡大、または縮小されている画像、および距離情報については、それぞれ処理に適当な領域についてサイズが調整されているのみであるので、以降においては、単に画像、および距離情報と称するものとする。
【００３６】
ステップＳ１６において、物体認識部３６における領域分割部４１は、距離情報に基づいて、画像を画素単位で前景領域、および背景領域に分割する。より詳細には、領域分割部４１は、例えば、各画素について、距離情報に基づいて、所定の距離より近い距離の画素について前景領域に分類し、その他の画素を背景領域に分類することにより、前景領域と背景領域とに分割する。すなわち、例えば、図３の画像Ａ１で示されるような画像が取得されると共に、図３の距離情報Ａ２が検出される場合、図３の領域分割情報Ａ３が求められる。ここで、画像Ａ１は、掌からなる被写体となる物体Ｚ１が背景Ｚ２上に存在する画像である。また、距離情報Ａ２は、掌の物体Ｚ１の存在する領域全体が所定の距離を示す配色Ｚ１１で描かれ、背景Ｚ２における空間内の各画素の距離が遠くなるにつれて黒くなるように配色Ｚ１２で示されている。さらに、領域分割情報Ａ３は、掌の物体Ｚ１の存在する領域より僅かに背後となる所定の距離より近い掌が白色の前景領域Ｚ２１として表示されており、それ以降については、背景領域Ｚ２２として示される灰色で示されている。結果として、掌の物体Ｚ１に対応する領域が前景領域Ｚ２１として分割され、それ以外が背景領域Ｚ２２に分割されている。
【００３７】
ステップＳ１７において、背景影響低減特徴量抽出部４２は、背景影響低減特徴量抽出処理を実行し、距離情報、および領域分割情報に基づいて、画像より背景影響低減特徴量を抽出する。
【００３８】
［背景影響低減特徴量抽出処理］
ここで、図４のフローチャートを参照して、背景影響低減特徴量抽出処理について説明する。背景影響低減特徴量抽出処理は、画像加工部５１においてステップＳ３１で実行される画像加工処理と、特徴量抽出部５２において、ステップＳ３２で実行される特徴量抽出処理とから構成される。
【００３９】
［画像加工処理］
ここで、図５のフローチャートを参照して、画像加工処理について説明する。
【００４０】
ステップＳ５１において、画像加工部５１は、画像を構成する垂直方向の座標、すなわちｙ座標のカウンタｙを０に初期化する。
【００４１】
ステップＳ５２において、画像加工部５１は、画像を構成する水平方向の座標、すなわちｘ座標のカウンタｘを０に初期化する。
【００４２】
ステップＳ５３において、画像加工部５１は、距離情報に基づいて、画像上の処理対象である画素Ｉ（ｘ，ｙ）が背景領域であるか否かを判定し、例えば、背景領域を示すフラグである場合、処理は、ステップＳ５４に進む。
【００４３】
ステップＳ５４において、画像加工部５１は、比率計算部６１を制御して、画素Ｉ（ｘ，ｙ）に対応する局所領域を設定する。すなわち、比率制御部６１は、例えば、処理対象である画素Ｉ（ｘ，ｙ）を中心とした６画素×６画素の方形領域を局所領域に設定する。
【００４４】
ステップＳ５５において、比率計算部６１は、局所領域に属する各画素の前景領域に属する画素数と、背景領域に属する画素数との比率ｑを計算する。
【００４５】
ステップＳ５６において、画像加工部５１は、比率強度計算部６２を制御して、処理対象となる画素Ｉ（ｘ，ｙ）の平滑化の比率ｑに基づいた比率強度Ｓｔ＿ｑを計算する。すなわち、例えば、比率ｑが前景領域の割合が高いことを示している場合、処理対象となる画素Ｉ（ｘ，ｙ）の周辺には、物体の認識処理に影響を及ぼす背景領域の画素が少ないと考えられるため、比率強度計算部６２は、比率強度Ｓｔ＿ｑを弱くするように計算する。一方、比率ｑが背景領域の割合が高いことを示している場合、処理対象となる画素Ｉ（ｘ，ｙ）の周辺には、物体の認識処理に影響を及ぼす背景領域の画素が多いと考えられるため、比率強度計算部６２は、比率強度Ｓｔ＿ｑを強くするように計算する。
【００４６】
ステップＳ５７において、画像加工部５１は、距離強度計算部６３を制御して、処理対象となる画素Ｉ（ｘ，ｙ）の平滑化の距離情報の距離に基づいた距離強度ｋｋを計算する。すなわち、処理対象である画素Ｉ（ｘ，ｙ）の距離が遠いほど背景領域であると考えられるので、距離強度計算部６３は、距離強度Ｓｔ＿ｄを強くするように計算し、逆に、距離が近いほど、距離強度Ｓｔ＿ｄを弱くして平滑化する。
【００４７】
ステップＳ５８において、画像加工部５１は、平滑化部６４を制御して、比率強度Ｓｔ＿ｑおよび距離強度Ｓｔ＿ｄに対応した強度で、処理対象である画素Ｉ（ｘ，ｙ）を平滑化する。このように、平滑化の強度は、比率ｑと距離に依存することとなるため、例えば、平滑化部６４は、比率強度Ｓｔ＿ｑおよび距離強度Ｓｔ＿ｄの乗算結果Ｓｔ＿ｑ×Ｓｔ＿ｄに基づいて、平滑化の強度を設定するようにしてもよい。
【００４８】
一方、ステップＳ５３において、処理対象となる画素Ｉ（ｘ，ｙ）が背景領域のフラグではないと判定された場合、ステップＳ５４乃至Ｓ５８の処理はスキップされる。
【００４９】
例えば、処理対象の画素Ｉ（ｘ，ｙ）が、図３の分割領域情報Ａ４における画素Ｂ１である場合、画素Ｂ１は、前景領域に属するため、ステップＳ５３において、処理対象となる画素が背景領域のフラグではないと判定されて、ステップＳ５４乃至Ｓ５８の処理がスキップされる。
【００５０】
一方、例えば、処理対象の画素Ｉ（ｘ，ｙ）が、図３の分割領域情報Ａ４における画素Ｂ２またはＢ３である場合、画素Ｂ２，Ｂ３は、背景領域に属すので、局所領域Ｚ１０２，Ｚ１０３における背景領域の割合に基づいて、それぞれが平滑化される。すなわち、局所領域Ｚ１０３は、全てが背景領域であるが、局所領域Ｚ１０２は、一部のみが背景領域である。このため、画素Ｂ３は、画素Ｂ２よりも、より強い強度で平滑化されることになる。
【００５１】
ステップＳ５９において、画像加工部５１は、画像を構成する水平方向の座標、すなわちｘ座標のカウンタｘを１インクリメントする。
【００５２】
ステップＳ６０において、画像加工部５１は、カウンタｘが画像の水平方向のサイズＳｘよりも小さいか否かを判定し、小さいと判定した場合、処理は、ステップＳ５３に戻る。すなわち、カウンタｘが水平方向のサイズＳｘよりも小さくなるまで、ステップＳ５３乃至Ｓ６０の処理が繰り返される。そして、ステップＳ６０において、カウンタｘが水平方向のサイズＳｘよりも小さいと判定された場合、処理は、ステップＳ６１に進む。
【００５３】
ステップＳ６１において、画像加工部５１は、画像を構成する水平方向の座標、すなわちｘ座標のカウンタｘを１インクリメントする。
【００５４】
ステップＳ６２において、画像加工部５１は、カウンタｙが画像の垂直方向のサイズＳｙよりも小さいか否かを判定し、小さいと判定した場合、処理は、ステップＳ５２に戻る。すなわち、カウンタｙが垂直方向のサイズＳｙよりも小さくなるまで、ステップＳ５２乃至Ｓ６２の処理が繰り返される。そして、ステップＳ６２において、カウンタｙが垂直方向のサイズＳｙよりも小さいと判定された場合、処理は、終了する。
【００５５】
すなわち、領域分割情報に基づいて、背景領域に対応する画素については、局所領域における背景領域と前景領域との比率、および距離情報の距離に対応した強度で平滑化される。この結果、物体の種別の認識に影響を与える背景領域の画素による影響が低減されることになり、後段において、認識処理に影響を与える背景領域の画素の影響が低減された画像から特徴量が抽出されることになるので、物体の種別の認識処理における認識率を向上させることが可能となる。尚、平滑化の強度については、比率のみで制御するようにしても、距離のみで制御するようにしても、背景領域による認識処理の認識精度の低減を抑制する効果を奏する事ができるので、いずれかのみで平滑化の強度を制御するようにしても良い。
【００５６】
［特徴量抽出処理］
次に、図６のフローチャートを参照して、特徴量抽出処理について説明する。
【００５７】
ステップＳ７１において、特徴量抽出部５２は、画像を構成する垂直方向の座標、すなわちｙ座標のカウンタｙを０に初期化する。
【００５８】
ステップＳ７２において、特徴量抽出部５２は、画像を構成する水平方向の座標、すなわちｘ座標のカウンタｘを０に初期化する。
【００５９】
ステップＳ７３において、特徴量抽出部５２は、勾配計算部７１を制御して、処理対象となる画素Ｉ（ｘ，ｙ）について勾配の角度および大きさを計算させる。より詳細には、例えば、処理対象画素Ｉ（ｘ，ｙ）が、図７の画素Ｃ１である場合、勾配計算部７１は、その垂直方向１３１に隣接する画素Ｉ（ｘ，ｙ＋１），Ｉ（ｘ，ｙ−１）および水平方向１３２に隣接する画素Ｉ（ｘ＋１，ｙ），Ｉ（ｘ−１，ｙ）を用いて、以下の式（１）を計算することにより勾配を求める。尚、図７の左上部においては、処理対象となる画素Ｉ（ｘ，ｙ）の勾配の配置が示されており、図７の中央上部にいては、処理対象画素Ｃ１である画素１２１を含むｍ画素×ｎ画素からなるセル１０２の構成例が示されている。さらに、図７の右上部においては、セル１０２に対応するセル１１１がＭ個×Ｎ個からなるブロック１０１の構成例が示されており、下部には、セル１０２を構成する各画素の勾配の方向Ｌ１乃至ＬＬ毎の度数からなるヒストグラム１０３の例が示されている。
【００６０】
【数１】
【００６１】
ここで、ｇｘ（ｘ，ｙ），ｇｙ（ｘ，ｙ）は、それぞれ水平方向の勾配、および垂直方向の勾配である。
【００６２】
そして、勾配計算部７１は、以下の式（２），式（３）を計算することにより、それぞれ勾配の大きさ、および角度を計算する。
【００６３】
【数２】
【数３】
【００６４】
ここｒ（ｘ，ｙ）は、勾配の大きさであり、θ（ｘ，ｙ）は、勾配の角度を示している。
【００６５】
ステップＳ７４において、特徴量抽出部５２は、比率計算部７２を制御して、画像上の処理対象である画素Ｉ（ｘ，ｙ）に対応する局所領域を設定する。すなわち、ステップＳ７４の処理により、比率計算部７２は、例えば、処理対象である画素Ｉ（ｘ，ｙ）を中心とした近傍のｕ画素×ｖ画素の方形領域を局所領域に設定する。
【００６６】
ステップＳ７５において、比率計算部７２は、局所領域に属する各画素の前景領域に属する画素数と、背景領域に属する画素数との比率ｑを計算する。
【００６７】
ステップＳ７６において、特徴量抽出部５２は、比率重み計算部７３を制御して、比率ｑに基づいて比率重みｗｋを計算させる。
【００６８】
ステップＳ７７において、特徴量抽出部５２は、距離重み計算部７４を制御して、距離情報における処理対象となる画素Ｉ（ｘ，ｙ）の距離に基づいて、距離重みｗｄを計算させる。
【００６９】
ステップＳ７８において、特徴量抽出部５２は、画像を構成する水平方向の座標、すなわちｘ座標のカウンタｘを１インクリメントする。
【００７０】
ステップＳ７９において、特徴量抽出部５２は、カウンタｘが画像の水平方向のサイズＳｘよりも小さいか否かを判定し、小さいと判定した場合、処理は、ステップＳ７３に戻る。すなわち、カウンタｘが水平方向のサイズＳｘよりも小さくなるまで、ステップＳ７３乃至Ｓ７９の処理が繰り返される。そして、ステップＳ７９において、カウンタｘが水平方向のサイズＳｘよりも小さいと判定された場合、処理は、ステップＳ８０に進む。
【００７１】
ステップＳ８０において、特徴量抽出部５２は、画像を構成する水平方向の座標、すなわちｘ座標のカウンタｘを１インクリメントする。
【００７２】
ステップＳ８１において、特徴量抽出部５２は、カウンタｙが画像の垂直方向のサイズＳｙよりも小さいか否かを判定し、小さいと判定した場合、処理は、ステップＳ７２に戻る。すなわち、カウンタｙが垂直方向のサイズＳｙよりも小さくなるまで、ステップＳ７２乃至Ｓ８１の処理が繰り返される。そして、ステップＳ８１において、カウンタｙが垂直方向のサイズＳｙよりも小さいと判定された場合、処理は、ステップＳ８２に進む。
【００７３】
ステップＳ８２において、ヒストグラム生成部７５は、未処理のセルを処理対象のセルに設定する。すなわち、図７の中央上部で示されるように、複数の画素群からなるセルを画像内に設定し、そのうち、未処理のセルを処理対象のセルに設定する。尚、図７の中央上部においては、ｍ画素×ｎ画素のセル１０２が設定される例が示されている。
【００７４】
ステップＳ８３において、ヒストグラム生成部７５は、処理対象となるセルにおける勾配の方向毎の比率重みｗｋ、および距離重みｗｄを含めた度数を設定する。すなわち、HOG特徴量は、図７の中央上部で示されるセル１０２の各画素について勾配方向を方向Ｌ１乃至ＬＬに分けて、各画素の勾配方向に属する度数から求められるヒストグラムに基づくものである。
【００７５】
すなわち、ヒストグラム生成部７５は、以下の式（４）で示されるように、各画素の勾配方向Ｌｌの度数ｆｌ’を設定する。
【００７６】
【数４】
【００７７】
ここで、ｆｌ’は、方向Ｌｌの度数であり、ｗｋは、ステップＳ７６の処理で求められた各画素の局所領域における前景領域と背景領域との比率に基づいた比率重みである。また、ｗｄは、ステップＳ７７の処理で求められた各画素の距離情報の距離に応じて設定される距離重みであり、ｒｌ（ｘ，ｙ）は、勾配の大きさである。
【００７８】
すなわち、比率重みｗｋは、以下の式（５）で設定される前景領域と背景領域との比率ｂに基づいて設定されている。
【００７９】
【数５】
【００８０】
ここで、δ（Ｄ）は、以下の式（６）で設定される領域分割情報Ｄ（ｘ，ｙ）を一般化した関数である。また、ｕ，ｖは、局所領域がｕ画素×ｖ画素の領域であることを示している。
【００８１】
【数６】
【００８２】
ここで、すなわち、関数δ（Ｄ）は、前景領域では１であり、背景領域では０となる関数である。
【００８３】
例えば、比率重みｗｋをｋ段階設定する場合、比率重み計算部７３は、これらの条件に基づいて、例えば、以下の式（７）で示されるように重みを含めた度数を設定する。
【００８４】
【数７】
【００８５】
ここで、ｔｈ１，ｔｈ２，・・・，ｔｈｋは、ｋ段階の重みを設定するための閾値であり、比率重みｗｋ、および閾値ｔｈｋは、以下の式（８）で示される関係となる。
【００８６】
【数８】
【００８７】
すなわち、比率ｂが大きくなるに連れて、比率重みｗｋも大きくなり、すなわち、前景領域の比率が大きいほど、比率重みｗｋは、大きく設定されて、逆に、前景領域の比率が小さいほど、比率重みｗｋは小さく設定される。このため、物体の識別に影響を及ぼす背景領域の画素によるヒストグラムの度数が軽減されるように比率重みｗｋが設定されるので、特徴量より背景領域の画素による影響を排除し、認識精度を向上させることが可能となる。
【００８８】
同様に、距離重みｗｄは、各画素について、距離情報に応じて、距離が大きいほど小さく設定され、逆に、距離が小さいほど大きく設定される。このため、やはり、物体の識別に影響を及ぼす背景領域の画素によるヒストグラムの度数が軽減されるように距離重みｗｄが設定されるので、特徴量より背景領域の画素による影響を排除し、認識精度を向上させることが可能となる。
【００８９】
ステップＳ８４において、ヒストグラム生成部７５は、このようにして求められた比率重みｗｋ、および距離重みｗｄを含む度数に基づいて、処理対象となるセル単位でヒストグラムを生成する。すなわち、ヒストグラムは、各画素の勾配方向を、所定数に分類し、分類される勾配方向毎の度数の和であり、例えば、以下の式（９）で示される。
【００９０】
【数９】
【００９１】
ここで、Ｆは、各セルのヒストグラムであり、ｆＬ１，ｆＬ２、・・・ｆＬＬは、各勾配方向ＬＬ毎の度数を示している。
【００９２】
ステップＳ８５において、ヒストグラム生成部７５は、未処理のセルが存在するか否かを判定し、未処理のセルが存在する場合、処理は、ステップＳ８２に戻る。すなわち、全てのセルについてヒストグラムが生成されるまで、ステップＳ８２乃至Ｓ８５の処理が繰り返される。そして、ステップＳ８５において、全てのセルについてヒストグラムが求められ、未処理のセルが存在しないと判定された場合、処理は、ステップＳ８６に進む。
【００９３】
ステップＳ８６において、正規化部７６は、未処理のブロックを処理対象のブロックに設定する。すなわち、ブロックは、複数のセルからなる領域であり、例えば、図７の右上部のようにセルがＭ個×Ｎ個の領域である。
【００９４】
ステップＳ８７において、正規化部７６は、求められたセル単位で求められたヒストグラムを各セルを中心として設定される処理対象のブロック単位で正規化し、ブロック単位で正規化されたヒストグラムによりHOG特徴量を生成し、認識処理部４３に出力する。すなわち、セル単位で設定されるブロック単位のヒストグラムＶは、以下の式（１０）となる。
【００９５】
【数１０】
【００９６】
正規化部７６は、全てのセルに対して、セル単位で設定されるブロック内のヒストグラムＶを、以下の式（１１）を計算することにより正規化する。この結果、各セル毎に設定されるブロック単位の正規化結果がHOG特徴量として求められることになる。
【００９７】
【数１１】
【００９８】
ここで、Ｖバーは、ブロック単位のヒストグラムＶが正規化されたものを示している。また、εは、ブロック単位のヒストグラムＶがゼロとなって発散しないようにさせるための定数である。
【００９９】
ステップＳ８８において、正規化部７６は、未処理のブロックが存在するか否かを判定し、未処理のブロックが存在する場合、処理は、ステップＳ８６に戻る。すなわち、全てのブロックに対して正規化処理がなされるまで、ステップＳ８６乃至Ｓ８８の処理が繰り返される。そして、ステップＳ８８において、全てのブロックの正規化処理が終了し、未処理のブロックが存在しないと判定された場合、処理は、終了する。
【０１００】
すなわち、画像内が前景領域と背景領域との２種類にしか設定されない場合、比率重みｗｋは、ｋ＝２であるときの処理となる。従って、前景領域および背景領域以外の領域を距離情報に基づいて設定し、ｋ＞２とするときも、距離が近い領域の比率が高いほど比率重みｗｋを大きくすると共に、距離が近い画素についての距離重みｗｄを大きくすることで、距離の遠い画素、すなわち、背景領域に属しているものとみなされる、認識処理に影響を及ぼす要素を排除することが可能となり、より高い精度で物体の種別を識別して認識することが可能となる。
【０１０１】
ここで、図２のフローチャートに戻る。
【０１０２】
ステップＳ１８において、認識処理部４３は、上述した処理により供給されてきた背景影響低減特徴量に基づいて、例えば、SVM(Support Vector Machine)、またはBoostingなどにより画像に含まれる物体の種別を識別して認識し、認識結果を出力する。
【０１０３】
以上の処理により、画像における背景領域に属する画素を、局所領域における前景領域と背景領域との比率に応じた強度で平滑化した上で、さらに、各画素について局所領域における前景領域と背景領域との比率に応じて設定される比率重みと、各画素の距離情報に基づいて設定される距離重みとを付して特徴量を抽出するようにした。この結果、物体の認識処理において、認識精度を低減させる背景領域の影響を低減させることが可能となり、物体の認識精度を向上させることが可能となる。
【０１０４】
＜２．第２の実施の形態＞
［その他の画像処理装置の構成例］
以上においては、画像加工処理、および特徴量抽出処理の両方の処理において、物体の認識精度を低下させる要因となる背景領域の画素による影響を低減させる例について説明してきたが、いずれの処理のみであっても効果を奏するものである。従って、図８で示される画像処理装置１１のように、画像加工部５１を削除するような構成としても、特徴量抽出処理により背景領域の画素による影響を低減させることが可能である。その場合、背景影響低減特徴量抽出処理は、図９で示されるように、ステップＳ１０１で示される特徴量抽出処理のみとなる。尚、特徴量抽出処理については、図６のフローチャートを参照して説明した処理と同様であるので、その説明は省略するものとする。
【０１０５】
＜３．第３の実施の形態＞
［さらにその他の画像処理装置の構成例］
また、図１０で示される画像処理装置１１のように、画像加工処理のみで物体の認識精度を低下させる要因となる背景領域の画素による影響を低減させるようにしてもよい。すなわち、図１０における画像処理装置１１においては、背景影響特徴量抽出部５２における特徴量抽出部５２より比率計算部７２、比率重み計算部７３、および距離重み計算部７４が削除されている。この場合、特徴量抽出処理は、図１１で示されるように、図６のステップＳ７５乃至Ｓ７７の比率重みおよび距離重みを設定する処理が含まれておらず、ステップＳ１３０において、比率重みおよび距離重みを考慮しない度数が設定される。尚、図１１のフローチャートで示されるステップＳ１２１乃至Ｓ１２９，Ｓ１３１乃至Ｓ１３５の処理は、図６のステップＳ７１乃至Ｓ７４，Ｓ７８乃至Ｓ８２，Ｓ８４乃至Ｓ８８の処理と同様であるので、その説明は省略する。
【０１０６】
以上によれば、画像に含まれる被写体たる物体の種別を認識する認識処理における認識精度を低減させる要因となる背景領域の要素を排除して特徴量を抽出できるようにしたので、画像に含まれる被写体たる物体の種別を認識する認識精度を向上させることが可能となる。
【０１０７】
ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【０１０８】
図１２は、汎用のパーソナルコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタ-フェイス１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。
【０１０９】
入出力インタ-フェイス１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブルメディア１０１１に対してデータを読み書きするドライブ１０１０が接続されている。
【０１１０】
CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブルメディア１０１１から読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１１１】
尚、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理は、もちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理を含むものである。
【符号の説明】
【０１１２】
１１ 画像処理装置， ３１ 画像取得部， ３２ 距離検出部， ３３ 目標位置検出部， ３４，３５ 拡大縮小部， ３６ 物体認識部， ４１ 領域分割部， ４２ 背景影響低減特徴量抽出部， ４３ 認識処理部， ５１ 画像加工部， ５２ 特徴量抽出部， ６１ 比率計算部， ６２ 比率強度計算部， ６３ 距離強度計算部， ６４ 平滑化部， ７１ 勾配計算部， ７２ 比率計算部， ７３ 比率重み計算部， ７４ 距離重み計算部， ７５ ヒストグラム生成部， ７６ 正規化部
【特許請求の範囲】
【請求項１】
画像を取得する画像取得手段と、
前記画像内に撮像されている被写体の、前記画像の撮像時の撮像機器からの距離の情報を、前記画像の画素単位で取得する距離取得手段と、
前記画像、および前記距離情報に基づいて、前記画像における被写体となる前景領域と、それ以外の背景領域とに領域を分割する領域分割手段と、
前記画像、前記距離情報、および前記領域分割手段により分割された背景領域の情報の全て、またはそのいずれかに基づいて、前記背景による被写体の種別の認識に対する影響を低減する特徴量を抽出する背景影響低減特徴量抽出手段と、
前記背景影響低減特徴量抽出手段により抽出された特徴量に基づいて、前記画像における前景となる被写体の種別を認識する認識手段と
を含む画像処理装置。
【請求項２】
前記背景影響低減特徴量抽出手段は、
前記画像、および前記領域分割手段により分割された背景領域の情報に基づいて、前記画像のうち、前記背景領域に対応する画素を平滑化する平滑化手段を含み、
前記平滑化手段により前記背景領域に対応する画素が平滑化された画像より、前記背景による被写体の種別の認識に対する影響を低減する特徴量を抽出する
請求項１に記載の画像処理装置。
【請求項３】
前記平滑化手段は、前記領域分割手段により分割された背景領域の画素に対して、その近傍の画素の背景画素と前景画素との比率に応じた強度で画素を平滑化する
請求項２に記載の画像処理装置。
【請求項４】
背景影響低減特徴量抽出手段は、
前記画像の特徴量を抽出する特徴量抽出手段と、
前記画像、および距離情報、前記領域分割手段により分割された背景領域の情報に基づいて、重み設定し、前記特徴量に前記重みを付する重み設定手段とを含み、
前記重み設定手段により設定された重みが付された特徴量を、前記背景による被写体の種別の認識に対する影響を低減する特徴量として抽出する
請求項１に記載の画像処理装置。
【請求項５】
前記特徴量抽出手段は、HOG特徴量を抽出する
請求項１に記載の画像処理装置。
【請求項６】
画像を取得する画像取得手段と、
前記画像内に撮像されている被写体の、前記画像の撮像時の撮像機器からの距離の情報を、前記画像の画素単位で取得する距離取得手段と、
前記画像、および前記距離情報に基づいて、前記画像における被写体となる前景領域と、それ以外の背景領域とに領域を分割する領域分割手段と、
前記画像、前記距離情報、および前記領域分割手段により分割された背景領域の情報の全て、またはそのいずれかに基づいて、前記背景による被写体の種別の認識に対する影響を低減する特徴量を抽出する背景影響低減特徴量抽出手段と、
前記背景影響低減特徴量抽出手段により抽出された特徴量に基づいて、前記画像における前景となる被写体の種別を認識する認識手段と
を含む画像処理装置の画像処理方法は、
前記画像取得手段における、前記画像を取得する画像取得ステップと、
前記距離取得手段における、前記画像内に撮像されている被写体の、前記画像の撮像時の撮像機器からの距離の情報を、前記画像の画素単位で取得する距離取得ステップと、
前記領域分割手段における、前記画像、および前記距離情報に基づいて、前記画像における被写体となる前景領域と、それ以外の背景領域とに領域を分割する領域分割ステップと、
前記背景影響低減特徴量抽出手段における、前記画像、前記距離情報、および前記領域分割ステップの処理により分割された背景領域の情報の全て、またはそのいずれかに基づいて、前記背景による被写体の種別の認識に対する影響を低減する特徴量を抽出する背景影響低減特徴量抽出ステップと、
前記認識手段における、前記背景影響低減特徴量抽出ステップの処理により抽出された特徴量に基づいて、前記画像における前景となる被写体の種別を認識する認識ステップと
を含む画像処理方法。
【請求項７】
画像を取得する画像取得手段と、
前記画像内に撮像されている被写体の、前記画像の撮像時の撮像機器からの距離の情報を、前記画像の画素単位で取得する距離取得手段と、
前記画像、および前記距離情報に基づいて、前記画像における被写体となる前景領域と、それ以外の背景領域とに領域を分割する領域分割手段と、
前記画像、前記距離情報、および前記領域分割手段により分割された背景領域の情報の全て、またはそのいずれかに基づいて、前記背景による被写体の種別の認識に対する影響を低減する特徴量を抽出する背景影響低減特徴量抽出手段と、
前記背景影響低減特徴量抽出手段により抽出された特徴量に基づいて、前記画像における前景となる被写体の種別を認識する認識手段と
を含む画像処理装置を制御するコンピュータに、
前記画像取得手段における、前記画像を取得する画像取得ステップと、
前記距離取得手段における、前記画像内に撮像されている被写体の、前記画像の撮像時の撮像機器からの距離の情報を、前記画像の画素単位で取得する距離取得ステップと、
前記領域分割手段における、前記画像、および前記距離情報に基づいて、前記画像における被写体となる前景領域と、それ以外の背景領域とに領域を分割する領域分割ステップと、
前記背景影響低減特徴量抽出手段における、前記画像、前記距離情報、および前記領域分割ステップの処理により分割された背景領域の情報の全て、またはそのいずれかに基づいて、前記背景による被写体の種別の認識に対する影響を低減する特徴量を抽出する背景影響低減特徴量抽出ステップと、
前記認識手段における、前記背景影響低減特徴量抽出ステップの処理により抽出された特徴量に基づいて、前記画像における前景となる被写体の種別を認識する認識ステップと
を含む処理を実行させるプログラム。
【請求項１】
画像を取得する画像取得手段と、
前記画像内に撮像されている被写体の、前記画像の撮像時の撮像機器からの距離の情報を、前記画像の画素単位で取得する距離取得手段と、
前記画像、および前記距離情報に基づいて、前記画像における被写体となる前景領域と、それ以外の背景領域とに領域を分割する領域分割手段と、
前記画像、前記距離情報、および前記領域分割手段により分割された背景領域の情報の全て、またはそのいずれかに基づいて、前記背景による被写体の種別の認識に対する影響を低減する特徴量を抽出する背景影響低減特徴量抽出手段と、
前記背景影響低減特徴量抽出手段により抽出された特徴量に基づいて、前記画像における前景となる被写体の種別を認識する認識手段と
を含む画像処理装置。
【請求項２】
前記背景影響低減特徴量抽出手段は、
前記画像、および前記領域分割手段により分割された背景領域の情報に基づいて、前記画像のうち、前記背景領域に対応する画素を平滑化する平滑化手段を含み、
前記平滑化手段により前記背景領域に対応する画素が平滑化された画像より、前記背景による被写体の種別の認識に対する影響を低減する特徴量を抽出する
請求項１に記載の画像処理装置。
【請求項３】
前記平滑化手段は、前記領域分割手段により分割された背景領域の画素に対して、その近傍の画素の背景画素と前景画素との比率に応じた強度で画素を平滑化する
請求項２に記載の画像処理装置。
【請求項４】
背景影響低減特徴量抽出手段は、
前記画像の特徴量を抽出する特徴量抽出手段と、
前記画像、および距離情報、前記領域分割手段により分割された背景領域の情報に基づいて、重み設定し、前記特徴量に前記重みを付する重み設定手段とを含み、
前記重み設定手段により設定された重みが付された特徴量を、前記背景による被写体の種別の認識に対する影響を低減する特徴量として抽出する
請求項１に記載の画像処理装置。
【請求項５】
前記特徴量抽出手段は、HOG特徴量を抽出する
請求項１に記載の画像処理装置。
【請求項６】
画像を取得する画像取得手段と、
前記画像内に撮像されている被写体の、前記画像の撮像時の撮像機器からの距離の情報を、前記画像の画素単位で取得する距離取得手段と、
前記画像、および前記距離情報に基づいて、前記画像における被写体となる前景領域と、それ以外の背景領域とに領域を分割する領域分割手段と、
前記画像、前記距離情報、および前記領域分割手段により分割された背景領域の情報の全て、またはそのいずれかに基づいて、前記背景による被写体の種別の認識に対する影響を低減する特徴量を抽出する背景影響低減特徴量抽出手段と、
前記背景影響低減特徴量抽出手段により抽出された特徴量に基づいて、前記画像における前景となる被写体の種別を認識する認識手段と
を含む画像処理装置の画像処理方法は、
前記画像取得手段における、前記画像を取得する画像取得ステップと、
前記距離取得手段における、前記画像内に撮像されている被写体の、前記画像の撮像時の撮像機器からの距離の情報を、前記画像の画素単位で取得する距離取得ステップと、
前記領域分割手段における、前記画像、および前記距離情報に基づいて、前記画像における被写体となる前景領域と、それ以外の背景領域とに領域を分割する領域分割ステップと、
前記背景影響低減特徴量抽出手段における、前記画像、前記距離情報、および前記領域分割ステップの処理により分割された背景領域の情報の全て、またはそのいずれかに基づいて、前記背景による被写体の種別の認識に対する影響を低減する特徴量を抽出する背景影響低減特徴量抽出ステップと、
前記認識手段における、前記背景影響低減特徴量抽出ステップの処理により抽出された特徴量に基づいて、前記画像における前景となる被写体の種別を認識する認識ステップと
を含む画像処理方法。
【請求項７】
画像を取得する画像取得手段と、
前記画像内に撮像されている被写体の、前記画像の撮像時の撮像機器からの距離の情報を、前記画像の画素単位で取得する距離取得手段と、
前記画像、および前記距離情報に基づいて、前記画像における被写体となる前景領域と、それ以外の背景領域とに領域を分割する領域分割手段と、
前記画像、前記距離情報、および前記領域分割手段により分割された背景領域の情報の全て、またはそのいずれかに基づいて、前記背景による被写体の種別の認識に対する影響を低減する特徴量を抽出する背景影響低減特徴量抽出手段と、
前記背景影響低減特徴量抽出手段により抽出された特徴量に基づいて、前記画像における前景となる被写体の種別を認識する認識手段と
を含む画像処理装置を制御するコンピュータに、
前記画像取得手段における、前記画像を取得する画像取得ステップと、
前記距離取得手段における、前記画像内に撮像されている被写体の、前記画像の撮像時の撮像機器からの距離の情報を、前記画像の画素単位で取得する距離取得ステップと、
前記領域分割手段における、前記画像、および前記距離情報に基づいて、前記画像における被写体となる前景領域と、それ以外の背景領域とに領域を分割する領域分割ステップと、
前記背景影響低減特徴量抽出手段における、前記画像、前記距離情報、および前記領域分割ステップの処理により分割された背景領域の情報の全て、またはそのいずれかに基づいて、前記背景による被写体の種別の認識に対する影響を低減する特徴量を抽出する背景影響低減特徴量抽出ステップと、
前記認識手段における、前記背景影響低減特徴量抽出ステップの処理により抽出された特徴量に基づいて、前記画像における前景となる被写体の種別を認識する認識ステップと
を含む処理を実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１１−２５３３５４（Ｐ２０１１−２５３３５４Ａ）
【公開日】平成２３年１２月１５日（２０１１．１２．１５）
【国際特許分類】
【出願番号】特願２０１０−１２６７７９（Ｐ２０１０−１２６７７９）
【出願日】平成２２年６月２日（２０１０．６．２）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２３年１２月１５日（２０１１．１２．１５）
【国際特許分類】
【出願日】平成２２年６月２日（２０１０．６．２）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]