物体認識処理装置及び物体認識処理方法
【課題】バーコードラベルや無線タグが付されていない商品を画像認識処理により短時間で精度良く認識できるようにする。
【解決手段】撮像部１０より撮像された認識対象物のカラー画像信号について、認識処理部２０において、第１の認識処理部２２により、上記カラー画像信号からＨＳＶ色空間に変換して、Ｈ（色相）情報とＳ（彩度）情報のカラーヒストグラムを作成し、上記認識対象物の第１の特徴情報として、予め作成されている基準のカラーヒストグラムと比較することにより上記認識対象物を認識し、また、第２の認識処理部２３により、上記カラー画像信号に含まれる認識対象物の輝度情報からＳＩＦＴ特徴量を抽出し、Ｋ−ｍｅａｎｓ法によるクラスタリングに対応したクラスを横軸としたヒストグラムを作成し、上記認識対象物の第２の特徴情報として、予め作成されている基準のヒストグラムと比較することにより上記認識対象物を認識する。
【解決手段】撮像部１０より撮像された認識対象物のカラー画像信号について、認識処理部２０において、第１の認識処理部２２により、上記カラー画像信号からＨＳＶ色空間に変換して、Ｈ（色相）情報とＳ（彩度）情報のカラーヒストグラムを作成し、上記認識対象物の第１の特徴情報として、予め作成されている基準のカラーヒストグラムと比較することにより上記認識対象物を認識し、また、第２の認識処理部２３により、上記カラー画像信号に含まれる認識対象物の輝度情報からＳＩＦＴ特徴量を抽出し、Ｋ−ｍｅａｎｓ法によるクラスタリングに対応したクラスを横軸としたヒストグラムを作成し、上記認識対象物の第２の特徴情報として、予め作成されている基準のヒストグラムと比較することにより上記認識対象物を認識する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、認識対象物を撮像して画像認識処理により認識する物体認識処理装置及び物体認識処理方法に関する。
【背景技術】
【０００２】
一般に、スーパーマーケット等の店舗に設置されたレジカウンタにおいて商品チェックアウトを行う場合には、商品に付されたバーコードを読み取ることによって当該商品の価格等のデータを求め、そのデータをＰＯＳ装置に出力する事によって販売管理や在庫管理を効率的に行うことができる。
【０００３】
バーコードリーダは、小売雑貨業において、レジでバーコードタグの付いた商品を識別するのに広く用いられている。商品は、そのバーコードにより、ホストコンピュータに記憶されたデータベースを用いて識別される。一般に、商品の説明およびその価格がレシートに印刷され、さらに商品がスキャンされる間、現在の価格合計が保持される。バーコードリーダの使用は、信頼性とレジにかかる時間の短縮などにより、一般に広く受け入れられている。
【０００４】
また、近年、商品に無線タグを取り付け、無線タグのメモリにその無線タグを付した商品に関するデータ、例えば、商品コードを記憶させておき、そのデータを用いて商品販売データ処理や商品管理を実行するようにした各種の技術が提案され、実用化されている。また、無線タグのメモリに記憶されている商品コード等のデータを複数商品について一括して読み取ることで、効率的なチェックアウトを可能にする技術についても開発が進められ、一部実用化されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−２２６３２０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、例えば果実や野菜などの生鮮品のような未包装の商品では、バーコードラベルや無線タグを付けることが好ましくない場合もあり、バーコードラベルや無線タグが付されていない商品については、商品コードの入力が困難であるという問題がある。
また、ケーキや野菜などを店で会計する際、レジで値段を入力するのは効率悪く、また従業員に対して、すべての商品の値段を覚えるのが大変である。また、ケーキは作る人により個体差が生じ、また、野菜などは栽培環境や自然環境によりそれぞれの形状に個体差が生じる。
【０００７】
そこで、本発明の目的は、上記従来の課題を解決するものであり、バーコードラベルや無線タグが付されていない商品を画像認識処理により短時間で精度良く認識できる物体認識処理装置及び物体認識処理方法を提供することにある。
また、本発明の目的は、個体差のある物体の認識を高精度且つ高速で可能にした物体認識装置及び物体認識方法を提供することにある。
【０００８】
本発明の他の目的、本発明によって得られる具体的な利点は、以下に説明される実施の形態の説明から一層明らかにされる。
【課題を解決するための手段】
【０００９】
本発明に係る物体認識処理装置は、認識対象物を撮像する撮像部と、上記撮像部により撮像された認識対象物のカラー画像信号について、認識対象物の認識処理を行う認識処理部とを備え、上記認識処理部は、上記カラー画像信号に含まれる認識対象物の色情報をＲＧＢ色空間からＨＳＶ色空間に変換して、Ｈ（色相）情報とＳ（彩度）情報のカラーヒストグラムを作成し、上記カラーヒストグラムを上記認識対象物の第１の特徴情報として、予め作成されている基準のカラーヒストグラムと比較することにより上記認識対象物を認識する第１の認識処理部と、上記カラー画像信号に含まれる認識対象物の輝度情報からScale-Invariant Feature Transform(SIFT)法により特徴量を抽出し、抽出したＳＩＦＴ特徴量についてＫ−ｍｅａｎｓ法によるクラスタリングに対応したクラスを横軸としたヒストグラムを作成し、作成した上記ヒストグラムを上記認識対象物の第２の特徴情報として、予め作成されている各クラスのヒストグラムと比較することにより上記認識対象物を認識する第２の認識処理部を備えることを特徴とする。
【００１０】
本発明に係る物体認識処理装置において、上記認識処理部は、例えば、上記第１の認識処理部による認識処理に用いる認識対象物の基準のカラーヒストグラムを作成して保存する学習処理と、認識対象物のＳＩＦＴ特徴量についてＫ−ｍｅａｎｓ法によるクラスタリングを行い、上記第２の認識処理部による認識処理に用いるヒストグラムを作成して保存する学習処理を予め行うものとすることができる。
【００１１】
また、本発明に係る物体認識処理装置は、例えば、上記第１の認識処理部により上記認識対象物の認識処理を行い、上記認識対象物を認識できない場合に、上記第２の認識処理部により上記認識対象物の認識処理を行うものとすることができる。
【００１２】
さらに、本発明に係る物体認識処理装置において、上記認識処理部は、例えば、上記認識対象物の基準のカラーヒストグラムを作成して保存する学習処理を行う際に、誤認識の虞のある認識対象物を分類して保存しておき、上記第１の認識処理部により認識した認識対象物が上記誤認識の虞のある認識対象物である場合に、上記第２の認識処理部により上記認識対象物の認識処理を行うものとすることができる。
【００１３】
本発明に係る物体認識処理方法は、認識対象物を撮像する撮像ステップと、上記撮像ステップにおいて撮像された認識対象物のカラー画像信号について、認識対象物の認識処理を行う認識処理ステップとを有し、上記認識処理ステップでは、上記カラー画像信号に含まれる認識対象物の色情報をＲＧＢ色空間からＨＳＶ色空間に変換して、Ｈ（色相）情報とＳ（彩度）情報のカラーヒストグラムを作成し、上記カラーヒストグラムを上記認識対象物の第１の特徴情報として、予め作成されている基準のカラーヒストグラムと比較することにより上記認識対象物を認識する第１の認識処理と、上記カラー画像信号に含まれる認識対象物の輝度情報からScale-Invariant Feature Transform(SIFT)法により特徴量を抽出し、抽出したＳＩＦＴ特徴量についてＫ−ｍｅａｎｓ法によるクラスタリングに対応したクラスを横軸としたヒストグラムを作成し、作成した上記ヒストグラムを上記認識対象物の第２の特徴情報として、予め作成されている各クラスのヒストグラムと比較することにより上記認識対象物を認識する第２の認識処理を行うことを特徴とする。
【発明の効果】
【００１４】
本発明によれば、撮像部により撮像された認識対象物のカラー画像信号について、上記カラー画像信号に含まれる認識対象物の色情報をＲＧＢ色空間からＨＳＶ色空間に変換して、Ｈ（色相）情報とＳ（彩度）情報のカラーヒストグラムを作成し、上記カラーヒストグラムを上記認識対象物の第１の特徴情報として、予め作成されている基準のカラーヒストグラムと比較することにより上記認識対象物を認識する第１の認識処理と、上記カラー画像信号に含まれる認識対象物の輝度情報からScale-Invariant Feature Transform(SIFT)法により特徴量を抽出し、抽出したＳＩＦＴ特徴量についてＫ−ｍｅａｎｓ法によるクラスタリングに対応したクラスを横軸としたヒストグラムを作成し、作成した上記ヒストグラムを上記認識対象物の第２の特徴情報として、予め作成されている各クラスのヒストグラムと比較することにより上記認識対象物を認識する第２の認識処理を行うことにより、バーコードラベルや無線タグが付されていない商品を画像処理により短時間で精度良く認識できる。
【図面の簡単な説明】
【００１５】
【図１】本発明を適用した物体認識処理装置の構成例を示すブロック図である。
【図２】上記物体認識処理装置の外観斜視図である。
【図３】上記物体認識処理装置における認識処理の手順を示すフローチャートである。
【図４】上記認識処理における前処理の手順を示すフローチャートである。
【図５】上記認識処理における第１の認識処理の手順を示すフローチャートである。
【図６】上記第１の認識処理を行う第１の認識処理部の機能構成を示すブロック図である。
【図７】上記第１の認識処理部におけるカラーヒストグラム生成処理部によるカラーヒストグラムの作成例を示す図である。
【図８】上記第１の認識処理部におけるカラーヒストグラム比較処理部によるカラーヒストグラムの比較例を示す図である。
【図９】上記第１の認識処理部により行われる第１の認識処理に用いられる基準のカラーヒストグラムを作成する学習処理の手順を示すフローチャートである。
【図１０】上記認識処理における第２の認識処理の手順を示すフローチャートである。
【図１１】上記第２の認識処理を行う第２の認識処理部の機能構成を示すブロック図である。
【図１２】上記第２の認識処理部において特徴点検出処理部により行われる特徴点検出処理を模式的に示す図である。
【図１３】上記特徴点検出処理部の平滑化処理部におけるスケールとＤＯＧフィルタ出力の関係を示す図である。
【図１４】上記特徴点検出処理部の特徴点決定部における特徴点決定例を示す図である。
【図１５】上記第２の認識処理部において特徴量抽出処理部により作成される重み付け方向ヒストグラムの作成例を示す図である。
【図１６】上記第２の認識処理部においてスケール不変特徴量算出処理部でスケール不変特徴量を算出することにより作成される特徴ベクトルの例を示す図である。
【図１７】上記第２の認識処理部において行われる第２の認識処理を模式的に示す図である。
【図１８】上記第２の認識処理部により行われる第２の認識処理に用いられる基準のヒストグラムを作成する学習処理の手順を示すフローチャートである。
【図１９】上記基準のヒストグラムを作成する学習処理を模式的に示す図である。
【図２０】上記物体認識処理装置において上記第１の上記認識処理部により行われる認識対象物の認識処理を行うための決定木（decision tree）の学習処理の手順を示すフローチャートである。
【図２１】上記第１の上記認識処理部における第１の特徴情報のデータベースを用いる第１の認識処理では、認識対象物が誤認識される虞のある例を示す図である。
【発明を実施するための形態】
【００１６】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。なお、本発明は以下の例に限定されるものではなく、本発明の要旨を逸脱しない範囲で、任意に変更可能であることは言うまでもない。
【００１７】
本発明は、例えば図１に示すような構成の物体認識処理装置１００に適用される。
【００１８】
この物体認識処理装置１００は、認識対象物を撮像するための撮像部１０と、上記撮像部１０により撮像された認識対象物のカラー画像信号について、認識対象物の認識処理を行う認識処理部２０とを備からなる。
【００１９】
上記認識処理部２０は、上記撮像部１０から撮像出力として出力されたカラー画像信号が入力される撮像信号処理部２１、この撮像信号処理部２１により処理された認識処理対象のカラー画像信号に含まれる色情報ＲＧＢが供給される第１の認識処理部２２、上記撮像信号処理部２１により処理された認識処理対象のカラー画像信号に含まれる輝度情報Yが供給される第２の認識処理部２３、上記第１の認識処理部２２及び第２の認識処理部２３による認識処理結果を出力する出力部２４、これら各部の動作を制御する制御部２５、この制御部２５に接続された記憶部２６などからなる。
【００２０】
この物体認識処理装置１００は、従来のPOSシステムでは管理しにくい、バーコードラベルや無線タグを付けることが好ましくない商品、例えば果実や野菜などの生鮮品やケーキのような商品を認識対象物とし、画像認識処理により識別して認識するものであって、図２に示すように、上記撮像部１０は、テーブル１上に載置される認識対象物５を上方から撮像するWEBカメラからなり、WEBカメラがUSBケーブルを介して接続されたコンピュータからなる上記認識処理部２０に、撮像出力としてカラー画像信号を供給するようになっている。
【００２１】
そして、この物体認識処理装置１００において、上記制御部２５は、上記テーブル１上に載置された認識対象物５の認識処理を図３のフローチャートに示す手順に従って行うように、撮像信号処理部２１、第１の認識処理部２２、第２の認識処理部２３、出力部２４の動作を制御する。
【００２２】
すなわち、この物体認識処理装置１００では、上記撮像信号処理部２１において、上記撮像部１０により得られたカラー画像信号から認識対象物５の画像領域を抽出する前処理（ステップＳＴ１）を行う。
【００２３】
上記ステップＳＴ１の前処理では、上記制御部２５による指示に基づいて、上記撮像信号処理部２１は、図４のフローチャートに示すように、上記撮像部１０から供給されるカラー画像信号をキャプチャーし（ステップＳＴ１１）、キャプチャーしたカラー画像信号から認識対象物５の画像領域を抽出する処理を行う（ステップＳＴ１２）。
【００２４】
そして、上記撮像信号処理部２１は、抽出した認識対象物５の画像領域のカラー画像信号に含まれる色情報Ｒ（Red:赤）Ｇ（Green:緑）Ｂ（Blue:青）を上記第１の認識処理部２２に供給し、また、抽出した認識対象物５の画像領域のカラー画像信号に含まれる輝度情報Yを上記第２の認識処理部２３に供給する。
【００２５】
ここで、上記ステップＳＴ１２における認識対象物５の画像領域を抽出する処理では、例えば、上記制御部２５による指示に基づき、予め、上記テーブル１上に認識対象物５が載置されていない状態で上記撮像部１０による撮像出力として得られるカラー画像信号を上記撮像信号処理部２１でキャプチャーすることにより背景画像情報を得て記憶部２６に保存しておき、上記撮像信号処理部２１により認識対象物５の画像領域を抽出する処理を行う際にキャプチャーしたカラー画像信号と上記背景画像情報との差分検出を行うことにより、認識対象物５の画像領域を抽出する。
【００２６】
次に、上記制御部２５は、上記認識対象物５の画像領域の抽出に成功したか否かを判定し（ステップＳＴ２）、その判定結果が「ＮＯ」、すなわち、上記認識対象物５の画像領域を抽出できなかった場合には、上記ステップＳＴ１の前処理を繰り返し行い、上記認識対象物５の画像領域が抽出され、「ＹＥＳ」の判定結果が得られると、第１の認識処理部２２によりカラー画像信号に含まれる色情報Ｒ（Red:赤）Ｇ（Green:緑）Ｂ（Blue:青）に基づく第１の認識処理を行う（ステップＳＴ３）。
【００２７】
このステップＳＴ３の第１の認識処理では、第１の認識処理部２２により、図５のフローチャートに示すように、カラー画像信号に含まれる色情報Ｒ（Red:赤）Ｇ（Green:緑）Ｂ（Blue:青）からカラーヒストグラムを作成し（ステップＳＴ３１）、作成したカラーヒストグラムを基準のカラーヒストグラムと比較することにより、上記認識対象物５を認識する処理を行う（ステップＳＴ３２）。
【００２８】
ここで、上記第１の認識処理部２２は、その機能構成を図６に示すように、上記撮像信号処理部２１により抽出した認識対象物５の画像領域のカラー画像信号に含まれる色情報ＲＧＢが入力されるＲＧＢ・ＨＳＶ変換処理部２２１と、このＨＳＶ変換処理部２２１による変換出力が供給されるカラーヒストグラム生成処理部２２２と、このカラーヒストグラム生成処理部２２２により生成されたカラーヒストグラムを基準のカラーヒストグラムと比較するカラーヒストグラム比較処理部２２３からなる。
【００２９】
上記ＲＧＢ・ＨＳＶ変換処理部２２１は、上記カラー画像信号に含まれる認識対象物の色情報ＲＧＢをＲ（Red:赤）Ｇ（Green:緑）Ｂ（Blue:青）空間からＨ（Hue:色相）Ｓ（Saturation:彩度）Ｖ（Value:明度）空間に変換する。また、上記カラーヒストグラム生成処理部２２２は、図７に示すように、上記ＲＧＢ・ＨＳＶ変換処理部２２１による変換出力として得られるＨ（色相）情報、Ｓ（彩度）情報、Ｖ（明度）情報の内の、Ｈ情報とＳ情報のカラーヒストグラムを作成する。
【００３０】
そして、上記カラーヒストグラム比較処理部２２３は、上記カラーヒストグラム生成処理部２２２において作成されたカラーヒストグラムを上記認識対象物５の第１の特徴情報として、予め作成されている基準のカラーヒストグラムと比較することにより上記認識対象物５を認識する。
【００３１】
上記カラーヒストグラムを第１の特徴情報として認識対象物５を認識する処理では、例えば、図８に示すように、上記カラーヒストグラム生成処理部２２２において作成されたカラーヒストグラムと予め作成されている基準のカラーヒストグラムのバタチャリア（Bhattacharyya)距離を比較し、距離が最小になる基準のカラーヒストグラムの商品であると認識する。
【００３２】
上記ステップＳＴ３の第１の認識処理では、上記ステップＳＴ３１のカラーヒストグラム作成処理において、上記カラー画像信号に含まれる認識対象物の色情報ＲＧＢを上記ＲＧＢ・ＨＳＶ変換処理部２２１によりＲＧＢ空間からＨＳＶ空間に変換し、上記ＲＧＢ・ＨＳＶ変換処理部２２１による変換出力として得られるＨ（色相）情報、Ｓ（彩度）情報、Ｖ（明度）情報の内の、Ｈ情報とＳ情報のカラーヒストグラムを上記カラーヒストグラム生成処理部２２２により作成し、上記ステップＳＴ３２の認識処理において、上記Ｈ情報とＳ情報のカラーヒストグラムを第１の特徴情報として認識対象物５を認識する処理を行う。
【００３３】
すなわち、上記第１の認識処理部２２は、上記制御部２５による指示に基づいて、上記カラー画像信号に含まれる認識対象物５の色情報ＲＧＢをＲＧＢ色空間からＨＳＶ色空間に変換して、Ｈ（色相）情報とＳ（彩度）情報のカラーヒストグラムを作成し、上記カラーヒストグラムを上記認識対象物５の第１の特徴情報として、予め作成されている基準のカラーヒストグラムと比較することにより上記認識対象物５を認識する。
【００３４】
ここで、この物体認識処理装置１００において、上記基準のカラーヒストグラムは、各種認識対象物５について、上記第１の認識処理部２２により図９のフローチャートに示す手順に従ってカラーヒストグラムの学習処理を行うことにより予め作成され、上記記憶部２６に第１の特徴情報のデータベースとして保存されている。
【００３５】
カラーヒストグラムの学習処理では、上記第１の認識処理部２２により、上記第１の認識処理における上記認識対象物５の第１の特徴情報であるＨ（色相）情報とＳ（彩度）情報のカラーヒストグラムを作成して（ステップＳＴ１３１）、上記記憶部２６に保存し（ステップＳＴ１３２）、上記カラーヒストグラムの保存数が必要なデータ数になったか否かを判定する処理（ステップＳＴ１３３）を繰り返し行うことにより、各種認識対象物の基準のカラーヒストグラムを作成して上記記憶部２６に第１の特徴情報のデータベースを作成する。
【００３６】
上記ＲＧＢ・ＨＳＶ変換処理部２２１による変換出力として得られるＨ（色相）情報、Ｓ（彩度）情報、Ｖ（明度）情報の内、Ｖ（明度）情報は、上記撮像部１０による撮像の際の照明の影響を大きく受けるが、Ｈ（色相）情報、Ｓ（彩度）情報は、照明の影響が少ないので、この第１の認識処理部２２のように、認識対象物５の色情報ＲＧＢをＲＧＢ色空間からＨＳＶ色空間に変換して、Ｈ（色相）情報とＳ（彩度）情報のカラーヒストグラムを作成し、上記カラーヒストグラムを上記認識対象物５の第１の特徴情報として、予め作成されている基準のカラーヒストグラムと比較することにより上記認識対象物５を的確に認識することができる。
【００３７】
次に、上記制御部２５は、上記第１の認識処理部２２における第１の認識処理により上記認識対象物５の認識に成功したか否かを判定し（ステップＳＴ４）、その判定結果が「ＮＯ」、すなわち、上記認識対象物５の画像領域を抽出できなかった場合には、第２の認識処理部２３によりカラー画像信号に含まれる輝度情報Ｙに基づく第２の認識処理を行い（ステップＳＴ５）、第１の認識処理により上記認識対象物５が認識され、「ＹＥＳ」の判定結果が得られると、認識結果を出力部２４から出力する処理（ステップＳＴ６）を行う。
【００３８】
上記ステップＳＴ５の第２の認識処理では、第２の認識処理部２３により、図１０のフローチャートに示すように、上記カラー画像信号に含まれる認識対象物の輝度情報ＹからScale-Invariant Feature Transform(SIFT)法により特徴量を抽出し（ステップＳＴ５１）、抽出したＳＩＦＴ特徴量についてＫ−ｍｅａｎｓ法によるクラスタリングに対応したクラスを横軸としたヒストグラムを作成し、（ステップＳＴ５２）、作成した上記ヒストグラムを上記認識対象物５の第２の特徴情報として、予め作成されている各クラスのヒストグラムと比較することにより上記認識対象物５を認識する処理を行う（ステップＳＴ５３）。
【００３９】
すなわち、上記第２の認識処理部２３は、その機能構成を図１１に示すように、上記撮像信号処理部２１により抽出した認識対象物５の画像領域のカラー画像信号に含まれる輝度情報Ｙについて、SIFT法により特徴量を抽出する特徴量抽出処理部２３１と、抽出したＳＩＦＴ特徴量についてＫ−ｍｅａｎｓ法によるクラスタリングに対応したクラスを横軸としたヒストグラムを作成する上記ステップＳＴ５１の処理を行うストグラム生成処理部２３２と、上記ヒストグラム生成処理部２２２により作成した上記ヒストグラムを上記認識対象物５の第２の特徴情報として、予め作成されている各クラスのヒストグラムと比較することにより上記認識対象物５を認識する上記ステップＳＴ５２の処理を行う認識処理部２３３からなる。
【００４０】
上記特徴量抽出処理部２３１は、上記撮像信号処理部２１から供給される輝度情報Ｙについて、平滑化処理部２３１Ａ１によりガウス関数のスケールσを複数段階に変えた複数枚の平滑化画像を得て、スケールの異なる複数の平滑化画像に対してＤｏＧ（Difference of Gaussian）フィルタ２３１Ａ２を適用し、そのＤｏＧフィルタ出力画像（ＤｏＧ画像）から極値検出部２２１Ａ３により極値を検出してこの極値となる点を特徴点候補点とし、特徴点候補点から特徴点決定部２３１Ａ４により特徴点を決定する処理を行う特徴点検出処理部２２１Ａと、上記特徴点検出処理部２３１Ａにより検出された各特徴点に対し、特徴量を算出する特徴量算出処理部２３１Ｂを備える。
【００４１】
上記特徴量抽出処理部２３１では、上記特徴点検出処理部２３１Ａにおいて、図１２に示すように、上記平滑化処理部２３１Ａ１により、入力画像Ｙ（ｘ，ｙ）を一又は複数段階に縮小処理することにより解像度の異なる複数種類の入力画像を得て、縮小前の入力画像を含む各解像度の入力画像毎に、スケールσのガウス関数Ｇ（ｘ，ｙ，σ）と入力画像Ｙ（ｘ，ｙ）を畳み込んだ平滑化画像Ｌ（ｘ，ｙ，σ）を異なる複数のスケールσについて求める。
【００４２】
図１２は、各解像度の入力画像に対し、スケールσを５段階に変化させて各段階毎の平滑化画像を得た例を示している。
【００４３】
次に、上記平滑化処理部２３１Ａ１により得られたスケールの異なる複数の平滑化画像に対してＤｏＧ（Difference of Gaussian）フィルタ２３１Ａ２を適用し、そのＤｏＧフィルタ出力画像（ＤｏＧ画像）を得る。図１２には、スケールの異なる平滑化画像間の差分処理（ＤｏＧフィルタ処理）により、各解像度毎に４枚のＤｏＧ画像が得られた例が示されている。
【００４４】
ここで、スケールとＤＯＧフィルタ出力の関係を図１３に示す。
【００４５】
そして、上記極値検出部２２１Ａ３では、注目画素が２６近傍領域において極値（極大値又は極小値）である場合に、その注目画素を特徴点候補とする。即ち、注目画素の周囲３×３領域の画素（計８画素）と、その注目画素を含むＤｏＧ画像（スケールσi）より一段下位のＤｏＧ画像（スケールσi-1）及び一段上位のＤｏＧ画像（スケールσi+1）における対応する領域（３×３領域）の画素（それぞれ計９画素）の、合わせて２６画素に対し、注目画素が極値となるか否かを判断する。そして、極値である場合にその注目画素を特徴点候補とする。
【００４６】
さらに、このようにして求めた特徴点候補点には、開口問題が発生しやすい点が含まれている可能性があるため、上記特徴点検出処理部２３１Ａでは、上記特徴点決定部２３１Ａ４により、図１４に示すように、コントラストの低い点やエッジ上の候補点を削除し、より頑健な点を特徴点として抽出する。
【００４７】
次に、上記特徴量抽出処理部２３１では、上記特徴量算出処理部２３１Ｂの方向ヒストグラム生成処理部２３１Ｂ１において、上記特徴点検出処理部２３１Ａにより検出された特徴点毎に、その特徴点付近の方向ヒストグラムを生成する。すなわち、例えば図１５の（Ａ）に示すように、特徴点（keypoint）を中心とする基準領域（図中に四角の枠印で示した範囲）内の各画素につき、図１５の（Ｂ）に示すように、輝度勾配ｍ（ｘ，ｙ）とその勾配方向θ（ｘ，ｙ）を求める。なお、この基準領域の大きさは、特徴点が抽出されたＤｏＧ画像の平滑化スケールによって決定される。
【００４８】
そして、求めた輝度勾配の大きさｍと勾配方向θから、重み付き方向ヒストグラム作成処理部２３１Ｂ２により、図１５の（Ｃ）に示すように、３６方向に分割した重み付き方向ヒストグラムを作成する。そして、作成した３６方向のヒストグラムから、ピーク値をとる方向を、その特徴点の基準勾配方向として割り当てる。
【００４９】
このようにして、特徴点付近の方向ヒストグラムを作成することによりその特徴点の基準勾配方向を求め、特徴点の周辺領域を、その特徴点の基準勾配方向に回転することにより、度数（回転方向）の正規化を行うことで、回転に対する不変性を有する特徴量を得ることができるようになる。
【００５０】
そして、上記特徴量算出処理部２３１Ｂでは、スケール不変特徴量算出処理部２３１Ｂ３により、スケール不変特徴量を算出する。すなわち、スケール不変特徴量算出処理部２３１Ｂ３では、図１６に示すように、ガウス窓を用いて中心付近が強くなるように重み付けをする。このガウス窓の大きさは、特徴点が抽出されたＤｏＧ画像の平滑化スケールによって決定される。そのため、画像サイズが例えば２倍であれば、スケールも２倍となり、構造的に同一の範囲における特徴量が得られることとなる。これにより、スケール変化に対する不変性を有する特徴量を得ることができるようになる。このスケール不変特徴量算出処理部２３１Ｂ３では、基準領域を４×４の１６領域に分割し、それぞれに８方向のヒストグラムを作成する。この結果、１２８次元ベクトルのスケール不変特徴量が得られることとなる。このようにして、全ての特徴点に対して特徴量（スケール不変特徴量）の算出を行う。
【００５１】
上記Scale-Invariant Feature Transform(SIFT)法により算出されるＳＩＦＴ特徴量は、スケール不変特徴量、特徴量を求める際のスケール情報（範囲）、及びその範囲の画像の回転情報で構成されている。スケール不変特徴量は、画像の拡大や縮小、回転に拘わらず不変なものである。そのため、入力画像中に対象物が含まれていれば、それがどのような大きさ、回転位置で含まれていても、入力画像の特徴量を比較することで、入力画像中の認識対象物を認識することができる。
【００５２】
そして、上記ステップＳＴ５２の処理を行うストグラム生成処理部２３２は、上記特徴量抽出処理部２３１で抽出した全ての特徴点のＳＩＦＴ特徴量を、図１７の（Ａ）に示すように、予めＫ−ｍｅａｎｓ法によるクラスタリングにより決定されたクラスに対応する１２８次元の空間にプロットし、クラス毎に、そのクラスに属するＳＩＦＴ特徴量の頻度を求めて、図１７の（Ｂ）に示すように、クラスを横軸とするヒストグラムを作成し、上記ステップＳＴ５３の処理を行う認識処理部２３２により、上記ヒストグラム生成処理部２３２により作成した上記ヒストグラムを上記認識対象物５の第２の特徴情報として、図１７の（Ｃ）に示すように、予め作成されている基準のヒストグラムの比較することにより上記認識対象物５を認識する処理を行う。
【００５３】
ここで、この物体認識処理装置１００において、上記基準のヒストグラムは、各種認識対象物５について、上記第２の認識処理部２２により図１８のフローチャートに示す手順に従ってヒストグラムの学習処理を行うことにより予め作成され、上記記憶部２６に第２の特徴情報のデータベースとして保存されている。
【００５４】
この基準のヒストグラムの学習処理では、上記第２の認識処理部２３により、各種認識対象物５について、第２の認識処理部２３により、図１９の（Ａ）に示すように、上記カラー画像信号に含まれる認識対象物の輝度情報ＹからScale-Invariant Feature Transform(SIFT)法により特徴量を抽出し（ステップＳＴ１５１）、抽出したＳＩＦＴ特徴量について１２８次元の空間にプロットしてＫ−ｍｅａｎｓ法によるクラスタリングを行い、図１９の（Ｂ）に示すように、認識対象物５毎に、クラス毎に、そのクラスに属する認識対象物５毎のＳＩＦＴ特徴量の頻度を求めて、図１９の（Ｃ）に示すように、クラスを横軸とするヒストグラムを作成し（ステップＳＴ１５２）、上記第２の認識処理における各種認識対象物５毎の第２の特徴情報であるヒストグラムを上記記憶部２６に保存し（ステップＳＴ８２）、上記ヒストグラムの保存数が必要なデータ数になったか否かを判定する処理（ステップＳＴ８３）を繰り返し行うことにより、各種認識対象物の基準のヒストグラムを作成して上記記憶部２６内に第２の特徴情報のデータベースを作成する。
【００５５】
また、この物体認識処理装置１００において、上記制御部２５は、上記第１の上記認識処理部２２により、認識対象物の基準のカラーヒストグラムを作成して保存する学習処理を行う際に、図２０のフローチャートに示す誤認識の虞のある認識対象物を分類して保存しておき、上記第１の認識処理部２２により認識した認識対象物が上記誤認識の虞のある認識対象物である場合に、上記第２の認識処理部２３により上記認識対象物の認識処理を行うための決定木（decision tree）の学習処理を行う。
【００５６】
すなわち、決定木（decision tree）の学習処理では、上記第１の認識処理部２２により、カラーヒストグラムの学習処理により認識対象物の基準のカラーヒストグラムを作成して上記記憶部２６に第１の特徴情報のデータベースを作成する際に（ステップＳＴ２３１）、作成した基準のカラーヒストグラムの認識対象物について、上記第１の認識処理部２２により上記第１の認識を行い（ステップＳＴ２３１）、その認識結果に基づいて誤認識の虞のある認識対象物を分類し（ステップＳＴ２３２）、その分類結果を上記記憶部２６に保存し（ステップＳＴ２３３）、上記分類結果を保存数が必要なデータ数になったか否かを判定する処理（ステップＳＴ１３４）を繰り返し行うことにより、上記記憶部２６内に決定木（decision tree）のデータベースを作成する。
【００５７】
そして、この物体認識処理装置１００では、上記第１の認識処理部２２における第１の認識処理により上記認識対象物５の認識に成功したか否かを判定する上記ステップＳＴ４において、上記記憶部２６内の決定木（decision tree）のデータベースに基づいて、上記第１の認識処理部２２により認識した認識対象物が上記誤認識の虞のある認識対象物である場合に、上記ステップＳＴ４における判定結果を「ＮＯ」として、上記第２の認識処理部２３による第２の認識処理を行う。
【００５８】
このような構成の物体認識処理装置１００では、撮像部１０により撮像された認識対象物のカラー画像信号について、第１の認識処理部２２により、上記カラー画像信号に含まれる認識対象物の色情報をＲＧＢ色空間からＨＳＶ色空間に変換して、Ｈ（色相）情報とＳ（彩度）情報のカラーヒストグラムを作成し、上記カラーヒストグラムを上記認識対象物の第１の特徴情報として、予め作成されている基準のカラーヒストグラムと比較することにより上記認識対象物を認識する第１の認識処理と、第２の認識処理部２３により、上記カラー画像信号に含まれる認識対象物の輝度情報からScale-Invariant Feature Transform(SIFT)法により特徴量を抽出し、抽出したＳＩＦＴ特徴量についてＫ−ｍｅａｎｓ法によるクラスタリングに対応したクラスを横軸としたヒストグラムを作成し、作成した上記ヒストグラムを上記認識対象物の第２の特徴情報として、予め作成されている各クラスのヒストグラムと比較することにより上記認識対象物を認識する第２の認識処理を行うことにより、バーコードラベルや無線タグが付されていない商品を画像処理により短時間で精度良く認識できる。
【００５９】
しかも、この物体認識処理装置１００では、 上記第１の認識処理部２２により上記認識対象物５の認識処理を行い、上記認識対象物を認識できない場合に、上記第２の認識処理部２３により上記認識対象物の認識処理を行うので、上記認識対象物５の認識処理を迅速に行うことができる。
また、この物体認識処理装置１００では、ケーキや野菜などを個体差のある商品を高精度且つ高速で認識することができる。
【００６０】
ここで、上記物体認識処理装置１００において、３３種類のケーキを３個ずつ合計９９個のサンプルについて、９９０枚の画像データを取り込んで、上記基準のカラーヒストグラムの学習処理による第１の特徴情報のデータベース、上記基準のストグラムの学習処理による第２の特徴情報のデータベース、上記決定木（decision tree）の学習処理による決定木（decision tree）のデータベースを上記記憶部２６内に作成したところ、第１の特徴情報のデータベースを用いる第１の認識処理では、図２１に示す、ミルクレープとプリンフルーツケーキの組、フルーツケーキと四種のチーズを使ったケーキの組、ブラックココアのミルクレープとショコラフランボワーズの組、ティラミスタルトとクランチショコラの組は、識別が困難であったが、これらの組のケーキは誤認識の虞のある認識対象物であるとして上記決定木（decision tree）の学習処理により決定木（decision tree）のデータベースが上記記憶部２６内に作成されることにより、第２の特徴情報のデータベースを用いる第２の認識処理により認識することができ、認識率を高めることができた。
【符号の説明】
【００６１】
１０ 撮像部、２０ 認識処理部、２１ 撮像信号処理部、２２ 第１の認識処理部、２３ 第２の認識処理部、２４ 出力部、２５ 制御部、２６ 記憶部、２２１ ＲＧＢ・ＨＳＶ変換処理部、２２２ カラーヒストグラム作成処理部、２２３ カラーヒストグラム比較処理部、２３１ 特徴量抽出処理部、２３１Ａ 特徴点検出処理部、２３１Ａ１ 平滑化処理部、２３１Ａ２ ＤｏＧフィルタ、２３１Ａ３ 極値検出部、２３１Ａ４ 特徴点決定処理部、２３１Ｂ 特徴量算出処理部、２３１Ｂ１ 方向ヒストグラム生成処理部、２３１Ｂ２ 重み付き方向ヒストグラム作成処理部、２３１Ｂ３ スケール不変特徴量算出処理部、２３２ ヒストグラム生成処理部、２３３ 認識処理部
【技術分野】
【０００１】
本発明は、認識対象物を撮像して画像認識処理により認識する物体認識処理装置及び物体認識処理方法に関する。
【背景技術】
【０００２】
一般に、スーパーマーケット等の店舗に設置されたレジカウンタにおいて商品チェックアウトを行う場合には、商品に付されたバーコードを読み取ることによって当該商品の価格等のデータを求め、そのデータをＰＯＳ装置に出力する事によって販売管理や在庫管理を効率的に行うことができる。
【０００３】
バーコードリーダは、小売雑貨業において、レジでバーコードタグの付いた商品を識別するのに広く用いられている。商品は、そのバーコードにより、ホストコンピュータに記憶されたデータベースを用いて識別される。一般に、商品の説明およびその価格がレシートに印刷され、さらに商品がスキャンされる間、現在の価格合計が保持される。バーコードリーダの使用は、信頼性とレジにかかる時間の短縮などにより、一般に広く受け入れられている。
【０００４】
また、近年、商品に無線タグを取り付け、無線タグのメモリにその無線タグを付した商品に関するデータ、例えば、商品コードを記憶させておき、そのデータを用いて商品販売データ処理や商品管理を実行するようにした各種の技術が提案され、実用化されている。また、無線タグのメモリに記憶されている商品コード等のデータを複数商品について一括して読み取ることで、効率的なチェックアウトを可能にする技術についても開発が進められ、一部実用化されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−２２６３２０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、例えば果実や野菜などの生鮮品のような未包装の商品では、バーコードラベルや無線タグを付けることが好ましくない場合もあり、バーコードラベルや無線タグが付されていない商品については、商品コードの入力が困難であるという問題がある。
また、ケーキや野菜などを店で会計する際、レジで値段を入力するのは効率悪く、また従業員に対して、すべての商品の値段を覚えるのが大変である。また、ケーキは作る人により個体差が生じ、また、野菜などは栽培環境や自然環境によりそれぞれの形状に個体差が生じる。
【０００７】
そこで、本発明の目的は、上記従来の課題を解決するものであり、バーコードラベルや無線タグが付されていない商品を画像認識処理により短時間で精度良く認識できる物体認識処理装置及び物体認識処理方法を提供することにある。
また、本発明の目的は、個体差のある物体の認識を高精度且つ高速で可能にした物体認識装置及び物体認識方法を提供することにある。
【０００８】
本発明の他の目的、本発明によって得られる具体的な利点は、以下に説明される実施の形態の説明から一層明らかにされる。
【課題を解決するための手段】
【０００９】
本発明に係る物体認識処理装置は、認識対象物を撮像する撮像部と、上記撮像部により撮像された認識対象物のカラー画像信号について、認識対象物の認識処理を行う認識処理部とを備え、上記認識処理部は、上記カラー画像信号に含まれる認識対象物の色情報をＲＧＢ色空間からＨＳＶ色空間に変換して、Ｈ（色相）情報とＳ（彩度）情報のカラーヒストグラムを作成し、上記カラーヒストグラムを上記認識対象物の第１の特徴情報として、予め作成されている基準のカラーヒストグラムと比較することにより上記認識対象物を認識する第１の認識処理部と、上記カラー画像信号に含まれる認識対象物の輝度情報からScale-Invariant Feature Transform(SIFT)法により特徴量を抽出し、抽出したＳＩＦＴ特徴量についてＫ−ｍｅａｎｓ法によるクラスタリングに対応したクラスを横軸としたヒストグラムを作成し、作成した上記ヒストグラムを上記認識対象物の第２の特徴情報として、予め作成されている各クラスのヒストグラムと比較することにより上記認識対象物を認識する第２の認識処理部を備えることを特徴とする。
【００１０】
本発明に係る物体認識処理装置において、上記認識処理部は、例えば、上記第１の認識処理部による認識処理に用いる認識対象物の基準のカラーヒストグラムを作成して保存する学習処理と、認識対象物のＳＩＦＴ特徴量についてＫ−ｍｅａｎｓ法によるクラスタリングを行い、上記第２の認識処理部による認識処理に用いるヒストグラムを作成して保存する学習処理を予め行うものとすることができる。
【００１１】
また、本発明に係る物体認識処理装置は、例えば、上記第１の認識処理部により上記認識対象物の認識処理を行い、上記認識対象物を認識できない場合に、上記第２の認識処理部により上記認識対象物の認識処理を行うものとすることができる。
【００１２】
さらに、本発明に係る物体認識処理装置において、上記認識処理部は、例えば、上記認識対象物の基準のカラーヒストグラムを作成して保存する学習処理を行う際に、誤認識の虞のある認識対象物を分類して保存しておき、上記第１の認識処理部により認識した認識対象物が上記誤認識の虞のある認識対象物である場合に、上記第２の認識処理部により上記認識対象物の認識処理を行うものとすることができる。
【００１３】
本発明に係る物体認識処理方法は、認識対象物を撮像する撮像ステップと、上記撮像ステップにおいて撮像された認識対象物のカラー画像信号について、認識対象物の認識処理を行う認識処理ステップとを有し、上記認識処理ステップでは、上記カラー画像信号に含まれる認識対象物の色情報をＲＧＢ色空間からＨＳＶ色空間に変換して、Ｈ（色相）情報とＳ（彩度）情報のカラーヒストグラムを作成し、上記カラーヒストグラムを上記認識対象物の第１の特徴情報として、予め作成されている基準のカラーヒストグラムと比較することにより上記認識対象物を認識する第１の認識処理と、上記カラー画像信号に含まれる認識対象物の輝度情報からScale-Invariant Feature Transform(SIFT)法により特徴量を抽出し、抽出したＳＩＦＴ特徴量についてＫ−ｍｅａｎｓ法によるクラスタリングに対応したクラスを横軸としたヒストグラムを作成し、作成した上記ヒストグラムを上記認識対象物の第２の特徴情報として、予め作成されている各クラスのヒストグラムと比較することにより上記認識対象物を認識する第２の認識処理を行うことを特徴とする。
【発明の効果】
【００１４】
本発明によれば、撮像部により撮像された認識対象物のカラー画像信号について、上記カラー画像信号に含まれる認識対象物の色情報をＲＧＢ色空間からＨＳＶ色空間に変換して、Ｈ（色相）情報とＳ（彩度）情報のカラーヒストグラムを作成し、上記カラーヒストグラムを上記認識対象物の第１の特徴情報として、予め作成されている基準のカラーヒストグラムと比較することにより上記認識対象物を認識する第１の認識処理と、上記カラー画像信号に含まれる認識対象物の輝度情報からScale-Invariant Feature Transform(SIFT)法により特徴量を抽出し、抽出したＳＩＦＴ特徴量についてＫ−ｍｅａｎｓ法によるクラスタリングに対応したクラスを横軸としたヒストグラムを作成し、作成した上記ヒストグラムを上記認識対象物の第２の特徴情報として、予め作成されている各クラスのヒストグラムと比較することにより上記認識対象物を認識する第２の認識処理を行うことにより、バーコードラベルや無線タグが付されていない商品を画像処理により短時間で精度良く認識できる。
【図面の簡単な説明】
【００１５】
【図１】本発明を適用した物体認識処理装置の構成例を示すブロック図である。
【図２】上記物体認識処理装置の外観斜視図である。
【図３】上記物体認識処理装置における認識処理の手順を示すフローチャートである。
【図４】上記認識処理における前処理の手順を示すフローチャートである。
【図５】上記認識処理における第１の認識処理の手順を示すフローチャートである。
【図６】上記第１の認識処理を行う第１の認識処理部の機能構成を示すブロック図である。
【図７】上記第１の認識処理部におけるカラーヒストグラム生成処理部によるカラーヒストグラムの作成例を示す図である。
【図８】上記第１の認識処理部におけるカラーヒストグラム比較処理部によるカラーヒストグラムの比較例を示す図である。
【図９】上記第１の認識処理部により行われる第１の認識処理に用いられる基準のカラーヒストグラムを作成する学習処理の手順を示すフローチャートである。
【図１０】上記認識処理における第２の認識処理の手順を示すフローチャートである。
【図１１】上記第２の認識処理を行う第２の認識処理部の機能構成を示すブロック図である。
【図１２】上記第２の認識処理部において特徴点検出処理部により行われる特徴点検出処理を模式的に示す図である。
【図１３】上記特徴点検出処理部の平滑化処理部におけるスケールとＤＯＧフィルタ出力の関係を示す図である。
【図１４】上記特徴点検出処理部の特徴点決定部における特徴点決定例を示す図である。
【図１５】上記第２の認識処理部において特徴量抽出処理部により作成される重み付け方向ヒストグラムの作成例を示す図である。
【図１６】上記第２の認識処理部においてスケール不変特徴量算出処理部でスケール不変特徴量を算出することにより作成される特徴ベクトルの例を示す図である。
【図１７】上記第２の認識処理部において行われる第２の認識処理を模式的に示す図である。
【図１８】上記第２の認識処理部により行われる第２の認識処理に用いられる基準のヒストグラムを作成する学習処理の手順を示すフローチャートである。
【図１９】上記基準のヒストグラムを作成する学習処理を模式的に示す図である。
【図２０】上記物体認識処理装置において上記第１の上記認識処理部により行われる認識対象物の認識処理を行うための決定木（decision tree）の学習処理の手順を示すフローチャートである。
【図２１】上記第１の上記認識処理部における第１の特徴情報のデータベースを用いる第１の認識処理では、認識対象物が誤認識される虞のある例を示す図である。
【発明を実施するための形態】
【００１６】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。なお、本発明は以下の例に限定されるものではなく、本発明の要旨を逸脱しない範囲で、任意に変更可能であることは言うまでもない。
【００１７】
本発明は、例えば図１に示すような構成の物体認識処理装置１００に適用される。
【００１８】
この物体認識処理装置１００は、認識対象物を撮像するための撮像部１０と、上記撮像部１０により撮像された認識対象物のカラー画像信号について、認識対象物の認識処理を行う認識処理部２０とを備からなる。
【００１９】
上記認識処理部２０は、上記撮像部１０から撮像出力として出力されたカラー画像信号が入力される撮像信号処理部２１、この撮像信号処理部２１により処理された認識処理対象のカラー画像信号に含まれる色情報ＲＧＢが供給される第１の認識処理部２２、上記撮像信号処理部２１により処理された認識処理対象のカラー画像信号に含まれる輝度情報Yが供給される第２の認識処理部２３、上記第１の認識処理部２２及び第２の認識処理部２３による認識処理結果を出力する出力部２４、これら各部の動作を制御する制御部２５、この制御部２５に接続された記憶部２６などからなる。
【００２０】
この物体認識処理装置１００は、従来のPOSシステムでは管理しにくい、バーコードラベルや無線タグを付けることが好ましくない商品、例えば果実や野菜などの生鮮品やケーキのような商品を認識対象物とし、画像認識処理により識別して認識するものであって、図２に示すように、上記撮像部１０は、テーブル１上に載置される認識対象物５を上方から撮像するWEBカメラからなり、WEBカメラがUSBケーブルを介して接続されたコンピュータからなる上記認識処理部２０に、撮像出力としてカラー画像信号を供給するようになっている。
【００２１】
そして、この物体認識処理装置１００において、上記制御部２５は、上記テーブル１上に載置された認識対象物５の認識処理を図３のフローチャートに示す手順に従って行うように、撮像信号処理部２１、第１の認識処理部２２、第２の認識処理部２３、出力部２４の動作を制御する。
【００２２】
すなわち、この物体認識処理装置１００では、上記撮像信号処理部２１において、上記撮像部１０により得られたカラー画像信号から認識対象物５の画像領域を抽出する前処理（ステップＳＴ１）を行う。
【００２３】
上記ステップＳＴ１の前処理では、上記制御部２５による指示に基づいて、上記撮像信号処理部２１は、図４のフローチャートに示すように、上記撮像部１０から供給されるカラー画像信号をキャプチャーし（ステップＳＴ１１）、キャプチャーしたカラー画像信号から認識対象物５の画像領域を抽出する処理を行う（ステップＳＴ１２）。
【００２４】
そして、上記撮像信号処理部２１は、抽出した認識対象物５の画像領域のカラー画像信号に含まれる色情報Ｒ（Red:赤）Ｇ（Green:緑）Ｂ（Blue:青）を上記第１の認識処理部２２に供給し、また、抽出した認識対象物５の画像領域のカラー画像信号に含まれる輝度情報Yを上記第２の認識処理部２３に供給する。
【００２５】
ここで、上記ステップＳＴ１２における認識対象物５の画像領域を抽出する処理では、例えば、上記制御部２５による指示に基づき、予め、上記テーブル１上に認識対象物５が載置されていない状態で上記撮像部１０による撮像出力として得られるカラー画像信号を上記撮像信号処理部２１でキャプチャーすることにより背景画像情報を得て記憶部２６に保存しておき、上記撮像信号処理部２１により認識対象物５の画像領域を抽出する処理を行う際にキャプチャーしたカラー画像信号と上記背景画像情報との差分検出を行うことにより、認識対象物５の画像領域を抽出する。
【００２６】
次に、上記制御部２５は、上記認識対象物５の画像領域の抽出に成功したか否かを判定し（ステップＳＴ２）、その判定結果が「ＮＯ」、すなわち、上記認識対象物５の画像領域を抽出できなかった場合には、上記ステップＳＴ１の前処理を繰り返し行い、上記認識対象物５の画像領域が抽出され、「ＹＥＳ」の判定結果が得られると、第１の認識処理部２２によりカラー画像信号に含まれる色情報Ｒ（Red:赤）Ｇ（Green:緑）Ｂ（Blue:青）に基づく第１の認識処理を行う（ステップＳＴ３）。
【００２７】
このステップＳＴ３の第１の認識処理では、第１の認識処理部２２により、図５のフローチャートに示すように、カラー画像信号に含まれる色情報Ｒ（Red:赤）Ｇ（Green:緑）Ｂ（Blue:青）からカラーヒストグラムを作成し（ステップＳＴ３１）、作成したカラーヒストグラムを基準のカラーヒストグラムと比較することにより、上記認識対象物５を認識する処理を行う（ステップＳＴ３２）。
【００２８】
ここで、上記第１の認識処理部２２は、その機能構成を図６に示すように、上記撮像信号処理部２１により抽出した認識対象物５の画像領域のカラー画像信号に含まれる色情報ＲＧＢが入力されるＲＧＢ・ＨＳＶ変換処理部２２１と、このＨＳＶ変換処理部２２１による変換出力が供給されるカラーヒストグラム生成処理部２２２と、このカラーヒストグラム生成処理部２２２により生成されたカラーヒストグラムを基準のカラーヒストグラムと比較するカラーヒストグラム比較処理部２２３からなる。
【００２９】
上記ＲＧＢ・ＨＳＶ変換処理部２２１は、上記カラー画像信号に含まれる認識対象物の色情報ＲＧＢをＲ（Red:赤）Ｇ（Green:緑）Ｂ（Blue:青）空間からＨ（Hue:色相）Ｓ（Saturation:彩度）Ｖ（Value:明度）空間に変換する。また、上記カラーヒストグラム生成処理部２２２は、図７に示すように、上記ＲＧＢ・ＨＳＶ変換処理部２２１による変換出力として得られるＨ（色相）情報、Ｓ（彩度）情報、Ｖ（明度）情報の内の、Ｈ情報とＳ情報のカラーヒストグラムを作成する。
【００３０】
そして、上記カラーヒストグラム比較処理部２２３は、上記カラーヒストグラム生成処理部２２２において作成されたカラーヒストグラムを上記認識対象物５の第１の特徴情報として、予め作成されている基準のカラーヒストグラムと比較することにより上記認識対象物５を認識する。
【００３１】
上記カラーヒストグラムを第１の特徴情報として認識対象物５を認識する処理では、例えば、図８に示すように、上記カラーヒストグラム生成処理部２２２において作成されたカラーヒストグラムと予め作成されている基準のカラーヒストグラムのバタチャリア（Bhattacharyya)距離を比較し、距離が最小になる基準のカラーヒストグラムの商品であると認識する。
【００３２】
上記ステップＳＴ３の第１の認識処理では、上記ステップＳＴ３１のカラーヒストグラム作成処理において、上記カラー画像信号に含まれる認識対象物の色情報ＲＧＢを上記ＲＧＢ・ＨＳＶ変換処理部２２１によりＲＧＢ空間からＨＳＶ空間に変換し、上記ＲＧＢ・ＨＳＶ変換処理部２２１による変換出力として得られるＨ（色相）情報、Ｓ（彩度）情報、Ｖ（明度）情報の内の、Ｈ情報とＳ情報のカラーヒストグラムを上記カラーヒストグラム生成処理部２２２により作成し、上記ステップＳＴ３２の認識処理において、上記Ｈ情報とＳ情報のカラーヒストグラムを第１の特徴情報として認識対象物５を認識する処理を行う。
【００３３】
すなわち、上記第１の認識処理部２２は、上記制御部２５による指示に基づいて、上記カラー画像信号に含まれる認識対象物５の色情報ＲＧＢをＲＧＢ色空間からＨＳＶ色空間に変換して、Ｈ（色相）情報とＳ（彩度）情報のカラーヒストグラムを作成し、上記カラーヒストグラムを上記認識対象物５の第１の特徴情報として、予め作成されている基準のカラーヒストグラムと比較することにより上記認識対象物５を認識する。
【００３４】
ここで、この物体認識処理装置１００において、上記基準のカラーヒストグラムは、各種認識対象物５について、上記第１の認識処理部２２により図９のフローチャートに示す手順に従ってカラーヒストグラムの学習処理を行うことにより予め作成され、上記記憶部２６に第１の特徴情報のデータベースとして保存されている。
【００３５】
カラーヒストグラムの学習処理では、上記第１の認識処理部２２により、上記第１の認識処理における上記認識対象物５の第１の特徴情報であるＨ（色相）情報とＳ（彩度）情報のカラーヒストグラムを作成して（ステップＳＴ１３１）、上記記憶部２６に保存し（ステップＳＴ１３２）、上記カラーヒストグラムの保存数が必要なデータ数になったか否かを判定する処理（ステップＳＴ１３３）を繰り返し行うことにより、各種認識対象物の基準のカラーヒストグラムを作成して上記記憶部２６に第１の特徴情報のデータベースを作成する。
【００３６】
上記ＲＧＢ・ＨＳＶ変換処理部２２１による変換出力として得られるＨ（色相）情報、Ｓ（彩度）情報、Ｖ（明度）情報の内、Ｖ（明度）情報は、上記撮像部１０による撮像の際の照明の影響を大きく受けるが、Ｈ（色相）情報、Ｓ（彩度）情報は、照明の影響が少ないので、この第１の認識処理部２２のように、認識対象物５の色情報ＲＧＢをＲＧＢ色空間からＨＳＶ色空間に変換して、Ｈ（色相）情報とＳ（彩度）情報のカラーヒストグラムを作成し、上記カラーヒストグラムを上記認識対象物５の第１の特徴情報として、予め作成されている基準のカラーヒストグラムと比較することにより上記認識対象物５を的確に認識することができる。
【００３７】
次に、上記制御部２５は、上記第１の認識処理部２２における第１の認識処理により上記認識対象物５の認識に成功したか否かを判定し（ステップＳＴ４）、その判定結果が「ＮＯ」、すなわち、上記認識対象物５の画像領域を抽出できなかった場合には、第２の認識処理部２３によりカラー画像信号に含まれる輝度情報Ｙに基づく第２の認識処理を行い（ステップＳＴ５）、第１の認識処理により上記認識対象物５が認識され、「ＹＥＳ」の判定結果が得られると、認識結果を出力部２４から出力する処理（ステップＳＴ６）を行う。
【００３８】
上記ステップＳＴ５の第２の認識処理では、第２の認識処理部２３により、図１０のフローチャートに示すように、上記カラー画像信号に含まれる認識対象物の輝度情報ＹからScale-Invariant Feature Transform(SIFT)法により特徴量を抽出し（ステップＳＴ５１）、抽出したＳＩＦＴ特徴量についてＫ−ｍｅａｎｓ法によるクラスタリングに対応したクラスを横軸としたヒストグラムを作成し、（ステップＳＴ５２）、作成した上記ヒストグラムを上記認識対象物５の第２の特徴情報として、予め作成されている各クラスのヒストグラムと比較することにより上記認識対象物５を認識する処理を行う（ステップＳＴ５３）。
【００３９】
すなわち、上記第２の認識処理部２３は、その機能構成を図１１に示すように、上記撮像信号処理部２１により抽出した認識対象物５の画像領域のカラー画像信号に含まれる輝度情報Ｙについて、SIFT法により特徴量を抽出する特徴量抽出処理部２３１と、抽出したＳＩＦＴ特徴量についてＫ−ｍｅａｎｓ法によるクラスタリングに対応したクラスを横軸としたヒストグラムを作成する上記ステップＳＴ５１の処理を行うストグラム生成処理部２３２と、上記ヒストグラム生成処理部２２２により作成した上記ヒストグラムを上記認識対象物５の第２の特徴情報として、予め作成されている各クラスのヒストグラムと比較することにより上記認識対象物５を認識する上記ステップＳＴ５２の処理を行う認識処理部２３３からなる。
【００４０】
上記特徴量抽出処理部２３１は、上記撮像信号処理部２１から供給される輝度情報Ｙについて、平滑化処理部２３１Ａ１によりガウス関数のスケールσを複数段階に変えた複数枚の平滑化画像を得て、スケールの異なる複数の平滑化画像に対してＤｏＧ（Difference of Gaussian）フィルタ２３１Ａ２を適用し、そのＤｏＧフィルタ出力画像（ＤｏＧ画像）から極値検出部２２１Ａ３により極値を検出してこの極値となる点を特徴点候補点とし、特徴点候補点から特徴点決定部２３１Ａ４により特徴点を決定する処理を行う特徴点検出処理部２２１Ａと、上記特徴点検出処理部２３１Ａにより検出された各特徴点に対し、特徴量を算出する特徴量算出処理部２３１Ｂを備える。
【００４１】
上記特徴量抽出処理部２３１では、上記特徴点検出処理部２３１Ａにおいて、図１２に示すように、上記平滑化処理部２３１Ａ１により、入力画像Ｙ（ｘ，ｙ）を一又は複数段階に縮小処理することにより解像度の異なる複数種類の入力画像を得て、縮小前の入力画像を含む各解像度の入力画像毎に、スケールσのガウス関数Ｇ（ｘ，ｙ，σ）と入力画像Ｙ（ｘ，ｙ）を畳み込んだ平滑化画像Ｌ（ｘ，ｙ，σ）を異なる複数のスケールσについて求める。
【００４２】
図１２は、各解像度の入力画像に対し、スケールσを５段階に変化させて各段階毎の平滑化画像を得た例を示している。
【００４３】
次に、上記平滑化処理部２３１Ａ１により得られたスケールの異なる複数の平滑化画像に対してＤｏＧ（Difference of Gaussian）フィルタ２３１Ａ２を適用し、そのＤｏＧフィルタ出力画像（ＤｏＧ画像）を得る。図１２には、スケールの異なる平滑化画像間の差分処理（ＤｏＧフィルタ処理）により、各解像度毎に４枚のＤｏＧ画像が得られた例が示されている。
【００４４】
ここで、スケールとＤＯＧフィルタ出力の関係を図１３に示す。
【００４５】
そして、上記極値検出部２２１Ａ３では、注目画素が２６近傍領域において極値（極大値又は極小値）である場合に、その注目画素を特徴点候補とする。即ち、注目画素の周囲３×３領域の画素（計８画素）と、その注目画素を含むＤｏＧ画像（スケールσi）より一段下位のＤｏＧ画像（スケールσi-1）及び一段上位のＤｏＧ画像（スケールσi+1）における対応する領域（３×３領域）の画素（それぞれ計９画素）の、合わせて２６画素に対し、注目画素が極値となるか否かを判断する。そして、極値である場合にその注目画素を特徴点候補とする。
【００４６】
さらに、このようにして求めた特徴点候補点には、開口問題が発生しやすい点が含まれている可能性があるため、上記特徴点検出処理部２３１Ａでは、上記特徴点決定部２３１Ａ４により、図１４に示すように、コントラストの低い点やエッジ上の候補点を削除し、より頑健な点を特徴点として抽出する。
【００４７】
次に、上記特徴量抽出処理部２３１では、上記特徴量算出処理部２３１Ｂの方向ヒストグラム生成処理部２３１Ｂ１において、上記特徴点検出処理部２３１Ａにより検出された特徴点毎に、その特徴点付近の方向ヒストグラムを生成する。すなわち、例えば図１５の（Ａ）に示すように、特徴点（keypoint）を中心とする基準領域（図中に四角の枠印で示した範囲）内の各画素につき、図１５の（Ｂ）に示すように、輝度勾配ｍ（ｘ，ｙ）とその勾配方向θ（ｘ，ｙ）を求める。なお、この基準領域の大きさは、特徴点が抽出されたＤｏＧ画像の平滑化スケールによって決定される。
【００４８】
そして、求めた輝度勾配の大きさｍと勾配方向θから、重み付き方向ヒストグラム作成処理部２３１Ｂ２により、図１５の（Ｃ）に示すように、３６方向に分割した重み付き方向ヒストグラムを作成する。そして、作成した３６方向のヒストグラムから、ピーク値をとる方向を、その特徴点の基準勾配方向として割り当てる。
【００４９】
このようにして、特徴点付近の方向ヒストグラムを作成することによりその特徴点の基準勾配方向を求め、特徴点の周辺領域を、その特徴点の基準勾配方向に回転することにより、度数（回転方向）の正規化を行うことで、回転に対する不変性を有する特徴量を得ることができるようになる。
【００５０】
そして、上記特徴量算出処理部２３１Ｂでは、スケール不変特徴量算出処理部２３１Ｂ３により、スケール不変特徴量を算出する。すなわち、スケール不変特徴量算出処理部２３１Ｂ３では、図１６に示すように、ガウス窓を用いて中心付近が強くなるように重み付けをする。このガウス窓の大きさは、特徴点が抽出されたＤｏＧ画像の平滑化スケールによって決定される。そのため、画像サイズが例えば２倍であれば、スケールも２倍となり、構造的に同一の範囲における特徴量が得られることとなる。これにより、スケール変化に対する不変性を有する特徴量を得ることができるようになる。このスケール不変特徴量算出処理部２３１Ｂ３では、基準領域を４×４の１６領域に分割し、それぞれに８方向のヒストグラムを作成する。この結果、１２８次元ベクトルのスケール不変特徴量が得られることとなる。このようにして、全ての特徴点に対して特徴量（スケール不変特徴量）の算出を行う。
【００５１】
上記Scale-Invariant Feature Transform(SIFT)法により算出されるＳＩＦＴ特徴量は、スケール不変特徴量、特徴量を求める際のスケール情報（範囲）、及びその範囲の画像の回転情報で構成されている。スケール不変特徴量は、画像の拡大や縮小、回転に拘わらず不変なものである。そのため、入力画像中に対象物が含まれていれば、それがどのような大きさ、回転位置で含まれていても、入力画像の特徴量を比較することで、入力画像中の認識対象物を認識することができる。
【００５２】
そして、上記ステップＳＴ５２の処理を行うストグラム生成処理部２３２は、上記特徴量抽出処理部２３１で抽出した全ての特徴点のＳＩＦＴ特徴量を、図１７の（Ａ）に示すように、予めＫ−ｍｅａｎｓ法によるクラスタリングにより決定されたクラスに対応する１２８次元の空間にプロットし、クラス毎に、そのクラスに属するＳＩＦＴ特徴量の頻度を求めて、図１７の（Ｂ）に示すように、クラスを横軸とするヒストグラムを作成し、上記ステップＳＴ５３の処理を行う認識処理部２３２により、上記ヒストグラム生成処理部２３２により作成した上記ヒストグラムを上記認識対象物５の第２の特徴情報として、図１７の（Ｃ）に示すように、予め作成されている基準のヒストグラムの比較することにより上記認識対象物５を認識する処理を行う。
【００５３】
ここで、この物体認識処理装置１００において、上記基準のヒストグラムは、各種認識対象物５について、上記第２の認識処理部２２により図１８のフローチャートに示す手順に従ってヒストグラムの学習処理を行うことにより予め作成され、上記記憶部２６に第２の特徴情報のデータベースとして保存されている。
【００５４】
この基準のヒストグラムの学習処理では、上記第２の認識処理部２３により、各種認識対象物５について、第２の認識処理部２３により、図１９の（Ａ）に示すように、上記カラー画像信号に含まれる認識対象物の輝度情報ＹからScale-Invariant Feature Transform(SIFT)法により特徴量を抽出し（ステップＳＴ１５１）、抽出したＳＩＦＴ特徴量について１２８次元の空間にプロットしてＫ−ｍｅａｎｓ法によるクラスタリングを行い、図１９の（Ｂ）に示すように、認識対象物５毎に、クラス毎に、そのクラスに属する認識対象物５毎のＳＩＦＴ特徴量の頻度を求めて、図１９の（Ｃ）に示すように、クラスを横軸とするヒストグラムを作成し（ステップＳＴ１５２）、上記第２の認識処理における各種認識対象物５毎の第２の特徴情報であるヒストグラムを上記記憶部２６に保存し（ステップＳＴ８２）、上記ヒストグラムの保存数が必要なデータ数になったか否かを判定する処理（ステップＳＴ８３）を繰り返し行うことにより、各種認識対象物の基準のヒストグラムを作成して上記記憶部２６内に第２の特徴情報のデータベースを作成する。
【００５５】
また、この物体認識処理装置１００において、上記制御部２５は、上記第１の上記認識処理部２２により、認識対象物の基準のカラーヒストグラムを作成して保存する学習処理を行う際に、図２０のフローチャートに示す誤認識の虞のある認識対象物を分類して保存しておき、上記第１の認識処理部２２により認識した認識対象物が上記誤認識の虞のある認識対象物である場合に、上記第２の認識処理部２３により上記認識対象物の認識処理を行うための決定木（decision tree）の学習処理を行う。
【００５６】
すなわち、決定木（decision tree）の学習処理では、上記第１の認識処理部２２により、カラーヒストグラムの学習処理により認識対象物の基準のカラーヒストグラムを作成して上記記憶部２６に第１の特徴情報のデータベースを作成する際に（ステップＳＴ２３１）、作成した基準のカラーヒストグラムの認識対象物について、上記第１の認識処理部２２により上記第１の認識を行い（ステップＳＴ２３１）、その認識結果に基づいて誤認識の虞のある認識対象物を分類し（ステップＳＴ２３２）、その分類結果を上記記憶部２６に保存し（ステップＳＴ２３３）、上記分類結果を保存数が必要なデータ数になったか否かを判定する処理（ステップＳＴ１３４）を繰り返し行うことにより、上記記憶部２６内に決定木（decision tree）のデータベースを作成する。
【００５７】
そして、この物体認識処理装置１００では、上記第１の認識処理部２２における第１の認識処理により上記認識対象物５の認識に成功したか否かを判定する上記ステップＳＴ４において、上記記憶部２６内の決定木（decision tree）のデータベースに基づいて、上記第１の認識処理部２２により認識した認識対象物が上記誤認識の虞のある認識対象物である場合に、上記ステップＳＴ４における判定結果を「ＮＯ」として、上記第２の認識処理部２３による第２の認識処理を行う。
【００５８】
このような構成の物体認識処理装置１００では、撮像部１０により撮像された認識対象物のカラー画像信号について、第１の認識処理部２２により、上記カラー画像信号に含まれる認識対象物の色情報をＲＧＢ色空間からＨＳＶ色空間に変換して、Ｈ（色相）情報とＳ（彩度）情報のカラーヒストグラムを作成し、上記カラーヒストグラムを上記認識対象物の第１の特徴情報として、予め作成されている基準のカラーヒストグラムと比較することにより上記認識対象物を認識する第１の認識処理と、第２の認識処理部２３により、上記カラー画像信号に含まれる認識対象物の輝度情報からScale-Invariant Feature Transform(SIFT)法により特徴量を抽出し、抽出したＳＩＦＴ特徴量についてＫ−ｍｅａｎｓ法によるクラスタリングに対応したクラスを横軸としたヒストグラムを作成し、作成した上記ヒストグラムを上記認識対象物の第２の特徴情報として、予め作成されている各クラスのヒストグラムと比較することにより上記認識対象物を認識する第２の認識処理を行うことにより、バーコードラベルや無線タグが付されていない商品を画像処理により短時間で精度良く認識できる。
【００５９】
しかも、この物体認識処理装置１００では、 上記第１の認識処理部２２により上記認識対象物５の認識処理を行い、上記認識対象物を認識できない場合に、上記第２の認識処理部２３により上記認識対象物の認識処理を行うので、上記認識対象物５の認識処理を迅速に行うことができる。
また、この物体認識処理装置１００では、ケーキや野菜などを個体差のある商品を高精度且つ高速で認識することができる。
【００６０】
ここで、上記物体認識処理装置１００において、３３種類のケーキを３個ずつ合計９９個のサンプルについて、９９０枚の画像データを取り込んで、上記基準のカラーヒストグラムの学習処理による第１の特徴情報のデータベース、上記基準のストグラムの学習処理による第２の特徴情報のデータベース、上記決定木（decision tree）の学習処理による決定木（decision tree）のデータベースを上記記憶部２６内に作成したところ、第１の特徴情報のデータベースを用いる第１の認識処理では、図２１に示す、ミルクレープとプリンフルーツケーキの組、フルーツケーキと四種のチーズを使ったケーキの組、ブラックココアのミルクレープとショコラフランボワーズの組、ティラミスタルトとクランチショコラの組は、識別が困難であったが、これらの組のケーキは誤認識の虞のある認識対象物であるとして上記決定木（decision tree）の学習処理により決定木（decision tree）のデータベースが上記記憶部２６内に作成されることにより、第２の特徴情報のデータベースを用いる第２の認識処理により認識することができ、認識率を高めることができた。
【符号の説明】
【００６１】
１０ 撮像部、２０ 認識処理部、２１ 撮像信号処理部、２２ 第１の認識処理部、２３ 第２の認識処理部、２４ 出力部、２５ 制御部、２６ 記憶部、２２１ ＲＧＢ・ＨＳＶ変換処理部、２２２ カラーヒストグラム作成処理部、２２３ カラーヒストグラム比較処理部、２３１ 特徴量抽出処理部、２３１Ａ 特徴点検出処理部、２３１Ａ１ 平滑化処理部、２３１Ａ２ ＤｏＧフィルタ、２３１Ａ３ 極値検出部、２３１Ａ４ 特徴点決定処理部、２３１Ｂ 特徴量算出処理部、２３１Ｂ１ 方向ヒストグラム生成処理部、２３１Ｂ２ 重み付き方向ヒストグラム作成処理部、２３１Ｂ３ スケール不変特徴量算出処理部、２３２ ヒストグラム生成処理部、２３３ 認識処理部
【特許請求の範囲】
【請求項１】
認識対象物を撮像する撮像部と、
上記撮像部より撮像された認識対象物のカラー画像信号について、認識対象物の認識処理を行う認識処理部とを備え、
上記認識処理部は、上記カラー画像信号に含まれる認識対象物の色情報をＲＧＢ色空間からＨＳＶ色空間に変換して、Ｈ（色相）情報とＳ（彩度）情報のカラーヒストグラムを作成し、上記カラーヒストグラムを上記認識対象物の第１の特徴情報として、予め作成されている基準のカラーヒストグラムと比較することにより上記認識対象物を認識する第１の認識処理部と、上記カラー画像信号に含まれる認識対象物の輝度情報からScale-Invariant Feature Transform(SIFT)法により特徴量を抽出し、抽出したＳＩＦＴ特徴量についてＫ−ｍｅａｎｓ法によるクラスタリングに対応したクラスを横軸としたヒストグラムを作成し、作成した上記ヒストグラムを上記認識対象物の第２の特徴情報として、予め作成されている基準のヒストグラムと比較することにより上記認識対象物を認識する第２の認識処理部を備える
ことを特徴とする物体認識処理装置。
【請求項２】
上記認識処理部は、上記第１の認識処理部による認識処理に用いる基準のカラーヒストグラムを認識対象物毎に作成して保存する学習処理と、認識対象物のＳＩＦＴ特徴量についてＫ−ｍｅａｎｓ法によるクラスタリングを行い、上記第２の認識処理部による認識処理に用いる基準のヒストグラムを認識対象物毎に作成して保存する学習処理を予め行うことを特徴とする請求項１記載の物体認識処理装置。
【請求項３】
上記第１の認識処理部により上記認識対象物の認識処理を行い、上記認識対象物を認識できない場合に、上記第２の認識処理部により上記認識対象物の認識処理を行うことを特徴とする請求項１記載の物体認識処理装置。
【請求項４】
上記認識処理部は、上記認識対象物の基準のカラーヒストグラムを作成して保存する学習処理を行う際に、誤認識の虞のある認識対象物を分類して保存しておき、上記第１の認識処理部により認識した認識対象物が上記誤認識の虞のある認識対象物である場合に、上記第２の認識処理部により上記認識対象物の認識処理を行うことを特徴とする請求項１記載の物体認識処理装置。
【請求項５】
認識対象物を撮像する撮像ステップと、
上記撮像ステップにおいて撮像された認識対象物のカラー画像信号について、認識対象物の認識処理を行う認識処理ステップとを有し、
上記認識処理ステップでは、上記カラー画像信号に含まれる認識対象物の色情報をＲＧＢ色空間からＨＳＶ色空間に変換して、Ｈ（色相）情報とＳ（彩度）情報のカラーヒストグラムを作成し、上記カラーヒストグラムを上記認識対象物の第１の特徴情報として、予め作成されている基準のカラーヒストグラムと比較することにより上記認識対象物を認識する第１の認識処理と、上記カラー画像信号に含まれる認識対象物の輝度情報からScale-Invariant Feature Transform(SIFT)法により特徴量を抽出し、抽出したＳＩＦＴ特徴量についてＫ−ｍｅａｎｓ法によるクラスタリングに対応したクラスを横軸としたヒストグラムを作成し、作成した上記ヒストグラムを上記認識対象物の第２の特徴情報として、予め作成されている各クラスのヒストグラムと比較することにより上記認識対象物を認識する第２の認識処理を行うことを特徴とする物体認識処理方法。
【請求項１】
認識対象物を撮像する撮像部と、
上記撮像部より撮像された認識対象物のカラー画像信号について、認識対象物の認識処理を行う認識処理部とを備え、
上記認識処理部は、上記カラー画像信号に含まれる認識対象物の色情報をＲＧＢ色空間からＨＳＶ色空間に変換して、Ｈ（色相）情報とＳ（彩度）情報のカラーヒストグラムを作成し、上記カラーヒストグラムを上記認識対象物の第１の特徴情報として、予め作成されている基準のカラーヒストグラムと比較することにより上記認識対象物を認識する第１の認識処理部と、上記カラー画像信号に含まれる認識対象物の輝度情報からScale-Invariant Feature Transform(SIFT)法により特徴量を抽出し、抽出したＳＩＦＴ特徴量についてＫ−ｍｅａｎｓ法によるクラスタリングに対応したクラスを横軸としたヒストグラムを作成し、作成した上記ヒストグラムを上記認識対象物の第２の特徴情報として、予め作成されている基準のヒストグラムと比較することにより上記認識対象物を認識する第２の認識処理部を備える
ことを特徴とする物体認識処理装置。
【請求項２】
上記認識処理部は、上記第１の認識処理部による認識処理に用いる基準のカラーヒストグラムを認識対象物毎に作成して保存する学習処理と、認識対象物のＳＩＦＴ特徴量についてＫ−ｍｅａｎｓ法によるクラスタリングを行い、上記第２の認識処理部による認識処理に用いる基準のヒストグラムを認識対象物毎に作成して保存する学習処理を予め行うことを特徴とする請求項１記載の物体認識処理装置。
【請求項３】
上記第１の認識処理部により上記認識対象物の認識処理を行い、上記認識対象物を認識できない場合に、上記第２の認識処理部により上記認識対象物の認識処理を行うことを特徴とする請求項１記載の物体認識処理装置。
【請求項４】
上記認識処理部は、上記認識対象物の基準のカラーヒストグラムを作成して保存する学習処理を行う際に、誤認識の虞のある認識対象物を分類して保存しておき、上記第１の認識処理部により認識した認識対象物が上記誤認識の虞のある認識対象物である場合に、上記第２の認識処理部により上記認識対象物の認識処理を行うことを特徴とする請求項１記載の物体認識処理装置。
【請求項５】
認識対象物を撮像する撮像ステップと、
上記撮像ステップにおいて撮像された認識対象物のカラー画像信号について、認識対象物の認識処理を行う認識処理ステップとを有し、
上記認識処理ステップでは、上記カラー画像信号に含まれる認識対象物の色情報をＲＧＢ色空間からＨＳＶ色空間に変換して、Ｈ（色相）情報とＳ（彩度）情報のカラーヒストグラムを作成し、上記カラーヒストグラムを上記認識対象物の第１の特徴情報として、予め作成されている基準のカラーヒストグラムと比較することにより上記認識対象物を認識する第１の認識処理と、上記カラー画像信号に含まれる認識対象物の輝度情報からScale-Invariant Feature Transform(SIFT)法により特徴量を抽出し、抽出したＳＩＦＴ特徴量についてＫ−ｍｅａｎｓ法によるクラスタリングに対応したクラスを横軸としたヒストグラムを作成し、作成した上記ヒストグラムを上記認識対象物の第２の特徴情報として、予め作成されている各クラスのヒストグラムと比較することにより上記認識対象物を認識する第２の認識処理を行うことを特徴とする物体認識処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【公開番号】特開２０１２−１５０５５２（Ｐ２０１２−１５０５５２Ａ）
【公開日】平成２４年８月９日（２０１２．８．９）
【国際特許分類】
【出願番号】特願２０１１−７０５９（Ｐ２０１１−７０５９）
【出願日】平成２３年１月１７日（２０１１．１．１７）
【出願人】（５９２１２４１４８）株式会社堀内電機製作所 (1)
【Ｆターム（参考）】
【公開日】平成２４年８月９日（２０１２．８．９）
【国際特許分類】
【出願日】平成２３年１月１７日（２０１１．１．１７）
【出願人】（５９２１２４１４８）株式会社堀内電機製作所 (1)
【Ｆターム（参考）】
[ Back to top ]