物体特徴抽出装置、物体特徴抽出方法および物体特徴抽出プログラム
【課題】画像中から物体を分離することなく、また、複数のフレーム画像やモデル情報を必要としないで、物体の特徴を抽出すること。
【解決手段】特徴抽出部２１０と特徴出現頻度分布算出部２２０と物体特徴抽出部２３０とを備えている。特徴抽出部２１０は、複数のカテゴリに対応する複数の画像集合から複数の特徴集合をそれぞれ抽出する。特徴出現頻度分布算出部２２０は、その複数の特徴集合に基づいて複数の特徴出現頻度分布をそれぞれ算出する。物体特徴抽出部２３０は、その複数の特徴出現頻度分布の比較結果に基づいて複数の特徴から複数の重要特徴を選択し、その複数の特徴出現頻度分布とその複数の重要特徴とに基づいて、その複数の重要特徴がそれぞれ出現する複数の頻度を示す複数の物体特徴を算出する。
【解決手段】特徴抽出部２１０と特徴出現頻度分布算出部２２０と物体特徴抽出部２３０とを備えている。特徴抽出部２１０は、複数のカテゴリに対応する複数の画像集合から複数の特徴集合をそれぞれ抽出する。特徴出現頻度分布算出部２２０は、その複数の特徴集合に基づいて複数の特徴出現頻度分布をそれぞれ算出する。物体特徴抽出部２３０は、その複数の特徴出現頻度分布の比較結果に基づいて複数の特徴から複数の重要特徴を選択し、その複数の特徴出現頻度分布とその複数の重要特徴とに基づいて、その複数の重要特徴がそれぞれ出現する複数の頻度を示す複数の物体特徴を算出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像中から物体の特徴を抽出する特徴抽出装置において、特に撮影画像中から物体と背景を分離しなくても、物体の特徴を抽出することができる物体特徴抽出装置、物体特徴抽出方法および物体特徴抽出プログラムに関する。
【背景技術】
【０００２】
スチルカメラやビデオカメラで撮影した画像中の様々な物体を認識する場合、物体の特徴を低コストかつ精度良く抽出することが望まれている。物体特徴を抽出する方法としては、あらかじめ撮影画像から物体の画像を切り抜くなどして、物体の形状を既知とした上で物体特徴を抽出する方法と、あらかじめ多数の背景画像を用意しておき、入力画像との差分を取ることで、物体特徴を抽出する方法などがある。
【０００３】
特開２００１−１８８９０６号公報には、画像分類の為に必要となる特徴量抽出を行う場合において、画像処理パラメータをチューニングする必要が生じない画像自動分類方法が開示されている。その画像自動分類方法は、被撮像物がどのカテゴリに属するかが未知である画像データに対して、画像処理を行う事により、該画像データに関する統計的特徴量を抽出し、被撮像物がどのカテゴリに属するのかを決定する。
【０００４】
特開２００１−３１９２３６号公報には、汎用性の高い動画像オブジェクトの形状抽出方法が開示されている。その動き物体の形状抽出方法では、特徴を抽出する場合、メタデータや明示データを必要とする。そのメタデータとは、物理量として測定可能なデータを想定しており、照明データやカメラのパンチルト角度などのデータである。また、その明示データとは、商標やロゴマークなど物体の輪郭といった形状情報が既知であるデータや、抽出対象の形状を指定したデータを指している。これらのデータを参照しオブジェクト抽出アルゴリズムを適用することで、物体特徴を抽出する。
【０００５】
特開２００４−１３３０７号公報には、完全に独立ではない（特徴量空間が直交していない）特徴量間の適切な重みつけ手法が開示されている。その類似度計算装置は、問い合わせ信号となる映像または音声信号と、データベースにあらかじめ登録された複数の映像または音声信号間の距離を算出する。その類似度計算装置は、問い合わせ信号特徴量抽出部と、個別信号特徴量間距離算出部と、特徴量間距離特性計算部と、個別信号特徴量間距離補正部と、信号間類似度算出部からなることを特徴としている。その問い合わせ信号特徴量抽出部は、前記問い合わせ信号から複数の信号特徴量を算出する。その個別信号特徴量間距離算出部は、前記抽出した信号特徴量とデータベースに登録された個々の映像または音声信号の複数の映像特徴量からそれぞれの信号特徴量間の距離を計算する。その特徴量間距離特性計算部は、前記個別信号特徴量間距離算出部が出力する問い合わせ信号と個々のデータベース登録信号間の個別特徴量間距離群を統計処理し、個別特徴量間距離間の統計的性質を出力する。その個別信号特徴量間距離補正部は、前記個別信号特徴量間距離算出部が算出した個別信号特徴量間距離と前記個別特徴量間距離間の統計的性質を用いて補正個別特徴量間距離を算出する。その信号間類似度算出部は、補正された個別信号特徴量間距離から総合的な信号間類似度を求める。
【０００６】
特開２００５−３０９５３５号公報には、使用する特徴量の組み合わせを自動で選択することで、不適切な特徴量の影響による分類性能の低下を防止する画像分類方法が開示されている。その画像分類方法は、被検査対象物を撮像して得た画像を多数収集して分類基準学習データを作成し、該画像の特徴点に基づき、大分類のカテゴリから該大分類のカテゴリ内に登録した詳細分類カテゴリに階層的に分類する。その画像分類方法は、分類基準となる各カテゴリの特徴量の分布から、使用すべき特徴量の組み合わせを自動で選択することを特徴としている。
【０００７】
特開平０８−２７９０４７号公報には、あらゆる認識対象に対して汎用的に使用可能で、かつ専門的な知識を持たない人が現場で手軽に認識アルゴリズムを作成しうるパターン認識装置が開示されている。そのパタ−ン認識装置は、センサ等の出力を入力とし、与えられたパターン認識対象の分類に有効なものと無効なものを合わせた多数の特徴量の計算手段を具備している。そのパタ−ン認識装置は、さらに、学習すべきデータを蓄積するデータベース手段と、それを用いて前記特徴量の中から有効な特徴量のみを抽出する手段を具備している。そのパタ−ン認識装置は、さらに、該手段により抽出された特徴量を入力変数として表現される数理式を用いてパターン分類を行いかつ該数理式を学習できる手段を具備している。
【０００８】
特開２００４−２１３５７２号公報には、大量に蓄積された様々な照明条件下での背景画像を用いて、各時刻での背景画像を合成し、照明条件や撮影装置の位置等が変化する状況下でも背景以外の物体検出を安定して行うことができる物体抽出装置が開示されている。その物体抽出装置は、背景画像蓄積手段と、画像取込手段と、背景画像合成手段と、物体検出手段とを備えてなる。その背景画像蓄積手段は、撮影装置により、複数の撮影条件下において撮影された複数の背景画像を蓄積する。その画像取込手段は、撮影装置により撮影された各時刻における画像（入力画像）を取り込む。その背景画像合成手段は、上記蓄積された複数の背景画像の重み付き線形和により、各時刻での背景画像を合成する。その物体検出手段は、各時刻における入力画像と上記合成された背景画像との差分を計算することで、入力画像から背景以外の物体を検出する。その重みは、照明条件（光源位置、形状、個数、明るさ）の変化に関する統計的な予測に基づいて決定している。
【０００９】
特許第２５５６４７７号公報には、一部カテゴリに対する累積計算によって高精度、かつ高速に全カテゴリから候補カテゴリを抽出できるパタン照合装置が開示されている。そのパタン照合装置は、特徴ベクトルで表現された入力パタンがあらかじめ登録してあるいずれのカテゴリに属するかを認識するパタン照合装置である。カテゴリテーブルと、前記特徴ベクトルの要素値とそのグループ名および判定値とを対応づけたグループ選択テーブルとを含んでなる選択処理手段と；判定値累積処理手段と；ソート処理手段と；からなる。そのカテゴリテーブルは、前記特徴ベクトルの各要素別にカテゴリをあらかじめ分類してなるグループのグループ名とそれぞれのグループに属する前記カテゴリのカテゴリ名とを対応づけている。そのパタン照合装置は、前記選択処理手段によって、入力特徴ベクトルの要素ごとに前記グループ選択テーブルから前記入力パタンの特徴ベクトルの要素値に対応するグループ名および判定値を選択して読み出す。そのパタン照合装置は、この読み出されたグループ名によって前記カテゴリテーブルからそのグループ名に対応するカテゴリ名を選択して読み出す。そのパタン照合装置は、前記判定値累積処理手段によって、要素ごとに読み出される前記カテゴリ名に基づいてカテゴリ別に前記判定値を累積して評価値を得る。そのパタン照合装置は、前記ソート処理手段によって、前記判定値累積処理手段から出力されるカテゴリ別の前記評価値の大小関係によって候補カテゴリを抽出する。
【００１０】
文献「Ｐ．Ｖｉｏｌａ ａｎｄ Ｍ． Ｊ．Ｊｏｎｅｓ．”Ｒａｐｉｄ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ ｕｓｉｎｇ ａ Ｂｏｏｓｔｅｄ Ｃａｓｃａｄｅ ｏｆ Ｓｉｍｐｌｅ Ｆｅａｔｕｒｅｓ．”， ＩＥＥＥ ＣＶＰＲ，２００１」には、Ｈａａｒ−Ｌｉｋｅ特徴を用いたパターン認識が開示されている。
【００１１】
文献「Ｄ．Ｌｏｗ． ”Ｏｂｊｅｃｔ ｒｅｃｏｇｎｉｔｉｏｎ ｆｒｏｍ ｌｏｃａｌ ｓｃａｌｅ ｉｎｖａｒｉａｎｔ ｆｅａｔｕｒｅｓ．” ， ＩＣＣＶ １９９９」には、ＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）特徴を用いたパターン認識が開示されている。
【００１２】
文献「Ｎ．Ｄａｌａｌ ａｎｄ Ｂ．Ｔｒｉｇｇｓ． ”Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ ｆｏｒ Ｈｕｍａｎ Ｄｅｔｅｃｔｉｏｎ”， ＣＶＰＲ， ２００５」には、ＨＯＧ（Ｈｉｓｔｏｇｒａｍ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）特徴を用いたパターン認識が開示されている。
【先行技術文献】
【特許文献】
【００１３】
【特許文献１】特開２００１−１８８９０６号公報
【特許文献２】特開２００１−３１９２３６号公報
【特許文献３】特開２００４−１３３０７号公報
【特許文献４】特開２００５−３０９５３５号公報
【特許文献５】特開平０８−２７９０４７号公報
【特許文献６】特開２００４−２１３５７２号公報
【特許文献７】特許第２５５６４７７号公報
【非特許文献】
【００１４】
【非特許文献１】Ｐ．Ｖｉｏｌａ ａｎｄ Ｍ． Ｊ．Ｊｏｎｅｓ．”Ｒａｐｉｄ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ ｕｓｉｎｇ ａ Ｂｏｏｓｔｅｄ Ｃａｓｃａｄｅ ｏｆ Ｓｉｍｐｌｅ Ｆｅａｔｕｒｅｓ．”， ＩＥＥＥ ＣＶＰＲ，２００１
【非特許文献２】Ｄ．Ｌｏｗ． ”Ｏｂｊｅｃｔ ｒｅｃｏｇｎｉｔｉｏｎ ｆｒｏｍ ｌｏｃａｌ ｓｃａｌｅ ｉｎｖａｒｉａｎｔ ｆｅａｔｕｒｅｓ．” ， ＩＣＣＶ １９９９
【非特許文献３】Ｎ．Ｄａｌａｌ ａｎｄ Ｂ．Ｔｒｉｇｇｓ． ”Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ ｆｏｒ Ｈｕｍａｎ Ｄｅｔｅｃｔｉｏｎ”， ＣＶＰＲ， ２００５
【発明の概要】
【発明が解決しようとする課題】
【００１５】
しかしながら、特開２００１−３１９２３６号公報の方法では、物体を特定するための、物体の輪郭といった物体形状を指定する作業に多くのコストがかかるため、大量の物体を扱うのには向いていない。また、特開２００４−２１３５７２号公報の方法では、撮影者が様々な背景を含む物体の画像を撮影する場合、物体領域を特定するために、様々な背景画像を生成した後、入力画像と背景差分を取る必要がありコストがかかるという問題がある。
【００１６】
本発明の目的は、画像中から物体を分離することなく、また、複数のフレーム画像やモデル情報を必要としないで、物体の特徴を抽出する物体特徴抽出装置、物体特徴抽出方法および物体特徴抽出プログラムを提供することにある。
【課題を解決するための手段】
【００１７】
本発明による物体特徴抽出装置は、特徴抽出部と特徴出現頻度分布算出部と物体特徴抽出部とを備えている。その特徴抽出部は、複数のカテゴリに対応する複数の画像集合から複数の特徴集合をそれぞれ抽出する。その特徴出現頻度分布算出部は、その複数の特徴集合に基づいて複数の特徴出現頻度分布をそれぞれ算出する。その物体特徴抽出部は、その複数の特徴出現頻度分布の比較結果に基づいて複数の特徴から複数の重要特徴を選択し、その複数の特徴出現頻度分布とその複数の重要特徴とに基づいて複数の物体特徴を算出する。
【００１８】
その複数の特徴集合のうちの第１カテゴリに対応する第１特徴集合は、その複数の画像集合のうちの第１カテゴリに対応する第１画像集合の画像から抽出された複数の抽出特徴から形成されている。その複数の特徴集合のうちの第２カテゴリに対応する第２特徴集合は、その複数の画像集合のうちの第２カテゴリに対応する第２画像集合の画像から抽出された複数の抽出特徴から形成されている。
【００１９】
その複数の特徴出現頻度分布のうちのその第１カテゴリに対応する第１特徴出現頻度分布は、その第１画像集合によりその複数の特徴に対応付けられる複数の頻度を示している。その複数の特徴出現頻度分布のうちのその第２カテゴリに対応する第２特徴出現頻度分布は、その第２画像集合によりその複数の特徴に対応付けられる複数の頻度を示している。
【００２０】
その複数の物体特徴のうちのその第１カテゴリに対応する第１物体特徴は、その第１画像集合によりその複数の重要特徴に対応付けられる複数の頻度を示している。その複数の物体特徴のうちのその第２カテゴリに対応する第２物体特徴は、その第２画像集合によりその複数の重要特徴に対応付けられる複数の頻度を示している。
【００２１】
本発明による物体特徴抽出方法は、
複数のカテゴリに対応する複数の画像集合から複数の特徴集合をそれぞれ抽出するステップと、
その複数の特徴集合に基づいて複数の特徴出現頻度分布をそれぞれ算出するステップと、
その複数の特徴出現頻度分布の比較結果に基づいて複数の特徴から複数の重要特徴を選択するステップと、
その複数の特徴出現頻度分布とその複数の重要特徴とに基づいて複数の物体特徴を算出するステップとを備えている。
【００２２】
その複数の特徴集合のうちの第１カテゴリに対応する第１特徴集合は、その複数の画像集合のうちの第１カテゴリに対応する第１画像集合の画像から抽出された複数の抽出特徴から形成されている。その複数の特徴集合のうちの第２カテゴリに対応する第２特徴集合は、その複数の画像集合のうちの第２カテゴリに対応する第２画像集合の画像から抽出された複数の抽出特徴から形成されている。
【００２３】
その複数の特徴出現頻度分布のうちのその第１カテゴリに対応する第１特徴出現頻度分布は、その第１画像集合によりその複数の特徴に対応付けられる複数の頻度を示している。その複数の特徴出現頻度分布のうちのその第２カテゴリに対応する第２特徴出現頻度分布は、その第２画像集合によりその複数の特徴に対応付けられる複数の頻度を示している。
【００２４】
その複数の物体特徴のうちのその第１カテゴリに対応する第１物体特徴は、その第１画像集合によりその複数の重要特徴に対応付けられる複数の頻度を示している。その複数の物体特徴のうちのその第２カテゴリに対応する第２物体特徴は、その第２画像集合によりその複数の重要特徴に対応付けられる複数の頻度を示している。
【００２５】
本発明による物体特徴抽出プログラムは、特徴抽出部と特徴出現頻度分布算出部と物体特徴抽出部とをコンピュータに実現させるためのプログラムである。その特徴抽出部は、複数のカテゴリに対応する複数の画像集合から複数の特徴集合をそれぞれ抽出する。その特徴出現頻度分布算出部は、その複数の特徴集合に基づいて複数の特徴出現頻度分布をそれぞれ算出する。その物体特徴抽出部は、その複数の特徴出現頻度分布の比較結果に基づいて複数の特徴から複数の重要特徴を選択し、その複数の特徴出現頻度分布とその複数の重要特徴とに基づいて複数の物体特徴を算出する。
【００２６】
その複数の特徴集合のうちの第１カテゴリに対応する第１特徴集合は、その複数の画像集合のうちの第１カテゴリに対応する第１画像集合の画像から抽出された複数の抽出特徴から形成されている。その複数の特徴集合のうちの第２カテゴリに対応する第２特徴集合は、その複数の画像集合のうちの第２カテゴリに対応する第２画像集合の画像から抽出された複数の抽出特徴から形成されている。
【００２７】
その複数の特徴出現頻度分布のうちのその第１カテゴリに対応する第１特徴出現頻度分布は、その第１画像集合によりその複数の特徴に対応付けられる複数の頻度を示している。その複数の特徴出現頻度分布のうちのその第２カテゴリに対応する第２特徴出現頻度分布は、その第２画像集合によりその複数の特徴に対応付けられる複数の頻度を示している。
【００２８】
その複数の物体特徴のうちのその第１カテゴリに対応する第１物体特徴は、その第１画像集合によりその複数の重要特徴に対応付けられる複数の頻度を示している。その複数の物体特徴のうちのその第２カテゴリに対応する第２物体特徴は、その第２画像集合によりその複数の重要特徴に対応付けられる複数の頻度を示している。
【発明の効果】
【００２９】
本発明による物体特徴抽出装置および物体特徴抽出方法は、その複数の特徴出現頻度分布に基づいて被写体のパターン認識に不要である特徴を、たとえば、背景の特徴をその複数の特徴から除くことができ、画像中から物体と物体以外（たとえば、背景）とをあらかじめ分離する必要なく、物体特徴を抽出するコストを低減することができる。
【図面の簡単な説明】
【００３０】
【図１】図１は、本発明による物体特徴抽出装置の第１実施形態を示すブロック図である。
【図２】図２は、データ処理装置を示すブロック図である。
【図３】図３は、本発明による物体特徴抽出方法の第１実施形態を示すフローチャートである。
【図４】図４は、複数の入力画像を示す図である。
【図５】図５は、車の画像の特徴出現頻度分布を示すグラフである。
【図６】図６は、電車の画像の特徴出現頻度分布を示すグラフである。
【図７】図７は、相関値の計算方法を示す図である。
【図８】図８は、複数の相関値を示すグラフである。
【図９】図９は、マスクを示すグラフである。
【図１０】図１０は、車固有の特徴を示すグラフである。
【図１１】図１１は、電車固有の特徴を示すグラフである。
【図１２】図１２は、本発明による物体特徴抽出装置の第２実施形態を示すブロック図である。
【図１３】図１３は、本発明による物体特徴抽出方法の第２実施形態を示すフローチャートである。
【図１４】図１４は、本発明による画像処理装置の第３実施形態を示すブロック図である。
【図１５】図１５は、入力画像の例を示し、その入力画像に出現した複数の特徴ベクトルを示す図である。
【図１６】図１６は、複数の特徴ベクトルのうちのある代表特徴ベクトルと共起する特徴ベクトルを示す表である。
【図１７】図１７は、２次元の特徴出現頻度分布を示す表である。
【図１８】図１８は、代表特徴ベクトルの共起頻度分布を示すグラフである。
【図１９】図１９は、本発明による物体特徴抽出装置の第３の実施形態を示すブロック図である。
【図２０】図２０は、幾何学的不変量を一意のＩＤに割り当てルックアップテーブルに格納する例を示す図である。
【図２１】図２１は、車の局所幾何学的不変量を一意のＩＤに割り当てた特徴出現頻度分布を示す図である。
【図２２】図２２は、本発明による物体検出装置を示すブロック図である。
【発明を実施するための形態】
【００３１】
図面を参照して、本発明による物体特徴抽出装置の第１の実施形態を記載する。その物体特徴抽出装置１０は、コンピュータであり、図１に示されているように、画像入力装置１００とデータ処理装置２００とデータ記憶装置３００と物体特徴出力装置４００とを備えている。データ処理装置２００は、物体特徴抽出装置１０にインストールされるコンピュータプログラムを実行して、画像入力装置１００とデータ処理装置２００とデータ記憶装置３００と物体特徴出力装置４００とを制御する。
【００３２】
画像入力装置１００は、被写体の画像を撮影する撮像システム（図示されていない）に接続されることができる。その撮像システムとしては、スチルカメラやビデオカメラ、コピー機などが例示される。画像入力装置１００は、その撮像システムに接続されているときに、その撮像システムから画像を収集し、その画像をデータ処理装置２００に出力する。
【００３３】
データ記憶装置３００は、データ処理装置２００により生成される情報を記録する。データ記憶装置３００は、特徴出現頻度記憶部３１０を備えている。特徴出現頻度記憶部３１０は、データ処理装置２００により算出された複数の特徴出現頻度分布を格納する。
【００３４】
物体特徴出力装置４００は、データ処理装置２００により生成される情報をユーザに認識可能に出力する。物体特徴出力装置４００としては、リムーバルメモリドライブ、ディスプレイ、通信装置が例示される。
【００３５】
図２は、データ処理装置２００を示している。データ処理装置２００は、物体特徴抽出装置１０にインストールされるコンピュータプログラムを実行することにより、特徴抽出部２１０と特徴出現頻度算出部２２０と物体特徴抽出部２３０として機能する。
【００３６】
特徴抽出部２１０は、画像入力装置１００により収集された複数の入力画像に基づいて複数の特徴ベクトルを抽出する。その複数の入力画像の各々は、複数のカテゴリに対応付けられている複数の画像集合のいずれかに属している。その複数の画像集合のうちのあるカテゴリに対応する画像集合は、そのカテゴリに対応する物体が映っている画像の集合である。その複数の特徴ベクトルは、それぞれ、その入力画像に映し出される像のエッジや色などを示している。
【００３７】
特徴出現頻度算出部２２０は、特徴抽出部２１０により抽出された複数の特徴ベクトルに基づいて複数の特徴出現頻度分布を算出する。その複数の特徴出現頻度分布は、その複数のカテゴリに対応している。その複数の特徴出現頻度分布のうちのあるカテゴリに対応する特徴出現頻度は、そのカテゴリに対応する画像集合の画像に複数の相関算出用特徴ベクトルがそれぞれ出現する複数の頻度を示している。その複数の相関算出用特徴ベクトルの各々は、特徴抽出部２１０により抽出された複数の特徴ベクトルのいずれかに一致している。特徴出現頻度算出部２２０は、さらに、その複数の特徴出現頻度分布を複数のカテゴリに対応付けて特徴出現頻度記憶部３１０に記録する。
【００３８】
物体特徴抽出部２３０は、特徴出現頻度算出部２２０により算出された複数の特徴出現頻度分布に基づいて、その複数の相関算出用特徴ベクトルから複数の重要な特徴ベクトルを抽出する。すなわち、物体特徴抽出部２３０は、その複数の特徴出現頻度分布に基づいて、その複数の相関算出用特徴ベクトルに対応する複数の相関値を算出する。物体特徴抽出部２３０は、その複数の相関値に基づいてマスクを算出する。そのマスクは、その複数の相関算出用特徴ベクトルの各々がその重要な特徴ベクトルに含まれているかどうかを示している。その重要な特徴ベクトルは、１枚の画像が複数のカテゴリのうちのどのカテゴリに属しているかを検出することに用いられる。物体特徴抽出部２３０は、さらに、物体特徴出力装置４００を用いて、ユーザが認識可能にその重要な特徴ベクトルを出力する。
【００３９】
図３は、本発明による物体特徴抽出方法の第１の実施形態を示している。ユーザは、まず、撮像デバイスを用いて複数のカテゴリごとに複数の画像を撮影する。すなわち、その複数の画像は、その複数のカテゴリに対応する複数の画像集合にグループ分けされる。その複数の画像集合のうちのあるカテゴリに対応する画像集合は、そのカテゴリに対応する物体を被写体として撮影された画像から形成され、その画像は、そのカテゴリに対応する物体を映し出している。ユーザは、次いで、その撮像デバイスを画像入力装置１００に接続する。
【００４０】
画像入力装置１００は、その撮像デバイスにより撮影された複数の画像を画像集合ごとにグループ分けし、複数のカテゴリに対応する複数の画像集合をデータ処理装置２００に出力する（ステップＳ１０）。
【００４１】
特徴抽出部２１０は、画像入力装置１００を介して入力された複数の画像ごとに特徴抽出を行う。特徴抽出部２１０は、さらに、複数のカテゴリに対応する複数の特徴ベクトル集合をそれぞれ算出する。その複数の特徴ベクトル集合のうちのあるカテゴリに対応する特徴ベクトル集合は、そのカテゴリに対応する画像集合の画像から抽出される複数の特徴ベクトルから形成されている（ステップＳ１１）。
【００４２】
その特徴抽出方法は、物体の形状特徴を抽出する方法でも良いし、色特徴を抽出する方法でも良い。また、両者を組み合わせて特徴を抽出しても良い。その形状特徴としては、Ｈａａｒ−Ｌｉｋｅ特徴、ＳＩＦＴ特徴、ＨＯＧ特徴が例示される。そのＨａａｒ−Ｌｉｋｅ特徴は、周知であり、たとえば、文献「Ｐ．Ｖｉｏｌａ ａｎｄ Ｍ． Ｊ．Ｊｏｎｅｓ．”Ｒａｐｉｄ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ ｕｓｉｎｇ ａ Ｂｏｏｓｔｅｄ Ｃａｓｃａｄｅ ｏｆ Ｓｉｍｐｌｅ Ｆｅａｔｕｒｅｓ．”， ＩＥＥＥ ＣＶＰＲ，２００１」に開示されている。そのＳＩＦＴ特徴は、周知であり、たとえば、文献「Ｄ．Ｌｏｗ． ”Ｏｂｊｅｃｔ ｒｅｃｏｇｎｉｔｉｏｎ ｆｒｏｍ ｌｏｃａｌ ｓｃａｌｅ ｉｎｖａｒｉａｎｔ ｆｅａｔｕｒｅｓ．” ， ＩＣＣＶ １９９９」に開示されている。そのＨＯＧ特徴は、周知であり、たとえば、文献「Ｎ．Ｄａｌａｌ ａｎｄ Ｂ．Ｔｒｉｇｇｓ． ”Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ ｆｏｒ Ｈｕｍａｎ Ｄｅｔｅｃｔｉｏｎ”， ＣＶＰＲ， ２００５」に開示されている。
【００４３】
特徴出現頻度算出部２２０は、特徴抽出部２１０により算出された複数の特徴ベクトル集合に基づいて複数のカテゴリに対応する複数の特徴出現頻度分布を算出する。その複数の特徴出現頻度分布のうちのあるカテゴリに対応する特徴出現頻度分布は、そのカテゴリに対応する特徴ベクトル集合に基づいて算出され、そのカテゴリに対応する画像集合に属する複数の画像に出現する特徴ベクトルの頻度分布を示している。特徴出現頻度算出部２２０は、さらに、その複数の特徴出現頻度分布を全出現頻度数で正規化を行い、その正規化された複数の特徴出現頻度分布を特徴出現頻度記憶部３１０に格納する（ステップＳ１２）。
【００４４】
ステップＳ１０〜ステップＳ１２の動作は、複数のカテゴリごとに実行される。物体特徴抽出部２３０は、その複数のカテゴリの全部に対応する複数の特徴出現頻度分布の全部が算出された後に（ステップＳ１３、ＹＥＳ）、特徴出現頻度記憶部３１０に格納された複数の特徴出現頻度分布を比較し、その比較結果に基づいて物体を区別するために重要な特徴を抽出する（ステップＳ１４）。
【００４５】
すなわち、物体特徴抽出部２３０は、まず、カテゴリごとに生成された特徴出現頻度分布の特徴出現頻度同士の積から相関を求め、ある閾値α以下の相関値を持つ代表特徴ベクトルを背景特徴とする。同カテゴリの画像中には、同じ物体が含まれているため、物体の特徴出現頻度は多くなるが、物体以外の背景（森・海・建物・道路）は様々であるため、背景を構成する特徴の出現頻度は少なく相関値も低くなる。そこで、出現頻度が少ない特徴を背景特徴とする。閾値αの値は経験的に定めても良い。また、ある閾値β以上の値を持つ特徴を物体共通特徴とする。物体共通特徴は、物体間で共通に出現する特徴であるため出現頻度が多く、物体を区別するために重要な特徴とはいえない。そこで、閾値β以上の値を持つ特徴は、物体の特徴として用いない。閾値βの値は経験的に定めても良い。
【００４６】
物体特徴抽出部２３０は、次に、物体共通特徴と背景特徴とを０とし、それ以外の特徴を１とするマスクを作成する（ステップＳ１５）。物体特徴抽出部２３０は、その複数の特徴ベクトルごとにその複数の特徴出現頻度分布の頻度とマスクの値との積を取ることで、物体を区別するために重要な特徴を抽出する（ステップＳ１６）。
【００４７】
図４は、物体特徴抽出装置１０で画像入力装置１００を介して入力される複数の画像を示している。その複数の画像は、複数の自動車画像１−１〜１−１００００と複数の電車画像２−１〜２−１００００とを含んでいる。複数の自動車画像１−１〜１−１００００は、複数のカテゴリに対応する複数の画像集合のうちの１つの画像集合を形成し、自動車が映し出されている。複数の電車画像２−１〜２−１００００は、その複数の画像集合のうちの他の１つの画像集合を形成し、電車が映し出されている。その複数のカテゴリは、画像に映し出されている認識対象から区別される複数の特定の物体に対応し、すなわち、自動車のカテゴリと電車のカテゴリとを含んでいる。すなわち、その特定の物体は、認識対象とするカテゴリで区別できるものでよく、車か電車や電車といったカテゴリを認識する場合に、一般的に車と呼ばれている物体であればよい。
【００４８】
このとき、特徴抽出部２１０は、ＳＩＦＴ特徴を用いて１枚の画像から複数の特徴ベクトルを抽出する。特徴抽出部２１０は、全ての画像に対して、同様に複数の特徴ベクトルを抽出する。１つのカテゴリに対応する特徴ベクトルの数は、例えば、１枚の画像につき特徴ベクトルが１００個ある場合に、１００００００個存在する。その抽出された特徴ベクトルは、特徴出現頻度算出部２２０により、カテゴリごとに複数の特徴出現頻度分布が作成される。例えば、車の画像１枚ごとに複数の特徴ベクトル｛ｆ１、ｆ２、・・・｝を抽出し、車のカテゴリ全体について特徴出現頻度分布を算出し、その算出された特徴出現頻度分布を正規化する。その正規化された複数の特徴出現頻度分布は、特徴出現頻度記憶部３１０に格納される。
【００４９】
図５は、特徴出現頻度算出部２２０により算出された特徴出現頻度分布の例を示している。その特徴出現頻度分布３−１は、車のカテゴリに対応し、車の平均的な特徴ベクトルが画像に出現する頻度の分布を示している。その特徴出現頻度分布３−１により示される複数の頻度には、車以外の背景の特徴ベクトルの頻度も含まれている。
【００５０】
図６は、特徴出現頻度算出部２２０により算出された特徴出現頻度分布の他の例を示している。その特徴出現頻度分布３−２は、電車のカテゴリに対応し、電車の平均的な特徴ベクトルが画像に出現する頻度の分布を示している。その特徴出現頻度分布３−１により示される複数の頻度には、電車以外の背景の特徴ベクトルの頻度も含まれている。
【００５１】
このとき、背景が多種であるほど背景の特徴ベクトルの種類も多くなるため、背景の各特徴ベクトルの出現頻度は、少なくなる。
【００５２】
図７は、物体特徴抽出部２３０による複数の相関値の算出方法を示している。その複数の相関値６は、特徴抽出部２１０により抽出された複数の特徴ベクトルの全部に対応している。物体特徴抽出部２３０は、特徴出現頻度分布の特徴ベクトル同士｛ｆｉ｝の積を求めることで相関値を得る。例えば、特徴出現頻度分布３−１（車）の特徴ベクトルｆ１の頻度が０．８であり、かつ、特徴出現頻度分布３−３（電車）の特徴ベクトルｆ１が０．７の場合、特徴ベクトルｆ１に対応する相関値は、０．５６となる。特徴出現頻度分布３−１（車）の特徴ベクトルｆ２の頻度が０．２であり、かつ、特徴出現頻度分布３−３（電車）の特徴ベクトルｆ２が０．１の場合、特徴ベクトルｆ２における相関値は、０．０２となる。
【００５３】
図８は、物体特徴抽出部２３０により算出される複数の相関値６を示している。複数の相関値６は、全特徴ベクトルについて正規化されてもよい。物体特徴抽出部２３０は、閾値α、βを設定する。ここで、閾値αは、その複数の相関値の値域に含まれ、最大値より小さい値を示している。閾値βは、その複数の相関値の値域に含まれ、最小値より大きく、かつ、閾値αより小さい値を示している。たとえば、αを０．４、βを０．１と設定する。
【００５４】
図９は、物体特徴抽出部２３０により算出されるマスクを示している。そのマスク７は、複数の相関算出用特徴ベクトルに対応する複数のマスク値を示している。その複数のマスク値のうちのある相関算出用特徴ベクトルに対応するマスク値は、その相関算出用特徴ベクトルに対応する相関値Ｃｉを用いて、次式：
α（０．１）＜Ｃｉ＜β（０．４）
が満足の場合に１を示し、次式：
Ｃｉ＜＝０．１、Ｃｉ＞＝０．４
が満足する場合に０を示している。
【００５５】
複数の相関算出用特徴ベクトルのうちの相関値が大きい特徴ベクトルは、車と電車間でよく出現する特徴を示している。一方、複数の相関算出用特徴ベクトルのうちの相関値が小さい特徴ベクトルは、車と電車であまり出現しない特徴であり、両者の背景の特徴ベクトルである。複数の相関算出用特徴ベクトルのうちの相関値が大きい特徴ベクトルは、物体間でよく用いられる特徴であるため、物体を区別しにくい特徴である。複数の相関算出用特徴ベクトルのうちの相関値が小さい特徴ベクトルは、物体内であまり出現しない、あるいは背景の特徴ベクトルであるため、物体を区別するために重要な特徴といえない。このため、マスク７は、その複数の相関算出用特徴ベクトルの各々が物体を区別するために重要な特徴クトルかどうかをより適切に示している。
【００５６】
図１０は、物体特徴抽出部２３０により算出される物体特徴を示している。その物体特徴８−１は、その複数の相関算出用特徴ベクトルに対応する複数の出現頻度を示している。その複数の出現頻度のうちのある相関算出用特徴ベクトルに対応する頻度は、車の特徴出現頻度分布３−１のうちのその相関算出用特徴ベクトルに対応する頻度とマスク７のうちのその相関算出用特徴ベクトルに対応するマスク値との積を示している。すなわち、物体特徴８−１は、マスク値が１を示す特徴ベクトルに対応する頻度が車の特徴出現頻度分布３−１のうちのその特徴ベクトルに対応する頻度を示し、マスク値が０を示す特徴ベクトルに対応する頻度が０を示している。
【００５７】
図１１は、物体特徴抽出部２３０により算出される他の物体特徴を示している。その物体特徴８−２は、その複数の相関算出用特徴ベクトルに対応する複数の出現頻度を示している。その複数の出現頻度のうちのある相関算出用特徴ベクトルに対応する頻度は、電車の特徴出現頻度分布３−２のうちのその相関算出用特徴ベクトルに対応する頻度とマスク７のうちのその相関算出用特徴ベクトルに対応するマスク値との積を示している。すなわち、物体特徴８−２は、マスク値が１を示す特徴ベクトルに対応する頻度が電車の特徴出現頻度分布３−２のうちのその特徴ベクトルに対応する頻度を示し、マスク値が０を示す特徴ベクトルに対応する頻度が０を示している。
【００５８】
本第１の実施形態では、多種の背景が写っている同一の物体画像を大量に用いて、特徴出現頻度分布を作成しているため、物体特徴の出現頻度は多く、背景特徴の出現頻度は少なくなる。従って、出現頻度が多い特徴を抽出することで、事前に背景領域を分離せずに、物体特徴を抽出することができる。また、本第１の実施形態では、異なる物体間での頻度分布の相関を取ることにより、相関値が大きい場合は物体間で共通して用いられる特徴、また、相関値が小さい場合は背景特徴と定義できる。そのため、前述の相関値以外の特徴を抽出することで、物体を区別するために重要な特徴を抽出することができる。
【００５９】
このため、このように算出された物体特徴８−１と物体特徴８−２とを用いることにより、新規に入力された画像に映し出された物体を車または電車に区別することができる。すなわち、本発明による物体特徴抽出装置は、特徴を予め抽出するための画像中から物体と背景の像を分離することなく、また、複数のフレーム画像やモデル情報を必要としないで、物体の特徴を抽出することができ、物体特徴を抽出するコストを低減することができる。
【００６０】
本具体例では、２種類の物体の例について述べたが、本発明による物体特徴抽出装置１０は、多種類でも同様の処理を行うことができる。
【００６１】
図１２は、本発明による物体特徴抽出装置の第２の実施形態を示している。その物体特徴抽出装置１１は、既述の第１の実施形態における物体特徴抽出装置１０のデータ処理装置２００が他のデータ処理装置２０１に置換され、データ記憶装置３００が他のデータ記憶装置３０１に置換されている。データ記憶装置３０１は、既述のデータ記憶装置３００に代表特徴記憶部３０５が追加されている。代表特徴記憶部３０５は、データ処理装置２０１により算出された複数の代表特徴を格納する。
【００６２】
データ処理装置２０１は、既述のデータ処理装置２００に代表特徴生成部２１１と代表特徴割当部２１２とが追加されている。代表特徴生成部２１１は、特徴抽出部２１０により抽出された複数の特徴から複数の代表特徴を生成し、その生成された複数の代表特徴を代表特徴記憶部３０５に格納する。その複数の代表特徴は、特徴抽出部２１０により抽出された複数の特徴から似た傾向を持つ特徴をまとめたものである。
【００６３】
代表特徴割当部２１２は、代表特徴生成部２１１により生成された複数の代表特徴のいずれかに特徴抽出部２１０により抽出された複数の特徴の各々を割り当てる。
【００６４】
このとき、特徴出現頻度算出部２２０は、特徴抽出部２１０により抽出された複数の特徴ベクトルに基づいて複数の特徴出現頻度分布を算出する。その複数の特徴出現頻度分布のうちのあるカテゴリに対応する特徴出現頻度は、そのカテゴリに対応する画像集合の画像にその複数の代表特徴ベクトルに割り当てられる特徴がそれぞれ出現する複数の頻度を示している。特徴出現頻度算出部２２０は、さらに、その複数の特徴出現頻度分布を複数のカテゴリに対応付けて特徴出現頻度記憶部３１０に記録する。
【００６５】
物体特徴抽出部２３０は、特徴出現頻度算出部２２０により算出された複数の特徴出現頻度分布に基づいて、その複数の代表特徴ベクトルから複数の重要な特徴ベクトルを抽出する。すなわち、物体特徴抽出部２３０は、その複数の特徴出現頻度分布に基づいて、その複数の代表特徴ベクトルに対応する複数の相関値を算出する。物体特徴抽出部２３０は、その複数の相関値に基づいてマスクを算出する。そのマスクは、その複数の代表特徴ベクトルの各々がその重要な特徴ベクトルに含まれているかどうかを示している。その重要な特徴ベクトルは、１枚の画像が複数のカテゴリのうちのどのカテゴリに属しているかを検出することに用いられる。物体特徴抽出部２３０は、さらに、物体特徴出力装置４００を用いて、ユーザが認識可能にその重要な特徴ベクトルを出力する。
【００６６】
図１３は、本発明による物体特徴抽出方法の第２の実施形態を示している。その物体特徴抽出方法は、物体特徴抽出装置１１を用いて実行される。ユーザは、まず、撮像デバイスを用いて複数のカテゴリごとに複数の画像を撮影する。すなわち、その複数の画像は、その複数のカテゴリに対応する複数の画像集合にグループ分けされる。その複数の画像集合のうちのあるカテゴリに対応する画像集合は、そのカテゴリに対応する物体を被写体として撮影された画像から形成され、その画像は、そのカテゴリに対応する物体を映し出している。ユーザは、次いで、その撮像デバイスを画像入力装置１００に接続する。
【００６７】
画像入力装置１００は、その撮像デバイスにより撮影された複数の画像を画像集合ごとにグループ分けし、複数のカテゴリに対応する複数の画像集合をデータ処理装置２００に出力する（ステップＳ２１）。
【００６８】
特徴抽出部２１０は、画像入力装置１００を介して入力された複数の画像ごとに特徴抽出を行う（ステップＳ２２）。特徴抽出部２１０は、さらに、複数のカテゴリに対応する複数の特徴ベクトル集合をそれぞれ算出する。その複数の特徴ベクトル集合のうちのあるカテゴリに対応する特徴ベクトル集合は、そのカテゴリに対応する画像集合の画像から抽出される複数の特徴ベクトルから形成されている。
【００６９】
ステップＳ２１〜ステップＳ２２の動作は、複数のカテゴリごとに実行される。代表特徴生成部２１１は、その複数のカテゴリの全部に対応する複数の特徴出現頻度分布の全部が算出された後に（ステップＳ２３、ＹＥＳ）、全てのカテゴリの画像から抽出された特徴を用いて、予め定められた数の特徴数になるようにクラスタリングを行い、代表特徴を生成する（ステップＳ２４）。クラスタリング方法はｋ−ｍｅａｎｓ法がよく用いられるが、大規模データであることを鑑みて計算量を抑えたＢＩＲＣＨを用いても良い。その生成された代表特徴は、代表特徴記憶部３０５に格納される（ステップＳ２５）。
【００７０】
代表特徴割当部２１２は、代表特徴記憶部３０５に格納された代表特徴を参照して、特徴抽出部２１０で抽出した特徴を代表特徴に割り当てる（ステップＳ２６）。
【００７１】
ステップＳ２６が実行された後の処理は、第１の実施形態のステップＳ１４〜Ｓ１６の処理と同じである。すなわち、特徴出現頻度算出部２２０は、特徴抽出部２１０により算出された複数の特徴ベクトル集合に基づいて複数のカテゴリに対応する複数の特徴出現頻度分布を算出する。その複数の特徴出現頻度分布のうちのあるカテゴリに対応する特徴出現頻度分布は、そのカテゴリに対応する特徴ベクトル集合に基づいて算出される。その複数の特徴出現頻度分布の各々は、代表特徴生成部２１１により算出された複数の代表特徴ベクトルに対応する複数の頻度を示している。その複数の頻度のうちのある特徴ベクトルに対応する頻度は、その特徴ベクトルに割り当てられた特徴が画像に出現する頻度を示している。特徴出現頻度算出部２２０は、さらに、その複数の特徴出現頻度分布を全出現頻度数で正規化を行い、その正規化された複数の特徴出現頻度分布を特徴出現頻度記憶部３１０に格納する。
【００７２】
物体特徴抽出部２３０は、次に、その複数の特徴出現頻度分布を比較し、その比較結果に基づいてマスクを作成する。物体特徴抽出部２３０は、その複数の特徴出現頻度分布とマスクとに基づいて、物体を区別するために重要な特徴を抽出する。
【００７３】
このような物体特徴抽出方法は、既述の第１の実施形態の物体特徴抽出方法と同様にして、特徴を予め抽出するための画像中から物体と背景の像を分離することなく、また、複数のフレーム画像やモデル情報を必要としないで、物体の特徴を抽出することができ、物体特徴を抽出するコストを低減することができる。さらに、第２の実施形態では、特徴抽出部２１０によって抽出された特徴を、一定数の代表特徴ベクトルに割り当て、ベクトル量子化を行った後に、特徴出現頻度分布を算出する。このため、少しの違いがある特徴ベクトルでも、代表の特徴ベクトルに置き換えられることになり、特徴出現頻度が多くなる。これにより、特徴出現頻度分布は物体を構成している特徴を良く表し、物体と背景で用いられている特徴の区別がつきやすくなる。
【００７４】
図１４は、本発明による物体特徴抽出装置の第３の実施形態を示している。その物体特徴抽出装置１２は、既述の第１の実施形態における物体特徴抽出装置１０のデータ処理装置２００が他のデータ処理装置２０２に置換され、データ記憶装置３００が他のデータ記憶装置３０２に置換されている。データ記憶装置３０２は、共起頻度記憶部３１１を備えている。共起頻度記憶部３１１は、データ処理装置２０２により生成される共起頻度分布を格納する。
【００７５】
データ処理装置２０２は、既述の第１の実施形態におけるデータ処理装置２００の特徴出現頻度算出部２２０が特徴共起頻度算出部２２１に置換されている。特徴共起頻度算出部２２１は、特徴抽出部２１０により抽出された特徴に対して、周囲に出現される特徴との共起頻度を算出する。その算出された共起頻度は共起頻度記憶部３１１に格納される。
【００７６】
図１５は、特徴抽出部２１０により特徴ベクトルが抽出される画像の例を示している。特徴抽出部２１０は、その画像から特徴ベクトルｆ０を抽出したときに、その画像に特徴ベクトルｆ０が出現した位置をさらに算出する。
【００７７】
図１６は、特徴ベクトルｆ０が出現する位置の周囲に出現する特徴ベクトルを示している。すなわち、特徴共起頻度算出部２２１は、特徴抽出部２１０によりある画像から特徴ベクトルｆ０が抽出されたときに、特徴抽出部２１０によりその画像から抽出された複数の特徴ベクトルから特徴ベクトルｆ０が出現した位置の周囲２０ピクセル以内に出現する複数の特徴ベクトルを抽出する。なお、その周囲は、ある特徴ベクトルを中心としたユークリッド距離と異なる範囲が設定されることもできる。その範囲は、特徴ベクトルｆ０が出現する位置に基づいて算出されるものであり、たとえば、ある特徴ベクトルからの近傍特徴ベクトル数で定義されてもよい。
【００７８】
図１７は、特徴共起頻度算出部２２１により算出される共起頻度分布を示している。その共起頻度分布は、複数の特徴ベクトルから２つの特徴ベクトルを選択する複数の組み合わせに対応する複数の頻度を示している。その複数の頻度のうちのある組み合わせに対応する頻度は、その組み合わせにより選択された２つの特徴ベクトルが所定の範囲内で共起する頻度を示している。さらに、特徴共起頻度算出部２２１は、同様にして、複数のカテゴリごとに複数の共起頻度分布を算出する。すなわち、第１の実施形態では、特徴出現頻度分布は１次元で表現されていたが、本第３の実施形態では、共起頻度分布は２次元で表現される。
【００７９】
図１８は、物体特徴抽出部２３０によりその複数の特徴共起頻度分布に基づいて算出される複数の相関値を示している。その複数の相関値は、特徴抽出部２１０により抽出された複数の特徴ベクトルから２つの特徴ベクトルを選択する複数の組み合わせに対応している。その複数の相関値のうちのある組み合わせに対応する相関値は、複数の特徴共起頻度分布のうちのその組み合わせに対応する頻度の積を示している。
【００８０】
物体特徴抽出部２３０は、共起頻度分布に対して閾値α、βを設定し、閾値α、βとその複数の相関値とに基づいて２次元のマスクを算出する。その２次元のマスクは、その複数の組み合わせに対応する複数のマスク値を示している。その複数のマスク値のうちのある組み合わせに対応するマスク値は、その複数の相関値のうちのその組み合わせに対応する相関値ｆｎを用いて、次式：
β＜ｆｎ＜α
が満足する場合に１が設定され、それ以外の場合に０が設定される。
【００８１】
物体特徴抽出部２３０は、その２次元のマスクと特徴共起頻度算出部２２１により算出される複数の共起頻度分布に基づいて複数のカテゴリに対応する複数の物体特徴を算出する。その複数の物体特徴のうちのあるカテゴリに対応する物体特徴は、複数の共起頻度分布のうちのそのカテゴリに対応する共起頻度分布と２次元のマスクに基づいて算出される。その物体特徴は、複数の組み合わせに対応する複数の頻度を示している。その風数の頻度のうちのある組み合わせに対応する頻度は、その共起頻度分布のその組み合わせに対応する頻度と２次元のマスクのうちのその組み合わせに対応するマスク値との積を示している。
【００８２】
このような物体特徴抽出装置１２は、既述の第１の実施形態と同様にして、特徴を予め抽出するための画像中から物体と背景の像を分離することなく、また、複数のフレーム画像やモデル情報を必要としないで、物体の特徴を抽出することができ、物体特徴を抽出するコストを低減することができる。さらに、第３の実施形態では、隣接する特徴との共起頻度分布を元に、物体を区別するための特徴を定義しているため、例えば、車のヘッドライトとナンバープレートといった、物体を構成する特徴間の関係を考慮することができ、より物体に特化した特徴を抽出することができる。また、特徴間の関係を頻度分布で表しており、特徴間の位置関係は考慮していないため、局所的に見えの変化がある場合でも頑強に物体特徴を抽出することができる。
【００８３】
図１９は、本発明による物体特徴抽出装置の第４の実施形態を示している。その物体特徴抽出装置１３は、既述の第１の実施形態のデータ処理装置２００が他のデータ処理装置２０３に置換され、データ記憶装置３０３が他のデータ記憶装置３０３に置換されている。データ記憶装置３０３は、既述のデータ記憶装置３００に幾何特徴記憶部３０６が追加されている。幾何特徴記憶部３０６は、データ処理装置２０３により算出されたルックアップテーブルを格納する。
【００８４】
データ処理装置２０３は、既述のデータ処理装置２００に幾何特徴算出部２１３と幾何特徴割当部２１４とが追加されている。
【００８５】
幾何特徴算出部２１３は、特徴抽出部２１０により抽出された複数の特徴ベクトルに対して、ある特徴と周囲の特徴との幾何特徴の形状モデルを算出し、一意のＩＤを算出する。幾何特徴算出部２１３は、その複数のＩＤを複数の形状モデルに対応付けるルックアップテーブルを作成し、そのルックアップテーブルを幾何特徴記憶部３０６に格納する。
【００８６】
幾何特徴算出部２１３は、図２０に示されているように、例えば、特徴ベクトルｆ０の周囲に、特徴ベクトルｆ２、ｆ３、ｆ４、ｆ６が存在している場合に、ＧｅｏｍｅｔｒｉｃＨａｓｈｉｎｇ法のような幾何学的不変量を算出する方式を用いて一意のＩＤを生成する。幾何特徴算出部２１３は、全てのカテゴリの特徴ベクトルについて同様の処理を行い、特徴間の幾何的な位置関係を一意のＩＤで表現し、ルックアップテーブルとして幾何特徴記憶部３０６に格納する。
【００８７】
幾何特徴算出部２１３は、カテゴリごとに画像を入力し、特徴抽出を経て、ある特徴ベクトルの周囲の幾何学的不変量を算出し、幾何特徴記憶部３０６に格納されているルックアップテーブルを参照し、ＩＤを割り当てる。全ての特徴ベクトルについて同様の処理を行い、図２１に示されているようなＩＤ頻度分布を複数のカテゴリごとに作成する。そのＩＤ頻度分布は、複数のＩＤに対応する複数の頻度を示している。その複数の頻度のうちのあるＩＤに対応する頻度は、そのＩＤに割り当てられた位置関係に所定の複数の特徴ベクトルが共起する頻度を示している。
【００８８】
幾何特徴割当部２１４は、特徴抽出部２１０により抽出された特徴と周囲の特徴との位置関係を、幾何特徴算出部２１３で算出し、幾何特徴記憶部３０６に格納されたルックアップテーブルを参照して、その算出された形状をＩＤに割り当てる。すなわち、幾何特徴割当部２１４は、特徴抽出部２１０により抽出された複数の特徴がそれぞれ出現した複数の位置の位置関係に対応するＩＤをルックアップテーブルの複数のＩＤから算出し、その算出されたＩＤをその出現した複数の特徴に割り当てる。
【００８９】
このとき、特徴出現頻度算出部２２０は、特徴抽出部２１０により抽出された複数の特徴ベクトルに基づいて複数の幾何特徴出現頻度分布を算出する。その複数の幾何特徴出現頻度分布のうちのあるカテゴリに対応する幾何特徴出現頻度分布は、そのカテゴリに対応する画像集合の画像に基づいて算出される。その幾何特徴出現頻度分布は、複数のＩＤに対応する複数の頻度を示している。その複数の頻度のうちのあるＩＤに対応する頻度は、そのＩＤに割り当てられる複数の特徴が共起する頻度を示している。特徴出現頻度算出部２２０は、さらに、その複数の幾何特徴出現頻度分布を複数のカテゴリに対応付けて特徴出現頻度記憶部３１０に記録する。
【００９０】
物体特徴抽出部２３０は、特徴出現頻度算出部２２０により算出された複数の幾何特徴出現頻度分布に基づいて、その複数のＩＤから複数の重要な特徴ベクトルを抽出する。すなわち、物体特徴抽出部２３０は、その複数の幾何特徴出現頻度分布に基づいて、その複数のＩＤに対応する複数の相関値を算出する。その複数の相関値のうちのあるＩＤに対応する相関値は、特徴出現頻度算出部２２０により算出された複数の幾何特徴出現頻度分布のうちのそのＩＤに対応する頻度の積を示している。物体特徴抽出部２３０は、その複数の相関値に基づいてマスクを算出する。そのマスクは、その複数のＩＤの各々がその重要な特徴ベクトルに含まれているかどうかを示し、閾値βより大きく、かつ、閾値αより小さい相関値に対応するＩＤがその重要な特徴ベクトルに含まれていることを示している。その重要な特徴ベクトルは、１枚の画像が複数のカテゴリのうちのどのカテゴリに属しているかを検出することに用いられる。物体特徴抽出部２３０は、さらに、物体特徴出力装置４００を用いて、ユーザが認識可能にその重要な特徴ベクトルを出力する。
【００９１】
このような物体特徴抽出装置１３は、既述の第１の実施形態と同様にして、特徴を予め抽出するための画像中から物体と背景の像を分離することなく、また、複数のフレーム画像やモデル情報を必要としないで、物体の特徴を抽出することができ、物体特徴を抽出するコストを低減することができる。さらに、本第４の実施形態では、局所領域内で隣接する特徴との位置関係を、幾何学的不変量として一意のＩＤを割り当て、そのＩＤの頻度分布として表すため、例えば、人間であれば目と鼻の特徴が共起するといった、特徴間の幾何的な関係が強い剛体物体の特徴を抽出することができる。
【００９２】
図２２は、本発明による物体特徴抽出装置の第５の実施形態を示している。その物体特徴抽出装置２０は、既述の第１の実施形態におけるデータ処理装置２００が他のデータ処理装置２０４に置換され、データ記憶装置３００が他のデータ記憶装置３０４に置換されている。
【００９３】
データ記憶装置３０４は、既述の第１の実施の形態におけるデータ記憶装置３００にマスク記憶部５００と物体特徴記憶部６００とが追加されている。マスク記憶部５００は、データ処理装置２０４により算出されたマスクを格納する。物体特徴記憶部６００は、データ処理装置２０４により算出された複数の物体特徴を格納する。
【００９４】
データ処理装置２０４は、既述の第１の実施形態におけるデータ処理装置２００に物体特徴照合部２４０が追加されている。物体特徴照合部２４０は、画像入力装置１００を介して入力された１つの画像から特徴抽出部２１０を用いて複数の特徴を抽出する。物体特徴照合部２４０は、さらに、特徴出現頻度算出部２２０を用いて特徴の特徴出現頻度分布を算出し、マスク記憶部５００に格納されたマスクとの積を取ることで、物体を区別するために重要な特徴のみから構成される特徴出現頻度分布を算出する。物体特徴照合部２４０は、その算出された頻度分布と、物体特徴記憶部６００に格納されたカテゴリごとの特徴出現頻度分布を比較することで、似通った頻度分布を決定し、決定した頻度分布に属するカテゴリを出力する。なお、比較する方法として、予め、カテゴリと対応する特徴出現頻度分布を学習しておき、学習結果と比較してもよい。
【００９５】
本第５の実施形態では、入力された画像の特徴出現頻度分布と、予め算出したカテゴリごとの特徴出現頻度分布とを比較し、似通った特徴出現頻度分布が属するカテゴリを、入力画像が属するカテゴリとして出力することができる。すなわち、物体特徴抽出装置２０は、物体検出装置として利用することができる。また、出力されたカテゴリが持つ、特徴出現頻度分布の特徴と、入力画像の特徴とを対応付けることで、入力画像中に存在するカテゴリ位置を決定することができる。
【００９６】
なお、物体特徴照合部２４０は、本第５の実施形態と異なる他の実施形態におけるデータ処理装置に追加することができる。
【００９７】
本発明によれば、物体が映っている大量の画像群から、物体と背景を分離せずに物体の特徴を抽出する物体特徴抽出装置や、物体特徴抽出装置をコンピュータに実現するためのプログラムといった用途に適用できる。また、物体特徴を抽出する機能を用いて、画像中の物体を検出する機能といった用途にも適用可能である。
【符号の説明】
【００９８】
１０ ：物体特徴抽出装置
２０ ：物体検出装置
１００：画像入力装置
２００：データ処理装置
２１０：特徴抽出部
２２０：特徴出現頻度算出部
２３０：物体特徴抽出部
３００：データ記憶装置
３１０：特徴出現頻度記憶部
４００：物体特徴出力装置
１−１〜１−１００００：複数の自動車画像
２−１〜２−１００００：複数の電車画像
３−１：特徴出現頻度分布
３−２：特徴出現頻度分布
６ ：複数の相関値
７ ：マスク
８−１：物体特徴
８−２：物体特徴
２０１：データ処理装置
２１１：代表特徴生成部
２１２：代表特徴割当部
３０１：データ記憶装置
３０５：代表特徴記憶部
２０２：データ処理装置
２２１：特徴共起頻度算出部
３０２：データ記憶装置
３１１：共起頻度記憶部
２０３：データ処理装置
２１３：幾何特徴算出部
２１４：幾何特徴割当部
３０３：データ記憶装置
３０６：幾何特徴記憶部
２０４：データ処理装置
２４０：物体特徴照合部
３０４：データ記憶装置
５００：マスク記憶部
６００：物体特徴記憶部
【技術分野】
【０００１】
本発明は、画像中から物体の特徴を抽出する特徴抽出装置において、特に撮影画像中から物体と背景を分離しなくても、物体の特徴を抽出することができる物体特徴抽出装置、物体特徴抽出方法および物体特徴抽出プログラムに関する。
【背景技術】
【０００２】
スチルカメラやビデオカメラで撮影した画像中の様々な物体を認識する場合、物体の特徴を低コストかつ精度良く抽出することが望まれている。物体特徴を抽出する方法としては、あらかじめ撮影画像から物体の画像を切り抜くなどして、物体の形状を既知とした上で物体特徴を抽出する方法と、あらかじめ多数の背景画像を用意しておき、入力画像との差分を取ることで、物体特徴を抽出する方法などがある。
【０００３】
特開２００１−１８８９０６号公報には、画像分類の為に必要となる特徴量抽出を行う場合において、画像処理パラメータをチューニングする必要が生じない画像自動分類方法が開示されている。その画像自動分類方法は、被撮像物がどのカテゴリに属するかが未知である画像データに対して、画像処理を行う事により、該画像データに関する統計的特徴量を抽出し、被撮像物がどのカテゴリに属するのかを決定する。
【０００４】
特開２００１−３１９２３６号公報には、汎用性の高い動画像オブジェクトの形状抽出方法が開示されている。その動き物体の形状抽出方法では、特徴を抽出する場合、メタデータや明示データを必要とする。そのメタデータとは、物理量として測定可能なデータを想定しており、照明データやカメラのパンチルト角度などのデータである。また、その明示データとは、商標やロゴマークなど物体の輪郭といった形状情報が既知であるデータや、抽出対象の形状を指定したデータを指している。これらのデータを参照しオブジェクト抽出アルゴリズムを適用することで、物体特徴を抽出する。
【０００５】
特開２００４−１３３０７号公報には、完全に独立ではない（特徴量空間が直交していない）特徴量間の適切な重みつけ手法が開示されている。その類似度計算装置は、問い合わせ信号となる映像または音声信号と、データベースにあらかじめ登録された複数の映像または音声信号間の距離を算出する。その類似度計算装置は、問い合わせ信号特徴量抽出部と、個別信号特徴量間距離算出部と、特徴量間距離特性計算部と、個別信号特徴量間距離補正部と、信号間類似度算出部からなることを特徴としている。その問い合わせ信号特徴量抽出部は、前記問い合わせ信号から複数の信号特徴量を算出する。その個別信号特徴量間距離算出部は、前記抽出した信号特徴量とデータベースに登録された個々の映像または音声信号の複数の映像特徴量からそれぞれの信号特徴量間の距離を計算する。その特徴量間距離特性計算部は、前記個別信号特徴量間距離算出部が出力する問い合わせ信号と個々のデータベース登録信号間の個別特徴量間距離群を統計処理し、個別特徴量間距離間の統計的性質を出力する。その個別信号特徴量間距離補正部は、前記個別信号特徴量間距離算出部が算出した個別信号特徴量間距離と前記個別特徴量間距離間の統計的性質を用いて補正個別特徴量間距離を算出する。その信号間類似度算出部は、補正された個別信号特徴量間距離から総合的な信号間類似度を求める。
【０００６】
特開２００５−３０９５３５号公報には、使用する特徴量の組み合わせを自動で選択することで、不適切な特徴量の影響による分類性能の低下を防止する画像分類方法が開示されている。その画像分類方法は、被検査対象物を撮像して得た画像を多数収集して分類基準学習データを作成し、該画像の特徴点に基づき、大分類のカテゴリから該大分類のカテゴリ内に登録した詳細分類カテゴリに階層的に分類する。その画像分類方法は、分類基準となる各カテゴリの特徴量の分布から、使用すべき特徴量の組み合わせを自動で選択することを特徴としている。
【０００７】
特開平０８−２７９０４７号公報には、あらゆる認識対象に対して汎用的に使用可能で、かつ専門的な知識を持たない人が現場で手軽に認識アルゴリズムを作成しうるパターン認識装置が開示されている。そのパタ−ン認識装置は、センサ等の出力を入力とし、与えられたパターン認識対象の分類に有効なものと無効なものを合わせた多数の特徴量の計算手段を具備している。そのパタ−ン認識装置は、さらに、学習すべきデータを蓄積するデータベース手段と、それを用いて前記特徴量の中から有効な特徴量のみを抽出する手段を具備している。そのパタ−ン認識装置は、さらに、該手段により抽出された特徴量を入力変数として表現される数理式を用いてパターン分類を行いかつ該数理式を学習できる手段を具備している。
【０００８】
特開２００４−２１３５７２号公報には、大量に蓄積された様々な照明条件下での背景画像を用いて、各時刻での背景画像を合成し、照明条件や撮影装置の位置等が変化する状況下でも背景以外の物体検出を安定して行うことができる物体抽出装置が開示されている。その物体抽出装置は、背景画像蓄積手段と、画像取込手段と、背景画像合成手段と、物体検出手段とを備えてなる。その背景画像蓄積手段は、撮影装置により、複数の撮影条件下において撮影された複数の背景画像を蓄積する。その画像取込手段は、撮影装置により撮影された各時刻における画像（入力画像）を取り込む。その背景画像合成手段は、上記蓄積された複数の背景画像の重み付き線形和により、各時刻での背景画像を合成する。その物体検出手段は、各時刻における入力画像と上記合成された背景画像との差分を計算することで、入力画像から背景以外の物体を検出する。その重みは、照明条件（光源位置、形状、個数、明るさ）の変化に関する統計的な予測に基づいて決定している。
【０００９】
特許第２５５６４７７号公報には、一部カテゴリに対する累積計算によって高精度、かつ高速に全カテゴリから候補カテゴリを抽出できるパタン照合装置が開示されている。そのパタン照合装置は、特徴ベクトルで表現された入力パタンがあらかじめ登録してあるいずれのカテゴリに属するかを認識するパタン照合装置である。カテゴリテーブルと、前記特徴ベクトルの要素値とそのグループ名および判定値とを対応づけたグループ選択テーブルとを含んでなる選択処理手段と；判定値累積処理手段と；ソート処理手段と；からなる。そのカテゴリテーブルは、前記特徴ベクトルの各要素別にカテゴリをあらかじめ分類してなるグループのグループ名とそれぞれのグループに属する前記カテゴリのカテゴリ名とを対応づけている。そのパタン照合装置は、前記選択処理手段によって、入力特徴ベクトルの要素ごとに前記グループ選択テーブルから前記入力パタンの特徴ベクトルの要素値に対応するグループ名および判定値を選択して読み出す。そのパタン照合装置は、この読み出されたグループ名によって前記カテゴリテーブルからそのグループ名に対応するカテゴリ名を選択して読み出す。そのパタン照合装置は、前記判定値累積処理手段によって、要素ごとに読み出される前記カテゴリ名に基づいてカテゴリ別に前記判定値を累積して評価値を得る。そのパタン照合装置は、前記ソート処理手段によって、前記判定値累積処理手段から出力されるカテゴリ別の前記評価値の大小関係によって候補カテゴリを抽出する。
【００１０】
文献「Ｐ．Ｖｉｏｌａ ａｎｄ Ｍ． Ｊ．Ｊｏｎｅｓ．”Ｒａｐｉｄ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ ｕｓｉｎｇ ａ Ｂｏｏｓｔｅｄ Ｃａｓｃａｄｅ ｏｆ Ｓｉｍｐｌｅ Ｆｅａｔｕｒｅｓ．”， ＩＥＥＥ ＣＶＰＲ，２００１」には、Ｈａａｒ−Ｌｉｋｅ特徴を用いたパターン認識が開示されている。
【００１１】
文献「Ｄ．Ｌｏｗ． ”Ｏｂｊｅｃｔ ｒｅｃｏｇｎｉｔｉｏｎ ｆｒｏｍ ｌｏｃａｌ ｓｃａｌｅ ｉｎｖａｒｉａｎｔ ｆｅａｔｕｒｅｓ．” ， ＩＣＣＶ １９９９」には、ＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）特徴を用いたパターン認識が開示されている。
【００１２】
文献「Ｎ．Ｄａｌａｌ ａｎｄ Ｂ．Ｔｒｉｇｇｓ． ”Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ ｆｏｒ Ｈｕｍａｎ Ｄｅｔｅｃｔｉｏｎ”， ＣＶＰＲ， ２００５」には、ＨＯＧ（Ｈｉｓｔｏｇｒａｍ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）特徴を用いたパターン認識が開示されている。
【先行技術文献】
【特許文献】
【００１３】
【特許文献１】特開２００１−１８８９０６号公報
【特許文献２】特開２００１−３１９２３６号公報
【特許文献３】特開２００４−１３３０７号公報
【特許文献４】特開２００５−３０９５３５号公報
【特許文献５】特開平０８−２７９０４７号公報
【特許文献６】特開２００４−２１３５７２号公報
【特許文献７】特許第２５５６４７７号公報
【非特許文献】
【００１４】
【非特許文献１】Ｐ．Ｖｉｏｌａ ａｎｄ Ｍ． Ｊ．Ｊｏｎｅｓ．”Ｒａｐｉｄ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ ｕｓｉｎｇ ａ Ｂｏｏｓｔｅｄ Ｃａｓｃａｄｅ ｏｆ Ｓｉｍｐｌｅ Ｆｅａｔｕｒｅｓ．”， ＩＥＥＥ ＣＶＰＲ，２００１
【非特許文献２】Ｄ．Ｌｏｗ． ”Ｏｂｊｅｃｔ ｒｅｃｏｇｎｉｔｉｏｎ ｆｒｏｍ ｌｏｃａｌ ｓｃａｌｅ ｉｎｖａｒｉａｎｔ ｆｅａｔｕｒｅｓ．” ， ＩＣＣＶ １９９９
【非特許文献３】Ｎ．Ｄａｌａｌ ａｎｄ Ｂ．Ｔｒｉｇｇｓ． ”Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ ｆｏｒ Ｈｕｍａｎ Ｄｅｔｅｃｔｉｏｎ”， ＣＶＰＲ， ２００５
【発明の概要】
【発明が解決しようとする課題】
【００１５】
しかしながら、特開２００１−３１９２３６号公報の方法では、物体を特定するための、物体の輪郭といった物体形状を指定する作業に多くのコストがかかるため、大量の物体を扱うのには向いていない。また、特開２００４−２１３５７２号公報の方法では、撮影者が様々な背景を含む物体の画像を撮影する場合、物体領域を特定するために、様々な背景画像を生成した後、入力画像と背景差分を取る必要がありコストがかかるという問題がある。
【００１６】
本発明の目的は、画像中から物体を分離することなく、また、複数のフレーム画像やモデル情報を必要としないで、物体の特徴を抽出する物体特徴抽出装置、物体特徴抽出方法および物体特徴抽出プログラムを提供することにある。
【課題を解決するための手段】
【００１７】
本発明による物体特徴抽出装置は、特徴抽出部と特徴出現頻度分布算出部と物体特徴抽出部とを備えている。その特徴抽出部は、複数のカテゴリに対応する複数の画像集合から複数の特徴集合をそれぞれ抽出する。その特徴出現頻度分布算出部は、その複数の特徴集合に基づいて複数の特徴出現頻度分布をそれぞれ算出する。その物体特徴抽出部は、その複数の特徴出現頻度分布の比較結果に基づいて複数の特徴から複数の重要特徴を選択し、その複数の特徴出現頻度分布とその複数の重要特徴とに基づいて複数の物体特徴を算出する。
【００１８】
その複数の特徴集合のうちの第１カテゴリに対応する第１特徴集合は、その複数の画像集合のうちの第１カテゴリに対応する第１画像集合の画像から抽出された複数の抽出特徴から形成されている。その複数の特徴集合のうちの第２カテゴリに対応する第２特徴集合は、その複数の画像集合のうちの第２カテゴリに対応する第２画像集合の画像から抽出された複数の抽出特徴から形成されている。
【００１９】
その複数の特徴出現頻度分布のうちのその第１カテゴリに対応する第１特徴出現頻度分布は、その第１画像集合によりその複数の特徴に対応付けられる複数の頻度を示している。その複数の特徴出現頻度分布のうちのその第２カテゴリに対応する第２特徴出現頻度分布は、その第２画像集合によりその複数の特徴に対応付けられる複数の頻度を示している。
【００２０】
その複数の物体特徴のうちのその第１カテゴリに対応する第１物体特徴は、その第１画像集合によりその複数の重要特徴に対応付けられる複数の頻度を示している。その複数の物体特徴のうちのその第２カテゴリに対応する第２物体特徴は、その第２画像集合によりその複数の重要特徴に対応付けられる複数の頻度を示している。
【００２１】
本発明による物体特徴抽出方法は、
複数のカテゴリに対応する複数の画像集合から複数の特徴集合をそれぞれ抽出するステップと、
その複数の特徴集合に基づいて複数の特徴出現頻度分布をそれぞれ算出するステップと、
その複数の特徴出現頻度分布の比較結果に基づいて複数の特徴から複数の重要特徴を選択するステップと、
その複数の特徴出現頻度分布とその複数の重要特徴とに基づいて複数の物体特徴を算出するステップとを備えている。
【００２２】
その複数の特徴集合のうちの第１カテゴリに対応する第１特徴集合は、その複数の画像集合のうちの第１カテゴリに対応する第１画像集合の画像から抽出された複数の抽出特徴から形成されている。その複数の特徴集合のうちの第２カテゴリに対応する第２特徴集合は、その複数の画像集合のうちの第２カテゴリに対応する第２画像集合の画像から抽出された複数の抽出特徴から形成されている。
【００２３】
その複数の特徴出現頻度分布のうちのその第１カテゴリに対応する第１特徴出現頻度分布は、その第１画像集合によりその複数の特徴に対応付けられる複数の頻度を示している。その複数の特徴出現頻度分布のうちのその第２カテゴリに対応する第２特徴出現頻度分布は、その第２画像集合によりその複数の特徴に対応付けられる複数の頻度を示している。
【００２４】
その複数の物体特徴のうちのその第１カテゴリに対応する第１物体特徴は、その第１画像集合によりその複数の重要特徴に対応付けられる複数の頻度を示している。その複数の物体特徴のうちのその第２カテゴリに対応する第２物体特徴は、その第２画像集合によりその複数の重要特徴に対応付けられる複数の頻度を示している。
【００２５】
本発明による物体特徴抽出プログラムは、特徴抽出部と特徴出現頻度分布算出部と物体特徴抽出部とをコンピュータに実現させるためのプログラムである。その特徴抽出部は、複数のカテゴリに対応する複数の画像集合から複数の特徴集合をそれぞれ抽出する。その特徴出現頻度分布算出部は、その複数の特徴集合に基づいて複数の特徴出現頻度分布をそれぞれ算出する。その物体特徴抽出部は、その複数の特徴出現頻度分布の比較結果に基づいて複数の特徴から複数の重要特徴を選択し、その複数の特徴出現頻度分布とその複数の重要特徴とに基づいて複数の物体特徴を算出する。
【００２６】
その複数の特徴集合のうちの第１カテゴリに対応する第１特徴集合は、その複数の画像集合のうちの第１カテゴリに対応する第１画像集合の画像から抽出された複数の抽出特徴から形成されている。その複数の特徴集合のうちの第２カテゴリに対応する第２特徴集合は、その複数の画像集合のうちの第２カテゴリに対応する第２画像集合の画像から抽出された複数の抽出特徴から形成されている。
【００２７】
その複数の特徴出現頻度分布のうちのその第１カテゴリに対応する第１特徴出現頻度分布は、その第１画像集合によりその複数の特徴に対応付けられる複数の頻度を示している。その複数の特徴出現頻度分布のうちのその第２カテゴリに対応する第２特徴出現頻度分布は、その第２画像集合によりその複数の特徴に対応付けられる複数の頻度を示している。
【００２８】
その複数の物体特徴のうちのその第１カテゴリに対応する第１物体特徴は、その第１画像集合によりその複数の重要特徴に対応付けられる複数の頻度を示している。その複数の物体特徴のうちのその第２カテゴリに対応する第２物体特徴は、その第２画像集合によりその複数の重要特徴に対応付けられる複数の頻度を示している。
【発明の効果】
【００２９】
本発明による物体特徴抽出装置および物体特徴抽出方法は、その複数の特徴出現頻度分布に基づいて被写体のパターン認識に不要である特徴を、たとえば、背景の特徴をその複数の特徴から除くことができ、画像中から物体と物体以外（たとえば、背景）とをあらかじめ分離する必要なく、物体特徴を抽出するコストを低減することができる。
【図面の簡単な説明】
【００３０】
【図１】図１は、本発明による物体特徴抽出装置の第１実施形態を示すブロック図である。
【図２】図２は、データ処理装置を示すブロック図である。
【図３】図３は、本発明による物体特徴抽出方法の第１実施形態を示すフローチャートである。
【図４】図４は、複数の入力画像を示す図である。
【図５】図５は、車の画像の特徴出現頻度分布を示すグラフである。
【図６】図６は、電車の画像の特徴出現頻度分布を示すグラフである。
【図７】図７は、相関値の計算方法を示す図である。
【図８】図８は、複数の相関値を示すグラフである。
【図９】図９は、マスクを示すグラフである。
【図１０】図１０は、車固有の特徴を示すグラフである。
【図１１】図１１は、電車固有の特徴を示すグラフである。
【図１２】図１２は、本発明による物体特徴抽出装置の第２実施形態を示すブロック図である。
【図１３】図１３は、本発明による物体特徴抽出方法の第２実施形態を示すフローチャートである。
【図１４】図１４は、本発明による画像処理装置の第３実施形態を示すブロック図である。
【図１５】図１５は、入力画像の例を示し、その入力画像に出現した複数の特徴ベクトルを示す図である。
【図１６】図１６は、複数の特徴ベクトルのうちのある代表特徴ベクトルと共起する特徴ベクトルを示す表である。
【図１７】図１７は、２次元の特徴出現頻度分布を示す表である。
【図１８】図１８は、代表特徴ベクトルの共起頻度分布を示すグラフである。
【図１９】図１９は、本発明による物体特徴抽出装置の第３の実施形態を示すブロック図である。
【図２０】図２０は、幾何学的不変量を一意のＩＤに割り当てルックアップテーブルに格納する例を示す図である。
【図２１】図２１は、車の局所幾何学的不変量を一意のＩＤに割り当てた特徴出現頻度分布を示す図である。
【図２２】図２２は、本発明による物体検出装置を示すブロック図である。
【発明を実施するための形態】
【００３１】
図面を参照して、本発明による物体特徴抽出装置の第１の実施形態を記載する。その物体特徴抽出装置１０は、コンピュータであり、図１に示されているように、画像入力装置１００とデータ処理装置２００とデータ記憶装置３００と物体特徴出力装置４００とを備えている。データ処理装置２００は、物体特徴抽出装置１０にインストールされるコンピュータプログラムを実行して、画像入力装置１００とデータ処理装置２００とデータ記憶装置３００と物体特徴出力装置４００とを制御する。
【００３２】
画像入力装置１００は、被写体の画像を撮影する撮像システム（図示されていない）に接続されることができる。その撮像システムとしては、スチルカメラやビデオカメラ、コピー機などが例示される。画像入力装置１００は、その撮像システムに接続されているときに、その撮像システムから画像を収集し、その画像をデータ処理装置２００に出力する。
【００３３】
データ記憶装置３００は、データ処理装置２００により生成される情報を記録する。データ記憶装置３００は、特徴出現頻度記憶部３１０を備えている。特徴出現頻度記憶部３１０は、データ処理装置２００により算出された複数の特徴出現頻度分布を格納する。
【００３４】
物体特徴出力装置４００は、データ処理装置２００により生成される情報をユーザに認識可能に出力する。物体特徴出力装置４００としては、リムーバルメモリドライブ、ディスプレイ、通信装置が例示される。
【００３５】
図２は、データ処理装置２００を示している。データ処理装置２００は、物体特徴抽出装置１０にインストールされるコンピュータプログラムを実行することにより、特徴抽出部２１０と特徴出現頻度算出部２２０と物体特徴抽出部２３０として機能する。
【００３６】
特徴抽出部２１０は、画像入力装置１００により収集された複数の入力画像に基づいて複数の特徴ベクトルを抽出する。その複数の入力画像の各々は、複数のカテゴリに対応付けられている複数の画像集合のいずれかに属している。その複数の画像集合のうちのあるカテゴリに対応する画像集合は、そのカテゴリに対応する物体が映っている画像の集合である。その複数の特徴ベクトルは、それぞれ、その入力画像に映し出される像のエッジや色などを示している。
【００３７】
特徴出現頻度算出部２２０は、特徴抽出部２１０により抽出された複数の特徴ベクトルに基づいて複数の特徴出現頻度分布を算出する。その複数の特徴出現頻度分布は、その複数のカテゴリに対応している。その複数の特徴出現頻度分布のうちのあるカテゴリに対応する特徴出現頻度は、そのカテゴリに対応する画像集合の画像に複数の相関算出用特徴ベクトルがそれぞれ出現する複数の頻度を示している。その複数の相関算出用特徴ベクトルの各々は、特徴抽出部２１０により抽出された複数の特徴ベクトルのいずれかに一致している。特徴出現頻度算出部２２０は、さらに、その複数の特徴出現頻度分布を複数のカテゴリに対応付けて特徴出現頻度記憶部３１０に記録する。
【００３８】
物体特徴抽出部２３０は、特徴出現頻度算出部２２０により算出された複数の特徴出現頻度分布に基づいて、その複数の相関算出用特徴ベクトルから複数の重要な特徴ベクトルを抽出する。すなわち、物体特徴抽出部２３０は、その複数の特徴出現頻度分布に基づいて、その複数の相関算出用特徴ベクトルに対応する複数の相関値を算出する。物体特徴抽出部２３０は、その複数の相関値に基づいてマスクを算出する。そのマスクは、その複数の相関算出用特徴ベクトルの各々がその重要な特徴ベクトルに含まれているかどうかを示している。その重要な特徴ベクトルは、１枚の画像が複数のカテゴリのうちのどのカテゴリに属しているかを検出することに用いられる。物体特徴抽出部２３０は、さらに、物体特徴出力装置４００を用いて、ユーザが認識可能にその重要な特徴ベクトルを出力する。
【００３９】
図３は、本発明による物体特徴抽出方法の第１の実施形態を示している。ユーザは、まず、撮像デバイスを用いて複数のカテゴリごとに複数の画像を撮影する。すなわち、その複数の画像は、その複数のカテゴリに対応する複数の画像集合にグループ分けされる。その複数の画像集合のうちのあるカテゴリに対応する画像集合は、そのカテゴリに対応する物体を被写体として撮影された画像から形成され、その画像は、そのカテゴリに対応する物体を映し出している。ユーザは、次いで、その撮像デバイスを画像入力装置１００に接続する。
【００４０】
画像入力装置１００は、その撮像デバイスにより撮影された複数の画像を画像集合ごとにグループ分けし、複数のカテゴリに対応する複数の画像集合をデータ処理装置２００に出力する（ステップＳ１０）。
【００４１】
特徴抽出部２１０は、画像入力装置１００を介して入力された複数の画像ごとに特徴抽出を行う。特徴抽出部２１０は、さらに、複数のカテゴリに対応する複数の特徴ベクトル集合をそれぞれ算出する。その複数の特徴ベクトル集合のうちのあるカテゴリに対応する特徴ベクトル集合は、そのカテゴリに対応する画像集合の画像から抽出される複数の特徴ベクトルから形成されている（ステップＳ１１）。
【００４２】
その特徴抽出方法は、物体の形状特徴を抽出する方法でも良いし、色特徴を抽出する方法でも良い。また、両者を組み合わせて特徴を抽出しても良い。その形状特徴としては、Ｈａａｒ−Ｌｉｋｅ特徴、ＳＩＦＴ特徴、ＨＯＧ特徴が例示される。そのＨａａｒ−Ｌｉｋｅ特徴は、周知であり、たとえば、文献「Ｐ．Ｖｉｏｌａ ａｎｄ Ｍ． Ｊ．Ｊｏｎｅｓ．”Ｒａｐｉｄ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ ｕｓｉｎｇ ａ Ｂｏｏｓｔｅｄ Ｃａｓｃａｄｅ ｏｆ Ｓｉｍｐｌｅ Ｆｅａｔｕｒｅｓ．”， ＩＥＥＥ ＣＶＰＲ，２００１」に開示されている。そのＳＩＦＴ特徴は、周知であり、たとえば、文献「Ｄ．Ｌｏｗ． ”Ｏｂｊｅｃｔ ｒｅｃｏｇｎｉｔｉｏｎ ｆｒｏｍ ｌｏｃａｌ ｓｃａｌｅ ｉｎｖａｒｉａｎｔ ｆｅａｔｕｒｅｓ．” ， ＩＣＣＶ １９９９」に開示されている。そのＨＯＧ特徴は、周知であり、たとえば、文献「Ｎ．Ｄａｌａｌ ａｎｄ Ｂ．Ｔｒｉｇｇｓ． ”Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ ｆｏｒ Ｈｕｍａｎ Ｄｅｔｅｃｔｉｏｎ”， ＣＶＰＲ， ２００５」に開示されている。
【００４３】
特徴出現頻度算出部２２０は、特徴抽出部２１０により算出された複数の特徴ベクトル集合に基づいて複数のカテゴリに対応する複数の特徴出現頻度分布を算出する。その複数の特徴出現頻度分布のうちのあるカテゴリに対応する特徴出現頻度分布は、そのカテゴリに対応する特徴ベクトル集合に基づいて算出され、そのカテゴリに対応する画像集合に属する複数の画像に出現する特徴ベクトルの頻度分布を示している。特徴出現頻度算出部２２０は、さらに、その複数の特徴出現頻度分布を全出現頻度数で正規化を行い、その正規化された複数の特徴出現頻度分布を特徴出現頻度記憶部３１０に格納する（ステップＳ１２）。
【００４４】
ステップＳ１０〜ステップＳ１２の動作は、複数のカテゴリごとに実行される。物体特徴抽出部２３０は、その複数のカテゴリの全部に対応する複数の特徴出現頻度分布の全部が算出された後に（ステップＳ１３、ＹＥＳ）、特徴出現頻度記憶部３１０に格納された複数の特徴出現頻度分布を比較し、その比較結果に基づいて物体を区別するために重要な特徴を抽出する（ステップＳ１４）。
【００４５】
すなわち、物体特徴抽出部２３０は、まず、カテゴリごとに生成された特徴出現頻度分布の特徴出現頻度同士の積から相関を求め、ある閾値α以下の相関値を持つ代表特徴ベクトルを背景特徴とする。同カテゴリの画像中には、同じ物体が含まれているため、物体の特徴出現頻度は多くなるが、物体以外の背景（森・海・建物・道路）は様々であるため、背景を構成する特徴の出現頻度は少なく相関値も低くなる。そこで、出現頻度が少ない特徴を背景特徴とする。閾値αの値は経験的に定めても良い。また、ある閾値β以上の値を持つ特徴を物体共通特徴とする。物体共通特徴は、物体間で共通に出現する特徴であるため出現頻度が多く、物体を区別するために重要な特徴とはいえない。そこで、閾値β以上の値を持つ特徴は、物体の特徴として用いない。閾値βの値は経験的に定めても良い。
【００４６】
物体特徴抽出部２３０は、次に、物体共通特徴と背景特徴とを０とし、それ以外の特徴を１とするマスクを作成する（ステップＳ１５）。物体特徴抽出部２３０は、その複数の特徴ベクトルごとにその複数の特徴出現頻度分布の頻度とマスクの値との積を取ることで、物体を区別するために重要な特徴を抽出する（ステップＳ１６）。
【００４７】
図４は、物体特徴抽出装置１０で画像入力装置１００を介して入力される複数の画像を示している。その複数の画像は、複数の自動車画像１−１〜１−１００００と複数の電車画像２−１〜２−１００００とを含んでいる。複数の自動車画像１−１〜１−１００００は、複数のカテゴリに対応する複数の画像集合のうちの１つの画像集合を形成し、自動車が映し出されている。複数の電車画像２−１〜２−１００００は、その複数の画像集合のうちの他の１つの画像集合を形成し、電車が映し出されている。その複数のカテゴリは、画像に映し出されている認識対象から区別される複数の特定の物体に対応し、すなわち、自動車のカテゴリと電車のカテゴリとを含んでいる。すなわち、その特定の物体は、認識対象とするカテゴリで区別できるものでよく、車か電車や電車といったカテゴリを認識する場合に、一般的に車と呼ばれている物体であればよい。
【００４８】
このとき、特徴抽出部２１０は、ＳＩＦＴ特徴を用いて１枚の画像から複数の特徴ベクトルを抽出する。特徴抽出部２１０は、全ての画像に対して、同様に複数の特徴ベクトルを抽出する。１つのカテゴリに対応する特徴ベクトルの数は、例えば、１枚の画像につき特徴ベクトルが１００個ある場合に、１００００００個存在する。その抽出された特徴ベクトルは、特徴出現頻度算出部２２０により、カテゴリごとに複数の特徴出現頻度分布が作成される。例えば、車の画像１枚ごとに複数の特徴ベクトル｛ｆ１、ｆ２、・・・｝を抽出し、車のカテゴリ全体について特徴出現頻度分布を算出し、その算出された特徴出現頻度分布を正規化する。その正規化された複数の特徴出現頻度分布は、特徴出現頻度記憶部３１０に格納される。
【００４９】
図５は、特徴出現頻度算出部２２０により算出された特徴出現頻度分布の例を示している。その特徴出現頻度分布３−１は、車のカテゴリに対応し、車の平均的な特徴ベクトルが画像に出現する頻度の分布を示している。その特徴出現頻度分布３−１により示される複数の頻度には、車以外の背景の特徴ベクトルの頻度も含まれている。
【００５０】
図６は、特徴出現頻度算出部２２０により算出された特徴出現頻度分布の他の例を示している。その特徴出現頻度分布３−２は、電車のカテゴリに対応し、電車の平均的な特徴ベクトルが画像に出現する頻度の分布を示している。その特徴出現頻度分布３−１により示される複数の頻度には、電車以外の背景の特徴ベクトルの頻度も含まれている。
【００５１】
このとき、背景が多種であるほど背景の特徴ベクトルの種類も多くなるため、背景の各特徴ベクトルの出現頻度は、少なくなる。
【００５２】
図７は、物体特徴抽出部２３０による複数の相関値の算出方法を示している。その複数の相関値６は、特徴抽出部２１０により抽出された複数の特徴ベクトルの全部に対応している。物体特徴抽出部２３０は、特徴出現頻度分布の特徴ベクトル同士｛ｆｉ｝の積を求めることで相関値を得る。例えば、特徴出現頻度分布３−１（車）の特徴ベクトルｆ１の頻度が０．８であり、かつ、特徴出現頻度分布３−３（電車）の特徴ベクトルｆ１が０．７の場合、特徴ベクトルｆ１に対応する相関値は、０．５６となる。特徴出現頻度分布３−１（車）の特徴ベクトルｆ２の頻度が０．２であり、かつ、特徴出現頻度分布３−３（電車）の特徴ベクトルｆ２が０．１の場合、特徴ベクトルｆ２における相関値は、０．０２となる。
【００５３】
図８は、物体特徴抽出部２３０により算出される複数の相関値６を示している。複数の相関値６は、全特徴ベクトルについて正規化されてもよい。物体特徴抽出部２３０は、閾値α、βを設定する。ここで、閾値αは、その複数の相関値の値域に含まれ、最大値より小さい値を示している。閾値βは、その複数の相関値の値域に含まれ、最小値より大きく、かつ、閾値αより小さい値を示している。たとえば、αを０．４、βを０．１と設定する。
【００５４】
図９は、物体特徴抽出部２３０により算出されるマスクを示している。そのマスク７は、複数の相関算出用特徴ベクトルに対応する複数のマスク値を示している。その複数のマスク値のうちのある相関算出用特徴ベクトルに対応するマスク値は、その相関算出用特徴ベクトルに対応する相関値Ｃｉを用いて、次式：
α（０．１）＜Ｃｉ＜β（０．４）
が満足の場合に１を示し、次式：
Ｃｉ＜＝０．１、Ｃｉ＞＝０．４
が満足する場合に０を示している。
【００５５】
複数の相関算出用特徴ベクトルのうちの相関値が大きい特徴ベクトルは、車と電車間でよく出現する特徴を示している。一方、複数の相関算出用特徴ベクトルのうちの相関値が小さい特徴ベクトルは、車と電車であまり出現しない特徴であり、両者の背景の特徴ベクトルである。複数の相関算出用特徴ベクトルのうちの相関値が大きい特徴ベクトルは、物体間でよく用いられる特徴であるため、物体を区別しにくい特徴である。複数の相関算出用特徴ベクトルのうちの相関値が小さい特徴ベクトルは、物体内であまり出現しない、あるいは背景の特徴ベクトルであるため、物体を区別するために重要な特徴といえない。このため、マスク７は、その複数の相関算出用特徴ベクトルの各々が物体を区別するために重要な特徴クトルかどうかをより適切に示している。
【００５６】
図１０は、物体特徴抽出部２３０により算出される物体特徴を示している。その物体特徴８−１は、その複数の相関算出用特徴ベクトルに対応する複数の出現頻度を示している。その複数の出現頻度のうちのある相関算出用特徴ベクトルに対応する頻度は、車の特徴出現頻度分布３−１のうちのその相関算出用特徴ベクトルに対応する頻度とマスク７のうちのその相関算出用特徴ベクトルに対応するマスク値との積を示している。すなわち、物体特徴８−１は、マスク値が１を示す特徴ベクトルに対応する頻度が車の特徴出現頻度分布３−１のうちのその特徴ベクトルに対応する頻度を示し、マスク値が０を示す特徴ベクトルに対応する頻度が０を示している。
【００５７】
図１１は、物体特徴抽出部２３０により算出される他の物体特徴を示している。その物体特徴８−２は、その複数の相関算出用特徴ベクトルに対応する複数の出現頻度を示している。その複数の出現頻度のうちのある相関算出用特徴ベクトルに対応する頻度は、電車の特徴出現頻度分布３−２のうちのその相関算出用特徴ベクトルに対応する頻度とマスク７のうちのその相関算出用特徴ベクトルに対応するマスク値との積を示している。すなわち、物体特徴８−２は、マスク値が１を示す特徴ベクトルに対応する頻度が電車の特徴出現頻度分布３−２のうちのその特徴ベクトルに対応する頻度を示し、マスク値が０を示す特徴ベクトルに対応する頻度が０を示している。
【００５８】
本第１の実施形態では、多種の背景が写っている同一の物体画像を大量に用いて、特徴出現頻度分布を作成しているため、物体特徴の出現頻度は多く、背景特徴の出現頻度は少なくなる。従って、出現頻度が多い特徴を抽出することで、事前に背景領域を分離せずに、物体特徴を抽出することができる。また、本第１の実施形態では、異なる物体間での頻度分布の相関を取ることにより、相関値が大きい場合は物体間で共通して用いられる特徴、また、相関値が小さい場合は背景特徴と定義できる。そのため、前述の相関値以外の特徴を抽出することで、物体を区別するために重要な特徴を抽出することができる。
【００５９】
このため、このように算出された物体特徴８−１と物体特徴８−２とを用いることにより、新規に入力された画像に映し出された物体を車または電車に区別することができる。すなわち、本発明による物体特徴抽出装置は、特徴を予め抽出するための画像中から物体と背景の像を分離することなく、また、複数のフレーム画像やモデル情報を必要としないで、物体の特徴を抽出することができ、物体特徴を抽出するコストを低減することができる。
【００６０】
本具体例では、２種類の物体の例について述べたが、本発明による物体特徴抽出装置１０は、多種類でも同様の処理を行うことができる。
【００６１】
図１２は、本発明による物体特徴抽出装置の第２の実施形態を示している。その物体特徴抽出装置１１は、既述の第１の実施形態における物体特徴抽出装置１０のデータ処理装置２００が他のデータ処理装置２０１に置換され、データ記憶装置３００が他のデータ記憶装置３０１に置換されている。データ記憶装置３０１は、既述のデータ記憶装置３００に代表特徴記憶部３０５が追加されている。代表特徴記憶部３０５は、データ処理装置２０１により算出された複数の代表特徴を格納する。
【００６２】
データ処理装置２０１は、既述のデータ処理装置２００に代表特徴生成部２１１と代表特徴割当部２１２とが追加されている。代表特徴生成部２１１は、特徴抽出部２１０により抽出された複数の特徴から複数の代表特徴を生成し、その生成された複数の代表特徴を代表特徴記憶部３０５に格納する。その複数の代表特徴は、特徴抽出部２１０により抽出された複数の特徴から似た傾向を持つ特徴をまとめたものである。
【００６３】
代表特徴割当部２１２は、代表特徴生成部２１１により生成された複数の代表特徴のいずれかに特徴抽出部２１０により抽出された複数の特徴の各々を割り当てる。
【００６４】
このとき、特徴出現頻度算出部２２０は、特徴抽出部２１０により抽出された複数の特徴ベクトルに基づいて複数の特徴出現頻度分布を算出する。その複数の特徴出現頻度分布のうちのあるカテゴリに対応する特徴出現頻度は、そのカテゴリに対応する画像集合の画像にその複数の代表特徴ベクトルに割り当てられる特徴がそれぞれ出現する複数の頻度を示している。特徴出現頻度算出部２２０は、さらに、その複数の特徴出現頻度分布を複数のカテゴリに対応付けて特徴出現頻度記憶部３１０に記録する。
【００６５】
物体特徴抽出部２３０は、特徴出現頻度算出部２２０により算出された複数の特徴出現頻度分布に基づいて、その複数の代表特徴ベクトルから複数の重要な特徴ベクトルを抽出する。すなわち、物体特徴抽出部２３０は、その複数の特徴出現頻度分布に基づいて、その複数の代表特徴ベクトルに対応する複数の相関値を算出する。物体特徴抽出部２３０は、その複数の相関値に基づいてマスクを算出する。そのマスクは、その複数の代表特徴ベクトルの各々がその重要な特徴ベクトルに含まれているかどうかを示している。その重要な特徴ベクトルは、１枚の画像が複数のカテゴリのうちのどのカテゴリに属しているかを検出することに用いられる。物体特徴抽出部２３０は、さらに、物体特徴出力装置４００を用いて、ユーザが認識可能にその重要な特徴ベクトルを出力する。
【００６６】
図１３は、本発明による物体特徴抽出方法の第２の実施形態を示している。その物体特徴抽出方法は、物体特徴抽出装置１１を用いて実行される。ユーザは、まず、撮像デバイスを用いて複数のカテゴリごとに複数の画像を撮影する。すなわち、その複数の画像は、その複数のカテゴリに対応する複数の画像集合にグループ分けされる。その複数の画像集合のうちのあるカテゴリに対応する画像集合は、そのカテゴリに対応する物体を被写体として撮影された画像から形成され、その画像は、そのカテゴリに対応する物体を映し出している。ユーザは、次いで、その撮像デバイスを画像入力装置１００に接続する。
【００６７】
画像入力装置１００は、その撮像デバイスにより撮影された複数の画像を画像集合ごとにグループ分けし、複数のカテゴリに対応する複数の画像集合をデータ処理装置２００に出力する（ステップＳ２１）。
【００６８】
特徴抽出部２１０は、画像入力装置１００を介して入力された複数の画像ごとに特徴抽出を行う（ステップＳ２２）。特徴抽出部２１０は、さらに、複数のカテゴリに対応する複数の特徴ベクトル集合をそれぞれ算出する。その複数の特徴ベクトル集合のうちのあるカテゴリに対応する特徴ベクトル集合は、そのカテゴリに対応する画像集合の画像から抽出される複数の特徴ベクトルから形成されている。
【００６９】
ステップＳ２１〜ステップＳ２２の動作は、複数のカテゴリごとに実行される。代表特徴生成部２１１は、その複数のカテゴリの全部に対応する複数の特徴出現頻度分布の全部が算出された後に（ステップＳ２３、ＹＥＳ）、全てのカテゴリの画像から抽出された特徴を用いて、予め定められた数の特徴数になるようにクラスタリングを行い、代表特徴を生成する（ステップＳ２４）。クラスタリング方法はｋ−ｍｅａｎｓ法がよく用いられるが、大規模データであることを鑑みて計算量を抑えたＢＩＲＣＨを用いても良い。その生成された代表特徴は、代表特徴記憶部３０５に格納される（ステップＳ２５）。
【００７０】
代表特徴割当部２１２は、代表特徴記憶部３０５に格納された代表特徴を参照して、特徴抽出部２１０で抽出した特徴を代表特徴に割り当てる（ステップＳ２６）。
【００７１】
ステップＳ２６が実行された後の処理は、第１の実施形態のステップＳ１４〜Ｓ１６の処理と同じである。すなわち、特徴出現頻度算出部２２０は、特徴抽出部２１０により算出された複数の特徴ベクトル集合に基づいて複数のカテゴリに対応する複数の特徴出現頻度分布を算出する。その複数の特徴出現頻度分布のうちのあるカテゴリに対応する特徴出現頻度分布は、そのカテゴリに対応する特徴ベクトル集合に基づいて算出される。その複数の特徴出現頻度分布の各々は、代表特徴生成部２１１により算出された複数の代表特徴ベクトルに対応する複数の頻度を示している。その複数の頻度のうちのある特徴ベクトルに対応する頻度は、その特徴ベクトルに割り当てられた特徴が画像に出現する頻度を示している。特徴出現頻度算出部２２０は、さらに、その複数の特徴出現頻度分布を全出現頻度数で正規化を行い、その正規化された複数の特徴出現頻度分布を特徴出現頻度記憶部３１０に格納する。
【００７２】
物体特徴抽出部２３０は、次に、その複数の特徴出現頻度分布を比較し、その比較結果に基づいてマスクを作成する。物体特徴抽出部２３０は、その複数の特徴出現頻度分布とマスクとに基づいて、物体を区別するために重要な特徴を抽出する。
【００７３】
このような物体特徴抽出方法は、既述の第１の実施形態の物体特徴抽出方法と同様にして、特徴を予め抽出するための画像中から物体と背景の像を分離することなく、また、複数のフレーム画像やモデル情報を必要としないで、物体の特徴を抽出することができ、物体特徴を抽出するコストを低減することができる。さらに、第２の実施形態では、特徴抽出部２１０によって抽出された特徴を、一定数の代表特徴ベクトルに割り当て、ベクトル量子化を行った後に、特徴出現頻度分布を算出する。このため、少しの違いがある特徴ベクトルでも、代表の特徴ベクトルに置き換えられることになり、特徴出現頻度が多くなる。これにより、特徴出現頻度分布は物体を構成している特徴を良く表し、物体と背景で用いられている特徴の区別がつきやすくなる。
【００７４】
図１４は、本発明による物体特徴抽出装置の第３の実施形態を示している。その物体特徴抽出装置１２は、既述の第１の実施形態における物体特徴抽出装置１０のデータ処理装置２００が他のデータ処理装置２０２に置換され、データ記憶装置３００が他のデータ記憶装置３０２に置換されている。データ記憶装置３０２は、共起頻度記憶部３１１を備えている。共起頻度記憶部３１１は、データ処理装置２０２により生成される共起頻度分布を格納する。
【００７５】
データ処理装置２０２は、既述の第１の実施形態におけるデータ処理装置２００の特徴出現頻度算出部２２０が特徴共起頻度算出部２２１に置換されている。特徴共起頻度算出部２２１は、特徴抽出部２１０により抽出された特徴に対して、周囲に出現される特徴との共起頻度を算出する。その算出された共起頻度は共起頻度記憶部３１１に格納される。
【００７６】
図１５は、特徴抽出部２１０により特徴ベクトルが抽出される画像の例を示している。特徴抽出部２１０は、その画像から特徴ベクトルｆ０を抽出したときに、その画像に特徴ベクトルｆ０が出現した位置をさらに算出する。
【００７７】
図１６は、特徴ベクトルｆ０が出現する位置の周囲に出現する特徴ベクトルを示している。すなわち、特徴共起頻度算出部２２１は、特徴抽出部２１０によりある画像から特徴ベクトルｆ０が抽出されたときに、特徴抽出部２１０によりその画像から抽出された複数の特徴ベクトルから特徴ベクトルｆ０が出現した位置の周囲２０ピクセル以内に出現する複数の特徴ベクトルを抽出する。なお、その周囲は、ある特徴ベクトルを中心としたユークリッド距離と異なる範囲が設定されることもできる。その範囲は、特徴ベクトルｆ０が出現する位置に基づいて算出されるものであり、たとえば、ある特徴ベクトルからの近傍特徴ベクトル数で定義されてもよい。
【００７８】
図１７は、特徴共起頻度算出部２２１により算出される共起頻度分布を示している。その共起頻度分布は、複数の特徴ベクトルから２つの特徴ベクトルを選択する複数の組み合わせに対応する複数の頻度を示している。その複数の頻度のうちのある組み合わせに対応する頻度は、その組み合わせにより選択された２つの特徴ベクトルが所定の範囲内で共起する頻度を示している。さらに、特徴共起頻度算出部２２１は、同様にして、複数のカテゴリごとに複数の共起頻度分布を算出する。すなわち、第１の実施形態では、特徴出現頻度分布は１次元で表現されていたが、本第３の実施形態では、共起頻度分布は２次元で表現される。
【００７９】
図１８は、物体特徴抽出部２３０によりその複数の特徴共起頻度分布に基づいて算出される複数の相関値を示している。その複数の相関値は、特徴抽出部２１０により抽出された複数の特徴ベクトルから２つの特徴ベクトルを選択する複数の組み合わせに対応している。その複数の相関値のうちのある組み合わせに対応する相関値は、複数の特徴共起頻度分布のうちのその組み合わせに対応する頻度の積を示している。
【００８０】
物体特徴抽出部２３０は、共起頻度分布に対して閾値α、βを設定し、閾値α、βとその複数の相関値とに基づいて２次元のマスクを算出する。その２次元のマスクは、その複数の組み合わせに対応する複数のマスク値を示している。その複数のマスク値のうちのある組み合わせに対応するマスク値は、その複数の相関値のうちのその組み合わせに対応する相関値ｆｎを用いて、次式：
β＜ｆｎ＜α
が満足する場合に１が設定され、それ以外の場合に０が設定される。
【００８１】
物体特徴抽出部２３０は、その２次元のマスクと特徴共起頻度算出部２２１により算出される複数の共起頻度分布に基づいて複数のカテゴリに対応する複数の物体特徴を算出する。その複数の物体特徴のうちのあるカテゴリに対応する物体特徴は、複数の共起頻度分布のうちのそのカテゴリに対応する共起頻度分布と２次元のマスクに基づいて算出される。その物体特徴は、複数の組み合わせに対応する複数の頻度を示している。その風数の頻度のうちのある組み合わせに対応する頻度は、その共起頻度分布のその組み合わせに対応する頻度と２次元のマスクのうちのその組み合わせに対応するマスク値との積を示している。
【００８２】
このような物体特徴抽出装置１２は、既述の第１の実施形態と同様にして、特徴を予め抽出するための画像中から物体と背景の像を分離することなく、また、複数のフレーム画像やモデル情報を必要としないで、物体の特徴を抽出することができ、物体特徴を抽出するコストを低減することができる。さらに、第３の実施形態では、隣接する特徴との共起頻度分布を元に、物体を区別するための特徴を定義しているため、例えば、車のヘッドライトとナンバープレートといった、物体を構成する特徴間の関係を考慮することができ、より物体に特化した特徴を抽出することができる。また、特徴間の関係を頻度分布で表しており、特徴間の位置関係は考慮していないため、局所的に見えの変化がある場合でも頑強に物体特徴を抽出することができる。
【００８３】
図１９は、本発明による物体特徴抽出装置の第４の実施形態を示している。その物体特徴抽出装置１３は、既述の第１の実施形態のデータ処理装置２００が他のデータ処理装置２０３に置換され、データ記憶装置３０３が他のデータ記憶装置３０３に置換されている。データ記憶装置３０３は、既述のデータ記憶装置３００に幾何特徴記憶部３０６が追加されている。幾何特徴記憶部３０６は、データ処理装置２０３により算出されたルックアップテーブルを格納する。
【００８４】
データ処理装置２０３は、既述のデータ処理装置２００に幾何特徴算出部２１３と幾何特徴割当部２１４とが追加されている。
【００８５】
幾何特徴算出部２１３は、特徴抽出部２１０により抽出された複数の特徴ベクトルに対して、ある特徴と周囲の特徴との幾何特徴の形状モデルを算出し、一意のＩＤを算出する。幾何特徴算出部２１３は、その複数のＩＤを複数の形状モデルに対応付けるルックアップテーブルを作成し、そのルックアップテーブルを幾何特徴記憶部３０６に格納する。
【００８６】
幾何特徴算出部２１３は、図２０に示されているように、例えば、特徴ベクトルｆ０の周囲に、特徴ベクトルｆ２、ｆ３、ｆ４、ｆ６が存在している場合に、ＧｅｏｍｅｔｒｉｃＨａｓｈｉｎｇ法のような幾何学的不変量を算出する方式を用いて一意のＩＤを生成する。幾何特徴算出部２１３は、全てのカテゴリの特徴ベクトルについて同様の処理を行い、特徴間の幾何的な位置関係を一意のＩＤで表現し、ルックアップテーブルとして幾何特徴記憶部３０６に格納する。
【００８７】
幾何特徴算出部２１３は、カテゴリごとに画像を入力し、特徴抽出を経て、ある特徴ベクトルの周囲の幾何学的不変量を算出し、幾何特徴記憶部３０６に格納されているルックアップテーブルを参照し、ＩＤを割り当てる。全ての特徴ベクトルについて同様の処理を行い、図２１に示されているようなＩＤ頻度分布を複数のカテゴリごとに作成する。そのＩＤ頻度分布は、複数のＩＤに対応する複数の頻度を示している。その複数の頻度のうちのあるＩＤに対応する頻度は、そのＩＤに割り当てられた位置関係に所定の複数の特徴ベクトルが共起する頻度を示している。
【００８８】
幾何特徴割当部２１４は、特徴抽出部２１０により抽出された特徴と周囲の特徴との位置関係を、幾何特徴算出部２１３で算出し、幾何特徴記憶部３０６に格納されたルックアップテーブルを参照して、その算出された形状をＩＤに割り当てる。すなわち、幾何特徴割当部２１４は、特徴抽出部２１０により抽出された複数の特徴がそれぞれ出現した複数の位置の位置関係に対応するＩＤをルックアップテーブルの複数のＩＤから算出し、その算出されたＩＤをその出現した複数の特徴に割り当てる。
【００８９】
このとき、特徴出現頻度算出部２２０は、特徴抽出部２１０により抽出された複数の特徴ベクトルに基づいて複数の幾何特徴出現頻度分布を算出する。その複数の幾何特徴出現頻度分布のうちのあるカテゴリに対応する幾何特徴出現頻度分布は、そのカテゴリに対応する画像集合の画像に基づいて算出される。その幾何特徴出現頻度分布は、複数のＩＤに対応する複数の頻度を示している。その複数の頻度のうちのあるＩＤに対応する頻度は、そのＩＤに割り当てられる複数の特徴が共起する頻度を示している。特徴出現頻度算出部２２０は、さらに、その複数の幾何特徴出現頻度分布を複数のカテゴリに対応付けて特徴出現頻度記憶部３１０に記録する。
【００９０】
物体特徴抽出部２３０は、特徴出現頻度算出部２２０により算出された複数の幾何特徴出現頻度分布に基づいて、その複数のＩＤから複数の重要な特徴ベクトルを抽出する。すなわち、物体特徴抽出部２３０は、その複数の幾何特徴出現頻度分布に基づいて、その複数のＩＤに対応する複数の相関値を算出する。その複数の相関値のうちのあるＩＤに対応する相関値は、特徴出現頻度算出部２２０により算出された複数の幾何特徴出現頻度分布のうちのそのＩＤに対応する頻度の積を示している。物体特徴抽出部２３０は、その複数の相関値に基づいてマスクを算出する。そのマスクは、その複数のＩＤの各々がその重要な特徴ベクトルに含まれているかどうかを示し、閾値βより大きく、かつ、閾値αより小さい相関値に対応するＩＤがその重要な特徴ベクトルに含まれていることを示している。その重要な特徴ベクトルは、１枚の画像が複数のカテゴリのうちのどのカテゴリに属しているかを検出することに用いられる。物体特徴抽出部２３０は、さらに、物体特徴出力装置４００を用いて、ユーザが認識可能にその重要な特徴ベクトルを出力する。
【００９１】
このような物体特徴抽出装置１３は、既述の第１の実施形態と同様にして、特徴を予め抽出するための画像中から物体と背景の像を分離することなく、また、複数のフレーム画像やモデル情報を必要としないで、物体の特徴を抽出することができ、物体特徴を抽出するコストを低減することができる。さらに、本第４の実施形態では、局所領域内で隣接する特徴との位置関係を、幾何学的不変量として一意のＩＤを割り当て、そのＩＤの頻度分布として表すため、例えば、人間であれば目と鼻の特徴が共起するといった、特徴間の幾何的な関係が強い剛体物体の特徴を抽出することができる。
【００９２】
図２２は、本発明による物体特徴抽出装置の第５の実施形態を示している。その物体特徴抽出装置２０は、既述の第１の実施形態におけるデータ処理装置２００が他のデータ処理装置２０４に置換され、データ記憶装置３００が他のデータ記憶装置３０４に置換されている。
【００９３】
データ記憶装置３０４は、既述の第１の実施の形態におけるデータ記憶装置３００にマスク記憶部５００と物体特徴記憶部６００とが追加されている。マスク記憶部５００は、データ処理装置２０４により算出されたマスクを格納する。物体特徴記憶部６００は、データ処理装置２０４により算出された複数の物体特徴を格納する。
【００９４】
データ処理装置２０４は、既述の第１の実施形態におけるデータ処理装置２００に物体特徴照合部２４０が追加されている。物体特徴照合部２４０は、画像入力装置１００を介して入力された１つの画像から特徴抽出部２１０を用いて複数の特徴を抽出する。物体特徴照合部２４０は、さらに、特徴出現頻度算出部２２０を用いて特徴の特徴出現頻度分布を算出し、マスク記憶部５００に格納されたマスクとの積を取ることで、物体を区別するために重要な特徴のみから構成される特徴出現頻度分布を算出する。物体特徴照合部２４０は、その算出された頻度分布と、物体特徴記憶部６００に格納されたカテゴリごとの特徴出現頻度分布を比較することで、似通った頻度分布を決定し、決定した頻度分布に属するカテゴリを出力する。なお、比較する方法として、予め、カテゴリと対応する特徴出現頻度分布を学習しておき、学習結果と比較してもよい。
【００９５】
本第５の実施形態では、入力された画像の特徴出現頻度分布と、予め算出したカテゴリごとの特徴出現頻度分布とを比較し、似通った特徴出現頻度分布が属するカテゴリを、入力画像が属するカテゴリとして出力することができる。すなわち、物体特徴抽出装置２０は、物体検出装置として利用することができる。また、出力されたカテゴリが持つ、特徴出現頻度分布の特徴と、入力画像の特徴とを対応付けることで、入力画像中に存在するカテゴリ位置を決定することができる。
【００９６】
なお、物体特徴照合部２４０は、本第５の実施形態と異なる他の実施形態におけるデータ処理装置に追加することができる。
【００９７】
本発明によれば、物体が映っている大量の画像群から、物体と背景を分離せずに物体の特徴を抽出する物体特徴抽出装置や、物体特徴抽出装置をコンピュータに実現するためのプログラムといった用途に適用できる。また、物体特徴を抽出する機能を用いて、画像中の物体を検出する機能といった用途にも適用可能である。
【符号の説明】
【００９８】
１０ ：物体特徴抽出装置
２０ ：物体検出装置
１００：画像入力装置
２００：データ処理装置
２１０：特徴抽出部
２２０：特徴出現頻度算出部
２３０：物体特徴抽出部
３００：データ記憶装置
３１０：特徴出現頻度記憶部
４００：物体特徴出力装置
１−１〜１−１００００：複数の自動車画像
２−１〜２−１００００：複数の電車画像
３−１：特徴出現頻度分布
３−２：特徴出現頻度分布
６ ：複数の相関値
７ ：マスク
８−１：物体特徴
８−２：物体特徴
２０１：データ処理装置
２１１：代表特徴生成部
２１２：代表特徴割当部
３０１：データ記憶装置
３０５：代表特徴記憶部
２０２：データ処理装置
２２１：特徴共起頻度算出部
３０２：データ記憶装置
３１１：共起頻度記憶部
２０３：データ処理装置
２１３：幾何特徴算出部
２１４：幾何特徴割当部
３０３：データ記憶装置
３０６：幾何特徴記憶部
２０４：データ処理装置
２４０：物体特徴照合部
３０４：データ記憶装置
５００：マスク記憶部
６００：物体特徴記憶部
【特許請求の範囲】
【請求項１】
複数のカテゴリに対応する複数の画像集合から複数の特徴集合をそれぞれ抽出する特徴抽出部と、
前記複数の特徴集合に基づいて複数の特徴出現頻度分布をそれぞれ算出する特徴出現頻度分布算出部と、
前記複数の特徴出現頻度分布の比較結果に基づいて複数の特徴から複数の重要特徴を選択し、前記複数の特徴出現頻度分布と前記複数の重要特徴とに基づいて複数の物体特徴を算出する物体特徴抽出部とを具備し、
前記複数の特徴集合のうちの第１カテゴリに対応する第１特徴集合は、前記複数の画像集合のうちの第１カテゴリに対応する自動車画像集合の画像から抽出された複数の抽出特徴から形成され、
前記複数の特徴集合のうちの第２カテゴリに対応する第２特徴集合は、前記複数の画像集合のうちの第２カテゴリに対応する電車画像集合の画像から抽出された複数の抽出特徴から形成され、
前記複数の特徴出現頻度分布のうちの前記第１カテゴリに対応する第１特徴出現頻度分布は、前記自動車画像集合により前記複数の特徴に対応付けられる複数の頻度を示し、
前記複数の特徴出現頻度分布のうちの前記第２カテゴリに対応する第２特徴出現頻度分布は、前記電車画像集合により前記複数の特徴に対応付けられる複数の頻度を示し、
前記複数の物体特徴のうちの前記第１カテゴリに対応する第１物体特徴は、前記自動車画像集合により前記複数の重要特徴に対応付けられる複数の頻度を示し、
前記複数の物体特徴のうちの前記第２カテゴリに対応する第２物体特徴は、前記電車画像集合により前記複数の重要特徴に対応付けられる複数の頻度を示す
物体特徴抽出装置。
【請求項２】
請求項１において、
前記複数の物体特徴に基づいて、入力装置を介して入力される入力画像が属するカテゴリを前記複数のカテゴリから選択する物体特徴照合部
をさらに具備する物体特徴抽出装置。
【請求項３】
請求項１または請求項２のいずれかにおいて、
前記特徴抽出部は、前記複数の特徴出現頻度分布に基づいて前記複数の特徴に対応する複数の相関値を算出し、前記複数の相関値に基づいて前記複数の特徴から前記複数の重要特徴を選択し、
前記複数の相関値のうちの任意の特徴に対応する１つの相関値は、前記第１特徴出現頻度分布により前記任意の特徴に対応付けられる第１頻度と前記第２特徴出現頻度分布により前記任意の特徴に対応付けられる第２頻度とに基づいて算出される
物体特徴抽出装置。
【請求項４】
請求項３において、
前記１つの相関値は、前記第１頻度と前記第２頻度との積を示し、
前記複数の重要特徴は、前記複数の相関値のうちの前記複数の重要特徴に対応する重要相関値が前記複数の相関値の定義域の最小値より大きい第１値より大きくなるように、かつ、前記重要相関値が前記定義域の最大値より小さい第２値より小さくなるように、前記複数の特徴から選択される
物体特徴抽出装置。
【請求項５】
請求項１〜請求項４のいずれかにおいて、
前記複数の特徴集合に基づいて前記複数の特徴に対応する複数の代表特徴を生成する代表特徴生成部と、
前記複数の特徴集合のうちの各々の特徴を前記複数の代表特徴のうちのいずれかに割り当てる代表特徴割当部とをさらに具備し、
前記第１特徴出現頻度分布により任意の特徴に対応付けられた頻度は、前記複数の代表特徴のうちの前記任意の特徴に対応する１つの代表特徴に割り当てられた特徴が前記自動車画像集合の画像に出現する頻度を示し、
前記第２特徴出現頻度分布により前記任意の特徴に対応付けられた頻度は、前記１つの代表特徴に割り当てられた特徴が前記電車画像集合の画像に出現する頻度を示す
物体特徴抽出装置。
【請求項６】
請求項１〜請求項４のいずれかにおいて、
前記複数の特徴は、前記複数の画像集合のうちの１つの画像に出現した複数の出現特徴から複数の選択特徴を選択する複数の組み合わせに対応し、
前記第１特徴出現頻度分布により任意の特徴に対応付けられた頻度は、前記複数の組み合わせのうちの前記任意の特徴に対応する１つの組み合わせにより選択された複数の共起特徴が前記自動車画像集合の画像に共起する頻度を示し、
前記第２特徴出現頻度分布により前記任意の特徴に対応付けられた頻度は、前記複数の共起特徴が前記電車画像集合の画像に共起する頻度を示す
物体特徴抽出装置。
【請求項７】
請求項１〜請求項４のいずれかにおいて、
前記複数の特徴は、前記複数の画像集合のうちの１つの画像に出現した複数の出現特徴から複数の選択特徴を選択する複数の組み合わせに対応し、
前記第１特徴出現頻度分布により任意の特徴に対応付けられた頻度は、前記複数の組み合わせのうちの前記任意の特徴に対応する１つの組み合わせにより選択された複数の共起特徴のうちの１つの特徴が前記自動車画像集合の自動車画像に出現した位置に基づいて算出された範囲に前記複数の共起特徴のうちの前記１つの特徴を除く他の特徴が前記自動車画像に出現する頻度を示し、
前記第２特徴出現頻度分布により前記任意の特徴に対応付けられた頻度は、前記１つの特徴が前記電車画像集合の電車画像に出現した位置に基づいて算出された範囲に前記他の特徴が前記電車画像に出現する頻度を示す
物体特徴抽出装置。
【請求項８】
請求項１〜請求項４のいずれかにおいて、
前記複数の特徴集合に基づいて前記複数の特徴に対応する複数の幾何特徴を生成する幾何特徴算出部と、
前記複数の特徴集合のうちの共起する複数の共起特徴がそれぞれ出現する複数の位置の位置関係を前記複数の幾何特徴のうちのいずれかに割り当てる幾何特徴割当部とをさらに具備し、
前記第１特徴出現頻度分布により任意の特徴に対応付けられた頻度は、前記複数の幾何特徴のうちの前記任意の特徴に対応する１つの幾何特徴に割り当てられた位置関係を有する複数の共起特徴が前記自動車画像集合の画像に出現する頻度を示し、
前記第２特徴出現頻度分布により前記任意の特徴に対応付けられた頻度は、前記１つの幾何特徴に割り当てられた位置関係を有する複数の共起特徴が前記電車画像集合の画像に出現する頻度を示す
物体特徴抽出装置。
【請求項９】
複数のカテゴリに対応する複数の画像集合から複数の特徴集合をそれぞれ抽出するステップと、
前記複数の特徴集合に基づいて複数の特徴出現頻度分布をそれぞれ算出するステップと、
前記複数の特徴出現頻度分布の比較結果に基づいて複数の特徴から複数の重要特徴を選択するステップと、
前記複数の特徴出現頻度分布と前記複数の重要特徴とに基づいて複数の物体特徴を算出するステップとを具備し、
前記複数の特徴集合のうちの第１カテゴリに対応する第１特徴集合は、前記複数の画像集合のうちの第１カテゴリに対応する自動車画像集合の画像から抽出された複数の抽出特徴から形成され、
前記複数の特徴集合のうちの第２カテゴリに対応する第２特徴集合は、前記複数の画像集合のうちの第２カテゴリに対応する電車画像集合の画像から抽出された複数の抽出特徴から形成され、
前記複数の特徴出現頻度分布のうちの前記第１カテゴリに対応する第１特徴出現頻度分布は、前記自動車画像集合により前記複数の特徴に対応付けられる複数の頻度を示し、
前記複数の特徴出現頻度分布のうちの前記第２カテゴリに対応する第２特徴出現頻度分布は、前記電車画像集合により前記複数の特徴に対応付けられる複数の頻度を示し、
前記複数の物体特徴のうちの前記第１カテゴリに対応する第１物体特徴は、前記自動車画像集合により前記複数の重要特徴に対応付けられる複数の頻度を示し、
前記複数の物体特徴のうちの前記第２カテゴリに対応する第２物体特徴は、前記電車画像集合により前記複数の重要特徴に対応付けられる複数の頻度を示す
物体特徴抽出方法。
【請求項１０】
請求項９において、
前記複数の物体特徴に基づいて、入力装置を介して入力される入力画像が属するカテゴリを前記複数のカテゴリから選択するステップ
をさらに具備する物体特徴抽出方法。
【請求項１１】
請求項９または請求項１０のいずれかにおいて、
前記複数の特徴出現頻度分布に基づいて前記複数の特徴に対応する複数の相関値を算出するステップと、
前記複数の相関値に基づいて前記複数の特徴から前記複数の重要特徴を選択するステップとをさらに具備し、
前記複数の相関値のうちの任意の特徴に対応する１つの相関値は、前記第１特徴出現頻度分布により前記任意の特徴に対応付けられる第１頻度と前記第２特徴出現頻度分布により前記任意の特徴に対応付けられる第２頻度とに基づいて算出される
物体特徴抽出方法。
【請求項１２】
請求項１１において、
前記１つの相関値は、前記第１頻度と前記第２頻度との積を示し、
前記複数の重要特徴は、前記複数の相関値のうちの前記複数の重要特徴に対応する重要相関値が前記複数の相関値の定義域の最小値より大きい第１値より大きくなるように、かつ、前記重要相関値が前記定義域の最大値より小さい第２値より小さくなるように、前記複数の特徴から選択される
物体特徴抽出方法。
【請求項１３】
請求項９〜請求項１２のいずれかにおいて、
前記複数の特徴集合に基づいて前記複数の特徴に対応する複数の代表特徴を生成するステップと、
前記複数の特徴集合のうちの各々の特徴を前記複数の代表特徴のうちのいずれかに割り当てるステップとをさらに具備し、
前記第１特徴出現頻度分布により任意の特徴に対応付けられた頻度は、前記複数の代表特徴のうちの前記任意の特徴に対応する１つの代表特徴に割り当てられた特徴が前記自動車画像集合の画像に出現する頻度を示し、
前記第２特徴出現頻度分布により前記任意の特徴に対応付けられた頻度は、前記１つの代表特徴に割り当てられた特徴が前記電車画像集合の画像に出現する頻度を示す
物体特徴抽出方法。
【請求項１４】
請求項９〜請求項１２のいずれかにおいて、
前記複数の特徴は、前記複数の画像集合のうちの１つの画像に出現した複数の出現特徴から複数の選択特徴を選択する複数の組み合わせに対応し、
前記第１特徴出現頻度分布により任意の特徴に対応付けられた頻度は、前記複数の組み合わせのうちの前記任意の特徴に対応する１つの組み合わせにより選択された複数の共起特徴が前記自動車画像集合の画像に共起する頻度を示し、
前記第２特徴出現頻度分布により前記任意の特徴に対応付けられた頻度は、前記複数の共起特徴が前記電車画像集合の画像に共起する頻度を示す
物体特徴抽出方法。
【請求項１５】
請求項９〜請求項１２のいずれかにおいて、
前記複数の特徴は、前記複数の画像集合のうちの１つの画像に出現した複数の出現特徴から複数の選択特徴を選択する複数の組み合わせに対応し、
前記第１特徴出現頻度分布により任意の特徴に対応付けられた頻度は、前記複数の組み合わせのうちの前記任意の特徴に対応する１つの組み合わせにより選択された複数の共起特徴のうちの１つの特徴が前記自動車画像集合の自動車画像に出現した位置に基づいて算出された範囲に前記複数の共起特徴のうちの前記１つの特徴を除く他の特徴が前記自動車画像に出現する頻度を示し、
前記第２特徴出現頻度分布により前記任意の特徴に対応付けられた頻度は、前記１つの特徴が前記電車画像集合の電車画像に出現した位置に基づいて算出された範囲に前記他の特徴が前記電車画像に出現する頻度を示す
物体特徴抽出方法。
【請求項１６】
請求項９〜請求項１２のいずれかにおいて、
前記複数の特徴集合に基づいて前記複数の特徴に対応する複数の幾何特徴を生成するステップと、
前記複数の特徴集合のうちの共起する複数の共起特徴がそれぞれ出現する複数の位置の位置関係を前記複数の幾何特徴のうちのいずれかに割り当てるステップとをさらに具備し、
前記第１特徴出現頻度分布により任意の特徴に対応付けられた頻度は、前記複数の幾何特徴のうちの前記任意の特徴に対応する１つの幾何特徴に割り当てられた位置関係を有する複数の共起特徴が前記自動車画像集合の画像に出現する頻度を示し、
前記第２特徴出現頻度分布により前記任意の特徴に対応付けられた頻度は、前記１つの幾何特徴に割り当てられた位置関係を有する複数の共起特徴が前記電車画像集合の画像に出現する頻度を示す
物体特徴抽出方法。
【請求項１７】
複数のカテゴリに対応する複数の画像集合から複数の特徴集合をそれぞれ抽出する特徴抽出部と、
前記複数の特徴集合に基づいて複数の特徴出現頻度分布をそれぞれ算出する特徴出現頻度分布算出部と、
前記複数の特徴出現頻度分布の比較結果に基づいて複数の特徴から複数の重要特徴を選択し、前記複数の特徴出現頻度分布と前記複数の重要特徴とに基づいて複数の物体特徴を算出する物体特徴抽出部とをコンピュータに実現させるためのプログラムであり、
前記複数の特徴集合のうちの第１カテゴリに対応する第１特徴集合は、前記複数の画像集合のうちの第１カテゴリに対応する自動車画像集合の画像から抽出された複数の抽出特徴から形成され、
前記複数の特徴集合のうちの第２カテゴリに対応する第２特徴集合は、前記複数の画像集合のうちの第２カテゴリに対応する電車画像集合の画像から抽出された複数の抽出特徴から形成され、
前記複数の特徴出現頻度分布のうちの前記第１カテゴリに対応する第１特徴出現頻度分布は、前記自動車画像集合により前記複数の特徴に対応付けられる複数の頻度を示し、
前記複数の特徴出現頻度分布のうちの前記第２カテゴリに対応する第２特徴出現頻度分布は、前記電車画像集合により前記複数の特徴に対応付けられる複数の頻度を示し、
前記複数の物体特徴のうちの前記第１カテゴリに対応する第１物体特徴は、前記自動車画像集合により前記複数の重要特徴に対応付けられる複数の頻度を示し、
前記複数の物体特徴のうちの前記第２カテゴリに対応する第２物体特徴は、前記電車画像集合により前記複数の重要特徴に対応付けられる複数の頻度を示す
物体特徴抽出プログラム。
【請求項１８】
請求項１７において、
前記複数の物体特徴に基づいて、入力装置を介して入力される入力画像が属するカテゴリを前記複数のカテゴリから選択する物体特徴照合部
をさらに前記コンピュータに実現させるための物体特徴抽出プログラム。
【請求項１９】
請求項１７または請求項１８のいずれかにおいて、
前記特徴抽出部は、前記複数の特徴出現頻度分布に基づいて前記複数の特徴に対応する複数の相関値を算出し、前記複数の相関値に基づいて前記複数の特徴から前記複数の重要特徴を選択し、
前記複数の相関値のうちの任意の特徴に対応する１つの相関値は、前記第１特徴出現頻度分布により前記任意の特徴に対応付けられる第１頻度と前記第２特徴出現頻度分布により前記任意の特徴に対応付けられる第２頻度とに基づいて算出される
物体特徴抽出プログラム。
【請求項２０】
請求項１９において、
前記１つの相関値は、前記第１頻度と前記第２頻度との積を示し、
前記複数の重要特徴は、前記複数の相関値のうちの前記複数の重要特徴に対応する重要相関値が前記複数の相関値の定義域の最小値より大きい第１値より大きくなるように、かつ、前記重要相関値が前記定義域の最大値より小さい第２値より小さくなるように、前記複数の特徴から選択される
物体特徴抽出プログラム。
【請求項２１】
請求項１７〜請求項２０のいずれかにおいて、
前記複数の特徴集合に基づいて前記複数の特徴に対応する複数の代表特徴を生成する代表特徴生成部と、
前記複数の特徴集合のうちの各々の特徴を前記複数の代表特徴のうちのいずれかに割り当てる代表特徴割当部とをさらに前記コンピュータに実現させ、
前記第１特徴出現頻度分布により任意の特徴に対応付けられた頻度は、前記複数の代表特徴のうちの前記任意の特徴に対応する１つの代表特徴に割り当てられた特徴が前記自動車画像集合の画像に出現する頻度を示し、
前記第２特徴出現頻度分布により前記任意の特徴に対応付けられた頻度は、前記１つの代表特徴に割り当てられた特徴が前記電車画像集合の画像に出現する頻度を示す
物体特徴抽出プログラム。
【請求項２２】
請求項１７〜請求項２０のいずれかにおいて、
前記複数の特徴は、前記複数の画像集合のうちの１つの画像に出現した複数の出現特徴から複数の選択特徴を選択する複数の組み合わせに対応し、
前記第１特徴出現頻度分布により任意の特徴に対応付けられた頻度は、前記複数の組み合わせのうちの前記任意の特徴に対応する１つの組み合わせにより選択された複数の共起特徴が前記自動車画像集合の画像に共起する頻度を示し、
前記第２特徴出現頻度分布により前記任意の特徴に対応付けられた頻度は、前記複数の共起特徴が前記電車画像集合の画像に共起する頻度を示す
物体特徴抽出プログラム。
【請求項２３】
請求項１７〜請求項２０のいずれかにおいて、
前記複数の特徴は、前記複数の画像集合のうちの１つの画像に出現した複数の出現特徴から複数の選択特徴を選択する複数の組み合わせに対応し、
前記第１特徴出現頻度分布により任意の特徴に対応付けられた頻度は、前記複数の組み合わせのうちの前記任意の特徴に対応する１つの組み合わせにより選択された複数の共起特徴のうちの１つの特徴が前記自動車画像集合の自動車画像に出現した位置に基づいて算出された範囲に前記複数の共起特徴のうちの前記１つの特徴を除く他の特徴が前記自動車画像に出現する頻度を示し、
前記第２特徴出現頻度分布により前記任意の特徴に対応付けられた頻度は、前記１つの特徴が前記電車画像集合の電車画像に出現した位置に基づいて算出された範囲に前記他の特徴が前記電車画像に出現する頻度を示す
物体特徴抽出プログラム。
【請求項２４】
請求項１７〜請求項２０のいずれかにおいて、
前記複数の特徴集合に基づいて前記複数の特徴に対応する複数の幾何特徴を生成する幾何特徴算出部と、
前記複数の特徴集合のうちの共起する複数の共起特徴がそれぞれ出現する複数の位置の位置関係を前記複数の幾何特徴のうちのいずれかに割り当てる幾何特徴割当部とをさらに前記コンピュータに実現させ、
前記第１特徴出現頻度分布により任意の特徴に対応付けられた頻度は、前記複数の幾何特徴のうちの前記任意の特徴に対応する１つの幾何特徴に割り当てられた位置関係を有する複数の共起特徴が前記自動車画像集合の画像に出現する頻度を示し、
前記第２特徴出現頻度分布により前記任意の特徴に対応付けられた頻度は、前記１つの幾何特徴に割り当てられた位置関係を有する複数の共起特徴が前記電車画像集合の画像に出現する頻度を示す
物体特徴抽出プログラム。
【請求項１】
複数のカテゴリに対応する複数の画像集合から複数の特徴集合をそれぞれ抽出する特徴抽出部と、
前記複数の特徴集合に基づいて複数の特徴出現頻度分布をそれぞれ算出する特徴出現頻度分布算出部と、
前記複数の特徴出現頻度分布の比較結果に基づいて複数の特徴から複数の重要特徴を選択し、前記複数の特徴出現頻度分布と前記複数の重要特徴とに基づいて複数の物体特徴を算出する物体特徴抽出部とを具備し、
前記複数の特徴集合のうちの第１カテゴリに対応する第１特徴集合は、前記複数の画像集合のうちの第１カテゴリに対応する自動車画像集合の画像から抽出された複数の抽出特徴から形成され、
前記複数の特徴集合のうちの第２カテゴリに対応する第２特徴集合は、前記複数の画像集合のうちの第２カテゴリに対応する電車画像集合の画像から抽出された複数の抽出特徴から形成され、
前記複数の特徴出現頻度分布のうちの前記第１カテゴリに対応する第１特徴出現頻度分布は、前記自動車画像集合により前記複数の特徴に対応付けられる複数の頻度を示し、
前記複数の特徴出現頻度分布のうちの前記第２カテゴリに対応する第２特徴出現頻度分布は、前記電車画像集合により前記複数の特徴に対応付けられる複数の頻度を示し、
前記複数の物体特徴のうちの前記第１カテゴリに対応する第１物体特徴は、前記自動車画像集合により前記複数の重要特徴に対応付けられる複数の頻度を示し、
前記複数の物体特徴のうちの前記第２カテゴリに対応する第２物体特徴は、前記電車画像集合により前記複数の重要特徴に対応付けられる複数の頻度を示す
物体特徴抽出装置。
【請求項２】
請求項１において、
前記複数の物体特徴に基づいて、入力装置を介して入力される入力画像が属するカテゴリを前記複数のカテゴリから選択する物体特徴照合部
をさらに具備する物体特徴抽出装置。
【請求項３】
請求項１または請求項２のいずれかにおいて、
前記特徴抽出部は、前記複数の特徴出現頻度分布に基づいて前記複数の特徴に対応する複数の相関値を算出し、前記複数の相関値に基づいて前記複数の特徴から前記複数の重要特徴を選択し、
前記複数の相関値のうちの任意の特徴に対応する１つの相関値は、前記第１特徴出現頻度分布により前記任意の特徴に対応付けられる第１頻度と前記第２特徴出現頻度分布により前記任意の特徴に対応付けられる第２頻度とに基づいて算出される
物体特徴抽出装置。
【請求項４】
請求項３において、
前記１つの相関値は、前記第１頻度と前記第２頻度との積を示し、
前記複数の重要特徴は、前記複数の相関値のうちの前記複数の重要特徴に対応する重要相関値が前記複数の相関値の定義域の最小値より大きい第１値より大きくなるように、かつ、前記重要相関値が前記定義域の最大値より小さい第２値より小さくなるように、前記複数の特徴から選択される
物体特徴抽出装置。
【請求項５】
請求項１〜請求項４のいずれかにおいて、
前記複数の特徴集合に基づいて前記複数の特徴に対応する複数の代表特徴を生成する代表特徴生成部と、
前記複数の特徴集合のうちの各々の特徴を前記複数の代表特徴のうちのいずれかに割り当てる代表特徴割当部とをさらに具備し、
前記第１特徴出現頻度分布により任意の特徴に対応付けられた頻度は、前記複数の代表特徴のうちの前記任意の特徴に対応する１つの代表特徴に割り当てられた特徴が前記自動車画像集合の画像に出現する頻度を示し、
前記第２特徴出現頻度分布により前記任意の特徴に対応付けられた頻度は、前記１つの代表特徴に割り当てられた特徴が前記電車画像集合の画像に出現する頻度を示す
物体特徴抽出装置。
【請求項６】
請求項１〜請求項４のいずれかにおいて、
前記複数の特徴は、前記複数の画像集合のうちの１つの画像に出現した複数の出現特徴から複数の選択特徴を選択する複数の組み合わせに対応し、
前記第１特徴出現頻度分布により任意の特徴に対応付けられた頻度は、前記複数の組み合わせのうちの前記任意の特徴に対応する１つの組み合わせにより選択された複数の共起特徴が前記自動車画像集合の画像に共起する頻度を示し、
前記第２特徴出現頻度分布により前記任意の特徴に対応付けられた頻度は、前記複数の共起特徴が前記電車画像集合の画像に共起する頻度を示す
物体特徴抽出装置。
【請求項７】
請求項１〜請求項４のいずれかにおいて、
前記複数の特徴は、前記複数の画像集合のうちの１つの画像に出現した複数の出現特徴から複数の選択特徴を選択する複数の組み合わせに対応し、
前記第１特徴出現頻度分布により任意の特徴に対応付けられた頻度は、前記複数の組み合わせのうちの前記任意の特徴に対応する１つの組み合わせにより選択された複数の共起特徴のうちの１つの特徴が前記自動車画像集合の自動車画像に出現した位置に基づいて算出された範囲に前記複数の共起特徴のうちの前記１つの特徴を除く他の特徴が前記自動車画像に出現する頻度を示し、
前記第２特徴出現頻度分布により前記任意の特徴に対応付けられた頻度は、前記１つの特徴が前記電車画像集合の電車画像に出現した位置に基づいて算出された範囲に前記他の特徴が前記電車画像に出現する頻度を示す
物体特徴抽出装置。
【請求項８】
請求項１〜請求項４のいずれかにおいて、
前記複数の特徴集合に基づいて前記複数の特徴に対応する複数の幾何特徴を生成する幾何特徴算出部と、
前記複数の特徴集合のうちの共起する複数の共起特徴がそれぞれ出現する複数の位置の位置関係を前記複数の幾何特徴のうちのいずれかに割り当てる幾何特徴割当部とをさらに具備し、
前記第１特徴出現頻度分布により任意の特徴に対応付けられた頻度は、前記複数の幾何特徴のうちの前記任意の特徴に対応する１つの幾何特徴に割り当てられた位置関係を有する複数の共起特徴が前記自動車画像集合の画像に出現する頻度を示し、
前記第２特徴出現頻度分布により前記任意の特徴に対応付けられた頻度は、前記１つの幾何特徴に割り当てられた位置関係を有する複数の共起特徴が前記電車画像集合の画像に出現する頻度を示す
物体特徴抽出装置。
【請求項９】
複数のカテゴリに対応する複数の画像集合から複数の特徴集合をそれぞれ抽出するステップと、
前記複数の特徴集合に基づいて複数の特徴出現頻度分布をそれぞれ算出するステップと、
前記複数の特徴出現頻度分布の比較結果に基づいて複数の特徴から複数の重要特徴を選択するステップと、
前記複数の特徴出現頻度分布と前記複数の重要特徴とに基づいて複数の物体特徴を算出するステップとを具備し、
前記複数の特徴集合のうちの第１カテゴリに対応する第１特徴集合は、前記複数の画像集合のうちの第１カテゴリに対応する自動車画像集合の画像から抽出された複数の抽出特徴から形成され、
前記複数の特徴集合のうちの第２カテゴリに対応する第２特徴集合は、前記複数の画像集合のうちの第２カテゴリに対応する電車画像集合の画像から抽出された複数の抽出特徴から形成され、
前記複数の特徴出現頻度分布のうちの前記第１カテゴリに対応する第１特徴出現頻度分布は、前記自動車画像集合により前記複数の特徴に対応付けられる複数の頻度を示し、
前記複数の特徴出現頻度分布のうちの前記第２カテゴリに対応する第２特徴出現頻度分布は、前記電車画像集合により前記複数の特徴に対応付けられる複数の頻度を示し、
前記複数の物体特徴のうちの前記第１カテゴリに対応する第１物体特徴は、前記自動車画像集合により前記複数の重要特徴に対応付けられる複数の頻度を示し、
前記複数の物体特徴のうちの前記第２カテゴリに対応する第２物体特徴は、前記電車画像集合により前記複数の重要特徴に対応付けられる複数の頻度を示す
物体特徴抽出方法。
【請求項１０】
請求項９において、
前記複数の物体特徴に基づいて、入力装置を介して入力される入力画像が属するカテゴリを前記複数のカテゴリから選択するステップ
をさらに具備する物体特徴抽出方法。
【請求項１１】
請求項９または請求項１０のいずれかにおいて、
前記複数の特徴出現頻度分布に基づいて前記複数の特徴に対応する複数の相関値を算出するステップと、
前記複数の相関値に基づいて前記複数の特徴から前記複数の重要特徴を選択するステップとをさらに具備し、
前記複数の相関値のうちの任意の特徴に対応する１つの相関値は、前記第１特徴出現頻度分布により前記任意の特徴に対応付けられる第１頻度と前記第２特徴出現頻度分布により前記任意の特徴に対応付けられる第２頻度とに基づいて算出される
物体特徴抽出方法。
【請求項１２】
請求項１１において、
前記１つの相関値は、前記第１頻度と前記第２頻度との積を示し、
前記複数の重要特徴は、前記複数の相関値のうちの前記複数の重要特徴に対応する重要相関値が前記複数の相関値の定義域の最小値より大きい第１値より大きくなるように、かつ、前記重要相関値が前記定義域の最大値より小さい第２値より小さくなるように、前記複数の特徴から選択される
物体特徴抽出方法。
【請求項１３】
請求項９〜請求項１２のいずれかにおいて、
前記複数の特徴集合に基づいて前記複数の特徴に対応する複数の代表特徴を生成するステップと、
前記複数の特徴集合のうちの各々の特徴を前記複数の代表特徴のうちのいずれかに割り当てるステップとをさらに具備し、
前記第１特徴出現頻度分布により任意の特徴に対応付けられた頻度は、前記複数の代表特徴のうちの前記任意の特徴に対応する１つの代表特徴に割り当てられた特徴が前記自動車画像集合の画像に出現する頻度を示し、
前記第２特徴出現頻度分布により前記任意の特徴に対応付けられた頻度は、前記１つの代表特徴に割り当てられた特徴が前記電車画像集合の画像に出現する頻度を示す
物体特徴抽出方法。
【請求項１４】
請求項９〜請求項１２のいずれかにおいて、
前記複数の特徴は、前記複数の画像集合のうちの１つの画像に出現した複数の出現特徴から複数の選択特徴を選択する複数の組み合わせに対応し、
前記第１特徴出現頻度分布により任意の特徴に対応付けられた頻度は、前記複数の組み合わせのうちの前記任意の特徴に対応する１つの組み合わせにより選択された複数の共起特徴が前記自動車画像集合の画像に共起する頻度を示し、
前記第２特徴出現頻度分布により前記任意の特徴に対応付けられた頻度は、前記複数の共起特徴が前記電車画像集合の画像に共起する頻度を示す
物体特徴抽出方法。
【請求項１５】
請求項９〜請求項１２のいずれかにおいて、
前記複数の特徴は、前記複数の画像集合のうちの１つの画像に出現した複数の出現特徴から複数の選択特徴を選択する複数の組み合わせに対応し、
前記第１特徴出現頻度分布により任意の特徴に対応付けられた頻度は、前記複数の組み合わせのうちの前記任意の特徴に対応する１つの組み合わせにより選択された複数の共起特徴のうちの１つの特徴が前記自動車画像集合の自動車画像に出現した位置に基づいて算出された範囲に前記複数の共起特徴のうちの前記１つの特徴を除く他の特徴が前記自動車画像に出現する頻度を示し、
前記第２特徴出現頻度分布により前記任意の特徴に対応付けられた頻度は、前記１つの特徴が前記電車画像集合の電車画像に出現した位置に基づいて算出された範囲に前記他の特徴が前記電車画像に出現する頻度を示す
物体特徴抽出方法。
【請求項１６】
請求項９〜請求項１２のいずれかにおいて、
前記複数の特徴集合に基づいて前記複数の特徴に対応する複数の幾何特徴を生成するステップと、
前記複数の特徴集合のうちの共起する複数の共起特徴がそれぞれ出現する複数の位置の位置関係を前記複数の幾何特徴のうちのいずれかに割り当てるステップとをさらに具備し、
前記第１特徴出現頻度分布により任意の特徴に対応付けられた頻度は、前記複数の幾何特徴のうちの前記任意の特徴に対応する１つの幾何特徴に割り当てられた位置関係を有する複数の共起特徴が前記自動車画像集合の画像に出現する頻度を示し、
前記第２特徴出現頻度分布により前記任意の特徴に対応付けられた頻度は、前記１つの幾何特徴に割り当てられた位置関係を有する複数の共起特徴が前記電車画像集合の画像に出現する頻度を示す
物体特徴抽出方法。
【請求項１７】
複数のカテゴリに対応する複数の画像集合から複数の特徴集合をそれぞれ抽出する特徴抽出部と、
前記複数の特徴集合に基づいて複数の特徴出現頻度分布をそれぞれ算出する特徴出現頻度分布算出部と、
前記複数の特徴出現頻度分布の比較結果に基づいて複数の特徴から複数の重要特徴を選択し、前記複数の特徴出現頻度分布と前記複数の重要特徴とに基づいて複数の物体特徴を算出する物体特徴抽出部とをコンピュータに実現させるためのプログラムであり、
前記複数の特徴集合のうちの第１カテゴリに対応する第１特徴集合は、前記複数の画像集合のうちの第１カテゴリに対応する自動車画像集合の画像から抽出された複数の抽出特徴から形成され、
前記複数の特徴集合のうちの第２カテゴリに対応する第２特徴集合は、前記複数の画像集合のうちの第２カテゴリに対応する電車画像集合の画像から抽出された複数の抽出特徴から形成され、
前記複数の特徴出現頻度分布のうちの前記第１カテゴリに対応する第１特徴出現頻度分布は、前記自動車画像集合により前記複数の特徴に対応付けられる複数の頻度を示し、
前記複数の特徴出現頻度分布のうちの前記第２カテゴリに対応する第２特徴出現頻度分布は、前記電車画像集合により前記複数の特徴に対応付けられる複数の頻度を示し、
前記複数の物体特徴のうちの前記第１カテゴリに対応する第１物体特徴は、前記自動車画像集合により前記複数の重要特徴に対応付けられる複数の頻度を示し、
前記複数の物体特徴のうちの前記第２カテゴリに対応する第２物体特徴は、前記電車画像集合により前記複数の重要特徴に対応付けられる複数の頻度を示す
物体特徴抽出プログラム。
【請求項１８】
請求項１７において、
前記複数の物体特徴に基づいて、入力装置を介して入力される入力画像が属するカテゴリを前記複数のカテゴリから選択する物体特徴照合部
をさらに前記コンピュータに実現させるための物体特徴抽出プログラム。
【請求項１９】
請求項１７または請求項１８のいずれかにおいて、
前記特徴抽出部は、前記複数の特徴出現頻度分布に基づいて前記複数の特徴に対応する複数の相関値を算出し、前記複数の相関値に基づいて前記複数の特徴から前記複数の重要特徴を選択し、
前記複数の相関値のうちの任意の特徴に対応する１つの相関値は、前記第１特徴出現頻度分布により前記任意の特徴に対応付けられる第１頻度と前記第２特徴出現頻度分布により前記任意の特徴に対応付けられる第２頻度とに基づいて算出される
物体特徴抽出プログラム。
【請求項２０】
請求項１９において、
前記１つの相関値は、前記第１頻度と前記第２頻度との積を示し、
前記複数の重要特徴は、前記複数の相関値のうちの前記複数の重要特徴に対応する重要相関値が前記複数の相関値の定義域の最小値より大きい第１値より大きくなるように、かつ、前記重要相関値が前記定義域の最大値より小さい第２値より小さくなるように、前記複数の特徴から選択される
物体特徴抽出プログラム。
【請求項２１】
請求項１７〜請求項２０のいずれかにおいて、
前記複数の特徴集合に基づいて前記複数の特徴に対応する複数の代表特徴を生成する代表特徴生成部と、
前記複数の特徴集合のうちの各々の特徴を前記複数の代表特徴のうちのいずれかに割り当てる代表特徴割当部とをさらに前記コンピュータに実現させ、
前記第１特徴出現頻度分布により任意の特徴に対応付けられた頻度は、前記複数の代表特徴のうちの前記任意の特徴に対応する１つの代表特徴に割り当てられた特徴が前記自動車画像集合の画像に出現する頻度を示し、
前記第２特徴出現頻度分布により前記任意の特徴に対応付けられた頻度は、前記１つの代表特徴に割り当てられた特徴が前記電車画像集合の画像に出現する頻度を示す
物体特徴抽出プログラム。
【請求項２２】
請求項１７〜請求項２０のいずれかにおいて、
前記複数の特徴は、前記複数の画像集合のうちの１つの画像に出現した複数の出現特徴から複数の選択特徴を選択する複数の組み合わせに対応し、
前記第１特徴出現頻度分布により任意の特徴に対応付けられた頻度は、前記複数の組み合わせのうちの前記任意の特徴に対応する１つの組み合わせにより選択された複数の共起特徴が前記自動車画像集合の画像に共起する頻度を示し、
前記第２特徴出現頻度分布により前記任意の特徴に対応付けられた頻度は、前記複数の共起特徴が前記電車画像集合の画像に共起する頻度を示す
物体特徴抽出プログラム。
【請求項２３】
請求項１７〜請求項２０のいずれかにおいて、
前記複数の特徴は、前記複数の画像集合のうちの１つの画像に出現した複数の出現特徴から複数の選択特徴を選択する複数の組み合わせに対応し、
前記第１特徴出現頻度分布により任意の特徴に対応付けられた頻度は、前記複数の組み合わせのうちの前記任意の特徴に対応する１つの組み合わせにより選択された複数の共起特徴のうちの１つの特徴が前記自動車画像集合の自動車画像に出現した位置に基づいて算出された範囲に前記複数の共起特徴のうちの前記１つの特徴を除く他の特徴が前記自動車画像に出現する頻度を示し、
前記第２特徴出現頻度分布により前記任意の特徴に対応付けられた頻度は、前記１つの特徴が前記電車画像集合の電車画像に出現した位置に基づいて算出された範囲に前記他の特徴が前記電車画像に出現する頻度を示す
物体特徴抽出プログラム。
【請求項２４】
請求項１７〜請求項２０のいずれかにおいて、
前記複数の特徴集合に基づいて前記複数の特徴に対応する複数の幾何特徴を生成する幾何特徴算出部と、
前記複数の特徴集合のうちの共起する複数の共起特徴がそれぞれ出現する複数の位置の位置関係を前記複数の幾何特徴のうちのいずれかに割り当てる幾何特徴割当部とをさらに前記コンピュータに実現させ、
前記第１特徴出現頻度分布により任意の特徴に対応付けられた頻度は、前記複数の幾何特徴のうちの前記任意の特徴に対応する１つの幾何特徴に割り当てられた位置関係を有する複数の共起特徴が前記自動車画像集合の画像に出現する頻度を示し、
前記第２特徴出現頻度分布により前記任意の特徴に対応付けられた頻度は、前記１つの幾何特徴に割り当てられた位置関係を有する複数の共起特徴が前記電車画像集合の画像に出現する頻度を示す
物体特徴抽出プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【公開番号】特開２０１０−２８２５８１（Ｐ２０１０−２８２５８１Ａ）
【公開日】平成２２年１２月１６日（２０１０．１２．１６）
【国際特許分類】
【出願番号】特願２００９−１３７６２６（Ｐ２００９−１３７６２６）
【出願日】平成２１年６月８日（２００９．６．８）
【出願人】（０００００４２３７）日本電気株式会社 (19,353)
【Ｆターム（参考）】
【公開日】平成２２年１２月１６日（２０１０．１２．１６）
【国際特許分類】
【出願日】平成２１年６月８日（２００９．６．８）
【出願人】（０００００４２３７）日本電気株式会社 (19,353)
【Ｆターム（参考）】
[ Back to top ]