説明

パターン認識装置,パターン認識方法,その方法を実装したパターン認識プログラム,そのプログラムを記録した記録媒体

【課題】画像パターンの類似した物体を高精度かつ高速に認識する。
【解決手段】入力された学習画像データをブロック分割し、該学習画像におけるブロックを構成する画素の符号の組み合わせを作成する(104)。次に、前記画素の組み合わせによる同時生起確率を算出し、その算出された同時生起確率を前記画素の組み合わせに応じた確率テーブルを作成し(105)、記憶部に保存する(106)。入力された入力画像をブロック分割し、該入力画像におけるブロックを構成する画素の符号の組み合わせを作成する(110)。前記確率テーブルと前記入力画像データにおける各ブロックの符号の組み合わせに基づいて類似度を算出する(111)。前記物体に応じた類似度において、最大の類似度に応じた物体を識別結果とする(112)。前記識別結果の出力情報として、前記識別結果に応じた物体を識別する情報を出力する(113)。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像データにおけるパターン認識技術に関するものである。
【背景技術】
【0002】
近年、携帯電話にカメラ機能が搭載され、いつでも手軽に画像データを取得し、保存できるようになった。このカメラ機能をさらに活用する手段として、取得した画像データから該画像に写る物体を認識し、その物体に関連したデータを提供するというサービスが考えられる。携帯電話のネットワーク接続機能によって、画像データをサーバに転送すれば、携帯電話上では実現できないようなパターン認識処理もサーバ上で代行できる。
【0003】
対象となる物体をカメラで撮影する場合、撮影方向等によって画像上での見え方が異なってくる。そのため、さまざまな方向からの撮影画像を予め登録しておく必要がある。しかし、全ての画像をそのまま登録し、マッチングにより識別すると、膨大なメモリ量と処理時間が必要になってくる。そのため、一般的に、部分空間法等のデータ圧縮及び照合法によって、メモリ量と処理時間を削減する方法(例えば、非特許文献1参照)が知られている。
【0004】
また、近年、より高速かつ省メモリ化可能な方法として、確率的増分符号相関法(例えば、非特許文献2参照)が提案された。この方法は、物体の個体差や撮影方向の変化等に対し、確率に基づく照合評価値を定義することによって、高速に精度良く認識できるようにしたものであって、照明変動やノイズ、オクルージョンにも比較的ロバストである点が特徴である。この確率的増分符号相関法では、隣り合う2画素での明度値の増減を符号として用いる。画像上の位置とその場所で観測される符号の生起確率を利用して、あらかじめ登録された物体の画像パターンとの類似度を算出する。
【0005】
なお、上述のようなパターン認識における関連技術として、モフォロジ処理の一種であるTophat変換(例えば、非特許文献3参照)が知られている。
【非特許文献1】石井健一郎,上田修功,前田英作,村瀬洋、「わかりやすいパターン認識」、第1版、オーム社、平成10(1998)年8月20日。
【非特許文献2】三田雄志,金子敏充,堀修、「個体差のある対象の画像照合に適した確率的増分符号相関」、電子情報通信学会論文誌D−II,Vol.J88−D−II,No.8、平成17(2005)年8月、pp.1614−1623。
【非特許文献3】西村敏博,椿井正義,玉木康博,「マンモグラフィ像からの乳腺組織領域の自動抽出法の検討」、日本エム・イー学会誌 生体医工学,vol.42,suppl.2、平成16年11月(Nov.2004)、p.190。
【発明の開示】
【発明が解決しようとする課題】
【0006】
しかし、上述の確率的増分符号相関法では、画像上の各位置における生起確率は全て独立とみなしているため、類似した画像パターンの識別があまり得意でないといった問題が知られている。
【0007】
本発明は、前記問題点に基づいてなされたものであって、画像パターンの類似した物体を高精度かつ高速に認識できるパターン認識装置,パターン認識方法,その方法を実装したパターン認識プログラム,そのプログラムを記録した記録媒体を提供することにある。
【課題を解決するための手段】
【0008】
前記課題の解決を図るために、請求項1記載の発明は、データ入力するデータ入力手段と、データを記憶し管理する記憶手段と、を備え、該データ入力手段を用いて入力された入力画像データに含まれる物体を識別するパターン認識装置であって、任意の2pixel以上の画像データを2pixel以上の大きさのブロックに分割し、その分割された各ブロックを構成する画素の画素値を特定の符号化法に基づいて符号化し、該ブロックにおける画素の符号の組み合わせを作成する符号化手段と、撮像装置で撮像された学習画像データを前記データ入力手段を用いて入力する学習画像データ入力手段と、前記学習画像データを前記符号化手段を用いて、該学習画像におけるブロックを構成する画素の符号の組み合わせを作成する学習画像符号化手段と、前記画素の組み合わせによる同時生起確率を算出し、その算出された同時生起確率を前記画素の組み合わせに応じた確率テーブルを作成する確率テーブル作成手段と、前記作成された確率テーブルを予め備えられた記憶手段に保存する確率テーブル記憶手段と、前記入力画像データを前記データ入力手段を用いて入力する対象画像データ入力手段と、前記入力画像データを前記符号化手段を用いて、該入力画像におけるブロックを構成する画素の符号の組み合わせを作成する対象画像符号化手段と、前記確率テーブルと前記入力画像データにおける各ブロックの符号の組み合わせに基づいて類似度を算出する類似度算出手段と、前記物体に応じた類似度において、最大の類似度に応じた物体を識別結果とする識別手段と、前記識別結果の出力情報として、前記識別結果に応じた物体を識別する情報を出力する出力手段と、を備えることを特徴とする。
【0009】
請求項2記載の発明は、請求項1記載の発明において、周波数領域に基づくフィルタリングを含むノイズ除去を前記学習画像データに対して行う学習画像周波数処理手段と、周波数領域に基づくフィルタリングを含むノイズ除去を前記入力画像データに対して行う入力画像周波数処理手段と、を備えることを特徴とする。
【0010】
請求項3記載の発明は、請求項1記載の発明において、Tophat変換に基づく前処理を前記学習画像データに対して行う学習画像Tophat変換処理手段と、Tophat変換に基づく前処理を前記入力画像データに対して行う入力画像Tophat変換処理手段と、を備えることを特徴とする。
【0011】
請求項4記載の発明は、請求項1乃至3のいずれかに記載の発明において、前記確率テーブル作成手段が、前記確率テーブルを参照する順番を前記物体ごとに最適な順番に変更する手段、を備え、前記確率テーブル記憶手段が、前記確率テーブルを参照する順番を示す順番情報を保存する手段、を備え、前記類似度算出手段が、前記順番情報に基づき前記確率テーブルを参照しつつ類似度を算出する手段と、算出中の類似度が特定のしきい値以下になることが確定した場合、類似度算出処理を打ち切る類似度算出処理打ち切り手段と、を備えることを特徴とする。
【0012】
請求項5記載の発明は、請求項4記載の発明において、前記類似度算出処理打ち切り手段が、類似度計算済みのブロックに応じた類似度と類似度未計算のブロックに応じて算出した類似度に基づいて、予測類似度を算出し、該予測類似度が特定のしきい値以下になった場合、類似度算出処理を打ち切る手段、を備えることを特徴とする。
【0013】
請求項6記載の発明は、請求項4または5に記載の発明において、前記確率テーブル作成手段が、前記確率テーブルを参照する順番を、確率テーブルにおける確率分布のエントロピーの小さい順に変更する手段、を備えることを特徴とする。
【0014】
請求項7記載の発明は、データ入力するデータ入力手段と、データを記憶し管理する記憶手段と、を備え、該データ入力手段を用いて入力された入力画像データに含まれる物体を識別する装置に使用するパターン認識方法であって、撮像装置で撮像された学習画像データを前記データ入力手段を用いて入力する学習画像データ入力ステップと、前記学習画像データを2pixel以上の大きさのブロックに分割し、その分割された各ブロックを構成する画素の画素値を特定の符号化法に基づいて符号化し、該ブロックにおける画素の符号の組み合わせを作成する学習画像符号化ステップと、前記画素の組み合わせによる同時生起確率を算出し、その算出された同時生起確率を前記画素の組み合わせに応じた確率テーブルを作成する確率テーブル作成ステップと、前記作成された確率テーブルを予め備えられた記憶手段に保存する確率テーブル記憶ステップと、前記入力画像データを入力する前記データ入力手段を用いて対象画像データ入力ステップと、前記入力画像データを2pixel以上の大きさのブロックに分割し、その分割された各ブロックを構成する画素の画素値を特定の符号化法に基づいて符号化し、該ブロックにおける画素の符号の組み合わせを作成する対象画像符号化ステップと、前記確率テーブルと前記入力画像データにおける各ブロックの符号の組み合わせに基づいて類似度を算出する類似度算出ステップと、前記物体に応じた類似度において、最大の類似度に応じた物体を識別結果とする識別ステップと、前記識別結果の出力情報として、前記識別結果に応じた物体を識別する情報を出力する出力ステップと、を有することを特徴とする。
【0015】
請求項8記載の発明は、請求項7記載の発明において、前記学習画像データ入力ステップより後、かつ、前記学習画像符号化ステップより前に、周波数領域に基づくフィルタリングを含むノイズ除去を前記学習画像データに対して行う学習画像周波数処理ステップを有し、前記対象画像データ入力ステップより後、かつ、前記対象画像符号化ステップより前に、周波数領域に基づくフィルタリングを含むノイズ除去を前記入力画像データに対して行う入力画像周波数処理ステップを有する、ことを特徴とする。
【0016】
請求項9記載の発明は、請求項7記載の発明において、前記学習画像データ入力ステップより後、かつ、前記学習画像符号化ステップより前に、Tophat変換に基づく前処理を前記学習画像データに対して行う学習画像Tophat変換処理ステップを有し、前記対象画像データ入力ステップより後、かつ、前記対象画像符号化ステップより前に、Tophat変換に基づく前処理を前記入力画像データに対して行う入力画像Tophat変換処理ステップを有する、ことを特徴とする。
【0017】
請求項10記載の発明は、請求項7乃至9のいずれかに記載の発明において、前記確率テーブル作成ステップが、前記確率テーブルを参照する順番を前記物体ごとに最適な順番に変更するステップ、を有し、前記確率テーブル記憶ステップが、前記確率テーブルを参照する順番を示す順番情報を保存するステップ、を有し、前記類似度算出ステップが、前記順番情報に基づき前記確率テーブルを参照しつつ類似度を算出するステップと、算出中の類似度が特定のしきい値以下になることが確定した場合、類似度算出処理を打ち切る類似度算出処理打ち切りステップと、を有することを特徴とする。
【0018】
請求項11記載の発明は、請求項10記載の発明において、前記類似度算出処理打ち切りステップが、類似度計算済みのブロックに応じた類似度と類似度未計算のブロックに応じて算出した類似度に基づいて、予測類似度を算出し、該予測類似度が特定のしきい値以下になった場合、類似度算出処理を打ち切るステップ、を有することを特徴とする。
【0019】
請求項12記載の発明は、請求項10または11に記載の発明において、前記確率テーブル作成ステップが、前記確率テーブルを参照する順番を、確率テーブルにおける確率分布のエントロピーの小さい順に変更するステップ、を有することを特徴とする。
【0020】
請求項13記載の発明は、パターン認識プログラムであって、請求項7乃至12のいずれかに記載のパターン認識方法を、コンピュータで実行可能なコンピュータプログラムとして記述したことを特徴とする。
【0021】
請求項14記載の発明は、記録媒体であって、請求項7乃至12のいずれかに記載のパターン認識方法を、コンピュータで実行可能なコンピュータプログラムとして記述し、そのコンピュータプログラムを記録したことを特徴とする。
【0022】
前記請求項1,7に記載の発明は、ブロック内の符号を組み合わせた同時生起確率を算出し、それらを用いた類似度(照合評価値)を算出できる。
【0023】
前記請求項2,8に記載の発明は、照明の照り返し等、低周波に属すると想定されるノイズを除去できる。
【0024】
前記請求項3,9に記載の発明は、部分的な影を原因と想定されるノイズを除去できる。
【0025】
前記請求項4,10に記載の発明は、物体ごとに決定された確率テーブルを参照する順番で類似度を算出する。
【0026】
前記請求項5,11に記載の発明は、未類似度計算のブロックに応じて算出した類似度に基づいた予測類似度を算出できる。
【0027】
前記請求項6,12に記載の発明は、より早期の類似度計算を打ち切ることができる。
【0028】
前記請求項13に記載の発明は、請求項7乃至12のいずれかに記載のパターン認識方法をコンピュータプログラムとして記載できる。
【0029】
前記請求項14に記載の発明は、請求項7乃至12のいずれかに記載のパターン認識方法を実装したコンピュータプログラムを記録媒体に記録できる。
【発明の効果】
【0030】
以上示したように請求項1,7の発明によれば、類似度に基づいたブロック内の符号同士の相関情報が利用でき、結果として、より高精度に物体を認識できる。
【0031】
請求項2,8の発明によれば、照明の照り返し等、低周波に属すると想定されるノイズに起因する認識率低下を抑制できる。
【0032】
請求項3,9の発明によれば、部分的な影を原因と想定されるノイズに起因する認識率低下を抑制できる。
【0033】
請求項4,10の発明によれば、入力画像における物体を、精度を落とすことなく高速に認識できる。
【0034】
請求項5,11の発明によれば、予測類似度がしきい値を超えることを確認した時点でその後の類似度計算を打ち切ることができる。
【0035】
請求項6,12の発明によれば、入力画像における物体を高速に認識できる。
【0036】
請求項13の発明によれば、パターン認識方法を実装したコンピュータプログラムを提供できる。
【0037】
請求項14の発明によれば、パターン認識方法を実装したコンピュータプログラムを記録した記録媒体を提供できる。
【0038】
これらを以って画像認識技術分野に貢献できる。
【発明を実施するための最良の形態】
【0039】
以下、本発明の実施形態を図面等に基づいて詳細に説明する。
【0040】
本発明におけるパターン認識方法では、画像(デジタル画像データ;以下、画像はデジタル画像データを示す)全体を2pixel以上の大きさのブロックに分割し、ブロック内の複数の符号を組み合わせた同時生起確率を算出し、それらを用いた類似度を求める(もしくは、照合評価値を定義する)。
【0041】
具体的には、まず、登録過程において、例えば、図4のように2×(かける)2pixelの大きさのブロック(例えば、ブロックb)で学習(登録用)画像L(画像Lを画素で表現した画像B1)を空間分割(例えば、ブロック群B2に空間分割)する。
【0042】
次に、そのブロック内で図5のような4種類の画素対で符号(「−」,「0(ゼロ)」,「+」のいずれかの記号値をとる符号(記号)であって、特許図面上の符号ではない)を算出し、それらの符号(記号)の全組み合わせ(全パターン)の生起確率(同時生起確率;組み合わせの生起確率)を算出する。なお、以下の説明では、特許図面上の符号と区別するために、前記符号(記号)の具体例を表現する場合は、識別番号をダブルクォーテーションで囲って(例えば、符号“XX”(XXは識別番号))と表現する。
【0043】
図5に基づいて、画素と符号の関係を説明する。図5中のブロックbの左上の画素Px1(印○が付与された画素)の明度(画素値の一種)から右上の画素Px2(印×が付与された画素)の明度を減算した値が0の場合は、符号“c1”は「0」になる。その減算した値が負の値であった場合は、符号“c1”は「−」となる。その減算した値が正の値であった場合は、符号“c1”は「+」となる。同様に、画素Px1と画素Px3、画素Px1と画素Px4、画素Px2と画素Px3の符号を各々算出する。
【0044】
そして、全ての位置(ブロック)における同時生起確率を対数変換してテーブル化し確率テーブルを生成し、記憶部(例えば、メモリ)に蓄積する。
【0045】
また、認識過程においては、入力された画像上の位置とその場所で観測された符号組み合わせ(符号パターン)よって、その組み合わせ(パターン)の同時生起確率を前記確率テーブルから参照し、全ての位置(ブロック)の参照結果の和を求めて類似度とする。この類似度が最も大きく算出される登録物体(予め登録されたオブジェクト)を識別結果とする。
【0046】
上述の方法では、ブロック内の複数の符号の生起確率をそれぞれ独立とはみなさず、符号同士の相関を追加情報として利用する。より直感的に説明すると、図4、図5のような符号のまとめ方をする場合、その位置における勾配方向の相異がより厳しく評価されることになる。そのため、従来の確率的増分符号相関法では認識誤りを起こしてしまうような類似した物体同士でも比較的正しく識別できる。また、複雑な背景のある画像を入力した場合でも、背景から誤抽出されることは少なくなる。
【0047】
表面反射率の高い物体の場合、上述の確率的増分符号相関法は、照明等の照り返しによって物体の見え方が大きく変化し、認識精度が低下する問題も発生する。
【0048】
さらに、照明条件の非常に厳しい状況下において、部分的な影が認識精度低下を引き起こすことも問題とされる。
【0049】
その照明等の照り返しによる認識精度低下を防止する対応するために、前処理としてFFT(Fast Fourier Transform)変換もしくはFFT逆変換を用いた低周波除去処理を併用することによって、照明等の照り返しの影響を抑制できる。
【0050】
また、部分的な影による認識精度防止に対応するために、前処理としてモフォロジ処理の一種であるTophat変換(非特許文献3参照)を用いることにより、部分的にかかった影の影響を抑えることもできる。
【0051】
登録過程において、前記確率テーブルを参照する順番をオブジェクト(認識対象)ごとに決定し、認識過程においては、その順番で参照しつつ、その先の類似度上限値(予測類似度)を予測する。その予測された予測類似度がしきい値を超えることを確認した時点(タイミング)でその後の類似度計算を打ち切る。このタイミングの類似度計算打ち切りによって、認識過程の計算時間を削減することができる。なお、前記確率テーブルを参照する順番を、確率分布のエントロピーの小さい順番とすることによって、より早期の類似度計算打ち切りを実現できる。この早期の類似度計算打ち切りは、エントロピーの小さいものほど、登録オブジェクトか否かを判別しやすいと考えられるためである。
【0052】
なお、図4では、2×(かける)2pixelの正方形のブロックを採用しているが、2pixel以上で構成されるブロックであれば、矩形でなくても良い。また、図5では、4種類の符号(符号“c1”〜“c4”)を算出したが、4種類に限らずに複数種類の符号を算出すればよい。
【0053】
図1は、本実施形態におけるパターン認識装置の構成を示すブロック図である。図2は、本実施形態におけるパターン認識方法を示すフローチャートである。
【0054】
図1中のパターン認識装置は、学習画像データ(以下、単に学習画像という)を入力する学習画像データ入力部101,入力された学習画像からノイズを除去する周波数処理部102,異なった照明条件に応じた画像に変換するTophat変換処理部103,画像をブロック分割し各ブロックを符号化する符号化部104,ブロック位置における符号の生起確率を算出し確率テーブルを生成する確率テーブル作成部105,前記生成された確率テーブルを記憶する確率テーブル記憶部106,入力画像(データ)を入力する対象画像データ入力部107,入力画像からノイズを除去する周波数処理部108,Tophat変換処理部109,符号化部110,登録されたオブジェクトの確率テーブルと入力画像を符号化したデータに基づいて類似度を算出する類似度算出部111,前記算出された類似度に基づいて識別結果を算出する識別部112,前記識別結果を出力する出力部113を備える。なお、前記確率テーブル記憶部106は、予め備えられた記憶部の所定領域に確保する記憶領域を使って確率テーブルなどの情報を記憶し管理しても良い。
【0055】
前記パターン認識装置は、該パターン認識装置を構成する各部を制御する制御部(CPU(Central Processing Unit)やOS(Operating System))を備えていても良い。また、前記パターン認識装置は、情報やデータを汎用的に記憶し管理する記憶部(例えば、メモリやハードディスク)を備えていても良い。
【0056】
学習画像データ入力部101は、認識対象の登録に用いるため、さまざまな方向からデジタルカメラ等の撮像装置で撮像された複数の学習画像(即ち、自然画像データ)を一般的なデータ入力手段(回線や記憶部からデータ入力する手段)を用いて入力し、周波数処理部102に伝送する。なお、オブジェクトに対応する学習画像は、記憶部に予め格納され、その記憶部からデータ入力手段を介して順次に読み出して入力して処理しても良いし、一度に全ての学習画像を読み出して入力し処理しても良い。
【0057】
周波数処理部102は、次のようにノイズ除去のための周波数処理(周波数領域によるフィルタリング処理)を行う。各々の学習画像をFFTで周波数領域に変換する。そして、周波数がしきい値より小さい成分は全て値「0」に置き換える。最後に、IFFT(Inverse Fast Fourier Transform)によって画像に戻す。この周波数処理によって、照明の照り返し等、低周波に属すると想定されるノイズを除去できる。なお、照明の照り返しが元々少ない物体を対象とする場合は、この処理を省略(パス)しても良い。しかし、その場合には、認識処理においても同様に省略(パス)する必要がある。また、画像のコントラストを高める目的で、高周波領域に一定の係数(即ち、1より大きい係数)を乗算しても良い。
【0058】
Tophat変換処理部103は、周波数処理部102から伝送された画像にTophat変換を施す。このTophat変換によって、部分的な影により発生するエッジが除去され、異なった照明条件に対し安定した画像を得ることができる。この変換も、影が発生することがあまり想定されない場合は省略(パス)して良いが、認識処理でも同様に省略(パス)する必要がある。
【0059】
符号化部104は、Tophat変換処理部103より伝送された画像を基に、各ブロックで符号化処理を行う。符号化手法はさまざまなものが考えられるが、例えば、図5で示されたような、2×(かける)2ブロック内の4種類の差分値における正負符号(値「0」も別符号として定義された正負符号)の組み合わせを用いる方法が考えられる。この正負符号の組み合わせを用いる場合は、各ブロックで表現される符号の組み合わせは34(=81)通り考えられるので、81通りの組み合せを有する符号がブロックごとに与えられる。無論、ブロック内の符号の組み合わせ方法に関してはこれに限るものではない。また、上述したように、ブロックの大きさは2×(かける)2pixelから成るブロックに限らない。
【0060】
確率テーブル作成部105は、前記各学習画像(もしくは、周波数処理後,Tophat変換処理後の画像)の該当するブロック位置において、どの符号がどれだけ生起したかを確率で求める。例えば、図3中のブロック群B2に基づいて生起確率テーブルTを求める。さらに、ブロック位置(x,y)における符号kの生起確率をPk(x,y)とするとき、それらの対数をとった以下の式で表現される参照テーブル(確率テーブル)を算出する。なお、以下の説明において、前記生起確率の数学記号のように、説明文(式中を除き)中における数学記号で上付き文字と下付き文字を併記する場合は、上付き文字を先に記載し、下付き文字を後に記載する。
【0061】
【数1】

【0062】
確率テーブル記憶部106は、確率テーブル作成部105で算出された全ての確率要素rk(x,y)(即ち、確率テーブル)を予め備えられた記憶部に保存(登録)する。
【0063】
対象画像データ入力部107は、認識する物体を撮像した画像データ(以下、単に入力画像という)を一般的なデータ入力手段(回線や記憶部からデータ入力する手段)を用いて入力し、周波数処理部108に伝送する。なお、前記入力画像は、記憶部に予め格納され、その記憶部から読み出して入力して処理しても良い。
【0064】
周波数処理部108,Tophat変換処理部109,符号化部110は、処理対象を入力画像として、前述の周波数処理部102,Tophat変換処理部103,符号化部104と各々同じ処理を行うため、動作説明を省略する。なお、周波数処理部102と周波数処理部108間、Tophat変換処理部103とTophat変換処理部109間、符号化部104と符号化部108間で各々の共通部を括り出して備え、各々の部から呼び出して処理を行っても良い。例えば、符号化部104と符号化部110の共通部として、任意の2pixel以上の画像データを2pixel以上の大きさのブロックに分割し、その分割された各ブロックを構成する画素の画素値を特定の符号化法に基づいて符号化し、該ブロックにおける画素の符号の組み合わせを作成する符号化部を括り出して備え、符号化部104と符号化部110から該符号化部を使って処理しても良い。
【0065】
類似度算出部111は、あらかじめ登録したオブジェクト(登録オブジェクト)C(以下、単に、オブジェクトCという)の確率テーブルrkC,(x,y)と入力画像を符号化したデータg(x,y)を用いて、以下のような式で類似度SCを算出する。
【0066】
【数2】

【0067】
ここで、X、Yは入力画像(もしくは学習画像)の横方向のブロック数、縦方向のブロック数を各々表す。SCは負の実数であり、値が大きいほどオブジェクトCによく類似していると考えられる。もし、以下の式を満たす場合、オブジェクトCではないと判断する。以下の式で、TCはオブジェクトCであるか否かを判断するためのしきい値である。
【0068】
【数3】

【0069】
さらに、この類似度算出計算は、しきい値との関係を常に監視していれば、全ての総和を求めなくても途中でオブジェクトCでないことが分かるので、その時点で類似度算出計算を打ち切ることができる。具体的には、いまSCの足し込み計算をしている途中で計算途中類似度ScurCである時、残りのブロックで全て最も大きな値が選ばれた場合の残り分の総和(残り類似度)SremCを足した値(予測類似度)が以下の式を満たす場合には、類似度算出処理を打ち切って、オブジェクトCではないと判断すればよい。
【0070】
【数4】

【0071】
前記打ち切りは、足し込み計算の初期で行われる方が、より高速化に寄与できる。したがって、この足し込みの順番を、確率分布のエントロピーの小さいものから順番にして実行することによって、より高速な処理が実現できる。
【0072】
なぜなら、エントロピーが小さいものほど、オブジェクトCである場合とオブジェクトCでない場合のrg(x,y)C,(x,y)の差が大きいと考えられるため、エントロピーが小さい順に式(2)を計算することによって、より早期に打ち切りを決定できるようになる。この早期打ち切りを実際に行う場合、確率テーブル記憶部106において、登録されたオブジェクトの確率テーブルを保存すると同時に、参照する確率テーブルの順番を示すデータ(順番データ)をオブジェクトごとに保存する必要がある。また、認識時には、前記順番データに基づいて式(2)を計算していくことになる。
【0073】
識別部112は、全ての登録オブジェクトの類似度SCを比較し、最も値が大きいもの(最大の類似度に応じた登録オブジェクト)を識別結果とする。もし、この時点で全ての登録オブジェクトが不等式(3)を満たしていた場合は、「該当なし」という結果を出力部113に渡す。
【0074】
出力部113では、前記識別結果(例えば、識別された登録オブジェクトを示す名前)をディスプレイ等などの表示装置に出力する。
【0075】
なお、対象画像データ入力部107〜識別部112は、入力画像が学習画像と同じ大きさであるという想定で説明したが、入力画像が学習画像より大きく、入力画像の一部に登録オブジェクトが存在するような場合も存在する。この場合は、学習画像と同じ大きさの探索窓を用意し、入力画像の上をスキャンすることで対応できる。同様に、登録オブジェクトが入力画像にどのような大きさで入っているか分からない場合も、入力画像を多重解像度化し、各解像度画像上をスキャンすればよい。
【0076】
本実施形態におけるパターン認識方法を図2に基づいて説明する。なお、図2Aは、前記パターン認識における学習処理手順を示すフローチャートである。図2Bは、前記パターン認識における認識処理手順を示すフローチャートである。
【0077】
図2Aに基づいて、学習処理手順を以下に説明する。
【0078】
まず、学習画像(データ)を入力する(S101:学習画像データ入力部101)。
【0079】
次に、入力された学習画像をFFTで周波数領域に変換し、特定のしきい値より小さい成分を全て値「0」に置き換える。そして、前記変換もしくは置換された値をIFFTによって画像に再変換する(S102:周波数処理部102)。
【0080】
次に、ステップS102で処理された画像に対してTophat変換を施す(S103:Tophat変換処理部103)。
【0081】
次に、ステップS103で処理された画像をブロックに分割し、該ブロックに対して符号化処理を行う(S104:符号化部104)。
【0082】
次に、前記各学習画像(もしくは、周波数処理後,Tophat変換処理後の画像)の該当する位置において、どの符号がどれだけ生起したかを確率で求め、式(1)で表現される確率テーブルを作成する(S105:確率テーブル作成部105)。
【0083】
次に、ステップS105で作成された確率テーブルを構成する値を予め備えられた記憶部に保存する(S106:確率テーブル記憶部106)。
【0084】
そして、全てのカテゴリ(オブジェクト)の学習画像に対して確率テーブルを生成したか否かをチェックする(S1061)。生成した場合は、当該処理を終了する。生成していない場合は、ステップS101へ戻る。
【0085】
図2Bに基づいて認識処理手順を以下に説明する。
【0086】
まず、入力画像(データ)を入力する(S107:対象画像データ入力部107)。
【0087】
ステップS108(周波数処理部108),S109(Tophat変換処理部109),S110(符号化部110)は、処理対象を入力画像として、ステップS102,S103,S104を実行する処理と同じ処理であるため、説明を省略する。
【0088】
次に、登録オブジェクトの確率テーブルと入力画像を符号化したデータを用いて、類似度を算出する(S111:類似度算出部111)。なお、より具体的な処理は、前記類似度算出部111の説明を参照のこと。
【0089】
次に、全てのカテゴリの類似度を算出したか否かをチェックする(S1111)。算出した場合は、ステップS112へ進む。算出していない場合は、ステップS111に戻る。
【0090】
ステップS112では、全ての登録オブジェクトの類似度を比較し、最も値が大きいものを識別結果とする。
【0091】
そして、前記識別結果をディスプレイ等などの表示装置に出力する(S113:出力部113)。
【0092】
なお、本実施形態におけるパターン認識装置の機能を実現するソフトウェアのプログラムコードもしくは本実施形態におけるパターン認識方法を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のCPU(あるいはMPU(Microprocessing Unit))が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、実現できる。その場合、記憶媒体から読み出されたプログラムコード自体が上述した実施の形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体、例えば、CD−ROM(Compact Disk−Read Only Memory)、DVD−ROM(Digital Versatile Disk−Read Only Memory)、CD−R(Compact Disk Recordable)、CD−RW(Compact Disk ReWritable)、MO(Magneto−Optical disk)、HDD(Hard Disk Drive)等は本発明を構成する。また、上記のプログラムをインターネットや電子メールなど、ネットワークを通して提供することも可能である。
【0093】
さらに、上述の本実施形態におけるパターン認識装置に関する方法を記述したコンピュータプログラムを、その方法に必要とされる入出力データを格納したメモリや外部記憶部等にアクセスするように実装してもよい。
【0094】
以上、本発明の実施形態について説明したが、本発明は説明した実施形態に限定されるものでなく、各請求項に記載した範囲において各種の変形を行うことが可能である。
【0095】
例えば、本実施形態の変形として、周波数処理部108,Tophat変換処理部109,符号化部110は、処理対象が異なる画像データであるだけで、それぞれ周波数処理部102,Tophat変換処理部103,符号化部104と各々同じ処理を行うため、は共通化した部として構成してもよい。
【図面の簡単な説明】
【0096】
【図1】本実施形態におけるパターン認識装置の構成図。
【図2】本実施形態におけるパターン認識方法を示す図((A)学習処理、(B)認識処理)。
【図3】ブロック群と生起確率テーブルの関係を示す図。
【図4】学習用画像をブロック群に変換する様子を示す図。
【図5】ブロックから符号を算出する様子を示す図。
【符号の説明】
【0097】
101…学習画像データ入力部
102…周波数処理部
103…Tophat変換処理部
104…符号化部
105…確率テーブル作成部
106…確率テーブル記憶部
107…対象画像データ入力部
108…周波数処理部
109…Tophat変換処理部
110…符号化部
111…類似度算出部
112…識別部
113…出力部
L…学習(登録用)画像
B1…画素で表現した画像
B2…ブロック群
Px1〜Px4…画素
T…生起確率テーブル
b…ブロック

【特許請求の範囲】
【請求項1】
データ入力するデータ入力手段と、
データを記憶し管理する記憶手段と、を備え、
該データ入力手段を用いて入力された入力画像データに含まれる物体を識別するパターン認識装置であって、
任意の2pixel以上の画像データを2pixel以上の大きさのブロックに分割し、その分割された各ブロックを構成する画素の画素値を特定の符号化法に基づいて符号化し、該ブロックにおける画素の符号の組み合わせを作成する符号化手段と、
撮像装置で撮像された学習画像データを前記データ入力手段を用いて入力する学習画像データ入力手段と、
前記学習画像データを前記符号化手段を用いて、該学習画像におけるブロックを構成する画素の符号の組み合わせを作成する学習画像符号化手段と、
前記画素の組み合わせによる同時生起確率を算出し、その算出された同時生起確率を前記画素の組み合わせに応じた確率テーブルを作成する確率テーブル作成手段と、
前記作成された確率テーブルを予め備えられた記憶手段に保存する確率テーブル記憶手段と、
前記入力画像データを前記データ入力手段を用いて入力する対象画像データ入力手段と、
前記入力画像データを前記符号化手段を用いて、該入力画像におけるブロックを構成する画素の符号の組み合わせを作成する対象画像符号化手段と、
前記確率テーブルと前記入力画像データにおける各ブロックの符号の組み合わせに基づいて類似度を算出する類似度算出手段と、
前記物体に応じた類似度において、最大の類似度に応じた物体を識別結果とする識別手段と、
前記識別結果の出力情報として、前記識別結果に応じた物体を識別する情報を出力する出力手段と、
を備えることを特徴とするパターン認識装置。
【請求項2】
請求項1に記載のパターン認識装置において、
周波数領域に基づくフィルタリングを含むノイズ除去を前記学習画像データに対して行う学習画像周波数処理手段と、
周波数領域に基づくフィルタリングを含むノイズ除去を前記入力画像データに対して行う入力画像周波数処理手段と、
を備えることを特徴とするパターン認識装置。
【請求項3】
請求項1に記載のパターン認識装置において、
Tophat変換に基づく前処理を前記学習画像データに対して行う学習画像Tophat変換処理手段と、
Tophat変換に基づく前処理を前記入力画像データに対して行う入力画像Tophat変換処理手段と、
を備えることを特徴とするパターン認識装置。
【請求項4】
請求項1乃至3のいずれかに記載のパターン認識装置において、
前記確率テーブル作成手段が、
前記確率テーブルを参照する順番を前記物体ごとに最適な順番に変更する手段、
を備え、
前記確率テーブル記憶手段が、
前記確率テーブルを参照する順番を示す順番情報を保存する手段、
を備え、
前記類似度算出手段が、
前記順番情報に基づき前記確率テーブルを参照しつつ類似度を算出する手段と、
算出中の類似度が特定のしきい値以下になることが確定した場合、類似度算出処理を打ち切る類似度算出処理打ち切り手段と、
を備える
ことを特徴とするパターン認識装置。
【請求項5】
請求項4に記載のパターン認識装置において、
前記類似度算出処理打ち切り手段が、
類似度計算済みのブロックに応じた類似度と類似度未計算のブロックに応じて算出した類似度に基づいて、予測類似度を算出し、該予測類似度が特定のしきい値以下になった場合、類似度算出処理を打ち切る手段、
を備える
ことを特徴とするパターン認識装置。
【請求項6】
請求項4または5に記載のパターン認識装置において、
前記確率テーブル作成手段が、
前記確率テーブルを参照する順番を、確率テーブルにおける確率分布のエントロピーの小さい順に変更する手段、
を備える
ことを特徴とするパターン認識装置。
【請求項7】
データ入力するデータ入力手段と、
データを記憶し管理する記憶手段と、を備え、
該データ入力手段を用いて入力された入力画像データに含まれる物体を識別する装置に使用する
パターン認識方法であって、
撮像装置で撮像された学習画像データを前記データ入力手段を用いて入力する学習画像データ入力ステップと、
前記学習画像データを2pixel以上の大きさのブロックに分割し、その分割された各ブロックを構成する画素の画素値を特定の符号化法に基づいて符号化し、該ブロックにおける画素の符号の組み合わせを作成する学習画像符号化ステップと、
前記画素の組み合わせによる同時生起確率を算出し、その算出された同時生起確率を前記画素の組み合わせに応じた確率テーブルを作成する確率テーブル作成ステップと、
前記作成された確率テーブルを予め備えられた記憶手段に保存する確率テーブル記憶ステップと、
前記入力画像データを入力する前記データ入力手段を用いて対象画像データ入力ステップと、
前記入力画像データを2pixel以上の大きさのブロックに分割し、その分割された各ブロックを構成する画素の画素値を特定の符号化法に基づいて符号化し、該ブロックにおける画素の符号の組み合わせを作成する対象画像符号化ステップと、
前記確率テーブルと前記入力画像データにおける各ブロックの符号の組み合わせに基づいて類似度を算出する類似度算出ステップと、
前記物体に応じた類似度において、最大の類似度に応じた物体を識別結果とする識別ステップと、
前記識別結果の出力情報として、前記識別結果に応じた物体を識別する情報を出力する出力ステップと、
を有することを特徴とするパターン認識方法。
【請求項8】
請求項7に記載のパターン認識方法において、
前記学習画像データ入力ステップより後、かつ、前記学習画像符号化ステップより前に、
周波数領域に基づくフィルタリングを含むノイズ除去を前記学習画像データに対して行う学習画像周波数処理ステップを有し、
前記対象画像データ入力ステップより後、かつ、前記対象画像符号化ステップより前に、
周波数領域に基づくフィルタリングを含むノイズ除去を前記入力画像データに対して行う入力画像周波数処理ステップを有する、
ことを特徴とするパターン認識方法。
【請求項9】
請求項7に記載のパターン認識方法において、
前記学習画像データ入力ステップより後、かつ、前記学習画像符号化ステップより前に、
Tophat変換に基づく前処理を前記学習画像データに対して行う学習画像Tophat変換処理ステップを有し、
前記対象画像データ入力ステップより後、かつ、前記対象画像符号化ステップより前に、
Tophat変換に基づく前処理を前記入力画像データに対して行う入力画像Tophat変換処理ステップを有する、
ことを特徴とするパターン認識方法。
【請求項10】
請求項7乃至9のいずれかに記載のパターン認識方法において、
前記確率テーブル作成ステップが、
前記確率テーブルを参照する順番を前記物体ごとに最適な順番に変更するステップ、
を有し、
前記確率テーブル記憶ステップが、
前記確率テーブルを参照する順番を示す順番情報を保存するステップ、
を有し、
前記類似度算出ステップが、
前記順番情報に基づき前記確率テーブルを参照しつつ類似度を算出するステップと、
算出中の類似度が特定のしきい値以下になることが確定した場合、類似度算出処理を打ち切る類似度算出処理打ち切りステップと、
を有する
ことを特徴とするパターン認識方法。
【請求項11】
請求項10に記載のパターン認識方法において、
前記類似度算出処理打ち切りステップが、
類似度計算済みのブロックに応じた類似度と類似度未計算のブロックに応じて算出した類似度に基づいて、予測類似度を算出し、該予測類似度が特定のしきい値以下になった場合、類似度算出処理を打ち切るステップ、
を有する
ことを特徴とするパターン認識方法。
【請求項12】
請求項10または11に記載のパターン認識方法において、
前記確率テーブル作成ステップが、
前記確率テーブルを参照する順番を、確率テーブルにおける確率分布のエントロピーの小さい順に変更するステップ、
を有する
ことを特徴とするパターン認識方法。
【請求項13】
請求項7乃至12のいずれかに記載のパターン認識方法を、コンピュータで実行可能なコンピュータプログラムとして記述したことを特徴とするパターン認識プログラム。
【請求項14】
請求項7乃至12のいずれかに記載のパターン認識方法を、コンピュータで実行可能なコンピュータプログラムとして記述し、そのコンピュータプログラムを記録したことを特徴とする記録媒体。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図5】
image rotate

【図4】
image rotate