画像検索および認識システム
【課題】利用者が提示した例示画像を基に画像データベースから利用者が望む画像を検索する画像検索システム、および、利用者が提示した例示画像が何を表しているかそのカテゴリを判断する画像認識システムにおいて、処理時間の短縮、精度の向上が課題となている。
【解決手段】例示画像の顕著性が高い部分だけから抽出した顕著特徴と予め抽出された画像データベース内の画像の顕著性が高い部分だけから抽出した顕著特徴を比較することによって、より短い処理時間でより正確に判断する画像認識システムを提供する。
【解決手段】例示画像の顕著性が高い部分だけから抽出した顕著特徴と予め抽出された画像データベース内の画像の顕著性が高い部分だけから抽出した顕著特徴を比較することによって、より短い処理時間でより正確に判断する画像認識システムを提供する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は利用者が提示した例示画像を基に画像データベースから利用者が望む画像を検索する画像検索システム、および、利用者が提示した例示画像例示画像が何を表しているかそのカテゴリを判断する画像認識システムに関する。
【背景技術】
【０００２】
テキストを入力としてデータベースを検索するシステムは広く利用されるようになったが、画像を入力として利用者が望む画像を検索するシステムは未だ十分に満足ができるシステムは提供されていない。また、テキストを入力としてその意味を検索するシステムはいわゆる電子辞書や電子百科事典として広く利用されているが、画像を入力としてその意味を検索するシステム、例えば、動物の画像を入力としてその動物の種類を検索するシステムは実用化には程遠い現状である。
【０００３】
人や生物の視覚系においては注目するべき対象を限定する視覚的注意の機能が備わっており、それによって素早く欲しいものを探し出すことができる。また、よけいなものに注意を払わずにすむために間違いも少なくなる。例えば広大なシーンの中にライオンなどの動物が含まれているとき、ライオンが占める小さな領域に注意が集中すればライオンを素早く探し出すことができる。また、この動物がライオンであるという判断をより正確に行うことができる。この機能を工学的に実現するためのモデルとして注意の引き易さを顕著性として定量化する方法がいくつか提案されている（たとえば、特許文献１、非特許文献１、非特許文献２参照。）。
【０００４】
さらに、カメラで撮影した画像から顕著性を利用して顔などの特定の被写体を検出あるいは認識するシステム（例えば、特許文献２参照。）が提案されている。
【０００５】
また、画像を入力として利用者が望む画像を検索するシステムにおいて、入力された画像の注目領域を抽出し、その部分の特徴に基づいて欲しい画像を検索する方法（例えば、特許文献3参照。）が提案されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００７−２８７０７１号公報
【特許文献２】特開２０１１−３４３１１号公報
【特許文献３】特開２００７−１９９７４９号公報
【非特許文献】
【０００７】
【非特許文献１】Ｌ.Ｉｔｔｉ,Ｃ.Ｋｏｃｈ,ａｎｄ Ｅ.Ｎｉｅｂｕｒ,“Ａ Ｍｏｄｅｌ ｏｆ Ｓａｌｉｅｎｃｙ−Ｂａｓｅｄ ＶｉｓｕａｌＡｔｔｅｎｔｉｏｎ ｆｏｒ Ｒａｐｉｄ Ｓｃｅｎｅ Ａｎａｌｙｓｉｓ、”ＩＥＥＥ Ｔｒａｎｓ． ＰＡＭＩ， Ｖｏｌ．２０，Ｎｏ.１１,ｐｐ.１２５４−１２５９,１９９８.
【非特許文献２】Ｔａｋａｓｈｉ Ｔｏｒｉｕ ａｎｄ Ｓｈｉｇｅｙｏｓｈｉ Ｎａｋａｊｉｍａ,“Ａ Ｍｅｔｈｏｄ ｏｆ Ｃａｌｃｕｌａｔｉｎｇ Ｉｍａｇｅ Ｓａｌｉｅｎｃｙ ａｎｄ Ｏｐｔｉｍｉｚｉｎｇ Ｅｆｆｉｃｉｅｎｔ Ｄｉｓｔｒｉｂｕｔｉｏｎ ｏｆ Ｉｍａｇｅ Ｗｉｎｄｏｗｓ”， Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ｆｉｒｓｔ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｎｎｏｖａｔｉｖｅ Ｃｏｍｐｕｔｉｎｇ Ｉｎｆｏｒｍａｔｉｏｎ ａｎｄ Ｃｏｎｔｒｏｌ（ＩＣＩＣＩＣ−０６）,Ｂｅｉｊｉｎｇ,Ａｕｇ.,Ｖｏｌ.１,ｐｐ.２９０−２９３,２００６
【発明の概要】
【発明が解決しようとする課題】
【０００８】
特許文献１、非特許文献１、非特許文献２に開示されている顕著性の定量化手法によって、画像のそれぞれの場所毎に注意を向けるべき度合いが算出される。広大なシーンの中から特定の事物を探す時、また、その事物が何であるかを判断するとき、顕著性が高い部分を重点的に処理すれば、素早くしかも正確な判断ができる。しかし、画像検索システムや画像認識システムにおいて顕著性を利用する構成とはなっておらず、利用者が提示した例示画像を基に画像データベースから利用者が望む画像を検索することや利用者が提示した例示画像の意味や種類を検索することはできない。
【０００９】
特許文献２に開示されている発明では、カメラで撮影した画像から顕著性を利用して顔などの特定の被写体を検出あるいは認識するシステムが開示されている。このシステムでは入力された画像において顔などの特定の被写体を検出し、あるいは、その被写体が誰であるかを認識している。入力画像の顕著性を算出することによって顔などの特定の被写体を検出し、また、それに基づいてその人物が誰であるかを認識できる構成となっている。しかし、データベース内の画像の一部に顔などの被写体が含まれているときに、それを検索する機能はもっておらず、利用者が提示した例示画像を基に画像データベースから利用者が望む画像を検索することや利用者が提示した例示画像の意味や種類を検索することはできない。
【００１０】
特許文献３に開示されている発明では、画像を入力として利用者が望む画像を検索するシステムにおいて、入力された画像の注目領域を抽出し、その部分の特徴に基づいて欲しい画像を検索する方法が提案されているが、データベース内の画像の一部に望む画像が含まれている場合でも画像全域を探査する必要があるので処理時間が多くなり、間違いが生じる可能性も高くなるという問題がある。
【課題を解決するための手段】
【００１１】
本発明は、第一に、利用者が提示した例示画像を基に画像データベースから利用者が望む画像を短い処理時間で正確に検索する画像検索システムを提供することを目的とするものであり、画像各部の顕著性を算出する顕著性算出部と、画像の顕著性が高い部分から特徴を抽出する顕著特抽出部と、予め画像データベースのそれぞれの画像の顕著特徴を抽出しておく学習部を備え、利用者が提示した例示画像の顕著特徴と予め抽出されている画像データベースのそれぞれの画像の顕著特徴を比較することによって利用者が望む画像を検索する検索部を備えることによって前記の課題を解決したものである。
【００１２】
本発明は、第二に、画像各部の顕著性を算出する顕著性算出部と、画像の顕著性が高い部分から特徴を抽出する顕著特抽出部と、予め事前に画像データベースに含まれるそれぞれの画像に対して注目するべき領域の組みを設定しておく事前注目領域設定部と、画像データベースのそれぞれの画像注目するべき領域の顕著特徴を抽出しておく学習部を備え、利用者が提示した例示画像の顕著特徴と予め抽出されている画像データベースのそれぞれの画像の注目するべき領域の顕著特徴を比較することによって利用者が望む画像を検索する検索部を備えることによって前記の課題を解決したものである。
【００１３】
本発明は、第三に、利用者が提示した例示画像が何を表しているかそのカテゴリを短い処理時間で正確に判断する画像認識システムを提供することを目的として、画像各部の顕著性を算出する顕著性算出部と、画像の顕著性が高い部分から特徴を抽出する顕著特抽出部と、予め多数の画像が含まれる画像データベース内の画像をカテゴリ毎に分類しそれぞれのカテゴリに属する複数個の画像のそれぞれの顕著特徴を抽出しデータベースに保持する学習部を備え、入力された画像の顕著特徴と画像データベースに保持されているそれぞれのカテゴリに属する画像の顕著特徴を比較することによって入力された画像のカテゴリを判断する判断部を備えることによって前記の課題を解決したものである。
【発明の効果】
【００１４】
本発明の第一の形態によれば、例示画像の顕著性が高い部分だけから抽出した顕著特徴と予め抽出された画像データベース内の画像の顕著性が高い部分だけから抽出した顕著特徴を比較することによって利用者が望む画像を検索するので、処理時間が短くなるとともに顕著性が高い重要な部分の特徴だけを用いて判断するので間違いを少なくできるという効果がある。
【００１５】
さらに、本発明の第二の形態によれば、予め事前に画像データベースに含まれるそれぞれの画像に対して注目するべき領域の組みを設定し、例示画像の顕著性が高い部分だけから抽出した顕著特徴と予め抽出された画像データベース内の画像の注目するべき領域の顕著性が高い部分だけから抽出した顕著特徴を比較することによって利用者が望む画像を検索するので、さらに処理時間が短くなるとともに顕著性が高い重要な部分の特徴だけを用いて判断するので間違いをより少なくできるという効果がある。
【００１６】
また、本発明の第三の形態によれば、予め事前に画像データベースに含まれるそれぞれの画像に対して注目するべき領域の組みを設定し、例示画像の顕著性が高い部分だけから抽出した顕著特徴と予め抽出された画像データベース内の画像の注目するべき領域の顕著性が高い部分だけから抽出した顕著特徴を比較することによって利用者が望む画像を検索するので、さらに処理時間が短くなるとともに顕著性が高い重要な部分の特徴だけを用いて判断するので間違いをより少なくできるという効果がある。
【図面の簡単な説明】
【００１７】
【図１】システム構成を示した説明図である。
【図２】第一の実施例の処理の流れを示した説明図である。
【図３】入力画像の例とそれに対応する顕著性画像を示した図である。
【図４】第二の実施例の処理の流れを示した説明図である。
【図５】注目領域を設定する様子を示した説明図である。
【図６】第三の実施例の処理の流れを示した説明図である。
【図７】顕著と苦笑を抽出する方法を示した説明図である。
【発明を実施するための形態】
【００１８】
以下、本発明に係る画像検索および認識システムを図面を用いて説明する。
【実施例】
【００１９】
発明の第１の実施例のシステム構成図を図１に示す。本実施例のシステムは入力装置（１）、画像データベース（画像ＤＢ）（２）、ＣＰＵ（３）、ディスプレイ（４）から成る。入力装置はカメラ、スキャナー、電子ファイルなど各種画像入力装置から成り、検索すべき例示画像を入力する。ＣＰＵは中央演算装置であって、与えられた例示画像似ている画像を画像データベースから検索する。画像ＤＢは検索すべき画像が記録されている記憶領域であり、インターネットもその一例である。ディスプレイは検索結果を提示する装置である。
【００２０】
図２に第１の実施例における処理の流れを示す。ユーザが利用するのに先立って学習部では画像データベースに含まれている多数の画像のそれぞれに対して画素ごとに顕著性を算出して顕著性画像を作成する。その結果を用いて顕著特徴を抽出する。図３に顕著性画像の例を示す。顕著性が高いほど白く表示されている。顕著特徴は顕著性が高い部分だけから抽出される。この例ではヤギの部分の顕著性が高いので主にヤギの部分から顕著特徴が抽出されることとなる。
【００２１】
図３に顕著特徴抽出の手順を示す。まず、入力画像の顕著性が所定の閾値より高い部分から特徴点を抽出する。特徴点の抽出方法はＳＩＦＴのキーポイントなど多数報告されており、いずれかを使えば良い。顕著性が高い部分の特徴点だけを抽出するのが本発明の特徴である。次に、抽出した特徴を含む小領域の局所特徴量を算出する。局所特徴量を抽出する方法も数多く報告されており、いずれかを使えば良い。このようにしてそれぞれの特徴点において局所特徴量が算出される。これらの頻度分布を算出して顕著特徴として出漁する。
【００２２】
学習が終了すると、画像データベースに多数の画像とそのそれぞれに対して顕著性と顕著特徴が納めるれる。次に、ユーザが例示画像を提示すると、システムはその画像の顕著性を算出し、それをもとに顕著特徴を検出する。顕著性の算出と顕著特徴の算出は前記の学習部と同様の方法で行われる。次に、抽出された顕著特徴と画像データベースに納められた多数の画像のそれぞれの顕著特徴を比較し、両者が類似しているものを検索結果として出力する。
【００２３】
本実施例と従来の画像検索システムとの差異は、従来の画像検索システムでは画像全体から特徴を抽出するのに対して、本実施例では顕著性が高い部分だけから顕著特徴を抽出しているところにある。例示画像の顕著性が高い部分だけから抽出した顕著特徴と予め抽出された画像データベース内の画像の顕著性が高い部分だけから抽出した顕著特徴を比較することによって利用者が望む画像を検索するので、処理時間が短くなるとともに顕著性が高い重要な部分の特徴だけを用いて判断するので間違いを少なくできるという効果がある。
【００２４】
本発明の第２の実施例のシステム構成図は図１と同じである。図５に第２の実施例における処理の流れを示す。ユーザが利用するのに先立って学習部では画像データベースに含まれている多数の画像のそれぞれに対して画素ごとに顕著性を算出して顕著性画像を作成する。次にその結果を用いて一つまたは複数個の注目領域を設定する。注目領域設定の例を図６に示す。注目領域は顕著性が高い部分を含むように設定される。この例では２個の領域が設定されているが、領域はいくつになるかは入力画像に依存して決まる。入力画像に複数個の物体が含まれている場合には注目領域の数も複数になる。
【００２５】
注目領域が設定されると、個々の注目領域において顕著性が高い部分から顕著特徴を抽出する。顕著特徴抽出の具体的な方法は実施例１における顕著特徴抽出処理（図３）と同様である。
【００２６】
学習が終了すると、画像データベースに多数の画像の注目領域のそれぞれに対して顕著特徴が納められる。次に、ユーザが例示画像を提示すると、システムはその画像の顕著性を算出し、それをもとに顕著特徴を検出する。顕著性の算出と顕著特徴の算出は第１の実施例と同様の方法で行われる。次に、抽出された顕著特徴と画像データベースに納められた多数の画像の注目領域のそれぞれの顕著特徴を比較し、両者が類似しているときその注目領域を含むデータベース内の画像を検索結果として出力する。
【００２７】
本実施例は第１の実施例とどうようの効果があるのみならず、学習部においてデータベース内のそれぞれの画像の注目領域を設定し、例示画像と注目領域の画像を比較して類似した注目領域を含む画像を検索結果として出力するので、データベース内の画像において例示画像と類似した領域を部分として含む画像をより効率的にかつより正確に検索できるという効果がある。
【００２８】
本発明の第３の実施例のシステム構成図は図１と同様であるが、利用者が提示した例示画像が何を表しているかそのカテゴリを短い処理時間で正確に判断する画像認識システムであり、第１の実施例、第２の実施例と比べて各部の機能に差異がある。入力装置はカメラ、スキャナー、電子ファイルなど各種画像入力装置から成り、認識の対象となる例示画像を入力する。ＣＰＵは中央演算装置であって、与えられた例示画像似ている画像を画像データベースから検索し、その結果から例示画像が何を表しているかそのカテゴリを判断する。画像ＤＢは多数の画像がカテゴリ毎に整理されて記録されている記憶領域であり、インターネットもその一例である。ディスプレイは認識結果を提示する装置である。
【００２９】
図７に第３の実施例における処理の流れを示す。ユーザが利用するのに先立って学習部では画像データベースに含まれている多数の画像のそれぞれに対して画素ごとに顕著性を算出して顕著性画像を作成する。その結果を用いて顕著特徴を抽出する。顕著特徴抽出の手順は第１の実施例、第２の実施例と同様である。次にデータベース内の画像のそれぞれに対してそのカテゴリを付与し、画像とカテゴリの対応関係を示すカテゴリテーブルを作成して画像データベースに保持する。ここまでの処理が学習部の処理である。
【００３０】
学習が終了すると、画像データベースに多数の画像とそのそれぞれに対して顕著性と顕著特徴、さらに、カテゴリテーブルが納めるれる。次に、ユーザが例示画像を提示すると、システムはその画像の顕著性を算出し、それをもとに顕著特徴を検出する。顕著性の算出と顕著特徴の算出は前記の学習部と同様の方法で行われる。次に、抽出された顕著特徴と画像データベースに納められた多数の画像のそれぞれの顕著特徴を比較し、両者が類似しているとき、その画像に付与されているカテゴリを認識結果として出力する。
【００３１】
本実施例と従来の認識システムとの差異は、従来の認識検索システムでは画像全体から特徴を抽出するのに対して、本実施例では顕著性が高い部分だけから顕著特徴を抽出しているところにある。例示画像の顕著性が高い部分だけから抽出した顕著特徴と予め抽出された画像データベース内の画像の顕著性が高い部分だけから抽出した顕著特徴を比較することによって例示画像のカテゴリを判断するので、処理時間が短くなるとともに顕著性が高い重要な部分の特徴だけを用いて判断するので間違いを少なくできるという効果がある。
【技術分野】
【０００１】
本発明は利用者が提示した例示画像を基に画像データベースから利用者が望む画像を検索する画像検索システム、および、利用者が提示した例示画像例示画像が何を表しているかそのカテゴリを判断する画像認識システムに関する。
【背景技術】
【０００２】
テキストを入力としてデータベースを検索するシステムは広く利用されるようになったが、画像を入力として利用者が望む画像を検索するシステムは未だ十分に満足ができるシステムは提供されていない。また、テキストを入力としてその意味を検索するシステムはいわゆる電子辞書や電子百科事典として広く利用されているが、画像を入力としてその意味を検索するシステム、例えば、動物の画像を入力としてその動物の種類を検索するシステムは実用化には程遠い現状である。
【０００３】
人や生物の視覚系においては注目するべき対象を限定する視覚的注意の機能が備わっており、それによって素早く欲しいものを探し出すことができる。また、よけいなものに注意を払わずにすむために間違いも少なくなる。例えば広大なシーンの中にライオンなどの動物が含まれているとき、ライオンが占める小さな領域に注意が集中すればライオンを素早く探し出すことができる。また、この動物がライオンであるという判断をより正確に行うことができる。この機能を工学的に実現するためのモデルとして注意の引き易さを顕著性として定量化する方法がいくつか提案されている（たとえば、特許文献１、非特許文献１、非特許文献２参照。）。
【０００４】
さらに、カメラで撮影した画像から顕著性を利用して顔などの特定の被写体を検出あるいは認識するシステム（例えば、特許文献２参照。）が提案されている。
【０００５】
また、画像を入力として利用者が望む画像を検索するシステムにおいて、入力された画像の注目領域を抽出し、その部分の特徴に基づいて欲しい画像を検索する方法（例えば、特許文献3参照。）が提案されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００７−２８７０７１号公報
【特許文献２】特開２０１１−３４３１１号公報
【特許文献３】特開２００７−１９９７４９号公報
【非特許文献】
【０００７】
【非特許文献１】Ｌ.Ｉｔｔｉ,Ｃ.Ｋｏｃｈ,ａｎｄ Ｅ.Ｎｉｅｂｕｒ,“Ａ Ｍｏｄｅｌ ｏｆ Ｓａｌｉｅｎｃｙ−Ｂａｓｅｄ ＶｉｓｕａｌＡｔｔｅｎｔｉｏｎ ｆｏｒ Ｒａｐｉｄ Ｓｃｅｎｅ Ａｎａｌｙｓｉｓ、”ＩＥＥＥ Ｔｒａｎｓ． ＰＡＭＩ， Ｖｏｌ．２０，Ｎｏ.１１,ｐｐ.１２５４−１２５９,１９９８.
【非特許文献２】Ｔａｋａｓｈｉ Ｔｏｒｉｕ ａｎｄ Ｓｈｉｇｅｙｏｓｈｉ Ｎａｋａｊｉｍａ,“Ａ Ｍｅｔｈｏｄ ｏｆ Ｃａｌｃｕｌａｔｉｎｇ Ｉｍａｇｅ Ｓａｌｉｅｎｃｙ ａｎｄ Ｏｐｔｉｍｉｚｉｎｇ Ｅｆｆｉｃｉｅｎｔ Ｄｉｓｔｒｉｂｕｔｉｏｎ ｏｆ Ｉｍａｇｅ Ｗｉｎｄｏｗｓ”， Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ｆｉｒｓｔ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｎｎｏｖａｔｉｖｅ Ｃｏｍｐｕｔｉｎｇ Ｉｎｆｏｒｍａｔｉｏｎ ａｎｄ Ｃｏｎｔｒｏｌ（ＩＣＩＣＩＣ−０６）,Ｂｅｉｊｉｎｇ,Ａｕｇ.,Ｖｏｌ.１,ｐｐ.２９０−２９３,２００６
【発明の概要】
【発明が解決しようとする課題】
【０００８】
特許文献１、非特許文献１、非特許文献２に開示されている顕著性の定量化手法によって、画像のそれぞれの場所毎に注意を向けるべき度合いが算出される。広大なシーンの中から特定の事物を探す時、また、その事物が何であるかを判断するとき、顕著性が高い部分を重点的に処理すれば、素早くしかも正確な判断ができる。しかし、画像検索システムや画像認識システムにおいて顕著性を利用する構成とはなっておらず、利用者が提示した例示画像を基に画像データベースから利用者が望む画像を検索することや利用者が提示した例示画像の意味や種類を検索することはできない。
【０００９】
特許文献２に開示されている発明では、カメラで撮影した画像から顕著性を利用して顔などの特定の被写体を検出あるいは認識するシステムが開示されている。このシステムでは入力された画像において顔などの特定の被写体を検出し、あるいは、その被写体が誰であるかを認識している。入力画像の顕著性を算出することによって顔などの特定の被写体を検出し、また、それに基づいてその人物が誰であるかを認識できる構成となっている。しかし、データベース内の画像の一部に顔などの被写体が含まれているときに、それを検索する機能はもっておらず、利用者が提示した例示画像を基に画像データベースから利用者が望む画像を検索することや利用者が提示した例示画像の意味や種類を検索することはできない。
【００１０】
特許文献３に開示されている発明では、画像を入力として利用者が望む画像を検索するシステムにおいて、入力された画像の注目領域を抽出し、その部分の特徴に基づいて欲しい画像を検索する方法が提案されているが、データベース内の画像の一部に望む画像が含まれている場合でも画像全域を探査する必要があるので処理時間が多くなり、間違いが生じる可能性も高くなるという問題がある。
【課題を解決するための手段】
【００１１】
本発明は、第一に、利用者が提示した例示画像を基に画像データベースから利用者が望む画像を短い処理時間で正確に検索する画像検索システムを提供することを目的とするものであり、画像各部の顕著性を算出する顕著性算出部と、画像の顕著性が高い部分から特徴を抽出する顕著特抽出部と、予め画像データベースのそれぞれの画像の顕著特徴を抽出しておく学習部を備え、利用者が提示した例示画像の顕著特徴と予め抽出されている画像データベースのそれぞれの画像の顕著特徴を比較することによって利用者が望む画像を検索する検索部を備えることによって前記の課題を解決したものである。
【００１２】
本発明は、第二に、画像各部の顕著性を算出する顕著性算出部と、画像の顕著性が高い部分から特徴を抽出する顕著特抽出部と、予め事前に画像データベースに含まれるそれぞれの画像に対して注目するべき領域の組みを設定しておく事前注目領域設定部と、画像データベースのそれぞれの画像注目するべき領域の顕著特徴を抽出しておく学習部を備え、利用者が提示した例示画像の顕著特徴と予め抽出されている画像データベースのそれぞれの画像の注目するべき領域の顕著特徴を比較することによって利用者が望む画像を検索する検索部を備えることによって前記の課題を解決したものである。
【００１３】
本発明は、第三に、利用者が提示した例示画像が何を表しているかそのカテゴリを短い処理時間で正確に判断する画像認識システムを提供することを目的として、画像各部の顕著性を算出する顕著性算出部と、画像の顕著性が高い部分から特徴を抽出する顕著特抽出部と、予め多数の画像が含まれる画像データベース内の画像をカテゴリ毎に分類しそれぞれのカテゴリに属する複数個の画像のそれぞれの顕著特徴を抽出しデータベースに保持する学習部を備え、入力された画像の顕著特徴と画像データベースに保持されているそれぞれのカテゴリに属する画像の顕著特徴を比較することによって入力された画像のカテゴリを判断する判断部を備えることによって前記の課題を解決したものである。
【発明の効果】
【００１４】
本発明の第一の形態によれば、例示画像の顕著性が高い部分だけから抽出した顕著特徴と予め抽出された画像データベース内の画像の顕著性が高い部分だけから抽出した顕著特徴を比較することによって利用者が望む画像を検索するので、処理時間が短くなるとともに顕著性が高い重要な部分の特徴だけを用いて判断するので間違いを少なくできるという効果がある。
【００１５】
さらに、本発明の第二の形態によれば、予め事前に画像データベースに含まれるそれぞれの画像に対して注目するべき領域の組みを設定し、例示画像の顕著性が高い部分だけから抽出した顕著特徴と予め抽出された画像データベース内の画像の注目するべき領域の顕著性が高い部分だけから抽出した顕著特徴を比較することによって利用者が望む画像を検索するので、さらに処理時間が短くなるとともに顕著性が高い重要な部分の特徴だけを用いて判断するので間違いをより少なくできるという効果がある。
【００１６】
また、本発明の第三の形態によれば、予め事前に画像データベースに含まれるそれぞれの画像に対して注目するべき領域の組みを設定し、例示画像の顕著性が高い部分だけから抽出した顕著特徴と予め抽出された画像データベース内の画像の注目するべき領域の顕著性が高い部分だけから抽出した顕著特徴を比較することによって利用者が望む画像を検索するので、さらに処理時間が短くなるとともに顕著性が高い重要な部分の特徴だけを用いて判断するので間違いをより少なくできるという効果がある。
【図面の簡単な説明】
【００１７】
【図１】システム構成を示した説明図である。
【図２】第一の実施例の処理の流れを示した説明図である。
【図３】入力画像の例とそれに対応する顕著性画像を示した図である。
【図４】第二の実施例の処理の流れを示した説明図である。
【図５】注目領域を設定する様子を示した説明図である。
【図６】第三の実施例の処理の流れを示した説明図である。
【図７】顕著と苦笑を抽出する方法を示した説明図である。
【発明を実施するための形態】
【００１８】
以下、本発明に係る画像検索および認識システムを図面を用いて説明する。
【実施例】
【００１９】
発明の第１の実施例のシステム構成図を図１に示す。本実施例のシステムは入力装置（１）、画像データベース（画像ＤＢ）（２）、ＣＰＵ（３）、ディスプレイ（４）から成る。入力装置はカメラ、スキャナー、電子ファイルなど各種画像入力装置から成り、検索すべき例示画像を入力する。ＣＰＵは中央演算装置であって、与えられた例示画像似ている画像を画像データベースから検索する。画像ＤＢは検索すべき画像が記録されている記憶領域であり、インターネットもその一例である。ディスプレイは検索結果を提示する装置である。
【００２０】
図２に第１の実施例における処理の流れを示す。ユーザが利用するのに先立って学習部では画像データベースに含まれている多数の画像のそれぞれに対して画素ごとに顕著性を算出して顕著性画像を作成する。その結果を用いて顕著特徴を抽出する。図３に顕著性画像の例を示す。顕著性が高いほど白く表示されている。顕著特徴は顕著性が高い部分だけから抽出される。この例ではヤギの部分の顕著性が高いので主にヤギの部分から顕著特徴が抽出されることとなる。
【００２１】
図３に顕著特徴抽出の手順を示す。まず、入力画像の顕著性が所定の閾値より高い部分から特徴点を抽出する。特徴点の抽出方法はＳＩＦＴのキーポイントなど多数報告されており、いずれかを使えば良い。顕著性が高い部分の特徴点だけを抽出するのが本発明の特徴である。次に、抽出した特徴を含む小領域の局所特徴量を算出する。局所特徴量を抽出する方法も数多く報告されており、いずれかを使えば良い。このようにしてそれぞれの特徴点において局所特徴量が算出される。これらの頻度分布を算出して顕著特徴として出漁する。
【００２２】
学習が終了すると、画像データベースに多数の画像とそのそれぞれに対して顕著性と顕著特徴が納めるれる。次に、ユーザが例示画像を提示すると、システムはその画像の顕著性を算出し、それをもとに顕著特徴を検出する。顕著性の算出と顕著特徴の算出は前記の学習部と同様の方法で行われる。次に、抽出された顕著特徴と画像データベースに納められた多数の画像のそれぞれの顕著特徴を比較し、両者が類似しているものを検索結果として出力する。
【００２３】
本実施例と従来の画像検索システムとの差異は、従来の画像検索システムでは画像全体から特徴を抽出するのに対して、本実施例では顕著性が高い部分だけから顕著特徴を抽出しているところにある。例示画像の顕著性が高い部分だけから抽出した顕著特徴と予め抽出された画像データベース内の画像の顕著性が高い部分だけから抽出した顕著特徴を比較することによって利用者が望む画像を検索するので、処理時間が短くなるとともに顕著性が高い重要な部分の特徴だけを用いて判断するので間違いを少なくできるという効果がある。
【００２４】
本発明の第２の実施例のシステム構成図は図１と同じである。図５に第２の実施例における処理の流れを示す。ユーザが利用するのに先立って学習部では画像データベースに含まれている多数の画像のそれぞれに対して画素ごとに顕著性を算出して顕著性画像を作成する。次にその結果を用いて一つまたは複数個の注目領域を設定する。注目領域設定の例を図６に示す。注目領域は顕著性が高い部分を含むように設定される。この例では２個の領域が設定されているが、領域はいくつになるかは入力画像に依存して決まる。入力画像に複数個の物体が含まれている場合には注目領域の数も複数になる。
【００２５】
注目領域が設定されると、個々の注目領域において顕著性が高い部分から顕著特徴を抽出する。顕著特徴抽出の具体的な方法は実施例１における顕著特徴抽出処理（図３）と同様である。
【００２６】
学習が終了すると、画像データベースに多数の画像の注目領域のそれぞれに対して顕著特徴が納められる。次に、ユーザが例示画像を提示すると、システムはその画像の顕著性を算出し、それをもとに顕著特徴を検出する。顕著性の算出と顕著特徴の算出は第１の実施例と同様の方法で行われる。次に、抽出された顕著特徴と画像データベースに納められた多数の画像の注目領域のそれぞれの顕著特徴を比較し、両者が類似しているときその注目領域を含むデータベース内の画像を検索結果として出力する。
【００２７】
本実施例は第１の実施例とどうようの効果があるのみならず、学習部においてデータベース内のそれぞれの画像の注目領域を設定し、例示画像と注目領域の画像を比較して類似した注目領域を含む画像を検索結果として出力するので、データベース内の画像において例示画像と類似した領域を部分として含む画像をより効率的にかつより正確に検索できるという効果がある。
【００２８】
本発明の第３の実施例のシステム構成図は図１と同様であるが、利用者が提示した例示画像が何を表しているかそのカテゴリを短い処理時間で正確に判断する画像認識システムであり、第１の実施例、第２の実施例と比べて各部の機能に差異がある。入力装置はカメラ、スキャナー、電子ファイルなど各種画像入力装置から成り、認識の対象となる例示画像を入力する。ＣＰＵは中央演算装置であって、与えられた例示画像似ている画像を画像データベースから検索し、その結果から例示画像が何を表しているかそのカテゴリを判断する。画像ＤＢは多数の画像がカテゴリ毎に整理されて記録されている記憶領域であり、インターネットもその一例である。ディスプレイは認識結果を提示する装置である。
【００２９】
図７に第３の実施例における処理の流れを示す。ユーザが利用するのに先立って学習部では画像データベースに含まれている多数の画像のそれぞれに対して画素ごとに顕著性を算出して顕著性画像を作成する。その結果を用いて顕著特徴を抽出する。顕著特徴抽出の手順は第１の実施例、第２の実施例と同様である。次にデータベース内の画像のそれぞれに対してそのカテゴリを付与し、画像とカテゴリの対応関係を示すカテゴリテーブルを作成して画像データベースに保持する。ここまでの処理が学習部の処理である。
【００３０】
学習が終了すると、画像データベースに多数の画像とそのそれぞれに対して顕著性と顕著特徴、さらに、カテゴリテーブルが納めるれる。次に、ユーザが例示画像を提示すると、システムはその画像の顕著性を算出し、それをもとに顕著特徴を検出する。顕著性の算出と顕著特徴の算出は前記の学習部と同様の方法で行われる。次に、抽出された顕著特徴と画像データベースに納められた多数の画像のそれぞれの顕著特徴を比較し、両者が類似しているとき、その画像に付与されているカテゴリを認識結果として出力する。
【００３１】
本実施例と従来の認識システムとの差異は、従来の認識検索システムでは画像全体から特徴を抽出するのに対して、本実施例では顕著性が高い部分だけから顕著特徴を抽出しているところにある。例示画像の顕著性が高い部分だけから抽出した顕著特徴と予め抽出された画像データベース内の画像の顕著性が高い部分だけから抽出した顕著特徴を比較することによって例示画像のカテゴリを判断するので、処理時間が短くなるとともに顕著性が高い重要な部分の特徴だけを用いて判断するので間違いを少なくできるという効果がある。
【特許請求の範囲】
【請求項１】
利用者が提示した例示画像を基に画像データベースから利用者が望む画像を検索する画像検索システムにおいて、画像各部の顕著性を算出する顕著性算出部と、画像の顕著性が高い部分から特徴を抽出する顕著特抽出部と、予め画像データベースのそれぞれの画像の顕著特徴を抽出しておく学習部を備え、利用者が提示した例示画像の顕著特徴と予め抽出されている画像データベースのそれぞれの画像の顕著特徴を比較することによって利用者が望む画像を検索する検索部を備えることを特徴とする画像検索システム。
【請求項２】
利用者が提示した例示画像を基に画像データベースから利用者が望む画像を検索する画像検索システムにおいて、画像各部の顕著性を算出する顕著性算出部と、画像の顕著性が高い部分から特徴を抽出する顕著特抽出部と、予め事前に画像データベースに含まれるそれぞれの画像に対して注目するべき領域の組みを設定しておく事前注目領域設定部と、画像データベースのそれぞれの画像注目するべき領域の顕著特徴を抽出しておく学習部を備え、利用者が提示した例示画像の顕著特徴と予め抽出されている画像データベースのそれぞれの画像の注目するべき領域の顕著特徴を比較することによって利用者が望む画像を検索する検索部を備えることによって利用者が望む画像を検索する検索部を備えることを特徴とする画像検索システム。
【請求項３】
利用者が提示した例示画像が何を表しているかそのカテゴリを判断する画像認識システムにおいて、利用者が提示した例示画像が何を表しているかそのカテゴリを短い処理時間で正確に判断する画像認識システムを提供することを目的として、画像各部の顕著性を算出する顕著性算出部と、画像の顕著性が高い部分から特徴を抽出する顕著特抽出部と、予め多数の画像が含まれる画像データベース内の画像をカテゴリ毎に分類しそれぞれのカテゴリに属する複数個の画像のそれぞれの顕著特徴を抽出しデータベースに保持する学習部を備え、入力された画像の顕著特徴と画像データベースに保持されているそれぞれのカテゴリに属する画像の顕著特徴を比較することによって入力された画像のカテゴリを判断する判断部を備えることを特徴とする画像認識システム。
【請求項１】
利用者が提示した例示画像を基に画像データベースから利用者が望む画像を検索する画像検索システムにおいて、画像各部の顕著性を算出する顕著性算出部と、画像の顕著性が高い部分から特徴を抽出する顕著特抽出部と、予め画像データベースのそれぞれの画像の顕著特徴を抽出しておく学習部を備え、利用者が提示した例示画像の顕著特徴と予め抽出されている画像データベースのそれぞれの画像の顕著特徴を比較することによって利用者が望む画像を検索する検索部を備えることを特徴とする画像検索システム。
【請求項２】
利用者が提示した例示画像を基に画像データベースから利用者が望む画像を検索する画像検索システムにおいて、画像各部の顕著性を算出する顕著性算出部と、画像の顕著性が高い部分から特徴を抽出する顕著特抽出部と、予め事前に画像データベースに含まれるそれぞれの画像に対して注目するべき領域の組みを設定しておく事前注目領域設定部と、画像データベースのそれぞれの画像注目するべき領域の顕著特徴を抽出しておく学習部を備え、利用者が提示した例示画像の顕著特徴と予め抽出されている画像データベースのそれぞれの画像の注目するべき領域の顕著特徴を比較することによって利用者が望む画像を検索する検索部を備えることによって利用者が望む画像を検索する検索部を備えることを特徴とする画像検索システム。
【請求項３】
利用者が提示した例示画像が何を表しているかそのカテゴリを判断する画像認識システムにおいて、利用者が提示した例示画像が何を表しているかそのカテゴリを短い処理時間で正確に判断する画像認識システムを提供することを目的として、画像各部の顕著性を算出する顕著性算出部と、画像の顕著性が高い部分から特徴を抽出する顕著特抽出部と、予め多数の画像が含まれる画像データベース内の画像をカテゴリ毎に分類しそれぞれのカテゴリに属する複数個の画像のそれぞれの顕著特徴を抽出しデータベースに保持する学習部を備え、入力された画像の顕著特徴と画像データベースに保持されているそれぞれのカテゴリに属する画像の顕著特徴を比較することによって入力された画像のカテゴリを判断する判断部を備えることを特徴とする画像認識システム。
【図１】
【図２】
【図３】
【図５】
【図７】
【図４】
【図６】
【図２】
【図３】
【図５】
【図７】
【図４】
【図６】
【公開番号】特開２０１２−２２６４２９（Ｐ２０１２−２２６４２９Ａ）
【公開日】平成２４年１１月１５日（２０１２．１１．１５）
【国際特許分類】
【出願番号】特願２０１１−９１０５１（Ｐ２０１１−９１０５１）
【出願日】平成２３年４月１５日（２０１１．４．１５）
【出願人】（７１１００３４４０）
【Ｆターム（参考）】
【公開日】平成２４年１１月１５日（２０１２．１１．１５）
【国際特許分類】
【出願日】平成２３年４月１５日（２０１１．４．１５）
【出願人】（７１１００３４４０）
【Ｆターム（参考）】
[ Back to top ]