電子計算機及び画像検索方法
【課題】蓄積された画像データの中から類似する画像データを検索すること。
【解決手段】電子計算機１において、データベース２は、複数の物体のそれぞれについて、物体のそれぞれの画像の特徴を表す第１の特徴量と第２の特徴量とを組み合わせたデータを蓄積している。データベース２は、第１の特徴量と第２の特徴量とを組み合わせたデータを、第１の特徴量及び第２の特徴量をそれぞれ所定数ずつ変化させて蓄積している。取得部３は、画像データを取得する。検索部４は、データベース２を検索する。アプリケーション部５は、取得部３で取得した第１の画像データから第１の特徴量と第２の特徴量との組み合わせを抽出する。アプリケーション部５は、第１の画像データから抽出した、第１の特徴量と第２の特徴量との組み合わせに基づいて検索部４に対してデータベース２の検索を実行させる。
【解決手段】電子計算機１において、データベース２は、複数の物体のそれぞれについて、物体のそれぞれの画像の特徴を表す第１の特徴量と第２の特徴量とを組み合わせたデータを蓄積している。データベース２は、第１の特徴量と第２の特徴量とを組み合わせたデータを、第１の特徴量及び第２の特徴量をそれぞれ所定数ずつ変化させて蓄積している。取得部３は、画像データを取得する。検索部４は、データベース２を検索する。アプリケーション部５は、取得部３で取得した第１の画像データから第１の特徴量と第２の特徴量との組み合わせを抽出する。アプリケーション部５は、第１の画像データから抽出した、第１の特徴量と第２の特徴量との組み合わせに基づいて検索部４に対してデータベース２の検索を実行させる。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、電子計算機及び画像検索方法に関する。
【背景技術】
【０００２】
従来、人間の注目しやすい色、例えば、鮮やかな色、明るい色、画像に含まれる物体の色に対して類似度を計算し、それらの色の類似度にさらに重みをつけて最終的な類似度を計算して画像を検索する方法がある（例えば、特許文献１参照）。また、画像データに対して、画像の中心を通過する複数の方向に走査し、一定幅の帯状領域内の画素に対して濃度共起行列を求め、この濃度共起行列に基づいて画像の周期性を求めテクスチャ特徴量として抽出する方法がある（例えば、特許文献２参照）。
【０００３】
また、入力された画像データにおける複数種類の特徴量と、蓄積された画像データにおける複数種類の特徴量とを各々比較して、入力された画像データと類似する画像データを、蓄積された画像データから検索する方法がある（例えば、特許文献３参照）。また、保存された画像のそれぞれが異なるタイプのメタデータと関連付けられている複数の保存された画像の中から、各異なるタイプのメタデータと見本画像との類似性に基づいて、各異なるメタデータ・タイプごとに画像の組を検索する方法がある（例えば、特許文献４参照）。
【０００４】
また、複数の画像のそれぞれについて取得した複数の特徴量を用いて、複数の画像が属する複数のクラスタを作成し、各クラスタの属性を決定し、各クラスタにそれぞれ対応づけてインデックスを作成する方法がある（例えば、特許文献５参照）。また、複数の画像のそれぞれについて取得した複数の特徴量を用いて、画像検索時における計算負荷によって定まる所定画像数以下の画像が属するクラスタを複数作成し、各クラスタの属性を決定し、クラスタにそれぞれ対応づけてインデックスを作成する方法がある（例えば、特許文献６参照）。
【０００５】
また、第二の画像における主題または背景に対する第一の画像における主題または背景の知覚的に顕著な特徴、例えば二よりも大きい事前確信度レベルによって提供される特徴を比較して画像の類似性を決定する方法がある（例えば、特許文献７参照）。また、入力された画像データおよび予め登録された画像データのそれぞれについて、グレイ画像データの濃淡度に基づいて、注目画素を中心とする局所的なテクスチャの特徴を示す回転不変の特徴量を、各画素に対して算出し、算出した特徴量に基づいて類似した画像データを検索する方法がある（例えば、特許文献８参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平１１−２１２９９３号公報
【特許文献２】特開平１１−６６３１０号公報
【特許文献３】特開２００１−３１９２３２号公報
【特許文献４】特表２０１０−５１９６５９号公報
【特許文献５】特開２０１０−２５０６３４号公報
【特許文献６】特開２０１０−２５０６３３号公報
【特許文献７】特開２００８−２６２５８１号公報
【特許文献８】特開２００９−１６９９２５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、従来の方法では、データベースに物体の画像データが無作為に蓄積されている。従って、データベースに蓄積されている画像データを、画像の特徴量を表す色味とテクスチャとの組み合わせに基づいて、色味とテクスチャを変数とする２次元のマップにマッピングすると、画像データが密にマッピングされる領域と粗にマッピングされる領域とができてしまう。そのため、ある画像に類似した画像を、データベースに蓄積された画像データの中から検索する際に、ある画像の色味とテクスチャとの組み合わせがマップの粗な領域に該当すると、類似する画像を高い精度で検索することができないという問題点がある。
【０００８】
蓄積された画像データの中から類似する画像データを検索することができる電子計算機及び画像検索方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
この電子計算機は、データベース、取得部、検索部及びアプリケーション部を備えている。データベースは、複数の物体のそれぞれについて、物体のそれぞれの画像の特徴を表す第１の特徴量と第２の特徴量とを組み合わせたデータを蓄積している。データベースは、第１の特徴量と第２の特徴量とを組み合わせたデータを、第１の特徴量及び第２の特徴量をそれぞれ所定数ずつ変化させて蓄積している。取得部は、画像データを取得する。検索部は、データベースを検索する。アプリケーション部は、取得部で取得した第１の画像データから第１の特徴量と第２の特徴量との組み合わせを抽出する。アプリケーション部は、第１の画像データから抽出した、第１の特徴量と第２の特徴量との組み合わせに基づいて検索部に対してデータベースの検索を実行させる。
【発明の効果】
【００１０】
この電子計算機及び画像検索方法によれば、蓄積された画像データの中から類似する画像データを検索することができるという効果を奏する。
【図面の簡単な説明】
【００１１】
【図１】図１は、実施例１にかかる電子計算機を示すブロック図である。
【図２】図２は、実施例１にかかる画像検索方法を示すフローチャートである。
【図３】図３は、実施例２にかかる携帯端末のハードウェア構成を示すブロック図である。
【図４】図４は、実施例２にかかる携帯端末の機能的構成を示すブロック図である。
【図５】図５は、実施例２にかかるデータベースを説明する図表である。
【図６】図６は、実施例２にかかるデータベースの画像データをマッピングした２次元のマップを説明する図である。
【図７】図７は、実施例２にかかる重み付けデータを説明する図表である。
【図８】図８は、実施例２にかかる画像検索方法を示すフローチャートである。
【図９】図９は、実施例２にかかるデータベースの作成方法の一例を示すフローチャートである。
【発明を実施するための形態】
【００１２】
以下に添付図面を参照して、この電子計算機及び画像検索方法の好適な実施の形態を詳細に説明する。以下の各実施例の説明においては、同様の構成要素には同一の符号を付して、重複する説明を省略する。
【００１３】
（実施例１）
・電子計算機の説明
図１は、実施例１にかかる電子計算機を示すブロック図である。図１に示すように、電子計算機１は、データベース２、取得部３、検索部４及びアプリケーション部５を備えている。
【００１４】
データベース２は、複数の物体のそれぞれについて、物体のそれぞれの画像の特徴を表す第１の特徴量と第２の特徴量とを組み合わせたデータを蓄積している。データベース２は、第１の特徴量と第２の特徴量とを組み合わせたデータを、第１の特徴量及び第２の特徴量をそれぞれ所定数ずつ変化させて蓄積している。
【００１５】
取得部３は、画像データを取得する。検索部４は、データベース２を検索する。アプリケーション部５は、取得部３で取得した第１の画像データから第１の特徴量と第２の特徴量との組み合わせを抽出する。アプリケーション部５は、第１の画像データから抽出した、第１の特徴量と第２の特徴量との組み合わせに基づいて検索部４に対してデータベース２の検索を実行させる。
【００１６】
・画像検索方法の説明
図２は、実施例１にかかる画像検索方法を示すフローチャートである。図２に示すように、画像検索方法が開始されると、まず、電子計算機１は、取得部３により、物体の第１の画像を取得する（ステップＳ１）。次いで、電子計算機１は、アプリケーション部５により、第１の画像の特徴を表す第１の特徴量と第２の特徴量との重み付けの割合を第１の重み付けの割合に設定する。そして、電子計算機１は、検索部４により、第１の重み付けの割合でデータベース２を検索する（ステップＳ２）。
【００１７】
次いで、電子計算機１は、アプリケーション部５により、ステップＳ２での検索結果に基づいて第１の画像データの主たる色味を決定する（ステップＳ３）。次いで、電子計算機１は、アプリケーション部５により、ステップＳ３で決定した主たる色味に対する第１の特徴量と第２の特徴量との第２の重み付けの割合を重み付けデータから取得する（ステップＳ４）。重み付けデータには、第１の特徴量と第２の特徴量との重み付けの割合が色味に応じて決められている。
【００１８】
次いで、電子計算機１は、検索部４により、第２の重み付けの割合でデータベース２を検索する（ステップＳ５）。次いで、電子計算機１は、アプリケーション部５により、ステップＳ５での検索結果に基づいて、第１の画像データの第１の特徴量と第２の特徴量との組み合わせに対応するデータベース２内の第１の特徴量と第２の特徴量との組み合わせを取得する（ステップＳ６）。
【００１９】
実施例１によれば、データベースに蓄積されている画像データを、当該画像データの第１の特徴量と第２の特徴量との組み合わせに基づいて、第１の特徴量と第２の特徴量を変数とする２次元のマップにマッピングすると、画像データが均一にマッピングされたマップが得られる。従って、当該マップには、取得した第１の画像の第１の特徴量と第２の特徴量との組み合わせに近い画像データが存在するので、第１の画像データに類似する画像データを、データベース２に蓄積された画像データの中から検索することができる。
【００２０】
（実施例２）
実施例２は、電子計算機１として例えば携帯電話機などの携帯端末を使用し、例えば単品の料理の画像データに類似する画像データをデータベース２から検索するシステムに適用したものである。
【００２１】
取得部３の一例として例えばカメラやスキャナーが挙げられる。あるいは、メモリに記憶されている画像データをメモリから読み出す場合には、取得部３の一例としてファイルシステムが挙げられる。また、インターネットなどのネットワークから画像データを取得する場合には、取得部３の一例として通信インタフェースが挙げられる。ここでは、取得部３は、携帯端末に備えられたカメラであるとする。
【００２２】
また、検索部４として、例えばカメラで撮影した画像データに類似する画像データをデータベース２に蓄積されている画像データの中から検索する検索エンジンが挙げられる。検索エンジンは、例えば画像の特徴を表す第１の特徴量と第２の特徴量とに基づいてデータベース２を検索するものであればよい。
【００２３】
第１の特徴量として例えば色味に関する値が挙げられる。第２の特徴量として、例えばテクスチャに関する値が挙げられる。色味に関する値やテクスチャに関する値は、アプリケーション部５が後述する画像検索処理を実行したり、後述するデータベース２の作成時に画像加工アプリケーションを実行することなどによって得られる。
【００２４】
一例として、データベース２には、料理の主たる色の明暗のパラメータを複数階調、特に限定しないが、例えば±２０／２５６階調の間で例えば１／２５６階調ごとに変化させたデータが蓄積されていてもよい。また、一例として、データベース２には、料理の主たる色の領域とそれ以外の色の領域との割合を複数段階、特に限定しないが、例えば１００：１、５０：１、１０：１、７：１、５：１、３：１、２：１及び１：１の８段階で変化させたデータが蓄積されていてもよい。
【００２５】
・携帯端末のハードウェア構成の説明
図３は、実施例２にかかる携帯端末のハードウェア構成を示すブロック図である。図３に示すように、携帯端末１１は、アンテナ１２、無線送受信処理を行うＲＦ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ、無線周波数）部１３、及びベースバンド処理を行うベースバンド部１４を備えている。ＲＦ部１３及びベースバンド部１４は、それぞれ別々のＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ、集積回路）チップに設けられていてもよいし、同じＩＣチップに設けられていてもよい。
【００２６】
携帯端末１１は、アプリケーションを実行するアプリケーションプロセッサ部１５を備えている。アプリケーションプロセッサ部１５は、独立したＩＣチップに設けられていてもよい。アプリケーションプロセッサ部１５には、メモリ１６、ディスプレイ１７などの出力装置、及びカメラ１８やキーパッド１９などの入力装置が接続されていてもよい。
【００２７】
図４は、実施例２にかかる携帯端末の機能的構成を示すブロック図である。図４に示すように、携帯端末１１は、実施例１にかかる電子計算機１と同様に、データベース２、取得部３、検索部４及びアプリケーション部５を備えている。携帯端末１１は、取得部３として例えばカメラ１８及びカメラ用のミドルウェア２０を備えている。データベース２は、メモリ１６に格納されている。データベース２の詳細については後述する。
【００２８】
アプリケーション部５は、色味に応じて色味に関する値とテクスチャに関する値との重み付けの割合を決める重み付けデータを有する。重み付けデータの詳細については後述する。アプリケーション部５は、検索部４からデータベース２の検索結果として返された画像データのファイル名に対して、例えば類似度の高い順にスコアを付けてもよい。
【００２９】
ミドルウェア２０は、カメラ１８から例えばＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）形式の画像データを取得する。取得する画像データのサイズは、例えばＶＧＡ（Ｖｉｄｅｏ Ｇｒａｐｈｉｃｓ Ａｒｒａｙ）サイズ、すなわち６４０×４８０ドット以上のサイズであってもよい。
【００３０】
検索部４の検索エンジンは、色味に関する値とテクスチャに関する値との重み付けの割合に基づいてデータベース２を検索し、ミドルウェア２０から渡されたＪＰＥＧ形式の画像データと類似した画像データをデータベース２から抽出する。検索エンジンは、データベース２から、類似度の高い順に例えば２０位までの画像データを抽出してアプリケーション部５に返す。
【００３１】
アプリケーション部５、検索部４の検索エンジン及びミドルウェア２０は、それぞれの機能を実現するソフトウェアをアプリケーションプロセッサ部１５が実行することにより実現される。これらのソフトウェアは、メモリ１６に格納されていてもよい。
【００３２】
・データベースの説明
図５は、実施例２にかかるデータベースを説明する図表である。図５に示すように、データベース２には、種々の料理、例えばカレーライスやかつ丼や牛丼などの画像データが格納されている。例えば、料理としては、文部科学省で規定されている食品成分表に掲載されている食事や、日常よく目にする食事などが挙げられる。各画像データには、例えば「物体名（料理名）＋物体の主たる色＋追番」というファイル名が付されていてもよい。各画像データのファイル名に対して、色味特徴量（色味に関する値）とテクスチャ特徴量（テクスチャに関する値）とが対応付けられている。
【００３３】
同一の料理については、主たる色の明暗のパラメータを例えば±２０／２５６階調の間で例えば１／２５６階調ごとに変化させたデータが蓄積されている。例えばカレーライスの場合、色味特徴量を例えば１１２から１５２までの４１階調、変化させた場合の画像データが蓄積されている。
【００３４】
また、同一の料理については、主たる色の領域とそれ以外の色の領域との割合を例えば１００：１、５０：１、１０：１、７：１、５：１、３：１、２：１及び１：１の８段階で変化させたデータが蓄積されている。従って、データベース２には、料理ごとに３２８個の画像データが蓄積されていることになる。図５に示すデータベース２において、テクスチャ特徴量の「１００」、「５０」、・・・は、それぞれ上述した割合を１００：１、５０：１、・・・とした場合の値であることを表している。各割合における具体的な数値は省略されている。
【００３５】
・色味とテクスチャを変数とする２次元のマップの説明
図６は、実施例２にかかるデータベースの画像データをマッピングした２次元のマップを説明する図である。図６に示すように、マップ３１には、料理ごとに複数の画像データがプロットされる。例えば一料理あたり、テクスチャについて８段階、色味について４１階調の計３２８個の画像データがプロットされる。ただし、図６では、図が繁雑になるのを避けるため、一料理あたりの画像データの数を、テクスチャについて４段階、色味について５階調の計２０個に減らしている。
【００３６】
マップ３１において、黒色で塗りつぶされた星印（★）のプロット３２が、カメラ１８で撮影された画像データであるとする。この場合、カメラ１８で撮影された画像データのプロット３２は、カレーライスやハヤシライスの画像データのプロット群の中に位置する。従って、カメラ１８で撮影された料理に類似する料理は、カレーライスやハヤシライスであると判定される。
【００３７】
・重み付けデータの説明
図７は、実施例２にかかる重み付けデータを説明する図表である。図７に示すように、重み付けデータ３６には、色味ごとに、テクスチャパラメータ値とカラーパラメータ値とが規定されている。テクスチャパラメータ値によって、テクスチャに関する値の重み付けの割合が決まる。カラーパラメータ値によって、色味に関する値の重み付けの割合が決まる。
【００３８】
図７において、ａ〜ｆは０から１００までの値であり、色味ごとに異なる値である。図示例では、テクスチャパラメータ値とカラーパラメータ値との合計は１００になっているが、合計が１００でなくてもよい。各色味に対するテクスチャパラメータ値及びカラーパラメータ値は、検索部４の検索エンジンや、例えば物体が料理であるか花であるかなど、物体によって変わることがある。
【００３９】
・画像検索方法の説明
図８は、実施例２にかかる画像検索方法を示すフローチャートである。図８に示すように、画像検索処理が開始されると、まず、携帯端末１１は、画像検索のアプリケーションを起動する（ステップＳ１１）。それによって、携帯端末１１にアプリケーション部５、検索部４及びカメラ用のミドルウェア２０が実現される。そして、カメラ１８のシャッターとなるボタンをユーザが押下するか、またはディスプレイ１７に表示されたボタンの画像にユーザが触れることを契機として、カメラ１８は、単品の料理を撮影する（ステップＳ１２）。
【００４０】
次いで、検索部４は、ミドルウェア２０を経由して、カメラ１８で撮影した例えばＪＰＥＧ形式の画像データを取得する（ステップＳ１３）。次いで、アプリケーション部５は、検索部４に、第１の重み付けの割合としてデフォルトのテクスチャパラメータ値及びカラーパラメータ値を設定する。デフォルトのテクスチャパラメータ値及びカラーパラメータ値は、例えば色味の重みとテクスチャの重みとが５０％：５０％となるような値であってもよい。
【００４１】
また、アプリケーション部５は、ステップＳ１２の撮影によって得られた画像データから色味に関する値とテクスチャに関する値を抽出して検索部４に渡す。画像データから色味に関する値とテクスチャに関する値を抽出する手法として、例えば公知技術を用いることができる。検索部４は、取得した色味に関する値とテクスチャに関する値との組み合わせに基づいて、デフォルトのテクスチャパラメータ値及びカラーパラメータ値で、データベース２を検索する（ステップＳ１４）。そして、検索部４は、データベース２から、類似度の高い順に例えば上位２０位までの画像データを抽出してアプリケーション部５に返す。
【００４２】
次いで、アプリケーション部５は、ステップＳ１４で検索部４から返された例えば上位２０位までの画像データのファイル名に、順位に応じたスコアを付与する（ステップＳ１５）。スコアの値は、特に限定しないが、例えば上位５位までに２０点ずつ、６位から１０位までに１５点ずつ、１１位から２０位までに５点ずつとしてもよい。従って、検索部４で検索された２１位以降の画像データのファイルの名スコアは、全て０点となる。アプリケーション部５は、各画像データのファイル名のスコアを保持する。
【００４３】
次いで、アプリケーション部５は、ステップＳ１４で検索部４から返された例えば上位２０位までの画像データのうち、例えば上位５位までの画像データの色味で一番多い色味を主たる色味に決定する（ステップＳ１６）。次いで、アプリケーション部５は、第２の重み付けの割合として、ステップＳ１６で決定した主たる色味に対応するテクスチャパラメータ値を重み付けデータ３６から取得する。そして、アプリケーション部５は、検索部４に、重み付けデータ３６から取得したテクスチャパラメータ値を設定する。
【００４４】
検索部４は、テクスチャパラメータ値を、アプリケーション部５により設定されたパラメータ値に変更してデータベース２を再検索する（ステップＳ１７）。そして、検索部４は、データベース２から、類似度の高い順に例えば上位２０位までの画像データを抽出してアプリケーション部５に返す。
【００４５】
次いで、アプリケーション部５は、ステップＳ１７で検索部４から返された例えば上位２０位までの画像データのファイル名に、順位に応じたスコアを付与する（ステップＳ１８）。スコアの値は、特に限定しないが、ステップＳ１５で付与した値と同じであってもよい。次いで、アプリケーション部５は、ステップＳ１５で各画像データのファイル名に付与したスコアと、ステップＳ１８で各画像データのファイル名に付与したスコアとの合計値を算出する（ステップＳ１９）。
【００４６】
そして、アプリケーション部５は、ディスプレイ１７に、ステップＳ１９で算出したスコアの合計値が上位１位から５位までのファイルの物体名と画像を表示する（ステップＳ２０）。そして、一連の画像検索処理を終了する。
【００４７】
・データベースの作成方法の一例
図９は、実施例２にかかるデータベースの作成方法の一例を示すフローチャートである。図９に示すように、データベースの作成者がデータベース作成処理を開始すると、まず、データベースの作成者は、デジタルカメラやカメラ付き携帯端末のカメラを用いて料理を撮影する（ステップＳ３１）。データベースの作成者は、料理を撮影する代わりに、料理の画像を撮影したり、料理の画像をスキャナで読み取ったりしてもよい。
【００４８】
次いで、データベースの作成者は、画像加工アプリケーションを起動し、ステップＳ３１で取得した画像データを画像加工アプリケーションで開く（ステップＳ３２）。次いで、データベースの作成者は、画像加工アプリケーションを操作して、ステップＳ３１で取得した画像データの色味の明暗パラメータ値を、デフォルト値から２０／２５６階調を減算した値に設定する（ステップＳ３３）。
【００４９】
次いで、データベースの作成者は、現在の色味の明暗パラメータ値が、デフォルト値に２０／２５６階調を加算した値であるか否かを判断する（ステップＳ３４）。現在の色味の明暗パラメータ値が、デフォルト値に２０／２５６階調を加算した値に達するまでは（ステップＳ３４：Ｎｏ）、データベースの作成者は、現在の色味の明暗パラメータ値での画像データにおいて、一番多い色味を主たる色味に決定する（ステップＳ３５）。
【００５０】
次いで、データベースの作成者は、現在の色味の明暗パラメータ値での画像データに対して、画像加工アプリケーションを操作して、ステップＳ３５で決定した主たる色味の領域の画像Ａとそれ以外の領域の画像Ｂとを切り取る（ステップＳ３６）。次いで、データベースの作成者は、画像加工アプリケーションを操作して、ステップＳ３６で切り取った画像Ａと画像Ｂとの面積比が例えば１００：１、５０：１、１０：１、７：１、５：１、３：１、２：１及び１：１となるように、画像データを作成する（ステップＳ３７）。
【００５１】
次いで、データベースの作成者は、ステップＳ３７で作成した各画像データの特徴量ファイルを作成する（ステップＳ３８）。次いで、データベースの作成者は、画像加工アプリケーションを操作して、ステップＳ３１で取得した画像データの色味の明暗パラメータ値を、現在の値に１／２５６階調を加算した値に設定する（ステップＳ３９）。そして、ステップＳ３４に戻り、色味の明暗パラメータ値が、デフォルト値に２０／２５６階調を加算した値に達するまで、ステップＳ３４〜ステップＳ３９を繰り返す。
【００５２】
色味の明暗パラメータ値が、デフォルト値に２０／２５６階調を加算した値に達したら（ステップＳ３４：Ｙｅｓ）、データベースの作成者は、一連のデータベース作成処理を終了する。データベースの作成者は、ステップＳ３８で作成した各画像データの特徴量ファイルを用いて、上述したデータベース２を作成する。
【００５３】
実施例２によれば、実施例１と同様の効果が得られる。また、料理を携帯端末１１のカメラ１８で撮影すると、カメラ１８で撮影した料理の候補が複数個、ディスプレイ１７に表示される。ユーザは、ディスプレイ１７に表示された料理の候補の中から、カメラ１８で撮影した料理（実際の料理）に該当するものを、例えばキーパッド１９を操作することにより選択することができる。従って、携帯端末１１に、ユーザが食べた料理の記録を残すことができる。さらに、データベース２に蓄積されている料理の画像データと、当該料理を食べたときの摂取カロリーや栄養成分などの情報と、を対応付けておくことによって、ユーザの食事に関する記録を作成することができる。
【００５４】
なお、検索対象の物体は、料理に限らず、花などでもよい。検索対象の物体が花である場合、検索エンジンは、バラやカーネーションなどの花の種類を大別して、大別された種類を検索してもよい。また、電子計算機１は、携帯端末１１に限らず、パーソナルコンピュータやＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）などでもよい。
【００５５】
上述した実施例１及び２に関し、さらに以下の付記を開示する。
【００５６】
（付記１）複数の物体のそれぞれについて、前記物体のそれぞれの画像の特徴を表す第１の特徴量と第２の特徴量とを組み合わせたデータを、前記第１の特徴量及び前記第２の特徴量をそれぞれ所定数ずつ変化させて蓄積したデータベースと、画像データを取得する取得部と、前記データベースを検索する検索部と、前記取得部で取得した第１の画像データから前記第１の特徴量と前記第２の特徴量との組み合わせを抽出し、抽出した前記組み合わせに基づいて前記検索部に対して前記データベースの検索を実行させるアプリケーション部と、を備えることを特徴とする電子計算機。
【００５７】
（付記２）前記第１の特徴量は、色味に関する値であり、前記データベースには、画像の中の主たる色味を複数階調で変化させたデータが蓄積されていることを特徴とする付記１に記載の電子計算機。
【００５８】
（付記３）前記第２の特徴量は、テクスチャに関する値であり、前記データベースには、画像の中の主たる色味の領域とそれ以外の色味の領域との割合を複数段階で変化させたデータが蓄積されていることを特徴とする付記１または２に記載の電子計算機。
【００５９】
（付記４）前記アプリケーション部は、色味に応じて前記第１の特徴量と前記第２の特徴量との重み付けの割合を決める重み付けデータを有することを特徴とする付記１〜３のいずれか一つに記載の電子計算機。
【００６０】
（付記５）前記アプリケーション部は、前記第１の特徴量と前記第２の特徴量との重み付けの割合を第１の割合に設定して、前記検索部に対して前記データベースの検索を実行させ、該検索結果に基づいて前記第１の画像データの主たる色味を決定し、該主たる色味に対する前記第１の特徴量と前記第２の特徴量との第２の重み付けの割合を前記重み付けデータから取得し、取得した前記第２の重み付けの割合で前記検索部に対して前記データベースの検索を実行させ、該検索結果に基づいて前記第１の画像データの前記第１の特徴量と前記第２の特徴量との組み合わせに対応する前記データベース内の前記第１の特徴量と前記第２の特徴量との組み合わせを取得することを特徴とする付記４に記載の電子計算機。
【００６１】
（付記６）複数の物体のそれぞれについて、前記物体のそれぞれの画像の特徴を表す第１の特徴量と第２の特徴量とを組み合わせたデータを、前記第１の特徴量及び前記第２の特徴量をそれぞれ所定数ずつ変化させて蓄積したデータベースの中から、第１の画像データに類似する画像データを検索するにあたって、物体の第１の画像を取得し、前記第１の画像の特徴を表す前記第１の特徴量と前記第２の特徴量との重み付けの割合を第１の重み付けの割合に設定して前記データベースを検索し、前記第１の重み付けの割合での前記検索結果に基づいて前記第１の画像データの主たる色味を決定し、前記主たる色味に対する前記第１の特徴量と前記第２の特徴量との第２の重み付けの割合を、色味に応じて前記第１の特徴量と前記第２の特徴量との重み付けの割合を決める重み付けデータから取得し、取得した前記第２の重み付けの割合で前記データベースを検索し、前記第２の重み付けの割合での前記検索結果に基づいて、前記第１の画像データの前記第１の特徴量と前記第２の特徴量との組み合わせに対応する前記データベース内の前記第１の特徴量と前記第２の特徴量との組み合わせを取得することを特徴とする画像検索方法。
【００６２】
（付記７）前記第１の特徴量は、色味に関する値であり、前記データベースには、画像の中の主たる色味を複数階調で変化させたデータが蓄積されていることを特徴とする付記６に記載の画像検索方法。
【００６３】
（付記８）前記第２の特徴量は、テクスチャに関する値であり、前記データベースには、画像の中の主たる色味の領域とそれ以外の色味の領域との割合を複数段階で変化させたデータが蓄積されていることを特徴とする付記６または７に記載の画像検索方法。
【符号の説明】
【００６４】
１，１１ 電子計算機
２ データベース
３，１８，２０ 取得部
４ 検索部
５ アプリケーション部
【技術分野】
【０００１】
この発明は、電子計算機及び画像検索方法に関する。
【背景技術】
【０００２】
従来、人間の注目しやすい色、例えば、鮮やかな色、明るい色、画像に含まれる物体の色に対して類似度を計算し、それらの色の類似度にさらに重みをつけて最終的な類似度を計算して画像を検索する方法がある（例えば、特許文献１参照）。また、画像データに対して、画像の中心を通過する複数の方向に走査し、一定幅の帯状領域内の画素に対して濃度共起行列を求め、この濃度共起行列に基づいて画像の周期性を求めテクスチャ特徴量として抽出する方法がある（例えば、特許文献２参照）。
【０００３】
また、入力された画像データにおける複数種類の特徴量と、蓄積された画像データにおける複数種類の特徴量とを各々比較して、入力された画像データと類似する画像データを、蓄積された画像データから検索する方法がある（例えば、特許文献３参照）。また、保存された画像のそれぞれが異なるタイプのメタデータと関連付けられている複数の保存された画像の中から、各異なるタイプのメタデータと見本画像との類似性に基づいて、各異なるメタデータ・タイプごとに画像の組を検索する方法がある（例えば、特許文献４参照）。
【０００４】
また、複数の画像のそれぞれについて取得した複数の特徴量を用いて、複数の画像が属する複数のクラスタを作成し、各クラスタの属性を決定し、各クラスタにそれぞれ対応づけてインデックスを作成する方法がある（例えば、特許文献５参照）。また、複数の画像のそれぞれについて取得した複数の特徴量を用いて、画像検索時における計算負荷によって定まる所定画像数以下の画像が属するクラスタを複数作成し、各クラスタの属性を決定し、クラスタにそれぞれ対応づけてインデックスを作成する方法がある（例えば、特許文献６参照）。
【０００５】
また、第二の画像における主題または背景に対する第一の画像における主題または背景の知覚的に顕著な特徴、例えば二よりも大きい事前確信度レベルによって提供される特徴を比較して画像の類似性を決定する方法がある（例えば、特許文献７参照）。また、入力された画像データおよび予め登録された画像データのそれぞれについて、グレイ画像データの濃淡度に基づいて、注目画素を中心とする局所的なテクスチャの特徴を示す回転不変の特徴量を、各画素に対して算出し、算出した特徴量に基づいて類似した画像データを検索する方法がある（例えば、特許文献８参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平１１−２１２９９３号公報
【特許文献２】特開平１１−６６３１０号公報
【特許文献３】特開２００１−３１９２３２号公報
【特許文献４】特表２０１０−５１９６５９号公報
【特許文献５】特開２０１０−２５０６３４号公報
【特許文献６】特開２０１０−２５０６３３号公報
【特許文献７】特開２００８−２６２５８１号公報
【特許文献８】特開２００９−１６９９２５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、従来の方法では、データベースに物体の画像データが無作為に蓄積されている。従って、データベースに蓄積されている画像データを、画像の特徴量を表す色味とテクスチャとの組み合わせに基づいて、色味とテクスチャを変数とする２次元のマップにマッピングすると、画像データが密にマッピングされる領域と粗にマッピングされる領域とができてしまう。そのため、ある画像に類似した画像を、データベースに蓄積された画像データの中から検索する際に、ある画像の色味とテクスチャとの組み合わせがマップの粗な領域に該当すると、類似する画像を高い精度で検索することができないという問題点がある。
【０００８】
蓄積された画像データの中から類似する画像データを検索することができる電子計算機及び画像検索方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
この電子計算機は、データベース、取得部、検索部及びアプリケーション部を備えている。データベースは、複数の物体のそれぞれについて、物体のそれぞれの画像の特徴を表す第１の特徴量と第２の特徴量とを組み合わせたデータを蓄積している。データベースは、第１の特徴量と第２の特徴量とを組み合わせたデータを、第１の特徴量及び第２の特徴量をそれぞれ所定数ずつ変化させて蓄積している。取得部は、画像データを取得する。検索部は、データベースを検索する。アプリケーション部は、取得部で取得した第１の画像データから第１の特徴量と第２の特徴量との組み合わせを抽出する。アプリケーション部は、第１の画像データから抽出した、第１の特徴量と第２の特徴量との組み合わせに基づいて検索部に対してデータベースの検索を実行させる。
【発明の効果】
【００１０】
この電子計算機及び画像検索方法によれば、蓄積された画像データの中から類似する画像データを検索することができるという効果を奏する。
【図面の簡単な説明】
【００１１】
【図１】図１は、実施例１にかかる電子計算機を示すブロック図である。
【図２】図２は、実施例１にかかる画像検索方法を示すフローチャートである。
【図３】図３は、実施例２にかかる携帯端末のハードウェア構成を示すブロック図である。
【図４】図４は、実施例２にかかる携帯端末の機能的構成を示すブロック図である。
【図５】図５は、実施例２にかかるデータベースを説明する図表である。
【図６】図６は、実施例２にかかるデータベースの画像データをマッピングした２次元のマップを説明する図である。
【図７】図７は、実施例２にかかる重み付けデータを説明する図表である。
【図８】図８は、実施例２にかかる画像検索方法を示すフローチャートである。
【図９】図９は、実施例２にかかるデータベースの作成方法の一例を示すフローチャートである。
【発明を実施するための形態】
【００１２】
以下に添付図面を参照して、この電子計算機及び画像検索方法の好適な実施の形態を詳細に説明する。以下の各実施例の説明においては、同様の構成要素には同一の符号を付して、重複する説明を省略する。
【００１３】
（実施例１）
・電子計算機の説明
図１は、実施例１にかかる電子計算機を示すブロック図である。図１に示すように、電子計算機１は、データベース２、取得部３、検索部４及びアプリケーション部５を備えている。
【００１４】
データベース２は、複数の物体のそれぞれについて、物体のそれぞれの画像の特徴を表す第１の特徴量と第２の特徴量とを組み合わせたデータを蓄積している。データベース２は、第１の特徴量と第２の特徴量とを組み合わせたデータを、第１の特徴量及び第２の特徴量をそれぞれ所定数ずつ変化させて蓄積している。
【００１５】
取得部３は、画像データを取得する。検索部４は、データベース２を検索する。アプリケーション部５は、取得部３で取得した第１の画像データから第１の特徴量と第２の特徴量との組み合わせを抽出する。アプリケーション部５は、第１の画像データから抽出した、第１の特徴量と第２の特徴量との組み合わせに基づいて検索部４に対してデータベース２の検索を実行させる。
【００１６】
・画像検索方法の説明
図２は、実施例１にかかる画像検索方法を示すフローチャートである。図２に示すように、画像検索方法が開始されると、まず、電子計算機１は、取得部３により、物体の第１の画像を取得する（ステップＳ１）。次いで、電子計算機１は、アプリケーション部５により、第１の画像の特徴を表す第１の特徴量と第２の特徴量との重み付けの割合を第１の重み付けの割合に設定する。そして、電子計算機１は、検索部４により、第１の重み付けの割合でデータベース２を検索する（ステップＳ２）。
【００１７】
次いで、電子計算機１は、アプリケーション部５により、ステップＳ２での検索結果に基づいて第１の画像データの主たる色味を決定する（ステップＳ３）。次いで、電子計算機１は、アプリケーション部５により、ステップＳ３で決定した主たる色味に対する第１の特徴量と第２の特徴量との第２の重み付けの割合を重み付けデータから取得する（ステップＳ４）。重み付けデータには、第１の特徴量と第２の特徴量との重み付けの割合が色味に応じて決められている。
【００１８】
次いで、電子計算機１は、検索部４により、第２の重み付けの割合でデータベース２を検索する（ステップＳ５）。次いで、電子計算機１は、アプリケーション部５により、ステップＳ５での検索結果に基づいて、第１の画像データの第１の特徴量と第２の特徴量との組み合わせに対応するデータベース２内の第１の特徴量と第２の特徴量との組み合わせを取得する（ステップＳ６）。
【００１９】
実施例１によれば、データベースに蓄積されている画像データを、当該画像データの第１の特徴量と第２の特徴量との組み合わせに基づいて、第１の特徴量と第２の特徴量を変数とする２次元のマップにマッピングすると、画像データが均一にマッピングされたマップが得られる。従って、当該マップには、取得した第１の画像の第１の特徴量と第２の特徴量との組み合わせに近い画像データが存在するので、第１の画像データに類似する画像データを、データベース２に蓄積された画像データの中から検索することができる。
【００２０】
（実施例２）
実施例２は、電子計算機１として例えば携帯電話機などの携帯端末を使用し、例えば単品の料理の画像データに類似する画像データをデータベース２から検索するシステムに適用したものである。
【００２１】
取得部３の一例として例えばカメラやスキャナーが挙げられる。あるいは、メモリに記憶されている画像データをメモリから読み出す場合には、取得部３の一例としてファイルシステムが挙げられる。また、インターネットなどのネットワークから画像データを取得する場合には、取得部３の一例として通信インタフェースが挙げられる。ここでは、取得部３は、携帯端末に備えられたカメラであるとする。
【００２２】
また、検索部４として、例えばカメラで撮影した画像データに類似する画像データをデータベース２に蓄積されている画像データの中から検索する検索エンジンが挙げられる。検索エンジンは、例えば画像の特徴を表す第１の特徴量と第２の特徴量とに基づいてデータベース２を検索するものであればよい。
【００２３】
第１の特徴量として例えば色味に関する値が挙げられる。第２の特徴量として、例えばテクスチャに関する値が挙げられる。色味に関する値やテクスチャに関する値は、アプリケーション部５が後述する画像検索処理を実行したり、後述するデータベース２の作成時に画像加工アプリケーションを実行することなどによって得られる。
【００２４】
一例として、データベース２には、料理の主たる色の明暗のパラメータを複数階調、特に限定しないが、例えば±２０／２５６階調の間で例えば１／２５６階調ごとに変化させたデータが蓄積されていてもよい。また、一例として、データベース２には、料理の主たる色の領域とそれ以外の色の領域との割合を複数段階、特に限定しないが、例えば１００：１、５０：１、１０：１、７：１、５：１、３：１、２：１及び１：１の８段階で変化させたデータが蓄積されていてもよい。
【００２５】
・携帯端末のハードウェア構成の説明
図３は、実施例２にかかる携帯端末のハードウェア構成を示すブロック図である。図３に示すように、携帯端末１１は、アンテナ１２、無線送受信処理を行うＲＦ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ、無線周波数）部１３、及びベースバンド処理を行うベースバンド部１４を備えている。ＲＦ部１３及びベースバンド部１４は、それぞれ別々のＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ、集積回路）チップに設けられていてもよいし、同じＩＣチップに設けられていてもよい。
【００２６】
携帯端末１１は、アプリケーションを実行するアプリケーションプロセッサ部１５を備えている。アプリケーションプロセッサ部１５は、独立したＩＣチップに設けられていてもよい。アプリケーションプロセッサ部１５には、メモリ１６、ディスプレイ１７などの出力装置、及びカメラ１８やキーパッド１９などの入力装置が接続されていてもよい。
【００２７】
図４は、実施例２にかかる携帯端末の機能的構成を示すブロック図である。図４に示すように、携帯端末１１は、実施例１にかかる電子計算機１と同様に、データベース２、取得部３、検索部４及びアプリケーション部５を備えている。携帯端末１１は、取得部３として例えばカメラ１８及びカメラ用のミドルウェア２０を備えている。データベース２は、メモリ１６に格納されている。データベース２の詳細については後述する。
【００２８】
アプリケーション部５は、色味に応じて色味に関する値とテクスチャに関する値との重み付けの割合を決める重み付けデータを有する。重み付けデータの詳細については後述する。アプリケーション部５は、検索部４からデータベース２の検索結果として返された画像データのファイル名に対して、例えば類似度の高い順にスコアを付けてもよい。
【００２９】
ミドルウェア２０は、カメラ１８から例えばＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）形式の画像データを取得する。取得する画像データのサイズは、例えばＶＧＡ（Ｖｉｄｅｏ Ｇｒａｐｈｉｃｓ Ａｒｒａｙ）サイズ、すなわち６４０×４８０ドット以上のサイズであってもよい。
【００３０】
検索部４の検索エンジンは、色味に関する値とテクスチャに関する値との重み付けの割合に基づいてデータベース２を検索し、ミドルウェア２０から渡されたＪＰＥＧ形式の画像データと類似した画像データをデータベース２から抽出する。検索エンジンは、データベース２から、類似度の高い順に例えば２０位までの画像データを抽出してアプリケーション部５に返す。
【００３１】
アプリケーション部５、検索部４の検索エンジン及びミドルウェア２０は、それぞれの機能を実現するソフトウェアをアプリケーションプロセッサ部１５が実行することにより実現される。これらのソフトウェアは、メモリ１６に格納されていてもよい。
【００３２】
・データベースの説明
図５は、実施例２にかかるデータベースを説明する図表である。図５に示すように、データベース２には、種々の料理、例えばカレーライスやかつ丼や牛丼などの画像データが格納されている。例えば、料理としては、文部科学省で規定されている食品成分表に掲載されている食事や、日常よく目にする食事などが挙げられる。各画像データには、例えば「物体名（料理名）＋物体の主たる色＋追番」というファイル名が付されていてもよい。各画像データのファイル名に対して、色味特徴量（色味に関する値）とテクスチャ特徴量（テクスチャに関する値）とが対応付けられている。
【００３３】
同一の料理については、主たる色の明暗のパラメータを例えば±２０／２５６階調の間で例えば１／２５６階調ごとに変化させたデータが蓄積されている。例えばカレーライスの場合、色味特徴量を例えば１１２から１５２までの４１階調、変化させた場合の画像データが蓄積されている。
【００３４】
また、同一の料理については、主たる色の領域とそれ以外の色の領域との割合を例えば１００：１、５０：１、１０：１、７：１、５：１、３：１、２：１及び１：１の８段階で変化させたデータが蓄積されている。従って、データベース２には、料理ごとに３２８個の画像データが蓄積されていることになる。図５に示すデータベース２において、テクスチャ特徴量の「１００」、「５０」、・・・は、それぞれ上述した割合を１００：１、５０：１、・・・とした場合の値であることを表している。各割合における具体的な数値は省略されている。
【００３５】
・色味とテクスチャを変数とする２次元のマップの説明
図６は、実施例２にかかるデータベースの画像データをマッピングした２次元のマップを説明する図である。図６に示すように、マップ３１には、料理ごとに複数の画像データがプロットされる。例えば一料理あたり、テクスチャについて８段階、色味について４１階調の計３２８個の画像データがプロットされる。ただし、図６では、図が繁雑になるのを避けるため、一料理あたりの画像データの数を、テクスチャについて４段階、色味について５階調の計２０個に減らしている。
【００３６】
マップ３１において、黒色で塗りつぶされた星印（★）のプロット３２が、カメラ１８で撮影された画像データであるとする。この場合、カメラ１８で撮影された画像データのプロット３２は、カレーライスやハヤシライスの画像データのプロット群の中に位置する。従って、カメラ１８で撮影された料理に類似する料理は、カレーライスやハヤシライスであると判定される。
【００３７】
・重み付けデータの説明
図７は、実施例２にかかる重み付けデータを説明する図表である。図７に示すように、重み付けデータ３６には、色味ごとに、テクスチャパラメータ値とカラーパラメータ値とが規定されている。テクスチャパラメータ値によって、テクスチャに関する値の重み付けの割合が決まる。カラーパラメータ値によって、色味に関する値の重み付けの割合が決まる。
【００３８】
図７において、ａ〜ｆは０から１００までの値であり、色味ごとに異なる値である。図示例では、テクスチャパラメータ値とカラーパラメータ値との合計は１００になっているが、合計が１００でなくてもよい。各色味に対するテクスチャパラメータ値及びカラーパラメータ値は、検索部４の検索エンジンや、例えば物体が料理であるか花であるかなど、物体によって変わることがある。
【００３９】
・画像検索方法の説明
図８は、実施例２にかかる画像検索方法を示すフローチャートである。図８に示すように、画像検索処理が開始されると、まず、携帯端末１１は、画像検索のアプリケーションを起動する（ステップＳ１１）。それによって、携帯端末１１にアプリケーション部５、検索部４及びカメラ用のミドルウェア２０が実現される。そして、カメラ１８のシャッターとなるボタンをユーザが押下するか、またはディスプレイ１７に表示されたボタンの画像にユーザが触れることを契機として、カメラ１８は、単品の料理を撮影する（ステップＳ１２）。
【００４０】
次いで、検索部４は、ミドルウェア２０を経由して、カメラ１８で撮影した例えばＪＰＥＧ形式の画像データを取得する（ステップＳ１３）。次いで、アプリケーション部５は、検索部４に、第１の重み付けの割合としてデフォルトのテクスチャパラメータ値及びカラーパラメータ値を設定する。デフォルトのテクスチャパラメータ値及びカラーパラメータ値は、例えば色味の重みとテクスチャの重みとが５０％：５０％となるような値であってもよい。
【００４１】
また、アプリケーション部５は、ステップＳ１２の撮影によって得られた画像データから色味に関する値とテクスチャに関する値を抽出して検索部４に渡す。画像データから色味に関する値とテクスチャに関する値を抽出する手法として、例えば公知技術を用いることができる。検索部４は、取得した色味に関する値とテクスチャに関する値との組み合わせに基づいて、デフォルトのテクスチャパラメータ値及びカラーパラメータ値で、データベース２を検索する（ステップＳ１４）。そして、検索部４は、データベース２から、類似度の高い順に例えば上位２０位までの画像データを抽出してアプリケーション部５に返す。
【００４２】
次いで、アプリケーション部５は、ステップＳ１４で検索部４から返された例えば上位２０位までの画像データのファイル名に、順位に応じたスコアを付与する（ステップＳ１５）。スコアの値は、特に限定しないが、例えば上位５位までに２０点ずつ、６位から１０位までに１５点ずつ、１１位から２０位までに５点ずつとしてもよい。従って、検索部４で検索された２１位以降の画像データのファイルの名スコアは、全て０点となる。アプリケーション部５は、各画像データのファイル名のスコアを保持する。
【００４３】
次いで、アプリケーション部５は、ステップＳ１４で検索部４から返された例えば上位２０位までの画像データのうち、例えば上位５位までの画像データの色味で一番多い色味を主たる色味に決定する（ステップＳ１６）。次いで、アプリケーション部５は、第２の重み付けの割合として、ステップＳ１６で決定した主たる色味に対応するテクスチャパラメータ値を重み付けデータ３６から取得する。そして、アプリケーション部５は、検索部４に、重み付けデータ３６から取得したテクスチャパラメータ値を設定する。
【００４４】
検索部４は、テクスチャパラメータ値を、アプリケーション部５により設定されたパラメータ値に変更してデータベース２を再検索する（ステップＳ１７）。そして、検索部４は、データベース２から、類似度の高い順に例えば上位２０位までの画像データを抽出してアプリケーション部５に返す。
【００４５】
次いで、アプリケーション部５は、ステップＳ１７で検索部４から返された例えば上位２０位までの画像データのファイル名に、順位に応じたスコアを付与する（ステップＳ１８）。スコアの値は、特に限定しないが、ステップＳ１５で付与した値と同じであってもよい。次いで、アプリケーション部５は、ステップＳ１５で各画像データのファイル名に付与したスコアと、ステップＳ１８で各画像データのファイル名に付与したスコアとの合計値を算出する（ステップＳ１９）。
【００４６】
そして、アプリケーション部５は、ディスプレイ１７に、ステップＳ１９で算出したスコアの合計値が上位１位から５位までのファイルの物体名と画像を表示する（ステップＳ２０）。そして、一連の画像検索処理を終了する。
【００４７】
・データベースの作成方法の一例
図９は、実施例２にかかるデータベースの作成方法の一例を示すフローチャートである。図９に示すように、データベースの作成者がデータベース作成処理を開始すると、まず、データベースの作成者は、デジタルカメラやカメラ付き携帯端末のカメラを用いて料理を撮影する（ステップＳ３１）。データベースの作成者は、料理を撮影する代わりに、料理の画像を撮影したり、料理の画像をスキャナで読み取ったりしてもよい。
【００４８】
次いで、データベースの作成者は、画像加工アプリケーションを起動し、ステップＳ３１で取得した画像データを画像加工アプリケーションで開く（ステップＳ３２）。次いで、データベースの作成者は、画像加工アプリケーションを操作して、ステップＳ３１で取得した画像データの色味の明暗パラメータ値を、デフォルト値から２０／２５６階調を減算した値に設定する（ステップＳ３３）。
【００４９】
次いで、データベースの作成者は、現在の色味の明暗パラメータ値が、デフォルト値に２０／２５６階調を加算した値であるか否かを判断する（ステップＳ３４）。現在の色味の明暗パラメータ値が、デフォルト値に２０／２５６階調を加算した値に達するまでは（ステップＳ３４：Ｎｏ）、データベースの作成者は、現在の色味の明暗パラメータ値での画像データにおいて、一番多い色味を主たる色味に決定する（ステップＳ３５）。
【００５０】
次いで、データベースの作成者は、現在の色味の明暗パラメータ値での画像データに対して、画像加工アプリケーションを操作して、ステップＳ３５で決定した主たる色味の領域の画像Ａとそれ以外の領域の画像Ｂとを切り取る（ステップＳ３６）。次いで、データベースの作成者は、画像加工アプリケーションを操作して、ステップＳ３６で切り取った画像Ａと画像Ｂとの面積比が例えば１００：１、５０：１、１０：１、７：１、５：１、３：１、２：１及び１：１となるように、画像データを作成する（ステップＳ３７）。
【００５１】
次いで、データベースの作成者は、ステップＳ３７で作成した各画像データの特徴量ファイルを作成する（ステップＳ３８）。次いで、データベースの作成者は、画像加工アプリケーションを操作して、ステップＳ３１で取得した画像データの色味の明暗パラメータ値を、現在の値に１／２５６階調を加算した値に設定する（ステップＳ３９）。そして、ステップＳ３４に戻り、色味の明暗パラメータ値が、デフォルト値に２０／２５６階調を加算した値に達するまで、ステップＳ３４〜ステップＳ３９を繰り返す。
【００５２】
色味の明暗パラメータ値が、デフォルト値に２０／２５６階調を加算した値に達したら（ステップＳ３４：Ｙｅｓ）、データベースの作成者は、一連のデータベース作成処理を終了する。データベースの作成者は、ステップＳ３８で作成した各画像データの特徴量ファイルを用いて、上述したデータベース２を作成する。
【００５３】
実施例２によれば、実施例１と同様の効果が得られる。また、料理を携帯端末１１のカメラ１８で撮影すると、カメラ１８で撮影した料理の候補が複数個、ディスプレイ１７に表示される。ユーザは、ディスプレイ１７に表示された料理の候補の中から、カメラ１８で撮影した料理（実際の料理）に該当するものを、例えばキーパッド１９を操作することにより選択することができる。従って、携帯端末１１に、ユーザが食べた料理の記録を残すことができる。さらに、データベース２に蓄積されている料理の画像データと、当該料理を食べたときの摂取カロリーや栄養成分などの情報と、を対応付けておくことによって、ユーザの食事に関する記録を作成することができる。
【００５４】
なお、検索対象の物体は、料理に限らず、花などでもよい。検索対象の物体が花である場合、検索エンジンは、バラやカーネーションなどの花の種類を大別して、大別された種類を検索してもよい。また、電子計算機１は、携帯端末１１に限らず、パーソナルコンピュータやＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）などでもよい。
【００５５】
上述した実施例１及び２に関し、さらに以下の付記を開示する。
【００５６】
（付記１）複数の物体のそれぞれについて、前記物体のそれぞれの画像の特徴を表す第１の特徴量と第２の特徴量とを組み合わせたデータを、前記第１の特徴量及び前記第２の特徴量をそれぞれ所定数ずつ変化させて蓄積したデータベースと、画像データを取得する取得部と、前記データベースを検索する検索部と、前記取得部で取得した第１の画像データから前記第１の特徴量と前記第２の特徴量との組み合わせを抽出し、抽出した前記組み合わせに基づいて前記検索部に対して前記データベースの検索を実行させるアプリケーション部と、を備えることを特徴とする電子計算機。
【００５７】
（付記２）前記第１の特徴量は、色味に関する値であり、前記データベースには、画像の中の主たる色味を複数階調で変化させたデータが蓄積されていることを特徴とする付記１に記載の電子計算機。
【００５８】
（付記３）前記第２の特徴量は、テクスチャに関する値であり、前記データベースには、画像の中の主たる色味の領域とそれ以外の色味の領域との割合を複数段階で変化させたデータが蓄積されていることを特徴とする付記１または２に記載の電子計算機。
【００５９】
（付記４）前記アプリケーション部は、色味に応じて前記第１の特徴量と前記第２の特徴量との重み付けの割合を決める重み付けデータを有することを特徴とする付記１〜３のいずれか一つに記載の電子計算機。
【００６０】
（付記５）前記アプリケーション部は、前記第１の特徴量と前記第２の特徴量との重み付けの割合を第１の割合に設定して、前記検索部に対して前記データベースの検索を実行させ、該検索結果に基づいて前記第１の画像データの主たる色味を決定し、該主たる色味に対する前記第１の特徴量と前記第２の特徴量との第２の重み付けの割合を前記重み付けデータから取得し、取得した前記第２の重み付けの割合で前記検索部に対して前記データベースの検索を実行させ、該検索結果に基づいて前記第１の画像データの前記第１の特徴量と前記第２の特徴量との組み合わせに対応する前記データベース内の前記第１の特徴量と前記第２の特徴量との組み合わせを取得することを特徴とする付記４に記載の電子計算機。
【００６１】
（付記６）複数の物体のそれぞれについて、前記物体のそれぞれの画像の特徴を表す第１の特徴量と第２の特徴量とを組み合わせたデータを、前記第１の特徴量及び前記第２の特徴量をそれぞれ所定数ずつ変化させて蓄積したデータベースの中から、第１の画像データに類似する画像データを検索するにあたって、物体の第１の画像を取得し、前記第１の画像の特徴を表す前記第１の特徴量と前記第２の特徴量との重み付けの割合を第１の重み付けの割合に設定して前記データベースを検索し、前記第１の重み付けの割合での前記検索結果に基づいて前記第１の画像データの主たる色味を決定し、前記主たる色味に対する前記第１の特徴量と前記第２の特徴量との第２の重み付けの割合を、色味に応じて前記第１の特徴量と前記第２の特徴量との重み付けの割合を決める重み付けデータから取得し、取得した前記第２の重み付けの割合で前記データベースを検索し、前記第２の重み付けの割合での前記検索結果に基づいて、前記第１の画像データの前記第１の特徴量と前記第２の特徴量との組み合わせに対応する前記データベース内の前記第１の特徴量と前記第２の特徴量との組み合わせを取得することを特徴とする画像検索方法。
【００６２】
（付記７）前記第１の特徴量は、色味に関する値であり、前記データベースには、画像の中の主たる色味を複数階調で変化させたデータが蓄積されていることを特徴とする付記６に記載の画像検索方法。
【００６３】
（付記８）前記第２の特徴量は、テクスチャに関する値であり、前記データベースには、画像の中の主たる色味の領域とそれ以外の色味の領域との割合を複数段階で変化させたデータが蓄積されていることを特徴とする付記６または７に記載の画像検索方法。
【符号の説明】
【００６４】
１，１１ 電子計算機
２ データベース
３，１８，２０ 取得部
４ 検索部
５ アプリケーション部
【特許請求の範囲】
【請求項１】
複数の物体のそれぞれについて、前記物体のそれぞれの画像の特徴を表す第１の特徴量と第２の特徴量とを組み合わせたデータを、前記第１の特徴量及び前記第２の特徴量をそれぞれ所定数ずつ変化させて蓄積したデータベースと、
画像データを取得する取得部と、
前記データベースを検索する検索部と、
前記取得部で取得した第１の画像データから前記第１の特徴量と前記第２の特徴量との組み合わせを抽出し、抽出した前記組み合わせに基づいて前記検索部に対して前記データベースの検索を実行させるアプリケーション部と、
を備えることを特徴とする電子計算機。
【請求項２】
前記第１の特徴量は、色味に関する値であり、
前記データベースには、画像の中の主たる色味を複数階調で変化させたデータが蓄積されていることを特徴とする請求項１に記載の電子計算機。
【請求項３】
前記第２の特徴量は、テクスチャに関する値であり、
前記データベースには、画像の中の主たる色味の領域とそれ以外の色味の領域との割合を複数段階で変化させたデータが蓄積されていることを特徴とする請求項１または２に記載の電子計算機。
【請求項４】
前記アプリケーション部は、色味に応じて前記第１の特徴量と前記第２の特徴量との重み付けの割合を決める重み付けデータを有することを特徴とする請求項１〜３のいずれか一つに記載の電子計算機。
【請求項５】
前記アプリケーション部は、
前記第１の特徴量と前記第２の特徴量との重み付けの割合を第１の割合に設定して、前記検索部に対して前記データベースの検索を実行させ、
該検索結果に基づいて前記第１の画像データの主たる色味を決定し、
該主たる色味に対する前記第１の特徴量と前記第２の特徴量との第２の重み付けの割合を前記重み付けデータから取得し、
取得した前記第２の重み付けの割合で前記検索部に対して前記データベースの検索を実行させ、該検索結果に基づいて前記第１の画像データの前記第１の特徴量と前記第２の特徴量との組み合わせに対応する前記データベース内の前記第１の特徴量と前記第２の特徴量との組み合わせを取得することを特徴とする請求項４に記載の電子計算機。
【請求項６】
複数の物体のそれぞれについて、前記物体のそれぞれの画像の特徴を表す第１の特徴量と第２の特徴量とを組み合わせたデータを、前記第１の特徴量及び前記第２の特徴量をそれぞれ所定数ずつ変化させて蓄積したデータベースの中から、第１の画像データに類似する画像データを検索するにあたって、
物体の第１の画像を取得し、
前記第１の画像の特徴を表す前記第１の特徴量と前記第２の特徴量との重み付けの割合を第１の重み付けの割合に設定して前記データベースを検索し、
前記第１の重み付けの割合での前記検索結果に基づいて前記第１の画像データの主たる色味を決定し、
前記主たる色味に対する前記第１の特徴量と前記第２の特徴量との第２の重み付けの割合を、色味に応じて前記第１の特徴量と前記第２の特徴量との重み付けの割合を決める重み付けデータから取得し、
取得した前記第２の重み付けの割合で前記データベースを検索し、
前記第２の重み付けの割合での前記検索結果に基づいて、前記第１の画像データの前記第１の特徴量と前記第２の特徴量との組み合わせに対応する前記データベース内の前記第１の特徴量と前記第２の特徴量との組み合わせを取得することを特徴とする画像検索方法。
【請求項１】
複数の物体のそれぞれについて、前記物体のそれぞれの画像の特徴を表す第１の特徴量と第２の特徴量とを組み合わせたデータを、前記第１の特徴量及び前記第２の特徴量をそれぞれ所定数ずつ変化させて蓄積したデータベースと、
画像データを取得する取得部と、
前記データベースを検索する検索部と、
前記取得部で取得した第１の画像データから前記第１の特徴量と前記第２の特徴量との組み合わせを抽出し、抽出した前記組み合わせに基づいて前記検索部に対して前記データベースの検索を実行させるアプリケーション部と、
を備えることを特徴とする電子計算機。
【請求項２】
前記第１の特徴量は、色味に関する値であり、
前記データベースには、画像の中の主たる色味を複数階調で変化させたデータが蓄積されていることを特徴とする請求項１に記載の電子計算機。
【請求項３】
前記第２の特徴量は、テクスチャに関する値であり、
前記データベースには、画像の中の主たる色味の領域とそれ以外の色味の領域との割合を複数段階で変化させたデータが蓄積されていることを特徴とする請求項１または２に記載の電子計算機。
【請求項４】
前記アプリケーション部は、色味に応じて前記第１の特徴量と前記第２の特徴量との重み付けの割合を決める重み付けデータを有することを特徴とする請求項１〜３のいずれか一つに記載の電子計算機。
【請求項５】
前記アプリケーション部は、
前記第１の特徴量と前記第２の特徴量との重み付けの割合を第１の割合に設定して、前記検索部に対して前記データベースの検索を実行させ、
該検索結果に基づいて前記第１の画像データの主たる色味を決定し、
該主たる色味に対する前記第１の特徴量と前記第２の特徴量との第２の重み付けの割合を前記重み付けデータから取得し、
取得した前記第２の重み付けの割合で前記検索部に対して前記データベースの検索を実行させ、該検索結果に基づいて前記第１の画像データの前記第１の特徴量と前記第２の特徴量との組み合わせに対応する前記データベース内の前記第１の特徴量と前記第２の特徴量との組み合わせを取得することを特徴とする請求項４に記載の電子計算機。
【請求項６】
複数の物体のそれぞれについて、前記物体のそれぞれの画像の特徴を表す第１の特徴量と第２の特徴量とを組み合わせたデータを、前記第１の特徴量及び前記第２の特徴量をそれぞれ所定数ずつ変化させて蓄積したデータベースの中から、第１の画像データに類似する画像データを検索するにあたって、
物体の第１の画像を取得し、
前記第１の画像の特徴を表す前記第１の特徴量と前記第２の特徴量との重み付けの割合を第１の重み付けの割合に設定して前記データベースを検索し、
前記第１の重み付けの割合での前記検索結果に基づいて前記第１の画像データの主たる色味を決定し、
前記主たる色味に対する前記第１の特徴量と前記第２の特徴量との第２の重み付けの割合を、色味に応じて前記第１の特徴量と前記第２の特徴量との重み付けの割合を決める重み付けデータから取得し、
取得した前記第２の重み付けの割合で前記データベースを検索し、
前記第２の重み付けの割合での前記検索結果に基づいて、前記第１の画像データの前記第１の特徴量と前記第２の特徴量との組み合わせに対応する前記データベース内の前記第１の特徴量と前記第２の特徴量との組み合わせを取得することを特徴とする画像検索方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１３−６８９８１（Ｐ２０１３−６８９８１Ａ）
【公開日】平成２５年４月１８日（２０１３．４．１８）
【国際特許分類】
【出願番号】特願２０１１−２０５０７９（Ｐ２０１１−２０５０７９）
【出願日】平成２３年９月２０日（２０１１．９．２０）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
【公開日】平成２５年４月１８日（２０１３．４．１８）
【国際特許分類】
【出願日】平成２３年９月２０日（２０１１．９．２０）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
[ Back to top ]