説明

情報管理装置、情報管理方法、情報管理プログラムおよび記録媒体

【課題】高速に検索処理を実行することができる情報管理装置を提供すること。
【解決手段】情報と情報の特徴量とを対応づけて格納する特徴量DB123と、情報の特徴量に対する類似度が予め定められた閾値より大きい特徴量に対応づけられた類似情報を少なくとも1つ含む類似情報リストと、情報とを対応づけて格納する類似情報リストDB124と、登録する情報から特徴量を抽出する特徴量抽出部102と、特徴量DB123から任意の情報の特徴量を検索する検索部105と、登録する情報の特徴量と任意の情報の特徴量との類似度を算出する類似度算出部106と、類似度が閾値より大きい特徴量と対応づけられた情報を類似情報として含む類似情報リストを、登録する情報と対応づけて類似情報リストDB124に登録する登録部103と、を備えた。

【発明の詳細な説明】
【技術分野】
【0001】
この発明は、情報を情報の特徴量と対応づけて登録し、特徴量を比較して類似情報を検索する情報管理装置、情報管理方法、情報管理プログラムおよび記録媒体に関するものである。
【背景技術】
【0002】
近年、特定の画像を検索条件とし、当該画像に類似する画像を画像データベースから検索する類似画像検索の技術が提案され、製品として実現されている。
【0003】
一般に、類似画像検索技術では、画像を解析して得られた画像の特徴を示す情報である画像特徴量を画像登録時に画像と同時に登録する。類似する画像の検索時には、画像特徴量の類似度を判断し、類似度が所定の閾値より大きい画像特徴量と対応づけられた画像を類似する画像として検索する。
【0004】
画像特徴量の抽出方法として、例えば特許文献1では、人間が受ける類似感覚に適合した類似画像を検索できるようにするため、人間の感覚に即した特徴量を自動的に抽出可能とする特徴量抽出技術が提案されている。
【0005】
このような画像特徴量を用いた類似画像検索技術では、画像特徴量自体は画像登録時に抽出して保管しておき、検索時には画像を参照せずに特徴量のみを用いて検索を行うことができるため、比較的高速に類似画像情報の検索を実行することができる。
【0006】
【特許文献1】特開2000−187731号公報
【発明の開示】
【発明が解決しようとする課題】
【0007】
しかしながら、上述のような類似画像検索技術では、検索時に登録されているすべての画像の画像特徴量との類似度を逐一計算することになるため、登録画像数が増加するとともに検索処理速度が低下するという問題があった。
【0008】
本発明は、上記に鑑みてなされたものであって、登録画像数が増加した場合であっても高速に検索処理を実行することができる情報管理装置、情報管理方法、情報管理プログラムおよび記録媒体を提供することを目的とする。
【課題を解決するための手段】
【0009】
上述した課題を解決し、目的を達成するために、請求項1にかかる発明は、情報管理装置において、情報と、情報の内容を表す特徴量とを対応づけて格納する特徴量記憶手段と、情報と、情報の前記特徴量に対する類似する度合いを示す類似度が予め定められた閾値より大きい前記特徴量に対応づけられた類似情報を少なくとも1つ含む類似情報リストとを対応づけて格納する類似情報リスト記憶手段と、登録する情報から、登録する情報の前記特徴量を抽出する特徴量抽出手段と、前記特徴量記憶手段から任意の情報の前記特徴量を検索する検索手段と、前記特徴量抽出手段が抽出した登録する情報の前記特徴量と、前記検索手段が検索した任意の情報の前記特徴量との前記類似度を算出する類似度算出手段と、前記類似度算出手段が算出した前記類似度が前記閾値より大きい前記特徴量と対応づけられた情報を前記類似情報として含む類似情報リストを、登録する情報と対応づけて前記類似情報リスト記憶手段に登録する登録手段と、を備えたことを特徴とする。
【0010】
また、請求項2にかかる発明は、請求項1に記載の情報管理装置において、前記登録手段は、登録する情報の前記類似情報に対応づけられた前記類似情報リストを前記類似情報リスト記憶手段から取得し、取得した前記類似情報リストに、登録する情報を前記類似情報として追加して前記類似情報リスト記憶手段を更新することを特徴とする。
【0011】
また、請求項3にかかる発明は、請求項1に記載の情報管理装置において、前記登録手段は、新規に情報を登録するときに、前記類似度算出手段が算出した前記類似度が前記閾値より大きい前記特徴量と対応づけられた情報を前記類似情報として含む類似情報リストを、登録する情報と対応づけて前記類似情報リスト記憶手段に登録することを特徴とする。
【0012】
また、請求項4にかかる発明は、請求項1に記載の情報管理装置において、前記検索手段は、利用者が任意の情報の前記類似情報の検索を指示した場合に、検索が指示された情報と対応づけられた前記類似情報リストを、前記類似情報リスト記憶手段から取得し、取得した前記類似情報リストに含まれる前記類似情報を検索結果として出力することを特徴とする。
【0013】
また、請求項5にかかる発明は、請求項1に記載の情報管理装置において、登録した情報を削除するときに、削除する情報が前記類似情報として対応づけられた前記類似情報リストを前記類似情報リスト記憶手段から取得し、取得した前記類似情報リストから、削除する情報を削除して前記類似情報リスト記憶手段を更新する削除手段をさらに備えたことを特徴とする。
【0014】
また、請求項6にかかる発明は、請求項1に記載の情報管理装置において、情報と、情報の前記特徴量に対する前記類似度が前記閾値より大きい前記特徴量に対応づけられた類似情報を少なくとも1つ含む類似情報リストとを対応づけて格納する一時類似情報リスト記憶手段と、登録する情報が複数存在する場合に、前記類似度算出手段が算出した前記類似度が前記閾値より大きい前記特徴量と対応づけられた情報を前記類似情報として含む類似情報リストを、登録する情報と対応づけて前記一時類似情報リスト記憶手段に登録する処理を並列に実行する一時登録手段と、をさらに備え、前記登録手段は、前記一時登録手段が予め定められた個数以上の情報を前記一時類似情報リスト記憶手段に登録したときに、前記一時類似情報リスト記憶手段に登録した情報と前記類似情報リストとを、前記類似情報リスト記憶手段に移動することを特徴とする。
【0015】
また、請求項7にかかる発明は、請求項1に記載の情報管理装置において、情報と、情報の前記特徴量とを対応づけて格納する一時特徴量記憶手段と、登録する情報が複数存在する場合に、登録する情報に対して、前記特徴量抽出手段により抽出した前記特徴量を対応づけて前記一時特徴量記憶手段に登録する処理を並列に実行する一時登録手段と、をさらに備え、前記類似度算出手段は、前記一時登録手段が予め定められた個数以上の情報を前記一時特徴量記憶手段に登録したときに、前記一時特徴量記憶手段に登録された情報の前記特徴量と、前記検索手段が検索した任意の情報の前記特徴量との前記類似度を算出する処理を並列に実行し、前記登録手段は、前記類似度算出手段が算出した前記類似度が前記閾値より大きい前記特徴量と対応づけられた情報を前記類似情報として含む類似情報リストを、登録する情報と対応づけて前記類似情報リスト記憶手段に登録することを特徴とする。
【0016】
また、請求項8にかかる発明は、請求項1に記載の情報管理装置において、情報と、情報の属性を表すメタデータとを対応づけて格納するメタデータ記憶手段と、利用者が前記メタデータを検索キーとして情報の検索を指示した場合に、検索キーとされた前記メタデータに対応づけられた情報を前記メタデータ記憶手段から検索するメタデータ検索手段と、をさらに備え、前記検索手段は、前記メタデータ検索手段が検索した情報に対応づけられた前記類似情報リストを、前記類似情報リスト記憶手段から取得し、前記類似情報リストに含まれる個数が多い情報を、前記類似情報リストに含まれる個数が少ない情報より優先して検索結果として出力することを特徴とする。
【0017】
また、請求項9にかかる発明は、請求項1に記載の情報管理装置において、情報と、情報の前記特徴量とを対応づけて格納する一時特徴量記憶手段と、登録する情報に対して、前記特徴量抽出手段により抽出した前記特徴量を対応づけて前記一時特徴量記憶手段に登録する一時登録手段と、をさらに備え、前記類似度算出手段は、前記一時登録手段が予め定められた個数以上の情報を前記一時特徴量記憶手段に登録したときに、前記一時特徴量記憶手段に登録された情報の前記特徴量と、前記検索手段が検索した任意の情報の前記特徴量との前記類似度を算出する処理を並列に実行し、前記登録手段は、前記類似度算出手段が算出した前記類似度が前記閾値より大きい前記特徴量と対応づけられた情報を前記類似情報として含む類似情報リストを、登録する情報と対応づけて前記類似情報リスト記憶手段に登録することを特徴とする。
【0018】
また、請求項10にかかる発明は、請求項9に記載の情報管理装置において、前記類似度算出手段は、利用者が任意の情報の前記類似情報の検索を指示した場合に、前記一時特徴量記憶手段に登録された情報の前記特徴量と、検索が指示された情報の前記特徴量との前記類似度を算出し、前記検索手段は、利用者が任意の情報の前記類似情報の検索を指示した場合に、前記類似度算出手段が算出した前記類似度が前記閾値より大きい前記特徴量と対応づけられた情報を前記類似情報として前記一時特徴量記憶手段から取得して検索結果として出力し、検索が指示された情報と対応づけられた前記類似情報リストを、前記類似情報リスト記憶手段から取得し、取得した前記類似情報リストに含まれる前記類似情報を検索結果として出力することを特徴とする。
【0019】
また、請求項11にかかる発明は、請求項1〜10のいずれか1つに記載の情報管理装置において、情報は画像情報であり、前記特徴量は画像情報の内容を表す特徴量であることを特徴とする。
【0020】
また、請求項12にかかる発明は、情報管理方法において、登録する情報から、登録する情報の内容を表す特徴量を抽出する特徴量抽出ステップと、情報と、情報の前記特徴量とを対応づけて格納する特徴量記憶手段から任意の情報の前記特徴量を検索する検索ステップと、前記特徴量抽出ステップが抽出した登録する情報の前記特徴量と、前記検索ステップが検索した任意の情報の前記特徴量との類似する度合いを示す類似度を算出する類似度算出ステップと、前記類似度算出ステップが算出した前記類似度が予め定められた閾値より大きい前記特徴量と対応づけられた情報を前記類似情報として含む類似情報リストを、登録する情報と対応づけて、情報と情報の前記特徴量に対する前記類似度が前記閾値より大きい前記特徴量に対応づけられた類似情報を少なくとも1つ含む類似情報リストとを対応づけて格納する類似情報リスト記憶手段に登録する登録ステップと、を備えたことを特徴とする。
【0021】
また、請求項13にかかる発明は、請求項12に記載の情報管理方法において、前記登録ステップは、登録する情報の前記類似情報に対応づけられた前記類似情報リストを前記類似情報リスト記憶手段から取得し、取得した前記類似情報リストに、登録する情報を前記類似情報として追加して前記類似情報リスト記憶手段を更新することを特徴とする。
【0022】
また、請求項14にかかる発明は、請求項12に記載の情報管理方法において、前記登録ステップは、新規に情報を登録するときに、前記類似度算出ステップが算出した前記類似度が前記閾値より大きい前記特徴量と対応づけられた情報を前記類似情報として含む類似情報リストを、登録する情報と対応づけて前記類似情報リスト記憶手段に登録することを特徴とする。
【0023】
また、請求項15にかかる発明は、請求項12に記載の情報管理方法において、前記検索ステップは、利用者が任意の情報の前記類似情報の検索を指示した場合に、検索が指示された情報と対応づけられた前記類似情報リストを、前記類似情報リスト記憶手段から取得し、取得した前記類似情報リストに含まれる前記類似情報を検索結果として出力することを特徴とする。
【0024】
また、請求項16にかかる発明は、請求項12に記載の情報管理方法において、登録した情報を削除するときに、削除する情報が前記類似情報として対応づけられた前記類似情報リストを前記類似情報リスト記憶手段から取得し、取得した前記類似情報リストから、削除する情報を削除して前記類似情報リスト記憶手段を更新する削除ステップをさらに備えたことを特徴とする。
【0025】
また、請求項17にかかる発明は、請求項12に記載の情報管理方法において、登録する情報が複数存在する場合に、前記類似度算出ステップが算出した前記類似度が前記閾値より大きい前記特徴量と対応づけられた情報を前記類似情報として含む類似情報リストを、登録する情報と対応づけて、情報と情報の前記特徴量に対する前記類似度が前記閾値より大きい前記特徴量に対応づけられた類似情報を少なくとも1つ含む類似情報リストとを対応づけて格納する一時類似情報リスト記憶手段に登録する処理を並列に実行する一時登録ステップをさらに備え、前記登録ステップは、前記一時登録ステップが予め定められた個数以上の情報を前記一時類似情報リスト記憶手段に登録したときに、前記一時類似情報リスト記憶手段に登録した情報と前記類似情報リストとを、前記類似情報リスト記憶手段に移動することを特徴とする。
【0026】
また、請求項18にかかる発明は、請求項12に記載の情報管理方法において、登録する情報が複数存在する場合に、登録する情報に対して、前記特徴量抽出ステップにより抽出した前記特徴量を対応づけて、情報と情報の前記特徴量とを対応づけて格納する一時特徴量記憶手段に登録する処理を並列に実行する一時登録ステップをさらに備え、前記類似度算出ステップは、前記一時登録ステップが予め定められた個数以上の情報を前記一時特徴量記憶手段に登録したときに、前記一時特徴量記憶手段に登録された情報の前記特徴量と、前記検索ステップが検索した任意の情報の前記特徴量との前記類似度を算出する処理を並列に実行し、前記登録ステップは、前記類似度算出ステップが算出した前記類似度が前記閾値より大きい前記特徴量と対応づけられた情報を前記類似情報として含む類似情報リストを、登録する情報と対応づけて前記類似情報リスト記憶手段に登録することを特徴とする。
【0027】
また、請求項19にかかる発明は、請求項12に記載の情報管理方法において、利用者が前記メタデータを検索キーとして情報の検索を指示した場合に、検索キーとされた前記メタデータに対応づけられた情報を、情報と情報の属性を表すメタデータとを対応づけて格納するメタデータ記憶手段から検索するメタデータ検索ステップをさらに備え、前記検索ステップは、前記メタデータ検索ステップが検索した情報に対応づけられた前記類似情報リストを、前記類似情報リスト記憶手段から取得し、前記類似情報リストに含まれる個数が多い情報を、前記類似情報リストに含まれる個数が少ない情報より優先して検索結果として出力することを特徴とする。
【0028】
また、請求項20にかかる発明は、請求項12に記載の情報管理方法において、登録する情報に対して、前記特徴量抽出ステップにより抽出した前記特徴量を対応づけて、情報と情報の前記特徴量とを対応づけて格納する一時特徴量記憶手段に登録する一時登録ステップをさらに備え、前記類似度算出ステップは、前記一時登録ステップが予め定められた個数以上の情報を前記一時特徴量記憶手段に登録したときに、前記一時特徴量記憶手段に登録された情報の前記特徴量と、前記検索ステップが検索した任意の情報の前記特徴量との前記類似度を算出する処理を並列に実行し、前記登録ステップは、前記類似度算出ステップが算出した前記類似度が前記閾値より大きい前記特徴量と対応づけられた情報を前記類似情報として含む類似情報リストを、登録する情報と対応づけて前記類似情報リスト記憶手段に登録することを特徴とする。
【0029】
また、請求項21にかかる発明は、請求項20に記載の情報管理方法において、前記類似度算出ステップは、利用者が任意の情報の前記類似情報の検索を指示した場合に、前記一時特徴量記憶手段に登録された情報の前記特徴量と、検索が指示された情報の前記特徴量との前記類似度を算出し、前記検索ステップは、利用者が任意の情報の前記類似情報の検索を指示した場合に、前記類似度算出ステップが算出した前記類似度が前記閾値より大きい前記特徴量と対応づけられた情報を前記類似情報として前記一時特徴量記憶手段から取得して検索結果として出力し、検索が指示された情報と対応づけられた前記類似情報リストを、前記類似情報リスト記憶手段から取得し、取得した前記類似情報リストに含まれる前記類似情報を検索結果として出力することを特徴とする。
【0030】
また、請求項22にかかる発明は、請求項12〜21のいずれか1つに記載の情報管理方法において、情報は画像情報であり、前記特徴量は画像情報の内容を表す特徴量であることを特徴とする。
【0031】
また、請求項23にかかる発明は、請求項12〜22のいずれか1つに記載の情報管理方法をコンピュータに実行させることを特徴とするプログラムである。
【0032】
また、請求項24にかかる発明は、請求項23に記載のプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体である。
【発明の効果】
【0033】
請求項1にかかる発明によれば、登録されている情報に対し、類似情報を検索して登録する情報と対応づけて記憶手段に予め登録することができる。このため、検索時には類似情報を検索することなく、記憶手段に登録した類似情報を取得して出力することにより高速に検索処理を実行することができるという効果を奏する。
【0034】
また、請求項2にかかる発明によれば、登録する情報の類似情報を登録するとともに、当該類似情報の類似情報として登録する情報を対応づけて記憶手段に登録することができる。このため、検索時に新たに類似情報を検索する必要がなく、記憶手段に登録した類似情報を取得して出力することにより高速に検索処理を実行することができるという効果を奏する。
【0035】
また、請求項3にかかる発明によれば、情報を登録するときに、同時に類似情報を検索して登録する情報と対応づけて記憶手段に予め登録することができる。このため、検索時には類似情報を検索することなく、記憶手段に登録した類似情報を取得して出力することにより高速に検索処理を実行することができるという効果を奏する。
【0036】
また、請求項4にかかる発明によれば、検索時には類似情報を検索することなく、記憶手段に登録した類似情報を取得して出力することができる。このため、高速に検索処理を実行することができるという効果を奏する。
【0037】
また、請求項5にかかる発明によれば、登録する情報を削除する際に、削除する情報の類似情報に含まれる情報の類似情報から、削除する情報を削除することができる。このため、情報の不整合の発生を防止することができるという効果を奏する。
【0038】
また、請求項6にかかる発明によれば、登録する情報が複数存在する場合に、登録処理を並列化して実行することができる。このため、登録処理を高速に実行することができるという効果を奏する。
【0039】
また、請求項7にかかる発明によれば、登録する情報が複数存在する場合に、登録時の特徴量算出処理を並列化して実行することができる。このため、登録処理をさらに高速に実行することができるという効果を奏する。
【0040】
また、請求項8にかかる発明によれば、情報をメタデータにより検索したときに、検索された情報の類似情報を取得し、類似情報に含まれる個数が多い情報を優先して検索結果として出力することができる。このため、検索条件により適合した検索結果を出力することができるという効果を奏する。
【0041】
また、請求項9にかかる発明によれば、情報を登録する際に一時的な記憶手段に情報を仮登録し、所定の件数の情報が一時的な記憶手段に登録された場合に、一時的な記憶手段から実際に情報を記憶する記憶手段に一括して情報を移動する処理を並列化して実行することができる。このため、登録処理を高速に実行することができるという効果を奏する。
【0042】
また、請求項10にかかる発明によれば、情報を登録する際に一時的な記憶手段に情報を仮登録された情報も検索対象に含めて検索を実行することができる。このため、実際に情報を記憶する記憶手段に登録されていない場合であっても適切な検索結果を出力することができるという効果を奏する。
【0043】
また、請求項11にかかる発明によれば、情報として画像情報を、特徴量として画像情報の特徴情報を適用することができるという効果を奏する。
【0044】
また、請求項12にかかる発明によれば、登録されている情報に対し、類似情報を検索して登録する情報と対応づけて記憶手段に予め登録することができる。このため、検索時には類似情報を検索することなく、記憶手段に登録した類似情報を取得して出力することにより高速に検索処理を実行することができるという効果を奏する。
【0045】
また、請求項13にかかる発明によれば、登録する情報の類似情報を登録するとともに、当該類似情報の類似情報として登録する情報を対応づけて記憶手段に登録することができる。このため、検索時に新たに類似情報を検索する必要がなく、記憶手段に登録した類似情報を取得して出力することにより高速に検索処理を実行することができるという効果を奏する。
【0046】
また、請求項14にかかる発明によれば、情報を登録するときに、同時に類似情報を検索して登録する情報と対応づけて記憶手段に予め登録することができる。このため、検索時には類似情報を検索することなく、記憶手段に登録した類似情報を取得して出力することにより高速に検索処理を実行することができるという効果を奏する。
【0047】
また、請求項15にかかる発明によれば、検索時には類似情報を検索することなく、記憶手段に登録した類似情報を取得して出力することができる。このため、高速に検索処理を実行することができるという効果を奏する。
【0048】
また、請求項16にかかる発明によれば、登録する情報を削除する際に、削除する情報の類似情報に含まれる情報の類似情報から、削除する情報を削除することができる。このため、情報の不整合の発生を防止することができるという効果を奏する。
【0049】
また、請求項17にかかる発明によれば、登録する情報が複数存在する場合に、登録処理を並列化して実行することができる。このため、登録処理を高速に実行することができるという効果を奏する。
【0050】
また、請求項18にかかる発明によれば、登録する情報が複数存在する場合に、登録時の特徴量算出処理を並列化して実行することができる。このため、登録処理をさらに高速に実行することができるという効果を奏する。
【0051】
また、請求項19にかかる発明によれば、情報をメタデータにより検索したときに、検索された情報の類似情報を取得し、類似情報に含まれる個数が多い情報を優先して検索結果として出力することができる。このため、検索条件により適合した検索結果を出力することができるという効果を奏する。
【0052】
また、請求項20にかかる発明によれば、情報を登録する際に一時的な記憶手段に情報を仮登録し、所定の件数の情報が一時的な記憶手段に登録された場合に、一時的な記憶手段から実際に情報を記憶する記憶手段に一括して情報を移動する処理を並列化して実行することができる。このため、登録処理を高速に実行することができるという効果を奏する。
【0053】
また、請求項21にかかる発明によれば、情報を登録する際に一時的な記憶手段に情報を仮登録された情報も検索対象に含めて検索を実行することができる。このため、実際に情報を記憶する記憶手段に登録されていない場合であっても適切な検索結果を出力することができるという効果を奏する。
【0054】
また、請求項22にかかる発明によれば、情報として画像情報を、特徴量として画像情報の特徴情報を適用することができるという効果を奏する。
【0055】
また、請求項23の発明によれば、請求項12〜22のいずれか1つに記載の方法をコンピュータに実行させることができるという効果を奏する。
【0056】
また、請求項24にかかる発明は、請求項23に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体であるので、請求項12〜22のいずれか1つに記載の方法をコンピュータによって実行することができるという効果を奏する。
【発明を実施するための最良の形態】
【0057】
以下に添付図面を参照して、この発明にかかる情報管理装置の最良な実施の形態を詳細に説明する。
【0058】
(第1の実施の形態)
第1の実施の形態にかかる情報管理装置は、情報を登録するときに類似情報を検索し、検索結果を類似情報リストとして記憶手段に登録し、任意の情報の類似情報を検索するときには既に登録されている類似情報リストから類似情報を取得して検索結果として出力するものである。
【0059】
以下では情報として画像情報を登録し、画像情報に類似する画像を検索する類似画像検索処理に本発明を適用した例について説明する。なお、扱う情報は画像情報に限られるものではなく、情報と、情報の内容を表す特徴量とを対応づけて登録し、特徴量を比較することにより類似情報を検索するものであればあらゆる情報を対象とすることができる。例えば、文書データ、音声データ、動画データ、情報を解析して出力された解析データなどの管理に本発明を適用するように構成してもよい。
【0060】
図1は、本発明の第1の実施の形態にかかる情報管理装置100の構成を示すブロック図である。同図に示すように、情報管理装置100は、検索条件の入力や検索結果の表示を行うユーザI/F201を備えた複数のクライアントPC(Personal Computer)200a、200b(以下、単にクライアントPCという。)と、インターネット等のネットワークを介して接続されている。なお、ネットワークはインターネットに限られるものではなく、一般的に利用されているあらゆるネットワーク形態により構成することができる。
【0061】
情報管理装置100は、主要なハードウェアとして、ハードディスクドライブ(HDD:Hard Disk Drive)120を備えている。また、主要なソフトウェア構成として、入出力制御部101と、特徴量抽出部102と、登録部103と、削除部104と、検索部105と、類似度算出部106とを備えている。
【0062】
HDD120は、画像データ記憶部121と、メタデータDB(Data Base)122と、特徴量DB123と、類似情報リストDB124とを格納する記憶手段である。なお、記憶手段はHDDに限られるものではなく、光ディスク、メモリカードなどの一般的に利用されているあらゆる記憶手段により構成することができる。
【0063】
画像データ記憶部121は、画像データそのものを格納する記憶部である。格納する方法としては、OS(Operating System)が提供するファイルシステム上に格納する方法、画像データを格納する画像データベース上に格納する方法などの一般的に利用されているあらゆる方法を適用することができる。
【0064】
メタデータDB122は、画像データの属性を表すメタデータを格納する記憶部である。図2は、メタデータDB122のデータ構造の一例を示す説明図である。同図に示すように、メタデータDB122は、画像IDと、画像データのメタデータの一例である画像ファイル名とを対応づけて格納している。
【0065】
なお、メタデータは画像ファイル名に限られるものではなく、画像データの属性を表すものであればあらゆる情報をメタデータとして格納することができる。
【0066】
画像ファイル名は、画像データ記憶部121のいずれの位置に画像が保存されているかを識別するために利用される。なお、画像データを外部システムに記憶し、画像ファイル名に当該外部システムを識別する情報を含めるように構成してもよい。例えば、画像データをインターネット上の外部サーバに保存し、画像ファイル名をURL(Uniform Resource Locator)で表すことにより、外部システムに保存されている画像情報を管理できるように構成してもよい。
【0067】
特徴量DB123は、画像データ記憶部121に記憶されている画像の特徴量を格納する記憶部である。図3は、特徴量DB123のデータ構造の一例を示す説明図である。同図に示すように、特徴量DB123は、画像IDと、画像の特徴量とを対応づけて格納している。
【0068】
画像の特徴量としては、例えば、画像のカラーヒストグラムなどのベクトルデータが利用できる。同図では、画像ID=1で識別される画像の特徴量のベクトルデータが[a1,a2,…,an]、画像ID=2で識別される画像の特徴量のベクトルデータが[b1,b2,…,bn](nは整数)で表された例が示されている。なお、画像の特徴量としては、色合い、色の分布、構図、模様などの一般的に利用されているあらゆる特徴量を保存することができる。
【0069】
類似情報リストDB124は、画像データ記憶部121に記憶されている各画像について、特徴量が類似すると判断された類似情報を格納するものである。図4は、類似情報リストDB124のデータ構造の一例を示す説明図である。同図に示すように、類似情報リストDB124は、画像IDと、類似する画像の画像IDである類似画像IDおよび類似度の組を少なくとも1つ含む類似情報リストとを対応づけて格納している。類似度の算出方法については後述する。
【0070】
図5は、類似情報リストDB124のデータ構造の別の一例を示す説明図である。同図に示す例では、類似情報リストDB124は、画像IDと、類似画像IDと、類似度とを対応づけて格納している。このように構成しても、1つの画像に対して複数の類似情報を格納することができる。
【0071】
なお、この場合は、同一の画像IDに対応づけられている類似画像IDと類似度との組を少なくとも1つ含む情報が、本発明における類似情報リストに相当する。例えば、図5に示す例では、画像ID=1に対応づけられた類似情報リストは、類似画像IDおよび類似度がそれぞれ2と0.10との組、および、10と0.11との組を含む情報である。
【0072】
類似情報リストDB124に事前に類似情報を登録しておくことにより、検索時に特徴量の類似度を算出して類似情報を検索する必要がなくなり、検索処理の高速化を実現することが可能となる。
【0073】
入出力制御部101は、クライアントPCを介して利用者により指示された画像の登録・検索の入力処理、および、検索結果などをクライアントPCに出力する処理の制御を行うものである。
【0074】
特徴量抽出部102は、登録する画像データを読込み、画像データの特徴量を抽出するものである。特徴量を抽出する方法としては、色のヒストグラムを特徴量として抽出する特許文献1の方法などの、従来から用いられているあらゆる方法を適用することができる。
【0075】
登録部103は、画像データ記憶部121、メタデータDB122、特徴量DB123に対するデータの登録処理を実行するものである。
【0076】
また、登録部103は、後述する類似度算出部106が算出した特徴量の類似度が予め定められた閾値より大きい特徴量と対応づけられた情報を類似情報として含む類似情報リストを作成し、登録する情報と対応づけて類似情報リストDB124に登録する処理を実行する。
【0077】
さらに、登録部103は、登録する情報の類似情報に対応づけられた類似情報リストを類似情報リストDB124から取得し、取得した類似情報リストに、登録する情報を類似情報として追加して類似情報リストDBを更新する処理を実行する。
【0078】
削除部104は、画像データ記憶部121、メタデータDB122、特徴量DB123からデータを削除する処理を実行するものである。
【0079】
また、削除部104は、登録した情報を削除するときに、削除する情報が類似情報として対応づけられた類似情報リストを類似情報リストDB124から取得し、取得した類似情報リストから、削除する情報を削除した類似情報リストを作成により類似情報リストDB124を更新する処理を実行する。これにより、削除した情報が、削除されていない情報に対する類似情報として残されるというデータの不整合の発生を回避することができる。
【0080】
検索部105は、画像データ記憶部121、メタデータDB122、特徴量DB123からデータを検索する処理を実行するものである。
【0081】
また、検索部105は、利用者が類似情報の検索を指示した場合に、検索が指示された情報と対応づけられた類似情報リストを類似情報リストDB124から取得し、取得した類似情報リストに含まれる類似情報を検索結果として出力する処理を実行するものである。これにより、類似情報の検索時に特徴量を比較して類似度を算出する処理を行う必要がなくなり、検索処理の高速化を図ることができる。
【0082】
類似度算出部106は、特徴量抽出部102が抽出した登録する情報の特徴量と、特徴量DBに登録されている既存の情報の特徴量とを比較し、両者の類似する度合いを示す類似度を算出するものである。
【0083】
例えば、類似度算出部106は、比較する特徴量のベクトルデータを{a1,a2,…,an}および{b1,b2,…,bn}とすると、以下の(1)式により類似度Sを算出する。
S=Σ|ai−bi| ・・・(1)
【0084】
上記の類似度Sは、特徴量のベクトルデータの各成分の差の絶対値の和により算出されるため、類似度Sが小さいほど両者は類似していることを意味する。従って、登録部103で類似度を判断する際には、例えば、類似度Sの逆数を算出し、逆数が予め定められた閾値より大きい場合に、両者は類似すると判断する。
【0085】
なお、逆数を算出せず、登録部103が、類似度が予め定められた閾値より小さいか否かを判断することにより、情報の類似度を判断するように構成してもよい。閾値としては、類似度の範囲を0〜1とすると、例えば0.3〜0.4を設定し、この閾値より類似度が小さい場合に、2つの特徴量は類似すると判断する。
【0086】
ベクトルデータの各要素は、一般に浮動小数点の形式で表現されている。また、ベクトルデータは、一般に1.5kバイト〜2.0kバイトのデータサイズであるため、(1)式で表される類似度算出処理は、高負荷のかかる演算処理となる。
【0087】
次に、このように構成された第1の実施の形態にかかる情報管理装置100による情報の登録処理について説明する。図6は、第1の実施の形態における登録処理の全体の流れを示すフローチャートである。
【0088】
まず、入出力制御部101が、クライアントPCのユーザI/F201上で入力された利用者による登録画像ファイルの指定を受付ける(ステップS601)。次に、登録部103が、画像IDと画像ファイル名とを対応づけてメタデータDB122に登録する(ステップS602)。
【0089】
次に、特徴量抽出部102が、登録画像ファイルを読込み(ステップS603)、登録画像の特徴量を抽出する(ステップS604)。抽出した特徴量は、上述のようにベクトルデータとして出力される。
【0090】
次に、登録する画像の類似画像を検索する類似画像検索処理を実行する(ステップS605)。類似画像検索処理では、検索した類似画像の情報が類似情報リストに出力される。類似画像検索処理の詳細については後述する。
【0091】
次に、登録部103が、類似画像検索処理で出力された類似情報リストを類似情報リストDB124に登録する(ステップS606)。
【0092】
続いて、登録する情報を、既に登録されている情報の類似情報として追加するために、類似情報リスト更新処理を実行する(ステップS607)。類似情報リスト更新処理の詳細については後述する。
【0093】
次に、登録部103が、ステップS604で特徴量抽出部102が抽出した特徴量を特徴量DB123に登録し(ステップS608)、登録処理を終了する。
【0094】
このように、登録する情報の類似情報を、ステップS605およびステップS606で検索し、事前に類似情報リストDB124に登録することができるため、検索処理では既に登録されている類似情報を類似情報リストDB124から取得するだけで検索結果を得ることができる。このため、検索処理の高速化を実現することができる。検索処理の詳細については後述する。
【0095】
なお、上述の例では画像情報の登録と同時に類似情報を検索し、類似情報リストDB124に登録しているが、検索処理を実行する前であれば、画像情報の登録が完了した後に類似情報の検索および登録処理を実行してもよい。これにより、処理負荷の高い特徴量抽出処理および類似度算出処理を独立して実行することが可能となる。
【0096】
次に、ステップS605に示した類似画像検索処理の詳細について説明する。図7は、第1の実施の形態における類似画像検索処理の全体の流れを示すフローチャートである。
【0097】
まず、検索部105が、特徴量DB123から画像IDと特徴量とを取得する(ステップS701)。次に、類似度算出部106が、取得した特徴量と、ステップS604で特徴量抽出部102が抽出した登録画像の特徴量との類似度を算出する(ステップS702)。ここでは、上述のように値が小さいほど類似していることを意味する(1)式によって算出される類似度Sを算出するものとする。
【0098】
次に、類似度算出部106が、類似度が予め定められた閾値より小さいか否かを判断する(ステップS703)。これは、特徴量DBから検索した画像情報が、登録する画像情報と類似しているか否かを判断することを意味する。
【0099】
類似度が予め定められた閾値より小さい場合は(ステップS703:YES)、特徴量DBから検索した画像情報が、登録する画像情報と類似していると判断できるため、ステップS701で取得した画像IDを類似画像IDとし、ステップS702で算出した類似度と対応づけて類似情報リストに追加する(ステップS704)。
【0100】
類似情報リストに追加した後、または、ステップS703で類似度が予め定められた閾値より小さくないと判断された場合は(ステップS703:NO)、検索部105が、特徴量DB123内のすべてのデータを処理したか否かを判断する(ステップS705)。
【0101】
すべてのデータを処理していない場合は(ステップS705:NO)、次の画像のデータを取得して処理を繰り返す(ステップS701)。すべてのデータを処理した場合は(ステップS705:YES)、類似画像検索処理を終了する。
【0102】
次に、ステップS607に示した類似情報リスト更新処理の詳細について説明する。新規に登録した画像情報と、それに対する類似情報(既存の情報)は互いに類似する情報である。従って、既存の情報についての類似情報リストに、新規に登録した画像情報を追加する必要がある。この処理を行うのが類似情報リスト更新処理である。
【0103】
図8は、第1の実施の形態における類似情報リスト更新処理の全体の流れを示すフローチャートである。
【0104】
まず、検索部105が、登録画像の類似情報リストから類似画像IDを取得する(ステップS801)。次に、検索部105が、取得した類似画像IDに対応する類似情報リストを類似情報リストDB124から取得する(ステップS802)。
【0105】
次に、登録部103が、取得した類似情報リストに、登録する画像の画像IDと、ステップS702で類似度算出部106が算出した類似度とを対応づけた類似情報を追加する(ステップS803)。
【0106】
例えば、登録画像の画像ID=10とし、図4に示すような類似情報リスト(「1:0.11」)から類似画像IDとして「1」を取得したとする(ステップS801)。さらに、取得した類似画像IDに対応する類似情報リストとして、例えば、「2:0.10、・・・」が取得されたとする(ステップS802)。ステップS803では、この類似情報リストに、登録画像の画像ID(10)と類似度(0.11)とを対応づけた類似情報「10:0.11」を追加する。その結果、図4の画像ID=1に示すような類似情報リスト「2:0.10、10:0.11、・・・」に更新される。
【0107】
次に、検索部105が、登録画像の類似情報リスト内のすべてのデータを処理したか否かを判断し(ステップS804)、すべてのデータを処理していない場合は(ステップS804:NO)、次の類似画像IDを取得して処理を繰り返す(ステップS801)。
【0108】
すべてのデータを処理した場合は(ステップS804:YES)、類似情報リスト更新処理を終了する。
【0109】
次に、このように構成された第1の実施の形態にかかる情報管理装置100による類似情報の検索処理について説明する。ここでの検索処理は、利用者によって指示される処理であり、特定の画像に対する類似画像を検索する処理を意味する。
【0110】
図9は、第1の実施の形態における検索処理の全体の流れを示すフローチャートである。まず、入出力制御部101が、検索の前提として、画像データ記憶部121に記憶されている画像の一覧表示を行い(ステップS901)、利用者による検索元となる画像の選択を受付ける(ステップS902)。
【0111】
なお、画像の一覧は、登録日付順または利用頻度の多い順に表示するように構成してもよいし、無作為に抽出した画像を表示するように構成してもよい。また、最初にメタデータDB122に登録されているメタデータにより画像を検索し、検索された画像を一覧表示するように構成してもよい。
【0112】
次に、検索部105が、利用者により選択された画像の類似情報リストを類似情報リストDB124から取得する(ステップS903)。
【0113】
続いて、検索部105が、取得した類似情報リストから類似画像IDと類似度とを取得する(ステップS904)。次に、検索部105が、取得した類似画像IDに対応する画像ファイル名をメタデータDB122から取得する(ステップS905)。
【0114】
さらに、検索部105が、取得した画像ファイル名に対応する画像データを画像データ記憶部121から取得する(ステップS906)。なお、外部システムに保存されている画像データの場合は、外部システムから画像ファイル名に対応する画像データを取得する。
【0115】
次に、入出力制御部101が、取得した画像データと類似度とをクライアントPCのユーザI/F201の画面に表示する(ステップS907)。
【0116】
次に、検索部105が、類似情報リスト内のすべてのデータを処理したか否かを判断し(ステップS908)、すべてのデータを処理していない場合は(ステップS908:NO)、次の類似画像IDを取得して処理を繰り返す(ステップS904)。
【0117】
すべてのデータを処理した場合は(ステップS908:YES)、検索処理を終了する。
【0118】
このように、検索処理では、既に類似情報リストDB124に登録されている類似情報リスト内の類似情報を、検索元の画像の類似情報として出力することができる。これにより、検索処理の高速化を図ることができる。
【0119】
次に、このように構成された第1の実施の形態にかかる情報管理装置100による情報の削除処理について説明する。削除処理では、画像情報を削除するだけでなく、削除する情報が類似情報として登録されている類似情報リストを検索し、当該類似情報リストから削除する情報を削除することにより、類似情報リストの整合性を維持することができる。
【0120】
図10は、第1の実施の形態における削除処理の全体の流れを示すフローチャートである。まず、入出力制御部101が、削除の前提として、画像データ記憶部121に記憶されている画像の一覧表示を行い(ステップS1001)、利用者による削除する画像の選択を受付ける(ステップS1002)。
【0121】
次に、検索部105が、利用者により選択された画像の類似情報リストを類似情報リストDB124から取得する(ステップS1003)。
【0122】
続いて、検索部105が、類似情報リスト削除処理を実行する(ステップS1004)。類似情報リスト削除処理の詳細については後述する。
【0123】
次に、削除部104が、削除画像のメタデータをメタデータDB122から削除し(ステップS1005)、削除画像の特徴量を特徴量DB123から削除し(ステップS1006)、削除画像の類似情報リストを類似情報リストDB124から削除して(ステップS1007)、削除処理を終了する。
【0124】
次に、ステップS1004に示した類似情報リスト削除処理の詳細について説明する。図11は、第1の実施の形態における類似情報リスト削除処理の全体の流れを示すフローチャートである。
【0125】
まず、検索部105が、類似情報リストから類似画像IDを取得する(ステップS1101)。次に、検索部105が、取得した類似画像IDに対応する類似情報リストを類似情報リストDB124から取得する(ステップS1102)。
【0126】
次に、削除部104が、取得した類似情報リストから、削除画像IDと一致する類似情報IDを有する類似情報を削除する(ステップS1103)。
【0127】
次に、検索部105が、削除画像の類似情報リスト内のすべてのデータを処理したか否かを判断し(ステップS1104)、すべてのデータを処理していない場合は(ステップS1104:NO)、次の類似画像IDを取得して処理を繰り返す(ステップS1101)。
【0128】
すべてのデータを処理した場合は(ステップS1104:YES)、類似情報リスト削除処理を終了する。
【0129】
このように、第1の実施の形態にかかる情報管理装置100では、情報を登録するときに類似情報を検索し、検索結果を類似情報リストとして記憶手段に登録することができる。また、任意の情報の類似情報を検索するときには既に登録されている類似情報リストから類似情報を取得して検索結果として出力することができる。このため、登録済みの画像情報数が多い場合であっても検索処理の高速化を図ることができる。
【0130】
さらに、登録情報を削除するときには、単に登録情報を削除するだけでなく、削除する情報を類似情報として有する類似情報リストから削除する情報を削除することができるため、類似情報リストの整合性を維持することができる。
【0131】
(第2の実施の形態)
第1の実施の形態では、画像情報の登録時に類似情報を検索して事前に登録しておくことにより、検索処理の高速化を実現している。しかし、登録時に検索を実行するため、登録処理の処理負荷が増大するという問題がある。特に、特徴量の検索時にインデックスを利用しない場合には、すべての特徴量との類似度を算出する必要があるため、登録処理内の検索処理の速度が極めて遅くなる。
【0132】
そこで、第2の実施の形態にかかる情報管理装置は、登録処理を並列化して実行することにより登録処理の高速化を図るものである。
【0133】
この際、予め定められた個数以上の情報が登録されたときに一括して情報を登録するため、検索と登録とを並行して行うときに必要となる排他処理を最小限に抑え、高速かつ効率的な登録処理を実行することができる。
【0134】
図12は、第2の実施の形態にかかる情報管理装置1200の構成を示すブロック図である。同図に示すように、情報管理装置1200は、主要なハードウェアとして、HDD1220を備えている。また、主要なソフトウェア構成として、入出力制御部101と、特徴量抽出部102と、登録部1203と、削除部104と、検索部105と、類似度算出部106と、一時登録部1207とを備えている。
【0135】
第2の実施の形態では、HDDに一時特徴量DB1225と、一時類似情報リストDB1226とを追加したことが第1の実施の形態と異なっている。また、一時登録部1207を追加したこと、登録部1203の機能が第1の実施の形態と異なっている。その他の構成および機能は、第1の実施の形態にかかる情報管理装置100の構成を表すブロック図である図1と同様であるので、同一符号を付し、ここでの説明は省略する。
【0136】
一時特徴量DB1225は、登録する画像の特徴量を一時的に格納する記憶部であり、そのデータ構造は特徴量DB123と同様である。一時特徴量DB1225は、並列処理により算出された特徴量を後述する一時登録部1207が一時的に登録し、後で登録部1203が特徴量DB123に移動する際に参照される。
【0137】
一時類似情報リストDB1226は、登録する画像の類似情報を格納するものであり、そのデータ構造は類似情報リストDB124と同様である。一時類似情報リストDB1226は、並列処理により検索された類似情報リストを後述する一時登録部1207が一時的に登録し、後で登録部1203が類似情報リストDB124に移動する際に参照される。
【0138】
一時登録部1207は、類似度算出部106が算出した特徴量の類似度が予め定められた閾値より大きい特徴量と対応づけられた情報を類似情報として含む類似情報リストを作成し、登録する情報と対応づけて一時類似情報リストDB1226に登録する処理を並列処理により実行するものである。
【0139】
処理の並列化は、複数のCPUで処理を並行して行う方法、1つのCPUを複数のスレッドで共有するマルチスレッドによる方法などの一般的に利用されているあらゆる方法を適用することができる。
【0140】
登録部1203は、画像データ記憶部121、メタデータDB122、特徴量DB123に対するデータの登録処理を実行するものである。
【0141】
また、登録部1203は、一時登録部1207が予め定められた個数以上の情報を一時類似情報リストDB1226に登録したときに、一時類似情報リストDB1226内の情報を類似情報リストDB124に移動する。
【0142】
次に、このように構成された第2の実施の形態にかかる情報管理装置1200による情報の登録処理について説明する。図13は、第2の実施の形態における登録処理の全体の流れを示すフローチャートである。
【0143】
まず、入出力制御部101が、利用者による登録画像ファイルリストの指定を受付ける(ステップS1301)。ここで、登録画像ファイルリストとは、登録する複数の画像ファイルを記載した情報をいう。このように、第2の実施の形態では、複数の画像ファイルを一括して登録することを前提とする。
【0144】
次に、登録部1203が、並列処理を行う数である並列処理数に1を加算する(ステップS1302)。続いて、登録部1203が、登録画像ファイルリストから画像ファイル名を1つ取得する(ステップS1303)。
【0145】
次に、取得した画像ファイルについて特徴量の抽出および類似情報の検索を並行して行う一時登録処理を実行する(ステップS1304)。一時登録処理の詳細については後述する。
【0146】
一時登録処理実行後、登録部1203が、画像ファイルリストのすべての画像ファイルを処理したか否かを判断する(ステップS1305)。すべての画像ファイルを処理した場合は(ステップS1305:YES)、それまでに一時登録処理を行った画像情報の特徴量と類似情報リストをそれぞれ特徴量DB123、類似情報リストDB124に移動するための登録画像追加処理を実行する(ステップS1309)。登録画像追加処理の詳細については後述する。
【0147】
すべての画像ファイルを処理していない場合は(ステップS1305:NO)、登録部1203は、並列処理数が予め定められた閾値より小さいか否かを判断する(ステップS1306)。ここでの閾値とは、並列して処理を行うことのできる数を定めるものであり、例えば、並列処理を行うCPUの数、または、マルチスレッドで処理できる処理数などに応じて定められる。
【0148】
並列処理数が予め定められた閾値より小さい場合は(ステップS1306:YES)、さらに並列で一時登録処理を行うことができるため、並列処理数加算処理に戻って処理を繰り返す(ステップS1302)。
【0149】
並列処理数が予め定められた閾値より小さくない場合は(ステップS1306:NO)、並列処理可能な最大数を超えたと判断できるため、登録部1203は、すべての一時登録処理が完了するまで待機した後(ステップS1307)、登録画像追加処理を実行する(ステップS1308)。
【0150】
ステップS1308の登録画像追加処理を実行した後は、まだ処理していない画像ファイルが存在するため、並列処理数加算処理に戻って処理を繰り返す(ステップS1302)。ステップS1309の登録画像追加処理を実行した後は、すべての画像ファイルの処理が完了したため、登録処理を終了する。
【0151】
次に、ステップS1304に示した一時登録処理の詳細について説明する。図14は、第2の実施の形態における一時登録処理の全体の流れを示すフローチャートである。
【0152】
ステップS1401からステップS1404までの、メタデータ登録処理、特徴量抽出処理、類似画像検索処理は、第1の実施の形態にかかる情報管理装置100の登録処理を示す図6のステップS602からステップS605までと同様の処理なので、その説明を省略する。
【0153】
類似画像検索処理の後(ステップS1404)、一時登録部1207が、類似情報リストを一時類似情報リストDB1226に登録する(ステップS1405)。次に、一時登録部1207が、ステップS1403で特徴量抽出部102が抽出した特徴量を一時特徴量DB1225に登録し(ステップS1406)、一時登録処理を終了する。
【0154】
次に、ステップS1308およびステップS1309に示した登録画像追加処理の詳細について説明する。図15は、第2の実施の形態における登録画像追加処理の全体の流れを示すフローチャートである。
【0155】
登録画像追加処理では、一時的に保存された画像間の類似関係を判断し、一時類似情報リストに追加した後に、一時類似情報リストDB1226の内容を類似情報リストDB124に移動する。また、一時特徴量DB1225の内容を特徴量DB124に移動する。
【0156】
まず、検索部105が、一時特徴量DB1225から特徴量を取得し(ステップS1501)、一時類似情報リストDB1226から類似情報リストを取得する(ステップS1502)。次に、一時的に保存された画像から類似画像を検索する類似画像登録処理2を実行する(ステップS1503)。類似画像登録処理2の詳細については後述する。
【0157】
類似画像登録処理2の後、登録部1203が、類似情報リストを類似情報リストDB124に登録する(ステップS1504)。また、登録部1203が、ステップS1501で取得した特徴を特徴量DB123に登録する(ステップS1505)。
【0158】
続いて、類似情報リスト更新処理を実行する(ステップS1506)。類似情報リスト更新処理は、第1の実施の形態における登録処理を示す図6のステップS607と同様の処理であるのでその説明を省略する。
【0159】
類似情報リスト更新処理の実行後、登録部1203が、特徴量DB123に登録していない特徴量が一時特徴量DB1225に存在するか否か、すなわち、未処理の情報が存在するか否かを判断する(ステップS1507)。
【0160】
特徴量DB123に登録していない特徴量が一時特徴量DB1225に存在する場合は(ステップS1507:YES)、一時特徴量DB1225からの特徴量の取得処理に戻って処理を繰り返す(ステップS1501)。
【0161】
特徴量DB123に登録していない特徴量が一時特徴量DB1225に存在しない場合は(ステップS1507:NO)、登録画像追加処理を終了する。
【0162】
次に、ステップS1503に示した類似画像登録処理2の詳細について説明する。図16は、第2の実施の形態における類似画像登録処理2の全体の流れを示すフローチャートである。
【0163】
まず、検索部105が、一時特徴量DB1225から画像IDと特徴量とを取得する(ステップS1601)。次に、類似度算出部106が、取得した特徴量と、登録画像の特徴量との類似度を算出する(ステップS1602)。
【0164】
次に、類似度算出部106が、類似度が予め定められた閾値より小さいか否かを判断する(ステップS1603)。
【0165】
類似度が予め定められた閾値より小さい場合は(ステップS1603:YES)、特徴量DBから検索した画像情報が、登録する画像情報と類似していると判断できるため、ステップS1601で取得した画像IDを類似画像IDとし、ステップS1602で算出した類似度と対応づけて類似情報リストに追加する(ステップS1604)。
【0166】
類似情報リストに追加した後、または、ステップS1603で類似度が予め定められた閾値より小さくないと判断された場合は(ステップS1603:NO)、検索部105が、一時特徴量DB1225内のすべてのデータを処理したか否かを判断する(ステップS1605)。
【0167】
すべてのデータを処理していない場合は(ステップS1605:NO)、次の画像のデータを取得して処理を繰り返す(ステップS1601)。すべてのデータを処理した場合は(ステップS1605:YES)、類似画像検索処理2を終了する。
【0168】
このように、第2の実施の形態では、特徴量の抽出処理と、類似画像を検索する処理を並列処理により実行することができるため、登録処理の高速化を実現することができる。
【0169】
次に、第2の実施の形態の変形例について説明する。上述の並列処理の例では、登録する画像と、既存の画像との類似度の算出を並行して実行している。この際、個々の並列処理内で、同じ既存画像の読込み処理が行われる可能性がある。画像の読込み時にはディスクアクセスが生じるが、一般にディスクアクセスの負荷は大きいため、同じ画像の読込み処理を共通化できればさらに処理を高速化することができる。
【0170】
以下では、画像の読込み処理を共通化して並列処理を行う例について説明する。図17は、第2の実施の形態における登録処理の全体の流れの変形例を示すフローチャートである。
【0171】
ステップS1701からステップS1703までの、画像ファイル名取得処理は、図13のステップS1301からステップS1303までと同様の処理なので、その説明を省略する。
【0172】
ステップS1703で画像ファイル名を取得した後、取得した画像ファイルについて特徴量の抽出を並行して行う一時登録処理2を実行する(ステップS1704)。一時登録処理2の詳細については後述する。
【0173】
一時登録処理2の実行後、登録部1203が、画像ファイルリストのすべての画像ファイルを処理したか否かを判断する(ステップS1705)。すべての画像ファイルを処理した場合は(ステップS1705:YES)、それまでに一時登録処理を行った画像情報の特徴量を基に類似画像を検索する類似画像検索処理3を実行する(ステップS1710)。類似画像検索処理3の詳細については後述する。
【0174】
すべての画像ファイルを処理していない場合は(ステップS1705:NO)、登録部1203は、並列処理数が予め定められた閾値より小さいか否かを判断する(ステップS1706)。
【0175】
並列処理数が予め定められた閾値より小さい場合は(ステップS1706:YES)、さらに並列で一時登録処理を行うことができるため、並列処理数加算処理に戻って処理を繰り返す(ステップS1702)。
【0176】
並列処理数が予め定められた閾値より小さくない場合は(ステップS1706:NO)、並列処理可能な最大数を超えたと判断できるため、登録部1203は、すべての一時登録処理が完了するまで待機した後(ステップS1707)、類似画像検索処理3を実行する(ステップS1708)。
【0177】
ステップS1708またはステップS1711で類似画像検索処理3を実行後、登録画像追加処理を実行する(ステップS1709、ステップS1711)。登録画像追加処理は、図15で説明した登録画像追加処理と同様であるのでその説明を省略する。
【0178】
ステップS1709の登録画像追加処理を実行した後は、まだ処理していない画像ファイルが存在するため、並列処理数加算処理に戻って処理を繰り返す(ステップS1702)。ステップS1711の登録画像追加処理を実行した後は、すべての画像ファイルの処理が完了したため、登録処理を終了する。
【0179】
次に、ステップS1704に示した一時登録処理2の詳細について説明する。図18は、第2の実施の形態における一時登録処理2の全体の流れを示すフローチャートである。
【0180】
ステップS1801からステップS1803までの、特徴量抽出処理は、図14のステップS1401からステップS1403までと同様の処理なので、その説明を省略する。また、ステップS1804の一時特徴量登録処理は、図14のステップS1406と同様の処理なので、その説明を省略する。
【0181】
すなわち、図17の一時登録処理2は、図14の一時登録処理のうち、類似画像を検索し一時類似情報リストDB1226に登録するステップS1404、ステップS1405を削除した処理に相当する。第2の実施の形態の変形例では、一時類似情報リストへの登録処理は、一時特徴量の抽出が一定件数に達した後に類似画像検索処理3で実行するためである。
【0182】
次に、ステップS1708およびステップS1710に示した類似画像検索処理3の詳細について説明する。図19は、第2の実施の形態における類似画像検索処理3の全体の流れを示すフローチャートである。
【0183】
まず、検索部105が、特徴量DB123から画像IDと特徴量を取得する(ステップS1901)。ここで取得した特徴量を特徴量Aとする。取得した特徴量Aは、RAM(Random Access Memory)(図示せず)などの高速にアクセスできる記憶手段に格納する。
【0184】
次に、検索部105が、一時特徴量DB1225から画像IDと特徴量とを取得する(ステップS1902)。ここで取得した特徴量を特徴量Bとする。なお、ステップS1902からステップS1906までの処理は並列化して実行される。
【0185】
次に、類似度算出部106が、特徴量Aと特徴量Bとの類似度を算出する(ステップS1903)。類似度算出処理も並列に実行されるが、特徴量Aは既にRAMに格納されているため、特徴量DB123に毎回アクセスする必要がない。これにより、類似度検索処理3の高速化が図れ、結果として登録処理の高速化を実現できる。
【0186】
次に、類似度算出部106が、類似度が予め定められた閾値より小さいか否かを判断する(ステップS1904)。
【0187】
類似度が予め定められた閾値より小さい場合は(ステップS1904:YES)、特徴量DBから検索した画像情報が、登録する画像情報と類似していると判断できるため、ステップS1901で取得した画像IDを類似画像IDとし、ステップS1903で算出した類似度と対応づけて一時類似情報リストDB1226に追加する(ステップS1905)。
【0188】
類似情報リストDB1225に追加した後、または、ステップS1904で類似度が予め定められた閾値より小さくないと判断された場合は(ステップS1904:NO)、検索部105が、一時特徴量DB1225内のすべてのデータを処理したか否かを判断する(ステップS1906)。
【0189】
すべてのデータを処理していない場合は(ステップS1906:NO)、一時特徴量DB1225から次の画像のデータを取得して処理を繰り返す(ステップS1902)。
【0190】
すべてのデータを処理した場合(ステップS1906:YES)、並列処理の1単位が終了する。並行して実行されるステップS1902からステップS1906までの処理がすべて完了した後、検索部105は、特徴量DB123内のすべてのデータを処理したか否かを判断する(ステップS1907)。
【0191】
すべてのデータを処理していない場合(ステップS1907:NO)、特徴量DB123から次の画像のデータを取得して処理を繰り返す(ステップS1901)。
【0192】
すべてのデータを処理した場合(ステップS1907:YES)、類似画像検索処理3を終了する。
【0193】
このように、類似画像検索処理3では、最初に特徴量DB123から1つの画像の特徴量(特徴量Aとする)を取得し、その後、一時特徴量DB1225から取得した画像の特徴量との比較を並列処理で実行する。これにより、特徴量DB123からのデータの読み出し処理を共通化することができるため、ディスクアクセス量が軽減され、登録処理が高速化される。
【0194】
以上のように、第2の実施の形態にかかる情報管理装置1200では、処理負荷の大きい類似画像検索処理や特徴量算出処理などを並列処理により実行することができる。このため、登録する情報が複数存在し、複数の情報を一括して登録する際の登録処理の高速化を実現することができる。また、特徴量算出処理におけるディスクアクセス処理を共通化して並列処理を行うことができるため、さらに登録処理の高速化を図ることができる。
【0195】
(第3の実施の形態)
第1および第2の実施の形態では、画像そのものを指定して類似画像の検索を行うことを前提としている。しかし、画像の検索処理では、文書情報の検索などと同様に、キーワードを指定して、キーワードに関連する画像情報を検索する方法も広く行われている。
【0196】
第3の実施の形態にかかる情報管理装置は、画像情報をキーワードなどのメタデータにより検索する場合を想定し、このような場合に事前に登録された類似情報リストを活用して適切な検索結果を出力するものである。すなわち、キーワード検索により検索された画像情報の類似情報を取得し、類似情報に含まれる個数が多い画像情報を優先して検索結果として出力するものである。
【0197】
図20は、第3の実施の形態にかかる情報管理装置2000の構成を示すブロック図である。同図に示すように、情報管理装置2000は、主要なハードウェアとして、HDD2020を備えている。また、主要なソフトウェア構成として、入出力制御部101と、特徴量抽出部102と、登録部1203と、削除部104と、検索部2005と、類似度算出部106と、メタデータ検索部2008とを備えている。
【0198】
第3の実施の形態では、HDDに出現数DB2027を追加したこと、および、メタデータDB2022のデータ構造が第1の実施の形態と異なっている。また、メタデータ検索部2008を追加したこと、検索部2005の機能が第1の実施の形態と異なっている。その他の構成および機能は、第1の実施の形態にかかる情報管理装置100の構成を表すブロック図である図1と同様であるので、同一符号を付し、ここでの説明は省略する。
【0199】
出現数DB2027は、キーワード検索結果の画像情報に対する類似情報リストの中に出現する個数を画像ごとに格納する記憶部である。図21は、出現数DB2027のデータ構造の一例を示す説明図である。
【0200】
同図に示すように、出現数DB2027は、画像IDと、出現数とを対応づけて格納している。出現数の算出方法については後述する。
【0201】
メタデータDB2022は、画像データに対するメタデータを格納する記憶部であり、第3の実施の形態では、画像ファイル名の他にキーワードをメタデータとして格納している。図22は、メタデータDB2022のデータ構造の一例を示す説明図である。
【0202】
同図に示すように、メタデータDB2022は、画像IDと、画像ファイル名と、メタデータの一例であるキーワードとを対応づけて格納している。なお、メタデータは画像ファイル名、キーワードに限られるものではなく、画像情報の属性を表すものであれば、登録日時、更新日時、登録者などのあらゆる情報を格納することができる。
【0203】
メタデータ検索部2008は、利用者により入力されたメタデータを検索キーとしてメタデータDB2022を検索し、条件に該当する画像情報を出力するものである。
【0204】
検索部2005は、画像データ記憶部121、メタデータDB2022、特徴量DB123からデータを検索する処理を実行するものである。
【0205】
また、検索部2005は、メタデータ検索部2008が出力した画像情報に対応づけられた類似情報リストを類似情報リストDB124から取得し、取得した類似情報リストに含まれる類似情報を検索結果として出力する処理を実行するものである。この際、取得した類似情報リストに含まれるすべての画像情報について、類似情報リスト内に出現する個数を算出し、出現数DB2027に登録する。
【0206】
また、検索部2005は、出現数DB2027を参照し、出現数の多い情報を出現数の少ない情報より優先して検索結果として取得して出力する。これにより、事前に登録された類似情報を参照して検索結果を取得することができるとともに、検索キーに適合したより有用な情報を検索結果として出力することができる。
【0207】
次に、このように構成された第3の実施の形態にかかる情報管理装置2000による情報の検索処理について説明する。図23は、第3の実施の形態における検索処理の全体の流れを示すフローチャートである。
【0208】
まず、入出力制御部101が、利用者が入力した検索キーとなるキーワードを受付ける(ステップS2301)。次に、メタデータ検索部2008が、受付けたキーワードを検索キーとしてメタデータDB2022から画像ID集合を取得する(ステップS2302)。
【0209】
画像ID集合とは、検索キーであるキーワードと一致するキーワードと対応づけられたすべての画像IDを含む情報をいう。例えば、メタデータDB2022に、図22に示すような情報が格納されていることを前提とし、検索キーとして「ライオン」が入力された場合、画像ID集合には、画像IDとして1、2、10が含まれる。
【0210】
次に、検索部2005が、画像ID集合から1つの画像IDを取得し(ステップS2303)、取得した画像IDに対応する類似情報リストを、類似情報リストDB124から取得する(ステップS2304)。
【0211】
次に、検索部2005が、取得した類似情報リスト内の類似画像IDの出現数に1を加算して、出現数DB2027を更新する(ステップS2305)。例えば、図4の画像ID=1に対応する類似情報リストが取得された場合、類似画像IDとして2、10が含まれるため、ぞれぞれの画像IDについて、出現数DB2027の出現数に1を加算する。
【0212】
次に、検索部2005が、類似情報リスト内のすべての類似画像IDを処理したか否かを判断し(ステップS2306)、すべての類似画像IDを処理していない場合は(ステップS2306:NO)、次の類似画像IDを取得して処理を繰り返す(ステップS2305)。
【0213】
すべての類似画像IDを処理した場合は(ステップS2306:YES)、検索部2005は、画像ID集合内のすべての画像IDを処理したか否かを判断する(ステップS2307)。
【0214】
すべての画像IDを処理していない場合は(ステップS2307:NO)、次の画像IDを取得して処理を繰り返す(ステップS2303)。
【0215】
すべての画像IDを処理した場合は(ステップS2307:YES)、検索部2005は、出現数DB2027を参照し、出現数の多い画像を取得する(ステップS2308)。
【0216】
具体的には、まず、出現数DB2027から、予め定められた閾値以上の出現数の画像IDを取得する。なお、出現数の多い順に予め定められた件数の画像IDを取得するように構成してもよい。次に、取得した画像IDに対応する画像ファイル名をメタデータDB2022から取得し、画像ファイル名に対応する画像データを画像データ記憶部121から取得する。
【0217】
次に、入出力制御部101が、出現数が多い順に、取得した画像をクライアントPCのユーザI/F201の画面に表示し(ステップS2309)、検索処理を終了する。
【0218】
次に、第3の実施の形態における検索処理の具体例について説明する。ここでは、図4に示すような類似情報リストが類似情報リストDB124に登録されており、図22に示すようなメタデータがメタデータDB2022に登録されていることを前提とする。
【0219】
この場合に、利用者が検索のキーワードとして「ライオン」を入力したとすると(ステップS2301)、キーワードが「ライオン」である画像IDがメタデータDB2022から検索され、画像ID集合には画像ID=1,2,10が格納される(ステップS2302)。
【0220】
次に、画像ID集合内の最初の画像ID=1に対応する類似情報リストとして図4のように「2:0.10、10:0.11、・・・」が取得される(ステップS2303、ステップS2304)。
【0221】
この類似情報リストの中には、類似画像IDとして画像ID=2、10が含まれるため、画像ID2,10に対する出現数に1が加算される(ステップS2305)。同様に画像ID集合の画像ID=2についても類似情報リストの取得、類似画像IDの出現数の加算を行う。画像ID=2の類似情報リストとして、「1:0.10、3:0.11、・・・」が取得されるため、画像ID=1,3の出現数が1加算される。
【0222】
さらに、画像ID集合の画像ID10についても類似情報リストの取得、類似画像IDの出現数の加算が行われる。画像ID=10の類似情報リストとして、「1:0.10」が取得されるため、画像ID=1の出現数が1加算される。
【0223】
この結果、画像ID=1の出現数が2、画像ID=2、3、10の出願数がそれぞれ1となる。この状態を示したのが、図21の出現数DB2027である。この例では、画像ID=1の出現数が最も多いため、画像ID=1の画像情報を優先して画面に表示する(ステップS2308、ステップS2309)。
【0224】
このように、第3の実施の形態にかかる情報管理装置2000では、単にキーワード検索の検索結果を出力するのではなく、検索結果に含まれる画像情報の中で、互いに類似する関係を多く有する画像情報を優先して出力するため、キーワードに対してより適切な検索結果を利用者に提示することが可能となる。
【0225】
(第4の実施の形態)
第2の実施の形態では、大量の画像情報を一括して登録することを前提としていた。これに対し、第4の実施の形態では、利用者が少量の画像情報を逐次登録する場合を前提とする。この場合、情報を一時的に保存し、一定の件数に達したときに並列処理で登録を行うことにより、登録処理を高速化することができる。
【0226】
第4の実施の形態にかかる情報管理装置は、利用者が登録した画像情報を一時的な記憶手段に格納し、予め定められた件数に達した場合に、一括して実際に情報を登録する記憶手段に移動するものである。また、検索時には、一時的な記憶手段に格納されている情報も検索対象として検索処理を実行する。
【0227】
図24は、第4の実施の形態にかかる情報管理装置2400の構成を示すブロック図である。同図に示すように、情報管理装置2400は、主要なハードウェアとして、HDD1220を備えている。また、主要なソフトウェア構成として、入出力制御部101と、特徴量抽出部102と、登録部2403と、削除部104と、検索部2405と、類似度算出部106と、一時登録部2407とを備えている。
【0228】
第4の実施の形態では、登録部2403、検索部2405、一時登録部2407の機能が第2の実施の形態と異なっている。その他の構成および機能は、第2の実施の形態にかかる情報管理装置1200の構成を表すブロック図である図12と同様であるので、同一符号を付し、ここでの説明は省略する。
【0229】
登録部2403は、画像データ記憶部121、メタデータDB122、特徴量DB123に対するデータの登録処理を実行するものである。
【0230】
また、登録部2403は、一時登録部2407が予め定められた個数以上の情報を一時類似情報リストDB1226に登録したときに、一時類似情報リストDB1226内の情報を類似情報リストDB124に移動する。
【0231】
検索部2405は、画像データ記憶部121、メタデータDB122、特徴量DB123からデータを検索する処理を実行するものである。
【0232】
また、検索部2405は、検索元となる画像の類似情報リストを類似情報リストDB124から取得する。さらに、検索部2405は、一時特徴量DB1225に格納されている特徴量と、検索元の画像の特徴量とを比較して、類似する画像を一時特徴量DB1225に格納されている画像情報からも取得する。これにより、一時登録処理は実行されたが、類似情報リストDB124にまだ登録されていない画像情報を、検索対象に含めることが可能となる。
【0233】
一時登録部2407は、特徴量抽出部102が抽出した特徴量を一時特徴量DB1225に登録するものである。
【0234】
次に、このように構成された第4の実施の形態にかかる情報管理装置2400による情報の登録処理について説明する。図25は、第4の実施の形態における登録処理の全体の流れを示すフローチャートである。
【0235】
まず、入出力制御部101が、クライアントPCのユーザI/F201上で入力された利用者による登録画像ファイルの指定を受付ける(ステップS2501)。次に、登録部2403が、一時特徴量DB1225に登録した件数を表す登録数カウンタに1を加算する(ステップS2502)。
【0236】
ステップS2503からステップS2505までの、メタデータ登録処理、特徴量抽出処理は、第1の実施の形態にかかる情報管理装置100の登録処理を示す図6のステップS602からステップS604までと同様の処理なので、その説明を省略する。
【0237】
特徴量抽出処理の後(ステップS2505)、一時登録部2407が、抽出した特徴量を一時特徴量DB1225に登録する(ステップS2506)。
【0238】
次に、登録部2403が、登録数カウンタが予め定められた閾値より大きいか否かを判断し(ステップS2507)、大きい場合は(ステップS2507:YES)、それまでに一時登録処理を行った画像情報の特徴量を基に類似画像を検索する類似画像検索処理3を実行する(ステップS2508)。類似画像検索処理3は、第2の実施の形態で説明した図19に示す処理と同様の処理であるので、その説明を省略する。
【0239】
なお、第2の実施の形態で説明したように、類似画像検索処理3は並列処理により実行することができるため、第4の実施の形態でも登録処理の高速化を図ることができる。
【0240】
類似画像検索処理3の実行後、それまでに一時登録処理を行った画像情報の特徴量と類似情報リストをそれぞれ特徴量DB123、類似情報リストDB124に移動するための登録画像追加処理を実行する(ステップS2509)。登録画像追加処理は、第2の実施の形態で説明した図15に示す処理と同様の処理であるので、その説明を省略する。
【0241】
ステップS2507で、登録数カウンタが予め定められた閾値より大きくないと判断された場合(ステップS2507:NO)、または、登録画像追加処理の実行後、登録処理を終了する。
【0242】
次に、このように構成された第4の実施の形態にかかる情報管理装置2400による情報の検索処理について説明する。図26は、第4の実施の形態における検索処理の全体の流れを示すフローチャートである。
【0243】
ステップS2601からステップS2603までの、画像選択受付処理、類似情報リスト取得処理は、第1の実施の形態にかかる情報管理装置100の登録処理を示す図9のステップS901からステップS903までと同様の処理なので、その説明を省略する。
【0244】
ステップS2603で類似情報リストを取得した後、検索部2405は、選択した画像の特徴量を特徴量DB123から取得する(ステップS2604)。後述する一時特徴量DB検索処理で、一時特徴量DB1225に格納されている特徴量に対する比較対象とするためである。
【0245】
次に、類似する画像を一時特徴量DB1225に格納されている画像情報から取得するための一時特徴量DB検索処理を実行する(ステップS2605)。一時特徴量DB検索処理の詳細については後述する。
【0246】
一時特徴量DB検索処理の実行後、ステップS2606からステップS2610までの、類似情報取得処理、類似情報表示処理は、第1の実施の形態にかかる情報管理装置100の登録処理を示す図9のステップS904からステップS908までと同様の処理なので、その説明を省略する。
【0247】
このように、ステップS2604、ステップS2605で、一時的に登録された情報も検索対象に含めて検索を実行することができるため、実際に情報を記憶する記憶手段に登録されていない場合であっても適切な検索結果を出力することが可能となる。
【0248】
次に、ステップS2605に示した一時特徴量DB検索処理の詳細について説明する。図27は、第4の実施の形態における一時特徴量DB検索処理の全体の流れを示すフローチャートである。
【0249】
まず、検索部2405が、一時特徴量DB1225から画像IDと特徴量とを取得する(ステップS2701)。次に、類似度算出部106が、取得した特徴量と、ステップS2604で取得した選択画像の特徴量との類似度を算出する(ステップS2702)。
【0250】
次に、類似度算出部106が、類似度が予め定められた閾値より小さいか否かを判断する(ステップS2703)。
【0251】
類似度が予め定められた閾値より小さい場合は(ステップS2703:YES)、特徴量DBから検索した画像情報が、登録する画像情報と類似していると判断できるため、ステップS2701で取得した画像IDを類似画像IDとし、ステップS2702で算出した類似度と対応づけて類似情報リストに追加する(ステップS2704)。
【0252】
類似情報リストに追加した後、または、ステップS2703で類似度が予め定められた閾値より小さくないと判断された場合は(ステップS2703:NO)、検索部2405が、一時特徴量DB1225内のすべてのデータを処理したか否かを判断する(ステップS2705)。
【0253】
すべてのデータを処理していない場合は(ステップS2705:NO)、次の画像のデータを取得して処理を繰り返す(ステップS2701)。すべてのデータを処理した場合は(ステップS2705:YES)、一時特徴量DB検索処理を終了する。
【0254】
このように、第4の実施の形態にかかる情報管理装置2400では、利用者が登録した画像情報を一時的な記憶手段に格納し、予め定められた件数に達した場合に、一括して実際に情報を登録する記憶手段に移動することができる。この際、処理負荷の大きい類似画像検索処理を並列処理により実行することができため、登録処理の高速化を実現することができる。
【0255】
また、検索時には、一時的な記憶手段に格納されている情報も検索対象として検索処理を実行することができるため、実際に情報を記憶する記憶手段に登録されていない場合であっても適切な検索結果を出力することができる。
【0256】
第1〜第4の実施の形態にかかる情報管理装置は、CPUなどの制御装置と、ROM(Read Only Memory)やRAMなどの記憶装置と、HDD、CDドライブ装置などの外部記憶装置と、ディスプレイ装置などの表示装置と、キーボードやマウスなどの入力装置を備えており、通常のコンピュータを利用したハードウェア構成となっている。
【0257】
第1〜第4の実施の形態にかかる情報管理装置で実行される情報管理プログラムは、インストール可能な形式又は実行可能な形式のファイルでCD−ROM、フレキシブルディスク(FD)、CD−R、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
【0258】
また、第1〜第4の実施の形態にかかる情報管理装置で実行される情報管理プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、第1〜第4の実施の形態にかかる情報管理装置で実行される情報管理プログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
【0259】
また、第1〜第4の実施形態の情報管理プログラムを、ROM等に予め組み込んで提供するように構成してもよい。
【0260】
第1〜第4の実施の形態にかかる情報管理装置で実行される情報管理プログラムは、上述した各部(入出力制御部、特徴量抽出部、登録部、削除部、検索部、類似度算出部、一時登録部、メタデータ検索部)を含むモジュール構成となっており、実際のハードウェアとしてはCPU(プロセッサ)が上記記憶媒体から情報管理プログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、上記各部が主記憶装置上に生成されるようになっている。
【産業上の利用可能性】
【0261】
以上のように、本発明にかかる情報管理装置、情報管理方法、情報管理プログラムおよび記録媒体は、画像情報に対応づけられた画像情報の特徴量に基づいて画像情報の類似画像を検索する類似画像検索装置に適している。
【図面の簡単な説明】
【0262】
【図1】第1の実施の形態にかかる情報管理装置の構成を示すブロック図である。
【図2】メタデータDBのデータ構造の一例を示す説明図である。
【図3】特徴量DBのデータ構造の一例を示す説明図である。
【図4】類似情報リストDBのデータ構造の一例を示す説明図である。
【図5】類似情報リストDBのデータ構造の別の一例を示す説明図である。
【図6】第1の実施の形態における登録処理の全体の流れを示すフローチャートである。
【図7】第1の実施の形態における類似画像検索処理の全体の流れを示すフローチャートである。
【図8】第1の実施の形態における類似情報リスト更新処理の全体の流れを示すフローチャートである。
【図9】第1の実施の形態における検索処理の全体の流れを示すフローチャートである。
【図10】第1の実施の形態における削除処理の全体の流れを示すフローチャートである。
【図11】第1の実施の形態における類似情報リスト削除処理の全体の流れを示すフローチャートである。
【図12】第2の実施の形態にかかる情報管理装置の構成を示すブロック図である。
【図13】第2の実施の形態における登録処理の全体の流れを示すフローチャートである。
【図14】第2の実施の形態における一時登録処理の全体の流れを示すフローチャートである。
【図15】第2の実施の形態における登録画像追加処理の全体の流れを示すフローチャートである。
【図16】第2の実施の形態における類似画像登録処理2の全体の流れを示すフローチャートである。
【図17】第2の実施の形態における登録処理の全体の流れの変形例を示すフローチャートである。
【図18】第2の実施の形態における一時登録処理2の全体の流れを示すフローチャートである。
【図19】第2の実施の形態における類似画像検索処理3の全体の流れを示すフローチャートである。
【図20】第3の実施の形態にかかる情報管理装置の構成を示すブロック図である。
【図21】出現数DBのデータ構造の一例を示す説明図である。
【図22】メタデータDBのデータ構造の一例を示す説明図である。
【図23】第3の実施の形態における検索処理の全体の流れを示すフローチャートである。
【図24】第4の実施の形態にかかる情報管理装置の構成を示すブロック図である。
【図25】第4の実施の形態における登録処理の全体の流れを示すフローチャートである。
【図26】第4の実施の形態における検索処理の全体の流れを示すフローチャートである。
【図27】第4の実施の形態における一時特徴量DB検索処理の全体の流れを示すフローチャートである。
【符号の説明】
【0263】
100 情報管理装置
101 入出力制御部
102 特徴量抽出部
103 登録部
104 削除部
105 検索部
106 類似度算出部
120 HDD
121 画像データ記憶部
122 メタデータDB
200a、200b クライアントPC
201 ユーザI/F
1200 情報管理装置
1203 登録部
1207 一時登録部
1220 HDD
1225 一時特徴量DB
1226 一時類似情報リストDB
2000 情報管理装置
2005 検索部
2008 メタデータ検索部
2020 HDD
2022 メタデータDB
2027 出現数DB
2400 情報管理装置
2403 登録部
2405 検索部
2407 一時登録部

【特許請求の範囲】
【請求項1】
情報と、情報の内容を表す特徴量とを対応づけて格納する特徴量記憶手段と、
情報と、情報の前記特徴量に対する類似する度合いを示す類似度が予め定められた閾値より大きい前記特徴量に対応づけられた類似情報を少なくとも1つ含む類似情報リストとを対応づけて格納する類似情報リスト記憶手段と、
登録する情報から、登録する情報の前記特徴量を抽出する特徴量抽出手段と、
前記特徴量記憶手段から任意の情報の前記特徴量を検索する検索手段と、
前記特徴量抽出手段が抽出した登録する情報の前記特徴量と、前記検索手段が検索した任意の情報の前記特徴量との前記類似度を算出する類似度算出手段と、
前記類似度算出手段が算出した前記類似度が前記閾値より大きい前記特徴量と対応づけられた情報を前記類似情報として含む類似情報リストを、登録する情報と対応づけて前記類似情報リスト記憶手段に登録する登録手段と、
を備えたことを特徴とする情報管理装置。
【請求項2】
前記登録手段は、登録する情報の前記類似情報に対応づけられた前記類似情報リストを前記類似情報リスト記憶手段から取得し、取得した前記類似情報リストに、登録する情報を前記類似情報として追加して前記類似情報リスト記憶手段を更新することを特徴とする請求項1に記載の情報管理装置。
【請求項3】
前記登録手段は、新規に情報を登録するときに、前記類似度算出手段が算出した前記類似度が前記閾値より大きい前記特徴量と対応づけられた情報を前記類似情報として含む類似情報リストを、登録する情報と対応づけて前記類似情報リスト記憶手段に登録することを特徴とする請求項1に記載の情報管理装置。
【請求項4】
前記検索手段は、利用者が任意の情報の前記類似情報の検索を指示した場合に、検索が指示された情報と対応づけられた前記類似情報リストを、前記類似情報リスト記憶手段から取得し、取得した前記類似情報リストに含まれる前記類似情報を検索結果として出力することを特徴とする請求項1に記載の情報管理装置。
【請求項5】
登録した情報を削除するときに、削除する情報が前記類似情報として対応づけられた前記類似情報リストを前記類似情報リスト記憶手段から取得し、取得した前記類似情報リストから、削除する情報を削除して前記類似情報リスト記憶手段を更新する削除手段をさらに備えたことを特徴とする請求項1に記載の情報管理装置。
【請求項6】
情報と、情報の前記特徴量に対する前記類似度が前記閾値より大きい前記特徴量に対応づけられた類似情報を少なくとも1つ含む類似情報リストとを対応づけて格納する一時類似情報リスト記憶手段と、
登録する情報が複数存在する場合に、前記類似度算出手段が算出した前記類似度が前記閾値より大きい前記特徴量と対応づけられた情報を前記類似情報として含む類似情報リストを、登録する情報と対応づけて前記一時類似情報リスト記憶手段に登録する処理を並列に実行する一時登録手段と、
をさらに備え、
前記登録手段は、前記一時登録手段が予め定められた個数以上の情報を前記一時類似情報リスト記憶手段に登録したときに、前記一時類似情報リスト記憶手段に登録した情報と前記類似情報リストとを、前記類似情報リスト記憶手段に移動することを特徴とする請求項1に記載の情報管理装置。
【請求項7】
情報と、情報の前記特徴量とを対応づけて格納する一時特徴量記憶手段と、
登録する情報が複数存在する場合に、登録する情報に対して、前記特徴量抽出手段により抽出した前記特徴量を対応づけて前記一時特徴量記憶手段に登録する処理を並列に実行する一時登録手段と、
をさらに備え、
前記類似度算出手段は、前記一時登録手段が予め定められた個数以上の情報を前記一時特徴量記憶手段に登録したときに、前記一時特徴量記憶手段に登録された情報の前記特徴量と、前記検索手段が検索した任意の情報の前記特徴量との前記類似度を算出する処理を並列に実行し、
前記登録手段は、前記類似度算出手段が算出した前記類似度が前記閾値より大きい前記特徴量と対応づけられた情報を前記類似情報として含む類似情報リストを、登録する情報と対応づけて前記類似情報リスト記憶手段に登録することを特徴とする請求項1に記載の情報管理装置。
【請求項8】
情報と、情報の属性を表すメタデータとを対応づけて格納するメタデータ記憶手段と、
利用者が前記メタデータを検索キーとして情報の検索を指示した場合に、検索キーとされた前記メタデータに対応づけられた情報を前記メタデータ記憶手段から検索するメタデータ検索手段と、
をさらに備え、
前記検索手段は、前記メタデータ検索手段が検索した情報に対応づけられた前記類似情報リストを、前記類似情報リスト記憶手段から取得し、前記類似情報リストに含まれる個数が多い情報を、前記類似情報リストに含まれる個数が少ない情報より優先して検索結果として出力することを特徴とする請求項1に記載の情報管理装置。
【請求項9】
情報と、情報の前記特徴量とを対応づけて格納する一時特徴量記憶手段と、
登録する情報に対して、前記特徴量抽出手段により抽出した前記特徴量を対応づけて前記一時特徴量記憶手段に登録する一時登録手段と、
をさらに備え、
前記類似度算出手段は、前記一時登録手段が予め定められた個数以上の情報を前記一時特徴量記憶手段に登録したときに、前記一時特徴量記憶手段に登録された情報の前記特徴量と、前記検索手段が検索した任意の情報の前記特徴量との前記類似度を算出する処理を並列に実行し、
前記登録手段は、前記類似度算出手段が算出した前記類似度が前記閾値より大きい前記特徴量と対応づけられた情報を前記類似情報として含む類似情報リストを、登録する情報と対応づけて前記類似情報リスト記憶手段に登録することを特徴とする請求項1に記載の情報管理装置。
【請求項10】
前記類似度算出手段は、利用者が任意の情報の前記類似情報の検索を指示した場合に、前記一時特徴量記憶手段に登録された情報の前記特徴量と、検索が指示された情報の前記特徴量との前記類似度を算出し、
前記検索手段は、利用者が任意の情報の前記類似情報の検索を指示した場合に、前記類似度算出手段が算出した前記類似度が前記閾値より大きい前記特徴量と対応づけられた情報を前記類似情報として前記一時特徴量記憶手段から取得して検索結果として出力し、検索が指示された情報と対応づけられた前記類似情報リストを、前記類似情報リスト記憶手段から取得し、取得した前記類似情報リストに含まれる前記類似情報を検索結果として出力することを特徴とする請求項9に記載の情報管理装置。
【請求項11】
情報は画像情報であり、前記特徴量は画像情報の内容を表す特徴量であることを特徴とする請求項1〜10のいずれか1つに記載の情報管理装置。
【請求項12】
登録する情報から、登録する情報の内容を表す特徴量を抽出する特徴量抽出ステップと、
情報と、情報の前記特徴量とを対応づけて格納する特徴量記憶手段から任意の情報の前記特徴量を検索する検索ステップと、
前記特徴量抽出ステップが抽出した登録する情報の前記特徴量と、前記検索ステップが検索した任意の情報の前記特徴量との類似する度合いを示す類似度を算出する類似度算出ステップと、
前記類似度算出ステップが算出した前記類似度が予め定められた閾値より大きい前記特徴量と対応づけられた情報を前記類似情報として含む類似情報リストを、登録する情報と対応づけて、情報と情報の前記特徴量に対する前記類似度が前記閾値より大きい前記特徴量に対応づけられた類似情報を少なくとも1つ含む類似情報リストとを対応づけて格納する類似情報リスト記憶手段に登録する登録ステップと、
を備えたことを特徴とする情報管理方法。
【請求項13】
前記登録ステップは、登録する情報の前記類似情報に対応づけられた前記類似情報リストを前記類似情報リスト記憶手段から取得し、取得した前記類似情報リストに、登録する情報を前記類似情報として追加して前記類似情報リスト記憶手段を更新することを特徴とする請求項12に記載の情報管理方法。
【請求項14】
前記登録ステップは、新規に情報を登録するときに、前記類似度算出ステップが算出した前記類似度が前記閾値より大きい前記特徴量と対応づけられた情報を前記類似情報として含む類似情報リストを、登録する情報と対応づけて前記類似情報リスト記憶手段に登録することを特徴とする請求項12に記載の情報管理方法。
【請求項15】
前記検索ステップは、利用者が任意の情報の前記類似情報の検索を指示した場合に、検索が指示された情報と対応づけられた前記類似情報リストを、前記類似情報リスト記憶手段から取得し、取得した前記類似情報リストに含まれる前記類似情報を検索結果として出力することを特徴とする請求項12に記載の情報管理方法。
【請求項16】
登録した情報を削除するときに、削除する情報が前記類似情報として対応づけられた前記類似情報リストを前記類似情報リスト記憶手段から取得し、取得した前記類似情報リストから、削除する情報を削除して前記類似情報リスト記憶手段を更新する削除ステップをさらに備えたことを特徴とする請求項12に記載の情報管理方法。
【請求項17】
登録する情報が複数存在する場合に、前記類似度算出ステップが算出した前記類似度が前記閾値より大きい前記特徴量と対応づけられた情報を前記類似情報として含む類似情報リストを、登録する情報と対応づけて、情報と情報の前記特徴量に対する前記類似度が前記閾値より大きい前記特徴量に対応づけられた類似情報を少なくとも1つ含む類似情報リストとを対応づけて格納する一時類似情報リスト記憶手段に登録する処理を並列に実行する一時登録ステップをさらに備え、
前記登録ステップは、前記一時登録ステップが予め定められた個数以上の情報を前記一時類似情報リスト記憶手段に登録したときに、前記一時類似情報リスト記憶手段に登録した情報と前記類似情報リストとを、前記類似情報リスト記憶手段に移動することを特徴とする請求項12に記載の情報管理方法。
【請求項18】
登録する情報が複数存在する場合に、登録する情報に対して、前記特徴量抽出ステップにより抽出した前記特徴量を対応づけて、情報と情報の前記特徴量とを対応づけて格納する一時特徴量記憶手段に登録する処理を並列に実行する一時登録ステップをさらに備え、
前記類似度算出ステップは、前記一時登録ステップが予め定められた個数以上の情報を前記一時特徴量記憶手段に登録したときに、前記一時特徴量記憶手段に登録された情報の前記特徴量と、前記検索ステップが検索した任意の情報の前記特徴量との前記類似度を算出する処理を並列に実行し、
前記登録ステップは、前記類似度算出ステップが算出した前記類似度が前記閾値より大きい前記特徴量と対応づけられた情報を前記類似情報として含む類似情報リストを、登録する情報と対応づけて前記類似情報リスト記憶手段に登録することを特徴とする請求項12に記載の情報管理方法。
【請求項19】
利用者が前記メタデータを検索キーとして情報の検索を指示した場合に、検索キーとされた前記メタデータに対応づけられた情報を、情報と情報の属性を表すメタデータとを対応づけて格納するメタデータ記憶手段から検索するメタデータ検索ステップをさらに備え、
前記検索ステップは、前記メタデータ検索ステップが検索した情報に対応づけられた前記類似情報リストを、前記類似情報リスト記憶手段から取得し、前記類似情報リストに含まれる個数が多い情報を、前記類似情報リストに含まれる個数が少ない情報より優先して検索結果として出力することを特徴とする請求項12に記載の情報管理方法。
【請求項20】
登録する情報に対して、前記特徴量抽出ステップにより抽出した前記特徴量を対応づけて、情報と情報の前記特徴量とを対応づけて格納する一時特徴量記憶手段に登録する一時登録ステップをさらに備え、
前記類似度算出ステップは、前記一時登録ステップが予め定められた個数以上の情報を前記一時特徴量記憶手段に登録したときに、前記一時特徴量記憶手段に登録された情報の前記特徴量と、前記検索ステップが検索した任意の情報の前記特徴量との前記類似度を算出する処理を並列に実行し、
前記登録ステップは、前記類似度算出ステップが算出した前記類似度が前記閾値より大きい前記特徴量と対応づけられた情報を前記類似情報として含む類似情報リストを、登録する情報と対応づけて前記類似情報リスト記憶手段に登録することを特徴とする請求項12に記載の情報管理方法。
【請求項21】
前記類似度算出ステップは、利用者が任意の情報の前記類似情報の検索を指示した場合に、前記一時特徴量記憶手段に登録された情報の前記特徴量と、検索が指示された情報の前記特徴量との前記類似度を算出し、
前記検索ステップは、利用者が任意の情報の前記類似情報の検索を指示した場合に、前記類似度算出ステップが算出した前記類似度が前記閾値より大きい前記特徴量と対応づけられた情報を前記類似情報として前記一時特徴量記憶手段から取得して検索結果として出力し、検索が指示された情報と対応づけられた前記類似情報リストを、前記類似情報リスト記憶手段から取得し、取得した前記類似情報リストに含まれる前記類似情報を検索結果
として出力することを特徴とする請求項20に記載の情報管理方法。
【請求項22】
情報は画像情報であり、前記特徴量は画像情報の内容を表す特徴量であることを特徴とする請求項12〜21のいずれか1つに記載の情報管理方法。
【請求項23】
請求項12〜22のいずれか1つに記載の情報管理方法をコンピュータに実行させることを特徴とするプログラム。
【請求項24】
請求項23に記載のプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate

【図21】
image rotate

【図22】
image rotate

【図23】
image rotate

【図24】
image rotate

【図25】
image rotate

【図26】
image rotate

【図27】
image rotate


【公開番号】特開2007−80210(P2007−80210A)
【公開日】平成19年3月29日(2007.3.29)
【国際特許分類】
【出願番号】特願2005−270682(P2005−270682)
【出願日】平成17年9月16日(2005.9.16)
【出願人】(000006747)株式会社リコー (37,907)
【Fターム(参考)】