画像データの管理
【課題】 画像データのデータベースを容易に構築し、画像データを用いて画像データに関する情報を取得することができる画像データのデータベースを構築すること。
【解決手段】ＣＰＵ１１１は、ＷＷＷサーバから画像データを取得し、取得した画像データから撮影位置情報および特徴量を取得する。ＣＰＵ１１１は、画像データを取得したＷｅｂデータを解析してキーワードを取得する。ＣＰＵ１１１は、取得した撮影位置情報、特徴量およびキーワードを、取得した画像データに関連づけて画像データベースに登録する。
【解決手段】ＣＰＵ１１１は、ＷＷＷサーバから画像データを取得し、取得した画像データから撮影位置情報および特徴量を取得する。ＣＰＵ１１１は、画像データを取得したＷｅｂデータを解析してキーワードを取得する。ＣＰＵ１１１は、取得した撮影位置情報、特徴量およびキーワードを、取得した画像データに関連づけて画像データベースに登録する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データを管理する技術に関する。
【背景技術】
【０００２】
従来、入力されたキーワードに基づいてテキストベースにてＷｅｂページを検索するシステムが広く実用化されている。これに対して、入力された画像データに基づく画像ベースの画像データベースとしては、任意の画像データが入力されると、入力された画像データの位置情報に基づいて、画像データベースから類似画像データが検索され、類似画像データの撮影場所名が、入力された画像データの撮影場所名として特定される技術が知られている。この画像データベースでは、画像データに対して撮影場所名を関連付けて登録することによって画像データベースが構築されている。
【０００３】
【特許文献１】特開２００２−３７３１６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、画像データに対して撮影場所名を関連付けて画像データベースを構築する場合、画像データの収集作業および画像データに対して撮影場所名を関連付ける作業が要求され、かかる作業は容易でないという問題があった。すなわち、画像データベースを構築するためには大量の画像データが必要となり、そのような大量の画像データを集める作業、集められた画像データに対して撮影場所名を関連付ける作業は非常に手間のかかる作業である。
【０００５】
また、従来の画像データベースでは、画像データの撮影場所名を特定することはできても、画像データに関するその他の情報、例えば、撮影場所名から連想される情報については取得することができないという問題があった。さらに、撮影場所名のみでは所望の被写体を有する画像データを検索することができない場合があった。
【０００６】
本発明は、上記課題を解決するためになされたものであり、画像データのデータベースを容易に構築することを目的とする。また、画像データを用いて画像データに関する情報を取得することができる画像データのデータベースを構築することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために本発明の第１の態様は、画像データベースを構築するデータベース構築装置を提供する。本発明の第１の態様に係るデータベース構築装置は、任意の画像データを取得する画像データ取得手段と、前記取得された画像データに関連する撮影位置情報を取得する撮影位置情報取得手段と、前記取得された画像データの特徴量を取得する特徴量取得手段と、前記取得された画像データに関連するキーワードを取得するキーワード取得手段と、前記取得された撮影位置情報、特徴量およびキーワードを関連付けて記憶装置に格納する格納実行手段とを備える。
【０００８】
本発明の第１の態様に係るデータベース構築装置によれば、任意の画像データを取得し、取得された画像データに関連する撮影位置情報、特徴量およびキーワードを取得し、取得された撮影位置情報、特徴量およびキーワードを関連付けて記憶装置に格納するので、画像データのデータベースを容易に構築することができると共に、画像データを用いて画像データに関する情報を取得することができる画像データのデータベースを構築することができる。
【０００９】
本発明の第１の態様に係るデータベース構築装置において、前記格納実行手段はさらに、前記撮影位置情報、特徴量およびキーワードを前記画像データに関連付けて前記記憶装置に格納しても良い。かかる場合には、撮影位置情報、特徴量およびキーワードに関連付けられている画像データを容易かつ確実に取得することができる。
【００１０】
本発明の第１の態様に係るデータベース構築装置において前記画像データの取得は、画像データが関連付けられているＷｅｂページデータから画像データを取得することにより実行されても良い。かかる場合には、多くの画像データを容易に取得することができる。
【００１１】
本発明の第１の態様に係るデータベース構築装置において、前記キーワードの取得は、前記取得された画像データが関連付けられているＷｅｂページデータからキーワードを抽出することによって実行されても良い。かかる場合には、画像データに関するキーワードを容易に取得することができる。
【００１２】
本発明の第１の態様に係るデータベース構築装置において、前記画像データには撮影位置情報が付帯されており、前記撮影位置情報の取得は、前記位置情報を用いて実行されても良い。かかる場合には、画像データの正確な撮影位置情報を容易に取得することができる。
【００１３】
本発明の第１の態様に係るデータベース構築装置において、前記撮影位置情報の取得は、前記取得された画像データが関連付けられているＷｅｂページデータから撮影位置情報を抽出することによって実行されても良い。かかる場合には、画像データに撮影位置情報が付帯されていない場合にも、画像データの撮影位置情報を取得することができる。
【００１４】
本発明の第１の態様に係るデータベース構築装置はさらに、前記取得した画像データに対してオブジェクト分離処理を実行するオブジェクト分離手段を備え、前記格納実行手段は、前記分離されたオブジェクト毎に前記記憶装置に対する前記画像データの格納を実行しても良い。かかる場合には、画像データを、更にオブジェクト単位にて区別することができる。
【００１５】
本発明の第１の態様に係るデータベース構築装置において、前記キーワード取得手段は複数のキーワードを取得し、前記データベース構築装置はさらに、前記取得された各キーワードに対して重み付け係数を付与する重み付け手段を備えても良い。かかる場合には、キーワード毎に軽重を付与することができる。
【００１６】
本発明の第１の態様に係るデータベース構築装置において、前記重み付け係数は、前記Ｗｅｂページデータにおける前記各キーワードの記述位置、記述用タグの種類によって決定されても良い。かかる場合には、Ｗｅｂページデータにおける各キーワードの記述位置、記述用タグの種類によって客観的に重み付け係数を決定することができる。
【００１７】
本発明の第２の態様は、各画像データに対して撮影位置情報とキーワードとが関連付けられて格納されている画像データベースを利用する画像データ管理装置を提供する。本発明の第２の態様に係る画像データ管理装置は、処理対象となる画像データを特定するための画像データ特定手段と、前記特定された画像データに関連する撮影位置情報を取得する撮影位置情報取得手段と、前記取得された撮影位置情報を用いて、前記画像データベースからキーワードを取得するキーワード取得手段と、前記取得されたキーワードと前記特定された画像データとを対応付ける対応付け手段とを備える。
【００１８】
本発明の第２の態様に係る画像データ管理装置によれば、特定された画像データに関連する撮影位置情報を用いて、画像データベースからキーワードを取得し、取得されたキーワードと特定された画像データとを対応付けるので、画像データを用いて画像データに関する情報を取得することができる。
【００１９】
本発明の第２の態様に係る画像データ管理装置はさらに、前記特定された画像データの特徴量を取得する特徴量取得手段を備え、前記画像データベースにおける各画像データには前記撮影位置情報およびキーワードに加えて画像データの特徴量が関連付けられており、前記キーワード取得手段は、前記撮影位置情報に加えて、前記特徴量を用いて前記キーワードを取得しても良い。かかる場合には、特定された画像データに対するキーワードの検索精度を向上させることができる。
【００２０】
本発明の第２の態様に係る画像データ管理装置において、前記キーワードの取得は、前記特定された画像データの撮影位置および特徴量と同一または類似する撮影位置および特徴量が関連付けられている複数の画像データからそれぞれキーワードを抽出することによって実行されても良い。かかる場合には、複数のキーワードを取得することができる。
【００２１】
本発明の第２の態様に係る画像データ管理装置において、
前記キーワード取得手段は、
前記特定された画像データの撮影位置および特徴量と同一または類似する撮影位置お よび特徴量が関連付けられている複数の検索画像データを取得する検索画像データ取得 手段と、
前記特定された画像データの撮影位置および特徴量と、各前記検索画像データの撮影 位置および特徴量を用いて、前記特定された画像データに対する前記検索画像データの 類似度を算出する類似度算出手段と、
前記算出された類似度に応じて、前記複数の検索画像データに関連付けられている各 キーワードに対して重み付けを行う重み付け手段と、
前記重み付けられたキーワードの中から重み付けの大きなキーワードを、前記特定さ れた画像データに対応付けるべきキーワードとして選択するキーワード選択手段とを備 えても良い。かかる場合には、特定された画像データに、より適切なキーワードを取得することができる。
【００２２】
本発明の第２の態様に係る画像データ管理装置はさらに、前記特定された画像データから主たるオブジェクトを抽出する主オブジェクト抽出手段を備え、前記画像データベースにおける各画像データに関連付けられている特徴量は各画像データにおける主オブジェクトの特徴量であり、前記キーワード取得手段は、前記抽出された主オブジェクトの特徴量を用いて前記画像データベースからキーワードを取得しても良い。かかる場合には、特定された画像データの主オブジェクトに適切なキーワードを取得することができる。
【００２３】
本発明の第３の態様は、画像データベースを構築するデータベース構築方法を提供する。本発明の第３の態様に係るデータベース構築方法は、Ｗｅｂページデータから任意の画像データを取得し、前記取得された画像データに関連する撮影位置情報を取得し、前記取得された画像データに関連するキーワードを取得し、前記取得された撮影位置情報およびキーワードと画像データとを関連付けて記憶装置に格納することを備える。
【００２４】
本発明の第３の態様に係るデータベース構築方法によれば、本発明の第１の態様に係るデータベース構築装置と同様の作用効果を得ることができると共に、本発明の第３の態様に係るデータベース構築方法は、本発明の第１の態様に係るデータベース構築装置と同様にして種々の態様にて実現され得る。
【００２５】
本発明の第４の態様は、各画像データに対して撮影位置情報とキーワードとが関連付けられて格納されている画像データベースを利用する画像データ管理方法を提供する。本発明の第４の態様に係る画像データ管理方法は、処理対象となる画像データを特定し、前記特定された画像データに関連する撮影位置情報を取得し、前記取得された撮影位置情報を用いて、前記画像データベースからキーワードを取得し、前記取得されたキーワードと前記特定された画像データとを対応付けて記憶装置に保存することを備える。
【００２６】
本発明の第４の態様に係る画像データ管理方法によれば、本発明の第２の態様に係る画像データ管理装置と同様の作用効果を得ることができると共に、本発明の第４の態様に係る画像データ管理方法は、本発明の第２の態様に係る画像データ管理装置と同様にして種々の態様にて実現され得る。
【００２７】
本発明の第３および第４の態様に係る方法は、この他にも、プログラム、およびプログラムを記録したコンピュータが読み取り可能な記録媒体としても実現され得る。
【図面の簡単な説明】
【００２８】
【図１】本実施例に係る画像データベース構築装置および画像データ管理装置を含む画像データベースシステムの概略構成を示す説明図である。
【図２】本実施例に係る画像データベース構築装置の主要な構成要素を示す概略図である。
【図３】本実施例に係る画像データベース構築装置によって実行されるプログラムおよびモジュールを模式的に示す説明図である。
【図４】本実施例に係る画像データ管理装置の主要な構成要素を示す概略図である。
【図５】本実施例に係る画像データ管理装置によって実行されるプログラムおよびモジュールを模式的に示す説明図である。
【図６】本実施例における画像データベース構築処理において実行される処理ルーチンを示すフローチャートである。
【図７】ＨＴＭＬタグによって記述されているＷｅｂページデータに基づき表示されるＷｅｂページの一例を示す説明図である。
【図８】本実施例において取得される画像データの構成を模式的に示す説明図である。
【図９】本実施例において実行される画像データの特徴量の取得処理を説明するための説明図である。
【図１０】本実施例に係る画像データベース構築処理において構築される画像データベースの一例を示す説明図である。
【図１１】本実施例における画像データ管理処理において実行される処理ルーチンを示すフローチャートである。
【図１２】特定画像データに対して検索されたキーワードの表示例を示す説明図である。
【発明を実施するための形態】
【００２９】
以下、本発明に係る画像データベース構築装置および画像データ管理装置について図面を参照しつつ、実施例に基づいて説明する。
【００３０】
図１を参照して本実施例に係る画像データベース構築装置および、画像データ管理装置を含む画像データベースシステムについて説明する。図１は本実施例に係る画像データベース構築装置および画像データ管理装置を含む画像データベースシステムの概略構成を示す説明図である。
【００３１】
画像データベースシステムは、画像データベース構築装置１０、画像データサーバ２０、画像データ管理装置３０を備えている。画像データベース構築装置１０および画像データ管理装置３０は、通信線を介して画像データベース２０と接続されている。
【００３２】
画像データベース構築装置１０は、インターネット４０を介してＷｅｂページデータから任意の画像データを取得し、取得した画像データから特徴量を、取得した画像データのヘッダ部から撮影位置情報を取得する。画像データベース構築装置１０はさらに、画像データを取得したＷｅｂページデータからキーワード、撮影位置情報を取得する。画像データベース構築装置１０は、取得したキーワード、撮影位置情報および特徴量を画像データ単位で関連付けて画像データサーバに格納して、画像データベースを構築する。
【００３３】
画像データサーバ２０は、画像データベース構築装置１０および画像データ管理装置３０との間で通信を実行するための通信制御回路、１または複数の記憶装置、記憶装置を制御する記憶装置制御回路を備えている。
【００３４】
画像データ管理装置３０は、キーワードを取得すべき画像データが特定されると、画像データから特徴量を取得し、画像データのヘッダから撮影位置情報を取得する。画像データ管理装置３０は、取得した特徴量および撮影位置情報に一致または類似（近似）する特徴量および撮影位置情報との組み合わせ、すなわち、取得した特徴量および撮影位置情報に一致または類似する特徴量および撮影位置情報とを含む画像データ、を検索し、検索された組み合わせに含まれるキーワードを取得する。画像データ管理装置３０は、取得したキーワードを特定された画像データに関連付ける。
【００３５】
画像データベース構築装置：
図２および図３を参照して、画像データベース構築装置１０の内部構成について説明する。図２は本実施例に係る画像データベース構築装置の主要な構成要素を示す概略図である。図３は本実施例に係る画像データベース構築装置によって実行されるプログラムおよびモジュールを模式的に示す説明図である。
【００３６】
本実施例に係る画像データベース構築装置１０は、例えば、インターネットに接続可能な一般的な計算機である。画像データベース構築装置１０は、図２に示すように、制御回路１１、入出力操作部１２、データ入出力部１３を備えている。制御回路１１は、画像データの取得、キーワード、撮影位置情報および特徴量の取得、画像データに対するキーワード、撮影位置情報および特徴量の関連付けといった画像データベース用データの作成処理を始めとする各種演算処理を実行する中央演算装置（ＣＰＵ）１１１、取得した画像データ、取得したキーワード、撮影位置情報および特徴量等の各種データを一時的に格納するランダムアクセスメモリ（ＲＡＭ）１１２、ＣＰＵ１１１によって実行されるプログラム、例えば、画像データベース構築プログラムを格納するリードオンリメモリ（ＲＯＭ）および／またはハードディスク（ＨＤＤ）１１３を備えている。
【００３７】
入力操作部１２は、外部からの入力を受け付けるインターフェース部であり、例えば、キーボード、マウスといった外部入力装置が接続される。ユーザからの指示は、外部入力装置を介して画像データベース構築装置１０に入力される。
【００３８】
データ入出力部１３は、ネットワーク接続ケーブルが接続される端子、並びに信号変換処理機能を有し、ネットワークを介して外部計算機との間で画像データをやりとりするために用いられる。より具体的には、データ入出力部１３は、ローカルエリアネットワークを介して画像データサーバ２０に接続され、さらに図示しないルータを介してインターネットに接続されている。
【００３９】
画像データベース構築装置１０にはさらに、表示器１５が接続されている。表示器１５には、取得したキーワードの一覧が表示され、また、画像データサーバ２０に登録されている画像データベースが表示される。
【００４０】
図３を参照してＲＯＭ／ＨＤＤ１１３に格納され、ＣＰＵ１１１によって実行される画像データベース構築プログラムＰ１について説明する。画像データベース構築プログラムＰ１は、画像データ取得モジュールＭ１、撮影位置情報取得モジュールＭ２、キーワード取得モジュールＭ３、特徴量取得モジュールＭ４、格納実行モジュールＭ５、オブジェクト分離モジュールＭ６、重み付けモジュールＭ７を備えている。
【００４１】
画像データ取得モジュールＭ１は、ＨＴＴＰ（Hypertext Transfer Protocol）を利用して、インターネットを介してＨＴＭＬ（Hyper Text Markup Language）形式で記述されているＷｅｂページデータにアクセスして、関連づけられている画像データを取得する。画像データ取得モジュールＭ１には、Ｗｅｂページデータ閲覧ソフトが備える、ＨＴＭＬタグを解釈するための機能が備えられている。なお、本実施例では、ＨＴＭＬ形式で記述されているＨＴＭＬデータおよびＨＴＭＬデータに関連づけられている画像データをＷｅｂページデータと呼ぶ。Ｗｅｂページデータは、Ｗｅｂページデータ閲覧ソフト（例えば、ブラウザソフト）を介して、所定のフォーマットで記述されたＷｅｂページとして表示器上に表示される。また、Ｗｅｂページデータは、一般的には、ＷＷＷサーバと呼ばれているインターネット上のサーバコンピュータに格納されており、ＵＲＬ（Uniform Resource Locator）を指定することによってアクセスすることができる。
【００４２】
画像データ取得モジュールＭ１は、例えば、予め登録されているＷｅｂページデータのＵＲＬに順次アクセスして画像データを検索し、画像データを取得する。あるいは、基本となるＵＲＬのリスト（シードリスト）を用いてＵＲＬにアクセスし、アクセス先のＷｅｂに含まれているリンクを辿って他のＵＲＬにアクセスして画像データを検索し、取得する。インターネットを介してＷｅｂページを巡回する技術は、当業者に良く知られており、例えば、前者は登録型、後者はロボット巡回型と呼ばれている。なお、画像データ取得モジュールＭ１は、画像データのみを取得せず、画像データが関連づけられているＷｅｂページデータも同時に取得する。
【００４３】
撮影位置情報取得モジュールＭ２は、画像データ取得モジュールＭ１によって取得された画像データに関する撮影位置情報を取得する。具体的には、画像データのヘッダにＧＰＳ情報（経度、緯度、撮影方向の各情報）が記述されている場合には、記述されている経度、緯度情報が撮影位置情報として取得される。あるいは、画像データを取得したＷｅｂページデータにおける記述（文書）から、例えば、地名、建物に関する記述を抽出し、抽出された地名、建物の情報を経度、緯度情報に変換することによって撮影位置情報が取得される。なお、抽出された単語が地名に該当するか否かは予め備えられている辞書データと対比することによって判断される。
【００４４】
キーワード取得モジュールＭ３は、画像データ取得モジュールＭ１によって取得された画像データに関するキーワードを取得する。キーワード取得モジュールＭ３には、Ｗｅｂページデータデータ閲覧ソフトが備える、ＨＴＭＬタグを解釈するための機能が備えられている。具体的には、画像データを取得したＷｅｂページデータにおける文書を形態素解析によって形態素（品詞）に分割し、複合名詞、単名詞に該当する単語をキーワードとして抽出する。したがって、１つの画像データに対して複数のキーワードが取得され得る。あるいは、ＨＴＭＬタグの内、特定のタグによって記述されている単語をキーワードとして採用しても良い。
【００４５】
特徴量取得モジュールＭ４は、画像データ取得モジュールＭ１によって取得された画像データを解析して、例えば、画像データの統計値を算出し、特徴量として取得する。
【００４６】
格納実行モジュールＭ５は、画像データと、その画像データから取得された撮影位置情報、特徴量およびキーワードとを関連付けて画像データサーバ２０に格納して画像データバースを構築する。
【００４７】
オブジェクト分離モジュールＭ６は、取得された画像データからオブジェクト（被写体）を抽出、分離する。オブジェクトの分離に当たっては、主オブジェクトのみを抽出してもよく、あるいは、主オブジェクトに加えて他のオブジェクトを抽出しても良い。オブジェクトの抽出が行われる場合には、画像データ単位ではなく、より詳細なオブジェクト単位にて画像データベースが構築される。かかる場合、特徴量は、オブジェクト単位にて取得されることが好ましい。
【００４８】
重み付けモジュールＭ７は、キーワード取得モジュールＭ３によって取得されたキーワードに対して重み付けを行う。具体的には、例えば、Ｗｅｂページ上においてキーワードが記述されている位置、ＨＴＭＬタグの種類によって、キーワードに対して重み付け係数を付与する。
【００４９】
画像データ管理装置：
図４および図５を参照して、画像データ管理装置３０の内部構成について説明する。図４は本実施例に係る画像データ管理装置の主要な構成要素を示す概略図である。図５は本実施例に係る画像データ管理装置によって実行されるプログラムおよびモジュールを模式的に示す説明図である。
【００５０】
本実施例に係る画像データ管理装置３０は、例えば、データベースに対して接続可能な一般的な計算機である。画像データ管理装置３０は、図４に示すように、制御回路３１、入出力操作部３２、データ入出力部３３を備えている。制御回路３１は、画像データの特定、特定された画像データからの撮影位置情報および特徴量の取得、特定された画像データに対するキーワードの取得といった画像データベースを用いた画像データの管理処理を始めとする各種演算処理を実行する中央演算装置（ＣＰＵ）３１１、取得した画像データ、取得したキーワード、撮影位置情報および特徴量等の各種データを一時的に格納するランダムアクセスメモリ（ＲＡＭ）３１２、ＣＰＵ３１１によって実行されるプログラム、例えば、画像データ管理プログラムを格納するリードオンリメモリ（ＲＯＭ）および／またはハードディスク（ＨＤＤ）３１３を備えている。
【００５１】
入力操作部３２は、外部からの入力を受け付けるインターフェース部であり、例えば、キーボード、マウスといった外部入力装置が接続される。画像データを特定するユーザからの指示は、外部入力装置を介して画像データ管理装置３０に入力される。
【００５２】
データ入出力部３３は、ネットワーク接続ケーブルが接続される端子、並びに信号変換処理機能を有し、ネットワークを介して外部計算機との間で画像データをやりとりするために用いられる。より具体的には、データ入出力部３３は、ローカルエリアネットワークを介して画像データサーバ２０に接続されている。
【００５３】
画像データ管理装置３０にはさらに、表示器３５が接続されている。表示器３５には、特定された画像データについて取得されたキーワードの一覧が表示され、また、画像データサーバ２０に登録されている画像データベースが表示される。
【００５４】
図５を参照してＲＯＭ／ＨＤＤ３１３に格納され、ＣＰＵ３１１によって実行される画像データ管理プログラムＰ２について説明する。画像データ管理プログラムＰ２は、画像データ特定モジュールＭ２１、撮影位置情報取得モジュールＭ２２、特徴量取得モジュールＭ２３、キーワード取得モジュールＭ２４、対応付けモジュールＭ２５、主オブジェクト抽出モジュールＭ２６を備えている。
【００５５】
画像データ特定モジュールＭ２１は、画像データベースを利用してキーワードを取得し、関連付けるための特定画像データを特定する。具体的には、ユーザからの選択または特定指示の入力を受けて画像データを特定する。あるいは、ディジタルスチルカメラから画像データ管理装置３０に送信されてきた画像データを順次、特定画像データとして特定する。
【００５６】
撮影位置情報取得モジュールＭ２２は、画像データ特定モジュールＭ２１によって特定された画像データから画像データに関する撮影位置情報を取得する。具体的には、撮影位置情報取得モジュールＭ２２は、画像データのヘッダに記述されているＧＰＳ情報（経度、緯度、撮影方向の各情報）から、経度、緯度情報を、撮影位置情報として取得する。
【００５７】
特徴量取得モジュールＭ２３は、画像データ特定モジュールＭ２１によって取得された画像データを解析して、例えば、画像データの統計値を算出し、特徴量として取得する。
【００５８】
キーワード取得モジュールＭ２４は、取得された撮影位置情報および特徴量を用いて画像データベースからキーワードを取得する。キーワード取得モジュールＭ２４は、検索画像データ取得モジュールＭ２４１、類似度算出モジュールＭ２４２、重み付けモジュールＭ２４３、キーワード選択モジュールＭ２４４をサブモジュールとして備えている。
【００５９】
検索画像データ取得モジュールＭ２４１は、特定画像データに類似する画像データを画像データベースから検索し、検索画像データとして取得する。具体的には、特定画像データの撮影位置情報および特徴量に対して、所定の範囲内にある撮影位置情報および特徴量を有する画像データを検索画像データとして取得する。
【００６０】
類似度算出モジュールＭ２４２は、取得された各検索画像データについて、撮影位置情報および特徴量を用いて類似度を算出する。類似度の算出には、例えば、多次元ベクトルが用いられる。なお、類似度は、撮影位置情報、特徴量毎に算出されても良い。
【００６１】
重み付けモジュールＭ２４３は、類似度算出モジュールＭ２４２によって算出された類似度に応じて、各検索画像データに関連付けられているキーワードに対して重み付けを行う。
【００６２】
キーワード選択モジュールＭ２４４は、重み付けモジュールＭ２４３によって重み付けされたキーワードの中から上位の（重み付け係数が大きな）キーワードを選択して、特定画像データに関連付けるべきキーワードとする。具体的には、キーワード選択モジュールＭ２４４は、同一のキーワードについて重み付け係数を積算してキーワード群を得て、そのキーワード群の中から重み付け係数が大きなキーワードを１つまたは複数選択する。
【００６３】
対応付けモジュールＭ２５は、取得したキーワードを特定画像データに対応付ける。対応付けられた画像データは、例えば、ＨＤＤ３１３に保存される。特定画像データに対するキーワードの対応付けは、例えば、画像データのヘッダにキーワードを格納することにより、あるいは、画像データとキーワードと対応付けるファイルを生成することによって実現され得る。
【００６４】
主オブジェクト抽出モジュールＭ２６は、特定画像データから主たる被写体を抽出する。一般的に、画像には複数の被写体が含まれており、特徴量は各被写体の影響を受けるため、画像データの区別が容易でない。そこで、画像データの主オブジェクトを抽出し、主オブジェクトの特徴量を用いて検索画像データを取得することによって画像データ（キーワード）の検索精度の向上が図られる。
【００６５】
画像データベース構築処理：
図６〜図１０を参照して本実施例に係る画像データベース構築処理について説明する。図６は本実施例における画像データベース構築処理において実行される処理ルーチンを示すフローチャートである。図７はＨＴＭＬタグによって記述されているＷｅｂページデータに基づき表示されるＷｅｂページの一例を示す説明図である。図８は本実施例において取得される画像データの構成を模式的に示す説明図である。図９は本実施例において実行される画像データの特徴量の取得処理を説明するための説明図である。図１０は本実施例に係る画像データベース構築処理において構築される画像データベースの一例を示す説明図である。
【００６６】
本処理ルーチンが開始すると、ＣＰＵ１１１はインターネットを介してＷｅｂページデータから画像データを取得する（ステップＳ１００）。図７に示すように、ＷｅｂページデータはＨＴＭＬタグによって記述されていると共に関連づけられている画像データの保存先を有している。既述のように、Ｗｅｂページデータは、ＷＷＷサーバ上に格納されており、ＵＲＬによって特定され、アクセスすることができる。アクセスの対象となるＷｅｂページデータは、例えば、予め登録されているＷｅｂページデータであっても良く、あるいは、ロボット型検索によってアクセスされる任意のＷｅｂページデータであっても良い。前者の場合には、予め登録されているＷｅｂページデータのＵＲＬをリスト化しておき、リストに従って検索エンジンが順次、Ｗｅｂページデータにアクセスして画像データを取得する。後者の場合には、検索エンジンは、基本となるシーズリストに挙げられているＷｅｂページデータ上のリンクを辿ってシーズリストに挙げられていないＷｅｂページデータにも順次アクセスして画像データを取得する。いずれの場合も、画像データの収集作業は検索エンジン（画像データ取得モジュール）によって自動的（自立的）に実行される。
【００６７】
画像データが取得されると、ＣＰＵ１１１は、画像データに関する撮影位置情報を取得する（ステップＳ１０２）。図８に示すように、画像データのヘッダにＧＰＳ情報が記述されている場合には、ＣＰＵ１１１は、ＧＰＳ情報を用いて画像データ撮影位置情報を取得する。Ｅｘｉｆフォーマットに従う画像データのヘッダには、ＧＰＳ情報として、緯度、経度、撮影方向の情報を記述するためのＧＰＳタグが規定の位置に用意されており、ＣＰＵ１１１は、画像データのヘッダからＧＰＳタグを検索した場合には、画像データから直接、緯度、経度を撮影位置情報として取得することができる。
【００６８】
一方、画像データのヘッダにＧＰＳタグが記述されていない場合には、ＣＰＵ１１１は、画像データを取得したＷｅｂページデータから撮影位置情報を抽出する。一般的に、画像データを含むＷｅｂページデータには、画像データを説明するための説明文が含まれており、また、画像データを表示するためのＨＴＭＬタグにはマウスオーバした場合に、画像データの内容をテキストで表示するための記述が含まれている。したがって、例えば、Ｗｅｂページデータから撮影地名が得られる場合には、予め用意された撮影地名−緯度、経度の対応テーブルから、得られた撮影地名に対応する緯度、経度を取得することによって撮影位置情報が得られる。なお、Ｗｅｂページデータの説明文から、単語を抽出する具体的な処理については、キーワード取得処理において説明する。
【００６９】
ＣＰＵ１１１は、取得した画像データから特徴量を取得する（ステップＳ１０４）。特徴量を取得する前に、ＣＰＵ１１１は、取得した画像データをＲＧＢデータに変換する。一般的に、Ｗｅｂページデータ上において用いられる画像データはjpegフォーマットのデータであることが多く、この場合には、ＹｃｂＣｒからＲＧＢデータへの色変換処理が実行される。特徴量の取得としては種々の手法が知られている。例えば、Ｒ、Ｇ、Ｂ各成分のヒストグラムを用いる手法、最大・最小輝度値および平均輝度値を用いる手法が知られている。本実施例では、ＭＰＥＧ−７において採用されている、色配置（Color Layout）の手法を用いて特徴量を抽出する。
【００７０】
色配置の手法では、ＣＰＵ１１１は、画像データを８×８の小ブロックに分割し、各小ブロックを構成する画素データの値（Ｒ、Ｇ、Ｂ）の平均値（Ｒave、Ｇave、Ｂave）を各小ブロックの代表値（Ｒrep、Ｇrep、Ｂrep）として用いる。ＣＰＵ１１１は求めた代表値を用いて８×８の画素データから構成される縮小画素データを作成する。ＣＰＵ１１１は、作成した縮小画像データ（ＲＧＢデータ）をＹＣｂＣｒデータに変換し、更に、Ｙ、Ｃｂ、Ｃｒの各成分について離散コサイン変換（ＤＣＴ）を行う。ＤＣＴによって、画像データは周波数成分に変換される。なお、離散コサイン変換は当業者において周知な変換処理であるから詳細な説明は省略する。
【００７１】
例えば、図９に示すように、Ｙ、Ｃｂ、Ｃｒの各成分について８×８の係数値が算出される。すなわち、
Ｙｃ[8][8]＝{yc00, yc01, yc02...yc76,yc77}
Ｃｂｃ[8][8]＝{cbc00, cbc01, cbc02...cbc76,cbc77}
Ｃｒｃ[8][8]＝{crc00, crc01, crc02...crc76,crc77}
となり、画像データ（画像）との位置関係は、例えば図９に示すとおりとなる。図９に示すように、係数値が大きくなるにつれて周波数は高くなる。
【００７２】
ＣＰＵ１１１は、画像データを取得したＷｅｂページデータからキーワードを抽出する（ステップＳ１０６）。すなわち、画像データが貼り付けられていたＨＴＭＬ文書からキーワードが抽出される。キーワードの抽出は、画像データを取得したＷｅｂページデータにおけるＨＴＭＬ文書からを形態素解析によって形態素（品詞）に分割し、複合名詞、単名詞に該当する単語をキーワードとして抽出する。形態素解析の手法は種々提案されており、本実施例では、いずれかの手法を利用してキーワードを抽出する。あるいは、例えば、図７に示すＨＴＭＬタグを有するＷｅｂページデータでは、ＨＴＭＬタグに記述されている単語からキーワードを抽出しても良い。
【００７３】
また、ＨＴＭＬタグの内、以下のタグによって記述されている単語には重み付けしても良い。あるいは、重み付け係数を大きくしても良い。
画像表示タグ <IMG SRC = " " ALT = " ">
ページタイトル <TITLE>
キーワード <META name = "keyword" content = " ">
内容説明 <META name = "description" content = " ">
見出しタグ <H1>
【００７４】
図７の例では、画像表示タグに「奈良公園」と、ページタイトルタグに「奈良」および「奈良公園」と、キーワードタグに「奈良公園」と、内容説明タグに「東大寺」と、見出しタグに「奈良公園」と記述されている。これらタグに記述されている単語には重み付けがなされる。重み付けに当たっては、例えば、見出しタグ、内容説明タグ、キーワードタグ、ページタイトルタグ、画像表示タグの順に重み付け係数を大きくしても良い。さらに、画像表示タグの近くに配置されているキーワードに対して大きな重み付け係数を付しても良い。すなわち、Ｗｅｂページデータにおける単語の配置位置に応じて重み付け係数を変えても良い。
【００７５】
ＣＰＵ１１１は、取得した撮影位置情報、特徴量およびキーワードを画像データに関連づけて画像データベースに登録して（ステップＳ１０８）本処理ルーチンを終了する。以上の各ステップは、画像データをＷｅｂページデータから取得する度に実行される。画像データの取得は、逐次実行されてもよく、所定数の画像データを取得したところで終了されても良い。また、画像データベースには、取得した撮影位置情報、特徴量およびキーワードが関連づけられて格納されていても良い。すなわち、画像データを介して、撮影位置情報、特徴量およびキーワードが関連付けられている画像データベースであっても良い。
【００７６】
画像データベースへの登録に当たって、キーワードについては、重み付け係数が所定のしきい値を超えたキーワードのみを画像データベースに登録する。例えば、図１０に示す画像データベースが得られる。すなわち、画像データ（ファイル名）に対して、撮影位置情報、画像の特徴量、キーワード（重み付け係数）が関連づけられている。なお、既述のように、画像データは撮影位置情報、特徴量およびキーワードを関連付けるための指標として用いられるだけでも良い。かかる場合には画像データの実データはデータベースに格納されず、例えば、画像データの実データ（Ｗｅｂページデータ）を格納するＷＷＷサーバへのリンク情報のみが格納されていてもよく、あるいは、画像データの実データの格納場所に関する情報は格納されなくても良い。
【００７７】
以上説明した本実施例にかかる画像データベース構築装置１０によれば、ＷＷＷサーバから画像データが取得され、取得された画像データに対して撮影位置情報、特徴量およびキーワードが関連づけられた画像データベースを作成することができる。したがって、画像データに基づいて画像データに関する情報（キーワード）を検索することができる画像データベースを容易に作成することができる。すなわち、ユーザは画像データを取得し、画像データに対して関連づけるために、キーボード等の入力操作部を介して撮影位置情報、特徴量およびキーワードを入力することなく、画像データベースを作成することができる。
【００７８】
また、ＷＷＷサーバから画像データを取得するので、数多くの画像データを取得することが可能となり、画像データベースの信頼度を向上させることができる。すなわち、数多くの画像データを取得することによって、多様な画像データを取り込むことが可能となり、キーワードの検索が望まれる画像データに対して、より正確なキーワードを抽出することができる画像データベースを作成することができる。
【００７９】
さらに、撮影位置情報の取得に当たっては画像データのヘッダ部に記述されているＧＰＳ情報またはＷｅｂページデータから抽出された撮影位置情報が取得されるので、的確な撮影位置情報を取得することができる。また、キーワードの取得に当たっては、Ｗｅｂデータに含まれている単語が用いられると共に、ＨＴＭＬタグの種類、単語の記述位置に応じてキーワードに対して重み付け係数が付されるので、より的確なキーワードの取得、順に付けができる。
【００８０】
また、本実施例にかかる画像データベース構築装置１０には、撮影位置情報、特徴量およびキーワードと画像データとが関連付けられて格納されているので、画像データが格納されているサーバの消滅、リンク切れの影響を受けることなく、容易且つ確実に、撮影位置情報、特徴量およびキーワードに関連付けられている画像データを利用することができる。
【００８１】
さらにまた、画像データベースには、各画像データの特徴量が登録されるので、キーワードの検索が望まれる画像データに対して、より的確な画像データを検索することが可能となり、この結果、適切なキーワードを提供することができる。
【００８２】
画像データベースの精度を上げるために、以下の処理を実行しても良い。
（１）画像データからオブジェクト抽出を行い、抽出したオブジェクト毎に特徴量を取得し、オブジェクト単位で画像データベースを作成する。
画像データからのオブジェクトの抽出は、例えば、画像データ（画像）におけるオブジェクトの位置、オブジェクトの外形、オブジェクトの色彩値、オブジェクトの周波数成分に基づいて実行される。また、画像データに含まれる全てのオブジェクトを対象とせず、主たるオブジェクト（主オブジェクト）のみを抽出し、主オブジェクトについて特徴量を取得しても良い。かかる場合には、画像データのクラス分けが明確になると共に、画像データに適したキーワードの検索精度を向上させることができる。
【００８３】
（２）上記処理によって作成された画像データベースに対して、ユーザの操作によって、参照画像データとして不適切な画像データの削除、不適切なキーワードの削除、適切なキーワードの追加が実行されても良い。ユーザによるキーワードの整理を許すことによって、画像データベースの特徴を出すことが可能になると共に、キーワードの適切化によって、画像データに適したキーワードの検索精度を向上させることができる。
【００８４】
さらに、画像データベースにおける検索速度を向上させるために、画像データのクラスタリングを行っても良い。クラスタリングに当たっては、撮影位置情報の近い画像データを集め、画像特徴量の類似度、キーワードの内容によって画像データをグループ化し、各グループ毎に撮影位置情報、画像特徴量、キーワードの代表値を求め、各グループと各代表値とを関連づけてデータベース化する。代表値としては、例えば、各グループ内の撮影位置情報、画像特徴量の平均値を取り、キーワードについては重み付け係数を積算して上位のキーワードを用いるようにすれば良い。クラスタリングを行うことによって、いたずらに詳細な条件検索を実行する必要がなくなり、キーワードの検索速度を向上させることができる。
【００８５】
画像特徴量の類似度は、比較対象となる２つの画像データの特徴量の距離を用いて求められる。例えば、ユークリッド距離を用いる場合には、以下の式によって距離Ｄ（類似度あるいは非類似度）が算出される。
【００８６】
【数１】
【００８７】
なお、Ｙｃｐ、Ｙｃｂｐ、Ｙｃｒｐは画像データＰの特徴量係数、Ｙｃｑ、Ｙｃｂｑ、Ｙｃｒｑは画像データＱの特徴量係数を示し、本実施例の例では、変数ｉ，ｊについて共にｎ＝７となる。
【００８８】
画像データ管理処理：
図１１および図１２を参照して本実施例に係る画像データ管理処理について説明する。図１１は本実施例における画像データ管理処理において実行される処理ルーチンを示すフローチャートである。図１２は特定画像データに対して検索されたキーワードの表示例を示す説明図である。本実施例における画像データの管理処理では、特定された画像データに適するキーワードを抽出する処理である。
【００８９】
ＣＰＵ３１１は、ユーザによって選択された画像データをキーワードの検索対象となる特定画像データとして特定する（ステップＳ２００）。あるいは、ＣＰＵ３１１は、ディジタルスチルカメラから供給された複数の画像データを順次特定画像データとして特定しても良い。ディジタルスチルカメラからの画像データの供給形態は、接続ケーブルを介した態様、あるいは、メモリカードによる態様のいずれであっても良い。
【００９０】
ＣＰＵ３１１は、特定された画像データから撮影位置情報を取得する（ステップＳ２０２）。画像データのヘッダ部には既述の通りＧＰＳ情報が記述されており、ＣＰＵ３１１は、このＧＰＳ情報から撮影位置情報として緯度、経度情報を取得する。
【００９１】
ＣＰＵ３１１は、特定された画像データから特徴量を抽出する（ステップＳ２０４）。特徴量は、既述のいずれかの手法によって抽出可能であるが、本実施例では、色配置の手法によって特徴量が取得される。
【００９２】
ＣＰＵ３１１は、画像データベースにアクセスして、特定画像データの撮影位置情報に近い撮影位置情報を有する画像データ（検索画像データ）を検索し、取得する（ステップＳ２０６）。具体的には、特定画像データの撮影位置情報（緯度、経度）の所定範囲内の撮影位置情報（緯度、経度）が関連づけられている検索画像データを取得する。この結果、特定画像データの撮影位置情報に一致または類似する撮影位置情報を有する検索画像データが取得される。
【００９３】
ＣＰＵ３１１は、検索画像データの中から、特定画像データの特徴量と一致または類似する特徴量を有する画像データを取得する（ステップＳ２０８）。具体的には、記述の式１を用いて特定画像データの特徴量に対する検索画像データの特徴量の類似度を算出し、類似度が上位の（距離Ｄが小さい上位の）画像データを取得する。
【００９４】
ＣＰＵ３１１は、取得された画像データに関連づけられているキーワードを取得し、画像表示装置３５にリスト形式で表示し（ステップＳ２１０）、本処理ルーチンを終了する。検索画像データの中から、特定画像データの特徴量と一致または類似する特徴量を有する画像データを取得する（ステップＳ２０８）。複数のキーワードが取得される場合には、ＣＰＵ３１１は、先に算出した類似度に基づく重み付け係数を算出し、予めキーワードに付されている重み付け係数に積算または加算して、図１２に示すように、キーワードの順位付けを行いリスト形式にて表示する。
【００９５】
以上説明した本実施例にかかる画像データ管理装置３０によれば、画像データベースを利用して特定画像データに関連づけるべきキーワードを簡便に取得することができると共に、特定画像データに対して適切なキーワードを取得することができる。この結果、画像データに対して自動的に、キーワードをコメントとして挿入することが可能となり、画像データを知人に渡す場合において、ユーザ自身でコメントを挿入する必要がなく、利便性を向上させることができる。画像データに対するキーワードの挿入は、キーワードを画像データのヘッダ部に記述することにより、あるいは、画像データとキーワードとを関連づける別のデータを作成することによって実現される。
【００９６】
さらに、被写体の名称がわからない画像データを特定画像データとすることによって、被写体の名称あるいは被写体に関わるキーワードを取得することができる。すなわち、画像データをベースにして、画像データに関わる情報を検索することができる。
【００９７】
特定画像データに対する検索画像データの絞り込みにおいては、例えば、特定画像データから主オブジェクトを抽出し、主オブジェクトの特徴量を抽出し、主オブジェクトの特徴量を用いて検索画像データを取得しても良い。この場合、画像データベースにも主オブジェクトの特徴量が登録されていることが好ましい。
【００９８】
・その他の実施例：
上記実施例では、撮影位置情報、特徴量およびキーワードと画像データとが画像データベースに格納されているが、撮影位置情報、特徴量およびキーワードのみを画像データベースに格納しても良い。かかる場合には、画像データベースの容量を削減することができる。また、画像データベースに画像データが格納されていない場合であっても、撮影位置情報、特徴量およびキーワードが関連付けられているので、検索対象となる画像データの撮影位置情報および特徴量を用いることによって、検索対象の画像データに適したキーワードを取得することができる。したがって、第１の実施例において述べたのと同様の利点を得ることができる。
【００９９】
上記実施例では、撮影位置情報、特徴量およびキーワードが画像データと関連付けられて画像データベースに格納されているが、撮影位置情報とキーワードのみが画像データに関連付けられていても良い。かかる場合には、キーワードの検索精度は低下するものの、撮影位置情報に基づいて、画像データに適するキーワードを取得することができる。
【０１００】
上記実施例では、画像データベース構築処理、画像データ管理処理がソフトウェア的に、すなわちコンピュータプログラムの態様にて実行されているが、上記各処理（ステップ）を実行する論理回路を備えたハードウェア回路を用いて実行されてもよい。かかる場合には、ＣＰＵ１１１、３１１の負荷を軽減することができると共に、より高速な各処理を実現することができる。ハードウェア回路は、例えば、パーソナルコンピュータに対するアドオンカードとして実装され得る。
【０１０１】
以上、いくつかの実施例に基づき本発明に係る画像データベース構築装置、画像データ管理装置、画像データベース構築方法（プログラム）、画像データ管理方法（プログラム）を説明してきたが、上記した発明の実施の形態は、本発明の理解を容易にするためのものであり、本発明を限定するものではない。本発明は、その趣旨並びに特許請求の範囲を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物が含まれることはもちろんである。
【符号の説明】
【０１０２】
１０…画像データベース構築装置
１１…制御回路
１１１…中央演算装置（ＣＰＵ）
１１２…ランダムアクセスメモリ（ＲＡＭ）
１１３…リードオンリメモリ（ＲＯＭ）／ハードディスクドライブ（ＨＤＤ）
１２…入力操作部
１３…データ入出力部
１５…表示器
２０…画像データサーバ
３０…画像データ管理装置
３１…制御回路
３１１…中央演算装置（ＣＰＵ）
３１２…ランダムアクセスメモリ（ＲＡＭ）
３１３…リードオンリメモリ（ＲＯＭ）／ハードディスクドライブ（ＨＤＤ）
３２…入力操作部
３３…データ入出力部
３５…表示器
Ｐ１…画像データベース構築プログラム
Ｐ２…画像データ管理プログラム
Ｍ１…画像データ取得モジュール
Ｍ２…撮影位置情報取得モジュール
Ｍ３…キーワード取得モジュール
Ｍ４…特徴量取得モジュール
Ｍ５…格納実行モジュール
Ｍ６…オブジェクト分離モジュール
Ｍ７…重み付けモジュール
Ｍ２１…画像データ特定モジュール
Ｍ２２…撮影位置情報取得モジュール
Ｍ２３…特徴量取得モジュール
Ｍ２４…キーワード取得モジュール
Ｍ２４１…検索画像データ取得モジュール
Ｍ２４２…類似度算出モジュール
Ｍ２４３…重み付けモジュール
Ｍ２４４…キーワード選択モジュール
Ｍ２５…対応付けモジュール
Ｍ２６…主オブジェクト抽出モジュール
【技術分野】
【０００１】
本発明は、画像データを管理する技術に関する。
【背景技術】
【０００２】
従来、入力されたキーワードに基づいてテキストベースにてＷｅｂページを検索するシステムが広く実用化されている。これに対して、入力された画像データに基づく画像ベースの画像データベースとしては、任意の画像データが入力されると、入力された画像データの位置情報に基づいて、画像データベースから類似画像データが検索され、類似画像データの撮影場所名が、入力された画像データの撮影場所名として特定される技術が知られている。この画像データベースでは、画像データに対して撮影場所名を関連付けて登録することによって画像データベースが構築されている。
【０００３】
【特許文献１】特開２００２−３７３１６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、画像データに対して撮影場所名を関連付けて画像データベースを構築する場合、画像データの収集作業および画像データに対して撮影場所名を関連付ける作業が要求され、かかる作業は容易でないという問題があった。すなわち、画像データベースを構築するためには大量の画像データが必要となり、そのような大量の画像データを集める作業、集められた画像データに対して撮影場所名を関連付ける作業は非常に手間のかかる作業である。
【０００５】
また、従来の画像データベースでは、画像データの撮影場所名を特定することはできても、画像データに関するその他の情報、例えば、撮影場所名から連想される情報については取得することができないという問題があった。さらに、撮影場所名のみでは所望の被写体を有する画像データを検索することができない場合があった。
【０００６】
本発明は、上記課題を解決するためになされたものであり、画像データのデータベースを容易に構築することを目的とする。また、画像データを用いて画像データに関する情報を取得することができる画像データのデータベースを構築することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために本発明の第１の態様は、画像データベースを構築するデータベース構築装置を提供する。本発明の第１の態様に係るデータベース構築装置は、任意の画像データを取得する画像データ取得手段と、前記取得された画像データに関連する撮影位置情報を取得する撮影位置情報取得手段と、前記取得された画像データの特徴量を取得する特徴量取得手段と、前記取得された画像データに関連するキーワードを取得するキーワード取得手段と、前記取得された撮影位置情報、特徴量およびキーワードを関連付けて記憶装置に格納する格納実行手段とを備える。
【０００８】
本発明の第１の態様に係るデータベース構築装置によれば、任意の画像データを取得し、取得された画像データに関連する撮影位置情報、特徴量およびキーワードを取得し、取得された撮影位置情報、特徴量およびキーワードを関連付けて記憶装置に格納するので、画像データのデータベースを容易に構築することができると共に、画像データを用いて画像データに関する情報を取得することができる画像データのデータベースを構築することができる。
【０００９】
本発明の第１の態様に係るデータベース構築装置において、前記格納実行手段はさらに、前記撮影位置情報、特徴量およびキーワードを前記画像データに関連付けて前記記憶装置に格納しても良い。かかる場合には、撮影位置情報、特徴量およびキーワードに関連付けられている画像データを容易かつ確実に取得することができる。
【００１０】
本発明の第１の態様に係るデータベース構築装置において前記画像データの取得は、画像データが関連付けられているＷｅｂページデータから画像データを取得することにより実行されても良い。かかる場合には、多くの画像データを容易に取得することができる。
【００１１】
本発明の第１の態様に係るデータベース構築装置において、前記キーワードの取得は、前記取得された画像データが関連付けられているＷｅｂページデータからキーワードを抽出することによって実行されても良い。かかる場合には、画像データに関するキーワードを容易に取得することができる。
【００１２】
本発明の第１の態様に係るデータベース構築装置において、前記画像データには撮影位置情報が付帯されており、前記撮影位置情報の取得は、前記位置情報を用いて実行されても良い。かかる場合には、画像データの正確な撮影位置情報を容易に取得することができる。
【００１３】
本発明の第１の態様に係るデータベース構築装置において、前記撮影位置情報の取得は、前記取得された画像データが関連付けられているＷｅｂページデータから撮影位置情報を抽出することによって実行されても良い。かかる場合には、画像データに撮影位置情報が付帯されていない場合にも、画像データの撮影位置情報を取得することができる。
【００１４】
本発明の第１の態様に係るデータベース構築装置はさらに、前記取得した画像データに対してオブジェクト分離処理を実行するオブジェクト分離手段を備え、前記格納実行手段は、前記分離されたオブジェクト毎に前記記憶装置に対する前記画像データの格納を実行しても良い。かかる場合には、画像データを、更にオブジェクト単位にて区別することができる。
【００１５】
本発明の第１の態様に係るデータベース構築装置において、前記キーワード取得手段は複数のキーワードを取得し、前記データベース構築装置はさらに、前記取得された各キーワードに対して重み付け係数を付与する重み付け手段を備えても良い。かかる場合には、キーワード毎に軽重を付与することができる。
【００１６】
本発明の第１の態様に係るデータベース構築装置において、前記重み付け係数は、前記Ｗｅｂページデータにおける前記各キーワードの記述位置、記述用タグの種類によって決定されても良い。かかる場合には、Ｗｅｂページデータにおける各キーワードの記述位置、記述用タグの種類によって客観的に重み付け係数を決定することができる。
【００１７】
本発明の第２の態様は、各画像データに対して撮影位置情報とキーワードとが関連付けられて格納されている画像データベースを利用する画像データ管理装置を提供する。本発明の第２の態様に係る画像データ管理装置は、処理対象となる画像データを特定するための画像データ特定手段と、前記特定された画像データに関連する撮影位置情報を取得する撮影位置情報取得手段と、前記取得された撮影位置情報を用いて、前記画像データベースからキーワードを取得するキーワード取得手段と、前記取得されたキーワードと前記特定された画像データとを対応付ける対応付け手段とを備える。
【００１８】
本発明の第２の態様に係る画像データ管理装置によれば、特定された画像データに関連する撮影位置情報を用いて、画像データベースからキーワードを取得し、取得されたキーワードと特定された画像データとを対応付けるので、画像データを用いて画像データに関する情報を取得することができる。
【００１９】
本発明の第２の態様に係る画像データ管理装置はさらに、前記特定された画像データの特徴量を取得する特徴量取得手段を備え、前記画像データベースにおける各画像データには前記撮影位置情報およびキーワードに加えて画像データの特徴量が関連付けられており、前記キーワード取得手段は、前記撮影位置情報に加えて、前記特徴量を用いて前記キーワードを取得しても良い。かかる場合には、特定された画像データに対するキーワードの検索精度を向上させることができる。
【００２０】
本発明の第２の態様に係る画像データ管理装置において、前記キーワードの取得は、前記特定された画像データの撮影位置および特徴量と同一または類似する撮影位置および特徴量が関連付けられている複数の画像データからそれぞれキーワードを抽出することによって実行されても良い。かかる場合には、複数のキーワードを取得することができる。
【００２１】
本発明の第２の態様に係る画像データ管理装置において、
前記キーワード取得手段は、
前記特定された画像データの撮影位置および特徴量と同一または類似する撮影位置お よび特徴量が関連付けられている複数の検索画像データを取得する検索画像データ取得 手段と、
前記特定された画像データの撮影位置および特徴量と、各前記検索画像データの撮影 位置および特徴量を用いて、前記特定された画像データに対する前記検索画像データの 類似度を算出する類似度算出手段と、
前記算出された類似度に応じて、前記複数の検索画像データに関連付けられている各 キーワードに対して重み付けを行う重み付け手段と、
前記重み付けられたキーワードの中から重み付けの大きなキーワードを、前記特定さ れた画像データに対応付けるべきキーワードとして選択するキーワード選択手段とを備 えても良い。かかる場合には、特定された画像データに、より適切なキーワードを取得することができる。
【００２２】
本発明の第２の態様に係る画像データ管理装置はさらに、前記特定された画像データから主たるオブジェクトを抽出する主オブジェクト抽出手段を備え、前記画像データベースにおける各画像データに関連付けられている特徴量は各画像データにおける主オブジェクトの特徴量であり、前記キーワード取得手段は、前記抽出された主オブジェクトの特徴量を用いて前記画像データベースからキーワードを取得しても良い。かかる場合には、特定された画像データの主オブジェクトに適切なキーワードを取得することができる。
【００２３】
本発明の第３の態様は、画像データベースを構築するデータベース構築方法を提供する。本発明の第３の態様に係るデータベース構築方法は、Ｗｅｂページデータから任意の画像データを取得し、前記取得された画像データに関連する撮影位置情報を取得し、前記取得された画像データに関連するキーワードを取得し、前記取得された撮影位置情報およびキーワードと画像データとを関連付けて記憶装置に格納することを備える。
【００２４】
本発明の第３の態様に係るデータベース構築方法によれば、本発明の第１の態様に係るデータベース構築装置と同様の作用効果を得ることができると共に、本発明の第３の態様に係るデータベース構築方法は、本発明の第１の態様に係るデータベース構築装置と同様にして種々の態様にて実現され得る。
【００２５】
本発明の第４の態様は、各画像データに対して撮影位置情報とキーワードとが関連付けられて格納されている画像データベースを利用する画像データ管理方法を提供する。本発明の第４の態様に係る画像データ管理方法は、処理対象となる画像データを特定し、前記特定された画像データに関連する撮影位置情報を取得し、前記取得された撮影位置情報を用いて、前記画像データベースからキーワードを取得し、前記取得されたキーワードと前記特定された画像データとを対応付けて記憶装置に保存することを備える。
【００２６】
本発明の第４の態様に係る画像データ管理方法によれば、本発明の第２の態様に係る画像データ管理装置と同様の作用効果を得ることができると共に、本発明の第４の態様に係る画像データ管理方法は、本発明の第２の態様に係る画像データ管理装置と同様にして種々の態様にて実現され得る。
【００２７】
本発明の第３および第４の態様に係る方法は、この他にも、プログラム、およびプログラムを記録したコンピュータが読み取り可能な記録媒体としても実現され得る。
【図面の簡単な説明】
【００２８】
【図１】本実施例に係る画像データベース構築装置および画像データ管理装置を含む画像データベースシステムの概略構成を示す説明図である。
【図２】本実施例に係る画像データベース構築装置の主要な構成要素を示す概略図である。
【図３】本実施例に係る画像データベース構築装置によって実行されるプログラムおよびモジュールを模式的に示す説明図である。
【図４】本実施例に係る画像データ管理装置の主要な構成要素を示す概略図である。
【図５】本実施例に係る画像データ管理装置によって実行されるプログラムおよびモジュールを模式的に示す説明図である。
【図６】本実施例における画像データベース構築処理において実行される処理ルーチンを示すフローチャートである。
【図７】ＨＴＭＬタグによって記述されているＷｅｂページデータに基づき表示されるＷｅｂページの一例を示す説明図である。
【図８】本実施例において取得される画像データの構成を模式的に示す説明図である。
【図９】本実施例において実行される画像データの特徴量の取得処理を説明するための説明図である。
【図１０】本実施例に係る画像データベース構築処理において構築される画像データベースの一例を示す説明図である。
【図１１】本実施例における画像データ管理処理において実行される処理ルーチンを示すフローチャートである。
【図１２】特定画像データに対して検索されたキーワードの表示例を示す説明図である。
【発明を実施するための形態】
【００２９】
以下、本発明に係る画像データベース構築装置および画像データ管理装置について図面を参照しつつ、実施例に基づいて説明する。
【００３０】
図１を参照して本実施例に係る画像データベース構築装置および、画像データ管理装置を含む画像データベースシステムについて説明する。図１は本実施例に係る画像データベース構築装置および画像データ管理装置を含む画像データベースシステムの概略構成を示す説明図である。
【００３１】
画像データベースシステムは、画像データベース構築装置１０、画像データサーバ２０、画像データ管理装置３０を備えている。画像データベース構築装置１０および画像データ管理装置３０は、通信線を介して画像データベース２０と接続されている。
【００３２】
画像データベース構築装置１０は、インターネット４０を介してＷｅｂページデータから任意の画像データを取得し、取得した画像データから特徴量を、取得した画像データのヘッダ部から撮影位置情報を取得する。画像データベース構築装置１０はさらに、画像データを取得したＷｅｂページデータからキーワード、撮影位置情報を取得する。画像データベース構築装置１０は、取得したキーワード、撮影位置情報および特徴量を画像データ単位で関連付けて画像データサーバに格納して、画像データベースを構築する。
【００３３】
画像データサーバ２０は、画像データベース構築装置１０および画像データ管理装置３０との間で通信を実行するための通信制御回路、１または複数の記憶装置、記憶装置を制御する記憶装置制御回路を備えている。
【００３４】
画像データ管理装置３０は、キーワードを取得すべき画像データが特定されると、画像データから特徴量を取得し、画像データのヘッダから撮影位置情報を取得する。画像データ管理装置３０は、取得した特徴量および撮影位置情報に一致または類似（近似）する特徴量および撮影位置情報との組み合わせ、すなわち、取得した特徴量および撮影位置情報に一致または類似する特徴量および撮影位置情報とを含む画像データ、を検索し、検索された組み合わせに含まれるキーワードを取得する。画像データ管理装置３０は、取得したキーワードを特定された画像データに関連付ける。
【００３５】
画像データベース構築装置：
図２および図３を参照して、画像データベース構築装置１０の内部構成について説明する。図２は本実施例に係る画像データベース構築装置の主要な構成要素を示す概略図である。図３は本実施例に係る画像データベース構築装置によって実行されるプログラムおよびモジュールを模式的に示す説明図である。
【００３６】
本実施例に係る画像データベース構築装置１０は、例えば、インターネットに接続可能な一般的な計算機である。画像データベース構築装置１０は、図２に示すように、制御回路１１、入出力操作部１２、データ入出力部１３を備えている。制御回路１１は、画像データの取得、キーワード、撮影位置情報および特徴量の取得、画像データに対するキーワード、撮影位置情報および特徴量の関連付けといった画像データベース用データの作成処理を始めとする各種演算処理を実行する中央演算装置（ＣＰＵ）１１１、取得した画像データ、取得したキーワード、撮影位置情報および特徴量等の各種データを一時的に格納するランダムアクセスメモリ（ＲＡＭ）１１２、ＣＰＵ１１１によって実行されるプログラム、例えば、画像データベース構築プログラムを格納するリードオンリメモリ（ＲＯＭ）および／またはハードディスク（ＨＤＤ）１１３を備えている。
【００３７】
入力操作部１２は、外部からの入力を受け付けるインターフェース部であり、例えば、キーボード、マウスといった外部入力装置が接続される。ユーザからの指示は、外部入力装置を介して画像データベース構築装置１０に入力される。
【００３８】
データ入出力部１３は、ネットワーク接続ケーブルが接続される端子、並びに信号変換処理機能を有し、ネットワークを介して外部計算機との間で画像データをやりとりするために用いられる。より具体的には、データ入出力部１３は、ローカルエリアネットワークを介して画像データサーバ２０に接続され、さらに図示しないルータを介してインターネットに接続されている。
【００３９】
画像データベース構築装置１０にはさらに、表示器１５が接続されている。表示器１５には、取得したキーワードの一覧が表示され、また、画像データサーバ２０に登録されている画像データベースが表示される。
【００４０】
図３を参照してＲＯＭ／ＨＤＤ１１３に格納され、ＣＰＵ１１１によって実行される画像データベース構築プログラムＰ１について説明する。画像データベース構築プログラムＰ１は、画像データ取得モジュールＭ１、撮影位置情報取得モジュールＭ２、キーワード取得モジュールＭ３、特徴量取得モジュールＭ４、格納実行モジュールＭ５、オブジェクト分離モジュールＭ６、重み付けモジュールＭ７を備えている。
【００４１】
画像データ取得モジュールＭ１は、ＨＴＴＰ（Hypertext Transfer Protocol）を利用して、インターネットを介してＨＴＭＬ（Hyper Text Markup Language）形式で記述されているＷｅｂページデータにアクセスして、関連づけられている画像データを取得する。画像データ取得モジュールＭ１には、Ｗｅｂページデータ閲覧ソフトが備える、ＨＴＭＬタグを解釈するための機能が備えられている。なお、本実施例では、ＨＴＭＬ形式で記述されているＨＴＭＬデータおよびＨＴＭＬデータに関連づけられている画像データをＷｅｂページデータと呼ぶ。Ｗｅｂページデータは、Ｗｅｂページデータ閲覧ソフト（例えば、ブラウザソフト）を介して、所定のフォーマットで記述されたＷｅｂページとして表示器上に表示される。また、Ｗｅｂページデータは、一般的には、ＷＷＷサーバと呼ばれているインターネット上のサーバコンピュータに格納されており、ＵＲＬ（Uniform Resource Locator）を指定することによってアクセスすることができる。
【００４２】
画像データ取得モジュールＭ１は、例えば、予め登録されているＷｅｂページデータのＵＲＬに順次アクセスして画像データを検索し、画像データを取得する。あるいは、基本となるＵＲＬのリスト（シードリスト）を用いてＵＲＬにアクセスし、アクセス先のＷｅｂに含まれているリンクを辿って他のＵＲＬにアクセスして画像データを検索し、取得する。インターネットを介してＷｅｂページを巡回する技術は、当業者に良く知られており、例えば、前者は登録型、後者はロボット巡回型と呼ばれている。なお、画像データ取得モジュールＭ１は、画像データのみを取得せず、画像データが関連づけられているＷｅｂページデータも同時に取得する。
【００４３】
撮影位置情報取得モジュールＭ２は、画像データ取得モジュールＭ１によって取得された画像データに関する撮影位置情報を取得する。具体的には、画像データのヘッダにＧＰＳ情報（経度、緯度、撮影方向の各情報）が記述されている場合には、記述されている経度、緯度情報が撮影位置情報として取得される。あるいは、画像データを取得したＷｅｂページデータにおける記述（文書）から、例えば、地名、建物に関する記述を抽出し、抽出された地名、建物の情報を経度、緯度情報に変換することによって撮影位置情報が取得される。なお、抽出された単語が地名に該当するか否かは予め備えられている辞書データと対比することによって判断される。
【００４４】
キーワード取得モジュールＭ３は、画像データ取得モジュールＭ１によって取得された画像データに関するキーワードを取得する。キーワード取得モジュールＭ３には、Ｗｅｂページデータデータ閲覧ソフトが備える、ＨＴＭＬタグを解釈するための機能が備えられている。具体的には、画像データを取得したＷｅｂページデータにおける文書を形態素解析によって形態素（品詞）に分割し、複合名詞、単名詞に該当する単語をキーワードとして抽出する。したがって、１つの画像データに対して複数のキーワードが取得され得る。あるいは、ＨＴＭＬタグの内、特定のタグによって記述されている単語をキーワードとして採用しても良い。
【００４５】
特徴量取得モジュールＭ４は、画像データ取得モジュールＭ１によって取得された画像データを解析して、例えば、画像データの統計値を算出し、特徴量として取得する。
【００４６】
格納実行モジュールＭ５は、画像データと、その画像データから取得された撮影位置情報、特徴量およびキーワードとを関連付けて画像データサーバ２０に格納して画像データバースを構築する。
【００４７】
オブジェクト分離モジュールＭ６は、取得された画像データからオブジェクト（被写体）を抽出、分離する。オブジェクトの分離に当たっては、主オブジェクトのみを抽出してもよく、あるいは、主オブジェクトに加えて他のオブジェクトを抽出しても良い。オブジェクトの抽出が行われる場合には、画像データ単位ではなく、より詳細なオブジェクト単位にて画像データベースが構築される。かかる場合、特徴量は、オブジェクト単位にて取得されることが好ましい。
【００４８】
重み付けモジュールＭ７は、キーワード取得モジュールＭ３によって取得されたキーワードに対して重み付けを行う。具体的には、例えば、Ｗｅｂページ上においてキーワードが記述されている位置、ＨＴＭＬタグの種類によって、キーワードに対して重み付け係数を付与する。
【００４９】
画像データ管理装置：
図４および図５を参照して、画像データ管理装置３０の内部構成について説明する。図４は本実施例に係る画像データ管理装置の主要な構成要素を示す概略図である。図５は本実施例に係る画像データ管理装置によって実行されるプログラムおよびモジュールを模式的に示す説明図である。
【００５０】
本実施例に係る画像データ管理装置３０は、例えば、データベースに対して接続可能な一般的な計算機である。画像データ管理装置３０は、図４に示すように、制御回路３１、入出力操作部３２、データ入出力部３３を備えている。制御回路３１は、画像データの特定、特定された画像データからの撮影位置情報および特徴量の取得、特定された画像データに対するキーワードの取得といった画像データベースを用いた画像データの管理処理を始めとする各種演算処理を実行する中央演算装置（ＣＰＵ）３１１、取得した画像データ、取得したキーワード、撮影位置情報および特徴量等の各種データを一時的に格納するランダムアクセスメモリ（ＲＡＭ）３１２、ＣＰＵ３１１によって実行されるプログラム、例えば、画像データ管理プログラムを格納するリードオンリメモリ（ＲＯＭ）および／またはハードディスク（ＨＤＤ）３１３を備えている。
【００５１】
入力操作部３２は、外部からの入力を受け付けるインターフェース部であり、例えば、キーボード、マウスといった外部入力装置が接続される。画像データを特定するユーザからの指示は、外部入力装置を介して画像データ管理装置３０に入力される。
【００５２】
データ入出力部３３は、ネットワーク接続ケーブルが接続される端子、並びに信号変換処理機能を有し、ネットワークを介して外部計算機との間で画像データをやりとりするために用いられる。より具体的には、データ入出力部３３は、ローカルエリアネットワークを介して画像データサーバ２０に接続されている。
【００５３】
画像データ管理装置３０にはさらに、表示器３５が接続されている。表示器３５には、特定された画像データについて取得されたキーワードの一覧が表示され、また、画像データサーバ２０に登録されている画像データベースが表示される。
【００５４】
図５を参照してＲＯＭ／ＨＤＤ３１３に格納され、ＣＰＵ３１１によって実行される画像データ管理プログラムＰ２について説明する。画像データ管理プログラムＰ２は、画像データ特定モジュールＭ２１、撮影位置情報取得モジュールＭ２２、特徴量取得モジュールＭ２３、キーワード取得モジュールＭ２４、対応付けモジュールＭ２５、主オブジェクト抽出モジュールＭ２６を備えている。
【００５５】
画像データ特定モジュールＭ２１は、画像データベースを利用してキーワードを取得し、関連付けるための特定画像データを特定する。具体的には、ユーザからの選択または特定指示の入力を受けて画像データを特定する。あるいは、ディジタルスチルカメラから画像データ管理装置３０に送信されてきた画像データを順次、特定画像データとして特定する。
【００５６】
撮影位置情報取得モジュールＭ２２は、画像データ特定モジュールＭ２１によって特定された画像データから画像データに関する撮影位置情報を取得する。具体的には、撮影位置情報取得モジュールＭ２２は、画像データのヘッダに記述されているＧＰＳ情報（経度、緯度、撮影方向の各情報）から、経度、緯度情報を、撮影位置情報として取得する。
【００５７】
特徴量取得モジュールＭ２３は、画像データ特定モジュールＭ２１によって取得された画像データを解析して、例えば、画像データの統計値を算出し、特徴量として取得する。
【００５８】
キーワード取得モジュールＭ２４は、取得された撮影位置情報および特徴量を用いて画像データベースからキーワードを取得する。キーワード取得モジュールＭ２４は、検索画像データ取得モジュールＭ２４１、類似度算出モジュールＭ２４２、重み付けモジュールＭ２４３、キーワード選択モジュールＭ２４４をサブモジュールとして備えている。
【００５９】
検索画像データ取得モジュールＭ２４１は、特定画像データに類似する画像データを画像データベースから検索し、検索画像データとして取得する。具体的には、特定画像データの撮影位置情報および特徴量に対して、所定の範囲内にある撮影位置情報および特徴量を有する画像データを検索画像データとして取得する。
【００６０】
類似度算出モジュールＭ２４２は、取得された各検索画像データについて、撮影位置情報および特徴量を用いて類似度を算出する。類似度の算出には、例えば、多次元ベクトルが用いられる。なお、類似度は、撮影位置情報、特徴量毎に算出されても良い。
【００６１】
重み付けモジュールＭ２４３は、類似度算出モジュールＭ２４２によって算出された類似度に応じて、各検索画像データに関連付けられているキーワードに対して重み付けを行う。
【００６２】
キーワード選択モジュールＭ２４４は、重み付けモジュールＭ２４３によって重み付けされたキーワードの中から上位の（重み付け係数が大きな）キーワードを選択して、特定画像データに関連付けるべきキーワードとする。具体的には、キーワード選択モジュールＭ２４４は、同一のキーワードについて重み付け係数を積算してキーワード群を得て、そのキーワード群の中から重み付け係数が大きなキーワードを１つまたは複数選択する。
【００６３】
対応付けモジュールＭ２５は、取得したキーワードを特定画像データに対応付ける。対応付けられた画像データは、例えば、ＨＤＤ３１３に保存される。特定画像データに対するキーワードの対応付けは、例えば、画像データのヘッダにキーワードを格納することにより、あるいは、画像データとキーワードと対応付けるファイルを生成することによって実現され得る。
【００６４】
主オブジェクト抽出モジュールＭ２６は、特定画像データから主たる被写体を抽出する。一般的に、画像には複数の被写体が含まれており、特徴量は各被写体の影響を受けるため、画像データの区別が容易でない。そこで、画像データの主オブジェクトを抽出し、主オブジェクトの特徴量を用いて検索画像データを取得することによって画像データ（キーワード）の検索精度の向上が図られる。
【００６５】
画像データベース構築処理：
図６〜図１０を参照して本実施例に係る画像データベース構築処理について説明する。図６は本実施例における画像データベース構築処理において実行される処理ルーチンを示すフローチャートである。図７はＨＴＭＬタグによって記述されているＷｅｂページデータに基づき表示されるＷｅｂページの一例を示す説明図である。図８は本実施例において取得される画像データの構成を模式的に示す説明図である。図９は本実施例において実行される画像データの特徴量の取得処理を説明するための説明図である。図１０は本実施例に係る画像データベース構築処理において構築される画像データベースの一例を示す説明図である。
【００６６】
本処理ルーチンが開始すると、ＣＰＵ１１１はインターネットを介してＷｅｂページデータから画像データを取得する（ステップＳ１００）。図７に示すように、ＷｅｂページデータはＨＴＭＬタグによって記述されていると共に関連づけられている画像データの保存先を有している。既述のように、Ｗｅｂページデータは、ＷＷＷサーバ上に格納されており、ＵＲＬによって特定され、アクセスすることができる。アクセスの対象となるＷｅｂページデータは、例えば、予め登録されているＷｅｂページデータであっても良く、あるいは、ロボット型検索によってアクセスされる任意のＷｅｂページデータであっても良い。前者の場合には、予め登録されているＷｅｂページデータのＵＲＬをリスト化しておき、リストに従って検索エンジンが順次、Ｗｅｂページデータにアクセスして画像データを取得する。後者の場合には、検索エンジンは、基本となるシーズリストに挙げられているＷｅｂページデータ上のリンクを辿ってシーズリストに挙げられていないＷｅｂページデータにも順次アクセスして画像データを取得する。いずれの場合も、画像データの収集作業は検索エンジン（画像データ取得モジュール）によって自動的（自立的）に実行される。
【００６７】
画像データが取得されると、ＣＰＵ１１１は、画像データに関する撮影位置情報を取得する（ステップＳ１０２）。図８に示すように、画像データのヘッダにＧＰＳ情報が記述されている場合には、ＣＰＵ１１１は、ＧＰＳ情報を用いて画像データ撮影位置情報を取得する。Ｅｘｉｆフォーマットに従う画像データのヘッダには、ＧＰＳ情報として、緯度、経度、撮影方向の情報を記述するためのＧＰＳタグが規定の位置に用意されており、ＣＰＵ１１１は、画像データのヘッダからＧＰＳタグを検索した場合には、画像データから直接、緯度、経度を撮影位置情報として取得することができる。
【００６８】
一方、画像データのヘッダにＧＰＳタグが記述されていない場合には、ＣＰＵ１１１は、画像データを取得したＷｅｂページデータから撮影位置情報を抽出する。一般的に、画像データを含むＷｅｂページデータには、画像データを説明するための説明文が含まれており、また、画像データを表示するためのＨＴＭＬタグにはマウスオーバした場合に、画像データの内容をテキストで表示するための記述が含まれている。したがって、例えば、Ｗｅｂページデータから撮影地名が得られる場合には、予め用意された撮影地名−緯度、経度の対応テーブルから、得られた撮影地名に対応する緯度、経度を取得することによって撮影位置情報が得られる。なお、Ｗｅｂページデータの説明文から、単語を抽出する具体的な処理については、キーワード取得処理において説明する。
【００６９】
ＣＰＵ１１１は、取得した画像データから特徴量を取得する（ステップＳ１０４）。特徴量を取得する前に、ＣＰＵ１１１は、取得した画像データをＲＧＢデータに変換する。一般的に、Ｗｅｂページデータ上において用いられる画像データはjpegフォーマットのデータであることが多く、この場合には、ＹｃｂＣｒからＲＧＢデータへの色変換処理が実行される。特徴量の取得としては種々の手法が知られている。例えば、Ｒ、Ｇ、Ｂ各成分のヒストグラムを用いる手法、最大・最小輝度値および平均輝度値を用いる手法が知られている。本実施例では、ＭＰＥＧ−７において採用されている、色配置（Color Layout）の手法を用いて特徴量を抽出する。
【００７０】
色配置の手法では、ＣＰＵ１１１は、画像データを８×８の小ブロックに分割し、各小ブロックを構成する画素データの値（Ｒ、Ｇ、Ｂ）の平均値（Ｒave、Ｇave、Ｂave）を各小ブロックの代表値（Ｒrep、Ｇrep、Ｂrep）として用いる。ＣＰＵ１１１は求めた代表値を用いて８×８の画素データから構成される縮小画素データを作成する。ＣＰＵ１１１は、作成した縮小画像データ（ＲＧＢデータ）をＹＣｂＣｒデータに変換し、更に、Ｙ、Ｃｂ、Ｃｒの各成分について離散コサイン変換（ＤＣＴ）を行う。ＤＣＴによって、画像データは周波数成分に変換される。なお、離散コサイン変換は当業者において周知な変換処理であるから詳細な説明は省略する。
【００７１】
例えば、図９に示すように、Ｙ、Ｃｂ、Ｃｒの各成分について８×８の係数値が算出される。すなわち、
Ｙｃ[8][8]＝{yc00, yc01, yc02...yc76,yc77}
Ｃｂｃ[8][8]＝{cbc00, cbc01, cbc02...cbc76,cbc77}
Ｃｒｃ[8][8]＝{crc00, crc01, crc02...crc76,crc77}
となり、画像データ（画像）との位置関係は、例えば図９に示すとおりとなる。図９に示すように、係数値が大きくなるにつれて周波数は高くなる。
【００７２】
ＣＰＵ１１１は、画像データを取得したＷｅｂページデータからキーワードを抽出する（ステップＳ１０６）。すなわち、画像データが貼り付けられていたＨＴＭＬ文書からキーワードが抽出される。キーワードの抽出は、画像データを取得したＷｅｂページデータにおけるＨＴＭＬ文書からを形態素解析によって形態素（品詞）に分割し、複合名詞、単名詞に該当する単語をキーワードとして抽出する。形態素解析の手法は種々提案されており、本実施例では、いずれかの手法を利用してキーワードを抽出する。あるいは、例えば、図７に示すＨＴＭＬタグを有するＷｅｂページデータでは、ＨＴＭＬタグに記述されている単語からキーワードを抽出しても良い。
【００７３】
また、ＨＴＭＬタグの内、以下のタグによって記述されている単語には重み付けしても良い。あるいは、重み付け係数を大きくしても良い。
画像表示タグ <IMG SRC = " " ALT = " ">
ページタイトル <TITLE>
キーワード <META name = "keyword" content = " ">
内容説明 <META name = "description" content = " ">
見出しタグ <H1>
【００７４】
図７の例では、画像表示タグに「奈良公園」と、ページタイトルタグに「奈良」および「奈良公園」と、キーワードタグに「奈良公園」と、内容説明タグに「東大寺」と、見出しタグに「奈良公園」と記述されている。これらタグに記述されている単語には重み付けがなされる。重み付けに当たっては、例えば、見出しタグ、内容説明タグ、キーワードタグ、ページタイトルタグ、画像表示タグの順に重み付け係数を大きくしても良い。さらに、画像表示タグの近くに配置されているキーワードに対して大きな重み付け係数を付しても良い。すなわち、Ｗｅｂページデータにおける単語の配置位置に応じて重み付け係数を変えても良い。
【００７５】
ＣＰＵ１１１は、取得した撮影位置情報、特徴量およびキーワードを画像データに関連づけて画像データベースに登録して（ステップＳ１０８）本処理ルーチンを終了する。以上の各ステップは、画像データをＷｅｂページデータから取得する度に実行される。画像データの取得は、逐次実行されてもよく、所定数の画像データを取得したところで終了されても良い。また、画像データベースには、取得した撮影位置情報、特徴量およびキーワードが関連づけられて格納されていても良い。すなわち、画像データを介して、撮影位置情報、特徴量およびキーワードが関連付けられている画像データベースであっても良い。
【００７６】
画像データベースへの登録に当たって、キーワードについては、重み付け係数が所定のしきい値を超えたキーワードのみを画像データベースに登録する。例えば、図１０に示す画像データベースが得られる。すなわち、画像データ（ファイル名）に対して、撮影位置情報、画像の特徴量、キーワード（重み付け係数）が関連づけられている。なお、既述のように、画像データは撮影位置情報、特徴量およびキーワードを関連付けるための指標として用いられるだけでも良い。かかる場合には画像データの実データはデータベースに格納されず、例えば、画像データの実データ（Ｗｅｂページデータ）を格納するＷＷＷサーバへのリンク情報のみが格納されていてもよく、あるいは、画像データの実データの格納場所に関する情報は格納されなくても良い。
【００７７】
以上説明した本実施例にかかる画像データベース構築装置１０によれば、ＷＷＷサーバから画像データが取得され、取得された画像データに対して撮影位置情報、特徴量およびキーワードが関連づけられた画像データベースを作成することができる。したがって、画像データに基づいて画像データに関する情報（キーワード）を検索することができる画像データベースを容易に作成することができる。すなわち、ユーザは画像データを取得し、画像データに対して関連づけるために、キーボード等の入力操作部を介して撮影位置情報、特徴量およびキーワードを入力することなく、画像データベースを作成することができる。
【００７８】
また、ＷＷＷサーバから画像データを取得するので、数多くの画像データを取得することが可能となり、画像データベースの信頼度を向上させることができる。すなわち、数多くの画像データを取得することによって、多様な画像データを取り込むことが可能となり、キーワードの検索が望まれる画像データに対して、より正確なキーワードを抽出することができる画像データベースを作成することができる。
【００７９】
さらに、撮影位置情報の取得に当たっては画像データのヘッダ部に記述されているＧＰＳ情報またはＷｅｂページデータから抽出された撮影位置情報が取得されるので、的確な撮影位置情報を取得することができる。また、キーワードの取得に当たっては、Ｗｅｂデータに含まれている単語が用いられると共に、ＨＴＭＬタグの種類、単語の記述位置に応じてキーワードに対して重み付け係数が付されるので、より的確なキーワードの取得、順に付けができる。
【００８０】
また、本実施例にかかる画像データベース構築装置１０には、撮影位置情報、特徴量およびキーワードと画像データとが関連付けられて格納されているので、画像データが格納されているサーバの消滅、リンク切れの影響を受けることなく、容易且つ確実に、撮影位置情報、特徴量およびキーワードに関連付けられている画像データを利用することができる。
【００８１】
さらにまた、画像データベースには、各画像データの特徴量が登録されるので、キーワードの検索が望まれる画像データに対して、より的確な画像データを検索することが可能となり、この結果、適切なキーワードを提供することができる。
【００８２】
画像データベースの精度を上げるために、以下の処理を実行しても良い。
（１）画像データからオブジェクト抽出を行い、抽出したオブジェクト毎に特徴量を取得し、オブジェクト単位で画像データベースを作成する。
画像データからのオブジェクトの抽出は、例えば、画像データ（画像）におけるオブジェクトの位置、オブジェクトの外形、オブジェクトの色彩値、オブジェクトの周波数成分に基づいて実行される。また、画像データに含まれる全てのオブジェクトを対象とせず、主たるオブジェクト（主オブジェクト）のみを抽出し、主オブジェクトについて特徴量を取得しても良い。かかる場合には、画像データのクラス分けが明確になると共に、画像データに適したキーワードの検索精度を向上させることができる。
【００８３】
（２）上記処理によって作成された画像データベースに対して、ユーザの操作によって、参照画像データとして不適切な画像データの削除、不適切なキーワードの削除、適切なキーワードの追加が実行されても良い。ユーザによるキーワードの整理を許すことによって、画像データベースの特徴を出すことが可能になると共に、キーワードの適切化によって、画像データに適したキーワードの検索精度を向上させることができる。
【００８４】
さらに、画像データベースにおける検索速度を向上させるために、画像データのクラスタリングを行っても良い。クラスタリングに当たっては、撮影位置情報の近い画像データを集め、画像特徴量の類似度、キーワードの内容によって画像データをグループ化し、各グループ毎に撮影位置情報、画像特徴量、キーワードの代表値を求め、各グループと各代表値とを関連づけてデータベース化する。代表値としては、例えば、各グループ内の撮影位置情報、画像特徴量の平均値を取り、キーワードについては重み付け係数を積算して上位のキーワードを用いるようにすれば良い。クラスタリングを行うことによって、いたずらに詳細な条件検索を実行する必要がなくなり、キーワードの検索速度を向上させることができる。
【００８５】
画像特徴量の類似度は、比較対象となる２つの画像データの特徴量の距離を用いて求められる。例えば、ユークリッド距離を用いる場合には、以下の式によって距離Ｄ（類似度あるいは非類似度）が算出される。
【００８６】
【数１】
【００８７】
なお、Ｙｃｐ、Ｙｃｂｐ、Ｙｃｒｐは画像データＰの特徴量係数、Ｙｃｑ、Ｙｃｂｑ、Ｙｃｒｑは画像データＱの特徴量係数を示し、本実施例の例では、変数ｉ，ｊについて共にｎ＝７となる。
【００８８】
画像データ管理処理：
図１１および図１２を参照して本実施例に係る画像データ管理処理について説明する。図１１は本実施例における画像データ管理処理において実行される処理ルーチンを示すフローチャートである。図１２は特定画像データに対して検索されたキーワードの表示例を示す説明図である。本実施例における画像データの管理処理では、特定された画像データに適するキーワードを抽出する処理である。
【００８９】
ＣＰＵ３１１は、ユーザによって選択された画像データをキーワードの検索対象となる特定画像データとして特定する（ステップＳ２００）。あるいは、ＣＰＵ３１１は、ディジタルスチルカメラから供給された複数の画像データを順次特定画像データとして特定しても良い。ディジタルスチルカメラからの画像データの供給形態は、接続ケーブルを介した態様、あるいは、メモリカードによる態様のいずれであっても良い。
【００９０】
ＣＰＵ３１１は、特定された画像データから撮影位置情報を取得する（ステップＳ２０２）。画像データのヘッダ部には既述の通りＧＰＳ情報が記述されており、ＣＰＵ３１１は、このＧＰＳ情報から撮影位置情報として緯度、経度情報を取得する。
【００９１】
ＣＰＵ３１１は、特定された画像データから特徴量を抽出する（ステップＳ２０４）。特徴量は、既述のいずれかの手法によって抽出可能であるが、本実施例では、色配置の手法によって特徴量が取得される。
【００９２】
ＣＰＵ３１１は、画像データベースにアクセスして、特定画像データの撮影位置情報に近い撮影位置情報を有する画像データ（検索画像データ）を検索し、取得する（ステップＳ２０６）。具体的には、特定画像データの撮影位置情報（緯度、経度）の所定範囲内の撮影位置情報（緯度、経度）が関連づけられている検索画像データを取得する。この結果、特定画像データの撮影位置情報に一致または類似する撮影位置情報を有する検索画像データが取得される。
【００９３】
ＣＰＵ３１１は、検索画像データの中から、特定画像データの特徴量と一致または類似する特徴量を有する画像データを取得する（ステップＳ２０８）。具体的には、記述の式１を用いて特定画像データの特徴量に対する検索画像データの特徴量の類似度を算出し、類似度が上位の（距離Ｄが小さい上位の）画像データを取得する。
【００９４】
ＣＰＵ３１１は、取得された画像データに関連づけられているキーワードを取得し、画像表示装置３５にリスト形式で表示し（ステップＳ２１０）、本処理ルーチンを終了する。検索画像データの中から、特定画像データの特徴量と一致または類似する特徴量を有する画像データを取得する（ステップＳ２０８）。複数のキーワードが取得される場合には、ＣＰＵ３１１は、先に算出した類似度に基づく重み付け係数を算出し、予めキーワードに付されている重み付け係数に積算または加算して、図１２に示すように、キーワードの順位付けを行いリスト形式にて表示する。
【００９５】
以上説明した本実施例にかかる画像データ管理装置３０によれば、画像データベースを利用して特定画像データに関連づけるべきキーワードを簡便に取得することができると共に、特定画像データに対して適切なキーワードを取得することができる。この結果、画像データに対して自動的に、キーワードをコメントとして挿入することが可能となり、画像データを知人に渡す場合において、ユーザ自身でコメントを挿入する必要がなく、利便性を向上させることができる。画像データに対するキーワードの挿入は、キーワードを画像データのヘッダ部に記述することにより、あるいは、画像データとキーワードとを関連づける別のデータを作成することによって実現される。
【００９６】
さらに、被写体の名称がわからない画像データを特定画像データとすることによって、被写体の名称あるいは被写体に関わるキーワードを取得することができる。すなわち、画像データをベースにして、画像データに関わる情報を検索することができる。
【００９７】
特定画像データに対する検索画像データの絞り込みにおいては、例えば、特定画像データから主オブジェクトを抽出し、主オブジェクトの特徴量を抽出し、主オブジェクトの特徴量を用いて検索画像データを取得しても良い。この場合、画像データベースにも主オブジェクトの特徴量が登録されていることが好ましい。
【００９８】
・その他の実施例：
上記実施例では、撮影位置情報、特徴量およびキーワードと画像データとが画像データベースに格納されているが、撮影位置情報、特徴量およびキーワードのみを画像データベースに格納しても良い。かかる場合には、画像データベースの容量を削減することができる。また、画像データベースに画像データが格納されていない場合であっても、撮影位置情報、特徴量およびキーワードが関連付けられているので、検索対象となる画像データの撮影位置情報および特徴量を用いることによって、検索対象の画像データに適したキーワードを取得することができる。したがって、第１の実施例において述べたのと同様の利点を得ることができる。
【００９９】
上記実施例では、撮影位置情報、特徴量およびキーワードが画像データと関連付けられて画像データベースに格納されているが、撮影位置情報とキーワードのみが画像データに関連付けられていても良い。かかる場合には、キーワードの検索精度は低下するものの、撮影位置情報に基づいて、画像データに適するキーワードを取得することができる。
【０１００】
上記実施例では、画像データベース構築処理、画像データ管理処理がソフトウェア的に、すなわちコンピュータプログラムの態様にて実行されているが、上記各処理（ステップ）を実行する論理回路を備えたハードウェア回路を用いて実行されてもよい。かかる場合には、ＣＰＵ１１１、３１１の負荷を軽減することができると共に、より高速な各処理を実現することができる。ハードウェア回路は、例えば、パーソナルコンピュータに対するアドオンカードとして実装され得る。
【０１０１】
以上、いくつかの実施例に基づき本発明に係る画像データベース構築装置、画像データ管理装置、画像データベース構築方法（プログラム）、画像データ管理方法（プログラム）を説明してきたが、上記した発明の実施の形態は、本発明の理解を容易にするためのものであり、本発明を限定するものではない。本発明は、その趣旨並びに特許請求の範囲を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物が含まれることはもちろんである。
【符号の説明】
【０１０２】
１０…画像データベース構築装置
１１…制御回路
１１１…中央演算装置（ＣＰＵ）
１１２…ランダムアクセスメモリ（ＲＡＭ）
１１３…リードオンリメモリ（ＲＯＭ）／ハードディスクドライブ（ＨＤＤ）
１２…入力操作部
１３…データ入出力部
１５…表示器
２０…画像データサーバ
３０…画像データ管理装置
３１…制御回路
３１１…中央演算装置（ＣＰＵ）
３１２…ランダムアクセスメモリ（ＲＡＭ）
３１３…リードオンリメモリ（ＲＯＭ）／ハードディスクドライブ（ＨＤＤ）
３２…入力操作部
３３…データ入出力部
３５…表示器
Ｐ１…画像データベース構築プログラム
Ｐ２…画像データ管理プログラム
Ｍ１…画像データ取得モジュール
Ｍ２…撮影位置情報取得モジュール
Ｍ３…キーワード取得モジュール
Ｍ４…特徴量取得モジュール
Ｍ５…格納実行モジュール
Ｍ６…オブジェクト分離モジュール
Ｍ７…重み付けモジュール
Ｍ２１…画像データ特定モジュール
Ｍ２２…撮影位置情報取得モジュール
Ｍ２３…特徴量取得モジュール
Ｍ２４…キーワード取得モジュール
Ｍ２４１…検索画像データ取得モジュール
Ｍ２４２…類似度算出モジュール
Ｍ２４３…重み付けモジュール
Ｍ２４４…キーワード選択モジュール
Ｍ２５…対応付けモジュール
Ｍ２６…主オブジェクト抽出モジュール
【特許請求の範囲】
【請求項１】
画像データベースを構築するデータベース構築装置であって、
任意の画像データを取得する画像データ取得手段と、
前記取得された画像データに関連する撮影位置情報を取得する撮影位置情報取得手段と、
前記取得された画像データの特徴量を取得する特徴量取得手段を備え、
前記取得された画像データに関連するキーワードを取得するキーワード取得手段と、
前記取得された撮影位置情報、特徴量およびキーワードを関連付けて記憶装置に格納する格納実行手段とを備えるデータベース構築装置。
【請求項２】
請求項１に記載のデータベース構築装置において、
前記格納実行手段はさらに、前記撮影位置情報、特徴量およびキーワードを前記画像データに関連付けて前記記憶装置に格納するデータベース構築装置。
【請求項３】
請求項１に記載のデータベース構築装置において
前記画像データの取得は、画像データが関連付けられているＷｅｂページデータから画像データを取得することにより実行されるデータベース構築装置。
【請求項４】
請求項３に記載のデータベース構築装置において、
前記キーワードの取得は、前記取得された画像データが関連付けられているＷｅｂページデータからキーワードを抽出することによって実行されるデータベース構築装置。
【請求項５】
請求項１に記載のデータベース構築装置において
前記画像データには撮影位置情報が付帯されており、
前記撮影位置情報の取得は、前記位置情報を用いて実行されるデータベース構築装置。
【請求項６】
請求項３に記載のデータベース構築装置において、
前記撮影位置情報の取得は、前記取得された画像データが関連付けられているＷｅｂページデータから撮影位置情報を抽出することによって実行されるデータベース構築装置。
【請求項７】
請求項２に記載のデータベース構築装置はさらに、
前記取得した画像データに対してオブジェクト分離処理を実行するオブジェクト分離手段を備え、
前記格納実行手段は、前記分離されたオブジェクト毎に前記記憶装置に対する前記画像データの格納を実行するデータベース構築装置。
【請求項８】
請求項４に記載のデータベース構築装置において、
前記キーワード取得手段は複数のキーワードを取得し、
前記データベース構築装置はさらに、
前記取得された各キーワードに対して重み付け係数を付与する重み付け手段を備えるデータベース構築装置。
【請求項９】
請求項８に記載のデータベース構築装置において、
前記重み付け係数は、前記Ｗｅｂページデータにおける前記各キーワードの記述位置、記述用タグの種類によって決定されるデータベース構築装置。
【請求項１０】
各画像データに対して撮影位置情報とキーワードとが関連付けられて格納されている画像データベースを利用する画像データ管理装置であって、
処理対象となる画像データを特定するための画像データ特定手段と、
前記特定された画像データに関連する撮影位置情報を取得する撮影位置情報取得手段と、
前記取得された撮影位置情報を用いて、前記画像データベースからキーワードを取得するキーワード取得手段と、
前記取得されたキーワードと前記特定された画像データとを対応付ける対応付け手段とを備える画像データ管理装置。
【請求項１１】
請求項１０に記載の画像データ管理装置はさらに、
前記特定された画像データの特徴量を取得する特徴量取得手段を備え、
前記画像データベースにおける各画像データには前記撮影位置情報およびキーワードに加えて画像データの特徴量が関連付けられており、
前記キーワード取得手段は、前記撮影位置情報に加えて、前記特徴量を用いて前記キーワードを取得する画像データ管理装置。
【請求項１２】
請求項１１に記載の画像データ管理装置において、
前記キーワードの取得は、前記特定された画像データの撮影位置および特徴量と同一または類似する撮影位置および特徴量が関連付けられている複数の画像データからそれぞれキーワードを抽出することによって実行される画像データ管理装置。
【請求項１３】
請求項１１に記載の画像データ管理装置において、
前記キーワード取得手段は、
前記特定された画像データの撮影位置および特徴量と同一または類似する撮影位置お よび特徴量が関連付けられている複数の検索画像データを取得する検索画像データ取得 手段と、
前記特定された画像データの撮影位置および特徴量と、各前記検索画像データの撮影 位置および特徴量を用いて、前記特定された画像データに対する前記検索画像データの 類似度を算出する類似度算出手段と、
前記算出された類似度に応じて、前記複数の検索画像データに関連付けられている各 キーワードに対して重み付けを行う重み付け手段と、
前記重み付けられたキーワードの中から重み付けの大きなキーワードを、前記特定さ れた画像データに対応付けるべきキーワードとして選択するキーワード選択手段とを備 える
画像データ管理装置。
【請求項１４】
請求項１２に記載の画像データ管理装置はさらに、
前記特定された画像データから主たるオブジェクトを抽出する主オブジェクト抽出手段を備え、
前記画像データベースにおける各画像データに関連付けられている特徴量は各画像データにおける主オブジェクトの特徴量であり、
前記キーワード取得手段は、前記抽出された主オブジェクトの特徴量を用いて前記画像データベースからキーワードを取得する画像データ管理装置。
【請求項１５】
画像データベースを構築するデータベース構築方法であって、
Ｗｅｂページデータから任意の画像データを取得し、
前記取得された画像データに関連する撮影位置情報を取得し、
前記取得された画像データの特徴量を取得し、
前記取得された画像データに関連するキーワードを取得し、
前記取得された撮影位置情報、特徴量およびキーワードを関連付けて記憶装置に格納するデータベース構築方法。
【請求項１６】
各画像データに対して撮影位置情報とキーワードとが関連付けられて格納されている画像データベースを利用する画像データ管理方法であって、
処理対象となる画像データを特定し、
前記特定された画像データに関連する撮影位置情報を取得し、
前記取得された撮影位置情報を用いて、前記画像データベースからキーワードを取得し、
前記取得されたキーワードと前記特定された画像データとを対応付けて記憶装置に保存する画像データ管理方法。
【請求項１】
画像データベースを構築するデータベース構築装置であって、
任意の画像データを取得する画像データ取得手段と、
前記取得された画像データに関連する撮影位置情報を取得する撮影位置情報取得手段と、
前記取得された画像データの特徴量を取得する特徴量取得手段を備え、
前記取得された画像データに関連するキーワードを取得するキーワード取得手段と、
前記取得された撮影位置情報、特徴量およびキーワードを関連付けて記憶装置に格納する格納実行手段とを備えるデータベース構築装置。
【請求項２】
請求項１に記載のデータベース構築装置において、
前記格納実行手段はさらに、前記撮影位置情報、特徴量およびキーワードを前記画像データに関連付けて前記記憶装置に格納するデータベース構築装置。
【請求項３】
請求項１に記載のデータベース構築装置において
前記画像データの取得は、画像データが関連付けられているＷｅｂページデータから画像データを取得することにより実行されるデータベース構築装置。
【請求項４】
請求項３に記載のデータベース構築装置において、
前記キーワードの取得は、前記取得された画像データが関連付けられているＷｅｂページデータからキーワードを抽出することによって実行されるデータベース構築装置。
【請求項５】
請求項１に記載のデータベース構築装置において
前記画像データには撮影位置情報が付帯されており、
前記撮影位置情報の取得は、前記位置情報を用いて実行されるデータベース構築装置。
【請求項６】
請求項３に記載のデータベース構築装置において、
前記撮影位置情報の取得は、前記取得された画像データが関連付けられているＷｅｂページデータから撮影位置情報を抽出することによって実行されるデータベース構築装置。
【請求項７】
請求項２に記載のデータベース構築装置はさらに、
前記取得した画像データに対してオブジェクト分離処理を実行するオブジェクト分離手段を備え、
前記格納実行手段は、前記分離されたオブジェクト毎に前記記憶装置に対する前記画像データの格納を実行するデータベース構築装置。
【請求項８】
請求項４に記載のデータベース構築装置において、
前記キーワード取得手段は複数のキーワードを取得し、
前記データベース構築装置はさらに、
前記取得された各キーワードに対して重み付け係数を付与する重み付け手段を備えるデータベース構築装置。
【請求項９】
請求項８に記載のデータベース構築装置において、
前記重み付け係数は、前記Ｗｅｂページデータにおける前記各キーワードの記述位置、記述用タグの種類によって決定されるデータベース構築装置。
【請求項１０】
各画像データに対して撮影位置情報とキーワードとが関連付けられて格納されている画像データベースを利用する画像データ管理装置であって、
処理対象となる画像データを特定するための画像データ特定手段と、
前記特定された画像データに関連する撮影位置情報を取得する撮影位置情報取得手段と、
前記取得された撮影位置情報を用いて、前記画像データベースからキーワードを取得するキーワード取得手段と、
前記取得されたキーワードと前記特定された画像データとを対応付ける対応付け手段とを備える画像データ管理装置。
【請求項１１】
請求項１０に記載の画像データ管理装置はさらに、
前記特定された画像データの特徴量を取得する特徴量取得手段を備え、
前記画像データベースにおける各画像データには前記撮影位置情報およびキーワードに加えて画像データの特徴量が関連付けられており、
前記キーワード取得手段は、前記撮影位置情報に加えて、前記特徴量を用いて前記キーワードを取得する画像データ管理装置。
【請求項１２】
請求項１１に記載の画像データ管理装置において、
前記キーワードの取得は、前記特定された画像データの撮影位置および特徴量と同一または類似する撮影位置および特徴量が関連付けられている複数の画像データからそれぞれキーワードを抽出することによって実行される画像データ管理装置。
【請求項１３】
請求項１１に記載の画像データ管理装置において、
前記キーワード取得手段は、
前記特定された画像データの撮影位置および特徴量と同一または類似する撮影位置お よび特徴量が関連付けられている複数の検索画像データを取得する検索画像データ取得 手段と、
前記特定された画像データの撮影位置および特徴量と、各前記検索画像データの撮影 位置および特徴量を用いて、前記特定された画像データに対する前記検索画像データの 類似度を算出する類似度算出手段と、
前記算出された類似度に応じて、前記複数の検索画像データに関連付けられている各 キーワードに対して重み付けを行う重み付け手段と、
前記重み付けられたキーワードの中から重み付けの大きなキーワードを、前記特定さ れた画像データに対応付けるべきキーワードとして選択するキーワード選択手段とを備 える
画像データ管理装置。
【請求項１４】
請求項１２に記載の画像データ管理装置はさらに、
前記特定された画像データから主たるオブジェクトを抽出する主オブジェクト抽出手段を備え、
前記画像データベースにおける各画像データに関連付けられている特徴量は各画像データにおける主オブジェクトの特徴量であり、
前記キーワード取得手段は、前記抽出された主オブジェクトの特徴量を用いて前記画像データベースからキーワードを取得する画像データ管理装置。
【請求項１５】
画像データベースを構築するデータベース構築方法であって、
Ｗｅｂページデータから任意の画像データを取得し、
前記取得された画像データに関連する撮影位置情報を取得し、
前記取得された画像データの特徴量を取得し、
前記取得された画像データに関連するキーワードを取得し、
前記取得された撮影位置情報、特徴量およびキーワードを関連付けて記憶装置に格納するデータベース構築方法。
【請求項１６】
各画像データに対して撮影位置情報とキーワードとが関連付けられて格納されている画像データベースを利用する画像データ管理方法であって、
処理対象となる画像データを特定し、
前記特定された画像データに関連する撮影位置情報を取得し、
前記取得された撮影位置情報を用いて、前記画像データベースからキーワードを取得し、
前記取得されたキーワードと前記特定された画像データとを対応付けて記憶装置に保存する画像データ管理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１０−１３４９５２（Ｐ２０１０−１３４９５２Ａ）
【公開日】平成２２年６月１７日（２０１０．６．１７）
【国際特許分類】
【出願番号】特願２０１０−１０１３２（Ｐ２０１０−１０１３２）
【出願日】平成２２年１月２０日（２０１０．１．２０）
【分割の表示】特願２００５−９３５０７（Ｐ２００５−９３５０７）の分割
【原出願日】平成１７年３月２９日（２００５．３．２９）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
【公開日】平成２２年６月１７日（２０１０．６．１７）
【国際特許分類】
【出願日】平成２２年１月２０日（２０１０．１．２０）
【分割の表示】特願２００５−９３５０７（Ｐ２００５−９３５０７）の分割
【原出願日】平成１７年３月２９日（２００５．３．２９）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
[ Back to top ]