画像認識装置
【課題】 適切な画像認識を行なう画像認識装置を提供する。
【解決手段】 複数の対象画像データ毎に、画像特徴量、キーワード、位置情報、キーワードが付与された物体が特定場所に固有のものである度合を示す位置情報関連度を関連付け、データベースとして記憶する記憶手段と、画像データを取得画像データとして入力し、位置情報を抽出する画像データ入力手段と、取得画像データの画像特徴量を抽出する画像特徴量抽出手段と、データベースの位置情報関連度と、取得画像データの位置情報および対象画像データの位置情報から求めた撮影位置の隔たりとを用いて、対象画像データを処理対象から除外するか否かを判断する除外判断手段と、処理対象にする場合、取得画像データの画像特徴量と対象画像データの画像特徴量とを比較し条件を満たすキーワードをデータベースから抽出するキーワード抽出手段とを備える。
【解決手段】 複数の対象画像データ毎に、画像特徴量、キーワード、位置情報、キーワードが付与された物体が特定場所に固有のものである度合を示す位置情報関連度を関連付け、データベースとして記憶する記憶手段と、画像データを取得画像データとして入力し、位置情報を抽出する画像データ入力手段と、取得画像データの画像特徴量を抽出する画像特徴量抽出手段と、データベースの位置情報関連度と、取得画像データの位置情報および対象画像データの位置情報から求めた撮影位置の隔たりとを用いて、対象画像データを処理対象から除外するか否かを判断する除外判断手段と、処理対象にする場合、取得画像データの画像特徴量と対象画像データの画像特徴量とを比較し条件を満たすキーワードをデータベースから抽出するキーワード抽出手段とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データの内容を認識する技術に関する。
【背景技術】
【０００２】
従来から、テキスト形式のキーワードを入力してＷｅｂページを検索するシステムが広く実用化されている。かかるシステムでは、適切なキーワードを入力することで、所望のＷｅｂページを検索することができる。こうしたキーワードによる検索手法に対して、任意の画像から種々の情報を検索する技術がある。例えば、下記特許文献１には、撮影画像の情報とその画像の撮影場所名とを関連付けて記憶したデータベースを用意し、任意の画像データを入力すると、データベースから類似画像データを検索し、検索された類似画像データに関連付けられた撮影場所名を抽出する技術が開示されている。
【０００３】
【特許文献１】特開２００２−３７３１６８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、かかるデータベースを用いた技術では、画像データの撮影場所名の情報は抽出できるものの、撮影場所名以外の情報、例えば、被写体の名称などについては取得することができなかった。そのため、画像データの内容を表わす適切なキーワードを抽出して、画像認識を行なうことが困難であった。
【０００５】
本発明は、適切な画像認識が難しいといった問題を踏まえ、適切な画像認識を行なう画像認識装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の第１の画像認識装置は、上記課題に鑑み、以下の手法を採った。すなわち、撮影位置の情報を備えた一の画像データの画像内容を表わすキーワードを、所定の検索対象から抽出する処理を実行し、画像内容を認識する画像認識装置であって、前記検索対象となる複数の対象画像データ毎に、画像特徴量と、画像内容を表わすキーワードと、該画像特徴量を備えた画像が撮影される位置情報と、該キーワードが付与された物体が特定場所に固有のものである度合を示す位置情報関連度とを関連付けし、データベースとして記憶する記憶手段と、前記一の画像データを取得画像データとして入力し、該取得画像データが撮影される位置情報を抽出する画像データ入力手段と、前記取得画像データに備わった画像特徴量を抽出する画像特徴量抽出手段と、前記データベースに記憶された前記対象画像データの位置情報関連度と、前記取得画像データの位置情報および該対象画像データの位置情報から求めた撮影位置の隔たりとを用いて、当該対象画像データを前記キーワードの抽出処理の処理対象から除外するか否かを判断する除外判断手段と、前記処理対象にすると判断した場合に、前記取得画像データの画像特徴量と前記対象画像データの画像特徴量とを比較して、所定条件を満たす該対象画像データのキーワードを、前記データベースから抽出するキーワード抽出手段とを備えたことを要旨としている。
【０００７】
また、本発明の第１の画像認識装置に対応する画像認識方法は、撮影位置の情報を備えた一の画像データの画像内容を表わすキーワードを、所定の検索対象から抽出する処理を実行し、画像内容を認識する画像認識方法であって、前記検索対象となる複数の対象画像データ毎に、画像特徴量と、画像内容を表わすキーワードと、該画像特徴量を備えた画像が撮影される位置情報と、該キーワードが付与された物体が特定場所に固有のものである度合を示す位置情報関連度とを関連付けして、データベースとして記憶し、前記一の画像データを取得画像データとして入力し、該取得画像データが撮影される位置情報を抽出し、前記取得画像データに備わった画像特徴量を抽出し、前記データベースに記憶された前記対象画像データの位置情報関連度と、前記取得画像データの位置情報および該対象画像データの位置情報から求めた撮影位置の隔たりとを用いて、当該対象画像データを前記キーワードの抽出処理の処理対象から除外するか否かを判断し、前記処理対象にすると判断した場合に、前記取得画像データの画像特徴量と前記対象画像データの画像特徴量とを比較して、所定条件を満たす該対象画像データのキーワードを、前記データベースから抽出することを要旨としている。
【０００８】
本発明の第１の画像認識装置およびその画像認識方法によれば、画像特徴量、画像内容を表わすキーワード、位置情報、位置情報関連度を、対象画像データ毎に関連付けして記憶したデータベースを用意し、そのデータベースを検索して、一の取得画像データの画像特徴量から取得画像データの画像内容を示すキーワードを抽出する。したがって、取得画像データの画像内容を表わす適切なキーワードをデータベースから抽出することができる。
【０００９】
また、キーワード抽出の際、位置情報関連度と撮影位置の隔たりとを用いて、対象画像データをキーワードの抽出処理の処理対象から除外するか否かを判断する。つまり、データベースの検索対象を絞り込む。したがって、検索対象を減らし、迅速な処理を行なうことができる。
【００１０】
上記の構成を有する画像認識装置の位置情報関連度は、Ａ）前記対象画像データ内のキーワードが付与された物体が、特定場所に固有のものであるタイプＡと、Ｂ）前記対象画像データ内のキーワードが付与された物体が、特定場所に存在する程度が高く、かつ、存在する場所が限られるものであるタイプＢと、Ｃ）前記対象画像データ内のキーワードが付与された物体が、特定場所に固有のものではないタイプＣとの３つのタイプに応じて分類して設定され、前記除外判断手段は、前記対象画像データの位置情報関連度が前記タイプＡであり、かつ、前記撮影位置の隔たりが所定量以上である場合に、当該対象画像データを前記処理対象から除外すると判断するものとしても良い。
【００１１】
かかる画像認識装置によれば、データベースを検索する際に、位置情報関連度がタイプＡであり、撮影位置の隔たりが所定量以上である対象画像データを処理対象から除外する。こうした対象画像データは、特定場所に固有のものであるため、撮影場所が近いと判断されない限り、取得画像データの画像内容がこの対象画像データの画像内容と同一もしくは類似するものである可能性は著しく低い。こうした対象画像データを処理対象から除外することで、迅速な処理を行なうことができると共に、適切なキーワードを抽出できる精度（認識精度）を向上することができる。
【００１２】
上記の構成を有する画像認識装置において、更に、前記記憶手段は、前記対象画像データ内のキーワードが付与された物体を撮影することができる地理的な範囲を示す領域レンジを、該対象画像データ毎に関連付けし、前記データベースとして記憶しており、前記除外判断手段は、前記取得画像データの位置情報が、前記データベースに記憶された前記対象画像データの領域レンジ内に入らない場合に、前記撮影位置の隔たりが所定以上であると判断するものとしても良い。
【００１３】
かかる画像認識装置によれば、データベースに領域レンジを備え、その領域レンジを基準に撮影位置が離れているか否かを判断する。したがって、判断を容易に行なうことができる。
【００１４】
上記の構成を有する画像認識装置のキーワード抽出手段は、前記取得画像データの画像特徴量と前記対象画像データの画像特徴量とから、該取得画像データと該対象画像データとの類似または非類似の程度を示す信頼性係数を算出する信頼性係数算出部と、前記算出された信頼性係数に基づいて前記対象画像データのキーワードを抽出する抽出部とからなるものとしても良い。
【００１５】
かかる画像認識装置によれば、対象画像データ毎の信頼性係数を比較することで、キーワードの抽出を容易なものとすることができる。
【００１６】
上記の構成を有する画像認識装置において、更に、前記キーワード抽出手段は、前記画像特徴量を用いて算出された信頼性係数に、前記位置情報関連度を加味して該信頼性係数の補正を行なう補正部を備え、前記抽出部は、前記補正された信頼性係数に基づいて前記キーワードを抽出するものとしても良い。
【００１７】
かかる画像認識装置によれば、補正された信頼性係数は、画像特徴量と位置情報関連度とを考慮した係数となり、この信頼性係数に基づいてキーワードを抽出する。複数の情報を基準に、取得画像データと対象画像データとの類似具合を判断するため、適切なキーワードの抽出を容易なものとすることができる。
【００１８】
上記の構成を有する画像認識装置の抽出部は、前記検索対象となる対象画像データ毎に求めた補正後の信頼性係数の中、該信頼性係数の最も高い該対象画像データのキーワードを抽出するものとしても良い。
【００１９】
かかる画像認識装置によれば、補正した信頼性係数を比較することにより、データベースの検索対象の中から最も適切と判断される一のキーワードを抽出することができる。
【００２０】
本発明の第２の画像認識装置は、検索対象となる複数の対象画像データ毎に、画像特徴量と、画像内容を表わすキーワードと、該画像特徴量を備えた画像が撮影される位置情報と、該キーワードが付与された物体が特定場所に固有のものである度合を示す位置情報関連度とを関連付けて記憶したデータベースを利用して、撮影位置の位置情報を備えた一の画像データの画像内容を表わすキーワードを、当該データベースから抽出する処理を実行し、画像内容を認識する画像認識装置であって、前記一の画像データを取得画像データとして入力し、該取得画像データが撮影される位置情報を抽出する画像データ入力手段と、前記取得画像データに備わった画像特徴量を抽出する画像特徴量抽出手段と、前記データベースに記憶された前記対象画像データの位置情報関連度と、前記取得画像データの位置情報および該対象画像データの位置情報から求めた撮影位置の隔たりとを用いて、当該対象画像データを前記キーワードの抽出処理の処理対象から除外するか否かを判断する除外判断手段と、前記処理対象にすると判断した場合に、前記取得画像データの画像特徴量と前記対象画像データの画像特徴量とを比較して、所定条件を満たす該対象画像データのキーワードを、前記データベースから抽出するキーワード抽出手段とを備えたことを要旨としている。
【００２１】
本発明の第２の画像認識装置によれば、予め用意したデータベースを用いて、一の取得画像データの画像特徴量から取得画像データの画像内容を示すキーワードを抽出する際、位置情報関連度と撮影位置の隔たりとを用いて、対象画像データをキーワードの抽出処理の処理対象から除外するか否かを判断する。したがって、検索対象を減らし、迅速な処理を行なうことができる。
【００２２】
本発明は、コンピュータプログラムおよびコンピュータプログラムを記録した媒体としても実装することができる。記録媒体としては、フレキシブルディスク，ＣＤ−ＲＯＭ，ＤＶＤ−ＲＯＭ／ＲＡＭ，光磁気ディスク、メモリカード、ハードディスクなどコンピュータが読取り可能な種々の媒体を利用することができる。
【発明を実施するための最良の形態】
【００２３】
以下、本発明の実施の形態について、実施例に基づき以下の順序で説明する。
Ａ．画像認識システム：
Ｂ．データベースの構築：
Ｃ．画像認識装置の構造：
Ｄ．画像認識処理：
Ｅ．変形例：
【００２４】
Ａ．画像認識システム：
図１は、本発明の一実施例としての画像認識装置を含む画像認識システムを示す説明図である。この画像認識システム１００は、主に、複数の撮影画像に関する情報を備えるデータベース２０，データベース２０を構築するデータベース作成装置１０，構築されたデータベース２０を利用する画像認識装置１５などから構成されている。
【００２５】
データベース作成装置１０は、キーワード設定部１１，領域レンジ設定部１２，位置情報関連度設定部１３，画像特徴量抽出装置１４などを備え、通信線を介してデータベース２０と接続している。データベース作成装置１０は、デジタルスチルカメラなどの撮像機器で撮影された複数の画像データを入力し、画像データの被写体等を表わすキーワードなど、画像データ毎に対応する種々の情報を作成する。
【００２６】
本実施例で対象となる画像データには、画像データを撮影した撮影場所の地理的な位置情報を備えている。この位置情報は、無線通信の一態様であるＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍｓ）方式の通信を用いた経度、緯度の情報（ＧＰＳ情報と呼ぶ）である。データベース作成装置１０は、画像データのＧＰＳ情報を抽出して、画像データの情報の一部としている。なお、取り扱う画像データの位置情報は、ＧＰＳ情報によるものに限らず、携帯電話の基地局の情報など、他の位置情報であっても良い。
【００２７】
キーワード設定部１１は、画像データの画像内容（被写体）を撮影した撮影場所の地名や、被写体の名称等をテキストで表わし、これをキーワードとして画像データに関連付けて設定する。領域レンジ設定部１２は、画像データ内の被写体を撮影することが可能な領域を経緯度の数値で設定し、これを領域レンジＲとして画像データに関連付けて設定する。位置情報関連度設定部１３は、キーワードを付された画像データ内の被写体と、ＧＰＳ情報との関連性を評価して数値化し、これを位置情報関連度ＰＲとして画像データに関連付けて設定する。画像特徴量抽出装置１４は、各画像データを入力し、所定の画像処理により画像データの画像特徴量を抽出する。
【００２８】
こうして各画像データに関連付けして設定されたＧＰＳ情報，キーワード，領域レンジＲ，位置情報関連度ＰＲ，画像特徴量などの画像データに関する種々の情報は、データベース２０に出力される。なお、画像データに関する情報の内、キーワード，領域レンジＲ，位置情報関連度ＰＲについては、ユーザが各画像データの内容を確認して設定している。
【００２９】
データベース２０は、所定容量の記憶領域を備えており、データベース作成装置１０から入力した上記の画像データに関する情報を記憶している。本実施例のデータベース２０では、各画像データと画像データに関する情報との関連付けはなされているが、画像データ自体は記憶されていない。つまり、このデータベース２０は、画像データに関する種々の情報である特徴量のみを記憶したデータベースである。こうすることで、データ量を減らし、記憶容量を削減している。こうした構成のデータベース２０は、通信線を介して画像認識装置１５と接続されている。
【００３０】
画像認識装置１５は、画像特徴量抽出装置１６，識別器１７，信頼性係数補正器１８などを備え、任意の画像データを入力し、データベース２０から、この任意の画像データに適したキーワードを抽出する。すなわち、画像認識装置１５は、データベース２０を辞書として用いて、任意の画像データの内容に対応するキーワードを抽出することから、任意の画像データの内容を認識する装置となる。
【００３１】
この画像認識装置１５内の画像特徴量抽出装置１６は、データベース作成装置１０の画像特徴量抽出装置１４と同様、入力した任意の画像データの画像特徴量を抽出する。画像特徴量抽出装置１６は、識別器１７と接続しており、抽出された画像特徴量は識別器１７に出力される。
【００３２】
識別器１７は、画像特徴量抽出装置１６から画像特徴量を入力すると共に、入力した任意の画像データが備えるＧＰＳ情報を抽出し、これらに基づきデータベース２０から所定条件を満たす画像特徴量，キーワードを取得する。識別器１７は、入力した任意の画像データの画像特徴量と、データベース２０から取得した画像特徴量とを比較し、両者の画像特徴量の類似具合を係数で表わす信頼性係数ＴＣを算出する。識別器１７は、信頼性係数補正器１８とも接続しており、算出した信頼性係数ＴＣと、データベース２０から取得したキーワードを、信頼性係数補正器１８へ出力する。
【００３３】
信頼性係数補正器１８は、識別器１７からのキーワード，信頼性係数ＴＣと共に、識別器１７で画像特徴量，キーワードを取得した画像データに対応する位置情報関連度ＰＲも入力する。信頼性係数補正器１８は、識別器１７から入力した信頼性係数ＴＣを位置情報関連度ＰＲに基づいて補正し、補正した信頼性係数ＴＣ１に基づいて所定条件を満たすキーワードを、外部の機器（例えば、ディスプレイなどの表示装置）に出力する。
【００３４】
以上の構成の画像認識システム１００において、画像認識装置１５は、任意の画像データを入力すると、データベース２０を利用（検索）して自動的に所定のキーワード等を抽出する。抽出されたキーワードは、上記の通り、画像データ内の被写体の名称や、撮影場所名など、画像データの内容に適合すると認定されたものである。
【００３５】
抽出されたキーワードは、例えば、入力された画像データと関連付けて記憶され、後日の画像データの検索やキーワード毎の分類など、画像データの管理に利用することができる。
【００３６】
以下、画像認識装置１５の具体的態様の説明に先立って、まず、データベース２０の構築について説明する。なお、以下の説明では、上記のデータベース作成装置１０および画像認識装置１５における各処理を、ソフトウェアプログラムで実現し、その処理プログラムをインストールしたコンピュータにより画像認識システム１００を構成するものとする。
【００３７】
Ｂ．データベースの構築：
図２は、データベース２０の構築処理の流れを示すフローチャートである。この処理は、処理プログラムをインストールしたデータベース作成装置１０としてのコンピュータ（図示なし）により実行される処理である。このコンピュータは、ＣＰＵ，ＲＯＭ，ＲＡＭ，ハードディスク等を備え、キーボード，ディスプレイ等と接続された一般的な計算機であり、複数の撮影画像を備えたデジタルスチルカメラと接続されている。キーボードを介したユーザ指示により、データベース２０の構築処理は実行される。
【００３８】
処理を開始すると、ＣＰＵは、デジタルスチルカメラ内の所定の画像データを入力し、画像データに対するキーワードの設定処理を実行する（ステップＳ２００）。具体的には、入力した画像データをディスプレイ上に表示し、ユーザがキーボードを介して入力した画像内容を表わすキーワードを受け付け、これを画像データと関連付けて、ハードディスク内に記憶している。
【００３９】
キーワードの設定に続き、ＣＰＵは、入力した画像データの画像特徴量を抽出する処理を行なう（ステップＳ２１０）。本実施例では、ＭＰＥＧ−７において採用されている色配置（Ｃｏｌｏｒ Ｌａｙｏｕｔ）の手法を用いて画像特徴量を抽出している。具体的には、画像データの輝度色差信号をＹＣｂＣｒの情報に変換したものである。ＣＰＵは、抽出した画像特徴量を、画像データと関連付けて、ハードディスク内に記憶する。なお、画像特徴量の抽出処理は、画像認識装置１５においても同様の処理を実行するため、後の画像認識装置１５の説明において詳しく説明する。
【００４０】
続いて、ＣＰＵは、入力した画像データに付帯するＧＰＳ情報を抽出する（ステップＳ２２０）。そして、ＣＰＵは、抽出したＧＰＳ情報を、キーワード，画像特徴量と同様、画像データと関連付けてハードディスク内に記憶している。なお、画像データに対するＧＰＳ情報が無いような場合には、ユーザがキーボードを介して入力する。
【００４１】
ＧＰＳ情報の抽出後、ＣＰＵは領域レンジＲを設定する処理を行なう（ステップＳ２３０）。領域レンジＲは、上述のように、画像データ内の被写体を撮影することが可能な領域を経緯度で表わしたものである。具体的には、図３に示すように、ＧＰＳ情報による経緯度を中心に、画像データ内の被写体を撮影することができる概略の領域を設定する。例えば、ＧＰＳ情報による経度、緯度が（Ｘ，Ｙ）であり、被写体が「東京タワー」である場合に、「東京タワー」を撮影することができる範囲として（Ｘ±Ｒ，Ｙ±Ｒ）で表現される領域を設定する。この場合のＲが領域レンジＲとして設定される。ＣＰＵは、ユーザが画像データ毎にキーボードを介して入力した領域レンジＲを受け付け、画像データと関連付けて、ハードディスク内に記憶する。
【００４２】
続いて、ＣＰＵは、入力した画像データの位置情報関連度ＰＲを設定する処理を行なう（ステップＳ２４０）。上述のように、位置情報関連度ＰＲは、キーワードを付された画像データ内の被写体と、ＧＰＳ情報との関連性を評価したものである。本実施例では、所定のキーワードが付され、ディスプレイ上に表示された画像データの被写体が、特定の場所に存在する程度の高低を数値によって表わしている。ＣＰＵは、ユーザが入力した位置情報関連度ＰＲを画像データと関連付けて、ハードディスク内に記憶する。
【００４３】
位置情報関連度ＰＲの設定に際しては、キーワードを付した画像データ内の被写体から、画像データのタイプを大きく３つ（タイプＡ〜Ｃ）に分類する。タイプＡは、キーワードを備えた被写体が「その場所固有の対象物を示している」場合であり、タイプＣは、「その場所固有の対象物ではない」場合であり、タイプＢは、タイプＡからタイプＣの中間に相当する場合である。
【００４４】
タイプＡに分類される画像データには、０．９≦ＰＲ≦１．０の範囲の位置情報関連度ＰＲが設定される。例えば、画像データ内の被写体が「東京タワー」であり、キーワードとして「東京タワー」が設定されている場合、「東京タワー」は「その場所固有の対象物である」ため、高い値（例えば、ＰＲ＝０．９５）の位置情報関連度ＰＲが設定される。
【００４５】
タイプＣに分類される画像データには、ＰＲ＝０の位置情報関連度ＰＲが設定される。例えば、画像データ内の被写体が「ネコ」であり、キーワードとして「ネコ」が設定されている場合、「ネコ」は「場所に固有の対象物ではない」ため、低い値の位置情報関連度ＰＲ（ＰＲ＝０）が設定される。
【００４６】
タイプＢに分類される画像データには、０＜ＰＲ＜０．９の範囲の位置情報関連度ＰＲが設定される。例えば、画像データ内の被写体が「奈良公園」の「シカ」であり、キーワードとして「シカ」が設定されている場合、「シカ」は場所に固有の対象物ではないが、「奈良公園」など、ある程度特定の場所に限られるため、所定の値（例えば、ＰＲ＝０．７）の位置情報関連度ＰＲが設定される。こうした対象としては、「飛行場」の「飛行機」，「港」の「船舶」，「動物園」の「パンダ」，「山岳公園」の「高山植物」など、場所に固有ではないものの、設備や生息域といった有効な一定の広がりをもっているものが該当する。
【００４７】
こうしてキーワード，画像特徴量，ＧＰＳ情報，領域レンジＲ，位置情報関連度ＰＲを設定し、一連のデータベース２０の構築処理を終了する。その結果、ハードディスクには図４に示す画像データに関する種々の情報が蓄積される。
【００４８】
例えば、図４に示すように、画像データの内容（被写体）が東京タワーであるような場合には、位置情報関連度ＰＲとしてＰＲ＝０．９５（タイプＡ），ＧＰＳ情報として撮影場所の経度、緯度，領域レンジＲとしてＲ＝０．０１２，画像特徴量としてのＹＣｂＣｒの情報もしくはこれを処理した情報，キーワードとして「東京タワー」「芝公園」などが設定され、ハードディスクに蓄積される。つまり、こうした情報を記憶したハードディスクが、データベース２０となる。以上の処理を経て、構築されたデータベース２０を辞書として利用し、画像認識装置１５は、任意の画像データの内容を認識する。
【００４９】
Ｃ．画像認識装置の構造：
図５は、本発明の画像認識処理のプログラムをソフトウェアとして備えた画像認識装置１５の概略構造図である。図示するように、画像認識装置１５は、処理対象となる所定の画像を撮影し、その画像データを記憶したデジタルスチルカメラ２７、デジタルスチルカメラ２７に記憶された画像データを入力して所定の処理を施すコンピュータ３０（以下、ＰＣ３０と記す）、ＰＣ３０により処理される画像の表示等を行なうディスプレイ４０、ユーザインターフェースとしてのキーボード４１やマウス４２等から構成されている。
【００５０】
デジタルスチルカメラ２７は、撮像センサとしてのＣＣＤ，ＣＣＤを介して取り込んだ画像データに所定の画像処理を施す画像処理回路，画像データを記憶するメモリカード２４などを備えると共に、ＧＰＳを用いてデジタルスチルカメラ２７の地理的な位置情報を記憶するＧＰＳ機能を備えている。この機能により、画像データにはＧＰＳ情報が付加されている。
【００５１】
一般に、デジタルスチルカメラで取扱う画像のデータ構造は、いわゆるＥｘｉｆ形式であり、ＪＰＥＧ形式の画像データを基本に、画像データを撮影した際の撮影情報、サムネイル画像など、所定の画像付加情報を、Ｅｘｉｆ規約に準拠した形式で埋め込んで構成されている。画像付加情報としては、撮影日時，撮影時の露出時間，絞り値，シャッタースピード，ＩＳＯ感度，ホワイトバランスなど種々の情報が記憶されている。本実施例では、これらに加え、画像付加情報の一つとして、ＧＰＳ情報が含まれている。なお、ＧＰＳ情報は、Ｅｘｉｆ規約でユーザの使用量域として設定されているメーカーノートに書き込むものとしても良い。
【００５２】
なお、取扱う画像データは、位置情報が付与されているものであれば、デジタルスチルカメラ２７からの取得に代えて、デジタルビデオカメラ２１，カメラ付きの携帯電話２３，メモリカード２４，ハードディスク２５など、撮像機器や記録媒体からの取得であっても良い。
【００５３】
ＰＣ３０は、内部にＣＰＵ３１，ＲＯＭ３２，ＲＡＭ３３，ハードディスク３４，Ｉ／Ｆ回路部３５等を有し、各機器はそれぞれ内部バスにより接続されている。Ｉ／Ｆ回路部３５は、デジタルスチルカメラ２７，ディスプレイ４０，キーボード４１，マウス４２と接続しており、こうした外部の機器とＰＣ３０とのインターフェイスとして機能している。
【００５４】
ＲＯＭ３２内には、所定のオペレーションシステムが記憶されており、ＰＣ３０の電源投入と共に、ＣＰＵ３１はＲＯＭ３２内のオペレーションシステムＯＳを読み込み、起動する。
【００５５】
ハードディスク３４には、オペレーションシステムＯＳ上で動作する種々のアプリケーションプログラムがインストールされている。本実施例では、アプリケーションプログラムの一つとして、画像認識処理プログラムがインストールされている。ＣＰＵ３１は、キーボード４１やマウス４２を介したユーザ操作の指示を受け、このプログラムを読み出し、ＲＡＭ３３上に展開して実行する。
【００５６】
Ｄ．画像認識処理：
図６は、画像認識処理のフローチャートである。この処理は、任意の画像データの内容に対応したキーワードを抽出する処理、換言すると、入力した任意の画像データの内容を認識する処理であり、キーボードを介したユーザ指示により実行される。
【００５７】
処理を開始すると、ＣＰＵ３１は、一の画像データを取得する（ステップＳ６００）。具体的には、処理の開始と同時に、ディスプレイ上に表示されたデジタルスチルカメラ２７内の画像の中からユーザが指定する任意の一枚に対応する画像データを取得している。
【００５８】
一の画像データを取得したＣＰＵ３１は、その画像データに付帯する位置情報（ＧＰＳ情報）を抽出する（ステップＳ６０５）。抽出されるＧＰＳ情報は、一の画像を撮影した撮影場所の経度、緯度の情報である。
【００５９】
続いて、ＣＰＵ３１は、一の画像データの画像特徴量を抽出する（ステップＳ６１０）。本実施例では、上述のように、色配置の手法を用いて画像特徴量を抽出する。具体的には、ＣＰＵ３１は、画像データを８×８の小ブロックに分割し、各小ブロックを構成する画素データの値（Ｒ、Ｇ、Ｂ）の平均値（Ｒave、Ｇave、Ｂave）を各小ブロックの代表値（Ｒrep、Ｇrep、Ｂrep）として用いる。ＣＰＵ３１は求めた代表値を用いて８×８の画素データから構成される縮小画素データを作成する。ＣＰＵ３１は、作成した縮小画像データ（ＲＧＢデータ）をＹＣｂＣｒデータに変換し、更に、Ｙ、Ｃｂ、Ｃｒの各成分について離散コサイン変換（ＤＣＴ）を行う。ＤＣＴによって、画像データは周波数成分に変換される。なお、離散コサイン変換は当業者において周知な変換処理であるから詳細な説明は省略する。
【００６０】
例えば、図７に示すように、Ｙ、Ｃｂ、Ｃｒの各成分について８×８の係数値が算出される。すなわち、
Ｙｃ[8][8]＝{yc00, yc01, yc02...yc76,yc77}
Ｃｂｃ[8][8]＝{cbc00, cbc01, cbc02...cbc76,cbc77}
Ｃｒｃ[8][8]＝{crc00, crc01, crc02...crc76,crc77}
となり、画像データ（画像）との位置関係は、例えば図７に示すとおりとなる。図７に示すように、係数値が大きくなるにつれて周波数は高くなる。
【００６１】
なお、画像特徴量の取得としては、Ｒ、Ｇ、Ｂ各成分のヒストグラムを用いる手法、最大・最小輝度値および平均輝度値を用いる手法など、周知の種々の手法を用いるものとしても良い。この場合、データベース２０側も同様の手法により、画像特徴量を抽出しておけば良い。
【００６２】
続いて、ＣＰＵ３１は、信頼性係数の基準値の初期化を行なう（ステップＳ６２０）。信頼性係数ＴＣ１は、上述のとおり、画像データの画像特徴量の類似具合を表わす指標であり、後述する処理ステップにおいて算出されるが、ここでは、まず、算出される信頼性係数ＴＣ１を評価する基準値ＴＣｍａｘをゼロに設定して初期化している。
【００６３】
ＣＰＵ３１は、データベース２０から一の対象を選択する（ステップＳ６３０）。上述のように、データベース２０は、位置情報関連度ＰＲ，ＧＰＳ情報，領域レンジＲ，画像特徴量，キーワードなどの種々の情報を一まとまり（情報群）として一の画像データに関連付け、複数の情報群を記憶している。このステップは、データベース２０内の複数の情報群から一の情報群を選択する処理であり、間接的に一の情報群に関連付けられた画像データを選択する処理であると言える。よって、このステップでは、一の画像データが選択されるものとし、以下、選択された画像データを、ステップＳ６００で取得した一の画像データと区別するため、「データベース画像」と呼ぶこととする。
【００６４】
データベース画像を選択したＣＰＵ３１は、データベース２０内の全てのデータベース画像が選択されたか否かを判断する（ステップＳ６３５）。ＣＰＵ３１は、選択されたデータベース画像について後述する処理を実行するとフラグを立てており、そのフラグを確認することで、選択され、処理済みか否かを判断している。
【００６５】
ステップＳ６３５で、全てのデータベース画像について選択されたと判断した（Ｙｅｓ）場合には、データベース２０内の検索は終了したものとして、一連の画像認識処理を終了する。
【００６６】
他方、ステップＳ６３５で、全てのデータベース画像は選択されていないと判断した（Ｎｏ）場合には、選択されたデータベース画像の位置情報関連度ＰＲを抽出し、位置情報関連度ＰＲがどのタイプ（Ａ〜Ｃ）に属するかを判断する（ステップＳ６４５）。
【００６７】
ステップＳ６４５で、位置情報関連度ＰＲが、タイプＢまたはタイプＣに該当する場合（ＰＲが０．９よりも小さい場合）には、ステップＳ６６０へ移行する。すなわち、位置情報関連度ＰＲがそれほど高くない（タイプＡのように、その場所固有の対象物である可能性が高くない）データベース画像については、取得した一の画像データのキーワードを抽出するための検索対象とする。
【００６８】
他方、ステップＳ６４５で、位置情報関連度ＰＲが、タイプＡに該当する場合（ＰＲが０．９以上の場合）には、選択されたデータベース画像のＧＰＳ情報および領域レンジＲを抽出する。そして、既に抽出してある（ステップＳ６０５）一の画像データのＧＰＳ情報による撮影場所の経度、緯度が、データベース画像の領域レンジＲを加味した経度，緯度の範囲内であるか否かを判断する（ステップＳ６５５）。
【００６９】
ステップＳ６５５で、データベース画像の経度，緯度の範囲内に納まらないと判断した（Ｎｏ）場合には、現在選択されているデータベース画像に対して処理済みのフラグを立てて、ステップＳ６３０へ戻り、データベース２０から次のデータベース画像を選択する。
【００７０】
つまり、タイプＡに分類されたデータベース画像には、その場所固有の対象物である被写体が写っていることとなるため、このデータベース画像と任意の画像データとがほぼ同じ内容であると判断するためには、両者の撮影場所が近いことが条件となる。
【００７１】
データベース画像の経度、緯度を中心とする領域レンジＲを加味した範囲内（図３参照）に、一の画像データの撮影場所の経度，緯度が納まらないような場合には、そのデータベース画像のキーワードを抽出しても、一の画像データの画像内容を適切に表現したものとはならない。したがって、タイプＡであって、経度、緯度の位置情報が条件を満たさないデータベース画像に対しては、これを検索対象から除外する処理を行なっている。
【００７２】
他方、ステップＳ６５５で、データベース画像の経度，緯度の範囲内に納まると判断した（Ｙｅｓ）場合には、ステップＳ６６０へ移行する。すなわち、タイプＡであって、経度、緯度の位置情報が条件を満たす(撮影場所が近い)データベース画像についてのみ、検索対象としている。
【００７３】
タイプＢ，Ｃであるデータベース画像、または、タイプＡであって位置情報が条件を満たすデータベース画像を検索対象としたＣＰＵ３１は、データベース画像の画像特徴量を抽出し、これと、ステップＳ６１０で既に抽出してある画像データの画像特徴量とから、両画像の画像特徴量の距離Ｄを算出する（ステップＳ６６０）。
【００７４】
画像特徴量の距離Ｄは、両画像の類似度あるいは非類似度を表わし、例えば、ユークリッド距離を用いる場合には、以下の式によって算出される。
【００７５】
【数１】
【００７６】
なお、Ｙｃｐ，Ｃｂｃｐ，Ｃｒｃｐはデータベース画像の画像特徴量（係数）を、Ｙｃｑ，Ｃｂｃｑ，Ｃｒｃｑは画像データの画像特徴量（係数）をそれぞれ示し、本実施例では、ＭＰＥＧ−７に採用される画像特徴量を用いているため、変数ｉ，ｊは、共に０〜７（ｎ＝７）の値を採る。
【００７７】
距離Ｄを算出したＣＰＵ３１は、信頼性係数ＴＣを算出する（ステップＳ６７０）。信頼性係数ＴＣは、データベース画像の画像特徴量と画像データの画像特徴量との差、つまり、上記の距離Ｄに応じて決定される係数であり、両者の画像特徴量が近い（距離Ｄが小さい）ほど、信頼性が高いとして、係数は大きな値となる。具体的には、次式により算出される。
【００７８】
【数２】
【００７９】
なお、Ｄｒｅｆは、距離Ｄに対する一つの基準値であり、両者の画像データをほぼ同じもの（類似度が高い）であると判断できる基準値として、予め設定されている。すなわち、この式において、距離ＤがＤｒｅｆ以下であり、信頼性係数ＴＣが１を超えるような場合には、両者の画像データはほぼ同じものであると判断する。したがって、信頼性係数ＴＣが１を超える場合には信頼性係数ＴＣ＝１として設定し、信頼性係数ＴＣの取り得る範囲を０≦ＴＣ≦１．０としている。
【００８０】
続いて、ＣＰＵ３１は、算出した信頼性係数ＴＣの補正を行なう（ステップＳ６８０）。具体的には、位置情報関連度ＰＲを用いて、次式により補正を行なう。
【００８１】
【数３】
【００８２】
この補正は、位置関連情報度ＰＲが大きな値である場合には、上記ステップで算出された信頼性係数ＴＣを、より一層大きな値の信頼性係数ＴＣ１に修正し、信頼性が高い（一の画像データの画像内容を表わす適切なキーワードが付されたデータベース画像である）ことを示すものである。つまり、両者のＧＰＳ情報に基づく位置情報が近く、かつ、タイプＡあるいはタイプＢのデータベース画像であるような場合には、位置情報関連度ＰＲが比較的大きな値となり、信頼性係数ＴＣ１も大きな値（１に近い値）となる。
【００８３】
なお、この信頼性係数ＴＣ１を算出する対象となるデータベース画像は、上記のステップＳ６４５，Ｓ６５５より、タイプＢ，Ｃ、または、タイプＡであって位置情報が条件を満たす場合である。したがって、位置情報関連度ＰＲが高いタイプＡであっても、ＧＰＳ情報に基づく位置情報から近い場所で撮影されていないと判断されたデータベース画像は、処理対象とならないため、そのまま位置情報関連度ＰＲを用いた補正をしても何ら問題は生じない。
【００８４】
また、データベース画像がタイプＣである場合も、位置情報関連度ＰＲがゼロで新たな信頼性係数ＴＣ１は元の信頼性係数ＴＣのままであるため、補正上の問題はない。こうした補正を行なうことで、画像データ自体の画像特徴量の類似度は高いものの、異なる場所で撮影された全く別々の被写体である場合にも適切な信頼性係数ＴＣ１を算出することができる。
【００８５】
続いて、ＣＰＵ３１は、補正した信頼性係数ＴＣ１が、現在設定されている信頼性係数の基準値ＴＣｍａｘよりも大きいか否かを判断する（ステップＳ６８５）。
【００８６】
ステップＳ６８５で、信頼性係数ＴＣ１が基準値ＴＣｍａｘよりも大きいと判断された（Ｙｅｓ）場合には、基準値ＴＣｍａｘを信頼性係数ＴＣ１に置き換えると共に、現在の処理対象のデータベース画像のキーワードを、抽出キーワードとして一時的に記憶し（ステップＳ６９０）、ステップＳ６３０に戻って、次のデータベース画像について一連の処理を繰り返す。なお、抽出キーワードは、信頼性係数の基準値ＴＣｍａｘを置き換える毎に、新たな処理対処のデータベース画像のキーワードに書き換えられる。
【００８７】
他方、ステップＳ６８５で、信頼性係数ＴＣ１が基準値ＴＣｍａｘ以下であると判断された（Ｎｏ）場合には、キーワードを記憶することなく、ステップＳ６３０に戻って、次のデータベース画像について一連の処理を繰り返す。なお、ステップＳ６８５，Ｓ６９０の処理によりステップＳ６３０へ戻る前に、ＣＰＵ３１は、処理対象のデータベース画像に対して処理済のフラグを立てている。
【００８８】
こうして一連の処理を繰り返し、データベース２０内のデータベース画像の全てについて処理した後、ステップＳ６３５からＥＮＤに抜けて、画像認識処理を終了する。この際、ＣＰＵ３１は、一時的に記憶された抽出キーワードをディスプレイ４０上に表示する。
【００８９】
以上の画像認識処理によれば、全てのデータベース画像に対して処理を繰り返し、信頼性係数ＴＣ１が最も高くなるデータベース画像に対応したキーワードを抽出する。したがって、任意の一の画像データの画像内容を表わす適切なキーワードを抽出することができる。
【００９０】
また、本実施例の画像認識処理では、タイプＡであって位置情報が所定条件を満たさないデータベース画像を検索対象から除外するなど、位置情報関連度ＰＲに応じて検索対象を絞り込む処理を行なう。すなわち、画像特徴量を用いた類似具合を判断する前に、位置情報関連度ＰＲを加味して、処理対象を減らすことができる。したがって、キーワードの検索速度を向上し、検索時間を短縮することができる。
【００９１】
さらには、位置情報関連度ＰＲに応じて検索対象を絞り込むことで、任意の一の画像データの画像内容を表わす適切なキーワードとはなり得ないデータベース画像を除外することができる。したがって、適切なキーワードを抽出する確率が向上し、任意の画像データの画像内容を認識する精度（認識率）を向上させることができる。
【００９２】
本実施例の画像認識処理では、データベース画像の画像特徴量に加え、位置情報関連度ＰＲを考慮して補正した信頼性係数ＴＣ１を求める。すなわち、画像特徴量のみではなく、撮影された位置も近いと判断されるデータベース画像に対する信頼性を向上する補正を行なう。したがって、補正された信頼性係数ＴＣ１を単純に評価することで、適切なキーワードを抽出することができ、画像内容の認識率を向上することができる。
【００９３】
本実施例では、データベース画像を構成する画像データを大きく分類する一つの基準として、位置情報関連度ＰＲ＝０．９を用いたが、ＰＲは０．９に限るものではない。例えば、０．９よりも大きい値を基準とするものとしても良い。
【００９４】
こうして画像認識処理により抽出されたキーワードは、画像データ自体（例えば、Ｅｘｉｆ形式のメーカノート）に付与するものとしても良い。こうすることで、後日の画像データの管理、分類などに有効に利用することができる。また、データベースの構築に利用するものとしても良い。
【００９５】
なお、本実施例では、データベース２０を画像認識装置１５から独立した構成として説明したが、画像認識装置１５はデータベース２０を含む構成であっても良い。例えば、画像認識装置１５として画像認識処理プログラムをインストールしたＰＣ３０内のハードディスク３４に、図４に示す画像データに関する種々の情報を蓄積することで、ハードディスク３４をデータベース２０とすれば良い。かかる態様で画像認識装置１５を構成しても、迅速かつ、適切なキーワードの抽出を行なうことができる。
【００９６】
Ｅ．変形例：
本実施例では、画像認識処理により、一のキーワードを抽出するものとして説明したが、複数のキーワードを抽出するものとしても良い。例えば、図６にステップＳ６９０で、順次抽出キーワードを書き換える処理に代えて、信頼性係数ＴＣ１が上位３番目までに該当する抽出キーワードを記憶し、これらを候補として抽出するものとすれば良い。抽出した複数のキーワードをディスプレイ４０上に表示し、ユーザが一を選択するアプリケーションとすることで、任意の画像データに対し、より一層適切なキーワードを抽出することができる。
【００９７】
また、本実施例では、データベース２０は、位置関連情報ＰＲ，ＧＰＳ情報，領域レンジＲ，画像特徴量，キーワードなどの情報である特徴量を記憶したものとして説明したが、これらに加えて、画像データ自体を記憶しているものとしても良い。こうすることで、種々の情報と画像データとの関連付けが容易となる。
【００９８】
本実施例では、アプリケーション上でユーザが指定した１枚の画像データの処理について説明したが、デジタルスチルカメラからハードディスク上にコピーした全ての画像データについて、順次、画像認識処理を実行する態様であっても良い。こうすることで、画像認識処理におけるユーザ操作の手間を省き、利便性を向上することができる。
【００９９】
さらに、本実施例では、コンピュータのハードディスク上にデータベース２０を構築するものとしたが、例えば、ネットワーク上のサーバにデータベース２０を構築するものとしても良い。この場合、ＰＣ３０のＩ／Ｆ回路３５にネットワークとの接続機能を設ければ良い。こうすることで、大容量のデータベース２０を構築することができる。
【０１００】
以上、本発明の実施の形態について説明したが、本発明はこうした実施の形態に何ら限定されるものではなく、本発明の趣旨を逸脱しない範囲内において様々な形態で実施し得ることは勿論である。本実施例では、画像認識処理はソフトウェアプログラムの態様にて実行されるが、上記の各処理（ステップ）を実行する論理回路を備えたハードウェア回路を用いるものとしても良い。こうすることで、ＣＰＵ３１の負荷を軽減することができると共に、より一層高速に各処理を実行することができる。
【図面の簡単な説明】
【０１０１】
【図１】一実施例の画像認識装置を含む画像認識システムを示す説明図である。
【図２】データベースの構築処理の流れを示すフローチャートである。
【図３】領域レンジＲの説明図である。
【図４】データベースに蓄積される画像データの種々の情報の説明図である。
【図５】画像認識装置の概略構造図である。
【図６】画像認識処理のフローチャートである。
【図７】画像の特徴量の説明図である。
【符号の説明】
【０１０２】
１０...データベース作成装置
１１...キーワード設定部
１２...領域レンジ設定部
１３...位置情報関連度設定部
１４...画像特徴量抽出装置
１５...画像認識装置
１６...画像特徴量抽出装置
１７...識別器
１８...信頼性係数補正器
２０...データベース
２１...デジタルビデオカメラ
２３...携帯電話
２４...メモリカード
２５...ハードディスク
２７...デジタルスチルカメラ
３０...コンピュータ
３１...ＣＰＵ
３２...ＲＯＭ
３３...ＲＡＭ
３４...ハードディスク
３５...Ｉ／Ｆ回路部
４０...ディスプレイ
４１...キーボード
４２...マウス
１００...画像認識システム
ＰＲ...位置情報関連度
Ｒ...領域レンジ
ＴＣ...信頼性係数
ＴＣ１...信頼性係数
【技術分野】
【０００１】
本発明は、画像データの内容を認識する技術に関する。
【背景技術】
【０００２】
従来から、テキスト形式のキーワードを入力してＷｅｂページを検索するシステムが広く実用化されている。かかるシステムでは、適切なキーワードを入力することで、所望のＷｅｂページを検索することができる。こうしたキーワードによる検索手法に対して、任意の画像から種々の情報を検索する技術がある。例えば、下記特許文献１には、撮影画像の情報とその画像の撮影場所名とを関連付けて記憶したデータベースを用意し、任意の画像データを入力すると、データベースから類似画像データを検索し、検索された類似画像データに関連付けられた撮影場所名を抽出する技術が開示されている。
【０００３】
【特許文献１】特開２００２−３７３１６８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、かかるデータベースを用いた技術では、画像データの撮影場所名の情報は抽出できるものの、撮影場所名以外の情報、例えば、被写体の名称などについては取得することができなかった。そのため、画像データの内容を表わす適切なキーワードを抽出して、画像認識を行なうことが困難であった。
【０００５】
本発明は、適切な画像認識が難しいといった問題を踏まえ、適切な画像認識を行なう画像認識装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の第１の画像認識装置は、上記課題に鑑み、以下の手法を採った。すなわち、撮影位置の情報を備えた一の画像データの画像内容を表わすキーワードを、所定の検索対象から抽出する処理を実行し、画像内容を認識する画像認識装置であって、前記検索対象となる複数の対象画像データ毎に、画像特徴量と、画像内容を表わすキーワードと、該画像特徴量を備えた画像が撮影される位置情報と、該キーワードが付与された物体が特定場所に固有のものである度合を示す位置情報関連度とを関連付けし、データベースとして記憶する記憶手段と、前記一の画像データを取得画像データとして入力し、該取得画像データが撮影される位置情報を抽出する画像データ入力手段と、前記取得画像データに備わった画像特徴量を抽出する画像特徴量抽出手段と、前記データベースに記憶された前記対象画像データの位置情報関連度と、前記取得画像データの位置情報および該対象画像データの位置情報から求めた撮影位置の隔たりとを用いて、当該対象画像データを前記キーワードの抽出処理の処理対象から除外するか否かを判断する除外判断手段と、前記処理対象にすると判断した場合に、前記取得画像データの画像特徴量と前記対象画像データの画像特徴量とを比較して、所定条件を満たす該対象画像データのキーワードを、前記データベースから抽出するキーワード抽出手段とを備えたことを要旨としている。
【０００７】
また、本発明の第１の画像認識装置に対応する画像認識方法は、撮影位置の情報を備えた一の画像データの画像内容を表わすキーワードを、所定の検索対象から抽出する処理を実行し、画像内容を認識する画像認識方法であって、前記検索対象となる複数の対象画像データ毎に、画像特徴量と、画像内容を表わすキーワードと、該画像特徴量を備えた画像が撮影される位置情報と、該キーワードが付与された物体が特定場所に固有のものである度合を示す位置情報関連度とを関連付けして、データベースとして記憶し、前記一の画像データを取得画像データとして入力し、該取得画像データが撮影される位置情報を抽出し、前記取得画像データに備わった画像特徴量を抽出し、前記データベースに記憶された前記対象画像データの位置情報関連度と、前記取得画像データの位置情報および該対象画像データの位置情報から求めた撮影位置の隔たりとを用いて、当該対象画像データを前記キーワードの抽出処理の処理対象から除外するか否かを判断し、前記処理対象にすると判断した場合に、前記取得画像データの画像特徴量と前記対象画像データの画像特徴量とを比較して、所定条件を満たす該対象画像データのキーワードを、前記データベースから抽出することを要旨としている。
【０００８】
本発明の第１の画像認識装置およびその画像認識方法によれば、画像特徴量、画像内容を表わすキーワード、位置情報、位置情報関連度を、対象画像データ毎に関連付けして記憶したデータベースを用意し、そのデータベースを検索して、一の取得画像データの画像特徴量から取得画像データの画像内容を示すキーワードを抽出する。したがって、取得画像データの画像内容を表わす適切なキーワードをデータベースから抽出することができる。
【０００９】
また、キーワード抽出の際、位置情報関連度と撮影位置の隔たりとを用いて、対象画像データをキーワードの抽出処理の処理対象から除外するか否かを判断する。つまり、データベースの検索対象を絞り込む。したがって、検索対象を減らし、迅速な処理を行なうことができる。
【００１０】
上記の構成を有する画像認識装置の位置情報関連度は、Ａ）前記対象画像データ内のキーワードが付与された物体が、特定場所に固有のものであるタイプＡと、Ｂ）前記対象画像データ内のキーワードが付与された物体が、特定場所に存在する程度が高く、かつ、存在する場所が限られるものであるタイプＢと、Ｃ）前記対象画像データ内のキーワードが付与された物体が、特定場所に固有のものではないタイプＣとの３つのタイプに応じて分類して設定され、前記除外判断手段は、前記対象画像データの位置情報関連度が前記タイプＡであり、かつ、前記撮影位置の隔たりが所定量以上である場合に、当該対象画像データを前記処理対象から除外すると判断するものとしても良い。
【００１１】
かかる画像認識装置によれば、データベースを検索する際に、位置情報関連度がタイプＡであり、撮影位置の隔たりが所定量以上である対象画像データを処理対象から除外する。こうした対象画像データは、特定場所に固有のものであるため、撮影場所が近いと判断されない限り、取得画像データの画像内容がこの対象画像データの画像内容と同一もしくは類似するものである可能性は著しく低い。こうした対象画像データを処理対象から除外することで、迅速な処理を行なうことができると共に、適切なキーワードを抽出できる精度（認識精度）を向上することができる。
【００１２】
上記の構成を有する画像認識装置において、更に、前記記憶手段は、前記対象画像データ内のキーワードが付与された物体を撮影することができる地理的な範囲を示す領域レンジを、該対象画像データ毎に関連付けし、前記データベースとして記憶しており、前記除外判断手段は、前記取得画像データの位置情報が、前記データベースに記憶された前記対象画像データの領域レンジ内に入らない場合に、前記撮影位置の隔たりが所定以上であると判断するものとしても良い。
【００１３】
かかる画像認識装置によれば、データベースに領域レンジを備え、その領域レンジを基準に撮影位置が離れているか否かを判断する。したがって、判断を容易に行なうことができる。
【００１４】
上記の構成を有する画像認識装置のキーワード抽出手段は、前記取得画像データの画像特徴量と前記対象画像データの画像特徴量とから、該取得画像データと該対象画像データとの類似または非類似の程度を示す信頼性係数を算出する信頼性係数算出部と、前記算出された信頼性係数に基づいて前記対象画像データのキーワードを抽出する抽出部とからなるものとしても良い。
【００１５】
かかる画像認識装置によれば、対象画像データ毎の信頼性係数を比較することで、キーワードの抽出を容易なものとすることができる。
【００１６】
上記の構成を有する画像認識装置において、更に、前記キーワード抽出手段は、前記画像特徴量を用いて算出された信頼性係数に、前記位置情報関連度を加味して該信頼性係数の補正を行なう補正部を備え、前記抽出部は、前記補正された信頼性係数に基づいて前記キーワードを抽出するものとしても良い。
【００１７】
かかる画像認識装置によれば、補正された信頼性係数は、画像特徴量と位置情報関連度とを考慮した係数となり、この信頼性係数に基づいてキーワードを抽出する。複数の情報を基準に、取得画像データと対象画像データとの類似具合を判断するため、適切なキーワードの抽出を容易なものとすることができる。
【００１８】
上記の構成を有する画像認識装置の抽出部は、前記検索対象となる対象画像データ毎に求めた補正後の信頼性係数の中、該信頼性係数の最も高い該対象画像データのキーワードを抽出するものとしても良い。
【００１９】
かかる画像認識装置によれば、補正した信頼性係数を比較することにより、データベースの検索対象の中から最も適切と判断される一のキーワードを抽出することができる。
【００２０】
本発明の第２の画像認識装置は、検索対象となる複数の対象画像データ毎に、画像特徴量と、画像内容を表わすキーワードと、該画像特徴量を備えた画像が撮影される位置情報と、該キーワードが付与された物体が特定場所に固有のものである度合を示す位置情報関連度とを関連付けて記憶したデータベースを利用して、撮影位置の位置情報を備えた一の画像データの画像内容を表わすキーワードを、当該データベースから抽出する処理を実行し、画像内容を認識する画像認識装置であって、前記一の画像データを取得画像データとして入力し、該取得画像データが撮影される位置情報を抽出する画像データ入力手段と、前記取得画像データに備わった画像特徴量を抽出する画像特徴量抽出手段と、前記データベースに記憶された前記対象画像データの位置情報関連度と、前記取得画像データの位置情報および該対象画像データの位置情報から求めた撮影位置の隔たりとを用いて、当該対象画像データを前記キーワードの抽出処理の処理対象から除外するか否かを判断する除外判断手段と、前記処理対象にすると判断した場合に、前記取得画像データの画像特徴量と前記対象画像データの画像特徴量とを比較して、所定条件を満たす該対象画像データのキーワードを、前記データベースから抽出するキーワード抽出手段とを備えたことを要旨としている。
【００２１】
本発明の第２の画像認識装置によれば、予め用意したデータベースを用いて、一の取得画像データの画像特徴量から取得画像データの画像内容を示すキーワードを抽出する際、位置情報関連度と撮影位置の隔たりとを用いて、対象画像データをキーワードの抽出処理の処理対象から除外するか否かを判断する。したがって、検索対象を減らし、迅速な処理を行なうことができる。
【００２２】
本発明は、コンピュータプログラムおよびコンピュータプログラムを記録した媒体としても実装することができる。記録媒体としては、フレキシブルディスク，ＣＤ−ＲＯＭ，ＤＶＤ−ＲＯＭ／ＲＡＭ，光磁気ディスク、メモリカード、ハードディスクなどコンピュータが読取り可能な種々の媒体を利用することができる。
【発明を実施するための最良の形態】
【００２３】
以下、本発明の実施の形態について、実施例に基づき以下の順序で説明する。
Ａ．画像認識システム：
Ｂ．データベースの構築：
Ｃ．画像認識装置の構造：
Ｄ．画像認識処理：
Ｅ．変形例：
【００２４】
Ａ．画像認識システム：
図１は、本発明の一実施例としての画像認識装置を含む画像認識システムを示す説明図である。この画像認識システム１００は、主に、複数の撮影画像に関する情報を備えるデータベース２０，データベース２０を構築するデータベース作成装置１０，構築されたデータベース２０を利用する画像認識装置１５などから構成されている。
【００２５】
データベース作成装置１０は、キーワード設定部１１，領域レンジ設定部１２，位置情報関連度設定部１３，画像特徴量抽出装置１４などを備え、通信線を介してデータベース２０と接続している。データベース作成装置１０は、デジタルスチルカメラなどの撮像機器で撮影された複数の画像データを入力し、画像データの被写体等を表わすキーワードなど、画像データ毎に対応する種々の情報を作成する。
【００２６】
本実施例で対象となる画像データには、画像データを撮影した撮影場所の地理的な位置情報を備えている。この位置情報は、無線通信の一態様であるＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍｓ）方式の通信を用いた経度、緯度の情報（ＧＰＳ情報と呼ぶ）である。データベース作成装置１０は、画像データのＧＰＳ情報を抽出して、画像データの情報の一部としている。なお、取り扱う画像データの位置情報は、ＧＰＳ情報によるものに限らず、携帯電話の基地局の情報など、他の位置情報であっても良い。
【００２７】
キーワード設定部１１は、画像データの画像内容（被写体）を撮影した撮影場所の地名や、被写体の名称等をテキストで表わし、これをキーワードとして画像データに関連付けて設定する。領域レンジ設定部１２は、画像データ内の被写体を撮影することが可能な領域を経緯度の数値で設定し、これを領域レンジＲとして画像データに関連付けて設定する。位置情報関連度設定部１３は、キーワードを付された画像データ内の被写体と、ＧＰＳ情報との関連性を評価して数値化し、これを位置情報関連度ＰＲとして画像データに関連付けて設定する。画像特徴量抽出装置１４は、各画像データを入力し、所定の画像処理により画像データの画像特徴量を抽出する。
【００２８】
こうして各画像データに関連付けして設定されたＧＰＳ情報，キーワード，領域レンジＲ，位置情報関連度ＰＲ，画像特徴量などの画像データに関する種々の情報は、データベース２０に出力される。なお、画像データに関する情報の内、キーワード，領域レンジＲ，位置情報関連度ＰＲについては、ユーザが各画像データの内容を確認して設定している。
【００２９】
データベース２０は、所定容量の記憶領域を備えており、データベース作成装置１０から入力した上記の画像データに関する情報を記憶している。本実施例のデータベース２０では、各画像データと画像データに関する情報との関連付けはなされているが、画像データ自体は記憶されていない。つまり、このデータベース２０は、画像データに関する種々の情報である特徴量のみを記憶したデータベースである。こうすることで、データ量を減らし、記憶容量を削減している。こうした構成のデータベース２０は、通信線を介して画像認識装置１５と接続されている。
【００３０】
画像認識装置１５は、画像特徴量抽出装置１６，識別器１７，信頼性係数補正器１８などを備え、任意の画像データを入力し、データベース２０から、この任意の画像データに適したキーワードを抽出する。すなわち、画像認識装置１５は、データベース２０を辞書として用いて、任意の画像データの内容に対応するキーワードを抽出することから、任意の画像データの内容を認識する装置となる。
【００３１】
この画像認識装置１５内の画像特徴量抽出装置１６は、データベース作成装置１０の画像特徴量抽出装置１４と同様、入力した任意の画像データの画像特徴量を抽出する。画像特徴量抽出装置１６は、識別器１７と接続しており、抽出された画像特徴量は識別器１７に出力される。
【００３２】
識別器１７は、画像特徴量抽出装置１６から画像特徴量を入力すると共に、入力した任意の画像データが備えるＧＰＳ情報を抽出し、これらに基づきデータベース２０から所定条件を満たす画像特徴量，キーワードを取得する。識別器１７は、入力した任意の画像データの画像特徴量と、データベース２０から取得した画像特徴量とを比較し、両者の画像特徴量の類似具合を係数で表わす信頼性係数ＴＣを算出する。識別器１７は、信頼性係数補正器１８とも接続しており、算出した信頼性係数ＴＣと、データベース２０から取得したキーワードを、信頼性係数補正器１８へ出力する。
【００３３】
信頼性係数補正器１８は、識別器１７からのキーワード，信頼性係数ＴＣと共に、識別器１７で画像特徴量，キーワードを取得した画像データに対応する位置情報関連度ＰＲも入力する。信頼性係数補正器１８は、識別器１７から入力した信頼性係数ＴＣを位置情報関連度ＰＲに基づいて補正し、補正した信頼性係数ＴＣ１に基づいて所定条件を満たすキーワードを、外部の機器（例えば、ディスプレイなどの表示装置）に出力する。
【００３４】
以上の構成の画像認識システム１００において、画像認識装置１５は、任意の画像データを入力すると、データベース２０を利用（検索）して自動的に所定のキーワード等を抽出する。抽出されたキーワードは、上記の通り、画像データ内の被写体の名称や、撮影場所名など、画像データの内容に適合すると認定されたものである。
【００３５】
抽出されたキーワードは、例えば、入力された画像データと関連付けて記憶され、後日の画像データの検索やキーワード毎の分類など、画像データの管理に利用することができる。
【００３６】
以下、画像認識装置１５の具体的態様の説明に先立って、まず、データベース２０の構築について説明する。なお、以下の説明では、上記のデータベース作成装置１０および画像認識装置１５における各処理を、ソフトウェアプログラムで実現し、その処理プログラムをインストールしたコンピュータにより画像認識システム１００を構成するものとする。
【００３７】
Ｂ．データベースの構築：
図２は、データベース２０の構築処理の流れを示すフローチャートである。この処理は、処理プログラムをインストールしたデータベース作成装置１０としてのコンピュータ（図示なし）により実行される処理である。このコンピュータは、ＣＰＵ，ＲＯＭ，ＲＡＭ，ハードディスク等を備え、キーボード，ディスプレイ等と接続された一般的な計算機であり、複数の撮影画像を備えたデジタルスチルカメラと接続されている。キーボードを介したユーザ指示により、データベース２０の構築処理は実行される。
【００３８】
処理を開始すると、ＣＰＵは、デジタルスチルカメラ内の所定の画像データを入力し、画像データに対するキーワードの設定処理を実行する（ステップＳ２００）。具体的には、入力した画像データをディスプレイ上に表示し、ユーザがキーボードを介して入力した画像内容を表わすキーワードを受け付け、これを画像データと関連付けて、ハードディスク内に記憶している。
【００３９】
キーワードの設定に続き、ＣＰＵは、入力した画像データの画像特徴量を抽出する処理を行なう（ステップＳ２１０）。本実施例では、ＭＰＥＧ−７において採用されている色配置（Ｃｏｌｏｒ Ｌａｙｏｕｔ）の手法を用いて画像特徴量を抽出している。具体的には、画像データの輝度色差信号をＹＣｂＣｒの情報に変換したものである。ＣＰＵは、抽出した画像特徴量を、画像データと関連付けて、ハードディスク内に記憶する。なお、画像特徴量の抽出処理は、画像認識装置１５においても同様の処理を実行するため、後の画像認識装置１５の説明において詳しく説明する。
【００４０】
続いて、ＣＰＵは、入力した画像データに付帯するＧＰＳ情報を抽出する（ステップＳ２２０）。そして、ＣＰＵは、抽出したＧＰＳ情報を、キーワード，画像特徴量と同様、画像データと関連付けてハードディスク内に記憶している。なお、画像データに対するＧＰＳ情報が無いような場合には、ユーザがキーボードを介して入力する。
【００４１】
ＧＰＳ情報の抽出後、ＣＰＵは領域レンジＲを設定する処理を行なう（ステップＳ２３０）。領域レンジＲは、上述のように、画像データ内の被写体を撮影することが可能な領域を経緯度で表わしたものである。具体的には、図３に示すように、ＧＰＳ情報による経緯度を中心に、画像データ内の被写体を撮影することができる概略の領域を設定する。例えば、ＧＰＳ情報による経度、緯度が（Ｘ，Ｙ）であり、被写体が「東京タワー」である場合に、「東京タワー」を撮影することができる範囲として（Ｘ±Ｒ，Ｙ±Ｒ）で表現される領域を設定する。この場合のＲが領域レンジＲとして設定される。ＣＰＵは、ユーザが画像データ毎にキーボードを介して入力した領域レンジＲを受け付け、画像データと関連付けて、ハードディスク内に記憶する。
【００４２】
続いて、ＣＰＵは、入力した画像データの位置情報関連度ＰＲを設定する処理を行なう（ステップＳ２４０）。上述のように、位置情報関連度ＰＲは、キーワードを付された画像データ内の被写体と、ＧＰＳ情報との関連性を評価したものである。本実施例では、所定のキーワードが付され、ディスプレイ上に表示された画像データの被写体が、特定の場所に存在する程度の高低を数値によって表わしている。ＣＰＵは、ユーザが入力した位置情報関連度ＰＲを画像データと関連付けて、ハードディスク内に記憶する。
【００４３】
位置情報関連度ＰＲの設定に際しては、キーワードを付した画像データ内の被写体から、画像データのタイプを大きく３つ（タイプＡ〜Ｃ）に分類する。タイプＡは、キーワードを備えた被写体が「その場所固有の対象物を示している」場合であり、タイプＣは、「その場所固有の対象物ではない」場合であり、タイプＢは、タイプＡからタイプＣの中間に相当する場合である。
【００４４】
タイプＡに分類される画像データには、０．９≦ＰＲ≦１．０の範囲の位置情報関連度ＰＲが設定される。例えば、画像データ内の被写体が「東京タワー」であり、キーワードとして「東京タワー」が設定されている場合、「東京タワー」は「その場所固有の対象物である」ため、高い値（例えば、ＰＲ＝０．９５）の位置情報関連度ＰＲが設定される。
【００４５】
タイプＣに分類される画像データには、ＰＲ＝０の位置情報関連度ＰＲが設定される。例えば、画像データ内の被写体が「ネコ」であり、キーワードとして「ネコ」が設定されている場合、「ネコ」は「場所に固有の対象物ではない」ため、低い値の位置情報関連度ＰＲ（ＰＲ＝０）が設定される。
【００４６】
タイプＢに分類される画像データには、０＜ＰＲ＜０．９の範囲の位置情報関連度ＰＲが設定される。例えば、画像データ内の被写体が「奈良公園」の「シカ」であり、キーワードとして「シカ」が設定されている場合、「シカ」は場所に固有の対象物ではないが、「奈良公園」など、ある程度特定の場所に限られるため、所定の値（例えば、ＰＲ＝０．７）の位置情報関連度ＰＲが設定される。こうした対象としては、「飛行場」の「飛行機」，「港」の「船舶」，「動物園」の「パンダ」，「山岳公園」の「高山植物」など、場所に固有ではないものの、設備や生息域といった有効な一定の広がりをもっているものが該当する。
【００４７】
こうしてキーワード，画像特徴量，ＧＰＳ情報，領域レンジＲ，位置情報関連度ＰＲを設定し、一連のデータベース２０の構築処理を終了する。その結果、ハードディスクには図４に示す画像データに関する種々の情報が蓄積される。
【００４８】
例えば、図４に示すように、画像データの内容（被写体）が東京タワーであるような場合には、位置情報関連度ＰＲとしてＰＲ＝０．９５（タイプＡ），ＧＰＳ情報として撮影場所の経度、緯度，領域レンジＲとしてＲ＝０．０１２，画像特徴量としてのＹＣｂＣｒの情報もしくはこれを処理した情報，キーワードとして「東京タワー」「芝公園」などが設定され、ハードディスクに蓄積される。つまり、こうした情報を記憶したハードディスクが、データベース２０となる。以上の処理を経て、構築されたデータベース２０を辞書として利用し、画像認識装置１５は、任意の画像データの内容を認識する。
【００４９】
Ｃ．画像認識装置の構造：
図５は、本発明の画像認識処理のプログラムをソフトウェアとして備えた画像認識装置１５の概略構造図である。図示するように、画像認識装置１５は、処理対象となる所定の画像を撮影し、その画像データを記憶したデジタルスチルカメラ２７、デジタルスチルカメラ２７に記憶された画像データを入力して所定の処理を施すコンピュータ３０（以下、ＰＣ３０と記す）、ＰＣ３０により処理される画像の表示等を行なうディスプレイ４０、ユーザインターフェースとしてのキーボード４１やマウス４２等から構成されている。
【００５０】
デジタルスチルカメラ２７は、撮像センサとしてのＣＣＤ，ＣＣＤを介して取り込んだ画像データに所定の画像処理を施す画像処理回路，画像データを記憶するメモリカード２４などを備えると共に、ＧＰＳを用いてデジタルスチルカメラ２７の地理的な位置情報を記憶するＧＰＳ機能を備えている。この機能により、画像データにはＧＰＳ情報が付加されている。
【００５１】
一般に、デジタルスチルカメラで取扱う画像のデータ構造は、いわゆるＥｘｉｆ形式であり、ＪＰＥＧ形式の画像データを基本に、画像データを撮影した際の撮影情報、サムネイル画像など、所定の画像付加情報を、Ｅｘｉｆ規約に準拠した形式で埋め込んで構成されている。画像付加情報としては、撮影日時，撮影時の露出時間，絞り値，シャッタースピード，ＩＳＯ感度，ホワイトバランスなど種々の情報が記憶されている。本実施例では、これらに加え、画像付加情報の一つとして、ＧＰＳ情報が含まれている。なお、ＧＰＳ情報は、Ｅｘｉｆ規約でユーザの使用量域として設定されているメーカーノートに書き込むものとしても良い。
【００５２】
なお、取扱う画像データは、位置情報が付与されているものであれば、デジタルスチルカメラ２７からの取得に代えて、デジタルビデオカメラ２１，カメラ付きの携帯電話２３，メモリカード２４，ハードディスク２５など、撮像機器や記録媒体からの取得であっても良い。
【００５３】
ＰＣ３０は、内部にＣＰＵ３１，ＲＯＭ３２，ＲＡＭ３３，ハードディスク３４，Ｉ／Ｆ回路部３５等を有し、各機器はそれぞれ内部バスにより接続されている。Ｉ／Ｆ回路部３５は、デジタルスチルカメラ２７，ディスプレイ４０，キーボード４１，マウス４２と接続しており、こうした外部の機器とＰＣ３０とのインターフェイスとして機能している。
【００５４】
ＲＯＭ３２内には、所定のオペレーションシステムが記憶されており、ＰＣ３０の電源投入と共に、ＣＰＵ３１はＲＯＭ３２内のオペレーションシステムＯＳを読み込み、起動する。
【００５５】
ハードディスク３４には、オペレーションシステムＯＳ上で動作する種々のアプリケーションプログラムがインストールされている。本実施例では、アプリケーションプログラムの一つとして、画像認識処理プログラムがインストールされている。ＣＰＵ３１は、キーボード４１やマウス４２を介したユーザ操作の指示を受け、このプログラムを読み出し、ＲＡＭ３３上に展開して実行する。
【００５６】
Ｄ．画像認識処理：
図６は、画像認識処理のフローチャートである。この処理は、任意の画像データの内容に対応したキーワードを抽出する処理、換言すると、入力した任意の画像データの内容を認識する処理であり、キーボードを介したユーザ指示により実行される。
【００５７】
処理を開始すると、ＣＰＵ３１は、一の画像データを取得する（ステップＳ６００）。具体的には、処理の開始と同時に、ディスプレイ上に表示されたデジタルスチルカメラ２７内の画像の中からユーザが指定する任意の一枚に対応する画像データを取得している。
【００５８】
一の画像データを取得したＣＰＵ３１は、その画像データに付帯する位置情報（ＧＰＳ情報）を抽出する（ステップＳ６０５）。抽出されるＧＰＳ情報は、一の画像を撮影した撮影場所の経度、緯度の情報である。
【００５９】
続いて、ＣＰＵ３１は、一の画像データの画像特徴量を抽出する（ステップＳ６１０）。本実施例では、上述のように、色配置の手法を用いて画像特徴量を抽出する。具体的には、ＣＰＵ３１は、画像データを８×８の小ブロックに分割し、各小ブロックを構成する画素データの値（Ｒ、Ｇ、Ｂ）の平均値（Ｒave、Ｇave、Ｂave）を各小ブロックの代表値（Ｒrep、Ｇrep、Ｂrep）として用いる。ＣＰＵ３１は求めた代表値を用いて８×８の画素データから構成される縮小画素データを作成する。ＣＰＵ３１は、作成した縮小画像データ（ＲＧＢデータ）をＹＣｂＣｒデータに変換し、更に、Ｙ、Ｃｂ、Ｃｒの各成分について離散コサイン変換（ＤＣＴ）を行う。ＤＣＴによって、画像データは周波数成分に変換される。なお、離散コサイン変換は当業者において周知な変換処理であるから詳細な説明は省略する。
【００６０】
例えば、図７に示すように、Ｙ、Ｃｂ、Ｃｒの各成分について８×８の係数値が算出される。すなわち、
Ｙｃ[8][8]＝{yc00, yc01, yc02...yc76,yc77}
Ｃｂｃ[8][8]＝{cbc00, cbc01, cbc02...cbc76,cbc77}
Ｃｒｃ[8][8]＝{crc00, crc01, crc02...crc76,crc77}
となり、画像データ（画像）との位置関係は、例えば図７に示すとおりとなる。図７に示すように、係数値が大きくなるにつれて周波数は高くなる。
【００６１】
なお、画像特徴量の取得としては、Ｒ、Ｇ、Ｂ各成分のヒストグラムを用いる手法、最大・最小輝度値および平均輝度値を用いる手法など、周知の種々の手法を用いるものとしても良い。この場合、データベース２０側も同様の手法により、画像特徴量を抽出しておけば良い。
【００６２】
続いて、ＣＰＵ３１は、信頼性係数の基準値の初期化を行なう（ステップＳ６２０）。信頼性係数ＴＣ１は、上述のとおり、画像データの画像特徴量の類似具合を表わす指標であり、後述する処理ステップにおいて算出されるが、ここでは、まず、算出される信頼性係数ＴＣ１を評価する基準値ＴＣｍａｘをゼロに設定して初期化している。
【００６３】
ＣＰＵ３１は、データベース２０から一の対象を選択する（ステップＳ６３０）。上述のように、データベース２０は、位置情報関連度ＰＲ，ＧＰＳ情報，領域レンジＲ，画像特徴量，キーワードなどの種々の情報を一まとまり（情報群）として一の画像データに関連付け、複数の情報群を記憶している。このステップは、データベース２０内の複数の情報群から一の情報群を選択する処理であり、間接的に一の情報群に関連付けられた画像データを選択する処理であると言える。よって、このステップでは、一の画像データが選択されるものとし、以下、選択された画像データを、ステップＳ６００で取得した一の画像データと区別するため、「データベース画像」と呼ぶこととする。
【００６４】
データベース画像を選択したＣＰＵ３１は、データベース２０内の全てのデータベース画像が選択されたか否かを判断する（ステップＳ６３５）。ＣＰＵ３１は、選択されたデータベース画像について後述する処理を実行するとフラグを立てており、そのフラグを確認することで、選択され、処理済みか否かを判断している。
【００６５】
ステップＳ６３５で、全てのデータベース画像について選択されたと判断した（Ｙｅｓ）場合には、データベース２０内の検索は終了したものとして、一連の画像認識処理を終了する。
【００６６】
他方、ステップＳ６３５で、全てのデータベース画像は選択されていないと判断した（Ｎｏ）場合には、選択されたデータベース画像の位置情報関連度ＰＲを抽出し、位置情報関連度ＰＲがどのタイプ（Ａ〜Ｃ）に属するかを判断する（ステップＳ６４５）。
【００６７】
ステップＳ６４５で、位置情報関連度ＰＲが、タイプＢまたはタイプＣに該当する場合（ＰＲが０．９よりも小さい場合）には、ステップＳ６６０へ移行する。すなわち、位置情報関連度ＰＲがそれほど高くない（タイプＡのように、その場所固有の対象物である可能性が高くない）データベース画像については、取得した一の画像データのキーワードを抽出するための検索対象とする。
【００６８】
他方、ステップＳ６４５で、位置情報関連度ＰＲが、タイプＡに該当する場合（ＰＲが０．９以上の場合）には、選択されたデータベース画像のＧＰＳ情報および領域レンジＲを抽出する。そして、既に抽出してある（ステップＳ６０５）一の画像データのＧＰＳ情報による撮影場所の経度、緯度が、データベース画像の領域レンジＲを加味した経度，緯度の範囲内であるか否かを判断する（ステップＳ６５５）。
【００６９】
ステップＳ６５５で、データベース画像の経度，緯度の範囲内に納まらないと判断した（Ｎｏ）場合には、現在選択されているデータベース画像に対して処理済みのフラグを立てて、ステップＳ６３０へ戻り、データベース２０から次のデータベース画像を選択する。
【００７０】
つまり、タイプＡに分類されたデータベース画像には、その場所固有の対象物である被写体が写っていることとなるため、このデータベース画像と任意の画像データとがほぼ同じ内容であると判断するためには、両者の撮影場所が近いことが条件となる。
【００７１】
データベース画像の経度、緯度を中心とする領域レンジＲを加味した範囲内（図３参照）に、一の画像データの撮影場所の経度，緯度が納まらないような場合には、そのデータベース画像のキーワードを抽出しても、一の画像データの画像内容を適切に表現したものとはならない。したがって、タイプＡであって、経度、緯度の位置情報が条件を満たさないデータベース画像に対しては、これを検索対象から除外する処理を行なっている。
【００７２】
他方、ステップＳ６５５で、データベース画像の経度，緯度の範囲内に納まると判断した（Ｙｅｓ）場合には、ステップＳ６６０へ移行する。すなわち、タイプＡであって、経度、緯度の位置情報が条件を満たす(撮影場所が近い)データベース画像についてのみ、検索対象としている。
【００７３】
タイプＢ，Ｃであるデータベース画像、または、タイプＡであって位置情報が条件を満たすデータベース画像を検索対象としたＣＰＵ３１は、データベース画像の画像特徴量を抽出し、これと、ステップＳ６１０で既に抽出してある画像データの画像特徴量とから、両画像の画像特徴量の距離Ｄを算出する（ステップＳ６６０）。
【００７４】
画像特徴量の距離Ｄは、両画像の類似度あるいは非類似度を表わし、例えば、ユークリッド距離を用いる場合には、以下の式によって算出される。
【００７５】
【数１】
【００７６】
なお、Ｙｃｐ，Ｃｂｃｐ，Ｃｒｃｐはデータベース画像の画像特徴量（係数）を、Ｙｃｑ，Ｃｂｃｑ，Ｃｒｃｑは画像データの画像特徴量（係数）をそれぞれ示し、本実施例では、ＭＰＥＧ−７に採用される画像特徴量を用いているため、変数ｉ，ｊは、共に０〜７（ｎ＝７）の値を採る。
【００７７】
距離Ｄを算出したＣＰＵ３１は、信頼性係数ＴＣを算出する（ステップＳ６７０）。信頼性係数ＴＣは、データベース画像の画像特徴量と画像データの画像特徴量との差、つまり、上記の距離Ｄに応じて決定される係数であり、両者の画像特徴量が近い（距離Ｄが小さい）ほど、信頼性が高いとして、係数は大きな値となる。具体的には、次式により算出される。
【００７８】
【数２】
【００７９】
なお、Ｄｒｅｆは、距離Ｄに対する一つの基準値であり、両者の画像データをほぼ同じもの（類似度が高い）であると判断できる基準値として、予め設定されている。すなわち、この式において、距離ＤがＤｒｅｆ以下であり、信頼性係数ＴＣが１を超えるような場合には、両者の画像データはほぼ同じものであると判断する。したがって、信頼性係数ＴＣが１を超える場合には信頼性係数ＴＣ＝１として設定し、信頼性係数ＴＣの取り得る範囲を０≦ＴＣ≦１．０としている。
【００８０】
続いて、ＣＰＵ３１は、算出した信頼性係数ＴＣの補正を行なう（ステップＳ６８０）。具体的には、位置情報関連度ＰＲを用いて、次式により補正を行なう。
【００８１】
【数３】
【００８２】
この補正は、位置関連情報度ＰＲが大きな値である場合には、上記ステップで算出された信頼性係数ＴＣを、より一層大きな値の信頼性係数ＴＣ１に修正し、信頼性が高い（一の画像データの画像内容を表わす適切なキーワードが付されたデータベース画像である）ことを示すものである。つまり、両者のＧＰＳ情報に基づく位置情報が近く、かつ、タイプＡあるいはタイプＢのデータベース画像であるような場合には、位置情報関連度ＰＲが比較的大きな値となり、信頼性係数ＴＣ１も大きな値（１に近い値）となる。
【００８３】
なお、この信頼性係数ＴＣ１を算出する対象となるデータベース画像は、上記のステップＳ６４５，Ｓ６５５より、タイプＢ，Ｃ、または、タイプＡであって位置情報が条件を満たす場合である。したがって、位置情報関連度ＰＲが高いタイプＡであっても、ＧＰＳ情報に基づく位置情報から近い場所で撮影されていないと判断されたデータベース画像は、処理対象とならないため、そのまま位置情報関連度ＰＲを用いた補正をしても何ら問題は生じない。
【００８４】
また、データベース画像がタイプＣである場合も、位置情報関連度ＰＲがゼロで新たな信頼性係数ＴＣ１は元の信頼性係数ＴＣのままであるため、補正上の問題はない。こうした補正を行なうことで、画像データ自体の画像特徴量の類似度は高いものの、異なる場所で撮影された全く別々の被写体である場合にも適切な信頼性係数ＴＣ１を算出することができる。
【００８５】
続いて、ＣＰＵ３１は、補正した信頼性係数ＴＣ１が、現在設定されている信頼性係数の基準値ＴＣｍａｘよりも大きいか否かを判断する（ステップＳ６８５）。
【００８６】
ステップＳ６８５で、信頼性係数ＴＣ１が基準値ＴＣｍａｘよりも大きいと判断された（Ｙｅｓ）場合には、基準値ＴＣｍａｘを信頼性係数ＴＣ１に置き換えると共に、現在の処理対象のデータベース画像のキーワードを、抽出キーワードとして一時的に記憶し（ステップＳ６９０）、ステップＳ６３０に戻って、次のデータベース画像について一連の処理を繰り返す。なお、抽出キーワードは、信頼性係数の基準値ＴＣｍａｘを置き換える毎に、新たな処理対処のデータベース画像のキーワードに書き換えられる。
【００８７】
他方、ステップＳ６８５で、信頼性係数ＴＣ１が基準値ＴＣｍａｘ以下であると判断された（Ｎｏ）場合には、キーワードを記憶することなく、ステップＳ６３０に戻って、次のデータベース画像について一連の処理を繰り返す。なお、ステップＳ６８５，Ｓ６９０の処理によりステップＳ６３０へ戻る前に、ＣＰＵ３１は、処理対象のデータベース画像に対して処理済のフラグを立てている。
【００８８】
こうして一連の処理を繰り返し、データベース２０内のデータベース画像の全てについて処理した後、ステップＳ６３５からＥＮＤに抜けて、画像認識処理を終了する。この際、ＣＰＵ３１は、一時的に記憶された抽出キーワードをディスプレイ４０上に表示する。
【００８９】
以上の画像認識処理によれば、全てのデータベース画像に対して処理を繰り返し、信頼性係数ＴＣ１が最も高くなるデータベース画像に対応したキーワードを抽出する。したがって、任意の一の画像データの画像内容を表わす適切なキーワードを抽出することができる。
【００９０】
また、本実施例の画像認識処理では、タイプＡであって位置情報が所定条件を満たさないデータベース画像を検索対象から除外するなど、位置情報関連度ＰＲに応じて検索対象を絞り込む処理を行なう。すなわち、画像特徴量を用いた類似具合を判断する前に、位置情報関連度ＰＲを加味して、処理対象を減らすことができる。したがって、キーワードの検索速度を向上し、検索時間を短縮することができる。
【００９１】
さらには、位置情報関連度ＰＲに応じて検索対象を絞り込むことで、任意の一の画像データの画像内容を表わす適切なキーワードとはなり得ないデータベース画像を除外することができる。したがって、適切なキーワードを抽出する確率が向上し、任意の画像データの画像内容を認識する精度（認識率）を向上させることができる。
【００９２】
本実施例の画像認識処理では、データベース画像の画像特徴量に加え、位置情報関連度ＰＲを考慮して補正した信頼性係数ＴＣ１を求める。すなわち、画像特徴量のみではなく、撮影された位置も近いと判断されるデータベース画像に対する信頼性を向上する補正を行なう。したがって、補正された信頼性係数ＴＣ１を単純に評価することで、適切なキーワードを抽出することができ、画像内容の認識率を向上することができる。
【００９３】
本実施例では、データベース画像を構成する画像データを大きく分類する一つの基準として、位置情報関連度ＰＲ＝０．９を用いたが、ＰＲは０．９に限るものではない。例えば、０．９よりも大きい値を基準とするものとしても良い。
【００９４】
こうして画像認識処理により抽出されたキーワードは、画像データ自体（例えば、Ｅｘｉｆ形式のメーカノート）に付与するものとしても良い。こうすることで、後日の画像データの管理、分類などに有効に利用することができる。また、データベースの構築に利用するものとしても良い。
【００９５】
なお、本実施例では、データベース２０を画像認識装置１５から独立した構成として説明したが、画像認識装置１５はデータベース２０を含む構成であっても良い。例えば、画像認識装置１５として画像認識処理プログラムをインストールしたＰＣ３０内のハードディスク３４に、図４に示す画像データに関する種々の情報を蓄積することで、ハードディスク３４をデータベース２０とすれば良い。かかる態様で画像認識装置１５を構成しても、迅速かつ、適切なキーワードの抽出を行なうことができる。
【００９６】
Ｅ．変形例：
本実施例では、画像認識処理により、一のキーワードを抽出するものとして説明したが、複数のキーワードを抽出するものとしても良い。例えば、図６にステップＳ６９０で、順次抽出キーワードを書き換える処理に代えて、信頼性係数ＴＣ１が上位３番目までに該当する抽出キーワードを記憶し、これらを候補として抽出するものとすれば良い。抽出した複数のキーワードをディスプレイ４０上に表示し、ユーザが一を選択するアプリケーションとすることで、任意の画像データに対し、より一層適切なキーワードを抽出することができる。
【００９７】
また、本実施例では、データベース２０は、位置関連情報ＰＲ，ＧＰＳ情報，領域レンジＲ，画像特徴量，キーワードなどの情報である特徴量を記憶したものとして説明したが、これらに加えて、画像データ自体を記憶しているものとしても良い。こうすることで、種々の情報と画像データとの関連付けが容易となる。
【００９８】
本実施例では、アプリケーション上でユーザが指定した１枚の画像データの処理について説明したが、デジタルスチルカメラからハードディスク上にコピーした全ての画像データについて、順次、画像認識処理を実行する態様であっても良い。こうすることで、画像認識処理におけるユーザ操作の手間を省き、利便性を向上することができる。
【００９９】
さらに、本実施例では、コンピュータのハードディスク上にデータベース２０を構築するものとしたが、例えば、ネットワーク上のサーバにデータベース２０を構築するものとしても良い。この場合、ＰＣ３０のＩ／Ｆ回路３５にネットワークとの接続機能を設ければ良い。こうすることで、大容量のデータベース２０を構築することができる。
【０１００】
以上、本発明の実施の形態について説明したが、本発明はこうした実施の形態に何ら限定されるものではなく、本発明の趣旨を逸脱しない範囲内において様々な形態で実施し得ることは勿論である。本実施例では、画像認識処理はソフトウェアプログラムの態様にて実行されるが、上記の各処理（ステップ）を実行する論理回路を備えたハードウェア回路を用いるものとしても良い。こうすることで、ＣＰＵ３１の負荷を軽減することができると共に、より一層高速に各処理を実行することができる。
【図面の簡単な説明】
【０１０１】
【図１】一実施例の画像認識装置を含む画像認識システムを示す説明図である。
【図２】データベースの構築処理の流れを示すフローチャートである。
【図３】領域レンジＲの説明図である。
【図４】データベースに蓄積される画像データの種々の情報の説明図である。
【図５】画像認識装置の概略構造図である。
【図６】画像認識処理のフローチャートである。
【図７】画像の特徴量の説明図である。
【符号の説明】
【０１０２】
１０...データベース作成装置
１１...キーワード設定部
１２...領域レンジ設定部
１３...位置情報関連度設定部
１４...画像特徴量抽出装置
１５...画像認識装置
１６...画像特徴量抽出装置
１７...識別器
１８...信頼性係数補正器
２０...データベース
２１...デジタルビデオカメラ
２３...携帯電話
２４...メモリカード
２５...ハードディスク
２７...デジタルスチルカメラ
３０...コンピュータ
３１...ＣＰＵ
３２...ＲＯＭ
３３...ＲＡＭ
３４...ハードディスク
３５...Ｉ／Ｆ回路部
４０...ディスプレイ
４１...キーボード
４２...マウス
１００...画像認識システム
ＰＲ...位置情報関連度
Ｒ...領域レンジ
ＴＣ...信頼性係数
ＴＣ１...信頼性係数
【特許請求の範囲】
【請求項１】
撮影位置の情報を備えた一の画像データの画像内容を表わすキーワードを、所定の検索対象から抽出する処理を実行し、画像内容を認識する画像認識装置であって、
前記検索対象となる複数の対象画像データ毎に、画像特徴量と、画像内容を表わすキーワードと、該画像特徴量を備えた画像が撮影される位置情報と、該キーワードが付与された物体が特定場所に固有のものである度合を示す位置情報関連度とを関連付けし、データベースとして記憶する記憶手段と、
前記一の画像データを取得画像データとして入力し、該取得画像データが撮影される位置情報を抽出する画像データ入力手段と、
前記取得画像データに備わった画像特徴量を抽出する画像特徴量抽出手段と、
前記データベースに記憶された前記対象画像データの位置情報関連度と、前記取得画像データの位置情報および該対象画像データの位置情報から求めた撮影位置の隔たりとを用いて、当該対象画像データを前記キーワードの抽出処理の処理対象から除外するか否かを判断する除外判断手段と、
前記処理対象にすると判断した場合に、前記取得画像データの画像特徴量と前記対象画像データの画像特徴量とを比較して、所定条件を満たす該対象画像データのキーワードを、前記データベースから抽出するキーワード抽出手段と
を備えた画像認識装置。
【請求項２】
請求項１に記載の画像認識装置であって、
前記位置情報関連度は、
Ａ）前記対象画像データ内のキーワードが付与された物体が、特定場所に固有のものであるタイプＡと、
Ｂ）前記対象画像データ内のキーワードが付与された物体が、特定場所に存在する程度が高く、かつ、存在する場所が限られるものであるタイプＢと、
Ｃ）前記対象画像データ内のキーワードが付与された物体が、特定場所に固有のものではないタイプＣとの３つのタイプに応じて分類して設定され、
前記除外判断手段は、前記対象画像データの位置情報関連度が前記タイプＡであり、かつ、前記撮影位置の隔たりが所定量以上である場合に、当該対象画像データを前記処理対象から除外すると判断する
画像認識装置。
【請求項３】
請求項２に記載の画像認識装置であって、更に、
前記記憶手段は、前記対象画像データ内のキーワードが付与された物体を撮影することができる地理的な範囲を示す領域レンジを、該対象画像データ毎に関連付けし、前記データベースとして記憶しており、
前記除外判断手段は、前記取得画像データの位置情報が、前記データベースに記憶された前記対象画像データの領域レンジ内に入らない場合に、前記撮影位置の隔たりが所定以上であると判断する
画像認識装置。
【請求項４】
請求項１ないし３のいずれかに記載の画像認識装置であって、
前記キーワード抽出手段は、
前記取得画像データの画像特徴量と前記対象画像データの画像特徴量とから、該取得画像データと該対象画像データとの類似または非類似の程度を示す信頼性係数を算出する信頼性係数算出部と、
前記算出された信頼性係数に基づいて前記対象画像データのキーワードを抽出する抽出部とからなる
画像認識装置。
【請求項５】
請求項４に記載の画像認識装置であって、更に、
前記キーワード抽出手段は、
前記画像特徴量を用いて算出された信頼性係数に、前記位置情報関連度を加味して該信頼性係数の補正を行なう補正部を備え、
前記抽出部は、前記補正された信頼性係数に基づいて前記キーワードを抽出する
画像認識装置。
【請求項６】
請求項５に記載の画像認識装置であって、
前記抽出部は、前記検索対象となる対象画像データ毎に求めた補正後の信頼性係数の中、該信頼性係数の最も高い該対象画像データのキーワードを抽出する
画像認識装置。
【請求項７】
検索対象となる複数の対象画像データ毎に、画像特徴量と、画像内容を表わすキーワードと、該画像特徴量を備えた画像が撮影される位置情報と、該キーワードが付与された物体が特定場所に固有のものである度合を示す位置情報関連度とを関連付けて記憶したデータベースを利用して、撮影位置の位置情報を備えた一の画像データの画像内容を表わすキーワードを、当該データベースから抽出する処理を実行し、画像内容を認識する画像認識装置であって、
前記一の画像データを取得画像データとして入力し、該取得画像データが撮影される位置情報を抽出する画像データ入力手段と、
前記取得画像データに備わった画像特徴量を抽出する画像特徴量抽出手段と、
前記データベースに記憶された前記対象画像データの位置情報関連度と、前記取得画像データの位置情報および該対象画像データの位置情報から求めた撮影位置の隔たりとを用いて、当該対象画像データを前記キーワードの抽出処理の処理対象から除外するか否かを判断する除外判断手段と、
前記処理対象にすると判断した場合に、前記取得画像データの画像特徴量と前記対象画像データの画像特徴量とを比較して、所定条件を満たす該対象画像データのキーワードを、前記データベースから抽出するキーワード抽出手段と
を備えた画像認識装置。
【請求項８】
撮影位置の情報を備えた一の画像データの画像内容を表わすキーワードを、所定の検索対象から抽出する処理を実行し、画像内容を認識する画像認識方法であって、
前記検索対象となる複数の対象画像データ毎に、画像特徴量と、画像内容を表わすキーワードと、該画像特徴量を備えた画像が撮影される位置情報と、該キーワードが付与された物体が特定場所に固有のものである度合を示す位置情報関連度とを関連付けして、データベースとして記憶し、
前記一の画像データを取得画像データとして入力し、該取得画像データが撮影される位置情報を抽出し、
前記取得画像データに備わった画像特徴量を抽出し、
前記データベースに記憶された前記対象画像データの位置情報関連度と、前記取得画像データの位置情報および該対象画像データの位置情報から求めた撮影位置の隔たりとを用いて、当該対象画像データを前記キーワードの抽出処理の処理対象から除外するか否かを判断し、
前記処理対象にすると判断した場合に、前記取得画像データの画像特徴量と前記対象画像データの画像特徴量とを比較して、所定条件を満たす該対象画像データのキーワードを、前記データベースから抽出する
画像認識方法。
【請求項９】
撮影位置の情報を備えた一の画像データの画像内容を表わすキーワードを、所定の検索対象から抽出する処理を実行し、画像内容を認識する画像認識装置を制御するコンピュータプログラムであって、
前記検索対象となる複数の対象画像データ毎に、画像特徴量と、画像内容を表わすキーワードと、該画像特徴量を備えた画像が撮影される位置情報と、該キーワードが付与された物体が特定場所に固有のものである度合を示す位置情報関連度とを関連付けして、データベースとして記憶する機能と、
前記一の画像データを取得画像データとして入力し、該取得画像データが撮影される位置情報を抽出する機能と、
前記取得画像データに備わった画像特徴量を抽出する機能と、
前記データベースに記憶された前記対象画像データの位置情報関連度と、前記取得画像データの位置情報および該対象画像データの位置情報から求めた撮影位置の隔たりとを用いて、当該対象画像データを前記キーワードの抽出処理の処理対象から除外するか否かを判断する機能と、
前記処理対象にすると判断した場合に、前記取得画像データの画像特徴量と前記対象画像データの画像特徴量とを比較して、所定条件を満たす該対象画像データのキーワードを、前記データベースから抽出する機能と
を前記画像認識装置に実現させるコンピュータプログラム。
【請求項１０】
請求項９に記載のコンピュータプログラムをコンピュータに読み取り可能に記録した記録媒体。
【請求項１】
撮影位置の情報を備えた一の画像データの画像内容を表わすキーワードを、所定の検索対象から抽出する処理を実行し、画像内容を認識する画像認識装置であって、
前記検索対象となる複数の対象画像データ毎に、画像特徴量と、画像内容を表わすキーワードと、該画像特徴量を備えた画像が撮影される位置情報と、該キーワードが付与された物体が特定場所に固有のものである度合を示す位置情報関連度とを関連付けし、データベースとして記憶する記憶手段と、
前記一の画像データを取得画像データとして入力し、該取得画像データが撮影される位置情報を抽出する画像データ入力手段と、
前記取得画像データに備わった画像特徴量を抽出する画像特徴量抽出手段と、
前記データベースに記憶された前記対象画像データの位置情報関連度と、前記取得画像データの位置情報および該対象画像データの位置情報から求めた撮影位置の隔たりとを用いて、当該対象画像データを前記キーワードの抽出処理の処理対象から除外するか否かを判断する除外判断手段と、
前記処理対象にすると判断した場合に、前記取得画像データの画像特徴量と前記対象画像データの画像特徴量とを比較して、所定条件を満たす該対象画像データのキーワードを、前記データベースから抽出するキーワード抽出手段と
を備えた画像認識装置。
【請求項２】
請求項１に記載の画像認識装置であって、
前記位置情報関連度は、
Ａ）前記対象画像データ内のキーワードが付与された物体が、特定場所に固有のものであるタイプＡと、
Ｂ）前記対象画像データ内のキーワードが付与された物体が、特定場所に存在する程度が高く、かつ、存在する場所が限られるものであるタイプＢと、
Ｃ）前記対象画像データ内のキーワードが付与された物体が、特定場所に固有のものではないタイプＣとの３つのタイプに応じて分類して設定され、
前記除外判断手段は、前記対象画像データの位置情報関連度が前記タイプＡであり、かつ、前記撮影位置の隔たりが所定量以上である場合に、当該対象画像データを前記処理対象から除外すると判断する
画像認識装置。
【請求項３】
請求項２に記載の画像認識装置であって、更に、
前記記憶手段は、前記対象画像データ内のキーワードが付与された物体を撮影することができる地理的な範囲を示す領域レンジを、該対象画像データ毎に関連付けし、前記データベースとして記憶しており、
前記除外判断手段は、前記取得画像データの位置情報が、前記データベースに記憶された前記対象画像データの領域レンジ内に入らない場合に、前記撮影位置の隔たりが所定以上であると判断する
画像認識装置。
【請求項４】
請求項１ないし３のいずれかに記載の画像認識装置であって、
前記キーワード抽出手段は、
前記取得画像データの画像特徴量と前記対象画像データの画像特徴量とから、該取得画像データと該対象画像データとの類似または非類似の程度を示す信頼性係数を算出する信頼性係数算出部と、
前記算出された信頼性係数に基づいて前記対象画像データのキーワードを抽出する抽出部とからなる
画像認識装置。
【請求項５】
請求項４に記載の画像認識装置であって、更に、
前記キーワード抽出手段は、
前記画像特徴量を用いて算出された信頼性係数に、前記位置情報関連度を加味して該信頼性係数の補正を行なう補正部を備え、
前記抽出部は、前記補正された信頼性係数に基づいて前記キーワードを抽出する
画像認識装置。
【請求項６】
請求項５に記載の画像認識装置であって、
前記抽出部は、前記検索対象となる対象画像データ毎に求めた補正後の信頼性係数の中、該信頼性係数の最も高い該対象画像データのキーワードを抽出する
画像認識装置。
【請求項７】
検索対象となる複数の対象画像データ毎に、画像特徴量と、画像内容を表わすキーワードと、該画像特徴量を備えた画像が撮影される位置情報と、該キーワードが付与された物体が特定場所に固有のものである度合を示す位置情報関連度とを関連付けて記憶したデータベースを利用して、撮影位置の位置情報を備えた一の画像データの画像内容を表わすキーワードを、当該データベースから抽出する処理を実行し、画像内容を認識する画像認識装置であって、
前記一の画像データを取得画像データとして入力し、該取得画像データが撮影される位置情報を抽出する画像データ入力手段と、
前記取得画像データに備わった画像特徴量を抽出する画像特徴量抽出手段と、
前記データベースに記憶された前記対象画像データの位置情報関連度と、前記取得画像データの位置情報および該対象画像データの位置情報から求めた撮影位置の隔たりとを用いて、当該対象画像データを前記キーワードの抽出処理の処理対象から除外するか否かを判断する除外判断手段と、
前記処理対象にすると判断した場合に、前記取得画像データの画像特徴量と前記対象画像データの画像特徴量とを比較して、所定条件を満たす該対象画像データのキーワードを、前記データベースから抽出するキーワード抽出手段と
を備えた画像認識装置。
【請求項８】
撮影位置の情報を備えた一の画像データの画像内容を表わすキーワードを、所定の検索対象から抽出する処理を実行し、画像内容を認識する画像認識方法であって、
前記検索対象となる複数の対象画像データ毎に、画像特徴量と、画像内容を表わすキーワードと、該画像特徴量を備えた画像が撮影される位置情報と、該キーワードが付与された物体が特定場所に固有のものである度合を示す位置情報関連度とを関連付けして、データベースとして記憶し、
前記一の画像データを取得画像データとして入力し、該取得画像データが撮影される位置情報を抽出し、
前記取得画像データに備わった画像特徴量を抽出し、
前記データベースに記憶された前記対象画像データの位置情報関連度と、前記取得画像データの位置情報および該対象画像データの位置情報から求めた撮影位置の隔たりとを用いて、当該対象画像データを前記キーワードの抽出処理の処理対象から除外するか否かを判断し、
前記処理対象にすると判断した場合に、前記取得画像データの画像特徴量と前記対象画像データの画像特徴量とを比較して、所定条件を満たす該対象画像データのキーワードを、前記データベースから抽出する
画像認識方法。
【請求項９】
撮影位置の情報を備えた一の画像データの画像内容を表わすキーワードを、所定の検索対象から抽出する処理を実行し、画像内容を認識する画像認識装置を制御するコンピュータプログラムであって、
前記検索対象となる複数の対象画像データ毎に、画像特徴量と、画像内容を表わすキーワードと、該画像特徴量を備えた画像が撮影される位置情報と、該キーワードが付与された物体が特定場所に固有のものである度合を示す位置情報関連度とを関連付けして、データベースとして記憶する機能と、
前記一の画像データを取得画像データとして入力し、該取得画像データが撮影される位置情報を抽出する機能と、
前記取得画像データに備わった画像特徴量を抽出する機能と、
前記データベースに記憶された前記対象画像データの位置情報関連度と、前記取得画像データの位置情報および該対象画像データの位置情報から求めた撮影位置の隔たりとを用いて、当該対象画像データを前記キーワードの抽出処理の処理対象から除外するか否かを判断する機能と、
前記処理対象にすると判断した場合に、前記取得画像データの画像特徴量と前記対象画像データの画像特徴量とを比較して、所定条件を満たす該対象画像データのキーワードを、前記データベースから抽出する機能と
を前記画像認識装置に実現させるコンピュータプログラム。
【請求項１０】
請求項９に記載のコンピュータプログラムをコンピュータに読み取り可能に記録した記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２００７−４１７６２（Ｐ２００７−４１７６２Ａ）
【公開日】平成１９年２月１５日（２００７．２．１５）
【国際特許分類】
【出願番号】特願２００５−２２３９２４（Ｐ２００５−２２３９２４）
【出願日】平成１７年８月２日（２００５．８．２）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
【公開日】平成１９年２月１５日（２００７．２．１５）
【国際特許分類】
【出願日】平成１７年８月２日（２００５．８．２）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
[ Back to top ]