画像検索プログラム及び画像検索装置
【課題】共有された画像情報から自己の登録した画像情報に基づいて関連する画像情報を検索する画像検索プログラム及び画像検索装置を提供する。
【解決手段】画像検索装置１は、画像情報ＤＢ２に登録する画像情報２０を受け付ける画像情報受付手段１００と、受け付けた画像情報２０の画像に含まれる人物の顔を認識して顔情報１１１を生成する顔情報認識手段１０１と、受け付けた画像情報２０が有する付随情報１１２を抽出する付随情報抽出手段１０２と、画像情報ＤＢ２に登録済みの画像情報２０から選択された画像情報を検索条件として受け付ける検索条件受付手段１０３と、検索条件受付手段１０３が受け付けた画像情報の顔情報と、付随情報とに基づいて、画像情報ＤＢ２に登録済みの画像情報２０から類似度の高い画像情報を検索する画像情報検索手段１０４と、検索結果を出力する検索結果出力手段１０５とを有する。
【解決手段】画像検索装置１は、画像情報ＤＢ２に登録する画像情報２０を受け付ける画像情報受付手段１００と、受け付けた画像情報２０の画像に含まれる人物の顔を認識して顔情報１１１を生成する顔情報認識手段１０１と、受け付けた画像情報２０が有する付随情報１１２を抽出する付随情報抽出手段１０２と、画像情報ＤＢ２に登録済みの画像情報２０から選択された画像情報を検索条件として受け付ける検索条件受付手段１０３と、検索条件受付手段１０３が受け付けた画像情報の顔情報と、付随情報とに基づいて、画像情報ＤＢ２に登録済みの画像情報２０から類似度の高い画像情報を検索する画像情報検索手段１０４と、検索結果を出力する検索結果出力手段１０５とを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像検索プログラム及び画像検索装置に関する。
【背景技術】
【０００２】
従来の技術として、デジタルカメラで撮影した写真等の付随情報を有する画像情報を付随情報に基づいて自動で分類する画像情報分類装置が提案されている（例えば、特許文献１参照）。
【０００３】
特許文献１に開示された画像情報分類装置は、入力された画像情報が有する付随情報から撮影時間、場所、方位、撮影者の個人情報等を抽出する抽出部と、抽出部が抽出した情報と代表する画像情報の付随情報から抽出された情報との類似度を算出する計算部と、予め定めた分類規則に従って計算部の算出した類似度に基づいて画像情報を分類する分類部とを有する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−２８０２５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明の目的は、共有された画像情報から自己の登録した画像情報に基づいて関連する画像情報を検索する画像検索プログラム及び画像検索装置を提供することにある。
【課題を解決するための手段】
【０００６】
本発明の一態様は、上記目的を達成するため、以下の画像検索プログラム及び画像検索装置を提供する。
【０００７】
［１］コンピュータを、
記憶装置に登録済みの複数の画像情報から選択された画像情報を検索条件として受け付ける検索条件受付手段と、
前記検索条件受付手段が受け付けた前記選択された画像情報から認識された顔情報及び前記選択された画像情報から抽出された付随情報と、前記記憶装置に登録済みの前記複数の画像情報から認識された顔情報及び前記複数の画像情報から抽出された付随情報とを取得して類似度を算出し、類似度の高い画像情報を検索する検索手段として機能させるための画像検索プログラム。
【０００８】
［２］前記検索手段は、前記付随情報として少なくとも前記画像情報が撮影された日時及び時刻と、撮影された位置情報とに基づいて検索する前記［１］に記載の画像検索プログラム。
【０００９】
［３］前記検索手段は、前記選択された画像情報と前記複数の画像情報との前記付随情報の類似度を算出し、類似度の高い画像情報を検索して、当該類似度の高い画像情報から前記選択された画像情報の前記顔情報と類似度の高い画像情報を検索する前記［１］又は［２］に記載の画像検索プログラム。
【００１０】
［４］記憶装置に登録済みの複数の画像情報から選択された画像情報を検索条件として受け付ける検索条件受付手段と、
前記検索条件受付手段が受け付けた前記選択された画像情報から認識された顔情報及び前記選択された画像情報から抽出された付随情報と、前記記憶装置に登録済みの前記複数の画像情報から認識された顔情報及び前記複数の画像情報から抽出された付随情報とを取得して類似度を算出し、類似度の高い画像情報を検索する検索手段とを有する画像検索装置。
【発明の効果】
【００１１】
請求項１又は４に係る発明によれば、共有された画像情報から自己の登録した画像情報に基づいて関連する画像情報を検索することができる。
【００１２】
請求項２に係る発明によれば、付随情報として少なくとも画像情報が撮影された日時及び時刻と、撮影された位置情報とに基づいて検索することができる。
【００１３】
請求項３に係る発明によれば、付随情報の類似度の高い画像情報を検索して、当該類似度の高い画像情報から選択された画像情報の顔情報と類似度の高い画像情報を検索することができる。
【図面の簡単な説明】
【００１４】
【図１】図１は、本発明の実施の形態に係る画像検索システムの構成の一例を示す概略図である。
【図２】図２は、本発明の実施の形態に係る画像検索装置の構成の一例を示すブロック図である。
【図３】図３は、顔情報の構成の一例を示す概略図である。
【図４】図４は、付随情報の構成の一例を示す概略図である。
【図５】図５（ａ）〜（ｃ）は、それぞれ検索条件としての付随情報、検索対象としての付随情報及び検索結果情報の構成の一例を示す概略図である。
【図６】図６（ａ）〜（ｃ）は、検索条件としての顔情報及び検索対象としての顔情報の構成の一例を示す概略図である。
【図７】図７は、検索結果情報の構成の一例を示す概略図である。
【図８】図８は、顔情報認識手段の顔情報の認識動作の一例を示すフローチャートである。
【発明を実施するための形態】
【００１５】
［実施の形態］
（画像検索システムの構成）
図１は、本発明の実施の形態に係る画像検索システムの構成の一例を示す概略図である。
【００１６】
画像検索システム５は、画像検索装置１、画像情報データベース２（以下、「ＤＢ」という。）及び端末装置３Ａ、３Ｂ、３Ｃ等を有し、これらの装置をネットワーク４で互いに通信可能に接続する。ユーザーＡ、Ｂ、Ｃは、それぞれ端末装置３Ａ、３Ｂ、３Ｃを利用して画像検索装置１と通信し、図示しないデジタルカメラ等で撮影して生成された画像情報を画像情報ＤＢ２に画像情報２０として登録するとともに、画像情報ＤＢ２に登録された画像情報２０からユーザーＡ、Ｂ、Ｃに関連する画像情報を検索する。
【００１７】
画像検索装置１は、情報を処理するための機能を備えたＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）や記憶部等の電子部品を備える画像検索装置であり、端末装置３Ａ、３Ｂ、３Ｃから画像情報を受信して画像情報ＤＢ２に保存する。また、画像検索装置１は、端末装置３Ａ、３Ｂ、３Ｃの要求に応じて画像情報ＤＢ２に登録された画像情報２０からユーザーＡ、Ｂ、Ｃに関連する画像情報を検索する。
【００１８】
画像情報ＤＢ２は、端末装置３Ａ、３Ｂ、３Ｃから受信した画像情報を画像情報２０として登録する。なお、画像情報ＤＢ２は、例えば、「ＳＱＬデータベース」、「ＸＭＬデータベース」、「オブジェクト指向データベース」、又はキー（Ｋｅｙ）に対して一意に特定される値（Ｖａｌｕｅ）を返す「Ｋｅｙ−Ｖａｌｕｅデータベース」等を用いることができる。
【００１９】
端末装置３Ａ、３Ｂ、３Ｃは、操作入力用のキーボード、マウス、タッチパッド等の操作部と、液晶ディスプレイ等の表示部と、ＣＰＵや記憶部等の電子部品を有する制御部とを備える。端末装置３Ａ、３Ｂ、３Ｃは、画像検索装置１に利用者の操作に応じた要求を送信し、その要求に対する応答を受信して、受信した内容を制御部で処理した結果を表示部に表示する。なお、端末装置３Ａ、３Ｂ、３Ｃは、例えば、パーソナルコンピュータであり、その他にＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、携帯電話機等を用いることもできる。
【００２０】
ネットワーク４は、インターネット、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等の通信網であり、有線、無線は問わない。
【００２１】
（画像検索装置１の構成）
図２は、本発明の実施の形態に係る画像検索装置１の構成の一例を示すブロック図である。
【００２２】
この画像検索装置１は、ＣＰＵ等から構成され各部を制御するとともに各種のプログラムを実行する制御部１０と、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やフラッシュメモリ等の記録媒体から構成され情報を記憶する記憶装置の一例としての記憶部１１と、ネットワーク４を介して外部と通信する通信部１２とを備える。
【００２３】
制御部１０は、後述する画像検索プログラム１１０を実行することで、画像情報受付手段１００、顔情報認識手段１０１、付随情報抽出手段１０２、検索条件受付手段１０３、画像情報検索手段１０４及び検索結果出力手段１０５等として機能する。
【００２４】
画像情報受付手段１００は、画像情報ＤＢ２に登録する画像情報を端末装置３Ａ、３Ｂ、３Ｃから受け付ける。
【００２５】
顔情報認識手段１０１は、画像情報受付手段１００が受け付けた画像情報から顔認識技術を用いて人物の顔を認識し、後述する顔情報１１１を生成する。
【００２６】
付随情報抽出手段１０２は、画像情報受付手段１００が受け付けた画像情報が有する付随情報を抽出し、記憶部１１に格納する。
【００２７】
検索条件受付手段１０３は、画像情報を検索するための検索条件を端末装置３Ａ、３Ｂ、３Ｃから受け付ける。なお、検索条件受付手段１０３は、検索条件として画像情報を受け付ける。
【００２８】
画像情報検索手段１０４は、検索条件受付手段１０３が受け付けた検索条件に合致する画像情報を画像情報ＤＢ２の画像情報２０から検索する。
【００２９】
検索結果出力手段１０５は、画像情報検索手段１０４の検索結果を検索要求を受け付けた端末装置３Ａ、３Ｂ、３Ｃに対して出力する。
【００３０】
記憶部１１は、画像検索プログラム１１０、顔情報１１１、付随情報１１２及び検索結果情報１１３等を格納する。
【００３１】
画像検索プログラム１１０は、制御部１０を上記した各手段１００〜１０５として動作させるプログラムである。
【００３２】
顔情報１１１は、顔情報認識手段１０１が画像情報から認識した情報である。
【００３３】
付随情報１１２は、付随情報抽出手段１０２が画像情報から抽出した付随情報である。ここで、付随情報とはＥｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ Ｉｍａｇｅ Ｆｉｌｅ）等のフォーマットで既述された情報であり、例えば、撮影日時、撮影機器メーカー名、撮影機器モデル名、画像全体の解像度、水平・垂直方向の単位あたり解像度、撮影方向、シャッタースピード、絞り、ＩＳＯ感度、測光モード、フラッシュの有無、露光補正ステップ値、焦点距離、色空間、ＧＰＳ情報等が記載される。
【００３４】
検索結果情報１１３は、画像情報検索手段１０４が検索条件に基づき画像情報ＤＢ２から検索した画像情報の検索結果である。
【００３５】
図３は、顔情報１１１の構成の一例を示す概略図である。
【００３６】
同図に示す顔情報１１１Ａは、ユーザーＡの撮影した「アルバムＮｏ．１」に含まれる画像情報から顔情報認識手段１０１によって認識された顔の情報であり、画像情報を識別する識別番号（同図では「写真１」〜「写真６」）と、顔情報認識手段１０１によって認識された顔の人物の情報（同図では「人物Ｏ」、「人物Ｐ」、「人物Ｑ」、「人物Ｒ」、「人物Ｓ」）とを有する。
【００３７】
図４は、付随情報１１２の構成の一例を示す概略図である。
【００３８】
同図に示す付随情報１１２Ａは、ユーザーＡの撮影した画像情報に付随する情報であり、画像情報を識別する識別番号（同図では「写真１」〜「写真６」）と、画像情報を撮影した時刻を示す撮影時刻と、画像情報を撮影した位置を示す位置情報とを有する。
【００３９】
（画像検索システムの動作）
次に、本実施の形態の作用を、（１）画像情報の受付動作、（２）顔情報の認識動作、（３）画像情報の検索動作に分けて説明する。
【００４０】
（１）画像情報の受付動作
まず、ユーザーＡ、Ｂ、Ｃは、デジタルカメラ等で撮影し、生成された画像情報を端末装置３Ａ、３Ｂ、３Ｃに転送する。次に、ユーザーＡ、Ｂ、Ｃは、画像情報をユーザーＡ、Ｂ、Ｃで共有すべく端末装置３Ａ、３Ｂ、３Ｃを操作して画像情報を画像情報ＤＢ２に登録すべく、画像検索装置１と通信する。通信の際、利用者は最初に端末装置３Ａ、３Ｂ、３Ｃに利用者識別情報の利用者ＩＤとパスワードを入力し、端末装置３Ａ、３Ｂ、３Ｃは画像検索装置１に認証を要求する。
【００４１】
画像検索装置１は、端末装置３Ａ、３Ｂ、３Ｃから認証要求とともに利用者ＩＤとパスワードを受信し、自己が保持する予め登録された利用者情報（図示せず）を参照して認証する。登録済みの利用者である場合、すなわち利用者ＩＤとパスワードの両方に一致するものが利用者情報に存在していれば認証が成功したと判断し、画像情報の登録が可能になった旨を端末装置３Ａ、３Ｂ、３Ｃに通知する。
【００４２】
次に、ユーザーＡ、Ｂ、Ｃは画像情報を画像ＤＢ２に登録すべく端末装置３Ａ、３Ｂ、３Ｃを操作する。端末装置３Ａ、３Ｂ、３Ｃは、登録要求とともに登録対象の画像情報を画像検索装置１に送信する。
【００４３】
画像検索装置１の画像情報受付手段１００は、登録要求とともに画像情報を受信すると、画像情報２０として画像情報ＤＢ２に格納するとともに、顔情報の認識と付随情報の抽出の動作を行う。
【００４４】
顔情報の認識動作は、顔情報認識手段１０１が行う。顔情報認識手段１０１は、画像情報受付手段１００が受け付けた画像情報から「（２）顔情報の認識動作」で説明する顔認識技術を用いて人物の顔を認識し、顔情報１１１を生成して記憶部１１に格納する。なお、本実施の形態において、顔情報１１１は、利用者の顔画像を登録することなく同一の顔画像に任意の名称をつけて行う。
【００４５】
付随情報の抽出動作は、付随情報抽出手段１０２が行う。付随情報抽出手段１０２は、画像情報受付手段１００が受け付けた画像情報が有する付随情報１１２を抽出し、記憶部１１に格納する。
【００４６】
（２）顔情報の認識動作
顔情報認識手段１０１の顔情報の認識動作は、一例として、「映像情報メディア学会誌」（横山太郎等、１９９９年、Ｖｏｌ．５３、Ｎｏ．１１、ｐｐ．１６０５−１６１４）に基づくものであり、以下の手順で行う。
【００４７】
図８は、顔情報認識手段１０１の顔情報の認識動作の一例を示すフローチャートである。
【００４８】
まず、画像情報受付手段１００が受け付けた画像情報がＰｉｃｔ１、…、Ｐｉｃｔｌ（ｌは受け付けた画像の数）である場合、顔情報認識手段１０１は、まず画像Ｐｉｃｔ１を処理対象の画像とする（Ｓ１）。
【００４９】
次に、顔情報認識手段１０１は、画像Ｐｉｃｔ１から肌色の領域Ａｒｅａ１、…、Ａｒｅａ ｍ（ｍは画像中に存在する肌色の領域の数）を抽出する（Ｓ２）。この場合、人種の差異を考慮して、黒に近い色から白に近い薄い肌色まで予め定めた範囲の色を抽出対象とする。
【００５０】
次に、顔情報認識手段１０１は、抽出した領域からまずＡｒｅａ１を処理対象の領域とし（Ｓ３）、領域Ａｒｅａ１内の要素Ｅｌｅｍ１、…、Ｅｌｅｍｎ（ｎは領域内に存在する要素の数）をさらに抽出する（Ｓ４）。なお、領域内の要素の抽出は、例えば、色の異なる輪郭を有する要素を特定することで行う。
【００５１】
次に、顔情報認識手段１０１は、抽出された要素Ｅｌｅｍ１、…、Ｅｌｅｍｎが領域内において顔を構成する要素、つまり眉、目、鼻、口等であるかどうかを判別する。抽出された要素が顔を構成する要素であるかどうかの判別は、それぞれの要素の位置と傾き、及び要素間の相対的な配置を表す数値を含む顔特徴情報として特定した上で（Ｓ５）、その顔特徴情報に含まれる数値が予め設定されている人間の顔を構成する数値の範囲内に存在するかどうかを判断することで行う（Ｓ６）。
【００５２】
なお、顔情報認識手段１０１は、抽出された要素が人間の顔を構成する要素であることが判別できない場合（Ｓ６；Ｎｏ）は、次の領域を処理対象とし（Ｓ１１）、抽出された要素が人間の顔であることが判別できる場合（Ｓ６；Ｙｅｓ）は人物を特定する処理に進む。
【００５３】
顔情報認識手段１０１は、人物を特定する処理として、顔特徴ＤＢ１１４を用いる。ここで、顔特徴ＤＢ１１４は、顔特徴情報と人物を特定する識別子とが関連付けて登録されているものとする。
【００５４】
次に、顔情報認識手段１０１は、ステップＳ５で抽出した顔特徴情報が顔特徴ＤＢ１１４に登録されている顔特徴情報のいずれかと一致又は近似するかを判別する（Ｓ７）。
【００５５】
次に、顔情報認識手段１０１は、顔特徴情報が顔特徴ＤＢ１１４に登録されている顔特徴情報と一致又は近似している場合（Ｓ７；Ｙｅｓ）、一致又は近似した顔特徴ＤＢ１１４に登録されている顔特徴情報と関連付けられている人物を特定する識別子（例として、「人物Ｏ」とする。）を抽出して、「人物Ｏ」が処理対象の画像Ｐｉｃｔ１に写っている人物として記憶される（Ｓ８）。
【００５６】
ここで、抽出した顔特徴情報と顔特徴ＤＢ１１４に登録されている顔特徴情報とが一致しないが近似する場合、つまり抽出した顔特徴情報と顔特徴ＤＢ１１４に登録されている顔特徴情報とに差異がある場合、顔特徴ＤＢ１１４に登録された顔特徴情報を抽出した顔特徴情報に基づいて修正して更新してもよい。
【００５７】
また、顔特徴情報が顔特徴ＤＢ１１４に記憶されている顔特徴情報と一致も近似もしない場合（Ｓ７；Ｎｏ）、これまで使用されていない人物を特定する識別子を新規に生成して（例として、「人物Ｐ」とする。）、新たに生成された識別子と顔特徴情報とを関連付けて顔特徴ＤＢ１１４に登録し（Ｓ９）、「人物Ｐ」が処理対象の画像Ｐｉｃｔ１に写っている人物として記憶される。
【００５８】
ここで、１つの領域の処理が終了し、次の領域があれば次の領域を処理し（Ｓ１０；Ｎｏ）、次の領域が無ければ（Ｓ１０；Ｙｅｓ）、全ての領域の処理が終了したとして１つの画像の抽出処理が完了する。
【００５９】
また、次の画像があれば次の画像を処理し（Ｓ１２；Ｎｏ、Ｓ１３）、次の画像が無ければ（Ｓ１２；Ｙｅｓ）、全ての画像の処理が完了したとして一つのアルバムの抽出処理が完了する。なお、顔特徴ＤＢ１１４は複数のアルバムに共通して利用され、人物を表す識別子は複数のアルバムにおいて共通である。
【００６０】
（３）画像情報の検索動作
次に、検索条件受付手段１０３は、画像情報を検索するための検索条件を、例えば、ユーザーＡの操作する端末装置３Ａから受け付ける。なお、本実施の形態において、検索条件受付手段１０３は、検索条件として指定された画像情報を受け付ける。以下、指定された画像情報の付随情報１１２、顔情報１１１の順でこれらに基づいて検索対象を絞り込む動作を説明する。
【００６１】
図５（ａ）〜（ｃ）は、それぞれ検索条件としての付随情報、検索対象としての付随情報及び検索結果情報の構成の一例を示す概略図である。
【００６２】
まず、ユーザーＡが検索条件の一つとして図５（ａ）に示す「アルバムＮｏ．１」を指定すると、検索条件受付手段１０３は「アルバムＮｏ．１」を検索条件の一つとして受け付け、「アルバムＮｏ．１」の画像情報に対応する付随情報１１２Ａを取得する。
【００６３】
次に、画像情報検索手段１０４は、他の利用者、例えば、図５（ｂ）に示すユーザーＢが登録した画像情報についての付随情報１１２Ｂ（比較先１）について、ユーザーＡの指定した検索条件（比較元）と一致するもの又は近いものを検索する。具体的には、撮影時刻及び位置情報について予め定めた方法で類似度を算出し、類似度の上位１つ又は複数個を選択することにより、又は類似度が予め定めた閾値より大きいものを選択することにより検索する。この例では、「アルバムＮｏ．３」が撮影時刻及び位置情報が近いものであるため、両利用者は同様の行事等に参加した蓋然性が高いと考えられる。
【００６４】
画像情報検索手段１０４は、以上の検索を全利用者に対して行い、図５（ｃ）に示す検索結果情報１１３１を得る。
【００６５】
図６（ａ）〜（ｃ）は、検索条件としての顔情報及び検索対象としての顔情報の構成の一例を示す概略図である。
【００６６】
次に、ユーザーＡが検索条件の一つとしてさらに図６（ａ）に示す「アルバムＮｏ．１」の顔情報１１１Ａを指定すると、検索条件受付手段１０３は顔情報１１１Ａを検索条件の一つとして受け付ける。
【００６７】
次に、画像情報検索手段１０４は、付随情報が一致した検索結果情報１１３１のうち、例えば、図６（ｂ）に示すユーザーＢが登録した画像情報についての顔情報１１１Ｂ（比較先１）について、ユーザーＡの指定した検索条件（比較元）と一致するもの又は近いものを検索する。この例では、「アルバムＮｏ．３」中の「写真１」、「写真２」、「写真４」、「写真５」に写っている人物が一致するものがあるため、「人物Ｏ」、「人物Ｐ」、「人物Ｑ」、「人物Ｒ」、「人物Ｓ」の中にユーザーＡの知り合い又はユーザーＡ自身を含む蓋然性が高いと考えられる。
【００６８】
また、画像情報検索手段１０４は、付随情報が一致した検索結果情報１１３１のうち、例えば、図６（ｃ）に示すユーザーＣが登録した画像情報についての顔情報１１１Ｃ（比較先２）について、ユーザーＡの指定した検索条件（比較元）と一致するもの又は近いものを検索する。この例では、「アルバムＮｏ．２」中に参加した利用者が一致する写真がないため、ユーザーＣは同一の行事に参加していると考えられるが、本アルバム中の写真にはユーザーＡの知り合い又はユーザーＡ自身を含む蓋然性が低いと考えられる。
【００６９】
画像情報検索手段１０４は、以上の検索を全利用者に対して行い検索結果情報１１３２を得る。
【００７０】
図７は、検索結果情報１１３２の構成の一例を示す概略図である。
【００７１】
検索結果出力手段１０５は、画像情報検索手段１０４の検索結果情報１１３２を検索要求を受け付けた端末装置３Ａに対して出力する。端末装置３Ａは、検索結果情報１１３２を、例えば図７に示すように、顔認識した人物の登場回数等の順で表示部に表示する。
【００７２】
ユーザーＡは、端末装置３Ａの表示部に表示された検索結果情報１１３２を確認し、所望する人物を選択し、選択した人物の画像情報を取得するよう端末装置３Ａを操作する。端末装置３Ａは、画像検索装置１に選択された人物の画像情報を要求し、画像検索装置１は画像情報ＤＢ２から該当する画像情報を取得して端末装置３Ａに送信する。端末装置３Ａは、画像情報を受信し、利用者Ａの操作に応じて印刷、保存、画像変換等の動作を実行する。
【００７３】
（実施の形態の効果）
上記した実施の形態によると、複数の利用者によって共有された画像情報から顔情報を認識するとともに、付随情報を抽出して登録し、検索条件として登録済みの画像情報の顔情報及び付随情報を利用して類似度の高い画像情報を検索したため、共有された画像情報から自己の登録した画像情報に基づいて関連する画像情報を検索することができる。
【００７４】
つまり、付随情報が類似するものを検索することで、同様の行事等に参加した蓋然性が高い人物が撮影した画像情報を検索することができ、また、その中から顔情報が類似するものを検索することで、検索条件を指定した利用者の知り合い又は利用者自身を含む蓋然性の高い画像情報を検索することができる。一例として、自分で撮影した写真には撮影者である自分が写っていないことが多いが、自分が撮影した人物と共通の人物が撮影されている他人の写真には自分が写っていることが多いため、この性質を利用して共有された写真から自分が写っている写真を検索することができる。
【００７５】
［他の実施の形態］
なお、本発明は、上記実施の形態に限定されず、本発明の趣旨を逸脱しない範囲で種々な変形が可能である。例えば、画像情報検索手段１０４は、顔情報１１１に基づいて画像情報を検索する際、画像情報中の顔の大きさや、顔のピントの具合等によって類似度の重み付けを行ってもよい。また、事前にユーザーの顔情報を登録し、利用者の識別子である「ユーザーＡ」との対応付けを行ってもよい。
【００７６】
上記実施の形態では制御部１０内の各手段１００〜１０５の機能をプログラムで実現したが、各手段１００〜１０５の全て又は一部をＡＳＩＣ等のハードウエアによって実現してもよい。また、上記実施の形態で用いたプログラムをＣＤ−ＲＯＭ等の記録媒体に記憶して提供することもできる。また、上記実施の形態で説明した上記ステップの入れ替え、削除、追加等は本発明の要旨を変更しない範囲内で可能である。
【符号の説明】
【００７７】
１ 画像検索装置
２ 画像情報ＤＢ
３Ａ〜３Ｃ 端末装置
４ ネットワーク
５ 画像検索システム
１０ 制御部
１１ 記憶部
１２ 通信部
２０ 画像情報
１００ 画像情報受付手段
１０１ 顔情報認識手段
１０２ 付随情報抽出手段
１０３ 検索条件受付手段
１０４ 画像情報検索手段
１０５ 検索結果出力手段
１１０ 画像検索プログラム
１１１ 顔情報
１１２ 付随情報
１１３ 検索結果情報
【技術分野】
【０００１】
本発明は、画像検索プログラム及び画像検索装置に関する。
【背景技術】
【０００２】
従来の技術として、デジタルカメラで撮影した写真等の付随情報を有する画像情報を付随情報に基づいて自動で分類する画像情報分類装置が提案されている（例えば、特許文献１参照）。
【０００３】
特許文献１に開示された画像情報分類装置は、入力された画像情報が有する付随情報から撮影時間、場所、方位、撮影者の個人情報等を抽出する抽出部と、抽出部が抽出した情報と代表する画像情報の付随情報から抽出された情報との類似度を算出する計算部と、予め定めた分類規則に従って計算部の算出した類似度に基づいて画像情報を分類する分類部とを有する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−２８０２５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明の目的は、共有された画像情報から自己の登録した画像情報に基づいて関連する画像情報を検索する画像検索プログラム及び画像検索装置を提供することにある。
【課題を解決するための手段】
【０００６】
本発明の一態様は、上記目的を達成するため、以下の画像検索プログラム及び画像検索装置を提供する。
【０００７】
［１］コンピュータを、
記憶装置に登録済みの複数の画像情報から選択された画像情報を検索条件として受け付ける検索条件受付手段と、
前記検索条件受付手段が受け付けた前記選択された画像情報から認識された顔情報及び前記選択された画像情報から抽出された付随情報と、前記記憶装置に登録済みの前記複数の画像情報から認識された顔情報及び前記複数の画像情報から抽出された付随情報とを取得して類似度を算出し、類似度の高い画像情報を検索する検索手段として機能させるための画像検索プログラム。
【０００８】
［２］前記検索手段は、前記付随情報として少なくとも前記画像情報が撮影された日時及び時刻と、撮影された位置情報とに基づいて検索する前記［１］に記載の画像検索プログラム。
【０００９】
［３］前記検索手段は、前記選択された画像情報と前記複数の画像情報との前記付随情報の類似度を算出し、類似度の高い画像情報を検索して、当該類似度の高い画像情報から前記選択された画像情報の前記顔情報と類似度の高い画像情報を検索する前記［１］又は［２］に記載の画像検索プログラム。
【００１０】
［４］記憶装置に登録済みの複数の画像情報から選択された画像情報を検索条件として受け付ける検索条件受付手段と、
前記検索条件受付手段が受け付けた前記選択された画像情報から認識された顔情報及び前記選択された画像情報から抽出された付随情報と、前記記憶装置に登録済みの前記複数の画像情報から認識された顔情報及び前記複数の画像情報から抽出された付随情報とを取得して類似度を算出し、類似度の高い画像情報を検索する検索手段とを有する画像検索装置。
【発明の効果】
【００１１】
請求項１又は４に係る発明によれば、共有された画像情報から自己の登録した画像情報に基づいて関連する画像情報を検索することができる。
【００１２】
請求項２に係る発明によれば、付随情報として少なくとも画像情報が撮影された日時及び時刻と、撮影された位置情報とに基づいて検索することができる。
【００１３】
請求項３に係る発明によれば、付随情報の類似度の高い画像情報を検索して、当該類似度の高い画像情報から選択された画像情報の顔情報と類似度の高い画像情報を検索することができる。
【図面の簡単な説明】
【００１４】
【図１】図１は、本発明の実施の形態に係る画像検索システムの構成の一例を示す概略図である。
【図２】図２は、本発明の実施の形態に係る画像検索装置の構成の一例を示すブロック図である。
【図３】図３は、顔情報の構成の一例を示す概略図である。
【図４】図４は、付随情報の構成の一例を示す概略図である。
【図５】図５（ａ）〜（ｃ）は、それぞれ検索条件としての付随情報、検索対象としての付随情報及び検索結果情報の構成の一例を示す概略図である。
【図６】図６（ａ）〜（ｃ）は、検索条件としての顔情報及び検索対象としての顔情報の構成の一例を示す概略図である。
【図７】図７は、検索結果情報の構成の一例を示す概略図である。
【図８】図８は、顔情報認識手段の顔情報の認識動作の一例を示すフローチャートである。
【発明を実施するための形態】
【００１５】
［実施の形態］
（画像検索システムの構成）
図１は、本発明の実施の形態に係る画像検索システムの構成の一例を示す概略図である。
【００１６】
画像検索システム５は、画像検索装置１、画像情報データベース２（以下、「ＤＢ」という。）及び端末装置３Ａ、３Ｂ、３Ｃ等を有し、これらの装置をネットワーク４で互いに通信可能に接続する。ユーザーＡ、Ｂ、Ｃは、それぞれ端末装置３Ａ、３Ｂ、３Ｃを利用して画像検索装置１と通信し、図示しないデジタルカメラ等で撮影して生成された画像情報を画像情報ＤＢ２に画像情報２０として登録するとともに、画像情報ＤＢ２に登録された画像情報２０からユーザーＡ、Ｂ、Ｃに関連する画像情報を検索する。
【００１７】
画像検索装置１は、情報を処理するための機能を備えたＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）や記憶部等の電子部品を備える画像検索装置であり、端末装置３Ａ、３Ｂ、３Ｃから画像情報を受信して画像情報ＤＢ２に保存する。また、画像検索装置１は、端末装置３Ａ、３Ｂ、３Ｃの要求に応じて画像情報ＤＢ２に登録された画像情報２０からユーザーＡ、Ｂ、Ｃに関連する画像情報を検索する。
【００１８】
画像情報ＤＢ２は、端末装置３Ａ、３Ｂ、３Ｃから受信した画像情報を画像情報２０として登録する。なお、画像情報ＤＢ２は、例えば、「ＳＱＬデータベース」、「ＸＭＬデータベース」、「オブジェクト指向データベース」、又はキー（Ｋｅｙ）に対して一意に特定される値（Ｖａｌｕｅ）を返す「Ｋｅｙ−Ｖａｌｕｅデータベース」等を用いることができる。
【００１９】
端末装置３Ａ、３Ｂ、３Ｃは、操作入力用のキーボード、マウス、タッチパッド等の操作部と、液晶ディスプレイ等の表示部と、ＣＰＵや記憶部等の電子部品を有する制御部とを備える。端末装置３Ａ、３Ｂ、３Ｃは、画像検索装置１に利用者の操作に応じた要求を送信し、その要求に対する応答を受信して、受信した内容を制御部で処理した結果を表示部に表示する。なお、端末装置３Ａ、３Ｂ、３Ｃは、例えば、パーソナルコンピュータであり、その他にＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、携帯電話機等を用いることもできる。
【００２０】
ネットワーク４は、インターネット、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等の通信網であり、有線、無線は問わない。
【００２１】
（画像検索装置１の構成）
図２は、本発明の実施の形態に係る画像検索装置１の構成の一例を示すブロック図である。
【００２２】
この画像検索装置１は、ＣＰＵ等から構成され各部を制御するとともに各種のプログラムを実行する制御部１０と、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やフラッシュメモリ等の記録媒体から構成され情報を記憶する記憶装置の一例としての記憶部１１と、ネットワーク４を介して外部と通信する通信部１２とを備える。
【００２３】
制御部１０は、後述する画像検索プログラム１１０を実行することで、画像情報受付手段１００、顔情報認識手段１０１、付随情報抽出手段１０２、検索条件受付手段１０３、画像情報検索手段１０４及び検索結果出力手段１０５等として機能する。
【００２４】
画像情報受付手段１００は、画像情報ＤＢ２に登録する画像情報を端末装置３Ａ、３Ｂ、３Ｃから受け付ける。
【００２５】
顔情報認識手段１０１は、画像情報受付手段１００が受け付けた画像情報から顔認識技術を用いて人物の顔を認識し、後述する顔情報１１１を生成する。
【００２６】
付随情報抽出手段１０２は、画像情報受付手段１００が受け付けた画像情報が有する付随情報を抽出し、記憶部１１に格納する。
【００２７】
検索条件受付手段１０３は、画像情報を検索するための検索条件を端末装置３Ａ、３Ｂ、３Ｃから受け付ける。なお、検索条件受付手段１０３は、検索条件として画像情報を受け付ける。
【００２８】
画像情報検索手段１０４は、検索条件受付手段１０３が受け付けた検索条件に合致する画像情報を画像情報ＤＢ２の画像情報２０から検索する。
【００２９】
検索結果出力手段１０５は、画像情報検索手段１０４の検索結果を検索要求を受け付けた端末装置３Ａ、３Ｂ、３Ｃに対して出力する。
【００３０】
記憶部１１は、画像検索プログラム１１０、顔情報１１１、付随情報１１２及び検索結果情報１１３等を格納する。
【００３１】
画像検索プログラム１１０は、制御部１０を上記した各手段１００〜１０５として動作させるプログラムである。
【００３２】
顔情報１１１は、顔情報認識手段１０１が画像情報から認識した情報である。
【００３３】
付随情報１１２は、付随情報抽出手段１０２が画像情報から抽出した付随情報である。ここで、付随情報とはＥｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ Ｉｍａｇｅ Ｆｉｌｅ）等のフォーマットで既述された情報であり、例えば、撮影日時、撮影機器メーカー名、撮影機器モデル名、画像全体の解像度、水平・垂直方向の単位あたり解像度、撮影方向、シャッタースピード、絞り、ＩＳＯ感度、測光モード、フラッシュの有無、露光補正ステップ値、焦点距離、色空間、ＧＰＳ情報等が記載される。
【００３４】
検索結果情報１１３は、画像情報検索手段１０４が検索条件に基づき画像情報ＤＢ２から検索した画像情報の検索結果である。
【００３５】
図３は、顔情報１１１の構成の一例を示す概略図である。
【００３６】
同図に示す顔情報１１１Ａは、ユーザーＡの撮影した「アルバムＮｏ．１」に含まれる画像情報から顔情報認識手段１０１によって認識された顔の情報であり、画像情報を識別する識別番号（同図では「写真１」〜「写真６」）と、顔情報認識手段１０１によって認識された顔の人物の情報（同図では「人物Ｏ」、「人物Ｐ」、「人物Ｑ」、「人物Ｒ」、「人物Ｓ」）とを有する。
【００３７】
図４は、付随情報１１２の構成の一例を示す概略図である。
【００３８】
同図に示す付随情報１１２Ａは、ユーザーＡの撮影した画像情報に付随する情報であり、画像情報を識別する識別番号（同図では「写真１」〜「写真６」）と、画像情報を撮影した時刻を示す撮影時刻と、画像情報を撮影した位置を示す位置情報とを有する。
【００３９】
（画像検索システムの動作）
次に、本実施の形態の作用を、（１）画像情報の受付動作、（２）顔情報の認識動作、（３）画像情報の検索動作に分けて説明する。
【００４０】
（１）画像情報の受付動作
まず、ユーザーＡ、Ｂ、Ｃは、デジタルカメラ等で撮影し、生成された画像情報を端末装置３Ａ、３Ｂ、３Ｃに転送する。次に、ユーザーＡ、Ｂ、Ｃは、画像情報をユーザーＡ、Ｂ、Ｃで共有すべく端末装置３Ａ、３Ｂ、３Ｃを操作して画像情報を画像情報ＤＢ２に登録すべく、画像検索装置１と通信する。通信の際、利用者は最初に端末装置３Ａ、３Ｂ、３Ｃに利用者識別情報の利用者ＩＤとパスワードを入力し、端末装置３Ａ、３Ｂ、３Ｃは画像検索装置１に認証を要求する。
【００４１】
画像検索装置１は、端末装置３Ａ、３Ｂ、３Ｃから認証要求とともに利用者ＩＤとパスワードを受信し、自己が保持する予め登録された利用者情報（図示せず）を参照して認証する。登録済みの利用者である場合、すなわち利用者ＩＤとパスワードの両方に一致するものが利用者情報に存在していれば認証が成功したと判断し、画像情報の登録が可能になった旨を端末装置３Ａ、３Ｂ、３Ｃに通知する。
【００４２】
次に、ユーザーＡ、Ｂ、Ｃは画像情報を画像ＤＢ２に登録すべく端末装置３Ａ、３Ｂ、３Ｃを操作する。端末装置３Ａ、３Ｂ、３Ｃは、登録要求とともに登録対象の画像情報を画像検索装置１に送信する。
【００４３】
画像検索装置１の画像情報受付手段１００は、登録要求とともに画像情報を受信すると、画像情報２０として画像情報ＤＢ２に格納するとともに、顔情報の認識と付随情報の抽出の動作を行う。
【００４４】
顔情報の認識動作は、顔情報認識手段１０１が行う。顔情報認識手段１０１は、画像情報受付手段１００が受け付けた画像情報から「（２）顔情報の認識動作」で説明する顔認識技術を用いて人物の顔を認識し、顔情報１１１を生成して記憶部１１に格納する。なお、本実施の形態において、顔情報１１１は、利用者の顔画像を登録することなく同一の顔画像に任意の名称をつけて行う。
【００４５】
付随情報の抽出動作は、付随情報抽出手段１０２が行う。付随情報抽出手段１０２は、画像情報受付手段１００が受け付けた画像情報が有する付随情報１１２を抽出し、記憶部１１に格納する。
【００４６】
（２）顔情報の認識動作
顔情報認識手段１０１の顔情報の認識動作は、一例として、「映像情報メディア学会誌」（横山太郎等、１９９９年、Ｖｏｌ．５３、Ｎｏ．１１、ｐｐ．１６０５−１６１４）に基づくものであり、以下の手順で行う。
【００４７】
図８は、顔情報認識手段１０１の顔情報の認識動作の一例を示すフローチャートである。
【００４８】
まず、画像情報受付手段１００が受け付けた画像情報がＰｉｃｔ１、…、Ｐｉｃｔｌ（ｌは受け付けた画像の数）である場合、顔情報認識手段１０１は、まず画像Ｐｉｃｔ１を処理対象の画像とする（Ｓ１）。
【００４９】
次に、顔情報認識手段１０１は、画像Ｐｉｃｔ１から肌色の領域Ａｒｅａ１、…、Ａｒｅａ ｍ（ｍは画像中に存在する肌色の領域の数）を抽出する（Ｓ２）。この場合、人種の差異を考慮して、黒に近い色から白に近い薄い肌色まで予め定めた範囲の色を抽出対象とする。
【００５０】
次に、顔情報認識手段１０１は、抽出した領域からまずＡｒｅａ１を処理対象の領域とし（Ｓ３）、領域Ａｒｅａ１内の要素Ｅｌｅｍ１、…、Ｅｌｅｍｎ（ｎは領域内に存在する要素の数）をさらに抽出する（Ｓ４）。なお、領域内の要素の抽出は、例えば、色の異なる輪郭を有する要素を特定することで行う。
【００５１】
次に、顔情報認識手段１０１は、抽出された要素Ｅｌｅｍ１、…、Ｅｌｅｍｎが領域内において顔を構成する要素、つまり眉、目、鼻、口等であるかどうかを判別する。抽出された要素が顔を構成する要素であるかどうかの判別は、それぞれの要素の位置と傾き、及び要素間の相対的な配置を表す数値を含む顔特徴情報として特定した上で（Ｓ５）、その顔特徴情報に含まれる数値が予め設定されている人間の顔を構成する数値の範囲内に存在するかどうかを判断することで行う（Ｓ６）。
【００５２】
なお、顔情報認識手段１０１は、抽出された要素が人間の顔を構成する要素であることが判別できない場合（Ｓ６；Ｎｏ）は、次の領域を処理対象とし（Ｓ１１）、抽出された要素が人間の顔であることが判別できる場合（Ｓ６；Ｙｅｓ）は人物を特定する処理に進む。
【００５３】
顔情報認識手段１０１は、人物を特定する処理として、顔特徴ＤＢ１１４を用いる。ここで、顔特徴ＤＢ１１４は、顔特徴情報と人物を特定する識別子とが関連付けて登録されているものとする。
【００５４】
次に、顔情報認識手段１０１は、ステップＳ５で抽出した顔特徴情報が顔特徴ＤＢ１１４に登録されている顔特徴情報のいずれかと一致又は近似するかを判別する（Ｓ７）。
【００５５】
次に、顔情報認識手段１０１は、顔特徴情報が顔特徴ＤＢ１１４に登録されている顔特徴情報と一致又は近似している場合（Ｓ７；Ｙｅｓ）、一致又は近似した顔特徴ＤＢ１１４に登録されている顔特徴情報と関連付けられている人物を特定する識別子（例として、「人物Ｏ」とする。）を抽出して、「人物Ｏ」が処理対象の画像Ｐｉｃｔ１に写っている人物として記憶される（Ｓ８）。
【００５６】
ここで、抽出した顔特徴情報と顔特徴ＤＢ１１４に登録されている顔特徴情報とが一致しないが近似する場合、つまり抽出した顔特徴情報と顔特徴ＤＢ１１４に登録されている顔特徴情報とに差異がある場合、顔特徴ＤＢ１１４に登録された顔特徴情報を抽出した顔特徴情報に基づいて修正して更新してもよい。
【００５７】
また、顔特徴情報が顔特徴ＤＢ１１４に記憶されている顔特徴情報と一致も近似もしない場合（Ｓ７；Ｎｏ）、これまで使用されていない人物を特定する識別子を新規に生成して（例として、「人物Ｐ」とする。）、新たに生成された識別子と顔特徴情報とを関連付けて顔特徴ＤＢ１１４に登録し（Ｓ９）、「人物Ｐ」が処理対象の画像Ｐｉｃｔ１に写っている人物として記憶される。
【００５８】
ここで、１つの領域の処理が終了し、次の領域があれば次の領域を処理し（Ｓ１０；Ｎｏ）、次の領域が無ければ（Ｓ１０；Ｙｅｓ）、全ての領域の処理が終了したとして１つの画像の抽出処理が完了する。
【００５９】
また、次の画像があれば次の画像を処理し（Ｓ１２；Ｎｏ、Ｓ１３）、次の画像が無ければ（Ｓ１２；Ｙｅｓ）、全ての画像の処理が完了したとして一つのアルバムの抽出処理が完了する。なお、顔特徴ＤＢ１１４は複数のアルバムに共通して利用され、人物を表す識別子は複数のアルバムにおいて共通である。
【００６０】
（３）画像情報の検索動作
次に、検索条件受付手段１０３は、画像情報を検索するための検索条件を、例えば、ユーザーＡの操作する端末装置３Ａから受け付ける。なお、本実施の形態において、検索条件受付手段１０３は、検索条件として指定された画像情報を受け付ける。以下、指定された画像情報の付随情報１１２、顔情報１１１の順でこれらに基づいて検索対象を絞り込む動作を説明する。
【００６１】
図５（ａ）〜（ｃ）は、それぞれ検索条件としての付随情報、検索対象としての付随情報及び検索結果情報の構成の一例を示す概略図である。
【００６２】
まず、ユーザーＡが検索条件の一つとして図５（ａ）に示す「アルバムＮｏ．１」を指定すると、検索条件受付手段１０３は「アルバムＮｏ．１」を検索条件の一つとして受け付け、「アルバムＮｏ．１」の画像情報に対応する付随情報１１２Ａを取得する。
【００６３】
次に、画像情報検索手段１０４は、他の利用者、例えば、図５（ｂ）に示すユーザーＢが登録した画像情報についての付随情報１１２Ｂ（比較先１）について、ユーザーＡの指定した検索条件（比較元）と一致するもの又は近いものを検索する。具体的には、撮影時刻及び位置情報について予め定めた方法で類似度を算出し、類似度の上位１つ又は複数個を選択することにより、又は類似度が予め定めた閾値より大きいものを選択することにより検索する。この例では、「アルバムＮｏ．３」が撮影時刻及び位置情報が近いものであるため、両利用者は同様の行事等に参加した蓋然性が高いと考えられる。
【００６４】
画像情報検索手段１０４は、以上の検索を全利用者に対して行い、図５（ｃ）に示す検索結果情報１１３１を得る。
【００６５】
図６（ａ）〜（ｃ）は、検索条件としての顔情報及び検索対象としての顔情報の構成の一例を示す概略図である。
【００６６】
次に、ユーザーＡが検索条件の一つとしてさらに図６（ａ）に示す「アルバムＮｏ．１」の顔情報１１１Ａを指定すると、検索条件受付手段１０３は顔情報１１１Ａを検索条件の一つとして受け付ける。
【００６７】
次に、画像情報検索手段１０４は、付随情報が一致した検索結果情報１１３１のうち、例えば、図６（ｂ）に示すユーザーＢが登録した画像情報についての顔情報１１１Ｂ（比較先１）について、ユーザーＡの指定した検索条件（比較元）と一致するもの又は近いものを検索する。この例では、「アルバムＮｏ．３」中の「写真１」、「写真２」、「写真４」、「写真５」に写っている人物が一致するものがあるため、「人物Ｏ」、「人物Ｐ」、「人物Ｑ」、「人物Ｒ」、「人物Ｓ」の中にユーザーＡの知り合い又はユーザーＡ自身を含む蓋然性が高いと考えられる。
【００６８】
また、画像情報検索手段１０４は、付随情報が一致した検索結果情報１１３１のうち、例えば、図６（ｃ）に示すユーザーＣが登録した画像情報についての顔情報１１１Ｃ（比較先２）について、ユーザーＡの指定した検索条件（比較元）と一致するもの又は近いものを検索する。この例では、「アルバムＮｏ．２」中に参加した利用者が一致する写真がないため、ユーザーＣは同一の行事に参加していると考えられるが、本アルバム中の写真にはユーザーＡの知り合い又はユーザーＡ自身を含む蓋然性が低いと考えられる。
【００６９】
画像情報検索手段１０４は、以上の検索を全利用者に対して行い検索結果情報１１３２を得る。
【００７０】
図７は、検索結果情報１１３２の構成の一例を示す概略図である。
【００７１】
検索結果出力手段１０５は、画像情報検索手段１０４の検索結果情報１１３２を検索要求を受け付けた端末装置３Ａに対して出力する。端末装置３Ａは、検索結果情報１１３２を、例えば図７に示すように、顔認識した人物の登場回数等の順で表示部に表示する。
【００７２】
ユーザーＡは、端末装置３Ａの表示部に表示された検索結果情報１１３２を確認し、所望する人物を選択し、選択した人物の画像情報を取得するよう端末装置３Ａを操作する。端末装置３Ａは、画像検索装置１に選択された人物の画像情報を要求し、画像検索装置１は画像情報ＤＢ２から該当する画像情報を取得して端末装置３Ａに送信する。端末装置３Ａは、画像情報を受信し、利用者Ａの操作に応じて印刷、保存、画像変換等の動作を実行する。
【００７３】
（実施の形態の効果）
上記した実施の形態によると、複数の利用者によって共有された画像情報から顔情報を認識するとともに、付随情報を抽出して登録し、検索条件として登録済みの画像情報の顔情報及び付随情報を利用して類似度の高い画像情報を検索したため、共有された画像情報から自己の登録した画像情報に基づいて関連する画像情報を検索することができる。
【００７４】
つまり、付随情報が類似するものを検索することで、同様の行事等に参加した蓋然性が高い人物が撮影した画像情報を検索することができ、また、その中から顔情報が類似するものを検索することで、検索条件を指定した利用者の知り合い又は利用者自身を含む蓋然性の高い画像情報を検索することができる。一例として、自分で撮影した写真には撮影者である自分が写っていないことが多いが、自分が撮影した人物と共通の人物が撮影されている他人の写真には自分が写っていることが多いため、この性質を利用して共有された写真から自分が写っている写真を検索することができる。
【００７５】
［他の実施の形態］
なお、本発明は、上記実施の形態に限定されず、本発明の趣旨を逸脱しない範囲で種々な変形が可能である。例えば、画像情報検索手段１０４は、顔情報１１１に基づいて画像情報を検索する際、画像情報中の顔の大きさや、顔のピントの具合等によって類似度の重み付けを行ってもよい。また、事前にユーザーの顔情報を登録し、利用者の識別子である「ユーザーＡ」との対応付けを行ってもよい。
【００７６】
上記実施の形態では制御部１０内の各手段１００〜１０５の機能をプログラムで実現したが、各手段１００〜１０５の全て又は一部をＡＳＩＣ等のハードウエアによって実現してもよい。また、上記実施の形態で用いたプログラムをＣＤ−ＲＯＭ等の記録媒体に記憶して提供することもできる。また、上記実施の形態で説明した上記ステップの入れ替え、削除、追加等は本発明の要旨を変更しない範囲内で可能である。
【符号の説明】
【００７７】
１ 画像検索装置
２ 画像情報ＤＢ
３Ａ〜３Ｃ 端末装置
４ ネットワーク
５ 画像検索システム
１０ 制御部
１１ 記憶部
１２ 通信部
２０ 画像情報
１００ 画像情報受付手段
１０１ 顔情報認識手段
１０２ 付随情報抽出手段
１０３ 検索条件受付手段
１０４ 画像情報検索手段
１０５ 検索結果出力手段
１１０ 画像検索プログラム
１１１ 顔情報
１１２ 付随情報
１１３ 検索結果情報
【特許請求の範囲】
【請求項１】
コンピュータを、
記憶装置に登録済みの複数の画像情報から選択された画像情報を検索条件として受け付ける検索条件受付手段と、
前記検索条件受付手段が受け付けた前記選択された画像情報から認識された顔情報及び前記選択された画像情報から抽出された付随情報と、前記記憶装置に登録済みの前記複数の画像情報から認識された顔情報及び前記複数の画像情報から抽出された付随情報とを取得して類似度を算出し、類似度の高い画像情報を検索する検索手段として機能させるための画像検索プログラム。
【請求項２】
前記検索手段は、前記付随情報として少なくとも前記画像情報が撮影された日時及び時刻と、撮影された位置情報とに基づいて検索する請求項１に記載の画像検索プログラム。
【請求項３】
前記検索手段は、前記選択された画像情報と前記複数の画像情報との前記付随情報の類似度を算出し、類似度の高い画像情報を検索して、当該類似度の高い画像情報から前記選択された画像情報の前記顔情報と類似度の高い画像情報を検索する請求項１又は２に記載の画像検索プログラム。
【請求項４】
記憶装置に登録済みの複数の画像情報から選択された画像情報を検索条件として受け付ける検索条件受付手段と、
前記検索条件受付手段が受け付けた前記選択された画像情報から認識された顔情報及び前記選択された画像情報から抽出された付随情報と、前記記憶装置に登録済みの前記複数の画像情報から認識された顔情報及び前記複数の画像情報から抽出された付随情報とを取得して類似度を算出し、類似度の高い画像情報を検索する検索手段とを有する画像検索装置。
【請求項１】
コンピュータを、
記憶装置に登録済みの複数の画像情報から選択された画像情報を検索条件として受け付ける検索条件受付手段と、
前記検索条件受付手段が受け付けた前記選択された画像情報から認識された顔情報及び前記選択された画像情報から抽出された付随情報と、前記記憶装置に登録済みの前記複数の画像情報から認識された顔情報及び前記複数の画像情報から抽出された付随情報とを取得して類似度を算出し、類似度の高い画像情報を検索する検索手段として機能させるための画像検索プログラム。
【請求項２】
前記検索手段は、前記付随情報として少なくとも前記画像情報が撮影された日時及び時刻と、撮影された位置情報とに基づいて検索する請求項１に記載の画像検索プログラム。
【請求項３】
前記検索手段は、前記選択された画像情報と前記複数の画像情報との前記付随情報の類似度を算出し、類似度の高い画像情報を検索して、当該類似度の高い画像情報から前記選択された画像情報の前記顔情報と類似度の高い画像情報を検索する請求項１又は２に記載の画像検索プログラム。
【請求項４】
記憶装置に登録済みの複数の画像情報から選択された画像情報を検索条件として受け付ける検索条件受付手段と、
前記検索条件受付手段が受け付けた前記選択された画像情報から認識された顔情報及び前記選択された画像情報から抽出された付随情報と、前記記憶装置に登録済みの前記複数の画像情報から認識された顔情報及び前記複数の画像情報から抽出された付随情報とを取得して類似度を算出し、類似度の高い画像情報を検索する検索手段とを有する画像検索装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１３−６９０２４（Ｐ２０１３−６９０２４Ａ）
【公開日】平成２５年４月１８日（２０１３．４．１８）
【国際特許分類】
【出願番号】特願２０１１−２０５７２８（Ｐ２０１１−２０５７２８）
【出願日】平成２３年９月２１日（２０１１．９．２１）
【出願人】（０００００５４９６）富士ゼロックス株式会社 (21,908)
【Ｆターム（参考）】
【公開日】平成２５年４月１８日（２０１３．４．１８）
【国際特許分類】
【出願日】平成２３年９月２１日（２０１１．９．２１）
【出願人】（０００００５４９６）富士ゼロックス株式会社 (21,908)
【Ｆターム（参考）】
[ Back to top ]