画像処理装置及びプログラム
【課題】 ユーザのライフスタイルや嗜好を反映したキーワード（メタデータ）付与を行う画像処理装置及びプログラム等を提供すること。
【解決手段】 画像処理装置は、撮影画像の撮影位置又は撮像装置の位置を座標情報として取得する情報取得部１１０と、座標情報として取得された複数の座標情報の分布状態を取得する分布状態取得部１２０と、取得した分布状態に応じたキーワードを撮影画像に付与するキーワード付与部１３０と、を含む。
【解決手段】 画像処理装置は、撮影画像の撮影位置又は撮像装置の位置を座標情報として取得する情報取得部１１０と、座標情報として取得された複数の座標情報の分布状態を取得する分布状態取得部１２０と、取得した分布状態に応じたキーワードを撮影画像に付与するキーワード付与部１３０と、を含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及びプログラム等に関する。
【背景技術】
【０００２】
画像検索のため、画像へのキーワード（メタデータ）付与が近年活発である。付与手法は大きく分けて、画像から画像特徴量を抽出し、画像認識で被写体種を認識しキーワードとするアプローチと、カメラパラメータ（Ｅｘｉｆ、ＧＰＳ、各種センサ）を用いるアプローチとがある。
【０００３】
特許文献１では、画像の撮影時に併せて取得された位置情報を用いて、予め用意された場所名を表すキーワードを付与する手法が示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−２４２６３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
位置情報を用いたキーワード付与にしろ、画像認識を用いたキーワード付与にしろ、同じ場所或いは同じ対象を撮影すれば常に同じキーワードが付与されるため、ユーザのライフスタイルや嗜好は反映されない。
【０００６】
本発明の幾つかの態様によれば、ユーザのライフスタイルや嗜好等を反映したキーワード付与を行う画像処理装置及びプログラム等を提供できる。
【０００７】
また、本発明の幾つかの態様によれば、ある写真が撮影された場所が、ユーザにとって日常的な場所なのか、もしくは非日常的な場所であるのかを自動的にキーワードとして付与する画像処理装置及びプログラム等を提供できる。
【課題を解決するための手段】
【０００８】
本発明の一態様は、撮影画像の撮影位置又は撮像装置の位置を座標情報として取得する情報取得部と、前記座標情報として取得された複数の座標情報の分布状態を取得する分布状態取得部と、取得した前記分布状態に応じたキーワードを前記撮影画像に付与するキーワード付与部と、を含む画像処理装置に関係する。
【０００９】
本発明の一態様では、座標情報を取得し、座標情報の分布状態を取得することで、分布状態に応じたキーワードを撮影画像に付与することができる。よって、ユーザの嗜好等を反映したキーワード付与が可能になる。
【００１０】
また、本発明の一態様では、前記分布状態取得部は、地理上の位置を表す二次元座標空間内における前記座標情報の分布状態を取得してもよい。
【００１１】
これにより、地理上の位置（例えば経度・緯度等）を座標情報として取得し分布状態を取得すること等ができる。
【００１２】
また、本発明の一態様では、前記情報取得部は、前記撮影画像の前記撮影位置又は前記撮像装置の位置が取得された際の時刻を表す情報である時間情報を、さらに取得し、前記分布状態取得部は、地理上の位置を表す二次元座標に加えて、時間を表す第３の軸を有する三次元座標空間内における前記座標情報及び前記時間情報の分布状態を取得し、前記キーワード付与部は、時間に関する情報を表すキーワードを前記撮影画像に付与してもよい。
【００１３】
これにより、地理上の位置に加えて、時間軸も加味した三次元の情報の分布状態を取得し、取得した分布状態に応じたキーワード付与等が可能になる。
【００１４】
また、本発明の一態様では、前記分布状態取得部は、少なくとも第１のクラスタと第２のクラスタを含む複数のクラスタに、前記座標情報を分類するクラスタ分類部を含んでもよい。
【００１５】
これにより、座標情報をクラスタリング処理し、複数のクラスタに分類すること等が可能になる。
【００１６】
また、本発明の一態様では、前記クラスタ分類部は、前記第１のクラスタと前記第２のクラスタを、基準となるクラスタである基準クラスタと、基準とならないクラスタである非基準クラスタとに分類してもよい。
【００１７】
これにより、基準・非基準という観点から分類を行うことが可能になり、ユーザの嗜好等を反映したキーワード付与ができる。
【００１８】
また、本発明の一態様では、前記クラスタ分類部は、前記複数のクラスタのうち、クラスタに含まれる前記撮影画像の枚数が最も多いクラスタを前記基準クラスタとして分類してもよい。
【００１９】
これにより、含まれる画像の枚数をカウントするという簡単な手法により基準クラスタを設定すること等が可能になる。
【００２０】
また、本発明の一態様では、前記クラスタ分類部は、ユーザの選択に基づいて前記基準クラスタを設定してもよい。
【００２１】
これにより、基準クラスタの選択をユーザの意志に任せることが可能になる。
【００２２】
また、本発明の一態様では、前記クラスタ分類部は、地理上の位置を表す二次元座標空間における座標情報の、時系列的な移動履歴に基づいて前記基準クラスタを設定してもよい。
【００２３】
これにより、時系列的な移動履歴に基づいて、例えば、最も通過回数が多い地点（ハブとなっている地点）等を中心に基準クラスタを自動的に設定すること等が可能になる。
【００２４】
また、本発明の一態様では、前記クラスタ分類部は、前記第１のクラスタ内の座標情報の表す座標の分布の複雑度と、前記第２のクラスタ内の座標情報の表す座標の分布の複雑度とに基づいて、前記基準クラスタを設定してもよい。
【００２５】
これにより、クラスタ内の座標情報の分布の複雑度に基づいて基準クラスタを自動的に設定すること等が可能になる。
【００２６】
また、本発明の一態様では、前記撮影画像として取得した複数の画像のサムネイルを地図上に提示する処理を行う地図提示部を含み、前記地図提示部は、地理上の撮影位置間の距離が所与の閾値よりも小さい画像群に対しては、前記画像群に含まれる１つの代表画像をサムネイルとして地図上に提示するとともに、非基準クラスタの場合には基準クラスタの場合に比べて、前記閾値の値を大きく設定する処理を行ってもよい。
【００２７】
これにより、非基準クラスタでは広く分布している画像が１つ（ないしは少数）のサムネイルで代表されることになり、一連の画像群が一塊のイベントであることを感覚的にユーザに訴えることができる。
【００２８】
また、本発明の一態様では、前記キーワード付与部は、前記撮影画像として取得した複数の画像に対して、撮影位置に応じた地名を前記キーワードとして付与する際に、前記基準クラスタの撮影画像に対しては前記非基準クラスタの撮影画像に比べて、狭い領域を表す地名を付与してもよい。
【００２９】
これにより、基準クラスタでは詳細な地名が付与され、旅行等では大域的な地名が付与されることで、より使いやすいシステムの提供等が可能になる。
【００３０】
また、本発明の一態様では、前記情報取得部は、前記撮影画像の前記撮影位置又は前記撮像装置の位置が取得された際の時刻を表す情報である時間情報を、さらに取得し、前記分布状態取得部は、地理上の位置を表す二次元座標に加えて、時間を表す第３の軸を有する三次元座標空間内における前記座標情報及び前記時間情報撮影の分布状態を取得し、前記キーワード付与部は、時間に関する情報を表すキーワードを前記撮影画像に付与する際に、時間的な距離を判定するための閾値を、前記基準クラスタか前記非基準クラスタかに応じて切り替えてもよい。
【００３１】
これにより、閾値を基準クラスタか非基準クラスタかで変更できるため、ユーザの感覚に沿ったキーワード付与等が可能になる。
【００３２】
また、本発明の一態様では、前記情報取得部は、前記撮影画像の前記撮影位置又は前記撮像装置の位置が取得された際の時刻を表す情報である時間情報を、さらに取得し、前記分布状態取得部は、地理上の位置を表す二次元座標に加えて、時間を表す第３の軸を有する三次元座標空間内における前記座標情報及び前記時間情報の分布状態を取得し、前記クラスタ分類部は、前記非基準クラスタに含まれる画像群において、連続した撮影時間が所与の閾値以上になった場合には、前記非基準クラスタに設定されていたクラスタを前記基準クラスタに変更してもよい。
【００３３】
これにより、ユーザの引っ越し等により、日常的な行動範囲が変わったときにも、自動的にクラスタの種類を変更すること等が可能になる。
【００３４】
また、本発明の一態様では、前記分布状態取得部は、前記複数のクラスタ間の距離情報を取得する距離情報取得部を含み、前記キーワード付与部は、前記距離情報に基づいて前記撮影画像にキーワードを付与してもよい。
【００３５】
これにより、クラスタ間距離に基づいたキーワード付与等が可能になる
【００３６】
また、本発明の一態様では、前記分布状態取得部は、前記複数のクラスタ間の距離情報を取得する距離情報取得部を含み、前記キーワード付与部は、前記基準クラスタと、前期非基準クラスタとの間の距離情報により表される距離が大きい場合には、前記非基準クラスタに含まれる前記撮影画像に対して、座標空間における距離が離れていることを表すキーワードを付与してもよい。
【００３７】
これにより、基準クラスタと非基準クラスタの間のクラスタ間距離が大きい場合に、座標空間における距離が離れていることを表すキーワードを付与することができ、距離的な情報からユーザの嗜好等を反映したキーワード付与が可能になる。
【００３８】
また、本発明の一態様では、前記分布状態取得部は、少なくとも第１のクラスタと第２のクラスタを含む複数のクラスタに、前記座標情報を分類するクラスタ分類部を含み、前記クラスタ分類部は、前記複数のクラスタのうち、１つ以上のクラスタを基準クラスタとして分類し、それ以外のクラスタを非基準クラスタとして分類してもよい。
【００３９】
これにより、ユーザの撮影位置分布が広範囲にわたっている場合にも、適切なキーワード付与等が可能になる。
【００４０】
また、本発明の一態様では、前記分布状態取得部は、少なくとも第１のクラスタと第２のクラスタを含む複数のクラスタに、前記座標情報を分類するクラスタ分類部を含み、前記クラスタ分類部は、前記複数のクラスタの各クラスタの代表位置を求め、前記各クラスタをそれぞれの前記代表位置に対応する点と見なして、再度、クラスタリング処理を行うことで、前記複数のクラスタを前記基準クラスタと前記非基準クラスタに分類してもよい。
【００４１】
これにより、複数のクラスタを基準クラスタと非基準クラスタに分類する際にも、クラスタの再クラスタリング処理という簡単な手法で分類を行うことができる。
【００４２】
また、本発明の一態様では、前記情報取得部は、同一のユーザが撮像した撮影画像に基づいて、前記座標情報を取得してもよい。
【００４３】
これにより、同一ユーザの嗜好等に沿ったキーワード付与が可能になる。
【００４４】
また、本発明の一態様では、前記キーワード付与部は、前記キーワードを付与済の前記撮影画像に対して、再度前記キーワードを付与することで、前記キーワードを更新する処理を行ってもよい。
【００４５】
これにより、ユーザの嗜好等の変化を反映した最新のキーワードを付与することが可能になる。
【００４６】
また、本発明の他の態様は、撮影画像の撮影位置又は撮像装置の位置を座標情報として取得する情報取得部と、前記座標情報として取得された複数の座標情報の分布状態を取得する分布状態取得部と、取得した前記分布状態に応じたキーワードを前記撮影画像に付与するキーワード付与部として、コンピュータを機能させるプログラムに関係する。
【図面の簡単な説明】
【００４７】
【図１】本実施形態における画像処理装置の構成例。
【図２】第１の実施形態の処理を説明するためのフローチャート。
【図３】図３（Ａ）〜図３（Ｃ）は座標情報の分布例。
【図４】クラスタ間距離を説明する図。
【図５】地図上にサムネイルを表示する画面データの例。
【図６】画像データ、座標情報及びキーワードのデータ構成例。
【図７】座標情報の時系列な移動履歴に基づく基準クラスタの決定処理を説明する図。
【図８】図８（Ａ）は座標情報の分布の複雑度が高い例、図８（Ｂ）は座標情報の分布の複雑度が低い例。
【図９】第２の実施形態の処理を説明するためのフローチャート。
【図１０】図１０（Ａ）、図１０（Ｂ）はユーザの選択により基準クラスタを決定する際に表示される画面データの例。
【図１１】経度・緯度・時間からなる三次元座標空間の例。
【図１２】３つ以上のクラスタに分類する例。
【図１３】第４の実施形態の処理を説明するためのフローチャート。
【発明を実施するための形態】
【００４８】
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【００４９】
１．第１の実施形態
【００５０】
本実施例では、複数の画像群の撮影位置から、画像群の中の画像がユーザの日常の行動圏内で撮影されたものなのか、遠方で撮影されたものなのかを判別し、対応するキーワードを付与する処理を示す。例として、あるユーザが日常的に写真を撮影している中で、遠方に旅行に行ったときの写真に自動的に“旅行”というキーワードを付与する処理を示す。
【００５１】
図１に本実施形態における画像処理装置の構成図を示す。図１に示したように、画像処理装置は、処理部１００と、入力部２００と、記憶部３００と、表示部４００と、を含む。処理部１００と、入力部２００と、記憶部３００と、表示部４００とはそれぞれ接続されている。
【００５２】
処理部１００は、入力部２００からの入力情報や、記憶部３００が記憶した情報に基づいて、種々の処理を行う。この処理部１００の機能は、各種プロセッサ（ＣＰＵ等）、ＡＳＩＣ（ゲートアレイ等）などのハードウェアや、プログラムなどにより実現できる。
【００５３】
入力部２００は、ユーザが画像処理装置の各種操作情報等を入力するためのものであり、各種ボタンやＧＵＩ等により実現できる。
【００５４】
記憶部３００は、処理部１００等のワーク領域となるもので、その機能はＲＡＭ等のメモリーやＨＤＤ（ハードディスクドライブ）などにより実現できる。
【００５５】
表示部４００は、各種の表示画面を表示するためのものであり、例えば液晶ディスプレイや有機ＥＬディスプレイなどにより実現できる。
【００５６】
処理部１００は、情報取得部１１０と、分布状態取得部１２０と、キーワード付与部１３０と、地図提示部１５０と、を含む。
【００５７】
情報取得部１１０は、座標情報を取得する。具体的には例えば、地理上の位置を表す２次元座標情報（例えばＸ軸Ｙ軸、あるいは緯度経度等）を取得する。座標情報は、画像が取得されたタイミングにおいて取得するものとするが、これに限定されない。画像が取得されていないタイミングにおいても、座標情報を取得していてもよい。本実施形態においては、ＧＰＳ等で取得される経度・緯度情報を取得する。また、座標情報取得手段はＧＰＳには限定されない。画像処理装置にＷｉＦｉ機能が搭載されている場合はＰｌａｃｅＥｎｇｉｎｅ等の公知の手法を用いて座標情報を取得してもよい。また、経度・緯度だけでなく、高度に関する情報を取得してもよい。
【００５８】
分布状態取得部１２０は、座標情報の分布状態を取得する。具体的には、クラスタ分類部１２５及び距離情報取得部１２６において説明するように、複数の座標情報を２つのクラスタにクラスタリングし、２つのクラスタ間の距離情報を求めることで、分布状態を取得する。
【００５９】
分布状態取得部１２０は、クラスタ分類部１２５と、距離情報取得部１２６と、を含む。クラスタ分類部１２５は、複数の座標情報をクラスタリングする。本実施形態においては、第１、第２の２つのクラスタに分類し、一方を基準となる基準クラスタに設定するとともに、他方を非基準クラスタに設定する。距離情報取得部１２６は、基準クラスタと非基準クラスタの間の距離を表すクラスタ間距離を取得する。
【００６０】
キーワード付与部１３０は、取得された画像に対して、メタデータとなるキーワードを付与する。本実施形態においては、付与されるキーワードは地理上の位置に基づいたキーワードであり、ユーザの環境や嗜好を反映したものが考えられる。また、従来からあるように、ユーザの嗜好等を考慮しないキーワード（例えば「東京」等の地名）を付与してもよい。
【００６１】
地図提示部１５０は、２次元の地図上に画像をサムネイルとして表示する。具体的には後述する図５に示すような画像を生成しユーザに対して提示する。
【００６２】
次に、図２を用いて本実施形態における処理の詳細を説明する。まず、この処理が開始されると、情報取得部１１０により、座標情報が取得される（Ｓ５０１）。ここでは、上述したように、ＧＰＳやＷｉＦｉの機能を用いて経度・緯度情報を取得するものとする。
【００６３】
そして分布状態取得部１２０のクラスタ分類部１２５は、取得した座標情報（経度・緯度情報）を二次元座標空間におけるベクトル群として、ベクトル群に対してクラスタリング処理を行い、クラスタ１とクラスタ２に分類する（Ｓ５０２）。ここで、各クラスタには少なくとも１つの座標情報が含まれるものとする。この際のクラスタリング手法としては、ｋ−ｍｅａｎｓ等の一般的な手法を種々使用できる。ここまでの処理により、図３（Ａ）から図３（Ｂ）が取得されることになる。
【００６４】
次に、クラスタ分類部１２５は、クラスタ１とクラスタ２を、基準クラスタと非基準クラスタに分類する（Ｓ５０３）。本実施形態においては、クラスタ１とクラスタ２にそれぞれ含まれる画像の枚数を比較し、画像の枚数が多い方のクラスタを基準クラスタとする。よって図３（Ｃ）においては、第１のクラスタは基準クラスタ、第２のクラスタは非基準クラスタとなる。
【００６５】
基準クラスタと非基準クラスタが設定されたら、距離情報取得部１２６は、図４に示すような基準クラスタと非基準クラスタのクラスタ間距離を算出する（Ｓ５０４）。本実施形態においては、下式（１）〜（３）を用いて、クラスタ重心（各クラスタの撮影位置群の平均座標）間のユークリッド距離を算出するものとするが、これに限定されない。
【数１】
【数２】
【数３】
【００６６】
距離算出法は他にも種々使用できる。例えば、クラスタ間で最も位置が近い撮影位置座標同士のユークリッド距離を用いてもよいし、クラスタ間の全撮影位置座標同士の距離平均を用いてもよい。また、基準クラスタの重心座標から非基準クラスタへのマハラノビス距離（点から分布への距離）や、非基準クラスタの重心座標から基準クラスタへのマハラノビス距離を用いてもよいし、他にも、クラスタ間距離を算出する種々の一般的な処理を使用してもよい。
【００６７】
また、距離情報取得部１２６では、クラスタ間距離でなく、各クラスタに含まれる各画像の座標ベクトルと、相対するクラスタとの距離を各々算出して、後述するキーワード付与に利用してもよい。
【００６８】
算出された距離情報に基づいて、キーワード付与部は、各クラスタに含まれる画像にキーワードを付与して記憶する（Ｓ５０５）。クラスタ間の距離の値が大きければ、非基準クラスタに含まれる画像に「遠い」、「旅行」等の地理上の距離が離れていることを表現するキーワードを付与する。また、基準クラスタに含まれる画像に「近い」、「近所」等の地理上の距離が近いことを表現するキーワードを付与してもよい。
【００６９】
また、クラスタ間の距離の値が小さければ、基準クラスタもしくは非基準クラスタのどちらか又は両方に含まれる画像に”近い”、”近所”等の地理上の距離が近いことを表現するキーワードを付与する。本実施例では、距離の大小は予め定められた閾値によって判定する。例えば、地図上で３００ｋｍ以上の距離を閾値とすると、非基準クラスタが基準クラスタから３００ｋｍ以上離れていた場合に、非基準クラスタの画像群に”旅行”等のキーワードを付与することになる。
【００７０】
以上により、ユーザが撮影した画像群から、遠方への旅行で撮影した写真のみに自動的に“旅行”というキーワードが付与されることとなる。
【００７１】
また、本画像処理装置は、撮影位置が増えたタイミング、ユーザによる任意のタイミング、一定の時間経過等で、本処理を再度行い、キーワード付与済みの画像のキーワードを更新する。よって、ユーザのライフスタイルや嗜好の変化を反映した最新のキーワード付与が出来る。
【００７２】
また、地図提示部１５０が地図上にサムネイルとして画像を表示する場合には、基準クラスタか非基準クラスタかで処理を変更することもできる。具体例を図５に示す。ここでは、地図上で所与の閾値以下の範囲にある画像群は１つのサムネイルで代表して表示するものとする。
【００７３】
ここで、基準クラスタとは、ユーザが日常的に行動する圏内に相当すると考えられるから、分布している画像群を大きなくくりでまとめてしまうには問題が残る。つまり、東京都にいる人にとっては、「東京都」で１つのまとまりにするのではなく、同じ都内であっても「お台場」の画像と「池袋」の画像とは区別されることが望ましい。なぜなら、東京在住の人の日常生活を基準に考えれば、「お台場」と「池袋」は十分に離れた地点であり、それぞれの場所へ行き画像を撮影した際の、同行者・時間・目的等は異なることが想定されるためである。
【００７４】
それに対して、非基準クラスタとは、ユーザにとって行動圏内を外れた非日常的な場所であるから、異なる目的等で頻繁に訪れることは想定しにくい。よって、図５の例で言えば、東北近辺に分布する画像群は、距離的にはお台場−池袋間以上の範囲に分布していたとしても、同一の「東北旅行」として扱い、１つの画像で代表しても問題は生じにくい。
【００７５】
以上の本実施形態において、画像処理装置は、図１に示したように、座標情報を取得する情報取得部１１０と、取得した複数の座標情報の分布状態を取得する分布状態取得部１２０と、分布状態に応じたキーワードを撮影画像に付与するキーワード付与部１３０と、を含む。
【００７６】
ここで、画像処理装置は、撮像装置とともに用いられる（もしくは撮像装置に内蔵される）ものとして説明するが、これに限定されるものではない。また、座標情報とは、撮像装置により撮影画像を撮影した際の位置、もしくは、画像の撮影にかかわらず、任意のタイミングで取得された撮像装置の位置を表す情報である。
【００７７】
これにより、座標情報を取得した上で、座標情報の分布状態を取得し、取得した分布状態に応じたキーワードを撮影画像に付与することが可能になる。よって、座標情報の分布（例えば図３（Ａ）〜図３（Ｃ））に応じて、各撮影画像に対してキーワードを付与することができる。ここでは、分布状態を取得しているため、例えば図３（Ａ）〜図３（Ｃ）の例で言えば、撮影は主に東京で行われており、少数ではあるが東北でも撮影が行われている、という情報を取得できる。そのため、付与することのできるキーワードは、単純に「東京」、「東北」といった、どのユーザにとっても変わらないキーワードに限定されない。東京の画像に「近い」「近所」「普段」、東北の画像に「遠い」「旅行」「珍しい」といったように、ユーザの居住地や行動範囲、嗜好を反映したキーワード付与が可能になる。
【００７８】
ここで、画像処理装置は、画像に対してキーワードを付与するものとした。画像にメタデータを付与することで、検索や表示を効率的に行うことができる。しかし、本実施形態においては、画像を撮影したタイミング以外のタイミングでも座標情報を取得しているため、そのときの座標情報に対してもキーワードを付与してもかまわない。データ構造としては図６に示したようになる。通常は図６のＡ１に示したように、画像データに対して、メタデータとして座標情報が関連づけられ、さらにキーワードがメタデータとして関連づけられる。それに対して、図６のＡ２に示したように、画像が撮影されないタイミングで取得された座標情報（画像データはＮＵＬＬ）にキーワードが関連づけられてもよい。何らかの形で、座標情報を用いてデータ処理を行うケースが生じた場合等に、座標情報のメタデータとしてキーワードを用いることができるため有用である。
【００７９】
また、分布状態取得部１２０は、地理上の位置を表す二次元座標空間内における座標情報の分布状態を取得する。
【００８０】
これにより、座標情報として、地理上の位置（例えば経度・緯度）を用いることが可能となる。地理上の位置は例えば、ＧＰＳやＷｉＦｉの機能を用いることで取得することができる。
【００８１】
また、分布状態取得部１２０は、少なくとも第１のクラスタと第２のクラスタを含む複数のクラスタに、座標情報を分類するクラスタ分類部１２５を含んでもよい。
【００８２】
これにより、複数の座標情報を、クラスタリング処理により複数のクラスタに分類することができる。本実施形態においては図３（Ｂ）に示したように、第１のクラスタと第２のクラスタの２つに分類するが、後述する第４の実施形態のように、３つ以上のクラスタに分類してもよい（後述する図１２）。クラスタリングを行うことで、分布の状態に関する情報を取得することが可能になる。
【００８３】
また、クラスタ分類部１２５は、第１のクラスタと第２のクラスタを、図３（Ｃ）に示すように、基準となるクラスタである基準クラスタと、基準とならないクラスタである非基準クラスタとに分類する。
【００８４】
これにより、複数のクラスタに分類された座標情報を、さらに、基準に属するものであるか否かという観点で分類することができる。基準・非基準という分類を行うことで、上述したように、その地域がユーザにとって日常的な範囲なのか、非日常的な範囲なのかを判定することが可能になり、ユーザの嗜好等を考慮したキーワード付与ができる。
【００８５】
また、クラスタ分類部１２５は、複数のクラスタのうち、含まれる撮影画像が最も多いクラスタを基準クラスタとして分類してもよい。
【００８６】
これにより、含まれる撮影画像が最も多いクラスタを基準クラスタとして設定することができる。これは、撮影画像の枚数が多いと言うことは、該当するクラスタに含まれる範囲において行動する時間が最も長いという可能性が高いことによる。なお、普段の生活では撮影はあまり行わず、旅行で大量の画像を撮影するユーザもいると考えられる。その場合は、撮影していない状態（撮像装置が完全には停止していないスリープ状態）においても、定期的に座標情報を取得し、含まれる座標情報が最も多いクラスタを基準クラスタにすればよい。どちらの場合も、クラスタに含まれる要素の数から基準クラスタを決定できるため、処理を簡単化できる。
【００８７】
また、クラスタ分類部１２５は、地理上の位置を表す二次元座標空間における、座標情報の時系列的な移動履歴に基づいて基準クラスタを設定してもよい。
【００８８】
これにより、座標情報の時系列な移動履歴から基準クラスタを設定することができる。ここで、座標情報の時系列な移動履歴とは、具体的には例えば、座標情報を時系列順に直線で結んだもの等が考えられる。ユーザの行動としては、自宅から旅行先に移動し自宅に戻ることが想定される。つまり、旅行先から旅行先へ次々移動するケースを想定から外せば、ユーザの自宅は、図７において放射線状の図形の中心（別の言葉で言えば「ハブ」）になっていると考えられる。よって、図７のような図形を作成し、ハブとなるクラスタを基準クラスタとして設定すればよい。処理としては、クラスタに入る回数（もしくは出る回数、あるいはその和）をカウントし、最も多いクラスタを基準クラスタにする手法が考えられる。
【００８９】
また、クラスタ分類部１２５は、第１のクラスタ内の座標情報の分布の複雑度と、第２のクラスタ内の座標情報の分布の複雑度とに基づいて、基準クラスタを設定してもよい。
【００９０】
ここで、座標情報の分布の複雑度とは、図８（Ａ）のように、座標情報が広範囲にばらばらに分布している場合に高くなり、図８（Ｂ）のように、狭い範囲に密集していたり、直線上に分布している場合に低くなる情報である。具体的な算出手法の例については後述する。
【００９１】
これにより、座標情報の分布の複雑度に基づいて、基準クラスタを設定することができる。これは、ユーザが日常的に属する基準クラスタでは、クラスタ内のいろいろな場所へ無作為に移動することが想定されるのに対して、非基準クラスタは旅行等であるため、直線状等、比較的単純な移動が想定されることによる。
【００９２】
複雑度の算出手法は、単純には例えば、各座標情報を時系列的に結んだときに、前の点と現在の点を結ぶ線分のなす角度の絶対値の総和や、線分の長さの総和等をパラメータとする手法が考えられる。角度の絶対値の総和が小さければ、図８（Ｂ）のように直線的な移動が想定されるし、線分の長さの総和が小さければ狭い範囲に密集していることが想定され、どちらも非基準クラスタに分類されるケースとなる。
【００９３】
また、複雑度の他の算出手法としては、各座標情報を時系列的に結んだときに、前の点と現在の点を結ぶ線分に一定の幅を持たせる。そして、各クラスタが表す領域にしめる線分の面積の割合を求めてもよい。複雑な移動をしていれば、クラスタ領域に対する線分の面積の割合は大きくなり、逆に単純な動きをしていれば面積の割合は小さくなることが想定される。実際の処理としては、クラスタ領域（白い画素とする）を表す画像の中で、線分の通った領域を黒く塗りつぶすようにして、白い画素と黒い画素との個数の比を求めればよい。ただし、狭い領域に多数の座標情報が分布している場合には、移動が単純であったとしても、面積の割合は高くなってしまう。そこで、クラスタ領域の面積と、クラスタに含まれる座標情報の数とで、算出する面積を補正することも考慮するとよい。
【００９４】
また、画像処理装置は、地図上に撮影画像として取得した複数の画像のサムネイルを表示する地図提示部１５０を含んでもよい。地図提示部１５０は、地理上の撮影位置間の距離が所与の閾値よりも小さい画像群に対しては、画像群に含まれる１つの代表画像をサムネイルとして表示する。そして、非基準クラスタにおいては、基準クラスタに比べて、閾値の値を大きく設定する。
【００９５】
これにより、例えば図５のような画像をユーザに提示することが可能になる。図５においては、図３（Ｃ）に示したように、東京近辺に基準クラスタが設定され、東北に非基準クラスタが設定されているものとする。所与の範囲に入っている画像群を１つのサムネイルで代表する手法をとるが、その際の閾値を非基準クラスタでは基準クラスタに比べて大きくする。つまり、非基準クラスタでは広範囲の画像が１つのサムネイルで代表されるが、基準クラスタでは１つのサムネイルが代表する範囲が非基準クラスタに比べて狭くなる。これは上述したように、基準クラスタは日常的に行動する範囲であるから、ポイントとなる地点は狭い範囲に複数あると考えられることによる。つまり、東京で言えば例えば、「お台場」「池袋」「品川」「自由が丘」は距離的にそれほど離れていなくても、異なる目的等で訪れる場所であるから、全て区別されてしかるべきである。それに対して、非基準クラスタは旅行等によるものであるから、極端な例で言えば、東北全域を「東北旅行」として１つのサムネイルで代表しても、問題は生じにくいと考えられる。
【００９６】
また、キーワード付与部１３０は、撮影画像に対して撮影位置に応じた地名をキーワードとして付与する場合に、基準クラスタの画像に対しては、非基準クラスタの画像に比べて、狭い領域を表す地名を付与してもよい。
【００９７】
ここで、狭い領域を表す地名とは、例えば、地名の指し示す領域の面積が比較対象に比べ狭いことを意味する。具体的には例えば、「日本」に対する「東京」であり、「東京」に対する「渋谷区」、「渋谷区」に対する「渋谷」「恵比寿」等である。これは、住所を決める際の、国、都道府県、市区町村、番地等の区分けとほぼ同等であるが、もちろん、住所には用いられない地域名称等が用いられてもよい。また、上述の例では、広い領域を表す地名と、狭い領域を表す地名とが包含関係にあったが、当然これに限定される必要はない。例えば、地方をあらわす「東北」と、都道府県を表す「東京」では、「東京」の方が狭い領域を表す。
【００９８】
これにより、キーワードの粒度（細かさ）を基準クラスタか非基準クラスタかに応じて設定することが可能になる。これは、上述のサムネイルの例と同様に、基準クラスタでは、ユーザの嗜好を反映させるためには、細かい地名を使い分ける必要があるのに対し、非基準クラスタでは、ある程度おおざっぱな（「東北」「岩手」等）地名で十分だからである。
【００９９】
また、分布状態取得部１２０は、図１に示したように、距離情報取得部１２６を含み、キーワード付与部１３０は、距離情報に基づいて撮影画像にキーワードを付与する。具体的には例えば、基準クラスタと非基準クラスタの間の距離が大きい場合には、非基準クラスタに含まれる撮影画像に対して、距離が離れていることを表すキーワード（例えば「遠い」「旅行」「例外」「レア」等）を付与してもよい。
【０１００】
これにより、基準クラスタと非基準クラスタの間のクラスタ間距離を取得し、取得した距離情報に基づいてキーワードを設定することができる。また、非基準クラスタが基準クラスタから遠い位置にあることを表す距離情報の閾値は、自由に決めることができる。例えば、行動範囲の狭い子供であれば、数十ｋｍ程度の移動でも十分非日常的な環境にあると考えられる。一方アクティブな成人であれば、数百ｋｍかそれ以上の移動でないと、非日常的な環境だと認識しないこともあり得る。つまり、キーワードはクラスタ間の距離情報に基づいて付与されるべきであり、その判断の際の閾値は、ユーザごとに決められることが望ましいと言える。
【０１０１】
また、情報取得部１１０は、同一のユーザが撮像した画像に基づいて、座標情報を取得する。
【０１０２】
これにより、ユーザ個人の行動範囲や嗜好等を適切にキーワードに反映させることが可能となる。同一の画像処理装置（もしくは画像処理装置が搭載された撮像装置）を複数のユーザで使う場合には、嗜好等がユーザごとに異なると、複数の行動範囲や嗜好等が混ざり合ってしまうため、適切ではない。
【０１０３】
また、キーワード付与部１３０は、キーワード付与済の撮影画像に対して、再度キーワードを付与することで、キーワードを更新する処理を行ってもよい。
【０１０４】
この際、分布状態取得部１２０により、座標情報の分布状態も更新されてよい。
【０１０５】
これにより、キーワードを更新することが可能になる。例えば、引っ越しや行動範囲の広がり等により、日常的な行動範囲が変更されるケース等により、基準クラスタが更新され、それに伴い、キーワードが更新されること等が考えられる。
【０１０６】
また、以上の本実施形態は、情報取得部１１０と、分布状態取得部１２０と、キーワード付与部１３０として、コンピュータを機能させるプログラムにも関係する。
【０１０７】
これにより、ハードウェア的な手段に限定されず、ソフトウェアで本実施形態の画像処理装置を実現することが可能になる。具体的には例えば、撮像装置内に画像処理装置を内蔵するのではなく、撮像装置は単体で用い、撮像装置で得られたデータのみをＰＣ等の情報処理装置に入力し、プログラム的に画像処理を行うこと等が考えられる。
【０１０８】
２．第２の実施形態
【０１０９】
本実施形態ではユーザが基準クラスタを選択し、それに基づいてキーワードを付与する例を示す。これにより、ユーザの好む任意の範囲を基準クラスタとすることが出来、ユーザ操作の手間は増えるものの、より嗜好に沿ったキーワード付与が可能となる。
【０１１０】
図１に本実施形態における画像処理装置の構成図を示す。各部の構成については第１の実施形態と同様である。本実施形態においては、クラスタ分類部１２５における、基準クラスタ・非基準クラスタを設定がユーザからの入力に従って行われる点が異なる。
【０１１１】
図９を用いて本実施形態における処理の詳細を説明する。この処理が開始されると、まず、座標情報が取得される（Ｓ６０１）。座標情報の取得に関しては、第１の実施形態と同様であるため、詳細な説明は省略する。
【０１１２】
次に、範囲選択モードであるか否かの判定が行われ（Ｓ６０７）、範囲選択モードである場合には、クラスタ分類部１２５は、表示部に備えられたディスプレイ等の情報提示デバイスに図１０（Ａ）に示すような地図情報と撮影位置を表示し、入力部に備えられたマウス等のＵＩによって、ユーザに基準クラスタとなる地図上の範囲を選択させる（Ｓ６０２）。この際、ユーザがポインタをドラッグすることで、選択範囲が円形状に広がるようにしてもよいし、フリーハンドで囲まれた領域を選択範囲としてもよい。住所に関する情報を入力させ、入力された住所を中心に、所与の範囲を基準クラスタとして選択してもよい。また、図１０（Ａ）には座標情報が表示されているが、まったくの白地図から選択させてもよい。
【０１１３】
また、Ｓ６０７において、範囲選択モードでないと判定された場合には、まず、第１の実施形態と同様に、座標情報の分布から、第１のクラスタと第２のクラスタを設定する（Ｓ６０３）。
【０１１４】
そして、クラスタ分類部１２５は、図１０（Ｂ）に示すような画面を表示し、第１のクラスタと第２のクラスタのどちらを基準クラスタにするか、選択させる（Ｓ６０４）。
【０１１５】
距離情報取得部１２６によるクラスタ間距離の取得（Ｓ６０５）については、第１の実施形態と同様である。そして、クラスタ間距離に応じて、キーワード付与部１３０によりキーワードを付与する（Ｓ６０６）。キーワード付与処理は、基本的に実施例１と同様であるが、距離の大小を判定する閾値をユーザに選択させてもよい。
【０１１６】
以上により、ユーザが選択した範囲を基準としたキーワード付与が行われ、より個人の嗜好に沿ったキーワード付与となる。
【０１１７】
以上の本実施形態では、クラスタ分類部１２５は、図１０（Ａ）、図１０（Ｂ）に示すように、ユーザの選択に基づいて基準クラスタを設定する。
【０１１８】
これにより、よりユーザの嗜好を反映した基準クラスタの設定が可能になる。具体的には例えば、図１０（Ａ）のように、クラスタリング処理の前に、範囲を選択させたり、住所を入力させたりする手法や、図１０（Ｂ）のようにクラスタリング後に、どのクラスタを基準クラスタにするかを選択させる手法が考えられる。また、図１０（Ｂ）には図示されていないが、クラスタリング後に住所を直接入力させ、入力された住所に最も近いクラスタを基準クラスタとしてもよい。
【０１１９】
３．第３の実施形態
【０１２０】
本実施形態では二次元座標で表せられる地図上の位置情報に加え、時間軸を用いることで、より高度なキーワード付与を行う処理を示す。
【０１２１】
構成図を図１に示し、処理の詳細を図２に示す。図１、図２から明らかなように、構成や処理の概要は第１の実施形態と同様である。以下、図２に沿って異なる箇所を説明する。
【０１２２】
この処理が開始されると、まず、座標情報が取得される。情報取得部１１０は画像群の地理的な撮影座標情報を取得する。具体的には座標情報としてＧＰＳ等で取得される経度・緯度情報を取得する。本実施形態においては、それに加えて、撮影された時刻を取得する。経度・緯度の二次元座標空間と、時間からなる一次元座標空間との座標として各々座標情報を得る（Ｓ５０１）。
【０１２３】
次に、座標情報に基づいてクラスタ１とクラスタ２を設定する。ここでは、クラスタ１，２の設定には、地理的な二次元の座標情報を用いるものとし、時間からなる一次元座標情報は使用しない（Ｓ５０２）。
【０１２４】
基準クラスタ、非基準クラスタに分類するＳ５０３については、第１の実施形態と同様である。そして、クラスタ間距離を算出する（Ｓ５０４）。第１の実施形態と同様に、経度・緯度の二次元座標における距離を算出する。それに加えて、時間軸の一次元座標空間における距離も算出する。
【０１２５】
そして、キーワード付与部１３０は、クラスタ間距離に応じて、各クラスタに含まれる画像にキーワードを付与して記憶する。時間軸の距離が大きければ“昔”、小さければ”最近”等のキーワードを付与する。また、経度・緯度の二次元座標空間における距離と、時間軸の距離を各々判定し、”昔”と“旅行”、”最近”と”近所”といった位置情報と時間軸を同時に鑑みた付与をしてもよい。
【０１２６】
また、以上の実施形態では、経度・緯度の二次元座標空間と、時間からなる一次元座標空間を別々に距離算出に用いたが、これらを合わせて使用してもよい。例えば、図１１に示すように、経度・緯度・時間からなる三次元座標空間の座標として各撮影座標を得る。
【０１２７】
クラスタ１とクラスタ２の設定の際にも三次元座標空間上のベクトル群が用いられる。また、距離情報取得部１２６による距離情報取得に際しても、三次元座標空間が用いられる。
【０１２８】
そして、キーワード付与部１３０は、三次元座標空間における距離が大きければ“遠い”、小さければ“近い”等の、地理上と時間軸の距離を合わせて表すキーワードを付与する。
【０１２９】
以上により、時間軸を用いたキーワード付与が可能となり、ユーザのライフスタイルや嗜好の時間的変化を反映したキーワード付与が出来る。
【０１３０】
また、第１の実施形態に示したように、本画像処理装置は、撮影位置が増えたタイミング、ユーザによる任意のタイミング、一定の時間経過等で、本処理を再度行い、キーワード付与済みの画像のキーワードを更新するため、”最近”と付与されていた画像が”昔”と更新されるなど、時間の経過を鑑みた処理を行ってもよい。
【０１３１】
以上の本実施形態では、情報取得部１１０は、座標情報の他に、時間情報をさらに取得する。そして、分布状態取得部１２０は、三次元座標空間における座標情報と時間情報の分布状態を取得し、キーワード付与部１３０は、時間に関する情報を表すキーワードを付与する。
【０１３２】
ここで、時間情報とは、撮影画像の撮影位置もしくは撮像画像の位置に関する情報が取得された際の時刻を表す情報である。
【０１３３】
これにより、図１１のように、経度・緯度だけでなく、時間も含めたキーワード付与が可能になる。例えば「最近」「昔」等のキーワードが付与できるし、経度・緯度情報とあわせて、「最近の旅行」「２回目の旅行」等のキーワード付与も可能になる。
【０１３４】
また、キーワード付与部１３０は、撮影画像に時間に関するキーワードを付与する際に、時間的な距離を判定するための閾値を、基準クラスタか非基準クラスタかに応じて切り替えてもよい。
【０１３５】
具体的には例えば、時間的に近いことを表す閾値を設定する際に、基準クラスタでは非基準クラスタに比べて小さい閾値を設定してもよい。例えば、基準クラスタでは、１週間前を閾値に「最近」というキーワードを付与するのに対して、非基準クラスタでは、１ヶ月前を閾値に「最近」というキーワードを付与する。
【０１３６】
これにより、よりユーザの感覚にあったキーワードを付与することが可能になる。これは、日常的な範囲（基準クラスタ）では、毎日のように新しいイベントが積み重なり、過去のイベントは急速に目新しさを失っていくのに対して、非日常的な範囲（非基準クラスタ）では、ある程度時間がたったとしても、イベントのインパクトは薄れにくいことに起因している。
【０１３７】
また、クラスタ分類部１２５は、非基準クラスタに含まれる画像群において、連続した撮影時間が所与の閾値以上になった場合には、非基準クラスタに設定されていたクラスタを基準クラスタに変更してもよい。
【０１３８】
ここで、連続した撮影時間とは、ある時刻Ａにおいて、非基準クラスタにおいて画像が撮影され、別のクラスタに移動することなく、同一のクラスタである時刻Ｂにおいて画像が撮影されたときの、ＡとＢとの間の時間を指すものとする。つまり、連続した撮影時間が所与の閾値以上になった場合とは、ある非基準クラスタに長時間とどまり続けたケースとほぼ同義である。
【０１３９】
これにより、連続した撮影時間が所与の閾値以上になった場合には、引っ越し等の影響により、日常的な行動範囲が変更されたと判断し、基準クラスタを変更することが可能になる。
【０１４０】
４．第４の実施形態
【０１４１】
実施例１〜３に共通の拡張処理として、基準クラスタと非基準クラスタが各々複数のクラスタから構成されている場合の処理を示す。これまでは、基準クラスタと非基準クラスタの計２つのクラスタのみ扱ってきたが、現実にユーザが撮影する撮影位置群の分布を考慮すると、３個以上の多くのクラスタを処理に用いた方が適切であるためである。
【０１４２】
構成図は第１の実施形態と同様に図１である。
【０１４３】
図１２に本実施例の模式図を示す。図１２に示したように、クラスタがクラスタ１，２の２つだけではなく、３つ以上の複数のクラスタ（図１２の例では５個）が設定されている。そして、基準クラスタ、非基準クラスタのそれぞれが、少なくとも１つのクラスタから構成されており、図１２の例では、基準クラスタが３つのクラスタから構成され、非基準クラスタが２つのクラスタから構成されている。
【０１４４】
図１３を用いて本実施形態における処理の詳細を説明する。この処理が開始されると、まず、情報取得部１１０により、座標情報が取得される（Ｓ７０１）。これについては第１の実施形態と同様である。
【０１４５】
次に、クラスタ分類部１２５により、座標情報分布からクラスタ群を設定する（Ｓ７０２）。ここで、クラスタ群の設定法は種々利用できる。例えば、ｋ−ｍｅａｎｓにおいて、ｋの値を増やしてクラスタリングを行ってもよい。第２の実施形態のようなユーザの入力を可能にする構成であれば、ユーザにクラスタとする座標情報群を各々選択させてもよい。これにより、図１２に示すように、座標情報分布から複数のクラスタが設定される。
【０１４６】
次に、クラスタ分類部１２５は、クラスタ群を、基準クラスタ群と非基準クラスタ群に分類する（Ｓ７０３）。ここで、分類法は種々利用できる。例えば、クラスタ群に対してｋ−ｍｅａｎｓ（ｋ＝２）としてクラスタリングを行ってもよい。また、ユーザに基準クラスタとするクラスタを選択させてもよい。これにより、図１２に示すように、クラスタ群が、基準クラスタと非基準クラスタに分類される。
【０１４７】
さらに、距離情報取得部１２６は、基準クラスタ群と非基準クラスタ群のクラスタ間距離を算出する（Ｓ７０４）。計算法は第１の実施形態と同様である。基準クラスタの重心位置は、基準クラスタ群に含まれる各クラスタ内の全ての座標情報に基づいた重心の位置とすればよい。また、基準クラスタ群に含まれるあるクラスタと、非基準クラスタ群に含まれるあるクラスタとをピックアップして、第１の実施形態と同様の計算処理を行ってもよい。
【０１４８】
Ｓ７０５における、クラスタ間距離に応じたキーワード付与処理は、第１の実施形態と同様である。
【０１４９】
以上により、より実際に沿った複雑なキーワード付与が可能となる。
【０１５０】
以上の本実施形態において、分布状態取得部１２０は、少なくとも第１のクラスタと第２のクラスタを含む複数のクラスタに座標情報を分類するクラスタ分類部１２５を含む。そして、クラスタ分類部１２５は、複数のクラスタのうち１つ以上のクラスタを基準クラスタとして分類し、それ以外のクラスタを非基準クラスタとして分類する。
【０１５１】
その際の手法として、具体的には例えば、複数のクラスタの各クラスタの代表位置を求め、各クラスタをそれぞれの代表位置に対応する点と見なして再度クラスタリング処理を行うこと等が考えられる。
【０１５２】
これにより、図１２のように、基準クラスタ、非基準クラスタがそれぞれ１つ以上のクラスタからなるような構成が可能になる。第１〜３の実施形態のように、クラスタが２つの場合には、複数の地域に旅行に行ったケース（例えば東京在住で、東北と関西に旅行に行ったケース等）では、適切なクラスタリングができなかった。その点本実施形態の手法を用いれば、東京、東北、関西と、３つのクラスタをそれぞれ設定することができるため、より適切なクラスタリングが可能になる。
【０１５３】
以上、本発明を適用した４つの実施の形態１〜４およびその変形例について説明したが、本発明は、各実施の形態１〜４やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施の形態１〜４や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施の形態１〜４や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。
【符号の説明】
【０１５４】
１００ 処理部、１１０ 情報取得部、１２０ 分布状態取得部、
１２５ クラスタ分類部、１２６ 距離情報取得部、１３０ キーワード付与部、
１４０ クラスタ分類部、１５０ 地図提示部、１６０ 距離情報取得部、
２００ 入力部、３００ 記憶部、４００ 表示部
【技術分野】
【０００１】
本発明は、画像処理装置及びプログラム等に関する。
【背景技術】
【０００２】
画像検索のため、画像へのキーワード（メタデータ）付与が近年活発である。付与手法は大きく分けて、画像から画像特徴量を抽出し、画像認識で被写体種を認識しキーワードとするアプローチと、カメラパラメータ（Ｅｘｉｆ、ＧＰＳ、各種センサ）を用いるアプローチとがある。
【０００３】
特許文献１では、画像の撮影時に併せて取得された位置情報を用いて、予め用意された場所名を表すキーワードを付与する手法が示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−２４２６３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
位置情報を用いたキーワード付与にしろ、画像認識を用いたキーワード付与にしろ、同じ場所或いは同じ対象を撮影すれば常に同じキーワードが付与されるため、ユーザのライフスタイルや嗜好は反映されない。
【０００６】
本発明の幾つかの態様によれば、ユーザのライフスタイルや嗜好等を反映したキーワード付与を行う画像処理装置及びプログラム等を提供できる。
【０００７】
また、本発明の幾つかの態様によれば、ある写真が撮影された場所が、ユーザにとって日常的な場所なのか、もしくは非日常的な場所であるのかを自動的にキーワードとして付与する画像処理装置及びプログラム等を提供できる。
【課題を解決するための手段】
【０００８】
本発明の一態様は、撮影画像の撮影位置又は撮像装置の位置を座標情報として取得する情報取得部と、前記座標情報として取得された複数の座標情報の分布状態を取得する分布状態取得部と、取得した前記分布状態に応じたキーワードを前記撮影画像に付与するキーワード付与部と、を含む画像処理装置に関係する。
【０００９】
本発明の一態様では、座標情報を取得し、座標情報の分布状態を取得することで、分布状態に応じたキーワードを撮影画像に付与することができる。よって、ユーザの嗜好等を反映したキーワード付与が可能になる。
【００１０】
また、本発明の一態様では、前記分布状態取得部は、地理上の位置を表す二次元座標空間内における前記座標情報の分布状態を取得してもよい。
【００１１】
これにより、地理上の位置（例えば経度・緯度等）を座標情報として取得し分布状態を取得すること等ができる。
【００１２】
また、本発明の一態様では、前記情報取得部は、前記撮影画像の前記撮影位置又は前記撮像装置の位置が取得された際の時刻を表す情報である時間情報を、さらに取得し、前記分布状態取得部は、地理上の位置を表す二次元座標に加えて、時間を表す第３の軸を有する三次元座標空間内における前記座標情報及び前記時間情報の分布状態を取得し、前記キーワード付与部は、時間に関する情報を表すキーワードを前記撮影画像に付与してもよい。
【００１３】
これにより、地理上の位置に加えて、時間軸も加味した三次元の情報の分布状態を取得し、取得した分布状態に応じたキーワード付与等が可能になる。
【００１４】
また、本発明の一態様では、前記分布状態取得部は、少なくとも第１のクラスタと第２のクラスタを含む複数のクラスタに、前記座標情報を分類するクラスタ分類部を含んでもよい。
【００１５】
これにより、座標情報をクラスタリング処理し、複数のクラスタに分類すること等が可能になる。
【００１６】
また、本発明の一態様では、前記クラスタ分類部は、前記第１のクラスタと前記第２のクラスタを、基準となるクラスタである基準クラスタと、基準とならないクラスタである非基準クラスタとに分類してもよい。
【００１７】
これにより、基準・非基準という観点から分類を行うことが可能になり、ユーザの嗜好等を反映したキーワード付与ができる。
【００１８】
また、本発明の一態様では、前記クラスタ分類部は、前記複数のクラスタのうち、クラスタに含まれる前記撮影画像の枚数が最も多いクラスタを前記基準クラスタとして分類してもよい。
【００１９】
これにより、含まれる画像の枚数をカウントするという簡単な手法により基準クラスタを設定すること等が可能になる。
【００２０】
また、本発明の一態様では、前記クラスタ分類部は、ユーザの選択に基づいて前記基準クラスタを設定してもよい。
【００２１】
これにより、基準クラスタの選択をユーザの意志に任せることが可能になる。
【００２２】
また、本発明の一態様では、前記クラスタ分類部は、地理上の位置を表す二次元座標空間における座標情報の、時系列的な移動履歴に基づいて前記基準クラスタを設定してもよい。
【００２３】
これにより、時系列的な移動履歴に基づいて、例えば、最も通過回数が多い地点（ハブとなっている地点）等を中心に基準クラスタを自動的に設定すること等が可能になる。
【００２４】
また、本発明の一態様では、前記クラスタ分類部は、前記第１のクラスタ内の座標情報の表す座標の分布の複雑度と、前記第２のクラスタ内の座標情報の表す座標の分布の複雑度とに基づいて、前記基準クラスタを設定してもよい。
【００２５】
これにより、クラスタ内の座標情報の分布の複雑度に基づいて基準クラスタを自動的に設定すること等が可能になる。
【００２６】
また、本発明の一態様では、前記撮影画像として取得した複数の画像のサムネイルを地図上に提示する処理を行う地図提示部を含み、前記地図提示部は、地理上の撮影位置間の距離が所与の閾値よりも小さい画像群に対しては、前記画像群に含まれる１つの代表画像をサムネイルとして地図上に提示するとともに、非基準クラスタの場合には基準クラスタの場合に比べて、前記閾値の値を大きく設定する処理を行ってもよい。
【００２７】
これにより、非基準クラスタでは広く分布している画像が１つ（ないしは少数）のサムネイルで代表されることになり、一連の画像群が一塊のイベントであることを感覚的にユーザに訴えることができる。
【００２８】
また、本発明の一態様では、前記キーワード付与部は、前記撮影画像として取得した複数の画像に対して、撮影位置に応じた地名を前記キーワードとして付与する際に、前記基準クラスタの撮影画像に対しては前記非基準クラスタの撮影画像に比べて、狭い領域を表す地名を付与してもよい。
【００２９】
これにより、基準クラスタでは詳細な地名が付与され、旅行等では大域的な地名が付与されることで、より使いやすいシステムの提供等が可能になる。
【００３０】
また、本発明の一態様では、前記情報取得部は、前記撮影画像の前記撮影位置又は前記撮像装置の位置が取得された際の時刻を表す情報である時間情報を、さらに取得し、前記分布状態取得部は、地理上の位置を表す二次元座標に加えて、時間を表す第３の軸を有する三次元座標空間内における前記座標情報及び前記時間情報撮影の分布状態を取得し、前記キーワード付与部は、時間に関する情報を表すキーワードを前記撮影画像に付与する際に、時間的な距離を判定するための閾値を、前記基準クラスタか前記非基準クラスタかに応じて切り替えてもよい。
【００３１】
これにより、閾値を基準クラスタか非基準クラスタかで変更できるため、ユーザの感覚に沿ったキーワード付与等が可能になる。
【００３２】
また、本発明の一態様では、前記情報取得部は、前記撮影画像の前記撮影位置又は前記撮像装置の位置が取得された際の時刻を表す情報である時間情報を、さらに取得し、前記分布状態取得部は、地理上の位置を表す二次元座標に加えて、時間を表す第３の軸を有する三次元座標空間内における前記座標情報及び前記時間情報の分布状態を取得し、前記クラスタ分類部は、前記非基準クラスタに含まれる画像群において、連続した撮影時間が所与の閾値以上になった場合には、前記非基準クラスタに設定されていたクラスタを前記基準クラスタに変更してもよい。
【００３３】
これにより、ユーザの引っ越し等により、日常的な行動範囲が変わったときにも、自動的にクラスタの種類を変更すること等が可能になる。
【００３４】
また、本発明の一態様では、前記分布状態取得部は、前記複数のクラスタ間の距離情報を取得する距離情報取得部を含み、前記キーワード付与部は、前記距離情報に基づいて前記撮影画像にキーワードを付与してもよい。
【００３５】
これにより、クラスタ間距離に基づいたキーワード付与等が可能になる
【００３６】
また、本発明の一態様では、前記分布状態取得部は、前記複数のクラスタ間の距離情報を取得する距離情報取得部を含み、前記キーワード付与部は、前記基準クラスタと、前期非基準クラスタとの間の距離情報により表される距離が大きい場合には、前記非基準クラスタに含まれる前記撮影画像に対して、座標空間における距離が離れていることを表すキーワードを付与してもよい。
【００３７】
これにより、基準クラスタと非基準クラスタの間のクラスタ間距離が大きい場合に、座標空間における距離が離れていることを表すキーワードを付与することができ、距離的な情報からユーザの嗜好等を反映したキーワード付与が可能になる。
【００３８】
また、本発明の一態様では、前記分布状態取得部は、少なくとも第１のクラスタと第２のクラスタを含む複数のクラスタに、前記座標情報を分類するクラスタ分類部を含み、前記クラスタ分類部は、前記複数のクラスタのうち、１つ以上のクラスタを基準クラスタとして分類し、それ以外のクラスタを非基準クラスタとして分類してもよい。
【００３９】
これにより、ユーザの撮影位置分布が広範囲にわたっている場合にも、適切なキーワード付与等が可能になる。
【００４０】
また、本発明の一態様では、前記分布状態取得部は、少なくとも第１のクラスタと第２のクラスタを含む複数のクラスタに、前記座標情報を分類するクラスタ分類部を含み、前記クラスタ分類部は、前記複数のクラスタの各クラスタの代表位置を求め、前記各クラスタをそれぞれの前記代表位置に対応する点と見なして、再度、クラスタリング処理を行うことで、前記複数のクラスタを前記基準クラスタと前記非基準クラスタに分類してもよい。
【００４１】
これにより、複数のクラスタを基準クラスタと非基準クラスタに分類する際にも、クラスタの再クラスタリング処理という簡単な手法で分類を行うことができる。
【００４２】
また、本発明の一態様では、前記情報取得部は、同一のユーザが撮像した撮影画像に基づいて、前記座標情報を取得してもよい。
【００４３】
これにより、同一ユーザの嗜好等に沿ったキーワード付与が可能になる。
【００４４】
また、本発明の一態様では、前記キーワード付与部は、前記キーワードを付与済の前記撮影画像に対して、再度前記キーワードを付与することで、前記キーワードを更新する処理を行ってもよい。
【００４５】
これにより、ユーザの嗜好等の変化を反映した最新のキーワードを付与することが可能になる。
【００４６】
また、本発明の他の態様は、撮影画像の撮影位置又は撮像装置の位置を座標情報として取得する情報取得部と、前記座標情報として取得された複数の座標情報の分布状態を取得する分布状態取得部と、取得した前記分布状態に応じたキーワードを前記撮影画像に付与するキーワード付与部として、コンピュータを機能させるプログラムに関係する。
【図面の簡単な説明】
【００４７】
【図１】本実施形態における画像処理装置の構成例。
【図２】第１の実施形態の処理を説明するためのフローチャート。
【図３】図３（Ａ）〜図３（Ｃ）は座標情報の分布例。
【図４】クラスタ間距離を説明する図。
【図５】地図上にサムネイルを表示する画面データの例。
【図６】画像データ、座標情報及びキーワードのデータ構成例。
【図７】座標情報の時系列な移動履歴に基づく基準クラスタの決定処理を説明する図。
【図８】図８（Ａ）は座標情報の分布の複雑度が高い例、図８（Ｂ）は座標情報の分布の複雑度が低い例。
【図９】第２の実施形態の処理を説明するためのフローチャート。
【図１０】図１０（Ａ）、図１０（Ｂ）はユーザの選択により基準クラスタを決定する際に表示される画面データの例。
【図１１】経度・緯度・時間からなる三次元座標空間の例。
【図１２】３つ以上のクラスタに分類する例。
【図１３】第４の実施形態の処理を説明するためのフローチャート。
【発明を実施するための形態】
【００４８】
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【００４９】
１．第１の実施形態
【００５０】
本実施例では、複数の画像群の撮影位置から、画像群の中の画像がユーザの日常の行動圏内で撮影されたものなのか、遠方で撮影されたものなのかを判別し、対応するキーワードを付与する処理を示す。例として、あるユーザが日常的に写真を撮影している中で、遠方に旅行に行ったときの写真に自動的に“旅行”というキーワードを付与する処理を示す。
【００５１】
図１に本実施形態における画像処理装置の構成図を示す。図１に示したように、画像処理装置は、処理部１００と、入力部２００と、記憶部３００と、表示部４００と、を含む。処理部１００と、入力部２００と、記憶部３００と、表示部４００とはそれぞれ接続されている。
【００５２】
処理部１００は、入力部２００からの入力情報や、記憶部３００が記憶した情報に基づいて、種々の処理を行う。この処理部１００の機能は、各種プロセッサ（ＣＰＵ等）、ＡＳＩＣ（ゲートアレイ等）などのハードウェアや、プログラムなどにより実現できる。
【００５３】
入力部２００は、ユーザが画像処理装置の各種操作情報等を入力するためのものであり、各種ボタンやＧＵＩ等により実現できる。
【００５４】
記憶部３００は、処理部１００等のワーク領域となるもので、その機能はＲＡＭ等のメモリーやＨＤＤ（ハードディスクドライブ）などにより実現できる。
【００５５】
表示部４００は、各種の表示画面を表示するためのものであり、例えば液晶ディスプレイや有機ＥＬディスプレイなどにより実現できる。
【００５６】
処理部１００は、情報取得部１１０と、分布状態取得部１２０と、キーワード付与部１３０と、地図提示部１５０と、を含む。
【００５７】
情報取得部１１０は、座標情報を取得する。具体的には例えば、地理上の位置を表す２次元座標情報（例えばＸ軸Ｙ軸、あるいは緯度経度等）を取得する。座標情報は、画像が取得されたタイミングにおいて取得するものとするが、これに限定されない。画像が取得されていないタイミングにおいても、座標情報を取得していてもよい。本実施形態においては、ＧＰＳ等で取得される経度・緯度情報を取得する。また、座標情報取得手段はＧＰＳには限定されない。画像処理装置にＷｉＦｉ機能が搭載されている場合はＰｌａｃｅＥｎｇｉｎｅ等の公知の手法を用いて座標情報を取得してもよい。また、経度・緯度だけでなく、高度に関する情報を取得してもよい。
【００５８】
分布状態取得部１２０は、座標情報の分布状態を取得する。具体的には、クラスタ分類部１２５及び距離情報取得部１２６において説明するように、複数の座標情報を２つのクラスタにクラスタリングし、２つのクラスタ間の距離情報を求めることで、分布状態を取得する。
【００５９】
分布状態取得部１２０は、クラスタ分類部１２５と、距離情報取得部１２６と、を含む。クラスタ分類部１２５は、複数の座標情報をクラスタリングする。本実施形態においては、第１、第２の２つのクラスタに分類し、一方を基準となる基準クラスタに設定するとともに、他方を非基準クラスタに設定する。距離情報取得部１２６は、基準クラスタと非基準クラスタの間の距離を表すクラスタ間距離を取得する。
【００６０】
キーワード付与部１３０は、取得された画像に対して、メタデータとなるキーワードを付与する。本実施形態においては、付与されるキーワードは地理上の位置に基づいたキーワードであり、ユーザの環境や嗜好を反映したものが考えられる。また、従来からあるように、ユーザの嗜好等を考慮しないキーワード（例えば「東京」等の地名）を付与してもよい。
【００６１】
地図提示部１５０は、２次元の地図上に画像をサムネイルとして表示する。具体的には後述する図５に示すような画像を生成しユーザに対して提示する。
【００６２】
次に、図２を用いて本実施形態における処理の詳細を説明する。まず、この処理が開始されると、情報取得部１１０により、座標情報が取得される（Ｓ５０１）。ここでは、上述したように、ＧＰＳやＷｉＦｉの機能を用いて経度・緯度情報を取得するものとする。
【００６３】
そして分布状態取得部１２０のクラスタ分類部１２５は、取得した座標情報（経度・緯度情報）を二次元座標空間におけるベクトル群として、ベクトル群に対してクラスタリング処理を行い、クラスタ１とクラスタ２に分類する（Ｓ５０２）。ここで、各クラスタには少なくとも１つの座標情報が含まれるものとする。この際のクラスタリング手法としては、ｋ−ｍｅａｎｓ等の一般的な手法を種々使用できる。ここまでの処理により、図３（Ａ）から図３（Ｂ）が取得されることになる。
【００６４】
次に、クラスタ分類部１２５は、クラスタ１とクラスタ２を、基準クラスタと非基準クラスタに分類する（Ｓ５０３）。本実施形態においては、クラスタ１とクラスタ２にそれぞれ含まれる画像の枚数を比較し、画像の枚数が多い方のクラスタを基準クラスタとする。よって図３（Ｃ）においては、第１のクラスタは基準クラスタ、第２のクラスタは非基準クラスタとなる。
【００６５】
基準クラスタと非基準クラスタが設定されたら、距離情報取得部１２６は、図４に示すような基準クラスタと非基準クラスタのクラスタ間距離を算出する（Ｓ５０４）。本実施形態においては、下式（１）〜（３）を用いて、クラスタ重心（各クラスタの撮影位置群の平均座標）間のユークリッド距離を算出するものとするが、これに限定されない。
【数１】
【数２】
【数３】
【００６６】
距離算出法は他にも種々使用できる。例えば、クラスタ間で最も位置が近い撮影位置座標同士のユークリッド距離を用いてもよいし、クラスタ間の全撮影位置座標同士の距離平均を用いてもよい。また、基準クラスタの重心座標から非基準クラスタへのマハラノビス距離（点から分布への距離）や、非基準クラスタの重心座標から基準クラスタへのマハラノビス距離を用いてもよいし、他にも、クラスタ間距離を算出する種々の一般的な処理を使用してもよい。
【００６７】
また、距離情報取得部１２６では、クラスタ間距離でなく、各クラスタに含まれる各画像の座標ベクトルと、相対するクラスタとの距離を各々算出して、後述するキーワード付与に利用してもよい。
【００６８】
算出された距離情報に基づいて、キーワード付与部は、各クラスタに含まれる画像にキーワードを付与して記憶する（Ｓ５０５）。クラスタ間の距離の値が大きければ、非基準クラスタに含まれる画像に「遠い」、「旅行」等の地理上の距離が離れていることを表現するキーワードを付与する。また、基準クラスタに含まれる画像に「近い」、「近所」等の地理上の距離が近いことを表現するキーワードを付与してもよい。
【００６９】
また、クラスタ間の距離の値が小さければ、基準クラスタもしくは非基準クラスタのどちらか又は両方に含まれる画像に”近い”、”近所”等の地理上の距離が近いことを表現するキーワードを付与する。本実施例では、距離の大小は予め定められた閾値によって判定する。例えば、地図上で３００ｋｍ以上の距離を閾値とすると、非基準クラスタが基準クラスタから３００ｋｍ以上離れていた場合に、非基準クラスタの画像群に”旅行”等のキーワードを付与することになる。
【００７０】
以上により、ユーザが撮影した画像群から、遠方への旅行で撮影した写真のみに自動的に“旅行”というキーワードが付与されることとなる。
【００７１】
また、本画像処理装置は、撮影位置が増えたタイミング、ユーザによる任意のタイミング、一定の時間経過等で、本処理を再度行い、キーワード付与済みの画像のキーワードを更新する。よって、ユーザのライフスタイルや嗜好の変化を反映した最新のキーワード付与が出来る。
【００７２】
また、地図提示部１５０が地図上にサムネイルとして画像を表示する場合には、基準クラスタか非基準クラスタかで処理を変更することもできる。具体例を図５に示す。ここでは、地図上で所与の閾値以下の範囲にある画像群は１つのサムネイルで代表して表示するものとする。
【００７３】
ここで、基準クラスタとは、ユーザが日常的に行動する圏内に相当すると考えられるから、分布している画像群を大きなくくりでまとめてしまうには問題が残る。つまり、東京都にいる人にとっては、「東京都」で１つのまとまりにするのではなく、同じ都内であっても「お台場」の画像と「池袋」の画像とは区別されることが望ましい。なぜなら、東京在住の人の日常生活を基準に考えれば、「お台場」と「池袋」は十分に離れた地点であり、それぞれの場所へ行き画像を撮影した際の、同行者・時間・目的等は異なることが想定されるためである。
【００７４】
それに対して、非基準クラスタとは、ユーザにとって行動圏内を外れた非日常的な場所であるから、異なる目的等で頻繁に訪れることは想定しにくい。よって、図５の例で言えば、東北近辺に分布する画像群は、距離的にはお台場−池袋間以上の範囲に分布していたとしても、同一の「東北旅行」として扱い、１つの画像で代表しても問題は生じにくい。
【００７５】
以上の本実施形態において、画像処理装置は、図１に示したように、座標情報を取得する情報取得部１１０と、取得した複数の座標情報の分布状態を取得する分布状態取得部１２０と、分布状態に応じたキーワードを撮影画像に付与するキーワード付与部１３０と、を含む。
【００７６】
ここで、画像処理装置は、撮像装置とともに用いられる（もしくは撮像装置に内蔵される）ものとして説明するが、これに限定されるものではない。また、座標情報とは、撮像装置により撮影画像を撮影した際の位置、もしくは、画像の撮影にかかわらず、任意のタイミングで取得された撮像装置の位置を表す情報である。
【００７７】
これにより、座標情報を取得した上で、座標情報の分布状態を取得し、取得した分布状態に応じたキーワードを撮影画像に付与することが可能になる。よって、座標情報の分布（例えば図３（Ａ）〜図３（Ｃ））に応じて、各撮影画像に対してキーワードを付与することができる。ここでは、分布状態を取得しているため、例えば図３（Ａ）〜図３（Ｃ）の例で言えば、撮影は主に東京で行われており、少数ではあるが東北でも撮影が行われている、という情報を取得できる。そのため、付与することのできるキーワードは、単純に「東京」、「東北」といった、どのユーザにとっても変わらないキーワードに限定されない。東京の画像に「近い」「近所」「普段」、東北の画像に「遠い」「旅行」「珍しい」といったように、ユーザの居住地や行動範囲、嗜好を反映したキーワード付与が可能になる。
【００７８】
ここで、画像処理装置は、画像に対してキーワードを付与するものとした。画像にメタデータを付与することで、検索や表示を効率的に行うことができる。しかし、本実施形態においては、画像を撮影したタイミング以外のタイミングでも座標情報を取得しているため、そのときの座標情報に対してもキーワードを付与してもかまわない。データ構造としては図６に示したようになる。通常は図６のＡ１に示したように、画像データに対して、メタデータとして座標情報が関連づけられ、さらにキーワードがメタデータとして関連づけられる。それに対して、図６のＡ２に示したように、画像が撮影されないタイミングで取得された座標情報（画像データはＮＵＬＬ）にキーワードが関連づけられてもよい。何らかの形で、座標情報を用いてデータ処理を行うケースが生じた場合等に、座標情報のメタデータとしてキーワードを用いることができるため有用である。
【００７９】
また、分布状態取得部１２０は、地理上の位置を表す二次元座標空間内における座標情報の分布状態を取得する。
【００８０】
これにより、座標情報として、地理上の位置（例えば経度・緯度）を用いることが可能となる。地理上の位置は例えば、ＧＰＳやＷｉＦｉの機能を用いることで取得することができる。
【００８１】
また、分布状態取得部１２０は、少なくとも第１のクラスタと第２のクラスタを含む複数のクラスタに、座標情報を分類するクラスタ分類部１２５を含んでもよい。
【００８２】
これにより、複数の座標情報を、クラスタリング処理により複数のクラスタに分類することができる。本実施形態においては図３（Ｂ）に示したように、第１のクラスタと第２のクラスタの２つに分類するが、後述する第４の実施形態のように、３つ以上のクラスタに分類してもよい（後述する図１２）。クラスタリングを行うことで、分布の状態に関する情報を取得することが可能になる。
【００８３】
また、クラスタ分類部１２５は、第１のクラスタと第２のクラスタを、図３（Ｃ）に示すように、基準となるクラスタである基準クラスタと、基準とならないクラスタである非基準クラスタとに分類する。
【００８４】
これにより、複数のクラスタに分類された座標情報を、さらに、基準に属するものであるか否かという観点で分類することができる。基準・非基準という分類を行うことで、上述したように、その地域がユーザにとって日常的な範囲なのか、非日常的な範囲なのかを判定することが可能になり、ユーザの嗜好等を考慮したキーワード付与ができる。
【００８５】
また、クラスタ分類部１２５は、複数のクラスタのうち、含まれる撮影画像が最も多いクラスタを基準クラスタとして分類してもよい。
【００８６】
これにより、含まれる撮影画像が最も多いクラスタを基準クラスタとして設定することができる。これは、撮影画像の枚数が多いと言うことは、該当するクラスタに含まれる範囲において行動する時間が最も長いという可能性が高いことによる。なお、普段の生活では撮影はあまり行わず、旅行で大量の画像を撮影するユーザもいると考えられる。その場合は、撮影していない状態（撮像装置が完全には停止していないスリープ状態）においても、定期的に座標情報を取得し、含まれる座標情報が最も多いクラスタを基準クラスタにすればよい。どちらの場合も、クラスタに含まれる要素の数から基準クラスタを決定できるため、処理を簡単化できる。
【００８７】
また、クラスタ分類部１２５は、地理上の位置を表す二次元座標空間における、座標情報の時系列的な移動履歴に基づいて基準クラスタを設定してもよい。
【００８８】
これにより、座標情報の時系列な移動履歴から基準クラスタを設定することができる。ここで、座標情報の時系列な移動履歴とは、具体的には例えば、座標情報を時系列順に直線で結んだもの等が考えられる。ユーザの行動としては、自宅から旅行先に移動し自宅に戻ることが想定される。つまり、旅行先から旅行先へ次々移動するケースを想定から外せば、ユーザの自宅は、図７において放射線状の図形の中心（別の言葉で言えば「ハブ」）になっていると考えられる。よって、図７のような図形を作成し、ハブとなるクラスタを基準クラスタとして設定すればよい。処理としては、クラスタに入る回数（もしくは出る回数、あるいはその和）をカウントし、最も多いクラスタを基準クラスタにする手法が考えられる。
【００８９】
また、クラスタ分類部１２５は、第１のクラスタ内の座標情報の分布の複雑度と、第２のクラスタ内の座標情報の分布の複雑度とに基づいて、基準クラスタを設定してもよい。
【００９０】
ここで、座標情報の分布の複雑度とは、図８（Ａ）のように、座標情報が広範囲にばらばらに分布している場合に高くなり、図８（Ｂ）のように、狭い範囲に密集していたり、直線上に分布している場合に低くなる情報である。具体的な算出手法の例については後述する。
【００９１】
これにより、座標情報の分布の複雑度に基づいて、基準クラスタを設定することができる。これは、ユーザが日常的に属する基準クラスタでは、クラスタ内のいろいろな場所へ無作為に移動することが想定されるのに対して、非基準クラスタは旅行等であるため、直線状等、比較的単純な移動が想定されることによる。
【００９２】
複雑度の算出手法は、単純には例えば、各座標情報を時系列的に結んだときに、前の点と現在の点を結ぶ線分のなす角度の絶対値の総和や、線分の長さの総和等をパラメータとする手法が考えられる。角度の絶対値の総和が小さければ、図８（Ｂ）のように直線的な移動が想定されるし、線分の長さの総和が小さければ狭い範囲に密集していることが想定され、どちらも非基準クラスタに分類されるケースとなる。
【００９３】
また、複雑度の他の算出手法としては、各座標情報を時系列的に結んだときに、前の点と現在の点を結ぶ線分に一定の幅を持たせる。そして、各クラスタが表す領域にしめる線分の面積の割合を求めてもよい。複雑な移動をしていれば、クラスタ領域に対する線分の面積の割合は大きくなり、逆に単純な動きをしていれば面積の割合は小さくなることが想定される。実際の処理としては、クラスタ領域（白い画素とする）を表す画像の中で、線分の通った領域を黒く塗りつぶすようにして、白い画素と黒い画素との個数の比を求めればよい。ただし、狭い領域に多数の座標情報が分布している場合には、移動が単純であったとしても、面積の割合は高くなってしまう。そこで、クラスタ領域の面積と、クラスタに含まれる座標情報の数とで、算出する面積を補正することも考慮するとよい。
【００９４】
また、画像処理装置は、地図上に撮影画像として取得した複数の画像のサムネイルを表示する地図提示部１５０を含んでもよい。地図提示部１５０は、地理上の撮影位置間の距離が所与の閾値よりも小さい画像群に対しては、画像群に含まれる１つの代表画像をサムネイルとして表示する。そして、非基準クラスタにおいては、基準クラスタに比べて、閾値の値を大きく設定する。
【００９５】
これにより、例えば図５のような画像をユーザに提示することが可能になる。図５においては、図３（Ｃ）に示したように、東京近辺に基準クラスタが設定され、東北に非基準クラスタが設定されているものとする。所与の範囲に入っている画像群を１つのサムネイルで代表する手法をとるが、その際の閾値を非基準クラスタでは基準クラスタに比べて大きくする。つまり、非基準クラスタでは広範囲の画像が１つのサムネイルで代表されるが、基準クラスタでは１つのサムネイルが代表する範囲が非基準クラスタに比べて狭くなる。これは上述したように、基準クラスタは日常的に行動する範囲であるから、ポイントとなる地点は狭い範囲に複数あると考えられることによる。つまり、東京で言えば例えば、「お台場」「池袋」「品川」「自由が丘」は距離的にそれほど離れていなくても、異なる目的等で訪れる場所であるから、全て区別されてしかるべきである。それに対して、非基準クラスタは旅行等によるものであるから、極端な例で言えば、東北全域を「東北旅行」として１つのサムネイルで代表しても、問題は生じにくいと考えられる。
【００９６】
また、キーワード付与部１３０は、撮影画像に対して撮影位置に応じた地名をキーワードとして付与する場合に、基準クラスタの画像に対しては、非基準クラスタの画像に比べて、狭い領域を表す地名を付与してもよい。
【００９７】
ここで、狭い領域を表す地名とは、例えば、地名の指し示す領域の面積が比較対象に比べ狭いことを意味する。具体的には例えば、「日本」に対する「東京」であり、「東京」に対する「渋谷区」、「渋谷区」に対する「渋谷」「恵比寿」等である。これは、住所を決める際の、国、都道府県、市区町村、番地等の区分けとほぼ同等であるが、もちろん、住所には用いられない地域名称等が用いられてもよい。また、上述の例では、広い領域を表す地名と、狭い領域を表す地名とが包含関係にあったが、当然これに限定される必要はない。例えば、地方をあらわす「東北」と、都道府県を表す「東京」では、「東京」の方が狭い領域を表す。
【００９８】
これにより、キーワードの粒度（細かさ）を基準クラスタか非基準クラスタかに応じて設定することが可能になる。これは、上述のサムネイルの例と同様に、基準クラスタでは、ユーザの嗜好を反映させるためには、細かい地名を使い分ける必要があるのに対し、非基準クラスタでは、ある程度おおざっぱな（「東北」「岩手」等）地名で十分だからである。
【００９９】
また、分布状態取得部１２０は、図１に示したように、距離情報取得部１２６を含み、キーワード付与部１３０は、距離情報に基づいて撮影画像にキーワードを付与する。具体的には例えば、基準クラスタと非基準クラスタの間の距離が大きい場合には、非基準クラスタに含まれる撮影画像に対して、距離が離れていることを表すキーワード（例えば「遠い」「旅行」「例外」「レア」等）を付与してもよい。
【０１００】
これにより、基準クラスタと非基準クラスタの間のクラスタ間距離を取得し、取得した距離情報に基づいてキーワードを設定することができる。また、非基準クラスタが基準クラスタから遠い位置にあることを表す距離情報の閾値は、自由に決めることができる。例えば、行動範囲の狭い子供であれば、数十ｋｍ程度の移動でも十分非日常的な環境にあると考えられる。一方アクティブな成人であれば、数百ｋｍかそれ以上の移動でないと、非日常的な環境だと認識しないこともあり得る。つまり、キーワードはクラスタ間の距離情報に基づいて付与されるべきであり、その判断の際の閾値は、ユーザごとに決められることが望ましいと言える。
【０１０１】
また、情報取得部１１０は、同一のユーザが撮像した画像に基づいて、座標情報を取得する。
【０１０２】
これにより、ユーザ個人の行動範囲や嗜好等を適切にキーワードに反映させることが可能となる。同一の画像処理装置（もしくは画像処理装置が搭載された撮像装置）を複数のユーザで使う場合には、嗜好等がユーザごとに異なると、複数の行動範囲や嗜好等が混ざり合ってしまうため、適切ではない。
【０１０３】
また、キーワード付与部１３０は、キーワード付与済の撮影画像に対して、再度キーワードを付与することで、キーワードを更新する処理を行ってもよい。
【０１０４】
この際、分布状態取得部１２０により、座標情報の分布状態も更新されてよい。
【０１０５】
これにより、キーワードを更新することが可能になる。例えば、引っ越しや行動範囲の広がり等により、日常的な行動範囲が変更されるケース等により、基準クラスタが更新され、それに伴い、キーワードが更新されること等が考えられる。
【０１０６】
また、以上の本実施形態は、情報取得部１１０と、分布状態取得部１２０と、キーワード付与部１３０として、コンピュータを機能させるプログラムにも関係する。
【０１０７】
これにより、ハードウェア的な手段に限定されず、ソフトウェアで本実施形態の画像処理装置を実現することが可能になる。具体的には例えば、撮像装置内に画像処理装置を内蔵するのではなく、撮像装置は単体で用い、撮像装置で得られたデータのみをＰＣ等の情報処理装置に入力し、プログラム的に画像処理を行うこと等が考えられる。
【０１０８】
２．第２の実施形態
【０１０９】
本実施形態ではユーザが基準クラスタを選択し、それに基づいてキーワードを付与する例を示す。これにより、ユーザの好む任意の範囲を基準クラスタとすることが出来、ユーザ操作の手間は増えるものの、より嗜好に沿ったキーワード付与が可能となる。
【０１１０】
図１に本実施形態における画像処理装置の構成図を示す。各部の構成については第１の実施形態と同様である。本実施形態においては、クラスタ分類部１２５における、基準クラスタ・非基準クラスタを設定がユーザからの入力に従って行われる点が異なる。
【０１１１】
図９を用いて本実施形態における処理の詳細を説明する。この処理が開始されると、まず、座標情報が取得される（Ｓ６０１）。座標情報の取得に関しては、第１の実施形態と同様であるため、詳細な説明は省略する。
【０１１２】
次に、範囲選択モードであるか否かの判定が行われ（Ｓ６０７）、範囲選択モードである場合には、クラスタ分類部１２５は、表示部に備えられたディスプレイ等の情報提示デバイスに図１０（Ａ）に示すような地図情報と撮影位置を表示し、入力部に備えられたマウス等のＵＩによって、ユーザに基準クラスタとなる地図上の範囲を選択させる（Ｓ６０２）。この際、ユーザがポインタをドラッグすることで、選択範囲が円形状に広がるようにしてもよいし、フリーハンドで囲まれた領域を選択範囲としてもよい。住所に関する情報を入力させ、入力された住所を中心に、所与の範囲を基準クラスタとして選択してもよい。また、図１０（Ａ）には座標情報が表示されているが、まったくの白地図から選択させてもよい。
【０１１３】
また、Ｓ６０７において、範囲選択モードでないと判定された場合には、まず、第１の実施形態と同様に、座標情報の分布から、第１のクラスタと第２のクラスタを設定する（Ｓ６０３）。
【０１１４】
そして、クラスタ分類部１２５は、図１０（Ｂ）に示すような画面を表示し、第１のクラスタと第２のクラスタのどちらを基準クラスタにするか、選択させる（Ｓ６０４）。
【０１１５】
距離情報取得部１２６によるクラスタ間距離の取得（Ｓ６０５）については、第１の実施形態と同様である。そして、クラスタ間距離に応じて、キーワード付与部１３０によりキーワードを付与する（Ｓ６０６）。キーワード付与処理は、基本的に実施例１と同様であるが、距離の大小を判定する閾値をユーザに選択させてもよい。
【０１１６】
以上により、ユーザが選択した範囲を基準としたキーワード付与が行われ、より個人の嗜好に沿ったキーワード付与となる。
【０１１７】
以上の本実施形態では、クラスタ分類部１２５は、図１０（Ａ）、図１０（Ｂ）に示すように、ユーザの選択に基づいて基準クラスタを設定する。
【０１１８】
これにより、よりユーザの嗜好を反映した基準クラスタの設定が可能になる。具体的には例えば、図１０（Ａ）のように、クラスタリング処理の前に、範囲を選択させたり、住所を入力させたりする手法や、図１０（Ｂ）のようにクラスタリング後に、どのクラスタを基準クラスタにするかを選択させる手法が考えられる。また、図１０（Ｂ）には図示されていないが、クラスタリング後に住所を直接入力させ、入力された住所に最も近いクラスタを基準クラスタとしてもよい。
【０１１９】
３．第３の実施形態
【０１２０】
本実施形態では二次元座標で表せられる地図上の位置情報に加え、時間軸を用いることで、より高度なキーワード付与を行う処理を示す。
【０１２１】
構成図を図１に示し、処理の詳細を図２に示す。図１、図２から明らかなように、構成や処理の概要は第１の実施形態と同様である。以下、図２に沿って異なる箇所を説明する。
【０１２２】
この処理が開始されると、まず、座標情報が取得される。情報取得部１１０は画像群の地理的な撮影座標情報を取得する。具体的には座標情報としてＧＰＳ等で取得される経度・緯度情報を取得する。本実施形態においては、それに加えて、撮影された時刻を取得する。経度・緯度の二次元座標空間と、時間からなる一次元座標空間との座標として各々座標情報を得る（Ｓ５０１）。
【０１２３】
次に、座標情報に基づいてクラスタ１とクラスタ２を設定する。ここでは、クラスタ１，２の設定には、地理的な二次元の座標情報を用いるものとし、時間からなる一次元座標情報は使用しない（Ｓ５０２）。
【０１２４】
基準クラスタ、非基準クラスタに分類するＳ５０３については、第１の実施形態と同様である。そして、クラスタ間距離を算出する（Ｓ５０４）。第１の実施形態と同様に、経度・緯度の二次元座標における距離を算出する。それに加えて、時間軸の一次元座標空間における距離も算出する。
【０１２５】
そして、キーワード付与部１３０は、クラスタ間距離に応じて、各クラスタに含まれる画像にキーワードを付与して記憶する。時間軸の距離が大きければ“昔”、小さければ”最近”等のキーワードを付与する。また、経度・緯度の二次元座標空間における距離と、時間軸の距離を各々判定し、”昔”と“旅行”、”最近”と”近所”といった位置情報と時間軸を同時に鑑みた付与をしてもよい。
【０１２６】
また、以上の実施形態では、経度・緯度の二次元座標空間と、時間からなる一次元座標空間を別々に距離算出に用いたが、これらを合わせて使用してもよい。例えば、図１１に示すように、経度・緯度・時間からなる三次元座標空間の座標として各撮影座標を得る。
【０１２７】
クラスタ１とクラスタ２の設定の際にも三次元座標空間上のベクトル群が用いられる。また、距離情報取得部１２６による距離情報取得に際しても、三次元座標空間が用いられる。
【０１２８】
そして、キーワード付与部１３０は、三次元座標空間における距離が大きければ“遠い”、小さければ“近い”等の、地理上と時間軸の距離を合わせて表すキーワードを付与する。
【０１２９】
以上により、時間軸を用いたキーワード付与が可能となり、ユーザのライフスタイルや嗜好の時間的変化を反映したキーワード付与が出来る。
【０１３０】
また、第１の実施形態に示したように、本画像処理装置は、撮影位置が増えたタイミング、ユーザによる任意のタイミング、一定の時間経過等で、本処理を再度行い、キーワード付与済みの画像のキーワードを更新するため、”最近”と付与されていた画像が”昔”と更新されるなど、時間の経過を鑑みた処理を行ってもよい。
【０１３１】
以上の本実施形態では、情報取得部１１０は、座標情報の他に、時間情報をさらに取得する。そして、分布状態取得部１２０は、三次元座標空間における座標情報と時間情報の分布状態を取得し、キーワード付与部１３０は、時間に関する情報を表すキーワードを付与する。
【０１３２】
ここで、時間情報とは、撮影画像の撮影位置もしくは撮像画像の位置に関する情報が取得された際の時刻を表す情報である。
【０１３３】
これにより、図１１のように、経度・緯度だけでなく、時間も含めたキーワード付与が可能になる。例えば「最近」「昔」等のキーワードが付与できるし、経度・緯度情報とあわせて、「最近の旅行」「２回目の旅行」等のキーワード付与も可能になる。
【０１３４】
また、キーワード付与部１３０は、撮影画像に時間に関するキーワードを付与する際に、時間的な距離を判定するための閾値を、基準クラスタか非基準クラスタかに応じて切り替えてもよい。
【０１３５】
具体的には例えば、時間的に近いことを表す閾値を設定する際に、基準クラスタでは非基準クラスタに比べて小さい閾値を設定してもよい。例えば、基準クラスタでは、１週間前を閾値に「最近」というキーワードを付与するのに対して、非基準クラスタでは、１ヶ月前を閾値に「最近」というキーワードを付与する。
【０１３６】
これにより、よりユーザの感覚にあったキーワードを付与することが可能になる。これは、日常的な範囲（基準クラスタ）では、毎日のように新しいイベントが積み重なり、過去のイベントは急速に目新しさを失っていくのに対して、非日常的な範囲（非基準クラスタ）では、ある程度時間がたったとしても、イベントのインパクトは薄れにくいことに起因している。
【０１３７】
また、クラスタ分類部１２５は、非基準クラスタに含まれる画像群において、連続した撮影時間が所与の閾値以上になった場合には、非基準クラスタに設定されていたクラスタを基準クラスタに変更してもよい。
【０１３８】
ここで、連続した撮影時間とは、ある時刻Ａにおいて、非基準クラスタにおいて画像が撮影され、別のクラスタに移動することなく、同一のクラスタである時刻Ｂにおいて画像が撮影されたときの、ＡとＢとの間の時間を指すものとする。つまり、連続した撮影時間が所与の閾値以上になった場合とは、ある非基準クラスタに長時間とどまり続けたケースとほぼ同義である。
【０１３９】
これにより、連続した撮影時間が所与の閾値以上になった場合には、引っ越し等の影響により、日常的な行動範囲が変更されたと判断し、基準クラスタを変更することが可能になる。
【０１４０】
４．第４の実施形態
【０１４１】
実施例１〜３に共通の拡張処理として、基準クラスタと非基準クラスタが各々複数のクラスタから構成されている場合の処理を示す。これまでは、基準クラスタと非基準クラスタの計２つのクラスタのみ扱ってきたが、現実にユーザが撮影する撮影位置群の分布を考慮すると、３個以上の多くのクラスタを処理に用いた方が適切であるためである。
【０１４２】
構成図は第１の実施形態と同様に図１である。
【０１４３】
図１２に本実施例の模式図を示す。図１２に示したように、クラスタがクラスタ１，２の２つだけではなく、３つ以上の複数のクラスタ（図１２の例では５個）が設定されている。そして、基準クラスタ、非基準クラスタのそれぞれが、少なくとも１つのクラスタから構成されており、図１２の例では、基準クラスタが３つのクラスタから構成され、非基準クラスタが２つのクラスタから構成されている。
【０１４４】
図１３を用いて本実施形態における処理の詳細を説明する。この処理が開始されると、まず、情報取得部１１０により、座標情報が取得される（Ｓ７０１）。これについては第１の実施形態と同様である。
【０１４５】
次に、クラスタ分類部１２５により、座標情報分布からクラスタ群を設定する（Ｓ７０２）。ここで、クラスタ群の設定法は種々利用できる。例えば、ｋ−ｍｅａｎｓにおいて、ｋの値を増やしてクラスタリングを行ってもよい。第２の実施形態のようなユーザの入力を可能にする構成であれば、ユーザにクラスタとする座標情報群を各々選択させてもよい。これにより、図１２に示すように、座標情報分布から複数のクラスタが設定される。
【０１４６】
次に、クラスタ分類部１２５は、クラスタ群を、基準クラスタ群と非基準クラスタ群に分類する（Ｓ７０３）。ここで、分類法は種々利用できる。例えば、クラスタ群に対してｋ−ｍｅａｎｓ（ｋ＝２）としてクラスタリングを行ってもよい。また、ユーザに基準クラスタとするクラスタを選択させてもよい。これにより、図１２に示すように、クラスタ群が、基準クラスタと非基準クラスタに分類される。
【０１４７】
さらに、距離情報取得部１２６は、基準クラスタ群と非基準クラスタ群のクラスタ間距離を算出する（Ｓ７０４）。計算法は第１の実施形態と同様である。基準クラスタの重心位置は、基準クラスタ群に含まれる各クラスタ内の全ての座標情報に基づいた重心の位置とすればよい。また、基準クラスタ群に含まれるあるクラスタと、非基準クラスタ群に含まれるあるクラスタとをピックアップして、第１の実施形態と同様の計算処理を行ってもよい。
【０１４８】
Ｓ７０５における、クラスタ間距離に応じたキーワード付与処理は、第１の実施形態と同様である。
【０１４９】
以上により、より実際に沿った複雑なキーワード付与が可能となる。
【０１５０】
以上の本実施形態において、分布状態取得部１２０は、少なくとも第１のクラスタと第２のクラスタを含む複数のクラスタに座標情報を分類するクラスタ分類部１２５を含む。そして、クラスタ分類部１２５は、複数のクラスタのうち１つ以上のクラスタを基準クラスタとして分類し、それ以外のクラスタを非基準クラスタとして分類する。
【０１５１】
その際の手法として、具体的には例えば、複数のクラスタの各クラスタの代表位置を求め、各クラスタをそれぞれの代表位置に対応する点と見なして再度クラスタリング処理を行うこと等が考えられる。
【０１５２】
これにより、図１２のように、基準クラスタ、非基準クラスタがそれぞれ１つ以上のクラスタからなるような構成が可能になる。第１〜３の実施形態のように、クラスタが２つの場合には、複数の地域に旅行に行ったケース（例えば東京在住で、東北と関西に旅行に行ったケース等）では、適切なクラスタリングができなかった。その点本実施形態の手法を用いれば、東京、東北、関西と、３つのクラスタをそれぞれ設定することができるため、より適切なクラスタリングが可能になる。
【０１５３】
以上、本発明を適用した４つの実施の形態１〜４およびその変形例について説明したが、本発明は、各実施の形態１〜４やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施の形態１〜４や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施の形態１〜４や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。
【符号の説明】
【０１５４】
１００ 処理部、１１０ 情報取得部、１２０ 分布状態取得部、
１２５ クラスタ分類部、１２６ 距離情報取得部、１３０ キーワード付与部、
１４０ クラスタ分類部、１５０ 地図提示部、１６０ 距離情報取得部、
２００ 入力部、３００ 記憶部、４００ 表示部
【特許請求の範囲】
【請求項１】
撮影画像の撮影位置又は撮像装置の位置を座標情報として取得する情報取得部と、
前記座標情報として取得された複数の座標情報の分布状態を取得する分布状態取得部と、
取得した前記分布状態に応じたキーワードを前記撮影画像に付与するキーワード付与部と、
を含むことを特徴とする画像処理装置。
【請求項２】
請求項１において、
前記分布状態取得部は、
地理上の位置を表す二次元座標空間内における前記座標情報の分布状態を取得することを特徴とする画像処理装置。
【請求項３】
請求項２において、
前記情報取得部は、
前記撮影画像の前記撮影位置又は前記撮像装置の位置が取得された際の時刻を表す情報である時間情報を、さらに取得し、
前記分布状態取得部は、
地理上の位置を表す二次元座標に加えて、時間を表す第３の軸を有する三次元座標空間内における前記座標情報及び前記時間情報の分布状態を取得し、
前記キーワード付与部は、
時間に関する情報を表すキーワードを前記撮影画像に付与することを特徴とする画像処理装置。
【請求項４】
請求項１において、
前記分布状態取得部は、
少なくとも第１のクラスタと第２のクラスタを含む複数のクラスタに、前記座標情報を分類するクラスタ分類部を含むことを特徴とする画像処理装置。
【請求項５】
請求項４において、
前記クラスタ分類部は、
前記第１のクラスタと前記第２のクラスタを、基準となるクラスタである基準クラスタと、基準とならないクラスタである非基準クラスタとに分類することを特徴とする画像処理装置。
【請求項６】
請求項５において、
前記クラスタ分類部は、
前記複数のクラスタのうち、クラスタに含まれる前記撮影画像の枚数が最も多いクラスタを前記基準クラスタとして分類することを特徴とする画像処理装置。
【請求項７】
請求項５において、
前記クラスタ分類部は、
ユーザの選択に基づいて前記基準クラスタを設定することを特徴とする画像処理装置。
【請求項８】
請求項５において、
前記クラスタ分類部は、
地理上の位置を表す二次元座標空間における座標情報の、時系列的な移動履歴に基づいて前記基準クラスタを設定することを特徴とする画像処理装置。
【請求項９】
請求項５において、
前記クラスタ分類部は、
前記第１のクラスタ内の座標情報の表す座標の分布の複雑度と、前記第２のクラスタ内の座標情報の表す座標の分布の複雑度とに基づいて、前記基準クラスタを設定することを特徴とする画像処理装置。
【請求項１０】
請求項５において、
前記撮影画像として取得した複数の画像のサムネイルを地図上に提示する処理を行う地図提示部を含み、
前記地図提示部は、
地理上の撮影位置間の距離が所与の閾値よりも小さい画像群に対しては、前記画像群に含まれる１つの代表画像をサムネイルとして地図上に提示するとともに、非基準クラスタの場合には基準クラスタの場合に比べて、前記閾値の値を大きく設定する処理を行うことを特徴とする画像処理装置。
【請求項１１】
請求項５において、
前記キーワード付与部は、
前記撮影画像として取得した複数の画像に対して、撮影位置に応じた地名を前記キーワードとして付与する際に、前記基準クラスタの撮影画像に対しては前記非基準クラスタの撮影画像に比べて、狭い領域を表す地名を付与することを特徴とする画像処理装置。
【請求項１２】
請求項５において、
前記情報取得部は、
前記撮影画像の前記撮影位置又は前記撮像装置の位置が取得された際の時刻を表す情報である時間情報を、さらに取得し、
前記分布状態取得部は、
地理上の位置を表す二次元座標に加えて、時間を表す第３の軸を有する三次元座標空間内における前記座標情報及び前記時間情報撮影の分布状態を取得し、
前記キーワード付与部は、
時間に関する情報を表すキーワードを前記撮影画像に付与する際に、時間的な距離を判定するための閾値を、前記基準クラスタか前記非基準クラスタかに応じて切り替えることを特徴とする画像処理装置。
【請求項１３】
請求項５において、
前記情報取得部は、
前記撮影画像の前記撮影位置又は前記撮像装置の位置が取得された際の時刻を表す情報である時間情報を、さらに取得し、
前記分布状態取得部は、
地理上の位置を表す二次元座標に加えて、時間を表す第３の軸を有する三次元座標空間内における前記座標情報及び前記時間情報の分布状態を取得し、
前記クラスタ分類部は、
前記非基準クラスタに含まれる画像群において、連続した撮影時間が所与の閾値以上になった場合には、前記非基準クラスタに設定されていたクラスタを前記基準クラスタに変更することを特徴とする画像処理装置。
【請求項１４】
請求項４乃至１３のいずれかにおいて、
前記分布状態取得部は、
前記複数のクラスタ間の距離情報を取得する距離情報取得部を含み、
前記キーワード付与部は、
前記距離情報に基づいて前記撮影画像にキーワードを付与することを特徴とする画像処理装置。
【請求項１５】
請求項４乃至１３のいずれかにおいて、
前記分布状態取得部は、
前記複数のクラスタ間の距離情報を取得する距離情報取得部を含み、
前記キーワード付与部は、
前記基準クラスタと、前期非基準クラスタとの間の距離情報により表される距離が大きい場合には、前記非基準クラスタに含まれる前記撮影画像に対して、座標空間における距離が離れていることを表すキーワードを付与することを特徴とする画像処理装置。
【請求項１６】
請求項１乃至３のいずれかにおいて、
前記分布状態取得部は、
少なくとも第１のクラスタと第２のクラスタを含む複数のクラスタに、前記座標情報を分類するクラスタ分類部を含み、
前記クラスタ分類部は、
前記複数のクラスタのうち、１つ以上のクラスタを基準クラスタとして分類し、それ以外のクラスタを非基準クラスタとして分類することを特徴とする画像処理装置。
【請求項１７】
請求項１乃至３のいずれかにおいて、
前記分布状態取得部は、
少なくとも第１のクラスタと第２のクラスタを含む複数のクラスタに、前記座標情報を分類するクラスタ分類部を含み、
前記クラスタ分類部は、
前記複数のクラスタの各クラスタの代表位置を求め、前記各クラスタをそれぞれの前記代表位置に対応する点と見なして、再度、クラスタリング処理を行うことで、前記複数のクラスタを前記基準クラスタと前記非基準クラスタに分類することを特徴とする画像処理装置。
【請求項１８】
請求項１乃至１７のいずれかにおいて、
前記情報取得部は、
同一のユーザが撮像した撮影画像に基づいて、前記座標情報を取得することを特徴とする画像処理装置。
【請求項１９】
請求項１乃至１８のいずれかにおいて、
前記キーワード付与部は、
前記キーワードを付与済の前記撮影画像に対して、再度、前記キーワードを付与することで、前記キーワードを更新する処理を行うことを特徴とする画像処理装置。
【請求項２０】
撮影画像の撮影位置又は撮像装置の位置を座標情報として取得する情報取得部と、
前記座標情報として取得された複数の座標情報の分布状態を取得する分布状態取得部と、
取得した前記分布状態に応じたキーワードを前記撮影画像に付与するキーワード付与部として、
コンピュータを機能させることを特徴とするプログラム。
【請求項１】
撮影画像の撮影位置又は撮像装置の位置を座標情報として取得する情報取得部と、
前記座標情報として取得された複数の座標情報の分布状態を取得する分布状態取得部と、
取得した前記分布状態に応じたキーワードを前記撮影画像に付与するキーワード付与部と、
を含むことを特徴とする画像処理装置。
【請求項２】
請求項１において、
前記分布状態取得部は、
地理上の位置を表す二次元座標空間内における前記座標情報の分布状態を取得することを特徴とする画像処理装置。
【請求項３】
請求項２において、
前記情報取得部は、
前記撮影画像の前記撮影位置又は前記撮像装置の位置が取得された際の時刻を表す情報である時間情報を、さらに取得し、
前記分布状態取得部は、
地理上の位置を表す二次元座標に加えて、時間を表す第３の軸を有する三次元座標空間内における前記座標情報及び前記時間情報の分布状態を取得し、
前記キーワード付与部は、
時間に関する情報を表すキーワードを前記撮影画像に付与することを特徴とする画像処理装置。
【請求項４】
請求項１において、
前記分布状態取得部は、
少なくとも第１のクラスタと第２のクラスタを含む複数のクラスタに、前記座標情報を分類するクラスタ分類部を含むことを特徴とする画像処理装置。
【請求項５】
請求項４において、
前記クラスタ分類部は、
前記第１のクラスタと前記第２のクラスタを、基準となるクラスタである基準クラスタと、基準とならないクラスタである非基準クラスタとに分類することを特徴とする画像処理装置。
【請求項６】
請求項５において、
前記クラスタ分類部は、
前記複数のクラスタのうち、クラスタに含まれる前記撮影画像の枚数が最も多いクラスタを前記基準クラスタとして分類することを特徴とする画像処理装置。
【請求項７】
請求項５において、
前記クラスタ分類部は、
ユーザの選択に基づいて前記基準クラスタを設定することを特徴とする画像処理装置。
【請求項８】
請求項５において、
前記クラスタ分類部は、
地理上の位置を表す二次元座標空間における座標情報の、時系列的な移動履歴に基づいて前記基準クラスタを設定することを特徴とする画像処理装置。
【請求項９】
請求項５において、
前記クラスタ分類部は、
前記第１のクラスタ内の座標情報の表す座標の分布の複雑度と、前記第２のクラスタ内の座標情報の表す座標の分布の複雑度とに基づいて、前記基準クラスタを設定することを特徴とする画像処理装置。
【請求項１０】
請求項５において、
前記撮影画像として取得した複数の画像のサムネイルを地図上に提示する処理を行う地図提示部を含み、
前記地図提示部は、
地理上の撮影位置間の距離が所与の閾値よりも小さい画像群に対しては、前記画像群に含まれる１つの代表画像をサムネイルとして地図上に提示するとともに、非基準クラスタの場合には基準クラスタの場合に比べて、前記閾値の値を大きく設定する処理を行うことを特徴とする画像処理装置。
【請求項１１】
請求項５において、
前記キーワード付与部は、
前記撮影画像として取得した複数の画像に対して、撮影位置に応じた地名を前記キーワードとして付与する際に、前記基準クラスタの撮影画像に対しては前記非基準クラスタの撮影画像に比べて、狭い領域を表す地名を付与することを特徴とする画像処理装置。
【請求項１２】
請求項５において、
前記情報取得部は、
前記撮影画像の前記撮影位置又は前記撮像装置の位置が取得された際の時刻を表す情報である時間情報を、さらに取得し、
前記分布状態取得部は、
地理上の位置を表す二次元座標に加えて、時間を表す第３の軸を有する三次元座標空間内における前記座標情報及び前記時間情報撮影の分布状態を取得し、
前記キーワード付与部は、
時間に関する情報を表すキーワードを前記撮影画像に付与する際に、時間的な距離を判定するための閾値を、前記基準クラスタか前記非基準クラスタかに応じて切り替えることを特徴とする画像処理装置。
【請求項１３】
請求項５において、
前記情報取得部は、
前記撮影画像の前記撮影位置又は前記撮像装置の位置が取得された際の時刻を表す情報である時間情報を、さらに取得し、
前記分布状態取得部は、
地理上の位置を表す二次元座標に加えて、時間を表す第３の軸を有する三次元座標空間内における前記座標情報及び前記時間情報の分布状態を取得し、
前記クラスタ分類部は、
前記非基準クラスタに含まれる画像群において、連続した撮影時間が所与の閾値以上になった場合には、前記非基準クラスタに設定されていたクラスタを前記基準クラスタに変更することを特徴とする画像処理装置。
【請求項１４】
請求項４乃至１３のいずれかにおいて、
前記分布状態取得部は、
前記複数のクラスタ間の距離情報を取得する距離情報取得部を含み、
前記キーワード付与部は、
前記距離情報に基づいて前記撮影画像にキーワードを付与することを特徴とする画像処理装置。
【請求項１５】
請求項４乃至１３のいずれかにおいて、
前記分布状態取得部は、
前記複数のクラスタ間の距離情報を取得する距離情報取得部を含み、
前記キーワード付与部は、
前記基準クラスタと、前期非基準クラスタとの間の距離情報により表される距離が大きい場合には、前記非基準クラスタに含まれる前記撮影画像に対して、座標空間における距離が離れていることを表すキーワードを付与することを特徴とする画像処理装置。
【請求項１６】
請求項１乃至３のいずれかにおいて、
前記分布状態取得部は、
少なくとも第１のクラスタと第２のクラスタを含む複数のクラスタに、前記座標情報を分類するクラスタ分類部を含み、
前記クラスタ分類部は、
前記複数のクラスタのうち、１つ以上のクラスタを基準クラスタとして分類し、それ以外のクラスタを非基準クラスタとして分類することを特徴とする画像処理装置。
【請求項１７】
請求項１乃至３のいずれかにおいて、
前記分布状態取得部は、
少なくとも第１のクラスタと第２のクラスタを含む複数のクラスタに、前記座標情報を分類するクラスタ分類部を含み、
前記クラスタ分類部は、
前記複数のクラスタの各クラスタの代表位置を求め、前記各クラスタをそれぞれの前記代表位置に対応する点と見なして、再度、クラスタリング処理を行うことで、前記複数のクラスタを前記基準クラスタと前記非基準クラスタに分類することを特徴とする画像処理装置。
【請求項１８】
請求項１乃至１７のいずれかにおいて、
前記情報取得部は、
同一のユーザが撮像した撮影画像に基づいて、前記座標情報を取得することを特徴とする画像処理装置。
【請求項１９】
請求項１乃至１８のいずれかにおいて、
前記キーワード付与部は、
前記キーワードを付与済の前記撮影画像に対して、再度、前記キーワードを付与することで、前記キーワードを更新する処理を行うことを特徴とする画像処理装置。
【請求項２０】
撮影画像の撮影位置又は撮像装置の位置を座標情報として取得する情報取得部と、
前記座標情報として取得された複数の座標情報の分布状態を取得する分布状態取得部と、
取得した前記分布状態に応じたキーワードを前記撮影画像に付与するキーワード付与部として、
コンピュータを機能させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１２−２２５６１（Ｐ２０１２−２２５６１Ａ）
【公開日】平成２４年２月２日（２０１２．２．２）
【国際特許分類】
【出願番号】特願２０１０−１６０６２４（Ｐ２０１０−１６０６２４）
【出願日】平成２２年７月１５日（２０１０．７．１５）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２４年２月２日（２０１２．２．２）
【国際特許分類】
【出願日】平成２２年７月１５日（２０１０．７．１５）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]