画像処理装置、画像処理方法、および画像処理プログラム
【課題】ユーザが文章を入力するだけで、ユーザ自身が訪問した場所の適切な画像を抽出して、文章と共に出力する。
【解決手段】本発明に係る画像処理装置は、ユーザの行動履歴を格納する行動履歴格納部と、ユーザの行動履歴の時刻に対応づけて、当該時刻におけるユーザの場所を示すキーワードを格納する場所キーワード格納部と、画像内のオブジェクト又は背景の場所を示すキーワードに対応づけて、画像を格納する画像格納部と、入力された文章から時間を示すキーワードを抽出する時間キーワード抽出部と、抽出したキーワードが示す時間における、ユーザの場所を示すキーワードを場所キーワード格納部から抽出する行動キーワード抽出部と、抽出したキーワードに対応づけて画像格納部が格納している画像を抽出する画像抽出部と、出した画像を入力された文章とともに出力する画像出力部とを備える。
【解決手段】本発明に係る画像処理装置は、ユーザの行動履歴を格納する行動履歴格納部と、ユーザの行動履歴の時刻に対応づけて、当該時刻におけるユーザの場所を示すキーワードを格納する場所キーワード格納部と、画像内のオブジェクト又は背景の場所を示すキーワードに対応づけて、画像を格納する画像格納部と、入力された文章から時間を示すキーワードを抽出する時間キーワード抽出部と、抽出したキーワードが示す時間における、ユーザの場所を示すキーワードを場所キーワード格納部から抽出する行動キーワード抽出部と、抽出したキーワードに対応づけて画像格納部が格納している画像を抽出する画像抽出部と、出した画像を入力された文章とともに出力する画像出力部とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、および画像処理プログラムに関する。特に、本発明は、入力された文章と共に画像を出力する画像処理装置、画像処理方法、および画像処理プログラムに関する。
【背景技術】
【０００２】
文書の文字列に適合した画像を容易に選択することを目的とした文書作成装置が提案されている（例えば、特許文献１参照。）。特許文献１に記載の発明では、画像を挿入した文章を作成する場合に、まず、使用者が入力した文字列の属性を決定する。そして、予め文字列の属性に対応付けられた画像の中から、使用者が入力した文字列の属性と一致する複数の画像を抽出する。続いて、抽出した複数の画像を一覧表示してユーザにユーザが使用を所望する画像を選択させる。
【特許文献１】特開２０００−１７２６８８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
特許文献１に記載の発明においては、文章に含まれる文字列の属性に対応付けられた画像を抽出する。しかしながら、特許文献１に記載の発明では、ユーザ自身が訪問した場所の画像を抽出することを所望した場合には、ユーザ自身が、訪問した時期および場所を正確に特定できる文章を入力しなければならないので、ユーザが入力する文章の自由度が制限され、ユーザが真に表現を欲する文章が記載できない場合がある。
【０００４】
そこで本発明は、上記課題を解決することができる画像処理装置、画像処理方法、および画像処理プログラムを提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。
【課題を解決するための手段】
【０００５】
上記課題を解決するために、本発明の第１の形態においては、画像処理装置であって、ユーザの行動履歴を格納する行動履歴格納部と、行動履歴格納部が格納しているユーザの行動履歴の時刻に対応づけて、当該時刻におけるユーザの場所を示すキーワードを格納する場所キーワード格納部と、画像内のオブジェクト又は背景の場所を示すキーワードに対応づけて、画像を格納する画像格納部と、入力された文章から時間を示すキーワードを抽出する時間キーワード抽出部と、時間キーワード抽出部が抽出したキーワードが示す時間における、ユーザの場所を示すキーワードを場所キーワード格納部から抽出する行動キーワード抽出部と、行動キーワード抽出部が抽出したキーワードに対応づけて画像格納部が格納している画像を抽出する画像抽出部と、画像抽出部が抽出した画像を、入力された文章とともに出力する画像出力部とを備える。
【０００６】
また、画像格納部が格納している画像の付帯情報に基づいて画像内のオブジェクト又は背景の場所を示すキーワードを生成するキーワード生成部と、キーワード生成部が生成したキーワードを、画像に対応づけて画像格納部に格納させるキーワード付与部とをさらに備えてもよい。また、時刻に対応づけて当該時刻にユーザが所在した位置を格納する行動履歴格納部が格納しているユーザが所在した位置を含む領域ごとに、当該領域にユーザが訪問した回数を算出する訪問回数算出部と、訪問回数算出部が算出した訪問回数がより多い領域に、より大きい重み付けする訪問位置重み付け部とをさらに備え、行動キーワード抽出部は、時間キーワード抽出部が抽出したキーワードが示す時間に対応づけて場所キーワード格納部が格納しているユーザの場所を示すキーワードのうち、訪問位置重み付け部が重み付けした重みが最も大きい領域に含まれる場所を示すキーワードを、場所キーワード格納部から抽出してもよい。
【０００７】
更に、行動履歴格納部が格納しているユーザの行動履歴から、ユーザが所在した位置を含む領域ごとの滞在時間を算出する滞在時間算出部をさらに備え、行動キーワード抽出部は、時間キーワード抽出部が抽出した時間を示すキーワードに対応づけて場所キーワード格納部が格納しているユーザの場所を示すキーワードのうち、滞在時間算出部が算出した滞在時間が最も長い領域に含まれる場所を示すキーワードを、場所キーワード格納部から抽出してもよい。そして、時間キーワード抽出部が抽出したキーワードが示す時間を含む所定の時間間隔におけるユーザの行動範囲を求める行動範囲算出部をさらに備え、行動キーワード抽出部は、行動範囲算出部が算出したユーザの行動範囲がより広いほど、場所キーワード格納部からより広い場所を示すキーワードを抽出してもよい。
【０００８】
また、入力された文章から場所を示すキーワードを抽出する場所キーワード抽出部と、行動履歴格納部が格納しているユーザの行動履歴の時刻に対応づけて、当該時刻を含む時間を示すキーワードを格納する時間キーワード格納部とを更に備え、画像格納部は、時間を示すキーワードに更に対応づけて画像を格納し、行動キーワード抽出部は、場所キーワード抽出部が抽出した場所を示すキーワードに対応づけられて場所キーワード格納部が格納している時刻に対応づけて時間キーワード格納部が格納している時間を示すキーワードを更に抽出し、画像抽出部は、行動キーワード抽出部が抽出した時間を示すキーワード、および場所キーワード抽出部が抽出した場所を示すキーワードに対応づけて画像格納部が格納している画像を抽出してもよい。そして、画像格納部が格納している画像の付帯情報に基づいて画像の時間を示すキーワードを生成するキーワード生成部と、キーワード生成部が生成したキーワードを、画像に対応づけて画像格納部に格納させるキーワード付与部とをさらに備えてもよい。
【０００９】
また、本発明の第２の形態においては、画像処理方法であって、ユーザの行動履歴を行動履歴格納部に格納する行動履歴格納段階と、行動履歴格納部が格納しているユーザの行動履歴の時刻に対応づけて、当該時刻におけるユーザの場所を示すキーワードを場所キーワード格納部に格納する場所キーワード格納段階と、画像内のオブジェクト又は背景の場所を示すキーワードに対応づけて、画像を画像格納部に格納する画像格納段階と、入力された文章から時間を示すキーワードを抽出する時間キーワード抽出段階と、時間キーワード抽出段階が抽出したキーワードが示す時間における、ユーザの場所を示すキーワードを場所キーワード格納部から抽出する行動キーワード抽出段階と、行動キーワード抽出段階が抽出したキーワードに対応づけて画像格納部が格納している画像を抽出する画像抽出段階と、画像抽出段階が抽出した画像を、入力された文章とともに出力する画像出力段階とを備える。
【００１０】
また、本発明の第３の形態においては、入力された文章と共に画像を出力する画像処理装置用の画像処理プログラムであって、画像処理装置を、ユーザの行動履歴を格納する行動履歴格納部と、行動履歴格納部が格納しているユーザの行動履歴の時刻に対応づけて、当該時刻におけるユーザの場所を示すキーワードを格納する場所キーワード格納部と、画像内のオブジェクト又は背景の場所を示すキーワードに対応づけて、画像を格納する画像格納部と、入力された文章から時間を示すキーワードを抽出する時間キーワード抽出部と、時間キーワード抽出部が抽出したキーワードが示す時間における、ユーザの場所を示すキーワードを場所キーワード格納部から抽出する行動キーワード抽出部と、行動キーワード抽出部が抽出したキーワードに対応づけて画像格納部が格納している画像を抽出する画像抽出部と、画像抽出部が抽出した画像を、入力された文章とともに出力する画像出力部として機能させる。
【００１１】
また、本発明の第４の形態においては、画像処理装置であって、ユーザの行動履歴を格納する行動履歴格納部と、行動履歴格納部が格納しているユーザの行動履歴の時刻に対応づけて、当該時刻におけるユーザの場所を示すキーワードを格納する場所キーワード格納部と、行動履歴格納部が格納しているユーザの行動履歴の時刻に対応づけて、当該時刻を含む時間を示すキーワードを格納する時間キーワード格納部と、場所を示すキーワードおよび時間を示すキーワードに対応づけて、画像を格納する画像格納部と、入力された文章から場所を示すキーワードを抽出する場所キーワード抽出部と、場所キーワード抽出部が抽出した場所を示すキーワードに対応づけられて場所キーワード格納部が格納している時刻に対応づけて時間キーワード格納部が格納している時間を示すキーワードを抽出する行動キーワード抽出部と、行動キーワード抽出部が抽出した時間を示すキーワードおよび場所キーワード抽出部が抽出した場所を示すキーワードに対応づけて画像格納部が格納している画像を抽出する画像抽出部と、画像抽出部が抽出した画像を、入力された文章とともに出力する画像出力部とを備える。
【００１２】
また、本発明の第５の形態においては、画像処理方法であって、ユーザの行動履歴を行動履歴格納部に格納する行動履歴格納段階と、行動履歴格納部が格納しているユーザの行動履歴の時刻に対応づけて、当該時刻におけるユーザの場所を示すキーワードを場所キーワード格納部に格納する場所キーワード格納段階と、行動履歴格納部が格納しているユーザの行動履歴の時刻に対応づけて、当該時刻を含む時間を示すキーワードを時間キーワード格納部に格納する時間キーワード格納段階と、場所を示すキーワードおよび時間を示すキーワードに対応づけて、画像を画像格納部に格納する画像格納段階と、入力された文章から場所を示すキーワードを抽出する場所キーワード抽出段階と、場所キーワード抽出段階が抽出した場所を示すキーワードに対応づけられて場所キーワード格納部が格納している時刻に対応づけて時間キーワード格納部が格納している時間を示すキーワードを抽出する行動キーワード抽出段階と、行動キーワード抽出段階が抽出した時間を示すキーワードおよび場所キーワード抽出段階が抽出した場所を示すキーワードに対応づけて画像格納部が格納している画像を抽出する画像抽出段階と、画像抽出段階が抽出した画像を、入力された文章とともに出力する画像出力段階とを備える。
【００１３】
また、本発明の第６の形態においては、入力された文章と共に画像を出力する画像処理装置用の画像処理プログラムであって、画像処理装置を、ユーザの行動履歴を格納する行動履歴格納部と、行動履歴格納部が格納しているユーザの行動履歴の時刻に対応づけて、当該時刻におけるユーザの場所を示すキーワードを格納する場所キーワード格納部と、行動履歴格納部が格納しているユーザの行動履歴の時刻に対応づけて、当該時刻を含む時間を示すキーワードを格納する時間キーワード格納部と、場所を示すキーワードおよび時間を示すキーワードに対応づけて、画像を格納する画像格納部と、入力された文章から場所を示すキーワードを抽出する場所キーワード抽出部と、場所キーワード抽出部が抽出した場所を示すキーワードに対応づけられて場所キーワード格納部が格納している時刻に対応づけて時間キーワード格納部が格納している時間を示すキーワードを抽出する行動キーワード抽出部と、行動キーワード抽出部が抽出した時間を示すキーワードおよび場所キーワード抽出部が抽出した場所を示すキーワードに対応づけて画像格納部が格納している画像を抽出する画像抽出部と、画像抽出部が抽出した画像を、入力された文章とともに出力する画像出力部として機能させる。
【００１４】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【発明の効果】
【００１５】
本発明は、ユーザの行動履歴を予め格納する。そして、ユーザが入力した文章から時間を示すキーワードを抽出して、抽出した時間を示すキーワードに対応する時間においてユーザが所在した場所の画像を自動的に抽出して出力することができる。これにより、ユーザが文章を入力するだけで、ユーザ自身が訪問等した時期における、ユーザが訪問した場所の適切な画像を的確に抽出して、文章とともに出力することができる。
【発明を実施するための最良の形態】
【００１６】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００１７】
図１は、本発明の一実施形態に係る画像処理装置１０の機能構成の一例を示す。画像処理装置１０は、文章入力部１００、画像入力部１０２、行動履歴格納部１１０、訪問回数算出部１１２、訪問位置重み付け部１１４、滞在時間算出部１１６、行動範囲算出部１１８、時間キーワード抽出部１２０、場所キーワード抽出部１２２、場所キーワード格納部１３０、時間キーワード格納部１３２、行動キーワード抽出部１４０、画像抽出部１５０、画像格納部１６０、キーワード生成部１７０、キーワード付与部１７２、および画像出力部１８０を備える。本実施形態に係る画像処理装置１０は、ユーザの行動履歴を予め格納する。そして、ユーザが入力した文章から時間を示すキーワードを抽出して、抽出した時間においてユーザが所在した場所の画像を自動的に抽出して出力することにより、ユーザが文章を入力するだけで、ユーザ自身が訪問等した時期における、ユーザが訪問等した場所の適切な画像を的確に抽出して、文章とともに出力することを目的とする。
【００１８】
文章入力部１００は、画像処理装置１０に文章を入力する。文章入力部１００は、入力した文章を時間キーワード抽出部１２０、場所キーワード抽出部１２２、および画像出力部１８０に供給する。画像入力部１０２は、画像処理装置１０に画像を入力する。画像入力部１０２は、入力した画像を画像格納部１６０に供給する。行動履歴格納部１１０は、ユーザの行動履歴を格納する。行動履歴格納部１１０は、ユーザの行動履歴として、時刻に対応づけて当該時刻にユーザが所在した位置を格納してよい。また、行動履歴格納部１１０は、ユーザを一意に識別できる識別子に対応づけて、ユーザごとの行動履歴を格納してもよい。行動履歴格納部１１０は、訪問回数算出部１１２の制御に基づいて、訪問回数算出部１１２に時刻および当該時刻に対応付けて行動履歴格納部１１０が格納している位置の情報を供給する。また、行動履歴格納部１１０は、時刻および当該時刻に対応付けた行動履歴格納部１１０が格納している位置の情報を、場所キーワード格納部１３０に供給する。更に、行動履歴格納部１１０は、ユーザの行動履歴の時刻を時間キーワード格納部１３２に供給する。
【００１９】
場所キーワード格納部１３０は、行動履歴格納部１１０が格納しているユーザの行動履歴の時刻に対応づけて、当該時刻におけるユーザの場所を示すキーワードを格納する。場所キーワード格納部１３０は、ユーザを一意に識別できる識別子を更に対応づけて、ユーザごとの場所を示すキーワードを格納してもよい。また、場所キーワード格納部１３０は、ユーザの行動履歴の時刻に対応づけて、当該時刻においてユーザが所在した場所を示すキーワードとして、当該場所を含む複数の場所を示すキーワードを格納してもよい。例えば、ユーザが所在した場所を含む国名、地域名、都市名、名勝地名、ランドマーク名、およびユーザが訪問した店名等の場所を示す複数のキーワードを格納してよい。場所キーワード格納部１３０は、行動キーワード抽出部１４０の制御に基づいて、ユーザの場所を示すキーワードを行動キーワード抽出部１４０に供給する。
【００２０】
時間キーワード格納部１３２は、行動履歴格納部１１０から受け取ったユーザの行動履歴の時刻に対応づけて、当該時刻を含む時間を示すキーワードを格納する。時間キーワード格納部１３２は、行動キーワード抽出部１４０の制御に基づいて、時間を示すキーワードを行動キーワード抽出部１４０に供給する。また、時間キーワード抽出部１２０は、画像抽出部１５０の制御に基づいて、時間を示すキーワードを画像抽出部１５０に供給してもよい。画像格納部１６０は、画像内のオブジェクト又は背景の場所を示すキーワードに対応づけて、画像入力部１０２から受け取った画像を格納する。また、画像格納部１６０は、時間を示すキーワードに更に対応づけて画像を格納してよい。画像格納部１６０は、キーワード生成部１７０の制御に基づいて画像をキーワード生成部１７０に供給する。また、画像格納部１６０は、画像抽出部１５０の制御に基づいて、画像を画像抽出部１５０に供給する。
【００２１】
キーワード生成部１７０は、画像格納部１６０が格納している画像の付帯情報に基づいて、画像内のオブジェクトまたは背景の場所を示すキーワードを生成する。なお、付帯情報は、例えば、画像が撮像画像の場合には、当該画像の撮像日時、撮像場所、撮像モード（接写モード、ポートレートモード、および夜景モード等）、および撮像条件（明度、彩度、および合焦距離等）等であってよい。また、撮像場所は、画像が撮像された位置の緯度経度を示す情報であってよい。また、付帯情報は、画像がユーザが作成した画像の場合には、当該画像に対応づけてユーザが付帯したファイル名、画像の内容を示すキーワード、および作成日時等であってよい。具体的には、キーワード生成部１７０は、画像格納部１６０が格納している画像に付帯されている付帯情報を抽出する。例えば、キーワード生成部１７０は画像に付帯されている画像の位置の情報を抽出する。そして、キーワード生成部１７０は、抽出した位置の情報に基づいて、当該位置を示すキーワードを生成する。なお、位置を示すキーワードは、当該画像に含まれるオブジェクトおよび背景等のが存在する国名、地域名、地方名、地名、都市名、名勝地の地名、ランドマーク名、およびユーザが訪問した店名等であってよい。
【００２２】
また、キーワード生成部１７０は、画像格納部１６０が格納している画像の付帯情報に基づいて、画像の時間を示すキーワードを生成してもよい。具体的には、キーワード生成部１７０は、画像格納部１６０が格納している画像に付帯されている付帯情報を抽出して、抽出した付帯情報に含まれる、時間を示す情報を示すキーワードを生成してよい。例えば、キーワード生成部１７０は、画像にユーザが付帯した画像の内容を示す情報が「春の五稜郭」である場合には、「春」を時間を示すキーワードとして生成してよい。また、キーワード生成部１７０は、画像が撮像画像である場合には、撮像画像に付帯されている撮像日時から、当該日時を含む季節名を時間を示すキーワードとして生成してもよい。キーワード生成部１７０は、生成したキーワードをキーワード付与部１７２に供給する。キーワード付与部１７２は、キーワード生成部１７０から受け取ったキーワードを、画像に対応づけて画像格納部１６０に格納させる。また、キーワード付与部１７２は、ユーザが入力したキーワードを画像に対応づけて画像格納部１６０に格納させてもよい。
【００２３】
訪問回数算出部１１２は、行動履歴格納部１１０が格納している、ユーザが所在した位置を含む領域ごとに、当該領域にユーザが訪問した回数を算出する。具体的には、まず、訪問回数算出部１１２は、所定の領域を設定する。なお、訪問回数算出部１１２が設定する所定の領域は、例えば、地方単位、都市単位、名勝地単位、ランドマーク単位、および店単位等の領域であってよい。そして、訪問回数算出部１１２は、設定した領域にユーザが訪問した回数を、例えば、年単位、月単位、週単位、日単位、および時間単位等の所定の時間間隔を設定して算出する。訪問回数算出部１１２は、算出した領域ごとの訪問回数を訪問位置重み付け部１１４に供給する。訪問位置重み付け部１１４は、訪問回数算出部１１２から受け取った訪問回数がより多い領域に、より大きい重みを対応付ける。そして、訪問位置重み付け部１１４は、領域ごとに重みを対応づけて、行動キーワード抽出部１４０に領域に対応付けた重みを供給する。これにより、訪問位置重み付け部１１４は、ユーザが訪問した回数がより多い領域に、より大きな重みを対応付けることができるので、画像処理装置１０は、ユーザの関心が高い場所を示す画像を容易に検出することができる。
【００２４】
滞在時間算出部１１６は、行動履歴格納部１１０が格納しているユーザの行動履歴から、ユーザが所在した位置を含む領域ごとの、ユーザの滞在時間を算出する。具体的には、滞在時間算出部１１６は、行動履歴格納部１１０が時刻に対応づけて格納しているユーザが所在した位置を検出する。そして、滞在時間算出部１１６は、検出した位置ごとにユーザが滞在した時間を、行動履歴格納部１１０がユーザが所在した位置に対応づけて格納している複数の時刻から算出してよい。なお、滞在時間算出部１１６は、ユーザが所在した位置を、当該位置の緯度経度から算出してよい。また、滞在時間算出部１１６は、ユーザが所在した位置を含む所定の範囲を有する領域をユーザが所在した領域として、当該領域にユーザが所在した時間を滞在時間として算出してよい。ユーザが所在した位置を含む領域は、例えば、国単位、地域単位、都市単位、名勝地単位、ランドマーク単位、および店単位であってよい。滞在時間算出部１１６は、ユーザが所在した位置を含む領域ごとのユーザの滞在時間を行動キーワード抽出部１４０に供給する。時間キーワード抽出部１２０は、文章入力部１００から受け取った文章から時間を示すキーワードを抽出する。時間を示すキーワードは、画像の撮像年月日、時・分、所定の期間（朝、昼、夜、および夏休み等）、季節、過去の概念を表す単語（昨日、先月、去年、および一昨年等）であってよい。時間キーワード抽出部１２０は、文章から抽出した時間を示すキーワードを、行動キーワード抽出部１４０および行動範囲算出部１１８に供給する。場所キーワード抽出部１２２は、文章入力部１００から受け取った文章から、場所を示すキーワードを抽出する。場所キーワード抽出部１２２は、抽出した場所を示すキーワードを行動キーワード抽出部１４０または画像抽出部１５０に供給する。
【００２５】
行動範囲算出部１１８は、時間キーワード抽出部１２０が抽出したキーワードが示す時間を含む所定の時間間隔におけるユーザの行動範囲を求める。行動範囲は、所定の時間間隔においてユーザが訪問した位置を全て包含する範囲であってよい。具体的には、行動範囲算出部１１８は、時間キーワード抽出部１２０から受け取った時間を示すキーワードに対応する時間におけるユーザの所在位置を、行動履歴格納部１１０が当該時間に含まれる時刻ごとに対応づけて格納している位置から抽出する。係る場合において行動範囲算出部１１８は、当該時間間隔に含まれる時刻に対応づけて行動履歴格納部１１０が格納している位置を、複数抽出してよい。そして、行動範囲算出部１１８は、抽出したユーザの複数の位置から、ユーザの当該時間間隔における行動範囲を算出する。なお、行動範囲算出部１１８は、時間キーワード抽出部１２０が抽出したキーワードが示す時間に基づいて、ユーザの行動範囲を、年単位、月単位、日単位、および時間単位等の所定の時間間隔ごとに算出してよい。行動範囲算出部１１８は、算出したユーザの行動範囲を行動キーワード抽出部１４０に供給する。
【００２６】
行動キーワード抽出部１４０は、時間キーワード抽出部１２０から受け取った、時間を示すキーワードに対応する時間においてユーザが所在した場所を示すキーワードを、場所キーワード格納部１３０から抽出する。行動キーワード抽出部１４０は、時間キーワード抽出部１２０が抽出したキーワードが示す時間に対応づけて場所キーワード格納部１３０が格納している、ユーザが所在した場所を示すキーワードを複数抽出してよい。例えば、行動キーワード抽出部１４０は、ユーザが訪問した場所を含む所定の領域内に複数の名勝地等がある場合には、当該複数の名勝地等の地名を示すキーワードを複数抽出してよい。そして、行動キーワード抽出部１４０は、訪問位置重み付け部１１４が重み付けした重みが最大の場所を示すキーワードを、場所キーワード格納部１３０から抽出してよい。これにより、ユーザが多く訪問している場所に対応する場所を示すキーワードを、行動キーワード抽出部１４０は抽出できるので、画像処理装置１０は、ユーザに関心のある場所を容易に把握できる。
【００２７】
また、行動キーワード抽出部１４０は、滞在時間算出部１１６が算出したユーザの滞在時間が最も長い領域に含まれる場所を示すキーワードを、場所キーワード格納部１３０から抽出してもよい。具体的には、行動キーワード抽出部１４０は、滞在時間算出部１１６から受け取った、ユーザが所在した位置を含む複数の領域ごとにおけるユーザの滞在時間を比較して、滞在時間が最も長い領域に含まれる場所を示すキーワードを、場所キーワード格納部１３０から抽出する。例えば、行動キーワード抽出部１４０は、ユーザの滞在時間が最も長い領域に含まれる名勝地およびランドマーク等の名称を、ユーザが所在した場所を示すキーワードとして場所キーワード格納部１３０から抽出してもよい。これにより、ユーザが興味を持って長時間滞在した場所の、当該場所を示すキーワードを行動キーワード抽出部１４０は場所キーワード格納部１３０から抽出することができる。
【００２８】
更に、行動キーワード抽出部１４０は、行動範囲算出部１１８から受け取ったユーザの行動範囲がより広いほど、場所キーワード格納部１３０からより広い場所を示すキーワードを抽出してもよい。例えば、所定の時間間隔におけるユーザの移動範囲が広い場合には、当該ユーザは広範囲にわたって移動したと考えられる。係る場合には、行動キーワード抽出部１４０は、ユーザが移動した範囲を含む領域を示すキーワード、例えば、都市名、名勝地名、およびランドマーク名等の場所を示すキーワードの中から、より広い領域を示すキーワードを、当該範囲を示すキーワードとして抽出してよい。また、行動キーワード抽出部１４０は、場所キーワード抽出部１２２が抽出した場所を示すキーワードに対応づけられて場所キーワード格納部１３０が格納している時刻を抽出する。続いて、行動キーワード抽出部１４０は、抽出した時刻に対応づけて時間キーワード格納部１３２が格納している時間を示すキーワードを抽出してよい。行動キーワード抽出部１４０は、抽出したユーザの場所を示すキーワードおよび時間を示すキーワードを、画像抽出部１５０に供給する。
【００２９】
画像抽出部１５０は、行動キーワード抽出部１４０から受け取ったユーザの場所を示すキーワードに対応づけて画像格納部１６０が格納している画像を抽出する。画像抽出部１５０は、ユーザの場所を示すキーワードに対応づけて画像格納部１６０が格納している複数の画像を抽出してもよい。また、画像抽出部１５０は、行動キーワード抽出部１４０から受け取った時間を示すキーワードおよび場所を示すキーワードに対応づけて画像格納部１６０が格納している画像を抽出してもよい。更に、画像抽出部１５０は、時間キーワード抽出部１２０および場所キーワード抽出部１２２から受け取った時間を示すキーワードおよび場所を示すキーワードに対応づけて画像格納部１６０が格納している画像を抽出してもよい。画像抽出部１５０は、抽出した画像を画像出力部１８０に供給する。画像出力部１８０は、画像抽出部１５０が抽出した画像を、文章入力部１００から受け取った文章と共に出力する。具体的には、画像出力部１８０は、インターネット上のウェブサイトにおいてウェブページのＵＲＬとともに文章等を記録する、ブログ等においてユーザが文章を入力した場合に、ユーザが入力した文章に含まれるキーワードを用いて上記説明で抽出された画像を文章と共に出力する。
【００３０】
本実施形態に係る画像処理装置１０は、ユーザの行動履歴の時刻に対応づけて、当該時刻にユーザが所在した場所を示すキーワードを格納する。更に、画像処理装置１０は、当該場所を示すキーワードに対応づけて画像を格納する。続いて、ユーザが入力した文章から時間を示すキーワードを抽出して、抽出した時間を示すキーワードに対応する時間における、ユーザが所在した場所を示すキーワードを抽出する。そして、抽出した場所を示すキーワードに対応づけられている画像を自動的に抽出して出力することができる。これにより、画像処理装置１０は、抽出した画像をユーザが入力した文章とともに自動的に表示できるので、ユーザは、入力した文章に対して違和感を感じることのない適切な画像が挿入された文章を、ユーザ自身が画像を選択することなく作成することができる。
【００３１】
図２は、本実施形態に係る行動履歴格納部１１０の一例を示す。行動履歴格納部１１０は、ユーザごとに当該ユーザの行動履歴を格納する。具体的には、行動履歴格納部１１０は、ユーザごとに、ユーザを一意に識別できる識別子および時刻に対応づけて、当該ユーザが当該時刻に所在した位置の緯度経度を格納する。なお、行動履歴格納部１１０が格納する時刻は、年月日を含む時刻であってよい。
【００３２】
ユーザの行動履歴は、例えば、ユーザが携帯するＧＰＳ機能付の携帯電話およびＧＰＳ機能付の時計等から、時刻ごとにおける当該ユーザが所在する位置の緯度経度を行動履歴格納部１１０に格納してよい。係る場合においては、ＧＰＳ機能付の携帯電話およびＧＰＳ機能付の時計等がユーザの行動履歴をメモリ等に格納する。そして、ユーザの行動履歴を格納したメモリ等から行動履歴格納部１１０に、ユーザの行動履歴を格納させてよい。また、ユーザが所有する携帯電話が発信する電波を受信した当該携帯電話の基地局の位置を示す緯度経度を、当該基地局が電波を受信した時刻に対応づけて行動履歴格納部１１０に格納してもよい。係る場合においては、ユーザの行動履歴を携帯電話の基地局から、インターネット等のネットワークを介して行動履歴格納部１１０に格納させてよい。なお、ユーザの位置を取得する時間間隔は、ユーザの行動履歴を適切に把握できる時間間隔であってよく、例えば、１時間または２時間等の時間単位、若しくは、１０分または３０分等の分単位等であってよい。
【００３３】
更には、ユーザを一意に識別できる情報を格納したＩＣチップを付帯した、カードおよびキーホルダー等のアクセサリーをユーザが携帯してもよい。そして、ユーザが当該カードおよびキーホルダー等のアクセサリーを、ＩＣチップに格納された情報を読み取る情報読取装置から、当該情報を読み取ることができる所定の範囲内の場所を通過した場合に、ユーザが通過した時刻に対応づけて当該場所の位置を示す緯度経度を、情報読取装置がインターネット等のネットワークを介して行動履歴格納部１１０に格納させてもよい。また、ユーザが商品等の購入等をした場合に、クレジットカード等で決済した場合には、クレジットカード等の決済装置が、決済をした時刻および場所をインターネット等のネットワークを介して行動履歴格納部１１０に格納させてもよい。
【００３４】
図３は、本実施形態に係る場所キーワード格納部１３０の一例を示す。場所キーワード格納部１３０は、行動履歴格納部１１０が格納しているユーザの行動履歴の時刻に対応づけて、当該時刻におけるユーザの場所を示すキーワードを格納する。具体的には、場所キーワード格納部１３０は、行動履歴格納部１１０が格納している緯度経度に対応する場所を示すキーワードを、行動履歴格納部１１０が格納しているユーザの行動履歴の時刻に対応づけて格納する。また、場所キーワード格納部１３０は、所定の時刻に対応づけて、複数の場所を示すキーワードを格納してよい。なお、係る場合において、画像処理装置１０は、行動履歴格納部１１０が格納している緯度経度に、当該緯度経度に対応する場所を示すキーワードを対応付ける、場所キーワード対応付け部を更に備えていてもよい。また、画像処理装置１０は、緯度経度に対応づけて場所を示すキーワードを格納している、場所キーワード対応付け用データベースを更に備えてもよい。
【００３５】
場所キーワード対応付け部は、行動履歴格納部１１０が格納しているユーザの行動履歴の時刻に対応づけて、当該時刻におけるユーザの位置の緯度経度を抽出する。続いて、場所キーワード対応付け部は、当該緯度経度に対応する場所を示すキーワードを場所キーワード対応付け用データベースから抽出してよい。場所キーワード対応付け部は、当該場所を示すキーワードとして、一または二以上のキーワードを抽出してよい。また、場所キーワード対応付け部は、抽出した緯度経度に対応する場所を示すキーワードを、インターネット等のネットワーク上に備えられているデータベースから抽出してもよい。場所を示すキーワードは、例えば、国単位、地方単位、都市単位、名勝地単位、ランドマーク名単位、および店名単位等ごとに規定されたキーワードであってよく、場所キーワード対応付け部は、所定の緯度経度に対応づけて、複数の場所を示すキーワードを対応づけてよい。そして、場所キーワード対応付け部は、行動履歴格納部１１０から抽出した緯度経度に対応する一または二以上の場所を示すキーワードを、ユーザの行動履歴の時刻に対応づけて、場所キーワード格納部１３０に格納させてよい。なお、場所キーワード格納部１３０は、ユーザの行動履歴の時刻に対応づけて、当該時刻におけるユーザが所在した位置を含む領域を示すキーワードとして、当該位置を含む様々な広さの領域を示すキーワードを複数格納してよい。
【００３６】
例えば、ユーザが所定の時刻に「五稜郭」に所在した場合を考える。係る場合において、場所キーワード格納部１３０は、ユーザの行動履歴の所定の時刻に対応づけて、場所を示すキーワードである「五稜郭」、「函館」、「道南」、および「北海道」を格納してよい。また、ユーザが所定の時刻に「函館山」に所在した場合を考える。係る場合において、場所キーワード格納部１３０は、ユーザの行動履歴の所定の時刻に対応づけて、場所を示すキーワードである「函館山」、「函館」、「道南」、および「北海道」を格納してよい。そして、ユーザが所定の時刻に「大沼」に所在した場合を考える。係る場合において、場所キーワード格納部１３０は、ユーザの行動履歴の所定の時刻に対応づけて、場所を示すキーワードである「大沼」、「七飯」、「道南」、および「北海道」を格納してよい。更に、ユーザが所定の時刻に「札幌時計台」に所在した場合を考える。係る場合において、場所キーワード格納部１３０は、ユーザの行動履歴の所定の時刻に対応づけて、場所を示すキーワードである「札幌時計台」、「札幌」、「道央」、および「北海道」を格納してよい。すなわち、場所キーワード格納部１３０は、時刻に対応づけて、ユーザが所在した地点を示す名称、当該地点を包含する領域の名称、および当該領域を包含する領域であって、当該領域よりも広い範囲を示す名称を、場所を示すキーワードとして格納してよい。
【００３７】
図４は、本実施形態に係る画像格納部１６０の一例を示す。画像格納部１６０は、画像内のオブジェクトまたは背景の場所を示すキーワードに対応づけて、画像を格納する。なお、画像格納部１６０は、画像内のオブジェクトまたは背景の場所を示すキーワードに対応づけて、複数の画像を格納してもよい。具体的には、画像格納部１６０は、キーワード付与部１７２から受け取ったキーワードを画像に対応づけて格納する。なお、画像格納部１６０が格納する画像は、ユーザが撮像した画像、画像入力部１０２を介してインターネット等のネットワークから受け取った画像、および画像処理を施した画像等であってよい。例えば、画像格納部１６０は、場所を示すキーワードである「五稜郭」に対応づけて、「五稜郭」が含まれる画像３００を格納する。また、画像格納部１６０は、場所を示すキーワードである「函館」に対応づけて、「函館」の代表的な画像３２０を格納する。更に、画像格納部１６０は、場所を示すキーワードである「北海道」に対応づけて、「北海道」の代表的な画像３４０を格納してよい。
【００３８】
図５は、本実施形態に係る行動キーワード抽出部１４０の処理の一例を示す。行動キーワード抽出部１４０は、行動範囲算出部１１８が算出したユーザの行動範囲がより広いほど、場所キーワード格納部１３０からより広い場所を示すキーワードを抽出する。具体的には、行動キーワード抽出部１４０は、行動範囲算出部１１８が算出したユーザの行動範囲の全てを包含する領域に対応づけて場所キーワード格納部１３０が格納する場所を示すキーワードの中から、最も広い領域に対応する場所を示すキーワードを抽出する。
【００３９】
例えば、所定の時間間隔において、ユーザが位置９１０（例えば、函館駅）から位置９２０（例えば釧路駅）に移動した場合と、ユーザが前記所定の時間間隔と同一の時間間隔において、位置８１０（例えば、五稜郭）から位置８２０（例えば、函館山）まで移動した場合とを考える。係る場合において、行動範囲算出部１１８は、ユーザが位置９１０から位置９２０まで移動した場合には、位置９１０、位置９２０、及び位置９１０から位置９２０までユーザが移動した場合にユーザが訪問した各地点を含む領域を、ユーザの行動範囲９００として算出してよい。同様に、行動範囲算出部１１８は、ユーザが位置８１０から位置８２０まで移動した場合には、位置８１０および位置８２０を含む領域を、ユーザの行動範囲８００として算出してよい。
【００４０】
係る場合において、行動キーワード抽出部１４０は、時間キーワード抽出部１２０が抽出したキーワードに対応する時間においてユーザが所在した場所を示すキーワードとして、ユーザが行動した領域が行動範囲８００と比較してより広い行動範囲９００に対して、より広い場所を示すキーワードを抽出する。例えば、行動キーワード抽出部１４０は、ユーザの行動範囲が行動範囲８００よりも広い行動範囲９００である場合には、「函館」等の都市を包含する地方名である「北海道」を、ユーザの場所を示すキーワードとして抽出してよい。一方、行動キーワード抽出部１４０は、ユーザの行動範囲が行動範囲９００よりも狭い行動範囲８００である場合には、所定の領域を示す地方名である「北海道」等の領域の一部に含まれる都市名の「函館」を、ユーザの場所を示すキーワードとして抽出してよい。そして、行動キーワード抽出部１４０は抽出したユーザの位置を示すキーワードを画像抽出部１５０に供給する。画像抽出部１５０は、行動キーワード抽出部１４０から受け取ったキーワードに対応づけて画像格納部１６０が格納する画像を抽出して、画像出力部１８０に出力させる。
【００４１】
本実施形態に係る画像処理装置１０によれば、ユーザの行動範囲の広狭に基づいて、当該行動範囲に対応する領域を示すキーワードを適切に抽出できる。これにより、ユーザの場所を示すキーワードとして、ユーザの行動範囲に適した場所を示すキーワードを適切に抽出して、抽出したキーワードに対応する画像を自動的に出力できるので、ユーザは文章を入力するだけで、ユーザ自身が画像の選択をせずに、ユーザが想起しているイメージに適切な画像を文章とともに出力することができる。例えば、ユーザが所定の時間間隔において北海道内を旅行した場合には、ユーザが前記所定の時間間隔と同一の時間間隔で函館を観光した場合に比べて、ユーザの行動範囲が広いので、画像処理装置１０は、函館よりも北海道のイメージを的確に表す画像を自動的に抽出できる。
【００４２】
図６は、本実施形態に係る時間キーワード格納部１３２のデータ構造の一例を示す。時間キーワード格納部１３２は、行動履歴格納部１１０が格納しているユーザの行動履歴の時刻に対応づけて、当該時刻を含む時間を示すキーワードを格納する。なお、時刻とは、年月日を含む時刻であってよい。具体的には、時間キーワード格納部１３２は、行動履歴格納部１１０から受け取った時刻を含む時間を示すキーワードを格納する。例えば、時間キーワード格納部１３２は、行動履歴格納部１１０から受け取った時刻を含む季節名（春夏秋冬等）、当該時刻を含む所定の時間間隔を示す名（朝、昼、夕方、および晩等） 、および当該時刻を含む月等を、時間を示すキーワードとして格納してよい。また、時間キーワード格納部１３２は、ユーザごとに当該ユーザを一意に識別できる識別子および時刻に対応づけて、時間を示すキーワードを格納してもよい。
【００４３】
図７は、本実施形態に係る画像格納部１６０のデータ構造の一例を示す。画像格納部１６０は、場所を示すキーワードおよび時間を示すキーワードに更に対応づけて、画像データを格納する。また、画像格納部１６０は、画像データに対応づけて更に複数の時間を示すキーワードを格納してもよい。更に、画像格納部１６０は、同一の場所を示すキーワードに対応づけて、複数の画像および複数の時間を示すキーワードを格納してもよい。例えば、画像格納部１６０は、画像３００が「五稜郭」を含む画像である場合には、画像３００に対応づけて、キーワード付与部１７２により付与された時間を示すキーワード、「○○○○年」、「春」、「４月」、および「朝」等を格納する。
【００４４】
図８は、本実施形態に係る画像処理装置１０の機能構成の一例を示す。画像処理装置１０は、画像選択部１５２、文章格納部２００、文章キーワード頻度算出部２０２、表現態様重み格納部２０４、文章キーワード重み決定部２０６、文章キーワード重み格納部２０８、画像キーワード抽出部２１０、重み算出部２２０、画像キーワード重み格納部２３０、組み合わせ重み格納部２４０、画像重み決定部２５０、頻度算出部２５２、頻度重み決定部２５４、位置重み決定部２５６、大きさ重み決定部２５８、オブジェクト抽出部２７０、オブジェクト名付与部２７２、およびトリミング部２８０を更に備えてよい。
【００４５】
画像格納部１６０は、画像の内容を示すキーワードに更に対応づけて画像を格納する。画像格納部１６０は格納している画像を、画像抽出部１５０、キーワード生成部１７０、オブジェクト抽出部２７０、および画像重み決定部２５０供給する。また、画像格納部１６０は格納しているキーワードを、画像キーワード重み格納部２３０および組み合わせ重み格納部２４０に供給する。キーワード生成部１７０は、画像格納部１６０に格納されている画像の付帯情報に基づいて画像の内容を示すキーワードを生成する。具体的には、キーワード生成部１７０は、画像格納部１６０が格納している画像に付帯されている付帯情報を抽出する。例えば、夜景モードで撮像された画像に対しては、キーワード生成部１７０は当該画像に対して「夜」をキーワードとして生成する。また、キーワード生成部１７０は、画像の撮像日時から画像が撮像された年、または月、若しくは日をキーワードとして生成してよい。また、キーワード生成部１７０は、画像の撮像日時から、当該画像が撮像された季節をキーワードとして生成してもよい。例えば、キーワード生成部１７０は、３月から４月に撮像された画像には「春」を、６月から８月に撮像された画像には「夏」を、９月から１１月に撮像された画像には「秋」を、そして１２月から２月に撮像された画像には「冬」をそれぞれキーワードとして生成してよい。
【００４６】
また、キーワード生成部１７０は、撮像時刻に基づいて「朝」、「昼」、「夕方」、および「夜」等のキーワードを生成してもよい。更に、キーワード生成部１７０は、撮像場所に基づいて、画像に対して当該画像が撮像された地域名、地名、および都市名等をキーワードとして生成してもよい。そして、キーワード生成部１７０は、撮像条件に基づいて、例えば、明度が高い場合には「明るい」等を、彩度が高い場合には「鮮やか」又は「派手」等をキーワードとして生成してもよい。更に、キーワード生成部１７０は、ユーザが作成した画像に付帯された付帯情報に基づいて、画像の内容を示すキーワードを生成してもよい。具体的には、キーワード生成部１７０は、ユーザが作成した画像に付帯された画像に含まれるオブジェクト名、画像の背景名、および画像の内容が示す時期等を抽出して、画像の内容を示すキーワードを生成してよい。例えば、キーワード生成部１７０は、ユーザが作成した画像に付帯された付帯情報が「夏の山」である場合には、画像の内容を示すキーワードとして「夏」、「７月」、および「山」等を生成してよい。また、キーワード生成部１７０は、ユーザが作成した画像に付帯された付帯情報が「紅葉」である場合には、「紅葉」、「秋」、および「１０月」等を画像の内容を示すキーワードとして生成してよい。キーワード生成部１７０は、生成したキーワードをキーワード付与部１７２に供給する。キーワード付与部１７２は、キーワード生成部１７０が生成したキーワードを、画像に対応づけて画像格納部１６０に格納する。キーワード付与部１７２は、画像に複数のキーワードを対応づけて、画像格納部１６０に複数のキーワードを画像に対応づけて格納してもよい。
【００４７】
オブジェクト抽出部２７０は、画像格納部１６０が格納している画像に含まれるオブジェクトを抽出する。例えば、オブジェクト抽出部２７０は、エッジ検出等の画像処理を用いてオブジェクトを抽出する。また、オブジェクト抽出部２７０は、画像の空間周波数成分が予め定められた周波数よりも大きい領域と、当該領域を除く領域とに分けてオブジェクトおよび背景を抽出してもよい。オブジェクト抽出部２７０は、抽出したオブジェクトをオブジェクト名付与部２７２に供給する。オブジェクト名付与部２７２は、オブジェクト抽出部２７０が抽出したオブジェクトのオブジェクト名を、画像の内容を示すキーワードとして画像に対応付ける。そして、オブジェクト名付与部２７２は、画像に対応付けたキーワードを画像格納部１６０に格納させる。
【００４８】
例えば、オブジェクト名付与部２７２は、テンプレート画像に対応づけてオブジェクト名を格納するオブジェクトテンプレートデータベースを有していてもよい。オブジェクト名付与部２７２は、オブジェクト抽出部２７０から受け取ったオブジェクトとオブジェクトテンプレートデータベースが格納するテンプレート画像とをマッチングして、マッチしたテンプレート画像に対応づけてオブジェクトテンプレートデータベースが格納しているオブジェクト名を、画像の内容を示すキーワードとして画像に対応付けてよい。例えば、画像に含まれるオブジェクトが猫であることがテンプレート画像とのマッチングにより判明した場合には、オブジェクト名付与部２７２は、「猫」を画像の内容を示すキーワードとして画像に対応付けてよい。また、オブジェクト名付与部２７２は、ユーザが入力したキーワードを、画像に対応づけて画像格納部１６０に格納してもよい。
【００４９】
文章格納部２００は、複数の文章を予め格納している。具体的には、ユーザが過去に作成した複数の文章を格納する。文章格納部２００は、文章を文章キーワード頻度算出部２０２および表現態様重み格納部２０４に供給する。文章キーワード頻度算出部２０２は、文章格納部２００から受け取った複数の文章に含まれるキーワードごとに、当該キーワードの数を算出する。例えば、文章キーワード頻度算出部２０２は、キーワードが「Ａ」である場合には、複数の文章に含まれる「Ａ」というキーワードの数を算出する。文章キーワード頻度算出部２０２は、算出したキーワードごとのキーワードの数を、文章キーワード重み決定部２０６に供給する。なお、文章キーワード頻度算出部２０２が算出する場合のキーワードは、形態素解析等の自然言語処理を用いてキーワードを抽出して、抽出したキーワードごとにキーワードが文章中に出現する回数を算出してよい。
【００５０】
表現態様重み格納部２０４は、文字の書体又は文字のサイズに対応づけて、文字の書体の重み又は文字サイズの重みを格納する。具体的には、表現態様重み格納部２０４は、明朝体、ゴシック体、および行書体等の書体ごとに対応付けられた重みを格納する。また、表現態様重み格納部２０４は、文字のサイズ、斜体であるか否か、および太字であるか否か等の文字の表現態様ごとに対応付けられた重みを格納する。ユーザが文字に対して文字の書体又はサイズ等を変更している場合には、ユーザは、当該文字を他の文字と比較してより強調して表示したいと考えている場合が多い。したがって、例えば、表現態様重み格納部２０４は、文字のサイズが大きい場合には、文字のサイズがより小さい文字のサイズよりも、大きな重みを格納してよい。表現態様重み格納部２０４は、所定のキーワードの書体又はサイズに対応づけて格納している重みを、文章キーワード重み決定部２０６に供給する。
【００５１】
文章キーワード重み決定部２０６は、文章キーワード頻度算出部２０２から受け取ったキーワードごとに、キーワードの数がより多いキーワードにより大きい重みを対応づける。また、文章キーワード重み決定部２０６は、文章格納部２００が格納している文章に含まれる所定のキーワードの書体又は文字サイズに対応づけて表現態様重み格納部２０４が格納している重みがより大きい場合に、より大きい重みを所定のキーワードに対応付ける。例えば、文章キーワード重み決定部２０６は、文章キーワード頻度算出部２０２が算出したキーワードの重みと、当該キーワードの書体およびサイズに対応づけて表現態様重み格納部２０４が格納している重みとを加算して、当該キーワードの重みを算出してもよい。また、文章キーワード重み決定部２０６は、キーワードの重みに、当該キーワードの書体等に対応づけて表現態様重み格納部２０４が格納している重みを係数として乗じて、当該キーワードの重みを算出してもよい。文章キーワード重み決定部２０６は、キーワードに対応づけて決定した重みを文章キーワード重み格納部２０８に供給する。文章キーワード重み格納部２０８は、文章格納部２００が格納している文章に含まれるキーワードに対応づけてキーワードの重みを格納する。具体的には、文章キーワード重み格納部２０８は、文章キーワード重み決定部２０６が決定したキーワードごとの重みを受け取って格納する。文章キーワード重み格納部２０８は、画像選択部１５２にキーワードに対応づけて格納している重みを供給する。
【００５２】
これにより、文章キーワード重み決定部２０６は、ユーザが入力することが多いキーワードに、ユーザが入力することが少ないキーワードに比べてより大きな重みを対応付けることができるので、本実施形態に係る画像処理装置１０は、文章に含まれるキーワードに対応付けられた重みを参照することで、ユーザの関心が高く、ユーザが想起することの多いキーワードを的確に把握できる。また、文章キーワード重み決定部２０６は、ユーザが所定のキーワードに設定した文字の書体又はサイズ等に基づいて、所定のキーワードに重み付けできるので、ユーザが文章を入力している時の関心に応じて、適切な重みを文章に含まれるキーワードに対応付けることもできる。
【００５３】
画像キーワード重み格納部２３０は、画像格納部１６０が格納しているキーワードに対応づけて、キーワードの重みを格納する。また、画像キーワード重み格納部２３０は、画像重み決定部２５０の制御に基づいて、キーワードの重みを格納してもよい。画像キーワード重み格納部２３０は、キーワードの重みを重み算出部２２０に供給する。組み合わせ重み格納部２４０は、画像の内容を示す複数のキーワードの組み合わせに対応づけて、複数のキーワードの組み合わせの重みを格納する。組み合わせ重み格納部２４０は、複数のキーワードの組み合わせの重みを重み算出部２２０に供給する。画像重み決定部２５０は、画像格納部１６０から受け取った複数の画像に対応付けられたキーワードのそれぞれについて重みを算出して、算出した重みを画像のキーワードに対応づけて画像キーワード重み格納部２３０に格納させる。具体的には、画像重み決定部２５０は、頻度算出部２５２、頻度重み決定部２５４、位置重み決定部２５６、および大きさ重み決定部２５８を有する。
【００５４】
頻度算出部２５２は、画像格納部１６０が格納している複数の画像において、画像の内容を示すキーワードであるオブジェクト名のオブジェクトごとに、当該オブジェクトが含まれる画像の数を算出する。また、頻度算出部２５２は、画像格納部１６０が格納している複数の画像のそれぞれに対応づけられているキーワードについて、画像格納部１６０が格納している複数の画像に対応づけられている当該キーワードの数を、キーワードごとに算出してもよい。頻度算出部２５２は、算出したオブジェクトごとの当該オブジェクトが含まれる画像の数、および画像に対応づけられているキーワードごとの当該キーワードが複数の画像に含まれる数を、頻度重み決定部２５４に供給する。頻度重み決定部２５４は、頻度算出部２５２がオブジェクトごとに算出した画像の数がより多いオブジェクト名であるキーワードに対応づけて、より大きい重みを画像キーワード重み格納部２３０に格納させる。また、頻度重み決定部２５４は、頻度算出部２５２がキーワードごとに算出した当該キーワードが複数の画像に含まれる数がより多いキーワードに対応づけて、より大きい重みを画像キーワード重み格納部２３０に格納させてもよい。
【００５５】
これにより、ユーザが所定のオブジェクトを含む画像をより多く所有している場合に、頻度重み決定部２５４は、当該オブジェクトを含む画像に対してより大きな重みをつけることができるので、ユーザの関心が高いオブジェクトを含む画像に、ユーザの関心が低いオブジェクトを含む画像よりもより大きな重みをつけることができる。
【００５６】
位置重み決定部２５６は、画像格納部１６０が格納している画像の中心位置からより近いオブジェクトのオブジェクト名であるキーワードに対応づけて、より大きい重みを画像キーワード重み格納部２３０に格納させる。例えば、位置重み決定部２５６は、画像に含まれるオブジェクトが画像に対して占める位置を算出する。続いて、位置重み決定部２５６は、画像の中心位置からオブジェクトへの距離を算出する。そして、位置重み決定部２５６は、画像の中心位置からオブジェクトへの距離に対応づけて、距離がより近い場合により大きな重みを当該オブジェクトのオブジェクト名であるキーワードに対応づける。ここで、ユーザが画像を撮像もしくは作成する場合には、画像の中心位置に近い領域にユーザが撮像を所望するオブジェクト若しくは画像の作成を所望するオブジェクトが含まれる場合が多い。したがって、本実施形態に係る画像処理装置１０は、位置重み決定部２５６を備えるので、ユーザの関心が高いオブジェクトを含む画像に対して、ユーザの関心が低いオブジェクトを含む画像よりも、より大きな重みを重み付けることができる。
【００５７】
大きさ重み決定部２５８は、画像格納部１６０が格納している画像に対する大きさがより大きいオブジェクトのオブジェクト名であるキーワードに対応づけて、より大きい重みを画像キーワード重み格納部２３０に格納させる。例えば、大きさ重み決定部２５８は、画像の領域の面積と画像に含まれるオブジェクトの面積とを算出する。続いて、大きさ重み決定部２５８は、オブジェクトの面積が画像に占める割合を算出する。そして、大きさ重み決定部２５８は、オブジェクトの面積が画像に占める割合に対応づけて、当該割合がより大きい場合により大きな重みを当該オブジェクトのオブジェクト名であるキーワードに対応付けてよい。
【００５８】
画像キーワード抽出部２１０は、ユーザが新たに入力した文章から画像格納部１６０が格納しているキーワードを抽出する。具体的には、画像キーワード抽出部２１０は、文章入力部１００から受け取った文章を自然言語処理等の処理方法を用いて、文章から画像格納部１６０が格納しているキーワードを抽出する。画像キーワード抽出部２１０が抽出するキーワードは、時間を示すキーワードおよび位置を示すキーワードであってよい。画像キーワード抽出部２１０は、抽出したキーワードを画像抽出部１５０に供給する。画像抽出部１５０は、画像キーワード抽出部２１０が抽出した少なくとも一つのキーワードに対応づけて画像格納部１６０が格納している画像を抽出する。具体的には、画像抽出部１５０は、入力された文章に含まれるキーワードの少なくとも一つと同一のキーワードが対応づけられている画像を、画像格納部１６０から抽出する。画像抽出部１５０は抽出した画像を画像選択部１５２に供給する。また、画像抽出部１５０は、抽出した画像に対応づけて画像格納部１６０が格納しているキーワードを重み算出部２２０に供給する。
【００５９】
重み算出部２２０は、画像抽出部１５０から受け取った画像に対応づけて画像格納部１６０が格納しているキーワードであって、画像キーワード抽出部２１０が抽出したキーワードと同一のキーワードに対応づけて画像キーワード重み格納部２３０が格納しているキーワードの重みを抽出する。そして、重み算出部２２０は、抽出したキーワードの重みを、画像ごとに合計して合計値を算出する。また、重み算出部２２０は、画像抽出部１５０から受け取った画像に対応づけて画像格納部１６０が格納している複数のキーワードであって、画像キーワード抽出部２１０が抽出したキーワードと同一のキーワードに対応づけて組み合わせ重み格納部２４０が格納している複数のキーワードの組み合わせの重みを抽出する。そして、重み算出部２２０は、抽出した複数のキーワードの組み合わせの重みを、画像ごとに合計して合計値を算出する。更に、重み算出部２２０は、画像抽出部１５０から受け取った画像に対応づけて画像格納部１６０が格納しているキーワードであって、画像キーワード抽出部２１０が抽出したキーワードと同一のキーワードに対応づけて文章キーワード重み格納部２０８が格納しているキーワードの重みの合計値を算出してもよい。重み算出部２２０は、算出した画像ごとの重みを画像選択部１５２に供給する。
【００６０】
画像選択部１５２は、重み算出部２２０から受け取った重みの合計値が大きい画像から予め定められた数の画像を、画像抽出部１５０から受け取った複数の画像から選択する。また、画像選択部１５２は、重み算出部２２０から受け取った重みの合計値が予め定められた値より大きい画像を、画像抽出部１５０から受け取った複数の画像から選択してもよい。更に、画像選択部１５２は、重み算出部２２０から受け取った重みの合計値が最大の画像を、画像抽出部１５０から受け取った複数の画像から選択してもよい。そして、画像選択部１５２は、重み算出部２２０から受け取ったキーワードの重みの合計値が同じ画像が複数ある場合には、重み算出部２２０が算出した複数のキーワードの組み合わせの重みの合計値がより大きい画像を、画像抽出部１５０から受け取った複数の画像から選択してもよい。また、画像選択部１５２は、重み算出部２２０から受け取ったキーワードの重みの合計値が同じ画像が複数ある場合には、重み算出部２２０が算出した文章キーワード重み格納部２０８が格納しているキーワードの重みの合計値がより大きい画像を、画像抽出部１５０から受け取った複数の画像から選択してもよい。これにより、画像抽出部１５０が、行動キーワード抽出部１４０から受け取ったユーザの場所を示すキーワードに対応づけて画像格納部１６０が格納している画像から、複数の画像を抽出した場合でも、ユーザが最も関心を持つ場所の画像を選択できる。画像選択部１５２は、選択した画像をトリミング部２８０および画像出力部１８０に供給する。
【００６１】
トリミング部２８０は、オブジェクト名付与部２７２が画像に付与したキーワードに対応するオブジェクトを含むように、画像選択部１５２から受け取った画像をトリミングする。例えば、トリミング部２８０は、画像に含まれるオブジェクトに対応づけて画像に付帯されている当該オブジェクトの位置情報を用いてトリミングしてよい。また、トリミング部２８０は、パターンマッチング等の画像処理により、オブジェクト名付与部２７２が画像に付与したキーワードに対応するオブジェクトを含むように、画像に含まれるオブジェクトをトリミングしてもよい。更に、トリミング部２８０は、画像に含まれるオブジェクトを拡大および縮小してもよい。トリミング部２８０は、トリミングした画像を画像出力部１８０に供給する。画像出力部１８０は、トリミング部２８０から受け取ったトリミングした画像を入力された文章とともに出力してもよい。
【００６２】
本実施形態に係る画像処理装置１０によれば、画像選択部１５２が画像抽出部１５０から複数の画像を受け取った場合に、入力された文章に含まれるキーワードであって、画像に対応付けられたキーワードの重みおよび画像に対応付けられた複数のキーワードの組み合わせの重みの合計値を算出する。そして、画像選択部１５２は、キーワードの重みの合計値が最大の画像、またはキーワードの重みの合計値が同一の画像が複数ある場合には、複数のキーワードの組み合わせの重みの合計値が最大の画像を選択することができる。これにより、画像処理装置１０は、画像抽出部１５０が複数の画像を抽出した場合であっても、ユーザの行動履歴およびユーザが入力した文章の内容に基づいて、ユーザが想起したイメージに最も適した画像を自動的に選択して、文章と共に選択した画像を表示することができる。したがって、ユーザは文章の入力中にユーザ自身が文章に挿入する画像を選択しなくても、自動的にユーザのイメージを的確に表す画像が文章と共に出力されるので、ユーザに思考を中断させることなく、画像が挿入された文章を作成できる。
【００６３】
図９は、本実施形態に係る画像格納部１６０のデータ構造の一例を示す。画像格納部１６０は、画像の内容を示すキーワードを更に対応づけて画像を格納する。画像格納部１６０が格納する画像は、ユーザが過去に撮像した画像、インターネット等のネットワークから受け取った画像、およびユーザが作成した画像等であってよい。そして、画像格納部１６０は、キーワード付与部１７２およびオブジェクト名付与部２７２から受け取った少なくとも一つの画像の内容を示すキーワードに対応づけて画像を格納する。更に、画像格納部１６０は、ユーザが画像に対応づけて入力した画像の内容を示すキーワードを、画像に対応づけて格納してもよい。なお、画像に対応づけて画像格納部１６０が格納するキーワードは複数であってよい。
【００６４】
具体的には、画像格納部１６０は、画像ごとに、画像の内容を示すキーワードを少なくとも一つ画像に対応づけて格納している。例えば、画像格納部１６０は、画像３００にキーワードＡ、キーワードＢ、およびキーワードＤを対応づけて格納している。また、画像３１０にキーワードＢ、キーワードＣ、およびキーワードＤを対応づけて格納している。更に、画像格納部１６０は、画像３２０にキーワードＡ、キーワードＣ、およびキーワードＦを、画像３３０にキーワードＧ、キーワードＩ、およびキーワードＫ等を対応づけて格納している。
【００６５】
図１０は、本実施形態に係る画像キーワード重み格納部２３０のデータ構造の一例を示す。画像キーワード重み格納部２３０は、画像格納部１６０が格納しているキーワードに対応づけてキーワードの重みを格納する。具体的には、画像キーワード重み格納部２３０は、画像重み決定部２５０から受け取ったキーワードの重みを、キーワードに対応づけて格納する。例えば、画像キーワード重み格納部２３０は、キーワードＡに重み「３」を対応づけて格納している。また、画像キーワード重み格納部２３０は、キーワードＢに重み「２」を対応づけて格納している。そして、画像キーワード重み格納部２３０は、キーワードＣに重み「１」を対応づけて格納している。更に、画像キーワード重み格納部２３０は、キーワードＤに重み「４」を対応づけて格納している。
【００６６】
重み算出部２２０は、画像に対応付けられたキーワードの重みを、画像キーワード重み格納部２３０から抽出する。そして、重み算出部２２０は、当該画像に対応付けられたキーワードの重みの合計値を算出する。例えば、画像キーワード抽出部２１０が文章入力部１００から入力された文章から抽出したキーワードが、キーワード「Ａ」およびキーワード「Ｄ」であった場合を考える。係る場合において、画像抽出部１５０は、キーワード「Ａ」又はキーワード「Ｄ」の少なくとも一方が対応づけられている画像を、画像格納部１６０から抽出する。すなわち、画像抽出部１５０は、図７の上記説明における画像格納部１６０から、キーワード「Ａ」又はキーワード「Ｄ」の少なくともいずれか一方が対応づけられている画像３００、画像３１０、および画像３２０を抽出する。
【００６７】
そして、重み算出部２２０は、画像３００、画像３１０、および画像３２０のそれぞれに対応づけられているキーワード「Ａ」の重みとキーワード「Ｄ」の重みとの合計値を画像ごとに算出する。例えば、画像３００には、キーワード「Ａ」、キーワード「Ｂ」、およびキーワード「Ｄ」が対応づけられている。この場合において、画像３００に対応づけられているキーワードの中で画像キーワード抽出部２１０が抽出したキーワードと同一のキーワードは、キーワード「Ａ」およびキーワード「Ｄ」であるとする。係る場合に重み算出部２２０は、画像３００の重みをキーワード「Ａ」の重みとキーワード「Ｄ」の重みとの合計値である「７」と算出する。同様に重み算出部２２０は、画像３１０の重みの合計値を「２」と算出する。また、重み算出部２２０は、画像３２０の重みの合計値を「３」と算出する。
【００６８】
続いて、画像選択部１５２は、重み算出部２２０が算出した画像ごとの重みの合計値を比較して、重みの合計値が最大の画像を選択する。上記した図６および図７の説明においては、重みの合計値が最大である画像３００を画像選択部１５２は選択する。そして、画像出力部１８０は、画像選択部１５２が選択した画像３００を、ユーザが入力した文章とともに表示する。なお、画像選択部１５２は、重み算出部２２０が算出した重みの合計値が大きい画像から予め定められた数の画像を選択してもよい。具体的には、画像選択部１５２は、重み算出部２２０が算出した重みの合計値の降順に対応づけて複数の画像を整列して、予め定められた数の画像を重みの合計値が最大の画像から順に選択してもよい。また、画像選択部１５２は、重み算出部２２０が算出した重みの合計値が予め定められた値より大きい画像を選択してもよい。係る場合において、画像選択部１５２が選択する画像は複数あってもよい。
【００６９】
本実施形態に係る画像処理装置１０によれば、画像選択部１５２が複数の画像を選択した場合に、ユーザが入力した文章に含まれるキーワードの少なくとも一つと同一のキーワードに対応づけられている画像を抽出して、画像に対応づけられているキーワードの重みを画像ごとに算出する。そして、画像ごとに算出したキーワードの重みの合計値を比較して画像を自動的に選択できるので、画像選択部１５２が複数の画像を選択した場合であっても、ユーザが想起した画像を適切に選択して、ユーザが入力した文章と共に表示することができる。例えば、本実施形態に係る画像処理装置１０によれば、ブログ等においてユーザが入力した文章に含まれるキーワードの重みに基づいて、ユーザが想起している画像を自動的に選択して、文章とともに表示することができる。
【００７０】
図１１は、本実施形態に係る組み合わせ重み格納部２４０のデータ構造の一例を示す。組み合わせ重み格納部２４０は、画像の内容を示す複数のキーワードの組み合わせに対応づけて、複数のキーワードの組み合わせの重みを格納する。具体的には、組み合わせ重み格納部２４０は、画像に対応づけられている複数のキーワードのキーワード間の関連に基づいて重みを格納している。より具体的には、画像格納部１６０が格納している複数の画像のうちで、画像に対応づけられている複数のキーワードの組み合わせの数がより多い場合に、当該複数のキーワードの組み合わせにより大きい重みを対応づけて格納する。例えば、ユーザが冬山の画像を頻繁に撮像または作成して、撮像または作成した冬山の複数の画像を画像格納部１６０に格納している場合を考える。係る場合には、画像格納部１６０は「冬」および「山」のキーワードに対応付けられた冬山の画像を、「冬」および「山」のキーワードを除くキーワードに対応付けられた画像よりも多く格納しているので、「冬」および「山」のキーワード間の関連が高いとして、「冬」および「山」のキーワードの組み合わせにより大きい重みを対応づけて格納してよい。
【００７１】
例えば、組み合わせ重み格納部２４０は、キーワード「Ａ」とキーワード「Ｂ」の組み合わせに重み「４」を対応づけて格納している。また、組み合わせ重み格納部２４０は、キーワード「Ａ」とキーワード「Ｄ」の組み合わせに重み「３」を対応づけて格納している。同様に、組み合わせ重み格納部２４０は、キーワード「Ａ」とキーワード「Ｆ」の組み合わせに重み「２」を、キーワード「Ｂ」とキーワード「Ｄ」の組み合わせに重み「５」を、およびキーワード「Ｄ」とキーワード「Ｆ」の組み合わせに重み「１」を対応づけて格納している。なお、組み合わせ重み格納部２４０は、二つのキーワードの組み合わせに限らず、少なくとも二つ以上の複数のキーワードの組み合わせに対応づけて重みを格納してよい。また、画像処理装置１０は、複数のキーワード間の組み合わせの重みを決定する組み合わせ重み決定部を更に備えていてもよい。組み合わせ重み決定部は、画像に対応付けられた複数のキーワードの組み合わせの数を算出して、複数のキーワードの組み合わせの数がより多い組み合わせに、複数のキーワードの組み合わせの数がより少ない組み合わせよりも大きい重みを対応づけてよい。
【００７２】
図１２は、本実施形態に係る画像処理装置１０のハードウェア構成の一例を示す。本実施形態に係る画像処理装置１０は、ホスト・コントローラ１５８２により相互に接続されるＣＰＵ１５０５、ＲＡＭ１５２０、グラフィック・コントローラ１５７５、及び表示装置１５８０を有するＣＰＵ周辺部と、入出力コントローラ１５８４によりホスト・コントローラ１５８２に接続される通信インターフェイス１５３０、ハードディスクドライブ１５４０、及びＣＤ−ＲＯＭドライブ１５６０を有する入出力部と、入出力コントローラ１５８４に接続されるＲＯＭ１５１０、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０を有するレガシー入出力部とを備える。
【００７３】
ホスト・コントローラ１５８２は、ＲＡＭ１５２０と、高い転送レートでＲＡＭ１５２０をアクセスするＣＰＵ１５０５及びグラフィック・コントローラ１５７５とを接続する。ＣＰＵ１５０５は、ＲＯＭ１５１０及びＲＡＭ１５２０に格納されたプログラムに基づいて動作して、各部を制御する。グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等がＲＡＭ１５２０内に設けたフレーム・バッファ上に生成する画像データを取得して、表示装置１５８０上に表示させる。これに代えて、グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。
【００７４】
入出力コントローラ１５８４は、ホスト・コントローラ１５８２と、比較的高速な入出力装置である通信インターフェイス１５３０、ハードディスクドライブ１５４０、ＣＤ−ＲＯＭドライブ１５６０を接続する。通信インターフェイス１５３０は、ネットワークを介して他の装置と通信する。ハードディスクドライブ１５４０は、画像処理装置１０内のＣＰＵ１５０５が使用するプログラム及びデータを格納する。ＣＤ−ＲＯＭドライブ１５６０は、ＣＤ−ＲＯＭ１５９５からプログラム又はデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０に提供する。
【００７５】
また、入出力コントローラ１５８４には、ＲＯＭ１５１０と、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０の比較的低速な入出力装置とが接続される。ＲＯＭ１５１０は、画像処理装置１０が起動時に実行するブート・プログラム、画像処理装置１０のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ１５５０は、フレキシブルディスク１５９０からプログラム又はデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０に提供する。入出力チップ１５７０は、フレキシブルディスク・ドライブ１５５０、例えばパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。
【００７６】
ＲＡＭ１５２０を介してハードディスクドライブ１５４０に提供される画像処理プログラムは、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５、又はＩＣカード等の記録媒体に格納されて利用者によって提供される。画像処理プログラムは、記録媒体から読み出され、ＲＡＭ１５２０を介して画像処理装置１０内のハードディスクドライブ１５４０にインストールされ、ＣＰＵ１５０５において実行される。画像処理装置１０にインストールされて実行される画像処理プログラムは、ＣＰＵ１５０５等に働きかけて、画像処理装置１０を、図１から図９にかけて説明した文章入力部１００、画像入力部１０２、行動履歴格納部１１０、訪問回数算出部１１２、訪問位置重み付け部１１４、滞在時間算出部１１６、行動範囲算出部１１８、時間キーワード抽出部１２０、場所キーワード抽出部１２２、場所キーワード格納部１３０、時間キーワード格納部１３２、行動キーワード抽出部１４０、画像抽出部１５０、画像選択部１５２、画像格納部１６０、キーワード生成部１７０、キーワード付与部１７２、画像出力部１８０、画像選択部１５２、文章格納部２００、文章キーワード頻度算出部２０２、表現態様重み格納部２０４、文章キーワード重み決定部２０６、文章キーワード重み格納部２０８、画像キーワード抽出部２１０、重み算出部２２０、画像キーワード重み格納部２３０、組み合わせ重み格納部２４０、画像重み決定部２５０、頻度算出部２５２、頻度重み決定部２５４、位置重み決定部２５６、大きさ重み決定部２５８、オブジェクト抽出部２７０、オブジェクト名付与部２７２、およびトリミング部２８０として機能させる。
【００７７】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加え得ることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【図面の簡単な説明】
【００７８】
【図１】画像処理装置１０の機能構成を示すブロック図である。
【図２】行動履歴格納部１１０を示す図である。
【図３】場所キーワード格納部１３０を示す図である。
【図４】画像格納部１６０を示す図である。
【図５】行動キーワード抽出部１４０の処理を示す図である。
【図６】時間キーワード格納部１３２を示す図である。
【図７】画像格納部１６０を示す図である。
【図８】画像処理装置１０の機能構成を示すブロック図である。
【図９】画像格納部１６０を示す図である。
【図１０】画像キーワード重み格納部２３０を示す図である。
【図１１】組み合わせ重み格納部２４０を示す図である。
【図１２】画像処理装置１０のハードウェア構成を示すブロック図である。
【符号の説明】
【００７９】
１０ 画像処理装置
１００ 文章入力部
１０２ 画像入力部
１１０ 行動履歴格納部
１１２ 訪問回数算出部
１１４ 訪問位置重み付け部
１１６ 滞在時間算出部
１１８ 行動範囲算出部
１２０ 時間キーワード抽出部
１２２ 場所キーワード抽出部
１３０ 場所キーワード格納部
１３２ 時間キーワード格納部
１４０ 行動キーワード抽出部
１５０ 画像抽出部
１５２ 画像選択部
１６０ 画像格納部
１７０ キーワード生成部
１７２ キーワード付与部
１８０ 画像出力部
２００ 文章格納部
２０２ 文章キーワード頻度算出部
２０４ 表現態様重み格納部
２０６ 文章キーワード重み決定部
２０８ 文章キーワード重み格納部
２１０ 画像キーワード抽出部
２２０ 重み算出部
２３０ 画像キーワード重み格納部
２４０ 組み合わせ重み格納部
２５０ 画像重み決定部
２５２ 頻度算出部
２５４ 頻度重み決定部
２５６ 位置重み決定部
２５８ 大きさ重み決定部
２７０ オブジェクト抽出部
２７２ オブジェクト名付与部
２８０ トリミング部
３００、３１０、３２０、３３０、３４０ 画像
８００ 行動範囲
８１０、８２０ 位置
９００ 行動範囲
９１０、９２０ 位置
１５０５ ＣＰＵ
１５１０ ＲＯＭ
１５２０ ＲＡＭ
１５３０ 通信インターフェイス
１５４０ ハードディスクドライブ
１５５０ フレキシブルディスク・ドライブ
１５６０ ＣＤ−ＲＯＭドライブ
１５７０ 入出力チップ
１５７５ グラフィック・コントローラ
１５８０ 表示装置
１５８２ ホスト・コントローラ
１５８４ 入出力コントローラ
１５９０ フレキシブルディスク
１５９５ ＣＤ−ＲＯＭ
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、および画像処理プログラムに関する。特に、本発明は、入力された文章と共に画像を出力する画像処理装置、画像処理方法、および画像処理プログラムに関する。
【背景技術】
【０００２】
文書の文字列に適合した画像を容易に選択することを目的とした文書作成装置が提案されている（例えば、特許文献１参照。）。特許文献１に記載の発明では、画像を挿入した文章を作成する場合に、まず、使用者が入力した文字列の属性を決定する。そして、予め文字列の属性に対応付けられた画像の中から、使用者が入力した文字列の属性と一致する複数の画像を抽出する。続いて、抽出した複数の画像を一覧表示してユーザにユーザが使用を所望する画像を選択させる。
【特許文献１】特開２０００−１７２６８８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
特許文献１に記載の発明においては、文章に含まれる文字列の属性に対応付けられた画像を抽出する。しかしながら、特許文献１に記載の発明では、ユーザ自身が訪問した場所の画像を抽出することを所望した場合には、ユーザ自身が、訪問した時期および場所を正確に特定できる文章を入力しなければならないので、ユーザが入力する文章の自由度が制限され、ユーザが真に表現を欲する文章が記載できない場合がある。
【０００４】
そこで本発明は、上記課題を解決することができる画像処理装置、画像処理方法、および画像処理プログラムを提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。
【課題を解決するための手段】
【０００５】
上記課題を解決するために、本発明の第１の形態においては、画像処理装置であって、ユーザの行動履歴を格納する行動履歴格納部と、行動履歴格納部が格納しているユーザの行動履歴の時刻に対応づけて、当該時刻におけるユーザの場所を示すキーワードを格納する場所キーワード格納部と、画像内のオブジェクト又は背景の場所を示すキーワードに対応づけて、画像を格納する画像格納部と、入力された文章から時間を示すキーワードを抽出する時間キーワード抽出部と、時間キーワード抽出部が抽出したキーワードが示す時間における、ユーザの場所を示すキーワードを場所キーワード格納部から抽出する行動キーワード抽出部と、行動キーワード抽出部が抽出したキーワードに対応づけて画像格納部が格納している画像を抽出する画像抽出部と、画像抽出部が抽出した画像を、入力された文章とともに出力する画像出力部とを備える。
【０００６】
また、画像格納部が格納している画像の付帯情報に基づいて画像内のオブジェクト又は背景の場所を示すキーワードを生成するキーワード生成部と、キーワード生成部が生成したキーワードを、画像に対応づけて画像格納部に格納させるキーワード付与部とをさらに備えてもよい。また、時刻に対応づけて当該時刻にユーザが所在した位置を格納する行動履歴格納部が格納しているユーザが所在した位置を含む領域ごとに、当該領域にユーザが訪問した回数を算出する訪問回数算出部と、訪問回数算出部が算出した訪問回数がより多い領域に、より大きい重み付けする訪問位置重み付け部とをさらに備え、行動キーワード抽出部は、時間キーワード抽出部が抽出したキーワードが示す時間に対応づけて場所キーワード格納部が格納しているユーザの場所を示すキーワードのうち、訪問位置重み付け部が重み付けした重みが最も大きい領域に含まれる場所を示すキーワードを、場所キーワード格納部から抽出してもよい。
【０００７】
更に、行動履歴格納部が格納しているユーザの行動履歴から、ユーザが所在した位置を含む領域ごとの滞在時間を算出する滞在時間算出部をさらに備え、行動キーワード抽出部は、時間キーワード抽出部が抽出した時間を示すキーワードに対応づけて場所キーワード格納部が格納しているユーザの場所を示すキーワードのうち、滞在時間算出部が算出した滞在時間が最も長い領域に含まれる場所を示すキーワードを、場所キーワード格納部から抽出してもよい。そして、時間キーワード抽出部が抽出したキーワードが示す時間を含む所定の時間間隔におけるユーザの行動範囲を求める行動範囲算出部をさらに備え、行動キーワード抽出部は、行動範囲算出部が算出したユーザの行動範囲がより広いほど、場所キーワード格納部からより広い場所を示すキーワードを抽出してもよい。
【０００８】
また、入力された文章から場所を示すキーワードを抽出する場所キーワード抽出部と、行動履歴格納部が格納しているユーザの行動履歴の時刻に対応づけて、当該時刻を含む時間を示すキーワードを格納する時間キーワード格納部とを更に備え、画像格納部は、時間を示すキーワードに更に対応づけて画像を格納し、行動キーワード抽出部は、場所キーワード抽出部が抽出した場所を示すキーワードに対応づけられて場所キーワード格納部が格納している時刻に対応づけて時間キーワード格納部が格納している時間を示すキーワードを更に抽出し、画像抽出部は、行動キーワード抽出部が抽出した時間を示すキーワード、および場所キーワード抽出部が抽出した場所を示すキーワードに対応づけて画像格納部が格納している画像を抽出してもよい。そして、画像格納部が格納している画像の付帯情報に基づいて画像の時間を示すキーワードを生成するキーワード生成部と、キーワード生成部が生成したキーワードを、画像に対応づけて画像格納部に格納させるキーワード付与部とをさらに備えてもよい。
【０００９】
また、本発明の第２の形態においては、画像処理方法であって、ユーザの行動履歴を行動履歴格納部に格納する行動履歴格納段階と、行動履歴格納部が格納しているユーザの行動履歴の時刻に対応づけて、当該時刻におけるユーザの場所を示すキーワードを場所キーワード格納部に格納する場所キーワード格納段階と、画像内のオブジェクト又は背景の場所を示すキーワードに対応づけて、画像を画像格納部に格納する画像格納段階と、入力された文章から時間を示すキーワードを抽出する時間キーワード抽出段階と、時間キーワード抽出段階が抽出したキーワードが示す時間における、ユーザの場所を示すキーワードを場所キーワード格納部から抽出する行動キーワード抽出段階と、行動キーワード抽出段階が抽出したキーワードに対応づけて画像格納部が格納している画像を抽出する画像抽出段階と、画像抽出段階が抽出した画像を、入力された文章とともに出力する画像出力段階とを備える。
【００１０】
また、本発明の第３の形態においては、入力された文章と共に画像を出力する画像処理装置用の画像処理プログラムであって、画像処理装置を、ユーザの行動履歴を格納する行動履歴格納部と、行動履歴格納部が格納しているユーザの行動履歴の時刻に対応づけて、当該時刻におけるユーザの場所を示すキーワードを格納する場所キーワード格納部と、画像内のオブジェクト又は背景の場所を示すキーワードに対応づけて、画像を格納する画像格納部と、入力された文章から時間を示すキーワードを抽出する時間キーワード抽出部と、時間キーワード抽出部が抽出したキーワードが示す時間における、ユーザの場所を示すキーワードを場所キーワード格納部から抽出する行動キーワード抽出部と、行動キーワード抽出部が抽出したキーワードに対応づけて画像格納部が格納している画像を抽出する画像抽出部と、画像抽出部が抽出した画像を、入力された文章とともに出力する画像出力部として機能させる。
【００１１】
また、本発明の第４の形態においては、画像処理装置であって、ユーザの行動履歴を格納する行動履歴格納部と、行動履歴格納部が格納しているユーザの行動履歴の時刻に対応づけて、当該時刻におけるユーザの場所を示すキーワードを格納する場所キーワード格納部と、行動履歴格納部が格納しているユーザの行動履歴の時刻に対応づけて、当該時刻を含む時間を示すキーワードを格納する時間キーワード格納部と、場所を示すキーワードおよび時間を示すキーワードに対応づけて、画像を格納する画像格納部と、入力された文章から場所を示すキーワードを抽出する場所キーワード抽出部と、場所キーワード抽出部が抽出した場所を示すキーワードに対応づけられて場所キーワード格納部が格納している時刻に対応づけて時間キーワード格納部が格納している時間を示すキーワードを抽出する行動キーワード抽出部と、行動キーワード抽出部が抽出した時間を示すキーワードおよび場所キーワード抽出部が抽出した場所を示すキーワードに対応づけて画像格納部が格納している画像を抽出する画像抽出部と、画像抽出部が抽出した画像を、入力された文章とともに出力する画像出力部とを備える。
【００１２】
また、本発明の第５の形態においては、画像処理方法であって、ユーザの行動履歴を行動履歴格納部に格納する行動履歴格納段階と、行動履歴格納部が格納しているユーザの行動履歴の時刻に対応づけて、当該時刻におけるユーザの場所を示すキーワードを場所キーワード格納部に格納する場所キーワード格納段階と、行動履歴格納部が格納しているユーザの行動履歴の時刻に対応づけて、当該時刻を含む時間を示すキーワードを時間キーワード格納部に格納する時間キーワード格納段階と、場所を示すキーワードおよび時間を示すキーワードに対応づけて、画像を画像格納部に格納する画像格納段階と、入力された文章から場所を示すキーワードを抽出する場所キーワード抽出段階と、場所キーワード抽出段階が抽出した場所を示すキーワードに対応づけられて場所キーワード格納部が格納している時刻に対応づけて時間キーワード格納部が格納している時間を示すキーワードを抽出する行動キーワード抽出段階と、行動キーワード抽出段階が抽出した時間を示すキーワードおよび場所キーワード抽出段階が抽出した場所を示すキーワードに対応づけて画像格納部が格納している画像を抽出する画像抽出段階と、画像抽出段階が抽出した画像を、入力された文章とともに出力する画像出力段階とを備える。
【００１３】
また、本発明の第６の形態においては、入力された文章と共に画像を出力する画像処理装置用の画像処理プログラムであって、画像処理装置を、ユーザの行動履歴を格納する行動履歴格納部と、行動履歴格納部が格納しているユーザの行動履歴の時刻に対応づけて、当該時刻におけるユーザの場所を示すキーワードを格納する場所キーワード格納部と、行動履歴格納部が格納しているユーザの行動履歴の時刻に対応づけて、当該時刻を含む時間を示すキーワードを格納する時間キーワード格納部と、場所を示すキーワードおよび時間を示すキーワードに対応づけて、画像を格納する画像格納部と、入力された文章から場所を示すキーワードを抽出する場所キーワード抽出部と、場所キーワード抽出部が抽出した場所を示すキーワードに対応づけられて場所キーワード格納部が格納している時刻に対応づけて時間キーワード格納部が格納している時間を示すキーワードを抽出する行動キーワード抽出部と、行動キーワード抽出部が抽出した時間を示すキーワードおよび場所キーワード抽出部が抽出した場所を示すキーワードに対応づけて画像格納部が格納している画像を抽出する画像抽出部と、画像抽出部が抽出した画像を、入力された文章とともに出力する画像出力部として機能させる。
【００１４】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【発明の効果】
【００１５】
本発明は、ユーザの行動履歴を予め格納する。そして、ユーザが入力した文章から時間を示すキーワードを抽出して、抽出した時間を示すキーワードに対応する時間においてユーザが所在した場所の画像を自動的に抽出して出力することができる。これにより、ユーザが文章を入力するだけで、ユーザ自身が訪問等した時期における、ユーザが訪問した場所の適切な画像を的確に抽出して、文章とともに出力することができる。
【発明を実施するための最良の形態】
【００１６】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００１７】
図１は、本発明の一実施形態に係る画像処理装置１０の機能構成の一例を示す。画像処理装置１０は、文章入力部１００、画像入力部１０２、行動履歴格納部１１０、訪問回数算出部１１２、訪問位置重み付け部１１４、滞在時間算出部１１６、行動範囲算出部１１８、時間キーワード抽出部１２０、場所キーワード抽出部１２２、場所キーワード格納部１３０、時間キーワード格納部１３２、行動キーワード抽出部１４０、画像抽出部１５０、画像格納部１６０、キーワード生成部１７０、キーワード付与部１７２、および画像出力部１８０を備える。本実施形態に係る画像処理装置１０は、ユーザの行動履歴を予め格納する。そして、ユーザが入力した文章から時間を示すキーワードを抽出して、抽出した時間においてユーザが所在した場所の画像を自動的に抽出して出力することにより、ユーザが文章を入力するだけで、ユーザ自身が訪問等した時期における、ユーザが訪問等した場所の適切な画像を的確に抽出して、文章とともに出力することを目的とする。
【００１８】
文章入力部１００は、画像処理装置１０に文章を入力する。文章入力部１００は、入力した文章を時間キーワード抽出部１２０、場所キーワード抽出部１２２、および画像出力部１８０に供給する。画像入力部１０２は、画像処理装置１０に画像を入力する。画像入力部１０２は、入力した画像を画像格納部１６０に供給する。行動履歴格納部１１０は、ユーザの行動履歴を格納する。行動履歴格納部１１０は、ユーザの行動履歴として、時刻に対応づけて当該時刻にユーザが所在した位置を格納してよい。また、行動履歴格納部１１０は、ユーザを一意に識別できる識別子に対応づけて、ユーザごとの行動履歴を格納してもよい。行動履歴格納部１１０は、訪問回数算出部１１２の制御に基づいて、訪問回数算出部１１２に時刻および当該時刻に対応付けて行動履歴格納部１１０が格納している位置の情報を供給する。また、行動履歴格納部１１０は、時刻および当該時刻に対応付けた行動履歴格納部１１０が格納している位置の情報を、場所キーワード格納部１３０に供給する。更に、行動履歴格納部１１０は、ユーザの行動履歴の時刻を時間キーワード格納部１３２に供給する。
【００１９】
場所キーワード格納部１３０は、行動履歴格納部１１０が格納しているユーザの行動履歴の時刻に対応づけて、当該時刻におけるユーザの場所を示すキーワードを格納する。場所キーワード格納部１３０は、ユーザを一意に識別できる識別子を更に対応づけて、ユーザごとの場所を示すキーワードを格納してもよい。また、場所キーワード格納部１３０は、ユーザの行動履歴の時刻に対応づけて、当該時刻においてユーザが所在した場所を示すキーワードとして、当該場所を含む複数の場所を示すキーワードを格納してもよい。例えば、ユーザが所在した場所を含む国名、地域名、都市名、名勝地名、ランドマーク名、およびユーザが訪問した店名等の場所を示す複数のキーワードを格納してよい。場所キーワード格納部１３０は、行動キーワード抽出部１４０の制御に基づいて、ユーザの場所を示すキーワードを行動キーワード抽出部１４０に供給する。
【００２０】
時間キーワード格納部１３２は、行動履歴格納部１１０から受け取ったユーザの行動履歴の時刻に対応づけて、当該時刻を含む時間を示すキーワードを格納する。時間キーワード格納部１３２は、行動キーワード抽出部１４０の制御に基づいて、時間を示すキーワードを行動キーワード抽出部１４０に供給する。また、時間キーワード抽出部１２０は、画像抽出部１５０の制御に基づいて、時間を示すキーワードを画像抽出部１５０に供給してもよい。画像格納部１６０は、画像内のオブジェクト又は背景の場所を示すキーワードに対応づけて、画像入力部１０２から受け取った画像を格納する。また、画像格納部１６０は、時間を示すキーワードに更に対応づけて画像を格納してよい。画像格納部１６０は、キーワード生成部１７０の制御に基づいて画像をキーワード生成部１７０に供給する。また、画像格納部１６０は、画像抽出部１５０の制御に基づいて、画像を画像抽出部１５０に供給する。
【００２１】
キーワード生成部１７０は、画像格納部１６０が格納している画像の付帯情報に基づいて、画像内のオブジェクトまたは背景の場所を示すキーワードを生成する。なお、付帯情報は、例えば、画像が撮像画像の場合には、当該画像の撮像日時、撮像場所、撮像モード（接写モード、ポートレートモード、および夜景モード等）、および撮像条件（明度、彩度、および合焦距離等）等であってよい。また、撮像場所は、画像が撮像された位置の緯度経度を示す情報であってよい。また、付帯情報は、画像がユーザが作成した画像の場合には、当該画像に対応づけてユーザが付帯したファイル名、画像の内容を示すキーワード、および作成日時等であってよい。具体的には、キーワード生成部１７０は、画像格納部１６０が格納している画像に付帯されている付帯情報を抽出する。例えば、キーワード生成部１７０は画像に付帯されている画像の位置の情報を抽出する。そして、キーワード生成部１７０は、抽出した位置の情報に基づいて、当該位置を示すキーワードを生成する。なお、位置を示すキーワードは、当該画像に含まれるオブジェクトおよび背景等のが存在する国名、地域名、地方名、地名、都市名、名勝地の地名、ランドマーク名、およびユーザが訪問した店名等であってよい。
【００２２】
また、キーワード生成部１７０は、画像格納部１６０が格納している画像の付帯情報に基づいて、画像の時間を示すキーワードを生成してもよい。具体的には、キーワード生成部１７０は、画像格納部１６０が格納している画像に付帯されている付帯情報を抽出して、抽出した付帯情報に含まれる、時間を示す情報を示すキーワードを生成してよい。例えば、キーワード生成部１７０は、画像にユーザが付帯した画像の内容を示す情報が「春の五稜郭」である場合には、「春」を時間を示すキーワードとして生成してよい。また、キーワード生成部１７０は、画像が撮像画像である場合には、撮像画像に付帯されている撮像日時から、当該日時を含む季節名を時間を示すキーワードとして生成してもよい。キーワード生成部１７０は、生成したキーワードをキーワード付与部１７２に供給する。キーワード付与部１７２は、キーワード生成部１７０から受け取ったキーワードを、画像に対応づけて画像格納部１６０に格納させる。また、キーワード付与部１７２は、ユーザが入力したキーワードを画像に対応づけて画像格納部１６０に格納させてもよい。
【００２３】
訪問回数算出部１１２は、行動履歴格納部１１０が格納している、ユーザが所在した位置を含む領域ごとに、当該領域にユーザが訪問した回数を算出する。具体的には、まず、訪問回数算出部１１２は、所定の領域を設定する。なお、訪問回数算出部１１２が設定する所定の領域は、例えば、地方単位、都市単位、名勝地単位、ランドマーク単位、および店単位等の領域であってよい。そして、訪問回数算出部１１２は、設定した領域にユーザが訪問した回数を、例えば、年単位、月単位、週単位、日単位、および時間単位等の所定の時間間隔を設定して算出する。訪問回数算出部１１２は、算出した領域ごとの訪問回数を訪問位置重み付け部１１４に供給する。訪問位置重み付け部１１４は、訪問回数算出部１１２から受け取った訪問回数がより多い領域に、より大きい重みを対応付ける。そして、訪問位置重み付け部１１４は、領域ごとに重みを対応づけて、行動キーワード抽出部１４０に領域に対応付けた重みを供給する。これにより、訪問位置重み付け部１１４は、ユーザが訪問した回数がより多い領域に、より大きな重みを対応付けることができるので、画像処理装置１０は、ユーザの関心が高い場所を示す画像を容易に検出することができる。
【００２４】
滞在時間算出部１１６は、行動履歴格納部１１０が格納しているユーザの行動履歴から、ユーザが所在した位置を含む領域ごとの、ユーザの滞在時間を算出する。具体的には、滞在時間算出部１１６は、行動履歴格納部１１０が時刻に対応づけて格納しているユーザが所在した位置を検出する。そして、滞在時間算出部１１６は、検出した位置ごとにユーザが滞在した時間を、行動履歴格納部１１０がユーザが所在した位置に対応づけて格納している複数の時刻から算出してよい。なお、滞在時間算出部１１６は、ユーザが所在した位置を、当該位置の緯度経度から算出してよい。また、滞在時間算出部１１６は、ユーザが所在した位置を含む所定の範囲を有する領域をユーザが所在した領域として、当該領域にユーザが所在した時間を滞在時間として算出してよい。ユーザが所在した位置を含む領域は、例えば、国単位、地域単位、都市単位、名勝地単位、ランドマーク単位、および店単位であってよい。滞在時間算出部１１６は、ユーザが所在した位置を含む領域ごとのユーザの滞在時間を行動キーワード抽出部１４０に供給する。時間キーワード抽出部１２０は、文章入力部１００から受け取った文章から時間を示すキーワードを抽出する。時間を示すキーワードは、画像の撮像年月日、時・分、所定の期間（朝、昼、夜、および夏休み等）、季節、過去の概念を表す単語（昨日、先月、去年、および一昨年等）であってよい。時間キーワード抽出部１２０は、文章から抽出した時間を示すキーワードを、行動キーワード抽出部１４０および行動範囲算出部１１８に供給する。場所キーワード抽出部１２２は、文章入力部１００から受け取った文章から、場所を示すキーワードを抽出する。場所キーワード抽出部１２２は、抽出した場所を示すキーワードを行動キーワード抽出部１４０または画像抽出部１５０に供給する。
【００２５】
行動範囲算出部１１８は、時間キーワード抽出部１２０が抽出したキーワードが示す時間を含む所定の時間間隔におけるユーザの行動範囲を求める。行動範囲は、所定の時間間隔においてユーザが訪問した位置を全て包含する範囲であってよい。具体的には、行動範囲算出部１１８は、時間キーワード抽出部１２０から受け取った時間を示すキーワードに対応する時間におけるユーザの所在位置を、行動履歴格納部１１０が当該時間に含まれる時刻ごとに対応づけて格納している位置から抽出する。係る場合において行動範囲算出部１１８は、当該時間間隔に含まれる時刻に対応づけて行動履歴格納部１１０が格納している位置を、複数抽出してよい。そして、行動範囲算出部１１８は、抽出したユーザの複数の位置から、ユーザの当該時間間隔における行動範囲を算出する。なお、行動範囲算出部１１８は、時間キーワード抽出部１２０が抽出したキーワードが示す時間に基づいて、ユーザの行動範囲を、年単位、月単位、日単位、および時間単位等の所定の時間間隔ごとに算出してよい。行動範囲算出部１１８は、算出したユーザの行動範囲を行動キーワード抽出部１４０に供給する。
【００２６】
行動キーワード抽出部１４０は、時間キーワード抽出部１２０から受け取った、時間を示すキーワードに対応する時間においてユーザが所在した場所を示すキーワードを、場所キーワード格納部１３０から抽出する。行動キーワード抽出部１４０は、時間キーワード抽出部１２０が抽出したキーワードが示す時間に対応づけて場所キーワード格納部１３０が格納している、ユーザが所在した場所を示すキーワードを複数抽出してよい。例えば、行動キーワード抽出部１４０は、ユーザが訪問した場所を含む所定の領域内に複数の名勝地等がある場合には、当該複数の名勝地等の地名を示すキーワードを複数抽出してよい。そして、行動キーワード抽出部１４０は、訪問位置重み付け部１１４が重み付けした重みが最大の場所を示すキーワードを、場所キーワード格納部１３０から抽出してよい。これにより、ユーザが多く訪問している場所に対応する場所を示すキーワードを、行動キーワード抽出部１４０は抽出できるので、画像処理装置１０は、ユーザに関心のある場所を容易に把握できる。
【００２７】
また、行動キーワード抽出部１４０は、滞在時間算出部１１６が算出したユーザの滞在時間が最も長い領域に含まれる場所を示すキーワードを、場所キーワード格納部１３０から抽出してもよい。具体的には、行動キーワード抽出部１４０は、滞在時間算出部１１６から受け取った、ユーザが所在した位置を含む複数の領域ごとにおけるユーザの滞在時間を比較して、滞在時間が最も長い領域に含まれる場所を示すキーワードを、場所キーワード格納部１３０から抽出する。例えば、行動キーワード抽出部１４０は、ユーザの滞在時間が最も長い領域に含まれる名勝地およびランドマーク等の名称を、ユーザが所在した場所を示すキーワードとして場所キーワード格納部１３０から抽出してもよい。これにより、ユーザが興味を持って長時間滞在した場所の、当該場所を示すキーワードを行動キーワード抽出部１４０は場所キーワード格納部１３０から抽出することができる。
【００２８】
更に、行動キーワード抽出部１４０は、行動範囲算出部１１８から受け取ったユーザの行動範囲がより広いほど、場所キーワード格納部１３０からより広い場所を示すキーワードを抽出してもよい。例えば、所定の時間間隔におけるユーザの移動範囲が広い場合には、当該ユーザは広範囲にわたって移動したと考えられる。係る場合には、行動キーワード抽出部１４０は、ユーザが移動した範囲を含む領域を示すキーワード、例えば、都市名、名勝地名、およびランドマーク名等の場所を示すキーワードの中から、より広い領域を示すキーワードを、当該範囲を示すキーワードとして抽出してよい。また、行動キーワード抽出部１４０は、場所キーワード抽出部１２２が抽出した場所を示すキーワードに対応づけられて場所キーワード格納部１３０が格納している時刻を抽出する。続いて、行動キーワード抽出部１４０は、抽出した時刻に対応づけて時間キーワード格納部１３２が格納している時間を示すキーワードを抽出してよい。行動キーワード抽出部１４０は、抽出したユーザの場所を示すキーワードおよび時間を示すキーワードを、画像抽出部１５０に供給する。
【００２９】
画像抽出部１５０は、行動キーワード抽出部１４０から受け取ったユーザの場所を示すキーワードに対応づけて画像格納部１６０が格納している画像を抽出する。画像抽出部１５０は、ユーザの場所を示すキーワードに対応づけて画像格納部１６０が格納している複数の画像を抽出してもよい。また、画像抽出部１５０は、行動キーワード抽出部１４０から受け取った時間を示すキーワードおよび場所を示すキーワードに対応づけて画像格納部１６０が格納している画像を抽出してもよい。更に、画像抽出部１５０は、時間キーワード抽出部１２０および場所キーワード抽出部１２２から受け取った時間を示すキーワードおよび場所を示すキーワードに対応づけて画像格納部１６０が格納している画像を抽出してもよい。画像抽出部１５０は、抽出した画像を画像出力部１８０に供給する。画像出力部１８０は、画像抽出部１５０が抽出した画像を、文章入力部１００から受け取った文章と共に出力する。具体的には、画像出力部１８０は、インターネット上のウェブサイトにおいてウェブページのＵＲＬとともに文章等を記録する、ブログ等においてユーザが文章を入力した場合に、ユーザが入力した文章に含まれるキーワードを用いて上記説明で抽出された画像を文章と共に出力する。
【００３０】
本実施形態に係る画像処理装置１０は、ユーザの行動履歴の時刻に対応づけて、当該時刻にユーザが所在した場所を示すキーワードを格納する。更に、画像処理装置１０は、当該場所を示すキーワードに対応づけて画像を格納する。続いて、ユーザが入力した文章から時間を示すキーワードを抽出して、抽出した時間を示すキーワードに対応する時間における、ユーザが所在した場所を示すキーワードを抽出する。そして、抽出した場所を示すキーワードに対応づけられている画像を自動的に抽出して出力することができる。これにより、画像処理装置１０は、抽出した画像をユーザが入力した文章とともに自動的に表示できるので、ユーザは、入力した文章に対して違和感を感じることのない適切な画像が挿入された文章を、ユーザ自身が画像を選択することなく作成することができる。
【００３１】
図２は、本実施形態に係る行動履歴格納部１１０の一例を示す。行動履歴格納部１１０は、ユーザごとに当該ユーザの行動履歴を格納する。具体的には、行動履歴格納部１１０は、ユーザごとに、ユーザを一意に識別できる識別子および時刻に対応づけて、当該ユーザが当該時刻に所在した位置の緯度経度を格納する。なお、行動履歴格納部１１０が格納する時刻は、年月日を含む時刻であってよい。
【００３２】
ユーザの行動履歴は、例えば、ユーザが携帯するＧＰＳ機能付の携帯電話およびＧＰＳ機能付の時計等から、時刻ごとにおける当該ユーザが所在する位置の緯度経度を行動履歴格納部１１０に格納してよい。係る場合においては、ＧＰＳ機能付の携帯電話およびＧＰＳ機能付の時計等がユーザの行動履歴をメモリ等に格納する。そして、ユーザの行動履歴を格納したメモリ等から行動履歴格納部１１０に、ユーザの行動履歴を格納させてよい。また、ユーザが所有する携帯電話が発信する電波を受信した当該携帯電話の基地局の位置を示す緯度経度を、当該基地局が電波を受信した時刻に対応づけて行動履歴格納部１１０に格納してもよい。係る場合においては、ユーザの行動履歴を携帯電話の基地局から、インターネット等のネットワークを介して行動履歴格納部１１０に格納させてよい。なお、ユーザの位置を取得する時間間隔は、ユーザの行動履歴を適切に把握できる時間間隔であってよく、例えば、１時間または２時間等の時間単位、若しくは、１０分または３０分等の分単位等であってよい。
【００３３】
更には、ユーザを一意に識別できる情報を格納したＩＣチップを付帯した、カードおよびキーホルダー等のアクセサリーをユーザが携帯してもよい。そして、ユーザが当該カードおよびキーホルダー等のアクセサリーを、ＩＣチップに格納された情報を読み取る情報読取装置から、当該情報を読み取ることができる所定の範囲内の場所を通過した場合に、ユーザが通過した時刻に対応づけて当該場所の位置を示す緯度経度を、情報読取装置がインターネット等のネットワークを介して行動履歴格納部１１０に格納させてもよい。また、ユーザが商品等の購入等をした場合に、クレジットカード等で決済した場合には、クレジットカード等の決済装置が、決済をした時刻および場所をインターネット等のネットワークを介して行動履歴格納部１１０に格納させてもよい。
【００３４】
図３は、本実施形態に係る場所キーワード格納部１３０の一例を示す。場所キーワード格納部１３０は、行動履歴格納部１１０が格納しているユーザの行動履歴の時刻に対応づけて、当該時刻におけるユーザの場所を示すキーワードを格納する。具体的には、場所キーワード格納部１３０は、行動履歴格納部１１０が格納している緯度経度に対応する場所を示すキーワードを、行動履歴格納部１１０が格納しているユーザの行動履歴の時刻に対応づけて格納する。また、場所キーワード格納部１３０は、所定の時刻に対応づけて、複数の場所を示すキーワードを格納してよい。なお、係る場合において、画像処理装置１０は、行動履歴格納部１１０が格納している緯度経度に、当該緯度経度に対応する場所を示すキーワードを対応付ける、場所キーワード対応付け部を更に備えていてもよい。また、画像処理装置１０は、緯度経度に対応づけて場所を示すキーワードを格納している、場所キーワード対応付け用データベースを更に備えてもよい。
【００３５】
場所キーワード対応付け部は、行動履歴格納部１１０が格納しているユーザの行動履歴の時刻に対応づけて、当該時刻におけるユーザの位置の緯度経度を抽出する。続いて、場所キーワード対応付け部は、当該緯度経度に対応する場所を示すキーワードを場所キーワード対応付け用データベースから抽出してよい。場所キーワード対応付け部は、当該場所を示すキーワードとして、一または二以上のキーワードを抽出してよい。また、場所キーワード対応付け部は、抽出した緯度経度に対応する場所を示すキーワードを、インターネット等のネットワーク上に備えられているデータベースから抽出してもよい。場所を示すキーワードは、例えば、国単位、地方単位、都市単位、名勝地単位、ランドマーク名単位、および店名単位等ごとに規定されたキーワードであってよく、場所キーワード対応付け部は、所定の緯度経度に対応づけて、複数の場所を示すキーワードを対応づけてよい。そして、場所キーワード対応付け部は、行動履歴格納部１１０から抽出した緯度経度に対応する一または二以上の場所を示すキーワードを、ユーザの行動履歴の時刻に対応づけて、場所キーワード格納部１３０に格納させてよい。なお、場所キーワード格納部１３０は、ユーザの行動履歴の時刻に対応づけて、当該時刻におけるユーザが所在した位置を含む領域を示すキーワードとして、当該位置を含む様々な広さの領域を示すキーワードを複数格納してよい。
【００３６】
例えば、ユーザが所定の時刻に「五稜郭」に所在した場合を考える。係る場合において、場所キーワード格納部１３０は、ユーザの行動履歴の所定の時刻に対応づけて、場所を示すキーワードである「五稜郭」、「函館」、「道南」、および「北海道」を格納してよい。また、ユーザが所定の時刻に「函館山」に所在した場合を考える。係る場合において、場所キーワード格納部１３０は、ユーザの行動履歴の所定の時刻に対応づけて、場所を示すキーワードである「函館山」、「函館」、「道南」、および「北海道」を格納してよい。そして、ユーザが所定の時刻に「大沼」に所在した場合を考える。係る場合において、場所キーワード格納部１３０は、ユーザの行動履歴の所定の時刻に対応づけて、場所を示すキーワードである「大沼」、「七飯」、「道南」、および「北海道」を格納してよい。更に、ユーザが所定の時刻に「札幌時計台」に所在した場合を考える。係る場合において、場所キーワード格納部１３０は、ユーザの行動履歴の所定の時刻に対応づけて、場所を示すキーワードである「札幌時計台」、「札幌」、「道央」、および「北海道」を格納してよい。すなわち、場所キーワード格納部１３０は、時刻に対応づけて、ユーザが所在した地点を示す名称、当該地点を包含する領域の名称、および当該領域を包含する領域であって、当該領域よりも広い範囲を示す名称を、場所を示すキーワードとして格納してよい。
【００３７】
図４は、本実施形態に係る画像格納部１６０の一例を示す。画像格納部１６０は、画像内のオブジェクトまたは背景の場所を示すキーワードに対応づけて、画像を格納する。なお、画像格納部１６０は、画像内のオブジェクトまたは背景の場所を示すキーワードに対応づけて、複数の画像を格納してもよい。具体的には、画像格納部１６０は、キーワード付与部１７２から受け取ったキーワードを画像に対応づけて格納する。なお、画像格納部１６０が格納する画像は、ユーザが撮像した画像、画像入力部１０２を介してインターネット等のネットワークから受け取った画像、および画像処理を施した画像等であってよい。例えば、画像格納部１６０は、場所を示すキーワードである「五稜郭」に対応づけて、「五稜郭」が含まれる画像３００を格納する。また、画像格納部１６０は、場所を示すキーワードである「函館」に対応づけて、「函館」の代表的な画像３２０を格納する。更に、画像格納部１６０は、場所を示すキーワードである「北海道」に対応づけて、「北海道」の代表的な画像３４０を格納してよい。
【００３８】
図５は、本実施形態に係る行動キーワード抽出部１４０の処理の一例を示す。行動キーワード抽出部１４０は、行動範囲算出部１１８が算出したユーザの行動範囲がより広いほど、場所キーワード格納部１３０からより広い場所を示すキーワードを抽出する。具体的には、行動キーワード抽出部１４０は、行動範囲算出部１１８が算出したユーザの行動範囲の全てを包含する領域に対応づけて場所キーワード格納部１３０が格納する場所を示すキーワードの中から、最も広い領域に対応する場所を示すキーワードを抽出する。
【００３９】
例えば、所定の時間間隔において、ユーザが位置９１０（例えば、函館駅）から位置９２０（例えば釧路駅）に移動した場合と、ユーザが前記所定の時間間隔と同一の時間間隔において、位置８１０（例えば、五稜郭）から位置８２０（例えば、函館山）まで移動した場合とを考える。係る場合において、行動範囲算出部１１８は、ユーザが位置９１０から位置９２０まで移動した場合には、位置９１０、位置９２０、及び位置９１０から位置９２０までユーザが移動した場合にユーザが訪問した各地点を含む領域を、ユーザの行動範囲９００として算出してよい。同様に、行動範囲算出部１１８は、ユーザが位置８１０から位置８２０まで移動した場合には、位置８１０および位置８２０を含む領域を、ユーザの行動範囲８００として算出してよい。
【００４０】
係る場合において、行動キーワード抽出部１４０は、時間キーワード抽出部１２０が抽出したキーワードに対応する時間においてユーザが所在した場所を示すキーワードとして、ユーザが行動した領域が行動範囲８００と比較してより広い行動範囲９００に対して、より広い場所を示すキーワードを抽出する。例えば、行動キーワード抽出部１４０は、ユーザの行動範囲が行動範囲８００よりも広い行動範囲９００である場合には、「函館」等の都市を包含する地方名である「北海道」を、ユーザの場所を示すキーワードとして抽出してよい。一方、行動キーワード抽出部１４０は、ユーザの行動範囲が行動範囲９００よりも狭い行動範囲８００である場合には、所定の領域を示す地方名である「北海道」等の領域の一部に含まれる都市名の「函館」を、ユーザの場所を示すキーワードとして抽出してよい。そして、行動キーワード抽出部１４０は抽出したユーザの位置を示すキーワードを画像抽出部１５０に供給する。画像抽出部１５０は、行動キーワード抽出部１４０から受け取ったキーワードに対応づけて画像格納部１６０が格納する画像を抽出して、画像出力部１８０に出力させる。
【００４１】
本実施形態に係る画像処理装置１０によれば、ユーザの行動範囲の広狭に基づいて、当該行動範囲に対応する領域を示すキーワードを適切に抽出できる。これにより、ユーザの場所を示すキーワードとして、ユーザの行動範囲に適した場所を示すキーワードを適切に抽出して、抽出したキーワードに対応する画像を自動的に出力できるので、ユーザは文章を入力するだけで、ユーザ自身が画像の選択をせずに、ユーザが想起しているイメージに適切な画像を文章とともに出力することができる。例えば、ユーザが所定の時間間隔において北海道内を旅行した場合には、ユーザが前記所定の時間間隔と同一の時間間隔で函館を観光した場合に比べて、ユーザの行動範囲が広いので、画像処理装置１０は、函館よりも北海道のイメージを的確に表す画像を自動的に抽出できる。
【００４２】
図６は、本実施形態に係る時間キーワード格納部１３２のデータ構造の一例を示す。時間キーワード格納部１３２は、行動履歴格納部１１０が格納しているユーザの行動履歴の時刻に対応づけて、当該時刻を含む時間を示すキーワードを格納する。なお、時刻とは、年月日を含む時刻であってよい。具体的には、時間キーワード格納部１３２は、行動履歴格納部１１０から受け取った時刻を含む時間を示すキーワードを格納する。例えば、時間キーワード格納部１３２は、行動履歴格納部１１０から受け取った時刻を含む季節名（春夏秋冬等）、当該時刻を含む所定の時間間隔を示す名（朝、昼、夕方、および晩等） 、および当該時刻を含む月等を、時間を示すキーワードとして格納してよい。また、時間キーワード格納部１３２は、ユーザごとに当該ユーザを一意に識別できる識別子および時刻に対応づけて、時間を示すキーワードを格納してもよい。
【００４３】
図７は、本実施形態に係る画像格納部１６０のデータ構造の一例を示す。画像格納部１６０は、場所を示すキーワードおよび時間を示すキーワードに更に対応づけて、画像データを格納する。また、画像格納部１６０は、画像データに対応づけて更に複数の時間を示すキーワードを格納してもよい。更に、画像格納部１６０は、同一の場所を示すキーワードに対応づけて、複数の画像および複数の時間を示すキーワードを格納してもよい。例えば、画像格納部１６０は、画像３００が「五稜郭」を含む画像である場合には、画像３００に対応づけて、キーワード付与部１７２により付与された時間を示すキーワード、「○○○○年」、「春」、「４月」、および「朝」等を格納する。
【００４４】
図８は、本実施形態に係る画像処理装置１０の機能構成の一例を示す。画像処理装置１０は、画像選択部１５２、文章格納部２００、文章キーワード頻度算出部２０２、表現態様重み格納部２０４、文章キーワード重み決定部２０６、文章キーワード重み格納部２０８、画像キーワード抽出部２１０、重み算出部２２０、画像キーワード重み格納部２３０、組み合わせ重み格納部２４０、画像重み決定部２５０、頻度算出部２５２、頻度重み決定部２５４、位置重み決定部２５６、大きさ重み決定部２５８、オブジェクト抽出部２７０、オブジェクト名付与部２７２、およびトリミング部２８０を更に備えてよい。
【００４５】
画像格納部１６０は、画像の内容を示すキーワードに更に対応づけて画像を格納する。画像格納部１６０は格納している画像を、画像抽出部１５０、キーワード生成部１７０、オブジェクト抽出部２７０、および画像重み決定部２５０供給する。また、画像格納部１６０は格納しているキーワードを、画像キーワード重み格納部２３０および組み合わせ重み格納部２４０に供給する。キーワード生成部１７０は、画像格納部１６０に格納されている画像の付帯情報に基づいて画像の内容を示すキーワードを生成する。具体的には、キーワード生成部１７０は、画像格納部１６０が格納している画像に付帯されている付帯情報を抽出する。例えば、夜景モードで撮像された画像に対しては、キーワード生成部１７０は当該画像に対して「夜」をキーワードとして生成する。また、キーワード生成部１７０は、画像の撮像日時から画像が撮像された年、または月、若しくは日をキーワードとして生成してよい。また、キーワード生成部１７０は、画像の撮像日時から、当該画像が撮像された季節をキーワードとして生成してもよい。例えば、キーワード生成部１７０は、３月から４月に撮像された画像には「春」を、６月から８月に撮像された画像には「夏」を、９月から１１月に撮像された画像には「秋」を、そして１２月から２月に撮像された画像には「冬」をそれぞれキーワードとして生成してよい。
【００４６】
また、キーワード生成部１７０は、撮像時刻に基づいて「朝」、「昼」、「夕方」、および「夜」等のキーワードを生成してもよい。更に、キーワード生成部１７０は、撮像場所に基づいて、画像に対して当該画像が撮像された地域名、地名、および都市名等をキーワードとして生成してもよい。そして、キーワード生成部１７０は、撮像条件に基づいて、例えば、明度が高い場合には「明るい」等を、彩度が高い場合には「鮮やか」又は「派手」等をキーワードとして生成してもよい。更に、キーワード生成部１７０は、ユーザが作成した画像に付帯された付帯情報に基づいて、画像の内容を示すキーワードを生成してもよい。具体的には、キーワード生成部１７０は、ユーザが作成した画像に付帯された画像に含まれるオブジェクト名、画像の背景名、および画像の内容が示す時期等を抽出して、画像の内容を示すキーワードを生成してよい。例えば、キーワード生成部１７０は、ユーザが作成した画像に付帯された付帯情報が「夏の山」である場合には、画像の内容を示すキーワードとして「夏」、「７月」、および「山」等を生成してよい。また、キーワード生成部１７０は、ユーザが作成した画像に付帯された付帯情報が「紅葉」である場合には、「紅葉」、「秋」、および「１０月」等を画像の内容を示すキーワードとして生成してよい。キーワード生成部１７０は、生成したキーワードをキーワード付与部１７２に供給する。キーワード付与部１７２は、キーワード生成部１７０が生成したキーワードを、画像に対応づけて画像格納部１６０に格納する。キーワード付与部１７２は、画像に複数のキーワードを対応づけて、画像格納部１６０に複数のキーワードを画像に対応づけて格納してもよい。
【００４７】
オブジェクト抽出部２７０は、画像格納部１６０が格納している画像に含まれるオブジェクトを抽出する。例えば、オブジェクト抽出部２７０は、エッジ検出等の画像処理を用いてオブジェクトを抽出する。また、オブジェクト抽出部２７０は、画像の空間周波数成分が予め定められた周波数よりも大きい領域と、当該領域を除く領域とに分けてオブジェクトおよび背景を抽出してもよい。オブジェクト抽出部２７０は、抽出したオブジェクトをオブジェクト名付与部２７２に供給する。オブジェクト名付与部２７２は、オブジェクト抽出部２７０が抽出したオブジェクトのオブジェクト名を、画像の内容を示すキーワードとして画像に対応付ける。そして、オブジェクト名付与部２７２は、画像に対応付けたキーワードを画像格納部１６０に格納させる。
【００４８】
例えば、オブジェクト名付与部２７２は、テンプレート画像に対応づけてオブジェクト名を格納するオブジェクトテンプレートデータベースを有していてもよい。オブジェクト名付与部２７２は、オブジェクト抽出部２７０から受け取ったオブジェクトとオブジェクトテンプレートデータベースが格納するテンプレート画像とをマッチングして、マッチしたテンプレート画像に対応づけてオブジェクトテンプレートデータベースが格納しているオブジェクト名を、画像の内容を示すキーワードとして画像に対応付けてよい。例えば、画像に含まれるオブジェクトが猫であることがテンプレート画像とのマッチングにより判明した場合には、オブジェクト名付与部２７２は、「猫」を画像の内容を示すキーワードとして画像に対応付けてよい。また、オブジェクト名付与部２７２は、ユーザが入力したキーワードを、画像に対応づけて画像格納部１６０に格納してもよい。
【００４９】
文章格納部２００は、複数の文章を予め格納している。具体的には、ユーザが過去に作成した複数の文章を格納する。文章格納部２００は、文章を文章キーワード頻度算出部２０２および表現態様重み格納部２０４に供給する。文章キーワード頻度算出部２０２は、文章格納部２００から受け取った複数の文章に含まれるキーワードごとに、当該キーワードの数を算出する。例えば、文章キーワード頻度算出部２０２は、キーワードが「Ａ」である場合には、複数の文章に含まれる「Ａ」というキーワードの数を算出する。文章キーワード頻度算出部２０２は、算出したキーワードごとのキーワードの数を、文章キーワード重み決定部２０６に供給する。なお、文章キーワード頻度算出部２０２が算出する場合のキーワードは、形態素解析等の自然言語処理を用いてキーワードを抽出して、抽出したキーワードごとにキーワードが文章中に出現する回数を算出してよい。
【００５０】
表現態様重み格納部２０４は、文字の書体又は文字のサイズに対応づけて、文字の書体の重み又は文字サイズの重みを格納する。具体的には、表現態様重み格納部２０４は、明朝体、ゴシック体、および行書体等の書体ごとに対応付けられた重みを格納する。また、表現態様重み格納部２０４は、文字のサイズ、斜体であるか否か、および太字であるか否か等の文字の表現態様ごとに対応付けられた重みを格納する。ユーザが文字に対して文字の書体又はサイズ等を変更している場合には、ユーザは、当該文字を他の文字と比較してより強調して表示したいと考えている場合が多い。したがって、例えば、表現態様重み格納部２０４は、文字のサイズが大きい場合には、文字のサイズがより小さい文字のサイズよりも、大きな重みを格納してよい。表現態様重み格納部２０４は、所定のキーワードの書体又はサイズに対応づけて格納している重みを、文章キーワード重み決定部２０６に供給する。
【００５１】
文章キーワード重み決定部２０６は、文章キーワード頻度算出部２０２から受け取ったキーワードごとに、キーワードの数がより多いキーワードにより大きい重みを対応づける。また、文章キーワード重み決定部２０６は、文章格納部２００が格納している文章に含まれる所定のキーワードの書体又は文字サイズに対応づけて表現態様重み格納部２０４が格納している重みがより大きい場合に、より大きい重みを所定のキーワードに対応付ける。例えば、文章キーワード重み決定部２０６は、文章キーワード頻度算出部２０２が算出したキーワードの重みと、当該キーワードの書体およびサイズに対応づけて表現態様重み格納部２０４が格納している重みとを加算して、当該キーワードの重みを算出してもよい。また、文章キーワード重み決定部２０６は、キーワードの重みに、当該キーワードの書体等に対応づけて表現態様重み格納部２０４が格納している重みを係数として乗じて、当該キーワードの重みを算出してもよい。文章キーワード重み決定部２０６は、キーワードに対応づけて決定した重みを文章キーワード重み格納部２０８に供給する。文章キーワード重み格納部２０８は、文章格納部２００が格納している文章に含まれるキーワードに対応づけてキーワードの重みを格納する。具体的には、文章キーワード重み格納部２０８は、文章キーワード重み決定部２０６が決定したキーワードごとの重みを受け取って格納する。文章キーワード重み格納部２０８は、画像選択部１５２にキーワードに対応づけて格納している重みを供給する。
【００５２】
これにより、文章キーワード重み決定部２０６は、ユーザが入力することが多いキーワードに、ユーザが入力することが少ないキーワードに比べてより大きな重みを対応付けることができるので、本実施形態に係る画像処理装置１０は、文章に含まれるキーワードに対応付けられた重みを参照することで、ユーザの関心が高く、ユーザが想起することの多いキーワードを的確に把握できる。また、文章キーワード重み決定部２０６は、ユーザが所定のキーワードに設定した文字の書体又はサイズ等に基づいて、所定のキーワードに重み付けできるので、ユーザが文章を入力している時の関心に応じて、適切な重みを文章に含まれるキーワードに対応付けることもできる。
【００５３】
画像キーワード重み格納部２３０は、画像格納部１６０が格納しているキーワードに対応づけて、キーワードの重みを格納する。また、画像キーワード重み格納部２３０は、画像重み決定部２５０の制御に基づいて、キーワードの重みを格納してもよい。画像キーワード重み格納部２３０は、キーワードの重みを重み算出部２２０に供給する。組み合わせ重み格納部２４０は、画像の内容を示す複数のキーワードの組み合わせに対応づけて、複数のキーワードの組み合わせの重みを格納する。組み合わせ重み格納部２４０は、複数のキーワードの組み合わせの重みを重み算出部２２０に供給する。画像重み決定部２５０は、画像格納部１６０から受け取った複数の画像に対応付けられたキーワードのそれぞれについて重みを算出して、算出した重みを画像のキーワードに対応づけて画像キーワード重み格納部２３０に格納させる。具体的には、画像重み決定部２５０は、頻度算出部２５２、頻度重み決定部２５４、位置重み決定部２５６、および大きさ重み決定部２５８を有する。
【００５４】
頻度算出部２５２は、画像格納部１６０が格納している複数の画像において、画像の内容を示すキーワードであるオブジェクト名のオブジェクトごとに、当該オブジェクトが含まれる画像の数を算出する。また、頻度算出部２５２は、画像格納部１６０が格納している複数の画像のそれぞれに対応づけられているキーワードについて、画像格納部１６０が格納している複数の画像に対応づけられている当該キーワードの数を、キーワードごとに算出してもよい。頻度算出部２５２は、算出したオブジェクトごとの当該オブジェクトが含まれる画像の数、および画像に対応づけられているキーワードごとの当該キーワードが複数の画像に含まれる数を、頻度重み決定部２５４に供給する。頻度重み決定部２５４は、頻度算出部２５２がオブジェクトごとに算出した画像の数がより多いオブジェクト名であるキーワードに対応づけて、より大きい重みを画像キーワード重み格納部２３０に格納させる。また、頻度重み決定部２５４は、頻度算出部２５２がキーワードごとに算出した当該キーワードが複数の画像に含まれる数がより多いキーワードに対応づけて、より大きい重みを画像キーワード重み格納部２３０に格納させてもよい。
【００５５】
これにより、ユーザが所定のオブジェクトを含む画像をより多く所有している場合に、頻度重み決定部２５４は、当該オブジェクトを含む画像に対してより大きな重みをつけることができるので、ユーザの関心が高いオブジェクトを含む画像に、ユーザの関心が低いオブジェクトを含む画像よりもより大きな重みをつけることができる。
【００５６】
位置重み決定部２５６は、画像格納部１６０が格納している画像の中心位置からより近いオブジェクトのオブジェクト名であるキーワードに対応づけて、より大きい重みを画像キーワード重み格納部２３０に格納させる。例えば、位置重み決定部２５６は、画像に含まれるオブジェクトが画像に対して占める位置を算出する。続いて、位置重み決定部２５６は、画像の中心位置からオブジェクトへの距離を算出する。そして、位置重み決定部２５６は、画像の中心位置からオブジェクトへの距離に対応づけて、距離がより近い場合により大きな重みを当該オブジェクトのオブジェクト名であるキーワードに対応づける。ここで、ユーザが画像を撮像もしくは作成する場合には、画像の中心位置に近い領域にユーザが撮像を所望するオブジェクト若しくは画像の作成を所望するオブジェクトが含まれる場合が多い。したがって、本実施形態に係る画像処理装置１０は、位置重み決定部２５６を備えるので、ユーザの関心が高いオブジェクトを含む画像に対して、ユーザの関心が低いオブジェクトを含む画像よりも、より大きな重みを重み付けることができる。
【００５７】
大きさ重み決定部２５８は、画像格納部１６０が格納している画像に対する大きさがより大きいオブジェクトのオブジェクト名であるキーワードに対応づけて、より大きい重みを画像キーワード重み格納部２３０に格納させる。例えば、大きさ重み決定部２５８は、画像の領域の面積と画像に含まれるオブジェクトの面積とを算出する。続いて、大きさ重み決定部２５８は、オブジェクトの面積が画像に占める割合を算出する。そして、大きさ重み決定部２５８は、オブジェクトの面積が画像に占める割合に対応づけて、当該割合がより大きい場合により大きな重みを当該オブジェクトのオブジェクト名であるキーワードに対応付けてよい。
【００５８】
画像キーワード抽出部２１０は、ユーザが新たに入力した文章から画像格納部１６０が格納しているキーワードを抽出する。具体的には、画像キーワード抽出部２１０は、文章入力部１００から受け取った文章を自然言語処理等の処理方法を用いて、文章から画像格納部１６０が格納しているキーワードを抽出する。画像キーワード抽出部２１０が抽出するキーワードは、時間を示すキーワードおよび位置を示すキーワードであってよい。画像キーワード抽出部２１０は、抽出したキーワードを画像抽出部１５０に供給する。画像抽出部１５０は、画像キーワード抽出部２１０が抽出した少なくとも一つのキーワードに対応づけて画像格納部１６０が格納している画像を抽出する。具体的には、画像抽出部１５０は、入力された文章に含まれるキーワードの少なくとも一つと同一のキーワードが対応づけられている画像を、画像格納部１６０から抽出する。画像抽出部１５０は抽出した画像を画像選択部１５２に供給する。また、画像抽出部１５０は、抽出した画像に対応づけて画像格納部１６０が格納しているキーワードを重み算出部２２０に供給する。
【００５９】
重み算出部２２０は、画像抽出部１５０から受け取った画像に対応づけて画像格納部１６０が格納しているキーワードであって、画像キーワード抽出部２１０が抽出したキーワードと同一のキーワードに対応づけて画像キーワード重み格納部２３０が格納しているキーワードの重みを抽出する。そして、重み算出部２２０は、抽出したキーワードの重みを、画像ごとに合計して合計値を算出する。また、重み算出部２２０は、画像抽出部１５０から受け取った画像に対応づけて画像格納部１６０が格納している複数のキーワードであって、画像キーワード抽出部２１０が抽出したキーワードと同一のキーワードに対応づけて組み合わせ重み格納部２４０が格納している複数のキーワードの組み合わせの重みを抽出する。そして、重み算出部２２０は、抽出した複数のキーワードの組み合わせの重みを、画像ごとに合計して合計値を算出する。更に、重み算出部２２０は、画像抽出部１５０から受け取った画像に対応づけて画像格納部１６０が格納しているキーワードであって、画像キーワード抽出部２１０が抽出したキーワードと同一のキーワードに対応づけて文章キーワード重み格納部２０８が格納しているキーワードの重みの合計値を算出してもよい。重み算出部２２０は、算出した画像ごとの重みを画像選択部１５２に供給する。
【００６０】
画像選択部１５２は、重み算出部２２０から受け取った重みの合計値が大きい画像から予め定められた数の画像を、画像抽出部１５０から受け取った複数の画像から選択する。また、画像選択部１５２は、重み算出部２２０から受け取った重みの合計値が予め定められた値より大きい画像を、画像抽出部１５０から受け取った複数の画像から選択してもよい。更に、画像選択部１５２は、重み算出部２２０から受け取った重みの合計値が最大の画像を、画像抽出部１５０から受け取った複数の画像から選択してもよい。そして、画像選択部１５２は、重み算出部２２０から受け取ったキーワードの重みの合計値が同じ画像が複数ある場合には、重み算出部２２０が算出した複数のキーワードの組み合わせの重みの合計値がより大きい画像を、画像抽出部１５０から受け取った複数の画像から選択してもよい。また、画像選択部１５２は、重み算出部２２０から受け取ったキーワードの重みの合計値が同じ画像が複数ある場合には、重み算出部２２０が算出した文章キーワード重み格納部２０８が格納しているキーワードの重みの合計値がより大きい画像を、画像抽出部１５０から受け取った複数の画像から選択してもよい。これにより、画像抽出部１５０が、行動キーワード抽出部１４０から受け取ったユーザの場所を示すキーワードに対応づけて画像格納部１６０が格納している画像から、複数の画像を抽出した場合でも、ユーザが最も関心を持つ場所の画像を選択できる。画像選択部１５２は、選択した画像をトリミング部２８０および画像出力部１８０に供給する。
【００６１】
トリミング部２８０は、オブジェクト名付与部２７２が画像に付与したキーワードに対応するオブジェクトを含むように、画像選択部１５２から受け取った画像をトリミングする。例えば、トリミング部２８０は、画像に含まれるオブジェクトに対応づけて画像に付帯されている当該オブジェクトの位置情報を用いてトリミングしてよい。また、トリミング部２８０は、パターンマッチング等の画像処理により、オブジェクト名付与部２７２が画像に付与したキーワードに対応するオブジェクトを含むように、画像に含まれるオブジェクトをトリミングしてもよい。更に、トリミング部２８０は、画像に含まれるオブジェクトを拡大および縮小してもよい。トリミング部２８０は、トリミングした画像を画像出力部１８０に供給する。画像出力部１８０は、トリミング部２８０から受け取ったトリミングした画像を入力された文章とともに出力してもよい。
【００６２】
本実施形態に係る画像処理装置１０によれば、画像選択部１５２が画像抽出部１５０から複数の画像を受け取った場合に、入力された文章に含まれるキーワードであって、画像に対応付けられたキーワードの重みおよび画像に対応付けられた複数のキーワードの組み合わせの重みの合計値を算出する。そして、画像選択部１５２は、キーワードの重みの合計値が最大の画像、またはキーワードの重みの合計値が同一の画像が複数ある場合には、複数のキーワードの組み合わせの重みの合計値が最大の画像を選択することができる。これにより、画像処理装置１０は、画像抽出部１５０が複数の画像を抽出した場合であっても、ユーザの行動履歴およびユーザが入力した文章の内容に基づいて、ユーザが想起したイメージに最も適した画像を自動的に選択して、文章と共に選択した画像を表示することができる。したがって、ユーザは文章の入力中にユーザ自身が文章に挿入する画像を選択しなくても、自動的にユーザのイメージを的確に表す画像が文章と共に出力されるので、ユーザに思考を中断させることなく、画像が挿入された文章を作成できる。
【００６３】
図９は、本実施形態に係る画像格納部１６０のデータ構造の一例を示す。画像格納部１６０は、画像の内容を示すキーワードを更に対応づけて画像を格納する。画像格納部１６０が格納する画像は、ユーザが過去に撮像した画像、インターネット等のネットワークから受け取った画像、およびユーザが作成した画像等であってよい。そして、画像格納部１６０は、キーワード付与部１７２およびオブジェクト名付与部２７２から受け取った少なくとも一つの画像の内容を示すキーワードに対応づけて画像を格納する。更に、画像格納部１６０は、ユーザが画像に対応づけて入力した画像の内容を示すキーワードを、画像に対応づけて格納してもよい。なお、画像に対応づけて画像格納部１６０が格納するキーワードは複数であってよい。
【００６４】
具体的には、画像格納部１６０は、画像ごとに、画像の内容を示すキーワードを少なくとも一つ画像に対応づけて格納している。例えば、画像格納部１６０は、画像３００にキーワードＡ、キーワードＢ、およびキーワードＤを対応づけて格納している。また、画像３１０にキーワードＢ、キーワードＣ、およびキーワードＤを対応づけて格納している。更に、画像格納部１６０は、画像３２０にキーワードＡ、キーワードＣ、およびキーワードＦを、画像３３０にキーワードＧ、キーワードＩ、およびキーワードＫ等を対応づけて格納している。
【００６５】
図１０は、本実施形態に係る画像キーワード重み格納部２３０のデータ構造の一例を示す。画像キーワード重み格納部２３０は、画像格納部１６０が格納しているキーワードに対応づけてキーワードの重みを格納する。具体的には、画像キーワード重み格納部２３０は、画像重み決定部２５０から受け取ったキーワードの重みを、キーワードに対応づけて格納する。例えば、画像キーワード重み格納部２３０は、キーワードＡに重み「３」を対応づけて格納している。また、画像キーワード重み格納部２３０は、キーワードＢに重み「２」を対応づけて格納している。そして、画像キーワード重み格納部２３０は、キーワードＣに重み「１」を対応づけて格納している。更に、画像キーワード重み格納部２３０は、キーワードＤに重み「４」を対応づけて格納している。
【００６６】
重み算出部２２０は、画像に対応付けられたキーワードの重みを、画像キーワード重み格納部２３０から抽出する。そして、重み算出部２２０は、当該画像に対応付けられたキーワードの重みの合計値を算出する。例えば、画像キーワード抽出部２１０が文章入力部１００から入力された文章から抽出したキーワードが、キーワード「Ａ」およびキーワード「Ｄ」であった場合を考える。係る場合において、画像抽出部１５０は、キーワード「Ａ」又はキーワード「Ｄ」の少なくとも一方が対応づけられている画像を、画像格納部１６０から抽出する。すなわち、画像抽出部１５０は、図７の上記説明における画像格納部１６０から、キーワード「Ａ」又はキーワード「Ｄ」の少なくともいずれか一方が対応づけられている画像３００、画像３１０、および画像３２０を抽出する。
【００６７】
そして、重み算出部２２０は、画像３００、画像３１０、および画像３２０のそれぞれに対応づけられているキーワード「Ａ」の重みとキーワード「Ｄ」の重みとの合計値を画像ごとに算出する。例えば、画像３００には、キーワード「Ａ」、キーワード「Ｂ」、およびキーワード「Ｄ」が対応づけられている。この場合において、画像３００に対応づけられているキーワードの中で画像キーワード抽出部２１０が抽出したキーワードと同一のキーワードは、キーワード「Ａ」およびキーワード「Ｄ」であるとする。係る場合に重み算出部２２０は、画像３００の重みをキーワード「Ａ」の重みとキーワード「Ｄ」の重みとの合計値である「７」と算出する。同様に重み算出部２２０は、画像３１０の重みの合計値を「２」と算出する。また、重み算出部２２０は、画像３２０の重みの合計値を「３」と算出する。
【００６８】
続いて、画像選択部１５２は、重み算出部２２０が算出した画像ごとの重みの合計値を比較して、重みの合計値が最大の画像を選択する。上記した図６および図７の説明においては、重みの合計値が最大である画像３００を画像選択部１５２は選択する。そして、画像出力部１８０は、画像選択部１５２が選択した画像３００を、ユーザが入力した文章とともに表示する。なお、画像選択部１５２は、重み算出部２２０が算出した重みの合計値が大きい画像から予め定められた数の画像を選択してもよい。具体的には、画像選択部１５２は、重み算出部２２０が算出した重みの合計値の降順に対応づけて複数の画像を整列して、予め定められた数の画像を重みの合計値が最大の画像から順に選択してもよい。また、画像選択部１５２は、重み算出部２２０が算出した重みの合計値が予め定められた値より大きい画像を選択してもよい。係る場合において、画像選択部１５２が選択する画像は複数あってもよい。
【００６９】
本実施形態に係る画像処理装置１０によれば、画像選択部１５２が複数の画像を選択した場合に、ユーザが入力した文章に含まれるキーワードの少なくとも一つと同一のキーワードに対応づけられている画像を抽出して、画像に対応づけられているキーワードの重みを画像ごとに算出する。そして、画像ごとに算出したキーワードの重みの合計値を比較して画像を自動的に選択できるので、画像選択部１５２が複数の画像を選択した場合であっても、ユーザが想起した画像を適切に選択して、ユーザが入力した文章と共に表示することができる。例えば、本実施形態に係る画像処理装置１０によれば、ブログ等においてユーザが入力した文章に含まれるキーワードの重みに基づいて、ユーザが想起している画像を自動的に選択して、文章とともに表示することができる。
【００７０】
図１１は、本実施形態に係る組み合わせ重み格納部２４０のデータ構造の一例を示す。組み合わせ重み格納部２４０は、画像の内容を示す複数のキーワードの組み合わせに対応づけて、複数のキーワードの組み合わせの重みを格納する。具体的には、組み合わせ重み格納部２４０は、画像に対応づけられている複数のキーワードのキーワード間の関連に基づいて重みを格納している。より具体的には、画像格納部１６０が格納している複数の画像のうちで、画像に対応づけられている複数のキーワードの組み合わせの数がより多い場合に、当該複数のキーワードの組み合わせにより大きい重みを対応づけて格納する。例えば、ユーザが冬山の画像を頻繁に撮像または作成して、撮像または作成した冬山の複数の画像を画像格納部１６０に格納している場合を考える。係る場合には、画像格納部１６０は「冬」および「山」のキーワードに対応付けられた冬山の画像を、「冬」および「山」のキーワードを除くキーワードに対応付けられた画像よりも多く格納しているので、「冬」および「山」のキーワード間の関連が高いとして、「冬」および「山」のキーワードの組み合わせにより大きい重みを対応づけて格納してよい。
【００７１】
例えば、組み合わせ重み格納部２４０は、キーワード「Ａ」とキーワード「Ｂ」の組み合わせに重み「４」を対応づけて格納している。また、組み合わせ重み格納部２４０は、キーワード「Ａ」とキーワード「Ｄ」の組み合わせに重み「３」を対応づけて格納している。同様に、組み合わせ重み格納部２４０は、キーワード「Ａ」とキーワード「Ｆ」の組み合わせに重み「２」を、キーワード「Ｂ」とキーワード「Ｄ」の組み合わせに重み「５」を、およびキーワード「Ｄ」とキーワード「Ｆ」の組み合わせに重み「１」を対応づけて格納している。なお、組み合わせ重み格納部２４０は、二つのキーワードの組み合わせに限らず、少なくとも二つ以上の複数のキーワードの組み合わせに対応づけて重みを格納してよい。また、画像処理装置１０は、複数のキーワード間の組み合わせの重みを決定する組み合わせ重み決定部を更に備えていてもよい。組み合わせ重み決定部は、画像に対応付けられた複数のキーワードの組み合わせの数を算出して、複数のキーワードの組み合わせの数がより多い組み合わせに、複数のキーワードの組み合わせの数がより少ない組み合わせよりも大きい重みを対応づけてよい。
【００７２】
図１２は、本実施形態に係る画像処理装置１０のハードウェア構成の一例を示す。本実施形態に係る画像処理装置１０は、ホスト・コントローラ１５８２により相互に接続されるＣＰＵ１５０５、ＲＡＭ１５２０、グラフィック・コントローラ１５７５、及び表示装置１５８０を有するＣＰＵ周辺部と、入出力コントローラ１５８４によりホスト・コントローラ１５８２に接続される通信インターフェイス１５３０、ハードディスクドライブ１５４０、及びＣＤ−ＲＯＭドライブ１５６０を有する入出力部と、入出力コントローラ１５８４に接続されるＲＯＭ１５１０、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０を有するレガシー入出力部とを備える。
【００７３】
ホスト・コントローラ１５８２は、ＲＡＭ１５２０と、高い転送レートでＲＡＭ１５２０をアクセスするＣＰＵ１５０５及びグラフィック・コントローラ１５７５とを接続する。ＣＰＵ１５０５は、ＲＯＭ１５１０及びＲＡＭ１５２０に格納されたプログラムに基づいて動作して、各部を制御する。グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等がＲＡＭ１５２０内に設けたフレーム・バッファ上に生成する画像データを取得して、表示装置１５８０上に表示させる。これに代えて、グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。
【００７４】
入出力コントローラ１５８４は、ホスト・コントローラ１５８２と、比較的高速な入出力装置である通信インターフェイス１５３０、ハードディスクドライブ１５４０、ＣＤ−ＲＯＭドライブ１５６０を接続する。通信インターフェイス１５３０は、ネットワークを介して他の装置と通信する。ハードディスクドライブ１５４０は、画像処理装置１０内のＣＰＵ１５０５が使用するプログラム及びデータを格納する。ＣＤ−ＲＯＭドライブ１５６０は、ＣＤ−ＲＯＭ１５９５からプログラム又はデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０に提供する。
【００７５】
また、入出力コントローラ１５８４には、ＲＯＭ１５１０と、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０の比較的低速な入出力装置とが接続される。ＲＯＭ１５１０は、画像処理装置１０が起動時に実行するブート・プログラム、画像処理装置１０のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ１５５０は、フレキシブルディスク１５９０からプログラム又はデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０に提供する。入出力チップ１５７０は、フレキシブルディスク・ドライブ１５５０、例えばパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。
【００７６】
ＲＡＭ１５２０を介してハードディスクドライブ１５４０に提供される画像処理プログラムは、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５、又はＩＣカード等の記録媒体に格納されて利用者によって提供される。画像処理プログラムは、記録媒体から読み出され、ＲＡＭ１５２０を介して画像処理装置１０内のハードディスクドライブ１５４０にインストールされ、ＣＰＵ１５０５において実行される。画像処理装置１０にインストールされて実行される画像処理プログラムは、ＣＰＵ１５０５等に働きかけて、画像処理装置１０を、図１から図９にかけて説明した文章入力部１００、画像入力部１０２、行動履歴格納部１１０、訪問回数算出部１１２、訪問位置重み付け部１１４、滞在時間算出部１１６、行動範囲算出部１１８、時間キーワード抽出部１２０、場所キーワード抽出部１２２、場所キーワード格納部１３０、時間キーワード格納部１３２、行動キーワード抽出部１４０、画像抽出部１５０、画像選択部１５２、画像格納部１６０、キーワード生成部１７０、キーワード付与部１７２、画像出力部１８０、画像選択部１５２、文章格納部２００、文章キーワード頻度算出部２０２、表現態様重み格納部２０４、文章キーワード重み決定部２０６、文章キーワード重み格納部２０８、画像キーワード抽出部２１０、重み算出部２２０、画像キーワード重み格納部２３０、組み合わせ重み格納部２４０、画像重み決定部２５０、頻度算出部２５２、頻度重み決定部２５４、位置重み決定部２５６、大きさ重み決定部２５８、オブジェクト抽出部２７０、オブジェクト名付与部２７２、およびトリミング部２８０として機能させる。
【００７７】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加え得ることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【図面の簡単な説明】
【００７８】
【図１】画像処理装置１０の機能構成を示すブロック図である。
【図２】行動履歴格納部１１０を示す図である。
【図３】場所キーワード格納部１３０を示す図である。
【図４】画像格納部１６０を示す図である。
【図５】行動キーワード抽出部１４０の処理を示す図である。
【図６】時間キーワード格納部１３２を示す図である。
【図７】画像格納部１６０を示す図である。
【図８】画像処理装置１０の機能構成を示すブロック図である。
【図９】画像格納部１６０を示す図である。
【図１０】画像キーワード重み格納部２３０を示す図である。
【図１１】組み合わせ重み格納部２４０を示す図である。
【図１２】画像処理装置１０のハードウェア構成を示すブロック図である。
【符号の説明】
【００７９】
１０ 画像処理装置
１００ 文章入力部
１０２ 画像入力部
１１０ 行動履歴格納部
１１２ 訪問回数算出部
１１４ 訪問位置重み付け部
１１６ 滞在時間算出部
１１８ 行動範囲算出部
１２０ 時間キーワード抽出部
１２２ 場所キーワード抽出部
１３０ 場所キーワード格納部
１３２ 時間キーワード格納部
１４０ 行動キーワード抽出部
１５０ 画像抽出部
１５２ 画像選択部
１６０ 画像格納部
１７０ キーワード生成部
１７２ キーワード付与部
１８０ 画像出力部
２００ 文章格納部
２０２ 文章キーワード頻度算出部
２０４ 表現態様重み格納部
２０６ 文章キーワード重み決定部
２０８ 文章キーワード重み格納部
２１０ 画像キーワード抽出部
２２０ 重み算出部
２３０ 画像キーワード重み格納部
２４０ 組み合わせ重み格納部
２５０ 画像重み決定部
２５２ 頻度算出部
２５４ 頻度重み決定部
２５６ 位置重み決定部
２５８ 大きさ重み決定部
２７０ オブジェクト抽出部
２７２ オブジェクト名付与部
２８０ トリミング部
３００、３１０、３２０、３３０、３４０ 画像
８００ 行動範囲
８１０、８２０ 位置
９００ 行動範囲
９１０、９２０ 位置
１５０５ ＣＰＵ
１５１０ ＲＯＭ
１５２０ ＲＡＭ
１５３０ 通信インターフェイス
１５４０ ハードディスクドライブ
１５５０ フレキシブルディスク・ドライブ
１５６０ ＣＤ−ＲＯＭドライブ
１５７０ 入出力チップ
１５７５ グラフィック・コントローラ
１５８０ 表示装置
１５８２ ホスト・コントローラ
１５８４ 入出力コントローラ
１５９０ フレキシブルディスク
１５９５ ＣＤ−ＲＯＭ
【特許請求の範囲】
【請求項１】
ユーザの行動履歴を格納する行動履歴格納部と、
前記行動履歴格納部が格納しているユーザの行動履歴の時刻に対応づけて、当該時刻におけるユーザの場所を示すキーワードを格納する場所キーワード格納部と、
画像内のオブジェクト又は背景の場所を示すキーワードに対応づけて、画像を格納する画像格納部と、
入力された文章から時間を示すキーワードを抽出する時間キーワード抽出部と、
前記時間キーワード抽出部が抽出したキーワードが示す時間における、ユーザの場所を示すキーワードを前記場所キーワード格納部から抽出する行動キーワード抽出部と、
前記行動キーワード抽出部が抽出したキーワードに対応づけて前記画像格納部が格納している画像を抽出する画像抽出部と、
前記画像抽出部が抽出した画像を、入力された文章とともに出力する画像出力部と
を備える画像処理装置。
【請求項２】
前記画像格納部が格納している画像の付帯情報に基づいて画像内のオブジェクト又は背景の場所を示すキーワードを生成するキーワード生成部と、
前記キーワード生成部が生成したキーワードを、画像に対応づけて前記画像格納部に格納させるキーワード付与部と
をさらに備える請求項１に記載の画像処理装置。
【請求項３】
時刻に対応づけて当該時刻にユーザが所在した位置を格納する前記行動履歴格納部が格納しているユーザが所在した位置を含む領域ごとに、当該領域にユーザが訪問した回数を算出する訪問回数算出部と、
前記訪問回数算出部が算出した訪問回数がより多い領域に、より大きい重み付けする訪問位置重み付け部と
をさらに備え、
前記行動キーワード抽出部は、前記時間キーワード抽出部が抽出したキーワードが示す時間に対応づけて前記場所キーワード格納部が格納しているユーザの場所を示すキーワードのうち、前記訪問位置重み付け部が重み付けした重みが最も大きい領域に含まれる場所を示すキーワードを、前記場所キーワード格納部から抽出する
請求項１に記載の画像処理装置。
【請求項４】
前記行動履歴格納部が格納しているユーザの行動履歴から、ユーザが所在した位置を含む領域ごとの滞在時間を算出する滞在時間算出部
をさらに備え、
前記行動キーワード抽出部は、前記時間キーワード抽出部が抽出した時間を示すキーワードに対応づけて前記場所キーワード格納部が格納しているユーザの場所を示すキーワードのうち、前記滞在時間算出部が算出した滞在時間が最も長い領域に含まれる場所を示すキーワードを、前記場所キーワード格納部から抽出する
請求項１に記載の画像処理装置。
【請求項５】
前記時間キーワード抽出部が抽出したキーワードが示す時間を含む所定の時間間隔におけるユーザの行動範囲を求める行動範囲算出部
をさらに備え、
前記行動キーワード抽出部は、前記行動範囲算出部が算出したユーザの行動範囲がより広いほど、前記場所キーワード格納部からより広い場所を示すキーワードを抽出する
請求項１に記載の画像処理装置。
【請求項６】
入力された文章から場所を示すキーワードを抽出する場所キーワード抽出部と、
前記行動履歴格納部が格納しているユーザの行動履歴の時刻に対応づけて、当該時刻を含む時間を示すキーワードを格納する時間キーワード格納部と
を更に備え、
前記画像格納部は、時間を示すキーワードに更に対応づけて画像を格納し、
前記行動キーワード抽出部は、前記場所キーワード抽出部が抽出した場所を示すキーワードに対応づけられて前記場所キーワード格納部が格納している時刻に対応づけて前記時間キーワード格納部が格納している時間を示すキーワードを更に抽出し、
前記画像抽出部は、前記行動キーワード抽出部が抽出した時間を示すキーワード、および前記場所キーワード抽出部が抽出した場所を示すキーワードに対応づけて前記画像格納部が格納している画像を抽出する
請求項１に記載の画像処理装置。
【請求項７】
前記画像格納部が格納している画像の付帯情報に基づいて画像の時間を示すキーワードを生成するキーワード生成部と、
前記キーワード生成部が生成したキーワードを、画像に対応づけて前記画像格納部に格納させるキーワード付与部と
をさらに備える請求項６に記載の画像処理装置。
【請求項８】
ユーザの行動履歴を行動履歴格納部に格納する行動履歴格納段階と、
前記行動履歴格納部が格納しているユーザの行動履歴の時刻に対応づけて、当該時刻におけるユーザの場所を示すキーワードを場所キーワード格納部に格納する場所キーワード格納段階と、
画像内のオブジェクト又は背景の場所を示すキーワードに対応づけて、画像を画像格納部に格納する画像格納段階と、
入力された文章から時間を示すキーワードを抽出する時間キーワード抽出段階と、
前記時間キーワード抽出段階が抽出したキーワードが示す時間における、ユーザの場所を示すキーワードを前記場所キーワード格納部から抽出する行動キーワード抽出段階と、
前記行動キーワード抽出段階が抽出したキーワードに対応づけて前記画像格納部が格納している画像を抽出する画像抽出段階と、
前記画像抽出段階が抽出した画像を、入力された文章とともに出力する画像出力段階と
を備える画像処理方法。
【請求項９】
入力された文章と共に画像を出力する画像処理装置用の画像処理プログラムであって、前記画像処理装置を、
ユーザの行動履歴を格納する行動履歴格納部と、
前記行動履歴格納部が格納しているユーザの行動履歴の時刻に対応づけて、当該時刻におけるユーザの場所を示すキーワードを格納する場所キーワード格納部と、
画像内のオブジェクト又は背景の場所を示すキーワードに対応づけて、画像を格納する画像格納部と、
入力された文章から時間を示すキーワードを抽出する時間キーワード抽出部と、
前記時間キーワード抽出部が抽出したキーワードが示す時間における、ユーザの場所を示すキーワードを前記場所キーワード格納部から抽出する行動キーワード抽出部と、
前記行動キーワード抽出部が抽出したキーワードに対応づけて前記画像格納部が格納している画像を抽出する画像抽出部と、
前記画像抽出部が抽出した画像を、入力された文章とともに出力する画像出力部
として機能させる画像処理プログラム。
【請求項１０】
ユーザの行動履歴を格納する行動履歴格納部と、
前記行動履歴格納部が格納しているユーザの行動履歴の時刻に対応づけて、当該時刻におけるユーザの場所を示すキーワードを格納する場所キーワード格納部と、
前記行動履歴格納部が格納しているユーザの行動履歴の時刻に対応づけて、当該時刻を含む時間を示すキーワードを格納する時間キーワード格納部と、
場所を示すキーワードおよび時間を示すキーワードに対応づけて、画像を格納する画像格納部と、
入力された文章から場所を示すキーワードを抽出する場所キーワード抽出部と、
前記場所キーワード抽出部が抽出した場所を示すキーワードに対応づけられて前記場所キーワード格納部が格納している時刻に対応づけて前記時間キーワード格納部が格納している時間を示すキーワードを抽出する行動キーワード抽出部と、
前記行動キーワード抽出部が抽出した時間を示すキーワードおよび前記場所キーワード抽出部が抽出した場所を示すキーワードに対応づけて前記画像格納部が格納している画像を抽出する画像抽出部と、
前記画像抽出部が抽出した画像を、入力された文章とともに出力する画像出力部と
を備える画像処理装置。
【請求項１１】
ユーザの行動履歴を行動履歴格納部に格納する行動履歴格納段階と、
前記行動履歴格納部が格納しているユーザの行動履歴の時刻に対応づけて、当該時刻におけるユーザの場所を示すキーワードを場所キーワード格納部に格納する場所キーワード格納段階と、
前記行動履歴格納部が格納しているユーザの行動履歴の時刻に対応づけて、当該時刻を含む時間を示すキーワードを時間キーワード格納部に格納する時間キーワード格納段階と、
場所を示すキーワードおよび時間を示すキーワードに対応づけて、画像を画像格納部に格納する画像格納段階と、
入力された文章から場所を示すキーワードを抽出する場所キーワード抽出段階と、
前記場所キーワード抽出段階が抽出した場所を示すキーワードに対応づけられて前記場所キーワード格納部が格納している時刻に対応づけて前記時間キーワード格納部が格納している時間を示すキーワードを抽出する行動キーワード抽出段階と、
前記行動キーワード抽出段階が抽出した時間を示すキーワードおよび前記場所キーワード抽出段階が抽出した場所を示すキーワードに対応づけて前記画像格納部が格納している画像を抽出する画像抽出段階と、
前記画像抽出段階が抽出した画像を、入力された文章とともに出力する画像出力段階と
を備える画像処理方法。
【請求項１２】
入力された文章と共に画像を出力する画像処理装置用の画像処理プログラムであって、前記画像処理装置を、
ユーザの行動履歴を格納する行動履歴格納部と、
前記行動履歴格納部が格納しているユーザの行動履歴の時刻に対応づけて、当該時刻におけるユーザの場所を示すキーワードを格納する場所キーワード格納部と、
前記行動履歴格納部が格納しているユーザの行動履歴の時刻に対応づけて、当該時刻を含む時間を示すキーワードを格納する時間キーワード格納部と、
場所を示すキーワードおよび時間を示すキーワードに対応づけて、画像を格納する画像格納部と、
入力された文章から場所を示すキーワードを抽出する場所キーワード抽出部と、
前記場所キーワード抽出部が抽出した場所を示すキーワードに対応づけられて前記場所キーワード格納部が格納している時刻に対応づけて前記時間キーワード格納部が格納している時間を示すキーワードを抽出する行動キーワード抽出部と、
前記行動キーワード抽出部が抽出した時間を示すキーワードおよび前記場所キーワード抽出部が抽出した場所を示すキーワードに対応づけて前記画像格納部が格納している画像を抽出する画像抽出部と、
前記画像抽出部が抽出した画像を、入力された文章とともに出力する画像出力部
として機能させる画像処理プログラム。
【請求項１】
ユーザの行動履歴を格納する行動履歴格納部と、
前記行動履歴格納部が格納しているユーザの行動履歴の時刻に対応づけて、当該時刻におけるユーザの場所を示すキーワードを格納する場所キーワード格納部と、
画像内のオブジェクト又は背景の場所を示すキーワードに対応づけて、画像を格納する画像格納部と、
入力された文章から時間を示すキーワードを抽出する時間キーワード抽出部と、
前記時間キーワード抽出部が抽出したキーワードが示す時間における、ユーザの場所を示すキーワードを前記場所キーワード格納部から抽出する行動キーワード抽出部と、
前記行動キーワード抽出部が抽出したキーワードに対応づけて前記画像格納部が格納している画像を抽出する画像抽出部と、
前記画像抽出部が抽出した画像を、入力された文章とともに出力する画像出力部と
を備える画像処理装置。
【請求項２】
前記画像格納部が格納している画像の付帯情報に基づいて画像内のオブジェクト又は背景の場所を示すキーワードを生成するキーワード生成部と、
前記キーワード生成部が生成したキーワードを、画像に対応づけて前記画像格納部に格納させるキーワード付与部と
をさらに備える請求項１に記載の画像処理装置。
【請求項３】
時刻に対応づけて当該時刻にユーザが所在した位置を格納する前記行動履歴格納部が格納しているユーザが所在した位置を含む領域ごとに、当該領域にユーザが訪問した回数を算出する訪問回数算出部と、
前記訪問回数算出部が算出した訪問回数がより多い領域に、より大きい重み付けする訪問位置重み付け部と
をさらに備え、
前記行動キーワード抽出部は、前記時間キーワード抽出部が抽出したキーワードが示す時間に対応づけて前記場所キーワード格納部が格納しているユーザの場所を示すキーワードのうち、前記訪問位置重み付け部が重み付けした重みが最も大きい領域に含まれる場所を示すキーワードを、前記場所キーワード格納部から抽出する
請求項１に記載の画像処理装置。
【請求項４】
前記行動履歴格納部が格納しているユーザの行動履歴から、ユーザが所在した位置を含む領域ごとの滞在時間を算出する滞在時間算出部
をさらに備え、
前記行動キーワード抽出部は、前記時間キーワード抽出部が抽出した時間を示すキーワードに対応づけて前記場所キーワード格納部が格納しているユーザの場所を示すキーワードのうち、前記滞在時間算出部が算出した滞在時間が最も長い領域に含まれる場所を示すキーワードを、前記場所キーワード格納部から抽出する
請求項１に記載の画像処理装置。
【請求項５】
前記時間キーワード抽出部が抽出したキーワードが示す時間を含む所定の時間間隔におけるユーザの行動範囲を求める行動範囲算出部
をさらに備え、
前記行動キーワード抽出部は、前記行動範囲算出部が算出したユーザの行動範囲がより広いほど、前記場所キーワード格納部からより広い場所を示すキーワードを抽出する
請求項１に記載の画像処理装置。
【請求項６】
入力された文章から場所を示すキーワードを抽出する場所キーワード抽出部と、
前記行動履歴格納部が格納しているユーザの行動履歴の時刻に対応づけて、当該時刻を含む時間を示すキーワードを格納する時間キーワード格納部と
を更に備え、
前記画像格納部は、時間を示すキーワードに更に対応づけて画像を格納し、
前記行動キーワード抽出部は、前記場所キーワード抽出部が抽出した場所を示すキーワードに対応づけられて前記場所キーワード格納部が格納している時刻に対応づけて前記時間キーワード格納部が格納している時間を示すキーワードを更に抽出し、
前記画像抽出部は、前記行動キーワード抽出部が抽出した時間を示すキーワード、および前記場所キーワード抽出部が抽出した場所を示すキーワードに対応づけて前記画像格納部が格納している画像を抽出する
請求項１に記載の画像処理装置。
【請求項７】
前記画像格納部が格納している画像の付帯情報に基づいて画像の時間を示すキーワードを生成するキーワード生成部と、
前記キーワード生成部が生成したキーワードを、画像に対応づけて前記画像格納部に格納させるキーワード付与部と
をさらに備える請求項６に記載の画像処理装置。
【請求項８】
ユーザの行動履歴を行動履歴格納部に格納する行動履歴格納段階と、
前記行動履歴格納部が格納しているユーザの行動履歴の時刻に対応づけて、当該時刻におけるユーザの場所を示すキーワードを場所キーワード格納部に格納する場所キーワード格納段階と、
画像内のオブジェクト又は背景の場所を示すキーワードに対応づけて、画像を画像格納部に格納する画像格納段階と、
入力された文章から時間を示すキーワードを抽出する時間キーワード抽出段階と、
前記時間キーワード抽出段階が抽出したキーワードが示す時間における、ユーザの場所を示すキーワードを前記場所キーワード格納部から抽出する行動キーワード抽出段階と、
前記行動キーワード抽出段階が抽出したキーワードに対応づけて前記画像格納部が格納している画像を抽出する画像抽出段階と、
前記画像抽出段階が抽出した画像を、入力された文章とともに出力する画像出力段階と
を備える画像処理方法。
【請求項９】
入力された文章と共に画像を出力する画像処理装置用の画像処理プログラムであって、前記画像処理装置を、
ユーザの行動履歴を格納する行動履歴格納部と、
前記行動履歴格納部が格納しているユーザの行動履歴の時刻に対応づけて、当該時刻におけるユーザの場所を示すキーワードを格納する場所キーワード格納部と、
画像内のオブジェクト又は背景の場所を示すキーワードに対応づけて、画像を格納する画像格納部と、
入力された文章から時間を示すキーワードを抽出する時間キーワード抽出部と、
前記時間キーワード抽出部が抽出したキーワードが示す時間における、ユーザの場所を示すキーワードを前記場所キーワード格納部から抽出する行動キーワード抽出部と、
前記行動キーワード抽出部が抽出したキーワードに対応づけて前記画像格納部が格納している画像を抽出する画像抽出部と、
前記画像抽出部が抽出した画像を、入力された文章とともに出力する画像出力部
として機能させる画像処理プログラム。
【請求項１０】
ユーザの行動履歴を格納する行動履歴格納部と、
前記行動履歴格納部が格納しているユーザの行動履歴の時刻に対応づけて、当該時刻におけるユーザの場所を示すキーワードを格納する場所キーワード格納部と、
前記行動履歴格納部が格納しているユーザの行動履歴の時刻に対応づけて、当該時刻を含む時間を示すキーワードを格納する時間キーワード格納部と、
場所を示すキーワードおよび時間を示すキーワードに対応づけて、画像を格納する画像格納部と、
入力された文章から場所を示すキーワードを抽出する場所キーワード抽出部と、
前記場所キーワード抽出部が抽出した場所を示すキーワードに対応づけられて前記場所キーワード格納部が格納している時刻に対応づけて前記時間キーワード格納部が格納している時間を示すキーワードを抽出する行動キーワード抽出部と、
前記行動キーワード抽出部が抽出した時間を示すキーワードおよび前記場所キーワード抽出部が抽出した場所を示すキーワードに対応づけて前記画像格納部が格納している画像を抽出する画像抽出部と、
前記画像抽出部が抽出した画像を、入力された文章とともに出力する画像出力部と
を備える画像処理装置。
【請求項１１】
ユーザの行動履歴を行動履歴格納部に格納する行動履歴格納段階と、
前記行動履歴格納部が格納しているユーザの行動履歴の時刻に対応づけて、当該時刻におけるユーザの場所を示すキーワードを場所キーワード格納部に格納する場所キーワード格納段階と、
前記行動履歴格納部が格納しているユーザの行動履歴の時刻に対応づけて、当該時刻を含む時間を示すキーワードを時間キーワード格納部に格納する時間キーワード格納段階と、
場所を示すキーワードおよび時間を示すキーワードに対応づけて、画像を画像格納部に格納する画像格納段階と、
入力された文章から場所を示すキーワードを抽出する場所キーワード抽出段階と、
前記場所キーワード抽出段階が抽出した場所を示すキーワードに対応づけられて前記場所キーワード格納部が格納している時刻に対応づけて前記時間キーワード格納部が格納している時間を示すキーワードを抽出する行動キーワード抽出段階と、
前記行動キーワード抽出段階が抽出した時間を示すキーワードおよび前記場所キーワード抽出段階が抽出した場所を示すキーワードに対応づけて前記画像格納部が格納している画像を抽出する画像抽出段階と、
前記画像抽出段階が抽出した画像を、入力された文章とともに出力する画像出力段階と
を備える画像処理方法。
【請求項１２】
入力された文章と共に画像を出力する画像処理装置用の画像処理プログラムであって、前記画像処理装置を、
ユーザの行動履歴を格納する行動履歴格納部と、
前記行動履歴格納部が格納しているユーザの行動履歴の時刻に対応づけて、当該時刻におけるユーザの場所を示すキーワードを格納する場所キーワード格納部と、
前記行動履歴格納部が格納しているユーザの行動履歴の時刻に対応づけて、当該時刻を含む時間を示すキーワードを格納する時間キーワード格納部と、
場所を示すキーワードおよび時間を示すキーワードに対応づけて、画像を格納する画像格納部と、
入力された文章から場所を示すキーワードを抽出する場所キーワード抽出部と、
前記場所キーワード抽出部が抽出した場所を示すキーワードに対応づけられて前記場所キーワード格納部が格納している時刻に対応づけて前記時間キーワード格納部が格納している時間を示すキーワードを抽出する行動キーワード抽出部と、
前記行動キーワード抽出部が抽出した時間を示すキーワードおよび前記場所キーワード抽出部が抽出した場所を示すキーワードに対応づけて前記画像格納部が格納している画像を抽出する画像抽出部と、
前記画像抽出部が抽出した画像を、入力された文章とともに出力する画像出力部
として機能させる画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２００７−１４８５１７（Ｐ２００７−１４８５１７Ａ）
【公開日】平成１９年６月１４日（２００７．６．１４）
【国際特許分類】
【出願番号】特願２００５−３３８５８４（Ｐ２００５−３３８５８４）
【出願日】平成１７年１１月２４日（２００５．１１．２４）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
【公開日】平成１９年６月１４日（２００７．６．１４）
【国際特許分類】
【出願日】平成１７年１１月２４日（２００５．１１．２４）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
[ Back to top ]