画像処理装置、画像処理方法、および画像処理プログラム
【課題】ユーザが想起するイメージどおりの画像を抽出して、ユーザが入力した文章とともに表示する。
【解決手段】本発明に係る画像処理装置は、画像の内容を示すキーワード及び時刻を示すキーワードに対応づけて画像を格納する画像格納部と、入力された文章から画像格納部が格納しているキーワードを抽出する画像キーワード抽出部と、文章が入力された時刻を検出する時刻検出部と、時刻を示すキーワードを格納する時刻キーワード格納部と、時刻に対応づけて時刻キーワード格納部が格納しているキーワードを抽出する時刻キーワード抽出部と、画像キーワード抽出部が抽出したキーワード及び時刻キーワード抽出部が抽出したキーワードに対応づけて画像格納部が格納している画像を抽出する画像抽出部と、抽出した画像を入力された文章とともに出力する画像出力部とを備える。
【解決手段】本発明に係る画像処理装置は、画像の内容を示すキーワード及び時刻を示すキーワードに対応づけて画像を格納する画像格納部と、入力された文章から画像格納部が格納しているキーワードを抽出する画像キーワード抽出部と、文章が入力された時刻を検出する時刻検出部と、時刻を示すキーワードを格納する時刻キーワード格納部と、時刻に対応づけて時刻キーワード格納部が格納しているキーワードを抽出する時刻キーワード抽出部と、画像キーワード抽出部が抽出したキーワード及び時刻キーワード抽出部が抽出したキーワードに対応づけて画像格納部が格納している画像を抽出する画像抽出部と、抽出した画像を入力された文章とともに出力する画像出力部とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、および画像処理プログラムに関する。特に、本発明は、画像を入力された文章と共に出力する画像処理装置、画像処理方法、および画像処理プログラムに関する。
【背景技術】
【０００２】
文書の文字列に適合した画像を容易に選択することを目的とした文書作成装置が提案されている（例えば、特許文献１参照。）。特許文献１に記載の発明では、画像を挿入した文章を作成する場合に、まず、使用者が入力した文字列の属性を決定する。そして、予め文字列の属性に対応付けられた画像の中から、使用者が入力した文字列の属性と一致する複数の画像を抽出する。続いて、抽出した複数の画像を一覧表示してユーザにユーザが使用を所望する画像を選択させる。
【特許文献１】特開２０００−１７２６８８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
特許文献１に記載の発明においては、文章に含まれる文字列の属性に基づいて画像を抽出するので、文章及び文字列に対応した複数の画像を抽出できる。しかしながら、文字列の属性から画像を抽出する場合には、ユーザが文章を入力している時期および場所に対応した適切な画像を抽出することは困難な場合がある。
【０００４】
そこで本発明は、上記課題を解決することができる画像処理装置、画像処理方法、および画像処理プログラムを提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。
【課題を解決するための手段】
【０００５】
上記課題を解決するために、本発明の第１の形態においては、画像処理装置であって、画像の内容を示すキーワード及び時刻を示すキーワードに対応づけて、画像を格納する画像格納部と、入力された文章から画像格納部が格納しているキーワードを抽出する画像キーワード抽出部と、文章が入力された時刻を検出する時刻検出部と、時刻に対応づけて、当該時刻を示すキーワードを格納する時刻キーワード格納部と、時刻検出部が検出した時刻に対応づけて時刻キーワード格納部が格納しているキーワードを抽出する時刻キーワード抽出部と、画像キーワード抽出部が抽出したキーワード及び時刻キーワード抽出部が抽出したキーワードに対応づけて画像格納部が格納している画像を抽出する画像抽出部と、画像抽出部が抽出した画像を、入力された文章とともに出力する画像出力部とを備える。
【０００６】
また、画像格納部は、画像の内容を示すキーワードに対応づけて、時刻を示すキーワードと当該時刻に関連する画像との組み合わせを複数格納していてもよい。そして、時刻キーワード格納部は、時刻に対応づけて、当該時刻を含む期間を示すキーワードを格納しており、画像格納部は、期間を示すキーワードに対応づけて、当該期間に関連する画像を格納していてもよい。更に、時刻キーワード格納部は、時刻に対応づけて、当該時刻を含む季節を示すキーワードを格納しており、画像格納部は、季節を示すキーワードに対応づけて、当該季節に関連する画像を格納していてもよい。
【０００７】
更に、文章が入力された位置を検出する位置検出部と、位置に対応づけて、当該位置を示すキーワードを格納する位置キーワード格納部と、位置検出部が検出した位置に対応づけて位置キーワード格納部が格納しているキーワードを抽出する位置キーワード抽出部とをさらに備え、画像格納部は、位置を示すキーワードにさらに対応づけて、画像を格納しており、画像抽出部は、位置キーワード抽出部が抽出したキーワードにさらに対応づけて画像格納部が格納している画像を抽出してもよい。また、画像格納部は、画像の内容を示すキーワード及び時刻を示すキーワードに対応づけて、位置を示すキーワードと当該位置に関連する画像との組み合わせを複数格納していてもよい。
【０００８】
また、本発明の第２の形態においては、画像処理方法であって、画像の内容を示すキーワード及び時刻を示すキーワードに対応づけて、画像を画像格納部に格納する画像格納段階と、入力された文章から画像格納部が格納しているキーワードを抽出する画像キーワード抽出段階と、文章が入力された時刻を検出する時刻検出段階と、時刻に対応づけて、当該時刻を示すキーワードを時刻キーワード格納部に格納する時刻キーワード格納段階と、時刻検出段階が検出した時刻に対応づけて時刻キーワード格納部が格納しているキーワードを抽出する時刻キーワード抽出段階と、画像キーワード抽出段階が抽出したキーワード及び時刻キーワード抽出段階が抽出したキーワードに対応づけて画像格納部が格納している画像を抽出する画像抽出段階と、画像抽出段階が抽出した画像を、入力された文章とともに出力する画像出力段階とを備える。
【０００９】
また、本発明の第３の形態においては、画像を入力された文章と共に出力する画像処理装置用の画像処理プログラムであって、画像処理装置を、画像の内容を示すキーワード及び時刻を示すキーワードに対応づけて、画像を格納する画像格納部と、入力された文章から画像格納部が格納しているキーワードを抽出する画像キーワード抽出部と、文章が入力された時刻を検出する時刻検出部と、時刻に対応づけて、当該時刻を示すキーワードを格納する時刻キーワード格納部と、時刻検出部が検出した時刻に対応づけて時刻キーワード格納部が格納しているキーワードを抽出する時刻キーワード抽出部と、画像キーワード抽出部が抽出したキーワード及び時刻キーワード抽出部が抽出したキーワードに対応づけて画像格納部が格納している画像を抽出する画像抽出部と、画像抽出部が抽出した画像を、入力された文章とともに出力する画像出力部として機能させる。
【００１０】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【発明の効果】
【００１１】
本発明によれば、画像処理装置は、ユーザが入力した文章に含まれる画像の内容を示すキーワードを抽出する。また、画像処理装置は、文章が入力された時刻を検出して、検出した時刻に対応付けられた時刻を示すキーワードを抽出する。続いて、画像処理装置は、画像内容を示すキーワード及び抽出した時刻を示すキーワードに対応づけられている画像を抽出して表示することができる。これにより、ユーザが文章を入力すると、入力した文章の内容を適切に表す画像であって文章を入力した時期に適した画像を、文章と共に表示することができる。
【発明を実施するための最良の形態】
【００１２】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００１３】
図１は、本発明の一実施形態に係る画像処理装置１０の機能構成の一例を示す。画像処理装置１０は、文章入力部１００、画像入力部１０２、位置キーワード格納部１１０、時刻検出部１２０、時刻キーワード抽出部１２２、時刻キーワード格納部１２４、位置検出部１３０、位置キーワード抽出部１３２、画像キーワード抽出部１４０、画像抽出部１５０、画像格納部１６０、画像出力部１８０、および画像選択ユニット２０を備える。
【００１４】
本実施形態に係る画像処理装置１０は、ユーザが入力した文章に含まれる画像内容を示すキーワードを抽出する。そして、画像処理装置１０は、文章が入力された時刻を検出して、検出した時刻に対応付けられた時刻を示すキーワードを抽出する。続いて、画像処理装置１０は、画像内容を示すキーワードおよび抽出した時刻を示すキーワードに対応づけられている画像を抽出して当該画像を出力することにより、ユーザが文章を入力した時期に適した画像であって、ユーザが想起したイメージどおりの画像を抽出して、抽出した画像をユーザが入力した文章とともに表示することを目的とする。
【００１５】
文章入力部１００は、画像処理装置１０に文章を入力する。文章入力部１００は、入力した文章を画像キーワード抽出部１４０に供給する。また、文章入力部１００は、文章が入力された旨の情報を時刻検出部１２０および位置検出部１３０に供給する。更に、文章入力部１００は、入力した文章を、画像出力部１８０に供給する。画像入力部１０２は、画像処理装置１０に画像を入力する。そして、画像入力部１０２は、入力した画像を画像格納部１６０に供給する。画像格納部１６０は、画像の内容を示すキーワードおよび時刻を示すキーワードに対応づけて画像を格納する。画像格納部１６０が格納する画像は、ユーザが過去に撮像した画像、インターネット等のネットワークを介して画像入力部１０２が受け取った画像、およびユーザが作成した画像等であってよい。なお、画像の内容を示すキーワードは、画像に含まれるオブジェクトのオブジェクト名を表すキーワード、画像に含まれる背景を表すキーワード、および画像に付帯されている画像撮像時の撮像条件に基づいて決定されるキーワード等であってよい。
【００１６】
また、画像格納部１６０は、画像の内容を示すキーワードに対応づけて、時刻を示すキーワードと当該時刻に関連する画像との組み合わせを複数格納してもよい。更に、画像格納部１６０は、期間を示すキーワードに対応づけて、当該期間に関連する画像を格納してもよい。ここで、春夏秋冬などの季節は期間の一例である。また、画像格納部１６０は、位置を示すキーワードに更に対応づけて画像を格納してもよく、画像内容を示すキーワードおよび時刻を示すキーワードに対応づけて、位置を示すキーワードと当該位置に関連する画像との組み合わせを複数格納していてもよい。位置は、例えば、緯度経度で表される位置であってよい。そして、位置を示すキーワードは、地域名、名勝地の地名、および店名等であってよい。画像格納部１６０は、画像抽出部１５０の制御に基づいて、格納している画像を画像抽出部１５０に供給する。
【００１７】
画像キーワード抽出部１４０は、入力された文章から画像格納部１６０が格納しているキーワードを抽出する。具体的には、画像キーワード抽出部１４０は、文章入力部１００から受け取った文章を自然言語処理等の処理方法を用いて、文章から画像格納部１６０が格納している画像内容を示すキーワードを抽出する。また、画像キーワード抽出部１４０は、ユーザが入力した文章から時刻を示すキーワードおよび位置を示すキーワードを抽出してもよい。例えば、画像キーワード抽出部１４０は、文章入力部１００から受け取った文章に含まれるキーワードと画像格納部１６０が格納するキーワードとを比較して、画像格納部１６０が格納するキーワードを文章から抽出してよい。画像キーワード抽出部１４０は、抽出したキーワードを画像抽出部１５０に供給する。時刻検出部１２０は、文章が入力された時刻を検出する。具体的には、文章入力部１００から文章が入力された旨を示す情報を受け取り、当該情報を受け取った時刻を時刻検出部１２０が検出する。なお、時刻とは、年月日を含む時刻であってよい。例えば、時刻検出部１２０は、画像処理装置１０が内蔵するカレンダー機能および時計機能等から年月日を含む時刻を検出してよい。時刻検出部１２０は、検出した時刻を時刻キーワード抽出部１２２に供給する。
【００１８】
時刻キーワード格納部１２４は、時刻に対応づけて時刻を示すキーワードを格納する。また、時刻キーワード格納部１２４は、時刻に対応づけて当該時刻を含む期間を示すキーワードを格納してもよい。なお、当該時刻を含む季節を示すキーワードは、期間を示すキーワードの一例である。時刻キーワード格納部１２４は、格納しているキーワードを時刻キーワード抽出部１２２の制御に基づいて、時刻キーワード抽出部１２２に供給する。時刻キーワード抽出部１２２は、時刻検出部１２０から受け取った時刻に対応づけて時刻キーワード格納部１２４が格納している時刻を示すキーワードを抽出する。時刻キーワード抽出部１２２は、抽出した時刻を示すキーワードを画像抽出部１５０に供給する。
【００１９】
位置検出部１３０は、文章が入力された位置を検出する。具体的には、位置検出部１３０は、文章入力部１００から文章が入力された旨の情報を受け取った場合に、当該文章が入力された位置を示す情報を検出する。例えば、位置検出部１３０は、ＧＰＳを利用して文章が入力された位置を検出してよい。位置検出部１３０は、検出した位置を示す情報を位置キーワード抽出部１３２に供給する。位置キーワード格納部１１０は、位置に対応づけて、当該位置を示すキーワードを格納する。位置キーワード格納部１１０は、位置キーワード抽出部１３２の制御に基づいて、位置キーワード抽出部１３２に位置を示すキーワードを供給する。位置キーワード抽出部１３２は、位置検出部１３０から受け取った位置に対応づけて位置キーワード格納部１１０が格納している位置を示すキーワードを抽出する。位置キーワード抽出部１３２は、抽出して位置を示すキーワードを画像抽出部１５０に供給する。
【００２０】
画像抽出部１５０は、画像キーワード抽出部１４０が抽出した画像の内容を示すキーワードおよび時刻キーワード抽出部１２２が抽出した時刻を示すキーワードに対応づけて画像格納部１６０が格納している画像を抽出する。また、画像抽出部１５０は、位置キーワード抽出部１３２が抽出した位置を示すキーワードに更に対応づけて画像格納部１６０が格納している画像を抽出してもよい。画像抽出部１５０は、抽出した画像を画像出力部１８０に供給する。また、画像抽出部１５０は、複数の画像を抽出した場合には、抽出した複数の画像を画像選択ユニット２０に供給してもよい。画像選択ユニット２０は、画像抽出部１５０から受け取った複数の画像の中から、ユーザが想起したイメージに適した画像を選択する。画像選択ユニット２０は、選択した画像を画像出力部１８０に供給する。また、画像選択ユニット２０は、画像格納部１６０が格納している画像に、画像の内容を示すキーワードを付与して、画像格納部１６０に格納してもよい。
【００２１】
画像出力部１８０は、画像抽出部１５０が抽出した画像を文章入力部１００から受け取った文章と共に出力する。例えば、画像出力部１８０は、モニタ等に文章と共に画像を出力する。具体的には、画像出力部１８０は、インターネット上のウェブサイトにおいてウェブページのＵＲＬと共に文章等を記録する、ブログ等においてユーザが文章を入力した場合に、ユーザが入力した文章に含まれるキーワードを用いて上記説明で抽出された画像を文章と共に出力する。
【００２２】
本実施形態に係る画像処理装置１０によれば、ユーザが入力した文章から画像の内容を示すキーワードを抽出する。続いて、画像処理装置１０は、ユーザが文章を入力した時刻および位置を検出して、検出した時刻および位置に対応する、予め格納している時刻および位置を示すキーワードを抽出する。そして、画像処理装置１０は、ユーザが入力した文章から抽出したキーワード、文章が入力された時刻および位置に対応するキーワードに対応づけて画像格納部１６０が格納している画像を抽出して出力することができるので、ユーザが入力した文章に含まれるキーワードの内容を適切に反映した画像であって、ユーザが文章を入力した時期に適した画像を、入力した文章とともに表示することができる。
【００２３】
図２は、本実施形態に係る画像格納部１６０の一例を示す。画像格納部１６０は、画像の内容を示すキーワード、時刻を示すキーワード、および位置を示すキーワードに対応づけて画像を格納する。画像格納部１６０が格納する画像の内容を示すキーワードは、画像に含まれるオブジェクトのオブジェクト名、画像に含まれるオブジェクトが存在する地名、および画像に含まれる背景の地名等であってよい。また、時刻を示すキーワードは、画像の撮像年月日、時・分、所定の期間（朝、昼、夜、および夏休み等）、および季節等であってよい。更に、位置を示すキーワードは、画像の撮像位置の国名、地域名、地名、都市名、およびランドマーク名等であってよい。
【００２４】
また、画像格納部１６０は、画像の内容を示すキーワードに対応づけて、時刻を示すキーワードと当該時刻に関連する画像との組み合わせを複数格納してもよい。例えば、画像の内容を示すキーワードが「山」である場合を考える。係る場合においては、画像格納部１６０は、時刻を示すキーワード、例えば、所定の年月日に対応づけて所定の年月日ごとに撮像された「山」の画像を複数格納してよい。また、時刻を示すキーワードは、時刻に対応づけて当該時刻を含む期間を示すキーワードであってもよく、例えば、「朝」、「昼」、「夕方」、「夜」、「春」、「夏」、「秋」、「冬」、「去年」、および「昨日」等のキーワードであってよい。
【００２５】
また、画像格納部１６０は、位置を示すキーワードに更に対応づけて画像を格納してよい。具体的には、画像格納部１６０は、画像の内容を示すキーワードと、当該画像に含まれるオブジェクト等が存在する場所を示すキーワードとに対応づけて画像を格納してよい。例えば、画像の内容が「山」である場合には、画像の内容を示すキーワード「山」と、「山」が存在する位置を示すキーワード、例えば、「八ヶ岳」とに対応づけて、八ヶ岳の画像を格納してよい。係る場合において、画像格納部１６０は、所定の時刻ごとに撮像した八ヶ岳の複数の画像を、画像の内容を示すキーワード（係る場合には「山」）、位置を示すキーワード（係る場合には「八ヶ岳」）、および時刻を示すキーワードに対応づけて格納してよい。
【００２６】
図３は、本実施形態に係る時刻キーワード格納部１２４の一例を示す。時刻キーワード格納部１２４は、時刻に対応づけて、当該時刻を示すキーワードを格納する。また、時刻キーワード格納部１２４は、時刻に対応づけて当該時刻を含む期間を示すキーワードを格納してもよい。ここで、季節は、期間の一例である。具体的には、ユーザが文章を入力した時刻に対応づけて、時刻キーワード格納部１２４は、時刻を示すキーワードを格納してよい。より具体的には、時刻キーワード格納部１２４は、ユーザが文章を入力した年月日、時・分を基準にして、時刻に対応づけて時刻を示すキーワードを格納する。例えば、時刻キーワード格納部１２４は、ユーザが文章を入力した時刻に対応する季節をキーワードとして、当該キーワードをユーザが文章を入力した年月日に対応づけて格納してよい。なお、時刻を示すキーワードに対応付けられる時刻は、年月日、時・分、年月日および時・分であってよい。また、時刻を示すキーワードに対応付けられる時刻は、所定の期間を有する時間帯であってもよい。更に、時刻を示すキーワードに対応付けられる時刻は、年単位、月単位、および日単位の期間であってもよい。
【００２７】
本実施形態に係る画像処理装置１０によれば、ユーザが入力した文章から画像の内容を示すキーワードを抽出する。続いて、画像処理装置１０は、ユーザが文章を入力した時刻を検出して、検出した時刻に対応する、予め格納している時刻を示すキーワードを抽出する。そして、画像処理装置１０は、ユーザが入力した文章から抽出したキーワード、文章が入力された時刻に対応するキーワードに対応づけて画像格納部１６０が格納している画像を抽出して出力することができる。これにより、ユーザが入力した文章に含まれるキーワードの内容を適切に反映した画像であって、文章が入力された時期に適した画像を入力した文章とともに表示することができるので、画像が挿入された文章を、ユーザに違和感を感じさせることなく容易に作成できる。
【００２８】
図４は、本実施形態に係る位置キーワード格納部１１０の一例を示す。位置キーワード格納部１１０は、位置に対応づけて、当該位置を示すキーワードを格納する。位置キーワード格納部１１０は、位置を示すキーワードを、位置を示す緯度および経度に対応づけて格納してよい。具体的には、位置キーワード格納部１１０は、緯度および経度に対応づけて、位置を示すキーワードである、国名および地域名、並びに山、湖、および湿原等の地名、並びに都市名、ランドマーク名、および店名等を格納してよい。
【００２９】
本実施形態に係る画像処理装置１０によれば、ユーザが入力した文章から画像の内容を示すキーワードを抽出する。続いて、画像処理装置１０は、ユーザが文章を入力した位置を検出して、検出した位置に対応する、予め格納している位置を示すキーワードを抽出する。そして、画像処理装置１０は、ユーザが入力した文章から抽出したキーワード、文章が入力された位置に対応するキーワードに対応づけて画像格納部１６０が格納している画像を自動的に抽出して出力することができる。これにより、ユーザが入力した文章に含まれるキーワードの内容を適切に反映した画像であって、文章が入力された位置に適した画像を入力した文章とともに表示することができるので、画像が挿入された文章を、ユーザに違和感を感じさせることなく容易に作成できる。
【００３０】
図５は、本実施形態に係る画像選択ユニット２０の機能構成の一例を示す。画像選択ユニット２０は、重み算出部２００、画像キーワード重み格納部２１０、組み合わせ重み格納部２２０、キーワード生成部２３０、キーワード付与部２３２、オブジェクト抽出部２３４、オブジェクト名付与部２３６、画像重み決定部２４０、文章格納部２５０、文章キーワード頻度算出部２６０、表現態様重み格納部２６２、文章キーワード重み決定部２７０、文章キーワード重み格納部２８０、および画像選択部２９０を有する。また、画像重み決定部２４０は、頻度算出部２４２、頻度重み決定部２４４、位置重み決定部２４６、および大きさ重み決定部２４８を含む。画像選択ユニット２０は、画像抽出部１５０が複数の画像を抽出した場合において、抽出された複数の画像の中から、ユーザが想起したイメージに適した画像を選択する。なお、係る場合において画像抽出部１５０は、抽出した画像に対応づけて画像格納部１６０が格納しているキーワードを以下に述べる重み算出部２００に供給する。
【００３１】
キーワード生成部２３０は、画像格納部１６０に格納されている画像の付帯情報に基づいて画像の内容を示すキーワードを生成する。具体的には、キーワード生成部２３０は、画像格納部１６０が格納している画像に付帯されている付帯情報を抽出する。付帯情報は、例えば、当該画像の撮像日時、撮像場所、撮像モード（接写モード、ポートレートモード、および夜景モード等）、および撮像条件（明度、彩度、および合焦距離等）等であってよい。例えば、夜景モードで撮像された画像に対しては、キーワード生成部２３０は当該画像に対して「夜」をキーワードとして生成する。また、キーワード生成部２３０は、画像の撮像日時から画像が撮像された年、または月、若しくは日をキーワードとして生成してよい。また、キーワード生成部２３０は、画像の撮像日時から、当該画像が撮像された季節をキーワードとして生成してもよい。例えば、キーワード生成部２３０は、３月から４月に撮像された画像には「春」を、６月から８月に撮像された画像には「夏」を、９月から１１月に撮像された画像には「秋」を、そして１２月から２月に撮像された画像には「冬」をそれぞれキーワードとして生成してよい。
【００３２】
また、キーワード生成部２３０は、撮像時刻に基づいて「朝」、「昼」、「夕方」、および「夜」等のキーワードを生成してもよい。更に、キーワード生成部２３０は、撮像場所に基づいて、画像に対して当該画像が撮像された地域名、地名、都市名、および名勝の地名等をキーワードとして生成してもよい。例えば、画像が富士山で撮像された場合には、キーワード生成部２３０は当該画像に対して「富士山」をキーワードとして生成してよい。そして、キーワード生成部２３０は、撮像条件に基づいて、例えば、明度が高い場合には「明るい」等を、彩度が高い場合には「鮮やか」又は「派手」等をキーワードとして生成してもよい。キーワード生成部２３０は、生成したキーワードをキーワード付与部２３２に供給する。キーワード付与部２３２は、キーワード生成部２３０が生成したキーワードを、画像に対応づけて画像格納部１６０に格納する。キーワード付与部２３２は、画像に複数のキーワードを対応づけて、画像格納部１６０に複数のキーワードを画像に対応づけて格納してもよい。
【００３３】
オブジェクト抽出部２３４は、画像格納部１６０が格納している画像に含まれるオブジェクトを抽出する。例えば、オブジェクト抽出部２３４は、エッジ検出等の画像処理を用いてオブジェクトを抽出する。また、オブジェクト抽出部２３４は、画像の空間周波数成分が予め定められた周波数よりも大きい領域と、当該領域を除く領域とに分けてオブジェクトおよび背景を抽出してもよい。オブジェクト抽出部２３４は、抽出したオブジェクトをオブジェクト名付与部２３６に供給する。オブジェクト名付与部２３６は、オブジェクト抽出部２３４が抽出したオブジェクトのオブジェクト名を、画像の内容を示すキーワードとして画像に対応付ける。そして、オブジェクト名付与部２３６は、画像に対応付けたキーワードを画像格納部１６０に格納させる。
【００３４】
例えば、オブジェクト名付与部２３６は、テンプレート画像に対応づけてオブジェクト名を格納するオブジェクトテンプレートデータベースを有していてもよい。オブジェクト名付与部２３６は、オブジェクト抽出部２３４から受け取ったオブジェクトとオブジェクトテンプレートデータベースが格納するテンプレート画像とをマッチングして、マッチしたテンプレート画像に対応づけてオブジェクトテンプレートデータベースが格納しているオブジェクト名を、画像の内容を示すキーワードとして画像に対応付けてよい。例えば、画像に含まれるオブジェクトが犬であることがテンプレート画像とのマッチングにより判明した場合には、オブジェクト名付与部２３６は、「犬」を画像の内容を示すキーワードとして画像に対応付けてよい。また、オブジェクト名付与部２３６は、ユーザが入力したキーワードを、画像に対応づけて画像格納部１６０に格納してもよい。
【００３５】
文章格納部２５０は、複数の文章を予め格納している。具体的には、ユーザが過去に作成した複数の文章を格納する。文章格納部２５０は、文章を文章キーワード頻度算出部２６０および表現態様重み格納部２６２に供給する。文章キーワード頻度算出部２６０は、文章格納部２５０から受け取った複数の文章に含まれるキーワードごとに、当該キーワードの数を算出する。例えば、文章キーワード頻度算出部２６０は、キーワードが「Ａ」である場合には、複数の文章に含まれる「Ａ」というキーワードの数を算出する。文章キーワード頻度算出部２６０は、算出したキーワードごとのキーワードの数を、文章キーワード重み決定部２７０に供給する。なお、文章キーワード頻度算出部２６０が算出する場合のキーワードは、形態素解析等の自然言語処理を用いてキーワードを抽出して、抽出したキーワードごとにキーワードが文章中に出現する回数を算出してよい。
【００３６】
表現態様重み格納部２６２は、文字の書体又は文字のサイズに対応づけて、文字の書体の重み又は文字サイズの重みを格納する。具体的には、表現態様重み格納部２６２は、明朝体、ゴシック体、および行書体等の書体ごとに対応付けられた重みを格納する。また、表現態様重み格納部２６２は、文字のサイズ、斜体であるか否か、および太字であるか否か等の文字の表現態様ごとに対応付けられた重みを格納する。ユーザが文字に対して文字の書体又はサイズ等を変更している場合には、ユーザは、当該文字を他の文字と比較してより強調して表示したいと考えている場合が多い。したがって、例えば、表現態様重み格納部２６２は、文字のサイズが大きい場合には、文字のサイズがより小さい文字のサイズよりも、大きな重みを格納してよい。表現態様重み格納部２６２は、所定のキーワードの書体又はサイズに対応づけて格納している重みを、文章キーワード重み決定部２７０に供給する。
【００３７】
文章キーワード重み決定部２７０は、文章キーワード頻度算出部２６０から受け取ったキーワードごとに、キーワードの数がより多いキーワードにより大きい重みを対応づける。また、文章キーワード重み決定部２７０は、文章格納部２５０が格納している文章に含まれる所定のキーワードの書体又は文字サイズに対応づけて表現態様重み格納部２６２が格納している重みがより大きい場合に、より大きい重みを所定のキーワードに対応付ける。例えば、文章キーワード重み決定部２７０は、文章キーワード頻度算出部２６０が算出したキーワードの重みと、当該キーワードの書体およびサイズに対応づけて表現態様重み格納部２６２が格納している重みとを加算して、当該キーワードの重みを算出してもよい。また、文章キーワード重み決定部２７０は、キーワードの重みに、当該キーワードの書体等に対応づけて表現態様重み格納部２６２が格納している重みを係数として乗じて、当該キーワードの重みを算出してもよい。文章キーワード重み決定部２７０は、キーワードに対応づけて決定した重みを文章キーワード重み格納部２８０に供給する。文章キーワード重み格納部２８０は、文章格納部２５０が格納している文章に含まれるキーワードに対応づけてキーワードの重みを格納する。具体的には、文章キーワード重み格納部２８０は、文章キーワード重み決定部２７０が決定したキーワードごとの重みを受け取って格納する。文章キーワード重み格納部２８０は、画像選択部２９０にキーワードに対応づけて格納する重みを供給する。
【００３８】
これにより、文章キーワード重み決定部２７０は、ユーザが入力することが多いキーワードに、ユーザが入力することが少ないキーワードに比べてより大きな重みを対応付けることができるので、本実施形態に係る画像処理装置１０は、文章に含まれるキーワードに対応付けられた重みを参照することで、ユーザの関心が高く、ユーザが想起することの多いキーワードを的確に把握できる。また、文章キーワード重み決定部２７０は、ユーザが所定のキーワードに設定した文字の書体又はサイズ等に基づいて、所定のキーワードに重み付けできるので、ユーザが文章を入力している時の関心に応じて、適切な重みを文章に含まれるキーワードに対応付けることもできる。
【００３９】
画像キーワード重み格納部２１０は、画像格納部１６０が格納しているキーワードに更に対応づけて、キーワードの重みを格納する。また、画像キーワード重み格納部２１０は、画像重み決定部２４０の制御に基づいて、キーワードの重みを格納してもよい。画像キーワード重み格納部２１０は、キーワードの重みを重み算出部２００に供給する。組み合わせ重み格納部２２０は、画像の内容を示す複数のキーワードの組み合わせに対応づけて、複数のキーワードの組み合わせの重みを格納する。組み合わせ重み格納部２２０は、複数のキーワードの組み合わせの重みを重み算出部２００に供給する。画像重み決定部２４０は、画像格納部１６０から受け取った複数の画像のキーワードのそれぞれについて重みを算出して、算出した重みを画像のキーワードに対応づけて画像キーワード重み格納部２１０に格納させる。具体的には、画像重み決定部２４０は、頻度算出部２４２、頻度重み決定部２４４、位置重み決定部２４６、および大きさ重み決定部２４８を含んでよい。
【００４０】
頻度算出部２４２は、画像格納部１６０が格納している複数の画像において、画像の内容を示すキーワードであるオブジェクト名のオブジェクトごとに、当該オブジェクトが含まれる画像の数を算出する。また、頻度算出部２４２は、画像格納部１６０が格納している複数の画像のそれぞれに対応づけられているキーワードについて、画像格納部１６０が格納している複数の画像に対応づけられている当該キーワードの数を、キーワードごとに算出してもよい。頻度算出部２４２は、算出したオブジェクトごとの当該オブジェクトが含まれる画像の数、および画像に対応づけられているキーワードごとの当該キーワードが複数の画像に含まれる数を、頻度重み決定部２４４に供給する。頻度重み決定部２４４は、頻度算出部２４２がオブジェクトごとに算出した画像の数がより多いオブジェクト名であるキーワードに対応づけて、より大きい重みを画像キーワード重み格納部２１０に格納させる。また、頻度重み決定部２４４は、頻度算出部２４２がキーワードごとに算出した当該キーワードが複数の画像に含まれる数がより多いキーワードに対応づけて、より大きい重みを画像キーワード重み格納部２１０に格納させてもよい。
【００４１】
これにより、ユーザが所定のオブジェクトの画像をより多く撮像している場合に、頻度重み決定部２４４は、当該オブジェクトを含む画像に対してより大きな重みをつけることができるので、ユーザの関心が高いオブジェクトを含む画像に、ユーザの関心が低いオブジェクトを含む画像よりもより大きな重みをつけることができる。
【００４２】
位置重み決定部２４６は、画像格納部１６０が格納している画像の中心位置からより近いオブジェクトのオブジェクト名であるキーワードに対応づけて、より大きい重みを画像キーワード重み格納部２１０に格納させる。例えば、位置重み決定部２４６は、画像に含まれるオブジェクトが画像に対して占める位置を算出する。続いて、位置重み決定部２４６は、画像の中心位置からオブジェクトへの距離を算出する。そして、位置重み決定部２４６は、画像の中心位置からオブジェクトへの距離に対応づけて、距離がより近い場合により大きな重みを当該オブジェクトのオブジェクト名であるキーワードに対応づける。ここで、ユーザが画像を撮像する場合には、画像の中心位置に近い領域にユーザが撮像を所望するオブジェクトが含まれる場合が多い。したがって、本実施形態に係る画像処理装置１０は、位置重み決定部２４６を備えるので、ユーザの関心が高いオブジェクトを含む画像に対して、ユーザの関心が低いオブジェクトを含む画像よりも、より大きな重みを重み付けることができる。
【００４３】
大きさ重み決定部２４８は、画像格納部１６０が格納している画像に対する大きさがより大きいオブジェクトのオブジェクト名であるキーワードに対応づけて、より大きい重みを画像キーワード重み格納部２１０に格納させる。例えば、大きさ重み決定部２４８は、画像の撮像領域の面積と画像に含まれるオブジェクトの面積とを算出する。続いて、大きさ重み決定部２４８は、オブジェクトの面積が画像に占める割合を算出する。そして、大きさ重み決定部２４８は、オブジェクトの面積が画像に占める割合に対応づけて、当該割合がより大きい場合により大きな重みを当該オブジェクトのオブジェクト名であるキーワードに対応付けてよい。
【００４４】
重み算出部２００は、画像抽出部１５０から受け取った画像に対応づけて画像格納部１６０が格納しているキーワードであって、画像キーワード抽出部１４０が抽出したキーワードと同一のキーワードに対応づけて画像キーワード重み格納部２１０が格納しているキーワードの重みを抽出する。そして、重み算出部２００は、抽出したキーワードの重みを、画像ごとに合計して合計値を算出する。また、重み算出部２００は、画像抽出部１５０から受け取った画像に対応づけて画像格納部１６０が格納している複数のキーワードであって、画像キーワード抽出部１４０が抽出したキーワードと同一のキーワードに対応づけて組み合わせ重み格納部２２０が格納している複数のキーワードの組み合わせの重みを抽出する。そして、重み算出部２００は、抽出した複数のキーワードの組み合わせの重みを、画像ごとに合計して合計値を算出する。更に、重み算出部２００は、画像抽出部１５０から受け取った画像に対応づけて画像格納部１６０が格納しているキーワードであって、画像キーワード抽出部１４０が抽出したキーワードと同一のキーワードに対応づけて文章キーワード重み格納部２８０が格納しているキーワードの重みの合計値を算出してもよい。重み算出部２００は、算出した画像ごとの重みを画像選択部２９０に供給する。
【００４５】
画像選択部２９０は、重み算出部２００から受け取った重みの合計値が大きい画像から予め定められた数の画像を、画像抽出部１５０から受け取った画像から選択する。また、画像選択部２９０は、重み算出部２００から受け取った重みの合計値が予め定められた値より大きい画像を、画像抽出部１５０から受け取った画像から選択してもよい。更に、画像選択部２９０は、重み算出部２００から受け取った重みの合計値が最大の画像を、画像抽出部１５０から受け取った画像から選択してもよい。そして、画像選択部２９０は、重み算出部２００から受け取ったキーワードの重みの合計値が同じ画像が複数ある場合には、重み算出部２００が算出した複数のキーワードの組み合わせの重みの合計値がより大きい画像を、画像抽出部１５０から受け取った画像から選択してもよい。また、画像選択部２９０は、重み算出部２００から受け取ったキーワードの重みの合計値が同じ画像が複数ある場合には、重み算出部２００が算出した文章キーワード重み格納部２８０が格納しているキーワードの重みの合計値がより大きい画像を、画像抽出部１５０から受け取った画像から選択してもよい。画像選択部２９０は、選択した画像を画像出力部１８０に供給する。
【００４６】
本実施形態に係る画像処理装置１０は、入力された文章に含まれるキーワードであって、画像に対応付けられたキーワードの重みおよび画像に対応付けられた複数のキーワードの組み合わせの重みの合計値を算出する。そして、画像処理装置１０は、キーワードの重みの合計値が最大の画像、またはキーワードの重みの合計値が同一の画像が複数ある場合には、複数のキーワードの組み合わせの重みの合計値が最大の画像を選択することができる。これにより、画像処理装置１０は、画像抽出部１５０が複数の画像を抽出した場合であっても、抽出した複数の画像の中から、ユーザが入力した文章の内容に適した画像であってユーザが想起したイメージに最も適した画像を自動的に選択できる。そして、画像処理装置１０は、ユーザが入力した文章とともに選択した画像を表示することができる。
【００４７】
図６は、本実施形態に係る画像格納部１６０のデータ構造の一例を示す。画像格納部１６０は、画像の内容を示すキーワードに対応づけて画像を格納する。そして、画像格納部１６０は、キーワード付与部２３２およびオブジェクト名付与部２３６から受け取った少なくとも一つの画像の内容を示すキーワードに対応づけて画像を格納する。更に、画像格納部１６０は、ユーザが画像に対応づけて入力した画像の内容を示すキーワードを、画像に対応づけて格納してもよい。なお、画像に対応づけて画像格納部１６０が格納するキーワードは複数であってよい。
【００４８】
具体的には、画像格納部１６０は、画像ごとに、画像の内容を示すキーワードを少なくとも一つ画像に対応づけて格納している。例えば、画像格納部１６０は、画像３００にキーワードＡ、キーワードＢ、およびキーワードＤを対応づけて格納している。また、画像３１０にキーワードＢ、キーワードＣ、およびキーワードＤを対応づけて格納している。更に、画像格納部１６０は、画像３２０にキーワードＡ、キーワードＣ、およびキーワードＦを、画像３３０にキーワードＧ、キーワードＩ、およびキーワードＫ等を対応づけて格納している。
【００４９】
図７は、本実施形態に係る画像キーワード重み格納部２１０のデータ構造の一例を示す。画像キーワード重み格納部２１０は、画像格納部１６０が格納しているキーワードに対応づけてキーワードの重みを格納する。具体的には、画像キーワード重み格納部２１０は、画像重み決定部２４０から受け取ったキーワードの重みを、キーワードに対応づけて格納する。例えば、画像キーワード重み格納部２１０は、キーワードＡに重み「３」を対応づけて格納している。また、画像キーワード重み格納部２１０は、キーワードＢに重み「２」を対応づけて格納している。そして、画像キーワード重み格納部２１０は、キーワードＣに重み「１」を対応づけて格納している。更に、画像キーワード重み格納部２１０は、キーワードＤに重み「４」を対応づけて格納している。
【００５０】
重み算出部２００は、画像に対応付けられたキーワードの重みを、画像キーワード重み格納部２１０から抽出する。そして、重み算出部２００は、当該画像に対応付けられたキーワードの重みの合計値を算出する。例えば、画像キーワード抽出部１４０が文章入力部１００から入力された文章から抽出したキーワードが、キーワード「Ａ」およびキーワード「Ｄ」であった場合を考える。係る場合において、画像抽出部１５０は、キーワード「Ａ」又はキーワード「Ｄ」の少なくとも一方が対応づけられている画像を、画像格納部１６０から抽出する。すなわち、画像抽出部１５０は、図６の上記説明における画像格納部１６０から、キーワード「Ａ」又はキーワード「Ｄ」の少なくともいずれか一方が対応づけられている画像３００、画像３１０、および画像３２０を抽出する。
【００５１】
そして、重み算出部２００は、画像３００、画像３１０、および画像３２０のそれぞれに対応づけられているキーワード「Ａ」の重みとキーワード「Ｄ」の重みとの合計値を画像ごとに算出する。例えば、画像３００には、キーワード「Ａ」、キーワード「Ｂ」、およびキーワード「Ｄ」が対応づけられている。この場合において、画像３００に対応づけられているキーワードの中で画像キーワード抽出部１４０が抽出したキーワードと同一のキーワードは、キーワード「Ａ」およびキーワード「Ｄ」であるとする。係る場合に重み算出部２００は、画像３００の重みをキーワード「Ａ」の重みとキーワード「Ｄ」の重みとの合計値である「７」と算出する。同様に重み算出部２００は、画像３１０の重みの合計値を「２」と算出する。また、重み算出部２００は、画像３２０の重みの合計値を「３」と算出する。
【００５２】
続いて、画像選択部２９０は、重み算出部２００が算出した画像ごとの重みの合計値を比較して、重みの合計値が最大の画像を選択する。上記した図６および図７の説明においては、重みの合計値が最大である画像３００を画像選択部２９０は選択する。そして、画像出力部１８０は、画像選択部２９０が選択した画像３００を、ユーザが入力した文章と共に表示する。なお、画像選択部２９０は、重み算出部２００が算出した重みの合計値が大きい画像から予め定められた数の画像を選択してもよい。具体的には、画像選択部２９０は、重み算出部２００が算出した重みの合計値の降順に対応づけて複数の画像を整列して、予め定められた数の画像を重みの合計値が最大の画像から順に選択してもよい。また、画像選択部２９０は、重み算出部２００が算出した重みの合計値が予め定められた値より大きい画像を選択してもよい。係る場合において、画像選択部２９０が選択する画像は複数あってもよい。
【００５３】
本実施形態に係る画像処理装置１０によれば、ユーザが入力した文章に含まれるキーワードの少なくとも一つと同一のキーワードに対応づけられている画像を抽出して、画像に対応づけられているキーワードの重みを画像ごとに算出する。そして、画像ごとに算出したキーワードの重みの合計値を比較して画像を自動的に選択できるので、画像抽出部１５０が複数の画像を抽出した場合であっても、抽出した複数の画像の中からユーザが想起したイメージに最も適切な画像を自動的に選択して、ユーザが入力した文章と共に表示することができる。例えば、本実施形態に係る画像処理装置１０によれば、ブログ等においてユーザが入力した文章に含まれるキーワードの重みに基づいて、ユーザが想起している画像を自動的に選択して、文章と共に表示することができる。
【００５４】
図８は、本実施形態に係る組み合わせ重み格納部２２０のデータ構造の一例を示す。組み合わせ重み格納部２２０は、画像の内容を示す複数のキーワードの組み合わせに対応づけて、複数のキーワードの組み合わせの重みを格納する。具体的には、組み合わせ重み格納部２２０は、画像に対応づけられている複数のキーワードのキーワード間の関連に基づいて重みを格納している。より具体的には、画像格納部１６０が格納している複数の画像のうちで、画像に対応づけられている複数のキーワードの組み合わせの数がより多い場合に、当該複数のキーワードの組み合わせにより大きい重みを対応づけて格納する。例えば、ユーザが冬山の画像を頻繁に撮像して、撮像した冬山の複数の画像を画像格納部１６０に格納している場合を考える。係る場合には、画像格納部１６０は「冬」および「山」のキーワードに対応付けられた冬山の画像を、「冬」および「山」のキーワードを除くキーワードに対応付けられた画像よりも多く格納しているので、「冬」および「山」のキーワード間の関連が高いとして、「冬」および「山」のキーワードの組み合わせにより大きい重みを対応づけて格納してよい。
【００５５】
例えば、組み合わせ重み格納部２２０は、キーワード「Ａ」とキーワード「Ｂ」の組み合わせに重み「４」を対応づけて格納している。また、組み合わせ重み格納部２２０は、キーワード「Ａ」とキーワード「Ｄ」の組み合わせに重み「３」を対応づけて格納している。同様に、組み合わせ重み格納部２２０は、キーワード「Ａ」とキーワード「Ｆ」の組み合わせに重み「２」を、キーワード「Ｂ」とキーワード「Ｄ」の組み合わせに重み「５」を、およびキーワード「Ｄ」とキーワード「Ｆ」の組み合わせに重み「１」を対応づけて格納している。なお、組み合わせ重み格納部２２０は、二つのキーワードの組み合わせに限らず、少なくとも二つ以上の複数のキーワードの組み合わせに対応づけて重みを格納してよい。また、画像処理装置１０は、複数のキーワード間の組み合わせの重みを決定する組み合わせ重み決定部を更に備えていてもよい。組み合わせ重み決定部は、画像に対応付けられた複数のキーワードの組み合わせの数を算出して、複数のキーワードの組み合わせの数がより多い組み合わせに、複数のキーワードの組み合わせの数がより少ない組み合わせよりも大きい重みを対応づけてよい。
【００５６】
図９は、本実施形態に係る画像処理装置１０のハードウェア構成の一例を示す。本実施形態に係る画像処理装置１０は、ホスト・コントローラ１５８２により相互に接続されるＣＰＵ１５０５、ＲＡＭ１５２０、グラフィック・コントローラ１５７５、及び表示装置１５８０を有するＣＰＵ周辺部と、入出力コントローラ１５８４によりホスト・コントローラ１５８２に接続される通信インターフェイス１５３０、ハードディスクドライブ１５４０、及びＣＤ−ＲＯＭドライブ１５６０を有する入出力部と、入出力コントローラ１５８４に接続されるＲＯＭ１５１０、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０を有するレガシー入出力部とを備える。
【００５７】
ホスト・コントローラ１５８２は、ＲＡＭ１５２０と、高い転送レートでＲＡＭ１５２０をアクセスするＣＰＵ１５０５及びグラフィック・コントローラ１５７５とを接続する。ＣＰＵ１５０５は、ＲＯＭ１５１０及びＲＡＭ１５２０に格納されたプログラムに基づいて動作して、各部を制御する。グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等がＲＡＭ１５２０内に設けたフレーム・バッファ上に生成する画像データを取得して、表示装置１５８０上に表示させる。これに代えて、グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。
【００５８】
入出力コントローラ１５８４は、ホスト・コントローラ１５８２と、比較的高速な入出力装置である通信インターフェイス１５３０、ハードディスクドライブ１５４０、ＣＤ−ＲＯＭドライブ１５６０を接続する。通信インターフェイス１５３０は、ネットワークを介して他の装置と通信する。ハードディスクドライブ１５４０は、画像処理装置１０内のＣＰＵ１５０５が使用するプログラム及びデータを格納する。ＣＤ−ＲＯＭドライブ１５６０は、ＣＤ−ＲＯＭ１５９５からプログラム又はデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０に提供する。
【００５９】
また、入出力コントローラ１５８４には、ＲＯＭ１５１０と、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０の比較的低速な入出力装置とが接続される。ＲＯＭ１５１０は、画像処理装置１０が起動時に実行するブート・プログラム、画像処理装置１０のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ１５５０は、フレキシブルディスク１５９０からプログラム又はデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０に提供する。入出力チップ１５７０は、フレキシブルディスク・ドライブ１５５０、例えばパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。
【００６０】
ＲＡＭ１５２０を介してハードディスクドライブ１５４０に提供される画像処理プログラムは、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５、又はＩＣカード等の記録媒体に格納されて利用者によって提供される。画像処理プログラムは、記録媒体から読み出され、ＲＡＭ１５２０を介して画像処理装置１０内のハードディスクドライブ１５４０にインストールされ、ＣＰＵ１５０５において実行される。画像処理装置１０にインストールされて実行される画像処理プログラムは、ＣＰＵ１５０５等に働きかけて、画像処理装置１０を、図１から図４にかけて説明した文章入力部１００、画像入力部１０２、位置キーワード格納部１１０、時刻検出部１２０、時刻キーワード抽出部１２２、時刻キーワード格納部１２４、位置検出部１３０、位置キーワード抽出部１３２、画像キーワード抽出部１４０、画像抽出部１５０、画像格納部１６０、画像出力部１８０、および画像選択ユニット２０として機能させる。
【００６１】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加え得ることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【図面の簡単な説明】
【００６２】
【図１】画像処理装置１０の機能構成を示すブロック図である。
【図２】画像格納部１６０を示す図である。
【図３】時刻キーワード格納部１２４を示す図である。
【図４】位置キーワード格納部１１０を示す図である。
【図５】画像選択ユニット２０の機能構成を示すブロック図である。
【図６】画像格納部１６０を示す図である。
【図７】画像キーワード重み格納部２１０を示す図である。
【図８】組み合わせ重み格納部２２０を示す図である。
【図９】画像処理装置１０のハードウェア構成を示すブロック図である。
【符号の説明】
【００６３】
１０ 画像処理装置
２０ 画像選択ユニット
１００ 文章入力部
１０２ 画像入力部
１１０ 位置キーワード格納部
１２０ 時刻検出部
１２２ 時刻キーワード抽出部
１２４ 時刻キーワード格納部
１３０ 位置検出部
１３２ 位置キーワード抽出部
１４０ 画像キーワード抽出部
１５０ 画像抽出部
１６０ 画像格納部
１８０ 画像出力部
２００ 重み算出部
２１０ 画像キーワード重み格納部
２２０ 組み合わせ重み格納部
２３０ キーワード生成部
２３２ キーワード付与部
２３４ オブジェクト抽出部
２３６ オブジェクト名付与部
２４０ 画像重み決定部
２４２ 頻度算出部
２４４ 頻度重み決定部
２４６ 位置重み決定部
２４８ 大きさ重み決定部
２５０ 文章格納部
２６０ 文章キーワード頻度算出部
２６２ 表現態様重み格納部
２７０ 文章キーワード重み決定部
２８０ 文章キーワード重み格納部
２９０ 画像選択部
３００、３１０、３２０、３３０ 画像
１５０５ ＣＰＵ
１５１０ ＲＯＭ
１５２０ ＲＡＭ
１５３０ 通信インターフェイス
１５４０ ハードディスクドライブ
１５５０ フレキシブルディスク・ドライブ
１５６０ ＣＤ−ＲＯＭドライブ
１５７０ 入出力チップ
１５７５ グラフィック・コントローラ
１５８０ 表示装置
１５８２ ホスト・コントローラ
１５８４ 入出力コントローラ
１５９０ フレキシブルディスク
１５９５ ＣＤ−ＲＯＭ
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、および画像処理プログラムに関する。特に、本発明は、画像を入力された文章と共に出力する画像処理装置、画像処理方法、および画像処理プログラムに関する。
【背景技術】
【０００２】
文書の文字列に適合した画像を容易に選択することを目的とした文書作成装置が提案されている（例えば、特許文献１参照。）。特許文献１に記載の発明では、画像を挿入した文章を作成する場合に、まず、使用者が入力した文字列の属性を決定する。そして、予め文字列の属性に対応付けられた画像の中から、使用者が入力した文字列の属性と一致する複数の画像を抽出する。続いて、抽出した複数の画像を一覧表示してユーザにユーザが使用を所望する画像を選択させる。
【特許文献１】特開２０００−１７２６８８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
特許文献１に記載の発明においては、文章に含まれる文字列の属性に基づいて画像を抽出するので、文章及び文字列に対応した複数の画像を抽出できる。しかしながら、文字列の属性から画像を抽出する場合には、ユーザが文章を入力している時期および場所に対応した適切な画像を抽出することは困難な場合がある。
【０００４】
そこで本発明は、上記課題を解決することができる画像処理装置、画像処理方法、および画像処理プログラムを提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。
【課題を解決するための手段】
【０００５】
上記課題を解決するために、本発明の第１の形態においては、画像処理装置であって、画像の内容を示すキーワード及び時刻を示すキーワードに対応づけて、画像を格納する画像格納部と、入力された文章から画像格納部が格納しているキーワードを抽出する画像キーワード抽出部と、文章が入力された時刻を検出する時刻検出部と、時刻に対応づけて、当該時刻を示すキーワードを格納する時刻キーワード格納部と、時刻検出部が検出した時刻に対応づけて時刻キーワード格納部が格納しているキーワードを抽出する時刻キーワード抽出部と、画像キーワード抽出部が抽出したキーワード及び時刻キーワード抽出部が抽出したキーワードに対応づけて画像格納部が格納している画像を抽出する画像抽出部と、画像抽出部が抽出した画像を、入力された文章とともに出力する画像出力部とを備える。
【０００６】
また、画像格納部は、画像の内容を示すキーワードに対応づけて、時刻を示すキーワードと当該時刻に関連する画像との組み合わせを複数格納していてもよい。そして、時刻キーワード格納部は、時刻に対応づけて、当該時刻を含む期間を示すキーワードを格納しており、画像格納部は、期間を示すキーワードに対応づけて、当該期間に関連する画像を格納していてもよい。更に、時刻キーワード格納部は、時刻に対応づけて、当該時刻を含む季節を示すキーワードを格納しており、画像格納部は、季節を示すキーワードに対応づけて、当該季節に関連する画像を格納していてもよい。
【０００７】
更に、文章が入力された位置を検出する位置検出部と、位置に対応づけて、当該位置を示すキーワードを格納する位置キーワード格納部と、位置検出部が検出した位置に対応づけて位置キーワード格納部が格納しているキーワードを抽出する位置キーワード抽出部とをさらに備え、画像格納部は、位置を示すキーワードにさらに対応づけて、画像を格納しており、画像抽出部は、位置キーワード抽出部が抽出したキーワードにさらに対応づけて画像格納部が格納している画像を抽出してもよい。また、画像格納部は、画像の内容を示すキーワード及び時刻を示すキーワードに対応づけて、位置を示すキーワードと当該位置に関連する画像との組み合わせを複数格納していてもよい。
【０００８】
また、本発明の第２の形態においては、画像処理方法であって、画像の内容を示すキーワード及び時刻を示すキーワードに対応づけて、画像を画像格納部に格納する画像格納段階と、入力された文章から画像格納部が格納しているキーワードを抽出する画像キーワード抽出段階と、文章が入力された時刻を検出する時刻検出段階と、時刻に対応づけて、当該時刻を示すキーワードを時刻キーワード格納部に格納する時刻キーワード格納段階と、時刻検出段階が検出した時刻に対応づけて時刻キーワード格納部が格納しているキーワードを抽出する時刻キーワード抽出段階と、画像キーワード抽出段階が抽出したキーワード及び時刻キーワード抽出段階が抽出したキーワードに対応づけて画像格納部が格納している画像を抽出する画像抽出段階と、画像抽出段階が抽出した画像を、入力された文章とともに出力する画像出力段階とを備える。
【０００９】
また、本発明の第３の形態においては、画像を入力された文章と共に出力する画像処理装置用の画像処理プログラムであって、画像処理装置を、画像の内容を示すキーワード及び時刻を示すキーワードに対応づけて、画像を格納する画像格納部と、入力された文章から画像格納部が格納しているキーワードを抽出する画像キーワード抽出部と、文章が入力された時刻を検出する時刻検出部と、時刻に対応づけて、当該時刻を示すキーワードを格納する時刻キーワード格納部と、時刻検出部が検出した時刻に対応づけて時刻キーワード格納部が格納しているキーワードを抽出する時刻キーワード抽出部と、画像キーワード抽出部が抽出したキーワード及び時刻キーワード抽出部が抽出したキーワードに対応づけて画像格納部が格納している画像を抽出する画像抽出部と、画像抽出部が抽出した画像を、入力された文章とともに出力する画像出力部として機能させる。
【００１０】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【発明の効果】
【００１１】
本発明によれば、画像処理装置は、ユーザが入力した文章に含まれる画像の内容を示すキーワードを抽出する。また、画像処理装置は、文章が入力された時刻を検出して、検出した時刻に対応付けられた時刻を示すキーワードを抽出する。続いて、画像処理装置は、画像内容を示すキーワード及び抽出した時刻を示すキーワードに対応づけられている画像を抽出して表示することができる。これにより、ユーザが文章を入力すると、入力した文章の内容を適切に表す画像であって文章を入力した時期に適した画像を、文章と共に表示することができる。
【発明を実施するための最良の形態】
【００１２】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００１３】
図１は、本発明の一実施形態に係る画像処理装置１０の機能構成の一例を示す。画像処理装置１０は、文章入力部１００、画像入力部１０２、位置キーワード格納部１１０、時刻検出部１２０、時刻キーワード抽出部１２２、時刻キーワード格納部１２４、位置検出部１３０、位置キーワード抽出部１３２、画像キーワード抽出部１４０、画像抽出部１５０、画像格納部１６０、画像出力部１８０、および画像選択ユニット２０を備える。
【００１４】
本実施形態に係る画像処理装置１０は、ユーザが入力した文章に含まれる画像内容を示すキーワードを抽出する。そして、画像処理装置１０は、文章が入力された時刻を検出して、検出した時刻に対応付けられた時刻を示すキーワードを抽出する。続いて、画像処理装置１０は、画像内容を示すキーワードおよび抽出した時刻を示すキーワードに対応づけられている画像を抽出して当該画像を出力することにより、ユーザが文章を入力した時期に適した画像であって、ユーザが想起したイメージどおりの画像を抽出して、抽出した画像をユーザが入力した文章とともに表示することを目的とする。
【００１５】
文章入力部１００は、画像処理装置１０に文章を入力する。文章入力部１００は、入力した文章を画像キーワード抽出部１４０に供給する。また、文章入力部１００は、文章が入力された旨の情報を時刻検出部１２０および位置検出部１３０に供給する。更に、文章入力部１００は、入力した文章を、画像出力部１８０に供給する。画像入力部１０２は、画像処理装置１０に画像を入力する。そして、画像入力部１０２は、入力した画像を画像格納部１６０に供給する。画像格納部１６０は、画像の内容を示すキーワードおよび時刻を示すキーワードに対応づけて画像を格納する。画像格納部１６０が格納する画像は、ユーザが過去に撮像した画像、インターネット等のネットワークを介して画像入力部１０２が受け取った画像、およびユーザが作成した画像等であってよい。なお、画像の内容を示すキーワードは、画像に含まれるオブジェクトのオブジェクト名を表すキーワード、画像に含まれる背景を表すキーワード、および画像に付帯されている画像撮像時の撮像条件に基づいて決定されるキーワード等であってよい。
【００１６】
また、画像格納部１６０は、画像の内容を示すキーワードに対応づけて、時刻を示すキーワードと当該時刻に関連する画像との組み合わせを複数格納してもよい。更に、画像格納部１６０は、期間を示すキーワードに対応づけて、当該期間に関連する画像を格納してもよい。ここで、春夏秋冬などの季節は期間の一例である。また、画像格納部１６０は、位置を示すキーワードに更に対応づけて画像を格納してもよく、画像内容を示すキーワードおよび時刻を示すキーワードに対応づけて、位置を示すキーワードと当該位置に関連する画像との組み合わせを複数格納していてもよい。位置は、例えば、緯度経度で表される位置であってよい。そして、位置を示すキーワードは、地域名、名勝地の地名、および店名等であってよい。画像格納部１６０は、画像抽出部１５０の制御に基づいて、格納している画像を画像抽出部１５０に供給する。
【００１７】
画像キーワード抽出部１４０は、入力された文章から画像格納部１６０が格納しているキーワードを抽出する。具体的には、画像キーワード抽出部１４０は、文章入力部１００から受け取った文章を自然言語処理等の処理方法を用いて、文章から画像格納部１６０が格納している画像内容を示すキーワードを抽出する。また、画像キーワード抽出部１４０は、ユーザが入力した文章から時刻を示すキーワードおよび位置を示すキーワードを抽出してもよい。例えば、画像キーワード抽出部１４０は、文章入力部１００から受け取った文章に含まれるキーワードと画像格納部１６０が格納するキーワードとを比較して、画像格納部１６０が格納するキーワードを文章から抽出してよい。画像キーワード抽出部１４０は、抽出したキーワードを画像抽出部１５０に供給する。時刻検出部１２０は、文章が入力された時刻を検出する。具体的には、文章入力部１００から文章が入力された旨を示す情報を受け取り、当該情報を受け取った時刻を時刻検出部１２０が検出する。なお、時刻とは、年月日を含む時刻であってよい。例えば、時刻検出部１２０は、画像処理装置１０が内蔵するカレンダー機能および時計機能等から年月日を含む時刻を検出してよい。時刻検出部１２０は、検出した時刻を時刻キーワード抽出部１２２に供給する。
【００１８】
時刻キーワード格納部１２４は、時刻に対応づけて時刻を示すキーワードを格納する。また、時刻キーワード格納部１２４は、時刻に対応づけて当該時刻を含む期間を示すキーワードを格納してもよい。なお、当該時刻を含む季節を示すキーワードは、期間を示すキーワードの一例である。時刻キーワード格納部１２４は、格納しているキーワードを時刻キーワード抽出部１２２の制御に基づいて、時刻キーワード抽出部１２２に供給する。時刻キーワード抽出部１２２は、時刻検出部１２０から受け取った時刻に対応づけて時刻キーワード格納部１２４が格納している時刻を示すキーワードを抽出する。時刻キーワード抽出部１２２は、抽出した時刻を示すキーワードを画像抽出部１５０に供給する。
【００１９】
位置検出部１３０は、文章が入力された位置を検出する。具体的には、位置検出部１３０は、文章入力部１００から文章が入力された旨の情報を受け取った場合に、当該文章が入力された位置を示す情報を検出する。例えば、位置検出部１３０は、ＧＰＳを利用して文章が入力された位置を検出してよい。位置検出部１３０は、検出した位置を示す情報を位置キーワード抽出部１３２に供給する。位置キーワード格納部１１０は、位置に対応づけて、当該位置を示すキーワードを格納する。位置キーワード格納部１１０は、位置キーワード抽出部１３２の制御に基づいて、位置キーワード抽出部１３２に位置を示すキーワードを供給する。位置キーワード抽出部１３２は、位置検出部１３０から受け取った位置に対応づけて位置キーワード格納部１１０が格納している位置を示すキーワードを抽出する。位置キーワード抽出部１３２は、抽出して位置を示すキーワードを画像抽出部１５０に供給する。
【００２０】
画像抽出部１５０は、画像キーワード抽出部１４０が抽出した画像の内容を示すキーワードおよび時刻キーワード抽出部１２２が抽出した時刻を示すキーワードに対応づけて画像格納部１６０が格納している画像を抽出する。また、画像抽出部１５０は、位置キーワード抽出部１３２が抽出した位置を示すキーワードに更に対応づけて画像格納部１６０が格納している画像を抽出してもよい。画像抽出部１５０は、抽出した画像を画像出力部１８０に供給する。また、画像抽出部１５０は、複数の画像を抽出した場合には、抽出した複数の画像を画像選択ユニット２０に供給してもよい。画像選択ユニット２０は、画像抽出部１５０から受け取った複数の画像の中から、ユーザが想起したイメージに適した画像を選択する。画像選択ユニット２０は、選択した画像を画像出力部１８０に供給する。また、画像選択ユニット２０は、画像格納部１６０が格納している画像に、画像の内容を示すキーワードを付与して、画像格納部１６０に格納してもよい。
【００２１】
画像出力部１８０は、画像抽出部１５０が抽出した画像を文章入力部１００から受け取った文章と共に出力する。例えば、画像出力部１８０は、モニタ等に文章と共に画像を出力する。具体的には、画像出力部１８０は、インターネット上のウェブサイトにおいてウェブページのＵＲＬと共に文章等を記録する、ブログ等においてユーザが文章を入力した場合に、ユーザが入力した文章に含まれるキーワードを用いて上記説明で抽出された画像を文章と共に出力する。
【００２２】
本実施形態に係る画像処理装置１０によれば、ユーザが入力した文章から画像の内容を示すキーワードを抽出する。続いて、画像処理装置１０は、ユーザが文章を入力した時刻および位置を検出して、検出した時刻および位置に対応する、予め格納している時刻および位置を示すキーワードを抽出する。そして、画像処理装置１０は、ユーザが入力した文章から抽出したキーワード、文章が入力された時刻および位置に対応するキーワードに対応づけて画像格納部１６０が格納している画像を抽出して出力することができるので、ユーザが入力した文章に含まれるキーワードの内容を適切に反映した画像であって、ユーザが文章を入力した時期に適した画像を、入力した文章とともに表示することができる。
【００２３】
図２は、本実施形態に係る画像格納部１６０の一例を示す。画像格納部１６０は、画像の内容を示すキーワード、時刻を示すキーワード、および位置を示すキーワードに対応づけて画像を格納する。画像格納部１６０が格納する画像の内容を示すキーワードは、画像に含まれるオブジェクトのオブジェクト名、画像に含まれるオブジェクトが存在する地名、および画像に含まれる背景の地名等であってよい。また、時刻を示すキーワードは、画像の撮像年月日、時・分、所定の期間（朝、昼、夜、および夏休み等）、および季節等であってよい。更に、位置を示すキーワードは、画像の撮像位置の国名、地域名、地名、都市名、およびランドマーク名等であってよい。
【００２４】
また、画像格納部１６０は、画像の内容を示すキーワードに対応づけて、時刻を示すキーワードと当該時刻に関連する画像との組み合わせを複数格納してもよい。例えば、画像の内容を示すキーワードが「山」である場合を考える。係る場合においては、画像格納部１６０は、時刻を示すキーワード、例えば、所定の年月日に対応づけて所定の年月日ごとに撮像された「山」の画像を複数格納してよい。また、時刻を示すキーワードは、時刻に対応づけて当該時刻を含む期間を示すキーワードであってもよく、例えば、「朝」、「昼」、「夕方」、「夜」、「春」、「夏」、「秋」、「冬」、「去年」、および「昨日」等のキーワードであってよい。
【００２５】
また、画像格納部１６０は、位置を示すキーワードに更に対応づけて画像を格納してよい。具体的には、画像格納部１６０は、画像の内容を示すキーワードと、当該画像に含まれるオブジェクト等が存在する場所を示すキーワードとに対応づけて画像を格納してよい。例えば、画像の内容が「山」である場合には、画像の内容を示すキーワード「山」と、「山」が存在する位置を示すキーワード、例えば、「八ヶ岳」とに対応づけて、八ヶ岳の画像を格納してよい。係る場合において、画像格納部１６０は、所定の時刻ごとに撮像した八ヶ岳の複数の画像を、画像の内容を示すキーワード（係る場合には「山」）、位置を示すキーワード（係る場合には「八ヶ岳」）、および時刻を示すキーワードに対応づけて格納してよい。
【００２６】
図３は、本実施形態に係る時刻キーワード格納部１２４の一例を示す。時刻キーワード格納部１２４は、時刻に対応づけて、当該時刻を示すキーワードを格納する。また、時刻キーワード格納部１２４は、時刻に対応づけて当該時刻を含む期間を示すキーワードを格納してもよい。ここで、季節は、期間の一例である。具体的には、ユーザが文章を入力した時刻に対応づけて、時刻キーワード格納部１２４は、時刻を示すキーワードを格納してよい。より具体的には、時刻キーワード格納部１２４は、ユーザが文章を入力した年月日、時・分を基準にして、時刻に対応づけて時刻を示すキーワードを格納する。例えば、時刻キーワード格納部１２４は、ユーザが文章を入力した時刻に対応する季節をキーワードとして、当該キーワードをユーザが文章を入力した年月日に対応づけて格納してよい。なお、時刻を示すキーワードに対応付けられる時刻は、年月日、時・分、年月日および時・分であってよい。また、時刻を示すキーワードに対応付けられる時刻は、所定の期間を有する時間帯であってもよい。更に、時刻を示すキーワードに対応付けられる時刻は、年単位、月単位、および日単位の期間であってもよい。
【００２７】
本実施形態に係る画像処理装置１０によれば、ユーザが入力した文章から画像の内容を示すキーワードを抽出する。続いて、画像処理装置１０は、ユーザが文章を入力した時刻を検出して、検出した時刻に対応する、予め格納している時刻を示すキーワードを抽出する。そして、画像処理装置１０は、ユーザが入力した文章から抽出したキーワード、文章が入力された時刻に対応するキーワードに対応づけて画像格納部１６０が格納している画像を抽出して出力することができる。これにより、ユーザが入力した文章に含まれるキーワードの内容を適切に反映した画像であって、文章が入力された時期に適した画像を入力した文章とともに表示することができるので、画像が挿入された文章を、ユーザに違和感を感じさせることなく容易に作成できる。
【００２８】
図４は、本実施形態に係る位置キーワード格納部１１０の一例を示す。位置キーワード格納部１１０は、位置に対応づけて、当該位置を示すキーワードを格納する。位置キーワード格納部１１０は、位置を示すキーワードを、位置を示す緯度および経度に対応づけて格納してよい。具体的には、位置キーワード格納部１１０は、緯度および経度に対応づけて、位置を示すキーワードである、国名および地域名、並びに山、湖、および湿原等の地名、並びに都市名、ランドマーク名、および店名等を格納してよい。
【００２９】
本実施形態に係る画像処理装置１０によれば、ユーザが入力した文章から画像の内容を示すキーワードを抽出する。続いて、画像処理装置１０は、ユーザが文章を入力した位置を検出して、検出した位置に対応する、予め格納している位置を示すキーワードを抽出する。そして、画像処理装置１０は、ユーザが入力した文章から抽出したキーワード、文章が入力された位置に対応するキーワードに対応づけて画像格納部１６０が格納している画像を自動的に抽出して出力することができる。これにより、ユーザが入力した文章に含まれるキーワードの内容を適切に反映した画像であって、文章が入力された位置に適した画像を入力した文章とともに表示することができるので、画像が挿入された文章を、ユーザに違和感を感じさせることなく容易に作成できる。
【００３０】
図５は、本実施形態に係る画像選択ユニット２０の機能構成の一例を示す。画像選択ユニット２０は、重み算出部２００、画像キーワード重み格納部２１０、組み合わせ重み格納部２２０、キーワード生成部２３０、キーワード付与部２３２、オブジェクト抽出部２３４、オブジェクト名付与部２３６、画像重み決定部２４０、文章格納部２５０、文章キーワード頻度算出部２６０、表現態様重み格納部２６２、文章キーワード重み決定部２７０、文章キーワード重み格納部２８０、および画像選択部２９０を有する。また、画像重み決定部２４０は、頻度算出部２４２、頻度重み決定部２４４、位置重み決定部２４６、および大きさ重み決定部２４８を含む。画像選択ユニット２０は、画像抽出部１５０が複数の画像を抽出した場合において、抽出された複数の画像の中から、ユーザが想起したイメージに適した画像を選択する。なお、係る場合において画像抽出部１５０は、抽出した画像に対応づけて画像格納部１６０が格納しているキーワードを以下に述べる重み算出部２００に供給する。
【００３１】
キーワード生成部２３０は、画像格納部１６０に格納されている画像の付帯情報に基づいて画像の内容を示すキーワードを生成する。具体的には、キーワード生成部２３０は、画像格納部１６０が格納している画像に付帯されている付帯情報を抽出する。付帯情報は、例えば、当該画像の撮像日時、撮像場所、撮像モード（接写モード、ポートレートモード、および夜景モード等）、および撮像条件（明度、彩度、および合焦距離等）等であってよい。例えば、夜景モードで撮像された画像に対しては、キーワード生成部２３０は当該画像に対して「夜」をキーワードとして生成する。また、キーワード生成部２３０は、画像の撮像日時から画像が撮像された年、または月、若しくは日をキーワードとして生成してよい。また、キーワード生成部２３０は、画像の撮像日時から、当該画像が撮像された季節をキーワードとして生成してもよい。例えば、キーワード生成部２３０は、３月から４月に撮像された画像には「春」を、６月から８月に撮像された画像には「夏」を、９月から１１月に撮像された画像には「秋」を、そして１２月から２月に撮像された画像には「冬」をそれぞれキーワードとして生成してよい。
【００３２】
また、キーワード生成部２３０は、撮像時刻に基づいて「朝」、「昼」、「夕方」、および「夜」等のキーワードを生成してもよい。更に、キーワード生成部２３０は、撮像場所に基づいて、画像に対して当該画像が撮像された地域名、地名、都市名、および名勝の地名等をキーワードとして生成してもよい。例えば、画像が富士山で撮像された場合には、キーワード生成部２３０は当該画像に対して「富士山」をキーワードとして生成してよい。そして、キーワード生成部２３０は、撮像条件に基づいて、例えば、明度が高い場合には「明るい」等を、彩度が高い場合には「鮮やか」又は「派手」等をキーワードとして生成してもよい。キーワード生成部２３０は、生成したキーワードをキーワード付与部２３２に供給する。キーワード付与部２３２は、キーワード生成部２３０が生成したキーワードを、画像に対応づけて画像格納部１６０に格納する。キーワード付与部２３２は、画像に複数のキーワードを対応づけて、画像格納部１６０に複数のキーワードを画像に対応づけて格納してもよい。
【００３３】
オブジェクト抽出部２３４は、画像格納部１６０が格納している画像に含まれるオブジェクトを抽出する。例えば、オブジェクト抽出部２３４は、エッジ検出等の画像処理を用いてオブジェクトを抽出する。また、オブジェクト抽出部２３４は、画像の空間周波数成分が予め定められた周波数よりも大きい領域と、当該領域を除く領域とに分けてオブジェクトおよび背景を抽出してもよい。オブジェクト抽出部２３４は、抽出したオブジェクトをオブジェクト名付与部２３６に供給する。オブジェクト名付与部２３６は、オブジェクト抽出部２３４が抽出したオブジェクトのオブジェクト名を、画像の内容を示すキーワードとして画像に対応付ける。そして、オブジェクト名付与部２３６は、画像に対応付けたキーワードを画像格納部１６０に格納させる。
【００３４】
例えば、オブジェクト名付与部２３６は、テンプレート画像に対応づけてオブジェクト名を格納するオブジェクトテンプレートデータベースを有していてもよい。オブジェクト名付与部２３６は、オブジェクト抽出部２３４から受け取ったオブジェクトとオブジェクトテンプレートデータベースが格納するテンプレート画像とをマッチングして、マッチしたテンプレート画像に対応づけてオブジェクトテンプレートデータベースが格納しているオブジェクト名を、画像の内容を示すキーワードとして画像に対応付けてよい。例えば、画像に含まれるオブジェクトが犬であることがテンプレート画像とのマッチングにより判明した場合には、オブジェクト名付与部２３６は、「犬」を画像の内容を示すキーワードとして画像に対応付けてよい。また、オブジェクト名付与部２３６は、ユーザが入力したキーワードを、画像に対応づけて画像格納部１６０に格納してもよい。
【００３５】
文章格納部２５０は、複数の文章を予め格納している。具体的には、ユーザが過去に作成した複数の文章を格納する。文章格納部２５０は、文章を文章キーワード頻度算出部２６０および表現態様重み格納部２６２に供給する。文章キーワード頻度算出部２６０は、文章格納部２５０から受け取った複数の文章に含まれるキーワードごとに、当該キーワードの数を算出する。例えば、文章キーワード頻度算出部２６０は、キーワードが「Ａ」である場合には、複数の文章に含まれる「Ａ」というキーワードの数を算出する。文章キーワード頻度算出部２６０は、算出したキーワードごとのキーワードの数を、文章キーワード重み決定部２７０に供給する。なお、文章キーワード頻度算出部２６０が算出する場合のキーワードは、形態素解析等の自然言語処理を用いてキーワードを抽出して、抽出したキーワードごとにキーワードが文章中に出現する回数を算出してよい。
【００３６】
表現態様重み格納部２６２は、文字の書体又は文字のサイズに対応づけて、文字の書体の重み又は文字サイズの重みを格納する。具体的には、表現態様重み格納部２６２は、明朝体、ゴシック体、および行書体等の書体ごとに対応付けられた重みを格納する。また、表現態様重み格納部２６２は、文字のサイズ、斜体であるか否か、および太字であるか否か等の文字の表現態様ごとに対応付けられた重みを格納する。ユーザが文字に対して文字の書体又はサイズ等を変更している場合には、ユーザは、当該文字を他の文字と比較してより強調して表示したいと考えている場合が多い。したがって、例えば、表現態様重み格納部２６２は、文字のサイズが大きい場合には、文字のサイズがより小さい文字のサイズよりも、大きな重みを格納してよい。表現態様重み格納部２６２は、所定のキーワードの書体又はサイズに対応づけて格納している重みを、文章キーワード重み決定部２７０に供給する。
【００３７】
文章キーワード重み決定部２７０は、文章キーワード頻度算出部２６０から受け取ったキーワードごとに、キーワードの数がより多いキーワードにより大きい重みを対応づける。また、文章キーワード重み決定部２７０は、文章格納部２５０が格納している文章に含まれる所定のキーワードの書体又は文字サイズに対応づけて表現態様重み格納部２６２が格納している重みがより大きい場合に、より大きい重みを所定のキーワードに対応付ける。例えば、文章キーワード重み決定部２７０は、文章キーワード頻度算出部２６０が算出したキーワードの重みと、当該キーワードの書体およびサイズに対応づけて表現態様重み格納部２６２が格納している重みとを加算して、当該キーワードの重みを算出してもよい。また、文章キーワード重み決定部２７０は、キーワードの重みに、当該キーワードの書体等に対応づけて表現態様重み格納部２６２が格納している重みを係数として乗じて、当該キーワードの重みを算出してもよい。文章キーワード重み決定部２７０は、キーワードに対応づけて決定した重みを文章キーワード重み格納部２８０に供給する。文章キーワード重み格納部２８０は、文章格納部２５０が格納している文章に含まれるキーワードに対応づけてキーワードの重みを格納する。具体的には、文章キーワード重み格納部２８０は、文章キーワード重み決定部２７０が決定したキーワードごとの重みを受け取って格納する。文章キーワード重み格納部２８０は、画像選択部２９０にキーワードに対応づけて格納する重みを供給する。
【００３８】
これにより、文章キーワード重み決定部２７０は、ユーザが入力することが多いキーワードに、ユーザが入力することが少ないキーワードに比べてより大きな重みを対応付けることができるので、本実施形態に係る画像処理装置１０は、文章に含まれるキーワードに対応付けられた重みを参照することで、ユーザの関心が高く、ユーザが想起することの多いキーワードを的確に把握できる。また、文章キーワード重み決定部２７０は、ユーザが所定のキーワードに設定した文字の書体又はサイズ等に基づいて、所定のキーワードに重み付けできるので、ユーザが文章を入力している時の関心に応じて、適切な重みを文章に含まれるキーワードに対応付けることもできる。
【００３９】
画像キーワード重み格納部２１０は、画像格納部１６０が格納しているキーワードに更に対応づけて、キーワードの重みを格納する。また、画像キーワード重み格納部２１０は、画像重み決定部２４０の制御に基づいて、キーワードの重みを格納してもよい。画像キーワード重み格納部２１０は、キーワードの重みを重み算出部２００に供給する。組み合わせ重み格納部２２０は、画像の内容を示す複数のキーワードの組み合わせに対応づけて、複数のキーワードの組み合わせの重みを格納する。組み合わせ重み格納部２２０は、複数のキーワードの組み合わせの重みを重み算出部２００に供給する。画像重み決定部２４０は、画像格納部１６０から受け取った複数の画像のキーワードのそれぞれについて重みを算出して、算出した重みを画像のキーワードに対応づけて画像キーワード重み格納部２１０に格納させる。具体的には、画像重み決定部２４０は、頻度算出部２４２、頻度重み決定部２４４、位置重み決定部２４６、および大きさ重み決定部２４８を含んでよい。
【００４０】
頻度算出部２４２は、画像格納部１６０が格納している複数の画像において、画像の内容を示すキーワードであるオブジェクト名のオブジェクトごとに、当該オブジェクトが含まれる画像の数を算出する。また、頻度算出部２４２は、画像格納部１６０が格納している複数の画像のそれぞれに対応づけられているキーワードについて、画像格納部１６０が格納している複数の画像に対応づけられている当該キーワードの数を、キーワードごとに算出してもよい。頻度算出部２４２は、算出したオブジェクトごとの当該オブジェクトが含まれる画像の数、および画像に対応づけられているキーワードごとの当該キーワードが複数の画像に含まれる数を、頻度重み決定部２４４に供給する。頻度重み決定部２４４は、頻度算出部２４２がオブジェクトごとに算出した画像の数がより多いオブジェクト名であるキーワードに対応づけて、より大きい重みを画像キーワード重み格納部２１０に格納させる。また、頻度重み決定部２４４は、頻度算出部２４２がキーワードごとに算出した当該キーワードが複数の画像に含まれる数がより多いキーワードに対応づけて、より大きい重みを画像キーワード重み格納部２１０に格納させてもよい。
【００４１】
これにより、ユーザが所定のオブジェクトの画像をより多く撮像している場合に、頻度重み決定部２４４は、当該オブジェクトを含む画像に対してより大きな重みをつけることができるので、ユーザの関心が高いオブジェクトを含む画像に、ユーザの関心が低いオブジェクトを含む画像よりもより大きな重みをつけることができる。
【００４２】
位置重み決定部２４６は、画像格納部１６０が格納している画像の中心位置からより近いオブジェクトのオブジェクト名であるキーワードに対応づけて、より大きい重みを画像キーワード重み格納部２１０に格納させる。例えば、位置重み決定部２４６は、画像に含まれるオブジェクトが画像に対して占める位置を算出する。続いて、位置重み決定部２４６は、画像の中心位置からオブジェクトへの距離を算出する。そして、位置重み決定部２４６は、画像の中心位置からオブジェクトへの距離に対応づけて、距離がより近い場合により大きな重みを当該オブジェクトのオブジェクト名であるキーワードに対応づける。ここで、ユーザが画像を撮像する場合には、画像の中心位置に近い領域にユーザが撮像を所望するオブジェクトが含まれる場合が多い。したがって、本実施形態に係る画像処理装置１０は、位置重み決定部２４６を備えるので、ユーザの関心が高いオブジェクトを含む画像に対して、ユーザの関心が低いオブジェクトを含む画像よりも、より大きな重みを重み付けることができる。
【００４３】
大きさ重み決定部２４８は、画像格納部１６０が格納している画像に対する大きさがより大きいオブジェクトのオブジェクト名であるキーワードに対応づけて、より大きい重みを画像キーワード重み格納部２１０に格納させる。例えば、大きさ重み決定部２４８は、画像の撮像領域の面積と画像に含まれるオブジェクトの面積とを算出する。続いて、大きさ重み決定部２４８は、オブジェクトの面積が画像に占める割合を算出する。そして、大きさ重み決定部２４８は、オブジェクトの面積が画像に占める割合に対応づけて、当該割合がより大きい場合により大きな重みを当該オブジェクトのオブジェクト名であるキーワードに対応付けてよい。
【００４４】
重み算出部２００は、画像抽出部１５０から受け取った画像に対応づけて画像格納部１６０が格納しているキーワードであって、画像キーワード抽出部１４０が抽出したキーワードと同一のキーワードに対応づけて画像キーワード重み格納部２１０が格納しているキーワードの重みを抽出する。そして、重み算出部２００は、抽出したキーワードの重みを、画像ごとに合計して合計値を算出する。また、重み算出部２００は、画像抽出部１５０から受け取った画像に対応づけて画像格納部１６０が格納している複数のキーワードであって、画像キーワード抽出部１４０が抽出したキーワードと同一のキーワードに対応づけて組み合わせ重み格納部２２０が格納している複数のキーワードの組み合わせの重みを抽出する。そして、重み算出部２００は、抽出した複数のキーワードの組み合わせの重みを、画像ごとに合計して合計値を算出する。更に、重み算出部２００は、画像抽出部１５０から受け取った画像に対応づけて画像格納部１６０が格納しているキーワードであって、画像キーワード抽出部１４０が抽出したキーワードと同一のキーワードに対応づけて文章キーワード重み格納部２８０が格納しているキーワードの重みの合計値を算出してもよい。重み算出部２００は、算出した画像ごとの重みを画像選択部２９０に供給する。
【００４５】
画像選択部２９０は、重み算出部２００から受け取った重みの合計値が大きい画像から予め定められた数の画像を、画像抽出部１５０から受け取った画像から選択する。また、画像選択部２９０は、重み算出部２００から受け取った重みの合計値が予め定められた値より大きい画像を、画像抽出部１５０から受け取った画像から選択してもよい。更に、画像選択部２９０は、重み算出部２００から受け取った重みの合計値が最大の画像を、画像抽出部１５０から受け取った画像から選択してもよい。そして、画像選択部２９０は、重み算出部２００から受け取ったキーワードの重みの合計値が同じ画像が複数ある場合には、重み算出部２００が算出した複数のキーワードの組み合わせの重みの合計値がより大きい画像を、画像抽出部１５０から受け取った画像から選択してもよい。また、画像選択部２９０は、重み算出部２００から受け取ったキーワードの重みの合計値が同じ画像が複数ある場合には、重み算出部２００が算出した文章キーワード重み格納部２８０が格納しているキーワードの重みの合計値がより大きい画像を、画像抽出部１５０から受け取った画像から選択してもよい。画像選択部２９０は、選択した画像を画像出力部１８０に供給する。
【００４６】
本実施形態に係る画像処理装置１０は、入力された文章に含まれるキーワードであって、画像に対応付けられたキーワードの重みおよび画像に対応付けられた複数のキーワードの組み合わせの重みの合計値を算出する。そして、画像処理装置１０は、キーワードの重みの合計値が最大の画像、またはキーワードの重みの合計値が同一の画像が複数ある場合には、複数のキーワードの組み合わせの重みの合計値が最大の画像を選択することができる。これにより、画像処理装置１０は、画像抽出部１５０が複数の画像を抽出した場合であっても、抽出した複数の画像の中から、ユーザが入力した文章の内容に適した画像であってユーザが想起したイメージに最も適した画像を自動的に選択できる。そして、画像処理装置１０は、ユーザが入力した文章とともに選択した画像を表示することができる。
【００４７】
図６は、本実施形態に係る画像格納部１６０のデータ構造の一例を示す。画像格納部１６０は、画像の内容を示すキーワードに対応づけて画像を格納する。そして、画像格納部１６０は、キーワード付与部２３２およびオブジェクト名付与部２３６から受け取った少なくとも一つの画像の内容を示すキーワードに対応づけて画像を格納する。更に、画像格納部１６０は、ユーザが画像に対応づけて入力した画像の内容を示すキーワードを、画像に対応づけて格納してもよい。なお、画像に対応づけて画像格納部１６０が格納するキーワードは複数であってよい。
【００４８】
具体的には、画像格納部１６０は、画像ごとに、画像の内容を示すキーワードを少なくとも一つ画像に対応づけて格納している。例えば、画像格納部１６０は、画像３００にキーワードＡ、キーワードＢ、およびキーワードＤを対応づけて格納している。また、画像３１０にキーワードＢ、キーワードＣ、およびキーワードＤを対応づけて格納している。更に、画像格納部１６０は、画像３２０にキーワードＡ、キーワードＣ、およびキーワードＦを、画像３３０にキーワードＧ、キーワードＩ、およびキーワードＫ等を対応づけて格納している。
【００４９】
図７は、本実施形態に係る画像キーワード重み格納部２１０のデータ構造の一例を示す。画像キーワード重み格納部２１０は、画像格納部１６０が格納しているキーワードに対応づけてキーワードの重みを格納する。具体的には、画像キーワード重み格納部２１０は、画像重み決定部２４０から受け取ったキーワードの重みを、キーワードに対応づけて格納する。例えば、画像キーワード重み格納部２１０は、キーワードＡに重み「３」を対応づけて格納している。また、画像キーワード重み格納部２１０は、キーワードＢに重み「２」を対応づけて格納している。そして、画像キーワード重み格納部２１０は、キーワードＣに重み「１」を対応づけて格納している。更に、画像キーワード重み格納部２１０は、キーワードＤに重み「４」を対応づけて格納している。
【００５０】
重み算出部２００は、画像に対応付けられたキーワードの重みを、画像キーワード重み格納部２１０から抽出する。そして、重み算出部２００は、当該画像に対応付けられたキーワードの重みの合計値を算出する。例えば、画像キーワード抽出部１４０が文章入力部１００から入力された文章から抽出したキーワードが、キーワード「Ａ」およびキーワード「Ｄ」であった場合を考える。係る場合において、画像抽出部１５０は、キーワード「Ａ」又はキーワード「Ｄ」の少なくとも一方が対応づけられている画像を、画像格納部１６０から抽出する。すなわち、画像抽出部１５０は、図６の上記説明における画像格納部１６０から、キーワード「Ａ」又はキーワード「Ｄ」の少なくともいずれか一方が対応づけられている画像３００、画像３１０、および画像３２０を抽出する。
【００５１】
そして、重み算出部２００は、画像３００、画像３１０、および画像３２０のそれぞれに対応づけられているキーワード「Ａ」の重みとキーワード「Ｄ」の重みとの合計値を画像ごとに算出する。例えば、画像３００には、キーワード「Ａ」、キーワード「Ｂ」、およびキーワード「Ｄ」が対応づけられている。この場合において、画像３００に対応づけられているキーワードの中で画像キーワード抽出部１４０が抽出したキーワードと同一のキーワードは、キーワード「Ａ」およびキーワード「Ｄ」であるとする。係る場合に重み算出部２００は、画像３００の重みをキーワード「Ａ」の重みとキーワード「Ｄ」の重みとの合計値である「７」と算出する。同様に重み算出部２００は、画像３１０の重みの合計値を「２」と算出する。また、重み算出部２００は、画像３２０の重みの合計値を「３」と算出する。
【００５２】
続いて、画像選択部２９０は、重み算出部２００が算出した画像ごとの重みの合計値を比較して、重みの合計値が最大の画像を選択する。上記した図６および図７の説明においては、重みの合計値が最大である画像３００を画像選択部２９０は選択する。そして、画像出力部１８０は、画像選択部２９０が選択した画像３００を、ユーザが入力した文章と共に表示する。なお、画像選択部２９０は、重み算出部２００が算出した重みの合計値が大きい画像から予め定められた数の画像を選択してもよい。具体的には、画像選択部２９０は、重み算出部２００が算出した重みの合計値の降順に対応づけて複数の画像を整列して、予め定められた数の画像を重みの合計値が最大の画像から順に選択してもよい。また、画像選択部２９０は、重み算出部２００が算出した重みの合計値が予め定められた値より大きい画像を選択してもよい。係る場合において、画像選択部２９０が選択する画像は複数あってもよい。
【００５３】
本実施形態に係る画像処理装置１０によれば、ユーザが入力した文章に含まれるキーワードの少なくとも一つと同一のキーワードに対応づけられている画像を抽出して、画像に対応づけられているキーワードの重みを画像ごとに算出する。そして、画像ごとに算出したキーワードの重みの合計値を比較して画像を自動的に選択できるので、画像抽出部１５０が複数の画像を抽出した場合であっても、抽出した複数の画像の中からユーザが想起したイメージに最も適切な画像を自動的に選択して、ユーザが入力した文章と共に表示することができる。例えば、本実施形態に係る画像処理装置１０によれば、ブログ等においてユーザが入力した文章に含まれるキーワードの重みに基づいて、ユーザが想起している画像を自動的に選択して、文章と共に表示することができる。
【００５４】
図８は、本実施形態に係る組み合わせ重み格納部２２０のデータ構造の一例を示す。組み合わせ重み格納部２２０は、画像の内容を示す複数のキーワードの組み合わせに対応づけて、複数のキーワードの組み合わせの重みを格納する。具体的には、組み合わせ重み格納部２２０は、画像に対応づけられている複数のキーワードのキーワード間の関連に基づいて重みを格納している。より具体的には、画像格納部１６０が格納している複数の画像のうちで、画像に対応づけられている複数のキーワードの組み合わせの数がより多い場合に、当該複数のキーワードの組み合わせにより大きい重みを対応づけて格納する。例えば、ユーザが冬山の画像を頻繁に撮像して、撮像した冬山の複数の画像を画像格納部１６０に格納している場合を考える。係る場合には、画像格納部１６０は「冬」および「山」のキーワードに対応付けられた冬山の画像を、「冬」および「山」のキーワードを除くキーワードに対応付けられた画像よりも多く格納しているので、「冬」および「山」のキーワード間の関連が高いとして、「冬」および「山」のキーワードの組み合わせにより大きい重みを対応づけて格納してよい。
【００５５】
例えば、組み合わせ重み格納部２２０は、キーワード「Ａ」とキーワード「Ｂ」の組み合わせに重み「４」を対応づけて格納している。また、組み合わせ重み格納部２２０は、キーワード「Ａ」とキーワード「Ｄ」の組み合わせに重み「３」を対応づけて格納している。同様に、組み合わせ重み格納部２２０は、キーワード「Ａ」とキーワード「Ｆ」の組み合わせに重み「２」を、キーワード「Ｂ」とキーワード「Ｄ」の組み合わせに重み「５」を、およびキーワード「Ｄ」とキーワード「Ｆ」の組み合わせに重み「１」を対応づけて格納している。なお、組み合わせ重み格納部２２０は、二つのキーワードの組み合わせに限らず、少なくとも二つ以上の複数のキーワードの組み合わせに対応づけて重みを格納してよい。また、画像処理装置１０は、複数のキーワード間の組み合わせの重みを決定する組み合わせ重み決定部を更に備えていてもよい。組み合わせ重み決定部は、画像に対応付けられた複数のキーワードの組み合わせの数を算出して、複数のキーワードの組み合わせの数がより多い組み合わせに、複数のキーワードの組み合わせの数がより少ない組み合わせよりも大きい重みを対応づけてよい。
【００５６】
図９は、本実施形態に係る画像処理装置１０のハードウェア構成の一例を示す。本実施形態に係る画像処理装置１０は、ホスト・コントローラ１５８２により相互に接続されるＣＰＵ１５０５、ＲＡＭ１５２０、グラフィック・コントローラ１５７５、及び表示装置１５８０を有するＣＰＵ周辺部と、入出力コントローラ１５８４によりホスト・コントローラ１５８２に接続される通信インターフェイス１５３０、ハードディスクドライブ１５４０、及びＣＤ−ＲＯＭドライブ１５６０を有する入出力部と、入出力コントローラ１５８４に接続されるＲＯＭ１５１０、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０を有するレガシー入出力部とを備える。
【００５７】
ホスト・コントローラ１５８２は、ＲＡＭ１５２０と、高い転送レートでＲＡＭ１５２０をアクセスするＣＰＵ１５０５及びグラフィック・コントローラ１５７５とを接続する。ＣＰＵ１５０５は、ＲＯＭ１５１０及びＲＡＭ１５２０に格納されたプログラムに基づいて動作して、各部を制御する。グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等がＲＡＭ１５２０内に設けたフレーム・バッファ上に生成する画像データを取得して、表示装置１５８０上に表示させる。これに代えて、グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。
【００５８】
入出力コントローラ１５８４は、ホスト・コントローラ１５８２と、比較的高速な入出力装置である通信インターフェイス１５３０、ハードディスクドライブ１５４０、ＣＤ−ＲＯＭドライブ１５６０を接続する。通信インターフェイス１５３０は、ネットワークを介して他の装置と通信する。ハードディスクドライブ１５４０は、画像処理装置１０内のＣＰＵ１５０５が使用するプログラム及びデータを格納する。ＣＤ−ＲＯＭドライブ１５６０は、ＣＤ−ＲＯＭ１５９５からプログラム又はデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０に提供する。
【００５９】
また、入出力コントローラ１５８４には、ＲＯＭ１５１０と、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０の比較的低速な入出力装置とが接続される。ＲＯＭ１５１０は、画像処理装置１０が起動時に実行するブート・プログラム、画像処理装置１０のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ１５５０は、フレキシブルディスク１５９０からプログラム又はデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０に提供する。入出力チップ１５７０は、フレキシブルディスク・ドライブ１５５０、例えばパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。
【００６０】
ＲＡＭ１５２０を介してハードディスクドライブ１５４０に提供される画像処理プログラムは、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５、又はＩＣカード等の記録媒体に格納されて利用者によって提供される。画像処理プログラムは、記録媒体から読み出され、ＲＡＭ１５２０を介して画像処理装置１０内のハードディスクドライブ１５４０にインストールされ、ＣＰＵ１５０５において実行される。画像処理装置１０にインストールされて実行される画像処理プログラムは、ＣＰＵ１５０５等に働きかけて、画像処理装置１０を、図１から図４にかけて説明した文章入力部１００、画像入力部１０２、位置キーワード格納部１１０、時刻検出部１２０、時刻キーワード抽出部１２２、時刻キーワード格納部１２４、位置検出部１３０、位置キーワード抽出部１３２、画像キーワード抽出部１４０、画像抽出部１５０、画像格納部１６０、画像出力部１８０、および画像選択ユニット２０として機能させる。
【００６１】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加え得ることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【図面の簡単な説明】
【００６２】
【図１】画像処理装置１０の機能構成を示すブロック図である。
【図２】画像格納部１６０を示す図である。
【図３】時刻キーワード格納部１２４を示す図である。
【図４】位置キーワード格納部１１０を示す図である。
【図５】画像選択ユニット２０の機能構成を示すブロック図である。
【図６】画像格納部１６０を示す図である。
【図７】画像キーワード重み格納部２１０を示す図である。
【図８】組み合わせ重み格納部２２０を示す図である。
【図９】画像処理装置１０のハードウェア構成を示すブロック図である。
【符号の説明】
【００６３】
１０ 画像処理装置
２０ 画像選択ユニット
１００ 文章入力部
１０２ 画像入力部
１１０ 位置キーワード格納部
１２０ 時刻検出部
１２２ 時刻キーワード抽出部
１２４ 時刻キーワード格納部
１３０ 位置検出部
１３２ 位置キーワード抽出部
１４０ 画像キーワード抽出部
１５０ 画像抽出部
１６０ 画像格納部
１８０ 画像出力部
２００ 重み算出部
２１０ 画像キーワード重み格納部
２２０ 組み合わせ重み格納部
２３０ キーワード生成部
２３２ キーワード付与部
２３４ オブジェクト抽出部
２３６ オブジェクト名付与部
２４０ 画像重み決定部
２４２ 頻度算出部
２４４ 頻度重み決定部
２４６ 位置重み決定部
２４８ 大きさ重み決定部
２５０ 文章格納部
２６０ 文章キーワード頻度算出部
２６２ 表現態様重み格納部
２７０ 文章キーワード重み決定部
２８０ 文章キーワード重み格納部
２９０ 画像選択部
３００、３１０、３２０、３３０ 画像
１５０５ ＣＰＵ
１５１０ ＲＯＭ
１５２０ ＲＡＭ
１５３０ 通信インターフェイス
１５４０ ハードディスクドライブ
１５５０ フレキシブルディスク・ドライブ
１５６０ ＣＤ−ＲＯＭドライブ
１５７０ 入出力チップ
１５７５ グラフィック・コントローラ
１５８０ 表示装置
１５８２ ホスト・コントローラ
１５８４ 入出力コントローラ
１５９０ フレキシブルディスク
１５９５ ＣＤ−ＲＯＭ
【特許請求の範囲】
【請求項１】
画像の内容を示すキーワード及び時刻を示すキーワードに対応づけて、画像を格納する画像格納部と、
入力された文章から前記画像格納部が格納しているキーワードを抽出する画像キーワード抽出部と、
文章が入力された時刻を検出する時刻検出部と、
時刻に対応づけて、当該時刻を示すキーワードを格納する時刻キーワード格納部と、
前記時刻検出部が検出した時刻に対応づけて前記時刻キーワード格納部が格納しているキーワードを抽出する時刻キーワード抽出部と、
前記画像キーワード抽出部が抽出したキーワード及び前記時刻キーワード抽出部が抽出したキーワードに対応づけて前記画像格納部が格納している画像を抽出する画像抽出部と、
前記画像抽出部が抽出した画像を、入力された文章とともに出力する画像出力部と
を備える画像処理装置。
【請求項２】
前記画像格納部は、画像の内容を示すキーワードに対応づけて、時刻を示すキーワードと当該時刻に関連する画像との組み合わせを複数格納している
請求項１に記載の画像処理装置。
【請求項３】
前記時刻キーワード格納部は、時刻に対応づけて、当該時刻を含む期間を示すキーワードを格納しており、
前記画像格納部は、期間を示すキーワードに対応づけて、当該期間に関連する画像を格納している
請求項１に記載の画像処理装置。
【請求項４】
前記時刻キーワード格納部は、時刻に対応づけて、当該時刻を含む季節を示すキーワードを格納しており、
前記画像格納部は、季節を示すキーワードに対応づけて、当該季節に関連する画像を格納している
請求項３に記載の画像処理装置。
【請求項５】
文章が入力された位置を検出する位置検出部と、
位置に対応づけて、当該位置を示すキーワードを格納する位置キーワード格納部と、
前記位置検出部が検出した位置に対応づけて前記位置キーワード格納部が格納しているキーワードを抽出する位置キーワード抽出部と
をさらに備え、
前記画像格納部は、位置を示すキーワードにさらに対応づけて、画像を格納しており、
前記画像抽出部は、前記位置キーワード抽出部が抽出したキーワードにさらに対応づけて前記画像格納部が格納している画像を抽出する
請求項１に記載の画像処理装置。
【請求項６】
前記画像格納部は、画像の内容を示すキーワード及び時刻を示すキーワードに対応づけて、位置を示すキーワードと当該位置に関連する画像との組み合わせを複数格納している
請求項５に記載の画像処理装置。
【請求項７】
画像の内容を示すキーワード及び時刻を示すキーワードに対応づけて、画像を画像格納部に格納する画像格納段階と、
入力された文章から前記画像格納部が格納しているキーワードを抽出する画像キーワード抽出段階と、
文章が入力された時刻を検出する時刻検出段階と、
時刻に対応づけて、当該時刻を示すキーワードを時刻キーワード格納部に格納する時刻キーワード格納段階と、
前記時刻検出段階が検出した時刻に対応づけて前記時刻キーワード格納部が格納しているキーワードを抽出する時刻キーワード抽出段階と、
前記画像キーワード抽出段階が抽出したキーワード及び前記時刻キーワード抽出段階が抽出したキーワードに対応づけて前記画像格納部が格納している画像を抽出する画像抽出段階と、
前記画像抽出段階が抽出した画像を、入力された文章とともに出力する画像出力段階と
を備える画像処理方法。
【請求項８】
画像を入力された文章と共に出力する画像処理装置用の画像処理プログラムであって、前記画像処理装置を、
画像の内容を示すキーワード及び時刻を示すキーワードに対応づけて、画像を格納する画像格納部と、
入力された文章から前記画像格納部が格納しているキーワードを抽出する画像キーワード抽出部と、
文章が入力された時刻を検出する時刻検出部と、
時刻に対応づけて、当該時刻を示すキーワードを格納する時刻キーワード格納部と、
前記時刻検出部が検出した時刻に対応づけて前記時刻キーワード格納部が格納しているキーワードを抽出する時刻キーワード抽出部と、
前記画像キーワード抽出部が抽出したキーワード及び前記時刻キーワード抽出部が抽出したキーワードに対応づけて前記画像格納部が格納している画像を抽出する画像抽出部と、
前記画像抽出部が抽出した画像を、入力された文章とともに出力する画像出力部
として機能させる画像処理プログラム。
【請求項１】
画像の内容を示すキーワード及び時刻を示すキーワードに対応づけて、画像を格納する画像格納部と、
入力された文章から前記画像格納部が格納しているキーワードを抽出する画像キーワード抽出部と、
文章が入力された時刻を検出する時刻検出部と、
時刻に対応づけて、当該時刻を示すキーワードを格納する時刻キーワード格納部と、
前記時刻検出部が検出した時刻に対応づけて前記時刻キーワード格納部が格納しているキーワードを抽出する時刻キーワード抽出部と、
前記画像キーワード抽出部が抽出したキーワード及び前記時刻キーワード抽出部が抽出したキーワードに対応づけて前記画像格納部が格納している画像を抽出する画像抽出部と、
前記画像抽出部が抽出した画像を、入力された文章とともに出力する画像出力部と
を備える画像処理装置。
【請求項２】
前記画像格納部は、画像の内容を示すキーワードに対応づけて、時刻を示すキーワードと当該時刻に関連する画像との組み合わせを複数格納している
請求項１に記載の画像処理装置。
【請求項３】
前記時刻キーワード格納部は、時刻に対応づけて、当該時刻を含む期間を示すキーワードを格納しており、
前記画像格納部は、期間を示すキーワードに対応づけて、当該期間に関連する画像を格納している
請求項１に記載の画像処理装置。
【請求項４】
前記時刻キーワード格納部は、時刻に対応づけて、当該時刻を含む季節を示すキーワードを格納しており、
前記画像格納部は、季節を示すキーワードに対応づけて、当該季節に関連する画像を格納している
請求項３に記載の画像処理装置。
【請求項５】
文章が入力された位置を検出する位置検出部と、
位置に対応づけて、当該位置を示すキーワードを格納する位置キーワード格納部と、
前記位置検出部が検出した位置に対応づけて前記位置キーワード格納部が格納しているキーワードを抽出する位置キーワード抽出部と
をさらに備え、
前記画像格納部は、位置を示すキーワードにさらに対応づけて、画像を格納しており、
前記画像抽出部は、前記位置キーワード抽出部が抽出したキーワードにさらに対応づけて前記画像格納部が格納している画像を抽出する
請求項１に記載の画像処理装置。
【請求項６】
前記画像格納部は、画像の内容を示すキーワード及び時刻を示すキーワードに対応づけて、位置を示すキーワードと当該位置に関連する画像との組み合わせを複数格納している
請求項５に記載の画像処理装置。
【請求項７】
画像の内容を示すキーワード及び時刻を示すキーワードに対応づけて、画像を画像格納部に格納する画像格納段階と、
入力された文章から前記画像格納部が格納しているキーワードを抽出する画像キーワード抽出段階と、
文章が入力された時刻を検出する時刻検出段階と、
時刻に対応づけて、当該時刻を示すキーワードを時刻キーワード格納部に格納する時刻キーワード格納段階と、
前記時刻検出段階が検出した時刻に対応づけて前記時刻キーワード格納部が格納しているキーワードを抽出する時刻キーワード抽出段階と、
前記画像キーワード抽出段階が抽出したキーワード及び前記時刻キーワード抽出段階が抽出したキーワードに対応づけて前記画像格納部が格納している画像を抽出する画像抽出段階と、
前記画像抽出段階が抽出した画像を、入力された文章とともに出力する画像出力段階と
を備える画像処理方法。
【請求項８】
画像を入力された文章と共に出力する画像処理装置用の画像処理プログラムであって、前記画像処理装置を、
画像の内容を示すキーワード及び時刻を示すキーワードに対応づけて、画像を格納する画像格納部と、
入力された文章から前記画像格納部が格納しているキーワードを抽出する画像キーワード抽出部と、
文章が入力された時刻を検出する時刻検出部と、
時刻に対応づけて、当該時刻を示すキーワードを格納する時刻キーワード格納部と、
前記時刻検出部が検出した時刻に対応づけて前記時刻キーワード格納部が格納しているキーワードを抽出する時刻キーワード抽出部と、
前記画像キーワード抽出部が抽出したキーワード及び前記時刻キーワード抽出部が抽出したキーワードに対応づけて前記画像格納部が格納している画像を抽出する画像抽出部と、
前記画像抽出部が抽出した画像を、入力された文章とともに出力する画像出力部
として機能させる画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２００７−１４８６６７（Ｐ２００７−１４８６６７Ａ）
【公開日】平成１９年６月１４日（２００７．６．１４）
【国際特許分類】
【出願番号】特願２００５−３４０８７２（Ｐ２００５−３４０８７２）
【出願日】平成１７年１１月２５日（２００５．１１．２５）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
【公開日】平成１９年６月１４日（２００７．６．１４）
【国際特許分類】
【出願日】平成１７年１１月２５日（２００５．１１．２５）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
[ Back to top ]