文書自動作成装置、文書自動作成方法、及びプログラム
【課題】多彩な表現の画像付き文章を容易に作成することができる文書自動作成装置、文書自動作成方法、及びプログラムを提供すること。
【解決手段】ユーザから入力される画像の撮影日時情報や撮影位置情報、画像に写っている被写体の構図や形状等の情報に対し、参照情報記録部２０３ｂに記録されている情報を参照してユーザから入力される画像に関連する文章を自動的に作成し、作成した文章を画像と関連付けて記録させる。
【解決手段】ユーザから入力される画像の撮影日時情報や撮影位置情報、画像に写っている被写体の構図や形状等の情報に対し、参照情報記録部２０３ｂに記録されている情報を参照してユーザから入力される画像に関連する文章を自動的に作成し、作成した文章を画像と関連付けて記録させる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像に関連する文書を自動的に作成する文書自動作成装置、文書自動作成方法、及びプログラムに関する。
【背景技術】
【０００２】
近年、ホームページに比べて作成が手軽な、所謂ブログ（blog：weblogの略）が流行している。また、このようなブログを使いやすくするアイデアも色々提案されている。
【０００３】
例えば、ブログはアップロードされたコンテンツが新しいものから順番に表示される、日記に近い体裁になっているものが多いが、こうしたブログをユーザが日々日記をつける感覚で簡単に作成できるシステムが提案されており、こうしたシステムを利用した様々なサービスも行われている。
【０００４】
また、ブログにおいてはデジタル画像が有効利用されており、画像だけが掲載された写真集のような記事も多々あるが、一般には、画像の他にコメントを付加することが多い。とはいえ、デジタルカメラを用いて写真撮影を行い、パーソナルコンピュータ（以下、ＰＣと記す）を用いてコメントを入力するというのはユーザにとっても面倒であり、ブログ等において、より簡単に画像付きの文書を作成することができる方法が求められている。
【０００５】
このような画像付き文書を簡単に作成できるシステムに関する提案として、例えば特許文献１においては、入力された画像の特徴を抽出し、その特徴を、予めデータベースに登録されている形容詞に対応する特徴と比較し、その結果を用いて文書を作成し、出力することにより、入力された画像に対する評価を、形容詞を用いた感性的な文章として表現することができる。
【特許文献１】特開２００１−１９５５７９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
ここで、特許文献１の手法は、入力された画像の特徴とそれに対応した形容詞のみに基づいて文書を作成するため、その表現力は限られたものであり、ユーザが必ずしも満足できる文書が作成できるとは限らない。
【０００７】
本発明は、上記の事情に鑑みてなされたもので、多彩な表現の画像付き文章を容易に作成することができる文書自動作成装置、文書自動作成方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記の目的を達成するために、本発明の第１の態様の文書自動作成装置は、画像に関連する文書を自動的に作成する文書自動作成装置において、前記画像を示す画像データを記録する画像記録部と、少なくとも前記画像の撮影時以外の時間に発生した情報を記録する参照情報記録部と、前記参照情報記録部に記録された情報を参照して前記画像に関連する文書を自動的に作成する文書自動作成部とを備えたことを特徴とする。
【０００９】
また、上記の目的を達成するために、本発明の第２の態様の文書自動作成方法は、画像に関連する文書を自動的に作成する文書自動作成方法において、前記画像を示す画像データ及び前記画像の撮影時以外に発生した情報を記録部から読み出すステップと、前記画像の撮影時以外に発生した情報を参照して、前記画像に関連する文書を自動的に作成するステップとを有することを特徴とする。
【００１０】
また、上記の目的を達成するために、本発明の第３の態様の文書自動作成プログラムは、画像に関連する文書を自動的に作成する動作をコンピュータに実行させるための文書自動作成プログラムにおいて、前記画像の画像データ及び前記画像の撮影時以外に発生した情報を記録部から読み出すステップと、前記画像の撮影時以外に発生した情報を参照して、前記画像に関連する文書を自動的に作成するステップとをコンピュータに実行させる。
【発明の効果】
【００１１】
本発明によれば、多彩な表現の画像付き文章を容易に作成することができる文書自動作成装置、文書自動作成方法、及びプログラムを提供することができる。
【発明を実施するための最良の形態】
【００１２】
以下、図面を参照して本発明の実施形態を説明する。
図１は、本発明の一実施形態に係る文書自動作成装置を含む文書自動作成システムの構成を示す図である。図１に示す文書自動作成システムは、デジタルカメラ１００と、サーバ２００と、ＰＣ３００及び４００とを有している。デジタルカメラ１００は例えばＵＳＢ等を用いてＰＣ３００にデータ通信可能に接続され、また、サーバ２００、ＰＣ３００、４００はネットワーク５００を介して互いにデータ通信可能に接続されている。
【００１３】
図２は、図１のデジタルカメラ１００の構成を示す図である。図２に示すように、デジタルカメラ１００は、制御部１０１と、操作部１０２と、撮像部１０３と、ピント調整部１０４と、時計部１０５と、位置計測部１０６と、記録部１０７と、通信部１０８とを有している。
【００１４】
制御部１０１は、操作部１０２からの操作入力を受けて図２に示す各部の動作制御を行う。例えば、撮影操作がなされた場合には、撮影によって撮像部１０３から得られる画像を示す画像データに対して画像処理（圧縮等）を施した後、画像処理を施した画像データに撮影日時や撮影位置等の撮影情報を付加して記録部１０７に記録する一連の処理を行う。
【００１５】
操作部１０２はデジタルカメラ１００における撮影動作を開始させるための操作部や撮影時の撮影モードを設定するための操作部等の各種操作部から構成される。ユーザにより操作部１０２の何れかの操作部が操作された場合に、制御部１０１はその操作に応じた各種シーケンスを制御する。
【００１６】
撮像部１０３は、撮影レンズと、撮像素子と、アナログ／デジタル変換器（ＡＤＣ）等から構成される。そして、図示しない被写体の像を撮影レンズによって撮像素子の受光面上に結像させ、受光面上に結像させた被写体の像を撮像素子においてアナログの画像信号に変換し、撮像素子において得られた画像信号をＡＤＣにおいてデジタルの画像信号（画像データに変換して制御部１０１に出力する。
【００１７】
ピント調整部１０４は、撮影レンズの位置調整を行うことにより撮影レンズのピント合わせを行う。このピント合わせの手法としては、例えば、撮影レンズの位置を逐次変化させながら、撮像部１０４において得られる画像データより被写体のコントラストを求め、このコントラストが最大となる位置を撮影レンズのピント位置とする、山登り方式等の周知の手法を用いることができる。ここで、ピント合わせがなされたときの撮影レンズの位置から被写体距離を計測することもできる。ピント調整部１０４において計測される被写体距離も撮影情報として画像データに付加することができる。
【００１８】
時計部１０５は日時を計測する。位置計測部１０６は例えばＧＰＳを利用した測位によってデジタルカメラ１００の位置を計測する。撮影がなされた場合には時計部１０５によって計測された撮影日時情報及び位置計測部１０６によって計測された撮影位置情報が撮影情報の一部として画像データに付加される。また、被写体距離が計測された場合には被写体距離情報も撮影情報の一部として付加される。その他、撮影情報としては撮影時の露光条件等が付加される。
【００１９】
記録部１０７は撮影時に制御部１０１において画像処理がなされ、各種撮影情報が付加された画像データを記録する。通信部１０８は、記録部１０７に記録された画像データ等の各種データをＰＣ３００に送信する。デジタルカメラ１００にネットワーク６００に接続する機能を持たせ、記録部１０７に記録された画像データ等のデータを、ＰＣ３００を介さずにサーバ２００に送信できるようにしても良い。
【００２０】
文書自動作成装置としての機能を有するサーバ２００は、制御部２０１と、通信部２０２と、記録部２０３とを有している。
制御部２０１は、所定のプログラムに従ってサーバ２００の各部の動作を制御する。また、デジタルカメラ１００から画像を示す画像データが送信されてきた場合には、送信されてきた画像データの内容に関する文書を自動的に作成する。
【００２１】
通信部２０２はＰＣ３００から送信された画像データを受信するとともに、サーバ２００において自動的に作成される画像付き文書をＰＣ４００に送信する。
【００２２】
記録部２０３は、画像記録部２０３ａ、参照情報記録部２０３ｂ、及び文書記録部２０３ｃを有している。画像記録部２０３ａはデジタルカメラ１００から送信されてきた画像データを、撮影日時情報、撮影位置情報、撮影時の被写体距離情報等の撮影情報と関連付けて記録する。参照情報記録部２０３ｂは、制御部２０１による自動文章データ作成処理において用いられる各種の参照情報を記録する。この参照情報としては、例えば、画像記録部２０３ａに記録された画像データに写っている被写体が何であるかを識別するための植物、動物、人物、風景、料理等の各種画像データや、撮影位置情報からデジタルカメラ１００の所在地を特定するための地図データ等の画像の撮影時以外に取得される情報が含まれる。なお、図１においては、記録部２０３内に３つの記録部を持たせているが、これらはそれぞれ別の記録部で構成しても良いし、単一の記録部として構成しても良い。
【００２３】
ＰＣ３００、４００は、ウェブページをブラウジングするためのソフトウェアがインストールされ、ウェブページ上で各種の操作を行うためのマウスやキーボードといった操作部や液晶ディスプレイ等の表示部を有する一般的なパーソナルコンピュータである。
【００２４】
以下、図１に示す文書作成システムの動作について説明する。デジタルカメラ１００によって得られた画像データは、撮影日時や撮影位置等の撮影情報と関連付けられてサーバ２００の画像記録部２０３ａに記録されていく。サーバ２００の制御部２０１は、日々記録される画像データにおける変化から、現在、ユーザがどのようなことに関心があるかを分析し、それを文章化し、作成した文章をＰＣ３００を介して送信されてきた画像と関連付けて記録する。そして、ＰＣ４００からのアクセスがあれば、画像付き文書６０２をＰＣ４００に表示させる。この画像付き文書６０２はＰＣ３００から送信されてきた画像６００とこの画像６００から作成された文章６０１とから構成されている。
【００２５】
例えば、図１に示す画像データ６００から文章６０１を作成する場合、その画像に写っている被写体が「イチョウ」であることは、参照情報記録部２０３ｂに記録されている植物の画像データとの比較によって判別することができる。また、同じような構図で撮影された複数のイチョウの木の画像がサーバ２００に送信されている場合には、新たに送信されてきた画像と過去に記録されている画像との比較を行うことにより、それらの画像を同じイチョウの木の画像であると判別し、その画像に写っている被写体の変化を判別してそのことを文章として記述することが可能である。例えば、同じイチョウの木の葉の色が「黄色」に変化したことを検出することで、「イチョウ」という文章に葉の色が「黄色くなりました」という文章を付加することができる。さらに、同じイチョウの木の画像データが定期的にサーバ２００に送信されてくる場合には、「いつもの」等の修飾語を付加することもできる。
【００２６】
また、サーバ２００に送信されてくる画像から、例えば図３に示すような表形式で、撮影日時とそのときの撮影テーマ（被写体）とを管理しておき、この情報に基づいて文章作成を行うようにしても良い。このような管理をサーバ２００において行っておくことで、ユーザーがどんな写真撮影の傾向を持っているか（どの時間帯の撮影が多いか、どのような画像が多いか）等を判断することが可能である。そして、こうした管理が行われているがゆえに、「いつも撮影している」とか、「この前に撮影した」とか、「珍しく夜撮影した」とかの文章化が容易になる。
【００２７】
例えば、図３は、被写体の撮影履歴を１日単位で記録したものである。この中で最新の撮影結果である風景１と同じものは６日前に撮影されているので、例えば、「６日後に撮影」などという文章を付加することができる。さらに、風景１の画像が６日よりも短い期間で定期的に撮影され、今回だけ６日の間隔が空いていた場合には「６日ぶりに撮影」等の文章を付加することができる。これらのような工夫によって、作成される文章の単調さを防ぐこともできる。
【００２８】
なお、図３のような表を作成するに当たり、撮影者が撮影した様々なテーマの被写体が、風景、人物、ペット、料理等の何れに該当するかは、画像データに写っている被写体そのものから判別するだけでなく、例えば撮影時の被写体距離情報（風景なら近距離、ペットや料理なら近距離等）や撮影モード設定（人物ならポートレートモード等）を利用して判別することもできる。
【００２９】
以下、図１に示す自動文書作成システムの動作についてさらに詳しく説明する。
図４は、図１に示す自動文書作成システムにおけるデジタルカメラ１００の処理について示すフローチャートである。図４において、デジタルカメラ１００の制御部１０１は、ユーザによる画像の撮影操作がなされたか否かを判定している（ステップＳ１１）。
【００３０】
ステップＳ１１の判定において、撮影操作がなされた場合に、制御部１０１は各部を制御して撮影動作を実行する（ステップＳ１２）。撮影動作の終了後、制御部１０１は、位置計測部１０６によって撮影時におけるデジタルカメラ１００の位置情報が取得されているか否かを判定する（ステップＳ１３）。ステップＳ１３の判定において、撮影時の位置情報が取得されていた場合に、制御部１０１は画像処理後の画像データに、撮影位置情報、撮影時刻情報、被写体距離情報、撮影モード設定情報等の撮影情報を付加して記録部１０７に記録する（ステップＳ１４）。一方、撮影時の位置情報が取得されていない場合に、制御部１０１は画像処理後の画像データに、撮影位置情報以外の撮影情報を画像データに付加して記録部１０７に記録する（ステップＳ１５）。
【００３１】
また、ステップＳ１１の判定において、撮影操作がなされていない場合、制御部１０１は、ユーザによる画像の再生操作がなされたか否かを判定する（ステップＳ１６）。ステップＳ１６の判定において、画像の再生操作がなされた場合に制御部１０１はユーザによって選択された画像を図示しない表示部に再生する再生動作を実行する（ステップＳ１７）。
【００３２】
また、ステップＳ１６の判定において、再生操作がなされていない場合、制御部１０１は、ユーザによる画像データの送信操作がなされたか否かを判定する（ステップＳ１８）。ステップＳ１８の判定において、画像データの送信操作がなされた場合に制御部１０１は、ユーザによって選択された画像データを撮影情報とともにＰＣ３００或いはサーバ２００に送信するとともに、ユーザの行動履歴情報のうちで、まだＰＣ３００或いはサーバ２００に送信していないものを送信する（ステップＳ１９）。
【００３３】
ここで、ユーザの行動履歴情報とは、ユーザの撮影時以外の行動を示す情報である。より具体的には、ユーザが何時、どこにいるかを逐次検出して記録部１０７に記録しておいた情報である。このような情報を記録部１０７に記録し、サーバ２００に送ることで、サーバ２００においてさらに多様な文章を作成することが可能となる。ユーザの行動履歴情報をサーバ２００に送ることにより、例えば、画像の撮影から今まで、どこからどこに移動したかをサーバ２００側で識別できるので、例えば、「○○に△時に到着して撮影」等の文章を作成することが可能である。しかしながら、撮影時以外のユーザの行動を全て送信していると膨大なデータ量になるので、ユーザが定期的に画像データの送信（サーバ２００へのアップロード）をしている場合には、逐次、行動履歴情報もアップロードされているとして、未送信のデータのみを送信するようにする。例えば、前日に大阪に出張したときに画像を送信し、また別の日の別の画像を送信する場合には前日に大阪にいったことを示すデータを別の日の画像の送信時に送る必要はない。ただし、サーバ２００において作成する文章については、前日の行動履歴情報を参照して、例えば、「昨日は、大阪に行きましたが、今日はいつものイチョウです」といった文章を作成するようにしても良い。
【００３４】
画像データの送信を行った後、若しくは画像データの送信を行わなかった場合であっても、制御部１０１は、位置計測部１０６によって画像の送信時におけるデジタルカメラ１００の位置情報を取得するとともに、時計部によって現在の時刻情報を取得し、これら取得した位置情報及び時刻情報をユーザの行動履歴情報として記録部１０７に記録する（ステップＳ２０）。このようにして行動履歴情報を記録しておくことにより、ステップＳ１９の画像出力時に、ユーザの行動履歴情報を画像データと一緒に送信することができ、サーバ２００において図３のような表を作成することが可能である。
【００３５】
図５は、図１に示す自動文書作成システムにおけるサーバ２００の処理について示すフローチャートである。
【００３６】
まず、サーバ２００の制御部２０１は、デジタルカメラ１００から直接、或いはＰＣ３００から画像データを受信したか否かを判定している（ステップＳ２１）。ステップＳ２１の判定において、画像データが受信されると、制御部２０１は、受信した画像データを撮影情報とともに記録部２０３の画像記録部２０３ａに記録させるとともに、画像データとともに受信されるユーザの行動履歴情報を参照情報記録部２０３ｂに記録させる（ステップＳ２２）。
【００３７】
次に、制御部２０１は、画像データに撮影位置情報が付加されているか否かを判定する（ステップＳ２３）。ステップＳ２３の判定において、画像データに撮影位置情報が付加されている場合に、制御部２０１は、送信されてきた画像データと、この画像データに関連付けられた撮影日時情報及び撮影位置情報とから文章を作成する（ステップＳ２４）。一方、ステップＳ２３の判定において、画像データに撮影位置情報が付加されていない場合に、制御部２０１は、撮影位置情報を考慮せず、画像データと撮影日時情報とから文章を作成する（ステップＳ２５）。ステップＳ２４及びステップＳ２５の文章作成の処理については後述する。
【００３８】
次に、制御部２０１は、ステップＳ２４又はステップＳ２５において作成した文章データと過去に作成して文書記録部２０３ｃに記録された文章データとを比較して、同じ文章データが所定回数以上連続して作成されているか否かを判定する（ステップＳ２６）。ステップＳ２６の判定において、同じ文章データが所定回数以上連続して作成されている場合に、制御部２０１は、ステップＳ２４又はステップＳ２５において作成した文章を、記録部２０３の参照情報記録部２０３ｂに記録されている文例集のデータを用いてアレンジする（ステップＳ２７）。
【００３９】
例えば、同じ「青い花」に関する文章を作成する場合であっても、単に「青い花」という単語のみを用いる場合や、「青い花を見ました」、「青い花が咲いていました」、「青い花がきれいでした」等と様々なバリエーションにする。このような１つの文に対してもバリエーションを作るために、多数の文案を参照情報記録部２０３ｂに記録しておき、ここから適宜、選択して新たな文章を作成する。例えば、画像内の被写体が「青い花」である場合に、まず、「青い花」のみで文章を作成する。そして、この「青い花」のみの文章が所定回数以上連続して作成された場合には、次に、「青い花を見ました」という文章を作成する。以後も同様に、同じ文章が複数回続いた場合には別の文章を作成する。これによって、同じ被写体に対する文章であっても、同じ文章ばかり作成されることがなく、ユーザに飽きを感じさせない。
【００４０】
ステップＳ２６又はステップＳ２７の後、制御部２０１は、作成された文章データを画像記録部２０３ａに記録された画像データと関連付けて文書記録部２０３ｃに記録させる（ステップＳ２８）。これにより画像付き文書が作成される。その後に図５の処理を終了する。
【００４１】
さらに、サーバ２００には、自動的に作成された文章を記録するだけでなく、ユーザが自身で作成した文章を記録することもできる。このために、ステップＳ２１において、画像データが受信されていない場合に、制御部２０１は、日記等の記事（ここでは特に画像付きの記事）を受信した否かを判定する（ステップＳ２９）。そして、ステップＳ２９の判定において、記事が受信されると、制御部２０１は、受信した記事の文章データと画像データとを文書記録部２０３ｃ、画像記録部２０３ａにそれぞれ記録させる。そして、図５の処理を終了する。ユーザ自身によって作成された文章は、サーバ２００において自動的に作成された文章よりもさらに詳細な情報を含むことがある。例えば、撮影位置情報だけでは、「どこそこのイチョウです」という文章は作成できても、「懐かしいイチョウです」とか、「想い出のイチョウです」等といった文章を作成することはできず、これらのような表現は、後で、同様の画像データが送られてきた時に引用するようにしてもよい。例えば、類似画像検索の機能を利用し、同様の画像が送られて来るとき、「また、懐かしいイチョウの写真を撮りました」等といった文章を作成することが可能となる。
【００４２】
また、ステップＳ２９の判定において、記事が受信されていない場合に、制御部２０１は、ユーザによる画像の再生指示がなされたか否かを判定する（ステップＳ３０）。ステップＳ３０の判定において、ユーザによる画像の再生指示がなされた場合には、ユーザによって選択された画像とこの画像に関連付けられた文章とをＰＣ４００のディスプレイ上に表示させる（ステップＳ３１）。その後、図５の処理を終了する。
【００４３】
図６は、図５のステップＳ２４の処理の詳細について示すフローチャートである。まず、制御部２０１は、参照情報記録部２０３ｂから、ユーザの行動履歴情報を読み出す（ステップＳ４１）。このような記録から、画像の位置づけ（その画像がどこからどこに行く途中の撮影で得られたものか、いつも通っているところでの撮影で得られたものか、たまに来た場所での撮影で得られたものか等）を判断することができる。この判断を行うために、制御部２０１は、送信されてきた画像データの撮影日時情報Ａを検出する（ステップＳ４２）。さらに、制御部２０１は、送信されてきた画像データの撮影位置情報を検出する（ステップＳ４３）。そして、制御部２０１は、撮影位置情報とステップＳ４１において読み出した行動履歴情報とを比較し、送信されてきた画像データが長距離の移動をした後の撮影によって得られたものであるか否かを判定する（ステップＳ４４）。これは送信されてきた画像の撮影位置情報とこの画像の撮影日時の前の時点の位置情報（行動履歴情報から取得）との差が所定距離よりも大きいか否かによって判定することができる。
【００４４】
ステップＳ４４の判定において、画像が長距離の移動した後の撮影によって得られたものである場合には、特別な場所での撮影がなされたと判定する。そこで、制御部２０１は、画像の撮影位置を参照情報記録部２０３ｂに記録されている地図データと照合して、画像の撮影位置に対応する地名Ｂを判別する（ステップＳ４５）。次に、制御部２０１は、撮影時間情報と移動開始時間の差から移動時間Ｃを計算し（ステップＳ４６）、この移動時間Ｃを織り込む形で地名Ｂを表記するような文章（図６参照）を作成する（ステップＳ４７）。その後に、図６の処理を終了する。ここで、図６のステップＳ４７の例では移動時間を文章中に含めるようにしているが、移動距離そのものを含めるようにしてもよい。
【００４５】
また、ステップＳ４４の判定において、移動距離が小さい場合にはユーザの生活圏での撮影であるから、地名はどうでもよく、むしろ、画像に写っている被写体や撮影時間の方が重要であると判定する。この場合、制御部２０１は、画像内の被写体Ｄを判別する（ステップＳ４８）。この判別は、例えば、画像内の被写体を参照情報記録部２０３ｂに記録されている被写体種別用の画像と照合することにより行うことができる。
【００４６】
被写体Ｄを判別した後、制御部２０１は、送信されてきた画像データと同じ時間帯に撮影された画像データが画像記録部２０３ａに記録されているか否かを判定する（ステップＳ４９）。ステップＳ４９の判定において、送信されてきた画像データと同じ時間帯に撮影された画像データが画像記録部２０３ａに記録されている場合に、制御部２０１は、送信されてきた画像データと、この送信されてきた画像データと同じ時間帯に撮影された画像データとの比較を行って、被写体の形状、構図等の画像の特徴が類似する画像データを検索する（ステップＳ５０）。ステップＳ５０における画像比較は、例えば、比較する画像同士の輪郭成分を抽出し、該抽出した輪郭成分同士のマッチングによって行うことができる。マッチングの際には、比較する画像における被写体の形状の同一性にある程度の許容範囲を設けるようにして多少の構図の違い等は許容できるようにすることが望ましい。
【００４７】
ステップＳ５０の類似画像データの検索の後、制御部２０１は、送信されてきた画像データと同じテーマ（即ち、形状、構図等の類似度の高い被写体）の画像データがあったか否かを判定する（ステップＳ５１）。ステップＳ５１の判定において、同じテーマの画像データがあった場合に、制御部２０１は、前回の撮影日Ｅの画像と比較する旨の文章を作成する（ステップＳ５２）。このような文章を作成することによって、ユーザも忘れていたような期日までをユーザに呈示して比較を促すことができる。なお、比較を促す文章ではなく、色の変化等を検出してそれを文章化するようにしても良い。
【００４８】
また、ステップＳ５１の判定において、同じテーマの画像がない場合に、制御部２０１は、送信されてきた画像データにおける被写体の色Ｆを検出する（ステップＳ５３）。その後、制御部２０１は、被写体の色が鮮やかな色、即ち色の彩度が高いか否かを判定する（ステップＳ５４）。ステップＳ５４の判定において、被写体の色の特徴が判定できた場合に、制御部２０１は、被写体の特徴として、色が鮮やかであった旨を文章として作成する（ステップＳ５５）。一方、ステップＳ５５の判定において、色に特徴がなければ、制御部２０１は、撮影した被写体と撮影日時だけを文章として作成する（ステップＳ５６）。
【００４９】
図７は、図５のステップＳ２５の処理の詳細について示すフローチャートである。まず、制御部２０１は、送信されてきた画像データの撮影日時情報Ｇを検出する（ステップＳ６１）。次に、制御部２０１は、画像内の被写体Ｈを判別する（ステップＳ６２）。被写体Ｈを判別した後、制御部２０１は、送信されてきた画像データと被写体の形状、構図等の画像の特徴が類似する画像データを画像記録部２０３ａから検索する（ステップＳ６３）。
【００５０】
ステップＳ６３の類似画像データの検索の後、制御部２０１は、被写体の形状、構図等の類似度の高い画像データがあったか否かを判定する（ステップＳ６４）。ステップＳ６４の判定において、類似度の高い画像データがない場合に、制御部２０１は、制御部２０１は、撮影した被写体と撮影日時だけを文章として作成する（ステップＳ７１）。
【００５１】
一方、ステップＳ６４の判定において、類似度の高い画像データがあった場合に、制御部２０１は、類似度の高い画像データのうち、最近に取得された画像データの撮影日時情報Ｉを、例えば図３の表を参照して検出する（ステップＳ６５）。次に、制御部２０１は、撮影日時情報Ｇと撮影日時情報Ｉとの日時差Ｊを算出する（ステップＳ６６）。
【００５２】
次に、制御部２０１は、今回送信されてきた画像データと、類似度が高い前回の画像データとの間に色差等の画像の差があるか否かを判定する（ステップＳ６７）。これは、例えば両画像データの画素値の比較によって行う。ステップＳ６７の判定において、画像の差がある場合に、制御部２０１は、画像の差が色の差であるか否かを判定する（ステップＳ６８）。ステップＳ６８の判定において、画像の差が色の差である場合に、制御部２０１は、今回送信されてきた画像データの色Ｋを検出する（ステップＳ６９）。そして、制御部２０１は、図７に示すような被写体Ｈの色変化を示す文章を作成する（ステップＳ７０）。
【００５３】
一方、ステップＳ６７の判定において画像の差がない場合、若しくはステップＳ６８の判定において画像の差が色の差でない場合に、制御部２０１は、図７に示すような見る人の目にまかせるような文章を作成する（ステップＳ７２）。
【００５４】
以上説明したように、本実施形態によれば、ユーザは画像をアップロードするだけで、その画像の補足的な説明についての文章を作成することができる。これにより、文章を書くのが面倒な人でも、画像をアップロードするだけで、その人らしい画像付き文書を作成して、読む人にわかりやすい記事にすることが可能となる。
【００５５】
［変形例］
ここで、上述した実施形態の変形例について説明する。上述した実施形態においては、画像の撮影位置、撮影日時、特徴等を検出してそれらを組み合わせて文章を作成しているが、すべての文章をサーバ２００において作成させる必要はない。つまり、最初のうちはユーザによって作成される文章の傾向をサーバ２００において学習させ、この学習結果に基づいて文章を作成させるようなシステムに変形させてもよい。
【００５６】
図８は、変形例における文章作成処理について示したフローチャートである。図８において、サーバ２００の制御部２０１は、ユーザによって記事の作成モードか選択されたか否かを判定している（ステップＳ１０１）。ステップＳ１０１の判定において、記事の作成モードが選択されている場合に、制御部２０１は、ユーザが記事作成の際に選択しやすい画像の傾向を学習しているか否かを判定する（ステップＳ１０２）。
【００５７】
ステップＳ１０２の判定において、ユーザの選択しやすい画像の傾向を学習していない場合に、制御部２０１は、ユーザによる文章の入力（ステップＳ１０３）、及び画像の入力（ステップＳ１０４）を待つ。ユーザによって文章及び画像が入力された場合に、制御部２０１は、ステップＳ１０３において入力された文章とステップＳ１０４において入力された画像とを関連付けて文書記録部２０３ｃ、画像記録部２０３ａにそれぞれ記録させる（ステップＳ１０５）。
【００５８】
また、ステップＳ１０１の判定において、記事の作成モードでない場合に、制御部２０１は、記事が所定数以上作成されているか否かを判定する（ステップＳ１０６）。ステップＳ１０６の判定において、記事が所定数以上作成されていない場合には、図８の処理を終了する。
【００５９】
一方、記事がたくさん作成されると、ステップＳ１０６の判定をＮｏに分岐する。この場合、制御部２０１は、ユーザによって作成された記事における画像と対応する文章を判定する（ステップＳ１０７）。これは、例えば、参照情報記録部２０３ｂに記録されている参照情報によって画像内の被写体を判定し、判定した被写体に対応する文章部分を判定することにより行うことができる。その後、ステップＳ１０７の結果から、制御部２０１は、文章に対する画像の選択傾向を学習する（ステップＳ１０８）。例えば、服の色に対して興味のあるユーザなら、服の写った画像と服の色に関する文章とがセットになっていることを学習させる。
【００６０】
これは、図９のような状態である。図９に示す記事のうち、「寝不足」とか「出かける」は、画像に直接的に関係しない部分なので学習の対象とはしない。これに対し、「色」や「形状」、「きれい」、「かわいい」等といった画像に付されやすい修飾語などをもとに、ユーザがいかなる画像部分に注意を払いがちかを判断する。
【００６１】
また、ステップＳ１０２の判定において、ユーザの選択しやすい画像の傾向を学習した場合に、制御部２０１は、ユーザによる画像の入力のみを待つ（ステップＳ１１０）。ユーザによって画像が入力された場合に、制御部２０１はユーザによって入力された画像と形状や構図等が類似する画像を画像記録部２０３ａから検索し、この検索した画像に対応する文章部分を抽出する（ステップＳ１１１）。そして、抽出した文章部分を引用して新たな文章を作成する（ステップＳ１１２）。その後は、新たに作成した文章とユーザによって入力された画像とを関連付けして文書記録部２０３ｃ、画像記録部２０３ａにそれぞれ記録させる。
【００６２】
ここで、ステップＳ１１１における処理の際に、ユーザによって入力された画像と検索した類似画像との間で被写体の色等に差異がある場合にはその部分は変更する必要がある。例えば、ユーザによって以前作成された文章に、図９のように、「水色の服」などと服の色に触れた文章が存在し、この文章に関連付けられた画像と同じ人の顔が写った画像が入力された場合には、その服の色の特徴を画像から抽出し、「今日の服の色は黄色だ」という風に、ユーザの興味があるような内容にアレンジした文章を作成する。この作成の仕方は、その人の作成した文章を真似して、単語のみ入れ替えて文体を模倣してもよいし、文例をいくつか用意しておき、その中から適当なものを選択するようにしてもよい。また、同じような文章が毎日続くと飽きてしまうので、前の日とテーマが同じでも、文章は変えるような工夫をしてもよい。それは、いくつかの文例のうち、違うものを選択するようにすれば良い。
【００６３】
以上説明したような変形例によって、ユーザ毎のライフスタイルや価値観を反映させた文章を作成することができる。
【００６４】
以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。例えば、上述した実施形態では、デジタルカメラ１００から送信された画像データや行動履歴情報等をもとにサーバ２００において文章を自動的に作成する例について説明しているが、サーバ２００の制御部２０１や参照情報記録部２０３ｂの機能をデジタルカメラ１００に持たせることにより、デジタルカメラ１００内部において文章を自動的に作成できるようにしてもよい。
【００６５】
さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。
【図面の簡単な説明】
【００６６】
【図１】本発明の一実施形態に係る文書自動作成装置を含む文書自動作成システムの構成を示す図である。
【図２】図１のデジタルカメラの構成を示す図である。
【図３】撮影日時と撮影テーマとを管理するための表の一例を示す図である。
【図４】図１に示す自動文書作成システムにおけるデジタルカメラの処理について示すフローチャートである。
【図５】図１に示す自動文書作成システムにおけるサーバの処理について示すフローチャートである。
【図６】図５のステップＳ２４の処理の詳細について示すフローチャートである。
【図７】図５のステップＳ２５の処理の詳細について示すフローチャートである。
【図８】変形例における文章作成処理について示したフローチャートである。
【図９】選択画像傾向の学習について説明するための図である。
【符号の説明】
【００６７】
１００…デジタルカメラ、１０１…制御部、１０２…操作部、１０３…撮像部、１０４…ピント調整部、１０５…時計部、１０６…位置計測部、１０７…記録部、１０８…通信部、２００…サーバ、２０１…制御部、２０２…通信部、２０３…記録部、２０３ａ…画像記録部、２０３ｂ…参照情報記録部、２０３ｃ…文書記録部、３００，４００…パーソナルコンピュータ（ＰＣ）、５００…ネットワーク
【技術分野】
【０００１】
本発明は、画像に関連する文書を自動的に作成する文書自動作成装置、文書自動作成方法、及びプログラムに関する。
【背景技術】
【０００２】
近年、ホームページに比べて作成が手軽な、所謂ブログ（blog：weblogの略）が流行している。また、このようなブログを使いやすくするアイデアも色々提案されている。
【０００３】
例えば、ブログはアップロードされたコンテンツが新しいものから順番に表示される、日記に近い体裁になっているものが多いが、こうしたブログをユーザが日々日記をつける感覚で簡単に作成できるシステムが提案されており、こうしたシステムを利用した様々なサービスも行われている。
【０００４】
また、ブログにおいてはデジタル画像が有効利用されており、画像だけが掲載された写真集のような記事も多々あるが、一般には、画像の他にコメントを付加することが多い。とはいえ、デジタルカメラを用いて写真撮影を行い、パーソナルコンピュータ（以下、ＰＣと記す）を用いてコメントを入力するというのはユーザにとっても面倒であり、ブログ等において、より簡単に画像付きの文書を作成することができる方法が求められている。
【０００５】
このような画像付き文書を簡単に作成できるシステムに関する提案として、例えば特許文献１においては、入力された画像の特徴を抽出し、その特徴を、予めデータベースに登録されている形容詞に対応する特徴と比較し、その結果を用いて文書を作成し、出力することにより、入力された画像に対する評価を、形容詞を用いた感性的な文章として表現することができる。
【特許文献１】特開２００１−１９５５７９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
ここで、特許文献１の手法は、入力された画像の特徴とそれに対応した形容詞のみに基づいて文書を作成するため、その表現力は限られたものであり、ユーザが必ずしも満足できる文書が作成できるとは限らない。
【０００７】
本発明は、上記の事情に鑑みてなされたもので、多彩な表現の画像付き文章を容易に作成することができる文書自動作成装置、文書自動作成方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記の目的を達成するために、本発明の第１の態様の文書自動作成装置は、画像に関連する文書を自動的に作成する文書自動作成装置において、前記画像を示す画像データを記録する画像記録部と、少なくとも前記画像の撮影時以外の時間に発生した情報を記録する参照情報記録部と、前記参照情報記録部に記録された情報を参照して前記画像に関連する文書を自動的に作成する文書自動作成部とを備えたことを特徴とする。
【０００９】
また、上記の目的を達成するために、本発明の第２の態様の文書自動作成方法は、画像に関連する文書を自動的に作成する文書自動作成方法において、前記画像を示す画像データ及び前記画像の撮影時以外に発生した情報を記録部から読み出すステップと、前記画像の撮影時以外に発生した情報を参照して、前記画像に関連する文書を自動的に作成するステップとを有することを特徴とする。
【００１０】
また、上記の目的を達成するために、本発明の第３の態様の文書自動作成プログラムは、画像に関連する文書を自動的に作成する動作をコンピュータに実行させるための文書自動作成プログラムにおいて、前記画像の画像データ及び前記画像の撮影時以外に発生した情報を記録部から読み出すステップと、前記画像の撮影時以外に発生した情報を参照して、前記画像に関連する文書を自動的に作成するステップとをコンピュータに実行させる。
【発明の効果】
【００１１】
本発明によれば、多彩な表現の画像付き文章を容易に作成することができる文書自動作成装置、文書自動作成方法、及びプログラムを提供することができる。
【発明を実施するための最良の形態】
【００１２】
以下、図面を参照して本発明の実施形態を説明する。
図１は、本発明の一実施形態に係る文書自動作成装置を含む文書自動作成システムの構成を示す図である。図１に示す文書自動作成システムは、デジタルカメラ１００と、サーバ２００と、ＰＣ３００及び４００とを有している。デジタルカメラ１００は例えばＵＳＢ等を用いてＰＣ３００にデータ通信可能に接続され、また、サーバ２００、ＰＣ３００、４００はネットワーク５００を介して互いにデータ通信可能に接続されている。
【００１３】
図２は、図１のデジタルカメラ１００の構成を示す図である。図２に示すように、デジタルカメラ１００は、制御部１０１と、操作部１０２と、撮像部１０３と、ピント調整部１０４と、時計部１０５と、位置計測部１０６と、記録部１０７と、通信部１０８とを有している。
【００１４】
制御部１０１は、操作部１０２からの操作入力を受けて図２に示す各部の動作制御を行う。例えば、撮影操作がなされた場合には、撮影によって撮像部１０３から得られる画像を示す画像データに対して画像処理（圧縮等）を施した後、画像処理を施した画像データに撮影日時や撮影位置等の撮影情報を付加して記録部１０７に記録する一連の処理を行う。
【００１５】
操作部１０２はデジタルカメラ１００における撮影動作を開始させるための操作部や撮影時の撮影モードを設定するための操作部等の各種操作部から構成される。ユーザにより操作部１０２の何れかの操作部が操作された場合に、制御部１０１はその操作に応じた各種シーケンスを制御する。
【００１６】
撮像部１０３は、撮影レンズと、撮像素子と、アナログ／デジタル変換器（ＡＤＣ）等から構成される。そして、図示しない被写体の像を撮影レンズによって撮像素子の受光面上に結像させ、受光面上に結像させた被写体の像を撮像素子においてアナログの画像信号に変換し、撮像素子において得られた画像信号をＡＤＣにおいてデジタルの画像信号（画像データに変換して制御部１０１に出力する。
【００１７】
ピント調整部１０４は、撮影レンズの位置調整を行うことにより撮影レンズのピント合わせを行う。このピント合わせの手法としては、例えば、撮影レンズの位置を逐次変化させながら、撮像部１０４において得られる画像データより被写体のコントラストを求め、このコントラストが最大となる位置を撮影レンズのピント位置とする、山登り方式等の周知の手法を用いることができる。ここで、ピント合わせがなされたときの撮影レンズの位置から被写体距離を計測することもできる。ピント調整部１０４において計測される被写体距離も撮影情報として画像データに付加することができる。
【００１８】
時計部１０５は日時を計測する。位置計測部１０６は例えばＧＰＳを利用した測位によってデジタルカメラ１００の位置を計測する。撮影がなされた場合には時計部１０５によって計測された撮影日時情報及び位置計測部１０６によって計測された撮影位置情報が撮影情報の一部として画像データに付加される。また、被写体距離が計測された場合には被写体距離情報も撮影情報の一部として付加される。その他、撮影情報としては撮影時の露光条件等が付加される。
【００１９】
記録部１０７は撮影時に制御部１０１において画像処理がなされ、各種撮影情報が付加された画像データを記録する。通信部１０８は、記録部１０７に記録された画像データ等の各種データをＰＣ３００に送信する。デジタルカメラ１００にネットワーク６００に接続する機能を持たせ、記録部１０７に記録された画像データ等のデータを、ＰＣ３００を介さずにサーバ２００に送信できるようにしても良い。
【００２０】
文書自動作成装置としての機能を有するサーバ２００は、制御部２０１と、通信部２０２と、記録部２０３とを有している。
制御部２０１は、所定のプログラムに従ってサーバ２００の各部の動作を制御する。また、デジタルカメラ１００から画像を示す画像データが送信されてきた場合には、送信されてきた画像データの内容に関する文書を自動的に作成する。
【００２１】
通信部２０２はＰＣ３００から送信された画像データを受信するとともに、サーバ２００において自動的に作成される画像付き文書をＰＣ４００に送信する。
【００２２】
記録部２０３は、画像記録部２０３ａ、参照情報記録部２０３ｂ、及び文書記録部２０３ｃを有している。画像記録部２０３ａはデジタルカメラ１００から送信されてきた画像データを、撮影日時情報、撮影位置情報、撮影時の被写体距離情報等の撮影情報と関連付けて記録する。参照情報記録部２０３ｂは、制御部２０１による自動文章データ作成処理において用いられる各種の参照情報を記録する。この参照情報としては、例えば、画像記録部２０３ａに記録された画像データに写っている被写体が何であるかを識別するための植物、動物、人物、風景、料理等の各種画像データや、撮影位置情報からデジタルカメラ１００の所在地を特定するための地図データ等の画像の撮影時以外に取得される情報が含まれる。なお、図１においては、記録部２０３内に３つの記録部を持たせているが、これらはそれぞれ別の記録部で構成しても良いし、単一の記録部として構成しても良い。
【００２３】
ＰＣ３００、４００は、ウェブページをブラウジングするためのソフトウェアがインストールされ、ウェブページ上で各種の操作を行うためのマウスやキーボードといった操作部や液晶ディスプレイ等の表示部を有する一般的なパーソナルコンピュータである。
【００２４】
以下、図１に示す文書作成システムの動作について説明する。デジタルカメラ１００によって得られた画像データは、撮影日時や撮影位置等の撮影情報と関連付けられてサーバ２００の画像記録部２０３ａに記録されていく。サーバ２００の制御部２０１は、日々記録される画像データにおける変化から、現在、ユーザがどのようなことに関心があるかを分析し、それを文章化し、作成した文章をＰＣ３００を介して送信されてきた画像と関連付けて記録する。そして、ＰＣ４００からのアクセスがあれば、画像付き文書６０２をＰＣ４００に表示させる。この画像付き文書６０２はＰＣ３００から送信されてきた画像６００とこの画像６００から作成された文章６０１とから構成されている。
【００２５】
例えば、図１に示す画像データ６００から文章６０１を作成する場合、その画像に写っている被写体が「イチョウ」であることは、参照情報記録部２０３ｂに記録されている植物の画像データとの比較によって判別することができる。また、同じような構図で撮影された複数のイチョウの木の画像がサーバ２００に送信されている場合には、新たに送信されてきた画像と過去に記録されている画像との比較を行うことにより、それらの画像を同じイチョウの木の画像であると判別し、その画像に写っている被写体の変化を判別してそのことを文章として記述することが可能である。例えば、同じイチョウの木の葉の色が「黄色」に変化したことを検出することで、「イチョウ」という文章に葉の色が「黄色くなりました」という文章を付加することができる。さらに、同じイチョウの木の画像データが定期的にサーバ２００に送信されてくる場合には、「いつもの」等の修飾語を付加することもできる。
【００２６】
また、サーバ２００に送信されてくる画像から、例えば図３に示すような表形式で、撮影日時とそのときの撮影テーマ（被写体）とを管理しておき、この情報に基づいて文章作成を行うようにしても良い。このような管理をサーバ２００において行っておくことで、ユーザーがどんな写真撮影の傾向を持っているか（どの時間帯の撮影が多いか、どのような画像が多いか）等を判断することが可能である。そして、こうした管理が行われているがゆえに、「いつも撮影している」とか、「この前に撮影した」とか、「珍しく夜撮影した」とかの文章化が容易になる。
【００２７】
例えば、図３は、被写体の撮影履歴を１日単位で記録したものである。この中で最新の撮影結果である風景１と同じものは６日前に撮影されているので、例えば、「６日後に撮影」などという文章を付加することができる。さらに、風景１の画像が６日よりも短い期間で定期的に撮影され、今回だけ６日の間隔が空いていた場合には「６日ぶりに撮影」等の文章を付加することができる。これらのような工夫によって、作成される文章の単調さを防ぐこともできる。
【００２８】
なお、図３のような表を作成するに当たり、撮影者が撮影した様々なテーマの被写体が、風景、人物、ペット、料理等の何れに該当するかは、画像データに写っている被写体そのものから判別するだけでなく、例えば撮影時の被写体距離情報（風景なら近距離、ペットや料理なら近距離等）や撮影モード設定（人物ならポートレートモード等）を利用して判別することもできる。
【００２９】
以下、図１に示す自動文書作成システムの動作についてさらに詳しく説明する。
図４は、図１に示す自動文書作成システムにおけるデジタルカメラ１００の処理について示すフローチャートである。図４において、デジタルカメラ１００の制御部１０１は、ユーザによる画像の撮影操作がなされたか否かを判定している（ステップＳ１１）。
【００３０】
ステップＳ１１の判定において、撮影操作がなされた場合に、制御部１０１は各部を制御して撮影動作を実行する（ステップＳ１２）。撮影動作の終了後、制御部１０１は、位置計測部１０６によって撮影時におけるデジタルカメラ１００の位置情報が取得されているか否かを判定する（ステップＳ１３）。ステップＳ１３の判定において、撮影時の位置情報が取得されていた場合に、制御部１０１は画像処理後の画像データに、撮影位置情報、撮影時刻情報、被写体距離情報、撮影モード設定情報等の撮影情報を付加して記録部１０７に記録する（ステップＳ１４）。一方、撮影時の位置情報が取得されていない場合に、制御部１０１は画像処理後の画像データに、撮影位置情報以外の撮影情報を画像データに付加して記録部１０７に記録する（ステップＳ１５）。
【００３１】
また、ステップＳ１１の判定において、撮影操作がなされていない場合、制御部１０１は、ユーザによる画像の再生操作がなされたか否かを判定する（ステップＳ１６）。ステップＳ１６の判定において、画像の再生操作がなされた場合に制御部１０１はユーザによって選択された画像を図示しない表示部に再生する再生動作を実行する（ステップＳ１７）。
【００３２】
また、ステップＳ１６の判定において、再生操作がなされていない場合、制御部１０１は、ユーザによる画像データの送信操作がなされたか否かを判定する（ステップＳ１８）。ステップＳ１８の判定において、画像データの送信操作がなされた場合に制御部１０１は、ユーザによって選択された画像データを撮影情報とともにＰＣ３００或いはサーバ２００に送信するとともに、ユーザの行動履歴情報のうちで、まだＰＣ３００或いはサーバ２００に送信していないものを送信する（ステップＳ１９）。
【００３３】
ここで、ユーザの行動履歴情報とは、ユーザの撮影時以外の行動を示す情報である。より具体的には、ユーザが何時、どこにいるかを逐次検出して記録部１０７に記録しておいた情報である。このような情報を記録部１０７に記録し、サーバ２００に送ることで、サーバ２００においてさらに多様な文章を作成することが可能となる。ユーザの行動履歴情報をサーバ２００に送ることにより、例えば、画像の撮影から今まで、どこからどこに移動したかをサーバ２００側で識別できるので、例えば、「○○に△時に到着して撮影」等の文章を作成することが可能である。しかしながら、撮影時以外のユーザの行動を全て送信していると膨大なデータ量になるので、ユーザが定期的に画像データの送信（サーバ２００へのアップロード）をしている場合には、逐次、行動履歴情報もアップロードされているとして、未送信のデータのみを送信するようにする。例えば、前日に大阪に出張したときに画像を送信し、また別の日の別の画像を送信する場合には前日に大阪にいったことを示すデータを別の日の画像の送信時に送る必要はない。ただし、サーバ２００において作成する文章については、前日の行動履歴情報を参照して、例えば、「昨日は、大阪に行きましたが、今日はいつものイチョウです」といった文章を作成するようにしても良い。
【００３４】
画像データの送信を行った後、若しくは画像データの送信を行わなかった場合であっても、制御部１０１は、位置計測部１０６によって画像の送信時におけるデジタルカメラ１００の位置情報を取得するとともに、時計部によって現在の時刻情報を取得し、これら取得した位置情報及び時刻情報をユーザの行動履歴情報として記録部１０７に記録する（ステップＳ２０）。このようにして行動履歴情報を記録しておくことにより、ステップＳ１９の画像出力時に、ユーザの行動履歴情報を画像データと一緒に送信することができ、サーバ２００において図３のような表を作成することが可能である。
【００３５】
図５は、図１に示す自動文書作成システムにおけるサーバ２００の処理について示すフローチャートである。
【００３６】
まず、サーバ２００の制御部２０１は、デジタルカメラ１００から直接、或いはＰＣ３００から画像データを受信したか否かを判定している（ステップＳ２１）。ステップＳ２１の判定において、画像データが受信されると、制御部２０１は、受信した画像データを撮影情報とともに記録部２０３の画像記録部２０３ａに記録させるとともに、画像データとともに受信されるユーザの行動履歴情報を参照情報記録部２０３ｂに記録させる（ステップＳ２２）。
【００３７】
次に、制御部２０１は、画像データに撮影位置情報が付加されているか否かを判定する（ステップＳ２３）。ステップＳ２３の判定において、画像データに撮影位置情報が付加されている場合に、制御部２０１は、送信されてきた画像データと、この画像データに関連付けられた撮影日時情報及び撮影位置情報とから文章を作成する（ステップＳ２４）。一方、ステップＳ２３の判定において、画像データに撮影位置情報が付加されていない場合に、制御部２０１は、撮影位置情報を考慮せず、画像データと撮影日時情報とから文章を作成する（ステップＳ２５）。ステップＳ２４及びステップＳ２５の文章作成の処理については後述する。
【００３８】
次に、制御部２０１は、ステップＳ２４又はステップＳ２５において作成した文章データと過去に作成して文書記録部２０３ｃに記録された文章データとを比較して、同じ文章データが所定回数以上連続して作成されているか否かを判定する（ステップＳ２６）。ステップＳ２６の判定において、同じ文章データが所定回数以上連続して作成されている場合に、制御部２０１は、ステップＳ２４又はステップＳ２５において作成した文章を、記録部２０３の参照情報記録部２０３ｂに記録されている文例集のデータを用いてアレンジする（ステップＳ２７）。
【００３９】
例えば、同じ「青い花」に関する文章を作成する場合であっても、単に「青い花」という単語のみを用いる場合や、「青い花を見ました」、「青い花が咲いていました」、「青い花がきれいでした」等と様々なバリエーションにする。このような１つの文に対してもバリエーションを作るために、多数の文案を参照情報記録部２０３ｂに記録しておき、ここから適宜、選択して新たな文章を作成する。例えば、画像内の被写体が「青い花」である場合に、まず、「青い花」のみで文章を作成する。そして、この「青い花」のみの文章が所定回数以上連続して作成された場合には、次に、「青い花を見ました」という文章を作成する。以後も同様に、同じ文章が複数回続いた場合には別の文章を作成する。これによって、同じ被写体に対する文章であっても、同じ文章ばかり作成されることがなく、ユーザに飽きを感じさせない。
【００４０】
ステップＳ２６又はステップＳ２７の後、制御部２０１は、作成された文章データを画像記録部２０３ａに記録された画像データと関連付けて文書記録部２０３ｃに記録させる（ステップＳ２８）。これにより画像付き文書が作成される。その後に図５の処理を終了する。
【００４１】
さらに、サーバ２００には、自動的に作成された文章を記録するだけでなく、ユーザが自身で作成した文章を記録することもできる。このために、ステップＳ２１において、画像データが受信されていない場合に、制御部２０１は、日記等の記事（ここでは特に画像付きの記事）を受信した否かを判定する（ステップＳ２９）。そして、ステップＳ２９の判定において、記事が受信されると、制御部２０１は、受信した記事の文章データと画像データとを文書記録部２０３ｃ、画像記録部２０３ａにそれぞれ記録させる。そして、図５の処理を終了する。ユーザ自身によって作成された文章は、サーバ２００において自動的に作成された文章よりもさらに詳細な情報を含むことがある。例えば、撮影位置情報だけでは、「どこそこのイチョウです」という文章は作成できても、「懐かしいイチョウです」とか、「想い出のイチョウです」等といった文章を作成することはできず、これらのような表現は、後で、同様の画像データが送られてきた時に引用するようにしてもよい。例えば、類似画像検索の機能を利用し、同様の画像が送られて来るとき、「また、懐かしいイチョウの写真を撮りました」等といった文章を作成することが可能となる。
【００４２】
また、ステップＳ２９の判定において、記事が受信されていない場合に、制御部２０１は、ユーザによる画像の再生指示がなされたか否かを判定する（ステップＳ３０）。ステップＳ３０の判定において、ユーザによる画像の再生指示がなされた場合には、ユーザによって選択された画像とこの画像に関連付けられた文章とをＰＣ４００のディスプレイ上に表示させる（ステップＳ３１）。その後、図５の処理を終了する。
【００４３】
図６は、図５のステップＳ２４の処理の詳細について示すフローチャートである。まず、制御部２０１は、参照情報記録部２０３ｂから、ユーザの行動履歴情報を読み出す（ステップＳ４１）。このような記録から、画像の位置づけ（その画像がどこからどこに行く途中の撮影で得られたものか、いつも通っているところでの撮影で得られたものか、たまに来た場所での撮影で得られたものか等）を判断することができる。この判断を行うために、制御部２０１は、送信されてきた画像データの撮影日時情報Ａを検出する（ステップＳ４２）。さらに、制御部２０１は、送信されてきた画像データの撮影位置情報を検出する（ステップＳ４３）。そして、制御部２０１は、撮影位置情報とステップＳ４１において読み出した行動履歴情報とを比較し、送信されてきた画像データが長距離の移動をした後の撮影によって得られたものであるか否かを判定する（ステップＳ４４）。これは送信されてきた画像の撮影位置情報とこの画像の撮影日時の前の時点の位置情報（行動履歴情報から取得）との差が所定距離よりも大きいか否かによって判定することができる。
【００４４】
ステップＳ４４の判定において、画像が長距離の移動した後の撮影によって得られたものである場合には、特別な場所での撮影がなされたと判定する。そこで、制御部２０１は、画像の撮影位置を参照情報記録部２０３ｂに記録されている地図データと照合して、画像の撮影位置に対応する地名Ｂを判別する（ステップＳ４５）。次に、制御部２０１は、撮影時間情報と移動開始時間の差から移動時間Ｃを計算し（ステップＳ４６）、この移動時間Ｃを織り込む形で地名Ｂを表記するような文章（図６参照）を作成する（ステップＳ４７）。その後に、図６の処理を終了する。ここで、図６のステップＳ４７の例では移動時間を文章中に含めるようにしているが、移動距離そのものを含めるようにしてもよい。
【００４５】
また、ステップＳ４４の判定において、移動距離が小さい場合にはユーザの生活圏での撮影であるから、地名はどうでもよく、むしろ、画像に写っている被写体や撮影時間の方が重要であると判定する。この場合、制御部２０１は、画像内の被写体Ｄを判別する（ステップＳ４８）。この判別は、例えば、画像内の被写体を参照情報記録部２０３ｂに記録されている被写体種別用の画像と照合することにより行うことができる。
【００４６】
被写体Ｄを判別した後、制御部２０１は、送信されてきた画像データと同じ時間帯に撮影された画像データが画像記録部２０３ａに記録されているか否かを判定する（ステップＳ４９）。ステップＳ４９の判定において、送信されてきた画像データと同じ時間帯に撮影された画像データが画像記録部２０３ａに記録されている場合に、制御部２０１は、送信されてきた画像データと、この送信されてきた画像データと同じ時間帯に撮影された画像データとの比較を行って、被写体の形状、構図等の画像の特徴が類似する画像データを検索する（ステップＳ５０）。ステップＳ５０における画像比較は、例えば、比較する画像同士の輪郭成分を抽出し、該抽出した輪郭成分同士のマッチングによって行うことができる。マッチングの際には、比較する画像における被写体の形状の同一性にある程度の許容範囲を設けるようにして多少の構図の違い等は許容できるようにすることが望ましい。
【００４７】
ステップＳ５０の類似画像データの検索の後、制御部２０１は、送信されてきた画像データと同じテーマ（即ち、形状、構図等の類似度の高い被写体）の画像データがあったか否かを判定する（ステップＳ５１）。ステップＳ５１の判定において、同じテーマの画像データがあった場合に、制御部２０１は、前回の撮影日Ｅの画像と比較する旨の文章を作成する（ステップＳ５２）。このような文章を作成することによって、ユーザも忘れていたような期日までをユーザに呈示して比較を促すことができる。なお、比較を促す文章ではなく、色の変化等を検出してそれを文章化するようにしても良い。
【００４８】
また、ステップＳ５１の判定において、同じテーマの画像がない場合に、制御部２０１は、送信されてきた画像データにおける被写体の色Ｆを検出する（ステップＳ５３）。その後、制御部２０１は、被写体の色が鮮やかな色、即ち色の彩度が高いか否かを判定する（ステップＳ５４）。ステップＳ５４の判定において、被写体の色の特徴が判定できた場合に、制御部２０１は、被写体の特徴として、色が鮮やかであった旨を文章として作成する（ステップＳ５５）。一方、ステップＳ５５の判定において、色に特徴がなければ、制御部２０１は、撮影した被写体と撮影日時だけを文章として作成する（ステップＳ５６）。
【００４９】
図７は、図５のステップＳ２５の処理の詳細について示すフローチャートである。まず、制御部２０１は、送信されてきた画像データの撮影日時情報Ｇを検出する（ステップＳ６１）。次に、制御部２０１は、画像内の被写体Ｈを判別する（ステップＳ６２）。被写体Ｈを判別した後、制御部２０１は、送信されてきた画像データと被写体の形状、構図等の画像の特徴が類似する画像データを画像記録部２０３ａから検索する（ステップＳ６３）。
【００５０】
ステップＳ６３の類似画像データの検索の後、制御部２０１は、被写体の形状、構図等の類似度の高い画像データがあったか否かを判定する（ステップＳ６４）。ステップＳ６４の判定において、類似度の高い画像データがない場合に、制御部２０１は、制御部２０１は、撮影した被写体と撮影日時だけを文章として作成する（ステップＳ７１）。
【００５１】
一方、ステップＳ６４の判定において、類似度の高い画像データがあった場合に、制御部２０１は、類似度の高い画像データのうち、最近に取得された画像データの撮影日時情報Ｉを、例えば図３の表を参照して検出する（ステップＳ６５）。次に、制御部２０１は、撮影日時情報Ｇと撮影日時情報Ｉとの日時差Ｊを算出する（ステップＳ６６）。
【００５２】
次に、制御部２０１は、今回送信されてきた画像データと、類似度が高い前回の画像データとの間に色差等の画像の差があるか否かを判定する（ステップＳ６７）。これは、例えば両画像データの画素値の比較によって行う。ステップＳ６７の判定において、画像の差がある場合に、制御部２０１は、画像の差が色の差であるか否かを判定する（ステップＳ６８）。ステップＳ６８の判定において、画像の差が色の差である場合に、制御部２０１は、今回送信されてきた画像データの色Ｋを検出する（ステップＳ６９）。そして、制御部２０１は、図７に示すような被写体Ｈの色変化を示す文章を作成する（ステップＳ７０）。
【００５３】
一方、ステップＳ６７の判定において画像の差がない場合、若しくはステップＳ６８の判定において画像の差が色の差でない場合に、制御部２０１は、図７に示すような見る人の目にまかせるような文章を作成する（ステップＳ７２）。
【００５４】
以上説明したように、本実施形態によれば、ユーザは画像をアップロードするだけで、その画像の補足的な説明についての文章を作成することができる。これにより、文章を書くのが面倒な人でも、画像をアップロードするだけで、その人らしい画像付き文書を作成して、読む人にわかりやすい記事にすることが可能となる。
【００５５】
［変形例］
ここで、上述した実施形態の変形例について説明する。上述した実施形態においては、画像の撮影位置、撮影日時、特徴等を検出してそれらを組み合わせて文章を作成しているが、すべての文章をサーバ２００において作成させる必要はない。つまり、最初のうちはユーザによって作成される文章の傾向をサーバ２００において学習させ、この学習結果に基づいて文章を作成させるようなシステムに変形させてもよい。
【００５６】
図８は、変形例における文章作成処理について示したフローチャートである。図８において、サーバ２００の制御部２０１は、ユーザによって記事の作成モードか選択されたか否かを判定している（ステップＳ１０１）。ステップＳ１０１の判定において、記事の作成モードが選択されている場合に、制御部２０１は、ユーザが記事作成の際に選択しやすい画像の傾向を学習しているか否かを判定する（ステップＳ１０２）。
【００５７】
ステップＳ１０２の判定において、ユーザの選択しやすい画像の傾向を学習していない場合に、制御部２０１は、ユーザによる文章の入力（ステップＳ１０３）、及び画像の入力（ステップＳ１０４）を待つ。ユーザによって文章及び画像が入力された場合に、制御部２０１は、ステップＳ１０３において入力された文章とステップＳ１０４において入力された画像とを関連付けて文書記録部２０３ｃ、画像記録部２０３ａにそれぞれ記録させる（ステップＳ１０５）。
【００５８】
また、ステップＳ１０１の判定において、記事の作成モードでない場合に、制御部２０１は、記事が所定数以上作成されているか否かを判定する（ステップＳ１０６）。ステップＳ１０６の判定において、記事が所定数以上作成されていない場合には、図８の処理を終了する。
【００５９】
一方、記事がたくさん作成されると、ステップＳ１０６の判定をＮｏに分岐する。この場合、制御部２０１は、ユーザによって作成された記事における画像と対応する文章を判定する（ステップＳ１０７）。これは、例えば、参照情報記録部２０３ｂに記録されている参照情報によって画像内の被写体を判定し、判定した被写体に対応する文章部分を判定することにより行うことができる。その後、ステップＳ１０７の結果から、制御部２０１は、文章に対する画像の選択傾向を学習する（ステップＳ１０８）。例えば、服の色に対して興味のあるユーザなら、服の写った画像と服の色に関する文章とがセットになっていることを学習させる。
【００６０】
これは、図９のような状態である。図９に示す記事のうち、「寝不足」とか「出かける」は、画像に直接的に関係しない部分なので学習の対象とはしない。これに対し、「色」や「形状」、「きれい」、「かわいい」等といった画像に付されやすい修飾語などをもとに、ユーザがいかなる画像部分に注意を払いがちかを判断する。
【００６１】
また、ステップＳ１０２の判定において、ユーザの選択しやすい画像の傾向を学習した場合に、制御部２０１は、ユーザによる画像の入力のみを待つ（ステップＳ１１０）。ユーザによって画像が入力された場合に、制御部２０１はユーザによって入力された画像と形状や構図等が類似する画像を画像記録部２０３ａから検索し、この検索した画像に対応する文章部分を抽出する（ステップＳ１１１）。そして、抽出した文章部分を引用して新たな文章を作成する（ステップＳ１１２）。その後は、新たに作成した文章とユーザによって入力された画像とを関連付けして文書記録部２０３ｃ、画像記録部２０３ａにそれぞれ記録させる。
【００６２】
ここで、ステップＳ１１１における処理の際に、ユーザによって入力された画像と検索した類似画像との間で被写体の色等に差異がある場合にはその部分は変更する必要がある。例えば、ユーザによって以前作成された文章に、図９のように、「水色の服」などと服の色に触れた文章が存在し、この文章に関連付けられた画像と同じ人の顔が写った画像が入力された場合には、その服の色の特徴を画像から抽出し、「今日の服の色は黄色だ」という風に、ユーザの興味があるような内容にアレンジした文章を作成する。この作成の仕方は、その人の作成した文章を真似して、単語のみ入れ替えて文体を模倣してもよいし、文例をいくつか用意しておき、その中から適当なものを選択するようにしてもよい。また、同じような文章が毎日続くと飽きてしまうので、前の日とテーマが同じでも、文章は変えるような工夫をしてもよい。それは、いくつかの文例のうち、違うものを選択するようにすれば良い。
【００６３】
以上説明したような変形例によって、ユーザ毎のライフスタイルや価値観を反映させた文章を作成することができる。
【００６４】
以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。例えば、上述した実施形態では、デジタルカメラ１００から送信された画像データや行動履歴情報等をもとにサーバ２００において文章を自動的に作成する例について説明しているが、サーバ２００の制御部２０１や参照情報記録部２０３ｂの機能をデジタルカメラ１００に持たせることにより、デジタルカメラ１００内部において文章を自動的に作成できるようにしてもよい。
【００６５】
さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。
【図面の簡単な説明】
【００６６】
【図１】本発明の一実施形態に係る文書自動作成装置を含む文書自動作成システムの構成を示す図である。
【図２】図１のデジタルカメラの構成を示す図である。
【図３】撮影日時と撮影テーマとを管理するための表の一例を示す図である。
【図４】図１に示す自動文書作成システムにおけるデジタルカメラの処理について示すフローチャートである。
【図５】図１に示す自動文書作成システムにおけるサーバの処理について示すフローチャートである。
【図６】図５のステップＳ２４の処理の詳細について示すフローチャートである。
【図７】図５のステップＳ２５の処理の詳細について示すフローチャートである。
【図８】変形例における文章作成処理について示したフローチャートである。
【図９】選択画像傾向の学習について説明するための図である。
【符号の説明】
【００６７】
１００…デジタルカメラ、１０１…制御部、１０２…操作部、１０３…撮像部、１０４…ピント調整部、１０５…時計部、１０６…位置計測部、１０７…記録部、１０８…通信部、２００…サーバ、２０１…制御部、２０２…通信部、２０３…記録部、２０３ａ…画像記録部、２０３ｂ…参照情報記録部、２０３ｃ…文書記録部、３００，４００…パーソナルコンピュータ（ＰＣ）、５００…ネットワーク
【特許請求の範囲】
【請求項１】
画像に関連する文書を自動的に作成する文書自動作成装置において、
前記画像を示す画像データを記録する画像記録部と、
少なくとも前記画像の撮影時以外の時間に発生した情報を記録する参照情報記録部と、
前記参照情報記録部に記録された情報を参照して前記画像に関連する文書を自動的に作成する文書自動作成部と、
を備えたことを特徴とする文書自動作成装置。
【請求項２】
前記画像の撮影時以外の時間に発生した情報は前記画像の撮影時以外の時間に撮影された画像であり、
前記参照情報記録部は、前記撮影時以外の時間に撮影された画像と前記画像の撮影時に関する情報とを記録することを特徴とする請求項１に記載の文書自動作成装置。
【請求項３】
前記画像の撮影時に関する情報は、前記画像の撮影時における撮影者のいた位置と時間の情報を含むことを特徴とする請求項１に記載の文書自動作成装置。
【請求項４】
前記文書自動作成部は、前記画像の撮影時以外の時間に撮影された画像及び前記撮影時に関する情報を基に、前記画像が、前記撮影者が長距離移動した後に撮影されたものであると判定されたときは、移動時間又は移動距離に関する文書を作成することを特徴とする請求項３に記載の文書自動作成装置。
【請求項５】
前記文書自動作成部は、前記参照情報記録部に記録された情報を参照して、人為的に作成された文書の特徴と前記画像との対応関係を学習により取得し、その学習により取得した情報に基づいて文書を自動的に作成することを特徴とする請求項１に記載の文書自動作成装置。
【請求項６】
画像に関連する文書を自動的に作成する文書自動作成方法において、
前記画像を示す画像データ及び前記画像の撮影時以外に発生した情報を記録部から読み出すステップと、
前記画像の撮影時以外に発生した情報を参照して、前記画像に関連する文書を自動的に作成するステップと、
を有することを特徴とする文書自動作成方法。
【請求項７】
画像に関連する文書を自動的に作成する動作をコンピュータに実行させるための文書自動作成プログラムにおいて、
前記画像の画像データ及び前記画像の撮影時以外に発生した情報を記録部から読み出すステップと、
前記画像の撮影時以外に発生した情報を参照して、前記画像に関連する文書を自動的に作成するステップと、
をコンピュータに実行させるための文書自動作成プログラム。
【請求項１】
画像に関連する文書を自動的に作成する文書自動作成装置において、
前記画像を示す画像データを記録する画像記録部と、
少なくとも前記画像の撮影時以外の時間に発生した情報を記録する参照情報記録部と、
前記参照情報記録部に記録された情報を参照して前記画像に関連する文書を自動的に作成する文書自動作成部と、
を備えたことを特徴とする文書自動作成装置。
【請求項２】
前記画像の撮影時以外の時間に発生した情報は前記画像の撮影時以外の時間に撮影された画像であり、
前記参照情報記録部は、前記撮影時以外の時間に撮影された画像と前記画像の撮影時に関する情報とを記録することを特徴とする請求項１に記載の文書自動作成装置。
【請求項３】
前記画像の撮影時に関する情報は、前記画像の撮影時における撮影者のいた位置と時間の情報を含むことを特徴とする請求項１に記載の文書自動作成装置。
【請求項４】
前記文書自動作成部は、前記画像の撮影時以外の時間に撮影された画像及び前記撮影時に関する情報を基に、前記画像が、前記撮影者が長距離移動した後に撮影されたものであると判定されたときは、移動時間又は移動距離に関する文書を作成することを特徴とする請求項３に記載の文書自動作成装置。
【請求項５】
前記文書自動作成部は、前記参照情報記録部に記録された情報を参照して、人為的に作成された文書の特徴と前記画像との対応関係を学習により取得し、その学習により取得した情報に基づいて文書を自動的に作成することを特徴とする請求項１に記載の文書自動作成装置。
【請求項６】
画像に関連する文書を自動的に作成する文書自動作成方法において、
前記画像を示す画像データ及び前記画像の撮影時以外に発生した情報を記録部から読み出すステップと、
前記画像の撮影時以外に発生した情報を参照して、前記画像に関連する文書を自動的に作成するステップと、
を有することを特徴とする文書自動作成方法。
【請求項７】
画像に関連する文書を自動的に作成する動作をコンピュータに実行させるための文書自動作成プログラムにおいて、
前記画像の画像データ及び前記画像の撮影時以外に発生した情報を記録部から読み出すステップと、
前記画像の撮影時以外に発生した情報を参照して、前記画像に関連する文書を自動的に作成するステップと、
をコンピュータに実行させるための文書自動作成プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２００８−２５７３５８（Ｐ２００８−２５７３５８Ａ）
【公開日】平成２０年１０月２３日（２００８．１０．２３）
【国際特許分類】
【出願番号】特願２００７−９６８０２（Ｐ２００７−９６８０２）
【出願日】平成１９年４月２日（２００７．４．２）
【出願人】（５０４３７１９７４）オリンパスイメージング株式会社 (2,647)
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２０年１０月２３日（２００８．１０．２３）
【国際特許分類】
【出願日】平成１９年４月２日（２００７．４．２）
【出願人】（５０４３７１９７４）オリンパスイメージング株式会社 (2,647)
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]