携帯端末装置およびコンピュータプログラム
【課題】携帯端末装置において、撮影画像の撮影や画像に関連した種々の情報を取得して元画像に合成することにより、新たな画像を生成する。
【解決手段】カメラ付き携帯端末装置２００は、撮影により得られた画像またはその画像に付随した付随情報をキーワードとしてインターネット１５０上の検索サーバ１００に対して検索の実行を要求し、検索サーバ１００から得られた検索結果を一時的に保存する。その後、撮影画像に対して検索結果を重ね合わせて合成し、合成済みの画像をホームネットワーク３５０上の指定された出力装置４００へ送信する。出力装置４００は好ましくは大画面の表示装置で合成済み画像を表示する。
【解決手段】カメラ付き携帯端末装置２００は、撮影により得られた画像またはその画像に付随した付随情報をキーワードとしてインターネット１５０上の検索サーバ１００に対して検索の実行を要求し、検索サーバ１００から得られた検索結果を一時的に保存する。その後、撮影画像に対して検索結果を重ね合わせて合成し、合成済みの画像をホームネットワーク３５０上の指定された出力装置４００へ送信する。出力装置４００は好ましくは大画面の表示装置で合成済み画像を表示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、インターネットおよびホームネットワークに接続可能な携帯端末装置およびコンピュータプログラムに関する。
【背景技術】
【０００２】
近年、携帯電話端末の多機能化、高機能化はめざましく、インターネットを利用したＷｅｂ閲覧機能および電子メール機能、カメラによる撮影機能の他、全地球測位システム（ＧＰＳ）による位置検出機能、Ｂｌｕｅｔｏｏｔｈ（登録商標）や無線ＬＡＮなどの近距離無線通信機能等を備えたものが市場に出回っている。
【０００３】
カメラ付き携帯電話機では、カメラで撮影された画像を電子メールで画像検索サービス提供サーバに送信し、そのサーバが受信した画像から特徴量を抽出して類似する特徴量を有するＷｅｂサイトのＵＲＬを携帯電話機に返信し、これを受けた携帯電話機はそのＵＲＬにアクセスしてＷｅｂ情報を得る、という技術が提案されている（特許文献１参照）。
【０００４】
画像処理装置において、記録メディアに記録された画像を読み込むとともに位置情報から地図画像情報を検索し、この検索により得られた地図画像情報を記録メディアから読み込まれた画像と１つの画像に合成する技術も提案されている（特許文献２参照）。
【０００５】
また、ユーザが各種機器（デジタル家電を含む）を組み合わせてホームネットワークを構成し、家庭内の様々な場所で手軽にオーディオ・ビデオコンテンツを楽しめるように標準化されたＤＬＮＡ（Digital Living Network Alliance）という仕様を利用すれば、ユーザは複雑な設定を行うことなく、サーバに保存された写真、動画、音楽等のデジタルコンテンツを自由に呼び出して所望の機器上で再生することができる（非特許文献１参照）。携帯電話端末もＤＬＮＡに準拠した機器となりうる。
【特許文献１】特開２００３−２７１６５０号公報
【特許文献２】特開２００１−２６６１６９号公報
【非特許文献１】“ＤＬＮＡとは”、[平成２０年１月１１日検索]インターネット＜ＵＲＬ：http:www.alpha.co.jp/biz/productｓ/dlna/about/＞
【発明の開示】
【発明が解決しようとする課題】
【０００６】
特許文献１に記載の技術では撮影された画像に該当する情報をＷｅｂサイトから得ることができるが、これは紙媒体上の広告や商品パッケージから利用者をＷｅｂサイトへ誘導することを目的とするものであり、撮影画像を編集して楽しむような用途には、直ちに利用できるものではない。
【０００７】
特許文献２に記載の技術では、画像の撮影場所が直感的に分かりやすいプリントをを得ることができるが、撮影画像に単に地図を合成するのみであり、撮影後に家族や友人で楽しむために、撮影に関する関連情報を盛り込むという点では十分とは言えない。
【０００８】
本発明はこのような背景においてなされたものであり、携帯端末装置において、撮影画像の撮影や画像に関連した種々の情報を取得して元画像に合成することにより、新たな画像を生成することができる携帯端末装置およびコンピュータプログラムを提供するものである。
【課題を解決するための手段】
【０００９】
本発明による携帯端末装置は、インターネットおよびホームネットワークに接続可能な携帯端末装置であって、撮影により得られた画像とともにその画像または撮影に付随した付随情報を保存する付随情報保存手段と、前記付随情報をキーワードとしてインターネット上の検索サーバに対して検索の実行を要求する検索要求手段と、前記検索サーバから得られた検索結果を一時的に保存する検索結果保存手段と、前記撮影により得られた画像に対して前記検索結果を重ね合わせて合成する画像合成手段と、合成済みの画像をホームネットワーク上の指定された出力装置へ送信する送信手段とを備えたことを特徴とする。
【００１０】
この携帯端末装置は、ユーザの操作に応じて、画像または撮影に付随した付随情報（例えば、撮影日、撮影場所、ユーザの入力情報）をキーワードとしてインターネット上の検索サーバでの検索を要求し、その検索結果を元の画像に対して重ね合わせて合成する。さらに、合成済みの画像をホームネットワーク上の指定された出力装置へ送信することにより、出力装置において例えば大画面の表示画面上で当該合成済みの画像が表示される。
【００１１】
前記キーワードの種類毎に、検索の実行を要求する検索サーバのＵＲＬを対応付けた対応テーブルを設けて、前記検索要求手段は検索に使用するキーワードの種類に対応したＵＲＬの検索サーバに検索の実行を要求するようにしてもよい。
【００１２】
本発明によるコンピュータプログラムは、インターネットおよびホームネットワークに接続可能な携帯端末装置において実行されるコンピュータプログラムであって、撮影により得られた画像とともにその画像または撮影に付随した付随情報を取得するステップと、前記付随情報をキーワードとしてインターネット上の検索サーバに対して検索の実行を要求するステップと、前記検索サーバから得られた検索結果を一時的に保存するステップと、前記撮影により得られた画像に対して前記検索結果を重ね合わせて合成するステップと、合成済みの画像をホームネットワーク上の指定された出力装置へ送信するステップとをコンピュータに実行させることを特徴とする。
【００１３】
本発明の他の構成および作用効果については、以下に詳述する。
【発明の効果】
【００１４】
本発明によれば、撮影画像に付随した情報に基づいて関連情報を検索することにより、種々の関連情報を迅速かつ容易に収集し、かつ、得られた関連情報の中から所望の関連情報を撮影画像に合成することにより１枚の撮影画像のなかにその各種関連情報を盛り込む、という作業を容易に行うことができる。
【００１５】
また、このような合成済みの画像をホームネットワーク上の指定された出力装置へ送信することにより、同出力装置において同じ合成画像を複数のユーザが共同して楽しむことができる。
【発明を実施するための最良の形態】
【００１６】
以下、本発明の好適な実施の形態について図面を参照しながら詳細に説明する。
【００１７】
図１は、本実施の形態に係るシステム全体の概略構成を示した図である。
【００１８】
本システムの中心にカメラ付き携帯端末２００が位置する。この携帯端末２００は、インターネット１５０へ接続する機能およびローカルなホームネットワーク３５０に接続する機能を有する。また、携帯端末２００は、インターネット１５０を介して１または複数の検索サーバ１００にアクセスするとともに、ホームネットワーク３５０を介して１または複数の出力装置４００に接続する。ホームネットワーク３５０は、携帯端末２００との無線インタフェースを含む無線ネットワーク（Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉｒｅｌｅｓｓ ＬＡＮ等）の他、有線ネットワークを併用するものであってもよい。出力装置４００は、ディスプレイ装置を備えたパーソナルコンピュータ、テレビ装置など、表示画面上に可視情報を出力する装置である。携帯端末２００は、さらに、ＧＰＳ受信機能を有し、所定のＧＰＳ衛星１４０（実際には複数個）からの電波を受信して、自己の現在位置（緯度、経度および高度等）を検出する。
【００１９】
本実施の形態では、ホームネットワーク３５０はＤＬＮＡ（Digital Living Network Alliance）に準拠しているものとして説明する。ＤＬＮＡの各種機器の機能としては、ＤＭＳ（Digital Media Server）、ＤＭＣ（Digital Media Controller）、ＤＭＲ（Digital Media Renderer）、ＤＭＰ（Digital Media Player）がある。
【００２０】
ＤＭＳは、通信ネットワーク上で共有されるデジタルコンテンツを管理し、公開するサーバである。一般に、ＰＣ、映像記録再生装置、デジタルカメラ等がＤＭＳとなりうる。ＤＭＰは、 ＤＭＳが公開するデジタルコンテンツを再生するためのプレーヤである。一般に、テレビ受像機、デジタル音楽プレーヤ、ステレオセット等がＤＭＰとなりうる。ＤＭＣは、 コンテンツの再生開始、停止、早送りなどの制御を行うコントローラである。ＤＭＲは、 ＤＭＣの制御に従ってコンテンツを専ら再生する装置である。ＤＭＲは、コンテンツの選択や再生操作のためのユーザインタフェースは持たない。映像モニタ、スピーカ等がＤＭＲとなりうる。ＤＭＰはＤＭＣとＤＭＲの機能を兼ね備えたものと言える。個々のＤＬＮＡ対応装置としては、これらの１または２以上の機能を備えることができる。例えば、一つの装置がＤＭＳとＤＭＣを兼ねたり、ＤＭＳとＤＭＰを兼ねたり、ＤＭＳとＤＭＲを兼ねたりすることができる。本実施の形態の場合、携帯端末２００はＤＭＳとＤＭＣを兼ねる。携帯端末２００は、ＤＭＳとＤＭＰを兼ねることも可能である。
【００２１】
このシステムは現在のＤＬＮＡ仕様を変更することなく使用することができ、個々の機器のメーカーに依存することなくＤＬＮＡ対応機器であればネットワーク上で相互運用することも可能である。
【００２２】
携帯端末２００は、インターネット１５０上の検索サーバ１００との関係ではクライアントとして機能し、検索サーバ１００に対してアクセスし、検索サービスを受ける。
【００２３】
図１のシステムにおいて、携帯端末２００は、その内蔵カメラによる撮影時に、その撮影日、撮影時間、撮影場所など、その撮影に付随した情報（ＥＸＩＦ情報）を取得し、撮影された画像データとともにそれらの付随情報を記憶する。また、ユーザがその撮影画像に対して入力した任意の情報をタグ情報として付加することもできる。このタグ情報も当該画像の「付随情報」となる。
【００２４】
携帯端末２００は、内部に保存されている画像を選択し、その選択された画像に付加されている付随情報をキーワードとして、検索サーバ１００に送信する。検索サーバ１００は、そのキーワードに該当する情報を検索し、得られた検索結果情報を携帯端末２００へ返送する。携帯端末２００は、ユーザの指示に応じて、返送された検索結果情報を当該画像に合成する等の画像編集を行って編集結果を保存し、当該合成済みの画像（合成画像）を、指定された出力装置４００へ送信し、表示させる。本実施の形態では、出力装置４００は、その表示画面のサイズが携帯端末２００の表示画面のそれより十分大きく、複数のユーザが同時に閲覧できるようなものを想定している。
【００２５】
図２は、本実施の形態における携帯端末の内部の概略ハードウェア構成を示したブロック図である。
【００２６】
携帯端末２００は、バス２１５で相互に接続された、制御部２０１、通信部２０３、表示部２０４、操作部２０５、記憶部２０６、音声処理部２１０、この音声処理部２１０に接続されたスピーカ２１１、マイク２１２、カメラ部２１３、近距離無線通信部２１４および全地球測位システム（ＧＰＳ）受信部２１５を備えている。本発明の付随情報保存手段、検索結果保存手段およびメール保存手段は記憶部２０６により構成される。
【００２７】
制御部２０１は、ＣＰＵ等を含み、携帯端末２００の各部を制御する。本実施の形態では、この制御部２０１が後述する画像合成を含む各種の画像処理を行う画像処理部としても機能する。本発明の画像合成手段は制御部２０１により構成される。本発明の検索要求手段は制御部２０１および通信部２０３により構成される。勿論、制御部２０１と独立した画像処理部を備えてもよい。本発明による送信手段は近距離無線通信部２１４により構成される。
【００２８】
通信部２０３は、ＲＦ部、変調回路等を含み、アンテナ２０２を介して基地局との間で、通話およびメールやＷＥＢデータ等のための無線通信を行う。
【００２９】
表示部２０４は、ユーザに対して可視情報を提示するための表示インタフェースを提供するものであり、ＬＣＤや有機ＥＬ等の表示デバイスを含む。
【００３０】
操作部２０５は、ユーザが指示やデータを入力するための入力インタフェースを提供するものであり、テンキー、カーソル移動キー、通話キー、電源キー等の各種操作キーを含む。
【００３１】
記憶部２０６は、ＲＯＭ，ＲＡＭ，ＨＤＤ等の記憶装置を含み、ＣＰＵが実行するＯＳや各種アプリケーション等のプログラムや各種データを記憶する。ＲＯＭには、フラッシュメモリのような再書き込み可能な不揮発性メモリを含みうる。プログラムには、本実施の形態におけるＤＬＮＡの機能を実現するためのプログラムおよび必要なデータも含む。
【００３２】
音声処理部２１０は、音声のエンコーダ、デコーダ、ＤＡ変換器、ＡＤ変換器等を含み、スピーカ２１１（イヤホン含む）に対する音声出力およびマイクからの音声入力を行う。
【００３３】
カメラ部２１３は、ＣＭＯＳ、ＣＣＤ等の撮像素子を有し、撮影した被写体のデジタル画像データを得るための撮影部を構成している。
【００３４】
近距離無線通信部２１４は、無線ＬＡＮやＢｌｕｅｔｏｏｔｈ（登録商標）のような無線通信手段を有する。
【００３５】
ＧＰＳ受信部２１５は、ＧＰＳ衛星１４０からの信号を受信して位置情報を出力する位置検出手段である。位置検出手段は必ずしもＧＰＳによるものである必要はなく、携帯電話端末の場合、携帯電話基地局に基づいて位置情報を得るものであってもよい。位置情報も緯度および経度に限るものではなく、地名や町名などであってもよい。
【００３６】
図３に、本システムの代表的なユースケースについての携帯端末２００の処理例を表したフローチャートを示す。この処理の前提として、携帯端末２００には、ユーザがカメラで取得した画像がその付随情報とともに記憶されているものとする。
【００３７】
ユーザの指示に応じて、携帯端末２００は、記憶部２０６内に記憶された画像の中から所望の画像を選択し（Ｓ１０）、その付随情報を取得する（Ｓ１１）。画像は例えば図４（ａ）に示すように画像のサムネイル表示（あるいは図示しない画像一覧リスト表示）から選択することができる。この例では注目する画像は強調表示され、ユーザはこの強調表示はカーソル移動キーで移動させることができる。強調表示は、この図では画像を囲む太枠４２で表示した例を示しているが、ハイライト表示等、任意の表示形態を採用してよい。強調表示されている画像のＩＤ情報、解像度およびデータ量が画面下部に表示されている。図４（ｂ）が選択された画像を、合成の元画像４４として画面一杯に表示した関連情報一覧画面７０を示している。
【００３８】
元画像４４および関連情報として取得する画像の解像度は大きいまま携帯端末２００内に保持し、表示画面での表示サイズに応じて、そのコピー画像を適宜縮小して表示するようにする。これにより、後に出力装置へ送信されたとき、その大サイズの表示画面に表示される場合に解像度が不足することがなくなる。
【００３９】
ついで、図４（ｂ）の画面の例えば「Ｍｅｎｕ」ボタンの操作により、図５のキーワード一覧画面５０に示すように、この画像の付随情報を、検索用のキーワードの選択肢５１〜５５として、一覧表示する（Ｓ１２）。付随情報は上述したＥＸＩＦ情報やタグ情報などである。この例では、画像の撮影日、撮影時間、撮影場所、ユーザの入力した語句（タグ情報）である。ユーザは、これらのキーワードのいずれか一つを選択して、検索用に利用する（Ｓ１３）。この場合も注目されたキーワードは強調表示して示す。同時に複数のキーワードの選択を受け付けるようにしてもよい。その場合は、キーワードのＡＮＤ検索となる。
【００４０】
検索サイト（検索サーバ）は固定の単一個であってもよいが、キーワードの種類に応じて異なる検索サイトを利用するようにしてもよい。その場合、図６に対応テーブル６０として示すように、「キーワード種類」と「検索サイトＵＲＬ」とを対応付けて、本実施の形態の動作を実現するプログラムとともに、記憶部２０６内に予め記憶しておく。例えばＬｏｃａｔｉｏｎに対しては地図検索サイト、Ｄａｔｅに対してはニュース検索サイトなどの対応が考えられる。１つのキーワード種類に対応する検索サイトＵＲＬは複数個登録してもよい。この場合、複数の検索サイトの検索結果は論理和（ＯＲ）で抽出される。
【００４１】
このようにキーワードの種類に応じて異なる検索サイトを対応付けておくことにより、ユーザが所望する関連情報の種類以外の関連情報（ノイズ）を排除することができる。
【００４２】
ユーザが一度に指定するキーワードの個数は１個に限るものではなく、複数個を同時に指定して論理積（ＡＮＤ）検索を行えるようにしてもよい。その場合に使用する検索サイトは、特に限定するものではなく、例えば、キーワード種類の組み合わせ毎に予め決めておいてもよいし、複数のキーワード種類が指定された場合は予め固定の検索サイトを利用するようにしてもよいし、複数のキーワード種類のうちの１または複数のキーワードについて定められた１または複数の検索サイトを利用するようにしてもよい。
【００４３】
図３に戻り、ユーザによる関連情報の検索の指示があれば（Ｓ１４，Ｙｅｓ）、携帯端末２００は、インターネット１５０を介して所定の検索サイトにアクセスする（Ｓ１５）。関連情報の検索およびその結果一覧情報が得られたらそれを表示画面上に表示する（Ｓ１６）。ここでいう「一覧情報」とは検索結果の本体データの全体ではなく、本体データを識別するための情報（タイトル、概要等）である。勿論、本体データそのものをいきなり取得する形態であってもよい。検索のヒット件数が多大となる場合に備えて、一度に取得される関連情報の個数は予め上限個数を決めておいてもよい。
【００４４】
図７は、あるキーワードが選択されたとき、そのキーワードについて検索サーバが関連情報を検索した結果、得られた関連情報７１〜７３を含む関連情報一覧を携帯端末２００がその表示画面上に表示した関連情報一覧画面を示している。「関連情報」はキーワードに関連した情報であり、個々のキーワードや検索サイトによって異なりうる。関連情報の種類には例えば画像、テキスト、等がある。図７の例は、撮影位置情報をキーワードとして地図検索サイトを検索した結果として得られた複数の画像（ここでは、航空写真、地図、路線図）がサムネイルで一覧表示された様子を示している。この画面においても、注目した画像はユーザが移動可能に強調表示される。なお、検索結果は必ずしも複数とは限らず、単一個の場合もあれば、該当なしの場合もありうる。
【００４５】
関連情報一覧の画面からユーザが特定の関連情報を選択すると（Ｓ１７）、その関連情報の本体データのダウンロード要求が行われる（Ｓ１８）。ダウンロード要求に対して検索サーバから当該関連情報の本体データが送信されてきたとき、これを取得する（Ｓ１９）。
【００４６】
ユーザにより関連情報を元画像へ貼り付ける旨の指示があったとき（Ｓ２０，Ｙｅｓ）、貼り付けるべき画像を元画像に合成する（Ｓ２１）。この際、携帯端末内に保存されている元画像のコピーを記憶部２０６内に一時的に作成し、貼り付けるべき画像と共に表示させる。元画像のコピーを作成して使用することにより、元画像の破損を防ぐことができる。また、関連情報がテキストなど、画像以外のデータである場合も、そのデータをビットマップ画像として元画像と合成する。元画像に対する関連情報の合成に関するユーザ操作の具体例については後述する。
【００４７】
携帯端末は、ユーザにより画像を出力装置４００に送信する指示に応じて（Ｓ２２，Ｙｅｓ）、ホームネットワーク３５０上の出力装置の検索を行う（Ｓ２３）。図８の出力装置一覧画面８０に示すように、検出された出力装置４００を選択肢８０〜８３として表示画面上に一覧表示する（Ｓ２４）。ユーザが一つの出力装置４００を選択したら（Ｓ２５）、携帯端末は、ホームネットワーク３５０を介してその出力装置４００に対して記憶部２０６内の合成画像を送信する（Ｓ２６）。
【００４８】
合成画像を送信する相手機器である出力装置４００は、主に携帯端末よりも大きな画面サイズを有するモニタやテレビ受像機を想定している。ユーザは、友人や家族と共に大画面で携帯端末上の画像を閲覧することができ、その画像情報には検索サーバから取得したりユーザが入力したりした関連情報も付加されており、同時に楽しむことができる。
【００４９】
なお、コピー画像（合成画像）が端末内の保存領域を占有しないように、編集終了後所定の時間が経過した時点でまたは送信後に直ちに、コピー画像が自動的に削除されるようにしてもよい。これにより、このシステムを使用する前と同じ状態に戻すことができる。
【００５０】
図９により、ステップＳ１６に示した関連情報の検索および一覧の表示を行う処理の詳細を説明する。
【００５１】
まず、キーワードに基づいて、登録済みの検索サイトに検索の実行を要求する（Ｓ３１）。検索サイトから検索結果としての関連情報を取得し（Ｓ３２）、これを端末内の保存領域に一時的に保存する（Ｓ３３）。
【００５２】
当該キーワードについてさらに検索が必要な検索サイトがあれば（Ｓ３４，Ｎｏ）、ステップＳ３１に戻る。なければ、保存していた関連情報の一覧を表示画面上に表示する（Ｓ３５）。
【００５３】
図１０により、ステップＳ２１に示した画像の合成処理の詳細を説明する。
【００５４】
まず、元画像のコピーを作成する（Ｓ４０）。ついで、ユーザに、このコピー画像に対して合成する関連情報を１つ選択させる（Ｓ４１）。選択された関連情報以外の関連情報を削除する（Ｓ４２）。後述する機能メニュー等によるユーザの操作に従って、元画像のコピー画像に対して当該選択された関連情報およびその他の関連情報を合成する等の編集を行う（Ｓ４３）。編集が終了するまでステップＳ４３を継続する。編集が終了したら（Ｓ４４，Ｙｅｓ）、編集後のコピー画像（すなわち合成画像）を上書き保存する（Ｓ４５）。
【００５５】
図１１により、元画像に対する関連情報の合成に関するユーザ操作の具体例を説明する。ここでは、元画像４４の撮影場所をキーワードとした検索により取得した関連情報である地図画像５２を始めとして各種の関連情報を元画像４４に貼り付ける編集を行う例を示す。
【００５６】
選択された関連情報は、図１１（ａ）に示すように当初表示画面上の決められた位置に配置され、これをソフトキー表示５４に従い、カーソル移動キーで上下左右に移動させることができる。図１１（ｂ）は地図画像５２を移動させて移動位置を確定した状態を示している。この状態で地図画像５２は元画像に対して合成され、分離できない状態となる。この合成画像のファイルデータは元画像とは別名のファイルとして保存することができる。
【００５７】
図１１（ｃ）に示すように、機能「Ｆｕｎｃ」ソフトキー５６の指示により、機能メニュー５７が開かれる。メニュー項目によっては、さらにサブメニュー５８が開かれる。機能メニュー５７は、本実施の形態に係る携帯端末における撮影画像に関連した各種の機能に関するメールであり、"Send", "Add Image", "Add Mail", "Add Symbol", "Add Date", "Compose Message"等のメニュー項目を有する。"Send"は合成済みの画像を出力装置へ送信するための指示を行うためのメニュー項目である。 "Add Image"は関連情報を検索サーバで検索して画像として元画像に合成する指示を行うためのメニュー項目である。"Add Mail"は元画像に対して、その元画像が電子メール（記憶部２０６に保存されている）と対応付けられている場合（例えば、その元画像が電子メールの添付ファイルとして取得された場合）にその電子メールの文面を関連情報として元画像に合成する指示を行うためのメニュー項目である。 "Add Symbol"は図１１（ｃ）のサブメニュー５８に示すように円形、星印、十字印、ハート印、矢印等の図形マークを関連情報として元画像に合成する指示を行うためのメニュー項目である。 "Add Date"は元画像の撮影日を関連情報として元画像に合成する指示を行うためのメニュー項目である。 "Compose Message"は予め用意されているメッセージをユーザが選択し、または、ユーザが新たにメッセージを入力し、そのメッセージを関連情報として元画像に合成する指示を行うためのメニュー項目である。メニュー項目はこれらに限るものではなく、さらに他の機能を実現するメニュー項目を追加してもよい。また、ここに挙げたメニュー項目は機能メニュー５７によらず、他の方法で指示されるものであってもよい。
【００５８】
図１１（ｄ）はメニュー項目"Add Symbol"の"Arrow"が指示されたとき、矢印の図形画像５８を移動可能に表示した状態を示している。この図形画像５８はカーソル移動キーの操作により元画像上の任意の位置に確定配置して元画像に合成することができる。
【００５９】
図１２は、元画像４４に対してさらに、"Add Date"指示により撮影日を追加し、"Add Mail"指示により電子メールの文面を追加して、元画像に合成した状態を示している。なお、電子メールの文面が所定のデータ量を超える場合には所定のデータ量だけを表示する。このように、撮影画像に対して、「いつ撮影されたものか」「どのメールに添付されたものか」「どこで撮影されたものか」などの現実の関連情報を付加することにより、１枚の撮影画像にストーリー性を持たせることができる。
【００６０】
出力装置４００に送信される合成画像は、図１２の合成作業が完了した単一の合成画像のみとする場合と、予め指定されたデータフォルダまたはユーザにより指定されたデータフォルダ内のすべての合成画像とする場合とがありうる。いずれを採用するかは任意である。いずれかをユーザがその都度選択できるようにしてもよい。
【００６１】
図１３は、ユーザにより指定された出力装置４００における合成画像の表示例を示している。これは、上述した予め指定されたデータフォルダ内の複数の合成画像を出力装置４００へ送信した場合に対応している。この場合、そのフォルダに含まれている合成画像がサムネイル画像６１〜６３として表示される領域７４と、選択された１つの合成画像を表示する領域７６とを設けている。領域７４内に当該フォルダ内のすべてのサムネイル画像を表示できない場合はスクロールバー表示６４を伴うスクロールが行えるようにしている。この出力装置４００の操作は、付属のリモコン（図示せず）で行うことができる。
【００６２】
このように、本システムを用いることで、画像を合成した携帯端末とは別の出力装置へ合成画像を送信し、家族や友人と合成画像をシェアし、楽しむことができる。
【００６３】
また、このシステムを使えば身の回りの家電機器を変更することなく個々の機器を新しいコミュニケーションツールとして活用することができる。
【００６４】
以上、本発明の好適な実施の形態について説明したが、上記で言及した以外にも種々の変形、変更を行うことが可能である。例えば、関連情報はテキストや画図（静止画）を想定したが、関連情報は動画、楽曲データ等を含めて、合成後のデータをマルチメディアデータとしてもよい。
【図面の簡単な説明】
【００６５】
【図１】本発明の実施の形態に係るシステム全体の概略構成を示した図である。
【図２】本発明の実施の形態における携帯端末の内部の概略ハードウェア構成を示したブロック図である。
【図３】本発明の実施の形態における携帯端末の処理例を表したフローチャートである。
【図４】本発明の実施の形態における携帯端末の表示画面上での画像のサムネイル表示およびその選択のよる画像の表示例を示した図である。
【図５】本発明の実施の形態における画像の付随情報を、検索用のキーワードの選択肢として、一覧表示したキーワード一覧画面を示す図である。
【図６】本発明の実施の形態における「キーワード種類」と「検索サイトＵＲＬ」とを対応付けた対応テーブルの例を示した図である。
【図７】本発明の実施の形態において、あるキーワードについて検索サーバが関連情報を検索した結果、得られた関連情報一覧を携帯端末がその表示画面上に表示した関連情報一覧画面を示す図である。
【図８】本発明の実施の形態において、検出された出力装置を選択肢として表示画面上に一覧表示した出力装置一覧画面を示す図である。
【図９】図３内のステップＳ１６に示した関連情報の検索および一覧の表示を行う処理の詳細を示すフローチャートである。
【図１０】図３内のステップＳ２１に示した画像の合成処理の詳細を示すフローチャートである。
【図１１】本発明の実施の形態において、元画像に対する関連情報の合成に関するユーザ操作の具体例を示した図である。
【図１２】図１１に示した元画像に対してさらに関連情報を追加して、元画像に合成した状態を示す図である。
【図１３】本発明の実施の形態において、ユーザにより指定された出力装置における合成画像の表示例を示した図である。
【符号の説明】
【００６６】
４２…太枠、４４…元画像、５０…キーワード一覧画面、５２…地図画像、５４…ソフトキー表示、５６…ソフトキー、５７…機能メニュー、５８…サブメニュー、６０…対応テーブル、６１-６３…サムネイル画像、６４…スクロールバー表示、７０…関連情報一覧画面、７１-７３…関連情報、７４…領域、７６…領域、８０…出力装置一覧画面、８１-８３…選択肢、１００…検索サーバ、１４０…ＧＰＳ衛星、１５０…インターネット、２００…携帯端末、２０１…制御部、２０３…通信部、２０４…表示部、２０５…操作部、２０６…記憶部、２１０…音声処理部、２１１…スピーカ、２１２…マイク、２１３…カメラ部、２１４…近距離無線通信部、２１５…ＧＰＳ受信部、３５０…ホームネットワーク、４００…出力装置
【技術分野】
【０００１】
本発明は、インターネットおよびホームネットワークに接続可能な携帯端末装置およびコンピュータプログラムに関する。
【背景技術】
【０００２】
近年、携帯電話端末の多機能化、高機能化はめざましく、インターネットを利用したＷｅｂ閲覧機能および電子メール機能、カメラによる撮影機能の他、全地球測位システム（ＧＰＳ）による位置検出機能、Ｂｌｕｅｔｏｏｔｈ（登録商標）や無線ＬＡＮなどの近距離無線通信機能等を備えたものが市場に出回っている。
【０００３】
カメラ付き携帯電話機では、カメラで撮影された画像を電子メールで画像検索サービス提供サーバに送信し、そのサーバが受信した画像から特徴量を抽出して類似する特徴量を有するＷｅｂサイトのＵＲＬを携帯電話機に返信し、これを受けた携帯電話機はそのＵＲＬにアクセスしてＷｅｂ情報を得る、という技術が提案されている（特許文献１参照）。
【０００４】
画像処理装置において、記録メディアに記録された画像を読み込むとともに位置情報から地図画像情報を検索し、この検索により得られた地図画像情報を記録メディアから読み込まれた画像と１つの画像に合成する技術も提案されている（特許文献２参照）。
【０００５】
また、ユーザが各種機器（デジタル家電を含む）を組み合わせてホームネットワークを構成し、家庭内の様々な場所で手軽にオーディオ・ビデオコンテンツを楽しめるように標準化されたＤＬＮＡ（Digital Living Network Alliance）という仕様を利用すれば、ユーザは複雑な設定を行うことなく、サーバに保存された写真、動画、音楽等のデジタルコンテンツを自由に呼び出して所望の機器上で再生することができる（非特許文献１参照）。携帯電話端末もＤＬＮＡに準拠した機器となりうる。
【特許文献１】特開２００３−２７１６５０号公報
【特許文献２】特開２００１−２６６１６９号公報
【非特許文献１】“ＤＬＮＡとは”、[平成２０年１月１１日検索]インターネット＜ＵＲＬ：http:www.alpha.co.jp/biz/productｓ/dlna/about/＞
【発明の開示】
【発明が解決しようとする課題】
【０００６】
特許文献１に記載の技術では撮影された画像に該当する情報をＷｅｂサイトから得ることができるが、これは紙媒体上の広告や商品パッケージから利用者をＷｅｂサイトへ誘導することを目的とするものであり、撮影画像を編集して楽しむような用途には、直ちに利用できるものではない。
【０００７】
特許文献２に記載の技術では、画像の撮影場所が直感的に分かりやすいプリントをを得ることができるが、撮影画像に単に地図を合成するのみであり、撮影後に家族や友人で楽しむために、撮影に関する関連情報を盛り込むという点では十分とは言えない。
【０００８】
本発明はこのような背景においてなされたものであり、携帯端末装置において、撮影画像の撮影や画像に関連した種々の情報を取得して元画像に合成することにより、新たな画像を生成することができる携帯端末装置およびコンピュータプログラムを提供するものである。
【課題を解決するための手段】
【０００９】
本発明による携帯端末装置は、インターネットおよびホームネットワークに接続可能な携帯端末装置であって、撮影により得られた画像とともにその画像または撮影に付随した付随情報を保存する付随情報保存手段と、前記付随情報をキーワードとしてインターネット上の検索サーバに対して検索の実行を要求する検索要求手段と、前記検索サーバから得られた検索結果を一時的に保存する検索結果保存手段と、前記撮影により得られた画像に対して前記検索結果を重ね合わせて合成する画像合成手段と、合成済みの画像をホームネットワーク上の指定された出力装置へ送信する送信手段とを備えたことを特徴とする。
【００１０】
この携帯端末装置は、ユーザの操作に応じて、画像または撮影に付随した付随情報（例えば、撮影日、撮影場所、ユーザの入力情報）をキーワードとしてインターネット上の検索サーバでの検索を要求し、その検索結果を元の画像に対して重ね合わせて合成する。さらに、合成済みの画像をホームネットワーク上の指定された出力装置へ送信することにより、出力装置において例えば大画面の表示画面上で当該合成済みの画像が表示される。
【００１１】
前記キーワードの種類毎に、検索の実行を要求する検索サーバのＵＲＬを対応付けた対応テーブルを設けて、前記検索要求手段は検索に使用するキーワードの種類に対応したＵＲＬの検索サーバに検索の実行を要求するようにしてもよい。
【００１２】
本発明によるコンピュータプログラムは、インターネットおよびホームネットワークに接続可能な携帯端末装置において実行されるコンピュータプログラムであって、撮影により得られた画像とともにその画像または撮影に付随した付随情報を取得するステップと、前記付随情報をキーワードとしてインターネット上の検索サーバに対して検索の実行を要求するステップと、前記検索サーバから得られた検索結果を一時的に保存するステップと、前記撮影により得られた画像に対して前記検索結果を重ね合わせて合成するステップと、合成済みの画像をホームネットワーク上の指定された出力装置へ送信するステップとをコンピュータに実行させることを特徴とする。
【００１３】
本発明の他の構成および作用効果については、以下に詳述する。
【発明の効果】
【００１４】
本発明によれば、撮影画像に付随した情報に基づいて関連情報を検索することにより、種々の関連情報を迅速かつ容易に収集し、かつ、得られた関連情報の中から所望の関連情報を撮影画像に合成することにより１枚の撮影画像のなかにその各種関連情報を盛り込む、という作業を容易に行うことができる。
【００１５】
また、このような合成済みの画像をホームネットワーク上の指定された出力装置へ送信することにより、同出力装置において同じ合成画像を複数のユーザが共同して楽しむことができる。
【発明を実施するための最良の形態】
【００１６】
以下、本発明の好適な実施の形態について図面を参照しながら詳細に説明する。
【００１７】
図１は、本実施の形態に係るシステム全体の概略構成を示した図である。
【００１８】
本システムの中心にカメラ付き携帯端末２００が位置する。この携帯端末２００は、インターネット１５０へ接続する機能およびローカルなホームネットワーク３５０に接続する機能を有する。また、携帯端末２００は、インターネット１５０を介して１または複数の検索サーバ１００にアクセスするとともに、ホームネットワーク３５０を介して１または複数の出力装置４００に接続する。ホームネットワーク３５０は、携帯端末２００との無線インタフェースを含む無線ネットワーク（Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉｒｅｌｅｓｓ ＬＡＮ等）の他、有線ネットワークを併用するものであってもよい。出力装置４００は、ディスプレイ装置を備えたパーソナルコンピュータ、テレビ装置など、表示画面上に可視情報を出力する装置である。携帯端末２００は、さらに、ＧＰＳ受信機能を有し、所定のＧＰＳ衛星１４０（実際には複数個）からの電波を受信して、自己の現在位置（緯度、経度および高度等）を検出する。
【００１９】
本実施の形態では、ホームネットワーク３５０はＤＬＮＡ（Digital Living Network Alliance）に準拠しているものとして説明する。ＤＬＮＡの各種機器の機能としては、ＤＭＳ（Digital Media Server）、ＤＭＣ（Digital Media Controller）、ＤＭＲ（Digital Media Renderer）、ＤＭＰ（Digital Media Player）がある。
【００２０】
ＤＭＳは、通信ネットワーク上で共有されるデジタルコンテンツを管理し、公開するサーバである。一般に、ＰＣ、映像記録再生装置、デジタルカメラ等がＤＭＳとなりうる。ＤＭＰは、 ＤＭＳが公開するデジタルコンテンツを再生するためのプレーヤである。一般に、テレビ受像機、デジタル音楽プレーヤ、ステレオセット等がＤＭＰとなりうる。ＤＭＣは、 コンテンツの再生開始、停止、早送りなどの制御を行うコントローラである。ＤＭＲは、 ＤＭＣの制御に従ってコンテンツを専ら再生する装置である。ＤＭＲは、コンテンツの選択や再生操作のためのユーザインタフェースは持たない。映像モニタ、スピーカ等がＤＭＲとなりうる。ＤＭＰはＤＭＣとＤＭＲの機能を兼ね備えたものと言える。個々のＤＬＮＡ対応装置としては、これらの１または２以上の機能を備えることができる。例えば、一つの装置がＤＭＳとＤＭＣを兼ねたり、ＤＭＳとＤＭＰを兼ねたり、ＤＭＳとＤＭＲを兼ねたりすることができる。本実施の形態の場合、携帯端末２００はＤＭＳとＤＭＣを兼ねる。携帯端末２００は、ＤＭＳとＤＭＰを兼ねることも可能である。
【００２１】
このシステムは現在のＤＬＮＡ仕様を変更することなく使用することができ、個々の機器のメーカーに依存することなくＤＬＮＡ対応機器であればネットワーク上で相互運用することも可能である。
【００２２】
携帯端末２００は、インターネット１５０上の検索サーバ１００との関係ではクライアントとして機能し、検索サーバ１００に対してアクセスし、検索サービスを受ける。
【００２３】
図１のシステムにおいて、携帯端末２００は、その内蔵カメラによる撮影時に、その撮影日、撮影時間、撮影場所など、その撮影に付随した情報（ＥＸＩＦ情報）を取得し、撮影された画像データとともにそれらの付随情報を記憶する。また、ユーザがその撮影画像に対して入力した任意の情報をタグ情報として付加することもできる。このタグ情報も当該画像の「付随情報」となる。
【００２４】
携帯端末２００は、内部に保存されている画像を選択し、その選択された画像に付加されている付随情報をキーワードとして、検索サーバ１００に送信する。検索サーバ１００は、そのキーワードに該当する情報を検索し、得られた検索結果情報を携帯端末２００へ返送する。携帯端末２００は、ユーザの指示に応じて、返送された検索結果情報を当該画像に合成する等の画像編集を行って編集結果を保存し、当該合成済みの画像（合成画像）を、指定された出力装置４００へ送信し、表示させる。本実施の形態では、出力装置４００は、その表示画面のサイズが携帯端末２００の表示画面のそれより十分大きく、複数のユーザが同時に閲覧できるようなものを想定している。
【００２５】
図２は、本実施の形態における携帯端末の内部の概略ハードウェア構成を示したブロック図である。
【００２６】
携帯端末２００は、バス２１５で相互に接続された、制御部２０１、通信部２０３、表示部２０４、操作部２０５、記憶部２０６、音声処理部２１０、この音声処理部２１０に接続されたスピーカ２１１、マイク２１２、カメラ部２１３、近距離無線通信部２１４および全地球測位システム（ＧＰＳ）受信部２１５を備えている。本発明の付随情報保存手段、検索結果保存手段およびメール保存手段は記憶部２０６により構成される。
【００２７】
制御部２０１は、ＣＰＵ等を含み、携帯端末２００の各部を制御する。本実施の形態では、この制御部２０１が後述する画像合成を含む各種の画像処理を行う画像処理部としても機能する。本発明の画像合成手段は制御部２０１により構成される。本発明の検索要求手段は制御部２０１および通信部２０３により構成される。勿論、制御部２０１と独立した画像処理部を備えてもよい。本発明による送信手段は近距離無線通信部２１４により構成される。
【００２８】
通信部２０３は、ＲＦ部、変調回路等を含み、アンテナ２０２を介して基地局との間で、通話およびメールやＷＥＢデータ等のための無線通信を行う。
【００２９】
表示部２０４は、ユーザに対して可視情報を提示するための表示インタフェースを提供するものであり、ＬＣＤや有機ＥＬ等の表示デバイスを含む。
【００３０】
操作部２０５は、ユーザが指示やデータを入力するための入力インタフェースを提供するものであり、テンキー、カーソル移動キー、通話キー、電源キー等の各種操作キーを含む。
【００３１】
記憶部２０６は、ＲＯＭ，ＲＡＭ，ＨＤＤ等の記憶装置を含み、ＣＰＵが実行するＯＳや各種アプリケーション等のプログラムや各種データを記憶する。ＲＯＭには、フラッシュメモリのような再書き込み可能な不揮発性メモリを含みうる。プログラムには、本実施の形態におけるＤＬＮＡの機能を実現するためのプログラムおよび必要なデータも含む。
【００３２】
音声処理部２１０は、音声のエンコーダ、デコーダ、ＤＡ変換器、ＡＤ変換器等を含み、スピーカ２１１（イヤホン含む）に対する音声出力およびマイクからの音声入力を行う。
【００３３】
カメラ部２１３は、ＣＭＯＳ、ＣＣＤ等の撮像素子を有し、撮影した被写体のデジタル画像データを得るための撮影部を構成している。
【００３４】
近距離無線通信部２１４は、無線ＬＡＮやＢｌｕｅｔｏｏｔｈ（登録商標）のような無線通信手段を有する。
【００３５】
ＧＰＳ受信部２１５は、ＧＰＳ衛星１４０からの信号を受信して位置情報を出力する位置検出手段である。位置検出手段は必ずしもＧＰＳによるものである必要はなく、携帯電話端末の場合、携帯電話基地局に基づいて位置情報を得るものであってもよい。位置情報も緯度および経度に限るものではなく、地名や町名などであってもよい。
【００３６】
図３に、本システムの代表的なユースケースについての携帯端末２００の処理例を表したフローチャートを示す。この処理の前提として、携帯端末２００には、ユーザがカメラで取得した画像がその付随情報とともに記憶されているものとする。
【００３７】
ユーザの指示に応じて、携帯端末２００は、記憶部２０６内に記憶された画像の中から所望の画像を選択し（Ｓ１０）、その付随情報を取得する（Ｓ１１）。画像は例えば図４（ａ）に示すように画像のサムネイル表示（あるいは図示しない画像一覧リスト表示）から選択することができる。この例では注目する画像は強調表示され、ユーザはこの強調表示はカーソル移動キーで移動させることができる。強調表示は、この図では画像を囲む太枠４２で表示した例を示しているが、ハイライト表示等、任意の表示形態を採用してよい。強調表示されている画像のＩＤ情報、解像度およびデータ量が画面下部に表示されている。図４（ｂ）が選択された画像を、合成の元画像４４として画面一杯に表示した関連情報一覧画面７０を示している。
【００３８】
元画像４４および関連情報として取得する画像の解像度は大きいまま携帯端末２００内に保持し、表示画面での表示サイズに応じて、そのコピー画像を適宜縮小して表示するようにする。これにより、後に出力装置へ送信されたとき、その大サイズの表示画面に表示される場合に解像度が不足することがなくなる。
【００３９】
ついで、図４（ｂ）の画面の例えば「Ｍｅｎｕ」ボタンの操作により、図５のキーワード一覧画面５０に示すように、この画像の付随情報を、検索用のキーワードの選択肢５１〜５５として、一覧表示する（Ｓ１２）。付随情報は上述したＥＸＩＦ情報やタグ情報などである。この例では、画像の撮影日、撮影時間、撮影場所、ユーザの入力した語句（タグ情報）である。ユーザは、これらのキーワードのいずれか一つを選択して、検索用に利用する（Ｓ１３）。この場合も注目されたキーワードは強調表示して示す。同時に複数のキーワードの選択を受け付けるようにしてもよい。その場合は、キーワードのＡＮＤ検索となる。
【００４０】
検索サイト（検索サーバ）は固定の単一個であってもよいが、キーワードの種類に応じて異なる検索サイトを利用するようにしてもよい。その場合、図６に対応テーブル６０として示すように、「キーワード種類」と「検索サイトＵＲＬ」とを対応付けて、本実施の形態の動作を実現するプログラムとともに、記憶部２０６内に予め記憶しておく。例えばＬｏｃａｔｉｏｎに対しては地図検索サイト、Ｄａｔｅに対してはニュース検索サイトなどの対応が考えられる。１つのキーワード種類に対応する検索サイトＵＲＬは複数個登録してもよい。この場合、複数の検索サイトの検索結果は論理和（ＯＲ）で抽出される。
【００４１】
このようにキーワードの種類に応じて異なる検索サイトを対応付けておくことにより、ユーザが所望する関連情報の種類以外の関連情報（ノイズ）を排除することができる。
【００４２】
ユーザが一度に指定するキーワードの個数は１個に限るものではなく、複数個を同時に指定して論理積（ＡＮＤ）検索を行えるようにしてもよい。その場合に使用する検索サイトは、特に限定するものではなく、例えば、キーワード種類の組み合わせ毎に予め決めておいてもよいし、複数のキーワード種類が指定された場合は予め固定の検索サイトを利用するようにしてもよいし、複数のキーワード種類のうちの１または複数のキーワードについて定められた１または複数の検索サイトを利用するようにしてもよい。
【００４３】
図３に戻り、ユーザによる関連情報の検索の指示があれば（Ｓ１４，Ｙｅｓ）、携帯端末２００は、インターネット１５０を介して所定の検索サイトにアクセスする（Ｓ１５）。関連情報の検索およびその結果一覧情報が得られたらそれを表示画面上に表示する（Ｓ１６）。ここでいう「一覧情報」とは検索結果の本体データの全体ではなく、本体データを識別するための情報（タイトル、概要等）である。勿論、本体データそのものをいきなり取得する形態であってもよい。検索のヒット件数が多大となる場合に備えて、一度に取得される関連情報の個数は予め上限個数を決めておいてもよい。
【００４４】
図７は、あるキーワードが選択されたとき、そのキーワードについて検索サーバが関連情報を検索した結果、得られた関連情報７１〜７３を含む関連情報一覧を携帯端末２００がその表示画面上に表示した関連情報一覧画面を示している。「関連情報」はキーワードに関連した情報であり、個々のキーワードや検索サイトによって異なりうる。関連情報の種類には例えば画像、テキスト、等がある。図７の例は、撮影位置情報をキーワードとして地図検索サイトを検索した結果として得られた複数の画像（ここでは、航空写真、地図、路線図）がサムネイルで一覧表示された様子を示している。この画面においても、注目した画像はユーザが移動可能に強調表示される。なお、検索結果は必ずしも複数とは限らず、単一個の場合もあれば、該当なしの場合もありうる。
【００４５】
関連情報一覧の画面からユーザが特定の関連情報を選択すると（Ｓ１７）、その関連情報の本体データのダウンロード要求が行われる（Ｓ１８）。ダウンロード要求に対して検索サーバから当該関連情報の本体データが送信されてきたとき、これを取得する（Ｓ１９）。
【００４６】
ユーザにより関連情報を元画像へ貼り付ける旨の指示があったとき（Ｓ２０，Ｙｅｓ）、貼り付けるべき画像を元画像に合成する（Ｓ２１）。この際、携帯端末内に保存されている元画像のコピーを記憶部２０６内に一時的に作成し、貼り付けるべき画像と共に表示させる。元画像のコピーを作成して使用することにより、元画像の破損を防ぐことができる。また、関連情報がテキストなど、画像以外のデータである場合も、そのデータをビットマップ画像として元画像と合成する。元画像に対する関連情報の合成に関するユーザ操作の具体例については後述する。
【００４７】
携帯端末は、ユーザにより画像を出力装置４００に送信する指示に応じて（Ｓ２２，Ｙｅｓ）、ホームネットワーク３５０上の出力装置の検索を行う（Ｓ２３）。図８の出力装置一覧画面８０に示すように、検出された出力装置４００を選択肢８０〜８３として表示画面上に一覧表示する（Ｓ２４）。ユーザが一つの出力装置４００を選択したら（Ｓ２５）、携帯端末は、ホームネットワーク３５０を介してその出力装置４００に対して記憶部２０６内の合成画像を送信する（Ｓ２６）。
【００４８】
合成画像を送信する相手機器である出力装置４００は、主に携帯端末よりも大きな画面サイズを有するモニタやテレビ受像機を想定している。ユーザは、友人や家族と共に大画面で携帯端末上の画像を閲覧することができ、その画像情報には検索サーバから取得したりユーザが入力したりした関連情報も付加されており、同時に楽しむことができる。
【００４９】
なお、コピー画像（合成画像）が端末内の保存領域を占有しないように、編集終了後所定の時間が経過した時点でまたは送信後に直ちに、コピー画像が自動的に削除されるようにしてもよい。これにより、このシステムを使用する前と同じ状態に戻すことができる。
【００５０】
図９により、ステップＳ１６に示した関連情報の検索および一覧の表示を行う処理の詳細を説明する。
【００５１】
まず、キーワードに基づいて、登録済みの検索サイトに検索の実行を要求する（Ｓ３１）。検索サイトから検索結果としての関連情報を取得し（Ｓ３２）、これを端末内の保存領域に一時的に保存する（Ｓ３３）。
【００５２】
当該キーワードについてさらに検索が必要な検索サイトがあれば（Ｓ３４，Ｎｏ）、ステップＳ３１に戻る。なければ、保存していた関連情報の一覧を表示画面上に表示する（Ｓ３５）。
【００５３】
図１０により、ステップＳ２１に示した画像の合成処理の詳細を説明する。
【００５４】
まず、元画像のコピーを作成する（Ｓ４０）。ついで、ユーザに、このコピー画像に対して合成する関連情報を１つ選択させる（Ｓ４１）。選択された関連情報以外の関連情報を削除する（Ｓ４２）。後述する機能メニュー等によるユーザの操作に従って、元画像のコピー画像に対して当該選択された関連情報およびその他の関連情報を合成する等の編集を行う（Ｓ４３）。編集が終了するまでステップＳ４３を継続する。編集が終了したら（Ｓ４４，Ｙｅｓ）、編集後のコピー画像（すなわち合成画像）を上書き保存する（Ｓ４５）。
【００５５】
図１１により、元画像に対する関連情報の合成に関するユーザ操作の具体例を説明する。ここでは、元画像４４の撮影場所をキーワードとした検索により取得した関連情報である地図画像５２を始めとして各種の関連情報を元画像４４に貼り付ける編集を行う例を示す。
【００５６】
選択された関連情報は、図１１（ａ）に示すように当初表示画面上の決められた位置に配置され、これをソフトキー表示５４に従い、カーソル移動キーで上下左右に移動させることができる。図１１（ｂ）は地図画像５２を移動させて移動位置を確定した状態を示している。この状態で地図画像５２は元画像に対して合成され、分離できない状態となる。この合成画像のファイルデータは元画像とは別名のファイルとして保存することができる。
【００５７】
図１１（ｃ）に示すように、機能「Ｆｕｎｃ」ソフトキー５６の指示により、機能メニュー５７が開かれる。メニュー項目によっては、さらにサブメニュー５８が開かれる。機能メニュー５７は、本実施の形態に係る携帯端末における撮影画像に関連した各種の機能に関するメールであり、"Send", "Add Image", "Add Mail", "Add Symbol", "Add Date", "Compose Message"等のメニュー項目を有する。"Send"は合成済みの画像を出力装置へ送信するための指示を行うためのメニュー項目である。 "Add Image"は関連情報を検索サーバで検索して画像として元画像に合成する指示を行うためのメニュー項目である。"Add Mail"は元画像に対して、その元画像が電子メール（記憶部２０６に保存されている）と対応付けられている場合（例えば、その元画像が電子メールの添付ファイルとして取得された場合）にその電子メールの文面を関連情報として元画像に合成する指示を行うためのメニュー項目である。 "Add Symbol"は図１１（ｃ）のサブメニュー５８に示すように円形、星印、十字印、ハート印、矢印等の図形マークを関連情報として元画像に合成する指示を行うためのメニュー項目である。 "Add Date"は元画像の撮影日を関連情報として元画像に合成する指示を行うためのメニュー項目である。 "Compose Message"は予め用意されているメッセージをユーザが選択し、または、ユーザが新たにメッセージを入力し、そのメッセージを関連情報として元画像に合成する指示を行うためのメニュー項目である。メニュー項目はこれらに限るものではなく、さらに他の機能を実現するメニュー項目を追加してもよい。また、ここに挙げたメニュー項目は機能メニュー５７によらず、他の方法で指示されるものであってもよい。
【００５８】
図１１（ｄ）はメニュー項目"Add Symbol"の"Arrow"が指示されたとき、矢印の図形画像５８を移動可能に表示した状態を示している。この図形画像５８はカーソル移動キーの操作により元画像上の任意の位置に確定配置して元画像に合成することができる。
【００５９】
図１２は、元画像４４に対してさらに、"Add Date"指示により撮影日を追加し、"Add Mail"指示により電子メールの文面を追加して、元画像に合成した状態を示している。なお、電子メールの文面が所定のデータ量を超える場合には所定のデータ量だけを表示する。このように、撮影画像に対して、「いつ撮影されたものか」「どのメールに添付されたものか」「どこで撮影されたものか」などの現実の関連情報を付加することにより、１枚の撮影画像にストーリー性を持たせることができる。
【００６０】
出力装置４００に送信される合成画像は、図１２の合成作業が完了した単一の合成画像のみとする場合と、予め指定されたデータフォルダまたはユーザにより指定されたデータフォルダ内のすべての合成画像とする場合とがありうる。いずれを採用するかは任意である。いずれかをユーザがその都度選択できるようにしてもよい。
【００６１】
図１３は、ユーザにより指定された出力装置４００における合成画像の表示例を示している。これは、上述した予め指定されたデータフォルダ内の複数の合成画像を出力装置４００へ送信した場合に対応している。この場合、そのフォルダに含まれている合成画像がサムネイル画像６１〜６３として表示される領域７４と、選択された１つの合成画像を表示する領域７６とを設けている。領域７４内に当該フォルダ内のすべてのサムネイル画像を表示できない場合はスクロールバー表示６４を伴うスクロールが行えるようにしている。この出力装置４００の操作は、付属のリモコン（図示せず）で行うことができる。
【００６２】
このように、本システムを用いることで、画像を合成した携帯端末とは別の出力装置へ合成画像を送信し、家族や友人と合成画像をシェアし、楽しむことができる。
【００６３】
また、このシステムを使えば身の回りの家電機器を変更することなく個々の機器を新しいコミュニケーションツールとして活用することができる。
【００６４】
以上、本発明の好適な実施の形態について説明したが、上記で言及した以外にも種々の変形、変更を行うことが可能である。例えば、関連情報はテキストや画図（静止画）を想定したが、関連情報は動画、楽曲データ等を含めて、合成後のデータをマルチメディアデータとしてもよい。
【図面の簡単な説明】
【００６５】
【図１】本発明の実施の形態に係るシステム全体の概略構成を示した図である。
【図２】本発明の実施の形態における携帯端末の内部の概略ハードウェア構成を示したブロック図である。
【図３】本発明の実施の形態における携帯端末の処理例を表したフローチャートである。
【図４】本発明の実施の形態における携帯端末の表示画面上での画像のサムネイル表示およびその選択のよる画像の表示例を示した図である。
【図５】本発明の実施の形態における画像の付随情報を、検索用のキーワードの選択肢として、一覧表示したキーワード一覧画面を示す図である。
【図６】本発明の実施の形態における「キーワード種類」と「検索サイトＵＲＬ」とを対応付けた対応テーブルの例を示した図である。
【図７】本発明の実施の形態において、あるキーワードについて検索サーバが関連情報を検索した結果、得られた関連情報一覧を携帯端末がその表示画面上に表示した関連情報一覧画面を示す図である。
【図８】本発明の実施の形態において、検出された出力装置を選択肢として表示画面上に一覧表示した出力装置一覧画面を示す図である。
【図９】図３内のステップＳ１６に示した関連情報の検索および一覧の表示を行う処理の詳細を示すフローチャートである。
【図１０】図３内のステップＳ２１に示した画像の合成処理の詳細を示すフローチャートである。
【図１１】本発明の実施の形態において、元画像に対する関連情報の合成に関するユーザ操作の具体例を示した図である。
【図１２】図１１に示した元画像に対してさらに関連情報を追加して、元画像に合成した状態を示す図である。
【図１３】本発明の実施の形態において、ユーザにより指定された出力装置における合成画像の表示例を示した図である。
【符号の説明】
【００６６】
４２…太枠、４４…元画像、５０…キーワード一覧画面、５２…地図画像、５４…ソフトキー表示、５６…ソフトキー、５７…機能メニュー、５８…サブメニュー、６０…対応テーブル、６１-６３…サムネイル画像、６４…スクロールバー表示、７０…関連情報一覧画面、７１-７３…関連情報、７４…領域、７６…領域、８０…出力装置一覧画面、８１-８３…選択肢、１００…検索サーバ、１４０…ＧＰＳ衛星、１５０…インターネット、２００…携帯端末、２０１…制御部、２０３…通信部、２０４…表示部、２０５…操作部、２０６…記憶部、２１０…音声処理部、２１１…スピーカ、２１２…マイク、２１３…カメラ部、２１４…近距離無線通信部、２１５…ＧＰＳ受信部、３５０…ホームネットワーク、４００…出力装置
【特許請求の範囲】
【請求項１】
インターネットおよびホームネットワークに接続可能な携帯端末装置であって、
撮影により得られた画像とともにその画像または撮影に付随した付随情報を保存する付随情報保存手段と、
前記付随情報をキーワードとしてインターネット上の検索サーバに対して検索の実行を要求する検索要求手段と、
前記検索サーバから得られた検索結果を一時的に保存する検索結果保存手段と、
前記撮影により得られた画像に対して前記検索結果を重ね合わせて合成する画像合成手段と、
合成済みの画像をホームネットワーク上の指定された出力装置へ送信する送信手段と
を備えたことを特徴とする携帯端末装置。
【請求項２】
前記キーワードの種類毎に、検索の実行を要求する検索サーバのＵＲＬを対応付けた対応テーブルを有し、前記検索要求手段は検索に使用するキーワードの種類に対応したＵＲＬの検索サーバに検索の実行を要求する請求項１に記載の携帯端末装置。
【請求項３】
前記付随情報は撮影に伴って自動的に撮影画像に付加されるデータである請求項１に記載の携帯端末装置。
【請求項４】
現在位置を検出する位置検出手段を備え、
前記付随情報は前記位置検出手段により得られた位置情報である請求項１に記載の携帯端末装置。
【請求項５】
ユーザが情報を入力する入力手段を備え、
ユーザの指示に応じて前記合成手段は前記入力手段により前記撮影画像に対して入力された情報を前記撮影により得られた画像に合成する請求項１に記載の携帯端末装置。
【請求項６】
受信された電子メールを保存するメール保存手段を備え、
前記撮影された画像が、受信された電子メールに添付されている場合に、前記画像合成手段は、当該電子メールの文面を当該画像に重ね合わせて合成する手段を有する請求項１に記載の携帯端末装置。
【請求項７】
インターネットおよびホームネットワークに接続可能な携帯端末装置において実行されるコンピュータプログラムであって、
撮影により得られた画像とともにその画像または撮影に付随した付随情報を取得するステップと、
前記付随情報をキーワードとしてインターネット上の検索サーバに対して検索の実行を要求するステップと、
前記検索サーバから得られた検索結果を一時的に保存するステップと、
前記撮影により得られた画像に対して前記検索結果を重ね合わせて合成するステップと、
合成済みの画像をホームネットワーク上の指定された出力装置へ送信するステップと
をコンピュータに実行させることを特徴とするコンピュータプログラム。
【請求項１】
インターネットおよびホームネットワークに接続可能な携帯端末装置であって、
撮影により得られた画像とともにその画像または撮影に付随した付随情報を保存する付随情報保存手段と、
前記付随情報をキーワードとしてインターネット上の検索サーバに対して検索の実行を要求する検索要求手段と、
前記検索サーバから得られた検索結果を一時的に保存する検索結果保存手段と、
前記撮影により得られた画像に対して前記検索結果を重ね合わせて合成する画像合成手段と、
合成済みの画像をホームネットワーク上の指定された出力装置へ送信する送信手段と
を備えたことを特徴とする携帯端末装置。
【請求項２】
前記キーワードの種類毎に、検索の実行を要求する検索サーバのＵＲＬを対応付けた対応テーブルを有し、前記検索要求手段は検索に使用するキーワードの種類に対応したＵＲＬの検索サーバに検索の実行を要求する請求項１に記載の携帯端末装置。
【請求項３】
前記付随情報は撮影に伴って自動的に撮影画像に付加されるデータである請求項１に記載の携帯端末装置。
【請求項４】
現在位置を検出する位置検出手段を備え、
前記付随情報は前記位置検出手段により得られた位置情報である請求項１に記載の携帯端末装置。
【請求項５】
ユーザが情報を入力する入力手段を備え、
ユーザの指示に応じて前記合成手段は前記入力手段により前記撮影画像に対して入力された情報を前記撮影により得られた画像に合成する請求項１に記載の携帯端末装置。
【請求項６】
受信された電子メールを保存するメール保存手段を備え、
前記撮影された画像が、受信された電子メールに添付されている場合に、前記画像合成手段は、当該電子メールの文面を当該画像に重ね合わせて合成する手段を有する請求項１に記載の携帯端末装置。
【請求項７】
インターネットおよびホームネットワークに接続可能な携帯端末装置において実行されるコンピュータプログラムであって、
撮影により得られた画像とともにその画像または撮影に付随した付随情報を取得するステップと、
前記付随情報をキーワードとしてインターネット上の検索サーバに対して検索の実行を要求するステップと、
前記検索サーバから得られた検索結果を一時的に保存するステップと、
前記撮影により得られた画像に対して前記検索結果を重ね合わせて合成するステップと、
合成済みの画像をホームネットワーク上の指定された出力装置へ送信するステップと
をコンピュータに実行させることを特徴とするコンピュータプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２００９−２２３８６５（Ｐ２００９−２２３８６５Ａ）
【公開日】平成２１年１０月１日（２００９．１０．１）
【国際特許分類】
【出願番号】特願２００８−７０８０２（Ｐ２００８−７０８０２）
【出願日】平成２０年３月１９日（２００８．３．１９）
【出願人】（５０１４３１０７３）ソニー・エリクソン・モバイルコミュニケーションズ株式会社 (810)
【Ｆターム（参考）】
【公開日】平成２１年１０月１日（２００９．１０．１）
【国際特許分類】
【出願日】平成２０年３月１９日（２００８．３．１９）
【出願人】（５０１４３１０７３）ソニー・エリクソン・モバイルコミュニケーションズ株式会社 (810)
【Ｆターム（参考）】
[ Back to top ]