ポータブル機器の画像表示方法
【課題】複数の画像を合成した合成画像データをポータブル機器で閲覧する方法であって、ユーザにとってより使いやすく、満足できるユーザエクスペリエンスを実現することが可能なポータブル機器における画像表示方法を提供する。
【解決手段】ポータブル機器の画像表示方法は、撮像部を備えた第１のポータブル機器で撮影した画像データを、表示部を備えた第２のポータブル機器で表示する方法において、前記第１のポータブル機器が撮影した複数の画像データを合成して合成画像データとする第１のステップと、前記合成画像データの一部を前記第２のポータブル機器の前記表示部に表示する第２のステップと、前記第２のポータブル機器を移動または傾動させる動作に応じて、前記合成画像データのうち前記第２のポータブル機器の前記表示部に表示される部分をスクロールする第３のステップと、を含む。
【解決手段】ポータブル機器の画像表示方法は、撮像部を備えた第１のポータブル機器で撮影した画像データを、表示部を備えた第２のポータブル機器で表示する方法において、前記第１のポータブル機器が撮影した複数の画像データを合成して合成画像データとする第１のステップと、前記合成画像データの一部を前記第２のポータブル機器の前記表示部に表示する第２のステップと、前記第２のポータブル機器を移動または傾動させる動作に応じて、前記合成画像データのうち前記第２のポータブル機器の前記表示部に表示される部分をスクロールする第３のステップと、を含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ポータブル機器の画像表示方法に関するものである。
【背景技術】
【０００２】
近時においては、デジタルスチルカメラ、デジタルビデオカメラおよびカメラ付き携帯電話等に代表されるように、デジタル画像を撮影することの可能なポータブル機器は広く普及している。このような画像データ撮影機能を有するポータブル機器においては、自己の撮影した複数の画像データを合成して、パノラマサイズの画像データを生成して表示する機能を持つものが知られている。
【０００３】
例えば、特開平８−８８７８７号公報には、カメラで撮影した画像に当該カメラの撮影時のカメラデータを付加して送信する送信部と、送信されてきた画像およびカメラデータから抽出したカメラデータをもとに全範囲の画像を合成する画像合成部とを備え、この合成画像を表示するように構成された画像処理装置が開示されている。
【０００４】
また、特にカメラ付き携帯電話のようにデジタル画像の撮影機能と通信機能とを兼ね備えたポータブル機器においては、さらに撮影したデジタル画像のデータを通信機能により送信する機能を持つものが知られている。
【０００５】
例えば、特開平６−１３３０８１号公報には、携帯電話機能を搭載して撮影した画像を電話回線を用いて即座に別の場所にある大型の記憶媒体に伝送可能に構成することにより、メモリカードを装着してなくても撮影可能とした電子スチルカメラが開示されている。さらに、特開２００１−９２７３２公報には、撮影モードにおいてユーザが撮影を実行した画像データを記憶部に一時的に記憶させ、ユーザが送信メール作成モードに切り換える操作をした場合には電子メール作成画面を表示するとともに前記記憶部に記憶させた画像データを添付ファイル記憶領域に格納し、添付データとして送信可能な状態とすることにより、撮影した画像を迅速にメール送信処理することの可能な携帯情報端末が開示されている。
【特許文献１】特開平８−８８７８７号公報
【特許文献２】特開平６−１３３０８１号公報
【特許文献３】特開２００１−９２７３２
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上述の技術を応用することにより、ポータブル機器で撮影した複数の画像データを合成してパノラマサイズの画像データを生成し、これを別のポータブル機器に送信して閲覧させるサービスが実現可能である。そして、そのような合成画像がポータブル機器の表示部で表示可能なサイズよりも大きい場合には、表示部に合成画像を縮小して表示するか、表示部に合成画像の一部のみを表示してカーソルキーの操作により表示する部分を移動させることが考えられる。
【０００７】
しかし、ポータブル機器で撮影した複数の画像データを合成してなる合成画像の大きさはパノラマサイズに限られず、また、左右に繋がるように合成するだけでなく、上下に繋がるようにしても構わない。このように多様な形状およびサイズの画像データを自由に合成して、ポータブル機器間で互いにやり取りして閲覧可能とすれば、サイズが規定されたパノラマ画像をやり取りする場合よりも広いニーズに応えることができ、また、多様な用途で利用することが可能となる。しかし、このように自由な形状およびサイズの合成画像を閲覧する際には、カーソルキーによって表示する部位を変更するような既存のデータ閲覧方法と実質的に変わらないインターフェイスでは、ユーザにとってより使いやすく、満足できるユーザエクスペリエンスを提供できるインターフェイスを提供することはできない。
【０００８】
上記事情に鑑み、本発明は、複数の画像を合成した合成画像データをポータブル機器で閲覧する方法であって、ユーザにとってより使いやすく、満足できるユーザエクスペリエンスを実現することが可能なポータブル機器における画像表示方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するため、本発明は、撮像部を備えた第１のポータブル機器で撮影した画像データを、表示部を備えた第２のポータブル機器で表示する方法において、
前記第１のポータブル機器が撮影した複数の画像データを合成して合成画像データとする第１のステップと、
前記合成画像データの一部を前記第２のポータブル機器の前記表示部に表示する第２のステップと、
前記第２のポータブル機器を移動または傾動させる動作に応じて、前記合成画像データのうち前記第２のポータブル機器の前記表示部に表示される部分をスクロールする第３のステップとを含むことを特徴とするポータブル機器の画像表示方法を提供する。
【００１０】
本発明において、前記第１のステップは、前記第１または第２のポータブル機器にて行うことができる。また、撮影した画像データをネットワーク経由で前記第２のポータブル機器に転送する場合には、当該ネットワーク上に設けられたサーバ上で前記第１のステップを行うようにすることも可能である。
【００１１】
また、前記第１のステップは、前記複数の画像データから重複部分を検出し、当該重複部分が重なり合うように合成することで合成画像データを生成してもよいし、当該重複部分が重なり合うように配置するためのレイアウト情報を記録する機能を有している場合には、前記第１のステップは当該レイアウト情報を利用して複数の画像データを合成するようにしても構わない。
【００１２】
さらに、前記第２のポータブル機器が前記第２のポータブル機器を移動または傾動させる動作を検出するモーションセンサを有している場合には、前記第３のステップは、当該モーションセンサの出力に応じて行う構成とすることができる。前記第２のポータブル機器がさらに撮像部を有している場合には、前記第３のステップは、当該撮像部が画像をキャプチャーしている状態で、当該撮像部がキャプチャーしている画像の動く方向に応じて行うことも可能である。このような場合には、前記第２のポータブル機器は、当該撮像部がキャプチャーしている画像のぶれている方向を画像が動く方向として検出してもよい。
【発明の効果】
【００１３】
本発明によれば、複数の画像データを合成した合成画像データの一部をポータブル機器の表示部に表示している状態で、ポータブル機器を移動または傾動させる動作に応じて、合成画像データのうち表示部に表示される部分をスクロールする。このようにポータブル機器を移動または傾動させるという直感的な操作で画面をスクロールするので、多様なサイズと形状を取り得る合成画像データを閲覧するにあたり、ユーザにとってより使いやすく、満足できるユーザエクスペリエンスを提供可能なインターフェイスが実現される。
【発明を実施するための最良の形態】
【００１４】
以下、本発明を実施するための最良の形態について説明する。図１は、本発明の第１の実施形態にかかるポータブル機器としての通信端末１００の構成を示す機能ブロック図である。図１に示すように、この通信端末１００は、主として、撮像部１０１と、キー入力部１０２と、表示部１０３と、制御部１０４と、画像保存部１０５と、画像バッファ１０６と、通信部１０７とから構成されている。また、図２は通信端末１００の外観を示す図である。図２に示すように、この通信端末１００は、内側に表示部１０３の設けられた第１の筐体１２０と、内側にキー入力部１０２の要部が設けられた第２の筐体１２１とから構成され、図２（ｂ）に示すように二つ折り可能なクラムシェル構造になっている。また第１の筐体１２０には、二つ折りにした状態で外側に露出する位置に撮像部１０１の光学系が露出するように設けられている。さらに、図３は通信端末１００ａおよび１００ｂが移動体通信網２００を介して通信する態様を示す図である。図３に示すように、通信端末１００ａと通信端末１００ｂは、それぞれ基地局２０１、２０２を介して移動体通信網２００と無線接続することにより互いに通信を行うことが可能である。
【００１５】
撮像部１０１は、所定の光学系および受像素子を有するカメラモジュールであり、通信端末１００にデジタル画像を撮影する機能を提供する。通信端末１００でデジタル画像を撮影する際には、撮像部１０１はユーザがキー入力部１０２で所定の操作を行うことに応じて制御部１０４によって起動される。このように起動された撮像部１０１は、光学系の取得した被写体像から所定露光時間で受像素子が得たデータを制御部１０４へ返す処理を所定時間間隔で繰り返し、当該データを制御部１０４が表示部１０３に表示することにより通信端末１００の表示部１０３を撮像部１０１のファイダーとして利用するライブビュー機能が実現される。そして、その状態でユーザがキー入力部１０２で所定の操作を行うことにより、撮像部１０１は光学系の取得した被写体像から設定された撮影条件で画像データを生成し、生成された画像データは制御部１０４によって画像保存部１０５に保存される。このような基本動作に加えて、後に詳述するように、撮像部１０１はパノラマ画像の撮影を行う際に利用され、またパノラマ画像の表示部をスクロールするための入力装置としても利用される。また、図２に示すとともに上述したように、撮像部１０１の光学系は、第１の筐体１２０の表示部１０３とは反対側の面に露出している。
【００１６】
キー入力部１０２は、前述のように通信端末１００の第１の筐体１２０に設けられたキーパッド、ならびにその他ボタン等の入力装置であり、ユーザが操作することにより各キーまたはボタンに応じた信号であるキーイベントが制御部１０４に通知され、種々の操作ないしは制御に利用される。また、表示部１０３は、液晶表示装置または有機液晶表示装置であって、通信端末１００の動作状態、通信端末１００を操作するためのユーザインターフェイス等を制御部１０４の制御下で表示するものである。
【００１７】
制御部１０４は、不図示のＣＰＵ上で所定のプログラムを実行することにより仮想的に構成される機能ブロックであって、通信端末１００の撮像部１０１、キー入力部１０２、表示部１０３、制御部１０４、画像保存部１０５、画像バッファ１０６および通信部１０７といった各機能ブロックとの間でデータおよび制御信号をやり取りすることにより、通信端末１００の各種機能を実現するものである。
【００１８】
画像保存部１０５は、撮像部１０１が撮影した画像データを保存するための書き込み可能な不揮発性メモリである。画像保存部１０５には、図１に示すように通常の画像データ１１２を保存することができ、さらに、複数の画像データからなるパノラマ画像を保存することができる。図１には、一つのパノラマ画像を生成するための複数のパーツイメージ１１０ａと、各パーツイメージ１１０ａをレイアウトしてパノラマ画像を生成するためのレイアウト情報１１０ｂとからなるパノラマ画像データ１１０、同様に別のパノラマ画像を生成するための複数のパーツイメージ１１１ａおよびレイアウト情報１１１ｂからなるパノラマ画像データ１１１が保存されている。これらのデータからパノラマ画像を生成する方法については後述する。また、画像バッファ１０６は、撮像部１０１の撮影した画像データを一時的に保存するための書き込み可能な高速メモリである。
【００１９】
通信部１０７は、基地局２０１，２０２と無線接続することにより通信端末１００を移動体通信網２００のようなネットワークに接続して通信を行うための機能ブロックである。通信部１０７は、制御部１０４の制御下で動作することにより、ネットワークに接続されたサーバや他の通信端末等のノードと通信を実現する。例えば、図３に示すように、本実施形態の通信端末１００と同様に構成された通信端末１００ａ，１００ｂがそれぞれ基地局２０１，２０２を介して移動体通信網２００に接続することにより、通信端末１００ａ，１００ｂの間で互いにメッセージを送受信することが可能である。また、本実施形態にかかる通信端末１００においては、画像保存部１０５に保存された通常の画像データ１１２をメッセージに添付して送受信することが可能となっており、さらに一連のパノラマ画像データ１１０または１１１を送受信することもできる。
【００２０】
以下、本実施形態にかかる通信端末１００の動作について、図面を参照しながら説明する。まず、本実施形態にかかる通信端末１００によってパノラマ画像ができるように画像データを撮影する撮影動作について、図４のフローチャートを参照しながら説明する。
【００２１】
この撮影動作は、まずユーザがキー入力部１０２を操作することで、撮像部１０１の撮影モードをパノラマ画像にセットすることにより開始される（ＳＴ１０１）。次に、ユーザの操作に応じて撮像部１０１で最初の画像を撮影し、当該画像のデータを画像保存部１０５にイメージパーツとして記録する（ＳＴ１０２）。この際、新規にパノラマ画像の撮影モードで撮影されたイメージパーツやレイアウト情報を格納するために、自動的に新しいフォルダを作成して当該フォルダの中に記録することが好適である。
【００２２】
最初のイメージパーツを記録した後、続いて同じくユーザの操作に応じて撮像部１０１で次の画像が撮影され、ここで得られた画像データは追加イメージパーツとして画像バッファ１０６に保存される（ＳＴ１０３）。その後、画像保存部１０５に記録されているイメージパーツのいずれかと、追加イメージパーツとの間に重複部があるかが判断される（ＳＴ１０４）。そして、ここで重複部があると判断された場合には、重複部のあるイメージパーツおよび追加イメージパーツを、両者の重複部が重なり合うように位置決めし（ＳＴ１０５）、この位置決めに基づいてイメージパーツに対する追加イメージパーツの相対的な位置情報をレイアウトファイルに記録する（ＳＴ１０６）。このＳＴ１０６において、レイアウトファイルがまだ作成されていない場合にはレイアウトファイルを新たに作成し、作成済みである場合には既存のレイアウトファイルに追記することにより位置情報を記録すればよい。次いで、追加イメージパーツを画像保存部１０５に移動させ、イメージパーツとして記録する（ＳＴ１０７）。
【００２３】
ＳＴ１０７でイメージパーツを画像保存部１０５に記録した後、ユーザがパノラマ画像の撮影終了を選択したかを判断する（ＳＴ１０９）。ここでの判断は、例えば、表示部１０３に、「パノラマモードでの撮影を続けますか。[Ｙｅｓ][Ｎｏ]」のようなメッセージを表示して、ユーザにキー入力部１０２を操作させることにより行うことができる。ここで、ユーザがパノラマ画像の撮影終了を選択したと判断されなかった場合には、ＳＴ１０３に戻って次の画像を撮影し、上述の動作を繰り返す。一方、ここでユーザがパノラマ画像の撮影終了を選択したと判断された場合には、これまでに撮影したイメージパーツを記録されているレイアウトファイルの内容に沿って配置した合成画像を作成し、その縮小プレビューを表示部１０３に表示した後、一連の動作を終了する。
【００２４】
また、ＳＴ１０４で、画像保存部１０５に記録されているイメージパーツと、追加イメージパーツとの間に重複部がないと判断された場合には、表示部１０３にパノラマ画像を作成できない旨を表示する（ＳＴ１０８）。その後、ＳＴ１０９の判断を行い、ここで撮影終了を選択していないと判断された場合にはＳＴ１０３に戻って上述の動作を繰り返し、撮影終了を選択したと判断された場合にはＳＴ１１０で合成画像の縮小プレビューを表示して一連の動作を完了する。
【００２５】
以上のような撮影動作によれば、撮像部１０１で複数の画像を互いに重複する部分ができるように撮影してイメージパーツ１１０ａとして保存することができ、またそれらを重複部分が重なり合うように配置してパノラマ画像を合成するための情報を記述したレイアウトファイル１１０ｂを同時に生成することができる。したがって、制御部１０４にてイメージパーツ１１０ａをレイアウトファイル１１０ｂに記載された位置情報に沿って配置した画像を生成することにより、撮像部１０１で一度に撮影可能な範囲よりも広い範囲を撮影したパノラマ画像を得ることができる。イメージパーツ１１１ａとレイアウトファイル１１１ｂについても同様である。また、このような動作では、単に複数の画像を横方向に合成したパノラマ画像だけでなく、イメージパーツを縦方向および横方向に自由に組み合わせて所望のサイズおよび形状のパノラマ画像を得ることができる。
【００２６】
次に、上述の撮影動作によりパノラマ画像が合成できるように撮影された画像データを、本実施形態の通信端末１００でパノラマ画像として表示する第１の閲覧動作について、図５のフローチャートを参照しながら説明する。
この動作は、まず制御部１０４が画像保存部１０５に保存された全画像データを表示部１０３にサムネイル表示し（ＳＴ２０１）、ユーザがキー入力部１０２を操作することによりイメージパーツを選んでパノラマ表示を指定する（ＳＴ２０２）ことにより開始される。
【００２７】
次に、指定したイメージパーツについてパノラマ表示が指定されると、制御部１０４は当該イメージパーツからパノラマ画像を生成するためのレイアウトファイルを読み出し、そのレイアウト情報に沿ってイメージパーツを配置したパノラマ画像を生成し、その一部を表示部１０３に表示する（ＳＴ２０３）。この際、表示部１０３にデフォルトで表示するのは、ＳＴ２０２で指定されたイメージパーツとしてもよいし、生成されたパノラマ画像の中心部または端部のような所定の位置とすることも可能である。
【００２８】
ＳＴ２０３でパノラマ画像の一部を表示した後、撮像部１０１によって画像をキャプチャーする（ＳＴ２０４）。ここで、図２に示すように、撮像部１０１は第１の筐体１１０の外側に向けて設けられているので、撮像部１０１はこの位置で光学系が取得した被写体像から所定露光時間で受像素子が得たデータを制御部１０４へ返し、このデータを制御部１０４が画像バッファ１０６に保存することによりキャプチャーは行われる。次に、制御部１０４が、このようにしてキャプチャーした画像に手ブレがあったかを判断する（ＳＴ２０５）。このＳＴ２０５においては、例えばキャプチャーした画像に対して、手ぶれが発生したことを前提に当該手ぶれの補正を行うアルゴリズムによる処理を適用し、これによりキャプチャーした画像のシャープネスが改善するか否かを判断することにより行うことが可能である。
【００２９】
ＳＴ２０５で手ブレがあったと判断された場合には、次に手ブレの方向ａおよび量ｂを算出し（ＳＴ２０６）、パノラマ画像を表示している部分を方向ａにスクロールすることが可能か判断し（ＳＴ２０７）、スクロール可能であれば表示している部分を単位量だけスクロールし（ＳＴ２０８）、スクロールした量がｂに達したかを判断する（ＳＴ２０９）。ＳＴ２０９でスクロールした量がｂに達したと判断されなかった場合には、ＳＴ２０７に戻って方向ａにスクロールすることが可能かを判断し、以降同様の動作を繰り返す。
【００３０】
一方、ＳＴ２０５でキャプチャーした画像に手ブレが検出されなかった場合、ＳＴ２０７で方向ａにスクロールできないと判断されなかった場合、および、ＳＴ２０９でスクロールした量がｂに達したと判断した場合には、ユーザが表示終了を指示しているかを判断する（ＳＴ２１０）。ここでの判断は、例えば、ここまでの動作を行う間にユーザがキー入力部１０２の所定キーを操作しているかを、制御部１０４のメッセージキューに所定キーイベントが蓄積されているかを判断することにより行うことができる。ＳＴ２１０において、ユーザが終了を指示していると判断されなかった場合には、ＳＴ２０４に戻って撮像部１０１によって再度画像をキャプチャーし、上述した動作を繰り返す。一方、ＳＴ２１０でユーザが終了を指示していると判断された場合には、パノラマ画像の表示を終了し（ＳＴ２１１）、一連の動作を完了する。
【００３１】
以上のような動作によれば、上述した撮影動作により撮影された画像データをパノラマ画像ができるように配置して合成し、本実施形態の通信端末１００で表示することができる。さらに、ユーザが携帯端末１００を傾けたり動かしたりする動作を、撮像部１０１でキャプチャーした画像に手ブレがあるか否かにより検出し、その方向と量に応じてパノラマ画像のうち表示部１０３に表示されている部分をスクロールすることができる。したがって、通信端末１００のキーボタン、カーソルキーまたは所定のポインティングデバイスを操作した場合よりも、簡単かつ直感的な操作でパノラマ画像をスクロールさせながら閲覧することができる。
【００３２】
次に、上述の撮影動作によりパノラマ画像が合成できるように撮影された画像データを、本実施形態の通信端末１００でパノラマ画像として表示する第２の閲覧動作について、図６のフローチャートを参照しながら説明する。
この第２の動作では、パノラマ画像を表示中に連続して２枚の画像をキャプチャーし、両者の画像データから撮影されている被写体像の位置ズレを検出し、その方向および量に応じて画面のスクロールを行う。
【００３３】
この第２の閲覧動作では、まず第１の閲覧動作と同様に、全画像データをサムネイル表示し（ＳＴ３０１）、ユーザがイメージパーツを選んでパノラマ表示を指定する（ＳＴ３０２）ことにより開始され、制御部１０４が当該イメージパーツからレイアウト情報に沿ってイメージパーツを配置したパノラマ画像を生成し、その一部を表示部１０３に表示する（ＳＴ３０３）。
【００３４】
この状態で、携帯端末１００の制御部１０４が撮像部１０１を制御することにより、撮像部１０１は光学系が取得した被写体像から所定露光時間で受像素子が得たデータを制御部１０４へ返し、このデータを制御部１０４が画像バッファ１０６に保存することで画像をキャプチャーし（ＳＴ３０４）、続けて次の画像をキャプチャーし（ＳＴ３０５）、最新のキャプチャー画像と前回キャプチャーした画像とを比較して、被写体像の位置ズレが検出されるか否かを判断する（ＳＴ３０６）。
【００３５】
ＳＴ３０６で位置ズレがあったと判断された場合には、次に位置ズレの方向ａおよび量ｂを算出し（ＳＴ３０７）、パノラマ画像を表示している部分を方向ａにスクロールすることが可能か判断し（ＳＴ３０８）、スクロール可能であれば表示している部分を単位量だけスクロールし（ＳＴ３０９）、スクロールした量がｂに達したかを判断する（ＳＴ３１０）。ＳＴ３１０でスクロールした量がｂに達したと判断されなかった場合には、ＳＴ３０８に戻って方向ａにスクロールすることが可能かを判断し、以降同様の動作を繰り返す。
【００３６】
一方、ＳＴ３０６でキャプチャーした画像に位置ズレが検出されなかった場合、ＳＴ３０８で方向ａにスクロールできないと判断されなかった場合、および、ＳＴ３１０でスクロールした量がｂに達したと判断した場合には、ユーザが表示終了を指示しているかを判断する（ＳＴ３１１）。ここでユーザが終了を指示していると判断されなかった場合には、ＳＴ３０５に戻って同様の処理を繰り返す。一方、ＳＴ３１１でユーザが終了を指示していると判断された場合には、パノラマ画像の表示を終了し（ＳＴ３１２）、一連の動作を完了する。
【００３７】
このような第２の閲覧動作によっても、上述した撮影動作により撮影された画像データをパノラマ画像ができるように配置して合成し、本実施形態の通信端末１００で表示することができる。さらに、ユーザが携帯端末１００を傾けたり動かしたりする動作を、撮像部１０１が連続してキャプチャーした画像の被写体像に生じた位置ズレの有無により検出し、その方向と量に応じてパノラマ画像のうち表示部１０３に表示されている部分をスクロールすることができる。したがって、第１の閲覧動作と同様に、簡単かつ直感的な操作でパノラマ画像をスクロールさせながら閲覧することができる。
【００３８】
図７および図８は、本実施形態の撮影動作でパノラマ画像が合成できるように撮影されたイメージパーツと、これらを合成してなるパノラマ画像の一例を示す図である。図７には本実施形態の撮影動作で撮影されたイメージパーツを矩形で示し、図８にはこれらのイメージパーツをレイアウト情報に従って配置することにより得られたパノラマ画像を示す。また、図８に示したパノラマ画像を制御部１０４で処理する際には、図９に示すように矩形のデータとして取り扱ってもよい。さらに、図９にはパノラマ画像のうち表示部１０３に表示している部分Ｇを矩形で示す。なお、図９にＧ′で示すようにパノラマ画像のコーナー部を表示部１０３に表示している状態では、通信端末１００を上方または左方に傾けたり動かしたりしても、それ以上その方向に画面はスクロールしない（図５のＳＴ２０７、図６のＳＴ３０８参照）。なお、図８に示したパノラマ画像を、矩形データとして取り扱うことなく、その形状のままで制御部１０４により処理しても構わない。
【００３９】
ここで、第１または第２の閲覧動作によって通信端末１００の表示部１０３に表示するパノラマ画像は、通信端末１００の自機で撮影したものを想定したが、図３に示したように移動体通信網２００に接続して通信可能な通信端末１００ａおよび１００ｂにおいては、通信端末１００ａによってパノラマ画像ができるように撮影したイメージパーツ（画像データ）およびレイアウトファイルを通信端末１００ｂに送信し、これらを受信した通信端末１００ｂで第１または第２の閲覧動作を行うようにしても構わない。このようにすることで、通信端末１００ａのユーザが端末を利用して撮影した自由な形状およびサイズのパノラマ画像を、通信端末１００ｂのユーザが端末を動かしたり傾けたりする直感的な動作に応じてスクロールさせつつ表示することができる。したがって、通信端末１００ａのユーザと通信端末１００ｂのユーザとの間で、被写体に対する俯瞰を共有させることができ（通信端末１００ａのユーザがパノラマ画像を撮影する際に端末を動かしたり傾けたりした動作を、通信端末１００ｂのユーザにトレースさせることができる）、ユーザに全く新しいユーザエクスペリエンスを提供することが可能となる。
【００４０】
次に本発明の第２の実施形態について説明する。図１０は、本発明の第２の実施形態にかかる通信端末１００′の構成を示す機能ブロック図である。図１０に示すように、第２の実施形態にかかる通信端末１００′は、第１の通信端末１００にモーションセンサ部１０８を追加した構成となっており、第１の実施形態にかかる通信端末１００と同様の機能ブロックについては同じ番号を付して説明は省略する。
【００４１】
通信端末１００′のモーションセンサ部１０８は、通信端末１００′の位置および／または姿勢角度の変動を検出することにより、ユーザが通信１００′を動かしたり傾けたりする動作を検出し、それに相当する信号を制御部１０４に出力するものである。このようなモーションセンサ部１０８は、地磁気センサに加速度センサを組み合わせて構成したものであっても良いし、加速度センサでも良く、また傾きセンサを利用することも可能である。また、その変動を検出する方向は、３軸であっても２軸であってもよい。３軸方向の地磁気センサと３軸方向の加速度センサとを組み合わせた６軸センサ、また、３軸方向の地磁気センサと２軸方向の加速度センサとを組み合わせた５軸センサは、いずれもモーションセンサ部１０８として利用可能である。
【００４２】
図１１は、前述の撮影動作によりパノラマ画像が合成できるように撮影された画像データを、本実施形態の第２の通信端末１００′でパノラマ画像として表示する第３の閲覧動作のフローチャートである。ここでは、パノラマ画像を表示中にモーションセンサ部１０８を起動してユーザが通信端末１００を動かしたり傾けたりする動作を検出し、その方向および量に応じて画面のスクロールを行う。
【００４３】
第３の閲覧動作では、まず第１および第２の閲覧動作と同様に、全画像データをサムネイル表示し（ＳＴ４０１）、ユーザがイメージパーツを選んでパノラマ表示を指定する（ＳＴ４０２）ことにより開始され、制御部１０４が当該イメージパーツからレイアウト情報に沿ってイメージパーツを配置したパノラマ画像を生成し、その一部を表示部１０３に表示する（ＳＴ４０３）。
【００４４】
この状態で、制御部１０４はモーションセンサ部１０８を起動し（ＳＴ４０４）、モーションセンサ部１０８が通信端末１００′の移動・傾動を検出したかを判断する（ＳＴ４０５）。ＳＴ４０５で移動・傾動を検出したと判断された場合には、移動・傾動の方向を表示部１０３と水平面に投影し、その方向ａおよびｂを算出し（ＳＴ４０６）、パノラマ画像を表示している部分を方向ａにスクロールすることが可能か判断し（ＳＴ４０７）、スクロール可能であれば表示している部分を単位量だけスクロールし（ＳＴ４０８）、スクロールした量がｂに達したかを判断する（ＳＴ４０９）。ＳＴ４０９でスクロールした量がｂに達したと判断されなかった場合には、ＳＴ４０７に戻って方向ａにスクロールすることが可能かを判断し、以降同様の動作を繰り返す。
【００４５】
一方、ＳＴ４０５でキャプチャーした画像に位置ズレが検出されなかった場合、ＳＴ４０７で方向ａにスクロールできないと判断されなかった場合、および、ＳＴ４０９でスクロールした量がｂに達したと判断した場合には、ユーザが表示終了を指示しているかを判断する（ＳＴ４１０）。ここでユーザが終了を指示していると判断されなかった場合には、ＳＴ４０５に戻って同様の処理を繰り返す。一方、ＳＴ４１０でユーザが終了を指示していると判断された場合には、パノラマ画像の表示を終了し（ＳＴ４１１）、一連の動作を完了する。
【００４６】
このような第３の閲覧動作によっても、第１の実施形態の撮影動作により撮影された画像データをパノラマ画像ができるように配置して合成し、本実施形態の通信端末１００′で表示することができる。さらに、ユーザが携帯端末１００′を傾けたり動かしたりする動作をモーションセンサ部１０８により検出し、それを表示部１０３の水平面に投影した方向および量に応じてパノラマ画像のうち表示部１０３に表示されている部分をスクロールすることができる。したがって、第１および第２の閲覧動作と同様に、簡単かつ直感的な操作でパノラマ画像をスクロールさせながら閲覧することができる。
【００４７】
以上、本発明の実施の形態について説明したが、本発明はこれに限定されることなく、その趣旨を逸脱しない範囲で種々の改良・変更が可能であることは勿論である。
例えば、上記ではユーザがキー入力部１０２を操作することにより撮像部１０１で静止画を撮影してイメージパーツを得るようにしていたが、撮像部１０１により撮影された動画データを制御部１０４で処理することによりイメージパーツを取得してもよいし、所定間隔で自動的に静止画を撮影することによりイメージパーツを得ることも可能である。
【００４８】
また、第１の通信端末１００ａでパノラマ画像が合成できるようにイメージパーツを撮影してレイアウトファイルとともに記録し、当該パノラマ画像を第２の通信端末１００ｂで表示させる際には、イメージパーツおよびレイアウトファイルを第２の通信端末１００ｂに送信して第２の通信端末１００ｂでパノラマ画像を生成するようにしてもよいし、予め第１の通信端末１００ａでパノラマ画像を生成し、そのデータを第２の通信端末１００ｂに送信する形としても構わない。
【００４９】
さらに、上記では携帯電話のような通信端末に本発明を適用した場合を示したが、これに限られる物ではなく、本発明はユーザが手に持った状態で操作・理由するポータブル機器に広く適用することができる。このようなポータブル機器としては、例えば携帯情報端末、デジタルミュージックプレーヤー、デジタルカメラ等を挙げることができる。
【００５０】
さらにまた、第２の実施形態に示したように、通信端末１００′がモーションセンサ部１０８を有する場合には、撮影動作において、モーションセンサ部１０８の出力からイメージパーツのレイアウト情報を得るようにすることも可能である。
【図面の簡単な説明】
【００５１】
【図１】本発明の第１の実施形態にかかる通信端末１００の機能ブロック図。
【図２】（ａ）は通信端末１００の外観を示す図、（ｂ）は通信端末１００の外観を示す別の図。
【図３】通信端末１００ａおよび１００ｂが移動体通信網２００を介して通信する態様を示す図。
【図４】パノラマ画像ができるように画像データを撮影する撮影動作のフローチャート。
【図５】第１の閲覧動作のフローチャート。
【図６】第２の閲覧動作のフローチャート。
【図７】本実施形態で撮影されるイメージパーツを説明するための図。
【図８】本実施形態で合成されるパノラマ画像を説明するための図。
【図９】本実施形態でパノラマ画像を表示する態様を説明するための図。
【図１０】本発明の第２の実施形態にかかる通信端末１００′の機能ブロック図。
【図１１】本発明の第２の実施形態における第３の閲覧動作のフローチャート。
【符号の説明】
【００５２】
１００；通信端末、
１０１；撮像部、
１０２；キー入力部、
１０３；表示部、
１０４；制御部、
１０５；画像保存部、
１０６；画像バッファ、
１０７；通信部
【技術分野】
【０００１】
本発明は、ポータブル機器の画像表示方法に関するものである。
【背景技術】
【０００２】
近時においては、デジタルスチルカメラ、デジタルビデオカメラおよびカメラ付き携帯電話等に代表されるように、デジタル画像を撮影することの可能なポータブル機器は広く普及している。このような画像データ撮影機能を有するポータブル機器においては、自己の撮影した複数の画像データを合成して、パノラマサイズの画像データを生成して表示する機能を持つものが知られている。
【０００３】
例えば、特開平８−８８７８７号公報には、カメラで撮影した画像に当該カメラの撮影時のカメラデータを付加して送信する送信部と、送信されてきた画像およびカメラデータから抽出したカメラデータをもとに全範囲の画像を合成する画像合成部とを備え、この合成画像を表示するように構成された画像処理装置が開示されている。
【０００４】
また、特にカメラ付き携帯電話のようにデジタル画像の撮影機能と通信機能とを兼ね備えたポータブル機器においては、さらに撮影したデジタル画像のデータを通信機能により送信する機能を持つものが知られている。
【０００５】
例えば、特開平６−１３３０８１号公報には、携帯電話機能を搭載して撮影した画像を電話回線を用いて即座に別の場所にある大型の記憶媒体に伝送可能に構成することにより、メモリカードを装着してなくても撮影可能とした電子スチルカメラが開示されている。さらに、特開２００１−９２７３２公報には、撮影モードにおいてユーザが撮影を実行した画像データを記憶部に一時的に記憶させ、ユーザが送信メール作成モードに切り換える操作をした場合には電子メール作成画面を表示するとともに前記記憶部に記憶させた画像データを添付ファイル記憶領域に格納し、添付データとして送信可能な状態とすることにより、撮影した画像を迅速にメール送信処理することの可能な携帯情報端末が開示されている。
【特許文献１】特開平８−８８７８７号公報
【特許文献２】特開平６−１３３０８１号公報
【特許文献３】特開２００１−９２７３２
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上述の技術を応用することにより、ポータブル機器で撮影した複数の画像データを合成してパノラマサイズの画像データを生成し、これを別のポータブル機器に送信して閲覧させるサービスが実現可能である。そして、そのような合成画像がポータブル機器の表示部で表示可能なサイズよりも大きい場合には、表示部に合成画像を縮小して表示するか、表示部に合成画像の一部のみを表示してカーソルキーの操作により表示する部分を移動させることが考えられる。
【０００７】
しかし、ポータブル機器で撮影した複数の画像データを合成してなる合成画像の大きさはパノラマサイズに限られず、また、左右に繋がるように合成するだけでなく、上下に繋がるようにしても構わない。このように多様な形状およびサイズの画像データを自由に合成して、ポータブル機器間で互いにやり取りして閲覧可能とすれば、サイズが規定されたパノラマ画像をやり取りする場合よりも広いニーズに応えることができ、また、多様な用途で利用することが可能となる。しかし、このように自由な形状およびサイズの合成画像を閲覧する際には、カーソルキーによって表示する部位を変更するような既存のデータ閲覧方法と実質的に変わらないインターフェイスでは、ユーザにとってより使いやすく、満足できるユーザエクスペリエンスを提供できるインターフェイスを提供することはできない。
【０００８】
上記事情に鑑み、本発明は、複数の画像を合成した合成画像データをポータブル機器で閲覧する方法であって、ユーザにとってより使いやすく、満足できるユーザエクスペリエンスを実現することが可能なポータブル機器における画像表示方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するため、本発明は、撮像部を備えた第１のポータブル機器で撮影した画像データを、表示部を備えた第２のポータブル機器で表示する方法において、
前記第１のポータブル機器が撮影した複数の画像データを合成して合成画像データとする第１のステップと、
前記合成画像データの一部を前記第２のポータブル機器の前記表示部に表示する第２のステップと、
前記第２のポータブル機器を移動または傾動させる動作に応じて、前記合成画像データのうち前記第２のポータブル機器の前記表示部に表示される部分をスクロールする第３のステップとを含むことを特徴とするポータブル機器の画像表示方法を提供する。
【００１０】
本発明において、前記第１のステップは、前記第１または第２のポータブル機器にて行うことができる。また、撮影した画像データをネットワーク経由で前記第２のポータブル機器に転送する場合には、当該ネットワーク上に設けられたサーバ上で前記第１のステップを行うようにすることも可能である。
【００１１】
また、前記第１のステップは、前記複数の画像データから重複部分を検出し、当該重複部分が重なり合うように合成することで合成画像データを生成してもよいし、当該重複部分が重なり合うように配置するためのレイアウト情報を記録する機能を有している場合には、前記第１のステップは当該レイアウト情報を利用して複数の画像データを合成するようにしても構わない。
【００１２】
さらに、前記第２のポータブル機器が前記第２のポータブル機器を移動または傾動させる動作を検出するモーションセンサを有している場合には、前記第３のステップは、当該モーションセンサの出力に応じて行う構成とすることができる。前記第２のポータブル機器がさらに撮像部を有している場合には、前記第３のステップは、当該撮像部が画像をキャプチャーしている状態で、当該撮像部がキャプチャーしている画像の動く方向に応じて行うことも可能である。このような場合には、前記第２のポータブル機器は、当該撮像部がキャプチャーしている画像のぶれている方向を画像が動く方向として検出してもよい。
【発明の効果】
【００１３】
本発明によれば、複数の画像データを合成した合成画像データの一部をポータブル機器の表示部に表示している状態で、ポータブル機器を移動または傾動させる動作に応じて、合成画像データのうち表示部に表示される部分をスクロールする。このようにポータブル機器を移動または傾動させるという直感的な操作で画面をスクロールするので、多様なサイズと形状を取り得る合成画像データを閲覧するにあたり、ユーザにとってより使いやすく、満足できるユーザエクスペリエンスを提供可能なインターフェイスが実現される。
【発明を実施するための最良の形態】
【００１４】
以下、本発明を実施するための最良の形態について説明する。図１は、本発明の第１の実施形態にかかるポータブル機器としての通信端末１００の構成を示す機能ブロック図である。図１に示すように、この通信端末１００は、主として、撮像部１０１と、キー入力部１０２と、表示部１０３と、制御部１０４と、画像保存部１０５と、画像バッファ１０６と、通信部１０７とから構成されている。また、図２は通信端末１００の外観を示す図である。図２に示すように、この通信端末１００は、内側に表示部１０３の設けられた第１の筐体１２０と、内側にキー入力部１０２の要部が設けられた第２の筐体１２１とから構成され、図２（ｂ）に示すように二つ折り可能なクラムシェル構造になっている。また第１の筐体１２０には、二つ折りにした状態で外側に露出する位置に撮像部１０１の光学系が露出するように設けられている。さらに、図３は通信端末１００ａおよび１００ｂが移動体通信網２００を介して通信する態様を示す図である。図３に示すように、通信端末１００ａと通信端末１００ｂは、それぞれ基地局２０１、２０２を介して移動体通信網２００と無線接続することにより互いに通信を行うことが可能である。
【００１５】
撮像部１０１は、所定の光学系および受像素子を有するカメラモジュールであり、通信端末１００にデジタル画像を撮影する機能を提供する。通信端末１００でデジタル画像を撮影する際には、撮像部１０１はユーザがキー入力部１０２で所定の操作を行うことに応じて制御部１０４によって起動される。このように起動された撮像部１０１は、光学系の取得した被写体像から所定露光時間で受像素子が得たデータを制御部１０４へ返す処理を所定時間間隔で繰り返し、当該データを制御部１０４が表示部１０３に表示することにより通信端末１００の表示部１０３を撮像部１０１のファイダーとして利用するライブビュー機能が実現される。そして、その状態でユーザがキー入力部１０２で所定の操作を行うことにより、撮像部１０１は光学系の取得した被写体像から設定された撮影条件で画像データを生成し、生成された画像データは制御部１０４によって画像保存部１０５に保存される。このような基本動作に加えて、後に詳述するように、撮像部１０１はパノラマ画像の撮影を行う際に利用され、またパノラマ画像の表示部をスクロールするための入力装置としても利用される。また、図２に示すとともに上述したように、撮像部１０１の光学系は、第１の筐体１２０の表示部１０３とは反対側の面に露出している。
【００１６】
キー入力部１０２は、前述のように通信端末１００の第１の筐体１２０に設けられたキーパッド、ならびにその他ボタン等の入力装置であり、ユーザが操作することにより各キーまたはボタンに応じた信号であるキーイベントが制御部１０４に通知され、種々の操作ないしは制御に利用される。また、表示部１０３は、液晶表示装置または有機液晶表示装置であって、通信端末１００の動作状態、通信端末１００を操作するためのユーザインターフェイス等を制御部１０４の制御下で表示するものである。
【００１７】
制御部１０４は、不図示のＣＰＵ上で所定のプログラムを実行することにより仮想的に構成される機能ブロックであって、通信端末１００の撮像部１０１、キー入力部１０２、表示部１０３、制御部１０４、画像保存部１０５、画像バッファ１０６および通信部１０７といった各機能ブロックとの間でデータおよび制御信号をやり取りすることにより、通信端末１００の各種機能を実現するものである。
【００１８】
画像保存部１０５は、撮像部１０１が撮影した画像データを保存するための書き込み可能な不揮発性メモリである。画像保存部１０５には、図１に示すように通常の画像データ１１２を保存することができ、さらに、複数の画像データからなるパノラマ画像を保存することができる。図１には、一つのパノラマ画像を生成するための複数のパーツイメージ１１０ａと、各パーツイメージ１１０ａをレイアウトしてパノラマ画像を生成するためのレイアウト情報１１０ｂとからなるパノラマ画像データ１１０、同様に別のパノラマ画像を生成するための複数のパーツイメージ１１１ａおよびレイアウト情報１１１ｂからなるパノラマ画像データ１１１が保存されている。これらのデータからパノラマ画像を生成する方法については後述する。また、画像バッファ１０６は、撮像部１０１の撮影した画像データを一時的に保存するための書き込み可能な高速メモリである。
【００１９】
通信部１０７は、基地局２０１，２０２と無線接続することにより通信端末１００を移動体通信網２００のようなネットワークに接続して通信を行うための機能ブロックである。通信部１０７は、制御部１０４の制御下で動作することにより、ネットワークに接続されたサーバや他の通信端末等のノードと通信を実現する。例えば、図３に示すように、本実施形態の通信端末１００と同様に構成された通信端末１００ａ，１００ｂがそれぞれ基地局２０１，２０２を介して移動体通信網２００に接続することにより、通信端末１００ａ，１００ｂの間で互いにメッセージを送受信することが可能である。また、本実施形態にかかる通信端末１００においては、画像保存部１０５に保存された通常の画像データ１１２をメッセージに添付して送受信することが可能となっており、さらに一連のパノラマ画像データ１１０または１１１を送受信することもできる。
【００２０】
以下、本実施形態にかかる通信端末１００の動作について、図面を参照しながら説明する。まず、本実施形態にかかる通信端末１００によってパノラマ画像ができるように画像データを撮影する撮影動作について、図４のフローチャートを参照しながら説明する。
【００２１】
この撮影動作は、まずユーザがキー入力部１０２を操作することで、撮像部１０１の撮影モードをパノラマ画像にセットすることにより開始される（ＳＴ１０１）。次に、ユーザの操作に応じて撮像部１０１で最初の画像を撮影し、当該画像のデータを画像保存部１０５にイメージパーツとして記録する（ＳＴ１０２）。この際、新規にパノラマ画像の撮影モードで撮影されたイメージパーツやレイアウト情報を格納するために、自動的に新しいフォルダを作成して当該フォルダの中に記録することが好適である。
【００２２】
最初のイメージパーツを記録した後、続いて同じくユーザの操作に応じて撮像部１０１で次の画像が撮影され、ここで得られた画像データは追加イメージパーツとして画像バッファ１０６に保存される（ＳＴ１０３）。その後、画像保存部１０５に記録されているイメージパーツのいずれかと、追加イメージパーツとの間に重複部があるかが判断される（ＳＴ１０４）。そして、ここで重複部があると判断された場合には、重複部のあるイメージパーツおよび追加イメージパーツを、両者の重複部が重なり合うように位置決めし（ＳＴ１０５）、この位置決めに基づいてイメージパーツに対する追加イメージパーツの相対的な位置情報をレイアウトファイルに記録する（ＳＴ１０６）。このＳＴ１０６において、レイアウトファイルがまだ作成されていない場合にはレイアウトファイルを新たに作成し、作成済みである場合には既存のレイアウトファイルに追記することにより位置情報を記録すればよい。次いで、追加イメージパーツを画像保存部１０５に移動させ、イメージパーツとして記録する（ＳＴ１０７）。
【００２３】
ＳＴ１０７でイメージパーツを画像保存部１０５に記録した後、ユーザがパノラマ画像の撮影終了を選択したかを判断する（ＳＴ１０９）。ここでの判断は、例えば、表示部１０３に、「パノラマモードでの撮影を続けますか。[Ｙｅｓ][Ｎｏ]」のようなメッセージを表示して、ユーザにキー入力部１０２を操作させることにより行うことができる。ここで、ユーザがパノラマ画像の撮影終了を選択したと判断されなかった場合には、ＳＴ１０３に戻って次の画像を撮影し、上述の動作を繰り返す。一方、ここでユーザがパノラマ画像の撮影終了を選択したと判断された場合には、これまでに撮影したイメージパーツを記録されているレイアウトファイルの内容に沿って配置した合成画像を作成し、その縮小プレビューを表示部１０３に表示した後、一連の動作を終了する。
【００２４】
また、ＳＴ１０４で、画像保存部１０５に記録されているイメージパーツと、追加イメージパーツとの間に重複部がないと判断された場合には、表示部１０３にパノラマ画像を作成できない旨を表示する（ＳＴ１０８）。その後、ＳＴ１０９の判断を行い、ここで撮影終了を選択していないと判断された場合にはＳＴ１０３に戻って上述の動作を繰り返し、撮影終了を選択したと判断された場合にはＳＴ１１０で合成画像の縮小プレビューを表示して一連の動作を完了する。
【００２５】
以上のような撮影動作によれば、撮像部１０１で複数の画像を互いに重複する部分ができるように撮影してイメージパーツ１１０ａとして保存することができ、またそれらを重複部分が重なり合うように配置してパノラマ画像を合成するための情報を記述したレイアウトファイル１１０ｂを同時に生成することができる。したがって、制御部１０４にてイメージパーツ１１０ａをレイアウトファイル１１０ｂに記載された位置情報に沿って配置した画像を生成することにより、撮像部１０１で一度に撮影可能な範囲よりも広い範囲を撮影したパノラマ画像を得ることができる。イメージパーツ１１１ａとレイアウトファイル１１１ｂについても同様である。また、このような動作では、単に複数の画像を横方向に合成したパノラマ画像だけでなく、イメージパーツを縦方向および横方向に自由に組み合わせて所望のサイズおよび形状のパノラマ画像を得ることができる。
【００２６】
次に、上述の撮影動作によりパノラマ画像が合成できるように撮影された画像データを、本実施形態の通信端末１００でパノラマ画像として表示する第１の閲覧動作について、図５のフローチャートを参照しながら説明する。
この動作は、まず制御部１０４が画像保存部１０５に保存された全画像データを表示部１０３にサムネイル表示し（ＳＴ２０１）、ユーザがキー入力部１０２を操作することによりイメージパーツを選んでパノラマ表示を指定する（ＳＴ２０２）ことにより開始される。
【００２７】
次に、指定したイメージパーツについてパノラマ表示が指定されると、制御部１０４は当該イメージパーツからパノラマ画像を生成するためのレイアウトファイルを読み出し、そのレイアウト情報に沿ってイメージパーツを配置したパノラマ画像を生成し、その一部を表示部１０３に表示する（ＳＴ２０３）。この際、表示部１０３にデフォルトで表示するのは、ＳＴ２０２で指定されたイメージパーツとしてもよいし、生成されたパノラマ画像の中心部または端部のような所定の位置とすることも可能である。
【００２８】
ＳＴ２０３でパノラマ画像の一部を表示した後、撮像部１０１によって画像をキャプチャーする（ＳＴ２０４）。ここで、図２に示すように、撮像部１０１は第１の筐体１１０の外側に向けて設けられているので、撮像部１０１はこの位置で光学系が取得した被写体像から所定露光時間で受像素子が得たデータを制御部１０４へ返し、このデータを制御部１０４が画像バッファ１０６に保存することによりキャプチャーは行われる。次に、制御部１０４が、このようにしてキャプチャーした画像に手ブレがあったかを判断する（ＳＴ２０５）。このＳＴ２０５においては、例えばキャプチャーした画像に対して、手ぶれが発生したことを前提に当該手ぶれの補正を行うアルゴリズムによる処理を適用し、これによりキャプチャーした画像のシャープネスが改善するか否かを判断することにより行うことが可能である。
【００２９】
ＳＴ２０５で手ブレがあったと判断された場合には、次に手ブレの方向ａおよび量ｂを算出し（ＳＴ２０６）、パノラマ画像を表示している部分を方向ａにスクロールすることが可能か判断し（ＳＴ２０７）、スクロール可能であれば表示している部分を単位量だけスクロールし（ＳＴ２０８）、スクロールした量がｂに達したかを判断する（ＳＴ２０９）。ＳＴ２０９でスクロールした量がｂに達したと判断されなかった場合には、ＳＴ２０７に戻って方向ａにスクロールすることが可能かを判断し、以降同様の動作を繰り返す。
【００３０】
一方、ＳＴ２０５でキャプチャーした画像に手ブレが検出されなかった場合、ＳＴ２０７で方向ａにスクロールできないと判断されなかった場合、および、ＳＴ２０９でスクロールした量がｂに達したと判断した場合には、ユーザが表示終了を指示しているかを判断する（ＳＴ２１０）。ここでの判断は、例えば、ここまでの動作を行う間にユーザがキー入力部１０２の所定キーを操作しているかを、制御部１０４のメッセージキューに所定キーイベントが蓄積されているかを判断することにより行うことができる。ＳＴ２１０において、ユーザが終了を指示していると判断されなかった場合には、ＳＴ２０４に戻って撮像部１０１によって再度画像をキャプチャーし、上述した動作を繰り返す。一方、ＳＴ２１０でユーザが終了を指示していると判断された場合には、パノラマ画像の表示を終了し（ＳＴ２１１）、一連の動作を完了する。
【００３１】
以上のような動作によれば、上述した撮影動作により撮影された画像データをパノラマ画像ができるように配置して合成し、本実施形態の通信端末１００で表示することができる。さらに、ユーザが携帯端末１００を傾けたり動かしたりする動作を、撮像部１０１でキャプチャーした画像に手ブレがあるか否かにより検出し、その方向と量に応じてパノラマ画像のうち表示部１０３に表示されている部分をスクロールすることができる。したがって、通信端末１００のキーボタン、カーソルキーまたは所定のポインティングデバイスを操作した場合よりも、簡単かつ直感的な操作でパノラマ画像をスクロールさせながら閲覧することができる。
【００３２】
次に、上述の撮影動作によりパノラマ画像が合成できるように撮影された画像データを、本実施形態の通信端末１００でパノラマ画像として表示する第２の閲覧動作について、図６のフローチャートを参照しながら説明する。
この第２の動作では、パノラマ画像を表示中に連続して２枚の画像をキャプチャーし、両者の画像データから撮影されている被写体像の位置ズレを検出し、その方向および量に応じて画面のスクロールを行う。
【００３３】
この第２の閲覧動作では、まず第１の閲覧動作と同様に、全画像データをサムネイル表示し（ＳＴ３０１）、ユーザがイメージパーツを選んでパノラマ表示を指定する（ＳＴ３０２）ことにより開始され、制御部１０４が当該イメージパーツからレイアウト情報に沿ってイメージパーツを配置したパノラマ画像を生成し、その一部を表示部１０３に表示する（ＳＴ３０３）。
【００３４】
この状態で、携帯端末１００の制御部１０４が撮像部１０１を制御することにより、撮像部１０１は光学系が取得した被写体像から所定露光時間で受像素子が得たデータを制御部１０４へ返し、このデータを制御部１０４が画像バッファ１０６に保存することで画像をキャプチャーし（ＳＴ３０４）、続けて次の画像をキャプチャーし（ＳＴ３０５）、最新のキャプチャー画像と前回キャプチャーした画像とを比較して、被写体像の位置ズレが検出されるか否かを判断する（ＳＴ３０６）。
【００３５】
ＳＴ３０６で位置ズレがあったと判断された場合には、次に位置ズレの方向ａおよび量ｂを算出し（ＳＴ３０７）、パノラマ画像を表示している部分を方向ａにスクロールすることが可能か判断し（ＳＴ３０８）、スクロール可能であれば表示している部分を単位量だけスクロールし（ＳＴ３０９）、スクロールした量がｂに達したかを判断する（ＳＴ３１０）。ＳＴ３１０でスクロールした量がｂに達したと判断されなかった場合には、ＳＴ３０８に戻って方向ａにスクロールすることが可能かを判断し、以降同様の動作を繰り返す。
【００３６】
一方、ＳＴ３０６でキャプチャーした画像に位置ズレが検出されなかった場合、ＳＴ３０８で方向ａにスクロールできないと判断されなかった場合、および、ＳＴ３１０でスクロールした量がｂに達したと判断した場合には、ユーザが表示終了を指示しているかを判断する（ＳＴ３１１）。ここでユーザが終了を指示していると判断されなかった場合には、ＳＴ３０５に戻って同様の処理を繰り返す。一方、ＳＴ３１１でユーザが終了を指示していると判断された場合には、パノラマ画像の表示を終了し（ＳＴ３１２）、一連の動作を完了する。
【００３７】
このような第２の閲覧動作によっても、上述した撮影動作により撮影された画像データをパノラマ画像ができるように配置して合成し、本実施形態の通信端末１００で表示することができる。さらに、ユーザが携帯端末１００を傾けたり動かしたりする動作を、撮像部１０１が連続してキャプチャーした画像の被写体像に生じた位置ズレの有無により検出し、その方向と量に応じてパノラマ画像のうち表示部１０３に表示されている部分をスクロールすることができる。したがって、第１の閲覧動作と同様に、簡単かつ直感的な操作でパノラマ画像をスクロールさせながら閲覧することができる。
【００３８】
図７および図８は、本実施形態の撮影動作でパノラマ画像が合成できるように撮影されたイメージパーツと、これらを合成してなるパノラマ画像の一例を示す図である。図７には本実施形態の撮影動作で撮影されたイメージパーツを矩形で示し、図８にはこれらのイメージパーツをレイアウト情報に従って配置することにより得られたパノラマ画像を示す。また、図８に示したパノラマ画像を制御部１０４で処理する際には、図９に示すように矩形のデータとして取り扱ってもよい。さらに、図９にはパノラマ画像のうち表示部１０３に表示している部分Ｇを矩形で示す。なお、図９にＧ′で示すようにパノラマ画像のコーナー部を表示部１０３に表示している状態では、通信端末１００を上方または左方に傾けたり動かしたりしても、それ以上その方向に画面はスクロールしない（図５のＳＴ２０７、図６のＳＴ３０８参照）。なお、図８に示したパノラマ画像を、矩形データとして取り扱うことなく、その形状のままで制御部１０４により処理しても構わない。
【００３９】
ここで、第１または第２の閲覧動作によって通信端末１００の表示部１０３に表示するパノラマ画像は、通信端末１００の自機で撮影したものを想定したが、図３に示したように移動体通信網２００に接続して通信可能な通信端末１００ａおよび１００ｂにおいては、通信端末１００ａによってパノラマ画像ができるように撮影したイメージパーツ（画像データ）およびレイアウトファイルを通信端末１００ｂに送信し、これらを受信した通信端末１００ｂで第１または第２の閲覧動作を行うようにしても構わない。このようにすることで、通信端末１００ａのユーザが端末を利用して撮影した自由な形状およびサイズのパノラマ画像を、通信端末１００ｂのユーザが端末を動かしたり傾けたりする直感的な動作に応じてスクロールさせつつ表示することができる。したがって、通信端末１００ａのユーザと通信端末１００ｂのユーザとの間で、被写体に対する俯瞰を共有させることができ（通信端末１００ａのユーザがパノラマ画像を撮影する際に端末を動かしたり傾けたりした動作を、通信端末１００ｂのユーザにトレースさせることができる）、ユーザに全く新しいユーザエクスペリエンスを提供することが可能となる。
【００４０】
次に本発明の第２の実施形態について説明する。図１０は、本発明の第２の実施形態にかかる通信端末１００′の構成を示す機能ブロック図である。図１０に示すように、第２の実施形態にかかる通信端末１００′は、第１の通信端末１００にモーションセンサ部１０８を追加した構成となっており、第１の実施形態にかかる通信端末１００と同様の機能ブロックについては同じ番号を付して説明は省略する。
【００４１】
通信端末１００′のモーションセンサ部１０８は、通信端末１００′の位置および／または姿勢角度の変動を検出することにより、ユーザが通信１００′を動かしたり傾けたりする動作を検出し、それに相当する信号を制御部１０４に出力するものである。このようなモーションセンサ部１０８は、地磁気センサに加速度センサを組み合わせて構成したものであっても良いし、加速度センサでも良く、また傾きセンサを利用することも可能である。また、その変動を検出する方向は、３軸であっても２軸であってもよい。３軸方向の地磁気センサと３軸方向の加速度センサとを組み合わせた６軸センサ、また、３軸方向の地磁気センサと２軸方向の加速度センサとを組み合わせた５軸センサは、いずれもモーションセンサ部１０８として利用可能である。
【００４２】
図１１は、前述の撮影動作によりパノラマ画像が合成できるように撮影された画像データを、本実施形態の第２の通信端末１００′でパノラマ画像として表示する第３の閲覧動作のフローチャートである。ここでは、パノラマ画像を表示中にモーションセンサ部１０８を起動してユーザが通信端末１００を動かしたり傾けたりする動作を検出し、その方向および量に応じて画面のスクロールを行う。
【００４３】
第３の閲覧動作では、まず第１および第２の閲覧動作と同様に、全画像データをサムネイル表示し（ＳＴ４０１）、ユーザがイメージパーツを選んでパノラマ表示を指定する（ＳＴ４０２）ことにより開始され、制御部１０４が当該イメージパーツからレイアウト情報に沿ってイメージパーツを配置したパノラマ画像を生成し、その一部を表示部１０３に表示する（ＳＴ４０３）。
【００４４】
この状態で、制御部１０４はモーションセンサ部１０８を起動し（ＳＴ４０４）、モーションセンサ部１０８が通信端末１００′の移動・傾動を検出したかを判断する（ＳＴ４０５）。ＳＴ４０５で移動・傾動を検出したと判断された場合には、移動・傾動の方向を表示部１０３と水平面に投影し、その方向ａおよびｂを算出し（ＳＴ４０６）、パノラマ画像を表示している部分を方向ａにスクロールすることが可能か判断し（ＳＴ４０７）、スクロール可能であれば表示している部分を単位量だけスクロールし（ＳＴ４０８）、スクロールした量がｂに達したかを判断する（ＳＴ４０９）。ＳＴ４０９でスクロールした量がｂに達したと判断されなかった場合には、ＳＴ４０７に戻って方向ａにスクロールすることが可能かを判断し、以降同様の動作を繰り返す。
【００４５】
一方、ＳＴ４０５でキャプチャーした画像に位置ズレが検出されなかった場合、ＳＴ４０７で方向ａにスクロールできないと判断されなかった場合、および、ＳＴ４０９でスクロールした量がｂに達したと判断した場合には、ユーザが表示終了を指示しているかを判断する（ＳＴ４１０）。ここでユーザが終了を指示していると判断されなかった場合には、ＳＴ４０５に戻って同様の処理を繰り返す。一方、ＳＴ４１０でユーザが終了を指示していると判断された場合には、パノラマ画像の表示を終了し（ＳＴ４１１）、一連の動作を完了する。
【００４６】
このような第３の閲覧動作によっても、第１の実施形態の撮影動作により撮影された画像データをパノラマ画像ができるように配置して合成し、本実施形態の通信端末１００′で表示することができる。さらに、ユーザが携帯端末１００′を傾けたり動かしたりする動作をモーションセンサ部１０８により検出し、それを表示部１０３の水平面に投影した方向および量に応じてパノラマ画像のうち表示部１０３に表示されている部分をスクロールすることができる。したがって、第１および第２の閲覧動作と同様に、簡単かつ直感的な操作でパノラマ画像をスクロールさせながら閲覧することができる。
【００４７】
以上、本発明の実施の形態について説明したが、本発明はこれに限定されることなく、その趣旨を逸脱しない範囲で種々の改良・変更が可能であることは勿論である。
例えば、上記ではユーザがキー入力部１０２を操作することにより撮像部１０１で静止画を撮影してイメージパーツを得るようにしていたが、撮像部１０１により撮影された動画データを制御部１０４で処理することによりイメージパーツを取得してもよいし、所定間隔で自動的に静止画を撮影することによりイメージパーツを得ることも可能である。
【００４８】
また、第１の通信端末１００ａでパノラマ画像が合成できるようにイメージパーツを撮影してレイアウトファイルとともに記録し、当該パノラマ画像を第２の通信端末１００ｂで表示させる際には、イメージパーツおよびレイアウトファイルを第２の通信端末１００ｂに送信して第２の通信端末１００ｂでパノラマ画像を生成するようにしてもよいし、予め第１の通信端末１００ａでパノラマ画像を生成し、そのデータを第２の通信端末１００ｂに送信する形としても構わない。
【００４９】
さらに、上記では携帯電話のような通信端末に本発明を適用した場合を示したが、これに限られる物ではなく、本発明はユーザが手に持った状態で操作・理由するポータブル機器に広く適用することができる。このようなポータブル機器としては、例えば携帯情報端末、デジタルミュージックプレーヤー、デジタルカメラ等を挙げることができる。
【００５０】
さらにまた、第２の実施形態に示したように、通信端末１００′がモーションセンサ部１０８を有する場合には、撮影動作において、モーションセンサ部１０８の出力からイメージパーツのレイアウト情報を得るようにすることも可能である。
【図面の簡単な説明】
【００５１】
【図１】本発明の第１の実施形態にかかる通信端末１００の機能ブロック図。
【図２】（ａ）は通信端末１００の外観を示す図、（ｂ）は通信端末１００の外観を示す別の図。
【図３】通信端末１００ａおよび１００ｂが移動体通信網２００を介して通信する態様を示す図。
【図４】パノラマ画像ができるように画像データを撮影する撮影動作のフローチャート。
【図５】第１の閲覧動作のフローチャート。
【図６】第２の閲覧動作のフローチャート。
【図７】本実施形態で撮影されるイメージパーツを説明するための図。
【図８】本実施形態で合成されるパノラマ画像を説明するための図。
【図９】本実施形態でパノラマ画像を表示する態様を説明するための図。
【図１０】本発明の第２の実施形態にかかる通信端末１００′の機能ブロック図。
【図１１】本発明の第２の実施形態における第３の閲覧動作のフローチャート。
【符号の説明】
【００５２】
１００；通信端末、
１０１；撮像部、
１０２；キー入力部、
１０３；表示部、
１０４；制御部、
１０５；画像保存部、
１０６；画像バッファ、
１０７；通信部
【特許請求の範囲】
【請求項１】
撮像部を備えた第１のポータブル機器で撮影した画像データを、表示部を備えた第２のポータブル機器で表示する画像表示方法において、
前記第１のポータブル機器が撮影した複数の画像データを合成して合成画像データとする第１のステップと、
前記合成画像データの一部を前記第２のポータブル機器の前記表示部に表示する第２のステップと、
前記第２のポータブル機器を移動または傾動させる動作に応じて、前記合成画像データのうち前記第２のポータブル機器の前記表示部に表示される部分をスクロールする第３のステップと、
を含むことを特徴とするポータブル機器の画像表示方法。
【請求項２】
前記第１のステップは、前記第１または第２のポータブル機器にて行われることを特徴とする請求項１に記載のポータブル機器の画像表示方法。
【請求項３】
前記第１のポータブル機器は、撮影した画像データをネットワーク経由で前記第２のポータブル機器に転送するものであり、当該ネットワーク上に設けられたサーバ上で前記第１のステップを行うことを特徴とする請求項１に記載のポータブル機器の画像表示装置。
【請求項４】
前記第１のステップは、前記複数の画像データから重複部分を検出し、当該重複部分が重なり合うように合成することで合成画像データを生成することを特徴とする請求項１から請求項３のいずれか１項に記載のポータブル機器の画像表示方法。
【請求項５】
前記第１のポータブル機器は、前記第１のステップで合成画像データを得るために使用する複数の画像データを撮影する際に、当該複数の画像データを重複部分が重なり合うように配置するためのレイアウト情報を記録し、前記第１のステップは当該レイアウト情報を利用して複数の画像データを合成することを特徴とする請求項４に記載のポータブル機器の画像表示方法。
【請求項６】
前記第２のポータブル機器は前記第２のポータブル機器を移動または傾動させる動作を検出するモーションセンサを有し、前記第３のステップは、当該モーションセンサの出力に応じて行われることを特徴とする請求項１から請求項５のいずれか１項に記載のポータブル機器の画像表示方法。
【請求項７】
前記第２のポータブル機器は撮像部を有し、前記第３のステップは、当該撮像部が画像をキャプチャーしている状態で、当該撮像部がキャプチャーしている画像が動く方向に応じて行われることを特徴とする請求項１から請求項５のいずれか１項に記載のポータブル機器の画像表示方法。
【請求項８】
前記第２のポータブル機器は、当該撮像部がキャプチャーしている画像のぶれている方向を画像が動く方向として検出することを特徴とする請求項７に記載のポータブル機器の画像表示方法。
【請求項１】
撮像部を備えた第１のポータブル機器で撮影した画像データを、表示部を備えた第２のポータブル機器で表示する画像表示方法において、
前記第１のポータブル機器が撮影した複数の画像データを合成して合成画像データとする第１のステップと、
前記合成画像データの一部を前記第２のポータブル機器の前記表示部に表示する第２のステップと、
前記第２のポータブル機器を移動または傾動させる動作に応じて、前記合成画像データのうち前記第２のポータブル機器の前記表示部に表示される部分をスクロールする第３のステップと、
を含むことを特徴とするポータブル機器の画像表示方法。
【請求項２】
前記第１のステップは、前記第１または第２のポータブル機器にて行われることを特徴とする請求項１に記載のポータブル機器の画像表示方法。
【請求項３】
前記第１のポータブル機器は、撮影した画像データをネットワーク経由で前記第２のポータブル機器に転送するものであり、当該ネットワーク上に設けられたサーバ上で前記第１のステップを行うことを特徴とする請求項１に記載のポータブル機器の画像表示装置。
【請求項４】
前記第１のステップは、前記複数の画像データから重複部分を検出し、当該重複部分が重なり合うように合成することで合成画像データを生成することを特徴とする請求項１から請求項３のいずれか１項に記載のポータブル機器の画像表示方法。
【請求項５】
前記第１のポータブル機器は、前記第１のステップで合成画像データを得るために使用する複数の画像データを撮影する際に、当該複数の画像データを重複部分が重なり合うように配置するためのレイアウト情報を記録し、前記第１のステップは当該レイアウト情報を利用して複数の画像データを合成することを特徴とする請求項４に記載のポータブル機器の画像表示方法。
【請求項６】
前記第２のポータブル機器は前記第２のポータブル機器を移動または傾動させる動作を検出するモーションセンサを有し、前記第３のステップは、当該モーションセンサの出力に応じて行われることを特徴とする請求項１から請求項５のいずれか１項に記載のポータブル機器の画像表示方法。
【請求項７】
前記第２のポータブル機器は撮像部を有し、前記第３のステップは、当該撮像部が画像をキャプチャーしている状態で、当該撮像部がキャプチャーしている画像が動く方向に応じて行われることを特徴とする請求項１から請求項５のいずれか１項に記載のポータブル機器の画像表示方法。
【請求項８】
前記第２のポータブル機器は、当該撮像部がキャプチャーしている画像のぶれている方向を画像が動く方向として検出することを特徴とする請求項７に記載のポータブル機器の画像表示方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２００８−２８９０７０（Ｐ２００８−２８９０７０Ａ）
【公開日】平成２０年１１月２７日（２００８．１１．２７）
【国際特許分類】
【出願番号】特願２００７−１３４３３７（Ｐ２００７−１３４３３７）
【出願日】平成１９年５月２１日（２００７．５．２１）
【出願人】（３９４０２０３７６）株式会社アプリックス (51)
【Ｆターム（参考）】
【公開日】平成２０年１１月２７日（２００８．１１．２７）
【国際特許分類】
【出願日】平成１９年５月２１日（２００７．５．２１）
【出願人】（３９４０２０３７６）株式会社アプリックス (51)
【Ｆターム（参考）】
[ Back to top ]