説明

立体画像生成装置、立体画像生成システム、立体画像生成方法及びプログラム

【課題】複数の撮像装置を連動させて取得した画像を用いて立体画像を生成するにあたり、立体画像を構成する画像間の撮影時刻のずれを小さくする。
【解決手段】情報端末10の操作部110が撮影開始操作を受け付けると、撮影部120を用いて被写体を撮影した撮影画像の順次取得を開始する。さらに、時計130が撮影画像の撮影時刻を取得する。さらに、通信部160を用いて情報端末20に撮影部210を用いて被写体を撮影した画像を順次取得させ、時計220を用いて画像の撮影時刻を取得させ、取得した画像と撮影時刻を送信させるコマンドを送信する。情報端末20がこのコマンドに応答して被写体を撮影した画像とその撮影時刻とを送信すると、通信部160がこれを受信する。そして、情報端末10が撮影した画像と情報端末20が撮影した画像と撮影時刻が所定の閾値より小さい画像を選択して、選択した画像を用いて立体画像を生成する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、立体画像生成装置、立体画像生成システム、立体画像生成方法及びプログラムに関する。
【背景技術】
【0002】
複数の視点から被写体を撮影し、立体画像を生成する技術が知られている。例えば、特許文献1は、2台のデジタルカメラを連動させて立体画像を構成する画像を取得し、当該2台のデジタルカメラが取得した画像から立体画像を生成する技術を開示している。
【0003】
特許文献1に記載の技術では、1台のデジタルカメラ(メインカメラ)に対してユーザが設定操作・撮影操作を実行し、もう1台のデジタルカメラ(サブカメラ)に当該操作情報を伝送して立体画像を構成する画像を取得する。このとき、ユーザが撮影操作をメインカメラに対して実行すると、メインカメラが画像を撮影すると共に、サブカメラに撮影コマンドを伝達して画像を撮影させる。そして、メインカメラが、サブカメラが撮影した画像を受信し、メインカメラが撮影した画像と合わせて立体画像を生成する。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2006−33395号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
従来技術を用いて複数の撮像装置を連動させて立体画像を生成すると、立体画像を構成する画像の撮影時間がずれてしまうという問題があった。
例えば、特許文献1に記載の技術では、メインカメラとサブカメラとの間で撮影コマンドや画像データを送受信して立体画像を構成する画像を取得するため、データの送受信にかかる時間のために立体画像を構成する画像の撮影時間にずれが生じる。
【0006】
本発明は上記のような事情に鑑みてなされたもので、複数の撮像装置を連動させて取得した画像を用いて立体画像を生成するにあたり、立体画像を構成する画像間の撮影時刻のずれが小さい立体画像生成装置、立体画像生成システム、立体画像生成方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0007】
上記目的を達成するため、本発明の第1の観点に係る立体画像生成装置は、
撮影開始操作を受け付ける操作部と、
被写体を撮影した撮影画像を取得する撮影画像取得部と、
前記撮影画像の撮影時刻を含む撮影情報を取得する撮影情報取得部と、
前記操作部が受け付けた撮影開始操作に応答して、前記撮影画像取得部に撮影画像を順次取得する処理を開始させ、前記撮影情報取得部に当該撮影画像の撮影情報を取得する処理を開始させる撮影開始部と、
前記操作部が受け付けた撮影開始操作に応答して、他機器に前記被写体を撮影した他機器撮影画像を順次取得する処理を開始させ、当該他機器撮影画像の撮影時間を含む撮影情報を取得する処理を開始させ、当該他機器撮影画像とその撮影情報とを順次送信させる撮影開始コマンドを他機器に送信する送信部と、
前記送信部が送信した撮影開始コマンドに応答して前記他機器が順次送信する他機器撮影画像とその撮影情報とを受信する受信部と、
前記撮影画像の撮影情報と前記他機器撮影画像の撮影情報とに基づいて、前記撮影画像取得部が順次取得した撮影画像と前記受信部が順次受信した他機器撮影画像とから立体画像を構成する画像を選択する選択部と、
前記選択部が選択した画像を用いて立体画像を生成する生成部と、
前記生成部が生成した立体画像を出力する出力部と、
を備えることを特徴とする。
【0008】
上記目的を達成するため、本発明の第2の観点に係る立体画像生成システムは、
立体画像生成装置と、撮影送信装置と、から構成される立体画像生成システムであって、
前記立体画像生成装置は、
第1の時計と、
撮影開始操作を受け付ける操作部と、
被写体を撮影した第1の撮影画像を取得する第1の撮影画像取得部と、
前記第1の時計が計測した前記第1の撮影画像の撮影時刻を含む撮影情報を取得する第1の撮影情報取得部と、
前記操作部が受け付けた撮影開始操作に応答して、前記第1の撮影画像取得部に前記第1の撮影画像を順次取得する処理を開始させ、前記第1の撮影情報取得部に当該第1の撮影画像の撮影情報を取得する処理を開始させる第1の撮影開始部と、
前記操作部が受け付けた撮影開始操作に応答して、前記撮影送信装置に撮影開始コマンドを送信する第1の送信部と、
前記撮影送信装置から情報を受信する第1の受信部と、
を備え、
前記撮影送信装置は、
第2の時計と、
前記立体画像生成装置の第1の送信部が送信した撮影開始コマンドを受信する第2の受信部と、
被写体を撮影した第2の撮影画像を取得する第2の撮影画像取得部と、
前記第2の時計が計測した前記第2の撮影画像の撮影時刻を含む撮影情報を取得する第2の撮影情報取得部と、
前記第2の受信部が受信した撮影開始コマンドに応答して、前記第2の撮影画像取得部に前記第2の撮影画像を順次取得する処理を開始させ、前記第2の撮影情報取得部に当該第2の撮影画像の撮影情報を取得する処理を開始させる第2の撮影開始部と、
前記第2の撮影画像取得部が取得した第2の撮影画像と、前記第2の撮影情報取得部が取得した当該第2の撮影画像の撮影情報と、を前記立体画像生成装置に順次送信する第2の送信部と、
を備え、
前記立体画像生成装置は、
前記第1の受信部が、前記撮影送信装置の第2の送信部が送信した前記第2の撮影画像とその撮影条件とを順次受信し、
さらに、
前記第1の撮影画像取得部が順次取得した第1の撮影画像と、前記第1の受信部が順次受信した第2の撮影画像と、から立体画像を構成する画像を前記第1の撮影画像の撮影情報と前記第2の撮影画像の撮影情報とに基づいて選択する選択部と、
前記選択部が選択した画像を用いて立体画像を生成する生成部と、
前記生成部が生成した立体画像を出力する出力部と、
を備える、
ことを特徴とする。
【0009】
上記目的を達成するため、本発明の第3の観点に係る立体画像生成方法は、
撮影開始操作に応答して、第1の撮影手段を用いて被写体を撮影した第1の撮影画像を順次取得する処理を開始し、
前記第1の撮影画像の撮影時刻を含む撮影条件を取得し、
前記撮影開始操作に応答して、第2の撮影手段を用いて前記被写体を撮影した第2の撮影画像を順次取得する処理を開始し、
前記第2の撮影画像の撮影時刻を含む撮影条件を取得し、
前記第1の撮影画像の撮影情報と前記第2の撮影画像の撮影情報とに基づいて、前記第1の撮影画像と前記第2の撮影画像とから立体画像を構成する画像を選択し、
前記選択した画像を用いて立体画像を生成し、
前記生成した立体画像を出力する、
ことを特徴とする。
【0010】
上記目的を達成するため、本発明の第4の観点に係るプログラムは、
コンピュータに、
撮影開始操作を受け付ける処理、
前記撮影開始操作に応答して、被写体を撮影した撮影画像を順次取得し、当該撮影画像の撮影時刻を含む撮影条件を取得する処理を開始する処理、
前記撮影開始操作に応答して、他機器に前記被写体を撮影した他機器撮影画像を順次取得する処理を開始させ、当該他機器撮影画像の撮影時間を含む撮影情報を取得する処理を開始させ、当該他機器撮影画像とその撮影情報とを順次送信させる撮影開始コマンドを他機器に送信する処理、
前記撮影開始コマンドに応答して前記他機器が順次送信する他機器撮影画像とその撮影情報とを受信する処理、
前記撮影画像の撮影情報と前記他機器撮影画像の撮影情報とに基づいて、前記撮影画像と前記他機器撮影画像とから立体画像を構成する画像を選択する処理、
前記選択した画像を用いて立体画像を生成する処理、
前記生成した立体画像を出力する処理、
を実行させることを特徴とする。
【発明の効果】
【0011】
本発明によれば、複数の撮像装置を連動させて取得した画像を用いて立体画像を生成するにあたり、立体画像を構成する画像間の撮影時刻のずれが小さい立体画像生成装置、立体画像生成システム、立体画像生成方法及びプログラムを提供できる。
【図面の簡単な説明】
【0012】
【図1】本発明の実施形態1に係る立体画像生成システムの構成を示すブロック図である。
【図2】実施形態1に係る撮影条件のデータ構造を示す図である。
【図3】実施形態1に係る情報端末の制御部の機能構成を示すブロック図である。
【図4】実施形態1に係る立体画像生成処理を示すフローチャートである。
【図5】実施形態1に係る画像送信処理を示すフローチャートである。
【図6】実施形態1に係る立体画像表示処理を示すフローチャートである。
【図7】本発明の実施形態2に係る立体画像生成システムの構成を示すブロック図である。
【図8】実施形態2に係る立体画像生成処理を示すフローチャートである。
【図9】実施形態2に係る誤差測定処理を示すシークエンス図である。
【図10】本発明の実施形態3に係る立体画像生成システムの構成を示すブロック図である。
【図11】実施形態3に係る立体画像生成処理を示すフローチャートである。
【図12】実施形態3に係る立体画像表示・選択画面を示す図である。
【発明を実施するための形態】
【0013】
以下、本発明の実施形態に係る立体画像生成システムを、図を参照しながら説明する。なお、図中同一又は相当する部分には同一符号を付す。
【0014】
(実施形態1)
本発明の実施形態1に係る立体画像生成システム1を、図1を参照して説明する。立体画像生成システム1は、情報端末10と、情報端末20と、から構成される。
【0015】
情報端末10は、制御部100と、操作部110と、撮影部120と、時計130と、センサ部140と、出力部150と、通信部160と、記憶部170と、から構成される。
【0016】
情報端末10の制御部100はCPU(Central Processing Unit)、画像処理用DSP(Digital Signal Processor)、等から構成され、記憶部170に記憶されている制御プログラムにより、下記する立体画像生成処理を実行する。
制御部100は、操作部110と、撮影部120と、時計130と、センサ部140と、出力部150と、通信部160と、記憶部170と、に制御コマンドを伝達してその動作を制御する。また、操作部110と、撮影部120と、時計130と、センサ部140と、通信部160と、記憶部170と、から情報を受け取る。
【0017】
操作部110は情報端末10の筐体に備えられたシャッタボタン、キー、タッチパネル、等とこれらを制御部100に接続するインターフェースから構成される。上記物理構成により、操作部110はユーザの操作を受けつけ、受け付けた操作の情報を制御部100に伝達する。
【0018】
撮影部120は、レンズと、レンズが結像した光学像を信号に変換して出力する撮像素子と、撮像素子から出力された信号をデジタル信号に変換して画像データを生成する画像生成部と、画像生成部が生成した画像データを制御部100に伝達しさらに制御部100から制御を受け付けるインターフェース部と、から構成される。画像生成部が生成する画像データは任意の形式の画像データであってよいが、ここではjpeg方式の画像データとする。
上記物理構成により、撮影部120は制御部100から伝達されたコマンドに基づいて被写体を撮影して撮影画像を取得し、取得した撮影画像を制御部100に伝達する。
【0019】
時計130は、現在時刻を測定し、制御部100から伝達されたコマンドに応答して計測した現在時刻を制御部100に伝達する。時計130は、センサ部140が取得する時刻情報に基づいて、測定時刻の誤差を補正する。
【0020】
センサ部140は、GPS(Global Positioning System)を用いて現在位置を計測し、時刻情報を受信する位置測定部(GPS情報受信部)、情報端末10の角度・方向を測定するジャイロセンサ・地磁気センサ、情報端末20との相対位置を測定する相対位置測定部(LED拡散光を用いた相対位置測定装置)、等から構成される。
上記物理構成により、センサ部140は制御部100から伝達されたコマンドに応答して、現在位置、情報端末10の角度・方向、情報端末10の情報端末20からの相対位置、等を測定し、当該測定結果を制御部100に伝達する。
【0021】
出力部150は、立体画像が出力可能なディスプレイ装置である。出力部150は、制御部100から伝達された立体画像を表示する。出力部150は、パララックスバリア方式、リンチキュラー方式、偏光フィルタ方式、アクティブシャッター方式、視差バリア方式などの任意の3D画像出力方法を用いて立体画像を出力する出力装置であって良いが、ここでは所定の間隔で右目用の画像と左目の画像とを時系列で入れ替えて表示し、画像の切り替えと連動してユーザの右目の視線と左目の視線とを遮るアクティブシャッター方式によって立体画像を表示する構成を持つこととする。
【0022】
通信部160は、制御部100から伝達されたコマンドに応答して制御部100の処理結果を外部に送信する。また、他機器(情報端末20)の通信部が送信した情報を受信し、制御部100に伝達する。
通信部160は、無線LAN(IEEE802.11a/b/g/n)、赤外線通信(IrDA)、DSRC(Dedicated Short Range Communication)、WiMax(Worldwide Interoperability for Microwave Access)、Bluetooth、等の既知の任意の無線通信手段を用いて通信する通信装置であってよいが、ここではBluetooth方式を用いて通信する通信装置であるとする。通信部160は、無線通信に限らずIEEE802.3や、USB(Universal Serial Bus)、HDMI(High−Definition Multimedia Interface)、IEEE1394、等を用いて通信する有線の通信装置であって良い。
【0023】
記憶部170は、RAM(Random−Access Memory)等から構成される主記憶部と、フラッシュメモリ、ハードディスク、等の不揮発性メモリから構成される外部記憶部と、から構成される。主記憶部は、外部記憶部に記憶されている制御プログラムをロードし、制御部100の作業領域として用いられる。
【0024】
外部記憶部は、フラッシュメモリ、ハードディスク、等の不揮発性メモリから構成され、下記する処理を制御部100が実行するためのプログラムをあらかじめ記憶し、また、制御部100の指示に従って、記憶したデータを制御部100に供給し、制御部100から供給されたデータを記憶する。
【0025】
上記物理構成により、記憶部170は撮影部120が順次撮像した撮影画像SIとその撮影条件SCとを含む撮影画像情報SInfと、通信部160が情報端末20から順次受信した受信画像RIとその撮影条件RCとを含む受信画像情報RInfと、を記憶する。
記憶部170は、必要であれば記憶した撮影画像情報SInf又は受信画像情報RInfを記憶した日時が古い順番に削除し、新たに取得した撮影画像情報SInf又は受信画像情報RInfを上書きして保存する。また、記憶部170は、制御部100から伝達された立体画像を記憶する。
【0026】
ここで、撮影条件(撮影条件SC、撮影条件RC)のデータ構造を、図2を参照して説明する。撮影条件SCは、撮影画像を一意に現す画像ID(Identifier, 識別子)、その画像を撮影した日(撮影日)、その画像を撮影した時刻(撮影時刻)、撮影時の情報端末の位置(撮影位置)、撮影時の情報端末10の方向(撮影方向)、等を関連付けて登録したリストである。
撮影日及び撮影時刻は、時計130が計測した撮影部120がその撮影画像を取得した時刻である。
【0027】
撮影位置及び撮影方向は、センサ部140が測定した撮影部120がその撮影画像を取得した時点の情報端末10の位置及び方向である。
【0028】
撮影条件RCは、情報端末20から受信する画像の撮影条件を表す情報であり、撮影条件SCと同様のデータ構造を持つ。
【0029】
図1にもどって説明を続ける。情報端末20は、制御部200と、撮影部210と、時計220と、センサ部230と、記憶部240と、通信部250と、から構成される。
【0030】
情報端末20の制御部200は情報端末10の制御部100と同様の物理構成をもち、この物理構成によって撮影部210と、時計220と、センサ部230と、記憶部240と、通信部250と、に制御コマンドを伝達してその動作を制御する。また、撮影部210と、時計220と、センサ部230と、記憶部240と、通信部250と、から情報を受け取る。
【0031】
撮影部210は、情報端末10の撮影部120と同様の物理構成を持ち、この物理構成によって制御部200から伝達されたコマンドに基づいて被写体を撮影して画像を取得し、取得した画像を制御部200に伝達する。
【0032】
時計220は、現在時刻を測定し、制御部200から伝達されたコマンドに応答して計測した現在時刻を制御部200に伝達する。時計220は、センサ部230が取得する時刻情報に基づいて、測定時刻の誤差を補正する。
【0033】
センサ部230は情報端末10のセンサ部140と同様の物理構成を持ち、この物理構成によって情報端末20の現在位置、角度・方向、情報端末20の情報端末10からの相対位置、等を測定し、当該測定結果を制御部200に伝達する。
【0034】
記憶部240は情報端末10の記憶部170と同様の物理構成をもち、制御部200の作業領域として用いられる。また、制御部200の指示に従って、記憶するデータを制御部200に供給し、制御部200から供給されたデータを記憶する。
【0035】
通信部250は、情報端末10の通信部と同様の物理構成を持ち、この物理構成によって制御部200のコマンドに基づいて制御部200の処理結果を他機器(情報端末10)に送信する。また、他機器(情報端末10)の通信部が送信した情報を受信し、制御部200に伝達する。
【0036】
次に、制御部100の機能構成を図3を参照して説明する。制御部100は、機能的には操作制御部101と、送信部102と、撮影制御部103と、撮影条件取得部104と、受信部105と、記憶制御部106と、画像選択部107と、立体画像生成部108と、出力制御部109と、を含む。
【0037】
操作制御部101は、操作部110を用いてユーザが通信確立操作を実行すると、操作部110のインターフェース部から当該操作情報を受け取とり、通信確立コマンドを送信部102と受信部105とに伝達する。また、撮影開始操作を実行すると、撮影開始コマンドを送信部102と撮影制御部103とに伝達する。また、立体画像記憶操作を実行すると、立体画像記憶コマンドを送信部102と撮影制御部103と撮影条件取得部104と記憶制御部106とに伝達する。また、終了操作を実行すると、撮影終了コマンドを送信部102に伝達する。
【0038】
送信部102は、操作制御部101から通信確立コマンドを伝達されると、通信部160を用いて接続要求コマンドを情報端末20の通信部250に送信する。また、操作制御部101から撮影開始コマンドを伝達されると、通信部160を用いて情報端末20の通信部250に撮影開始コマンドを送信する。さらに、また、立体画像記憶コマンドを伝達されると、通信部160を用いて情報端末20の通信部250に撮影停止コマンドを送信する。操作制御部101から撮影終了コマンドを伝達されると、情報端末20との通信を遮断する。
【0039】
撮影制御部103は、操作制御部101から伝達された撮影開始コマンドに応答して、撮影部120を制御して被写体を順次撮影させ、撮影画像SIを順次取得する処理を開始する。撮影制御部103は、撮影画像SIを取得すると、その旨を撮影条件取得部104に伝達し、撮影画像SIを記憶制御部106に伝達する。また、操作制御部101から立体画像記憶コマンドを伝達されると、撮影を停止する。
【0040】
撮影条件取得部104は、撮影制御部103から撮影画像SIを取得したことを伝達されると、その撮影画像SIの撮影条件SC(撮影時刻、撮影時の情報端末10の位置、撮影時の情報端末10の角度等の情報)を取得して記憶制御部106に伝達する。また、操作制御部101から立体画像記憶コマンドを伝達されると、撮影条件SCの取得を終了する。
【0041】
受信部105は、通信部160を用いて情報端末20の通信部250が送信する情報を受信する。受信部105は、操作制御部101から通信確立コマンドを伝達されると、通信部160を用いて情報端末20の通信部250が送信する接続受領コマンドを受信し送信部102と連動して他機器(情報端末20等)と通信を確立する。受信部105は、操作制御部101から撮影開始コマンドを伝達されると、通信部160を用いて情報端末20から情報の受信を開始する。受信部105は、情報端末20が送信した画像とその撮影条件を受信すると、受信画像RIとその撮影条件RCとして記憶制御部106に伝達する。
【0042】
記憶制御部106は、撮影制御部103から撮影画像SIを伝達され、撮影条件取得部104からその撮影画像SIの撮影条件SCを伝達されると、撮影画像情報SInfとして記憶部170に記憶させる。また、受信部105から受信画像RIとその撮影条件RCを伝達されると、受信画像情報RInfとして記憶部170に記憶させる。また、記憶制御部106は、新たな撮影画像情報SInf又は受信画像情報RInfを記憶すると、その旨を画像選択部107に伝達する。記憶制御部106は、操作制御部101から伝達された立体画像記憶コマンドに応答して、そのときに立体画像生成部108が生成し出力制御部109が出力部150に出力させている立体画像を記憶部170に記憶する。
【0043】
画像選択部107は、記憶制御部106から新たな画像情報を記憶したことを伝達されると、記憶部170に記憶された撮影画像SIの撮影条件SCと受信画像RIの撮影条件RCとを記憶制御部106から取得する。
画像選択部107は、取得した撮影条件SCと撮影条件RCとに基づいて、撮影画像SIと受信画像RIとから一つずつ立体画像を構成する画像を選択する。具体的な選択方法については後述する。画像選択部107は、選択した画像を立体画像生成部108に伝達する。
【0044】
立体画像生成部108は、画像選択部107から選択された画像を受け取ると、この画像を用いて立体画像を生成する。立体画像生成部108は、生成した立体画像を出力制御部109と記憶制御部106とに伝達する。
【0045】
出力制御部109は、立体画像生成部108から伝達された立体画像を、出力部150を用いて出力する。
【0046】
次に、情報端末10がユーザの操作に応答して立体画像を生成する立体画像生成処理1を、図4を参照して説明する。
ユーザが操作部110を用いて情報端末20との通信を確立する操作を実行すると、情報端末10の制御部100は立体画像生成処理1を開始する。
【0047】
ユーザが操作部110を用いて情報端末20との通信を確立する操作(通信確立操作)を実行すると、操作制御部101がこれを受け付ける。そして、送信部102は情報端末20の通信部250に接続要求コマンドを送信する。情報端末20が通信確立要求を受け入れて受け入れ信号を送信すると、受信部105が当該受け入れ信号を受信し、情報端末10と情報端末20との間で通信が確立される(ステップS101)。
【0048】
次に、操作制御部101は、ユーザがシャッタボタンを半押し(撮影開始操作)したか否か判別する(ステップS102)。
半押しにしていないと判別した場合(ステップS102;NO)、ユーザは撮影の開始を指示していないとして、半押し操作を検出するまでその状態で待機する。
【0049】
一方、半押しにしたと判別した場合(ステップS102;YES)、ユーザが撮影の開始を指示したとして、撮影制御部103が撮影部120を用いて撮影画像SIを順次取得する処理(撮影画像取得処理)を開始する(ステップS103)。ステップS103では、さらに撮影条件取得部104がセンサ部140と、時計130と、から撮影制御部103が取得した撮影画像SIのそれぞれの撮影条件SCを順次取得する処理(撮影条件取得処理)を開始する。
撮影が開始されると、撮影制御部103が順次取得した撮影画像SIと、撮影条件取得部104が取得した撮影条件SCと、を撮影画像情報SInfとして記憶制御部106が記憶部170に記憶する。
【0050】
被写体の撮影を開始すると、撮影制御部103は、記憶部170に記憶された撮影プログラムを用いて、操作制御部101から伝達されたコマンドに含まれる撮影パラメータ(F値等)に基づいて画像を所定の間隔で順次撮影するように、撮影部120を制御する。撮影画像SIを取得する間隔は任意に設定可能だが、ここでは0.1秒に一度取得するとする。撮影制御部103は、ステップS103で開始した撮影画像取得処理を後述する停止処理が実行されるまで続行する。
【0051】
ステップS103が終わると、送信部102が、撮影開始コマンドを情報端末20に送信する。そして送信部102は、撮影開始コマンドに応答して情報端末20が送信する画像とその撮影条件を通信部160を用いて受信し、受信画像情報RInfとして記憶部170に記憶する処理(受信画像取得処理)を開始する(ステップS104)。撮影開始コマンドには、記憶部170に記憶された情報端末20が撮影に用いる撮影パラメータ(F値等)・撮影間隔情報が含まれている。
【0052】
ここで、情報端末20が、情報端末10が送信する接続要求コマンドと撮影開始コマンドに応答して画像を送信する処理(画像送信処理)を、図5を参照して説明する。
情報端末20は、情報端末10の通信部160が接続要求コマンドを送信すると、そのコマンドを通信部250を用いて受信する。情報端末20の制御部200は、通信部250が接続要求コマンドを受信すると、画像送信処理を開始する。
【0053】
画像送信処理を開始すると、制御部200は接続認証を実行し、通信部250に接続受領コマンドを送信させ情報端末10との通信接続を確立する(ステップS201)。
【0054】
次に、制御部200は立体画像生成処理1(図4)のステップS104で情報端末10が送信する撮影開始コマンドを待ち受ける(ステップS202)。
制御部200は通信部250が撮影開始コマンドを受信したか否か判別し、受信していないと判別すると(ステップS202;NO)、受信待ち状態で待機する。
【0055】
一方、撮影開始コマンドを受信したと判別すると(ステップS202;YES)、制御部200が撮影部210を用いて被写体を撮影コマンドに含まれている撮影パラメータ(F値等)で撮影し、画像を取得する(ステップS203)。ステップS203では、さらに制御部200がセンサ部230と、時計220と、を用いて画像の撮影条件RC(撮影時刻、撮影時の情報端末20の位置及び方向等)を取得する。
【0056】
ステップS203で画像とその撮影条件を取得すると、制御部200は当該画像とその撮影条件を通信部250を用いて情報端末10に送信する(ステップS204)。
【0057】
ステップS204が終わると、次に制御部200は通信部250が情報端末10が送信する撮影停止コマンドを受信したか否か判別する(ステップS205)。
撮影停止コマンドを受信していないと判別した場合(ステップS205;NO)、ステップS203にもどり、さらに画像と撮影条件を取得して情報端末10に送信する処理を続ける。このとき、新たに画像を撮影する撮影間隔は任意に設定可能だが、ここでは撮影開始コマンドに含まれている撮影間隔で撮影することとする。
【0058】
一方、撮影停止コマンドを受信したと判別すると(ステップS205;YES)、撮影を停止して、画像送信処理を終了する。
【0059】
図4に戻って説明を続ける。ステップS104では、情報端末20がステップS204で送信した画像とその撮影条件を情報端末10の受信部105が通信部160を用いて受信する処理を開始する。そして、受信した画像を受信画像RIとして、その撮影条件RCと関連付けて受信画像情報RInfとして記憶部170に記憶する。
【0060】
受信処理を開始すると、次に立体画像表示処理(ステップS105)が実行される。
ステップS105で実行される立体画像表示処理について、図6を参照して説明する。ステップS104が終了すると、まず画像選択部107が、記憶部170に、新たな画像
が登録されたか否か判別する(ステップS301)。即ち、記憶部170に記憶されている撮影画像情報SInf及び受信画像情報RInfが、前回までの立体画像表示処理で全て参照されていた場合、新たな画像が登録されていないと判別して(ステップS301;NO)、あらたな画像が登録されるまで待機する。
【0061】
一方、新たな画像が登録されたと判別すると、(ステップS301;YES)、画像選択部107が、現在記憶部170に記憶されている撮影画像SIの撮影条件SCと、受信画像RIの撮影条件RCと、を比較して(ステップS302)、新たな立体画像を生成する撮影画像SIと受信画像RIとを一つずつ選択する(ステップS303)。
【0062】
具体的には、撮影条件SCと撮影条件RCとに含まれる撮影時刻を比較し、撮影時刻が所定の閾値以下である組み合わせを全て抽出する(ステップS302)。そして、抽出した組み合わせの中で、もっとも撮影時刻が新しい撮影画像情報SInfと受信画像情報RInfとの組み合わせを選択する(ステップS303)。抽出に使用される閾値は、あらかじめ記憶部170に記憶された任意の閾値であってよいが、ここでは0.1秒とする。そして、その時点で記憶されている撮影画像情報SInfと受信画像情報RInfとを参照済み画像とする。
【0063】
ステップS303で画像情報が選択されると、立体画像生成部108が選択された画像情報に含まれる撮影画像SIと受信画像RIとを補正する(ステップS304)。具体的には、撮影条件SCと撮影条件RCとを比較し、画像間の上下のズレ、傾きのズレ等を補正する。
【0064】
ステップS304で補正処理が終了すると、立体画像生成部108が補正された撮影画像SIと受信画像RIとを用いて立体画像を生成する(ステップS305)。ステップS305では、立体画像生成部108が、撮影条件SCと撮影条件RCとを比較し、被写体に向かって右にある情報端末が取得した画像を右目用画像として、左にある情報端末が取得した画像を左目用画像として用いて立体画像を生成する。
【0065】
ステップS305で立体画像生成部108が立体画像を生成すると、出力制御部109がその立体画像を出力部150に出力させる(ステップS306)。このとき、立体画像を構成する画像の撮影条件SCと撮影条件RCとに基づいて、その立体画像を構成する画像が取得された位置及びその距離とを合わせて表示する。
出力部150が立体画像を出力すると、立体画像表示処理は終了する。
【0066】
図4に戻って説明を続ける。ステップS105の立体画像表示処理が終わると、次に操作制御部101はユーザがシャッタボタンの全押し操作(立体画像記憶操作)を実行したか否か判別する(ステップS106)。操作部110が全押し操作を受け付けていない場合にはユーザが立体画像記憶操作を実行していないと判別し(ステップS106;NO)、制御部100は処理をステップS105に戻して立体画像表示処理を繰り返す。
【0067】
一方、ユーザが立体画像記憶操作を実行したと判別すると、記憶制御部106はそのとき立体画像生成部108が生成して出力制御部109が出力している立体画像を記憶部170に記憶する(ステップS107)。ステップS107では、さらに送信部102が通信部160を用いて情報端末20に撮影停止コマンドを送信する。さらに、撮影制御部103は撮影画像SIの撮影を停止する。また、撮影条件取得部104は撮影条件SCの取得を停止する。なお、情報端末20は撮影停止コマンドを受領すると画像の撮影を停止する(図5の画像送信処理のステップS205;YES)。
【0068】
ステップS107が終わると、次に操作制御部101はユーザが操作部110を用いて立体画像生成処理の終了操作(撮影終了操作)を実行したか判別する(ステップS108)。操作部110が撮影終了操作を受けつけていない場合は、ユーザが撮影終了操作を実行していないと判別し(ステップS108;NO)、制御部100は処理をS102に戻り、あらたに半押し操作を検出するまで待機する。待機中、出力部150はステップS107で記憶した立体画像を出力している。
【0069】
一方、ユーザが撮影終了操作を実行したと判別すると(ステップS108;YES)、制御部100は立体画像生成処理1を終了する。
【0070】
上記のように、本実施形態に係る情報端末10によれば、情報端末10の撮影部120が順次撮影した撮影画像SIと、情報端末20の撮影部210が順次撮影し情報端末10が受信した受信画像RIと、を用いて立体画像を生成することが出来る。
【0071】
さらに、撮影画像SIの撮影時刻と受信画像RIの撮影時刻とを比較して、撮影時刻の差が所定の閾値よりも小さい画像を用いて立体画像を生成するため、撮影操作に応答して情報を送受信する場合より立体画像を構成する画像間の撮影時間の差を小さくすることが出来る。
【0072】
また、新しく生成した立体画像を順次出力部に出力するため、ユーザは出力された立体画像を見ながら、情報端末10と情報端末20とを順次移動させ、あるいは撮影設定を変更してより好ましい立体画像を生成できるセッティングに変更することができる。また、立体画像を表示するにあたって、立体画像を構成する画像が取得された位置及び画像間の距離とを合わせて表示するため、ユーザは被写体までの距離にかんがみて容易に立体画像を構成する画像を撮影するに適した位置に情報端末10と情報端末20とを移動させることができる。
【0073】
(実施形態2)
次に、本発明の実施形態2に係る立体画像生成システム2について説明する。立体画像生成システム2は、実施形態1に係る立体画像システム1と比較して、システムを構成する情報端末の時計どうしの誤差を測定し、撮影時間の誤差を補正する構成をさらに含むことを特徴とする。
【0074】
立体画像生成システム2は、情報端末11と情報端末20とから構成される。情報端末11は、実施形態1に係る情報端末10と比較して、記憶部が時刻差分TDをさらに記憶する記憶部171であることが異なる。その他の物理構成・機能構成は実施形態1の情報端末10(図1、図3)と同様である。また、実施形態2に係る情報端末20は、実施形態1に係る情報端末20(図1)と同様の構成を持つ。
【0075】
情報端末11が実行する立体画像生成処理2を、図8を参照して説明する。
ユーザが操作部110を用いて情報端末20との通信を確立する操作を実行すると、情報端末11の制御部100は立体画像生成処理2を開始する。
【0076】
ユーザが操作部110を用いて通信確立操作を実行すると、情報端末11の制御部100の送信部102と受信部105が立体画像生成処理1(図4)のステップS101と同様に情報端末20との通信を確立する(ステップS401)。
【0077】
次に、送信部102と受信部105が連携して、情報端末11の時計130と情報端末20の時計220とが測定する時刻の誤差を測定する(ステップS402)。誤差を測定する処理の詳細については後述する。ステップS402では、さらに測定した誤差を時刻差分TDとして記憶部171に記憶する。以後、受信部105は、受信した撮影条件RCに含まれる撮影時刻に時刻差分TDが示す誤差を加算して補正してから記憶制御部106に伝達する。
【0078】
ステップS402が終了すると、ステップS403〜ステップS409の処理が実施形態1に係る立体画像生成処理1のステップS102〜108と同様に実行される。情報端末20はステップS404で送信される撮影開始コマンドに応答して実施形態1と同様に画像送信処理(図5)を実行して画像と撮影条件とを送信する。実施形態2では、立体画像生成処理2によって、ステップS402で測定された誤差に基づいて補正された撮影時刻を用いて選択された撮影画像SIと受信画像RIとを用いて、立体画像が生成される。
【0079】
立体画像生成処理2のステップS401とステップS402で実行される処理を、図9を参照して説明する。情報端末11の制御部100の送信部102は、ステップS401に到達すると、まず情報端末20と接続を確立する(ステップS501〜S506)。即ち、まず制御部100の送信部102が通信部160に接続要求コマンドを送信する旨のコマンドを伝達する(ステップS501)。これに応答し、通信部160が接続要求コマンドを送信する(ステップS502)。情報端末20の通信部250は、これを受信すると受信した接続要求コマンドを制御部200に伝達する(ステップS503)。制御部200は、接続要求コマンドを受領すると、接続を認証して接続受領コマンドを送信する旨のコマンドを通信部250に伝達する(ステップS504)。通信部250はこれに応答して接続受領コマンドを送信する(ステップS505)。情報端末11の通信部160はこれを受信すると制御部100の受信部105に伝達し、情報端末11と情報端末20との通信が確立される。
【0080】
接続受領コマンドを受信し情報端末20との接続を確保すると、情報端末11の制御部100は誤差測定処理を実行する(ステップS402、ステップS507〜S518)。
即ち、まず制御部100の送信部102が通信部160に時刻送信要求コマンドを送信する旨のコマンドを伝達する(ステップS507)。併せて時計130に現在時刻要求コマンドを伝達する(ステップS508)。ステップS507とステップS508は前後してよい。
【0081】
時計130は、現在時刻要求コマンドに応答して、その時刻tにおいて時計130が測定した時刻情報T11(t)を制御部100に伝達する(ステップS509)。
また、通信部160は時刻送信要求コマンドを送信する旨のコマンドに応答して現在時刻要求コマンドを送信する(ステップS510)。情報端末20の通信部250は、これを受信すると受信した時刻送信要求コマンドを制御部200に伝達する(ステップS511)。制御部200は、時刻送信要求コマンドを受領すると、時計220に現在時刻要求コマンドを送信する(ステップS512)。
【0082】
時計220は、現在時刻要求コマンドに応答して、その時刻tにおいて時計220が測定した時刻情報T20(t)を制御部200に伝達する(ステップS513)。
制御部200は、通信部250に時刻情報T20(t)を送信する旨のコマンドを伝達する(ステップS514)。通信部250は、これに応答して時刻情報T20(t)を送信する(ステップS515)。
【0083】
情報端末11の通信部160は、時刻情報T20(t)を受信すると制御部100の受信部105に時刻情報T20(t)を伝達する(ステップS516)。制御部100は、これに応答して時計130に現在時刻要求コマンドを伝達する(ステップS517)。時計130は、現在時刻要求コマンドに応答して、その時刻tにおいて時計130が測定した時刻情報T11(t)を制御部100に伝達する(ステップS518)。
【0084】
制御部100は、T11(t)、T20(t)、T11(t)、から以下の式(1)を用いて時計130と時計220の時刻差分TDを計算する。
TD=T20(t)−T11(t)−(T11(t)− T11(t))/2 …(1)
ここで、(T11(t)− T11(t))/2は情報端末11と情報端末20との通信ラグの大きさを示す。
【0085】
なお、本実施形態では時刻差分TDを情報端末11と情報端末20との接続確立時に一度だけ実行する構成について説明した。しかし、時刻差分TDは複数回の誤差測定処理によって得られた誤差の平均値であってもよい。また、情報端末11と情報端末20との通信が確保されている間は、所定の間隔で時刻差分TDを測定し、そのつど記憶部171に記憶されている時刻差分TDを更新してもよい。
【0086】
上記のように、本実施形態に係る情報端末11によれば、情報端末11の時計130と情報端末20の時計220とが測定する時刻の誤差を測定し、撮影時刻の誤差を補正してから立体画像を構成する画像を選択する。そのため、時計130又は時計220が測定する時刻が正確でない場合であっても立体画像を構成する画像の撮影時刻のずれを小さくすることが出来る。
【0087】
(実施形態3)
次に、本発明の実施形態3に係る立体画像生成システム3について説明する。立体画像生成システム3は、ベースとなる情報端末から複数のその他の情報端末に通信確立コマンドを送信する。そして、通信確立コマンドに応答して通信が確保できた複数の情報端末から受信画像を受信し、複数の情報端末から順次受信した受信画像のそれぞれと、撮影画像と、から複数の立体画像を生成して出力することを特徴とする。
【0088】
立体画像生成システム3の構成を、図10を参照して説明する。立体画像生成システム3は、情報端末12と、複数の情報端末(情報端末20−1、情報端末20−2、情報端末20−3…)と、から構成される。
【0089】
情報端末12は、実施形態2に係る情報端末11と比較して、記憶部が複数の情報端末(情報端末20−1、情報端末20−2、…)のそれぞれに対応する受信画像情報(受信画像情報RInf、受信画像情報RInf、…)と時刻差分(時刻差分TD、時刻差分TD、…)とを記憶する記憶領域(記憶領域A20-、記憶領域A20-、…)を持つ記憶部172であることが異なる。その他の物理構成・機能構成は情報端末10(図1、図3)と同様である。複数の情報端末20−1、情報端末20−2、情報端末20−3…のそれぞれは、実施形態1に係る情報端末20(図1)と同様の構成を持つ。
【0090】
情報端末12が実行する立体画像生成処理3を、図11を参照して説明する。
ユーザが操作部110を用いて情報端末20−1、情報端末20−2、…等の周囲に存在する情報端末との通信を確立する操作(通信確立操作)を実行すると、情報端末12の制御部100は立体画像生成処理3を開始する。
【0091】
ユーザが操作部110を用いて通信確立操作を実行し操作制御部101がこれを受け付けると、制御部100は周囲の情報端末を探索し、接続する処理(ステップS601)を実行する。具体的には、操作制御部101は送信部102に通信確立コマンドを伝達する。そして、送信部102は周囲の情報端末(情報端末20−1、20−2、20−3、…)の通信部250に接続要求コマンドを送信する。周囲の情報端末が接続要求コマンドを受け入れて接続受領コマンドを送信し、受信部105が当該接続受領コマンドを受信すると、情報端末10と情報端末20−1、20−2、20−3、…との間で通信が確立される(ステップS601)。
【0092】
ステップS601では、さらに記憶部172に通信が確立した情報端末に対応した記憶領域(記憶領域A20−3、記憶領域A20−2、記憶領域A20−3、…)が確保される。以下、情報端末20−1、20−2、20−3、の3つの情報端末と通信が確保された場合について説明する。
なお、記憶領A20−3〜A20−3には、その領域がその処理ループで処理済であるか否かを示す処理フラグが定義される。処理フラグは「未処理」又は「処理済」のいずれかの値を取る。ステップS601では、処理フラグは全て「未処理」として定義される。
【0093】
ステップS601で情報端末20−1、情報端末20−2、情報端末20−3、と通信が確保されると、情報端末12の制御部100は、情報端末20−1、情報端末20−2、情報端末20−3、が持つ時計220のそれぞれと、時計130との時刻差分TD〜TDを測定する(ステップS602)。具体的には、図9に示した誤差測定処理を、情報端末20−1、情報端末20−2、情報端末20−3、のそれぞれについて実行する。そして、得られた時刻差分TD〜TDを、記憶部172の対応する記憶領域A20−3〜A20−3に記憶する。
【0094】
次に、実施形態2の立体画像生成処理2のステップS403〜S404と同様にステップS603〜S604が実行する。
【0095】
そして、ステップS605で、撮影画コマンド送信・受信開始処理を情報端末20−1、情報端末20−2、情報端末20−3、のそれぞれに対して立体画像生成処理2のステップS405と同様に実行する。受信開始後、受信部105は情報端末20−1、情報端末20−2、情報端末20−3、のそれぞれから順次受信した受信画像情報RInf〜RInfをそれぞれ記憶部172の対応する記憶領域A20−3〜A20−3に記憶する。
【0096】
ステップS605が終わると、まず情報端末20−1から受信した受信画像情報RInfに対して、図6の立体画像表示処理が実施形態1と同様に実行される(ステップS606)。
【0097】
撮影画像情報SInfと受信画像情報RInfから画像が選択され(図6の立体画像表示処理のステップS303)、選択された画像を用いて生成された立体画像が出力されると(図6の立体画像表示処理のステップS306)、記憶領域A20−3の処理フラグが「処理済」に変更される。次に制御部100は全ての接続済み情報端末についてステップS606を実行したか否か判別する(ステップS607)。すなわち、記憶領域A20−3〜A20−3のうち、処理フラグが「未処理」である領域があるか否か判定し、処理フラグが「未処理」である領域があれば未処理の情報端末があると判別して(ステップS607;YES)、ステップS606にもどり、次の情報端末について同様に図6の立体画像表示処理を実行する。
【0098】
全ての接続済み情報端末(情報端末20−1、情報端末20−2、情報端末20−3)についてステップS606を実行したと判別した場合には(ステップS607;NO)、ステップS608に処理が移行する。
【0099】
ここで、出力部150が撮影画像情報SInfと受信画像情報RInf〜RInfとから生成された立体画像I2〜I4を表示する画面を図12を用いて説明する。
図12には、もっとも新しい撮影画像SI(I1)が左側に、立体画像I2〜I4が右側にそれぞれ表示されている。撮影画像SI(I1)には、現在の情報端末12の位置が合わせて表示される。立体画像I2〜I3には、その立体画像を構成する受信画像RIを取得した情報端末の名称(Camera_1〜Camera_3)と、撮影時のその情報端末の位置と、情報端末12とその情報端末までの距離と、が合わせて表示される。I2〜I4は、その情報端末が撮影した画像を用いて生成された最新の立体画像である。ユーザは図12の画面を用いて立体画像I2〜I4のいずれかを選択して記憶する操作(選択記憶操作)を、操作部110に対して実行することができる。
【0100】
図11に戻って説明を続ける。ステップS608では、当該選択記憶操作を待ち受ける。即ち、ユーザが選択記憶操作を実行したか否か判別し、選択操作を検出しなかった場合(ステップS608;NO)、ステップS606にもどって新たに立体画像が生成される。このとき、領域記憶領域A20−3〜A20−3の処理フラグが全て「未処理」に変更される。
【0101】
一方、選択記憶操作を検出した場合(ステップS608;YES)、選択された立体画像を記憶部172に記憶し、情報端末20−1、20−2、20−3、のそれぞれに撮影停止コマンドを送信する。
【0102】
撮影停止コマンドを送信し終えると、ステップS610が立体画像生成処理1のステップS108と同様に実行される。そして、撮影終了操作が検出されると(ステップS610;YES)、情報端末20−1、20−2、20−3、のそれぞれと通信が切断され、立体画像生成処理3は終了される。
【0103】
なお、本実施形態では情報端末12はユーザの通信確保操作に応答して周辺の情報端末に通信確保コマンドを送信する構成について説明した。しかし、周辺の情報端末と通信を確保する方法はこれに限らず、例えばBluetoothの自動接続機能を用いて、情報端末12を中心とした所定の範囲に進入した情報端末と自動的に通信を確保する構成も可能である。このとき、情報端末12は通信が確保された全ての周辺の情報端末について、情報端末20−1等と同様の処理を実行する。
【0104】
上記のように、本実施形態に係る立体画像生成システム3によれば、情報端末12が通信可能な複数の情報端末から画像を受信し、それぞれを用いて立体画像を生成して表示するため、ユーザは最も良い位置・角度にある情報端末が撮影した画像を用いて立体画像を選択して保存することができる。しかも、立体画像を構成する画像の撮影時刻のズレは実施形態2と同様に小さくてすむ。
【0105】
<変形例>
実施形態1乃至3では、情報端末10(又は情報端末11又は情報端末12)及び20は被写体をjpeg形式等の画像として順次撮影し、撮影した画像から立体画像を構成する画像を選択する。しかし、本願発明の実施形態はこれに限定されるものではなく、被写体を動画で撮影する構成も可能である。
この場合、情報端末10と情報端末20とは被写体をMPEG2形式等の動画として撮影する。そして、情報端末10と情報端末20とが、動画を構成する各コマの画像おのおのについて撮影時刻を測定し、当該動画を構成する各コマの画像から立体画像を生成する画像を選択して立体画像を生成する。
【0106】
また、制御部100、記憶部170、出力部150、通信部160、等から構成される情報端末10(又は情報端末11又は情報端末12)、あるいは制御部200、記憶部240、通信部250、等から構成される情報端末20、のための処理を行う中心となる部分は、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。たとえば、前記の動作を実行するためのコンピュータプログラムを、コンピュータが読み取り可能な記録媒体(フレキシブルディスク、CD−ROM、DVD−ROM等)に格納して配布し、当該コンピュータプログラムをコンピュータにインストールすることにより、前記の処理を実行する情報端末を構成してもよい。また、インターネット等の通信ネットワーク上のサーバ装置が有する記憶装置に当該コンピュータプログラムを格納しておき、通常のコンピュータシステムがダウンロード等することで情報処理装置を構成してもよい。
【0107】
また、情報端末10(又は情報端末11又は情報端末12)乃至情報端末20の機能を、OS(オペレーティングシステム)とアプリケーションプログラムの分担、またはOSとアプリケーションプログラムとの協働により実現する場合などには、アプリケーションプログラム部分のみを記録媒体や記憶装置に格納してもよい。
【0108】
また、搬送波にコンピュータプログラムを重畳し、通信ネットワークを介して配信することも可能である。たとえば、通信ネットワーク上の掲示板(BBS:Bulletin Board System)に前記コンピュータプログラムを掲示し、ネットワークを介して前記コンピュータプログラムを配信してもよい。そして、このコンピュータプログラムを起動し、OSの制御下で、他のアプリケーションプログラムと同様に実行することにより、前記の処理を実行できるように構成してもよい。
【0109】
また、上記情報端末10(又は情報端末11又は情報端末12)が実行する処理の一部を、情報端末10とは独立したコンピュータを用いて実現しても良い。
【0110】
上記の各実施の形態の一部または全部は、以下の付記のようにも記載されうるが、以下には限られない。
【0111】
(付記1)
撮影開始操作を受け付ける操作部と、
被写体を撮影した撮影画像を取得する撮影画像取得部と、
前記撮影画像の撮影時刻を含む撮影情報を取得する撮影情報取得部と、
前記操作部が受け付けた撮影開始操作に応答して、前記撮影画像取得部に撮影画像を順次取得する処理を開始させ、前記撮影情報取得部に当該撮影画像の撮影情報を取得する処理を開始させる撮影開始部と、
前記操作部が受け付けた撮影開始操作に応答して、他機器に前記被写体を撮影した他機器撮影画像を順次取得する処理を開始させ、当該他機器撮影画像の撮影時間を含む撮影情報を取得する処理を開始させ、当該他機器撮影画像とその撮影情報とを順次送信させる撮影開始コマンドを他機器に送信する送信部と、
前記送信部が送信した撮影開始コマンドに応答して前記他機器が順次送信する他機器撮影画像とその撮影情報とを受信する受信部と、
前記撮影画像の撮影情報と前記他機器撮影画像の撮影情報とに基づいて、前記撮影画像取得部が順次取得した撮影画像と前記受信部が順次受信した他機器撮影画像とから立体画像を構成する画像を選択する選択部と、
前記選択部が選択した画像を用いて立体画像を生成する生成部と、
前記生成部が生成した立体画像を出力する出力部と、
を備えることを特徴とする立体画像生成装置。
【0112】
(付記2)
前記選択部は、前記撮影画像の撮影情報に含まれる撮影時刻と前記他機器撮影画像の撮影情報に含まれる撮影時刻とに基づいて、撮影時刻の差が所定の閾値より小さい撮影画像と他機器撮影画像との組み合わせを抽出し、当該抽出した撮影画像と当該他機器撮影画像とを前記立体画像を構成する画像として選択する、
ことを特徴とする付記1に記載の立体画像生成装置。
【0113】
(付記3)
前記選択部は、前記撮影画像取得部が新たな撮影画像を取得するか、前記受信部が新たに他機器撮影画像を受信すると、当該新たな撮影画像の取得又は他機器画像の受信に応答して、前記立体画像を構成する画像を新たに選択し、
前記生成部は、前記選択部が新たに立体画像を構成する画像を選択すると当該選択された画像を用いて新たに立体画像を生成し、
前記出力部は前記生成部が新たに立体画像を生成すると当該立体画像を出力する、
ことを特徴とする付記1又は2に記載の立体画像生成装置。
【0114】
(付記4)
前記操作部は、立体画像を記録する記録操作をさらに受けつけ、
前記操作部が受け付けた記憶操作に応答して、前記立体画像を記憶する記憶部をさらに備える、
ことを特徴とする付記1乃至3のいずれか一つに記載の立体画像生成装置。
【0115】
(付記5)
現在時刻を計測する内部時計と、
前記送信部に前記他機器が備える他機器時計が計測した時刻を送信させる時刻送信コマンドを当該他機器に送信させ、前記受信部に当該時刻送信コマンドに応答して前記他機器が送信する他機器が計測した時刻を受信させ、前記内部時計が計測した時間と前記受信部が受信した他機器時計が計測した時刻とに基づいて前記内部時計が計測する時刻と前記他機器時計が計測する時刻との誤差を測定する誤差測定部と、
をさらに備え、
前記選択部は、前記誤差測定部が測定した誤差に基づいて前記他機器撮影画像の撮影条件に含まれる撮影時間を補正して、当該補正後の撮影条件に基づいて前記立体画像を構成する画像を選択する、
ことを特徴とする付記1乃至4のいずれか一つに記載の立体画像生成装置。
【0116】
(付記6)
前記送信部は、複数の前記他機器に前記撮影開始コマンドを送信し、
前記受信部は、前記複数の他機器のそれぞれから前記他機器撮影画像と前記撮影情報とを受信し、
前記選択部は、前記複数の他機器のそれぞれに対応する立体画像を構成する画像を、その他機器画像から受信した撮影情報と前記撮影画像の撮影情報とに基づいて、その他機器から受信した他機器撮影画像と、前記撮影画像と、から選択し、
前記生成部は、前記複数の他機器のそれぞれに対応する立体画像を、前記選択部が選択した当該立体画像を構成する画像を用いて生成し、
前記出力部は、前記生成部が生成した前記複数の他機器のそれぞれに対応する立体画像を出力し、
前記操作部は、前記出力部が出力した前記複数の他機器のそれぞれに対応する立体画像の一つを選択して記憶する選択記憶操作をさらに受け付け、
前記記憶部は、前記操作部が受け付けた選択記憶操作に応答して、当該選択記憶操作で選択された立体画像を記憶する、
ことを特徴とする付記4又は5に記載の立体画像生成装置。
【0117】
(付記7)
立体画像生成装置と、撮影送信装置と、から構成される立体画像生成システムであって、
前記立体画像生成装置は、
第1の時計と、
撮影開始操作を受け付ける操作部と、
被写体を撮影した第1の撮影画像を取得する第1の撮影画像取得部と、
前記第1の時計が計測した前記第1の撮影画像の撮影時刻を含む撮影情報を取得する第1の撮影情報取得部と、
前記操作部が受け付けた撮影開始操作に応答して、前記第1の撮影画像取得部に前記第1の撮影画像を順次取得する処理を開始させ、前記第1の撮影情報取得部に当該第1の撮影画像の撮影情報を取得する処理を開始させる第1の撮影開始部と、
前記操作部が受け付けた撮影開始操作に応答して、前記撮影送信装置に撮影開始コマンドを送信する第1の送信部と、
前記撮影送信装置から情報を受信する第1の受信部と、
を備え、
前記撮影送信装置は、
第2の時計と、
前記立体画像生成装置の第1の送信部が送信した撮影開始コマンドを受信する第2の受信部と、
被写体を撮影した第2の撮影画像を取得する第2の撮影画像取得部と、
前記第2の時計が計測した前記第2の撮影画像の撮影時刻を含む撮影情報を取得する第2の撮影情報取得部と、
前記第2の受信部が受信した撮影開始コマンドに応答して、前記第2の撮影画像取得部に前記第2の撮影画像を順次取得する処理を開始させ、前記第2の撮影情報取得部に当該第2の撮影画像の撮影情報を取得する処理を開始させる第2の撮影開始部と、
前記第2の撮影画像取得部が取得した第2の撮影画像と、前記第2の撮影情報取得部が取得した当該第2の撮影画像の撮影情報と、を前記立体画像生成装置に順次送信する第2の送信部と、
を備え、
前記立体画像生成装置は、
前記第1の受信部が、前記撮影送信装置の第2の送信部が送信した前記第2の撮影画像とその撮影条件とを順次受信し、
さらに、
前記第1の撮影画像取得部が順次取得した第1の撮影画像と、前記第1の受信部が順次受信した第2の撮影画像と、から立体画像を構成する画像を前記第1の撮影画像の撮影情報と前記第2の撮影画像の撮影情報とに基づいて選択する選択部と、
前記選択部が選択した画像を用いて立体画像を生成する生成部と、
前記生成部が生成した立体画像を出力する出力部と、
を備える、
ことを特徴とする立体画像生成システム。
【0118】
(付記8)
撮影開始操作に応答して、第1の撮影手段を用いて被写体を撮影した第1の撮影画像を順次取得する処理を開始し、
前記第1の撮影画像の撮影時刻を含む撮影条件を取得し、
前記撮影開始操作に応答して、第2の撮影手段を用いて前記被写体を撮影した第2の撮影画像を順次取得する処理を開始し、
前記第2の撮影画像の撮影時刻を含む撮影条件を取得し、
前記第1の撮影画像の撮影情報と前記第2の撮影画像の撮影情報とに基づいて、前記第1の撮影画像と前記第2の撮影画像とから立体画像を構成する画像を選択し、
前記選択した画像を用いて立体画像を生成し、
前記生成した立体画像を出力する、
ことを特徴とする立体画像生成方法。
【0119】
(付記9)
コンピュータに、
撮影開始操作を受け付ける処理、
前記撮影開始操作に応答して、被写体を撮影した撮影画像を順次取得し、当該撮影画像の撮影時刻を含む撮影条件を取得する処理を開始する処理、
前記撮影開始操作に応答して、他機器に前記被写体を撮影した他機器撮影画像を順次取得する処理を開始させ、当該他機器撮影画像の撮影時間を含む撮影情報を取得する処理を開始させ、当該他機器撮影画像とその撮影情報とを順次送信させる撮影開始コマンドを他機器に送信する処理、
前記撮影開始コマンドに応答して前記他機器が順次送信する他機器撮影画像とその撮影情報とを受信する処理、
前記撮影画像の撮影情報と前記他機器撮影画像の撮影情報とに基づいて、前記撮影画像と前記他機器撮影画像とから立体画像を構成する画像を選択する処理、
前記選択した画像を用いて立体画像を生成する処理、
前記生成した立体画像を出力する処理、
を実行させることを特徴とするプログラム。
【符号の説明】
【0120】
1 立体画像生成システム
2 立体画像生成システム
3 立体画像生成システム
10 情報端末
11 情報端末
12 情報端末
20 情報端末
20−1 情報端末
20−2 情報端末
20−3 情報端末
100 制御部
101 操作制御部
102 送信部
103 撮影制御部
104 撮像条件取得部
105 受信部
106 記憶制御部
107 画像選択部
108 立体画像生成部
109 出力制御部
110 操作部
120 撮影部
130 時計
140 センサ部
150 出力部
160 通信部
170 記憶部
171 記憶部
172 記憶部
200 制御部
210 撮影部
220 時計
230 センサ部
240 記憶部
250 通信部
20−1 記憶領域
20−2 記憶領域
RInf(RInf、RInf、…) 受信画像情報
RI(RI、RI、…) 受信画像
RC(RC、RC、…) 撮影条件
SInf 撮影画像情報
SI 撮影画像
SC 撮影条件
TD(TD、TD) 時刻差分

【特許請求の範囲】
【請求項1】
撮影開始操作を受け付ける操作部と、
被写体を撮影した撮影画像を取得する撮影画像取得部と、
前記撮影画像の撮影時刻を含む撮影情報を取得する撮影情報取得部と、
前記操作部が受け付けた撮影開始操作に応答して、前記撮影画像取得部に撮影画像を順次取得する処理を開始させ、前記撮影情報取得部に当該撮影画像の撮影情報を取得する処理を開始させる撮影開始部と、
前記操作部が受け付けた撮影開始操作に応答して、他機器に前記被写体を撮影した他機器撮影画像を順次取得する処理を開始させ、当該他機器撮影画像の撮影時間を含む撮影情報を取得する処理を開始させ、当該他機器撮影画像とその撮影情報とを順次送信させる撮影開始コマンドを他機器に送信する送信部と、
前記送信部が送信した撮影開始コマンドに応答して前記他機器が順次送信する他機器撮影画像とその撮影情報とを受信する受信部と、
前記撮影画像の撮影情報と前記他機器撮影画像の撮影情報とに基づいて、前記撮影画像取得部が順次取得した撮影画像と前記受信部が順次受信した他機器撮影画像とから立体画像を構成する画像を選択する選択部と、
前記選択部が選択した画像を用いて立体画像を生成する生成部と、
前記生成部が生成した立体画像を出力する出力部と、
を備えることを特徴とする立体画像生成装置。
【請求項2】
前記選択部は、前記撮影画像の撮影情報に含まれる撮影時刻と前記他機器撮影画像の撮影情報に含まれる撮影時刻とに基づいて、撮影時刻の差が所定の閾値より小さい撮影画像と他機器撮影画像との組み合わせを抽出し、当該抽出した撮影画像と当該他機器撮影画像とを前記立体画像を構成する画像として選択する、
ことを特徴とする請求項1に記載の立体画像生成装置。
【請求項3】
前記選択部は、前記撮影画像取得部が新たな撮影画像を取得するか、前記受信部が新たに他機器撮影画像を受信すると、当該新たな撮影画像の取得又は他機器画像の受信に応答して、前記立体画像を構成する画像を新たに選択し、
前記生成部は、前記選択部が新たに立体画像を構成する画像を選択すると当該選択された画像を用いて新たに立体画像を生成し、
前記出力部は、前記生成部が新たに立体画像を生成すると当該立体画像を出力する、
ことを特徴とする請求項1又は2に記載の立体画像生成装置。
【請求項4】
前記操作部は、立体画像を記録する記録操作をさらに受けつけ、
前記操作部が受け付けた記憶操作に応答して、前記立体画像を記憶する記憶部をさらに備える、
ことを特徴とする請求項1乃至3のいずれか一項に記載の立体画像生成装置。
【請求項5】
現在時刻を計測する内部時計と、
前記送信部に前記他機器が備える他機器時計が計測した時刻を送信させる時刻送信コマンドを当該他機器に送信させ、前記受信部に当該時刻送信コマンドに応答して前記他機器が送信する他機器が計測した時刻を受信させ、前記内部時計が計測した時間と前記受信部が受信した他機器時計が計測した時刻とに基づいて前記内部時計が計測する時刻と前記他機器時計が計測する時刻との誤差を測定する誤差測定部と、
をさらに備え、
前記選択部は、前記誤差測定部が測定した誤差に基づいて前記他機器撮影画像の撮影条件に含まれる撮影時間を補正して、当該補正後の撮影条件に基づいて前記立体画像を構成する画像を選択する、
ことを特徴とする請求項1乃至4のいずれか一項に記載の立体画像生成装置。
【請求項6】
前記送信部は、複数の前記他機器に前記撮影開始コマンドを送信し、
前記受信部は、前記複数の他機器のそれぞれから前記他機器撮影画像と前記撮影情報とを受信し、
前記選択部は、前記複数の他機器のそれぞれに対応する立体画像を構成する画像を、その他機器画像から受信した撮影情報と前記撮影画像の撮影情報とに基づいて、その他機器から受信した他機器撮影画像と、前記撮影画像と、から選択し、
前記生成部は、前記複数の他機器のそれぞれに対応する立体画像を、前記選択部が選択した当該立体画像を構成する画像を用いて生成し、
前記出力部は、前記生成部が生成した前記複数の他機器のそれぞれに対応する立体画像を出力し、
前記操作部は、前記出力部が出力した前記複数の他機器のそれぞれに対応する立体画像の一つを選択して記憶する選択記憶操作をさらに受け付け、
前記記憶部は、前記操作部が受け付けた選択記憶操作に応答して、当該選択記憶操作で選択された立体画像を記憶する、
ことを特徴とする請求項4又は5に記載の立体画像生成装置。
【請求項7】
立体画像生成装置と、撮影送信装置と、から構成される立体画像生成システムであって、
前記立体画像生成装置は、
第1の時計と、
撮影開始操作を受け付ける操作部と、
被写体を撮影した第1の撮影画像を取得する第1の撮影画像取得部と、
前記第1の時計が計測した前記第1の撮影画像の撮影時刻を含む撮影情報を取得する第1の撮影情報取得部と、
前記操作部が受け付けた撮影開始操作に応答して、前記第1の撮影画像取得部に前記第1の撮影画像を順次取得する処理を開始させ、前記第1の撮影情報取得部に当該第1の撮影画像の撮影情報を取得する処理を開始させる第1の撮影開始部と、
前記操作部が受け付けた撮影開始操作に応答して、前記撮影送信装置に撮影開始コマンドを送信する第1の送信部と、
前記撮影送信装置から情報を受信する第1の受信部と、
を備え、
前記撮影送信装置は、
第2の時計と、
前記立体画像生成装置の第1の送信部が送信した撮影開始コマンドを受信する第2の受信部と、
被写体を撮影した第2の撮影画像を取得する第2の撮影画像取得部と、
前記第2の時計が計測した前記第2の撮影画像の撮影時刻を含む撮影情報を取得する第2の撮影情報取得部と、
前記第2の受信部が受信した撮影開始コマンドに応答して、前記第2の撮影画像取得部に前記第2の撮影画像を順次取得する処理を開始させ、前記第2の撮影情報取得部に当該第2の撮影画像の撮影情報を取得する処理を開始させる第2の撮影開始部と、
前記第2の撮影画像取得部が取得した第2の撮影画像と、前記第2の撮影情報取得部が取得した当該第2の撮影画像の撮影情報と、を前記立体画像生成装置に順次送信する第2の送信部と、
を備え、
前記立体画像生成装置は、
前記第1の受信部が、前記撮影送信装置の第2の送信部が送信した前記第2の撮影画像とその撮影条件とを順次受信し、
さらに、
前記第1の撮影画像取得部が順次取得した第1の撮影画像と、前記第1の受信部が順次受信した第2の撮影画像と、から立体画像を構成する画像を前記第1の撮影画像の撮影情報と前記第2の撮影画像の撮影情報とに基づいて選択する選択部と、
前記選択部が選択した画像を用いて立体画像を生成する生成部と、
前記生成部が生成した立体画像を出力する出力部と、
を備える、
ことを特徴とする立体画像生成システム。
【請求項8】
撮影開始操作に応答して、第1の撮影手段を用いて被写体を撮影した第1の撮影画像を順次取得する処理を開始し、
前記第1の撮影画像の撮影時刻を含む撮影条件を取得し、
前記撮影開始操作に応答して、第2の撮影手段を用いて前記被写体を撮影した第2の撮影画像を順次取得する処理を開始し、
前記第2の撮影画像の撮影時刻を含む撮影条件を取得し、
前記第1の撮影画像の撮影情報と前記第2の撮影画像の撮影情報とに基づいて、前記第1の撮影画像と前記第2の撮影画像とから立体画像を構成する画像を選択し、
前記選択した画像を用いて立体画像を生成し、
前記生成した立体画像を出力する、
ことを特徴とする立体画像生成方法。
【請求項9】
コンピュータに、
撮影開始操作を受け付ける処理、
前記撮影開始操作に応答して、被写体を撮影した撮影画像を順次取得し、当該撮影画像の撮影時刻を含む撮影条件を取得する処理を開始する処理、
前記撮影開始操作に応答して、他機器に前記被写体を撮影した他機器撮影画像を順次取得する処理を開始させ、当該他機器撮影画像の撮影時間を含む撮影情報を取得する処理を開始させ、当該他機器撮影画像とその撮影情報とを順次送信させる撮影開始コマンドを他機器に送信する処理、
前記撮影開始コマンドに応答して前記他機器が順次送信する他機器撮影画像とその撮影情報とを受信する処理、
前記撮影画像の撮影情報と前記他機器撮影画像の撮影情報とに基づいて、前記撮影画像と前記他機器撮影画像とから立体画像を構成する画像を選択する処理、
前記選択した画像を用いて立体画像を生成する処理、
前記生成した立体画像を出力する処理、
を実行させることを特徴とするプログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate


【公開番号】特開2013−74344(P2013−74344A)
【公開日】平成25年4月22日(2013.4.22)
【国際特許分類】
【出願番号】特願2011−209960(P2011−209960)
【出願日】平成23年9月26日(2011.9.26)
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.Bluetooth
【出願人】(310006855)NECカシオモバイルコミュニケーションズ株式会社 (1,081)
【Fターム(参考)】