説明

三次元画像を取得可能な電子機器、当該電子機器を制御するための方法、および、当該電子機器を制御するためのプログラム

【課題】良好な3D画像が得られる電子機器を提供する。
【解決手段】電子機器は、1回目の撮影によって第1の画像を取得し、2回目の撮影によって第2の画像を取得する。このとき、電子機器は、第1の画像を取得した際の電子機器の傾き(α度)と、第2の画像を取得した際の電子機器の傾き(β度)とを取得する。電子機器は、2枚の画像の各傾きの平均((α+β)/2)を算出する。電子機器は、第1の画像から回転画像410を導出し、第2の画像から回転画像420を導出する。回転画像410および回転画像420は、いずれも、水平方向から(α+β)/2度だけ傾いた画像として得られるので、これらの画像を用いた三次元表示が行なわれるとぶれのない画像として電子機器の使用者に視認される。

【発明の詳細な説明】
【技術分野】
【0001】
この開示は、三次元画像として視認されるための画像の取得に関し、より特定的には、複数の撮影によって三次元画像の表示のためのデータを取得する技術に関する。
【背景技術】
【0002】
従来の三次元(以下「3D」とも表わす。)画像撮影カメラでは、左眼用撮影カメラと右眼用撮影カメラとのカメラ間距離を、人間の平均的な瞳の距離の約6.5〜7cmに設定して固定するのが一般的であった。しかし、このような従来の3D画像撮影カメラでは、2台のカメラを搭載する必要があり、カメラを含む装置全体のコストが高くなるという問題がある。
【0003】
このような問題を解決するため、たとえば、特開平10−254079号公報(特許文献1)は、1台のカメラを水平方向に敷設される軌道上に置き、カメラを軌道に沿って移動させながら被写体を2回撮影することにより左眼用の画像と右眼用の画像とを撮影し、3D画像を取得する技術を開示している。
【0004】
特開2009−103980号公報(特許文献2)は、一定時間間隔で連続して撮影を行い、連続した画像から安定パンニング中に撮影され、かつ両眼視差に最も近い位置で撮影された2枚組の画像の中から、最も滑らかにパンニングがされている2枚組みの画像を、最も立体視画像に適した2枚組みの画像として抽出し、左眼用画像と右眼用画像に振り分けて記録するという技術を開示している。
【0005】
ところで、3D画像撮影は2枚の画像を撮影し合成するという点で、パノラマ画像撮影と共通する技術が使われる。パノラマ画像撮影に関し、たとえば、特開2011−114802号公報(特許文献3)は、傾き検出部によって取得した傾きデータを使って、直前に撮影した画像の傾きに次に撮影した画像の傾きを一致させることで、2枚の画像の境界部分が綺麗に繋がるパノラマ画像を撮影する技術を開示している。特開平11−352568号公報(特許文献4)は、撮影者に構図の傾きを意識させることにより、つなぎ目に自然さのないパノラマ写真を生成する技術を開示している。
【0006】
また、特開2010−239564号公報(特許文献5)は、精度の高い3Dモデルを取得するための技術を開示している。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特開平10−254079号公報
【特許文献2】特開2009−103980号公報
【特許文献3】特開2011−114802号公報
【特許文献4】特開平11−352568号公報
【特許文献5】特開2010−239564号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
しかしながら、特許文献1に開示された装置によると、被写体に対して水平方向に敷設された軌道が必要になり、カメラは1台であっても装置全体が大掛かりなものになるという問題がある。
【0009】
特許文献2に開示された技術によると、カメラを水平に移動させて2回撮影するとき、手ぶれ等によって1回目の撮影時のカメラの傾きと2回目の撮影時のカメラの傾きとが変わると、撮影によって得られた左眼用の画像の傾きと右眼用の画像の傾きとが変わってしまう。その場合、傾きの違いが所定の範囲にない場合、左眼用の画像および右眼用の画像は、3D画像を作成する画像として採用されない。そのため、カメラを操作する人によっては、適切な立体感を持つ3D画像を作成するための左眼用の画像および右眼用の画像が容易に取得できない場合がある。
【0010】
特許文献3に開示された技術によると、直前の撮影によって得られた画像の傾きに対して、次の撮影によって得られた画像の傾きを一致させる際、2つの画像の傾きの違いが大きい場合には、2番目に撮影した画像を大幅に回転させる必要がある。しかしながら、大幅に画像を回転させることによって、2枚の画像を合成したときにカットされる画像領域(すなわち、2つの画像において重複しない領域)が大きくなり、画像合成のために必要な有効な矩形領域が小さくなるという問題があった。
【0011】
本発明はこのような事情に鑑みてなされたもので、ある局面における目的は、良好な立体感を持つ3D画像を得ることができる電子機器を提供することである。他の局面における目的は、より大きな3D画像を得ることができる電子機器を提供することである。
【0012】
他の局面における目的は、良好な立体感を持つ3D画像を得るために電子機器を制御するための方法を提供することである。他の局面における目的は、より大きな3D画像を得るために電子機器を制御するための方法を提供することである。
【0013】
さらに他の局面における目的は、良好な立体感を持つ3D画像を得るために電子機器を制御するためのプログラムを提供することである。他の局面における目的は、より大きな3D画像を得るために電子機器を制御するためのプログラムを提供することである。
【課題を解決するための手段】
【0014】
一実施の形態に従うと、三次元画像を取得可能な電子機器は、画像を取得するための撮像手段と、電子機器の姿勢を検出するためのセンサと、画像を表示領域に表示するためのモニタと、データを格納するためのメモリと、電子機器の動作を制御するための制御部とを備える。制御部は、第1の撮影指示に基づいて、第1の画像と、電子機器の第1の傾きとを取得するための第1の取得手段と、第2の撮影指示に基づいて、第2の画像と、電子機器の第2の傾きとを取得するための第2の取得手段と、第1の画像に基づいて、第1の傾きと第2の傾きとの間の角度に相当する第1の回転画像を生成するための第1の生成手段と、第2の画像に基づいて、第1の傾きと第2の傾きとの間の角度に相当する第2の回転画像を生成するための第2の生成手段と、第1の回転画像と第2の回転画像とに基づいて、三次元画像を生成するための合成手段とを含む。
【0015】
好ましくは、第1の取得手段は、第1の撮影指示が電子機器に与えられると、センサからの出力に基づいて、第1の傾きを検出し、第1の画像と、第1の傾きとを関連付けてメモリに格納する。第2の取得手段は、第2の撮影指示が電子機器に与えられると、センサからの出力に基づいて、第2の傾きを検出し、第2の画像と、第2の傾きとを関連付けてメモリに格納する。
【0016】
好ましくは、第1の傾きと第2の傾きとの間の角度は、第1の傾きと第2の傾きとの平均角度を含む。
【0017】
他の実施の形態に従うと、三次元画像を取得可能な電子機器を制御するための方法が提供される。電子機器は、画像を取得するためのカメラと、電子機器の姿勢を検出するためのセンサと、画像を表示領域に表示するためのモニタと、データを格納するためのメモリと、電子機器の動作を制御するためのプロセッサとを備える。この方法は、プロセッサが、第1の撮影指示に基づいて、第1の画像と、電子機器の第1の傾きとを取得するステップと、プロセッサが、第2の撮影指示に基づいて、第2の画像と、電子機器の第2の傾きとを取得するステップと、プロセッサが、第1の画像に基づいて、第1の傾きと第2の傾きとの間の角度に相当する第1の回転画像を生成するステップと、プロセッサが、第2の画像に基づいて、第1の傾きと第2の傾きとの間の角度に相当する第2の回転画像を生成するステップと、プロセッサが、第1の回転画像と第2の回転画像とに基づいて、三次元画像を生成するステップとを含む。
【0018】
他の実施の形態に従うと、三次元画像を取得可能な電子機器を制御するためのプログラムが提供される。電子機器は、画像を取得するためのカメラと、電子機器の姿勢を検出するためのセンサと、画像を表示領域に表示するためのモニタと、データを格納するためのメモリと、電子機器の動作を制御するためのプロセッサとを備える。プログラムは、プロセッサに、第1の撮影指示に基づいて、第1の画像と、電子機器の第1の傾きとを取得するステップと、第2の撮影指示に基づいて、第2の画像と、電子機器の第2の傾きとを取得するステップと、第1の画像に基づいて、第1の傾きと第2の傾きとの間の角度に相当する第1の回転画像を生成するステップと、第2の画像に基づいて、第1の傾きと第2の傾きとの間の角度に相当する第2の回転画像を生成するステップと、第1の回転画像と第2の回転画像とに基づいて、三次元画像を生成するステップとを実行させる。
【0019】
好ましくは、第1の撮影指示に基づいて、第1の画像と、電子機器の第1の傾きとを取得するステップは、第1の撮影指示が電子機器に与えられると、センサからの出力に基づいて、第1の傾きを検出するステップと、第1の画像と、第1の傾きとを関連付けてメモリに格納するステップとを含む。第2の撮影指示に基づいて、第2の画像と、電子機器の第2の傾きとを取得するステップは、第2の撮影指示が電子機器に与えられると、センサからの出力に基づいて、第2の傾きを検出するステップと、第2の画像と、第2の傾きとを関連付けてメモリに格納するステップとを含む。
【0020】
好ましくは、第1の傾きと第2の傾きとの間の角度は、第1の傾きと第2の傾きとの平均角度を含む。
【発明の効果】
【0021】
ある局面において、良好な立体感を持つ3D画像を得ることができる。他の局面において、より大きな3D画像を得ることができる。
【0022】
この発明の上記および他の目的、特徴、局面および利点は、添付の図面と関連して理解されるこの発明に関する次の詳細な説明から明らかとなるであろう。
【図面の簡単な説明】
【0023】
【図1】ある局面において、カメラを垂直方向からα度傾けて撮影した左目用の画像を表わす図である。
【図2】同様に、他の局面においてカメラを角度β傾けて撮影した右目用の画像である。
【図3】左目用の画像(図1)と右目用の画像(図2)とを重畳させることによって得られる画像を表わす図である。
【図4】左目用の画像と右目用の画像とをそれぞれ(α+β)/2(度)傾けた状態で重畳させた画像である。
【図5】情報機器の一態様である携帯電話500の外観を表わす図である。
【図6】携帯電話500のハードウェア構成を表わすブロック図である。
【図7】携帯電話500の機能的構成を表わすブロック図である。
【図8】携帯電話500のCPU10が実行する一連の処理の一部を表わすフローチャートである。
【図9】左目用の画像を撮影する位置920に携帯電話500がある状態と、左目用の画像を撮影する位置930に携帯電話500がある状態とを表わす図である。
【図10】本実施の形態に係る携帯電話500と被写体とをY軸方向から見た状態を表わす図である。
【図11】本実施の形態に係る携帯電話500によって取得される矩形領域1100と、従来の技術によって得られる矩形領域1110とを比較するための図である。
【図12】ある局面において左目用の画像と右目用の画像(図2)とを重畳させることによって得られる画像である。
【図13】図12に示される画像から、右目用の画像のみを回転させて重畳することによって得られた三次元表示のための画像である。
【図14】図12に示される画像から、左目用の画像と右目用の画像とをそれぞれ前述の傾きの半分に傾かせた状態で得られた画像を重畳することによって得られた三次元表示のための画像である。
【図15】コンピュータシステム1500のハードウェア構成を表わすブロック図である。
【発明を実施するための形態】
【0024】
以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。
【0025】
図1から図3を参照して、三次元で画像を表示するためのデータについて説明する。図1は、ある局面において、カメラが水平方向からα度傾いた状態で撮影が行なわれた場合に取得される左目用の画像100を表わす図である。この場合、被写体の画像は、垂直方向からα度傾いた状態で表示される。
【0026】
図2は、同様に、他の局面においてカメラがβ度傾いた状態で撮影が行なわれた場合に取得される右目用の画像200を表わす図である。この場合、被写体の画像は、垂直方向からβ度傾いた状態で表示される。
【0027】
図3は、左目用の画像(図1)と右目用の画像(図2)とを重畳させることによって得られる画像を表わす図である。図1〜3から明らかなように、角度βは、角度αよりも大きい。
【0028】
<技術思想>
図4を参照して、本実施の形態に係る技術思想について説明する。図4は、左目用の画像と右目用の画像とをそれぞれ水平方向から(α+β)/2(度)傾けた状態で重畳させた画像である。具体的には、画像100から画像410が得られ、画像200から画像420が得られる。画像410と画像420とは、重ね合わされると、一つの画像として認識される程度に傾きが一致している。
【0029】
より詳しくは、携帯電話500は、1回目の撮影によって画像100を取得し、2回目の撮影によって画像200を取得する。このとき、携帯電話500は、画像100を取得した際の携帯電話500の傾き(α度)と、画像200を取得した際の携帯電話500の傾き(β度)とを取得する。携帯電話500は、2枚の画像の各傾きの平均((α+β)/2)を算出する。携帯電話500は、画像100から回転画像410を導出し、画像200から回転画像420を導出する。回転画像410および回転画像420は、いずれも、水平方向から(α+β)/2度だけ傾いた画像として得られるので、携帯電話500が、回転画像410,420を用いて三次元表示を実行すると、ぶれのない3D画像が携帯電話500の使用者に視認され得る。
【0030】
<ハードウェア構成>
図5を参照して、本実施の形態に係る情報機器の構成について説明する。図5は、情報機器の一態様である携帯電話500の外観を表わす図である。携帯電話500は、スイッチ16と、レンズ510とを備える。なお、本実施の形態においては、携帯電話500は、1つのカメラを有する機器として実現されるが、他の局面において、2つのカメラを有する機器であってもよい。
【0031】
図6を参照して、本実施の形態に係る携帯電話500の構成についてさらに説明する。図6は、携帯電話500のハードウェア構成を表わすブロック図である。
【0032】
以下の例では、電子機器の一例として携帯電話500が例示されるが、電子機器は携帯電話500に限られない。本実施の形態に係る電子機器は、たとえば、デジタルカメラ、スマートフォン、ラップトップ型PC(Personal Computer)、タブレット型PC、電子書籍、PDA(Personal Digital Assistant)、携帯型ゲーム機その他の端末装置であって、撮影によって三次元表示の画像を生成できる電子機器であればよい。
【0033】
携帯電話500は、通信装置13と、チューナ12と、アンテナ14,15と、CPU(Central Processing Unit)10と、音声信号処理回路11と、測位処理部25と、測位信号受信フロントエンド部24と、GPS(Global Positioning System)アンテナ23と、カメラ17と、スピーカ27と、フラッシュメモリ18と、RAM(Random Access Memory)19と、ROM(Read Only Memory)20と、モニタ28と、バックライト29と、マイク26と、LED(Light Emitting Diode)30と、メモリカード駆動装置21と、データ通信I/F(Interface)31と、バイブレータ32と、センサ610とを備える。メモリカード駆動装置21には、メモリカード22が装着され得る。
【0034】
アンテナ14は、ワンセグ放送その他のテレビジョン放送信号を受信する。チューナ12は、CPU10の命令に従って番組を選局し、映像信号および音声信号をCPU10に伝送する。他の局面において、アンテナ14は、ラジオ放送を受信してもよい。アンテナ15によって受信された信号は、通信装置13によってフロントエンド処理が行なわれた後、処理後の信号は、CPU10に送られる。
【0035】
センサ610は、携帯電話500の姿勢を検知する。ある局面において、センサ610は、加速度センサとして実現される。センサ610は、携帯電話500が水平方向に対して傾いている角度を検出する。検出結果は、CPU10に入力される。
【0036】
CPU10は、携帯電話500に対して与えられる命令に基づいて携帯電話500の動作を制御するための処理を実行する。CPU10は、通信装置13から送られた信号に基づいて予め規定された処理を実行し、処理後の信号を音声信号処理回路11に送出する。音声信号処理回路11は、その信号に対して予め規定された信号処理を実行し、処理後の信号をスピーカ27に送出する。スピーカ27は、その信号に基づいて音声を出力する。
【0037】
スイッチ16は、携帯電話500に対する操作を受け付ける。スイッチ16は、物理的な操作キー、または、タッチパネル等で実現されるソフトウェアキーのいずれによっても構成される。
【0038】
マイク26は、携帯電話500に対する発話を受け付けて、発話された音声に対応する信号を音声信号処理回路11に対して送出する。音声信号処理回路11は、その信号に基づいて通話のために予め規定された処理を実行し、処理後の信号をCPU10に対して送出する。CPU10は、その信号を送信用のデータに変換し、変換後のデータを通信装置13に対して送出する。通信装置13は、そのデータを用いて送信用の信号を生成し、アンテナ15に向けてその信号を送出する。
【0039】
フラッシュメモリ18は、CPU10から送られるデータを格納する。また、CPU10は、フラッシュメモリ18に格納されているデータを読み出し、そのデータを用いて予め規定された処理を実行する。
【0040】
RAM19は、スイッチ16に対して行なわれた操作に基づいてCPU10によって生成されるデータを一時的に保持する。ROM20は、携帯電話500に予め定められた動作を実行させるためのプログラムあるいはデータを格納している。CPU10は、ROM20から当該プログラムまたはデータを読み出し、携帯電話500の動作を制御する。
【0041】
メモリカード駆動装置21は、メモリカード22に格納されているデータを読み出し、CPU10に送出する。逆にメモリカード駆動装置21は、CPU10によって出力されるデータを、メモリカード22の空き領域に書き込む。
【0042】
音声信号処理回路11は、上述のような通話のための信号処理を実行する。なお、図1に示される例では、CPU10と音声信号処理回路11とが別個の構成として示されているが、他の局面において、CPU10と音声信号処理回路11とが一体として構成されていてもよい。
【0043】
モニタ28は、CPU10から取得されるデータに基づいて、当該データによって規定される画像を表示する。たとえば、フラッシュメモリ18が格納している静止画像、動画像、文書、音楽ファイルの属性(当該ファイルの名前、演奏者、演奏時間など)を表示する。ある局面において、モニタ28は、二次元の画像と三次元の画像とを表示することができる。三次元の画像の表示は、たとえば、視差バリアを形成することによって実現されるが、三次元の表示のために他の方式が用いられてもよい。また、他の局面において、モニタ28は、タッチパネル式のディスプレイであってもよい。この場合、タッチパネルの機構は特に限られない。なお、画像を表示するための手段の態様は、モニタ28に限られず、たとえば、有機EL(Electro Luminescence)パネルを用いたモニタであってもよい。
【0044】
バックライト29は、発光することにより、モニタ28に対して光を供給する。ある局面において、バックライト29は、CPU10からの制御信号に基づいて光量を増加させ、または減少させることができる。
【0045】
LED30は、CPU10からの信号に基づいて、予め定められた発光動作を実現する。たとえば、LED30が複数の色を表示可能な場合には、LED30は、CPU10から出力される信号に含まれるデータに関連付けられている色で発光する。発光の態様(間隔、発光する色の数、点滅パターンなど)は特に限られない。
【0046】
データ通信I/F31は、データ通信用のケーブルの装着を受け付ける。データ通信I/F31は、CPU10から出力される信号を当該ケーブルに対して送出する。あるいは、データ通信I/F31は、当該ケーブルを介して受信されるデータを、CPU10に対して送出する。
【0047】
バイブレータ32は、CPU10から出力される命令に基づいて、フラッシュメモリ18において設定されている周波数で発振する。
【0048】
GPSアンテナ23は、GPS衛星から発信される信号を受信し、受信した信号を測位信号受信フロントエンド部24に送出する。測位信号受信フロントエンド部24は、少なくとも3つ(望ましくは4つ以上)のGSP衛星から受信した各信号に基づいてパターンマッチングを行ない、各信号に含まれるコードパターンと携帯電話500が保持するコードパターンとが一致した場合に、その信号を測位処理部25に送出する。
【0049】
測位処理部25は、その信号を用いて、測位処理を実行し、当該信号を受信した携帯電話500の位置を算出する。CPU10は、その算出結果をモニタ28に表示する。ある局面において、モニタ28は、測位処理部25が算出した携帯電話500の位置情報(たとえば緯度、経度、高度など)を地図上に重ねて表示してもよい。他の局面において、モニタ28は、カメラ17によって撮影された場所の画像と、当該場所の位置情報とを重ねて表示してもよい。
【0050】
本実施の形態に係る携帯電話500において、ある局面において、カメラ17は、モニタ28の表示領域の中心線上に配置されている。中心線は、たとえば、表示領域が線対称である場合における対称軸に相当する。
【0051】
<機能的構成>
図7を参照して、本実施の形態に係る携帯電話500によって実現される機能について説明する。図7は、携帯電話500の機能的構成を表わすブロック図である。携帯電話500は、撮像部710と、センサ720と、メモリ730と第1生成部740と、第2生成部750と、合成部760とを備える。
【0052】
ある局面において、左目用の画像を撮影するために使用者によって携帯電話500に与えられる第1の撮影指示は、撮像部710に入力される。撮像部710は、第1の撮影指示に基づいて撮影を実行し、得られた画像をメモリ730に格納する。また、第1の撮影指示は、センサ720に入力される。センサ720は、水平方向に対する携帯電話500の傾きを検出する。メモリ730は、第1の撮影指示によって得られた第1の画像731と、そのときの画像の傾きを表わす第1の傾き732とを関連付けて格納する。
【0053】
別の局面において、右目用の画像を撮影するために当該使用者によって携帯電話500に与えられる第2の撮影指示は、撮像部710に入力される。撮像部710は、その第2の撮影指示に基づいて撮影を実行し、得られた画像をメモリ730に格納する。第2の撮影指示は、センサ720にも入力される。センサ720は、第2の撮影指示に基づく撮影が行なわれた時の携帯電話500の水平方向に対する傾き(角度)を検出する。メモリ730は、第2の撮影指示に基づいて得られた第2の画像733と、そのときの携帯電話500の傾きを表わす第2の傾き734とを関連付けて格納する。
【0054】
第1生成部740は、第1の傾き732と第2の傾き734との間の角度と、第1の画像731とに基づいて、第1の回転画像761を生成する。たとえば、第1生成部740は、第1の傾き732と第2の傾き734との平均の傾きを算出し、左目用の画像として得られた第1の画像731を、その平均の傾きの角度まで回転することによって得られる画像を、第1の回転画像761として導出する。第1生成部740は、第1の回転画像761をメモリ730に格納する。
【0055】
第2生成部750は、第1の傾き732と第2の傾き734との間の上記角度と、第2の画像733とに基づいて、第2の回転画像762を生成する。たとえば、第2生成部750は、第1の傾き732と第2の傾き734との平均の傾きを算出し、右目用の画像として得られた第2の画像733を、その平均の傾きの角度まで回転することによって得られる画像を、第2の回転画像762として導出する。第2生成部750は、第2の回転画像762をメモリ730に格納する。
【0056】
合成部760は、第1の回転画像761と第2の回転画像762とを合成することによって三次元表示のための画像を生成する。
【0057】
<制御構造>
図8を参照して、本実施の形態に係る携帯電話500の制御構造について説明する。図8は、携帯電話500のCPU10が実行する一連の処理の一部を表わすフローチャートである。
【0058】
ステップS810にて、CPU10は、スイッチ16に対して与えられる指示に基づいて、携帯電話500の動作モードをカメラモードとして三次元の画像を取得するモードを起動する。
【0059】
ステップS815にて、CPU10は、カメラ17のレンズ510を通して得られた被写体の画像をモニタ28に表示する。
【0060】
ステップS820にて、CPU10は、スイッチ16に対して与えられる操作指示に基づいて、左目用の画像を撮影するための第1の撮影指示が携帯電話500に与えられたことを検知する。
【0061】
ステップS825にて、CPU10は、センサ610からの出力に基づいて、第1の傾き732を検出する。CPU10は、検出した第1の傾き732をRAM19に格納する。
【0062】
ステップS830にて、CPU10は、第1の撮影指示によって得られた第1の画像731と、第1の傾き732とを関連付けてフラッシュメモリ18に格納する。
【0063】
ステップS835にて、CPU10は、スイッチ16に対する操作に基づいて、右目用の画像を撮影するための第2の撮影指示が携帯電話500に与えられたことを検知する。
【0064】
ステップS840にて、CPU10は、センサ610からの出力に基づいて、第2の撮影指示が与えられたときの携帯電話500の傾きを表わす第2の傾き734を検出する。
【0065】
ステップS845にて、CPU10は、第2の撮影指示に基づいて撮影された第2の画像733と、第2の傾き734とを関連付けてフラッシュメモリ18に格納する。
【0066】
ステップS850にて、CPU10は、第1の傾き732と第2の傾き734との平均値を算出する。さらに、CPU10は、第1の画像731を、算出した上記平均値の角度まで回転することによって、第1の回転画像761を生成する。
【0067】
ステップS855にて、CPU10は、第2の画像733を、上記平均値の角度まで回転することによって、第2の回転画像762を生成する。
【0068】
ステップS860にて、CPU10は、第1の回転画像761と第2の回転画像762とに基づいて三次元画像を生成し、その三次元画像をフラッシュメモリ18に保存する。これにより、CPU10が、第1の回転画像761のデータおよび第2の回転画像762のデータを用いて表示処理を実行すると、ぶれのない三次元画像が使用者に視認され得る。
【0069】
図9を参照して、被写体と携帯電話500との位置関係について説明する。図9は、左目用の画像を撮影する位置920に携帯電話500がある状態と、左目用の画像を撮影する位置930に携帯電話500がある状態とを表わす図である。ここで、X軸は、携帯電話500の使用者が、左目用画像を撮影するための位置から右目用画像を撮影するための位置に移動する方向を表わす。Z軸は、使用者から被写体910に向かう方向を表わす。Y軸は、X軸に垂直な方向を表わす。
【0070】
図10を参照して、被写体とカメラレンズとの位置関係について説明する。図10は、本実施の形態に係る携帯電話500と被写体とをY軸方向から見た状態を表わす図である。
【0071】
左目用の画像撮影時におけるカメラレンズの位置920と右目用の画像撮影時におけるカメラレンズの位置930との中点から被写体910に向かう軸をZ軸とすると、左目用の画像撮影時におけるカメラレンズの位置920および右目用の画像撮影時におけるカメラレンズの位置930はそれぞれZ軸から約0.5cm離れている。
【0072】
図11を参照して、本実施の形態に係る携帯電話500によって得られる画像の領域と従来の方法によって得られる画像の領域とについて説明する。図11は、本実施の形態に係る携帯電話500によって取得される矩形領域1100と、従来の技術によって得られる矩形領域1110とを比較するための図である。
【0073】
図12から図14を参照して、本実施の形態に係る携帯電話500によって得られる画像について説明する。図12は、ある局面において左目用の画像と右目用の画像とを重畳させることによって得られる画像である。図13は、図12に示される画像から、右目用の画像のみを回転させて重畳することによって得られた三次元表示のための画像である。図14は、図12に示される画像から、左目用の画像と右目用の画像とをそれぞれ前述の傾きの半分に傾かせた状態で得られた画像を重畳することによって得られた三次元表示のための画像である。
【0074】
本実施の形態に係る携帯電話500によって実現される機能は、コンピュータによっても実現できる。すなわち、コンピュータのプロセッサが、当該機能を実現する処理ステップを実現するプログラムを実行することにより、当該機能を実現することができる。
【0075】
そこで、図15を参照して、当該機能を実現するコンピュータシステム1500について説明する。図15は、コンピュータシステム1500のハードウェア構成を表わすブロック図である。
【0076】
コンピュータシステム1500は、主たる構成要素として、プログラムを実行するCPU1と、コンピュータシステム1500の使用者による指示の入力を受けるマウス2およびキーボード3と、CPU1によるプログラムの実行により生成されたデータ、又はマウス2若しくはキーボード3を介して入力されたデータを揮発的に格納するRAM4と、データを不揮発的に格納するハードディスク5と、光ディスク駆動装置6と、モニタ8と、通信IF(Interface)9とを備える。各構成要素は、相互にバスによって接続されている。光ディスク駆動装置6には、CD−ROM9その他の光ディスクが装着される。
【0077】
コンピュータシステム1500における処理は、各ハードウェアおよびCPU1により実行されるソフトウェアによって実現される。このようなソフトウェアは、ハードディスク5に予め格納されている場合がある。また、ソフトウェアは、CD−ROM9その他のコンピュータ読み取り可能なデータ記録媒体に格納されて、プログラム製品として流通している場合もある。あるいは、当該ソフトウェアは、インターネットその他のネットワークに接続されている情報提供事業者によってダウンロード可能なプログラム製品として提供される場合もある。このようなソフトウェアは、光ディスク駆動装置6その他のデータ読取装置によってデータ記録媒体から読み取られて、あるいは、通信IF7を介してダウンロードされた後、ハードディスク5に一旦格納される。そのソフトウェアは、CPU1によってハードディスク5から読み出され、RAM4に実行可能なプログラムの形式で格納される。CPU1は、そのプログラムを実行する。
【0078】
図15に示されるコンピュータシステム1500を構成する各構成要素は、一般的なものである。したがって、本発明の本質的な部分は、RAM4、ハードディスク5、CD−ROM9その他のデータ記録媒体に格納されたソフトウェア、あるいはネットワークを介してダウンロード可能なソフトウェアであるともいえる。なお、コンピュータシステム1500の各ハードウェアの動作は周知であるので、詳細な説明は繰り返さない。
【0079】
なお、データ記録媒体としては、CD−ROM、FD(Flexible Disk)、ハードディスクに限られず、磁気テープ、カセットテープ、光ディスク(MO(Magnetic Optical Disc)/MD(Mini Disc)/DVD(Digital Versatile Disc))、IC(Integrated Circuit)カード(メモリカードを含む)、光カード、マスクROM、EPROM(Electronically Programmable Read-Only Memory)、EEPROM(Electronically Erasable Programmable Read-Only Memory)、フラッシュROMなどの半導体メモリ等の固定的にプログラムを担持する媒体でもよい。
【0080】
ここでいうプログラムとは、CPUにより直接実行可能なプログラムだけでなく、ソースプログラム形式のプログラム、圧縮処理されたプログラム、暗号化されたプログラム等を含み得る。
【0081】
<実施の形態の効果>
以上のようにして、本実施の形態に係る携帯電話500によると、2回の撮影が行なわれた場合において、ぶれの少ない良好な三次元の画像を得ることができる。
【0082】
すなわち、本実施の形態によれば、1台のカメラを水平方向に移動させて2回撮影することにより、左眼用の画像と右眼用の画像とを撮影し、2枚の撮影画像を1枚に合成して3D画像を作成するカメラによって得られる3D画像の品質を向上することができる。1回目の撮影によって得られた画像の水平方向に対する角度と2回目の撮影によって得られた画像の水平方向に対する角度とが撮影時の手ぶれ等によって変わっても、適切な立体感を持つ3D画像を作成することができる。その際、2枚の画像を互いに回転させることによって、3D画像を得るために撮影によって得られた各画像の合成に必要な有効な矩形領域を大きくすることができる。
【0083】
なお、本実施の形態においては、1つのカメラを備える携帯電話500が例示されたが、本実施の形態に係る技術思想の適用は、そのような構成を有する電子機器に限られない。たとえば、2つのカメラを有するスマートフォンにおいて、そのうちの一つのカメラが故障している時、あるいは、そのカメラのレンズが汚れている場合に、撮影のために有効な他のカメラのみを用いて、当該スマートフォンの使用者に2回目の撮影を促すことにより、3D画像用のデータが取得される構成が適用されてもよい。
【0084】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【0085】
2 マウス、3 キーボード、4,19 RAM、5 ハードディスク、6 光ディスク駆動装置、8,28 モニタ、9,20 ROM、11 音声信号処理回路、12 チューナ、13 通信装置、14,15,23 アンテナ、16 スイッチ、17 カメラ、18 フラッシュメモリ、21 メモリカード駆動装置、22 メモリカード、24 測位信号受信フロントエンド部、25 測位処理部、26 マイク、27 スピーカ、29 バックライト、31 データ通信IF、32 バイブレータ、500 携帯電話、510 レンズ、610,720 センサ、710 撮像部、730 メモリ、740 第1生成部、750 第2生成部、760 合成部、761 第1の回転画像、762 第2の回転画像、910 被写体、920,930 位置、1100,1110 矩形領域、1500 コンピュータシステム。

【特許請求の範囲】
【請求項1】
三次元画像を取得可能な電子機器であって、
画像を取得するための撮像手段と、
前記電子機器の姿勢を検出するためのセンサと、
画像を表示領域に表示するためのモニタと、
データを格納するためのメモリと、
前記電子機器の動作を制御するための制御部とを備え、
前記制御部は、
第1の撮影指示に基づいて、第1の画像と、前記電子機器の第1の傾き角度とを取得するための第1の取得手段と、
第2の撮影指示に基づいて、第2の画像と、前記電子機器の第2の傾き角度とを取得するための第2の取得手段と、
前記第1の画像に基づいて、前記第1の傾き角度と前記第2の傾き角度との間の角度に相当する第1の回転画像を生成するための第1の生成手段と、
前記第2の画像に基づいて、前記第1の傾き角度と前記第2の傾き角度との間の前記角度に相当する第2の回転画像を生成するための第2の生成手段と、
前記第1の回転画像と前記第2の回転画像とに基づいて、三次元画像を生成するための合成手段とを含む、電子機器。
【請求項2】
前記第1の取得手段は、
前記第1の撮影指示が前記電子機器に与えられると、前記センサからの出力に基づいて、前記第1の傾き角度を検出し、
前記第1の画像と、前記第1の傾き角度とを関連付けて前記メモリに格納し、
前記第2の取得手段は、
前記第2の撮影指示が前記電子機器に与えられると、前記センサからの出力に基づいて、前記第2の傾き角度を検出し、
前記第2の画像と、前記第2の傾き角度とを関連付けて前記メモリに格納する、請求項1に記載の電子機器。
【請求項3】
前記第1の傾き角度と前記第2の傾き角度との間の角度は、前記第1の傾き角度と前記第2の傾き角度との平均角度を含む、請求項1に記載の電子機器。
【請求項4】
三次元画像を取得可能な電子機器を制御するための方法であって、前記電子機器は、画像を取得するためのカメラと、前記電子機器の姿勢を検出するためのセンサと、画像を表示領域に表示するためのモニタと、データを格納するためのメモリと、前記電子機器の動作を制御するためのプロセッサとを備えており、前記方法は、
前記プロセッサが、第1の撮影指示に基づいて、第1の画像と、前記電子機器の第1の傾き角度とを取得するステップと、
前記プロセッサが、第2の撮影指示に基づいて、第2の画像と、前記電子機器の第2の傾き角度とを取得するステップと、
前記プロセッサが、前記第1の画像に基づいて、前記第1の傾き角度と前記第2の傾き角度との間の角度に相当する第1の回転画像を生成するステップと、
前記プロセッサが、前記第2の画像に基づいて、前記第1の傾き角度と前記第2の傾き角度との間の前記角度に相当する第2の回転画像を生成するステップと、
前記プロセッサが、前記第1の回転画像と前記第2の回転画像とに基づいて、三次元画像を生成するステップとを含む、方法。
【請求項5】
三次元画像を取得可能な電子機器を制御するためのプログラムであって、前記電子機器は、画像を取得するためのカメラと、前記電子機器の姿勢を検出するためのセンサと、画像を表示領域に表示するためのモニタと、データを格納するためのメモリと、前記電子機器の動作を制御するためのプロセッサとを備えており、前記プログラムは、前記プロセッサに、
第1の撮影指示に基づいて、第1の画像と、前記電子機器の第1の傾き角度とを取得するステップと、
第2の撮影指示に基づいて、第2の画像と、前記電子機器の第2の傾き角度とを取得するステップと、
前記第1の画像に基づいて、前記第1の傾き角度と前記第2の傾き角度との間の角度に相当する第1の回転画像を生成するステップと、
前記第2の画像に基づいて、前記第1の傾き角度と前記第2の傾き角度との間の前記角度に相当する第2の回転画像を生成するステップと、
前記第1の回転画像と前記第2の回転画像とに基づいて、三次元画像を生成するステップとを実行させる、プログラム。
【請求項6】
第1の撮影指示に基づいて、第1の画像と、前記電子機器の第1の傾き角度とを取得するステップは、
前記第1の撮影指示が前記電子機器に与えられると、前記センサからの出力に基づいて、前記第1の傾き角度を検出するステップと、
前記第1の画像と、前記第1の傾き角度とを関連付けて前記メモリに格納するステップとを含み、
第2の撮影指示に基づいて、第2の画像と、前記電子機器の第2の傾き角度とを取得するステップは、
前記第2の撮影指示が前記電子機器に与えられると、前記センサからの出力に基づいて、前記第2の傾き角度を検出するステップと、
前記第2の画像と、前記第2の傾き角度とを関連付けて前記メモリに格納するステップとを含む、請求項5に記載のプログラム。
【請求項7】
前記第1の傾き角度と前記第2の傾き角度との間の角度は、前記第1の傾き角度と前記第2の傾き角度との平均角度を含む、請求項5または6に記載のプログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図15】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate


【公開番号】特開2013−78039(P2013−78039A)
【公開日】平成25年4月25日(2013.4.25)
【国際特許分類】
【出願番号】特願2011−217577(P2011−217577)
【出願日】平成23年9月30日(2011.9.30)
【出願人】(000005049)シャープ株式会社 (33,933)
【Fターム(参考)】