説明

電子機器

【課題】三次元画像で表示可能な画像を好適に撮影できる電子機器を提供すること。
【解決手段】筐体と、筐体に配置され、被写体を撮影する撮影部と、被写体の撮影部に対する相対的な回転角度を検出する角度検出部と、撮影部で撮影した画像と角度検出部で検出した当該画像の撮影時の被写体の角度とを対応つけて記憶する記憶部と、を有し、記憶部に記憶された画像は、記憶部に記憶された同一被写体の他の画像と組み合わせて表示することで三次元画像となる画像であることで上記課題を解決する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、三次元画像で表示可能な画像の撮影を行う電子機器に関する。
【背景技術】
【0002】
近年では、三次元画像を表示させる電子機器が提案されている。この電子機器に表示させる三次元画像を撮影する装置は、例えばミラー等を配置して角度をずらした2つの画像を撮影することで、三次元画像として再生可能な画像を撮影できる(特許文献1、2、3参照)。また、複数台の撮影装置を配置して夫々の撮影装置で同時に画像を撮影することでも、三次元画像として再生可能な画像を撮影できる(特許文献4参照)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2000−92517号公報
【特許文献2】特開2000−134641号公報
【特許文献3】特開2004−70302号公報
【特許文献4】特開平11−341518号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献1から3に記載の装置は、画像を撮影する撮影機構として三次元画像を撮影するための光学系、撮像素子が必要となる。また、特許文献4に記載の装置は、複数台の撮影装置が必要となる。このため、装置構成が複雑化、大型化し、装置が高価になる。
【0005】
また、三次元画像を撮影する装置としては、ユーザが1つの電子機器で1回目の撮影をした後、場所を移動して2回目の撮影を行うことで、三次元画像として再生可能な画像を撮影する装置もある。このように場所を移動しつつ2枚の画像を取得することで1枚の画像を撮影できない電子機器でも三次元画像として再生可能な画像を撮影することができる。
【0006】
しかしながら、1台の装置で移動しながら撮影する方法では、撮影領域のずれや被写体との距離のずれ等が生じ、撮影した画像が三次元画像にならない、つまり立体画像に見えない恐れがある。
【0007】
本発明は、上記に鑑みてなされたものであって、三次元画像で表示可能な画像を好適に撮影できる電子機器を提供することを目的とする。
【課題を解決するための手段】
【0008】
上述した課題を解決し、目的を達成するために、本発明は、電子機器であって、筐体と、前記筐体に配置され、被写体を撮影する撮影部と、前記被写体の前記撮影部に対する相対的な回転角度を検出する角度検出部と、前記撮影部で撮影した画像と、前記角度検出部で検出した当該画像の撮影時の被写体の角度と、を対応つけて記憶する記憶部と、を有し、前記記憶部に記憶された画像は、前記記憶部に記憶された同一被写体の他の画像と組み合わせて表示することで三次元画像となる画像である。
【0009】
ここで、前記角度検出部は、前記撮影部で取得した画像を解析し、前記被写体とともに相対的に回転する角度特定部の位置を検出することで、前記被写体の相対的な回転角度を検出することが好ましい。
【0010】
また、前記角度検出部は、前記撮影部で取得した画像を解析し、前記被写体の特徴点を検出し、前記特徴点を前記角度特定部とすることが好ましい。
【0011】
また、前記角度検出部は、前記被写体の形状を検出する形状検出部を有し、前記形状検出部で検出した被写体の形状の変化に基づいて前記被写体の回転角度を検出することが好ましい。
【0012】
また、前記角度検出部は、前記被写体を支持している支持台の角度情報を取得し、前記支持台の角度情報に基づいて前記被写体の角度変化を検出することが好ましい。
【0013】
また、前記記憶部は、前記筐体と前記被写体との距離を算出する距離算出部を有し、前記距離算出部で算出した距離と前記角度検出部で検出した角度を対応付けて記憶することが好ましい。
【0014】
また、前記距離算出部は、前記撮影部で検出した焦点距離に基づいて、前記被写体との距離を算出することが好ましい。
【0015】
また、前記撮影部は、前記角度検出部で前記被写体が回転したことを検出した場合、撮影を行うことが好ましい。
【0016】
また、前記撮影部は、連続して画像を撮影することが好ましい。
【0017】
また、前記撮影部は、前記角度検出部で検出した被写体の回転角度と既に撮影した画像に対応付けられた被写体の回転角度とに基づいて、当該既に撮影した画像と組み合わせて表示することで三次元表示ができる位置に前記被写体が配置されているときには、画像を撮影することが好ましい。
【0018】
また、前記撮影部は、1つの被写体に対して、前記被写体を三次元表示できる画像の組み合わせを複数の異なる回転角度で撮影することが好ましい。
【0019】
また、複数の画像を重ねて表示させて三次元画像を表示可能な表示部と、どの回転角度からの三次元画像を表示させるかの操作を受け付ける操作部と、をさらに有し、前記表示部は、前記操作部で検出した操作と前記画像データに対応付けられた角度情報とに基づいて、少なくとも2枚の画像データにより前記被写体を三次元画像として表示することが好ましい。
【発明の効果】
【0020】
本発明にかかる電子機器は、三次元画像で表示可能な画像を好適に撮影できるという効果を奏する。
【図面の簡単な説明】
【0021】
【図1】図1は、携帯電話端末の外観を示す正面図である。
【図2】図2は、カメラの概略構成を示す説明図である。
【図3】図3は、携帯電話端末の機能の概略構成を示すブロック図である。
【図4】図4は、画像フォルダに記憶されるデータの一例を示す説明図である。
【図5】図5は、携帯電話端末の撮影動作を説明するための説明図である。
【図6】図6は、携帯電話端末の撮影動作表示される画面の一例を示す説明図である。
【図7】図7は、携帯電話端末の撮影動作時の処理の一例を示すフロー図である。
【図8】図8は、携帯電話端末の撮影動作を説明するための説明図である。
【図9】図9は、携帯電話端末の撮影動作表示される画面の一例を示す説明図である。
【図10】図10は、携帯電話端末の撮影動作を説明するための説明図である。
【図11】図11は、携帯電話端末の撮影動作表示される画面の一例を示す説明図である。
【図12】図12は、携帯電話端末の表示動作時の処理の一例を示すフロー図である。
【図13】図13は、携帯電話端末の表示動作を説明するための説明図である。
【発明を実施するための形態】
【0022】
以下、本発明につき図面を参照しつつ詳細に説明する。なお、以下の説明により本発明が限定されるものではない。また、以下の説明における構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。以下においては、電子機器として携帯電話端末を例として説明するが、本発明の適用対象は携帯電話端末に限定されるものではなく、三次元(3D)画像表示機能および画像撮影機能の少なくとも一方を備える各種装置、例えば、PHS(Personal Handy-phone System)、PDA、ポータブルナビゲーション装置、パーソナルコンピュータ、ゲーム機等に対しても本発明は適用できる。また、三次元(3D)画像表示機能のみを有する電子機器の場合は、携帯電子機器に限定されず、テレビ、モニタ等、固定型の各種装置にも用いることができる。
【0023】
図1は、本発明の携帯電子機器の一実施形態である携帯電話端末1の外観を示す正面図であり、携帯電話端末1は、薄板状の筐体12を有する。携帯電話端末1は、筐体12の表面に、タッチパネル2と、ボタン20、ボタン22及び入力デバイス24からなる入力部3と、レシーバ7と、マイク8と、カメラ16と、が配置されている。タッチパネル2は、板状の筐体12の面積が最も広い面に配置されている。また、入力部3も、筐体12のタッチパネル2が配置されている面の、長手方向の一方の端部に配置されている。入力部3は、短手方向の一方から他方に向かって、ボタン20、入力デバイス24、ボタン22の順で配置されている。また、レシーバ7は、筐体12のタッチパネル2が配置されている面の長手方向の他方の端部、つまり、入力部3が配置されている端部とは反対側の端部に配置されている。また、マイク8は、筐体12のタッチパネル2が配置されている面の長手方向の一方の端部、つまり、入力部3が配置されている端部に配置されている。また、カメラ16は、タッチパネル2が配置されている面とは反対側の面に配置されている。
【0024】
タッチパネル2は、文字、図形、画像等を表示するとともに、指、スタイラス、ペン(ペンの先端、棒状部材の先端)等(以下、単に「指」という)を用いてタッチパネル2に対して行われる各種動作を検出する。例えば、携帯電話端末1は、利用者から文字の入力を受け付けるために、タッチパネル2上に仮想キーボードを表示させる。携帯電話端末1は、タッチパネル2上に仮想キーボードを表示させた状態で、指によってタッチパネル2に入力される各種動作を検出し、仮想キーボードのどのキーが押下されたか、接触されたかを検出し、押下、接触を検出したキーを入力したキーとすることで、文字入力を行うことができる。また、タッチパネル2は、文字の入力によらず、表示させている画像と、指によってタッチパネル2に対して行われる各種動作とに基づいて、各種操作の入力を検出し、入力された操作に基づいて各種制御を行う。
【0025】
入力部3は、ボタン20、22が押下された場合に、押下されたボタンに対応する機能を起動させる。また、入力部3は、入力デバイス24に入力された動作も操作として検出し、入力された操作に基づいて各種制御を行う。例えば、入力デバイス24は、方向指示操作や決定操作を検出する。入力デバイス24は、タッチパッド、光学式入力デバイス、4方及び中央にボタンを備える入力デバイス等で構成される。
【0026】
カメラ16は、画像を撮影する撮影装置であり、図2に示すように、撮影窓52と光学系54と受光部58と撮影角度調整機構59とを有する。撮影窓52は、筐体12のタッチパネル2が配置されている面とは反対側の面に露出して配置されている。撮影窓52は、透明な部材で構成されており、筐体12の外部の光から入射する光を内部に入射(案内)させる。光学系54は、撮影窓52から筐体12内部に入射した光を受光部58に案内するレンズ等の光学部材で構成されている。なお、光学系54は、撮影窓52から入射した光のうち、所定の角度範囲(撮影領域)から入射した光を選択的に受光部58に案内する。受光部58は、撮影領域の画像情報を取得する装置であり、受光面にフォトダイオードをマトリックス状に配列させた撮像素子(CMOSイメージセンサ、CCDイメージセンサ等)を備える。受光部58は、受光面に画像が結像されると、撮像素子で結像された画像を読み取り、読み取った画像を電子データである画像情報に変換する。撮影角度調整機構59は、光学系54の角度を調整し、撮影窓52から入射し、受光部58に入射される光の範囲を調整する。つまり、撮影角度調整機構59は、光軸の位置を調整する。撮影角度調整機構59は、光学系54の少なくとも1つのレンズの位置を調整する機構、光学系54の全体の向きを調整する機構等で構成される。また、撮影角度調整機構59は、撮影領域の移動に伴い、受光部58の位置も移動させる。なお、撮影角度調整機構59は、手振れ補正処理も行うことができるようにしてもよい。
【0027】
カメラ16は、以上のような構成であり、撮影窓52から入射した撮影領域の光を光学系54で受光部58に案内し、受光部58で結像された光を読み取ることで、撮影領域の画像を取得する。また、カメラ16は、撮影角度調整機構59で撮影領域の角度を調整することができる。なお、カメラ16は、これらの機能に加え、オートフォーカス機能やズーム機能も備えている。
【0028】
次に、携帯電話端末1の機能と制御部との関係を説明する。図3は、図1に示す携帯電話端末1の機能の概略構成を示すブロック図である。図3に示すように携帯電話端末1は、タッチパネル2と、入力部3と、電源部5と、通信部6と、レシーバ7と、マイク8と、記憶部9と、主制御部10と、RAM(Random Access Memory)11と、カメラ16と、を有する。なお、本実施形態では、カメラ16で撮影した画像を主制御部10で解析する機能(後述する位置検出プログラム9Dで実現される機能)が被写体の角度(被写体60のカメラ16に対する相対的な回転角度)を検出する角度検出部となる。また、カメラ16で検出した焦点距離を主制御部10で解析する機能(後述する位置検出プログラム9Dで実現される機能)が自身(筐体12)と被写体との距離を検出する距離算出部となる。
【0029】
タッチパネル2は、表示部2Bと、表示部2Bに重畳されたタッチセンサ2Aとを有する。タッチセンサ2Aは、指を用いてタッチパネル2に対して行われた各種動作を、動作が行われた場所のタッチパネル2上での位置とともに検出する。タッチセンサ2Aによって検出される動作には、指をタッチパネル2の表面に接触させる動作や、指をタッチパネル2の表面に接触させたまま移動させる動作や、指をタッチパネル2の表面から離す動作が含まれる。なお、タッチセンサ2Aは、感圧式、静電式等のいずれの検出方式を採用していてもよい。表示部2Bは、例えば、液晶ディスプレイ(LCD、Liquid Crystal Display)や、有機EL(Organic Electro−Luminescence)パネル等で構成され、文字、図形、画像等を表示する。また、表示部2Bは、複数の画像を重ねて表示させて三次元(3D)画像、つまり利用者が立体視できる画像を表示できる。つまり、表示部2Bは、複数の画像を重ねて表示させることで三次元(3D)画像を表示できる。
【0030】
入力部3は、上述したようにボタン20、22と、入力デバイス24とを有する。ボタン20、22は、物理的な入力(押下)を通じて利用者の操作を受け付け、受け付けた操作に対応する信号を主制御部10へ送信する。また、入力デバイス24も、利用者の操作を受け付け、受け付けた操作に対応する信号を主制御部10へ送信する。
【0031】
電源部5は、蓄電池または外部電源から得られる電力を、主制御部10を含む携帯電話端末1の各機能部へ供給する。通信部6は、基地局によって割り当てられるチャネルを介し、基地局との間でCDMA方式等による無線信号回線を確立し、基地局との間で電話通信及び情報通信を行う。レシーバ7は、電話通信における相手側の音声や着信音等を出力する。マイク8は、利用者等の音声を電気的な信号へ変換する。
【0032】
記憶部9は、例えば、不揮発性メモリや磁気記憶装置であり、主制御部10での処理に利用されるプログラムやデータを保存する。具体的には、記憶部9は、メールの送受信や閲覧のためのメールプログラム9Aや、WEBページの閲覧のためのブラウザプログラム9Bや、カメラ16で画像を撮影するためのカメラプログラム9Cやカメラ16で撮影下画像等の解析結果に基づいて自身の位置または自身と被写体との相対位置を検出するための位置検出プログラム9Dや、3D(三次元)画像として表示可能な画像を撮影するためおよび3D画像を表示するための3D(三次元)画像処理プログラム9Eや、各種プログラムを実行する際に用いる各種条件を対応付けた処理条件テーブル9Fや、撮影等により取得された画像が格納された画像フォルダ9Gを記憶する。また、記憶部9には、携帯電話端末1の基本的な機能を実現するオペレーティングシステムプログラムや、氏名、電話番号、メールアドレス等が登録されたアドレス帳データ等の他のプログラムやデータも記憶される。また、記憶部9には、タッチパネル2に入力された入力操作に基づいて制御動作、処理を決定するプログラム等も記憶される。なお、制御動作、処理とは、携帯電話端末1で実行する各種動作、処理が含まれ、例えば、カーソル、ポインタの移動、画面の表示切替、文字入力処理、各種アプリケーションの起動処理、終了処理がある。
【0033】
ここで、図4は、画像フォルダに記憶されるデータの一例を示す説明図である。画像フォルダ9Gには、図4に示すように、複数の画像データが記憶されており、夫々の画像データに対して、フォルダ名、ファイル名、座標情報が対応付けられている。なお、画像ファイル9Gには、同一の被写体について撮影した画像データが同じフォルダ名で対応付けられ、記憶されている。また、座標情報は、被写体と撮影位置との相対位置の情報であり、同じフォルダに対応付けられている画像データは、同一軸で算出された座標情報が対応付けられている。
【0034】
主制御部10は、例えば、CPU(Central Processing Unit)であり、携帯電話端末1の動作を統括的に制御する。具体的には、主制御部10は、記憶部9に記憶されているデータを必要に応じて参照しつつ、記憶部9に記憶されているプログラムを実行して、タッチパネル2、入力部3、通信部6、カメラ16等を制御することによって各種処理を実行する。主制御部10は、記憶部9に記憶されているプログラムや、処理を実行することによって取得/生成/加工されたデータを、一時的な記憶領域を提供するRAM11に必要に応じて展開する。なお、主制御部10が実行するプログラムや参照するデータは、通信部6による無線通信でサーバ装置からダウンロードすることとしてもよい。
【0035】
カメラ16は、上述したように画像を撮影する撮影窓52が、筐体12から露出して配置されており、撮影領域の画像を取得する撮像機構である。
【0036】
次に、図5から図7を用いて、撮影動作(三次元画像として表示可能な画像を撮影する撮影動作)の一例について説明する。図5は、携帯電話端末の撮影動作を説明するための説明図である。図6は、携帯電話端末の撮影動作表示される画面の一例を示す説明図である。
【0037】
図5に示すように、携帯電話端末1が撮影する対象の被写体60は、支持台70に載置されている。支持台70は、回転可能な部材である。なお、本実施形態では、紙、薄板等の薄い板状部材を用いるが、土台に回転可能な状態で支持されているターンテーブルを用いてもよい。支持台70は、被写体60が載置されている部分の周りに、被写体60を中心とした円71が配置され、円71上に90度間隔でマーク72、74、76、78が配置されている。つまり、被写体60は、支持台70の円71の中心に載置されている。また、マーク72の位置を0度の位置とし矢印79の方向をなす角とした場合、マーク74は90度の位置に配置され、マーク76は180度の位置に配置され、マーク78は270度の位置に配置される。マーク72は、四角形状であり、マーク74は、丸形状であり、マーク76は、ハート形状であり、マーク78は三角形状である。なお、円71、マーク72、74、76、78は、支持台70に印刷等で形成しても、着脱可能な状態で配置してもよい。なお、円71、マーク72、74、76、78は、支持台70に固定されており、支持台70と一体で移動する。また、被写体60も支持台70と一体で回転する。
【0038】
図5に示す状態で、角度0度の方向から携帯電話端末1が画像を撮影すると、図6に示すように、撮影した画像がタッチパネル2に表示される。ここで撮影した画像は、被写体60の画像80と、円71の画像81と、マーク72の画像82と、マーク74の画像84と、マーク78の画像88と、を含む画像となる。携帯電話端末1は、撮影した画像に含まれるマーク72の画像82と、マーク74の画像84と、マーク78の画像88との位置関係を解析することで、被写体の角度を検出することができる。なお、被写体の角度は、任意の位置を基準位置として、その位置からの回転角度(角度のズレ)であり、被写体60のカメラ16に対する相対的な回転角度である。
【0039】
携帯電話端末1は、このように、被写体60が載置され、被写体60とともに回転する支持台70に配置したマークの位置を検出することで、被写体60の角度を検出することができる。また、携帯電話端末1は、撮影時にカメラ16で検出される焦点距離を用いることで自身(筐体12)と被写体60との距離を算出することができる。携帯電話端末1は、このようにして算出した被写体60の角度と、自身(筐体12)と被写体60との距離と、を用いることで、被写体60のカメラ16に対する相対的な回転角度を含む自身(筐体12)と被写体60との相対的な位置関係(座標情報)算出することができる。
【0040】
次に、図7を用いて、携帯電話端末1の処理動作について説明する。ここで、図7は、携帯電話端末の撮影動作時の処理の一例を示すフロー図である。図7に示す処理は、携帯電話端末1により三次元画像で表示可能な画像を撮影する撮影動作の一例である。図7に示す処理手順は、カメラプログラム9C、位置検出プログラム9D、3D画像処理プログラム9Eが提供する機能に基づいて繰り返し実行される。より具体的には、カメラプログラム9Cが提供する機能(画像撮影機能)、位置検出プログラム9Dが提供する機能(位置検出機能)により取得した各種検出結果および画像を3D画像処理プログラム9Eが提供する機能に基づいて、解析してカメラプログラム9Cが提供する機能(撮影機能)の動作を制御し、被写体の撮影を行う。携帯電話端末1は、三次元画像の撮影を行う機能を起動する指示が入力された場合、図7に示す処理を行う。
【0041】
携帯電話端末1は、ステップS12としてカメラ16を起動させる。携帯電話端末1は、ステップS12でカメラ16を起動させたら、ステップS14として、撮影の開始指示を検出する。具体的には、携帯電話端末1は、利用者からの撮影開始指示(シャッタ)の押下等を検出する。
【0042】
携帯電話端末1は、ステップS14で撮影の開始指示を検出したら、ステップS16として画像の撮影を行う。つまり、画像を取得する。携帯電話端末1は、取得した画像のデータをRAM11、記憶部9等に一時的に保存する。携帯電話端末1は、ステップS16で画像を取得したら、ステップS18として相対位置情報、つまり座標情報を取得する。具体的には、携帯電話端末1は、取得した画像を解析し、画像に含まれるマークを抽出し、マークの位置で被写体の角度を検出し、さらにカメラ16のフォーカス機能で自身(筐体12)と被写体との距離を検出し、相対的な位置関係(相対位置)の情報を取得する。なお、携帯電話端末1は、最初に検出した相対位置を基準の相対位置とする。携帯電話端末1は、取得した撮影位置情報を一時的に保存する。
【0043】
携帯電話端末1は、ステップS18で撮影位置情報を取得したら、ステップS20として、撮影した画像を保存するかを判定する。なお、撮影した画像を保存するかの基準は、種々の設定とすることができる。例えば、既に撮影し保存している画像と組み合わせることで被写体の立体画像を表示することが可能な座標である場合は保存すると判定する設定とすることができる。また、座標情報の被写体の角度が予め設定した角度である場合は保存すると判定する設定とすることもできる。また、座標情報の被写体の角度が直前に保存した画像の被写体の角度から変化している場合は保存すると判定する設定とすることもできる。
【0044】
携帯電話端末1は、ステップS20で画像を保存する(Yes)と判定したら、ステップS22として、一時保存を維持する。つまり、取得した画像データとそれに対応する座標情報をそのまま維持する。携帯電話端末1は、ステップS20で画像を保存しない(No)と判定したら、ステップS24として、画像データを破棄する。つまり、判定対象である画像データとそれに対応する座標情報を破棄する。
【0045】
携帯電話端末1は、ステップS22またはステップS24の処理を行ったら、ステップS26として、撮影完了かを判定する。ここで、撮影完了かの判定の基準は、種々の設定とすることができる。例えば、被写体が設定した角度分回転した場合、撮影が完了したと判定する設定や、利用者が入力した終了指示を検出した場合、撮影が完了したと判定する設定等とすることができる。
【0046】
携帯電話端末1は、ステップS26で撮影完了ではない(No)と判定したら、ステップS16に進み、上述した処理を繰り返す。携帯電話端末1は、ステップS26で撮影完了である(Yes)と判定したら、ステップS28として、保存処理を行う。具体的には、携帯電話端末1は、撮影した画像と位置情報とを対応付けて記憶部9の画像フォルダ9Gに保存する。なお、携帯電話端末1は、タッチパネル2に撮影した画像および撮影した画像を保存するかの問い合わせ画像を表示させ、利用者による保存指示を検出したら画像を保存してもよい。携帯電話端末1は、ステップS28の保存処理を行ったら、本処理を終了する。
【0047】
このように、携帯電話端末1は、被写体の回転角度を検出し、自身(筐体12、携帯電話端末1)と被写体60との相対位置を検出することで、被写体60(同一の被写体)を撮影した複数の画像の相対的な位置関係(特に被写体60のカメラ16に対する相対的な回転角度)を高い精度で検出することができる。これにより、被写体の三次元画像を撮影可能な位置での画像をより好適に取得することができる。つまり、組み合わせる2つの画像の相対位置関係がより明確であるため、重ねて表示させた場合により適切な三次元画像となる画像の組み合わせを撮影することができる。また、1台の携帯電話端末1で三次元表示が可能な画像データの組み合わせを撮影することができる。
【0048】
また、携帯電話端末1は、画像データ同士の座標情報(被写体と撮影位置との相対位置の情報)を併せて保存することができる。これにより、三次元表示に用いる画像間の関係が明確となり、好適に三次元画像を表示することができる。また、画像の相対位置がわかるため、三次元画像として表示させる際に使用する画像の選択や表示方法の調整を自動的に行うことができる。つまり、携帯電話端末1は、三次元画像を表示させる装置で使いやすい画像のユニット(複数の画像データとそれに対応する座標情報)を取得することができる。
【0049】
ここで、携帯電話端末1は、撮影により取得し、表示可能とする三次元画像の数は、特に限定されない。1つの三次元画像を表示するために画像を撮影しても、複数枚の三次元画像を表示できるように画像を撮影してもよい。複数枚の三次元画像を表示できるように画像を撮影することで、1つの被写体を異なる複数の角度から見た場合の三次元画像を表示できる画像を撮影することができる。
【0050】
携帯電話端末1は、連続的に画像の撮影を行い、さらに画像データと座標情報(相対位置)とを対応付けることで、異なる角度で被写体を撮影した複数の画像を撮影することができる。これにより、1つの被写体を異なる複数の角度から見た三次元画像を表示できる画像データを撮影することができる。またそれぞれの画像データに相対位置情報を対応付けて保存することで、それぞれの相対位置の角度において適切な画像を組み合わせて三次元画像を作成することができる。
【0051】
また、携帯電話端末1は、被写体の回転に合わせて連続的に画像の撮影を行うことで、被写体の全周(360度)のいずれの向きの三次元画像でも表示できる画像データの組み合わせを撮影することも可能となる。
【0052】
また、上記実施形態では、静止画で画像を撮影したが、動画で画像を撮影してもよい。つまり、画像を取得した全てのコマの画像を保存してもよい。この場合は、動画で撮影した画像の各コマに対してそれぞれ相対位置情報を対応付けて記憶する。このように、取得した全コマを保存することで、より多くの組み合わせで三次元画像を表示することが可能となり、より細かい角度での三次元画像の表示が可能となる。
【0053】
また、画像の撮影方法は特に限定されない。例えば、利用者のシャッタ操作で1枚目の画像を撮影し、その後、1枚目の画像と組み合わせることで被写体の三次元画像を表示できる撮影位置の画像を取得したら、当該画像を2枚目の画像として保存するようにしてもよい。つまり、1枚目の画像の撮影は利用者による指示をトリガーとし、1枚目の画像に対応する2枚目の画像を自動で撮影し、保存するようにしてもよい。
【0054】
また、携帯電話端末1は、2枚の画像で1つの三次元画像を表示させる画像の組み合わせを撮影することに限定されず、さらに多くの枚数で1つの三次元画像を表示させる画像の組み合わせを撮影してもよい。この場合、携帯電話端末1は、必要な相対位置の画像を対応する枚数分撮影することで、複数枚の画像データで構成される三次元画像を撮影することができる。
【0055】
携帯電話端末1は、画像を調整することが好ましい。具体的には、撮影した画像、当該画像と組み合わせ三次元画像を表示させる他の画像とを比較し、いずれか一方の画像のみに含まれる周囲の景色等を切り取り、2つの画像に含まれる被写体、景色等を同一の構成とする。これにより、2つの画像を組み合わせ表示させた場合に違和感が生じることを抑制できる。
【0056】
以下、図8から図11を用いて撮影動作の好適な一例について説明する。図8は、携帯電話端末の撮影動作を説明するための説明図である。図9は、携帯電話端末の撮影動作表示される画面の一例を示す説明図である。相対情報の検出、具体的には、被写体の回転角度の検出方法は、上記実施形態に限定されず、種々の方法を用いることができる。
【0057】
図8に示すように、携帯電話端末1が撮影する対象の被写体60は、支持台90に載置されている。支持台90は、回転可能な部材である。本実施形態の支持台90は、被写体の載置位置の基準とする円91以外は、目印が形成されていない。なお、円91は、周方向に均一な形状である。また、被写体60は支持台90と一体で回転する。
【0058】
図8に示す状態で、携帯電話端末1が画像を撮影すると、図9に示すように、撮影した画像がタッチパネル2に表示される。ここで撮影した画像は、被写体60の画像80と、円91の画像92と、を含む画像となる。携帯電話端末1は、撮影した画像に含まれる被写体80の画像を解析することで、被写体の特徴点を検出する。なお、携帯電話端末1は、被写体の特徴点を複数点検出する。
【0059】
携帯電話端末1は、このように、被写体60の特徴点を検出し、特徴点の位置関係の変化を検出することでも被写体60の角度を検出することができる。より具体的には、撮影画像と前に撮影した画像とを比較し、特徴点の位置の変化を検出することで、相対的な位置の変化を検出し、被写体60の角度変化を検出することができる。携帯電話端末1は、画像を取得するたびに角度変化を検出し、その検出値を積算することで、基準位置からの被写体60の相対的な回転角度(角度変化、相対位置)を算出することができる。
【0060】
携帯電話端末1は、このようにして算出した被写体60の角度と、自身(筐体12)と被写体60との距離と、を用いることでも、自身(筐体12)と被写体60との相対的な位置関係(座標情報)を算出することができる。また、図8および図9に示すように、被写体の特徴点を用いることで、上記実施形態のようにマークを配置しなくても被写体60の角度を検出することができる。
【0061】
次に、図10は、携帯電話端末の撮影動作を説明するための説明図である。図11は、携帯電話端末の撮影動作表示される画面の一例を示す説明図である。図10に示すように、携帯電話端末1が撮影する対象の被写体60は、支持台101に載置されている。また、被写体60には、マーク102、104が配置されている。マーク102、104は、それぞれ被写体60の異なる位置に固定されている。なお、図10に示す例では、被写体60は、利用者の手Hによって回転される。
【0062】
図10に示す状態で、携帯電話端末1が画像を撮影すると、図11に示すように、撮影した画像がタッチパネル2に表示される。ここで撮影した画像は、被写体60の画像80と、マーク102の画像112と、マーク104の画像114と、を含む画像となる。携帯電話端末1は、撮影した画像に含まれるマーク102の画像112と、マーク104の画像114と、の位置関係を解析することで、被写体の角度を検出することができる。なお、被写体の角度は、任意の位置を基準位置として、その位置からの回転角度(角度のズレ)である。
【0063】
携帯電話端末1は、このように、被写体60に配置したマークの位置を検出することで、被写体60の角度を検出することができる。また、携帯電話端末1は、このようにして算出した被写体60の角度と、自身(筐体12)と被写体60との距離と、を用いることで、自身(筐体12)と被写体60との相対的な位置関係(座標情報)を算出することができる。
【0064】
このように、被写体60に目印となるマークを配置することで、支持台を被写体60とともに回転させなくても、マークの位置関係を検出することで被写体60の角度を検出することができる。また、被写体60にマークを配置することで、特徴点よりも明確な目印となり、被写体の角度をより正確に算出することができる。
【0065】
なお、マークとしては、単なる記号や、二次元バーコードや、肉眼では視認できない画像(赤外線に反応する画像)等を用いることができる。なお、携帯電話端末1は、撮影した画像から画像処理によりマークの画像を消去することが好ましい。これにより、撮影した画像に被写体以外の画像が含まれることを抑制でき、被写体の三次元画像をより好適に表示させることができる画像を作製することができる。
【0066】
また、上記実施形態では、装置構成が簡単になるため、被写体との角度(自身と被写体との相対角度)を検出する角度検出部として、撮影した画像を解析して被写体の角度を検出する機構を用いたがこれには限定されない。角度検出部としては、被写体の三次元画像を検出するセンサ、例えばTOF(Time-of-Flight)センサを用いることができる。携帯電話端末1は、被写体の三次元形状を算出し、三次元形状の変化を算出することでも被写体の角度を算出することができる。また、被写体と支持台が一体で回転する構成の場合、角度検出部は、通信等により支持台の角度情報を取得することでも、被写体の角度を検出することができる。
【0067】
また、携帯電話端末1は、被写体の位置に応じて撮影領域を調整することが好ましい。これにより、筐体12の向きが変わって、相対位置がずれた場合も被写体が画像の中央に配置された画像を撮影することができる。これにより、被写体が画像に含まれない状態となり、被写体の三次元画像を作成できない状態となることを抑制することができる。
【0068】
また、携帯電話端末1は、カメラ16の撮影領域を機械的に調整しても、予め撮影領域の一部のみを画像の取得領域とし、つまり画像をトリミングして取得し、相対位置のずれに応じて画像をトリミングする位置を変化させるようにしてもよい。
【0069】
また、携帯電話端末1は、主制御部10でカメラプログラム9Cの処理を実行することで、焦点距離、倍率(ズーム)露出量等の撮影条件を調整し、撮影した画像の被写体の明るさ、大きさ等を同等とすることが好ましい。これにより、三次元画像を表示させるために画像を重ねたときに違和感が生じることを抑制することができる。
【0070】
次に、図12および図13を用いて、撮影した画像を三次元表示させる際の動作の一例について説明する。ここで、図12は、携帯電話端末の表示動作時の処理の一例を示すフロー図である。図13は、携帯電話端末の表示動作を説明するための説明図である。図12に示す処理は、携帯電話端末1により三次元画像を表示させる表示動作の一例である。図12に示す処理手順は、3D画像処理プログラム9Eが提供する機能に基づいて繰り返し実行される。
【0071】
まず、携帯電話端末1は、三次元画像を表示させる指示が入力され、表示させる対象の被写体(画像フォルダ)が特定されると、ステップS70として、表示角度を決定する。つまり、表示対象の被写体の表示角度を決定する。なお、表示角度は、利用者の操作や、予め設定された条件に基づいて決定する。
【0072】
携帯電話端末1は、ステップS70で表示角度を決定したら、ステップS72として、表示する画像を2枚決定する。つまり、携帯電話端末1は、決定した表示角度で画像フォルダ9Gに記憶されている座標情報(相対位置の情報)に基づいて被写体の三次元画像を表示できる画像の組み合わせを決定する。携帯電話端末1は、ステップS72で2枚の画像を決定したら、ステップS74として、決定した2枚の画像をタッチパネル2に表示させる。具体的には、2枚の画像を重ねて表示させ、被写体の三次元画像を表示させる。
【0073】
携帯電話端末1は、ステップS74で三次元画像を表示させたら、ステップS76として操作があるかを判定する。携帯電話端末1は、ステップS76で操作あり(Yes)と判定したら、ステップS78として回転操作かを判定する。つまり被写体の表示角度を変更する操作であるかを判定する。
【0074】
携帯電話端末1は、ステップS78で回転操作である(Yes)と判定したら、ステップS70に進む。このように、携帯電話端末1は、表示角度を変更する操作が入力されたら、その操作に基づいて再び表示角度を決定し、その角度の被写体の三次元画像を表示させる。
【0075】
携帯電話端末1は、ステップS78で回転操作ではない(No)と判定したら、ステップS80として、対応した操作を行う。つまり、入力された操作に対応した処理を実行する。携帯電話端末1は、ステップS80の処理を行ったらステップS82に進む。
【0076】
携帯電話端末1は、ステップS76で操作なし(No)と判定したらまたはステップS80の処理を行ったら、ステップS82として表示終了かを判定する。つまり、三次元画像の表示を終了するかを判定する。携帯電話端末1は、ステップS82で表示終了ではない(No)と判定したら、ステップS76に進み、操作が入力されたかを再び判定し、上述した処理を繰り返す。携帯電話端末1は、ステップS82で表示終了である(Yes)と判定したら、三次元画像の表示を終了し、本処理を終了する。
【0077】
図13を用いて具体的な一例を説明する。携帯電話端末1は、図13に示すように、タッチパネル2に被写体を所定角度で表示させる三次元画像120を表示させている状態で、指Fで矢印121の操作を入力すると、被写体を回転させる操作が入力されたと判定する。携帯電話端末1は、指Fで入力された操作に基づいて被写体の回転量を算出し、被写体を表示させる角度を決定する。その後決定された角度で三次元画像を表示可能な画像の組み合わせを決定し、決定した画像の組み合わせをタッチパネル2に表示させる。これにより、携帯電話端末1は、タッチパネル2に被写体を三次元画像120から矢印124方向に所定角度回転させた状態の三次元画像122を表示することができる。
【0078】
このように携帯電話端末1は、1つの被写体を異なる相対位置で撮影した複数の画像データと当該画像データの座標情報とを記憶し、決定した表示角度と画像データの座標情報とに基づいて、複数の画像データの中から2枚の画像データを決定し、その決定した2枚の画像データを重ねて表示することで、被写体が任意の角度で表示された三次元画像を表示することができる。
【0079】
これにより、種々の角度の被写体の三次元画像を表示することができ、被写体の形状をより好適に把握することができる。また、実際の画像を選択するのみで、三次元画像を表示できるため、複雑な三次元の形状データ等を解析する必要がなく、簡単な制御で三次元画像を表示することができる。また、実際の撮影画像を用いることでより違和感の無い三次元画像を表示することができる。
【0080】
なお、図12および図13は、1つの被写体について複数の角度で三次元画像を表示可能な画像データの組み合わせを記憶している場合の表示方法である。画像の組み合わせが1つの場合は、その画像を組み合わせてタッチパネル2に表示させればよい。また、上記実施形態では、2つの画像を組み合わせて三次元画像を表示させたがこれには限定されず、3枚以上の画像を組み合わせて三次元画像を表示させてもよい。このように、3枚以上の画像を組み合わせて(重ねて)表示させることで、タッチパネル2を見る角度を変えると異なる状態で浮き出る画像を表示させることもできる。
【0081】
また、表示させる画像データは自身で撮影した画像データに限定されず、1つの被写体を異なる角度で撮影した複数の画像データと当該画像データの座標情報との組み合わせを外部から取得し、取得したデータを用いて、当該被写体の三次元画像を表示させてもよい。また、本実施形態では、1つの被写体の複数の画像データを画像フォルダ9Gに記憶させたが、本発明はこれに限定されず、外部の記憶装置から通信等で画像データ及び座標データを取得しても良い。なおこの場合もRAM等に一時的に記憶しつつ処理をする。
【0082】
また、上記実施形態では、既存の装置構成で実現可能であり、装置構成を簡単にできるため、カメラのオートフォーカス機能(絞りの調整機能)で算出した焦点距離を用いて筐体と被写体との距離を検出したがこれに限定されず、被写体との距離を算出する種々の機能を用いることができる。例えば、赤外線センサ、超音波センサ等、対象物との距離を算出する種々の距離算出手段を用いることができる。
【0083】
また、上記の実施形態では、表示部としてタッチパネルを有する電子機器に本発明を適用する例について説明したが、本発明は、表示手段として、タッチセンサが重畳されていない単なる表示パネルを有する電子機器に適用することもできる。
【0084】
また、上記実施形態では、三次元画像を撮影する機能と三次元画像を表示させる機能とを両方持つ携帯電話端末として説明したが、これには限定されない。上記実施形態の三次元画像を撮影する機能を備える電子機器であれば、各種適用が可能である。
【符号の説明】
【0085】
1 携帯電話端末
2 タッチパネル
2A タッチセンサ
2B 表示部
3 入力部
5 電源部
6 通信部
7 レシーバ
8 マイク
9 記憶部
9A メールプログラム
9B ブラウザプログラム
9C カメラプログラム
9D 位置検出プログラム
9E 3D画像処理プログラム
9F 処理条件テーブル
9G 画像フォルダ
10 主制御部
11 RAM
12 筐体
16 カメラ
20、22 ボタン
24 入力デバイス
52 撮影窓
54 光学系
58 受光部
59 撮影角度調整機構

【特許請求の範囲】
【請求項1】
筐体と、
前記筐体に配置され、被写体を撮影する撮影部と、
前記被写体の前記撮影部に対する相対的な回転角度を検出する角度検出部と、
前記撮影部で撮影した画像と前記角度検出部で検出した当該画像の撮影時の被写体の角度とを対応つけて記憶する記憶部と、を有し、
前記記憶部に記憶された画像は、前記記憶部に記憶された同一被写体の他の画像と組み合わせて表示することで三次元画像となる画像であることを特徴とする電子機器。
【請求項2】
前記角度検出部は、前記撮影部で取得した画像を解析し、前記被写体とともに相対的に回転する角度特定部の位置を検出することで、前記被写体の相対的な回転角度を検出することを特徴とする請求項1に記載の電子機器。
【請求項3】
前記角度検出部は、前記撮影部で取得した画像を解析し、前記被写体の特徴点を検出し、前記特徴点を前記角度特定部とすることを特徴とする請求項2に記載の電子機器。
【請求項4】
前記角度検出部は、前記被写体の形状を検出する形状検出部を有し、
前記形状検出部で検出した被写体の形状の変化に基づいて前記被写体の回転角度を検出することを特徴とする請求項1に記載の電子機器。
【請求項5】
前記角度検出部は、前記被写体を支持している支持台の角度情報を取得し、前記支持台の角度情報に基づいて前記被写体の角度変化を検出することを特徴とする請求項1に記載の電子機器。
【請求項6】
前記記憶部は、前記筐体と前記被写体との距離を算出する距離算出部を有し、
前記距離算出部で算出した距離と前記角度検出部で検出した角度を対応付けて記憶することを特徴とする請求項1から5のいずれか一項に記載の電子機器。
【請求項7】
前記距離算出部は、前記撮影部で検出した焦点距離に基づいて、前記被写体との距離を算出することを特徴とする請求項6に記載の電子機器。
【請求項8】
前記撮影部は、前記角度検出部で前記被写体が回転したことを検出した場合、撮影を行うことを特徴とする請求項1から7のいずれか一項に記載の電子機器。
【請求項9】
前記撮影部は、連続して画像を撮影することを特徴とする請求項1から7のいずれか一項に記載の電子機器。
【請求項10】
前記撮影部は、前記角度検出部で検出した被写体の回転角度と既に撮影した画像に対応付けられた被写体の回転角度とに基づいて、当該既に撮影した画像と組み合わせて表示することで三次元表示ができる位置に前記被写体が配置されているときには、画像を撮影することを特徴とする請求項1から7のいずれか一項に記載の電子機器。
【請求項11】
前記撮影部は、1つの被写体に対して、前記被写体を三次元表示できる画像の組み合わせを複数の異なる回転角度で撮影することを特徴とする請求項1から10のいずれか一項に記載の電子機器。
【請求項12】
複数の画像を重ねて表示させて三次元画像を表示可能な表示部と、
どの回転角度からの三次元画像を表示させるかの操作を受け付ける操作部と、をさらに有し、
前記表示部は、前記操作部で検出した操作と前記画像データに対応付けられた角度情報とに基づいて、少なくとも2枚の画像データにより前記被写体を三次元画像として表示することを特徴とする請求項1から11のいずれか一項に記載の電子機器。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate


【公開番号】特開2012−175694(P2012−175694A)
【公開日】平成24年9月10日(2012.9.10)
【国際特許分類】
【出願番号】特願2011−39102(P2011−39102)
【出願日】平成23年2月24日(2011.2.24)
【出願人】(000006633)京セラ株式会社 (13,660)
【Fターム(参考)】