携帯端末装置及び３Ｄ画像表示方法
【課題】液晶シャッタ付眼鏡を用いたり、テレビジョンに対して正対したりすることがなく、誰でもが手軽に３Ｄ画像を視聴することができる携帯端末装置及び３Ｄ画像表示方法を提供する。
【解決手段】３Ｄテレビから３Ｄ画像を構成する右目用画像及び左目用画像の切替情報を受信する受信部３及び切替信号受信部４１と、受信された切替情報に基づいて右目用画像及び左目用画像を撮影するカメラ２及びカメラ制御部４２と、撮影された右目用画像及び左目用画像から３Ｄテレビの表示領域を切出す画像切出し部４３と、切出された３Ｄテレビの表示領域を表示部５に合わせて射影変換する画像変形部４４と、射影変換された右目用画像及び左目用画像を視差バリア方式の３Ｄ画像に変換する３Ｄ方式変換部４５と、視差バリア方式に変換された３Ｄ画像を表示部５に表示する３Ｄ表示部４６と、を備える。
【解決手段】３Ｄテレビから３Ｄ画像を構成する右目用画像及び左目用画像の切替情報を受信する受信部３及び切替信号受信部４１と、受信された切替情報に基づいて右目用画像及び左目用画像を撮影するカメラ２及びカメラ制御部４２と、撮影された右目用画像及び左目用画像から３Ｄテレビの表示領域を切出す画像切出し部４３と、切出された３Ｄテレビの表示領域を表示部５に合わせて射影変換する画像変形部４４と、射影変換された右目用画像及び左目用画像を視差バリア方式の３Ｄ画像に変換する３Ｄ方式変換部４５と、視差バリア方式に変換された３Ｄ画像を表示部５に表示する３Ｄ表示部４６と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラを搭載した携帯電話やスマートフォン等の携帯端末装置及び該携帯端末装置における３Ｄ画像表示方法に関する。
【背景技術】
【０００２】
近年、立体画像（３Ｄ画像）を表示可能なテレビジョンが開発されている。特許文献１には、視差分割方式による立体視映像の代わりに、交差法や平行法の裸眼立体視映像を表示させることができる立体視映像表示装置が記載されている。また、特許文献２には、３Ｄ画像を表示可能な携帯電話が記載されている。特許文献２に記載されている携帯電話は、２個のカメラを備え、これらのカメラで撮影して得られた３Ｄ画像をモバイル通信網や無線ＬＡＮを介して他の携帯電話に伝送し、当該他の携帯電話では、受信した３Ｄ画像をハーフミラーや凹面鏡からなる立体表示部材に投影して虚像が空間に浮かんでいるように表示する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−３１８４２１号公報
【特許文献２】特開２０１０−１４１４４７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、現在発売されている３Ｄ画像を表示可能なテレビジョンは、３Ｄ画像の臨場感の高さから、その効果が十分に理解されているものの、視聴する人数分だけ液晶シャッタ付眼鏡が必要であったり、当該テレビジョンに対して正対して見たりする必要があるなど、手軽に誰でもが視聴できるという状態にはなっていない。
【０００５】
本発明は、係る事情に鑑みてなされたものであり、液晶シャッタ付眼鏡を用いたり、テレビジョンに対して正対したりすることがなく、誰でもが手軽に３Ｄ画像を視聴することができる携帯端末装置及び３Ｄ画像表示方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の携帯端末装置は、表示装置に表示されるフレームシーケンシャル方式の３Ｄ画像を撮影可能な携帯端末装置であって、前記表示装置から前記３Ｄ画像を構成する右目用画像及び左目用画像の切替情報を受信する受信手段と、前記受信手段で受信される前記切替情報に基づいて、前記右目用画像及び前記左目用画像を撮影する撮影手段と、前記撮影手段で撮影された前記右目用画像及び前記左目用画像を視差バリア方式の３Ｄ画像に変換する変換手段と、前記変換手段で前記視差バリア方式に変換された前記３Ｄ画像を表示する表示手段と、を備えた。
【０００７】
上記構成によれば、３Ｄ画像を表示可能な表示装置（例えば、テレビジョン）から切替情報を受信し、当該切替情報に基づいて、右目用画像と左目用画像を撮影し、撮影した右目用画像と左目用画像を視差バリア方式の３Ｄ画像に変換して表示するので、液晶シャッタ付眼鏡を用いたり、テレビジョンに対して正対したりすることがなく、誰でもが手軽に３Ｄ画像を視聴することができる。
【０００８】
上記構成において、前記撮影手段で撮影された前記右目用画像及び前記左目用画像から前記表示装置の表示領域を切出す切出し手段を備えた。
【０００９】
上記構成によれば、表示装置の表示領域のみを携帯端末装置で表示するので、表示装置と同様の３Ｄ画像を視聴することができる。
【００１０】
上記構成において、前記切出し手段で切出された前記表示装置の表示領域を前記表示手段に合わせて射影変換する射影変換手段を備えた。
【００１１】
上記構成によれば、表示装置に表示される３Ｄ画像を表示手段の画面内に収めることができる。
【００１２】
上記構成において、前記撮影手段で撮影された前記右目用画像及び前記左目用画像に前記表示装置の外形全体が含まれていない場合、前記表示装置の外形全体が含まれるように前記撮影手段にズームアウトを指示するズームアウト指示手段を備えた。
【００１３】
上記構成によれば、表示装置の外形全体を携帯端末装置の表示手段の画面内に収めることができる。
【００１４】
上記構成において、前記撮影手段で撮影された前記右目用画像及び前記左目用画像に前記表示装置の外形全体が含まれていない場合、前記撮影手段を向けるべき方向に関する指示を前記表示手段に与えて当該指示に対応する表示を行わせる方向指示手段を備えた。
【００１５】
上記構成によれば、ユーザに写して欲しい方向を指示するので、確実に表示装置の外形全体を携帯端末装置の表示手段の画面内に収めることができる。
【００１６】
本発明の３Ｄ画像表示方法は、表示装置に表示されるフレームシーケンシャル方式の３Ｄ画像を撮影可能な携帯端末装置における３Ｄ画像表示方法であって、前記表示装置から前記３Ｄ画像を構成する右目用画像及び左目用画像の切替情報を受信する受信ステップと、前記受信ステップで受信される前記切替情報に基づいて、前記右目用画像及び前記左目用画像を撮影する撮影ステップと、前記撮影ステップで撮影された前記右目用画像及び前記左目用画像を視差バリア方式の３Ｄ画像に変換する変換ステップと、前記変換ステップで前記視差バリア方式に変換された前記３Ｄ画像を表示する表示ステップと、を備えた。
【００１７】
上記方法によれば、３Ｄ画像を表示可能な表示装置（例えば、テレビジョン）から切替情報を受信し、当該切替情報に基づいて、右目用画像と左目用画像を撮影し、撮影した右目用画像と左目用画像を視差バリア方式の３Ｄ画像に変換して表示するので、液晶シャッタ付眼鏡を用いたり、テレビジョンに対して正対したりすることがなく、誰でもが手軽に３Ｄ画像を視聴することができる。
【発明の効果】
【００１８】
本発明によれば、液晶シャッタ付眼鏡を用いたり、テレビジョンに対して正対したりすることがなく、誰でもが手軽に３Ｄ画像を視聴することができる。
【図面の簡単な説明】
【００１９】
【図１】本発明の実施の形態１に係る携帯端末装置の概略構成を示すブロック図
【図２】図１の携帯端末装置のカメラで３Ｄテレビを撮影している様子を示す図
【図３】図１の携帯端末装置のカメラで３Ｄテレビを撮影している画像のイメージを示す図
【図４】図１の携帯端末装置の射影変換処理のイメージを示す図
【図５】図１の携帯端末装置の射影変換処理を説明するための図であって、３Ｄテレビのテレビ領域全体が撮影された例を示す図
【図６】図１の携帯端末装置の射影変換処理を説明するための図であって、３Ｄテレビのテレビ領域全体の４辺が微妙に撮影された例を示す図
【図７】図１の携帯端末装置の射影変換処理を説明するための図であって、３Ｄテレビのテレビ領域の３辺が撮影された例を示す図
【図８】図１の携帯端末装置の射影変換処理を説明するための図であって、３Ｄテレビのテレビ領域の３辺が微妙に撮影された例を示す図
【図９】図１の携帯端末装置の射影変換処理を説明するための図であって、３Ｄテレビのテレビ領域の一部が撮影された例を示す図
【図１０】図１の携帯端末装置の射影変換処理を説明するための図であって、３Ｄテレビのテレビ領域の一部が撮影された例を示す図
【図１１】図１の携帯端末装置の射影変換処理を説明するための図であって、テレビ領域に対して画像がズームアップで撮影された例を示す図
【図１２】図１の携帯端末装置の射影変換処理を説明するための図であって、テレビ領域の一辺が撮れている例を示す図
【図１３】図１の携帯端末装置の射影変換処理を説明するための図であって、過去のデータを知識として使用して変換する例を示す図
【図１４】図１の携帯端末装置の射影変換処理を説明するための図であって、過去のデータを知識として使用して変換する例を示す図
【図１５】図１の携帯端末装置の３Ｄ画像表示処理を説明するためのフローチャート
【図１６】図１の携帯端末装置の画像変形部の射影変換処理を説明するためのフローチャート
【図１７】図１の携帯端末装置において、テレビ領域に対して外接四角形を作成した状態を示す図
【図１８】本発明の実施の形態２に係る携帯端末装置の概略構成を示すブロック図
【図１９】図１８の携帯端末装置の画像変形部の射影変換処理を説明するためのフローチャート
【図２０】本発明の実施の形態３に係る携帯端末装置の概略構成を示すブロック図
【図２１】図２０の携帯端末装置におけるカメラ方向指示の具体例を示す図
【図２２】図２０の携帯端末装置における方向指示処理を説明するためのフローチャート
【発明を実施するための形態】
【００２０】
以下、本発明を実施するための好適な実施の形態について、図面を参照して詳細に説明する。
【００２１】
（実施の形態１）
図１は、本発明の実施の形態１に係る携帯端末装置の概略構成を示すブロック図である。同図において、本実施の形態に係る携帯端末装置１は、カメラを搭載した携帯電話やスマートフォン等の携帯端末装置であり、カメラ２と、受信部３と、信号処理部４と、表示部５とを備えている。
【００２２】
カメラ２は、被写体を撮影する。本実施の形態では、フレームシーケンシャル方式の３Ｄテレビジョン（図示略、以下“３Ｄテレビ”と呼ぶ）に映し出される画像を撮影する。受信部３は、３Ｄテレビから送信される、３Ｄ画像を構成する右目用画像及び左目用画像の切替信号（切替情報）を受信する。ここで、フレームシーケンシャル方式とは、右目用画像と左目用画像を高速で交互に表示し、その画像を専用の液晶シャッタ付眼鏡を通して見る方式である。液晶シャッタ付眼鏡は、左右のレンズが交互に開閉するように設計されており、切替情報に基づいて左右のレンズを交互に開閉させる。
【００２３】
信号処理部４は、切替信号受信部４１と、カメラ制御部４２と、画像切出し部４３と、画像変形部４４と、３Ｄ方式変換部４５と、３Ｄ表示部４６とを備える。信号処理部４を構成する各部４１〜４６はソフトウェア的な構成であっても良いし、ハードウェア的な構成であっても良い。または、ソフトウェアとハードウェアを混在した構成であっても良い。
【００２４】
切替信号受信部４１は、受信部３で受信された切替信号をカメラ制御部４２へ出力する。カメラ制御部４２は、切替信号受信部４１からの切替信号に基づいてカメラ２を制御し、右目用画像及び左目用画像を撮影する。即ち、カメラ制御部４２は、切替信号に基づいてカメラ２のシャッタを切り続け、右目用画像と左目用画像を交互に撮影する。切替信号に基づいて右目用画像及び左目用画像を撮影することで、３Ｄテレビに左右交互に表示される画像と同期させることができ、３Ｄテレビの画像を携帯端末装置１で再生することが可能となる。
【００２５】
画像切出し部４３は、カメラ制御部４２で撮影された右目用画像及び左目用画像から３Ｄテレビの表示領域を切出す。画像変形部４４は、画像切出し部４３で切出された３Ｄテレビの表示領域を表示部５に合わせて射影変換する。画像を射影変換することにより、３Ｄテレビに表示される３Ｄ画像を表示部５の画面内に納めることができる。３Ｄ方式変換部４５は、画像変形部４４で射影変換された右目用画像及び左目用画像を視差バリア方式の３Ｄ画像に変換する。３Ｄ表示部４６は、３Ｄ方式変換部４５で視差バリア方式に変換された３Ｄ画像を表示部５に表示する。
【００２６】
なお、カメラ２とカメラ制御部４２は撮影手段を構成する。また、受信部３と切替信号受信部４１は受信手段を構成する。また、３Ｄ方式変換部４５は変換手段に対応する。また、３Ｄ表示部４６と表示部５は表示手段を構成する。また、画像切出し部４３は切出し手段に対応する。また、画像変形部４４は射影変換手段に対応する。また、３Ｄテレビ１００（図２参照）は表示装置に対応する。
【００２７】
図２は、本実施の形態に係る携帯端末装置１のカメラ２で３Ｄテレビ１００を撮影している様子を示す図である。同図において、３Ｄテレビ１００の画面には右目用画像と左目用画像が交互に表示される。また、３Ｄテレビ１００から切替信号が送信される。即ち、携帯端末装置１は、カメラ２で３Ｄテレビ１００を撮影するとともに、３Ｄテレビ１００から送信される切替信号を受信する。撮影画像より、テレビ画像の領域（テレビ領域）を切出し、携帯端末装置１の表示向きに合わせて射影変換する。テレビ領域は、画像２枚の差分を取り、変化している部分となる。携帯端末装置１は、射影変換した右目用画像及び左目用画像を視差バリア方式の３Ｄ画像に変換し、表示する。
【００２８】
図３は、本実施の形態に係る携帯端末装置１のカメラ２で３Ｄテレビ１００を撮影している画像のイメージを示す図である。同図に示すように、カメラ２で撮影される範囲２００内にテレビ画像３００があり、また、このテレビ画像３００中に３Ｄテレビ１００のテレビ領域（表示領域）３０１がある。図４は、携帯端末装置１における射影変換のイメージを示す図である。同図の（ａ）に示すように、テレビ領域３０１の４つの端部（頂点）Ｐ１〜Ｐ４をカメラ２で撮影される範囲（カメラ撮影範囲）２００の４つの端部（対応点）Ｄ１〜Ｄ４に揃うように変換することで、同図の（ｂ）に示すように、テレビ領域３０１をカメラ撮影範囲２００内に収めることができる。以上のような処理によって、液晶シャッタ付眼鏡を使用することなく、携帯端末装置１にて３Ｄテレビ１００の画面に映し出された３Ｄ画像を見ることができる。
【００２９】
次に、図５〜図１４を参照して、射影変換の具体例について説明する。
（具体例１）
図５は、３Ｄテレビ１００のテレビ領域３０１全体が撮影された例を示す図である。同図に示す例では、携帯端末装置１の向きから３Ｄテレビ１００の回転方向を算出した後、テレビ領域３０１の４頂点Ｐ１〜Ｐ４を求め、カメラ撮影範囲２００の各対応点Ｄ１〜Ｄ４を合わせるように射影変換を行う。
【００３０】
（具体例２）
図６は、３Ｄテレビ１００のテレビ領域３０１全体の４辺が微妙に撮影された例を示す図である。同図に示す例では、携帯端末装置１の向きから３Ｄテレビ１００の回転方向を算出した後、テレビ領域３０１の直線部分を延長し（点線で示した部分）、矩形を作成する。そして、作成した矩形の４頂点Ｐ１〜Ｐ４を求め、カメラ撮影範囲２００の各対応点Ｄ１〜Ｄ４を合わせるように射影変換を行う。
【００３１】
（具体例３）
図７は、３Ｄテレビ１００のテレビ領域３０１の３辺が撮影された（２頂点が撮影された）例を示す図である。同図に示す例では、携帯端末装置１の向きから３Ｄテレビ１００の回転方向を算出した後、テレビ領域３０１の２頂点Ｐ１，Ｐ３とカメラ撮影範囲２００の端にある２頂点Ｐ２，Ｐ４を用いて、カメラ撮影範囲２００の各対応点Ｄ１〜Ｄ４を合わせるように射影変換を行う。
【００３２】
（具体例４）
図８は、３Ｄテレビ１００のテレビ領域３０１の３辺が微妙に撮影された（２頂点が撮影されない）例を示す図である。同図に示す例では、携帯端末装置１の向きから３Ｄテレビ１００の回転方向を算出した後、テレビ領域３０１の直線部分を延長し（点線で示した部分）、頂点Ｐ１を作成する。そして、作成した頂点Ｐ１と、撮影された頂点Ｐ３と、カメラ撮影範囲２００にある２頂点Ｐ２，Ｐ４とを用いて、カメラ撮影範囲２００の各対応点Ｄ１〜Ｄ４を合わせるように射影変換を行う。
【００３３】
（具体例５）
図９は、３Ｄテレビ１００のテレビ領域３０１の一部（隣り合う２辺）が撮影された例を示す図である。同図に示す例では、携帯端末装置１の向きから３Ｄテレビ１００の回転方向を算出した後、撮影されるテレビ領域３０１の１頂点Ｐ２と端にある３頂点Ｐ１，Ｐ３，Ｐ４とを用いて、カメラ撮影範囲２００の各対応点Ｄ１〜Ｄ４を合わせるように射影変換を行う。
【００３４】
（具体例６）
図１０は、３Ｄテレビ１００のテレビ領域３０１の一部（平行な２辺）が撮影された例を示す図である。同図に示す例では、携帯端末装置１の向きから３Ｄテレビ１００の回転方向を算出した後、テレビ領域３０１の端にある４頂点Ｐ１〜Ｐ４を用いて、カメラ撮影範囲２００の各対応点Ｄ１〜Ｄ４を合わせるように射影変換を行う。
【００３５】
（具体例７）
図１１は、テレビ領域３０１に対して画像がズームアップ（所謂“ドアップ”）で撮影された例を示す図である。同図に示す例では、携帯端末装置１の向きから３Ｄテレビ１００の回転方向を算出した後、当該回転方向を基に画像を回転させることで射影変換を行う。
【００３６】
（具体例８）
図１２は、テレビ領域３０１の一辺が撮れている例を示す図である。同図に示す例では、携帯端末装置１の向きから３Ｄテレビ１００の回転方向を算出した後、テレビ領域３０１の撮影されている辺３０１１と３Ｄテレビ１００の回転方向から４辺のいずれかを特定し、所定の辺に納まるように画像を回転させることで射影変換を行う。
【００３７】
（具体例９）
上述した各具体例１〜８の他の具体例として、写っている範囲を固定する方法がある。
最初に全体が撮影できていた場合、次にテレビ領域３０１の一部しか写されていないときや、一部が欠けたときに、全体が撮影できていたときの目印情報、例えばメーカのロゴなどを合わせるように射影変換を行うことで、テレビ領域３０１の大小の急激な変化を生じさせないようにする。
【００３８】
図１３は、過去のデータを知識として使用して変換する例を示す図である。同図に示す例は、具体例３のように、３辺が撮影される（２頂点が撮影される）場合と、具体例４のように、３辺が微妙に撮影される（２頂点が撮影されない）場合に適用できる。３Ｄテレビ１００のロゴマーク（例えば“Ｐａｎａｓｏｎｉｃ”）３０１２が撮影されていれば、そのロゴマーク３０１２を基に変換するためのパラメータを決定するか、または単純にテレビ領域３０１の２頂点Ｐ１，Ｐ３と、ロゴマーク３０１２を基に射影変換する。なお、ロゴマーク３０１２が撮影されていなければ、撮影された２頂点Ｐ１，Ｐ３と、テレビ領域３０１の端にある２頂点Ｐ２’，Ｐ４’を用いて、カメラ撮影範囲２００の各対応点Ｄ１〜Ｄ４を合わせるように射影変換を行う。写っていない領域（この場合、車両の後部）は前の画像３０２を参照するとよい。
【００３９】
（具体例１０）
図１４は、前述した図１３と同様に、過去のデータを知識として使用して変換する例を示す図である。同図に示す例は、具体例５のように、一部が撮影される（隣り合う２辺）場合と、具体例６のように、一部が撮影される（平行な２辺）場合と、具体例８のように、一辺が撮れている場合に適応できる。３Ｄテレビ１００のロゴマーク（例えば“Ｐａｎａｓｏｎｉｃ”）３０１２が撮影されていれば、そのロゴマーク３０１２を基に変換するためのパラメータを決定するか、または単純にロゴマーク３０１２を基に射影変換する。なお、写っていない領域（この場合、車両の後部）は前の画像を参照するとよい。
【００４０】
次に、本実施の形態に係る携帯端末装置１の動作について説明する。
図１５は、本実施の形態に係る携帯端末装置１の３Ｄ画像表示処理を説明するためのフローチャートである。同図において、まず切替信号受信部４１が、受信部３で受信された切替信号をカメラ制御部４２へ出力する（ステップＳ１）。カメラ制御部４２が、切替信号受信部４１から出力された切替信号に基づいてカメラ２のシャッタを切り続け、右目用画像と左目用画像を交互に撮影する（ステップＳ２）。カメラ制御部４２で得られる右目用画像と左目用画像は画像切出し部４３へ出力され、画像切出し部４３が右目用画像と左目用画像を用いて３Ｄテレビ１００のテレビ領域３０１を抽出する（ステップＳ３）。この場合、画像切出し部４３は、右目用画像と左目用画像を１対にして差分を求めることで３Ｄテレビ１００のテレビ領域３０１を抽出する。テレビ領域３０１の領域抽出後、画像変形部４４が画像切出し部４３で切出されたテレビ領域３０１を表示部５に合わせて射影変換する（ステップＳ４）。テレビ領域３０１が表示部５に合わせて射影変換された後、３Ｄ方式変換部４５が、画像変形部４４で射影変換された右目用画像及び左目用画像を視差バリア方式の３Ｄ画像に変換する（ステップＳ５）。次いで、３Ｄ表示部４６が、３Ｄ方式変換部４５で視差バリア方式に変換された３Ｄ画像を表示部５に表示する（ステップＳ６）。
【００４１】
図１６は、画像変形部４４の射影変換処理を説明するためのフローチャートである。同図において、まず携帯端末装置１の姿勢を取得する（ステップＳ２０）。この姿勢取得には、例えば加速度センサが用いられ、画像変形部４４はそれを有している。姿勢取得後、矩形が撮影されているかどうか判定し（ステップＳ２１）、矩形が撮影されている場合（即ち、ステップＳ２１の判定で「Ｙｅｓ」と判断した場合）、カメラ撮影範囲２００の対応点を決定し（ステップＳ２２）、射影変換を行う（ステップＳ２３）。ここで、矩形が撮影されている場合とは、３Ｄテレビ１００全体が撮影されている場合である。
【００４２】
一方、上記ステップＳ２１の判定で、矩形が撮影されていない場合（即ち、ステップＳ２１の判定で「Ｎｏ」と判断した場合）、撮影される辺が０本であるかどうか判定する（ステップＳ２４）。撮影される辺が０本である場合（即ち、ステップＳ２４の判定で「Ｙｅｓ」の場合）、携帯端末装置１の向きを利用し、撮影される領域即ちテレビ領域３０１の外接四角形を作成する（ステップＳ２５）。ここで、撮影される辺が０本である場合とは、具体例７（図１１）で説明したように、テレビ領域３０１に対して画像がズームアップ（所謂“ドアップ”）で撮影されたような場合である。図１７は、テレビ領域３０１に対して外接四角形５００を作成した状態を示す図である。携帯端末装置１の傾き（矢印６００で示す）を鉛直方向にして外接四角形５００を作成する。外接四角形５００の作成後、ステップＳ２２に進み、対応点を決定する。対応点の決定後、射影変換を行う（ステップＳ２３）。射影変換を行った後、メイン処理に戻る。
【００４３】
また、上記ステップＳ２４の判定で、撮影される辺が０本でない場合（即ち、ステップＳ２４の判定で「Ｎｏ」と判断した場合）、撮影される辺が１本であるかどうか判定する（ステップＳ２６）。撮影される辺が１本である場合（即ち、ステップＳ２６の判定で「Ｙｅｓ」の場合）、その辺を変換後の向きに合う辺として、撮影される領域の外接四角形を作成する（ステップＳ２７）。ここで、撮影される辺が１本である場合とは、具体例８（図１２）で説明したように、テレビ領域３０１の一辺が撮れているような場合である。外接四角形を作成した後、ステップＳ２２に進み、対応点を決定する。対応点の決定後、射影変換を行う（ステップＳ２３）。射影変換を行った後、メイン処理に戻る。
【００４４】
また、上記ステップＳ２６の判定で、撮影される辺が１本でない場合（即ち、ステップＳ２６の判定で「Ｎｏ」と判断した場合）、頂点が撮影されてなく、辺が撮影されている場合には、辺を延長して頂点を算出し、当該算出が不能の場合には、撮影される辺とカメラ画像の辺の交点を頂点とする（ステップＳ２８）。ここで、辺を延長して頂点を算出する場合とは、具体例２（図６）で説明したように、３Ｄテレビ１００のテレビ領域３０１全体の４辺が微妙に撮影されるような場合である。この処理を行った後、ステップＳ２２に進み、対応点を決定する。対応点の決定後、射影変換を行う（ステップＳ２３）。射影変換を行った後、メイン処理に戻る。
【００４５】
このように本実施の形態に係る携帯端末装置１によれば、３Ｄテレビ１００から切替信号を受信し、受信した切替信号に基づいて右目用画像と左目用画像を撮影し、撮影した右目用画像と左目用画像を視差バリア方式の３Ｄ画像に変換して表示するので、液晶シャッタ付眼鏡を用いたり、テレビジョンに対して正対したりすることがなく、誰でもが手軽に３Ｄ画像を視聴することができる。
【００４６】
また、カメラ２及びカメラ制御部４２で撮影された右目用画像及び左目用画像から３Ｄテレビ１００のテレビ領域３０１を切出すので、３Ｄテレビ１００と同様の３Ｄ画像を視聴することができる。
【００４７】
また、切出された３Ｄテレビ１００のテレビ領域３０１を表示部５に合わせて射影変換するので、３Ｄテレビ１００に表示される３Ｄ画像を表示部５の画面内に納めることができる。
【００４８】
（実施の形態２）
図１８は、本発明の実施の形態２に係る携帯端末装置の概略構成を示すブロック図である。同図に示す携帯端末装置１０は、３Ｄテレビ１００の全体を写すことができるように、カメラ制御部４２に対してズームアウト指示を出力する画像変形部４７を有する。画像変形部４７は信号処理部６に含まれている。画像変形部４７はズーム指示部４７Ａを有しており、このズーム指示部４７Ａが、カメラ２で撮影された右目用画像及び左目用画像に３Ｄテレビ１００の外形全体が含まれていない場合に、３Ｄテレビ１００の外形全体が含まれるようにカメラ制御部４２にズームアウトを指示する。
【００４９】
図１９は、画像変形部４７の射影変換処理を説明するためのフローチャートである。画像変形部４７の主な動作は図１６で説明した通りであり、異なる点は、ステップＳ２１の判定で矩形が撮影されていないと判断した場合に、カメラ制御部４２にズーム指示を出力する処理が新たに付加されている点である。ズーム指示は、頂点（四隅）を撮影できるように、カメラ制御部４２に出力される（ステップＳ３０）。ズーム指示の出力後、ステップＳ２４の判定を行う。
【００５０】
このように本実施の形態に係る携帯端末装置１０によれば、カメラ２で撮影された右目用画像及び左目用画像に３Ｄテレビ１００の外形全体が含まれていない場合、３Ｄテレビ１００の外形全体が含まれるように、カメラ制御部４２にズームアウトを指示するので、３Ｄテレビ１００の外形全体を表示部５の画面内に収めることができる。
【００５１】
（実施の形態３）
図２０は、本発明の実施の形態３に係る携帯端末装置の概略構成を示すブロック図である。同図に示す携帯端末装置２０は、ユーザに対して写して欲しい方向を指示する方向指示部４８を有している。方向指示部４８は信号処理部７に含まれている。この方向指示部４８は、カメラ２で撮影された右目用画像及び左目用画像に３Ｄテレビ１００の外形全体が含まれていない場合、カメラ２を向けるべき方向に関する指示を３Ｄ表示部４６に与えて当該指示に対応する表示を行わせる。図２１は、カメラ２を向けるべき方向に関する指示の具体例を示す図である。同図（ａ）及び（ｂ）に示すように、カメラ２を向けるべき方向を示す矢印７００と、それをサポートする文章（「カメラをやじるし方向に向けてください」）７１０が表示されている。図２２は、方向指示処理を示すフローチャートである。同図において、方向指示部４８は、撮影された辺の情報を基に、撮影される辺の真ん中の逆方向にカメラ２を向けるように指示し（ステップＳ４０）、それを表示部５に３Ｄ表示させる（ステップＳ４１）。
【００５２】
このように本実施の形態に係る携帯端末装置２０によれば、カメラ２で撮影された右目用画像及び左目用画像に表示装置の外形全体が含まれていない場合、カメラ２を向けるべき方向に関する指示を３Ｄ表示部４６に与えて当該指示に対応する表示を行わせるので、確実に３Ｄテレビ１００の外形全体を携帯端末装置２０の表示部５の画面内に収めることができる。
【００５３】
また、上記実施の形態１〜３に係る携帯端末装置１，１０，２０のそれぞれにおける処理を記述したプログラムを、磁気ディスク、光ディスク、光磁気ディスク、半導体メモリ等の記憶媒体に格納して配布したり、インターネット等の電気通信回線を利用して配布したりすることも可能である。
【産業上の利用可能性】
【００５４】
本発明は、液晶シャッタ付眼鏡を用いたり、テレビジョンに対して正対したりすることがなく、誰でもが手軽に３Ｄ画像を視聴することができるといった効果を有し、カメラを搭載した携帯電話、スマートフォン等の携帯端末装置への適用が可能である。
【符号の説明】
【００５５】
１，１０，２０ 携帯端末装置
２ カメラ
３ 受信部
４，６，７ 信号処理部
５ 表示部
４１ 切替信号受信部
４２ カメラ制御部
４３ 画像切出し部
４４，４７ 画像変形部
４５ ３Ｄ方式変換部
４６ ３Ｄ表示部
４７Ａ ズーム指示部
４８ 方向指示部
１００ ３Ｄテレビ
２００ カメラで撮影される範囲
３００ テレビ画像
３０１ テレビ領域
【技術分野】
【０００１】
本発明は、カメラを搭載した携帯電話やスマートフォン等の携帯端末装置及び該携帯端末装置における３Ｄ画像表示方法に関する。
【背景技術】
【０００２】
近年、立体画像（３Ｄ画像）を表示可能なテレビジョンが開発されている。特許文献１には、視差分割方式による立体視映像の代わりに、交差法や平行法の裸眼立体視映像を表示させることができる立体視映像表示装置が記載されている。また、特許文献２には、３Ｄ画像を表示可能な携帯電話が記載されている。特許文献２に記載されている携帯電話は、２個のカメラを備え、これらのカメラで撮影して得られた３Ｄ画像をモバイル通信網や無線ＬＡＮを介して他の携帯電話に伝送し、当該他の携帯電話では、受信した３Ｄ画像をハーフミラーや凹面鏡からなる立体表示部材に投影して虚像が空間に浮かんでいるように表示する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−３１８４２１号公報
【特許文献２】特開２０１０−１４１４４７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、現在発売されている３Ｄ画像を表示可能なテレビジョンは、３Ｄ画像の臨場感の高さから、その効果が十分に理解されているものの、視聴する人数分だけ液晶シャッタ付眼鏡が必要であったり、当該テレビジョンに対して正対して見たりする必要があるなど、手軽に誰でもが視聴できるという状態にはなっていない。
【０００５】
本発明は、係る事情に鑑みてなされたものであり、液晶シャッタ付眼鏡を用いたり、テレビジョンに対して正対したりすることがなく、誰でもが手軽に３Ｄ画像を視聴することができる携帯端末装置及び３Ｄ画像表示方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の携帯端末装置は、表示装置に表示されるフレームシーケンシャル方式の３Ｄ画像を撮影可能な携帯端末装置であって、前記表示装置から前記３Ｄ画像を構成する右目用画像及び左目用画像の切替情報を受信する受信手段と、前記受信手段で受信される前記切替情報に基づいて、前記右目用画像及び前記左目用画像を撮影する撮影手段と、前記撮影手段で撮影された前記右目用画像及び前記左目用画像を視差バリア方式の３Ｄ画像に変換する変換手段と、前記変換手段で前記視差バリア方式に変換された前記３Ｄ画像を表示する表示手段と、を備えた。
【０００７】
上記構成によれば、３Ｄ画像を表示可能な表示装置（例えば、テレビジョン）から切替情報を受信し、当該切替情報に基づいて、右目用画像と左目用画像を撮影し、撮影した右目用画像と左目用画像を視差バリア方式の３Ｄ画像に変換して表示するので、液晶シャッタ付眼鏡を用いたり、テレビジョンに対して正対したりすることがなく、誰でもが手軽に３Ｄ画像を視聴することができる。
【０００８】
上記構成において、前記撮影手段で撮影された前記右目用画像及び前記左目用画像から前記表示装置の表示領域を切出す切出し手段を備えた。
【０００９】
上記構成によれば、表示装置の表示領域のみを携帯端末装置で表示するので、表示装置と同様の３Ｄ画像を視聴することができる。
【００１０】
上記構成において、前記切出し手段で切出された前記表示装置の表示領域を前記表示手段に合わせて射影変換する射影変換手段を備えた。
【００１１】
上記構成によれば、表示装置に表示される３Ｄ画像を表示手段の画面内に収めることができる。
【００１２】
上記構成において、前記撮影手段で撮影された前記右目用画像及び前記左目用画像に前記表示装置の外形全体が含まれていない場合、前記表示装置の外形全体が含まれるように前記撮影手段にズームアウトを指示するズームアウト指示手段を備えた。
【００１３】
上記構成によれば、表示装置の外形全体を携帯端末装置の表示手段の画面内に収めることができる。
【００１４】
上記構成において、前記撮影手段で撮影された前記右目用画像及び前記左目用画像に前記表示装置の外形全体が含まれていない場合、前記撮影手段を向けるべき方向に関する指示を前記表示手段に与えて当該指示に対応する表示を行わせる方向指示手段を備えた。
【００１５】
上記構成によれば、ユーザに写して欲しい方向を指示するので、確実に表示装置の外形全体を携帯端末装置の表示手段の画面内に収めることができる。
【００１６】
本発明の３Ｄ画像表示方法は、表示装置に表示されるフレームシーケンシャル方式の３Ｄ画像を撮影可能な携帯端末装置における３Ｄ画像表示方法であって、前記表示装置から前記３Ｄ画像を構成する右目用画像及び左目用画像の切替情報を受信する受信ステップと、前記受信ステップで受信される前記切替情報に基づいて、前記右目用画像及び前記左目用画像を撮影する撮影ステップと、前記撮影ステップで撮影された前記右目用画像及び前記左目用画像を視差バリア方式の３Ｄ画像に変換する変換ステップと、前記変換ステップで前記視差バリア方式に変換された前記３Ｄ画像を表示する表示ステップと、を備えた。
【００１７】
上記方法によれば、３Ｄ画像を表示可能な表示装置（例えば、テレビジョン）から切替情報を受信し、当該切替情報に基づいて、右目用画像と左目用画像を撮影し、撮影した右目用画像と左目用画像を視差バリア方式の３Ｄ画像に変換して表示するので、液晶シャッタ付眼鏡を用いたり、テレビジョンに対して正対したりすることがなく、誰でもが手軽に３Ｄ画像を視聴することができる。
【発明の効果】
【００１８】
本発明によれば、液晶シャッタ付眼鏡を用いたり、テレビジョンに対して正対したりすることがなく、誰でもが手軽に３Ｄ画像を視聴することができる。
【図面の簡単な説明】
【００１９】
【図１】本発明の実施の形態１に係る携帯端末装置の概略構成を示すブロック図
【図２】図１の携帯端末装置のカメラで３Ｄテレビを撮影している様子を示す図
【図３】図１の携帯端末装置のカメラで３Ｄテレビを撮影している画像のイメージを示す図
【図４】図１の携帯端末装置の射影変換処理のイメージを示す図
【図５】図１の携帯端末装置の射影変換処理を説明するための図であって、３Ｄテレビのテレビ領域全体が撮影された例を示す図
【図６】図１の携帯端末装置の射影変換処理を説明するための図であって、３Ｄテレビのテレビ領域全体の４辺が微妙に撮影された例を示す図
【図７】図１の携帯端末装置の射影変換処理を説明するための図であって、３Ｄテレビのテレビ領域の３辺が撮影された例を示す図
【図８】図１の携帯端末装置の射影変換処理を説明するための図であって、３Ｄテレビのテレビ領域の３辺が微妙に撮影された例を示す図
【図９】図１の携帯端末装置の射影変換処理を説明するための図であって、３Ｄテレビのテレビ領域の一部が撮影された例を示す図
【図１０】図１の携帯端末装置の射影変換処理を説明するための図であって、３Ｄテレビのテレビ領域の一部が撮影された例を示す図
【図１１】図１の携帯端末装置の射影変換処理を説明するための図であって、テレビ領域に対して画像がズームアップで撮影された例を示す図
【図１２】図１の携帯端末装置の射影変換処理を説明するための図であって、テレビ領域の一辺が撮れている例を示す図
【図１３】図１の携帯端末装置の射影変換処理を説明するための図であって、過去のデータを知識として使用して変換する例を示す図
【図１４】図１の携帯端末装置の射影変換処理を説明するための図であって、過去のデータを知識として使用して変換する例を示す図
【図１５】図１の携帯端末装置の３Ｄ画像表示処理を説明するためのフローチャート
【図１６】図１の携帯端末装置の画像変形部の射影変換処理を説明するためのフローチャート
【図１７】図１の携帯端末装置において、テレビ領域に対して外接四角形を作成した状態を示す図
【図１８】本発明の実施の形態２に係る携帯端末装置の概略構成を示すブロック図
【図１９】図１８の携帯端末装置の画像変形部の射影変換処理を説明するためのフローチャート
【図２０】本発明の実施の形態３に係る携帯端末装置の概略構成を示すブロック図
【図２１】図２０の携帯端末装置におけるカメラ方向指示の具体例を示す図
【図２２】図２０の携帯端末装置における方向指示処理を説明するためのフローチャート
【発明を実施するための形態】
【００２０】
以下、本発明を実施するための好適な実施の形態について、図面を参照して詳細に説明する。
【００２１】
（実施の形態１）
図１は、本発明の実施の形態１に係る携帯端末装置の概略構成を示すブロック図である。同図において、本実施の形態に係る携帯端末装置１は、カメラを搭載した携帯電話やスマートフォン等の携帯端末装置であり、カメラ２と、受信部３と、信号処理部４と、表示部５とを備えている。
【００２２】
カメラ２は、被写体を撮影する。本実施の形態では、フレームシーケンシャル方式の３Ｄテレビジョン（図示略、以下“３Ｄテレビ”と呼ぶ）に映し出される画像を撮影する。受信部３は、３Ｄテレビから送信される、３Ｄ画像を構成する右目用画像及び左目用画像の切替信号（切替情報）を受信する。ここで、フレームシーケンシャル方式とは、右目用画像と左目用画像を高速で交互に表示し、その画像を専用の液晶シャッタ付眼鏡を通して見る方式である。液晶シャッタ付眼鏡は、左右のレンズが交互に開閉するように設計されており、切替情報に基づいて左右のレンズを交互に開閉させる。
【００２３】
信号処理部４は、切替信号受信部４１と、カメラ制御部４２と、画像切出し部４３と、画像変形部４４と、３Ｄ方式変換部４５と、３Ｄ表示部４６とを備える。信号処理部４を構成する各部４１〜４６はソフトウェア的な構成であっても良いし、ハードウェア的な構成であっても良い。または、ソフトウェアとハードウェアを混在した構成であっても良い。
【００２４】
切替信号受信部４１は、受信部３で受信された切替信号をカメラ制御部４２へ出力する。カメラ制御部４２は、切替信号受信部４１からの切替信号に基づいてカメラ２を制御し、右目用画像及び左目用画像を撮影する。即ち、カメラ制御部４２は、切替信号に基づいてカメラ２のシャッタを切り続け、右目用画像と左目用画像を交互に撮影する。切替信号に基づいて右目用画像及び左目用画像を撮影することで、３Ｄテレビに左右交互に表示される画像と同期させることができ、３Ｄテレビの画像を携帯端末装置１で再生することが可能となる。
【００２５】
画像切出し部４３は、カメラ制御部４２で撮影された右目用画像及び左目用画像から３Ｄテレビの表示領域を切出す。画像変形部４４は、画像切出し部４３で切出された３Ｄテレビの表示領域を表示部５に合わせて射影変換する。画像を射影変換することにより、３Ｄテレビに表示される３Ｄ画像を表示部５の画面内に納めることができる。３Ｄ方式変換部４５は、画像変形部４４で射影変換された右目用画像及び左目用画像を視差バリア方式の３Ｄ画像に変換する。３Ｄ表示部４６は、３Ｄ方式変換部４５で視差バリア方式に変換された３Ｄ画像を表示部５に表示する。
【００２６】
なお、カメラ２とカメラ制御部４２は撮影手段を構成する。また、受信部３と切替信号受信部４１は受信手段を構成する。また、３Ｄ方式変換部４５は変換手段に対応する。また、３Ｄ表示部４６と表示部５は表示手段を構成する。また、画像切出し部４３は切出し手段に対応する。また、画像変形部４４は射影変換手段に対応する。また、３Ｄテレビ１００（図２参照）は表示装置に対応する。
【００２７】
図２は、本実施の形態に係る携帯端末装置１のカメラ２で３Ｄテレビ１００を撮影している様子を示す図である。同図において、３Ｄテレビ１００の画面には右目用画像と左目用画像が交互に表示される。また、３Ｄテレビ１００から切替信号が送信される。即ち、携帯端末装置１は、カメラ２で３Ｄテレビ１００を撮影するとともに、３Ｄテレビ１００から送信される切替信号を受信する。撮影画像より、テレビ画像の領域（テレビ領域）を切出し、携帯端末装置１の表示向きに合わせて射影変換する。テレビ領域は、画像２枚の差分を取り、変化している部分となる。携帯端末装置１は、射影変換した右目用画像及び左目用画像を視差バリア方式の３Ｄ画像に変換し、表示する。
【００２８】
図３は、本実施の形態に係る携帯端末装置１のカメラ２で３Ｄテレビ１００を撮影している画像のイメージを示す図である。同図に示すように、カメラ２で撮影される範囲２００内にテレビ画像３００があり、また、このテレビ画像３００中に３Ｄテレビ１００のテレビ領域（表示領域）３０１がある。図４は、携帯端末装置１における射影変換のイメージを示す図である。同図の（ａ）に示すように、テレビ領域３０１の４つの端部（頂点）Ｐ１〜Ｐ４をカメラ２で撮影される範囲（カメラ撮影範囲）２００の４つの端部（対応点）Ｄ１〜Ｄ４に揃うように変換することで、同図の（ｂ）に示すように、テレビ領域３０１をカメラ撮影範囲２００内に収めることができる。以上のような処理によって、液晶シャッタ付眼鏡を使用することなく、携帯端末装置１にて３Ｄテレビ１００の画面に映し出された３Ｄ画像を見ることができる。
【００２９】
次に、図５〜図１４を参照して、射影変換の具体例について説明する。
（具体例１）
図５は、３Ｄテレビ１００のテレビ領域３０１全体が撮影された例を示す図である。同図に示す例では、携帯端末装置１の向きから３Ｄテレビ１００の回転方向を算出した後、テレビ領域３０１の４頂点Ｐ１〜Ｐ４を求め、カメラ撮影範囲２００の各対応点Ｄ１〜Ｄ４を合わせるように射影変換を行う。
【００３０】
（具体例２）
図６は、３Ｄテレビ１００のテレビ領域３０１全体の４辺が微妙に撮影された例を示す図である。同図に示す例では、携帯端末装置１の向きから３Ｄテレビ１００の回転方向を算出した後、テレビ領域３０１の直線部分を延長し（点線で示した部分）、矩形を作成する。そして、作成した矩形の４頂点Ｐ１〜Ｐ４を求め、カメラ撮影範囲２００の各対応点Ｄ１〜Ｄ４を合わせるように射影変換を行う。
【００３１】
（具体例３）
図７は、３Ｄテレビ１００のテレビ領域３０１の３辺が撮影された（２頂点が撮影された）例を示す図である。同図に示す例では、携帯端末装置１の向きから３Ｄテレビ１００の回転方向を算出した後、テレビ領域３０１の２頂点Ｐ１，Ｐ３とカメラ撮影範囲２００の端にある２頂点Ｐ２，Ｐ４を用いて、カメラ撮影範囲２００の各対応点Ｄ１〜Ｄ４を合わせるように射影変換を行う。
【００３２】
（具体例４）
図８は、３Ｄテレビ１００のテレビ領域３０１の３辺が微妙に撮影された（２頂点が撮影されない）例を示す図である。同図に示す例では、携帯端末装置１の向きから３Ｄテレビ１００の回転方向を算出した後、テレビ領域３０１の直線部分を延長し（点線で示した部分）、頂点Ｐ１を作成する。そして、作成した頂点Ｐ１と、撮影された頂点Ｐ３と、カメラ撮影範囲２００にある２頂点Ｐ２，Ｐ４とを用いて、カメラ撮影範囲２００の各対応点Ｄ１〜Ｄ４を合わせるように射影変換を行う。
【００３３】
（具体例５）
図９は、３Ｄテレビ１００のテレビ領域３０１の一部（隣り合う２辺）が撮影された例を示す図である。同図に示す例では、携帯端末装置１の向きから３Ｄテレビ１００の回転方向を算出した後、撮影されるテレビ領域３０１の１頂点Ｐ２と端にある３頂点Ｐ１，Ｐ３，Ｐ４とを用いて、カメラ撮影範囲２００の各対応点Ｄ１〜Ｄ４を合わせるように射影変換を行う。
【００３４】
（具体例６）
図１０は、３Ｄテレビ１００のテレビ領域３０１の一部（平行な２辺）が撮影された例を示す図である。同図に示す例では、携帯端末装置１の向きから３Ｄテレビ１００の回転方向を算出した後、テレビ領域３０１の端にある４頂点Ｐ１〜Ｐ４を用いて、カメラ撮影範囲２００の各対応点Ｄ１〜Ｄ４を合わせるように射影変換を行う。
【００３５】
（具体例７）
図１１は、テレビ領域３０１に対して画像がズームアップ（所謂“ドアップ”）で撮影された例を示す図である。同図に示す例では、携帯端末装置１の向きから３Ｄテレビ１００の回転方向を算出した後、当該回転方向を基に画像を回転させることで射影変換を行う。
【００３６】
（具体例８）
図１２は、テレビ領域３０１の一辺が撮れている例を示す図である。同図に示す例では、携帯端末装置１の向きから３Ｄテレビ１００の回転方向を算出した後、テレビ領域３０１の撮影されている辺３０１１と３Ｄテレビ１００の回転方向から４辺のいずれかを特定し、所定の辺に納まるように画像を回転させることで射影変換を行う。
【００３７】
（具体例９）
上述した各具体例１〜８の他の具体例として、写っている範囲を固定する方法がある。
最初に全体が撮影できていた場合、次にテレビ領域３０１の一部しか写されていないときや、一部が欠けたときに、全体が撮影できていたときの目印情報、例えばメーカのロゴなどを合わせるように射影変換を行うことで、テレビ領域３０１の大小の急激な変化を生じさせないようにする。
【００３８】
図１３は、過去のデータを知識として使用して変換する例を示す図である。同図に示す例は、具体例３のように、３辺が撮影される（２頂点が撮影される）場合と、具体例４のように、３辺が微妙に撮影される（２頂点が撮影されない）場合に適用できる。３Ｄテレビ１００のロゴマーク（例えば“Ｐａｎａｓｏｎｉｃ”）３０１２が撮影されていれば、そのロゴマーク３０１２を基に変換するためのパラメータを決定するか、または単純にテレビ領域３０１の２頂点Ｐ１，Ｐ３と、ロゴマーク３０１２を基に射影変換する。なお、ロゴマーク３０１２が撮影されていなければ、撮影された２頂点Ｐ１，Ｐ３と、テレビ領域３０１の端にある２頂点Ｐ２’，Ｐ４’を用いて、カメラ撮影範囲２００の各対応点Ｄ１〜Ｄ４を合わせるように射影変換を行う。写っていない領域（この場合、車両の後部）は前の画像３０２を参照するとよい。
【００３９】
（具体例１０）
図１４は、前述した図１３と同様に、過去のデータを知識として使用して変換する例を示す図である。同図に示す例は、具体例５のように、一部が撮影される（隣り合う２辺）場合と、具体例６のように、一部が撮影される（平行な２辺）場合と、具体例８のように、一辺が撮れている場合に適応できる。３Ｄテレビ１００のロゴマーク（例えば“Ｐａｎａｓｏｎｉｃ”）３０１２が撮影されていれば、そのロゴマーク３０１２を基に変換するためのパラメータを決定するか、または単純にロゴマーク３０１２を基に射影変換する。なお、写っていない領域（この場合、車両の後部）は前の画像を参照するとよい。
【００４０】
次に、本実施の形態に係る携帯端末装置１の動作について説明する。
図１５は、本実施の形態に係る携帯端末装置１の３Ｄ画像表示処理を説明するためのフローチャートである。同図において、まず切替信号受信部４１が、受信部３で受信された切替信号をカメラ制御部４２へ出力する（ステップＳ１）。カメラ制御部４２が、切替信号受信部４１から出力された切替信号に基づいてカメラ２のシャッタを切り続け、右目用画像と左目用画像を交互に撮影する（ステップＳ２）。カメラ制御部４２で得られる右目用画像と左目用画像は画像切出し部４３へ出力され、画像切出し部４３が右目用画像と左目用画像を用いて３Ｄテレビ１００のテレビ領域３０１を抽出する（ステップＳ３）。この場合、画像切出し部４３は、右目用画像と左目用画像を１対にして差分を求めることで３Ｄテレビ１００のテレビ領域３０１を抽出する。テレビ領域３０１の領域抽出後、画像変形部４４が画像切出し部４３で切出されたテレビ領域３０１を表示部５に合わせて射影変換する（ステップＳ４）。テレビ領域３０１が表示部５に合わせて射影変換された後、３Ｄ方式変換部４５が、画像変形部４４で射影変換された右目用画像及び左目用画像を視差バリア方式の３Ｄ画像に変換する（ステップＳ５）。次いで、３Ｄ表示部４６が、３Ｄ方式変換部４５で視差バリア方式に変換された３Ｄ画像を表示部５に表示する（ステップＳ６）。
【００４１】
図１６は、画像変形部４４の射影変換処理を説明するためのフローチャートである。同図において、まず携帯端末装置１の姿勢を取得する（ステップＳ２０）。この姿勢取得には、例えば加速度センサが用いられ、画像変形部４４はそれを有している。姿勢取得後、矩形が撮影されているかどうか判定し（ステップＳ２１）、矩形が撮影されている場合（即ち、ステップＳ２１の判定で「Ｙｅｓ」と判断した場合）、カメラ撮影範囲２００の対応点を決定し（ステップＳ２２）、射影変換を行う（ステップＳ２３）。ここで、矩形が撮影されている場合とは、３Ｄテレビ１００全体が撮影されている場合である。
【００４２】
一方、上記ステップＳ２１の判定で、矩形が撮影されていない場合（即ち、ステップＳ２１の判定で「Ｎｏ」と判断した場合）、撮影される辺が０本であるかどうか判定する（ステップＳ２４）。撮影される辺が０本である場合（即ち、ステップＳ２４の判定で「Ｙｅｓ」の場合）、携帯端末装置１の向きを利用し、撮影される領域即ちテレビ領域３０１の外接四角形を作成する（ステップＳ２５）。ここで、撮影される辺が０本である場合とは、具体例７（図１１）で説明したように、テレビ領域３０１に対して画像がズームアップ（所謂“ドアップ”）で撮影されたような場合である。図１７は、テレビ領域３０１に対して外接四角形５００を作成した状態を示す図である。携帯端末装置１の傾き（矢印６００で示す）を鉛直方向にして外接四角形５００を作成する。外接四角形５００の作成後、ステップＳ２２に進み、対応点を決定する。対応点の決定後、射影変換を行う（ステップＳ２３）。射影変換を行った後、メイン処理に戻る。
【００４３】
また、上記ステップＳ２４の判定で、撮影される辺が０本でない場合（即ち、ステップＳ２４の判定で「Ｎｏ」と判断した場合）、撮影される辺が１本であるかどうか判定する（ステップＳ２６）。撮影される辺が１本である場合（即ち、ステップＳ２６の判定で「Ｙｅｓ」の場合）、その辺を変換後の向きに合う辺として、撮影される領域の外接四角形を作成する（ステップＳ２７）。ここで、撮影される辺が１本である場合とは、具体例８（図１２）で説明したように、テレビ領域３０１の一辺が撮れているような場合である。外接四角形を作成した後、ステップＳ２２に進み、対応点を決定する。対応点の決定後、射影変換を行う（ステップＳ２３）。射影変換を行った後、メイン処理に戻る。
【００４４】
また、上記ステップＳ２６の判定で、撮影される辺が１本でない場合（即ち、ステップＳ２６の判定で「Ｎｏ」と判断した場合）、頂点が撮影されてなく、辺が撮影されている場合には、辺を延長して頂点を算出し、当該算出が不能の場合には、撮影される辺とカメラ画像の辺の交点を頂点とする（ステップＳ２８）。ここで、辺を延長して頂点を算出する場合とは、具体例２（図６）で説明したように、３Ｄテレビ１００のテレビ領域３０１全体の４辺が微妙に撮影されるような場合である。この処理を行った後、ステップＳ２２に進み、対応点を決定する。対応点の決定後、射影変換を行う（ステップＳ２３）。射影変換を行った後、メイン処理に戻る。
【００４５】
このように本実施の形態に係る携帯端末装置１によれば、３Ｄテレビ１００から切替信号を受信し、受信した切替信号に基づいて右目用画像と左目用画像を撮影し、撮影した右目用画像と左目用画像を視差バリア方式の３Ｄ画像に変換して表示するので、液晶シャッタ付眼鏡を用いたり、テレビジョンに対して正対したりすることがなく、誰でもが手軽に３Ｄ画像を視聴することができる。
【００４６】
また、カメラ２及びカメラ制御部４２で撮影された右目用画像及び左目用画像から３Ｄテレビ１００のテレビ領域３０１を切出すので、３Ｄテレビ１００と同様の３Ｄ画像を視聴することができる。
【００４７】
また、切出された３Ｄテレビ１００のテレビ領域３０１を表示部５に合わせて射影変換するので、３Ｄテレビ１００に表示される３Ｄ画像を表示部５の画面内に納めることができる。
【００４８】
（実施の形態２）
図１８は、本発明の実施の形態２に係る携帯端末装置の概略構成を示すブロック図である。同図に示す携帯端末装置１０は、３Ｄテレビ１００の全体を写すことができるように、カメラ制御部４２に対してズームアウト指示を出力する画像変形部４７を有する。画像変形部４７は信号処理部６に含まれている。画像変形部４７はズーム指示部４７Ａを有しており、このズーム指示部４７Ａが、カメラ２で撮影された右目用画像及び左目用画像に３Ｄテレビ１００の外形全体が含まれていない場合に、３Ｄテレビ１００の外形全体が含まれるようにカメラ制御部４２にズームアウトを指示する。
【００４９】
図１９は、画像変形部４７の射影変換処理を説明するためのフローチャートである。画像変形部４７の主な動作は図１６で説明した通りであり、異なる点は、ステップＳ２１の判定で矩形が撮影されていないと判断した場合に、カメラ制御部４２にズーム指示を出力する処理が新たに付加されている点である。ズーム指示は、頂点（四隅）を撮影できるように、カメラ制御部４２に出力される（ステップＳ３０）。ズーム指示の出力後、ステップＳ２４の判定を行う。
【００５０】
このように本実施の形態に係る携帯端末装置１０によれば、カメラ２で撮影された右目用画像及び左目用画像に３Ｄテレビ１００の外形全体が含まれていない場合、３Ｄテレビ１００の外形全体が含まれるように、カメラ制御部４２にズームアウトを指示するので、３Ｄテレビ１００の外形全体を表示部５の画面内に収めることができる。
【００５１】
（実施の形態３）
図２０は、本発明の実施の形態３に係る携帯端末装置の概略構成を示すブロック図である。同図に示す携帯端末装置２０は、ユーザに対して写して欲しい方向を指示する方向指示部４８を有している。方向指示部４８は信号処理部７に含まれている。この方向指示部４８は、カメラ２で撮影された右目用画像及び左目用画像に３Ｄテレビ１００の外形全体が含まれていない場合、カメラ２を向けるべき方向に関する指示を３Ｄ表示部４６に与えて当該指示に対応する表示を行わせる。図２１は、カメラ２を向けるべき方向に関する指示の具体例を示す図である。同図（ａ）及び（ｂ）に示すように、カメラ２を向けるべき方向を示す矢印７００と、それをサポートする文章（「カメラをやじるし方向に向けてください」）７１０が表示されている。図２２は、方向指示処理を示すフローチャートである。同図において、方向指示部４８は、撮影された辺の情報を基に、撮影される辺の真ん中の逆方向にカメラ２を向けるように指示し（ステップＳ４０）、それを表示部５に３Ｄ表示させる（ステップＳ４１）。
【００５２】
このように本実施の形態に係る携帯端末装置２０によれば、カメラ２で撮影された右目用画像及び左目用画像に表示装置の外形全体が含まれていない場合、カメラ２を向けるべき方向に関する指示を３Ｄ表示部４６に与えて当該指示に対応する表示を行わせるので、確実に３Ｄテレビ１００の外形全体を携帯端末装置２０の表示部５の画面内に収めることができる。
【００５３】
また、上記実施の形態１〜３に係る携帯端末装置１，１０，２０のそれぞれにおける処理を記述したプログラムを、磁気ディスク、光ディスク、光磁気ディスク、半導体メモリ等の記憶媒体に格納して配布したり、インターネット等の電気通信回線を利用して配布したりすることも可能である。
【産業上の利用可能性】
【００５４】
本発明は、液晶シャッタ付眼鏡を用いたり、テレビジョンに対して正対したりすることがなく、誰でもが手軽に３Ｄ画像を視聴することができるといった効果を有し、カメラを搭載した携帯電話、スマートフォン等の携帯端末装置への適用が可能である。
【符号の説明】
【００５５】
１，１０，２０ 携帯端末装置
２ カメラ
３ 受信部
４，６，７ 信号処理部
５ 表示部
４１ 切替信号受信部
４２ カメラ制御部
４３ 画像切出し部
４４，４７ 画像変形部
４５ ３Ｄ方式変換部
４６ ３Ｄ表示部
４７Ａ ズーム指示部
４８ 方向指示部
１００ ３Ｄテレビ
２００ カメラで撮影される範囲
３００ テレビ画像
３０１ テレビ領域
【特許請求の範囲】
【請求項１】
表示装置に表示されるフレームシーケンシャル方式の３Ｄ画像を撮影可能な携帯端末装置であって、
前記表示装置から前記３Ｄ画像を構成する右目用画像及び左目用画像の切替情報を受信する受信手段と、
前記受信手段で受信される前記切替情報に基づいて、前記右目用画像及び前記左目用画像を撮影する撮影手段と、
前記撮影手段で撮影された前記右目用画像及び前記左目用画像を視差バリア方式の３Ｄ画像に変換する変換手段と、
前記変換手段で前記視差バリア方式に変換された前記３Ｄ画像を表示する表示手段と、
を備えた携帯端末装置。
【請求項２】
請求項１に記載の携帯端末装置であって、
前記撮影手段で撮影された前記右目用画像及び前記左目用画像から前記表示装置の表示領域を切出す切出し手段を備えた携帯端末装置。
【請求項３】
請求項２に記載の携帯端末装置であって、
前記切出し手段で切出された前記表示装置の表示領域を前記表示手段に合わせて射影変換する射影変換手段を備えた携帯端末装置。
【請求項４】
請求項１乃至請求項３のいずれか一項に記載の携帯端末装置であって、
前記撮影手段で撮影された前記右目用画像及び前記左目用画像に前記表示装置の外形全体が含まれていない場合、前記表示装置の外形全体が含まれるように前記撮影手段にズームアウトを指示するズームアウト指示手段を備えた携帯端末装置。
【請求項５】
請求項１乃至請求項４のいずれか一項に記載の携帯端末装置であって、
前記撮影手段で撮影された前記右目用画像及び前記左目用画像に前記表示装置の外形全体が含まれていない場合、前記撮影手段を向けるべき方向に関する指示を前記表示手段に与えて当該指示に対応する表示を行わせる方向指示手段を備えた携帯端末装置。
【請求項６】
表示装置に表示されるフレームシーケンシャル方式の３Ｄ画像を撮影可能な携帯端末装置における３Ｄ画像表示方法であって、
前記表示装置から前記３Ｄ画像を構成する右目用画像及び左目用画像の切替情報を受信する受信ステップと、
前記受信ステップで受信される前記切替情報に基づいて、前記右目用画像及び前記左目用画像を撮影する撮影ステップと、
前記撮影ステップで撮影された前記右目用画像及び前記左目用画像を視差バリア方式の３Ｄ画像に変換する変換ステップと、
前記変換ステップで前記視差バリア方式に変換された前記３Ｄ画像を表示する表示ステップと、
を備えた３Ｄ画像表示方法。
【請求項１】
表示装置に表示されるフレームシーケンシャル方式の３Ｄ画像を撮影可能な携帯端末装置であって、
前記表示装置から前記３Ｄ画像を構成する右目用画像及び左目用画像の切替情報を受信する受信手段と、
前記受信手段で受信される前記切替情報に基づいて、前記右目用画像及び前記左目用画像を撮影する撮影手段と、
前記撮影手段で撮影された前記右目用画像及び前記左目用画像を視差バリア方式の３Ｄ画像に変換する変換手段と、
前記変換手段で前記視差バリア方式に変換された前記３Ｄ画像を表示する表示手段と、
を備えた携帯端末装置。
【請求項２】
請求項１に記載の携帯端末装置であって、
前記撮影手段で撮影された前記右目用画像及び前記左目用画像から前記表示装置の表示領域を切出す切出し手段を備えた携帯端末装置。
【請求項３】
請求項２に記載の携帯端末装置であって、
前記切出し手段で切出された前記表示装置の表示領域を前記表示手段に合わせて射影変換する射影変換手段を備えた携帯端末装置。
【請求項４】
請求項１乃至請求項３のいずれか一項に記載の携帯端末装置であって、
前記撮影手段で撮影された前記右目用画像及び前記左目用画像に前記表示装置の外形全体が含まれていない場合、前記表示装置の外形全体が含まれるように前記撮影手段にズームアウトを指示するズームアウト指示手段を備えた携帯端末装置。
【請求項５】
請求項１乃至請求項４のいずれか一項に記載の携帯端末装置であって、
前記撮影手段で撮影された前記右目用画像及び前記左目用画像に前記表示装置の外形全体が含まれていない場合、前記撮影手段を向けるべき方向に関する指示を前記表示手段に与えて当該指示に対応する表示を行わせる方向指示手段を備えた携帯端末装置。
【請求項６】
表示装置に表示されるフレームシーケンシャル方式の３Ｄ画像を撮影可能な携帯端末装置における３Ｄ画像表示方法であって、
前記表示装置から前記３Ｄ画像を構成する右目用画像及び左目用画像の切替情報を受信する受信ステップと、
前記受信ステップで受信される前記切替情報に基づいて、前記右目用画像及び前記左目用画像を撮影する撮影ステップと、
前記撮影ステップで撮影された前記右目用画像及び前記左目用画像を視差バリア方式の３Ｄ画像に変換する変換ステップと、
前記変換ステップで前記視差バリア方式に変換された前記３Ｄ画像を表示する表示ステップと、
を備えた３Ｄ画像表示方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【公開番号】特開２０１３−８８６６４（Ｐ２０１３−８８６６４Ａ）
【公開日】平成２５年５月１３日（２０１３．５．１３）
【国際特許分類】
【出願番号】特願２０１１−２２９８９０（Ｐ２０１１−２２９８９０）
【出願日】平成２３年１０月１９日（２０１１．１０．１９）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２５年５月１３日（２０１３．５．１３）
【国際特許分類】
【出願日】平成２３年１０月１９日（２０１１．１０．１９）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]