3次元立体映像を表示するための映像表示装置及びその制御方法
【課題】本発明は、鑑賞環境を考慮した上で、より快適な3次元立体映像を鑑賞できる映像表示装置及びその制御方法に関するものである。
【解決手段】本発明の一実施例に係る映像表示装置は、両眼視差方式の3D立体映像を表示するための視差生成手段を含むディスプレイ部(151)と、第1の映像〜第3の映像を格納するためのメモリ部(160)と、所定のディスプレイ条件を判断し、第1の条件を満足する場合、前記第1の映像及び前記第2の映像を用いて前記ディスプレイ部を通して3D立体映像が表示されるように制御し、第2の条件を満足する場合、前記第1の映像及び前記第3の映像を用いて前記ディスプレイ部を通して3D立体映像が表示されるように制御する制御部(180)とを含む。このとき、前記第1の映像〜第3の映像は、共通の客体に対する互いに異なる視点の映像であることが望ましい。
【解決手段】本発明の一実施例に係る映像表示装置は、両眼視差方式の3D立体映像を表示するための視差生成手段を含むディスプレイ部(151)と、第1の映像〜第3の映像を格納するためのメモリ部(160)と、所定のディスプレイ条件を判断し、第1の条件を満足する場合、前記第1の映像及び前記第2の映像を用いて前記ディスプレイ部を通して3D立体映像が表示されるように制御し、第2の条件を満足する場合、前記第1の映像及び前記第3の映像を用いて前記ディスプレイ部を通して3D立体映像が表示されるように制御する制御部(180)とを含む。このとき、前記第1の映像〜第3の映像は、共通の客体に対する互いに異なる視点の映像であることが望ましい。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、鑑賞環境を考慮した上で、より快適な3次元立体映像を鑑賞できる映像表示装置及びその制御方法に関するものである。
【背景技術】
【0002】
最近、端末機形態の映像表示装置が増加しつつあるが、このような端末機は、移動可能性の有無によって移動端末機及び固定端末機に分けることができる。また、移動端末機は、ユーザーの携帯可能性の有無によって携帯(型)端末機及び据え置き型端末機に分けることができる。
【0003】
このような端末機は、機能の多様化とともに、例えば、写真や動画の撮影、音楽や動画ファイルの再生、ゲーム、放送の受信などの複合的な機能を備えたマルチメディア機器の形態に具現されている。
【0004】
このような端末機の機能をサポート及び増大するために、端末機の構造的な部分及び/又はソフトウェア的な部分を改良することを考慮することができる。
【0005】
最近、移動端末機のディスプレイ部を通して両眼視差(stereoscopic)方式の3次元(3D)立体映像が具現されることによって、これをより便利かつ快適に鑑賞できる方法が要求されている実情にある。
【発明の概要】
【発明が解決しようとする課題】
【0006】
本発明は、より便利かつ快適な3D立体映像鑑賞環境をユーザーに提供するためのものである。
【0007】
また、本発明は、3D立体映像が出力される環境を考慮した上で、視覚的な不便さなく3D立体映像を鑑賞できる移動端末機などの映像出力装置及びその制御方法を提供するためのものである。
【0008】
さらに、本発明は、出力される環境を考慮した上で、視覚的な不便さのない3D立体映像を提供するためのソース映像を生成する装置及びその制御方法を提供するためのものである。
【0009】
本発明で達成しようとする各技術的課題は、以上言及した各技術的課題に制限されるものでなく、言及していない他の技術的課題は、下記の記載から本発明の属する技術分野で通常の知識を有する者に明確に理解されるだろう。
【課題を解決するための手段】
【0010】
前記のような課題を実現するための本発明の一例と関連した映像表示装置は、両眼視差方式の3D立体映像を表示するための視差生成手段を含むディスプレイ部と、第1の映像〜第3の映像を格納するためのメモリ部と、所定のディスプレイ条件を判断し、第1の条件を満足する場合、前記第1の映像及び前記第2の映像を用いて前記ディスプレイ部を通して3D立体映像が表示されるように制御するとともに、第2の条件を満足する場合、前記第1の映像及び前記第3の映像を用いて前記ディスプレイ部を通して3D立体映像が表示されるように制御する制御部とを含み、前記第1の映像〜第3の映像は、共通の客体に対する互いに異なる視点の映像であることが望ましい。
【0011】
また、前記のような課題を実現するための本発明の一例と関連した映像表示装置は、両眼視差方式の3D立体映像を表示するための視差生成手段を含むディスプレイ部と、第1の映像〜第4の映像を格納するためのメモリ部と、所定のディスプレイ条件を判断し、第1の条件を満足する場合、前記第1の映像及び前記第4の映像を用いて前記ディスプレイ部を通して3D立体映像が表示されるように制御するとともに、第2の条件を満足する場合、前記第2の映像及び前記第3の映像を用いて前記ディスプレイ部を通して3D立体映像が表示されるように制御する制御部とを含み、前記第1の映像〜第4の映像は、共通の客体に対する互いに異なる視点の映像であることが望ましい。
【0012】
さらに、前記のような課題を実現するための本発明の一例と関連した映像表示装置の制御方法は、所定のディスプレイ条件を判断すること、及び、前記判断の結果、第1の条件が満足されると、第1の映像及び第2の映像を用いてステレオスコピック方式の3D立体映像を表示し、前記判断の結果、第2の条件が満足されると、前記第1の映像及び第3の映像を用いてステレオスコピック方式の3D立体映像を表示することを含み、前記第1の映像〜第3の映像は、共通の客体に対する互いに異なる視点の映像であることが望ましい。
【発明の効果】
【0013】
前記のように構成される本発明の少なくとも一つの実施例と関連した映像表示装置を通して、ユーザーにより快適な3D立体映像の鑑賞環境を提供することができる。
【0014】
また、3D立体映像の鑑賞環境によって視差が調節されるので、ユーザーが3D立体映像を鑑賞するときに生じる視覚的な不便さを最小化することができる。
【0015】
さらに、少なくとも一つのカメラを用いて3D立体映像のソース映像を生成することができる。
【0016】
本発明で得られる効果は、以上言及した各効果に制限されるものでなく、言及していない他の効果は、下記の記載から本発明の属する技術分野で通常の知識を有する者に明確に理解されるだろう。
【図面の簡単な説明】
【0017】
【図1】本発明の一実施例と関連した移動端末機のブロック構成図である。
【図2】本発明の一実施例と関連した移動端末機の前面斜視図である。
【図3】両眼視差の原理を説明するための概念図である。
【図4】両眼視差による距離感及び3次元深さを説明するための概念図である。
【図5】本発明の各実施例に適用可能な関連した両眼視差を用いた3D立体映像表示方法の原理を説明するための図である。
【図6】ディスプレイ環境によってユーザーが感じる両眼視差の差を説明するための図である。
【図7】本発明の一実施例に係る共通の客体に対する互いに異なる三つの視点の映像の一例を示す図である。
【図8a】互いに異なる三つの視点で共通の客体を見た映像の一例を示す図である。
【図8b】互いに異なる三つの視点で共通の客体を見た映像をディスプレイ部の大きさによって組み合わせた一例を示す図である。
【図9】図8a及び図8bを参照して説明したソース映像の組み合わせをより具体的な客体に示したディスプレイ状態図である。
【図10】本発明の一実施例に係る共通の客体に対する互いに異なる四つの視点の映像の一例を示す図である。
【図11】本発明の一実施例に係る一つのカメラを通したソース映像撮影方法の一例を示す図である。
【図12】本発明の一実施例に係る一つのカメラを通したソース映像撮影方法の他の一例を示す図である。
【図13】本発明の一実施例に係る二つのカメラを通したソース映像撮影方法の一例を示す図である。
【図14】本発明の一実施例に係る二つのカメラを通したソース映像撮影のための装置構造の一例を示す図である。
【図15】本発明の一実施例に係る二つのカメラを通したソース映像撮影方法の他の一例を示す図である。
【発明を実施するための形態】
【0018】
以下、本発明と関連した映像表示装置について図面を参照してより詳細に説明する。以下の説明で使用される構成要素に対する接尾辞「モジュール」及び「部」は、明細書を容易に作成するために付与又は混用されるものであって、それ自体は互いに区別される意味又は役割を有していない。
【0019】
本明細書で説明する映像表示装置は、移動端末機であると仮定する。このような移動端末機は、携帯電話、スマートフォン、ノート型パソコン(laptop computer)、デジタル放送用端末機、PDA(Personal Digital Assistants)、PMP(Portable Multimedia Player)、ナビゲーションなどを含むことができる。しかし、本明細書に記載された実施例に係る構成が、移動端末機のみに適用可能な場合を除いては、デジタルTV、デスクトップコンピュータ、デジタル媒体再生機などの固定端末機にも適用可能であることは、本技術分野の当業者であれば容易に理解できるだろう。
【0020】
全体の構成
図1は、本発明の一実施例と関連した移動端末機のブロック構成図である。
【0021】
移動端末機100は、無線通信部110、A/V(Audio/Video)入力部120、ユーザー入力部130、センシング部140、出力部150、メモリ160、インターフェース部170、制御部180及び電源供給部190などを含むことができる。図1に示した各構成要素が必須ではないので、それより多い構成要素を有したり、それより少ない構成要素を有する移動端末機を具現することもできる。
【0022】
以下、各構成要素について順次説明する。
【0023】
無線通信部110は、移動端末機100と無線通信システムとの間、又は移動端末機100と移動端末機100が位置したネットワークとの間の無線通信を可能にする一つ以上のモジュールを含むことができる。例えば、無線通信部110は、放送受信モジュール111、移動通信モジュール112、無線インターネットモジュール113、近距離通信モジュール114及び位置情報モジュール115などを含むことができる。
【0024】
放送受信モジュール111は、放送チャンネルを介して外部の放送管理サーバーから放送信号及び/又は放送関連情報を受信する。
【0025】
放送チャンネルは、衛星チャンネル、地上波チャンネルを含むことができる。放送管理サーバーは、放送信号及び/又は放送関連情報を生成して送信するサーバー、又は既に生成された放送信号及び/又は放送関連情報を受けて端末機に送信するサーバーを意味することができる。放送信号は、TV放送信号、ラジオ放送信号、データ放送信号を含むだけでなく、TV放送信号又はラジオ放送信号にデータ放送信号が結合した形態の放送信号も含むことができる。
【0026】
放送関連情報は、放送チャンネル、放送プログラム又は放送サービス提供者と関連した情報を意味することができる。放送関連情報は、移動通信網を介しても提供できるが、この場合、移動通信モジュール112によって受信することができる。
【0027】
放送関連情報は、多様な形態、例えば、DMB(Digital Multimedia Broadcasting)のEPG(Electronic Program Guide)又はDVB―H(Digital Video Broadcast―Handheld)のESG(Electronic Service Guide)などの形態で存在可能である。
【0028】
放送受信モジュール111は、例えば、DMB―T(Digital Multimedia Broadcasting―Terrestrial)、DMB―S(Digital Multimedia Broadcasting―Satellite)、MediaFLO(Media Forward Link Only)、DVB―H(Digital Video Broadcast―Handheld)、ISDB―T(Integrated Services Digital Broadcast―Terrestrial)などのデジタル放送システムを用いてデジタル放送信号を受信することができる。もちろん、放送受信モジュール111は、上述したデジタル放送システムだけでなく、他の放送システムに適する形態に構成することもできる。
【0029】
放送受信モジュール111を通して受信された放送信号及び/又は放送関連情報は、メモリ160に格納することができる。
【0030】
移動通信モジュール112は、移動通信網上で基地局、外部の端末、サーバーのうち少なくとも一つとの間で無線信号を送受信する。無線信号は、音声呼信号、画像通話呼信号又は文字/マルチメディアメッセージ送受信による多様な形態のデータを含むことができる。
【0031】
無線インターネットモジュール113は、無線インターネット接続のためのモジュールをいい、移動端末機100に内蔵又は外付けすることができる。無線インターネット技術としては、WLAN(Wireless LAN)(Wi―Fi)、Wibro(Wireless broadband)、Wimax(World Interoperability for Microwave Access)、HSDPA(High Speed Downlink Packet Access)などを用いることができる。
【0032】
近距離通信モジュール114は、近距離通信のためのモジュールをいう。近距離通信技術としては、ブルートゥース、RFID(Radio Frequency Identification)、赤外線通信(IrDA、infrared Data Association)、UWB(Ultra Wideband)、ジグビー(ZigBee)などを用いることができる。
【0033】
位置情報モジュール115は、移動端末機の位置を獲得するためのモジュールであって、その代表的な例としてはGPS(Global Position System)モジュールがある。
【0034】
図1を参照すると、A/V(Audio/Video)入力部120は、オーディオ信号又はビデオ信号を入力するためのものであって、カメラ121及びマイク122などを含むことができる。カメラ121は、画像通話モード又は撮影モードでイメージセンサーによって得られる静止画又は動画などの画像フレームを処理する。処理された画像フレームはディスプレイ部151に表示することができる。
【0035】
カメラ121で処理された画像フレームは、メモリ160に格納したり、無線通信部110を通して外部に伝送することができる。カメラ121は、使用環境によって2個以上備えることもできる。
【0036】
マイク122は、通話モード又は録音モード、音声認識モードなどでマイクロホンによって外部の音響信号を受けて電気的な音声データとして処理する。処理された音声データは、通話モードである場合、移動通信モジュール112を通して移動通信基地局に送信可能な形態に変換して出力することができる。マイク122には、外部の音響信号を受ける過程で発生する雑音を除去するための多様な雑音除去アルゴリズムが具現可能である。
【0037】
ユーザー入力部130は、ユーザーが端末機の動作制御のために入力する入力データを発生させる。ユーザー入力部130は、キーパッド、ドームスィッチ、タッチパッド(静圧/静電)、ゾグホイール、ゾグスィッチなどで構成することができる。
【0038】
センシング部140は、移動端末機100の開閉状態、移動端末機100の位置、ユーザーの接触有無、移動端末機の方位、移動端末機の加速/減速などのように移動端末機100の現状態を感知し、移動端末機100の動作を制御するためのセンシング信号を発生させる。例えば、移動端末機100がスライドフォン形態である場合、スライドフォンの開閉有無をセンシングすることができる。また、電源供給部190の電源供給可否、インターフェース部170の外部機器への結合可否などをセンシングすることもできる。一方、センシング部140は、近接センサー141を含むことができる。
【0039】
出力部150は、視覚、聴覚又は触覚などと関連した出力を発生させるためのものであって、ディスプレイ部151、音響出力モジュール152、アラーム部153、ハプティックモジュール154及びプロジェクターモジュール155などを含むことができる。
【0040】
ディスプレイ部151は、移動端末機100で処理される情報を表示(出力)する。例えば、移動端末機が通話モードである場合、通話と関連したUI(User Interface)又はGUI(Graphic User Interface)を表示する。移動端末機100が画像通話モード又は撮影モードである場合は、撮影又は/及び受信された映像、又はUI、GUIを表示する。
【0041】
ディスプレイ部151は、液晶ディスプレイ(liquid crystal display、LCD)、薄膜トランジスタ液晶ディスプレイ(thin film transistor―liquid crystal display、TFT LCD)、有機発光ダイオード(organic light―emitting diode、OLED)、フレキシブルディスプレイ、3次元ディスプレイのうち少なくとも一つを含むことができる。
【0042】
これらのうち一部のディスプレイは、それを通して外部が見られるように透明型又は光透過型で構成することができる。これは、透明ディスプレイと呼ばれるが、透明ディスプレイの代表的な例としては、TOLED(Transparant OLED)などがある。ディスプレイ部151の後方構造も光透過型構造で構成することができる。このような構造により、ユーザーは、端末機ボディーのディスプレイ部151が占める領域を通して端末機ボディーの後方に位置した事物を見ることができる。
【0043】
移動端末機100の具現形態によってディスプレイ部151が2個以上存在し得る。例えば、移動端末機100には、複数のディスプレイ部を一つの面に離隔して配置したり、又は一体に配置することができ、また、複数のディスプレイ部を互いに異なる面にそれぞれ配置することもできる。
【0044】
ディスプレイ部151とタッチ動作を感知するセンサー(以下、「タッチセンサー」という。)が互いにレイヤー構造をなす場合(以下、「タッチスクリーン」という。)、ディスプレイ部151は、出力装置の他に入力装置としても使用可能である。タッチセンサーは、例えば、タッチフィルム、タッチシート、タッチパッドなどの形態を有することができる。
【0045】
タッチセンサーは、ディスプレイ部151の特定部位に加えられた圧力又はディスプレイ部151の特定部位に発生する静電容量などの変化を電気的な入力信号に変換するように構成することができる。タッチセンサーは、タッチされる位置及び面積だけでなく、タッチ時の圧力までも検出できるように構成することができる。
【0046】
タッチセンサーに対するタッチ入力がある場合、それに対応する信号はタッチ制御器に送られる。タッチ制御器は、その信号を処理した後、対応するデータを制御部180に伝送する。これによって、制御部180は、ディスプレイ部151のどの領域がタッチされたかなどを知ることができる。
【0047】
近接センサー141は、タッチスクリーンによって覆われる移動端末機の内部領域又はタッチスクリーンの近くに配置することができる。近接センサーは、所定の検出面に接近する物体、或いは近傍に存在する物体の有無を電磁界の力又は赤外線を用いて機械的接触なしに検出するセンサーをいう。近接センサーは、接触式センサーよりも長い寿命を有するので、その活用度も高い。
【0048】
近接センサーの例としては、透過型光電センサー、直接反射型光電センサー、ミラー反射型光電センサー、高周波発振型近接センサー、静電容量型近接センサー、磁気型近接センサー、赤外線近接センサーなどがある。タッチスクリーンが静電式である場合は、ポインターの近接による電界の変化によってポインターの近接を検出するように構成される。この場合、タッチスクリーン(タッチセンサー)は近接センサーに分類することもできる。
【0049】
以下では、説明の便宜上、タッチスクリーン上にポインターが接触しない状態で近接し、ポインターがタッチスクリーン上に位置することを認識させる行為を「近接タッチ(proximity touch)」と称し、タッチスクリーン上にポインターが実際に接触する行為を「接触タッチ(contact touch)」と称する。タッチスクリーン上でポインターの近接タッチが行われる位置とは、ポインターの近接タッチが行われるとき、ポインターがタッチスクリーンに対して垂直に対応する位置を意味する。
【0050】
近接センサーは、近接タッチと、近接タッチパターン(例えば、近接タッチ距離、近接タッチ方向、近接タッチ速度、近接タッチ時間、近接タッチ位置、近接タッチ移動状態など)を感知する。感知された近接タッチ動作及び近接タッチパターンに相応する情報はタッチスクリーン上に出力することができる。
【0051】
音響出力モジュール152は、呼信号受信、通話モード又は録音モード、音声認識モード、放送受信モードなどで、無線通信部110から受信されたりメモリ160に格納されたオーディオデータを出力することができる。音響出力モジュール152は、移動端末機100で行われる機能(例えば、呼信号受信音、メッセージ受信音など)と関連した音響信号を出力することもある。このような音響出力モジュール152は、レシーバー、スピーカー、ブザーなどを含むことができる。
【0052】
アラーム部153は、移動端末機100のイベント発生を知らせるための信号を出力する。移動端末機で発生するイベントの例としては、呼信号受信、メッセージ受信、キー信号入力、タッチ入力などがある。アラーム部153は、ビデオ信号やオーディオ信号以外の他の形態、例えば、振動でイベント発生を知らせるための信号を出力することもできる。ビデオ信号やオーディオ信号は、ディスプレイ部151や音声出力モジュール152を通しても出力できるので、これらディスプレイ部151及び音声出力モジュール152は、アラーム部153の一部に分類することもできる。
【0053】
ハプティックモジュール154は、ユーザーが感じることのできる多様な触覚効果を発生させる。ハプティックモジュール154が発生する触覚効果の代表的な例としては振動がある。ハプティックモジュール154が発生する振動の強さとパターンなどは制御可能である。例えば、互いに異なる振動は、合成して出力したり、順次出力することもできる。
【0054】
ハプティックモジュール154は、振動の他にも、接触皮膚面に対して垂直に運動するピン配列、噴射口や吸入口を通した空気の噴射力や吸入力、皮膚表面に対する擦れ、電極の接触、静電気力などの刺激による効果と、吸熱や発熱可能な素子を用いた冷温感再現による効果などの多様な触覚効果を発生させることができる。
【0055】
ハプティックモジュール154は、直接的な接触を通して触覚効果を伝達できるとともに、ユーザーが指や腕などの筋感覚を通して触覚効果を感じるように具現することもできる。ハプティックモジュール154は、携帯端末機100の構成態様によって2個以上備えることができる。
【0056】
プロジェクターモジュール155は、移動端末機100を用いてイメージプロジェクト機能を行うための構成要素であって、制御部180の制御信号によってディスプレイ部151上にディスプレイされる映像と同一であるか、それと少なくとも一部が異なる映像を外部スクリーン又は壁にディスプレイすることができる。
【0057】
具体的に、プロジェクターモジュール155は、映像を外部に出力するための光(一例として、レーザ光)を発生させる光源(図示せず)、光源によって発生した光を用いて外部に出力する映像を生成するための映像生成手段(図示せず)、及び映像を一定の焦点距離から外部に拡大して出力するためのレンズ(図示せず)を含むことができる。また、プロジェクターモジュール155は、レンズ又はモジュール全体を機械的に動かすことによって映像投射方向を調節できる装置(図示せず)を含むことができる。
【0058】
プロジェクターモジュール155は、ディスプレイ手段の素子種類によってCRT(Cathode Ray Tube)モジュール、LCD(Liquid Crystal Display)モジュール及びDLP(Digital Light Processing)モジュールなどに分けることができる。特に、DLPモジュールは、光源から発生した光がDMD(Digital Micromirror Device)チップに反射されることによって生成された映像を拡大して投射する方式であって、プロジェクターモジュール151の小型化において有利になり得る。
【0059】
望ましく、プロジェクターモジュール155は、移動端末機100の側面、正面又は背面に長さ方向に備えることができる。もちろん、プロジェクターモジュール155は、必要によって移動端末機100のどの位置にも備えることができる。
【0060】
メモリ部160は、制御部180の処理及び制御のためのプログラムを格納することもでき、入出力される各データ(例えば、電話帳、メッセージ、オーディオ、静止画、動画など)の臨時格納のための機能を行うこともできる。メモリ部160は、各データに対する使用頻度(例えば、各電話番号、各メッセージ、各マルチメディアに対する使用頻度)も共に格納することができる。また、メモリ部160は、タッチスクリーン上のタッチ入力時に出力される多様なパターンの振動及び音響に関するデータを格納することができる。
【0061】
メモリ160は、フラッシュメモリタイプ、ハードディスクタイプ、マルチメディアカードマイクロタイプ、カードタイプのメモリ(例えば、SD又はXDメモリなど)、RAM(Random Access Memory)、SRAM(Static Random Access Memory)、ROM(Read―Only Memory)、EEPROM(Electrically Erasable Programmable Read―Only Memory)、PROM(Programmable Read―Only Memory)、磁気メモリ、磁気ディスク、光ディスクのうち少なくとも一つのタイプの格納媒体を含むことができる。移動端末機100は、インターネット上でメモリ160の格納機能を行うウェブストレージと関連して動作することもできる。
【0062】
インターフェース部170は、移動端末機100に連結される全ての外部機器との通路としての役割をする。インターフェース部170は、外部機器からデータを受けたり、電源を受けて移動端末機100内部の各構成要素に伝達したり、移動端末機100内部のデータを外部機器に伝送する。例えば、有無線ヘッドセットポート、外部充電器ポート、有無線データポート、メモリカードポート、識別モジュールが備えられた装置を連結するポート、オーディオI/O(Input/Output)ポート、ビデオI/O(Input/Output)ポート、イヤホンポートなどをインターフェース部170に含ませることができる。
【0063】
識別モジュールは、移動端末機100の使用権限を認証するための各種情報を格納したチップであって、ユーザー認証モジュール(User Identify Module、UIM)、加入者認証モジュール(Subscriber Identify Module、SIM)、汎用ユーザー認証モジュール(Universal Subscriber Identity Module、USIM)などを含むことができる。識別モジュールが備えられた装置(以下、「識別装置」という。)は、スマートカード形式で製作することができる。したがって、識別装置は、ポートを通して端末機100に連結することができる。
【0064】
インターフェース部は、移動端末機100が外部のクレードルに連結されるとき、クレードルからの電源を移動端末機100に供給するための通路となったり、ユーザーによってクレードルで入力される各種命令信号を移動端末機に伝達するための通路となり得る。クレードルから入力される各種命令信号又は電源は、移動端末機がクレードルに正確に装着されたことを認知するための信号として動作することもできる。
【0065】
制御部180は、通常、移動端末機の全般的な動作を制御し、例えば、音声通話、データ通信、画像通話などのための関連した制御及び処理を行う。制御部180は、マルチメディア再生のためのマルチメディアモジュール181を備えることもできる。マルチメディアモジュール181は、制御部180内に具現することもでき、制御部180とは別途に具現することもできる。
【0066】
制御部180は、タッチスクリーン上で行われる筆記入力又はお絵描き入力をそれぞれ文字及びイメージで認識可能なパターン認識処理を行うことができる。
【0067】
電源供給部190は、制御部180の制御によって外部の電源、内部の電源を受け、各構成要素の動作に必要な電源を供給する。
【0068】
ここで説明する多様な実施例は、例えば、ソフトウェア、ハードウェア又はこれらの組み合わせを用いてコンピュータ又はこれと類似する装置で読み取り可能な記録媒体内で具現することができる。
【0069】
ハードウェア的な具現によると、ここで説明する実施例は、ASICs(application specific integrated circuits)、DSPs(digital signal processors)、DSPDs(Digital signal processing devices)、PLDs(programmable logic devices)、FPGAs(field programmable gate arrays)、プロセッサ、制御器、マイクロコントローラ、マイクロプロセッサ、その他の機能を行うための電気的なユニットのうち少なくとも一つを用いて具現することができる。一部の場合、本明細書で説明する各実施例を制御部180自体で具現することができる。
【0070】
ソフトウェア的な具現によると、本明細書で説明する手順及び機能のような各実施例は、別途のソフトウェアモジュールで具現することができる。各ソフトウェアモジュールは、本明細書で説明する一つ以上の機能及び作動を行うことができる。適切なプログラム言語で書かれたソフトウェアアプリケーションでソフトウェアコードを具現することができる。ソフトウェアコードは、メモリ160に格納され、制御部180によって実行することができる。
【0071】
器具の説明
図2は、本発明と関連した移動端末機又は携帯端末機の一例を前面から見た斜視図である。
【0072】
開示された携帯端末機100は、バー形態の端末機ボディーを備えている。ただし、本発明は、これに限定されるものでなく、2以上のボディーが相対移動可能に結合されるスライドタイプ、フォルダタイプ、スイングタイプ、スイベルタイプなどの多様な構造に適用可能である。
【0073】
ボディーは、外観をなすケース(ケーシング、ハウジング、カバーなど)を含む。本実施例において、ケースは、フロントケース101とリアケース102に区分することができる。フロントケース101とリアケース102との間に形成された空間には各種電子部品が内蔵される。フロントケース101とリアケース102との間には、少なくとも一つの中間ケースをさらに配置することもできる。
【0074】
各ケースは、合成樹脂を射出して形成したり、金属材質、例えば、ステンレススチール(STS)又はチタン(Ti)などの金属材質を有するように形成することもできる。
【0075】
端末機ボディー、主にフロントケース101には、ディスプレイ部151、音響出力部152、カメラ121、ユーザー入力部130、131、132、マイク122、インターフェース170などを配置することができる。
【0076】
ディスプレイ部151は、フロントケース101の主面のほとんどを占める。ディスプレイ部151の両端部のうち一端部に隣接した領域には音響出力部151とカメラ121が配置され、他端部に隣接した領域にはユーザー入力部131とマイク122が配置される。ユーザー入力部132とインターフェース170などは、フロントケース101及びリアケース102の各側面に配置することができる。
【0077】
ユーザー入力部130は、携帯端末機100の動作を制御するための命令を受けるために操作されるものであって、複数の操作ユニット131、132を含むことができる。各操作ユニット131、132は、操作部としても総称することができ、ユーザーが触覚で感知しながら操作する方式(tactile manner)であればいずれの方式も採用可能である。
【0078】
第1又は第2の操作ユニット131、132によって入力される内容は多様に設定可能である。例えば、第1の操作ユニット131は、開始、終了、スクロールなどの命令を受け、第2の操作ユニット132は、音響出力部152から出力される音響の大きさ調節又はディスプレイ部151のタッチ認識モードへの転換などの命令を受けることができる。
【0079】
3次元立体映像の具現方法
以下、本発明の各実施例で適用可能なステレオスコピック方式の3D立体映像表現方法及びそのためのディスプレイ部の構造を説明する。
【0080】
ステレオスコピック(stereo scopic)方式とは、両眼に互いに異なる映像が提供される方式であって、人間が肉眼で事物を見るときに立体感を感じる原理を用いた方法である。すなわち、人間の二つの目は、相互間の距離により、同一の事物を見るときに互いに異なる平面映像を見るようになる。このような互いに異なる平面映像は、網膜を通して脳に伝達され、脳は、これを融合して立体映像の深さ及び実際感を感じるようになる。したがって、人ごとに多少の差はあるが、両眼の相互間の距離による両眼視差によって立体感を感じるようになり、このような両眼視差は、ステレオスコピック方式の最も重要な要素になる。このような両眼視差を、図3を参照してより具体的な例を挙げて説明する。
【0081】
図3は、両眼視差の原理を説明するための概念図である。
【0082】
図3では、六面体310を目の高さより下側の正面に置いて肉眼で見る状況を仮定する。この場合、左眼には、六面体310の上面、正面及び左側面の3面のみが見える左眼平面映像320が見えるようになり、右眼には、六面体310の上面、正面及び右側面の3面のみが見える右眼平面映像330が見えるようになる。
【0083】
実際に目の前の事物でないとしても、左眼には左眼平面映像320を、右眼には右眼平面映像330をそれぞれ到達させると、人は、実際に立体的な六面体310を見るように感じることができる。
【0084】
結局、移動端末機で2番目のカテゴリーの立体映像を具現するためには、ディスプレイ部を通して、同一のオブジェクトを所定視差を置いて見た左眼用映像と右眼用映像を、それぞれ区分して両眼に到達させなければならない。次に、図4を参照して両眼視差による3次元深さを説明する。
【0085】
図4は、両眼視差による距離感及び3次元深さを説明するための概念図である。
【0086】
図4を参照すると、両眼を通してd1距離で六面体400を見るとき、d2距離で六面体400を見るときに比べて、相対的に各眼球に入ってくる映像の側面比重が高くなり、両眼を通して見える映像の差も大きくなる。また、d1距離で六面体400を見るときに人が感じる立体感の程度は、d2距離で六面体400を見るときに比べて大きくなる。すなわち、人が両眼を通して事物を見るとき、近くにある物体であるほど立体感がより大きく感じられ、遠くにある物体であるほど立体感がより小さく感じられる。
【0087】
このような立体感の差を3次元深さ又は3次元レベルで数値化することができる。以下、本明細書では、近くに位置した事物の高い立体感を低い3次元深さ及び低い3次元レベルと表記し、遠くに位置した事物の低い立体感を高い3次元深さ及び高い3次元レベルと表記する。このような3次元深さ又は3次元レベルの定義は、相対的なものであって、その分類基準と増加/減少方向は変更可能である。
【0088】
次に、3D立体映像の具現方法を説明する。
【0089】
上述したように、3D立体映像を具現するためには、右眼用映像と左眼用映像がそれぞれ区分されて両眼に到達される必要がある。このための多様な方法を以下で説明する。
【0090】
1)視差障壁方式
視差障壁(parrallax barrier)方式は、一般的なディスプレイ部と両眼との間に備えられる遮断装置を電気的に制御し、光の進行方向を制御する方法であって、両眼に互いに異なる映像を到達させる方式である。
【0091】
これを図5を参照して説明する。
【0092】
図5は、本発明の一実施例と関連した両眼視差を用いた3次元イメージ表示方法の原理を説明するための図である。
【0093】
図示したように、図5で3D立体映像を表示するために、ディスプレイ部151の上面にはスイッチングパネル部が付着される。スイッチングパネル部は、電気的に制御され、ディスプレイ部から両眼に到達する光の一部を遮断又は通過させることができる。図5において、bは、スイッチングパネル部のバリア間隔を、gは、スイッチングパネル部とディスプレイ部との間隔を、zは、人が見る位置からディスプレイ部までの距離を示す。図5に示すように、二つのイメージをピクセル単位で合成する場合(L、R)、右目の視覚が右側イメージに含まれたピクセルに対応し、左目の視覚が左側イメージに含まれたピクセルに対応するように入射されるスイッチングパネル部が動作することができる。
【0094】
スイッチングパネル部は、3D立体映像を表出しようとする場合、オンになり、入射視覚を分離することができる。また、スイッチングパネル部は、2次元映像を表出しようとする場合、オフになり、入射視覚を分離しない状態でそのまま通過させることができる。したがって、スイッチングパネル部がオフになる場合、両眼視差が分離されない。
【0095】
図5では、視差障壁が一つの軸方向に平行に移動することを例示したが、本発明は、これに制限されるものでなく、制御部180の制御信号によって二つ以上の軸方向にも平行に移動できる視差障壁を使用可能である。
【0096】
2)レンズ屈折方式
レンズ屈折方式(lenticular)は、ディスプレイ部と両眼との間に備えられるレンチキュラースクリーンを用いる方法であって、光の進行方向をレンチキュラースクリーン上の各レンズを通して屈折させる方法で両眼に互いに異なる映像を到達させる方法である。
【0097】
3)偏光眼鏡方式
偏光方向を互いに直角にして両眼に互いに異なる映像を提供したり、円偏向方式である場合は、互いに回転方向が異なるように偏光させ、両眼に互いに異なる映像を提供する方法である。
【0098】
4)アクティブシャッター方式
眼鏡方式の一種であって、ディスプレイ部を通して所定周期で右眼用映像と左眼用映像を交互に表示し、ユーザーの眼鏡は、該当方向の映像が表示されるとき、反対側方向のシャッターを閉じ、該当方向の映像を該当方向の眼球に到逹させる方法である。すなわち、左眼用映像がディスプレイされる時間の間には、右眼のシャッターを閉じ、左眼のみに左眼用映像を到達させ、右眼用映像がディスプレイされる時間の間には、左眼のシャッターを閉じ、右眼のみに右眼用映像を到達させる方法である。
【0099】
説明の便宜上、以下で言及する移動端末機は、図1に示した各構成要素のうち少なくとも一つを含むと仮定する。特に、本発明が適用可能な移動端末機は、上述した各3D立体映像具現方式のうち少なくとも一つの方法を通して3D立体映像をユーザーに提供できるディスプレイ部を備えている。このとき、ディスプレイ部は、移動端末機自体に備えられたディスプレイ部151だけでなく、有無線で連結可能なTVやプロジェクターなどの外部ディスプレイ装置まで含む概念である。このような外部ディスプレイ装置も、上述した各方法のうち少なくとも一つを通して3D立体映像を表示できることが望ましい。また、外部ディスプレイ装置が有線で連結される場合、インターフェース部170を介した汎用直列バス(USB)、高鮮明マルチメディアインターフェース(HDMI)、スーパービデオ(S―Video)、デジタルビジュアルインターフェース(DVI:Digital Visual Interface)、D―サブミニチュア(D―SUB:D―subminiature)、AV端子などの有線インターフェースが使用可能である。そして、外部ディスプレイ装置が無線で連結される場合、DLNA(Digital Living Network Alliance)標準による連結や3G/4Gデータ伝送、Wi―Fi、ブルートゥースのような無線/近距離通信を通して連結することができる。
【0100】
ディスプレイ環境による両眼視差
上述したようにステレオスコピック方式の3D立体映像を具現するためには、3D立体映像を具現するための「ソース映像」が必要である。すなわち、両眼視差が発生するように、同一の客体に対して互いに異なる視点を有する左眼用映像と右眼用映像が必要である。また、両眼視差(すなわち、視点間の距離)が大きくなるほど立体感が大きくなる。
【0101】
ところが、両眼視差が一定距離から逸脱すると、ユーザーに視覚的不便さをもたらす。このような視覚的不便さは、ソース映像がディスプレイされるとき、ユーザーが実質的に感じる視差がユーザーの実際の両眼間に該当する距離(個人的な差はあるが、一般に7cm以内)を超える場合に発生する。ソース映像がディスプレイされるときにユーザーが実質的に感じる視差は、ソース映像自体の視差、ディスプレイ部の大きさ及びディスプレイ部とユーザーとの間の距離によって決定することができる。
【0102】
より詳細に説明すると、ユーザーが感じる視差は、ソース映像自体の視差及びディスプレイ部の大きさに比例し、ディスプレイ部とユーザーとの間の距離には反比例する。すなわち、ソース映像自体の視差が大きいほど、ディスプレイ部が大きいほど、また、ディスプレイ部とユーザーとの間の距離が小さいほど、ユーザーが感じる視差が大きくなり、ソース映像自体の視差が小さいほど、ディスプレイ部が小さいほど、また、ディスプレイ部とユーザーとの間の距離が大きいほどユーザーが感じる視差は小さくなる。
【0103】
したがって、同一のソース映像が使用されるとしても、それを通して具現される3D立体映像の鑑賞環境、すなわち、該当の3D立体映像が表示されるディスプレイ部の大きさ及びディスプレイ部とユーザーとの距離によってユーザーが感じる視差が変わり得る。
【0104】
これを図6を参照して説明する。
【0105】
図6は、ディスプレイ環境によってユーザーが感じる両眼視差の差を説明するための図である。
【0106】
図6を含む以下の各図面では、便宜上、3D立体映像を具現するためのソース映像は、球形客体を互いに異なる視点で見た左眼用映像及び右眼用映像であると仮定する。ただし、これは、例示的なものであって、本発明は、これに限定されるものでなく、両眼視差を用いた3D立体映像を具現するためのあらゆるソース映像に適用可能であることは、当業者であれば誰でも理解できるだろう。
【0107】
まず、図6の(a)を参照すると、3D立体映像を具現するためのソース映像の一例として、球形客体を互いに異なる視点で見た左眼用映像610と右眼用映像620が準備される。視点の差により、左眼用映像610での球形客体615の位置と右眼用映像620での球形客体625の位置が異なっている。
【0108】
図6の(a)に示すようなソース映像を用いて互いに異なるディスプレイ環境で3D立体映像が具現されるとき、ユーザーが感じる両眼視差を図6の(b)を参照して説明する。図6の(b)を参照すると、移動端末機自体に備えられたディスプレイ部151を通して3D立体映像630が表示される場合、ユーザーが感じる視差は、左眼用映像の客体615と右眼用映像の客体625の中心間の距離d1に該当する。一方、移動端末機のディスプレイ部より大きい外部ディスプレイ装置を通して同一のソース映像を用いた3D立体映像640が表示される場合、ユーザーが感じる視差はd2に該当する。ユーザーとディスプレイ部151との間の距離及びユーザーと外部ディスプレイ装置との間の距離が同一であると、d1とd2との差はディスプレイ部と外部ディスプレイ装置の大きさ比率に比例するようになる。
【0109】
このとき、d1は、ユーザーが視覚的不便さを感じる距離より短いが、d2が視覚的不便さを感じる距離より大きい場合、外部ディスプレイ装置を通した3D立体映像の鑑賞においてユーザーに視覚的不便さをもたらすという問題が発生する。このような問題に備えて、最大ディスプレイ大きさを考慮してソース映像自体の視差を縮小して固定することもできる。しかし、これは、移動端末機のディスプレイ部151のように比較的小さいディスプレイでユーザーが感じる視差が過度に小さくなり、立体感が共に減少するという短所を有する。
【0110】
3以上の互いに異なる視点のソース映像の選択的適用を通した3D立体映像の具現
上述した問題を解決するために、本発明では、共通の客体に対する少なくとも三つの互いに異なる視点の映像のうち二つの映像をディスプレイ環境によって選択的に使用して3D立体映像を具現することを提案する。
【0111】
ここで、共通の客体とは、ソース映像として具現される3D立体映像に含まれる一部の特定客体を意味するのではなく、3D立体映像に含まれる全体のイメージを意味する。すなわち、ソース映像を構成する左眼用映像と右眼用映像の視点が異なり、視差による一部の差はあり得るが、実質的に同一の全体のイメージをいう。
【0112】
以下では、図7〜図8を参照して本発明に係る共通の客体に対する三つ以上の互いに異なる視点の映像の概念及び選択的組み合わせを説明する。
【0113】
図7は、本発明の一実施例に係る共通の客体に対する互いに異なる三つの視点の映像の一例を示す。
【0114】
図7を参照すると、本発明に係る互いに異なる三つの視点の対象になる客体710が準備される。このとき、三つの互いに異なる視点720、730、740で共通客体710をそれぞれ見た映像を、本発明に係るソース映像として用いることができる。
【0115】
左側視点720と中央視点730との間の距離であるD1と、中央視点730と右側視点740との間の距離であるD2が互いに異なると仮定すると、各視点で共通客体710を見た三つの映像を用いて共通客体710に対する三つの視差が互いに異なる3D立体映像を具現することができる。
【0116】
図8(a)は、互いに異なる三つの視点で共通の客体を見た映像の一例を示す。図8(a)でも、球形客体が共通客体であると仮定する。
【0117】
図8(a)を参照すると、共通客体に対する互いに異なる三つの視点のうち第1の視点で共通の客体を見た映像810では、該当の客体815が左側に偏っている。
【0118】
また、互いに異なる三つの視点のうち第2の視点で共通の客体を見た映像820では、該当の客体825が中心から左側にやや逸脱して位置する。
【0119】
併せて、互いに異なる三つの視点のうち第3の視点で共通の客体を見た映像830では、該当の客体835が右側に偏っている。
【0120】
図8(a)に示した共通の客体に対する互いに異なる三つの視点で見た三つの映像を用いて、ディスプレイ環境によって三つの映像のうち二つの映像を選択し、ユーザーが感じる視差が類似するように3D立体映像を具現する方法の一例を図8(b)を参照して説明する。
【0121】
図8(b)は、互いに異なる三つの視点で共通の客体を見た映像をディスプレイ部の大きさによって組み合わせた一例を示す。
【0122】
図8(b)では、三つの大きさが互いに異なるディスプレイ部が準備され、各ディスプレイ部とユーザーとの間の距離は同一であると仮定する。このとき、各ディスプレイ部は、移動端末機100自体に備えられたディスプレイ部151であってもよく、有無線を通して移動端末機100に連結された外部ディスプレイ装置であってもよい。
【0123】
三つのディスプレイ部のうち最も小さいディスプレイ部860では、ソース映像で球形客体815、835間の間隔が最も大きくなるように、すなわち、ソース映像自体の視差が最も大きくなるように図8aの810映像と830映像を組み合わせる方法で3D立体映像を具現することができる。このとき、ユーザーが感じる視差はd1に対応する。
【0124】
また、中間大きさのディスプレイ部870では、ソース映像自体の視差が中間大きさになるように図8(a)の820映像と830映像を組み合わせる方法で3D立体映像を具現することができる。このとき、ユーザーが感じる視差はd2に対応する。
【0125】
併せて、最も大きいディスプレイ部880では、ソース映像自体の視差が最も小さくなるように図8(a)の810映像と820映像を組み合わせる方法で3D立体映像を具現することができる。このとき、ユーザーが感じる視差はd3に対応する。
【0126】
結局、ディスプレイ部が大きくなるとしても、視点が互いに異なるソース映像の適切な組み合わせを通してユーザーが感じる視差を一定範囲d1〜d3内に維持することができる。
【0127】
ディスプレイ部が大きくなると、ソース映像自体の視差が小さくなるように互いに異なる視点の三つのソース映像のうち二つの映像を組み合わせ、ディスプレイ部が小さくなると、ソース映像自体の視差が大きくなるようにソース映像を組み合わせる方法で、ユーザーは、ディスプレイ大きさとは関係なく類似する視差を感じることができる。
【0128】
もちろん、類似する視差にする方法は組み合わせの例示であって、ユーザーが感じる立体感を最大限維持するためには、ユーザーが視覚的不便さを感じる視差より小さい最大視差を維持するように組み合わせることもできる。
【0129】
図9は、図8(a)及び図8(b)を参照して上述したソース映像組み合わせをより具体的な客体として示したディスプレイ状態図である。
【0130】
ディスプレイ部が比較的小さい場合は、図9の(a)のように左眼用映像と右眼用映像で共通客体間の視差910及び920が大きいソース映像が組み合わせられ、立体感を大きくすることができる。また、ディスプレイ部が比較的大きい場合は、図9の(b)のように左眼用映像と右眼用映像で共通客体間の視差930及び940が小さいソース映像が組み合わせられ、ユーザーの視覚的疲労感を防止することができる。
【0131】
上述した各実施例では、共通客体に対して複数の互いに異なる視点で見たソース映像を用いた3D立体映像の選択的具現を三つの視点を基準にして説明した。しかし、これは、例示的なものであって、本発明は、これに制限されるものでなく、共通客体に対してより多い視点で見たソース映像を用いる方法にも適用可能である。これを図10を参照して説明する。
【0132】
図10は、本発明の一実施例に係る共通の客体に対する互いに異なる四つの視点の映像の一例を示す。
【0133】
図10を参照すると、本発明に係る互いに異なる四つの視点の対象になる客体1010が準備される。このとき、四つの互いに異なる視点1020、1030、1040及び1050で共通客体1010をそれぞれ見た映像を本発明に係るソース映像として用いることができる。
【0134】
最も左側の視点1020と中央左側視点1030との間の距離であるD1、中央左側視点1030と中央右側視点1040との間の距離であるD2、及び中央右側視点1040と最も右側の視点1050との間の距離であるD3が互いに異なると仮定すると、各視点で共通客体100を見た四つの映像を用いて共通客体1010に対する6個の視差が互いに異なる3D立体映像を具現することができる。
【0135】
すなわち、共通客体を見る互いに異なる視点が多く、各視点間の距離が互いに異なるほど、より多い組み合わせを通してソース映像自体の視差を調節する方法で最適視差の3D立体映像をユーザーに提供することができる。
【0136】
このような共通客体に対する互いに異なる視点映像の組み合わせは、ユーザー入力部130を通したユーザーの入力で決定することもでき、制御部180がディスプレイ環境を認識して自動で決定することもできる。
【0137】
例えば、ユーザーが本発明に係る三つ以上の互いに異なる視点のソース映像を用いた3D立体映像を鑑賞する間、視覚的不便さを感じたり立体感の程度を調節したい場合、ユーザー入力部130を通した所定の入力によって3D立体映像を生成する組み合わせを変更することができる。より具体的に、共通の客体に対する互いに異なる視点映像の個数によって組み合わせ可能な個数だけのキーボタンにそれぞれの組み合わせをマッピングし、そのうち操作されたキーボタンに対応する組み合わせを通した3D立体映像をディスプレイすることができる。また、組み合わせ変更のための一つのキーボタンを準備し、該当のキーボタンの操作時ごとに組み合わせを変更することができる。
【0138】
他の例として、制御部180が現在3D立体映像が出力されるディスプレイの種類(すなわち、大きさ)を認識し、それによって最適な視差が形成されるように自動でソース映像を組み合わせることもできる。具体的に、移動端末機100のディスプレイ部151を通して3D立体映像が具現される場合、制御部180は、ユーザーが感じる視差が最も大きくなるようにソース映像の組み合わせを選択し、大型LCD TVが移動端末機に連結され、TVを通して3D立体映像が具現される場合、ユーザーが感じる視差が最も小さくなるようにソース映像の組み合わせを選択することができる。
【0139】
もちろん、上述した自動選択と手動選択を共に具現することもできる。
【0140】
共通客体に対する互いに異なる視点の映像を撮影するためのカメラ配置構造
以下では、上述した共通客体に対して互いに異なる三つの視点以上のソース映像を生成する方法として、一つ以上のカメラを用いる方法を説明する。カメラを用いる場合、共通の客体は共通の被写体といえる。
【0141】
まず、一つのカメラを用いる方法を図11及び図12を参照して説明する。
【0142】
図11は、本発明の一実施例に係る一つのカメラを通したソース映像撮影方法の一例を示す。
【0143】
図11を参照すると、移動端末機100に備えられた一つのカメラを用いてスイープパノラマ方式で共通の被写体1110に対する互いに異なる視点のソース映像1120、1130を生成することができる。より具体的に、スイープパノラマ方式とは、一方向にカメラを移動させながら連続的に撮影した断片イメージを所定間隔でつないで付ける方法で左眼用映像と右眼用映像を生成する方法をいう。
【0144】
図12は、本発明の一実施例に係る一つのカメラを通したソース映像撮影方法の他の一例を示す。
【0145】
図12を参照すると、所定の往復軌道D上に移動できるように一つのカメラ151を移動端末機100に備えることができる。このような構造の移動端末機を用いて、軌道上でのカメラの位置を互いに異ならせて3回以上撮影する方法を通して本発明のためのソース映像を獲得することができる。このとき、軌道の長さは、上述したユーザーに視覚的疲労を与える視差の長さを超えないことが望ましい。
【0146】
次に、二つのカメラを用いる方法を図13〜図15を参照して説明する。
【0147】
図13は、本発明の一実施例に係る二つのカメラを通したソース映像撮影方法の一例を示す。
【0148】
図13を参照すると、移動端末機100に一つのカメラ121が固定されており、他の一つのカメラ121'は所定の往復軌道D2上に移動できるように備えることができる。このような構造の移動端末機を用いて、固定されたカメラを用いた映像を含み、軌道上でのカメラの位置を互いに異ならせて2回以上撮影する方法を通して本発明のためのソース映像を獲得することができる。このとき、二つのカメラ間の最大間隔D3は、上述したユーザーに視覚的疲労を与える視差の長さを超えないことが望ましい。
【0149】
図14は、本発明の一実施例に係る二つのカメラを通したソース映像撮影のための装置構造の一例を示す。
【0150】
具体的に、図14の(a)は、本発明に係る携帯用端末機の他の実施例の前面斜視図で、図14の(b)は、本発明に係る携帯用端末機の他の作動状態を示す前面斜視図で、図14の(c)は、本発明に係る携帯用端末機の後面斜視図である。
【0151】
図14に示した実施例も、上述した実施例と同様に、2個のカメラを備えている。第1のカメラ121は、第1のケース101及び第2のケース102で構成される携帯用端末機ボディーの長さ方向一端に回転可能に装着され、第2のカメラ121'は、第1のケース101及び第2のケース102で構成される携帯用端末機ボディーの側面のうち下側面に引き出し及び挿入可能に備えることができる。
【0152】
そして、第1のカメラ121は、伸長又は収縮可能な重畳パイプ部材の一端に回転可能に装着することができる。第1のカメラ121は、挿入又は引き出し方向と平行な回転軸(図示せず)を中心に回転可能に装着することができる。
【0153】
第2のカメラ121'は、折り畳み式の重畳パイプ部材raによって引き出し長さを調節することができ、引き出された状態で折り畳み式の重畳パイプ部材を回転軸にして回転可能に装着することができる。
【0154】
また、図14に示した実施例で、第1のカメラ121は、携帯用端末機の前面方向と後面方向に回転可能であると同時に、重畳パイプ部材raの引き出し長さを調節できるので、第1のカメラ121及び第2のカメラ121'の離隔距離を調節することができる。
【0155】
したがって、第1のカメラで撮影される映像、第2のカメラの第1の引き出し長さで撮影される映像及び第2のカメラの第2の引き出し長さで撮影される映像を用いて同一の客体に対する三つ以上の互いに異なる視点の映像を獲得することができる。
【0156】
一方、互いに異なる視差を有する映像は、被写体との距離調節を通しても獲得することができる。これを図15を参照して説明する。
【0157】
図15は、本発明の一実施例に係る二つのカメラを通したソース映像撮影方法の他の一例を示す。
【0158】
図15を参照すると、固定された間隔を有するように二つのカメラ121、121'を移動端末機100に配置し、各カメラと被写体1510との間の距離をD1及びD3と異ならせてそれぞれ撮影する方法で該当の被写体に対して互いに異なる視点のソース映像を獲得することができる。
【0159】
上述した各実施例において、ソース映像は静止画であってもよく、動画であってもよい。また、ソース映像は、メモリ部160に予め格納されたものであってもよく、有無線でストリーミング形態で伝送されてもよい。
【0160】
また、本発明の一実施例によると、上述した方法は、プログラムが記録された媒体にプロセッサが読み取り可能なコードとして具現することが可能である。プロセッサが読み取り可能な媒体の例としては、ROM、RAM、CD―ROM、磁気テープ、フロッピー(登録商標)ディスク、光データ格納装置などがあり、キャリアウェーブ(例えば、インターネットを介した伝送)の形態で具現されるものも含む。
【0161】
前述のように説明した映像表示装置は、説明した各実施例の構成と方法が限定的に適用されるものでなく、各実施例は、多様に変形できるように各実施例の全部又は一部を選択的に組み合わせて構成することもできる。
【符号の説明】
【0162】
110 無線通信部
120 A/V入力部
130 ユーザー入力部
140 センシング部
150 出力部
160 メモリ
170 インターフェース部
180 制御部
190 電源供給部
【技術分野】
【0001】
本発明は、鑑賞環境を考慮した上で、より快適な3次元立体映像を鑑賞できる映像表示装置及びその制御方法に関するものである。
【背景技術】
【0002】
最近、端末機形態の映像表示装置が増加しつつあるが、このような端末機は、移動可能性の有無によって移動端末機及び固定端末機に分けることができる。また、移動端末機は、ユーザーの携帯可能性の有無によって携帯(型)端末機及び据え置き型端末機に分けることができる。
【0003】
このような端末機は、機能の多様化とともに、例えば、写真や動画の撮影、音楽や動画ファイルの再生、ゲーム、放送の受信などの複合的な機能を備えたマルチメディア機器の形態に具現されている。
【0004】
このような端末機の機能をサポート及び増大するために、端末機の構造的な部分及び/又はソフトウェア的な部分を改良することを考慮することができる。
【0005】
最近、移動端末機のディスプレイ部を通して両眼視差(stereoscopic)方式の3次元(3D)立体映像が具現されることによって、これをより便利かつ快適に鑑賞できる方法が要求されている実情にある。
【発明の概要】
【発明が解決しようとする課題】
【0006】
本発明は、より便利かつ快適な3D立体映像鑑賞環境をユーザーに提供するためのものである。
【0007】
また、本発明は、3D立体映像が出力される環境を考慮した上で、視覚的な不便さなく3D立体映像を鑑賞できる移動端末機などの映像出力装置及びその制御方法を提供するためのものである。
【0008】
さらに、本発明は、出力される環境を考慮した上で、視覚的な不便さのない3D立体映像を提供するためのソース映像を生成する装置及びその制御方法を提供するためのものである。
【0009】
本発明で達成しようとする各技術的課題は、以上言及した各技術的課題に制限されるものでなく、言及していない他の技術的課題は、下記の記載から本発明の属する技術分野で通常の知識を有する者に明確に理解されるだろう。
【課題を解決するための手段】
【0010】
前記のような課題を実現するための本発明の一例と関連した映像表示装置は、両眼視差方式の3D立体映像を表示するための視差生成手段を含むディスプレイ部と、第1の映像〜第3の映像を格納するためのメモリ部と、所定のディスプレイ条件を判断し、第1の条件を満足する場合、前記第1の映像及び前記第2の映像を用いて前記ディスプレイ部を通して3D立体映像が表示されるように制御するとともに、第2の条件を満足する場合、前記第1の映像及び前記第3の映像を用いて前記ディスプレイ部を通して3D立体映像が表示されるように制御する制御部とを含み、前記第1の映像〜第3の映像は、共通の客体に対する互いに異なる視点の映像であることが望ましい。
【0011】
また、前記のような課題を実現するための本発明の一例と関連した映像表示装置は、両眼視差方式の3D立体映像を表示するための視差生成手段を含むディスプレイ部と、第1の映像〜第4の映像を格納するためのメモリ部と、所定のディスプレイ条件を判断し、第1の条件を満足する場合、前記第1の映像及び前記第4の映像を用いて前記ディスプレイ部を通して3D立体映像が表示されるように制御するとともに、第2の条件を満足する場合、前記第2の映像及び前記第3の映像を用いて前記ディスプレイ部を通して3D立体映像が表示されるように制御する制御部とを含み、前記第1の映像〜第4の映像は、共通の客体に対する互いに異なる視点の映像であることが望ましい。
【0012】
さらに、前記のような課題を実現するための本発明の一例と関連した映像表示装置の制御方法は、所定のディスプレイ条件を判断すること、及び、前記判断の結果、第1の条件が満足されると、第1の映像及び第2の映像を用いてステレオスコピック方式の3D立体映像を表示し、前記判断の結果、第2の条件が満足されると、前記第1の映像及び第3の映像を用いてステレオスコピック方式の3D立体映像を表示することを含み、前記第1の映像〜第3の映像は、共通の客体に対する互いに異なる視点の映像であることが望ましい。
【発明の効果】
【0013】
前記のように構成される本発明の少なくとも一つの実施例と関連した映像表示装置を通して、ユーザーにより快適な3D立体映像の鑑賞環境を提供することができる。
【0014】
また、3D立体映像の鑑賞環境によって視差が調節されるので、ユーザーが3D立体映像を鑑賞するときに生じる視覚的な不便さを最小化することができる。
【0015】
さらに、少なくとも一つのカメラを用いて3D立体映像のソース映像を生成することができる。
【0016】
本発明で得られる効果は、以上言及した各効果に制限されるものでなく、言及していない他の効果は、下記の記載から本発明の属する技術分野で通常の知識を有する者に明確に理解されるだろう。
【図面の簡単な説明】
【0017】
【図1】本発明の一実施例と関連した移動端末機のブロック構成図である。
【図2】本発明の一実施例と関連した移動端末機の前面斜視図である。
【図3】両眼視差の原理を説明するための概念図である。
【図4】両眼視差による距離感及び3次元深さを説明するための概念図である。
【図5】本発明の各実施例に適用可能な関連した両眼視差を用いた3D立体映像表示方法の原理を説明するための図である。
【図6】ディスプレイ環境によってユーザーが感じる両眼視差の差を説明するための図である。
【図7】本発明の一実施例に係る共通の客体に対する互いに異なる三つの視点の映像の一例を示す図である。
【図8a】互いに異なる三つの視点で共通の客体を見た映像の一例を示す図である。
【図8b】互いに異なる三つの視点で共通の客体を見た映像をディスプレイ部の大きさによって組み合わせた一例を示す図である。
【図9】図8a及び図8bを参照して説明したソース映像の組み合わせをより具体的な客体に示したディスプレイ状態図である。
【図10】本発明の一実施例に係る共通の客体に対する互いに異なる四つの視点の映像の一例を示す図である。
【図11】本発明の一実施例に係る一つのカメラを通したソース映像撮影方法の一例を示す図である。
【図12】本発明の一実施例に係る一つのカメラを通したソース映像撮影方法の他の一例を示す図である。
【図13】本発明の一実施例に係る二つのカメラを通したソース映像撮影方法の一例を示す図である。
【図14】本発明の一実施例に係る二つのカメラを通したソース映像撮影のための装置構造の一例を示す図である。
【図15】本発明の一実施例に係る二つのカメラを通したソース映像撮影方法の他の一例を示す図である。
【発明を実施するための形態】
【0018】
以下、本発明と関連した映像表示装置について図面を参照してより詳細に説明する。以下の説明で使用される構成要素に対する接尾辞「モジュール」及び「部」は、明細書を容易に作成するために付与又は混用されるものであって、それ自体は互いに区別される意味又は役割を有していない。
【0019】
本明細書で説明する映像表示装置は、移動端末機であると仮定する。このような移動端末機は、携帯電話、スマートフォン、ノート型パソコン(laptop computer)、デジタル放送用端末機、PDA(Personal Digital Assistants)、PMP(Portable Multimedia Player)、ナビゲーションなどを含むことができる。しかし、本明細書に記載された実施例に係る構成が、移動端末機のみに適用可能な場合を除いては、デジタルTV、デスクトップコンピュータ、デジタル媒体再生機などの固定端末機にも適用可能であることは、本技術分野の当業者であれば容易に理解できるだろう。
【0020】
全体の構成
図1は、本発明の一実施例と関連した移動端末機のブロック構成図である。
【0021】
移動端末機100は、無線通信部110、A/V(Audio/Video)入力部120、ユーザー入力部130、センシング部140、出力部150、メモリ160、インターフェース部170、制御部180及び電源供給部190などを含むことができる。図1に示した各構成要素が必須ではないので、それより多い構成要素を有したり、それより少ない構成要素を有する移動端末機を具現することもできる。
【0022】
以下、各構成要素について順次説明する。
【0023】
無線通信部110は、移動端末機100と無線通信システムとの間、又は移動端末機100と移動端末機100が位置したネットワークとの間の無線通信を可能にする一つ以上のモジュールを含むことができる。例えば、無線通信部110は、放送受信モジュール111、移動通信モジュール112、無線インターネットモジュール113、近距離通信モジュール114及び位置情報モジュール115などを含むことができる。
【0024】
放送受信モジュール111は、放送チャンネルを介して外部の放送管理サーバーから放送信号及び/又は放送関連情報を受信する。
【0025】
放送チャンネルは、衛星チャンネル、地上波チャンネルを含むことができる。放送管理サーバーは、放送信号及び/又は放送関連情報を生成して送信するサーバー、又は既に生成された放送信号及び/又は放送関連情報を受けて端末機に送信するサーバーを意味することができる。放送信号は、TV放送信号、ラジオ放送信号、データ放送信号を含むだけでなく、TV放送信号又はラジオ放送信号にデータ放送信号が結合した形態の放送信号も含むことができる。
【0026】
放送関連情報は、放送チャンネル、放送プログラム又は放送サービス提供者と関連した情報を意味することができる。放送関連情報は、移動通信網を介しても提供できるが、この場合、移動通信モジュール112によって受信することができる。
【0027】
放送関連情報は、多様な形態、例えば、DMB(Digital Multimedia Broadcasting)のEPG(Electronic Program Guide)又はDVB―H(Digital Video Broadcast―Handheld)のESG(Electronic Service Guide)などの形態で存在可能である。
【0028】
放送受信モジュール111は、例えば、DMB―T(Digital Multimedia Broadcasting―Terrestrial)、DMB―S(Digital Multimedia Broadcasting―Satellite)、MediaFLO(Media Forward Link Only)、DVB―H(Digital Video Broadcast―Handheld)、ISDB―T(Integrated Services Digital Broadcast―Terrestrial)などのデジタル放送システムを用いてデジタル放送信号を受信することができる。もちろん、放送受信モジュール111は、上述したデジタル放送システムだけでなく、他の放送システムに適する形態に構成することもできる。
【0029】
放送受信モジュール111を通して受信された放送信号及び/又は放送関連情報は、メモリ160に格納することができる。
【0030】
移動通信モジュール112は、移動通信網上で基地局、外部の端末、サーバーのうち少なくとも一つとの間で無線信号を送受信する。無線信号は、音声呼信号、画像通話呼信号又は文字/マルチメディアメッセージ送受信による多様な形態のデータを含むことができる。
【0031】
無線インターネットモジュール113は、無線インターネット接続のためのモジュールをいい、移動端末機100に内蔵又は外付けすることができる。無線インターネット技術としては、WLAN(Wireless LAN)(Wi―Fi)、Wibro(Wireless broadband)、Wimax(World Interoperability for Microwave Access)、HSDPA(High Speed Downlink Packet Access)などを用いることができる。
【0032】
近距離通信モジュール114は、近距離通信のためのモジュールをいう。近距離通信技術としては、ブルートゥース、RFID(Radio Frequency Identification)、赤外線通信(IrDA、infrared Data Association)、UWB(Ultra Wideband)、ジグビー(ZigBee)などを用いることができる。
【0033】
位置情報モジュール115は、移動端末機の位置を獲得するためのモジュールであって、その代表的な例としてはGPS(Global Position System)モジュールがある。
【0034】
図1を参照すると、A/V(Audio/Video)入力部120は、オーディオ信号又はビデオ信号を入力するためのものであって、カメラ121及びマイク122などを含むことができる。カメラ121は、画像通話モード又は撮影モードでイメージセンサーによって得られる静止画又は動画などの画像フレームを処理する。処理された画像フレームはディスプレイ部151に表示することができる。
【0035】
カメラ121で処理された画像フレームは、メモリ160に格納したり、無線通信部110を通して外部に伝送することができる。カメラ121は、使用環境によって2個以上備えることもできる。
【0036】
マイク122は、通話モード又は録音モード、音声認識モードなどでマイクロホンによって外部の音響信号を受けて電気的な音声データとして処理する。処理された音声データは、通話モードである場合、移動通信モジュール112を通して移動通信基地局に送信可能な形態に変換して出力することができる。マイク122には、外部の音響信号を受ける過程で発生する雑音を除去するための多様な雑音除去アルゴリズムが具現可能である。
【0037】
ユーザー入力部130は、ユーザーが端末機の動作制御のために入力する入力データを発生させる。ユーザー入力部130は、キーパッド、ドームスィッチ、タッチパッド(静圧/静電)、ゾグホイール、ゾグスィッチなどで構成することができる。
【0038】
センシング部140は、移動端末機100の開閉状態、移動端末機100の位置、ユーザーの接触有無、移動端末機の方位、移動端末機の加速/減速などのように移動端末機100の現状態を感知し、移動端末機100の動作を制御するためのセンシング信号を発生させる。例えば、移動端末機100がスライドフォン形態である場合、スライドフォンの開閉有無をセンシングすることができる。また、電源供給部190の電源供給可否、インターフェース部170の外部機器への結合可否などをセンシングすることもできる。一方、センシング部140は、近接センサー141を含むことができる。
【0039】
出力部150は、視覚、聴覚又は触覚などと関連した出力を発生させるためのものであって、ディスプレイ部151、音響出力モジュール152、アラーム部153、ハプティックモジュール154及びプロジェクターモジュール155などを含むことができる。
【0040】
ディスプレイ部151は、移動端末機100で処理される情報を表示(出力)する。例えば、移動端末機が通話モードである場合、通話と関連したUI(User Interface)又はGUI(Graphic User Interface)を表示する。移動端末機100が画像通話モード又は撮影モードである場合は、撮影又は/及び受信された映像、又はUI、GUIを表示する。
【0041】
ディスプレイ部151は、液晶ディスプレイ(liquid crystal display、LCD)、薄膜トランジスタ液晶ディスプレイ(thin film transistor―liquid crystal display、TFT LCD)、有機発光ダイオード(organic light―emitting diode、OLED)、フレキシブルディスプレイ、3次元ディスプレイのうち少なくとも一つを含むことができる。
【0042】
これらのうち一部のディスプレイは、それを通して外部が見られるように透明型又は光透過型で構成することができる。これは、透明ディスプレイと呼ばれるが、透明ディスプレイの代表的な例としては、TOLED(Transparant OLED)などがある。ディスプレイ部151の後方構造も光透過型構造で構成することができる。このような構造により、ユーザーは、端末機ボディーのディスプレイ部151が占める領域を通して端末機ボディーの後方に位置した事物を見ることができる。
【0043】
移動端末機100の具現形態によってディスプレイ部151が2個以上存在し得る。例えば、移動端末機100には、複数のディスプレイ部を一つの面に離隔して配置したり、又は一体に配置することができ、また、複数のディスプレイ部を互いに異なる面にそれぞれ配置することもできる。
【0044】
ディスプレイ部151とタッチ動作を感知するセンサー(以下、「タッチセンサー」という。)が互いにレイヤー構造をなす場合(以下、「タッチスクリーン」という。)、ディスプレイ部151は、出力装置の他に入力装置としても使用可能である。タッチセンサーは、例えば、タッチフィルム、タッチシート、タッチパッドなどの形態を有することができる。
【0045】
タッチセンサーは、ディスプレイ部151の特定部位に加えられた圧力又はディスプレイ部151の特定部位に発生する静電容量などの変化を電気的な入力信号に変換するように構成することができる。タッチセンサーは、タッチされる位置及び面積だけでなく、タッチ時の圧力までも検出できるように構成することができる。
【0046】
タッチセンサーに対するタッチ入力がある場合、それに対応する信号はタッチ制御器に送られる。タッチ制御器は、その信号を処理した後、対応するデータを制御部180に伝送する。これによって、制御部180は、ディスプレイ部151のどの領域がタッチされたかなどを知ることができる。
【0047】
近接センサー141は、タッチスクリーンによって覆われる移動端末機の内部領域又はタッチスクリーンの近くに配置することができる。近接センサーは、所定の検出面に接近する物体、或いは近傍に存在する物体の有無を電磁界の力又は赤外線を用いて機械的接触なしに検出するセンサーをいう。近接センサーは、接触式センサーよりも長い寿命を有するので、その活用度も高い。
【0048】
近接センサーの例としては、透過型光電センサー、直接反射型光電センサー、ミラー反射型光電センサー、高周波発振型近接センサー、静電容量型近接センサー、磁気型近接センサー、赤外線近接センサーなどがある。タッチスクリーンが静電式である場合は、ポインターの近接による電界の変化によってポインターの近接を検出するように構成される。この場合、タッチスクリーン(タッチセンサー)は近接センサーに分類することもできる。
【0049】
以下では、説明の便宜上、タッチスクリーン上にポインターが接触しない状態で近接し、ポインターがタッチスクリーン上に位置することを認識させる行為を「近接タッチ(proximity touch)」と称し、タッチスクリーン上にポインターが実際に接触する行為を「接触タッチ(contact touch)」と称する。タッチスクリーン上でポインターの近接タッチが行われる位置とは、ポインターの近接タッチが行われるとき、ポインターがタッチスクリーンに対して垂直に対応する位置を意味する。
【0050】
近接センサーは、近接タッチと、近接タッチパターン(例えば、近接タッチ距離、近接タッチ方向、近接タッチ速度、近接タッチ時間、近接タッチ位置、近接タッチ移動状態など)を感知する。感知された近接タッチ動作及び近接タッチパターンに相応する情報はタッチスクリーン上に出力することができる。
【0051】
音響出力モジュール152は、呼信号受信、通話モード又は録音モード、音声認識モード、放送受信モードなどで、無線通信部110から受信されたりメモリ160に格納されたオーディオデータを出力することができる。音響出力モジュール152は、移動端末機100で行われる機能(例えば、呼信号受信音、メッセージ受信音など)と関連した音響信号を出力することもある。このような音響出力モジュール152は、レシーバー、スピーカー、ブザーなどを含むことができる。
【0052】
アラーム部153は、移動端末機100のイベント発生を知らせるための信号を出力する。移動端末機で発生するイベントの例としては、呼信号受信、メッセージ受信、キー信号入力、タッチ入力などがある。アラーム部153は、ビデオ信号やオーディオ信号以外の他の形態、例えば、振動でイベント発生を知らせるための信号を出力することもできる。ビデオ信号やオーディオ信号は、ディスプレイ部151や音声出力モジュール152を通しても出力できるので、これらディスプレイ部151及び音声出力モジュール152は、アラーム部153の一部に分類することもできる。
【0053】
ハプティックモジュール154は、ユーザーが感じることのできる多様な触覚効果を発生させる。ハプティックモジュール154が発生する触覚効果の代表的な例としては振動がある。ハプティックモジュール154が発生する振動の強さとパターンなどは制御可能である。例えば、互いに異なる振動は、合成して出力したり、順次出力することもできる。
【0054】
ハプティックモジュール154は、振動の他にも、接触皮膚面に対して垂直に運動するピン配列、噴射口や吸入口を通した空気の噴射力や吸入力、皮膚表面に対する擦れ、電極の接触、静電気力などの刺激による効果と、吸熱や発熱可能な素子を用いた冷温感再現による効果などの多様な触覚効果を発生させることができる。
【0055】
ハプティックモジュール154は、直接的な接触を通して触覚効果を伝達できるとともに、ユーザーが指や腕などの筋感覚を通して触覚効果を感じるように具現することもできる。ハプティックモジュール154は、携帯端末機100の構成態様によって2個以上備えることができる。
【0056】
プロジェクターモジュール155は、移動端末機100を用いてイメージプロジェクト機能を行うための構成要素であって、制御部180の制御信号によってディスプレイ部151上にディスプレイされる映像と同一であるか、それと少なくとも一部が異なる映像を外部スクリーン又は壁にディスプレイすることができる。
【0057】
具体的に、プロジェクターモジュール155は、映像を外部に出力するための光(一例として、レーザ光)を発生させる光源(図示せず)、光源によって発生した光を用いて外部に出力する映像を生成するための映像生成手段(図示せず)、及び映像を一定の焦点距離から外部に拡大して出力するためのレンズ(図示せず)を含むことができる。また、プロジェクターモジュール155は、レンズ又はモジュール全体を機械的に動かすことによって映像投射方向を調節できる装置(図示せず)を含むことができる。
【0058】
プロジェクターモジュール155は、ディスプレイ手段の素子種類によってCRT(Cathode Ray Tube)モジュール、LCD(Liquid Crystal Display)モジュール及びDLP(Digital Light Processing)モジュールなどに分けることができる。特に、DLPモジュールは、光源から発生した光がDMD(Digital Micromirror Device)チップに反射されることによって生成された映像を拡大して投射する方式であって、プロジェクターモジュール151の小型化において有利になり得る。
【0059】
望ましく、プロジェクターモジュール155は、移動端末機100の側面、正面又は背面に長さ方向に備えることができる。もちろん、プロジェクターモジュール155は、必要によって移動端末機100のどの位置にも備えることができる。
【0060】
メモリ部160は、制御部180の処理及び制御のためのプログラムを格納することもでき、入出力される各データ(例えば、電話帳、メッセージ、オーディオ、静止画、動画など)の臨時格納のための機能を行うこともできる。メモリ部160は、各データに対する使用頻度(例えば、各電話番号、各メッセージ、各マルチメディアに対する使用頻度)も共に格納することができる。また、メモリ部160は、タッチスクリーン上のタッチ入力時に出力される多様なパターンの振動及び音響に関するデータを格納することができる。
【0061】
メモリ160は、フラッシュメモリタイプ、ハードディスクタイプ、マルチメディアカードマイクロタイプ、カードタイプのメモリ(例えば、SD又はXDメモリなど)、RAM(Random Access Memory)、SRAM(Static Random Access Memory)、ROM(Read―Only Memory)、EEPROM(Electrically Erasable Programmable Read―Only Memory)、PROM(Programmable Read―Only Memory)、磁気メモリ、磁気ディスク、光ディスクのうち少なくとも一つのタイプの格納媒体を含むことができる。移動端末機100は、インターネット上でメモリ160の格納機能を行うウェブストレージと関連して動作することもできる。
【0062】
インターフェース部170は、移動端末機100に連結される全ての外部機器との通路としての役割をする。インターフェース部170は、外部機器からデータを受けたり、電源を受けて移動端末機100内部の各構成要素に伝達したり、移動端末機100内部のデータを外部機器に伝送する。例えば、有無線ヘッドセットポート、外部充電器ポート、有無線データポート、メモリカードポート、識別モジュールが備えられた装置を連結するポート、オーディオI/O(Input/Output)ポート、ビデオI/O(Input/Output)ポート、イヤホンポートなどをインターフェース部170に含ませることができる。
【0063】
識別モジュールは、移動端末機100の使用権限を認証するための各種情報を格納したチップであって、ユーザー認証モジュール(User Identify Module、UIM)、加入者認証モジュール(Subscriber Identify Module、SIM)、汎用ユーザー認証モジュール(Universal Subscriber Identity Module、USIM)などを含むことができる。識別モジュールが備えられた装置(以下、「識別装置」という。)は、スマートカード形式で製作することができる。したがって、識別装置は、ポートを通して端末機100に連結することができる。
【0064】
インターフェース部は、移動端末機100が外部のクレードルに連結されるとき、クレードルからの電源を移動端末機100に供給するための通路となったり、ユーザーによってクレードルで入力される各種命令信号を移動端末機に伝達するための通路となり得る。クレードルから入力される各種命令信号又は電源は、移動端末機がクレードルに正確に装着されたことを認知するための信号として動作することもできる。
【0065】
制御部180は、通常、移動端末機の全般的な動作を制御し、例えば、音声通話、データ通信、画像通話などのための関連した制御及び処理を行う。制御部180は、マルチメディア再生のためのマルチメディアモジュール181を備えることもできる。マルチメディアモジュール181は、制御部180内に具現することもでき、制御部180とは別途に具現することもできる。
【0066】
制御部180は、タッチスクリーン上で行われる筆記入力又はお絵描き入力をそれぞれ文字及びイメージで認識可能なパターン認識処理を行うことができる。
【0067】
電源供給部190は、制御部180の制御によって外部の電源、内部の電源を受け、各構成要素の動作に必要な電源を供給する。
【0068】
ここで説明する多様な実施例は、例えば、ソフトウェア、ハードウェア又はこれらの組み合わせを用いてコンピュータ又はこれと類似する装置で読み取り可能な記録媒体内で具現することができる。
【0069】
ハードウェア的な具現によると、ここで説明する実施例は、ASICs(application specific integrated circuits)、DSPs(digital signal processors)、DSPDs(Digital signal processing devices)、PLDs(programmable logic devices)、FPGAs(field programmable gate arrays)、プロセッサ、制御器、マイクロコントローラ、マイクロプロセッサ、その他の機能を行うための電気的なユニットのうち少なくとも一つを用いて具現することができる。一部の場合、本明細書で説明する各実施例を制御部180自体で具現することができる。
【0070】
ソフトウェア的な具現によると、本明細書で説明する手順及び機能のような各実施例は、別途のソフトウェアモジュールで具現することができる。各ソフトウェアモジュールは、本明細書で説明する一つ以上の機能及び作動を行うことができる。適切なプログラム言語で書かれたソフトウェアアプリケーションでソフトウェアコードを具現することができる。ソフトウェアコードは、メモリ160に格納され、制御部180によって実行することができる。
【0071】
器具の説明
図2は、本発明と関連した移動端末機又は携帯端末機の一例を前面から見た斜視図である。
【0072】
開示された携帯端末機100は、バー形態の端末機ボディーを備えている。ただし、本発明は、これに限定されるものでなく、2以上のボディーが相対移動可能に結合されるスライドタイプ、フォルダタイプ、スイングタイプ、スイベルタイプなどの多様な構造に適用可能である。
【0073】
ボディーは、外観をなすケース(ケーシング、ハウジング、カバーなど)を含む。本実施例において、ケースは、フロントケース101とリアケース102に区分することができる。フロントケース101とリアケース102との間に形成された空間には各種電子部品が内蔵される。フロントケース101とリアケース102との間には、少なくとも一つの中間ケースをさらに配置することもできる。
【0074】
各ケースは、合成樹脂を射出して形成したり、金属材質、例えば、ステンレススチール(STS)又はチタン(Ti)などの金属材質を有するように形成することもできる。
【0075】
端末機ボディー、主にフロントケース101には、ディスプレイ部151、音響出力部152、カメラ121、ユーザー入力部130、131、132、マイク122、インターフェース170などを配置することができる。
【0076】
ディスプレイ部151は、フロントケース101の主面のほとんどを占める。ディスプレイ部151の両端部のうち一端部に隣接した領域には音響出力部151とカメラ121が配置され、他端部に隣接した領域にはユーザー入力部131とマイク122が配置される。ユーザー入力部132とインターフェース170などは、フロントケース101及びリアケース102の各側面に配置することができる。
【0077】
ユーザー入力部130は、携帯端末機100の動作を制御するための命令を受けるために操作されるものであって、複数の操作ユニット131、132を含むことができる。各操作ユニット131、132は、操作部としても総称することができ、ユーザーが触覚で感知しながら操作する方式(tactile manner)であればいずれの方式も採用可能である。
【0078】
第1又は第2の操作ユニット131、132によって入力される内容は多様に設定可能である。例えば、第1の操作ユニット131は、開始、終了、スクロールなどの命令を受け、第2の操作ユニット132は、音響出力部152から出力される音響の大きさ調節又はディスプレイ部151のタッチ認識モードへの転換などの命令を受けることができる。
【0079】
3次元立体映像の具現方法
以下、本発明の各実施例で適用可能なステレオスコピック方式の3D立体映像表現方法及びそのためのディスプレイ部の構造を説明する。
【0080】
ステレオスコピック(stereo scopic)方式とは、両眼に互いに異なる映像が提供される方式であって、人間が肉眼で事物を見るときに立体感を感じる原理を用いた方法である。すなわち、人間の二つの目は、相互間の距離により、同一の事物を見るときに互いに異なる平面映像を見るようになる。このような互いに異なる平面映像は、網膜を通して脳に伝達され、脳は、これを融合して立体映像の深さ及び実際感を感じるようになる。したがって、人ごとに多少の差はあるが、両眼の相互間の距離による両眼視差によって立体感を感じるようになり、このような両眼視差は、ステレオスコピック方式の最も重要な要素になる。このような両眼視差を、図3を参照してより具体的な例を挙げて説明する。
【0081】
図3は、両眼視差の原理を説明するための概念図である。
【0082】
図3では、六面体310を目の高さより下側の正面に置いて肉眼で見る状況を仮定する。この場合、左眼には、六面体310の上面、正面及び左側面の3面のみが見える左眼平面映像320が見えるようになり、右眼には、六面体310の上面、正面及び右側面の3面のみが見える右眼平面映像330が見えるようになる。
【0083】
実際に目の前の事物でないとしても、左眼には左眼平面映像320を、右眼には右眼平面映像330をそれぞれ到達させると、人は、実際に立体的な六面体310を見るように感じることができる。
【0084】
結局、移動端末機で2番目のカテゴリーの立体映像を具現するためには、ディスプレイ部を通して、同一のオブジェクトを所定視差を置いて見た左眼用映像と右眼用映像を、それぞれ区分して両眼に到達させなければならない。次に、図4を参照して両眼視差による3次元深さを説明する。
【0085】
図4は、両眼視差による距離感及び3次元深さを説明するための概念図である。
【0086】
図4を参照すると、両眼を通してd1距離で六面体400を見るとき、d2距離で六面体400を見るときに比べて、相対的に各眼球に入ってくる映像の側面比重が高くなり、両眼を通して見える映像の差も大きくなる。また、d1距離で六面体400を見るときに人が感じる立体感の程度は、d2距離で六面体400を見るときに比べて大きくなる。すなわち、人が両眼を通して事物を見るとき、近くにある物体であるほど立体感がより大きく感じられ、遠くにある物体であるほど立体感がより小さく感じられる。
【0087】
このような立体感の差を3次元深さ又は3次元レベルで数値化することができる。以下、本明細書では、近くに位置した事物の高い立体感を低い3次元深さ及び低い3次元レベルと表記し、遠くに位置した事物の低い立体感を高い3次元深さ及び高い3次元レベルと表記する。このような3次元深さ又は3次元レベルの定義は、相対的なものであって、その分類基準と増加/減少方向は変更可能である。
【0088】
次に、3D立体映像の具現方法を説明する。
【0089】
上述したように、3D立体映像を具現するためには、右眼用映像と左眼用映像がそれぞれ区分されて両眼に到達される必要がある。このための多様な方法を以下で説明する。
【0090】
1)視差障壁方式
視差障壁(parrallax barrier)方式は、一般的なディスプレイ部と両眼との間に備えられる遮断装置を電気的に制御し、光の進行方向を制御する方法であって、両眼に互いに異なる映像を到達させる方式である。
【0091】
これを図5を参照して説明する。
【0092】
図5は、本発明の一実施例と関連した両眼視差を用いた3次元イメージ表示方法の原理を説明するための図である。
【0093】
図示したように、図5で3D立体映像を表示するために、ディスプレイ部151の上面にはスイッチングパネル部が付着される。スイッチングパネル部は、電気的に制御され、ディスプレイ部から両眼に到達する光の一部を遮断又は通過させることができる。図5において、bは、スイッチングパネル部のバリア間隔を、gは、スイッチングパネル部とディスプレイ部との間隔を、zは、人が見る位置からディスプレイ部までの距離を示す。図5に示すように、二つのイメージをピクセル単位で合成する場合(L、R)、右目の視覚が右側イメージに含まれたピクセルに対応し、左目の視覚が左側イメージに含まれたピクセルに対応するように入射されるスイッチングパネル部が動作することができる。
【0094】
スイッチングパネル部は、3D立体映像を表出しようとする場合、オンになり、入射視覚を分離することができる。また、スイッチングパネル部は、2次元映像を表出しようとする場合、オフになり、入射視覚を分離しない状態でそのまま通過させることができる。したがって、スイッチングパネル部がオフになる場合、両眼視差が分離されない。
【0095】
図5では、視差障壁が一つの軸方向に平行に移動することを例示したが、本発明は、これに制限されるものでなく、制御部180の制御信号によって二つ以上の軸方向にも平行に移動できる視差障壁を使用可能である。
【0096】
2)レンズ屈折方式
レンズ屈折方式(lenticular)は、ディスプレイ部と両眼との間に備えられるレンチキュラースクリーンを用いる方法であって、光の進行方向をレンチキュラースクリーン上の各レンズを通して屈折させる方法で両眼に互いに異なる映像を到達させる方法である。
【0097】
3)偏光眼鏡方式
偏光方向を互いに直角にして両眼に互いに異なる映像を提供したり、円偏向方式である場合は、互いに回転方向が異なるように偏光させ、両眼に互いに異なる映像を提供する方法である。
【0098】
4)アクティブシャッター方式
眼鏡方式の一種であって、ディスプレイ部を通して所定周期で右眼用映像と左眼用映像を交互に表示し、ユーザーの眼鏡は、該当方向の映像が表示されるとき、反対側方向のシャッターを閉じ、該当方向の映像を該当方向の眼球に到逹させる方法である。すなわち、左眼用映像がディスプレイされる時間の間には、右眼のシャッターを閉じ、左眼のみに左眼用映像を到達させ、右眼用映像がディスプレイされる時間の間には、左眼のシャッターを閉じ、右眼のみに右眼用映像を到達させる方法である。
【0099】
説明の便宜上、以下で言及する移動端末機は、図1に示した各構成要素のうち少なくとも一つを含むと仮定する。特に、本発明が適用可能な移動端末機は、上述した各3D立体映像具現方式のうち少なくとも一つの方法を通して3D立体映像をユーザーに提供できるディスプレイ部を備えている。このとき、ディスプレイ部は、移動端末機自体に備えられたディスプレイ部151だけでなく、有無線で連結可能なTVやプロジェクターなどの外部ディスプレイ装置まで含む概念である。このような外部ディスプレイ装置も、上述した各方法のうち少なくとも一つを通して3D立体映像を表示できることが望ましい。また、外部ディスプレイ装置が有線で連結される場合、インターフェース部170を介した汎用直列バス(USB)、高鮮明マルチメディアインターフェース(HDMI)、スーパービデオ(S―Video)、デジタルビジュアルインターフェース(DVI:Digital Visual Interface)、D―サブミニチュア(D―SUB:D―subminiature)、AV端子などの有線インターフェースが使用可能である。そして、外部ディスプレイ装置が無線で連結される場合、DLNA(Digital Living Network Alliance)標準による連結や3G/4Gデータ伝送、Wi―Fi、ブルートゥースのような無線/近距離通信を通して連結することができる。
【0100】
ディスプレイ環境による両眼視差
上述したようにステレオスコピック方式の3D立体映像を具現するためには、3D立体映像を具現するための「ソース映像」が必要である。すなわち、両眼視差が発生するように、同一の客体に対して互いに異なる視点を有する左眼用映像と右眼用映像が必要である。また、両眼視差(すなわち、視点間の距離)が大きくなるほど立体感が大きくなる。
【0101】
ところが、両眼視差が一定距離から逸脱すると、ユーザーに視覚的不便さをもたらす。このような視覚的不便さは、ソース映像がディスプレイされるとき、ユーザーが実質的に感じる視差がユーザーの実際の両眼間に該当する距離(個人的な差はあるが、一般に7cm以内)を超える場合に発生する。ソース映像がディスプレイされるときにユーザーが実質的に感じる視差は、ソース映像自体の視差、ディスプレイ部の大きさ及びディスプレイ部とユーザーとの間の距離によって決定することができる。
【0102】
より詳細に説明すると、ユーザーが感じる視差は、ソース映像自体の視差及びディスプレイ部の大きさに比例し、ディスプレイ部とユーザーとの間の距離には反比例する。すなわち、ソース映像自体の視差が大きいほど、ディスプレイ部が大きいほど、また、ディスプレイ部とユーザーとの間の距離が小さいほど、ユーザーが感じる視差が大きくなり、ソース映像自体の視差が小さいほど、ディスプレイ部が小さいほど、また、ディスプレイ部とユーザーとの間の距離が大きいほどユーザーが感じる視差は小さくなる。
【0103】
したがって、同一のソース映像が使用されるとしても、それを通して具現される3D立体映像の鑑賞環境、すなわち、該当の3D立体映像が表示されるディスプレイ部の大きさ及びディスプレイ部とユーザーとの距離によってユーザーが感じる視差が変わり得る。
【0104】
これを図6を参照して説明する。
【0105】
図6は、ディスプレイ環境によってユーザーが感じる両眼視差の差を説明するための図である。
【0106】
図6を含む以下の各図面では、便宜上、3D立体映像を具現するためのソース映像は、球形客体を互いに異なる視点で見た左眼用映像及び右眼用映像であると仮定する。ただし、これは、例示的なものであって、本発明は、これに限定されるものでなく、両眼視差を用いた3D立体映像を具現するためのあらゆるソース映像に適用可能であることは、当業者であれば誰でも理解できるだろう。
【0107】
まず、図6の(a)を参照すると、3D立体映像を具現するためのソース映像の一例として、球形客体を互いに異なる視点で見た左眼用映像610と右眼用映像620が準備される。視点の差により、左眼用映像610での球形客体615の位置と右眼用映像620での球形客体625の位置が異なっている。
【0108】
図6の(a)に示すようなソース映像を用いて互いに異なるディスプレイ環境で3D立体映像が具現されるとき、ユーザーが感じる両眼視差を図6の(b)を参照して説明する。図6の(b)を参照すると、移動端末機自体に備えられたディスプレイ部151を通して3D立体映像630が表示される場合、ユーザーが感じる視差は、左眼用映像の客体615と右眼用映像の客体625の中心間の距離d1に該当する。一方、移動端末機のディスプレイ部より大きい外部ディスプレイ装置を通して同一のソース映像を用いた3D立体映像640が表示される場合、ユーザーが感じる視差はd2に該当する。ユーザーとディスプレイ部151との間の距離及びユーザーと外部ディスプレイ装置との間の距離が同一であると、d1とd2との差はディスプレイ部と外部ディスプレイ装置の大きさ比率に比例するようになる。
【0109】
このとき、d1は、ユーザーが視覚的不便さを感じる距離より短いが、d2が視覚的不便さを感じる距離より大きい場合、外部ディスプレイ装置を通した3D立体映像の鑑賞においてユーザーに視覚的不便さをもたらすという問題が発生する。このような問題に備えて、最大ディスプレイ大きさを考慮してソース映像自体の視差を縮小して固定することもできる。しかし、これは、移動端末機のディスプレイ部151のように比較的小さいディスプレイでユーザーが感じる視差が過度に小さくなり、立体感が共に減少するという短所を有する。
【0110】
3以上の互いに異なる視点のソース映像の選択的適用を通した3D立体映像の具現
上述した問題を解決するために、本発明では、共通の客体に対する少なくとも三つの互いに異なる視点の映像のうち二つの映像をディスプレイ環境によって選択的に使用して3D立体映像を具現することを提案する。
【0111】
ここで、共通の客体とは、ソース映像として具現される3D立体映像に含まれる一部の特定客体を意味するのではなく、3D立体映像に含まれる全体のイメージを意味する。すなわち、ソース映像を構成する左眼用映像と右眼用映像の視点が異なり、視差による一部の差はあり得るが、実質的に同一の全体のイメージをいう。
【0112】
以下では、図7〜図8を参照して本発明に係る共通の客体に対する三つ以上の互いに異なる視点の映像の概念及び選択的組み合わせを説明する。
【0113】
図7は、本発明の一実施例に係る共通の客体に対する互いに異なる三つの視点の映像の一例を示す。
【0114】
図7を参照すると、本発明に係る互いに異なる三つの視点の対象になる客体710が準備される。このとき、三つの互いに異なる視点720、730、740で共通客体710をそれぞれ見た映像を、本発明に係るソース映像として用いることができる。
【0115】
左側視点720と中央視点730との間の距離であるD1と、中央視点730と右側視点740との間の距離であるD2が互いに異なると仮定すると、各視点で共通客体710を見た三つの映像を用いて共通客体710に対する三つの視差が互いに異なる3D立体映像を具現することができる。
【0116】
図8(a)は、互いに異なる三つの視点で共通の客体を見た映像の一例を示す。図8(a)でも、球形客体が共通客体であると仮定する。
【0117】
図8(a)を参照すると、共通客体に対する互いに異なる三つの視点のうち第1の視点で共通の客体を見た映像810では、該当の客体815が左側に偏っている。
【0118】
また、互いに異なる三つの視点のうち第2の視点で共通の客体を見た映像820では、該当の客体825が中心から左側にやや逸脱して位置する。
【0119】
併せて、互いに異なる三つの視点のうち第3の視点で共通の客体を見た映像830では、該当の客体835が右側に偏っている。
【0120】
図8(a)に示した共通の客体に対する互いに異なる三つの視点で見た三つの映像を用いて、ディスプレイ環境によって三つの映像のうち二つの映像を選択し、ユーザーが感じる視差が類似するように3D立体映像を具現する方法の一例を図8(b)を参照して説明する。
【0121】
図8(b)は、互いに異なる三つの視点で共通の客体を見た映像をディスプレイ部の大きさによって組み合わせた一例を示す。
【0122】
図8(b)では、三つの大きさが互いに異なるディスプレイ部が準備され、各ディスプレイ部とユーザーとの間の距離は同一であると仮定する。このとき、各ディスプレイ部は、移動端末機100自体に備えられたディスプレイ部151であってもよく、有無線を通して移動端末機100に連結された外部ディスプレイ装置であってもよい。
【0123】
三つのディスプレイ部のうち最も小さいディスプレイ部860では、ソース映像で球形客体815、835間の間隔が最も大きくなるように、すなわち、ソース映像自体の視差が最も大きくなるように図8aの810映像と830映像を組み合わせる方法で3D立体映像を具現することができる。このとき、ユーザーが感じる視差はd1に対応する。
【0124】
また、中間大きさのディスプレイ部870では、ソース映像自体の視差が中間大きさになるように図8(a)の820映像と830映像を組み合わせる方法で3D立体映像を具現することができる。このとき、ユーザーが感じる視差はd2に対応する。
【0125】
併せて、最も大きいディスプレイ部880では、ソース映像自体の視差が最も小さくなるように図8(a)の810映像と820映像を組み合わせる方法で3D立体映像を具現することができる。このとき、ユーザーが感じる視差はd3に対応する。
【0126】
結局、ディスプレイ部が大きくなるとしても、視点が互いに異なるソース映像の適切な組み合わせを通してユーザーが感じる視差を一定範囲d1〜d3内に維持することができる。
【0127】
ディスプレイ部が大きくなると、ソース映像自体の視差が小さくなるように互いに異なる視点の三つのソース映像のうち二つの映像を組み合わせ、ディスプレイ部が小さくなると、ソース映像自体の視差が大きくなるようにソース映像を組み合わせる方法で、ユーザーは、ディスプレイ大きさとは関係なく類似する視差を感じることができる。
【0128】
もちろん、類似する視差にする方法は組み合わせの例示であって、ユーザーが感じる立体感を最大限維持するためには、ユーザーが視覚的不便さを感じる視差より小さい最大視差を維持するように組み合わせることもできる。
【0129】
図9は、図8(a)及び図8(b)を参照して上述したソース映像組み合わせをより具体的な客体として示したディスプレイ状態図である。
【0130】
ディスプレイ部が比較的小さい場合は、図9の(a)のように左眼用映像と右眼用映像で共通客体間の視差910及び920が大きいソース映像が組み合わせられ、立体感を大きくすることができる。また、ディスプレイ部が比較的大きい場合は、図9の(b)のように左眼用映像と右眼用映像で共通客体間の視差930及び940が小さいソース映像が組み合わせられ、ユーザーの視覚的疲労感を防止することができる。
【0131】
上述した各実施例では、共通客体に対して複数の互いに異なる視点で見たソース映像を用いた3D立体映像の選択的具現を三つの視点を基準にして説明した。しかし、これは、例示的なものであって、本発明は、これに制限されるものでなく、共通客体に対してより多い視点で見たソース映像を用いる方法にも適用可能である。これを図10を参照して説明する。
【0132】
図10は、本発明の一実施例に係る共通の客体に対する互いに異なる四つの視点の映像の一例を示す。
【0133】
図10を参照すると、本発明に係る互いに異なる四つの視点の対象になる客体1010が準備される。このとき、四つの互いに異なる視点1020、1030、1040及び1050で共通客体1010をそれぞれ見た映像を本発明に係るソース映像として用いることができる。
【0134】
最も左側の視点1020と中央左側視点1030との間の距離であるD1、中央左側視点1030と中央右側視点1040との間の距離であるD2、及び中央右側視点1040と最も右側の視点1050との間の距離であるD3が互いに異なると仮定すると、各視点で共通客体100を見た四つの映像を用いて共通客体1010に対する6個の視差が互いに異なる3D立体映像を具現することができる。
【0135】
すなわち、共通客体を見る互いに異なる視点が多く、各視点間の距離が互いに異なるほど、より多い組み合わせを通してソース映像自体の視差を調節する方法で最適視差の3D立体映像をユーザーに提供することができる。
【0136】
このような共通客体に対する互いに異なる視点映像の組み合わせは、ユーザー入力部130を通したユーザーの入力で決定することもでき、制御部180がディスプレイ環境を認識して自動で決定することもできる。
【0137】
例えば、ユーザーが本発明に係る三つ以上の互いに異なる視点のソース映像を用いた3D立体映像を鑑賞する間、視覚的不便さを感じたり立体感の程度を調節したい場合、ユーザー入力部130を通した所定の入力によって3D立体映像を生成する組み合わせを変更することができる。より具体的に、共通の客体に対する互いに異なる視点映像の個数によって組み合わせ可能な個数だけのキーボタンにそれぞれの組み合わせをマッピングし、そのうち操作されたキーボタンに対応する組み合わせを通した3D立体映像をディスプレイすることができる。また、組み合わせ変更のための一つのキーボタンを準備し、該当のキーボタンの操作時ごとに組み合わせを変更することができる。
【0138】
他の例として、制御部180が現在3D立体映像が出力されるディスプレイの種類(すなわち、大きさ)を認識し、それによって最適な視差が形成されるように自動でソース映像を組み合わせることもできる。具体的に、移動端末機100のディスプレイ部151を通して3D立体映像が具現される場合、制御部180は、ユーザーが感じる視差が最も大きくなるようにソース映像の組み合わせを選択し、大型LCD TVが移動端末機に連結され、TVを通して3D立体映像が具現される場合、ユーザーが感じる視差が最も小さくなるようにソース映像の組み合わせを選択することができる。
【0139】
もちろん、上述した自動選択と手動選択を共に具現することもできる。
【0140】
共通客体に対する互いに異なる視点の映像を撮影するためのカメラ配置構造
以下では、上述した共通客体に対して互いに異なる三つの視点以上のソース映像を生成する方法として、一つ以上のカメラを用いる方法を説明する。カメラを用いる場合、共通の客体は共通の被写体といえる。
【0141】
まず、一つのカメラを用いる方法を図11及び図12を参照して説明する。
【0142】
図11は、本発明の一実施例に係る一つのカメラを通したソース映像撮影方法の一例を示す。
【0143】
図11を参照すると、移動端末機100に備えられた一つのカメラを用いてスイープパノラマ方式で共通の被写体1110に対する互いに異なる視点のソース映像1120、1130を生成することができる。より具体的に、スイープパノラマ方式とは、一方向にカメラを移動させながら連続的に撮影した断片イメージを所定間隔でつないで付ける方法で左眼用映像と右眼用映像を生成する方法をいう。
【0144】
図12は、本発明の一実施例に係る一つのカメラを通したソース映像撮影方法の他の一例を示す。
【0145】
図12を参照すると、所定の往復軌道D上に移動できるように一つのカメラ151を移動端末機100に備えることができる。このような構造の移動端末機を用いて、軌道上でのカメラの位置を互いに異ならせて3回以上撮影する方法を通して本発明のためのソース映像を獲得することができる。このとき、軌道の長さは、上述したユーザーに視覚的疲労を与える視差の長さを超えないことが望ましい。
【0146】
次に、二つのカメラを用いる方法を図13〜図15を参照して説明する。
【0147】
図13は、本発明の一実施例に係る二つのカメラを通したソース映像撮影方法の一例を示す。
【0148】
図13を参照すると、移動端末機100に一つのカメラ121が固定されており、他の一つのカメラ121'は所定の往復軌道D2上に移動できるように備えることができる。このような構造の移動端末機を用いて、固定されたカメラを用いた映像を含み、軌道上でのカメラの位置を互いに異ならせて2回以上撮影する方法を通して本発明のためのソース映像を獲得することができる。このとき、二つのカメラ間の最大間隔D3は、上述したユーザーに視覚的疲労を与える視差の長さを超えないことが望ましい。
【0149】
図14は、本発明の一実施例に係る二つのカメラを通したソース映像撮影のための装置構造の一例を示す。
【0150】
具体的に、図14の(a)は、本発明に係る携帯用端末機の他の実施例の前面斜視図で、図14の(b)は、本発明に係る携帯用端末機の他の作動状態を示す前面斜視図で、図14の(c)は、本発明に係る携帯用端末機の後面斜視図である。
【0151】
図14に示した実施例も、上述した実施例と同様に、2個のカメラを備えている。第1のカメラ121は、第1のケース101及び第2のケース102で構成される携帯用端末機ボディーの長さ方向一端に回転可能に装着され、第2のカメラ121'は、第1のケース101及び第2のケース102で構成される携帯用端末機ボディーの側面のうち下側面に引き出し及び挿入可能に備えることができる。
【0152】
そして、第1のカメラ121は、伸長又は収縮可能な重畳パイプ部材の一端に回転可能に装着することができる。第1のカメラ121は、挿入又は引き出し方向と平行な回転軸(図示せず)を中心に回転可能に装着することができる。
【0153】
第2のカメラ121'は、折り畳み式の重畳パイプ部材raによって引き出し長さを調節することができ、引き出された状態で折り畳み式の重畳パイプ部材を回転軸にして回転可能に装着することができる。
【0154】
また、図14に示した実施例で、第1のカメラ121は、携帯用端末機の前面方向と後面方向に回転可能であると同時に、重畳パイプ部材raの引き出し長さを調節できるので、第1のカメラ121及び第2のカメラ121'の離隔距離を調節することができる。
【0155】
したがって、第1のカメラで撮影される映像、第2のカメラの第1の引き出し長さで撮影される映像及び第2のカメラの第2の引き出し長さで撮影される映像を用いて同一の客体に対する三つ以上の互いに異なる視点の映像を獲得することができる。
【0156】
一方、互いに異なる視差を有する映像は、被写体との距離調節を通しても獲得することができる。これを図15を参照して説明する。
【0157】
図15は、本発明の一実施例に係る二つのカメラを通したソース映像撮影方法の他の一例を示す。
【0158】
図15を参照すると、固定された間隔を有するように二つのカメラ121、121'を移動端末機100に配置し、各カメラと被写体1510との間の距離をD1及びD3と異ならせてそれぞれ撮影する方法で該当の被写体に対して互いに異なる視点のソース映像を獲得することができる。
【0159】
上述した各実施例において、ソース映像は静止画であってもよく、動画であってもよい。また、ソース映像は、メモリ部160に予め格納されたものであってもよく、有無線でストリーミング形態で伝送されてもよい。
【0160】
また、本発明の一実施例によると、上述した方法は、プログラムが記録された媒体にプロセッサが読み取り可能なコードとして具現することが可能である。プロセッサが読み取り可能な媒体の例としては、ROM、RAM、CD―ROM、磁気テープ、フロッピー(登録商標)ディスク、光データ格納装置などがあり、キャリアウェーブ(例えば、インターネットを介した伝送)の形態で具現されるものも含む。
【0161】
前述のように説明した映像表示装置は、説明した各実施例の構成と方法が限定的に適用されるものでなく、各実施例は、多様に変形できるように各実施例の全部又は一部を選択的に組み合わせて構成することもできる。
【符号の説明】
【0162】
110 無線通信部
120 A/V入力部
130 ユーザー入力部
140 センシング部
150 出力部
160 メモリ
170 インターフェース部
180 制御部
190 電源供給部
【特許請求の範囲】
【請求項1】
3D立体映像を表示するためのディスプレイ部、
オブジェクトを第1の視点で見た第1の映像、前記オブジェクトを第2の視点で見た第2の映像及び前記オブジェクトを第3の視点で見た第3の映像を格納するためのメモリ、及び
前記ディスプレイ部が第1のディスプレイ状態であるか、それとも第2のディスプレイ状態であるかを判断し、前記第1のディスプレイ状態である場合、前記第1の映像と前記第2の映像を用いた3D立体映像が前記ディスプレイ部を通して出力されるように制御し、前記第2のディスプレイ状態である場合、前記第1の映像と前記第3の映像を用いた3D立体映像が前記ディスプレイ部を通して出力されるように制御する制御部を含む映像表示装置。
【請求項2】
前記ディスプレイ状態は、前記ディスプレイ部の大きさによって決定されることを特徴とする、請求項1に記載の映像表示装置。
【請求項3】
前記第1の視点の第1の映像、前記第2の視点の第2の映像及び前記第3の視点の第3の映像を撮影するための第1のカメラをさらに含む、請求項1に記載の映像表示装置。
【請求項4】
前記第1の視点の第1の映像を撮影するための第1のカメラ、及び
前記第2の視点の第2の映像及び前記第3の視点の第3の映像を撮影するための第2のカメラをさらに含む、請求項1に記載の映像表示装置。
【請求項5】
前記制御部は、
前記第3の映像を使用することなく、前記第1の映像及び前記第2の映像を用いて前記3D立体映像が前記ディスプレイ部を通して表示されるように制御することを特徴とする、請求項1に記載の映像表示装置。
【請求項6】
前記制御部は、
前記第2の映像を使用することなく、前記第1の映像及び前記第3の映像を用いて前記3D立体映像が前記ディスプレイ部を通して表示されるように制御することを特徴とする、請求項1に記載の映像表示装置。
【請求項7】
ユーザーから命令を受けるためのユーザー入力部をさらに含み、
前記ディスプレイ状態は、前記ユーザー入力部を通した入力によって決定されることを特徴とする、請求項1に記載の映像表示装置。
【請求項8】
前記3D立体映像を表示するための外部ディスプレイ装置と有線で連結されるインターフェース部をさらに含み、
前記ディスプレイ状態は、
前記外部ディスプレイ装置との有線連結可否によって決定されることを特徴とする、請求項1に記載の映像表示装置。
【請求項9】
前記3D立体映像を表示するための外部ディスプレイ装置と無線で連結される無線通信部をさらに含み、
前記ディスプレイ状態は、
前記外部ディスプレイ装置との無線連結可否によって決定されることを特徴とする、請求項1に記載の映像表示装置。
【請求項10】
前記3D立体映像は、両眼視差方式で具現される3D立体映像であることを特徴とする、請求項1に記載の映像表示装置。
【請求項11】
前記ディスプレイ部は、
ディスプレイ素子、光学視差障壁及びスィッチ液晶を含む、請求項1に記載の映像表示装置。
【請求項12】
オブジェクトを第1の視点で見た第1の映像を獲得すること、
前記オブジェクトを第2の視点で見た第2の映像を獲得すること、
前記オブジェクトを第3の視点で見た第3の映像を獲得すること、
第1のディスプレイ状態又は第2のディスプレイ状態を決定すること、
第1のディスプレイ状態と決定された場合、前記第1の映像及び前記第2の映像を用いてディスプレイスクリーンに3D立体映像を表示すること、及び
第2のディスプレイ状態と決定された場合、前記第1の映像及び前記第3の映像を用いて前記ディスプレイスクリーンに前記3D立体映像を表示することを含む、映像表示装置の制御方法。
【請求項13】
前記ディスプレイ状態は、前記ディスプレイスクリーンの大きさによって決定されることを特徴とする、請求項12に記載の映像表示装置の制御方法。
【請求項14】
前記第1の映像を獲得することは、
第1のカメラを用いて前記第1の映像を撮影することを含む、請求項12に記載の映像表示装置の制御方法。
【請求項15】
前記第2の映像を獲得することは、
第2のカメラを用いて前記第2の映像を撮影することを含む、請求項12に記載の映像表示装置の制御方法。
【請求項16】
前記第3の映像を獲得することは、
第2のカメラを用いて前記第3の映像を撮影することを含む、請求項12に記載の映像表示装置の制御方法。
【請求項17】
前記第1のディスプレイ状態と決定された場合、
前記3D立体映像は、前記第3の映像を使用することなく、前記第1の映像及び前記第2の映像を使用して表示されることを特徴とする、請求項12に記載の映像表示装置の制御方法。
【請求項18】
前記第2のディスプレイ状態と決定された場合、
前記3D立体映像は、前記第2の映像を使用することなく、前記第1の映像及び前記第3の映像を使用して表示されることを特徴とする、請求項12に記載の映像表示装置の制御方法。
【請求項19】
前記ディスプレイ状態を決定することは、
ユーザー入力部を通して入力されたディスプレイ命令を判断することを含む、請求項12に記載の映像表示装置の制御方法。
【請求項20】
前記ディスプレイ状態を決定することは、
前記映像表示装置が、前記3D立体映像を表示するための外部映像表示装置に有無線で連結されたかどうかを判断することを含む、請求項12に記載の映像表示装置の制御方法。
【請求項1】
3D立体映像を表示するためのディスプレイ部、
オブジェクトを第1の視点で見た第1の映像、前記オブジェクトを第2の視点で見た第2の映像及び前記オブジェクトを第3の視点で見た第3の映像を格納するためのメモリ、及び
前記ディスプレイ部が第1のディスプレイ状態であるか、それとも第2のディスプレイ状態であるかを判断し、前記第1のディスプレイ状態である場合、前記第1の映像と前記第2の映像を用いた3D立体映像が前記ディスプレイ部を通して出力されるように制御し、前記第2のディスプレイ状態である場合、前記第1の映像と前記第3の映像を用いた3D立体映像が前記ディスプレイ部を通して出力されるように制御する制御部を含む映像表示装置。
【請求項2】
前記ディスプレイ状態は、前記ディスプレイ部の大きさによって決定されることを特徴とする、請求項1に記載の映像表示装置。
【請求項3】
前記第1の視点の第1の映像、前記第2の視点の第2の映像及び前記第3の視点の第3の映像を撮影するための第1のカメラをさらに含む、請求項1に記載の映像表示装置。
【請求項4】
前記第1の視点の第1の映像を撮影するための第1のカメラ、及び
前記第2の視点の第2の映像及び前記第3の視点の第3の映像を撮影するための第2のカメラをさらに含む、請求項1に記載の映像表示装置。
【請求項5】
前記制御部は、
前記第3の映像を使用することなく、前記第1の映像及び前記第2の映像を用いて前記3D立体映像が前記ディスプレイ部を通して表示されるように制御することを特徴とする、請求項1に記載の映像表示装置。
【請求項6】
前記制御部は、
前記第2の映像を使用することなく、前記第1の映像及び前記第3の映像を用いて前記3D立体映像が前記ディスプレイ部を通して表示されるように制御することを特徴とする、請求項1に記載の映像表示装置。
【請求項7】
ユーザーから命令を受けるためのユーザー入力部をさらに含み、
前記ディスプレイ状態は、前記ユーザー入力部を通した入力によって決定されることを特徴とする、請求項1に記載の映像表示装置。
【請求項8】
前記3D立体映像を表示するための外部ディスプレイ装置と有線で連結されるインターフェース部をさらに含み、
前記ディスプレイ状態は、
前記外部ディスプレイ装置との有線連結可否によって決定されることを特徴とする、請求項1に記載の映像表示装置。
【請求項9】
前記3D立体映像を表示するための外部ディスプレイ装置と無線で連結される無線通信部をさらに含み、
前記ディスプレイ状態は、
前記外部ディスプレイ装置との無線連結可否によって決定されることを特徴とする、請求項1に記載の映像表示装置。
【請求項10】
前記3D立体映像は、両眼視差方式で具現される3D立体映像であることを特徴とする、請求項1に記載の映像表示装置。
【請求項11】
前記ディスプレイ部は、
ディスプレイ素子、光学視差障壁及びスィッチ液晶を含む、請求項1に記載の映像表示装置。
【請求項12】
オブジェクトを第1の視点で見た第1の映像を獲得すること、
前記オブジェクトを第2の視点で見た第2の映像を獲得すること、
前記オブジェクトを第3の視点で見た第3の映像を獲得すること、
第1のディスプレイ状態又は第2のディスプレイ状態を決定すること、
第1のディスプレイ状態と決定された場合、前記第1の映像及び前記第2の映像を用いてディスプレイスクリーンに3D立体映像を表示すること、及び
第2のディスプレイ状態と決定された場合、前記第1の映像及び前記第3の映像を用いて前記ディスプレイスクリーンに前記3D立体映像を表示することを含む、映像表示装置の制御方法。
【請求項13】
前記ディスプレイ状態は、前記ディスプレイスクリーンの大きさによって決定されることを特徴とする、請求項12に記載の映像表示装置の制御方法。
【請求項14】
前記第1の映像を獲得することは、
第1のカメラを用いて前記第1の映像を撮影することを含む、請求項12に記載の映像表示装置の制御方法。
【請求項15】
前記第2の映像を獲得することは、
第2のカメラを用いて前記第2の映像を撮影することを含む、請求項12に記載の映像表示装置の制御方法。
【請求項16】
前記第3の映像を獲得することは、
第2のカメラを用いて前記第3の映像を撮影することを含む、請求項12に記載の映像表示装置の制御方法。
【請求項17】
前記第1のディスプレイ状態と決定された場合、
前記3D立体映像は、前記第3の映像を使用することなく、前記第1の映像及び前記第2の映像を使用して表示されることを特徴とする、請求項12に記載の映像表示装置の制御方法。
【請求項18】
前記第2のディスプレイ状態と決定された場合、
前記3D立体映像は、前記第2の映像を使用することなく、前記第1の映像及び前記第3の映像を使用して表示されることを特徴とする、請求項12に記載の映像表示装置の制御方法。
【請求項19】
前記ディスプレイ状態を決定することは、
ユーザー入力部を通して入力されたディスプレイ命令を判断することを含む、請求項12に記載の映像表示装置の制御方法。
【請求項20】
前記ディスプレイ状態を決定することは、
前記映像表示装置が、前記3D立体映像を表示するための外部映像表示装置に有無線で連結されたかどうかを判断することを含む、請求項12に記載の映像表示装置の制御方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8a】
【図8b】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8a】
【図8b】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【公開番号】特開2012−142917(P2012−142917A)
【公開日】平成24年7月26日(2012.7.26)
【国際特許分類】
【出願番号】特願2011−245687(P2011−245687)
【出願日】平成23年11月9日(2011.11.9)
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.ZIGBEE
【出願人】(502032105)エルジー エレクトロニクス インコーポレイティド (2,269)
【Fターム(参考)】
【公開日】平成24年7月26日(2012.7.26)
【国際特許分類】
【出願日】平成23年11月9日(2011.11.9)
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.ZIGBEE
【出願人】(502032105)エルジー エレクトロニクス インコーポレイティド (2,269)
【Fターム(参考)】
[ Back to top ]