携帯端末機及びその動作制御方法
【課題】3D立体映像に対する立体感情報を算出し、種々の動作制御に活用することができる携帯端末機及びその動作制御方法を提供すること。
【解決手段】携帯端末機の動作を制御する方法であって、視差を利用して3D立体映像を表すことのできる少なくとも第1のイメージ(205)及び第2のイメージ(207)を複数のブロックに区画するステップと、少なくとも一対のマッチングするブロック(311,321)に対して前記少なくとも第1のイメージ及び第2のイメージを検索するステップ(S405)と、前記少なくとも一対のマッチングするブロック間の位置差に基づいて、少なくとも一対のマッチングするブロックの各々の深さ情報を算出するステップ(S420)と、前記算出された深さ情報に基づいて、3D立体映像の立体感情報を算出するステップ(S430)とを含むことを特徴とする。
【解決手段】携帯端末機の動作を制御する方法であって、視差を利用して3D立体映像を表すことのできる少なくとも第1のイメージ(205)及び第2のイメージ(207)を複数のブロックに区画するステップと、少なくとも一対のマッチングするブロック(311,321)に対して前記少なくとも第1のイメージ及び第2のイメージを検索するステップ(S405)と、前記少なくとも一対のマッチングするブロック間の位置差に基づいて、少なくとも一対のマッチングするブロックの各々の深さ情報を算出するステップ(S420)と、前記算出された深さ情報に基づいて、3D立体映像の立体感情報を算出するステップ(S430)とを含むことを特徴とする。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、携帯端末機及びその動作制御方法に関し、さらに詳細には、3D立体映像に対する立体感情報を提供する携帯端末機及びその動作制御方法に関する。
【背景技術】
【0002】
携帯端末機は、携帯が可能であり、かつ、音声及び映像通話を行うことができる機能、情報を入出力することができる機能、及びデータを格納することができる機能などを1つ以上備える携帯用機器である。このような携帯端末機は、その機能が多様化されるにつれて、写真や動画の撮影、音楽ファイルや動画ファイルの再生、ゲーム、放送の受信、無線インターネットなどのような複雑な機能を揃えるようになり、総合的なマルチメディア機器(multimedia player)形態で実現されている。
【0003】
このようなマルチメディア機器の形態で実現された携帯端末機は、複雑な機能を実現するために、ハードウェアやソフトウェア的な側面で新しい試みが様々に適用されている。一例として、ユーザが容易かつ便利に機能を検索したり、選択するためのユーザインターフェース(User Interface)環境などがある。
【0004】
一方、最近では、カメラによって撮影した複数個のイメージを、画像処理過程を介して結合し、3D立体映像を生成する技術も利用されている。このような技術が携帯端末機に適用された場合、携帯端末機に備えられたカメラを用いて3D立体映像を生成したり、携帯端末機に備えられたディスプレイ部を介して3D立体映像を表示することができる。
【0005】
ところが、3D立体映像は基本的に、右眼イメージと左眼イメージとの視差を利用して表すので、右眼イメージと左眼イメージとに含まれるオブジェクトの位置によって立体感が変わる。しかし、3D立体映像に対する立体感を客観的に表すことができないため、ユーザが直接3D立体映像を見ながら、ある程度の立体感が感じられるのかを主観的に評価せざるをえない。
【0006】
したがって、3D立体映像に対する立体感を計量的に分析して客観的な立体感情報を算出し、このような立体感情報を携帯端末機の種々の動作制御に活用する方案を考慮してみる必要がある。
【発明の概要】
【発明が解決しようとする課題】
【0007】
本発明は、上記のような従来技術の問題を解決するために提案されたものであって、その目的は、3D立体映像に対する立体感情報を算出し、種々の動作制御に活用することができる携帯端末機及びその動作制御方法を提供することにある。
【課題を解決するための手段】
【0008】
そこで、上記の目的を達成するための本発明に係る携帯端末機の動作制御方法は、視差を利用して3D立体映像を表すことのできる少なくとも第1のイメージ及び第2のイメージを複数のブロックに区画するステップと、少なくとも一対のマッチングするブロックに対して少なくとも第1のイメージ及び第2のイメージを検索するステップと、少なくとも一対のマッチングするブロック間の位置差に基づいて、少なくとも一対のマッチングするブロックの各々の深さ情報を算出するステップと、算出された深さ情報に基づいて、3D立体映像の立体感情報を算出するステップとを含む。
【0009】
また、上記の目的を達成するための本発明に係る携帯端末機の動作制御方法は、視差を利用して少なくとも第1のイメージ及び第2のイメージに基づいた3D立体映像を表示するように構成されたディスプレイ部と、少なくとも第1のイメージ及び第2のイメージを複数のブロックに区画し、少なくとも一対のマッチングするブロックに対して少なくとも第1のイメージ及び第2のイメージを検索し、少なくとも一対のマッチングするブロック間の位置差に基づいて、少なくとも一対のマッチングするブロックの各々の深さ情報を算出し、算出された深さ情報に基づいて3D立体映像の立体感情報を算出し、立体感情報をディスプレイ部に表示するように構成された制御部とを備える。
【発明の効果】
【0010】
以上で説明したように、本発明によれば、3D立体映像を表す左眼イメージと右眼イメージに配置されるオブジェクトの位置差を利用して3D立体映像に対する立体感情報を算出することができる。このような立体感情報は、3D立体写真の撮影、3Dコンテンツに対する評価、及び3D立体映像の再生などに活用することができる。
【図面の簡単な説明】
【0011】
【図1】本発明の一実施形態に係る携帯端末機のブロック構成図である。
【図2】本発明の一実施形態に係る携帯端末機を前面から眺めた斜視図である。
【図3】図2に示した携帯端末機の後面斜視図である。
【図4】本発明の一実施形態に係る携帯端末機から立体感情報を算出する過程を説明するために参照される図である。
【図5】本発明の一実施形態に係る携帯端末機から立体感情報を算出する過程を説明するために参照される図である。
【図6】本発明の一実施形態に係る携帯端末機から立体感情報を算出する過程を説明するために参照される図である。
【図7】本発明の一実施形態に係る携帯端末機から立体感情報を算出する過程を説明するために参照される図である。
【図8】本発明の一実施形態に係る携帯端末機の動作制御方法に関する説明に提供されるフローチャートである。
【図9】本発明の一実施形態に係る携帯端末機の動作制御方法に関する説明に提供されるフローチャートである。
【図10】本発明の一実施形態によって立体感情報が利用される場合を説明するために参照される図である。
【図11】本発明の一実施形態によって立体感情報が利用される場合を説明するために参照される図である。
【図12】本発明の一実施形態によって立体感情報が利用される場合を説明するために参照される図である。
【図13】本発明の一実施形態によって立体感情報が利用される場合を説明するために参照される図である。
【図14】本発明の一実施形態によって立体感情報が利用される場合を説明するために参照される図である。
【図15】立体感情報が含まれた放送信号の一例を示した図である。
【発明を実施するための形態】
【0012】
以下では、図面を参照して本発明をより詳細に説明する。
本明細書において記述される携帯端末機には、携帯電話、スマートフォン(smart phone)、ノートブックコンピュータ(notebook computer)、デジタル放送用端末機、PDA(Personal Digital Assistants)、PMP(Portable Multimedia Player)、カメラ、ナビゲーション、タブレットコンピュータ(tablet computer)、イーブック(e−book)端末機などが含まれる。また、以下の説明で使用される構成要素に対する接尾辞「モジュール」及び「部」は、単に本明細書の作成の容易性のみが考慮されて与えられるものであって、それ自体で特に重要な意味または役割を与えるものではない。したがって、前記「モジュール」及び「部」は、互いに混用して使用され得る。
【0013】
図1は、本発明の一実施形態に係る携帯端末機のブロック構成図(block diagram)である。図1を参照して本発明の一実施形態に係る携帯端末機を機能による構成要素の観点で説明すれば、次のとおりである。
【0014】
同図に示すように、本携帯端末機100は、無線通信部110、A/V(Audio/Video)入力部120、ユーザ入力部130、センシング部140、出力部150、メモリ160、インターフェース部170、制御部180、及び電源供給部190を備えることができる。このような構成要素は、実際の応用で実現されるとき、必要に応じて2つ以上の構成要素が1つの構成要素に合わせられるか、または1つの構成要素が2つ以上の構成要素に細分化されて構成されることができる。
【0015】
無線通信部110は、放送受信モジュール111、移動通信モジュール113、無線インターネットモジュール115、近距離通信モジュール117、及びGPSモジュール119などを備えることができる。
【0016】
放送受信モジュール111は、放送チャネルを介して外部の放送管理サーバから放送信号及び放送関連情報のうち少なくとも1つを受信する。このとき、放送チャネルは、衛星チャネル、地上波チャネルなどを含むことができる。放送管理サーバは、放送信号及び放送関連情報のうち少なくとも1つを生成して送信するサーバや、予め生成された放送信号及び放送関連情報のうち少なくとも1つが提供されて端末機に送信するサーバを意味することができる。
【0017】
放送関連情報は、放送チャネル、放送プログラム、または放送サービス提供者に関連した情報を意味することができる。放送信号は、TV放送信号、ラジオ放送信号、データ放送信号を含むだけでなく、TV放送信号またはラジオ放送信号にデータ放送信号が結合した形態の放送信号も含むことができる。放送関連情報は、移動通信網を介しても提供され得るし、この場合には、移動通信モジュール113によって受信されることができる。放送関連情報は、様々な形態で存在することができる。例えば、DMB(Digital Multimedia Broadcasting)の電子番組ガイド(Electronic Program Guide:EPG)または携帯機器向けデジタルビデオ放送(Digital Video Broadcast−Handheld:DVB−H)のESG(Electronic Service Guide)などの形態で存在することができる。
【0018】
放送受信モジュール111は、各種放送システムを利用して放送信号を受信するが、特に、DMB−T(Digital Multimedia Broadcasting−Terrestrial)、DMB−S(Digital Multimedia Broadcasting−Satellite)、MediaFLO(Media Forward Link Only)、DVB−H(Digital Video Broadcast−Handheld)、ISDB−T(Integrated Services Digital Broadcast−Terrestrial)などのデジタル放送システムを利用してデジタル放送信号を受信することができる。また、放送受信モジュール111は、このようなデジタル放送システムだけでなく、放送信号を提供する全ての放送システムに適合するように構成され得る。放送受信モジュール111を介して受信された放送信号及び/又は放送関連情報はメモリ160に格納され得る。
【0019】
移動通信モジュール113は、移動通信網上で基地局、外部の端末、サーバのうち少なくとも1つと無線信号を送受信する。ここで、無線信号は、音声呼出信号、画像通話呼出信号、または文字/マルチメディアメッセージ送受信による様々な形態のデータを含むことができる。
【0020】
無線インターネットモジュール115は、無線インターネット接続のためのモジュールをいうものであり、無線インターネットモジュール115は、携帯端末機100に内蔵されるか、外蔵されることができる。無線インターネット技術としては、WLAN(Wireless LAN)(Wi−Fi)、Wibro(Wireless broadband)、Wimax(World Interoperability for Microwave Access)、高速下り回線パケット・アクセス(High Speed Downlink Packet Access:HSDPA)などが利用され得る。
【0021】
近距離通信モジュール117は、近距離通信のためのモジュールをいう。近距離通信技術として、ブルートゥース(Bluetooth(登録商標))、RFID(Radio Frequency Identification)、赤外線通信(IrDA、infrared Data Association)、超広帯域通信(Ultra Wideband:UWB)、ジグビー(ZigBee)などが利用され得る。
【0022】
GPS(Global Position System)モジュール119は、複数個のGPS人工衛星から位置情報を受信する。
【0023】
A/V(Audio/Video)入力部120は、オーディオ信号またはビデオ信号の入力のためのものであり、これには、カメラ121とマイク123などが含まれ得る。カメラ121は、画像通話モードまたは撮影モードでイメージセンサによって得られる静止画または動画などの画像フレームを処理する。そして、処理された画像フレームは、ディスプレイ部151に表示されることができる。
【0024】
カメラ121で処理された画像フレームはメモリ160に格納されるか、無線通信部110を介して外部へ伝送されることができる。カメラ121は、端末機の構成態様によって2個以上が備えられることもできる。
【0025】
マイク123は、通話モードまたは録音モード、音声認識モードなどでマイクロホン(Microphone)によって外部の音響信号を受信し、電気的な音声データとして処理する。そして、処理された音声データは、通話モードである場合、移動通信モジュール113を介して移動通信基地局に送信可能な形態に変換されて出力され得る。マイク123は、外部の音響信号を受信する過程で発生する雑音(noise)を除去するための様々な雑音除去アルゴリズムが使用され得る。
【0026】
ユーザ入力部130は、ユーザが端末機の動作制御のために入力するキー入力データを発生させる。ユーザ入力部130は、ユーザのプッシュまたはタッチ操作によって命令または情報を受信できるキーパッド(key pad)、ドームスイッチ(dome switch)、タッチパッド(静圧/静電)などで構成され得る。また、ユーザ入力部130は、キーを回転させるジョグホイールまたはジョグ方式やジョイスティックのように操作する方式やフィンがーマウスなどで構成され得る。特に、タッチパッドが後述するディスプレイ部151と相互レイヤ構造をなす場合、これをタッチスクリーン(touch screen)と呼ぶことができる。
【0027】
センシング部140は、携帯端末機100の開閉状態、携帯端末機100の位置、ユーザ接触有無などのように、携帯端末機100の現在の状態を感知して携帯端末機100の動作を制御するためのセンシング信号を発生させる。例えば、携帯端末機100がスライドフォン形態である場合、スライドフォンの開閉有無をセンシングすることができる。また、電源供給部190の電源供給の有無、インターフェース部170の外部機器結合の有無などと関連したセンシング機能を担当することができる。
【0028】
センシング部140は、感知センサ141、圧力センサ143、及びモーションセンサ145などを備えることができる。感知センサ141は、携帯端末機100に接近する物体や、携帯端末機100の近傍に存在する物体の有無などを機械的接触無しで検出できるようにする。感知センサ141は、交流磁界の変化や静磁界の変化を利用したり、あるいは静電容量の変化率などを利用して近接物体を検出することができる。感知センサ141は、構成態様によって2個以上が備えられ得る。
【0029】
圧力センサ143は、携帯端末機100に圧力が加えられるか否かと、その圧力の大きさなどを検出することができる。圧力センサ143は、使用環境によって携帯端末機100で圧力の検出が必要な部位に設置され得る。もし、圧力センサ143がディスプレイ部151に設置される場合、圧力センサ143から出力される信号に応じて、ディスプレイ部151を介したタッチ入力と、タッチ入力よりさらに大きい圧力が加えられる圧力タッチ入力を識別することができる。また、圧力センサ143から出力される信号に応じて、圧力タッチ入力時、ディスプレイ部151に加えられる圧力の大きさも検出することができる。
【0030】
モーションセンサ145は、加速度センサ、ジャイロセンサなどを用いて携帯端末機100の位置や動きなどを感知する。モーションセンサ145に用いられ得る加速度センサは、いずれか一方向の加速度変化に対してこれを電気信号に変える素子であって、MEMS(micro−electromechanical systems)技術の発達とともに広く使用されている。加速度センサには、自動車のエアバッグシステムに内蔵されて衝突を感知するのに使用する大きい値の加速度を測定するものから、人の手の微細な動作を認識してゲームなどの入力手段として使用する微細な値の加速度を測定するものまで様々な種類がある。加速度センサは普通、2軸や3軸を1つのパッケージに実装して構成され、使用環境によっては、Z軸の1軸のみ必要な場合もある。したがって、ある理由でZ軸方向の代わりにX軸またはY軸方向の加速度センサを使わなければならない場合には、別のサブ基板を使用して加速度センサをメイン基板に立てて実装することもできる。
【0031】
また、ジャイロセンサは、角速度を測定するセンサであって、基準方向に対して回った方向を感知することができる。
【0032】
出力部150は、オーディオ信号またはビデオ信号、あるいはアラーム(alarm)信号の出力のためのものである。出力部150には、ディスプレイ部151、音響出力モジュール153、アラーム部155、及び触覚モジュール157などが備えられ得る。
【0033】
ディスプレイ部151は、携帯端末機100で処理される情報を表示出力する。例えば、携帯端末機100が通話モードである場合、通話と関連したUI(User Interface)またはGUI(Graphic User Interface)を表示する。そして、携帯端末機100が画像通話モードまたは撮影モードである場合、撮影されたり受信された映像を各々または同時に表示することができ、UI、GUIを表示する。
【0034】
一方、前述したように、ディスプレイ部151とタッチパッドとが相互レイヤ構造をなしてタッチスクリーンとして構成される場合、ディスプレイ部151は、出力装置の他に、ユーザのタッチによる情報の入力が可能な入力装置としても使用され得る。
【0035】
もし、ディスプレイ部151がタッチスクリーンとして構成される場合、タッチスクリーンパネル、タッチスクリーンパネル制御機などを備えることができる。このように構成される場合、タッチスクリーンパネルは、外部に取り付けられる透明なパネルであって、携帯端末機100の内部バスに接続されることができる。タッチスクリーンパネルは、接触結果を注視し、タッチ入力がある場合、対応する信号をタッチスクリーンパネル制御機に送る。タッチスクリーンパネル制御機は、その信号を処理した後、対応するデータを制御部180に伝送し、制御部180でタッチ入力があったのか否かとタッチスクリーンのどの領域がタッチされたか否かを検出することができるようにする。
【0036】
ディスプレイ部151は、電子ペーパー(e−Paper)で構成されることもできる。電子ペーパー(e−Paper)は、一種の反射型ディスプレイであって、既存の紙とインキのように、高い解像度、広い視野角、明るい白色背景で、優れた視覚特性を有する。電子ペーパー(e−Paper)は、プラスチック、金属、紙など、いかなる基板上にも実現が可能であり、電源を遮断した後にも画像が維持され、バックライト(back light)電源がなく、携帯端末機100のバッテリ寿命が長く維持され得る。電子ペーパーとしては、正電荷が充電された半球形ツイストボールを用いたり、電気泳動法及びマイクロカプセルなどを利用することができる。
【0037】
この他にも、ディスプレイ部151は、液晶ディスプレイ(liquid crystal display)、薄膜トランジスタ液晶ディスプレイ(thin film transistor−liquid crystal display)、有機発光ダイオード(organic light−emitting diode)、フレキシブルディスプレイ(flexible display)、3次元ディスプレイ(3D display)のうち少なくとも1つを含むことができる。そして、携帯端末機100の実現形態によってディスプレイ部151が2個以上存在することもできる。例えば、携帯端末機100に外部ディスプレイ部(図示せず)と内部ディスプレイ部(図示せず)とが同時に備えられ得る。
【0038】
音響出力モジュール153は、呼出信号受信、通話モードまたは録音モード、音声認識モード、放送受信モードなどで無線通信部110から受信されたり、メモリ160に格納されたオーディオデータを出力する。また、音響出力モジュール153は、携帯端末機100で行われる機能、例えば、呼出信号受信音、メッセージ受信音などと関連した音響信号を出力する。このような音響出力モジュール153には、スピーカー(speaker)、ブザー(Buzzer)などが含まれ得る。
【0039】
アラーム部155は、携帯端末機100のイベント発生を報知するための信号を出力する。携帯端末機100で発生するイベントの例としては、呼出信号受信、メッセージ受信、キー信号入力などがある。アラーム部155は、オーディオ信号やビデオ信号の他に、異なる形態でイベント発生を報知するための信号を出力する。例えば、振動形態で信号を出力することができる。アラーム部155は、呼出信号が受信されるか、メッセージが受信された場合、これを報知するために信号を出力することができる。また。アラーム部155は、キー信号が入力された場合、キー信号入力に対するフィードバックとして信号を出力することができる。このようなアラーム部155が出力する信号によってユーザはイベント発生を認知することができる。携帯端末機100でイベント発生報知のための信号は、ディスプレイ部151や音響出力モジュール153を介しても出力され得る。
【0040】
触覚モジュール(haptic module)157は、ユーザが感じることができる様々な触覚効果を発生させる。触覚モジュール157が発生させる触覚効果の代表的な例としては、振動効果がある。触覚モジュール157が触覚効果として振動を発生させる場合、触覚モジュール157が発生する振動の強さとパターンなどは変換または変更可能であり、互いに異なる振動を合成して出力したり、順次出力することもできる。
【0041】
触覚モジュール157は、振動の他にも、接触皮膚面に対して垂直運動するピン配列による刺激による効果、噴射口や吸込口を介した空気の噴射力や吸込力を介した刺激による効果、皮膚表面をすれる刺激による効果、電極(eletrode)の接触を介した刺激による効果、静電気力を用いた刺激による効果、吸熱や発熱が可能な素子を用いた冷温感再現による効果など、様々な触覚効果を発生させることができる。触覚モジュール157は、直接的な接触によって触覚効果を伝達することができるだけでなく、ユーザの指や腕などの筋感覚を介して触覚効果を感じることができるように実現することもできる。触覚モジュール157は、携帯端末機100の構成態様によって2個以上が備えられ得る。
【0042】
メモリ160は、制御部180の処理及び制御のためのプログラムが格納されることもでき、入力されたり、出力されるデータ(例えば、フォンブック、メッセージ、静止画、動画など)の臨時格納のための機能を行うこともできる。
【0043】
メモリ160は、フラッシュメモリタイプ(flash memory type)、ハードディスクタイプ(hard disk type)、マルチメディアカードマイクロタイプ(multimedia card micro type)、カードタイプのメモリ(例えば、SDまたはXDメモリなど)、RAM、ROMのうち少なくとも1つのタイプの格納媒体を含むことができる。また、携帯端末機100は、インターネット(internet)上でメモリ150の格納機能を行うウェブストレージ(web storage)を運営することもできる。
【0044】
インターフェース部170は、携帯端末機100に連結される全ての外部機器とのインターフェースの役割を行う。携帯端末機100に連結される外部機器の例としては、有線・無線ヘッドセット、外部充電器、有線・無線データポート、メモリカード(Memory card)、SIM(Subscriber Identification Module)カード、UIM(User Identity Module)カードなどのようなカードソケット、オーディオI/O(Input/Output)端子、ビデオI/O(Input/Output)端子、イヤホンなどがある。インターフェース部170は、このような外部機器からデータの伝送を受けるか、電源の供給を受けて携帯端末機100内部の各構成要素に伝達することができ、携帯端末機100内部のデータが外部機器へ伝送されるようにすることができる。
【0045】
インターフェース部170は、携帯端末機100が外部クレイドル(cradle)と連結されたとき、連結されたクレイドルからの電源が携帯端末機100に供給される経路になるか、ユーザによってクレイドルに入力される各種命令信号が携帯端末機100に伝達される経路になることができる。
【0046】
制御部180は、通常、前記各部の動作を制御して携帯端末機100の全般的な動作を制御する。例えば、音声通話、データ通信、画像通話などのための関連した制御及び処理を行う。また、制御部180は、マルチメディア再生のためのマルチメディア再生モジュール181を備えることもできる。マルチメディア再生モジュール181は、制御部180内にハードウェアで構成されることができ、制御部180とは別にソフトウェアで構成されることもできる。
そして、電源供給部190は、制御部180の制御によって外部の電源、内部の電源が印加されて各構成要素の動作に必要な電源を供給する。
【0047】
このような構成の携帯端末機100は、有線・無線通信システム及び衛星基盤通信システムを含み、フレーム(frame)またはパケット(packet)を介してデータ(data)を伝送できる通信システムで動作可能なように構成することができる。
【0048】
図2は、本発明の一実施形態に係る携帯端末機を前面から眺めた斜視図であり、図3は、図2に示した携帯端末機の後面斜視図である。以下では、図2及び図3を参照して、本発明と関連した携帯端末機を外形による構成要素の観点で説明する。また、以下では、説明の便宜上、フォルダタイプ、バータイプ、スイングタイプ、スライダータイプなどのような種々のタイプの携帯端末機のうち、前面タッチスクリーンが備えられている、バータイプの携帯端末機を例に挙げて説明する。しかし、本発明は、バータイプの携帯端末機に限定されるものではなく、前述したタイプを含む全てのタイプの携帯端末機に適用され得る。
【0049】
図2に示すように、携帯端末機100の外観をなすケースは、フロントケース100−1とリアケース100−2とによって形成される。フロントケース100−1とリアケース100−2とによって形成された空間には、各種電子部品が内蔵される。フロントケース100−1とリアケース100−2とは、合成樹脂を射出して形成されるか、金属材質、例えば、ステンレススチール(STS)またはチタニウム(Ti)などのような金属材質を有するように形成されることもできる。
【0050】
本体、具体的にフロントケース100−1には、ディスプレイ部151、第1の音響出力モジュール153a、カメラ121a、及び第1のユーザ入力部ないし第3のユーザ入力部130a、130b、130cが配置され得る。そして、リアケース100−2の側面には、第4のユーザ入力部130d、第5のユーザ入力部130e、及びマイク123が配置され得る。
【0051】
ディスプレイ部151は、タッチパッドがレイヤ構造として重なることにより、ディスプレイ部151がタッチスクリーンとして動作してユーザのタッチによる情報の入力が可能なように構成することもできる。
【0052】
第1の音響出力モジュール153aは、レシーバまたはスピーカーの形態で実現することができる。第1のカメラ121aは、ユーザなどに対するイメージまたは動画を撮影するのに適切な形態で実現することができる。そして、マイク123は、ユーザの音声、その他、音などの入力を受けるのに適切な形態で実現することができる。
【0053】
第1のユーザ入力部ないし第5のユーザ入力部130a、130b、130c、130d、130eと後述する第6のユーザ入力部及び第7のユーザ入力部130f、130gとは、ユーザ入力部130と総称することができ、ユーザが触覚的な感じを与えながら操作することになる方式(tactile manner)であればどのような方式でも採用され得る。
【0054】
例えば、ユーザ入力部130は、ユーザのプッシュまたはタッチ操作によって命令または情報の入力を受けることができるドームスイッチまたはタッチパッドで実現されるか、キーを回転させるホイールまたはジョグ方式やジョイスティックのように操作する方式などでも実現され得る。機能的な面において、第1のユーザ入力部ないし第3のユーザ入力部130a、130b、130cは、開始、終了、スクロールなどのような命令を入力するためのものであり、第4のユーザ入力部130dは、動作モードの選択などを入力するためのものである。また、第5のユーザ入力部130eは、携帯端末機100内の特殊な機能を活性化するためのホットキー(hot−key)として作動することができる。
【0055】
図3に示すように、リアケース100−2の後面には、2つのカメラ121b、121cがさらに装着され得るし、リアケース100−2の側面には、第6のユーザ入力部及び第7のユーザ入力部130f、130gとインターフェース部170とが配置され得る。
【0056】
後面に配置される2つのカメラ121b、121cは、第1のカメラ121aと実質的に反対の撮影方向を有し、第1のカメラ121aと互いに異なる画素を有することができる。後面に配置される2つのカメラ121b、121cは、3次元立体映像の撮影のための3D撮影モードで3D立体映像の生成のために同時に使用され得るし、各々独立的に使用されて2Dイメージを生成することもできる。また、後面に配置される2つのカメラ121b、121cのうちいずれか1つを左右に移動可能なようにし、2つのカメラ121b、121c間の間隔が調整されるように構成することもできる。
【0057】
後面に配置される2つのカメラ121b、121cの間にはフラッシュ125と鏡(図示せず)がさらに配置されることができる。フラッシュ125は、2つのカメラ121b、121cで被写体を撮影する場合に、被写体に向かって光を照らすようになる。鏡は、ユーザが自分を撮影(セルフ撮影)しようとする場合に、ユーザ自分の顔などを映すことができるようにする。
【0058】
リアケース100−2には、第2の音響出力モジュール(図示せず)がさらに配置されることができる。第2の音響出力モジュールは、第1の音響出力モジュール153aとともに、ステレオ機能を実現することができ、スピーカーホンモードで通話のために使用することもできる。
【0059】
インターフェース部170は、外部機器とデータとが交換される経路として使用することができる。そして、フロントケース100−1及びリアケース100−2の一つの領域には、通話などのためのアンテナの他に、放送信号受信用アンテナ(図示せず)が配置され得る。アンテナは、リアケース100−2から引き出し可能に設置されることができる。
【0060】
リアケース100−2側には、携帯端末機100に電源を供給するための電源供給部190が装着され得る。電源供給部190は、例えば、充電可能なバッテリであって、充電などのために、リアケース100−2に着脱可能に結合され得る。
【0061】
図4〜図7は、本発明に係る携帯端末機で使用される立体感情報を算出する過程を説明するために参照される図である。本発明に係る携帯端末機100は、本体の後面に配置される2つのカメラ121b、121cを利用して3D立体イメージを生成することができる。以下、説明の便宜上、後面に配置される2つのカメラ121b、121cを各々第1のカメラ121b及び第2のカメラ121cという。
【0062】
図4(a)に示すように、第1のカメラ及び第2のカメラ121b、121cを介して被写体200を撮影すれば、図4(b)に示すように、第1のカメラ121b及び第2のカメラ121cを介して各々撮影した第1のイメージ及び第2のイメージ205、207を生成することができる。
【0063】
第1のカメラ121b及び第2のカメラ121cを介して撮影した第1のイメージ及び第2のイメージ205、207は、3D立体映像の生成に使用される左眼イメージ及び右眼イメージに対応する。制御部180は、図4(c)に示すように、第1のイメージ及び第2のイメージ205、207で共通した領域のイメージの視差を利用して3D立体映像(Stereoscopic 3D image)210を生成することができる。
【0064】
ここで、3D立体映像(Stereoscopic 3D image)とは、モニタやスクリーン上で事物が位置した漸進的深さ(depth)と実体(Reality)を現実空間と同様に感じることができるようにする映像を意味する。3D立体映像は、2つの目が互いに異なる2次元イメージを見て、そのイメージが網膜を介して脳に伝達されると、これを融合して立体映像の深さ及び実体感を感じるようにするものである。ほぼ65mm離れている人の目の位置によってなされる両眼視差(binocular disparity)が立体感を感じるようにする。両眼視差は、全ての3次元表示装置が基本的に満足させなければならない最も重要な要素である。
【0065】
制御部180で生成した3D立体映像210は、ディスプレイ部151を介して表示することができる。また、専用印画紙と装備を利用すれば、3D立体写真を印画することもできる。静止画の撮影だけでなく、動画撮影の場合にも同じ方式によって3D立体映像を生成することができる。
【0066】
3D立体映像を表示する方式には、眼鏡を使用するステレオスコピック(Stereoscopic)方式、無メガネ方式であるオートステレオスコピック(Auto−steroscopic)方式、及びホログラフィック(Holographic)を使用するプロジェクション方式などがある。ステレオスコピック方式は、家庭用TVなどに多く使用されており、携帯端末機は、主にオートステレオスコピック方式が使用されている。
【0067】
無メガネ方式には、レンチキュラー(lenticular)方式、パララックスバリア(parallax barrier)方式、パララックスイルミネーション(parallax illumination)方式などが使用される。レンチキュラー方式は、左眼イメージと右眼イメージが表示される素子の前に1つの左右間隔に該当する半円筒形レンチキュラーシートを付着して、左右各々の目に左右に該当する映像のみ見えるようにすることにより、立体を感じるようにする。パララックスバリア方式は、左眼イメージと右眼イメージが視差障壁の後ろに置かれるようにすることにより、左右に各々他の映像が見えるようにすることで立体を感じるようにする。そして、パララックスイルミネーション方式は、後面に照明ラインが置かれ、前面にLCDが置かれて、照明ラインによって明るくなったLCDラインが左右のみに見えるようにすることにより、立体を実現する。その他にも、人間に立体感を提供する要素のうち、いくつかの特性を利用して立体感を提供する方法が研究されている。
【0068】
本発明に係る携帯端末機の他に、他の機器を利用する場合にも、基本的に前述したような方式で3D立体映像を生成したり、表すことができる。
【0069】
ところが、3D立体映像で特定オブジェクトに対する深さは、左眼イメージと右眼イメージとに配置される位置によって変わる。3D立体映像で特定オブジェクトに対する正確な深さ値を類推するためには、2つの平衡点が導入されなければならないが、次の図面を参照してこれについて説明する。
【0070】
図5は、3D立体映像で深さ情報を算出する過程を説明するために参照される図である。同図に示すように、右眼の位置であるR、右眼イメージ平面であるIP2、特定オブジェクトの位置であるP、P2で構成される三角形の比例関係と、左眼の位置であるL、左眼イメージ平面であるIP1、P、P1で構成される三角形の比例関係とを介して特定オブジェクトの位置である点Pの距離であるz座標値を計算すれば、次の式のとおりである。
【数1】
【0071】
ここで、x″は点Pを右眼イメージ平面であるIP2に投射した点P2のx座標値、x′は点Pを左眼イメージ平面であるIP1に投射した点P1の座標値、2dは2つの目の間の距離、fは目から仮像スクリーンまでの距離を表す。
【0072】
これにより、目またはカメラとオブジェクトとの深さ(depth)を計算すれば、次の式のとおりになる。
【数2】
【0073】
[数学式2]から分かるように、3D立体映像を表す左眼イメージと右眼イメージとで特定オブジェクトが位置するx軸座標値の差を検出することができれば、そのオブジェクトに対する深さ情報を算出することができる。
【0074】
このとき、オブジェクトの左目に対する投影P1点が右目に対する投影P2点より左側にあるので、右の投影P2のx座標値から左の投影P1のx座標値を減じた値が正(+)になるが、これを正の視差(positive parallax)という。このとき、観察者に発生する現象は、オブジェクトが仮像スクリーンの後側にあるように見えることになる。
【0075】
これとは反対に、x座標値の差が負(−)になる現象を負の視差(negative parallax)という。このとき、オブジェクトは、仮像スクリーンの前にあるように見える。また、左右投影点が同一になる場合をゼロ視差(zero parallax)とすれば、オブジェクトは、仮像スクリーンにあるように見える。
【0076】
このような過程により、3D立体映像で特定オブジェクトに対する深さ情報を算出することができる。また、3D立体映像で3次元オブジェクトの深さと疲労度の関係を計算することができる。既存の医学における研究によれば、目の間の距離2dと目が位置する映像平面で観測する3Dオブジェクトまでの距離(z)とが与えられれば、これに基づいて事物を観測するとき、視線の収束角度がほぼ1.5を越えると、目が疲労を感じるという事実が知られている。すなわち、目から近い位置にある物体に焦点を合わせて凝視するようになると、値が大きくなるため、目が疲れるようになる。
【0077】
図6は、左眼イメージと右眼イメージとを利用して深さ情報を算出する過程を説明するために参照される図である。図6(a)に示すように、左眼イメージ310及び右眼イメージ320を所定サイズのブロック単位に区画して、左眼イメージ310で第1のブロック311にマッチングする右眼イメージ320の第2のブロック321を検索することができる。
【0078】
マッチングするブロックの検索のためには、動きベクタの推定などに使用される平均2乗誤差(Mean Square Error:MSE)、平均絶対誤差(Mean Absolute Error:MAE)、または平均絶対差(Mean Absolute Difference:MAD)などのような評価関数を利用するブロック整合アルゴリズムが使用され得る。M×Nサイズのブロックでこれら関数は次の式のように表すことができる。
【数3】
【数4】
【0079】
ここで、Lkは左眼イメージでk番目のブロック、Rkは右眼イメージでk番目のブロックを表す。このような評価関数は、画素の差を基盤とする場合、最も少ないMAD値やMSE値を有する場合をマッチングするブロックとして選択することができる。
【0080】
また、3D立体映像を表す右眼イメージと左眼イメージの場合、特定オブジェクトの位置は、y座標値は同じで、x座標値のみが変わることが一般的である。したがって、このような点を考慮して、y座標値は一定にし、x軸方向のみに値を変化させる方式によって評価関数を利用することができる。
【0081】
このような過程により、第1のブロック311にマッチングする第2のブロック321が検索されると、第1のブロック311のx軸座標値d1と第2のブロック321のx軸座標値d2との差異値によって深さ情報を算出することができる。
【0082】
同様に、図6(b)に示すように、左眼イメージ310で第3のブロック313にマッチングする右眼イメージ320の第4のブロック323を検索することができる。この場合にも、第3のブロック313のx軸座標値d3と第4のブロック323のx軸座標値d4との差異値によって深さ情報を算出することができる。
【0083】
このような過程を左眼イメージ310または右眼イメージ320の全体に対して行えば、各ブロック別に深さ情報を算出することができる。
【0084】
各ブロック別に深さ情報が算出されると、これを利用して3D立体映像に対する立体感情報を算出することができる。このとき、立体感情報は、フレーム単位で各ブロック別の深さ情報の平均値や標準偏差などで表すことができる。また、隣接したオブジェクト間に深さ値が円滑に変化するように配置されたか否かなどによって立体感情報を算出することもできる。
【0085】
算出した立体感情報は数値化して表したり、グラフで表すことができる。また、図7に示すように、各ブロック別の深さ情報を表す3Dイメージで表示することもできる。
【0086】
図8及び図9は、本発明の一実施形態に係る携帯端末機の動作制御方法に対する説明に提供されているフローチャートである。まず、図8は、立体感情報を算出する過程を表したものである。
【0087】
図8に示すように、ユーザ命令などによって3次元立体イメージに対する立体感情報を算出する立体感評価モードが選択されると(S400)、制御部180は、選択された3D立体映像を構成する左眼イメージと右眼イメージをメモリ160から引き出す(S405)。
【0088】
左眼イメージと右眼イメージが引き出されると、制御部180は、左眼イメージと右眼イメージを所定サイズのブロック単位に区画して、前述したような過程により、制御部180は左眼イメージと右眼イメージで各ブロック別にマッチングするブロックを検索する(S410)。そして、制御部180は、左眼イメージと右眼イメージとで検索されたブロック間の位置差を算出し(S415)、算出したブロック間の位置差を利用してブロック別の深さ情報を算出する(S420)。
【0089】
ブロック別の深さ情報を算出する過程は、他のブロックに対しても行われ、左眼イメージまたは右眼イメージの全体フレームに対する検索が完了すれば(S425)、制御部180は、ブロック別の深さ情報を利用して3D立体映像に対する立体感情報を算出する(S430)。
【0090】
前述したように、立体感情報は、各ブロック別の深さ情報の平均値や標準偏差、または深さ程度の分布や配置などによって予め設定された基準にしたがって算出することができる。
【0091】
制御部180は、算出した立体感情報を出力する(S435)。このとき、立体感情報は、数値、グラフ、イメージなどで出力することができる。また、立体感情報は、3D立体映像とリンクさせて格納し、種々の用途で活用することができる。
【0092】
上記した実施形態では、静止画に対して立体感情報を算出する場合を説明しているが、複数個のフレームに対して上記したような過程を繰り返し的に行い、所定再生区間単位で3D立体動画に対しても立体感情報を算出することができる。この場合、場面別立体感の平均値として全体立体感情報を算出することができ、所定再生区間単位や場面別に異なるように立体感情報を表示することもできる。
【0093】
図9は、マルチメディアモードで立体感情報を活用する場合を表したものである。
【0094】
同図に示すように、ユーザ命令などによってアルバム閲覧や動画ファイルの再生などを行うマルチメディアモードが選択されると(S500)、制御部180は、立体感情報が表示されたファイル目録をディスプレイ部151に表示する(S505)。すなわち、2D映像の場合、2D映像に対応するサムネールイメージや名称を表示し、3D立体映像の場合には、3D立体映像に対応するサムネールイメージや名称とともに、立体感情報を表示することができる。このとき、立体感情報は、数値や図形などを利用して表すことができる。
【0095】
もし、ファイル目録でいずれか1つのファイルが選択された場合(S510)、制御部180は選択したファイルを再生し、立体感情報が存在する3D立体映像の場合、対応するゲージを表示する(S515)。
【0096】
その他、ファイルの再生進行中、停止、早送り再生、巻き戻し、再生位置の移動などのような再生と関連したユーザ命令が入力されれば(S520)、制御部180は、入力されたユーザ命令に対応する動作が行われるように制御する(S525)。また、3D立体映像を再生する場合、立体感情報を表すゲージを介した入力によって立体感が調節されるように構成することもできる。
【0097】
このような過程は、マルチメディアモードが終了するまで繰り返し的に行われる(S530)。また、上記したようなマルチメディアモードの他に、様々な動作制御に立体感情報が活用され得る。例えば、3D立体映像の撮影時、カメラプレビュー画面に立体感情報を表示し、ユーザが立体感情報を参照して構図を選択できるように構成することができる。また、3D立体コンテンツの再生時、立体感情報によってユーザが見やすい立体感で自動調節するように構成することもできる。
【0098】
図10〜図15は、本発明の一実施形態によって立体感情報が利用される場合を説明するために参照される図である。
【0099】
図10は、マルチメディアモードでアルバム画面の一例を示したものである。図10に示すように、アルバム画面600には再生可能なファイルに対応するサムネールイメージが表示される。このとき、3D立体映像に対応するサムネールイメージの一つの領域に星印などで立体感情報を表示することができる。例えば、星印の個数によって立体感の高い3D立体映像を表し、星印がない場合には、2D映像を表すものと構成することができる。これにより、ユーザは、3D映像の立体感を星点などで予め確認することができるので、立体感の高い映像のみを選別的に鑑賞することができる。
【0100】
図11は、3D立体映像を再生している画面の一例を示したものである。同図に示すように、3D立体映像の再生画面610の1つの領域に現在場面の立体感や全体3D立体映像に対する立体感を星印などで表示することができる。
【0101】
図12は、3D立体映像を再生している他の画面を示したものである。図12(a)に示すように、3D立体映像の再生画面620が表示された状態で、コンテンツの立体感情報の表示が選択された場合、図12(b)に示すように、グレー(Gray)モードに切り替えた画面630を表示し、画面630の1つの領域に棒形のゲージ633を表示することができる。このとき、各オブジェクトの深さによって互いに異なる色を表示する画面を表示することもできる。
【0102】
ユーザは、棒形ゲージ633で所望の立体感レベルを選択して立体感を調節することができる。また、グレーモードから再度一般再生モードに切り替えた後、選択された深さのオブジェクトのみを3D立体イメージとして表示し、残りのオブジェクトは2Dイメージとして表示することができる。
【0103】
図13は、3D立体映像が表示された他の画面を示したものである。同図に示すように、3D立体映像が表示された画面640の1つの領域に画面の区画別に測定した深さ情報を視覚化した3Dイメージ643を表示することができる。このように、3D立体映像に対する立体感情報を3D図形で表すこともできる。
【0104】
図14は、3D立体映像を再生しているさらに他の画面を示したものである。同図に示すように、3D立体映像が表示された画面650の1つの領域に立体感情報を表すゲージ653を表示し、リアルタイムで立体感情報を表すことができる。ゲージ653は、ユーザの選択によって表示するか、または現在再生中の3D立体映像の立体感が一定水準以上である場合に表示することができる。
【0105】
また、ゲージ653を用いて3D立体映像に対する立体感を調節することができる。例えば、立体感が過剰になり、目の疲労度が大きくなる場合、ゲージ653をタッチ後、円形にドラッグする入力655などで調節して、3D立体映像に対する立体感レベルを低めることができる。このように、ゲージ653は、現在画面の3D立体感を表示すると同時に、立体感を調節する機能を行うこともできる。
【0106】
図15は、立体感情報を放送信号に挿入して伝送する場合を示したものである。同図に示すように、MPEG TSパケットは、ヘッダ(header)とデータ・ペイロードで構成される。ヘッダ部は4バイト固定長さであり、内部には同期バイト(sync byte)、パケット識別(Packet Identifier:PID)、スクランブル制御(Scramble Control)、適応フィールド制御(Adaption Field:AF)などが含まれる。
MPEG−4標準で圧縮されたビデオ映像は、その圧縮方法によってI−フレーム(Intra−coded frame)、P−フレーム(Predictive−coded frame)、そして、B−フレーム(Bidirectional−coded frame)の3つの形態で構成される。ここで、I−フレームは、前または後の他のフレームとは独立的にただ1つの映像でエンコード(encoding)される。P−フレームは、エンコードとデコード(decoding)を行うとき、以前のI−フレームとP−フレーム情報を参照する。すなわち、以前の画面と現在の画面の差異値のみをエンコードするものである。最後に、B−フレームは、以前のP−フレームと以後のP−フレーム、または2つのフレームの両方を参照してエンコードする。各フレームは、Iフレームから次のIフレームの前までのフレーム集まりをGOP(Group Of Pictures)内で一定の順序を有して表現するが、普通、IBBPBBPBBPBBの形態を有する。これを標準ではGOPパターンという。
【0107】
立体感情報の算出によって、3D立体コンテンツの関連立体感情報をMPEG TSパケットに挿入して伝送することができる。例えば、図15に示すように、現在表示されるフレームの立体感をI−フレーム単位として予め立体感情報を算出し、I−フレームのヘッダを拡張した位置700とか、またはペイロードに立体感情報を記録して伝送することができる。
【0108】
一方、3D立体映像に対する不満足の原因としては、過剰な立体感の他に、誤った撮影、誤ったディスプレイ、フリッカー現象などがある。ここで、誤った撮影は、映像整列が誤っているか、光学的歪み、立体感調整のためのカメラセット、及び感性的側面に誤りがある場合である。また、誤ったディスプレイは、左右映像の歪みなどでも深刻な頭痛を誘発させることができる。フリッカー現象は、TVなどを介して3D立体映像を視聴する場合、秒当たり数十回の映像が表示されると、ちらつきを感じるようになり、このようなちらつきも頭痛や嘔吐を誘発させることができる。
【0109】
したがって、立体感情報には、深さ情報の他に、このような情報を共に評価されて算出することができる。そして、本発明に係る携帯端末機及びその動作制御方法は、上述の実施形態の構成と方法が限定されるように適用されるものではなく、前記実施形態は、様々な変形がなされ得るように、各実施形態の全部または一部が選択的に組み合わせられて構成されることもできる。
【0110】
一方、本発明は、携帯端末機に備えられたプロセッサが読み取ることのできる記録媒体にプロセッサが読み取ることのできるコードとして実現することが可能である。プロセッサが読み取ることのできる記録媒体は、プロセッサによって読み取られることのできるデータが格納される全ての種類の記録装置を含む。プロセッサが読み取ることのできる記録媒体の例としては、ROM、RAM、CD−ROM、磁気テープ、フロッピー(登録商標)ディスク、光データ格納装置などがあり、また、インターネットを介した伝送などのようなキャリアウェーブの形態で実現されることも含む。また、プロセッサが読み取ることのできる記録媒体は、ネットワークで連結されたコンピュータシステムに分散されて、分散方式によってプロセッサが読み取ることのできるコードが格納され、実行され得る。
【0111】
また、以上では、本発明の好ましい実施形態について図示し、説明したが、本発明は、上述した特定の実施形態に限定されず、請求の範囲で請求する本発明の要旨を逸脱することなく、当該発明の属する技術分野における通常の知識を有した者によって様々な変形実施が可能であることはもちろんであり、このような変形実施は、本発明の技術的思想や展望から個別的に理解されてはいけないであろう。
【技術分野】
【0001】
本発明は、携帯端末機及びその動作制御方法に関し、さらに詳細には、3D立体映像に対する立体感情報を提供する携帯端末機及びその動作制御方法に関する。
【背景技術】
【0002】
携帯端末機は、携帯が可能であり、かつ、音声及び映像通話を行うことができる機能、情報を入出力することができる機能、及びデータを格納することができる機能などを1つ以上備える携帯用機器である。このような携帯端末機は、その機能が多様化されるにつれて、写真や動画の撮影、音楽ファイルや動画ファイルの再生、ゲーム、放送の受信、無線インターネットなどのような複雑な機能を揃えるようになり、総合的なマルチメディア機器(multimedia player)形態で実現されている。
【0003】
このようなマルチメディア機器の形態で実現された携帯端末機は、複雑な機能を実現するために、ハードウェアやソフトウェア的な側面で新しい試みが様々に適用されている。一例として、ユーザが容易かつ便利に機能を検索したり、選択するためのユーザインターフェース(User Interface)環境などがある。
【0004】
一方、最近では、カメラによって撮影した複数個のイメージを、画像処理過程を介して結合し、3D立体映像を生成する技術も利用されている。このような技術が携帯端末機に適用された場合、携帯端末機に備えられたカメラを用いて3D立体映像を生成したり、携帯端末機に備えられたディスプレイ部を介して3D立体映像を表示することができる。
【0005】
ところが、3D立体映像は基本的に、右眼イメージと左眼イメージとの視差を利用して表すので、右眼イメージと左眼イメージとに含まれるオブジェクトの位置によって立体感が変わる。しかし、3D立体映像に対する立体感を客観的に表すことができないため、ユーザが直接3D立体映像を見ながら、ある程度の立体感が感じられるのかを主観的に評価せざるをえない。
【0006】
したがって、3D立体映像に対する立体感を計量的に分析して客観的な立体感情報を算出し、このような立体感情報を携帯端末機の種々の動作制御に活用する方案を考慮してみる必要がある。
【発明の概要】
【発明が解決しようとする課題】
【0007】
本発明は、上記のような従来技術の問題を解決するために提案されたものであって、その目的は、3D立体映像に対する立体感情報を算出し、種々の動作制御に活用することができる携帯端末機及びその動作制御方法を提供することにある。
【課題を解決するための手段】
【0008】
そこで、上記の目的を達成するための本発明に係る携帯端末機の動作制御方法は、視差を利用して3D立体映像を表すことのできる少なくとも第1のイメージ及び第2のイメージを複数のブロックに区画するステップと、少なくとも一対のマッチングするブロックに対して少なくとも第1のイメージ及び第2のイメージを検索するステップと、少なくとも一対のマッチングするブロック間の位置差に基づいて、少なくとも一対のマッチングするブロックの各々の深さ情報を算出するステップと、算出された深さ情報に基づいて、3D立体映像の立体感情報を算出するステップとを含む。
【0009】
また、上記の目的を達成するための本発明に係る携帯端末機の動作制御方法は、視差を利用して少なくとも第1のイメージ及び第2のイメージに基づいた3D立体映像を表示するように構成されたディスプレイ部と、少なくとも第1のイメージ及び第2のイメージを複数のブロックに区画し、少なくとも一対のマッチングするブロックに対して少なくとも第1のイメージ及び第2のイメージを検索し、少なくとも一対のマッチングするブロック間の位置差に基づいて、少なくとも一対のマッチングするブロックの各々の深さ情報を算出し、算出された深さ情報に基づいて3D立体映像の立体感情報を算出し、立体感情報をディスプレイ部に表示するように構成された制御部とを備える。
【発明の効果】
【0010】
以上で説明したように、本発明によれば、3D立体映像を表す左眼イメージと右眼イメージに配置されるオブジェクトの位置差を利用して3D立体映像に対する立体感情報を算出することができる。このような立体感情報は、3D立体写真の撮影、3Dコンテンツに対する評価、及び3D立体映像の再生などに活用することができる。
【図面の簡単な説明】
【0011】
【図1】本発明の一実施形態に係る携帯端末機のブロック構成図である。
【図2】本発明の一実施形態に係る携帯端末機を前面から眺めた斜視図である。
【図3】図2に示した携帯端末機の後面斜視図である。
【図4】本発明の一実施形態に係る携帯端末機から立体感情報を算出する過程を説明するために参照される図である。
【図5】本発明の一実施形態に係る携帯端末機から立体感情報を算出する過程を説明するために参照される図である。
【図6】本発明の一実施形態に係る携帯端末機から立体感情報を算出する過程を説明するために参照される図である。
【図7】本発明の一実施形態に係る携帯端末機から立体感情報を算出する過程を説明するために参照される図である。
【図8】本発明の一実施形態に係る携帯端末機の動作制御方法に関する説明に提供されるフローチャートである。
【図9】本発明の一実施形態に係る携帯端末機の動作制御方法に関する説明に提供されるフローチャートである。
【図10】本発明の一実施形態によって立体感情報が利用される場合を説明するために参照される図である。
【図11】本発明の一実施形態によって立体感情報が利用される場合を説明するために参照される図である。
【図12】本発明の一実施形態によって立体感情報が利用される場合を説明するために参照される図である。
【図13】本発明の一実施形態によって立体感情報が利用される場合を説明するために参照される図である。
【図14】本発明の一実施形態によって立体感情報が利用される場合を説明するために参照される図である。
【図15】立体感情報が含まれた放送信号の一例を示した図である。
【発明を実施するための形態】
【0012】
以下では、図面を参照して本発明をより詳細に説明する。
本明細書において記述される携帯端末機には、携帯電話、スマートフォン(smart phone)、ノートブックコンピュータ(notebook computer)、デジタル放送用端末機、PDA(Personal Digital Assistants)、PMP(Portable Multimedia Player)、カメラ、ナビゲーション、タブレットコンピュータ(tablet computer)、イーブック(e−book)端末機などが含まれる。また、以下の説明で使用される構成要素に対する接尾辞「モジュール」及び「部」は、単に本明細書の作成の容易性のみが考慮されて与えられるものであって、それ自体で特に重要な意味または役割を与えるものではない。したがって、前記「モジュール」及び「部」は、互いに混用して使用され得る。
【0013】
図1は、本発明の一実施形態に係る携帯端末機のブロック構成図(block diagram)である。図1を参照して本発明の一実施形態に係る携帯端末機を機能による構成要素の観点で説明すれば、次のとおりである。
【0014】
同図に示すように、本携帯端末機100は、無線通信部110、A/V(Audio/Video)入力部120、ユーザ入力部130、センシング部140、出力部150、メモリ160、インターフェース部170、制御部180、及び電源供給部190を備えることができる。このような構成要素は、実際の応用で実現されるとき、必要に応じて2つ以上の構成要素が1つの構成要素に合わせられるか、または1つの構成要素が2つ以上の構成要素に細分化されて構成されることができる。
【0015】
無線通信部110は、放送受信モジュール111、移動通信モジュール113、無線インターネットモジュール115、近距離通信モジュール117、及びGPSモジュール119などを備えることができる。
【0016】
放送受信モジュール111は、放送チャネルを介して外部の放送管理サーバから放送信号及び放送関連情報のうち少なくとも1つを受信する。このとき、放送チャネルは、衛星チャネル、地上波チャネルなどを含むことができる。放送管理サーバは、放送信号及び放送関連情報のうち少なくとも1つを生成して送信するサーバや、予め生成された放送信号及び放送関連情報のうち少なくとも1つが提供されて端末機に送信するサーバを意味することができる。
【0017】
放送関連情報は、放送チャネル、放送プログラム、または放送サービス提供者に関連した情報を意味することができる。放送信号は、TV放送信号、ラジオ放送信号、データ放送信号を含むだけでなく、TV放送信号またはラジオ放送信号にデータ放送信号が結合した形態の放送信号も含むことができる。放送関連情報は、移動通信網を介しても提供され得るし、この場合には、移動通信モジュール113によって受信されることができる。放送関連情報は、様々な形態で存在することができる。例えば、DMB(Digital Multimedia Broadcasting)の電子番組ガイド(Electronic Program Guide:EPG)または携帯機器向けデジタルビデオ放送(Digital Video Broadcast−Handheld:DVB−H)のESG(Electronic Service Guide)などの形態で存在することができる。
【0018】
放送受信モジュール111は、各種放送システムを利用して放送信号を受信するが、特に、DMB−T(Digital Multimedia Broadcasting−Terrestrial)、DMB−S(Digital Multimedia Broadcasting−Satellite)、MediaFLO(Media Forward Link Only)、DVB−H(Digital Video Broadcast−Handheld)、ISDB−T(Integrated Services Digital Broadcast−Terrestrial)などのデジタル放送システムを利用してデジタル放送信号を受信することができる。また、放送受信モジュール111は、このようなデジタル放送システムだけでなく、放送信号を提供する全ての放送システムに適合するように構成され得る。放送受信モジュール111を介して受信された放送信号及び/又は放送関連情報はメモリ160に格納され得る。
【0019】
移動通信モジュール113は、移動通信網上で基地局、外部の端末、サーバのうち少なくとも1つと無線信号を送受信する。ここで、無線信号は、音声呼出信号、画像通話呼出信号、または文字/マルチメディアメッセージ送受信による様々な形態のデータを含むことができる。
【0020】
無線インターネットモジュール115は、無線インターネット接続のためのモジュールをいうものであり、無線インターネットモジュール115は、携帯端末機100に内蔵されるか、外蔵されることができる。無線インターネット技術としては、WLAN(Wireless LAN)(Wi−Fi)、Wibro(Wireless broadband)、Wimax(World Interoperability for Microwave Access)、高速下り回線パケット・アクセス(High Speed Downlink Packet Access:HSDPA)などが利用され得る。
【0021】
近距離通信モジュール117は、近距離通信のためのモジュールをいう。近距離通信技術として、ブルートゥース(Bluetooth(登録商標))、RFID(Radio Frequency Identification)、赤外線通信(IrDA、infrared Data Association)、超広帯域通信(Ultra Wideband:UWB)、ジグビー(ZigBee)などが利用され得る。
【0022】
GPS(Global Position System)モジュール119は、複数個のGPS人工衛星から位置情報を受信する。
【0023】
A/V(Audio/Video)入力部120は、オーディオ信号またはビデオ信号の入力のためのものであり、これには、カメラ121とマイク123などが含まれ得る。カメラ121は、画像通話モードまたは撮影モードでイメージセンサによって得られる静止画または動画などの画像フレームを処理する。そして、処理された画像フレームは、ディスプレイ部151に表示されることができる。
【0024】
カメラ121で処理された画像フレームはメモリ160に格納されるか、無線通信部110を介して外部へ伝送されることができる。カメラ121は、端末機の構成態様によって2個以上が備えられることもできる。
【0025】
マイク123は、通話モードまたは録音モード、音声認識モードなどでマイクロホン(Microphone)によって外部の音響信号を受信し、電気的な音声データとして処理する。そして、処理された音声データは、通話モードである場合、移動通信モジュール113を介して移動通信基地局に送信可能な形態に変換されて出力され得る。マイク123は、外部の音響信号を受信する過程で発生する雑音(noise)を除去するための様々な雑音除去アルゴリズムが使用され得る。
【0026】
ユーザ入力部130は、ユーザが端末機の動作制御のために入力するキー入力データを発生させる。ユーザ入力部130は、ユーザのプッシュまたはタッチ操作によって命令または情報を受信できるキーパッド(key pad)、ドームスイッチ(dome switch)、タッチパッド(静圧/静電)などで構成され得る。また、ユーザ入力部130は、キーを回転させるジョグホイールまたはジョグ方式やジョイスティックのように操作する方式やフィンがーマウスなどで構成され得る。特に、タッチパッドが後述するディスプレイ部151と相互レイヤ構造をなす場合、これをタッチスクリーン(touch screen)と呼ぶことができる。
【0027】
センシング部140は、携帯端末機100の開閉状態、携帯端末機100の位置、ユーザ接触有無などのように、携帯端末機100の現在の状態を感知して携帯端末機100の動作を制御するためのセンシング信号を発生させる。例えば、携帯端末機100がスライドフォン形態である場合、スライドフォンの開閉有無をセンシングすることができる。また、電源供給部190の電源供給の有無、インターフェース部170の外部機器結合の有無などと関連したセンシング機能を担当することができる。
【0028】
センシング部140は、感知センサ141、圧力センサ143、及びモーションセンサ145などを備えることができる。感知センサ141は、携帯端末機100に接近する物体や、携帯端末機100の近傍に存在する物体の有無などを機械的接触無しで検出できるようにする。感知センサ141は、交流磁界の変化や静磁界の変化を利用したり、あるいは静電容量の変化率などを利用して近接物体を検出することができる。感知センサ141は、構成態様によって2個以上が備えられ得る。
【0029】
圧力センサ143は、携帯端末機100に圧力が加えられるか否かと、その圧力の大きさなどを検出することができる。圧力センサ143は、使用環境によって携帯端末機100で圧力の検出が必要な部位に設置され得る。もし、圧力センサ143がディスプレイ部151に設置される場合、圧力センサ143から出力される信号に応じて、ディスプレイ部151を介したタッチ入力と、タッチ入力よりさらに大きい圧力が加えられる圧力タッチ入力を識別することができる。また、圧力センサ143から出力される信号に応じて、圧力タッチ入力時、ディスプレイ部151に加えられる圧力の大きさも検出することができる。
【0030】
モーションセンサ145は、加速度センサ、ジャイロセンサなどを用いて携帯端末機100の位置や動きなどを感知する。モーションセンサ145に用いられ得る加速度センサは、いずれか一方向の加速度変化に対してこれを電気信号に変える素子であって、MEMS(micro−electromechanical systems)技術の発達とともに広く使用されている。加速度センサには、自動車のエアバッグシステムに内蔵されて衝突を感知するのに使用する大きい値の加速度を測定するものから、人の手の微細な動作を認識してゲームなどの入力手段として使用する微細な値の加速度を測定するものまで様々な種類がある。加速度センサは普通、2軸や3軸を1つのパッケージに実装して構成され、使用環境によっては、Z軸の1軸のみ必要な場合もある。したがって、ある理由でZ軸方向の代わりにX軸またはY軸方向の加速度センサを使わなければならない場合には、別のサブ基板を使用して加速度センサをメイン基板に立てて実装することもできる。
【0031】
また、ジャイロセンサは、角速度を測定するセンサであって、基準方向に対して回った方向を感知することができる。
【0032】
出力部150は、オーディオ信号またはビデオ信号、あるいはアラーム(alarm)信号の出力のためのものである。出力部150には、ディスプレイ部151、音響出力モジュール153、アラーム部155、及び触覚モジュール157などが備えられ得る。
【0033】
ディスプレイ部151は、携帯端末機100で処理される情報を表示出力する。例えば、携帯端末機100が通話モードである場合、通話と関連したUI(User Interface)またはGUI(Graphic User Interface)を表示する。そして、携帯端末機100が画像通話モードまたは撮影モードである場合、撮影されたり受信された映像を各々または同時に表示することができ、UI、GUIを表示する。
【0034】
一方、前述したように、ディスプレイ部151とタッチパッドとが相互レイヤ構造をなしてタッチスクリーンとして構成される場合、ディスプレイ部151は、出力装置の他に、ユーザのタッチによる情報の入力が可能な入力装置としても使用され得る。
【0035】
もし、ディスプレイ部151がタッチスクリーンとして構成される場合、タッチスクリーンパネル、タッチスクリーンパネル制御機などを備えることができる。このように構成される場合、タッチスクリーンパネルは、外部に取り付けられる透明なパネルであって、携帯端末機100の内部バスに接続されることができる。タッチスクリーンパネルは、接触結果を注視し、タッチ入力がある場合、対応する信号をタッチスクリーンパネル制御機に送る。タッチスクリーンパネル制御機は、その信号を処理した後、対応するデータを制御部180に伝送し、制御部180でタッチ入力があったのか否かとタッチスクリーンのどの領域がタッチされたか否かを検出することができるようにする。
【0036】
ディスプレイ部151は、電子ペーパー(e−Paper)で構成されることもできる。電子ペーパー(e−Paper)は、一種の反射型ディスプレイであって、既存の紙とインキのように、高い解像度、広い視野角、明るい白色背景で、優れた視覚特性を有する。電子ペーパー(e−Paper)は、プラスチック、金属、紙など、いかなる基板上にも実現が可能であり、電源を遮断した後にも画像が維持され、バックライト(back light)電源がなく、携帯端末機100のバッテリ寿命が長く維持され得る。電子ペーパーとしては、正電荷が充電された半球形ツイストボールを用いたり、電気泳動法及びマイクロカプセルなどを利用することができる。
【0037】
この他にも、ディスプレイ部151は、液晶ディスプレイ(liquid crystal display)、薄膜トランジスタ液晶ディスプレイ(thin film transistor−liquid crystal display)、有機発光ダイオード(organic light−emitting diode)、フレキシブルディスプレイ(flexible display)、3次元ディスプレイ(3D display)のうち少なくとも1つを含むことができる。そして、携帯端末機100の実現形態によってディスプレイ部151が2個以上存在することもできる。例えば、携帯端末機100に外部ディスプレイ部(図示せず)と内部ディスプレイ部(図示せず)とが同時に備えられ得る。
【0038】
音響出力モジュール153は、呼出信号受信、通話モードまたは録音モード、音声認識モード、放送受信モードなどで無線通信部110から受信されたり、メモリ160に格納されたオーディオデータを出力する。また、音響出力モジュール153は、携帯端末機100で行われる機能、例えば、呼出信号受信音、メッセージ受信音などと関連した音響信号を出力する。このような音響出力モジュール153には、スピーカー(speaker)、ブザー(Buzzer)などが含まれ得る。
【0039】
アラーム部155は、携帯端末機100のイベント発生を報知するための信号を出力する。携帯端末機100で発生するイベントの例としては、呼出信号受信、メッセージ受信、キー信号入力などがある。アラーム部155は、オーディオ信号やビデオ信号の他に、異なる形態でイベント発生を報知するための信号を出力する。例えば、振動形態で信号を出力することができる。アラーム部155は、呼出信号が受信されるか、メッセージが受信された場合、これを報知するために信号を出力することができる。また。アラーム部155は、キー信号が入力された場合、キー信号入力に対するフィードバックとして信号を出力することができる。このようなアラーム部155が出力する信号によってユーザはイベント発生を認知することができる。携帯端末機100でイベント発生報知のための信号は、ディスプレイ部151や音響出力モジュール153を介しても出力され得る。
【0040】
触覚モジュール(haptic module)157は、ユーザが感じることができる様々な触覚効果を発生させる。触覚モジュール157が発生させる触覚効果の代表的な例としては、振動効果がある。触覚モジュール157が触覚効果として振動を発生させる場合、触覚モジュール157が発生する振動の強さとパターンなどは変換または変更可能であり、互いに異なる振動を合成して出力したり、順次出力することもできる。
【0041】
触覚モジュール157は、振動の他にも、接触皮膚面に対して垂直運動するピン配列による刺激による効果、噴射口や吸込口を介した空気の噴射力や吸込力を介した刺激による効果、皮膚表面をすれる刺激による効果、電極(eletrode)の接触を介した刺激による効果、静電気力を用いた刺激による効果、吸熱や発熱が可能な素子を用いた冷温感再現による効果など、様々な触覚効果を発生させることができる。触覚モジュール157は、直接的な接触によって触覚効果を伝達することができるだけでなく、ユーザの指や腕などの筋感覚を介して触覚効果を感じることができるように実現することもできる。触覚モジュール157は、携帯端末機100の構成態様によって2個以上が備えられ得る。
【0042】
メモリ160は、制御部180の処理及び制御のためのプログラムが格納されることもでき、入力されたり、出力されるデータ(例えば、フォンブック、メッセージ、静止画、動画など)の臨時格納のための機能を行うこともできる。
【0043】
メモリ160は、フラッシュメモリタイプ(flash memory type)、ハードディスクタイプ(hard disk type)、マルチメディアカードマイクロタイプ(multimedia card micro type)、カードタイプのメモリ(例えば、SDまたはXDメモリなど)、RAM、ROMのうち少なくとも1つのタイプの格納媒体を含むことができる。また、携帯端末機100は、インターネット(internet)上でメモリ150の格納機能を行うウェブストレージ(web storage)を運営することもできる。
【0044】
インターフェース部170は、携帯端末機100に連結される全ての外部機器とのインターフェースの役割を行う。携帯端末機100に連結される外部機器の例としては、有線・無線ヘッドセット、外部充電器、有線・無線データポート、メモリカード(Memory card)、SIM(Subscriber Identification Module)カード、UIM(User Identity Module)カードなどのようなカードソケット、オーディオI/O(Input/Output)端子、ビデオI/O(Input/Output)端子、イヤホンなどがある。インターフェース部170は、このような外部機器からデータの伝送を受けるか、電源の供給を受けて携帯端末機100内部の各構成要素に伝達することができ、携帯端末機100内部のデータが外部機器へ伝送されるようにすることができる。
【0045】
インターフェース部170は、携帯端末機100が外部クレイドル(cradle)と連結されたとき、連結されたクレイドルからの電源が携帯端末機100に供給される経路になるか、ユーザによってクレイドルに入力される各種命令信号が携帯端末機100に伝達される経路になることができる。
【0046】
制御部180は、通常、前記各部の動作を制御して携帯端末機100の全般的な動作を制御する。例えば、音声通話、データ通信、画像通話などのための関連した制御及び処理を行う。また、制御部180は、マルチメディア再生のためのマルチメディア再生モジュール181を備えることもできる。マルチメディア再生モジュール181は、制御部180内にハードウェアで構成されることができ、制御部180とは別にソフトウェアで構成されることもできる。
そして、電源供給部190は、制御部180の制御によって外部の電源、内部の電源が印加されて各構成要素の動作に必要な電源を供給する。
【0047】
このような構成の携帯端末機100は、有線・無線通信システム及び衛星基盤通信システムを含み、フレーム(frame)またはパケット(packet)を介してデータ(data)を伝送できる通信システムで動作可能なように構成することができる。
【0048】
図2は、本発明の一実施形態に係る携帯端末機を前面から眺めた斜視図であり、図3は、図2に示した携帯端末機の後面斜視図である。以下では、図2及び図3を参照して、本発明と関連した携帯端末機を外形による構成要素の観点で説明する。また、以下では、説明の便宜上、フォルダタイプ、バータイプ、スイングタイプ、スライダータイプなどのような種々のタイプの携帯端末機のうち、前面タッチスクリーンが備えられている、バータイプの携帯端末機を例に挙げて説明する。しかし、本発明は、バータイプの携帯端末機に限定されるものではなく、前述したタイプを含む全てのタイプの携帯端末機に適用され得る。
【0049】
図2に示すように、携帯端末機100の外観をなすケースは、フロントケース100−1とリアケース100−2とによって形成される。フロントケース100−1とリアケース100−2とによって形成された空間には、各種電子部品が内蔵される。フロントケース100−1とリアケース100−2とは、合成樹脂を射出して形成されるか、金属材質、例えば、ステンレススチール(STS)またはチタニウム(Ti)などのような金属材質を有するように形成されることもできる。
【0050】
本体、具体的にフロントケース100−1には、ディスプレイ部151、第1の音響出力モジュール153a、カメラ121a、及び第1のユーザ入力部ないし第3のユーザ入力部130a、130b、130cが配置され得る。そして、リアケース100−2の側面には、第4のユーザ入力部130d、第5のユーザ入力部130e、及びマイク123が配置され得る。
【0051】
ディスプレイ部151は、タッチパッドがレイヤ構造として重なることにより、ディスプレイ部151がタッチスクリーンとして動作してユーザのタッチによる情報の入力が可能なように構成することもできる。
【0052】
第1の音響出力モジュール153aは、レシーバまたはスピーカーの形態で実現することができる。第1のカメラ121aは、ユーザなどに対するイメージまたは動画を撮影するのに適切な形態で実現することができる。そして、マイク123は、ユーザの音声、その他、音などの入力を受けるのに適切な形態で実現することができる。
【0053】
第1のユーザ入力部ないし第5のユーザ入力部130a、130b、130c、130d、130eと後述する第6のユーザ入力部及び第7のユーザ入力部130f、130gとは、ユーザ入力部130と総称することができ、ユーザが触覚的な感じを与えながら操作することになる方式(tactile manner)であればどのような方式でも採用され得る。
【0054】
例えば、ユーザ入力部130は、ユーザのプッシュまたはタッチ操作によって命令または情報の入力を受けることができるドームスイッチまたはタッチパッドで実現されるか、キーを回転させるホイールまたはジョグ方式やジョイスティックのように操作する方式などでも実現され得る。機能的な面において、第1のユーザ入力部ないし第3のユーザ入力部130a、130b、130cは、開始、終了、スクロールなどのような命令を入力するためのものであり、第4のユーザ入力部130dは、動作モードの選択などを入力するためのものである。また、第5のユーザ入力部130eは、携帯端末機100内の特殊な機能を活性化するためのホットキー(hot−key)として作動することができる。
【0055】
図3に示すように、リアケース100−2の後面には、2つのカメラ121b、121cがさらに装着され得るし、リアケース100−2の側面には、第6のユーザ入力部及び第7のユーザ入力部130f、130gとインターフェース部170とが配置され得る。
【0056】
後面に配置される2つのカメラ121b、121cは、第1のカメラ121aと実質的に反対の撮影方向を有し、第1のカメラ121aと互いに異なる画素を有することができる。後面に配置される2つのカメラ121b、121cは、3次元立体映像の撮影のための3D撮影モードで3D立体映像の生成のために同時に使用され得るし、各々独立的に使用されて2Dイメージを生成することもできる。また、後面に配置される2つのカメラ121b、121cのうちいずれか1つを左右に移動可能なようにし、2つのカメラ121b、121c間の間隔が調整されるように構成することもできる。
【0057】
後面に配置される2つのカメラ121b、121cの間にはフラッシュ125と鏡(図示せず)がさらに配置されることができる。フラッシュ125は、2つのカメラ121b、121cで被写体を撮影する場合に、被写体に向かって光を照らすようになる。鏡は、ユーザが自分を撮影(セルフ撮影)しようとする場合に、ユーザ自分の顔などを映すことができるようにする。
【0058】
リアケース100−2には、第2の音響出力モジュール(図示せず)がさらに配置されることができる。第2の音響出力モジュールは、第1の音響出力モジュール153aとともに、ステレオ機能を実現することができ、スピーカーホンモードで通話のために使用することもできる。
【0059】
インターフェース部170は、外部機器とデータとが交換される経路として使用することができる。そして、フロントケース100−1及びリアケース100−2の一つの領域には、通話などのためのアンテナの他に、放送信号受信用アンテナ(図示せず)が配置され得る。アンテナは、リアケース100−2から引き出し可能に設置されることができる。
【0060】
リアケース100−2側には、携帯端末機100に電源を供給するための電源供給部190が装着され得る。電源供給部190は、例えば、充電可能なバッテリであって、充電などのために、リアケース100−2に着脱可能に結合され得る。
【0061】
図4〜図7は、本発明に係る携帯端末機で使用される立体感情報を算出する過程を説明するために参照される図である。本発明に係る携帯端末機100は、本体の後面に配置される2つのカメラ121b、121cを利用して3D立体イメージを生成することができる。以下、説明の便宜上、後面に配置される2つのカメラ121b、121cを各々第1のカメラ121b及び第2のカメラ121cという。
【0062】
図4(a)に示すように、第1のカメラ及び第2のカメラ121b、121cを介して被写体200を撮影すれば、図4(b)に示すように、第1のカメラ121b及び第2のカメラ121cを介して各々撮影した第1のイメージ及び第2のイメージ205、207を生成することができる。
【0063】
第1のカメラ121b及び第2のカメラ121cを介して撮影した第1のイメージ及び第2のイメージ205、207は、3D立体映像の生成に使用される左眼イメージ及び右眼イメージに対応する。制御部180は、図4(c)に示すように、第1のイメージ及び第2のイメージ205、207で共通した領域のイメージの視差を利用して3D立体映像(Stereoscopic 3D image)210を生成することができる。
【0064】
ここで、3D立体映像(Stereoscopic 3D image)とは、モニタやスクリーン上で事物が位置した漸進的深さ(depth)と実体(Reality)を現実空間と同様に感じることができるようにする映像を意味する。3D立体映像は、2つの目が互いに異なる2次元イメージを見て、そのイメージが網膜を介して脳に伝達されると、これを融合して立体映像の深さ及び実体感を感じるようにするものである。ほぼ65mm離れている人の目の位置によってなされる両眼視差(binocular disparity)が立体感を感じるようにする。両眼視差は、全ての3次元表示装置が基本的に満足させなければならない最も重要な要素である。
【0065】
制御部180で生成した3D立体映像210は、ディスプレイ部151を介して表示することができる。また、専用印画紙と装備を利用すれば、3D立体写真を印画することもできる。静止画の撮影だけでなく、動画撮影の場合にも同じ方式によって3D立体映像を生成することができる。
【0066】
3D立体映像を表示する方式には、眼鏡を使用するステレオスコピック(Stereoscopic)方式、無メガネ方式であるオートステレオスコピック(Auto−steroscopic)方式、及びホログラフィック(Holographic)を使用するプロジェクション方式などがある。ステレオスコピック方式は、家庭用TVなどに多く使用されており、携帯端末機は、主にオートステレオスコピック方式が使用されている。
【0067】
無メガネ方式には、レンチキュラー(lenticular)方式、パララックスバリア(parallax barrier)方式、パララックスイルミネーション(parallax illumination)方式などが使用される。レンチキュラー方式は、左眼イメージと右眼イメージが表示される素子の前に1つの左右間隔に該当する半円筒形レンチキュラーシートを付着して、左右各々の目に左右に該当する映像のみ見えるようにすることにより、立体を感じるようにする。パララックスバリア方式は、左眼イメージと右眼イメージが視差障壁の後ろに置かれるようにすることにより、左右に各々他の映像が見えるようにすることで立体を感じるようにする。そして、パララックスイルミネーション方式は、後面に照明ラインが置かれ、前面にLCDが置かれて、照明ラインによって明るくなったLCDラインが左右のみに見えるようにすることにより、立体を実現する。その他にも、人間に立体感を提供する要素のうち、いくつかの特性を利用して立体感を提供する方法が研究されている。
【0068】
本発明に係る携帯端末機の他に、他の機器を利用する場合にも、基本的に前述したような方式で3D立体映像を生成したり、表すことができる。
【0069】
ところが、3D立体映像で特定オブジェクトに対する深さは、左眼イメージと右眼イメージとに配置される位置によって変わる。3D立体映像で特定オブジェクトに対する正確な深さ値を類推するためには、2つの平衡点が導入されなければならないが、次の図面を参照してこれについて説明する。
【0070】
図5は、3D立体映像で深さ情報を算出する過程を説明するために参照される図である。同図に示すように、右眼の位置であるR、右眼イメージ平面であるIP2、特定オブジェクトの位置であるP、P2で構成される三角形の比例関係と、左眼の位置であるL、左眼イメージ平面であるIP1、P、P1で構成される三角形の比例関係とを介して特定オブジェクトの位置である点Pの距離であるz座標値を計算すれば、次の式のとおりである。
【数1】
【0071】
ここで、x″は点Pを右眼イメージ平面であるIP2に投射した点P2のx座標値、x′は点Pを左眼イメージ平面であるIP1に投射した点P1の座標値、2dは2つの目の間の距離、fは目から仮像スクリーンまでの距離を表す。
【0072】
これにより、目またはカメラとオブジェクトとの深さ(depth)を計算すれば、次の式のとおりになる。
【数2】
【0073】
[数学式2]から分かるように、3D立体映像を表す左眼イメージと右眼イメージとで特定オブジェクトが位置するx軸座標値の差を検出することができれば、そのオブジェクトに対する深さ情報を算出することができる。
【0074】
このとき、オブジェクトの左目に対する投影P1点が右目に対する投影P2点より左側にあるので、右の投影P2のx座標値から左の投影P1のx座標値を減じた値が正(+)になるが、これを正の視差(positive parallax)という。このとき、観察者に発生する現象は、オブジェクトが仮像スクリーンの後側にあるように見えることになる。
【0075】
これとは反対に、x座標値の差が負(−)になる現象を負の視差(negative parallax)という。このとき、オブジェクトは、仮像スクリーンの前にあるように見える。また、左右投影点が同一になる場合をゼロ視差(zero parallax)とすれば、オブジェクトは、仮像スクリーンにあるように見える。
【0076】
このような過程により、3D立体映像で特定オブジェクトに対する深さ情報を算出することができる。また、3D立体映像で3次元オブジェクトの深さと疲労度の関係を計算することができる。既存の医学における研究によれば、目の間の距離2dと目が位置する映像平面で観測する3Dオブジェクトまでの距離(z)とが与えられれば、これに基づいて事物を観測するとき、視線の収束角度がほぼ1.5を越えると、目が疲労を感じるという事実が知られている。すなわち、目から近い位置にある物体に焦点を合わせて凝視するようになると、値が大きくなるため、目が疲れるようになる。
【0077】
図6は、左眼イメージと右眼イメージとを利用して深さ情報を算出する過程を説明するために参照される図である。図6(a)に示すように、左眼イメージ310及び右眼イメージ320を所定サイズのブロック単位に区画して、左眼イメージ310で第1のブロック311にマッチングする右眼イメージ320の第2のブロック321を検索することができる。
【0078】
マッチングするブロックの検索のためには、動きベクタの推定などに使用される平均2乗誤差(Mean Square Error:MSE)、平均絶対誤差(Mean Absolute Error:MAE)、または平均絶対差(Mean Absolute Difference:MAD)などのような評価関数を利用するブロック整合アルゴリズムが使用され得る。M×Nサイズのブロックでこれら関数は次の式のように表すことができる。
【数3】
【数4】
【0079】
ここで、Lkは左眼イメージでk番目のブロック、Rkは右眼イメージでk番目のブロックを表す。このような評価関数は、画素の差を基盤とする場合、最も少ないMAD値やMSE値を有する場合をマッチングするブロックとして選択することができる。
【0080】
また、3D立体映像を表す右眼イメージと左眼イメージの場合、特定オブジェクトの位置は、y座標値は同じで、x座標値のみが変わることが一般的である。したがって、このような点を考慮して、y座標値は一定にし、x軸方向のみに値を変化させる方式によって評価関数を利用することができる。
【0081】
このような過程により、第1のブロック311にマッチングする第2のブロック321が検索されると、第1のブロック311のx軸座標値d1と第2のブロック321のx軸座標値d2との差異値によって深さ情報を算出することができる。
【0082】
同様に、図6(b)に示すように、左眼イメージ310で第3のブロック313にマッチングする右眼イメージ320の第4のブロック323を検索することができる。この場合にも、第3のブロック313のx軸座標値d3と第4のブロック323のx軸座標値d4との差異値によって深さ情報を算出することができる。
【0083】
このような過程を左眼イメージ310または右眼イメージ320の全体に対して行えば、各ブロック別に深さ情報を算出することができる。
【0084】
各ブロック別に深さ情報が算出されると、これを利用して3D立体映像に対する立体感情報を算出することができる。このとき、立体感情報は、フレーム単位で各ブロック別の深さ情報の平均値や標準偏差などで表すことができる。また、隣接したオブジェクト間に深さ値が円滑に変化するように配置されたか否かなどによって立体感情報を算出することもできる。
【0085】
算出した立体感情報は数値化して表したり、グラフで表すことができる。また、図7に示すように、各ブロック別の深さ情報を表す3Dイメージで表示することもできる。
【0086】
図8及び図9は、本発明の一実施形態に係る携帯端末機の動作制御方法に対する説明に提供されているフローチャートである。まず、図8は、立体感情報を算出する過程を表したものである。
【0087】
図8に示すように、ユーザ命令などによって3次元立体イメージに対する立体感情報を算出する立体感評価モードが選択されると(S400)、制御部180は、選択された3D立体映像を構成する左眼イメージと右眼イメージをメモリ160から引き出す(S405)。
【0088】
左眼イメージと右眼イメージが引き出されると、制御部180は、左眼イメージと右眼イメージを所定サイズのブロック単位に区画して、前述したような過程により、制御部180は左眼イメージと右眼イメージで各ブロック別にマッチングするブロックを検索する(S410)。そして、制御部180は、左眼イメージと右眼イメージとで検索されたブロック間の位置差を算出し(S415)、算出したブロック間の位置差を利用してブロック別の深さ情報を算出する(S420)。
【0089】
ブロック別の深さ情報を算出する過程は、他のブロックに対しても行われ、左眼イメージまたは右眼イメージの全体フレームに対する検索が完了すれば(S425)、制御部180は、ブロック別の深さ情報を利用して3D立体映像に対する立体感情報を算出する(S430)。
【0090】
前述したように、立体感情報は、各ブロック別の深さ情報の平均値や標準偏差、または深さ程度の分布や配置などによって予め設定された基準にしたがって算出することができる。
【0091】
制御部180は、算出した立体感情報を出力する(S435)。このとき、立体感情報は、数値、グラフ、イメージなどで出力することができる。また、立体感情報は、3D立体映像とリンクさせて格納し、種々の用途で活用することができる。
【0092】
上記した実施形態では、静止画に対して立体感情報を算出する場合を説明しているが、複数個のフレームに対して上記したような過程を繰り返し的に行い、所定再生区間単位で3D立体動画に対しても立体感情報を算出することができる。この場合、場面別立体感の平均値として全体立体感情報を算出することができ、所定再生区間単位や場面別に異なるように立体感情報を表示することもできる。
【0093】
図9は、マルチメディアモードで立体感情報を活用する場合を表したものである。
【0094】
同図に示すように、ユーザ命令などによってアルバム閲覧や動画ファイルの再生などを行うマルチメディアモードが選択されると(S500)、制御部180は、立体感情報が表示されたファイル目録をディスプレイ部151に表示する(S505)。すなわち、2D映像の場合、2D映像に対応するサムネールイメージや名称を表示し、3D立体映像の場合には、3D立体映像に対応するサムネールイメージや名称とともに、立体感情報を表示することができる。このとき、立体感情報は、数値や図形などを利用して表すことができる。
【0095】
もし、ファイル目録でいずれか1つのファイルが選択された場合(S510)、制御部180は選択したファイルを再生し、立体感情報が存在する3D立体映像の場合、対応するゲージを表示する(S515)。
【0096】
その他、ファイルの再生進行中、停止、早送り再生、巻き戻し、再生位置の移動などのような再生と関連したユーザ命令が入力されれば(S520)、制御部180は、入力されたユーザ命令に対応する動作が行われるように制御する(S525)。また、3D立体映像を再生する場合、立体感情報を表すゲージを介した入力によって立体感が調節されるように構成することもできる。
【0097】
このような過程は、マルチメディアモードが終了するまで繰り返し的に行われる(S530)。また、上記したようなマルチメディアモードの他に、様々な動作制御に立体感情報が活用され得る。例えば、3D立体映像の撮影時、カメラプレビュー画面に立体感情報を表示し、ユーザが立体感情報を参照して構図を選択できるように構成することができる。また、3D立体コンテンツの再生時、立体感情報によってユーザが見やすい立体感で自動調節するように構成することもできる。
【0098】
図10〜図15は、本発明の一実施形態によって立体感情報が利用される場合を説明するために参照される図である。
【0099】
図10は、マルチメディアモードでアルバム画面の一例を示したものである。図10に示すように、アルバム画面600には再生可能なファイルに対応するサムネールイメージが表示される。このとき、3D立体映像に対応するサムネールイメージの一つの領域に星印などで立体感情報を表示することができる。例えば、星印の個数によって立体感の高い3D立体映像を表し、星印がない場合には、2D映像を表すものと構成することができる。これにより、ユーザは、3D映像の立体感を星点などで予め確認することができるので、立体感の高い映像のみを選別的に鑑賞することができる。
【0100】
図11は、3D立体映像を再生している画面の一例を示したものである。同図に示すように、3D立体映像の再生画面610の1つの領域に現在場面の立体感や全体3D立体映像に対する立体感を星印などで表示することができる。
【0101】
図12は、3D立体映像を再生している他の画面を示したものである。図12(a)に示すように、3D立体映像の再生画面620が表示された状態で、コンテンツの立体感情報の表示が選択された場合、図12(b)に示すように、グレー(Gray)モードに切り替えた画面630を表示し、画面630の1つの領域に棒形のゲージ633を表示することができる。このとき、各オブジェクトの深さによって互いに異なる色を表示する画面を表示することもできる。
【0102】
ユーザは、棒形ゲージ633で所望の立体感レベルを選択して立体感を調節することができる。また、グレーモードから再度一般再生モードに切り替えた後、選択された深さのオブジェクトのみを3D立体イメージとして表示し、残りのオブジェクトは2Dイメージとして表示することができる。
【0103】
図13は、3D立体映像が表示された他の画面を示したものである。同図に示すように、3D立体映像が表示された画面640の1つの領域に画面の区画別に測定した深さ情報を視覚化した3Dイメージ643を表示することができる。このように、3D立体映像に対する立体感情報を3D図形で表すこともできる。
【0104】
図14は、3D立体映像を再生しているさらに他の画面を示したものである。同図に示すように、3D立体映像が表示された画面650の1つの領域に立体感情報を表すゲージ653を表示し、リアルタイムで立体感情報を表すことができる。ゲージ653は、ユーザの選択によって表示するか、または現在再生中の3D立体映像の立体感が一定水準以上である場合に表示することができる。
【0105】
また、ゲージ653を用いて3D立体映像に対する立体感を調節することができる。例えば、立体感が過剰になり、目の疲労度が大きくなる場合、ゲージ653をタッチ後、円形にドラッグする入力655などで調節して、3D立体映像に対する立体感レベルを低めることができる。このように、ゲージ653は、現在画面の3D立体感を表示すると同時に、立体感を調節する機能を行うこともできる。
【0106】
図15は、立体感情報を放送信号に挿入して伝送する場合を示したものである。同図に示すように、MPEG TSパケットは、ヘッダ(header)とデータ・ペイロードで構成される。ヘッダ部は4バイト固定長さであり、内部には同期バイト(sync byte)、パケット識別(Packet Identifier:PID)、スクランブル制御(Scramble Control)、適応フィールド制御(Adaption Field:AF)などが含まれる。
MPEG−4標準で圧縮されたビデオ映像は、その圧縮方法によってI−フレーム(Intra−coded frame)、P−フレーム(Predictive−coded frame)、そして、B−フレーム(Bidirectional−coded frame)の3つの形態で構成される。ここで、I−フレームは、前または後の他のフレームとは独立的にただ1つの映像でエンコード(encoding)される。P−フレームは、エンコードとデコード(decoding)を行うとき、以前のI−フレームとP−フレーム情報を参照する。すなわち、以前の画面と現在の画面の差異値のみをエンコードするものである。最後に、B−フレームは、以前のP−フレームと以後のP−フレーム、または2つのフレームの両方を参照してエンコードする。各フレームは、Iフレームから次のIフレームの前までのフレーム集まりをGOP(Group Of Pictures)内で一定の順序を有して表現するが、普通、IBBPBBPBBPBBの形態を有する。これを標準ではGOPパターンという。
【0107】
立体感情報の算出によって、3D立体コンテンツの関連立体感情報をMPEG TSパケットに挿入して伝送することができる。例えば、図15に示すように、現在表示されるフレームの立体感をI−フレーム単位として予め立体感情報を算出し、I−フレームのヘッダを拡張した位置700とか、またはペイロードに立体感情報を記録して伝送することができる。
【0108】
一方、3D立体映像に対する不満足の原因としては、過剰な立体感の他に、誤った撮影、誤ったディスプレイ、フリッカー現象などがある。ここで、誤った撮影は、映像整列が誤っているか、光学的歪み、立体感調整のためのカメラセット、及び感性的側面に誤りがある場合である。また、誤ったディスプレイは、左右映像の歪みなどでも深刻な頭痛を誘発させることができる。フリッカー現象は、TVなどを介して3D立体映像を視聴する場合、秒当たり数十回の映像が表示されると、ちらつきを感じるようになり、このようなちらつきも頭痛や嘔吐を誘発させることができる。
【0109】
したがって、立体感情報には、深さ情報の他に、このような情報を共に評価されて算出することができる。そして、本発明に係る携帯端末機及びその動作制御方法は、上述の実施形態の構成と方法が限定されるように適用されるものではなく、前記実施形態は、様々な変形がなされ得るように、各実施形態の全部または一部が選択的に組み合わせられて構成されることもできる。
【0110】
一方、本発明は、携帯端末機に備えられたプロセッサが読み取ることのできる記録媒体にプロセッサが読み取ることのできるコードとして実現することが可能である。プロセッサが読み取ることのできる記録媒体は、プロセッサによって読み取られることのできるデータが格納される全ての種類の記録装置を含む。プロセッサが読み取ることのできる記録媒体の例としては、ROM、RAM、CD−ROM、磁気テープ、フロッピー(登録商標)ディスク、光データ格納装置などがあり、また、インターネットを介した伝送などのようなキャリアウェーブの形態で実現されることも含む。また、プロセッサが読み取ることのできる記録媒体は、ネットワークで連結されたコンピュータシステムに分散されて、分散方式によってプロセッサが読み取ることのできるコードが格納され、実行され得る。
【0111】
また、以上では、本発明の好ましい実施形態について図示し、説明したが、本発明は、上述した特定の実施形態に限定されず、請求の範囲で請求する本発明の要旨を逸脱することなく、当該発明の属する技術分野における通常の知識を有した者によって様々な変形実施が可能であることはもちろんであり、このような変形実施は、本発明の技術的思想や展望から個別的に理解されてはいけないであろう。
【特許請求の範囲】
【請求項1】
携帯端末機の動作を制御する方法であって、
視差を利用して3D立体映像を表すことのできる少なくとも第1のイメージ及び第2のイメージを複数のブロックに区画するステップと、
少なくとも一対のマッチングするブロックに対して前記少なくとも第1のイメージ及び第2のイメージを検索するステップと、
前記少なくとも一対のマッチングするブロック間の位置差に基づいて、少なくとも一対のマッチングするブロックの各々の深さ情報を算出するステップと、
前記算出された深さ情報に基づいて、3D立体映像の立体感情報を算出するステップと、
を含むことを特徴とする携帯端末機の動作制御方法。
【請求項2】
前記少なくとも第1のイメージ及び第2のイメージを検索するステップが、前記少なくとも第1のイメージ及び第2のイメージを介して検索のためにブロックアルゴリズムを利用するステップを含むことを特徴とする請求項1に記載の携帯端末機の動作制御方法。
【請求項3】
前記立体感情報を算出するステップが、フレームまたは再生区間の単位で立体感情報を算出するステップを含むことを特徴とする請求項1に記載の携帯端末機の動作制御方法。
【請求項4】
少なくとも数値データ、グラフ、またはイメージとして立体感情報を表示するステップをさらに含むことを特徴とする請求項1に記載の携帯端末機の動作制御方法。
【請求項5】
前記3D立体映像が表示される画面に立体感情報を表す立体感情報ゲージを表示するステップをさらに含むことを特徴とする請求項1に記載の携帯端末機の動作制御方法。
【請求項6】
前記立体感情報ゲージから検出されるユーザ入力に応じて表示される3D立体映像の3次元程度を調節するステップをさらに含むことを特徴とする請求項5に記載の携帯端末機の動作制御方法。
【請求項7】
前記立体感情報ゲージが、予め規定された一連の条件を満たすとき、または特定ユーザに応答して表示されることを特徴とする請求項5に記載の携帯端末機の動作制御方法。
【請求項8】
前記表示された3D立体映像において、前記表示された3D立体映像から選択された1つ以上のオブジェクトを3次元的に表示するステップと、
前記表示された3D立体映像から選択されていないオブジェクトを2次元的に表示するステップと、
をさらに含むことを特徴とする請求項5に記載の携帯端末機の動作制御方法。
【請求項9】
前記3D立体映像が表示される画面に立体感情報のインジケータを表示するステップをさらに含むことを特徴とする請求項1に記載の携帯端末機の動作制御方法。
【請求項10】
前記3D立体映像及び前記立体感情報を1つの信号に挿入し、この信号を他の装置に伝送するステップをさらに含むことを特徴とする請求項1に記載の携帯端末機の動作制御方法。
【請求項11】
視差を利用して少なくとも第1のイメージ及び第2のイメージに基づいた3D立体映像を表示するように構成されたディスプレイ部と、
少なくとも第1のイメージ及び第2のイメージを複数のブロックに区画し、少なくとも一対のマッチングするブロックに対して前記少なくとも第1のイメージ及び第2のイメージを検索し、前記少なくとも一対のマッチングするブロック間の位置差に基づいて、少なくとも一対のマッチングするブロックの各々の深さ情報を算出し、前記算出された深さ情報に基づいて3D立体映像の立体感情報を算出し、前記立体感情報を前記ディスプレイ部に表示するように構成された制御部と、
を備えることを特徴とする携帯端末機。
【請求項12】
前記制御部が、少なくとも数値データ、グラフ、またはイメージとして立体感情報をディスプレイ部に表示するようにさらに構成されることを特徴とする請求項11に記載の携帯端末機。
【請求項13】
前記制御部が、前記少なくとも第1のイメージ及び第2のイメージを介して検索のためにブロックマッチングアルゴリズムを利用するようにさらに構成されることを特徴とする請求項11に記載の携帯端末機。
【請求項14】
前記少なくとも第1のイメージ及び第2のイメージと前記立体感情報とを格納するように構成されたメモリをさらに備えることを特徴とする請求項11に記載の携帯端末機。
【請求項15】
前記制御部が、立体感情報ゲージを前記ディスプレイ部に表示するようにさらに構成され、前記立体感情報ゲージが、3D立体映像の立体感情報を表すことを特徴とする請求項11に記載の携帯端末機。
【請求項1】
携帯端末機の動作を制御する方法であって、
視差を利用して3D立体映像を表すことのできる少なくとも第1のイメージ及び第2のイメージを複数のブロックに区画するステップと、
少なくとも一対のマッチングするブロックに対して前記少なくとも第1のイメージ及び第2のイメージを検索するステップと、
前記少なくとも一対のマッチングするブロック間の位置差に基づいて、少なくとも一対のマッチングするブロックの各々の深さ情報を算出するステップと、
前記算出された深さ情報に基づいて、3D立体映像の立体感情報を算出するステップと、
を含むことを特徴とする携帯端末機の動作制御方法。
【請求項2】
前記少なくとも第1のイメージ及び第2のイメージを検索するステップが、前記少なくとも第1のイメージ及び第2のイメージを介して検索のためにブロックアルゴリズムを利用するステップを含むことを特徴とする請求項1に記載の携帯端末機の動作制御方法。
【請求項3】
前記立体感情報を算出するステップが、フレームまたは再生区間の単位で立体感情報を算出するステップを含むことを特徴とする請求項1に記載の携帯端末機の動作制御方法。
【請求項4】
少なくとも数値データ、グラフ、またはイメージとして立体感情報を表示するステップをさらに含むことを特徴とする請求項1に記載の携帯端末機の動作制御方法。
【請求項5】
前記3D立体映像が表示される画面に立体感情報を表す立体感情報ゲージを表示するステップをさらに含むことを特徴とする請求項1に記載の携帯端末機の動作制御方法。
【請求項6】
前記立体感情報ゲージから検出されるユーザ入力に応じて表示される3D立体映像の3次元程度を調節するステップをさらに含むことを特徴とする請求項5に記載の携帯端末機の動作制御方法。
【請求項7】
前記立体感情報ゲージが、予め規定された一連の条件を満たすとき、または特定ユーザに応答して表示されることを特徴とする請求項5に記載の携帯端末機の動作制御方法。
【請求項8】
前記表示された3D立体映像において、前記表示された3D立体映像から選択された1つ以上のオブジェクトを3次元的に表示するステップと、
前記表示された3D立体映像から選択されていないオブジェクトを2次元的に表示するステップと、
をさらに含むことを特徴とする請求項5に記載の携帯端末機の動作制御方法。
【請求項9】
前記3D立体映像が表示される画面に立体感情報のインジケータを表示するステップをさらに含むことを特徴とする請求項1に記載の携帯端末機の動作制御方法。
【請求項10】
前記3D立体映像及び前記立体感情報を1つの信号に挿入し、この信号を他の装置に伝送するステップをさらに含むことを特徴とする請求項1に記載の携帯端末機の動作制御方法。
【請求項11】
視差を利用して少なくとも第1のイメージ及び第2のイメージに基づいた3D立体映像を表示するように構成されたディスプレイ部と、
少なくとも第1のイメージ及び第2のイメージを複数のブロックに区画し、少なくとも一対のマッチングするブロックに対して前記少なくとも第1のイメージ及び第2のイメージを検索し、前記少なくとも一対のマッチングするブロック間の位置差に基づいて、少なくとも一対のマッチングするブロックの各々の深さ情報を算出し、前記算出された深さ情報に基づいて3D立体映像の立体感情報を算出し、前記立体感情報を前記ディスプレイ部に表示するように構成された制御部と、
を備えることを特徴とする携帯端末機。
【請求項12】
前記制御部が、少なくとも数値データ、グラフ、またはイメージとして立体感情報をディスプレイ部に表示するようにさらに構成されることを特徴とする請求項11に記載の携帯端末機。
【請求項13】
前記制御部が、前記少なくとも第1のイメージ及び第2のイメージを介して検索のためにブロックマッチングアルゴリズムを利用するようにさらに構成されることを特徴とする請求項11に記載の携帯端末機。
【請求項14】
前記少なくとも第1のイメージ及び第2のイメージと前記立体感情報とを格納するように構成されたメモリをさらに備えることを特徴とする請求項11に記載の携帯端末機。
【請求項15】
前記制御部が、立体感情報ゲージを前記ディスプレイ部に表示するようにさらに構成され、前記立体感情報ゲージが、3D立体映像の立体感情報を表すことを特徴とする請求項11に記載の携帯端末機。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図8】
【図9】
【図15】
【図7】
【図10】
【図11】
【図12】
【図13】
【図14】
【図2】
【図3】
【図4】
【図5】
【図6】
【図8】
【図9】
【図15】
【図7】
【図10】
【図11】
【図12】
【図13】
【図14】
【公開番号】特開2012−65327(P2012−65327A)
【公開日】平成24年3月29日(2012.3.29)
【国際特許分類】
【出願番号】特願2011−203240(P2011−203240)
【出願日】平成23年9月16日(2011.9.16)
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.ZIGBEE
【出願人】(502032105)エルジー エレクトロニクス インコーポレイティド (2,269)
【Fターム(参考)】
【公開日】平成24年3月29日(2012.3.29)
【国際特許分類】
【出願日】平成23年9月16日(2011.9.16)
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.ZIGBEE
【出願人】(502032105)エルジー エレクトロニクス インコーポレイティド (2,269)
【Fターム(参考)】
[ Back to top ]