ポータブル端末における立体データ生成装置及び方法並びに電子装置
【課題】ポータブル端末における立体データの再生の際に、映像データの被写体情報を利用してオーディオデータに遠近感を適用して立体音響を提供する装置及び方法を提供する。
【解決手段】本発明のポータブル端末における立体データを生成する装置は、立体データ生成のための映像データを獲得して映像データに対して立体効果を適用する映像処理部と、立体データ生成のためのオーディオデータを獲得した後、被写体の動き情報によってオーディオデータに立体効果を適用するように処理するオーディオ処理部と、を備える。
【解決手段】本発明のポータブル端末における立体データを生成する装置は、立体データ生成のための映像データを獲得して映像データに対して立体効果を適用する映像処理部と、立体データ生成のためのオーディオデータを獲得した後、被写体の動き情報によってオーディオデータに立体効果を適用するように処理するオーディオ処理部と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ポータブル端末における立体データを生成して再生する装置及び方法並びに電子装置に関するものである。
【背景技術】
【０００２】
最近の映像技術において、３次元データを実装する方法の研究が盛んに行われている。これは、より実際的でリアリティーある映像情報を表現するためである。人間の視覚特性を活用して、既存のディスプレイ装置に左視点映像と右視点映像をそれぞれ該当の位置に走査した後、左視点と右視点をユーザーの左眼と右眼に分離して像ができるようにすることで、３次元の立体感を感じとらせる方法が様々な面でその可能性が認められている。一例として、バリアーＬＣＤを装着したポータブル端末（立体携帯電話、立体カメラ、立体カムコーダー等）や３ＤＴＶでは、ステレオスコピックコンテンツを再生してユーザーによりリアルな映像を提供することができるようになった。
【０００３】
一般的に立体映像（ｓｔｅｒｅｏ ｓｃｏｐｉｃ ｉｍａｇｅ）は、既存の映像とは異なり、特定の距離だけ離隔されている二つのカメラモジュールを利用して映像を撮影した後、二つの映像を関連付けて使用する。即ち、ユーザーの右眼及び左眼で見る視点を合成して立体映像を作るのである。このような二つの映像は縦方向又は横方向に配置することができる。
【０００４】
現在のステレオ映像の出力方法は大きく眼鏡方式と裸眼方式の二つに分けられる。一番目の眼鏡方式の場合、視野角の制限が少なくて立体効果が大きい方式として、主にＴＶのような大きい出力装置に用いられる。二番目の裸眼方式は、バリアーＬＣＤを用いる方式により眼鏡を使用せず、ポータブル端末に相応しいが視野角に制限が大きい方式である。
【０００５】
一般的に、ポータブル端末では映像データに対して立体効果を提供している。即ち、ポータブル端末で立体データを再生する場合、映像データにだけ立体効果が適用され、オーディオデータには立体効果が適用されず、平面的な音響を提供するという問題点が発生する。これはポータブル端末で獲得するオーディオデータのチャンネルが不足するためである。
【０００６】
これにより、上記のような問題点を解決するためにポータブル端末でオーディオデータに立体効果を適用するための装置及び方法が要求される。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】韓国特許出願公開第１０−２００９−０１０９４２５号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明は、上記従来の問題点に鑑みてなされたものであって、本発明の目的は、ポータブル端末における立体音響を提供する装置及び方法並びに電子装置を提供することにある。
また、本発明の目的は、ポータブル端末においてオーディオデータ及び映像データに立体効果を適用するための立体データを生成する装置及び方法並びに電子装置を提供することにある。
また、本発明の目的は、ポータブル端末において映像データに含まれる被写体情報によってオーディオデータに遠近感を適用する装置及び方法並びに電子装置を提供することにある。
また、本発明の目的は、ポータブル端末における立体データの再生の際に、被写体情報を把握してオーディオデータに立体効果を適用する装置及び方法並びに電子装置を提供することにある。
【課題を解決するための手段】
【０００９】
上記目的を達成するためになされた本発明の一態様によるポータブル端末における立体データを生成する装置は、立体データ生成のための映像データを獲得して映像データに対して立体効果を適用し、映像データの被写体の動き情報を把握する映像処理部と、立体データ生成のためのオーディオデータを獲得した後、被写体の動き情報によってオーディオデータに立体効果を適用するように処理するオーディオ処理部と、を備えることを特徴とする。
【００１０】
前記映像処理部は、獲得した映像データから焦点に当たる被写体と背景とに区分する被写体確認部と、被写体の位置情報を把握する位置情報分析部と、被写体の遠近情報を把握する遠近情報分析部と、を備えることができる。
前記オーディオ処理部は、獲得したオーディオデータから被写体で発生するオーディオデータである第１オーディオデータと背景で発生するオーディオデータである第２オーディオデータとを区分する信号抽出部と、被写体の動き情報を利用して前記第１オーディオデータ及び前記第２オーディオデータに立体効果を適用する効果適用部と、を備えることができる。
前記効果適用部は、前記第１オーディオデータ又は前記第２オーディオデータを被写体の動き情報に合わせて設定することができる。
前記立体データを生成する装置は、立体効果が適用された映像データ及びオーディオデータを用いて立体データを生成して再生するように処理し、オーディオデータに対する立体効果が適用されない立体データの再生の場合、前記ポータブル端末が映像データの被写体の動き情報を確認してオーディオデータに立体効果を適用して再生することができる。
オーディオ処理部は、前記第１オーディオデータが映像データの被写体で発生した場合、オーディオデータに立体効果を適用することができる。
オーディオ処理部は、前記第１オーディオデータを周波数領域で分析した後、被写体が動く視点にオーディオ信号の変化が発生したことを確認した場合、前記第１オーディオデータが映像データの被写体で発生したと判断することができる。
【００１１】
上記目的を達成するためになされた本発明の一態様によるポータブル端末における立体データを生成する方法は、立体データ生成のための映像データ及びオーディオデータを獲得する段階と、映像データで被写体の動き情報を把握する段階と、映像データに対して立体効果を適用する段階と、被写体の動き情報によってオーディオデータに立体効果を適用する段階と、を有することを特徴とする。
【００１２】
上記目的を達成するためになされた本発明の一態様による電子装置は、一つ以上のプロセッサと、メモリーと、前記メモリーに保存され、前記一つ以上のプロセッサによって実行されるように構成された一つ以上のモジュールと、を備える電子装置であって、前記モジュールは、立体データ生成のための映像データ及びオーディオデータを獲得し、映像データで被写体の動き情報を把握し、映像データに対して立体効果を適用し、被写体の動き情報によってオーディオデータに立体効果を適用することを特徴とする。
【発明の効果】
【００１３】
本発明によれば、立体データの再生の際に、映像データだけではなくオーディオデータにも立体効果を適用するため、よりリアリティーがある立体効果をユーザーに提供することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の一実施形態による立体データを生成するポータブル端末の構成を示すブロック図である。
【図２】本発明の一実施形態による立体効果を提供する映像処理部の構成を示すブロック図である。
【図３】本発明の一実施形態による立体効果を提供するオーディオ処理部の構成を示すブロック図である。
【図４】本発明の一実施形態によるポータブル端末における立体データを生成するステップを示す流れ図である。
【図５】本発明の一実施形態によるポータブル端末におけるオーディオデータに立体効果を適用するステップを示す流れ図である。
【図６】一般的なポータブル端末における立体データの再生画面を示す図である。
【図７】本発明の一実施形態によるポータブル端末における立体データの再生画面を示す図である。
【図８】本発明の他の実施形態によるポータブル端末におけるオーディオデータに対する立体効果の適用視点を把握するステップを示す流れ図である。
【発明を実施するための形態】
【００１５】
以下、本発明を実施するための形態の具体例を、図面を参照しながら詳細に説明する。本発明を説明するにあたり、関係する公知機能或いは構成に対する具体的な説明が本発明の要旨を不明瞭にすることがあると判断される場合、その詳細な説明は省略する。
【００１６】
以下では、本発明によるポータブル端末で多数のカメラモジュールで撮影されたステレオ映像データとオーディオデータに立体効果を適用するために、映像データの被写体情報を用いてオーディオデータに遠近感を適用する装置及び方法について説明する。ここで、ポータブル端末は、立体効果を提供することができる表示部を備え、立体移動通信端末、立体カメラ、立体カムコーダー、３ＤＴＶなどのようにステレオスコピックコンテンツを再生してユーザーに立体感を提供するディスプレイ機器を意味する。ポータブル端末は、映像データの被写体の動きを確認した後、背景オーディオ信号と主オーディオ信号に対して遠近感を補正するように処理する。
【００１７】
図１〜図３は、本発明の一実施形態による映像データ及びオーディオデータに立体効果を適用するポータブル端末の構成を示すブロック図であり、図１は、本発明の一実施形態による立体データを生成するポータブル端末の構成を示すブロック図である。
【００１８】
図１を参照すると、ポータブル端末は、制御部１００、映像処理部１０２、オーディオ処理部１０４、メモリー部１０６、入力部１０８、表示部１１０、及び通信部１１２を含んで構成される。
【００１９】
ポータブル端末の制御部１００は、ポータブル端末の全般的な動作を制御する。例えば、音声通話及びデータ通信のための処理及び制御を実行し、通常的な機能に加えて、制御部１００は、多数の映像データとオーディオデータを獲得した後、獲得したデータ（映像データ及びオーディオデータ）に立体効果を適用して立体データを生成し、立体データを再生するように処理する。この時、制御部１００は、多数の視点に当たる映像データを結合して映像データに対する立体効果を適用し、映像データの被写体の動き情報（位置情報及び遠近情報）を利用してオーディオデータに立体効果を適用するように処理する。
【００２０】
映像処理部１０２は、制御部１００の制御を受け、立体効果の提供のための多数の映像データを獲得する。この時、映像処理部１０２は、それぞれ別の視点（角度）で具備されたカメラモジュールを通じて同一の被写体を同時に撮影して映像データを獲得し、獲得した映像データを合成して立体効果を提供する映像データを生成する。
【００２１】
また、映像処理部１０２は、制御部１００の制御を受け、獲得した映像データの被写体を区分し、被写体の動き情報（位置及び遠近情報）を把握してオーディオ処理部１０４に提供する。
【００２２】
オーディオ処理部１０４は、御部１００の制御を受け、立体効果の提供のためのオーディオデータを獲得する。この時、オーディオ処理部１０４は、多数のマイクを通じて映像データの被写体と背景で発生するオーディオデータを獲得した後、被写体の動き情報によってオーディオデータに立体効果を適用するように処理する。また、オーディオ処理部１０４は、立体効果が適用されたオーディオデータを再生して出力するスピーカーを備え、オーディオ処理部１０４は、被写体の遠近情報を用いてオーディオデータに立体効果を適用する。
【００２３】
制御部１００、映像処理部１０２、及びオーディオ処理部１０４の動作は、メモリー部１０６に保存されている特定のソフトウェアモジュール（命令語セット）によって実行される。
【００２４】
即ち、制御部１００、映像処理部１０２、及びオーディオ処理部１０４の動作は、ソフトウェア又はハードウェアで構成される。映像処理部１０２、オーディオ処理部１０４はそれぞれの制御部に定義することができる。また、制御部１００をプロセッサに定義して、映像処理部１０２、オーディオ処理部１０４を更に他のプロセッサに定義することもできる。
【００２５】
メモリー部１０６は、ＲＯＭ、ＲＡＭ、フラッシュ（Ｆｌａｓｈ）ＲＯＭで構成される。ＲＯＭは、制御部１００、映像処理部１０２、及びオーディオ処理部１０４の処理及び制御のためのプログラムのマイクロコードと各種の参照データを保存する。
【００２６】
ＲＡＭは、制御部１００のワーキングメモリー（ｗｏｒｋｉｎｇ ｍｅｍｏｒｙ）として、各種のプログラム実行中に発生する一時的なデータを保存する。また、フラッシュＲＯＭは、電話帳（ｐｈｏｎｅ ｂｏｏｋ）、発信メッセージ、及び受信メッセージのような更新可能な各種の保管用データを保存し、本実施形態によって立体効果が適用されたオーディオデータと映像データ、及びオーディオデータと映像データを用いて生成した立体データを保存する。
【００２７】
メモリー部１０６は、制御部１００、映像処理部１０２、及びオーディオ処理部１０４の動作を実行するようにソフトウェアモジュールを保存する。
【００２８】
入力部１０８は、０〜９の数字キーボタン、メニューボタン（Ｍｅｎｕ）、取り消しボタン（消去）、確認ボタン、通話ボタン（Ｔａｌｋ）、終了ボタン（Ｅｎｄ）、インターネット接続ボタン、ナビゲーションキー（又は方向キー）ボタン、及び文字入力キーなど多数の機能キーを備え、ユーザーが押下するキーに対応するキー入力データを制御部１００に提供する。また、入力部１０８は、立体効果を提供する立体データ生成を要求するデータを発生させる。
【００２９】
表示部１１０は、ポータブル端末の動作中に発生する状態情報、文字、多くの動画及び静止画などをディスプレイする。表示部１１０には、カラー液晶ディスプレイ装置（ＬＣＤ）、ＡＭＯＬＥＤ（Ａｃｔｉｖｅ Ｍａｔｒｉｘ Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）などを用いることができ、表示部１１０は、タッチ入力装置を備えてタッチ入力方式のポータブル端末に適用する場合、入力装置として用いることができる。また、表示部１１０は、本発明によって立体効果を提供することができるＬＣＤ（例：バリアーＬＣＤ）を備え、立体効果が適用された映像データを出力する。
【００３０】
通信部１１２は、アンテナ（図示せず）を通じて入出力されるデータの無線信号を送受信処理する機能を実行する。例えば、送信の場合、送信するデータをチャンネルコーディング（Ｃｈａｎｎｅｌ Ｃｏｄｉｎｇ）及び拡散（Ｓｐｒｅａｄｉｎｇ）した後、ＲＦ処理して送信する機能を実行し、受信の場合、受信したＲＦ信号を基底帯域信号に変換して基底帯域信号を逆拡散（Ｄｅ−Ｓｐｒｅａｄｉｎｇ）及びチャンネル復号（Ｃｈａｎｎｅｌ ｄｅｃｏｄｉｎｇ）してデータを復元する機能を実行する。
【００３１】
映像処理部１０２及びオーディオ処理部１０４の役割は、ポータブル端末の制御部１００によって実行することができるが、本実施形態でこれを別々に構成して示すことは説明の便宜のための例示的な構成であって、本発明の範囲を制限しようというものではなく、当業者であれば本発明の範囲内で多様な変形の構成が可能であることが分かるだろう。例えば、これらの全てを上述の制御部１００で処理するように構成することもできる。
【００３２】
図２は、本発明の一実施形態による立体効果を提供する映像処理部の構成を示すブロック図である。
【００３３】
図２を参照すると、映像処理部１０２は、映像データ獲得モジュール１１３、被写体確認部１１４、位置情報分析部１１５、及び遠近情報分析部１１６を含んで構成される。
【００３４】
映像データ獲得モジュール１１３は、カメラモジュールを備え、カメラモジュールに入力されるデジタル映像信号を利用して多数の映像データを獲得する。この時、映像データ獲得モジュール１１３は、多数のカメラモジュールを備え、同一の被写体をそれぞれ別の角度で撮影して視点が異なる多数の映像データを獲得する。
【００３５】
被写体確認部１１４は、映像データ獲得モジュール１１３によって獲得された映像データを被写体と背景とを区分するように処理する。ここで、被写体はユーザーが獲得しようとする映像データの焦点領域になる。
【００３６】
位置情報分析部１１５は、被写体確認部１１４によって区分された被写体の位置を確認し、遠近情報分析部１１６は、被写体確認部１１４によって区分された被写体の遠近情報を確認する。この時、遠近情報分析部１１６は、以前の映像データの被写体の位置と現在獲得した映像データの被写体の位置を把握した後、被写体の移動による遠近情報を確認する。
【００３７】
次に、映像処理部１０２は、位置情報分析部１１５及び遠近情報分析部１１６によって確認された被写体の動き情報をオーディオ処理部１０４に提供し、映像データ獲得モジュール１１３を通じて獲得した視点が異なる映像データを一つの映像データに合成して立体データを生成する。
【００３８】
上述のように、映像処理部１０２の動作は、メモリー部１０６に保存されている特定のソフトウェアモジュール（命令語セット）によって実行され、これに応じて、映像処理部１０２を構成する要素の動作もソフトウェアモジュールで実行される。
【００３９】
図３は、本発明の一実施形態による立体効果を提供するオーディオ処理部の構成を示すブロック図である。
【００４０】
図３を参照すると、オーディオ処理部１０４は、オーディオデータ獲得モジュール１２０、信号抽出部１２２、効果適用部１２８、及びミキサー１３４を含み、信号抽出部１２２は、主信号抽出部１２４と背景信号抽出部１２６を含んで構成される。効果適用部１２８は、位置補正部１３０と遠近補正部１３２を更に含んで構成される。
【００４１】
オーディオデータ獲得モジュール１２０は、少なくとも一つ以上のマイクを備え、マイクに入力されてデジタル処理されたオーディオ信号を利用して多数のオーディオデータを獲得する。この時、オーディオデータは、映像データの被写体で発生するオーディオデータと映像データの背景で発生するオーディオデータを含む。
【００４２】
信号抽出部１２２は、被写体の位置情報（被写体の動き）を基盤にして、オーディオデータを第１オーディオデータと第２オーディオデータに分類するように処理する。これは、獲得したオーディオデータから被写体に当たる第１オーディオデータ（主信号）と背景に当たる第２オーディオデータ（背景信号）を抽出することである。
【００４３】
主信号抽出部１２４は、被写体の動き情報を利用してオーディオデータ獲得モジュール１２０に入力されたオーディオデータから主信号を抽出する。この時、主信号抽出部１２４は、マイクアレイ及びビーム形成技術を基盤にして、被写体の方向を照準して主信号を区分し、単純に入力された一つ以上のオーディオチャンネルの共通成分（モノラル成分）を分離して主信号（モノラル成分が除去された純粋なステレオ成分の信号）を区分する。
【００４４】
背景信号抽出部１２６は、被写体の動き情報を利用してオーディオデータ獲得モジュール１２０に入力されたオーディオデータから背景信号を抽出する。この時、背景信号抽出部は、マイクアレイ及びビーム形成技術を基盤にして、背景方向を照準して周辺の背景信号を抽出し、入力された一つ以上のオーディオチャンネルで主信号を差引する方法などを利用して背景信号を抽出する。
【００４５】
効果適用部１２８は、被写体の動きによって主信号又は背景信号に立体効果を適用するように処理する。
【００４６】
効果適用部１２８の位置補正部１３０は、ユーザーにリアリティーを提供するために被写体の位置を基盤にして主信号と背景信号を定位（Ｌｏｃａｌｉｚａｔｉｏｎ）させる。この時、位置補正部１３０は、ＨＲＴＦ（Ｈｅａｄ Ｒｅｌａｔｅｄ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）を基盤にして、主信号と背景信号を位置情報に合わせて同期化し、正面を基準に左／右のパニング信号処理を通じて主信号と背景信号を同期化する。
【００４７】
効果適用部１２８の遠近補正部１３２は、被写体の位置と同期化された主信号に対して遠近効果を適用するように処理する。この時、遠近補正部１３２は、映像処理部１０２の遠近情報分析部１１６によって確認された被写体の遠近情報を用いて主信号に対する遠近効果を適用する。即ち、遠近補正部１３２は、被写体が基準点から離れる場合、主信号の強さを小さく調整して低周波信号の量を相対的に差引して残響を加え、逆に被写体が基準点に近づく場合は、主信号の強さを大きく調整して低周波信号の量を相対的に増加させることで遠近効果を適用する。
【００４８】
また、遠近補正部１３２は、主信号の強さの変動によって背景信号の大きさを調節し、全体のオーディオデータ（主信号＋背景信号）の強さが一定に保たれるように処理する。ミキサー１３４は、被写体の動き（位置及び遠近）による効果が適用された主信号と背景信号を合成したオーディオデータを生成する。
【００４９】
上述のようにオーディオ処理部１０４の動作は、メモリー部１０６に保存されている特定のソフトウェアモジュール（命令語セット）によって実行され、オーディオ処理部１０４を構成する要素の動作もソフトウェアモジュールで実行される。
【００５０】
図４は、本発明の一実施形態によるポータブル端末における立体データを生成するステップを示す流れ図である。
【００５１】
図４を参照すると、ポータブル端末は、先ず２０１段階で、立体データを生成するか否かを確認する。ここで、立体データは、それぞれ別の角度で具備された多数のカメラモジュールを用いて撮影された被写体に対する映像データを一つのデータとして合成したデータであり、立体映像ビューアー（例：バリアーＬＣＤ）を通じてユーザーに立体効果を提供し、立体データは、映像データに対する立体効果だけではなく、オーディオデータに対する立体効果も提供する。
【００５２】
２０１段階で立体データを生成しないことが確認された場合、ポータブル端末は、２１７段階に進行して該当の機能（例：待機モード）を実行する。
【００５３】
一方、２０１段階で立体データを生成することが確認された場合、ポータブル端末は、２０３段階に進行して映像データ獲得モジュールを動作させた後、２０５段階に進行して映像データ獲得モジュールを通じて映像データを獲得する。ここで、映像データ獲得モジュールは、静止画データ又は動画データを獲得することができるカメラモジュールを意味し、ポータブル端末は、多数のカメラモジュールを具備して同一の被写体に対してそれぞれ視点が異なる映像データを獲得する。
【００５４】
次に、ポータブル端末は、２０７段階に進行して映像データ獲得モジュールで獲得した映像データから被写体を把握する。
【００５５】
次に、ポータブル端末は、２０９段階に進行して以前の映像データの被写体の位置と現在獲得した映像データの被写体の位置を把握した後、２１１段階に進行して被写体に対する動きが把握されたか否かを確認する。これは、獲得した映像データの被写体が位置を変更したのか又は被写体が移動しているのかを把握することで、ポータブル端末が、獲得した映像データの被写体の位置変化を確認するためである。
【００５６】
２１１段階で被写体に対する動きが把握されなかった場合、ポータブル端末は、２１９段階に進行して一般的なオーディオデータを生成する。この時、ポータブル端末は、背景で発生するオーディオデータと被写体で発生するオーディオデータの強さが一定に保たれるように処理する。
【００５７】
一方、２１１段階で被写体に対する動きが把握された場合、ポータブル端末は、２１３段階に進行して被写体の位置及び遠近情報を分析する。この時、ポータブル端末は、以前の映像データの被写体の位置と現在獲得した映像データの被写体の位置変化の程度を把握して被写体の位置及び遠近情報を把握する。
【００５８】
次に、ポータブル端末は、２１５段階に進行して被写体の位置及び遠近情報によってオーディオデータに立体効果を適用するように処理する。即ち、ポータブル端末は、被写体に当たる主信号の強さを強くし、被写体を除いた背景に当たるオーディオデータの強さを弱くするようにオーディオデータに遠近感を適用する。また、ポータブル端末は、被写体が映像データの視聴者の方向に移動する場合、被写体に対する主信号の強さを徐々に強く処理してユーザーの聴音効果を進める。
【００５９】
まとめると、本実施形態によるポータブル端末は、立体データのための映像データを獲得した後、獲得した映像データの被写体を用いてオーディオデータの効果の適用可否を判断し、被写体の動きによって主信号と背景信号に効果を適用する。
【００６０】
最後に、ポータブル端末は、立体効果が適用されたオーディオデータと映像データを再生するように処理した後、本アルゴリズムを終了する。
【００６１】
図５は、本発明の一実施形態によるポータブル端末におけるオーディオデータに立体効果を適用するステップを示す流れ図である。
【００６２】
図５を参照すると、ポータブル端末は、先ず３０１段階でオーディオデータ獲得モジュールを作動させた後、３０３段階に進行してオーディオデータを獲得する。ここで、オーディオデータ獲得モジュールは、映像データの獲得の際に、周辺で発生するオーディオデータを収集するマイクを意味し、ポータブル端末は、多数のマイクを具備して映像データの被写体で発生するオーディオデータと、被写体を除いた背景で発生するオーディオデータを獲得する。
【００６３】
次に、ポータブル端末は、３０５段階に進行して、獲得したオーディオデータから映像データの被写体で発生したオーディオデータである第１オーディオデータ（主信号）を分類する。ここで、ポータブル端末は、映像データの被写体の位置情報を基盤にして第１オーディオデータを分類し、この時、ポータブル端末は、マイクアレイ及びビーム形成技術を基盤にして、被写体の方向を照準して第１オーディオデータを区分する。また、ポータブル端末は、単純に入力された一つ以上のオーディオチャンネルの共通成分（モノラル）を分離することにより、純粋なステレオ成分で構成された第１オーディオデータを区分する。
【００６４】
次に、ポータブル端末は、３０７段階で、獲得したオーディオデータから映像データの周辺で発生したオーディオデータである第２オーディオデータ（背景信号）を分類する。
【００６５】
この時、ポータブル端末は、獲得したオーディオデータから第１オーディオデータを除いた背景オーディオデータを抽出することで、上述のようにマイクアレイ及びビーム形成技術を基盤にして、背景方向を照準して周辺の背景に対する第２オーディオデータを抽出する。また、ポータブル端末は、獲得したオーディオデータから第１オーディオデータを差引して第２オーディオデータを抽出する。
【００６６】
次に、ポータブル端末は、３０９段階で、映像データの被写体に対する位置及び遠近情報を確認した後、３１１段階に進行して被写体の位置及び遠近情報に合わせて第１オーディオデータと第２オーディオデータに立体効果を適用するように処理する。
【００６７】
即ち、ポータブル端末は、被写体の遠近情報によって第１オーディオデータと第２オーディオデータの発生方向、角度などを設定することで、ＨＲＴＦ（Ｈｅａｄ Ｒｅｌａｔｅｄ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）を基盤にして、第１オーディオデータと第２オーディオデータを遠近情報に合わせて同期化させる。即ち、ポータブル端末は、映像データの被写体が端末のユーザー方向に移動する場合、第１オーディオデータの強さを大きく調整（第２オーディオデータの強さを小さく調整）し、低周波信号の量を相対的に増加させるように処理する。また、ポータブル端末は、映像データの被写体が端末のユーザー方向から離れる場合、第１オーディオデータの強さを小さく調整して第２オーディオデータを大きく調整し、低周波信号の量を相対的に差引して残響を追加するように処理する。
【００６８】
また、ポータブル端末は、映像データの被写体の移動方向によって第１オーディオデータ及び第２オーディオデータにパニング効果を適用するように処理する。
【００６９】
また、ポータブル端末は、被写体が移動する場合、第２オーディオデータの強さを減らし、第１オーディオデータの強さを高めて移動する被写体を強調するように処理する。
【００７０】
更に、ポータブル端末は、第１オーディオデータ及び第２オーディオデータの強さを均一に適用するため、映像データに対する第１オーディオデータ及び第２オーディオデータの強さがどちらか一方に偏らないように処理する。
【００７１】
次に、ポータブル端末は、第１オーディオデータと第２オーディオデータを合算した後、信号処理されたオーディオＰＣＭ信号をバイナリ圧縮データファイルにエンコードして映像データと連動するようにする。
【００７２】
最後に、ポータブル端末は本アルゴリズムを終了する。
【００７３】
上述のようなポータブル端末は、立体効果が適用されたオーディオデータを次のように処理する。
【００７４】
先ず、ポータブル端末は、既に獲得した映像データと立体効果が適用されたオーディオデータを圧縮して立体データを生成した後、生成された立体データを復号化して立体オーディオと立体映像を再生して立体効果を提供する。
【００７５】
また、ポータブル端末は、立体効果が適用されないオーディオデータで生成された立体データを再生する途中に、映像データに当たる立体オーディオデータ（オーディオデータに立体効果を適用）を生成して再生することで立体効果を提供することができる。
【００７６】
図６及び図７は、一般的なポータブル端末と本発明の一実施形態によるポータブル端末における立体データの再生画面を示す図であり、図６は一般的なポータブル端末における立体データの再生画面を示す図である。
【００７７】
図６を参照すると、ポータブル端末は、多数のカメラモジュールを通じて獲得したイメージ、即ちそれぞれ別の視点で同一の被写体を撮影して獲得した多数の映像データを再生して立体効果を提供する。しかし、一般的なポータブル端末は、オーディオデータに対して立体効果を適用せずに被写体と背景に対して等しい効果のオーディオデータを再生する。
【００７８】
即ち、ポータブル端末は、図示したようにレーシングゲームに対する映像データを獲得する。ここで、被写体はレーシングを準備する自動車４０１とし、背景は自動車の周辺に位置する観客４０３、４０５とする。
【００７９】
また、ポータブル端末は、被写体に対するオーディオデータを獲得し、背景に対するオーディオデータを獲得する。即ち、被写体はエンジン音を発生させて、右側の背景及び左側の背景で喊声音を発生させる。
【００８０】
ポータブル端末は、被写体を撮影した多数の映像データ（同一被写体に対して視点が異なる映像データ）を用いて映像データに対する立体効果を提供することができる。しかし、オーディオデータに対する立体効果を提供することができず、一般的なポータブル端末は、背景に対するオーディオデータと被写体に対するオーディオデータを等しいレベルで出力してリアリティーを提供することができない。
【００８１】
図７は、本発明の一実施形態によるポータブル端末における立体データの再生画面を示す図である。
【００８２】
図７を参照すると、ポータブル端末は、多数のカメラモジュールを通じて獲得したイメージ、即ちそれぞれ別の視点で同一被写体を撮影して獲得した多数の映像データを再生して立体効果を提供する。一般的なポータブル端末は、オーディオデータに対して立体効果を適用できずに被写体と背景に対して等しい効果のオーディオデータを再生するが、本発明によるポータブル端末は、被写体と背景に対するオーディオデータに立体効果を適用するように処理する。
【００８３】
即ち、ポータブル端末は、入力を受けたオーディオデータから第１オーディオデータと第２オーディオデータを抽出する。ここで、第１オーディオデータは被写体で発生するオーディオデータを意味し、第２オーディオデータは背景で発生するオーディオデータを意味する。
【００８４】
ポータブル端末は、被写体の動きによる位置及び遠近情報を分析して第１オーディオデータ及び第２オーディオデータに立体効果を適用する。
【００８５】
即ち、ポータブル端末は、被写体が移動する場合、背景に当たる第２オーディオデータの強さを減らして、被写体に当たる第１オーディオデータの強さを高める。一例として、ポータブル端末は、図示したように、決勝点に到逹する被写体の警笛音４１０を大きくし、周辺に位置する観客の歓呼音４１２、４１４を警笛音より小さくして被写体の音を強調する。
【００８６】
図８は、本発明の他の実施形態によるポータブル端末におけるオーディオデータに対する立体効果の適用視点を把握するステップを示す流れ図である。
【００８７】
図８を参照すると、ポータブル端末は、先ず５０１段階で、第１オーディオデータを周波数領域で分析する。ここで、第１オーディオデータは被写体で発生するデータであり、被写体の動きによって立体効果が適用されるオーディオデータである。
【００８８】
次に、ポータブル端末は、５０３段階に進行して特定周波数領域でオーディオ信号が変化することを確認した後、５０５段階に進行し、映像データを分析して被写体の動きを確認する。この時、ポータブル端末は、以前のフレームのオーディオ信号と現在のフレームのオーディオ信号を比べて特定周波数領域でオーディオ信号が変化することを確認する。
【００８９】
次に、ポータブル端末は、５０７段階に進行して被写体が動く視点にオーディオ信号の変化が発生するか否かを確認する。
【００９０】
これは、被写体の移動によって周波数領域でオーディオ信号が変化することを利用し、オーディオデータを用いて被写体の動きを把握することで、被写体の動きとオーディオ信号の変化が同時に発生することから、被写体の動きによって発生するオーディオデータに立体効果を適用できるものと判断する。
【００９１】
５０７段階で被写体が動く視点にオーディオ信号の変化が確認されない場合、ポータブル端末は、オーディオデータに立体効果を適用せずに、５０１段階に進行して立体効果の適用視点を再確認する。
【００９２】
一方、５０７段階で被写体が動く視点にオーディオ信号の変化が確認された場合、５０９段階に進行して、ポータブル端末は、オーディオデータに立体効果を適用した後、本アルゴリズムを終了する。
【００９３】
この時、ポータブル端末は、以前のフレームのオーディオ信号と現在のフレームのオーディオ信号を比べてオーディオ信号が大きくなることを把握した場合、被写体が前に近づいていると把握してオーディオデータを強調させる。
【００９４】
これは、ポータブル端末が映像データに対する主信号が被写体に当たるオーディオデータなのかを把握するために、ポータブル端末が映像データの被写体の動きだけを利用してオーディオデータに立体効果を適用する場合、主信号が背景に当たる信号の場合に被写体の動きによって立体効果を適用することができないためである。
【００９５】
拳闘競技を例えにすると、ポータブル端末は、一般的に被写体である選手の動きを把握して、拳闘選手から発生するオーディオデータに立体効果を適用する。
【００９６】
しかし、ポータブル端末が、拳闘選手から発生するオーディオデータを背景信号と定義し、観衆から発生するオーディオデータを主信号として定義した場合、被写体である選手の動きによって観衆の歓呼音が強調されることがあるからである。
【００９７】
本発明の実施形態による方法は、ハードウェア、ソフトウェア、又はハードウェアとソフトウェアの組み合わせの形で実装することができる。
【００９８】
ソフトウェアで実装する場合、一つ以上のプログラム（ソフトウェアモジュール）を保存するコンピューター読み取り可能な記録媒体が提供される。コンピューター読み取り可能な記録媒体に保存される一つ以上のプログラムは、ポータブル端末のような電子装置内の一つ以上のプロセッサによって実行されるように構成される。一つ以上のプログラムは、電子装置に、本発明の実施形態による方法を実行させる命令語を備える。
【００９９】
このようなプログラム（ソフトウェアモジュール、ソフトウェア）は、ランダムアクセスメモリー（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、フラッシュメモリーを備える不揮発性（ｎｏｎ−ｖｏｌａｔｉｌｅ）メモリー、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、電気的消却可能プログラム可能ＲＯＭ（ＥＥＰＲＯＭ：Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、磁気ディスク記憶装置（Ｍａｇｎｅｔｉｃ Ｄｉｓｃ Ｓｔｏｒａｇｅ Ｄｅｖｉｃｅ）、コンパクトディスクＲＯＭ（ＣＤ−ＲＯＭ：Ｃｏｍｐａｃｔ Ｄｉｓｃ−ＲＯＭ）、デジタル多目的ディスク（ＤＶＤｓ：Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃｓ）又は他の形態の光学記憶装置、磁気カセット（Ｍａｇｎｅｔｉｃ Ｃａｓｓｅｔｔｅ）に保存することができる。或いは、これらの一部又は全部の組み合わせで構成されたメモリーに保存することができる。また、それぞれの構成メモリーは多数個を備えることもできる。
【０１００】
また、電子装置に、インターネット（Ｉｎｔｅｒｎｅｔ）、イントラネット（Ｉｎｔｒａｎｅｔ）、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＬＡＮ（Ｗｉｄｅ ＬＡＮ）、又はＳＡＮ（Ｓｔｏｒａｇｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）のような通信ネットワーク、或いはこれらの組み合わせで構成された通信ネットワークを通じてアクセスできる付着可能な記憶装置に保存することができる。このような記憶装置は外部ポートを通じて電子装置に接続することができる。
【０１０１】
また、通信ネットワーク上の別途の記憶装置をポータブル電子装置に接続することもできる。
【０１０２】
一例として、一つ以上のプロセッサ、メモリー、及びメモリーに保存されて一つ以上のプロセッサによって実行されるように構成される一つ以上のモジュールを備える電子装置のモジュールは、立体データ生成のための映像データ及びオーディオデータを獲得して、立体データで被写体の動き情報を把握し、映像データに対して立体効果を適用し、被写体の動き情報によってオーディオデータに立体効果を適用する命令語を備えることができる。
【０１０３】
また、電子装置のモジュールは、獲得した映像データから焦点に当たる被写体と背景とに区分し、被写体の位置及び遠近情報を把握する命令語を備えることができる。
【０１０４】
更に、電子装置のモジュールは、獲得したオーディオデータから映像データの被写体で発生するオーディオデータである第１オーディオデータを区分し、獲得したオーディオデータで映像データの背景で発生するオーディオデータである第２オーディオデータを区分し、被写体の動き情報を利用して第１オーディオデータ及び第２オーディオデータに立体効果を適用する命令語を備えることができる。
【０１０５】
また、電子装置のモジュールは、立体効果が適用された映像データ及びオーディオデータを用いて立体データを生成して再生し、オーディオデータに対する立体効果が適用されない立体データの再生の場合、映像データの被写体情報を確認してオーディオデータに立体効果を適用して再生する命令語を備えることができる。
【０１０６】
また、電子装置のモジュールは、第１オーディオデータが映像データの被写体で発生した場合、オーディオデータに立体効果を適用する命令語を備えることができる。
【０１０７】
また、電子装置のモジュールは、第１オーディオデータを周波数領域で分析した後、被写体が動く視点にオーディオ信号の変化が発生したことを確認し、被写体が動く視点にオーディオ信号の変化が発生したことを確認した場合、第１オーディオデータが映像データの被写体で発生したと判断する命令語を備えることができる。
【０１０８】
以上、図面を参照しながら本発明の実施形態を説明したが、本発明は、上述の実施形態に限定されるものではなく、本発明の技術的範囲から逸脱しない範囲内で多様に変更実施することが可能である。
【符号の説明】
【０１０９】
１００ 制御部
１０２ 映像処理部
１０４ オーディオ処理部
１０６ メモリー部
１０８ 入力部
１１０ 表示部
１１２ 通信部
１１３ 映像データ獲得モジュール
１１４ 被写体確認部
１１５ 位置情報分析部
１１６ 遠近情報分析部
１２０ オーディオデータ獲得モジュール
１２２ 信号抽出部
１２４ 主信号抽出部
１２６ 背景信号抽出部
１２８ 効果適用部
１３０ 位置補正部
１３２ 遠近補正部
１３４ ミキサー
４０１ 自動車
４０３、４０５ 観客
４１０ 警笛音
４１２、４１４ 歓呼音
【技術分野】
【０００１】
本発明は、ポータブル端末における立体データを生成して再生する装置及び方法並びに電子装置に関するものである。
【背景技術】
【０００２】
最近の映像技術において、３次元データを実装する方法の研究が盛んに行われている。これは、より実際的でリアリティーある映像情報を表現するためである。人間の視覚特性を活用して、既存のディスプレイ装置に左視点映像と右視点映像をそれぞれ該当の位置に走査した後、左視点と右視点をユーザーの左眼と右眼に分離して像ができるようにすることで、３次元の立体感を感じとらせる方法が様々な面でその可能性が認められている。一例として、バリアーＬＣＤを装着したポータブル端末（立体携帯電話、立体カメラ、立体カムコーダー等）や３ＤＴＶでは、ステレオスコピックコンテンツを再生してユーザーによりリアルな映像を提供することができるようになった。
【０００３】
一般的に立体映像（ｓｔｅｒｅｏ ｓｃｏｐｉｃ ｉｍａｇｅ）は、既存の映像とは異なり、特定の距離だけ離隔されている二つのカメラモジュールを利用して映像を撮影した後、二つの映像を関連付けて使用する。即ち、ユーザーの右眼及び左眼で見る視点を合成して立体映像を作るのである。このような二つの映像は縦方向又は横方向に配置することができる。
【０００４】
現在のステレオ映像の出力方法は大きく眼鏡方式と裸眼方式の二つに分けられる。一番目の眼鏡方式の場合、視野角の制限が少なくて立体効果が大きい方式として、主にＴＶのような大きい出力装置に用いられる。二番目の裸眼方式は、バリアーＬＣＤを用いる方式により眼鏡を使用せず、ポータブル端末に相応しいが視野角に制限が大きい方式である。
【０００５】
一般的に、ポータブル端末では映像データに対して立体効果を提供している。即ち、ポータブル端末で立体データを再生する場合、映像データにだけ立体効果が適用され、オーディオデータには立体効果が適用されず、平面的な音響を提供するという問題点が発生する。これはポータブル端末で獲得するオーディオデータのチャンネルが不足するためである。
【０００６】
これにより、上記のような問題点を解決するためにポータブル端末でオーディオデータに立体効果を適用するための装置及び方法が要求される。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】韓国特許出願公開第１０−２００９−０１０９４２５号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明は、上記従来の問題点に鑑みてなされたものであって、本発明の目的は、ポータブル端末における立体音響を提供する装置及び方法並びに電子装置を提供することにある。
また、本発明の目的は、ポータブル端末においてオーディオデータ及び映像データに立体効果を適用するための立体データを生成する装置及び方法並びに電子装置を提供することにある。
また、本発明の目的は、ポータブル端末において映像データに含まれる被写体情報によってオーディオデータに遠近感を適用する装置及び方法並びに電子装置を提供することにある。
また、本発明の目的は、ポータブル端末における立体データの再生の際に、被写体情報を把握してオーディオデータに立体効果を適用する装置及び方法並びに電子装置を提供することにある。
【課題を解決するための手段】
【０００９】
上記目的を達成するためになされた本発明の一態様によるポータブル端末における立体データを生成する装置は、立体データ生成のための映像データを獲得して映像データに対して立体効果を適用し、映像データの被写体の動き情報を把握する映像処理部と、立体データ生成のためのオーディオデータを獲得した後、被写体の動き情報によってオーディオデータに立体効果を適用するように処理するオーディオ処理部と、を備えることを特徴とする。
【００１０】
前記映像処理部は、獲得した映像データから焦点に当たる被写体と背景とに区分する被写体確認部と、被写体の位置情報を把握する位置情報分析部と、被写体の遠近情報を把握する遠近情報分析部と、を備えることができる。
前記オーディオ処理部は、獲得したオーディオデータから被写体で発生するオーディオデータである第１オーディオデータと背景で発生するオーディオデータである第２オーディオデータとを区分する信号抽出部と、被写体の動き情報を利用して前記第１オーディオデータ及び前記第２オーディオデータに立体効果を適用する効果適用部と、を備えることができる。
前記効果適用部は、前記第１オーディオデータ又は前記第２オーディオデータを被写体の動き情報に合わせて設定することができる。
前記立体データを生成する装置は、立体効果が適用された映像データ及びオーディオデータを用いて立体データを生成して再生するように処理し、オーディオデータに対する立体効果が適用されない立体データの再生の場合、前記ポータブル端末が映像データの被写体の動き情報を確認してオーディオデータに立体効果を適用して再生することができる。
オーディオ処理部は、前記第１オーディオデータが映像データの被写体で発生した場合、オーディオデータに立体効果を適用することができる。
オーディオ処理部は、前記第１オーディオデータを周波数領域で分析した後、被写体が動く視点にオーディオ信号の変化が発生したことを確認した場合、前記第１オーディオデータが映像データの被写体で発生したと判断することができる。
【００１１】
上記目的を達成するためになされた本発明の一態様によるポータブル端末における立体データを生成する方法は、立体データ生成のための映像データ及びオーディオデータを獲得する段階と、映像データで被写体の動き情報を把握する段階と、映像データに対して立体効果を適用する段階と、被写体の動き情報によってオーディオデータに立体効果を適用する段階と、を有することを特徴とする。
【００１２】
上記目的を達成するためになされた本発明の一態様による電子装置は、一つ以上のプロセッサと、メモリーと、前記メモリーに保存され、前記一つ以上のプロセッサによって実行されるように構成された一つ以上のモジュールと、を備える電子装置であって、前記モジュールは、立体データ生成のための映像データ及びオーディオデータを獲得し、映像データで被写体の動き情報を把握し、映像データに対して立体効果を適用し、被写体の動き情報によってオーディオデータに立体効果を適用することを特徴とする。
【発明の効果】
【００１３】
本発明によれば、立体データの再生の際に、映像データだけではなくオーディオデータにも立体効果を適用するため、よりリアリティーがある立体効果をユーザーに提供することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の一実施形態による立体データを生成するポータブル端末の構成を示すブロック図である。
【図２】本発明の一実施形態による立体効果を提供する映像処理部の構成を示すブロック図である。
【図３】本発明の一実施形態による立体効果を提供するオーディオ処理部の構成を示すブロック図である。
【図４】本発明の一実施形態によるポータブル端末における立体データを生成するステップを示す流れ図である。
【図５】本発明の一実施形態によるポータブル端末におけるオーディオデータに立体効果を適用するステップを示す流れ図である。
【図６】一般的なポータブル端末における立体データの再生画面を示す図である。
【図７】本発明の一実施形態によるポータブル端末における立体データの再生画面を示す図である。
【図８】本発明の他の実施形態によるポータブル端末におけるオーディオデータに対する立体効果の適用視点を把握するステップを示す流れ図である。
【発明を実施するための形態】
【００１５】
以下、本発明を実施するための形態の具体例を、図面を参照しながら詳細に説明する。本発明を説明するにあたり、関係する公知機能或いは構成に対する具体的な説明が本発明の要旨を不明瞭にすることがあると判断される場合、その詳細な説明は省略する。
【００１６】
以下では、本発明によるポータブル端末で多数のカメラモジュールで撮影されたステレオ映像データとオーディオデータに立体効果を適用するために、映像データの被写体情報を用いてオーディオデータに遠近感を適用する装置及び方法について説明する。ここで、ポータブル端末は、立体効果を提供することができる表示部を備え、立体移動通信端末、立体カメラ、立体カムコーダー、３ＤＴＶなどのようにステレオスコピックコンテンツを再生してユーザーに立体感を提供するディスプレイ機器を意味する。ポータブル端末は、映像データの被写体の動きを確認した後、背景オーディオ信号と主オーディオ信号に対して遠近感を補正するように処理する。
【００１７】
図１〜図３は、本発明の一実施形態による映像データ及びオーディオデータに立体効果を適用するポータブル端末の構成を示すブロック図であり、図１は、本発明の一実施形態による立体データを生成するポータブル端末の構成を示すブロック図である。
【００１８】
図１を参照すると、ポータブル端末は、制御部１００、映像処理部１０２、オーディオ処理部１０４、メモリー部１０６、入力部１０８、表示部１１０、及び通信部１１２を含んで構成される。
【００１９】
ポータブル端末の制御部１００は、ポータブル端末の全般的な動作を制御する。例えば、音声通話及びデータ通信のための処理及び制御を実行し、通常的な機能に加えて、制御部１００は、多数の映像データとオーディオデータを獲得した後、獲得したデータ（映像データ及びオーディオデータ）に立体効果を適用して立体データを生成し、立体データを再生するように処理する。この時、制御部１００は、多数の視点に当たる映像データを結合して映像データに対する立体効果を適用し、映像データの被写体の動き情報（位置情報及び遠近情報）を利用してオーディオデータに立体効果を適用するように処理する。
【００２０】
映像処理部１０２は、制御部１００の制御を受け、立体効果の提供のための多数の映像データを獲得する。この時、映像処理部１０２は、それぞれ別の視点（角度）で具備されたカメラモジュールを通じて同一の被写体を同時に撮影して映像データを獲得し、獲得した映像データを合成して立体効果を提供する映像データを生成する。
【００２１】
また、映像処理部１０２は、制御部１００の制御を受け、獲得した映像データの被写体を区分し、被写体の動き情報（位置及び遠近情報）を把握してオーディオ処理部１０４に提供する。
【００２２】
オーディオ処理部１０４は、御部１００の制御を受け、立体効果の提供のためのオーディオデータを獲得する。この時、オーディオ処理部１０４は、多数のマイクを通じて映像データの被写体と背景で発生するオーディオデータを獲得した後、被写体の動き情報によってオーディオデータに立体効果を適用するように処理する。また、オーディオ処理部１０４は、立体効果が適用されたオーディオデータを再生して出力するスピーカーを備え、オーディオ処理部１０４は、被写体の遠近情報を用いてオーディオデータに立体効果を適用する。
【００２３】
制御部１００、映像処理部１０２、及びオーディオ処理部１０４の動作は、メモリー部１０６に保存されている特定のソフトウェアモジュール（命令語セット）によって実行される。
【００２４】
即ち、制御部１００、映像処理部１０２、及びオーディオ処理部１０４の動作は、ソフトウェア又はハードウェアで構成される。映像処理部１０２、オーディオ処理部１０４はそれぞれの制御部に定義することができる。また、制御部１００をプロセッサに定義して、映像処理部１０２、オーディオ処理部１０４を更に他のプロセッサに定義することもできる。
【００２５】
メモリー部１０６は、ＲＯＭ、ＲＡＭ、フラッシュ（Ｆｌａｓｈ）ＲＯＭで構成される。ＲＯＭは、制御部１００、映像処理部１０２、及びオーディオ処理部１０４の処理及び制御のためのプログラムのマイクロコードと各種の参照データを保存する。
【００２６】
ＲＡＭは、制御部１００のワーキングメモリー（ｗｏｒｋｉｎｇ ｍｅｍｏｒｙ）として、各種のプログラム実行中に発生する一時的なデータを保存する。また、フラッシュＲＯＭは、電話帳（ｐｈｏｎｅ ｂｏｏｋ）、発信メッセージ、及び受信メッセージのような更新可能な各種の保管用データを保存し、本実施形態によって立体効果が適用されたオーディオデータと映像データ、及びオーディオデータと映像データを用いて生成した立体データを保存する。
【００２７】
メモリー部１０６は、制御部１００、映像処理部１０２、及びオーディオ処理部１０４の動作を実行するようにソフトウェアモジュールを保存する。
【００２８】
入力部１０８は、０〜９の数字キーボタン、メニューボタン（Ｍｅｎｕ）、取り消しボタン（消去）、確認ボタン、通話ボタン（Ｔａｌｋ）、終了ボタン（Ｅｎｄ）、インターネット接続ボタン、ナビゲーションキー（又は方向キー）ボタン、及び文字入力キーなど多数の機能キーを備え、ユーザーが押下するキーに対応するキー入力データを制御部１００に提供する。また、入力部１０８は、立体効果を提供する立体データ生成を要求するデータを発生させる。
【００２９】
表示部１１０は、ポータブル端末の動作中に発生する状態情報、文字、多くの動画及び静止画などをディスプレイする。表示部１１０には、カラー液晶ディスプレイ装置（ＬＣＤ）、ＡＭＯＬＥＤ（Ａｃｔｉｖｅ Ｍａｔｒｉｘ Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）などを用いることができ、表示部１１０は、タッチ入力装置を備えてタッチ入力方式のポータブル端末に適用する場合、入力装置として用いることができる。また、表示部１１０は、本発明によって立体効果を提供することができるＬＣＤ（例：バリアーＬＣＤ）を備え、立体効果が適用された映像データを出力する。
【００３０】
通信部１１２は、アンテナ（図示せず）を通じて入出力されるデータの無線信号を送受信処理する機能を実行する。例えば、送信の場合、送信するデータをチャンネルコーディング（Ｃｈａｎｎｅｌ Ｃｏｄｉｎｇ）及び拡散（Ｓｐｒｅａｄｉｎｇ）した後、ＲＦ処理して送信する機能を実行し、受信の場合、受信したＲＦ信号を基底帯域信号に変換して基底帯域信号を逆拡散（Ｄｅ−Ｓｐｒｅａｄｉｎｇ）及びチャンネル復号（Ｃｈａｎｎｅｌ ｄｅｃｏｄｉｎｇ）してデータを復元する機能を実行する。
【００３１】
映像処理部１０２及びオーディオ処理部１０４の役割は、ポータブル端末の制御部１００によって実行することができるが、本実施形態でこれを別々に構成して示すことは説明の便宜のための例示的な構成であって、本発明の範囲を制限しようというものではなく、当業者であれば本発明の範囲内で多様な変形の構成が可能であることが分かるだろう。例えば、これらの全てを上述の制御部１００で処理するように構成することもできる。
【００３２】
図２は、本発明の一実施形態による立体効果を提供する映像処理部の構成を示すブロック図である。
【００３３】
図２を参照すると、映像処理部１０２は、映像データ獲得モジュール１１３、被写体確認部１１４、位置情報分析部１１５、及び遠近情報分析部１１６を含んで構成される。
【００３４】
映像データ獲得モジュール１１３は、カメラモジュールを備え、カメラモジュールに入力されるデジタル映像信号を利用して多数の映像データを獲得する。この時、映像データ獲得モジュール１１３は、多数のカメラモジュールを備え、同一の被写体をそれぞれ別の角度で撮影して視点が異なる多数の映像データを獲得する。
【００３５】
被写体確認部１１４は、映像データ獲得モジュール１１３によって獲得された映像データを被写体と背景とを区分するように処理する。ここで、被写体はユーザーが獲得しようとする映像データの焦点領域になる。
【００３６】
位置情報分析部１１５は、被写体確認部１１４によって区分された被写体の位置を確認し、遠近情報分析部１１６は、被写体確認部１１４によって区分された被写体の遠近情報を確認する。この時、遠近情報分析部１１６は、以前の映像データの被写体の位置と現在獲得した映像データの被写体の位置を把握した後、被写体の移動による遠近情報を確認する。
【００３７】
次に、映像処理部１０２は、位置情報分析部１１５及び遠近情報分析部１１６によって確認された被写体の動き情報をオーディオ処理部１０４に提供し、映像データ獲得モジュール１１３を通じて獲得した視点が異なる映像データを一つの映像データに合成して立体データを生成する。
【００３８】
上述のように、映像処理部１０２の動作は、メモリー部１０６に保存されている特定のソフトウェアモジュール（命令語セット）によって実行され、これに応じて、映像処理部１０２を構成する要素の動作もソフトウェアモジュールで実行される。
【００３９】
図３は、本発明の一実施形態による立体効果を提供するオーディオ処理部の構成を示すブロック図である。
【００４０】
図３を参照すると、オーディオ処理部１０４は、オーディオデータ獲得モジュール１２０、信号抽出部１２２、効果適用部１２８、及びミキサー１３４を含み、信号抽出部１２２は、主信号抽出部１２４と背景信号抽出部１２６を含んで構成される。効果適用部１２８は、位置補正部１３０と遠近補正部１３２を更に含んで構成される。
【００４１】
オーディオデータ獲得モジュール１２０は、少なくとも一つ以上のマイクを備え、マイクに入力されてデジタル処理されたオーディオ信号を利用して多数のオーディオデータを獲得する。この時、オーディオデータは、映像データの被写体で発生するオーディオデータと映像データの背景で発生するオーディオデータを含む。
【００４２】
信号抽出部１２２は、被写体の位置情報（被写体の動き）を基盤にして、オーディオデータを第１オーディオデータと第２オーディオデータに分類するように処理する。これは、獲得したオーディオデータから被写体に当たる第１オーディオデータ（主信号）と背景に当たる第２オーディオデータ（背景信号）を抽出することである。
【００４３】
主信号抽出部１２４は、被写体の動き情報を利用してオーディオデータ獲得モジュール１２０に入力されたオーディオデータから主信号を抽出する。この時、主信号抽出部１２４は、マイクアレイ及びビーム形成技術を基盤にして、被写体の方向を照準して主信号を区分し、単純に入力された一つ以上のオーディオチャンネルの共通成分（モノラル成分）を分離して主信号（モノラル成分が除去された純粋なステレオ成分の信号）を区分する。
【００４４】
背景信号抽出部１２６は、被写体の動き情報を利用してオーディオデータ獲得モジュール１２０に入力されたオーディオデータから背景信号を抽出する。この時、背景信号抽出部は、マイクアレイ及びビーム形成技術を基盤にして、背景方向を照準して周辺の背景信号を抽出し、入力された一つ以上のオーディオチャンネルで主信号を差引する方法などを利用して背景信号を抽出する。
【００４５】
効果適用部１２８は、被写体の動きによって主信号又は背景信号に立体効果を適用するように処理する。
【００４６】
効果適用部１２８の位置補正部１３０は、ユーザーにリアリティーを提供するために被写体の位置を基盤にして主信号と背景信号を定位（Ｌｏｃａｌｉｚａｔｉｏｎ）させる。この時、位置補正部１３０は、ＨＲＴＦ（Ｈｅａｄ Ｒｅｌａｔｅｄ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）を基盤にして、主信号と背景信号を位置情報に合わせて同期化し、正面を基準に左／右のパニング信号処理を通じて主信号と背景信号を同期化する。
【００４７】
効果適用部１２８の遠近補正部１３２は、被写体の位置と同期化された主信号に対して遠近効果を適用するように処理する。この時、遠近補正部１３２は、映像処理部１０２の遠近情報分析部１１６によって確認された被写体の遠近情報を用いて主信号に対する遠近効果を適用する。即ち、遠近補正部１３２は、被写体が基準点から離れる場合、主信号の強さを小さく調整して低周波信号の量を相対的に差引して残響を加え、逆に被写体が基準点に近づく場合は、主信号の強さを大きく調整して低周波信号の量を相対的に増加させることで遠近効果を適用する。
【００４８】
また、遠近補正部１３２は、主信号の強さの変動によって背景信号の大きさを調節し、全体のオーディオデータ（主信号＋背景信号）の強さが一定に保たれるように処理する。ミキサー１３４は、被写体の動き（位置及び遠近）による効果が適用された主信号と背景信号を合成したオーディオデータを生成する。
【００４９】
上述のようにオーディオ処理部１０４の動作は、メモリー部１０６に保存されている特定のソフトウェアモジュール（命令語セット）によって実行され、オーディオ処理部１０４を構成する要素の動作もソフトウェアモジュールで実行される。
【００５０】
図４は、本発明の一実施形態によるポータブル端末における立体データを生成するステップを示す流れ図である。
【００５１】
図４を参照すると、ポータブル端末は、先ず２０１段階で、立体データを生成するか否かを確認する。ここで、立体データは、それぞれ別の角度で具備された多数のカメラモジュールを用いて撮影された被写体に対する映像データを一つのデータとして合成したデータであり、立体映像ビューアー（例：バリアーＬＣＤ）を通じてユーザーに立体効果を提供し、立体データは、映像データに対する立体効果だけではなく、オーディオデータに対する立体効果も提供する。
【００５２】
２０１段階で立体データを生成しないことが確認された場合、ポータブル端末は、２１７段階に進行して該当の機能（例：待機モード）を実行する。
【００５３】
一方、２０１段階で立体データを生成することが確認された場合、ポータブル端末は、２０３段階に進行して映像データ獲得モジュールを動作させた後、２０５段階に進行して映像データ獲得モジュールを通じて映像データを獲得する。ここで、映像データ獲得モジュールは、静止画データ又は動画データを獲得することができるカメラモジュールを意味し、ポータブル端末は、多数のカメラモジュールを具備して同一の被写体に対してそれぞれ視点が異なる映像データを獲得する。
【００５４】
次に、ポータブル端末は、２０７段階に進行して映像データ獲得モジュールで獲得した映像データから被写体を把握する。
【００５５】
次に、ポータブル端末は、２０９段階に進行して以前の映像データの被写体の位置と現在獲得した映像データの被写体の位置を把握した後、２１１段階に進行して被写体に対する動きが把握されたか否かを確認する。これは、獲得した映像データの被写体が位置を変更したのか又は被写体が移動しているのかを把握することで、ポータブル端末が、獲得した映像データの被写体の位置変化を確認するためである。
【００５６】
２１１段階で被写体に対する動きが把握されなかった場合、ポータブル端末は、２１９段階に進行して一般的なオーディオデータを生成する。この時、ポータブル端末は、背景で発生するオーディオデータと被写体で発生するオーディオデータの強さが一定に保たれるように処理する。
【００５７】
一方、２１１段階で被写体に対する動きが把握された場合、ポータブル端末は、２１３段階に進行して被写体の位置及び遠近情報を分析する。この時、ポータブル端末は、以前の映像データの被写体の位置と現在獲得した映像データの被写体の位置変化の程度を把握して被写体の位置及び遠近情報を把握する。
【００５８】
次に、ポータブル端末は、２１５段階に進行して被写体の位置及び遠近情報によってオーディオデータに立体効果を適用するように処理する。即ち、ポータブル端末は、被写体に当たる主信号の強さを強くし、被写体を除いた背景に当たるオーディオデータの強さを弱くするようにオーディオデータに遠近感を適用する。また、ポータブル端末は、被写体が映像データの視聴者の方向に移動する場合、被写体に対する主信号の強さを徐々に強く処理してユーザーの聴音効果を進める。
【００５９】
まとめると、本実施形態によるポータブル端末は、立体データのための映像データを獲得した後、獲得した映像データの被写体を用いてオーディオデータの効果の適用可否を判断し、被写体の動きによって主信号と背景信号に効果を適用する。
【００６０】
最後に、ポータブル端末は、立体効果が適用されたオーディオデータと映像データを再生するように処理した後、本アルゴリズムを終了する。
【００６１】
図５は、本発明の一実施形態によるポータブル端末におけるオーディオデータに立体効果を適用するステップを示す流れ図である。
【００６２】
図５を参照すると、ポータブル端末は、先ず３０１段階でオーディオデータ獲得モジュールを作動させた後、３０３段階に進行してオーディオデータを獲得する。ここで、オーディオデータ獲得モジュールは、映像データの獲得の際に、周辺で発生するオーディオデータを収集するマイクを意味し、ポータブル端末は、多数のマイクを具備して映像データの被写体で発生するオーディオデータと、被写体を除いた背景で発生するオーディオデータを獲得する。
【００６３】
次に、ポータブル端末は、３０５段階に進行して、獲得したオーディオデータから映像データの被写体で発生したオーディオデータである第１オーディオデータ（主信号）を分類する。ここで、ポータブル端末は、映像データの被写体の位置情報を基盤にして第１オーディオデータを分類し、この時、ポータブル端末は、マイクアレイ及びビーム形成技術を基盤にして、被写体の方向を照準して第１オーディオデータを区分する。また、ポータブル端末は、単純に入力された一つ以上のオーディオチャンネルの共通成分（モノラル）を分離することにより、純粋なステレオ成分で構成された第１オーディオデータを区分する。
【００６４】
次に、ポータブル端末は、３０７段階で、獲得したオーディオデータから映像データの周辺で発生したオーディオデータである第２オーディオデータ（背景信号）を分類する。
【００６５】
この時、ポータブル端末は、獲得したオーディオデータから第１オーディオデータを除いた背景オーディオデータを抽出することで、上述のようにマイクアレイ及びビーム形成技術を基盤にして、背景方向を照準して周辺の背景に対する第２オーディオデータを抽出する。また、ポータブル端末は、獲得したオーディオデータから第１オーディオデータを差引して第２オーディオデータを抽出する。
【００６６】
次に、ポータブル端末は、３０９段階で、映像データの被写体に対する位置及び遠近情報を確認した後、３１１段階に進行して被写体の位置及び遠近情報に合わせて第１オーディオデータと第２オーディオデータに立体効果を適用するように処理する。
【００６７】
即ち、ポータブル端末は、被写体の遠近情報によって第１オーディオデータと第２オーディオデータの発生方向、角度などを設定することで、ＨＲＴＦ（Ｈｅａｄ Ｒｅｌａｔｅｄ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）を基盤にして、第１オーディオデータと第２オーディオデータを遠近情報に合わせて同期化させる。即ち、ポータブル端末は、映像データの被写体が端末のユーザー方向に移動する場合、第１オーディオデータの強さを大きく調整（第２オーディオデータの強さを小さく調整）し、低周波信号の量を相対的に増加させるように処理する。また、ポータブル端末は、映像データの被写体が端末のユーザー方向から離れる場合、第１オーディオデータの強さを小さく調整して第２オーディオデータを大きく調整し、低周波信号の量を相対的に差引して残響を追加するように処理する。
【００６８】
また、ポータブル端末は、映像データの被写体の移動方向によって第１オーディオデータ及び第２オーディオデータにパニング効果を適用するように処理する。
【００６９】
また、ポータブル端末は、被写体が移動する場合、第２オーディオデータの強さを減らし、第１オーディオデータの強さを高めて移動する被写体を強調するように処理する。
【００７０】
更に、ポータブル端末は、第１オーディオデータ及び第２オーディオデータの強さを均一に適用するため、映像データに対する第１オーディオデータ及び第２オーディオデータの強さがどちらか一方に偏らないように処理する。
【００７１】
次に、ポータブル端末は、第１オーディオデータと第２オーディオデータを合算した後、信号処理されたオーディオＰＣＭ信号をバイナリ圧縮データファイルにエンコードして映像データと連動するようにする。
【００７２】
最後に、ポータブル端末は本アルゴリズムを終了する。
【００７３】
上述のようなポータブル端末は、立体効果が適用されたオーディオデータを次のように処理する。
【００７４】
先ず、ポータブル端末は、既に獲得した映像データと立体効果が適用されたオーディオデータを圧縮して立体データを生成した後、生成された立体データを復号化して立体オーディオと立体映像を再生して立体効果を提供する。
【００７５】
また、ポータブル端末は、立体効果が適用されないオーディオデータで生成された立体データを再生する途中に、映像データに当たる立体オーディオデータ（オーディオデータに立体効果を適用）を生成して再生することで立体効果を提供することができる。
【００７６】
図６及び図７は、一般的なポータブル端末と本発明の一実施形態によるポータブル端末における立体データの再生画面を示す図であり、図６は一般的なポータブル端末における立体データの再生画面を示す図である。
【００７７】
図６を参照すると、ポータブル端末は、多数のカメラモジュールを通じて獲得したイメージ、即ちそれぞれ別の視点で同一の被写体を撮影して獲得した多数の映像データを再生して立体効果を提供する。しかし、一般的なポータブル端末は、オーディオデータに対して立体効果を適用せずに被写体と背景に対して等しい効果のオーディオデータを再生する。
【００７８】
即ち、ポータブル端末は、図示したようにレーシングゲームに対する映像データを獲得する。ここで、被写体はレーシングを準備する自動車４０１とし、背景は自動車の周辺に位置する観客４０３、４０５とする。
【００７９】
また、ポータブル端末は、被写体に対するオーディオデータを獲得し、背景に対するオーディオデータを獲得する。即ち、被写体はエンジン音を発生させて、右側の背景及び左側の背景で喊声音を発生させる。
【００８０】
ポータブル端末は、被写体を撮影した多数の映像データ（同一被写体に対して視点が異なる映像データ）を用いて映像データに対する立体効果を提供することができる。しかし、オーディオデータに対する立体効果を提供することができず、一般的なポータブル端末は、背景に対するオーディオデータと被写体に対するオーディオデータを等しいレベルで出力してリアリティーを提供することができない。
【００８１】
図７は、本発明の一実施形態によるポータブル端末における立体データの再生画面を示す図である。
【００８２】
図７を参照すると、ポータブル端末は、多数のカメラモジュールを通じて獲得したイメージ、即ちそれぞれ別の視点で同一被写体を撮影して獲得した多数の映像データを再生して立体効果を提供する。一般的なポータブル端末は、オーディオデータに対して立体効果を適用できずに被写体と背景に対して等しい効果のオーディオデータを再生するが、本発明によるポータブル端末は、被写体と背景に対するオーディオデータに立体効果を適用するように処理する。
【００８３】
即ち、ポータブル端末は、入力を受けたオーディオデータから第１オーディオデータと第２オーディオデータを抽出する。ここで、第１オーディオデータは被写体で発生するオーディオデータを意味し、第２オーディオデータは背景で発生するオーディオデータを意味する。
【００８４】
ポータブル端末は、被写体の動きによる位置及び遠近情報を分析して第１オーディオデータ及び第２オーディオデータに立体効果を適用する。
【００８５】
即ち、ポータブル端末は、被写体が移動する場合、背景に当たる第２オーディオデータの強さを減らして、被写体に当たる第１オーディオデータの強さを高める。一例として、ポータブル端末は、図示したように、決勝点に到逹する被写体の警笛音４１０を大きくし、周辺に位置する観客の歓呼音４１２、４１４を警笛音より小さくして被写体の音を強調する。
【００８６】
図８は、本発明の他の実施形態によるポータブル端末におけるオーディオデータに対する立体効果の適用視点を把握するステップを示す流れ図である。
【００８７】
図８を参照すると、ポータブル端末は、先ず５０１段階で、第１オーディオデータを周波数領域で分析する。ここで、第１オーディオデータは被写体で発生するデータであり、被写体の動きによって立体効果が適用されるオーディオデータである。
【００８８】
次に、ポータブル端末は、５０３段階に進行して特定周波数領域でオーディオ信号が変化することを確認した後、５０５段階に進行し、映像データを分析して被写体の動きを確認する。この時、ポータブル端末は、以前のフレームのオーディオ信号と現在のフレームのオーディオ信号を比べて特定周波数領域でオーディオ信号が変化することを確認する。
【００８９】
次に、ポータブル端末は、５０７段階に進行して被写体が動く視点にオーディオ信号の変化が発生するか否かを確認する。
【００９０】
これは、被写体の移動によって周波数領域でオーディオ信号が変化することを利用し、オーディオデータを用いて被写体の動きを把握することで、被写体の動きとオーディオ信号の変化が同時に発生することから、被写体の動きによって発生するオーディオデータに立体効果を適用できるものと判断する。
【００９１】
５０７段階で被写体が動く視点にオーディオ信号の変化が確認されない場合、ポータブル端末は、オーディオデータに立体効果を適用せずに、５０１段階に進行して立体効果の適用視点を再確認する。
【００９２】
一方、５０７段階で被写体が動く視点にオーディオ信号の変化が確認された場合、５０９段階に進行して、ポータブル端末は、オーディオデータに立体効果を適用した後、本アルゴリズムを終了する。
【００９３】
この時、ポータブル端末は、以前のフレームのオーディオ信号と現在のフレームのオーディオ信号を比べてオーディオ信号が大きくなることを把握した場合、被写体が前に近づいていると把握してオーディオデータを強調させる。
【００９４】
これは、ポータブル端末が映像データに対する主信号が被写体に当たるオーディオデータなのかを把握するために、ポータブル端末が映像データの被写体の動きだけを利用してオーディオデータに立体効果を適用する場合、主信号が背景に当たる信号の場合に被写体の動きによって立体効果を適用することができないためである。
【００９５】
拳闘競技を例えにすると、ポータブル端末は、一般的に被写体である選手の動きを把握して、拳闘選手から発生するオーディオデータに立体効果を適用する。
【００９６】
しかし、ポータブル端末が、拳闘選手から発生するオーディオデータを背景信号と定義し、観衆から発生するオーディオデータを主信号として定義した場合、被写体である選手の動きによって観衆の歓呼音が強調されることがあるからである。
【００９７】
本発明の実施形態による方法は、ハードウェア、ソフトウェア、又はハードウェアとソフトウェアの組み合わせの形で実装することができる。
【００９８】
ソフトウェアで実装する場合、一つ以上のプログラム（ソフトウェアモジュール）を保存するコンピューター読み取り可能な記録媒体が提供される。コンピューター読み取り可能な記録媒体に保存される一つ以上のプログラムは、ポータブル端末のような電子装置内の一つ以上のプロセッサによって実行されるように構成される。一つ以上のプログラムは、電子装置に、本発明の実施形態による方法を実行させる命令語を備える。
【００９９】
このようなプログラム（ソフトウェアモジュール、ソフトウェア）は、ランダムアクセスメモリー（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、フラッシュメモリーを備える不揮発性（ｎｏｎ−ｖｏｌａｔｉｌｅ）メモリー、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、電気的消却可能プログラム可能ＲＯＭ（ＥＥＰＲＯＭ：Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、磁気ディスク記憶装置（Ｍａｇｎｅｔｉｃ Ｄｉｓｃ Ｓｔｏｒａｇｅ Ｄｅｖｉｃｅ）、コンパクトディスクＲＯＭ（ＣＤ−ＲＯＭ：Ｃｏｍｐａｃｔ Ｄｉｓｃ−ＲＯＭ）、デジタル多目的ディスク（ＤＶＤｓ：Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃｓ）又は他の形態の光学記憶装置、磁気カセット（Ｍａｇｎｅｔｉｃ Ｃａｓｓｅｔｔｅ）に保存することができる。或いは、これらの一部又は全部の組み合わせで構成されたメモリーに保存することができる。また、それぞれの構成メモリーは多数個を備えることもできる。
【０１００】
また、電子装置に、インターネット（Ｉｎｔｅｒｎｅｔ）、イントラネット（Ｉｎｔｒａｎｅｔ）、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＬＡＮ（Ｗｉｄｅ ＬＡＮ）、又はＳＡＮ（Ｓｔｏｒａｇｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）のような通信ネットワーク、或いはこれらの組み合わせで構成された通信ネットワークを通じてアクセスできる付着可能な記憶装置に保存することができる。このような記憶装置は外部ポートを通じて電子装置に接続することができる。
【０１０１】
また、通信ネットワーク上の別途の記憶装置をポータブル電子装置に接続することもできる。
【０１０２】
一例として、一つ以上のプロセッサ、メモリー、及びメモリーに保存されて一つ以上のプロセッサによって実行されるように構成される一つ以上のモジュールを備える電子装置のモジュールは、立体データ生成のための映像データ及びオーディオデータを獲得して、立体データで被写体の動き情報を把握し、映像データに対して立体効果を適用し、被写体の動き情報によってオーディオデータに立体効果を適用する命令語を備えることができる。
【０１０３】
また、電子装置のモジュールは、獲得した映像データから焦点に当たる被写体と背景とに区分し、被写体の位置及び遠近情報を把握する命令語を備えることができる。
【０１０４】
更に、電子装置のモジュールは、獲得したオーディオデータから映像データの被写体で発生するオーディオデータである第１オーディオデータを区分し、獲得したオーディオデータで映像データの背景で発生するオーディオデータである第２オーディオデータを区分し、被写体の動き情報を利用して第１オーディオデータ及び第２オーディオデータに立体効果を適用する命令語を備えることができる。
【０１０５】
また、電子装置のモジュールは、立体効果が適用された映像データ及びオーディオデータを用いて立体データを生成して再生し、オーディオデータに対する立体効果が適用されない立体データの再生の場合、映像データの被写体情報を確認してオーディオデータに立体効果を適用して再生する命令語を備えることができる。
【０１０６】
また、電子装置のモジュールは、第１オーディオデータが映像データの被写体で発生した場合、オーディオデータに立体効果を適用する命令語を備えることができる。
【０１０７】
また、電子装置のモジュールは、第１オーディオデータを周波数領域で分析した後、被写体が動く視点にオーディオ信号の変化が発生したことを確認し、被写体が動く視点にオーディオ信号の変化が発生したことを確認した場合、第１オーディオデータが映像データの被写体で発生したと判断する命令語を備えることができる。
【０１０８】
以上、図面を参照しながら本発明の実施形態を説明したが、本発明は、上述の実施形態に限定されるものではなく、本発明の技術的範囲から逸脱しない範囲内で多様に変更実施することが可能である。
【符号の説明】
【０１０９】
１００ 制御部
１０２ 映像処理部
１０４ オーディオ処理部
１０６ メモリー部
１０８ 入力部
１１０ 表示部
１１２ 通信部
１１３ 映像データ獲得モジュール
１１４ 被写体確認部
１１５ 位置情報分析部
１１６ 遠近情報分析部
１２０ オーディオデータ獲得モジュール
１２２ 信号抽出部
１２４ 主信号抽出部
１２６ 背景信号抽出部
１２８ 効果適用部
１３０ 位置補正部
１３２ 遠近補正部
１３４ ミキサー
４０１ 自動車
４０３、４０５ 観客
４１０ 警笛音
４１２、４１４ 歓呼音
【特許請求の範囲】
【請求項１】
ポータブル端末における立体データを生成する装置であって、
立体データ生成のための映像データを獲得して映像データに対して立体効果を適用し、映像データの被写体の動き情報を把握する映像処理部と、
立体データ生成のためのオーディオデータを獲得した後、被写体の動き情報によってオーディオデータに立体効果を適用するように処理するオーディオ処理部と、を備えることを特徴とする立体データ生成装置。
【請求項２】
前記映像処理部は、
獲得した映像データから焦点に当たる被写体と背景とに区分する被写体確認部と、
被写体の位置情報を把握する位置情報分析部と、
被写体の遠近情報を把握する遠近情報分析部と、を備えることを特徴とする請求項１に記載の立体データ生成装置。
【請求項３】
前記オーディオ処理部は、
獲得したオーディオデータから被写体で発生するオーディオデータである第１オーディオデータと背景で発生するオーディオデータである第２オーディオデータとを区分する信号抽出部と、
被写体の動き情報を利用して前記第１オーディオデータ及び前記第２オーディオデータに立体効果を適用する効果適用部と、を備えることを特徴とする請求項１に記載の立体データ生成装置。
【請求項４】
前記効果適用部は、前記第１オーディオデータ又は前記第２オーディオデータを被写体の動き情報に合わせて設定することを特徴とする請求項３に記載の立体データ生成装置。
【請求項５】
前記立体データを生成する装置は、
立体効果が適用された映像データ及びオーディオデータを用いて立体データを生成して再生するように処理し、
オーディオデータに対する立体効果が適用されない立体データの再生の場合、前記ポータブル端末が映像データの被写体の動き情報を確認してオーディオデータに立体効果を適用して再生することを特徴とする請求項１に記載の立体データ生成装置。
【請求項６】
オーディオ処理部は、前記第１オーディオデータが映像データの被写体で発生した場合、オーディオデータに立体効果を適用することを特徴とする請求項３に記載の立体データ生成装置。
【請求項７】
オーディオ処理部は、前記第１オーディオデータを周波数領域で分析した後、被写体が動く視点にオーディオ信号の変化が発生したことを確認した場合、前記第１オーディオデータが映像データの被写体で発生したと判断することを特徴とする請求項６に記載の立体データ生成装置。
【請求項８】
ポータブル端末における立体データを生成する方法であって、
立体データ生成のための映像データ及びオーディオデータを獲得する段階と、
映像データで被写体の動き情報を把握する段階と、
映像データに対して立体効果を適用する段階と、
被写体の動き情報によってオーディオデータに立体効果を適用する段階と、を有することを特徴とする立体データ生成方法。
【請求項９】
映像データで被写体の動き情報を把握する段階は、
獲得した映像データから焦点に当たる被写体と背景とに区分する段階と、
被写体の位置及び遠近情報を把握する段階と、を含むことを特徴とする請求項８に記載の立体データ生成方法。
【請求項１０】
オーディオデータに立体効果を適用する段階は、
獲得したオーディオデータから映像データの被写体で発生するオーディオデータである第１オーディオデータを区分する段階と、
獲得したオーディオデータから映像データの背景で発生するオーディオデータである第２オーディオデータを区分する段階と、
被写体の動き情報を利用して前記第１オーディオデータ及び前記第２オーディオデータに立体効果を適用する段階と、を含むことを特徴とする請求項８に記載の立体データ生成方法。
【請求項１１】
前記第１オーディオデータ及び前記第２オーディオデータに立体効果を適用する段階は、
前記第１オーディオデータ又は前記第２オーディオデータを被写体の動きに合わせて設定する段階であることを特徴とする請求項１０に記載の立体データ生成方法。
【請求項１２】
前記立体データを生成する方法は、
立体効果が適用された映像データ及びオーディオデータを用いて立体データを生成して再生する段階を含み、
オーディオデータに対する立体効果が適用されない立体データの再生の場合、前記ポータブル端末が映像データの被写体の動き情報を確認してオーディオデータに立体効果を適用して再生することを特徴とする請求項８に記載の立体データ生成方法。
【請求項１３】
被写体の動き情報によってオーディオデータに立体効果を適用する段階は、
前記第１オーディオデータが映像データの被写体で発生した場合、オーディオデータに立体効果を適用する段階を含むことを特徴とする請求項１０に記載の立体データ生成方法。
【請求項１４】
被写体の動き情報によってオーディオデータに立体効果を適用する段階は、
前記第１オーディオデータを周波数領域で分析した後、被写体が動く視点にオーディオ信号の変化が発生したことを確認する段階と、
被写体が動く視点にオーディオ信号の変化が発生したことを確認した場合、前記第１オーディオデータが映像データの被写体で発生したと判断する段階を含むことを特徴とする請求項１３に記載の立体データ生成方法。
【請求項１５】
一つ以上のプロセッサと、
メモリーと、
前記メモリーに保存され、前記一つ以上のプロセッサによって実行されるように構成された一つ以上のモジュールと、を備える電子装置であって、
前記モジュールは、
立体データ生成のための映像データ及びオーディオデータを獲得し、
映像データで被写体の動き情報を把握し、
映像データに対して立体効果を適用し、
被写体の動き情報によってオーディオデータに立体効果を適用することを特徴とする電子装置。
【請求項１６】
前記モジュールは、獲得した映像データから焦点に当たる被写体と背景とに区分して、被写体の位置及び遠近情報を把握することを特徴とする請求項１５に記載の電子装置。
【請求項１７】
前記モジュールは、
獲得したオーディオデータから映像データの被写体で発生するオーディオデータである第１オーディオデータを区分し、
獲得したオーディオデータから映像データの背景で発生するオーディオデータである第２オーディオデータを区分し、
被写体の動き情報を利用して前記第１オーディオデータ及び前記第２オーディオデータに立体効果を適用することを特徴とする請求項１５に記載の電子装置。
【請求項１８】
前記モジュールは、立体効果が適用された映像データ及びオーディオデータを用いて立体データを生成して再生し、オーディオデータに対する立体効果が適用されない立体データの再生の場合、前記プロセッサが映像データの被写体の動き情報を確認してオーディオデータに立体効果を適用して再生することを特徴とする請求項１５に記載の電子装置。
【請求項１９】
前記モジュールは、前記第１オーディオデータが映像データの被写体で発生した場合、オーディオデータに立体効果を適用することを特徴とする請求項１７に記載の電子装置。
【請求項２０】
前記モジュールは、前記第１オーディオデータを周波数領域で分析した後、被写体が動く視点にオーディオ信号の変化が発生したことを確認し、被写体が動く視点にオーディオ信号の変化が発生したことを確認した場合、前記第１オーディオデータが映像データの被写体で発生したと判断することを特徴とする請求項１９に記載の電子装置。
【請求項１】
ポータブル端末における立体データを生成する装置であって、
立体データ生成のための映像データを獲得して映像データに対して立体効果を適用し、映像データの被写体の動き情報を把握する映像処理部と、
立体データ生成のためのオーディオデータを獲得した後、被写体の動き情報によってオーディオデータに立体効果を適用するように処理するオーディオ処理部と、を備えることを特徴とする立体データ生成装置。
【請求項２】
前記映像処理部は、
獲得した映像データから焦点に当たる被写体と背景とに区分する被写体確認部と、
被写体の位置情報を把握する位置情報分析部と、
被写体の遠近情報を把握する遠近情報分析部と、を備えることを特徴とする請求項１に記載の立体データ生成装置。
【請求項３】
前記オーディオ処理部は、
獲得したオーディオデータから被写体で発生するオーディオデータである第１オーディオデータと背景で発生するオーディオデータである第２オーディオデータとを区分する信号抽出部と、
被写体の動き情報を利用して前記第１オーディオデータ及び前記第２オーディオデータに立体効果を適用する効果適用部と、を備えることを特徴とする請求項１に記載の立体データ生成装置。
【請求項４】
前記効果適用部は、前記第１オーディオデータ又は前記第２オーディオデータを被写体の動き情報に合わせて設定することを特徴とする請求項３に記載の立体データ生成装置。
【請求項５】
前記立体データを生成する装置は、
立体効果が適用された映像データ及びオーディオデータを用いて立体データを生成して再生するように処理し、
オーディオデータに対する立体効果が適用されない立体データの再生の場合、前記ポータブル端末が映像データの被写体の動き情報を確認してオーディオデータに立体効果を適用して再生することを特徴とする請求項１に記載の立体データ生成装置。
【請求項６】
オーディオ処理部は、前記第１オーディオデータが映像データの被写体で発生した場合、オーディオデータに立体効果を適用することを特徴とする請求項３に記載の立体データ生成装置。
【請求項７】
オーディオ処理部は、前記第１オーディオデータを周波数領域で分析した後、被写体が動く視点にオーディオ信号の変化が発生したことを確認した場合、前記第１オーディオデータが映像データの被写体で発生したと判断することを特徴とする請求項６に記載の立体データ生成装置。
【請求項８】
ポータブル端末における立体データを生成する方法であって、
立体データ生成のための映像データ及びオーディオデータを獲得する段階と、
映像データで被写体の動き情報を把握する段階と、
映像データに対して立体効果を適用する段階と、
被写体の動き情報によってオーディオデータに立体効果を適用する段階と、を有することを特徴とする立体データ生成方法。
【請求項９】
映像データで被写体の動き情報を把握する段階は、
獲得した映像データから焦点に当たる被写体と背景とに区分する段階と、
被写体の位置及び遠近情報を把握する段階と、を含むことを特徴とする請求項８に記載の立体データ生成方法。
【請求項１０】
オーディオデータに立体効果を適用する段階は、
獲得したオーディオデータから映像データの被写体で発生するオーディオデータである第１オーディオデータを区分する段階と、
獲得したオーディオデータから映像データの背景で発生するオーディオデータである第２オーディオデータを区分する段階と、
被写体の動き情報を利用して前記第１オーディオデータ及び前記第２オーディオデータに立体効果を適用する段階と、を含むことを特徴とする請求項８に記載の立体データ生成方法。
【請求項１１】
前記第１オーディオデータ及び前記第２オーディオデータに立体効果を適用する段階は、
前記第１オーディオデータ又は前記第２オーディオデータを被写体の動きに合わせて設定する段階であることを特徴とする請求項１０に記載の立体データ生成方法。
【請求項１２】
前記立体データを生成する方法は、
立体効果が適用された映像データ及びオーディオデータを用いて立体データを生成して再生する段階を含み、
オーディオデータに対する立体効果が適用されない立体データの再生の場合、前記ポータブル端末が映像データの被写体の動き情報を確認してオーディオデータに立体効果を適用して再生することを特徴とする請求項８に記載の立体データ生成方法。
【請求項１３】
被写体の動き情報によってオーディオデータに立体効果を適用する段階は、
前記第１オーディオデータが映像データの被写体で発生した場合、オーディオデータに立体効果を適用する段階を含むことを特徴とする請求項１０に記載の立体データ生成方法。
【請求項１４】
被写体の動き情報によってオーディオデータに立体効果を適用する段階は、
前記第１オーディオデータを周波数領域で分析した後、被写体が動く視点にオーディオ信号の変化が発生したことを確認する段階と、
被写体が動く視点にオーディオ信号の変化が発生したことを確認した場合、前記第１オーディオデータが映像データの被写体で発生したと判断する段階を含むことを特徴とする請求項１３に記載の立体データ生成方法。
【請求項１５】
一つ以上のプロセッサと、
メモリーと、
前記メモリーに保存され、前記一つ以上のプロセッサによって実行されるように構成された一つ以上のモジュールと、を備える電子装置であって、
前記モジュールは、
立体データ生成のための映像データ及びオーディオデータを獲得し、
映像データで被写体の動き情報を把握し、
映像データに対して立体効果を適用し、
被写体の動き情報によってオーディオデータに立体効果を適用することを特徴とする電子装置。
【請求項１６】
前記モジュールは、獲得した映像データから焦点に当たる被写体と背景とに区分して、被写体の位置及び遠近情報を把握することを特徴とする請求項１５に記載の電子装置。
【請求項１７】
前記モジュールは、
獲得したオーディオデータから映像データの被写体で発生するオーディオデータである第１オーディオデータを区分し、
獲得したオーディオデータから映像データの背景で発生するオーディオデータである第２オーディオデータを区分し、
被写体の動き情報を利用して前記第１オーディオデータ及び前記第２オーディオデータに立体効果を適用することを特徴とする請求項１５に記載の電子装置。
【請求項１８】
前記モジュールは、立体効果が適用された映像データ及びオーディオデータを用いて立体データを生成して再生し、オーディオデータに対する立体効果が適用されない立体データの再生の場合、前記プロセッサが映像データの被写体の動き情報を確認してオーディオデータに立体効果を適用して再生することを特徴とする請求項１５に記載の電子装置。
【請求項１９】
前記モジュールは、前記第１オーディオデータが映像データの被写体で発生した場合、オーディオデータに立体効果を適用することを特徴とする請求項１７に記載の電子装置。
【請求項２０】
前記モジュールは、前記第１オーディオデータを周波数領域で分析した後、被写体が動く視点にオーディオ信号の変化が発生したことを確認し、被写体が動く視点にオーディオ信号の変化が発生したことを確認した場合、前記第１オーディオデータが映像データの被写体で発生したと判断することを特徴とする請求項１９に記載の電子装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１３−９３８４０（Ｐ２０１３−９３８４０Ａ）
【公開日】平成２５年５月１６日（２０１３．５．１６）
【国際特許分類】
【出願番号】特願２０１２−２０４４９２（Ｐ２０１２−２０４４９２）
【出願日】平成２４年９月１８日（２０１２．９．１８）
【出願人】（３９００１９８３９）三星電子株式会社 (8,520)
【氏名又は名称原語表記】Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ．
【住所又は居所原語表記】１２９，Ｓａｍｓｕｎｇ−ｒｏ，Ｙｅｏｎｇｔｏｎｇ−ｇｕ，Ｓｕｗｏｎ−ｓｉ，Ｇｙｅｏｎｇｇｉ−ｄｏ，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ
【Ｆターム（参考）】
【公開日】平成２５年５月１６日（２０１３．５．１６）
【国際特許分類】
【出願日】平成２４年９月１８日（２０１２．９．１８）
【出願人】（３９００１９８３９）三星電子株式会社 (8,520)
【氏名又は名称原語表記】Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ．
【住所又は居所原語表記】１２９，Ｓａｍｓｕｎｇ−ｒｏ，Ｙｅｏｎｇｔｏｎｇ−ｇｕ，Ｓｕｗｏｎ−ｓｉ，Ｇｙｅｏｎｇｇｉ−ｄｏ，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ
【Ｆターム（参考）】
[ Back to top ]