バーチャル映像用信号生成方法および送受信端末
【課題】 自端末の置かれている状況を正確に示す映像および振動を再現する信号を生成する。
【解決手段】 カメラと、表示装置と、振動を検出する振動センサと、振動を示す振動データに応じて振動する振動体とを備え、前記カメラで撮影された画像に基づく映像データおよび前記振動センサで検出された振動に基づく振動データを送信し、前記表示装置は受信した前記映像データによる映像を表示し、前記振動体は受信した前記振動データにより振動する送受信端末であって、前記カメラにより撮像された画像における前記振動体の振動によるぶれを除去するために前記カメラにより撮像された画像を前記受信した振動データを用いて補正する画像補正部を有する。
【解決手段】 カメラと、表示装置と、振動を検出する振動センサと、振動を示す振動データに応じて振動する振動体とを備え、前記カメラで撮影された画像に基づく映像データおよび前記振動センサで検出された振動に基づく振動データを送信し、前記表示装置は受信した前記映像データによる映像を表示し、前記振動体は受信した前記振動データにより振動する送受信端末であって、前記カメラにより撮像された画像における前記振動体の振動によるぶれを除去するために前記カメラにより撮像された画像を前記受信した振動データを用いて補正する画像補正部を有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像の送受信を行う映像送受信方法および送受信端末に関し、特に、振動を検出するセンサにより撮影している方向に対する振動の方向と強さを検出し、受信側の携帯端末に映像データとともに振動の情報を送信し、受信側の携帯端末ではその情報をもとに振動体を映像に合わせて振動させる映像送受信方法および送受信端末に関する。
【背景技術】
【０００２】
従来の携帯端末ではＴＶ電話機能等により映像および音声を送信することが行われてきた。映像および音声を送信する意味合いは、送信側携帯端末の置かれている状況を受信側端末の利用者に伝えることであるが、映像および音声だけでは送信側がどのような状況でその映像を撮影しているのかを受信側端末の利用者が体感するには不十分であった。
【０００３】
映像や音声の臨場感を増すために振動を加えることが映画などでは一般的に行われている。このような、振動を映像および音声に加えて状況を再生することのできる従来の送受信端末として、図３に示す構成が挙げられる。
【０００４】
図５は振動状況を再生することのできる従来の送受信端末の構成を示すブロック図であり、映像を撮影する送信側端末１と、送信側端末１で撮影した映像を送信するための通信路２と、送信された映像を受信して再生する受信側端末３から構成されている。
【０００５】
送信側端末１は、カメラ１１とマイク１２、映像信号符号化部１３、振動センサ１４、振動検知部１５、データ送信部１６から構成される。
【０００６】
カメラ１１は画像を撮影し、マイク１２は音声を収録し、それぞれのデータを映像信号符号化部１３に送信する。映像信号符号化部１３は、カメラ１１により撮影された画像のデータおよびマイク１２により収録された音声のデータを対応付けて符号化し、映像データとする。
【０００７】
振動センサ１４は送信側端末１における撮影方向に対する振動の方向と強さを計測し、振動検知部１５は振動センサ１４により計測された振動の方向と強さを示す振動データを生成する。
【０００８】
データ送信部１６は、映像信号符号部１３からの映像データに振動検知部１５からの振動データを付加して、通信路２に応じた信号形式に変換した上で通信路２へ送出する。
【０００９】
受信側端末３は、データ受信部３１、映像信号復号化部３２、表示装置３３、スピーカ３４、振動再現部３５、振動体３６で構成される。
【００１０】
データ受信部３１は、送信路２より受信した信号のうち、映像データを映像信号復号化部３２へ送信し、振動データを振動再現部３５へ送信する。
【００１１】
映像信号復号化部３２は、データ受信部３１より取得した映像データをもとに復号化を行い、画像データを表示装置３３に送付し、表示装置３３は対応した画像を表示する。同時に映像信号復号化部３２は、音声データをスピーカ３４へ送付し、スピーカ３４は対応した音声を再生する。
【００１２】
振動再現部３５は、データ受信部３１より取得した振動データをもとに振動の方向、大きさをもとにした制御データを振動体３６に送信し、振動体３６は対応した振動を行う。
【００１３】
次に、本従来例の動作を示す図６のフローチャートを参照して、本従来例の全体の動作について詳細に説明する。
【００１４】
まず、送信側端末１において、ある時点での画像がカメラ１１で撮影され、音声がマイク１２で収録される（ステップＡ０１）。撮影された画像と収録された音声は、映像信号符号化部１３で符号化される（ステップＡ０２）。一方で、同時点での端末の振動のデータが振動センサ１４で計測される（ステップＡ０３）。振動センサで計測された振動の情報は振動検知部１５で撮影している方向に対する振動の方向、強さとしてデータ化される（ステップＡ０４）。
【００１５】
これらの、ある時点での映像データと振動データはデータ送信部１６で結合され、通信路２に対応したデータ形式に変換され送出される（ステップＡ０６）。
【００１６】
送出されたデータは、通信路２を経由して受信側端末３のデータ受信部３１で受信される。受信されたデータは映像情報と振動情報が結合されているので、まずデータ受信部３１で映像情報と振動情報に分離される（ステップＡ０７，０８）。
【００１７】
分離されたデータのうち、映像情報は映像信号復号化部３２で復号化され（ステップＡ０９）、表示装置３３で画像が表示され、スピーカ３４で音声が再生される（ステップＡ１０）。
【００１８】
振動データは、振動再現部３５で振動の方向、大きさを再現するための計算が行われ、振動体３６に制御信号を送り振動させることにより映像に同期した振動を再現する。
【００１９】
以上、説明してきたように構成され、動作を行う本従来例では、送信側端末に付属した振動センサを使用して検知した振動情報を映像情報に付加して送出し、受信側端末で受信データより復号化された映像を再生するとともに、振動情報にもとづいて振動体を振動させることにより、振動を伴う映像を再現することができる。
【００２０】
なお、上述した送信側端末１および受信側端末３は別体のものとして説明したが、これらは実際には同じ筐体内に設けられ、相手先端末から送られてきた信号による、映像、音声を見聞きし、振動を体感しながら自端末で撮像した映像、録音した音声、自端末の振動状況を示す信号を相手先端末に送ることとなる。
【００２１】
自端末の振動状況を示す信号として、振動センサで検出した信号をそのまま相手先端末に送ると、相手先端末から送られてきた信号による振動を含むものとなり、自端末の振動状況として正確なものとはならない。
【００２２】
自端末の振動状況を示す信号を正確なものとするための従来例として、特許文献１（特開２０００−４９９５６号公報）に開示されるものが挙げられる。特許文献１には、自端末の振動センサで検出した信号から相手先端末から送られてきた振動を示す信号を差し引いて自端末の振動状況を示す信号とすることが開示されている。
【特許文献１】特開２０００−４９９５６号公報
【発明の開示】
【発明が解決しようとする課題】
【００２３】
上述した従来の技術のうち、自端末の振動状況を示す信号として、振動センサで検出した信号をそのまま相手先端末に送る場合には自端末の振動状況として正確なものを示すものとはならないという問題点がある。
【００２４】
特許文献１に開示される発明においては、自端末の振動状況として正確なものを示すものとなる。しかしながら、撮影した映像は相手先端末から送られてきた信号による振動が行われている状況のなかで撮影された映像となり、自端末の置かれている状況を正確に示す映像にならないという問題点がある。
【００２５】
本発明は上述したような従来の技術が有する問題点に鑑みてなされたものであって、自端末の置かれている状況を正確に示す映像および振動を再現することのできるバーチャル映像用信号生成方法および送受信端末を実現することを目的とする。
【課題を解決するための手段】
【００２６】
本発明の送受信端末は、カメラと、表示装置と、振動を検出する振動センサと、振動を示す振動データに応じて振動する振動体とを備え、前記カメラで撮影された画像に基づく映像データおよび前記振動センサで検出された振動に基づく振動データを送信し、前記表示装置は受信した前記映像データによる映像を表示し、前記振動体は受信した前記振動データにより振動する送受信端末であって、
前記カメラにより撮像された画像における前記振動体の振動によるぶれを除去するために前記カメラにより撮像された画像を前記受信した振動データを用いて補正する画像補正部を有することを特徴とする。
【００２７】
この場合、前記振動センサにより検出された振動における前記振動体の振動による影響を除去するために前記振動センサにより検出された振動を示す検出振動データを前記受信した振動データを用いて補正する振動補正部を有するとしてもよい。
【００２８】
本発明のバーチャル映像用信号生成方法は、カメラと、表示装置と、振動を検出する振動センサと、振動を示す振動データに応じて振動する振動体とを備え、前記カメラで撮影された画像に基づく映像データおよび前記振動センサで検出された振動に基づく振動データを送信し、前記表示装置は受信した前記映像データによる映像を表示し、前記振動体は受信した前記振動データにより振動する送受信端末で行われるバーチャル映像用信号生成方法であって、
前記カメラにより撮像された画像における前記振動体の振動によるぶれを除去するために前記カメラにより撮像された画像を前記受信した振動データを用いて補正するステップと、
前記振動センサにより検出された振動における前記振動体の振動による影響を除去するために前記振動センサにより検出された振動を示す検出振動データを前記受信した振動データを用いて補正するステップと、
を有することを特徴とする。
【発明の効果】
【００２９】
上記のように構成される本発明においては、相手先端末からの振動信号による振動が行われている状態で撮影された画像、検出された振動から、相手先端末からの振動信号による振動による影響が除去されて相手先端末への映像信号や振動信号とされるので、自端末の置かれている状況を正確に示す映像信号および振動信号とすることができる効果がある。
【発明を実施するための最良の形態】
【００３０】
次に、本発明の実施例について図面を参照して説明する。
【００３１】
図１は本発明の一実施例の構成を示すブロック図である。図１に示される送受信端末１０４は通信路１０３を介して他の送受信端末（不図示）と送受信を行うもので、図３に示した送信側端末１の機能を備える送信ブロック１０１と、受信側端末３の機能を備える受信ブロック１０２から構成されている。
【００３２】
送信ブロック１０１は、カメラ１１１、マイク１１２、映像信号符号化部１１３、振動センサ１１４、振動検知部１１５、データ送信部１１６、画像補正部１１７、振動補正部１１８から構成される。
【００３３】
受信ブロック１０３は、データ受信部１３１、映像信号復号化部１３２、表示装置１３３、スピーカ１３４、振動再現部１３５、振動体１３６から構成される。
【００３４】
本実施例の動作について、まず、受信ブロック１０３の動作から説明する。
【００３５】
データ受信部１３１は、通信路１０３より受信した信号のうち、映像データを映像信号復号化部１３２へ送信し、振動データを振動再現部１３５へ送信する。
【００３６】
映像信号復号化部１３２は、データ受信部１３１より取得した映像データをもとに復号化を行い、画像データを表示装置１３３に送付し、表示装置１３３は対応した画像を表示する。同時に映像信号復号化部１３２は、音声データをスピーカ１３４へ送付し、スピーカ１３４は対応した音声を再生する。
【００３７】
振動再現部１３５は、データ受信部１３１より取得した振動データをもとに振動の方向、大きさをもとにした制御データを振動体１３６に送信し、振動体１３６は対応した振動を行う。
【００３８】
次に、送信ブロック１０１の動作について説明する。
【００３９】
カメラ１１１は画像を撮影し、その映像データを画像補正部１１７へ送信する。マイク１１２は音声を収録し、その音声データを映像信号符号化部１１３に送信する。
【００４０】
上記の映像データは、相手先端末からの振動データにより振動体１３６が振動している状況下で撮影されたものであり、振動によるぶれを含んだものとなっている。
【００４１】
画像補正部１１７は、振動体１３６による画像のぶれを除去するために設けられたもので、画像補正部１１７には映像データの他にデータ受信部１３１から相手先端末からの振動データが送られてきている。画像補正部１１７は、カメラ１１１で撮影された画像に対して、データ受信部１３１からの振動データをもとに、振動体１３６が振動することによる画像のぶれ等の影響を補正し、映像信号符号化部１１３に送信する。ここで行われる画像のぶれ等の影響の補正手法としては、振動データによりカメラ１１１の動きを予測し、その動きによる撮影画像のぶれがキャンセルされるように撮影画像全体を動かすことが挙げられるが、電子カメラの手ぶれ補正に使用されているさまざまな手法を用いることができ、これに限定されるものではない。
【００４２】
映像信号符号化部１１３は、カメラ１１１により撮影され、画像補正部１１７にて補正された画像のデータおよびマイク１２により収録された音声のデータを対応付けて符号化し、映像データとしてデータ送信部１１６へ送出する。
【００４３】
振動センサ１１４は送受信端末１０４における撮影方向に対する振動の方向と強さを計測して振動検知部１１５へ送出し、振動検知部１１５は振動センサ１１４により計測された振動の方向と強さを示す振動データを生成し、振動補正部１１８へ送出する。
【００４４】
上記の振動データは、相手先端末からの振動データにより振動体１３６が振動している状況下で計測されたものであり、振動体１３６による振動を含んだものとなっている。
【００４５】
振動補正部１１８は、同様に相手側端末から受信したデータに対応して自端末の振動体１３６が振動することにより、振動センサ１１４で計測される振動データが、端末に外的に加えられた振動に振動体１３６の振動が加わったものとなるため、この振動を除去するために設けられている。振動補正部１１８には映像データの他にデータ受信部１３１から相手先端末からの振動データが送られてきている。
【００４６】
振動補正部１１８は、振動検知部１１５で計測された振動情報に対してデータ受信部１３１から送信された振動データをもとに、振動体１３６の振動により加算されたデータを除去した振動データをデータ送信部１１６へ送信する。これにより、例えば、送受信端末１０４が外的に振動させられていない状態で、振動体１３６のみが振動している場合、振動補正部１１８がデータ送信部１１６へ送出する振動データは動いていない状態を示すもの（０）となる。
【００４７】
データ送信部１１６は、映像信号符号部１１３からの映像データに振動補正部１１８からの振動データを付加して、通信路１０３に応じた信号形式に変換した上で通信路１０３へ送出する。
【００４８】
次に、本実施例の動作を示す図２のフローチャートを参照して、本実施例の全体の動作について詳細に説明する。
【００４９】
まず、送信側端末１０１において、ある時点での画像がカメラ１１１で撮影され、音声がマイク１１２で収録される（ステップＡ１０１）。撮影された画像については、画像補正部１１７により相手先端末から送られてきた振動データによるブレが除去された映像とされ、収録された音声とともに映像信号符号化部１１３で符号化される（ステップＡ１０２）。
【００５０】
一方で、同時点での端末の振動のデータが振動センサ１１４で計測される（ステップＡ１０３）。振動センサ１１４で計測された振動の情報は振動検知部１１５で撮影している方向に対する振動の方向、強さとしてデータ化され、振動補正部１１８にて相手先端末から送られてきた振動データが除去される（ステップＡ１０４）。
【００５１】
これらの、ある時点での映像データと振動データはデータ送信部１１６で結合され、通信路１０３に対応したデータ形式に変換され送出される（ステップＡ１０６）。
【００５２】
送出されたデータは、通信路１０３を経由して受信側端末１０３のデータ受信部１３１で受信される。受信されたデータは映像情報と振動情報が結合されているので、まずデータ受信部１３１で映像情報と振動情報に分離される（ステップＡ１０７，１０８）。
【００５３】
分離されたデータのうち、映像情報は映像信号復号化部３２で復号化され（ステップＡ１０９）、表示装置１３３で画像が表示され、スピーカ１３４で音声が再生される（ステップＡ１１０）。
【００５４】
振動データは、振動再現部１３５で振動の方向、大きさを再現するための計算が行われ、振動体１３６に制御信号を送り振動させることにより映像に同期した振動を再現する。
【００５５】
次に、具体例を用いて説明する
送受信端末１０４を例えば携帯電話とした場合、通信路１０３は携帯電話網となる。
【００５６】
カメラ１１１で、ある時点の画像を撮影し、また、音声をマイク１１２で収録する。このデータは映像信号符号化部１１３にてＭＰＥＧ４、ＡＭＲ等により符号化される。この画像は、相手先端末から送られてきた振動データによる振動体１３６の振動の影響が生じないものとなっている。
【００５７】
一方で、同じ時点で、送信側携帯電話に取り付けられた振動センサ１１４により、撮影方向に対する振動の方向と強さが計測され、振動検出部１１５でデータ化される。このデータは、相手先端末から送られてきた振動データによる振動体１３６の振動の影響が生じないものとなっている。
【００５８】
データの形式は、例えば撮影の方向をｘｙ座標、撮影の垂直方向をｚ座標としてｘｙｚ座標系での各方向の加速度を測定したものであり、図３のような状態を計測した場合、（ｘ，ｙ，ｚ）＝（２，１，１）＜単位はＧ＞のような形で表される。
【００５９】
データ送信部１１６では、ある時点での映像データと振動データが結合され、さらに無線信号に変換されて送信路である携帯電話網（通信路１０３）に送出される。
【００６０】
送出された無線信号は受信側携帯電話（受信側端末１０３）のデータ受信部１３１で受信され、それぞれ映像情報と振動情報に分離される。
【００６１】
映像情報は、映像信号復号化部でＭＰＥＧ４，ＡＭＲ等により復号化され、画像はＬＣＤ等の表示装置１３３で表示され、音声は外部スピーカ等のスピーカ１３４から再生される。
【００６２】
振動情報は、振動再現部１３５で受信側の状況を再現するように計算され、例えば図３のような情報が送信されてきた場合、受信側端末について図４のような振動を発生するような振動を発生するための制御信号のパラメータが計算され、振動体１３６に制御信号が送られることにより映像に同期した振動が再現される。
【００６３】
以上、説明してきたように構成され、動作を行う本従来例では、送信側端末に付属した振動センサを使用して検知した振動情報を映像情報に付加して送出し、受信側端末で受信データより復号化された映像を再生するとともに、振動情報にもとづいて振動体を振動させることにより、振動を伴う映像を再現することができる。
【００６４】
これにより、例えば高速でカーブを曲がっている自動車の中で撮影された映像を受信した受信側端末のユーザーは、送信側と同様の、高速でカーブを曲がっているような振動を体感することができる。
【００６５】
また、振動の情報について単に振動のあるなしを送信するだけではなく、撮影した方向に対する振動の方向、強さを送信し、受信側でそれを再現するように振動体の制御を行い振動させる（例えば、送信側で上方に振動したことを検知した場合、受信側の振動体を上方に振動させる）ことにより、受信側端末のユーザーはより忠実な振動を体感することができる。
【００６６】
本実施例における映像データおよび振動データは、相手先端末から送られてきた振動データによる振動の影響が生じないものとなっているため、相手側に送信する自端末の振動情報を付加した映像データおよび振動データを正確なものとすることができる。
【図面の簡単な説明】
【００６７】
【図１】本発明の一実施例の構成を示すブロック図である。
【図２】図１に示した実施例の動作を示すフローチャートである。
【図３】本発明で用いられる振動を示す信号を説明するための図である。
【図４】本発明で用いられる振動を示す信号を説明するための図である。
【図５】従来例の構成を示すブロック図である。
【図６】図５に示した従来例の動作を示すフローチャートである。
【符号の説明】
【００６８】
１０１ 送信ブロック
１０２ 受信ブロック
１０３ 通信路
１０４ 送受信端末
１１１ カメラ
１１２ マイク
１１３ 映像信号符号化部
１１４ 振動センサ
１１５ 振動検知部
１１６ データ送受信部
１１７ 画像補正部
１１８ 振動補正部
１３１ データ送受信部
１３２ 映像信号復号化部
１３３ 表示装置
１３４ スピーカ
１３５ 振動再現部
１３６ 振動体
【技術分野】
【０００１】
本発明は、映像の送受信を行う映像送受信方法および送受信端末に関し、特に、振動を検出するセンサにより撮影している方向に対する振動の方向と強さを検出し、受信側の携帯端末に映像データとともに振動の情報を送信し、受信側の携帯端末ではその情報をもとに振動体を映像に合わせて振動させる映像送受信方法および送受信端末に関する。
【背景技術】
【０００２】
従来の携帯端末ではＴＶ電話機能等により映像および音声を送信することが行われてきた。映像および音声を送信する意味合いは、送信側携帯端末の置かれている状況を受信側端末の利用者に伝えることであるが、映像および音声だけでは送信側がどのような状況でその映像を撮影しているのかを受信側端末の利用者が体感するには不十分であった。
【０００３】
映像や音声の臨場感を増すために振動を加えることが映画などでは一般的に行われている。このような、振動を映像および音声に加えて状況を再生することのできる従来の送受信端末として、図３に示す構成が挙げられる。
【０００４】
図５は振動状況を再生することのできる従来の送受信端末の構成を示すブロック図であり、映像を撮影する送信側端末１と、送信側端末１で撮影した映像を送信するための通信路２と、送信された映像を受信して再生する受信側端末３から構成されている。
【０００５】
送信側端末１は、カメラ１１とマイク１２、映像信号符号化部１３、振動センサ１４、振動検知部１５、データ送信部１６から構成される。
【０００６】
カメラ１１は画像を撮影し、マイク１２は音声を収録し、それぞれのデータを映像信号符号化部１３に送信する。映像信号符号化部１３は、カメラ１１により撮影された画像のデータおよびマイク１２により収録された音声のデータを対応付けて符号化し、映像データとする。
【０００７】
振動センサ１４は送信側端末１における撮影方向に対する振動の方向と強さを計測し、振動検知部１５は振動センサ１４により計測された振動の方向と強さを示す振動データを生成する。
【０００８】
データ送信部１６は、映像信号符号部１３からの映像データに振動検知部１５からの振動データを付加して、通信路２に応じた信号形式に変換した上で通信路２へ送出する。
【０００９】
受信側端末３は、データ受信部３１、映像信号復号化部３２、表示装置３３、スピーカ３４、振動再現部３５、振動体３６で構成される。
【００１０】
データ受信部３１は、送信路２より受信した信号のうち、映像データを映像信号復号化部３２へ送信し、振動データを振動再現部３５へ送信する。
【００１１】
映像信号復号化部３２は、データ受信部３１より取得した映像データをもとに復号化を行い、画像データを表示装置３３に送付し、表示装置３３は対応した画像を表示する。同時に映像信号復号化部３２は、音声データをスピーカ３４へ送付し、スピーカ３４は対応した音声を再生する。
【００１２】
振動再現部３５は、データ受信部３１より取得した振動データをもとに振動の方向、大きさをもとにした制御データを振動体３６に送信し、振動体３６は対応した振動を行う。
【００１３】
次に、本従来例の動作を示す図６のフローチャートを参照して、本従来例の全体の動作について詳細に説明する。
【００１４】
まず、送信側端末１において、ある時点での画像がカメラ１１で撮影され、音声がマイク１２で収録される（ステップＡ０１）。撮影された画像と収録された音声は、映像信号符号化部１３で符号化される（ステップＡ０２）。一方で、同時点での端末の振動のデータが振動センサ１４で計測される（ステップＡ０３）。振動センサで計測された振動の情報は振動検知部１５で撮影している方向に対する振動の方向、強さとしてデータ化される（ステップＡ０４）。
【００１５】
これらの、ある時点での映像データと振動データはデータ送信部１６で結合され、通信路２に対応したデータ形式に変換され送出される（ステップＡ０６）。
【００１６】
送出されたデータは、通信路２を経由して受信側端末３のデータ受信部３１で受信される。受信されたデータは映像情報と振動情報が結合されているので、まずデータ受信部３１で映像情報と振動情報に分離される（ステップＡ０７，０８）。
【００１７】
分離されたデータのうち、映像情報は映像信号復号化部３２で復号化され（ステップＡ０９）、表示装置３３で画像が表示され、スピーカ３４で音声が再生される（ステップＡ１０）。
【００１８】
振動データは、振動再現部３５で振動の方向、大きさを再現するための計算が行われ、振動体３６に制御信号を送り振動させることにより映像に同期した振動を再現する。
【００１９】
以上、説明してきたように構成され、動作を行う本従来例では、送信側端末に付属した振動センサを使用して検知した振動情報を映像情報に付加して送出し、受信側端末で受信データより復号化された映像を再生するとともに、振動情報にもとづいて振動体を振動させることにより、振動を伴う映像を再現することができる。
【００２０】
なお、上述した送信側端末１および受信側端末３は別体のものとして説明したが、これらは実際には同じ筐体内に設けられ、相手先端末から送られてきた信号による、映像、音声を見聞きし、振動を体感しながら自端末で撮像した映像、録音した音声、自端末の振動状況を示す信号を相手先端末に送ることとなる。
【００２１】
自端末の振動状況を示す信号として、振動センサで検出した信号をそのまま相手先端末に送ると、相手先端末から送られてきた信号による振動を含むものとなり、自端末の振動状況として正確なものとはならない。
【００２２】
自端末の振動状況を示す信号を正確なものとするための従来例として、特許文献１（特開２０００−４９９５６号公報）に開示されるものが挙げられる。特許文献１には、自端末の振動センサで検出した信号から相手先端末から送られてきた振動を示す信号を差し引いて自端末の振動状況を示す信号とすることが開示されている。
【特許文献１】特開２０００−４９９５６号公報
【発明の開示】
【発明が解決しようとする課題】
【００２３】
上述した従来の技術のうち、自端末の振動状況を示す信号として、振動センサで検出した信号をそのまま相手先端末に送る場合には自端末の振動状況として正確なものを示すものとはならないという問題点がある。
【００２４】
特許文献１に開示される発明においては、自端末の振動状況として正確なものを示すものとなる。しかしながら、撮影した映像は相手先端末から送られてきた信号による振動が行われている状況のなかで撮影された映像となり、自端末の置かれている状況を正確に示す映像にならないという問題点がある。
【００２５】
本発明は上述したような従来の技術が有する問題点に鑑みてなされたものであって、自端末の置かれている状況を正確に示す映像および振動を再現することのできるバーチャル映像用信号生成方法および送受信端末を実現することを目的とする。
【課題を解決するための手段】
【００２６】
本発明の送受信端末は、カメラと、表示装置と、振動を検出する振動センサと、振動を示す振動データに応じて振動する振動体とを備え、前記カメラで撮影された画像に基づく映像データおよび前記振動センサで検出された振動に基づく振動データを送信し、前記表示装置は受信した前記映像データによる映像を表示し、前記振動体は受信した前記振動データにより振動する送受信端末であって、
前記カメラにより撮像された画像における前記振動体の振動によるぶれを除去するために前記カメラにより撮像された画像を前記受信した振動データを用いて補正する画像補正部を有することを特徴とする。
【００２７】
この場合、前記振動センサにより検出された振動における前記振動体の振動による影響を除去するために前記振動センサにより検出された振動を示す検出振動データを前記受信した振動データを用いて補正する振動補正部を有するとしてもよい。
【００２８】
本発明のバーチャル映像用信号生成方法は、カメラと、表示装置と、振動を検出する振動センサと、振動を示す振動データに応じて振動する振動体とを備え、前記カメラで撮影された画像に基づく映像データおよび前記振動センサで検出された振動に基づく振動データを送信し、前記表示装置は受信した前記映像データによる映像を表示し、前記振動体は受信した前記振動データにより振動する送受信端末で行われるバーチャル映像用信号生成方法であって、
前記カメラにより撮像された画像における前記振動体の振動によるぶれを除去するために前記カメラにより撮像された画像を前記受信した振動データを用いて補正するステップと、
前記振動センサにより検出された振動における前記振動体の振動による影響を除去するために前記振動センサにより検出された振動を示す検出振動データを前記受信した振動データを用いて補正するステップと、
を有することを特徴とする。
【発明の効果】
【００２９】
上記のように構成される本発明においては、相手先端末からの振動信号による振動が行われている状態で撮影された画像、検出された振動から、相手先端末からの振動信号による振動による影響が除去されて相手先端末への映像信号や振動信号とされるので、自端末の置かれている状況を正確に示す映像信号および振動信号とすることができる効果がある。
【発明を実施するための最良の形態】
【００３０】
次に、本発明の実施例について図面を参照して説明する。
【００３１】
図１は本発明の一実施例の構成を示すブロック図である。図１に示される送受信端末１０４は通信路１０３を介して他の送受信端末（不図示）と送受信を行うもので、図３に示した送信側端末１の機能を備える送信ブロック１０１と、受信側端末３の機能を備える受信ブロック１０２から構成されている。
【００３２】
送信ブロック１０１は、カメラ１１１、マイク１１２、映像信号符号化部１１３、振動センサ１１４、振動検知部１１５、データ送信部１１６、画像補正部１１７、振動補正部１１８から構成される。
【００３３】
受信ブロック１０３は、データ受信部１３１、映像信号復号化部１３２、表示装置１３３、スピーカ１３４、振動再現部１３５、振動体１３６から構成される。
【００３４】
本実施例の動作について、まず、受信ブロック１０３の動作から説明する。
【００３５】
データ受信部１３１は、通信路１０３より受信した信号のうち、映像データを映像信号復号化部１３２へ送信し、振動データを振動再現部１３５へ送信する。
【００３６】
映像信号復号化部１３２は、データ受信部１３１より取得した映像データをもとに復号化を行い、画像データを表示装置１３３に送付し、表示装置１３３は対応した画像を表示する。同時に映像信号復号化部１３２は、音声データをスピーカ１３４へ送付し、スピーカ１３４は対応した音声を再生する。
【００３７】
振動再現部１３５は、データ受信部１３１より取得した振動データをもとに振動の方向、大きさをもとにした制御データを振動体１３６に送信し、振動体１３６は対応した振動を行う。
【００３８】
次に、送信ブロック１０１の動作について説明する。
【００３９】
カメラ１１１は画像を撮影し、その映像データを画像補正部１１７へ送信する。マイク１１２は音声を収録し、その音声データを映像信号符号化部１１３に送信する。
【００４０】
上記の映像データは、相手先端末からの振動データにより振動体１３６が振動している状況下で撮影されたものであり、振動によるぶれを含んだものとなっている。
【００４１】
画像補正部１１７は、振動体１３６による画像のぶれを除去するために設けられたもので、画像補正部１１７には映像データの他にデータ受信部１３１から相手先端末からの振動データが送られてきている。画像補正部１１７は、カメラ１１１で撮影された画像に対して、データ受信部１３１からの振動データをもとに、振動体１３６が振動することによる画像のぶれ等の影響を補正し、映像信号符号化部１１３に送信する。ここで行われる画像のぶれ等の影響の補正手法としては、振動データによりカメラ１１１の動きを予測し、その動きによる撮影画像のぶれがキャンセルされるように撮影画像全体を動かすことが挙げられるが、電子カメラの手ぶれ補正に使用されているさまざまな手法を用いることができ、これに限定されるものではない。
【００４２】
映像信号符号化部１１３は、カメラ１１１により撮影され、画像補正部１１７にて補正された画像のデータおよびマイク１２により収録された音声のデータを対応付けて符号化し、映像データとしてデータ送信部１１６へ送出する。
【００４３】
振動センサ１１４は送受信端末１０４における撮影方向に対する振動の方向と強さを計測して振動検知部１１５へ送出し、振動検知部１１５は振動センサ１１４により計測された振動の方向と強さを示す振動データを生成し、振動補正部１１８へ送出する。
【００４４】
上記の振動データは、相手先端末からの振動データにより振動体１３６が振動している状況下で計測されたものであり、振動体１３６による振動を含んだものとなっている。
【００４５】
振動補正部１１８は、同様に相手側端末から受信したデータに対応して自端末の振動体１３６が振動することにより、振動センサ１１４で計測される振動データが、端末に外的に加えられた振動に振動体１３６の振動が加わったものとなるため、この振動を除去するために設けられている。振動補正部１１８には映像データの他にデータ受信部１３１から相手先端末からの振動データが送られてきている。
【００４６】
振動補正部１１８は、振動検知部１１５で計測された振動情報に対してデータ受信部１３１から送信された振動データをもとに、振動体１３６の振動により加算されたデータを除去した振動データをデータ送信部１１６へ送信する。これにより、例えば、送受信端末１０４が外的に振動させられていない状態で、振動体１３６のみが振動している場合、振動補正部１１８がデータ送信部１１６へ送出する振動データは動いていない状態を示すもの（０）となる。
【００４７】
データ送信部１１６は、映像信号符号部１１３からの映像データに振動補正部１１８からの振動データを付加して、通信路１０３に応じた信号形式に変換した上で通信路１０３へ送出する。
【００４８】
次に、本実施例の動作を示す図２のフローチャートを参照して、本実施例の全体の動作について詳細に説明する。
【００４９】
まず、送信側端末１０１において、ある時点での画像がカメラ１１１で撮影され、音声がマイク１１２で収録される（ステップＡ１０１）。撮影された画像については、画像補正部１１７により相手先端末から送られてきた振動データによるブレが除去された映像とされ、収録された音声とともに映像信号符号化部１１３で符号化される（ステップＡ１０２）。
【００５０】
一方で、同時点での端末の振動のデータが振動センサ１１４で計測される（ステップＡ１０３）。振動センサ１１４で計測された振動の情報は振動検知部１１５で撮影している方向に対する振動の方向、強さとしてデータ化され、振動補正部１１８にて相手先端末から送られてきた振動データが除去される（ステップＡ１０４）。
【００５１】
これらの、ある時点での映像データと振動データはデータ送信部１１６で結合され、通信路１０３に対応したデータ形式に変換され送出される（ステップＡ１０６）。
【００５２】
送出されたデータは、通信路１０３を経由して受信側端末１０３のデータ受信部１３１で受信される。受信されたデータは映像情報と振動情報が結合されているので、まずデータ受信部１３１で映像情報と振動情報に分離される（ステップＡ１０７，１０８）。
【００５３】
分離されたデータのうち、映像情報は映像信号復号化部３２で復号化され（ステップＡ１０９）、表示装置１３３で画像が表示され、スピーカ１３４で音声が再生される（ステップＡ１１０）。
【００５４】
振動データは、振動再現部１３５で振動の方向、大きさを再現するための計算が行われ、振動体１３６に制御信号を送り振動させることにより映像に同期した振動を再現する。
【００５５】
次に、具体例を用いて説明する
送受信端末１０４を例えば携帯電話とした場合、通信路１０３は携帯電話網となる。
【００５６】
カメラ１１１で、ある時点の画像を撮影し、また、音声をマイク１１２で収録する。このデータは映像信号符号化部１１３にてＭＰＥＧ４、ＡＭＲ等により符号化される。この画像は、相手先端末から送られてきた振動データによる振動体１３６の振動の影響が生じないものとなっている。
【００５７】
一方で、同じ時点で、送信側携帯電話に取り付けられた振動センサ１１４により、撮影方向に対する振動の方向と強さが計測され、振動検出部１１５でデータ化される。このデータは、相手先端末から送られてきた振動データによる振動体１３６の振動の影響が生じないものとなっている。
【００５８】
データの形式は、例えば撮影の方向をｘｙ座標、撮影の垂直方向をｚ座標としてｘｙｚ座標系での各方向の加速度を測定したものであり、図３のような状態を計測した場合、（ｘ，ｙ，ｚ）＝（２，１，１）＜単位はＧ＞のような形で表される。
【００５９】
データ送信部１１６では、ある時点での映像データと振動データが結合され、さらに無線信号に変換されて送信路である携帯電話網（通信路１０３）に送出される。
【００６０】
送出された無線信号は受信側携帯電話（受信側端末１０３）のデータ受信部１３１で受信され、それぞれ映像情報と振動情報に分離される。
【００６１】
映像情報は、映像信号復号化部でＭＰＥＧ４，ＡＭＲ等により復号化され、画像はＬＣＤ等の表示装置１３３で表示され、音声は外部スピーカ等のスピーカ１３４から再生される。
【００６２】
振動情報は、振動再現部１３５で受信側の状況を再現するように計算され、例えば図３のような情報が送信されてきた場合、受信側端末について図４のような振動を発生するような振動を発生するための制御信号のパラメータが計算され、振動体１３６に制御信号が送られることにより映像に同期した振動が再現される。
【００６３】
以上、説明してきたように構成され、動作を行う本従来例では、送信側端末に付属した振動センサを使用して検知した振動情報を映像情報に付加して送出し、受信側端末で受信データより復号化された映像を再生するとともに、振動情報にもとづいて振動体を振動させることにより、振動を伴う映像を再現することができる。
【００６４】
これにより、例えば高速でカーブを曲がっている自動車の中で撮影された映像を受信した受信側端末のユーザーは、送信側と同様の、高速でカーブを曲がっているような振動を体感することができる。
【００６５】
また、振動の情報について単に振動のあるなしを送信するだけではなく、撮影した方向に対する振動の方向、強さを送信し、受信側でそれを再現するように振動体の制御を行い振動させる（例えば、送信側で上方に振動したことを検知した場合、受信側の振動体を上方に振動させる）ことにより、受信側端末のユーザーはより忠実な振動を体感することができる。
【００６６】
本実施例における映像データおよび振動データは、相手先端末から送られてきた振動データによる振動の影響が生じないものとなっているため、相手側に送信する自端末の振動情報を付加した映像データおよび振動データを正確なものとすることができる。
【図面の簡単な説明】
【００６７】
【図１】本発明の一実施例の構成を示すブロック図である。
【図２】図１に示した実施例の動作を示すフローチャートである。
【図３】本発明で用いられる振動を示す信号を説明するための図である。
【図４】本発明で用いられる振動を示す信号を説明するための図である。
【図５】従来例の構成を示すブロック図である。
【図６】図５に示した従来例の動作を示すフローチャートである。
【符号の説明】
【００６８】
１０１ 送信ブロック
１０２ 受信ブロック
１０３ 通信路
１０４ 送受信端末
１１１ カメラ
１１２ マイク
１１３ 映像信号符号化部
１１４ 振動センサ
１１５ 振動検知部
１１６ データ送受信部
１１７ 画像補正部
１１８ 振動補正部
１３１ データ送受信部
１３２ 映像信号復号化部
１３３ 表示装置
１３４ スピーカ
１３５ 振動再現部
１３６ 振動体
【特許請求の範囲】
【請求項１】
カメラと、表示装置と、振動を検出する振動センサと、振動を示す振動データに応じて振動する振動体とを備え、前記カメラで撮影された画像に基づく映像データおよび前記振動センサで検出された振動に基づく振動データを送信し、前記表示装置は受信した前記映像データによる映像を表示し、前記振動体は受信した前記振動データにより振動する送受信端末であって、
前記カメラにより撮像された画像における前記振動体の振動によるぶれを除去するために前記カメラにより撮像された画像を前記受信した振動データを用いて補正する画像補正部を有することを特徴とする送受信端末。
【請求項２】
請求項１記載の送受信端末において、
前記振動センサにより検出された振動における前記振動体の振動による影響を除去するために前記振動センサにより検出された振動を示す検出振動データを前記受信した振動データを用いて補正する振動補正部を有することを特徴とする送受信端末。
【請求項３】
カメラと、表示装置と、振動を検出する振動センサと、振動を示す振動データに応じて振動する振動体とを備え、前記カメラで撮影された画像に基づく映像データおよび前記振動センサで検出された振動に基づく振動データを送信し、前記表示装置は受信した前記映像データによる映像を表示し、前記振動体は受信した前記振動データにより振動する送受信端末で行われるバーチャル映像用信号生成方法であって、
前記カメラにより撮像された画像における前記振動体の振動によるぶれを除去するために前記カメラにより撮像された画像を前記受信した振動データを用いて補正するステップと、
前記振動センサにより検出された振動における前記振動体の振動による影響を除去するために前記振動センサにより検出された振動を示す検出振動データを前記受信した振動データを用いて補正するステップと、
を有することを特徴とするバーチャル映像用信号生成方法。
【請求項１】
カメラと、表示装置と、振動を検出する振動センサと、振動を示す振動データに応じて振動する振動体とを備え、前記カメラで撮影された画像に基づく映像データおよび前記振動センサで検出された振動に基づく振動データを送信し、前記表示装置は受信した前記映像データによる映像を表示し、前記振動体は受信した前記振動データにより振動する送受信端末であって、
前記カメラにより撮像された画像における前記振動体の振動によるぶれを除去するために前記カメラにより撮像された画像を前記受信した振動データを用いて補正する画像補正部を有することを特徴とする送受信端末。
【請求項２】
請求項１記載の送受信端末において、
前記振動センサにより検出された振動における前記振動体の振動による影響を除去するために前記振動センサにより検出された振動を示す検出振動データを前記受信した振動データを用いて補正する振動補正部を有することを特徴とする送受信端末。
【請求項３】
カメラと、表示装置と、振動を検出する振動センサと、振動を示す振動データに応じて振動する振動体とを備え、前記カメラで撮影された画像に基づく映像データおよび前記振動センサで検出された振動に基づく振動データを送信し、前記表示装置は受信した前記映像データによる映像を表示し、前記振動体は受信した前記振動データにより振動する送受信端末で行われるバーチャル映像用信号生成方法であって、
前記カメラにより撮像された画像における前記振動体の振動によるぶれを除去するために前記カメラにより撮像された画像を前記受信した振動データを用いて補正するステップと、
前記振動センサにより検出された振動における前記振動体の振動による影響を除去するために前記振動センサにより検出された振動を示す検出振動データを前記受信した振動データを用いて補正するステップと、
を有することを特徴とするバーチャル映像用信号生成方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２００７−３６３６０（Ｐ２００７−３６３６０Ａ）
【公開日】平成１９年２月８日（２００７．２．８）
【国際特許分類】
【出願番号】特願２００５−２１２７６７（Ｐ２００５−２１２７６７）
【出願日】平成１７年７月２２日（２００５．７．２２）
【出願人】（０００００４２３７）日本電気株式会社 (19,353)
【Ｆターム（参考）】
【公開日】平成１９年２月８日（２００７．２．８）
【国際特許分類】
【出願日】平成１７年７月２２日（２００５．７．２２）
【出願人】（０００００４２３７）日本電気株式会社 (19,353)
【Ｆターム（参考）】
[ Back to top ]