画像送信装置及びその送信方法
【目的】音声データが無音でありデータ量が小さくなる場合に、画像データをＩフレームとして符号化して送信するようにして、伝送エラーが発生してもその影響を解消する「画像送信装置及びその送信方法」を提供することである。
【構成】音声データと画像データとを多重化して送信する際、無音検出部２７は、マイク３３から取得した音声が無音であるか検出し、無音が検出された場合、画像コーデック２４は、カメラ３１から取得した画像をＰフレームに代えてＩフレームとして符号化して送信する。
【構成】音声データと画像データとを多重化して送信する際、無音検出部２７は、マイク３３から取得した音声が無音であるか検出し、無音が検出された場合、画像コーデック２４は、カメラ３１から取得した画像をＰフレームに代えてＩフレームとして符号化して送信する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像送信装置及びその送信方法に係わり、特に、音声及び画像を取得して符号化し、音声符号化データと画像符号化データとを多重化して送信する画像送信装置及びその送信方法に関する。
【背景技術】
【０００２】
近年、携帯電話や携帯情報端末ではカメラを搭載し、画像データ付き電子メールサービスやＴＶ電話サービス等の種々の画像データ伝送サービスが使用できるようになっている。しかしこのようなシステムにおいて、画像データのような情報量が大きいデータを伝送しようとすると、伝送帯域が問題となりそのままの画像データでは伝送することはできない。
そこで、画像データを伝送する場合には、画像の符号化／復号処理が必要であり、携帯電話や携帯情報端末では現在ＭＰＥＧ−４と呼ばれる画像の符号化／復号方式が採用されている。
【０００３】
ＭＰＥＧ−４は、画像データとして独立に意味をなす絶対値情報としてのフレーム（Ｉフレーム）と、１フレーム前の画像データとの差分情報であり画像データとして独立に意味をなさないフレーム（Ｐフレーム）で構成される。また、Ｉフレームは静止画として符号化した１画面の全画像情報を含む画像データであり、Ｐフレームは１フレーム前の動画像データとの差分情報であり、１画面の全画像情報ではない。そのため、ＩフレームはＰフレームと比較して、データ量が大きいが高画質という特徴を持つ。
【０００４】
図５はＭＰＥＧ−４を使用した画像データの伝送システムの動作例を模式的に表したものである。同図において、例えば送信装置ＣＰ１においてＶ１、Ｖ２、Ｖ３、・・、ＶＮ、・・に示す画像データがカメラにより順次撮影されたとする。まず、送信装置ＣＰ１は上記画像データＶ１を静止画として符号化しＩフレームを生成する。その後、送信装置ＣＰ１はこのＩフレームとマイクから取得した音声データとを多重化して送信する。これに対し、受信装置ＣＰ２は、上記Ｉフレームを基に１画面データＷ１を復号して表示するとともに、上記音声データを再生する。
次に送信装置ＣＰ１は、上記画像データＶ２、Ｖ３、・・、ＶＮ、・・が得られるごとに、これらの画像データＶ２、Ｖ３、・・、ＶＮ、・・とその１フレーム前の画像データＶ１、Ｖ２、・・、ＶＮ−１（図示しない）、・・との差分を検出し、この差分情報をそれぞれ符号化してＰフレームを生成する。その後、送信装置ＣＰ１はこのＰフレームとマイクから取得した音声データとを多重化して送信する。これに対し、受信装置ＣＰ２は、上記Ｐフレームを受信するごとにそれぞれ、そのデータを１画面前に表示した画像データＷ１、Ｗ２・・、ＷＮ−１（図示しない）に加算して画像データを復号して表示するとともに、上記音声データを再生する。
これにより、例えば数Ｍｂｐｓの情報量を持つ画像データは、数十Ｋｂｐｓの情報量として伝送することを可能としている。
【０００５】
しかし、図６に示すように、送信装置ＣＰ１より画像データ受信中に、送信装置ＣＰ１で撮影した画像データＶ２と画像データＶ１との差分情報であるＰフレームを伝送する際に通信障害等により伝送エラーが発生したとする。そうすると、伝送エラーの影響により、受信装置ＣＰ２で表示される画像データＷ２′は正確な画像として表示されない。また、次フレームである画像データＷ３′は１画面前に表示した動画像データＷ２′と送信装置ＣＰ１により送信されるＰフレームで構成されるため、正確な画像として表示することはできない。つまり、画像データ受信中に伝送エラーが発生した場合、その影響は現フレームだけでなく次フレーム以降にまで波及する。
【０００６】
この伝送エラー発生による受信画像への影響は、送信装置ＣＰ１により再びＩフレームが送信されることにより解消できる。しかし、送信装置ＣＰ１がＩフレームを送信するタイミングは送信装置ＣＰ１に依存されるため、Ｉフレームの送信タイミングが長くなることがある。したがって、送信装置ＣＰ１によっては通信終了時まで伝送エラー発生による受信画像への影響が続くことがあった。
【０００７】
Ｉフレーム送信制御の従来技術として、画像データ受信途中で画像データを記録開始する場合において、記録指示が入力された場合に受信側から送信側へＩフレームの送信要求を行い、受信側からの送信要求に応じて、送信側から受信側にＩフレームを伝送する伝送システムある（特許文献１参照）。この技術によれば、画像データ受信途中で記録を開始する場合でも、記録指示の入力直後から高画質のデータを記録できる。
【特許文献１】特開２００１−２５１６３１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、従来技術では、伝送エラーが発生してもＩフレームの送信要求がされない限り、Ｉフレームを送信しないため、伝送エラーによる受信画像への影響を解消することができない。
従って、本発明の目的は、音声データが無音でありデータ量が小さくなる場合に、画像データをＩフレームとして符号化して送信するようにして、伝送エラーが発生してもその影響を解消する画像送信装置及びその送信方法を提供することである。
【課題を解決するための手段】
【０００９】
本発明の第１の態様は、音声及び画像を取得して符号化し、音声符号化データと画像符号化データとを多重化して送信する画像送信装置であり、無音を検出する無音検出部と、前記無音検出部により無音が検出された場合、前記画像を画像データとして独立に意味を成す絶対値情報として符号化するように指示する制御部と、前記指示に基づいて、前記画像を前記絶対値情報として符号化する画像符号化部と、前記画像符号化部により前記絶対値情報として符号化された画像符号化データを送信する送信部と、を備えている。
【００１０】
上記画像送信装置の無音検出部は、前記音声符号化データのデータ量が所定値以下である場合、該音声符号化データを無音として検出する。
【００１１】
本発明の第２の態様は、音声及び画像を取得して符号化し、音声符号化データと画像符号化データとを多重化して送信する画像送信装置の送信方法であり、無音を検出する第１ステップ、前記無音が検出された場合、前記画像を画像データとして独立に意味を成す絶対値情報として符号化するように指示する第２ステップ、前記指示に基づいて、前記画像を前記絶対値情報として符号化して送信する第３ステップ、を有している。
【００１２】
前記第１ステップは、前記音声符号化データのデータ量が所定値以下である場合、該音声符号化データを無音として検出する。
【発明の効果】
【００１３】
本発明によれば、音声符号化データのデータ量に基づいて無音を検出し、前記無音が検出された場合、前記画像を画像データとして独立に意味を成す絶対値情報として符号化するように指示し、前記指示に基づいて、前記画像を前記絶対値情報として符号化して送信するように構成したため、画像データ送信中に伝送エラーが発生しても、無音時に、受信画像への画質の影響を解消することができる。
【発明を実施するための最良の形態】
【００１４】
（Ａ）無線ＴＶ電話通信の仕組み
図１は、移動通信システムの送信装置ＣＰ１と受信装置ＣＰ２間で画像データ、音声データおよびコンピュータデータを多重化伝送することにより、無線ＴＶ電話通信を行う際の仕組みを示す図である。
送信装置ＣＰ１と受信装置ＣＰ２は物理レイヤにより相互に接続され、ＭＵＸ−ＰＤＵと呼ばれるパケット単位でデータ伝送を行う。ＭＵＸ−ＰＤＵは、図１に示すように先頭にフラグとヘッダを配置し、その後ろに画像データ、音声データおよびコンピュータデータを交互に配置したものである。ヘッダにはＭＵＸ−ＰＤＵの内容を表す情報が挿入される。物理レイヤの上位にはＡＬ／ＭＵＸレイヤが配置され、このＡＬ／ＭＵＸレイヤにおいて上記ＭＵＸ−ＰＤＵが生成される。また、ＡＬ／ＭＵＸレイヤの上位には高位レイヤが配置され、ここでビデオチャネル、オーディオチャネルおよび制御・データチャネルの接続が行われる。高位レイヤは、後述する画像コーデック、音声コーデックおよびデータ通信部により実現される。
【００１５】
図２は、ＭＰＥＧ−４ストリームのデータ構造を示す図である。ＭＰＥＧ−４ストリームは図１に示したビデオチャネルに挿入され伝送される。このＭＰＥＧ−４ストリームでは、図２に示すように１画面の全ての画像要素を含むＩフレームがまず送信され、以後フレームタイミングごとに前フレームとの差分情報からなるＰフレームが順次送信される。但し、Ｐフレームに代えてＩフレームを送信することもできる。
【００１６】
（Ｃ）画像送受信装置の構成
図３は、本発明に係る画像送受信装置の構成を示すブロック図であり、図１の送信装置ＣＰ１及び受信装置ＣＰ２として使用できるものである。画像送受信装置は、携帯端末１と、車載機２とから構成される。携帯端末１は無線部３と、ベースバンド部４と、入出力部５と、電源部６とから構成され、車載機２はＣＰＵ４１と、通信インターフェース４２と、表示部４３と、操作部４４とから構成される。
【００１７】
同図において、基地局から移動通信システム用の無線チャネルを介して到来した無線周波信号はアンテナ１１で受信された後、アンテナ共用器（ＤＵＰ）１２を介して受信回路（ＲＸ）１３に入力される。受信回路１３は高周波増幅器、周波数変換器および復調器を備える。そして、上記無線信号を低雑音増幅器で低雑音増幅した後、周波数変換器において周波数シンセサイザ（ＳＹＮ）１４から発生された受信局部発信信号とミキシングして受信中間周波信号または受信ベースバンド信号に周波数変換し、その出力信号を復調器でディジタル復調する。復調方式としては、例えば、ＱＰＳＫ方式に対応した直交復調方式が用いられる。なお、上記周波数シンセサイザ１４から発生される受信局部発信信号周波数は、ベースバンド部４に設けられた主制御部２１から指示される
【００１８】
上記復調器から出力された復調信号はベースバンド部４に入力される。ベースバンド部４は、主制御部２１と、多重分離部２２と、音声コーデック２３と、画像コーデック２４と、ＬＣＤ制御部２５と、通信インターフェース２６とを備えている。
【００１９】
上記復調信号は主制御部２１において制御情報であるか画像データ等のマルチメディア情報であるかが識別され、マルチメディア情報であれば多重分離部２２に入力されてここで音声データと画像データに分離される。そして、音声データは音声コーデック２３に入力されてここで音声復号され、これにより再生された音声信号は入出力部５のスピーカ３４から拡声出力される。一方、画像データは、画像コーデック２４に入力されてここで画像復号処理され、これにより復号された画像信号は通信インターフェース２６を介して接続された車載機２のＣＰＵ４１に入力される。ＣＰＵ４１は、該画像信号を表示部４３に入力して表示する。また、上記画像信号はＬＣＤ制御部２５を介してＬＣＤ３２に入力して表示することもできる。
【００２０】
一方、ＴＶ電話通信が開始され、主制御部２１より音声処理の指示がされると、音声コーデック２３は、入出力部５のマイク３３から出力されたユーザの送話音声信号を順次取得する。そして、音声コーデック２３は、マイクから入力された送話音声信号を音声符号化し、この音声符号化データを多重分離部２２に入力する。次に、画像コーデック２４は、主制御部２１より画像処理の指示がされると、入出力部５のカメラ３１より順次画像を取得して符号化処理を行う。具体的には、カメラ３１より入力される１フレーム目の画像に対してはＩフレーム符号化処理を行い、２フレーム目以降の画像に対してはＰフレーム符号化処理を行う。その後、画像コーデック２４により符号化処理された画像は、多重分離部２２に入力される。多重分離部２２は、上記音声符号化データと画像符号化データとを所定のフォーマット基づいて多重化し、この多重化された送信データを主制御部２１から無線部３の送信回路（ＴＸ）１５に入力する。
以上の説明は音声が無音でない場合の送信処理である。音声が無音である場合、音声コーデック２３は、ユーザの送話音声信号を符号化後、音声コーデック２３が備える無音検出部２７より無音検出を行う。無音検出部２７より無音が検出された場合、音声コーデック２３は、音声符号化データが無音であることを示す信号を生成して主制御部２１に入力する。主制御部２１はこの信号に基づいて、Ｉフレーム符号化要求信号を生成して画像コーデック２４に入力する。画像コーデック２４はＩフレーム符号化要求信号に基づいて、カメラ３１より取得した画像をＰフレームに変えてＩフレームとして符号化処理を行い、このＩフレームを多重分離部２２に入力する。そして、多重分離部２２は、無音である音声符号化データとＩフレームの画像データとを所定のフォーマット基づいて多重化し、この多重化された送信データを主制御部２１から無線部３の送信回路（ＴＸ）１５に入力する。
【００２１】
送信回路１５は変調器、周波数変換器および送信電力増幅器を備える。上記送信データは変調器でディジタル変調された後、周波数変換器により周波数シンセサイザ１４から発生された送信局部発振信号とミキシングされて無線周波信号に周波数変換される。変調方式としてはＱＰＳＫ方式が用いられる。そして、この生成された送信無線周波信号は、送信電力増幅器で所定の送信レベルに増幅された後、アンテナ共用器１２を介してアンテナ１１に入力され、このアンテナ１１から基地局に向け送信される。
【００２２】
電源部６は図示しないがリチウムイオン電池等のバッテリと、このバッテリを充電するための充電回路と、バッテリの出力電圧をもとに所定の電源電圧を生成する電圧生成回路を備えている。また、入力部５には主制御部２１から出力された本端末の操作状態を表す情報、例えば、電話帳や受信強度やバッテリの残量などを表示するＬＣＤ３２と、通話開始や終了を行うための操作部３５と、ＬＣＤ３２や操作部３５とを照明するための照明器３６が備えられている。
【００２３】
主制御部２１は、図示しないがマイクロプロセッサと、ＲＯＭおよびＲＡＭなどからなる内部メモリとを備えたもので、無線チャネルの接続制御や通信リンクの確立、通常の制御機能とを備えている。また、主制御部２１は、車載機２が備える操作部４４で行われるハンズフリーＴＶ電話通信設定情報が通信インターフェース２６を介して入力され、図示しない車速センサー等により、車両が停止中であることが検出された場合には、送信装置ＣＰ１より受信した画像データを表示するように制御し、車両が走行中であることを検出した場合には、送信装置ＣＰ１より受信した画像データを非表示するように制御する。
【００２４】
（Ｄ）画像送信処理の動作
図４は、本発明に係る画像送信装置の動作を示すフローチャートである。なお、図示しないが、カメラ３１により画像は順次撮影され、マイク３３により音声は順次入力されている。
ユーザが操作部３５によりＴＶ電話通信開始を指示すると、主制御部２１はこの指示に基づいて音声コーデック２３に音声処理を要求する。これにより、音声コーデック２３はマイク３３から音声信号を取得して符号化し、音声符号化データを多重分離部２２に入力する（ステップＳ１）。更に、主制御部２１は、ＴＶ電話通信開始の指示に基づいて画像コーデック２４に画像符号化処理を要求する。これにより、画像コーデック２４はカメラ３１より１フレーム目の画像を取得してＩフレームとして符号化処理を行い、画像符号化データを多重分離部２２に入力する（ステップＳ３）。そして、多重分離部２２は、入力された音声符号化データ及び画像符号化データを所定のフォーマット基づいて多重化し、この多重化された送信データは無線部３により送信される（ステップＳ５）。以上の説明は１フレーム目の画像を送信する時の動作である。
次に、２フレーム目以降の画像を送信する時の動作を説明する。音声コーデック２３はマイク３３から音声信号を取得して符号化し、音声符号化データを多重分離部２２に入力する（ステップＳ７）。その後、音声コーデック２３が備える無音検出部２７より無音検出を行う。具体的には、音声符号化データのデータ量が所定値以下であるか判定する（ステップＳ９）。ステップＳ９において、音声符号化データのデータ量が所定値以下でなければ、画像コーデック２４は、カメラ３１より画像を取得して１フレーム前の画像との差分データを生成し（ステップＳ１１）、この差分データのデータ量が所定値以下であるか判定する（ステップＳ１３）。ステップＳ１３において、差分データのデータ量が所定値以下であれば、画像コーデック２４は、上記画像をＰフレームとして符号化処理を行い、画像符号化データを多重分離部２２に入力する（ステップＳ１５）。ステップＳ１３において、差分データのデータ量が所定値以下でなければ、画像コーデック２４は、上記画像をＩフレームとして符号化処理を行い、画像符号化データを多重分離部２２に入力する（ステップＳ１７）。そして、多重分離部２２は、入力された音声符号化データ及び画像符号化データを所定のフォーマット基づいて多重化し、この多重化された送信データは無線部３により送信される（ステップＳ１９）。
一方、ステップＳ９において、音声符号化データのデータ量が所定値以下であれば、無音検出部２７は、音声を無音と認識して、音声符号化データが無音であることを示す信号を生成して主制御部２１に入力する（ステップＳ２１）。主制御部２１は、この信号に基づいて、Ｉフレーム符号化要求信号を生成して画像コーデック２４に入力する。画像コーデック２４は、Ｉフレーム符号化要求信号に基づいて、カメラ３１より取得した画像をＰフレームに変えてＩフレームとして符号化処理を行い、このＩフレームを多重分離部２２に入力する（ステップＳ２３）。その後、音声符号化データ及び画像符号化データは前述したステップＳ１９の処理により、所定のフォーマット基づいて多重化されて無線部３により送信される。
次いで、主制御部２１は、ユーザにより通信終了を指示されたかを判定する（ステップＳ２５）。ステップＳ２５において、ユーザにより通信終了を指示されれば、主制御部２１は通信を終了し、ユーザにより通信終了を指示されなければ、ステップＳ７〜Ｓ２３の処理を繰り返す。なお、図示しないが、ステップＳ５及びＳ２３において送信された音声符号化データ及び画像符号化データは、受信装置ＣＰ２の無線部３で受信され、音声符号化データはスピーカ３４により再生され、画像符号化データは車載機２の表示部４３により表示される。
上記処理により、画像データ送信中に伝送エラーが発生しても、無音時にＩフレームを送信するため、受信画像への画質の影響を解消することができる。
【００２５】
本実施例では、画像データの符号化／復号方式にＭＰＥＧ−４を用いているが、ＭＰＥＧ−４以外にＨ．２６４等のその他の方式を用いても実現できる。
【００２６】
本実施例では、車両内で無線ＴＶ電話通信を行う場合を説明したが、車両内でネットワークを介してインターネット上のＷＷＷサーバに接続し、このサーバから画像データを表示させるような場合にも本発明は適用できる。更に、車載機を接続しない携帯端末間での無線ＴＶ電話通信にも本発明は適用できる。
【００２７】
その他、本発明は、画像送受信装置の構成や制御手順等についても、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【図面の簡単な説明】
【００２８】
【図１】無線ＴＶ電話通信を行う際の仕組みを示す図である。
【図２】ＭＰＥＧ−４ストリームのデータ構造を示す図である。
【図３】本発明に係る画像送受信装置の構成を示すブロック図である。
【図４】本発明に係る画像送信装置の動作を示すフローチャートである。
【図５】ＭＰＥＧ−４を使用した画像データの伝送システムの動作例を模式的に表したものである。
【図６】ＭＰＥＧ−４を使用した画像データの伝送システムにおいて、伝送エラーが発生した場合の動作例を模式的に表した図である。
【符号の説明】
【００２９】
ＣＰ１…送信装置
ＣＰ２…受信装置
１…携帯端末
２…車載機
２１…主制御部
２３…音声コーデック
２４…画像コーデック
２７…無音検出部
【技術分野】
【０００１】
本発明は、画像送信装置及びその送信方法に係わり、特に、音声及び画像を取得して符号化し、音声符号化データと画像符号化データとを多重化して送信する画像送信装置及びその送信方法に関する。
【背景技術】
【０００２】
近年、携帯電話や携帯情報端末ではカメラを搭載し、画像データ付き電子メールサービスやＴＶ電話サービス等の種々の画像データ伝送サービスが使用できるようになっている。しかしこのようなシステムにおいて、画像データのような情報量が大きいデータを伝送しようとすると、伝送帯域が問題となりそのままの画像データでは伝送することはできない。
そこで、画像データを伝送する場合には、画像の符号化／復号処理が必要であり、携帯電話や携帯情報端末では現在ＭＰＥＧ−４と呼ばれる画像の符号化／復号方式が採用されている。
【０００３】
ＭＰＥＧ−４は、画像データとして独立に意味をなす絶対値情報としてのフレーム（Ｉフレーム）と、１フレーム前の画像データとの差分情報であり画像データとして独立に意味をなさないフレーム（Ｐフレーム）で構成される。また、Ｉフレームは静止画として符号化した１画面の全画像情報を含む画像データであり、Ｐフレームは１フレーム前の動画像データとの差分情報であり、１画面の全画像情報ではない。そのため、ＩフレームはＰフレームと比較して、データ量が大きいが高画質という特徴を持つ。
【０００４】
図５はＭＰＥＧ−４を使用した画像データの伝送システムの動作例を模式的に表したものである。同図において、例えば送信装置ＣＰ１においてＶ１、Ｖ２、Ｖ３、・・、ＶＮ、・・に示す画像データがカメラにより順次撮影されたとする。まず、送信装置ＣＰ１は上記画像データＶ１を静止画として符号化しＩフレームを生成する。その後、送信装置ＣＰ１はこのＩフレームとマイクから取得した音声データとを多重化して送信する。これに対し、受信装置ＣＰ２は、上記Ｉフレームを基に１画面データＷ１を復号して表示するとともに、上記音声データを再生する。
次に送信装置ＣＰ１は、上記画像データＶ２、Ｖ３、・・、ＶＮ、・・が得られるごとに、これらの画像データＶ２、Ｖ３、・・、ＶＮ、・・とその１フレーム前の画像データＶ１、Ｖ２、・・、ＶＮ−１（図示しない）、・・との差分を検出し、この差分情報をそれぞれ符号化してＰフレームを生成する。その後、送信装置ＣＰ１はこのＰフレームとマイクから取得した音声データとを多重化して送信する。これに対し、受信装置ＣＰ２は、上記Ｐフレームを受信するごとにそれぞれ、そのデータを１画面前に表示した画像データＷ１、Ｗ２・・、ＷＮ−１（図示しない）に加算して画像データを復号して表示するとともに、上記音声データを再生する。
これにより、例えば数Ｍｂｐｓの情報量を持つ画像データは、数十Ｋｂｐｓの情報量として伝送することを可能としている。
【０００５】
しかし、図６に示すように、送信装置ＣＰ１より画像データ受信中に、送信装置ＣＰ１で撮影した画像データＶ２と画像データＶ１との差分情報であるＰフレームを伝送する際に通信障害等により伝送エラーが発生したとする。そうすると、伝送エラーの影響により、受信装置ＣＰ２で表示される画像データＷ２′は正確な画像として表示されない。また、次フレームである画像データＷ３′は１画面前に表示した動画像データＷ２′と送信装置ＣＰ１により送信されるＰフレームで構成されるため、正確な画像として表示することはできない。つまり、画像データ受信中に伝送エラーが発生した場合、その影響は現フレームだけでなく次フレーム以降にまで波及する。
【０００６】
この伝送エラー発生による受信画像への影響は、送信装置ＣＰ１により再びＩフレームが送信されることにより解消できる。しかし、送信装置ＣＰ１がＩフレームを送信するタイミングは送信装置ＣＰ１に依存されるため、Ｉフレームの送信タイミングが長くなることがある。したがって、送信装置ＣＰ１によっては通信終了時まで伝送エラー発生による受信画像への影響が続くことがあった。
【０００７】
Ｉフレーム送信制御の従来技術として、画像データ受信途中で画像データを記録開始する場合において、記録指示が入力された場合に受信側から送信側へＩフレームの送信要求を行い、受信側からの送信要求に応じて、送信側から受信側にＩフレームを伝送する伝送システムある（特許文献１参照）。この技術によれば、画像データ受信途中で記録を開始する場合でも、記録指示の入力直後から高画質のデータを記録できる。
【特許文献１】特開２００１−２５１６３１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、従来技術では、伝送エラーが発生してもＩフレームの送信要求がされない限り、Ｉフレームを送信しないため、伝送エラーによる受信画像への影響を解消することができない。
従って、本発明の目的は、音声データが無音でありデータ量が小さくなる場合に、画像データをＩフレームとして符号化して送信するようにして、伝送エラーが発生してもその影響を解消する画像送信装置及びその送信方法を提供することである。
【課題を解決するための手段】
【０００９】
本発明の第１の態様は、音声及び画像を取得して符号化し、音声符号化データと画像符号化データとを多重化して送信する画像送信装置であり、無音を検出する無音検出部と、前記無音検出部により無音が検出された場合、前記画像を画像データとして独立に意味を成す絶対値情報として符号化するように指示する制御部と、前記指示に基づいて、前記画像を前記絶対値情報として符号化する画像符号化部と、前記画像符号化部により前記絶対値情報として符号化された画像符号化データを送信する送信部と、を備えている。
【００１０】
上記画像送信装置の無音検出部は、前記音声符号化データのデータ量が所定値以下である場合、該音声符号化データを無音として検出する。
【００１１】
本発明の第２の態様は、音声及び画像を取得して符号化し、音声符号化データと画像符号化データとを多重化して送信する画像送信装置の送信方法であり、無音を検出する第１ステップ、前記無音が検出された場合、前記画像を画像データとして独立に意味を成す絶対値情報として符号化するように指示する第２ステップ、前記指示に基づいて、前記画像を前記絶対値情報として符号化して送信する第３ステップ、を有している。
【００１２】
前記第１ステップは、前記音声符号化データのデータ量が所定値以下である場合、該音声符号化データを無音として検出する。
【発明の効果】
【００１３】
本発明によれば、音声符号化データのデータ量に基づいて無音を検出し、前記無音が検出された場合、前記画像を画像データとして独立に意味を成す絶対値情報として符号化するように指示し、前記指示に基づいて、前記画像を前記絶対値情報として符号化して送信するように構成したため、画像データ送信中に伝送エラーが発生しても、無音時に、受信画像への画質の影響を解消することができる。
【発明を実施するための最良の形態】
【００１４】
（Ａ）無線ＴＶ電話通信の仕組み
図１は、移動通信システムの送信装置ＣＰ１と受信装置ＣＰ２間で画像データ、音声データおよびコンピュータデータを多重化伝送することにより、無線ＴＶ電話通信を行う際の仕組みを示す図である。
送信装置ＣＰ１と受信装置ＣＰ２は物理レイヤにより相互に接続され、ＭＵＸ−ＰＤＵと呼ばれるパケット単位でデータ伝送を行う。ＭＵＸ−ＰＤＵは、図１に示すように先頭にフラグとヘッダを配置し、その後ろに画像データ、音声データおよびコンピュータデータを交互に配置したものである。ヘッダにはＭＵＸ−ＰＤＵの内容を表す情報が挿入される。物理レイヤの上位にはＡＬ／ＭＵＸレイヤが配置され、このＡＬ／ＭＵＸレイヤにおいて上記ＭＵＸ−ＰＤＵが生成される。また、ＡＬ／ＭＵＸレイヤの上位には高位レイヤが配置され、ここでビデオチャネル、オーディオチャネルおよび制御・データチャネルの接続が行われる。高位レイヤは、後述する画像コーデック、音声コーデックおよびデータ通信部により実現される。
【００１５】
図２は、ＭＰＥＧ−４ストリームのデータ構造を示す図である。ＭＰＥＧ−４ストリームは図１に示したビデオチャネルに挿入され伝送される。このＭＰＥＧ−４ストリームでは、図２に示すように１画面の全ての画像要素を含むＩフレームがまず送信され、以後フレームタイミングごとに前フレームとの差分情報からなるＰフレームが順次送信される。但し、Ｐフレームに代えてＩフレームを送信することもできる。
【００１６】
（Ｃ）画像送受信装置の構成
図３は、本発明に係る画像送受信装置の構成を示すブロック図であり、図１の送信装置ＣＰ１及び受信装置ＣＰ２として使用できるものである。画像送受信装置は、携帯端末１と、車載機２とから構成される。携帯端末１は無線部３と、ベースバンド部４と、入出力部５と、電源部６とから構成され、車載機２はＣＰＵ４１と、通信インターフェース４２と、表示部４３と、操作部４４とから構成される。
【００１７】
同図において、基地局から移動通信システム用の無線チャネルを介して到来した無線周波信号はアンテナ１１で受信された後、アンテナ共用器（ＤＵＰ）１２を介して受信回路（ＲＸ）１３に入力される。受信回路１３は高周波増幅器、周波数変換器および復調器を備える。そして、上記無線信号を低雑音増幅器で低雑音増幅した後、周波数変換器において周波数シンセサイザ（ＳＹＮ）１４から発生された受信局部発信信号とミキシングして受信中間周波信号または受信ベースバンド信号に周波数変換し、その出力信号を復調器でディジタル復調する。復調方式としては、例えば、ＱＰＳＫ方式に対応した直交復調方式が用いられる。なお、上記周波数シンセサイザ１４から発生される受信局部発信信号周波数は、ベースバンド部４に設けられた主制御部２１から指示される
【００１８】
上記復調器から出力された復調信号はベースバンド部４に入力される。ベースバンド部４は、主制御部２１と、多重分離部２２と、音声コーデック２３と、画像コーデック２４と、ＬＣＤ制御部２５と、通信インターフェース２６とを備えている。
【００１９】
上記復調信号は主制御部２１において制御情報であるか画像データ等のマルチメディア情報であるかが識別され、マルチメディア情報であれば多重分離部２２に入力されてここで音声データと画像データに分離される。そして、音声データは音声コーデック２３に入力されてここで音声復号され、これにより再生された音声信号は入出力部５のスピーカ３４から拡声出力される。一方、画像データは、画像コーデック２４に入力されてここで画像復号処理され、これにより復号された画像信号は通信インターフェース２６を介して接続された車載機２のＣＰＵ４１に入力される。ＣＰＵ４１は、該画像信号を表示部４３に入力して表示する。また、上記画像信号はＬＣＤ制御部２５を介してＬＣＤ３２に入力して表示することもできる。
【００２０】
一方、ＴＶ電話通信が開始され、主制御部２１より音声処理の指示がされると、音声コーデック２３は、入出力部５のマイク３３から出力されたユーザの送話音声信号を順次取得する。そして、音声コーデック２３は、マイクから入力された送話音声信号を音声符号化し、この音声符号化データを多重分離部２２に入力する。次に、画像コーデック２４は、主制御部２１より画像処理の指示がされると、入出力部５のカメラ３１より順次画像を取得して符号化処理を行う。具体的には、カメラ３１より入力される１フレーム目の画像に対してはＩフレーム符号化処理を行い、２フレーム目以降の画像に対してはＰフレーム符号化処理を行う。その後、画像コーデック２４により符号化処理された画像は、多重分離部２２に入力される。多重分離部２２は、上記音声符号化データと画像符号化データとを所定のフォーマット基づいて多重化し、この多重化された送信データを主制御部２１から無線部３の送信回路（ＴＸ）１５に入力する。
以上の説明は音声が無音でない場合の送信処理である。音声が無音である場合、音声コーデック２３は、ユーザの送話音声信号を符号化後、音声コーデック２３が備える無音検出部２７より無音検出を行う。無音検出部２７より無音が検出された場合、音声コーデック２３は、音声符号化データが無音であることを示す信号を生成して主制御部２１に入力する。主制御部２１はこの信号に基づいて、Ｉフレーム符号化要求信号を生成して画像コーデック２４に入力する。画像コーデック２４はＩフレーム符号化要求信号に基づいて、カメラ３１より取得した画像をＰフレームに変えてＩフレームとして符号化処理を行い、このＩフレームを多重分離部２２に入力する。そして、多重分離部２２は、無音である音声符号化データとＩフレームの画像データとを所定のフォーマット基づいて多重化し、この多重化された送信データを主制御部２１から無線部３の送信回路（ＴＸ）１５に入力する。
【００２１】
送信回路１５は変調器、周波数変換器および送信電力増幅器を備える。上記送信データは変調器でディジタル変調された後、周波数変換器により周波数シンセサイザ１４から発生された送信局部発振信号とミキシングされて無線周波信号に周波数変換される。変調方式としてはＱＰＳＫ方式が用いられる。そして、この生成された送信無線周波信号は、送信電力増幅器で所定の送信レベルに増幅された後、アンテナ共用器１２を介してアンテナ１１に入力され、このアンテナ１１から基地局に向け送信される。
【００２２】
電源部６は図示しないがリチウムイオン電池等のバッテリと、このバッテリを充電するための充電回路と、バッテリの出力電圧をもとに所定の電源電圧を生成する電圧生成回路を備えている。また、入力部５には主制御部２１から出力された本端末の操作状態を表す情報、例えば、電話帳や受信強度やバッテリの残量などを表示するＬＣＤ３２と、通話開始や終了を行うための操作部３５と、ＬＣＤ３２や操作部３５とを照明するための照明器３６が備えられている。
【００２３】
主制御部２１は、図示しないがマイクロプロセッサと、ＲＯＭおよびＲＡＭなどからなる内部メモリとを備えたもので、無線チャネルの接続制御や通信リンクの確立、通常の制御機能とを備えている。また、主制御部２１は、車載機２が備える操作部４４で行われるハンズフリーＴＶ電話通信設定情報が通信インターフェース２６を介して入力され、図示しない車速センサー等により、車両が停止中であることが検出された場合には、送信装置ＣＰ１より受信した画像データを表示するように制御し、車両が走行中であることを検出した場合には、送信装置ＣＰ１より受信した画像データを非表示するように制御する。
【００２４】
（Ｄ）画像送信処理の動作
図４は、本発明に係る画像送信装置の動作を示すフローチャートである。なお、図示しないが、カメラ３１により画像は順次撮影され、マイク３３により音声は順次入力されている。
ユーザが操作部３５によりＴＶ電話通信開始を指示すると、主制御部２１はこの指示に基づいて音声コーデック２３に音声処理を要求する。これにより、音声コーデック２３はマイク３３から音声信号を取得して符号化し、音声符号化データを多重分離部２２に入力する（ステップＳ１）。更に、主制御部２１は、ＴＶ電話通信開始の指示に基づいて画像コーデック２４に画像符号化処理を要求する。これにより、画像コーデック２４はカメラ３１より１フレーム目の画像を取得してＩフレームとして符号化処理を行い、画像符号化データを多重分離部２２に入力する（ステップＳ３）。そして、多重分離部２２は、入力された音声符号化データ及び画像符号化データを所定のフォーマット基づいて多重化し、この多重化された送信データは無線部３により送信される（ステップＳ５）。以上の説明は１フレーム目の画像を送信する時の動作である。
次に、２フレーム目以降の画像を送信する時の動作を説明する。音声コーデック２３はマイク３３から音声信号を取得して符号化し、音声符号化データを多重分離部２２に入力する（ステップＳ７）。その後、音声コーデック２３が備える無音検出部２７より無音検出を行う。具体的には、音声符号化データのデータ量が所定値以下であるか判定する（ステップＳ９）。ステップＳ９において、音声符号化データのデータ量が所定値以下でなければ、画像コーデック２４は、カメラ３１より画像を取得して１フレーム前の画像との差分データを生成し（ステップＳ１１）、この差分データのデータ量が所定値以下であるか判定する（ステップＳ１３）。ステップＳ１３において、差分データのデータ量が所定値以下であれば、画像コーデック２４は、上記画像をＰフレームとして符号化処理を行い、画像符号化データを多重分離部２２に入力する（ステップＳ１５）。ステップＳ１３において、差分データのデータ量が所定値以下でなければ、画像コーデック２４は、上記画像をＩフレームとして符号化処理を行い、画像符号化データを多重分離部２２に入力する（ステップＳ１７）。そして、多重分離部２２は、入力された音声符号化データ及び画像符号化データを所定のフォーマット基づいて多重化し、この多重化された送信データは無線部３により送信される（ステップＳ１９）。
一方、ステップＳ９において、音声符号化データのデータ量が所定値以下であれば、無音検出部２７は、音声を無音と認識して、音声符号化データが無音であることを示す信号を生成して主制御部２１に入力する（ステップＳ２１）。主制御部２１は、この信号に基づいて、Ｉフレーム符号化要求信号を生成して画像コーデック２４に入力する。画像コーデック２４は、Ｉフレーム符号化要求信号に基づいて、カメラ３１より取得した画像をＰフレームに変えてＩフレームとして符号化処理を行い、このＩフレームを多重分離部２２に入力する（ステップＳ２３）。その後、音声符号化データ及び画像符号化データは前述したステップＳ１９の処理により、所定のフォーマット基づいて多重化されて無線部３により送信される。
次いで、主制御部２１は、ユーザにより通信終了を指示されたかを判定する（ステップＳ２５）。ステップＳ２５において、ユーザにより通信終了を指示されれば、主制御部２１は通信を終了し、ユーザにより通信終了を指示されなければ、ステップＳ７〜Ｓ２３の処理を繰り返す。なお、図示しないが、ステップＳ５及びＳ２３において送信された音声符号化データ及び画像符号化データは、受信装置ＣＰ２の無線部３で受信され、音声符号化データはスピーカ３４により再生され、画像符号化データは車載機２の表示部４３により表示される。
上記処理により、画像データ送信中に伝送エラーが発生しても、無音時にＩフレームを送信するため、受信画像への画質の影響を解消することができる。
【００２５】
本実施例では、画像データの符号化／復号方式にＭＰＥＧ−４を用いているが、ＭＰＥＧ−４以外にＨ．２６４等のその他の方式を用いても実現できる。
【００２６】
本実施例では、車両内で無線ＴＶ電話通信を行う場合を説明したが、車両内でネットワークを介してインターネット上のＷＷＷサーバに接続し、このサーバから画像データを表示させるような場合にも本発明は適用できる。更に、車載機を接続しない携帯端末間での無線ＴＶ電話通信にも本発明は適用できる。
【００２７】
その他、本発明は、画像送受信装置の構成や制御手順等についても、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【図面の簡単な説明】
【００２８】
【図１】無線ＴＶ電話通信を行う際の仕組みを示す図である。
【図２】ＭＰＥＧ−４ストリームのデータ構造を示す図である。
【図３】本発明に係る画像送受信装置の構成を示すブロック図である。
【図４】本発明に係る画像送信装置の動作を示すフローチャートである。
【図５】ＭＰＥＧ−４を使用した画像データの伝送システムの動作例を模式的に表したものである。
【図６】ＭＰＥＧ−４を使用した画像データの伝送システムにおいて、伝送エラーが発生した場合の動作例を模式的に表した図である。
【符号の説明】
【００２９】
ＣＰ１…送信装置
ＣＰ２…受信装置
１…携帯端末
２…車載機
２１…主制御部
２３…音声コーデック
２４…画像コーデック
２７…無音検出部
【特許請求の範囲】
【請求項１】
音声及び画像を取得して符号化し、音声符号化データと画像符号化データとを多重化して送信する画像送信装置において、
無音を検出する無音検出部と、
前記無音検出部により無音が検出された場合、前記画像を画像データとして独立に意味を成す絶対値情報として符号化するように指示する制御部と、
前記指示に基づいて、前記画像を前記絶対値情報として符号化する画像符号化部と、
前記画像符号化部により前記絶対値情報として符号化された画像符号化データを送信する送信部と、
を備えることを特徴とする画像送信装置。
【請求項２】
前記無音検出部は、前記音声符号化データのデータ量が所定値以下である場合、該音声符号化データを無音として検出する、
ことを特徴とする請求項１記載の画像送信装置。
【請求項３】
音声及び画像を取得して符号化し、音声符号化データと画像符号化データとを多重化して送信する画像送信装置の送信方法において、
無音を検出する第１ステップ、
前記無音が検出された場合、前記画像を画像データとして独立に意味を成す絶対値情報として符号化するように指示する第２ステップ、
前記指示に基づいて、前記画像を前記絶対値情報として符号化して送信する第３ステップ、
を有することを特徴とする画像送信装置の送信方法。
【請求項４】
前記第１ステップは、前記音声符号化データのデータ量が所定値以下である場合、該音声符号化データを無音として検出する、
ことを特徴とする請求項３記載の画像送信装置の送信方法。
【請求項１】
音声及び画像を取得して符号化し、音声符号化データと画像符号化データとを多重化して送信する画像送信装置において、
無音を検出する無音検出部と、
前記無音検出部により無音が検出された場合、前記画像を画像データとして独立に意味を成す絶対値情報として符号化するように指示する制御部と、
前記指示に基づいて、前記画像を前記絶対値情報として符号化する画像符号化部と、
前記画像符号化部により前記絶対値情報として符号化された画像符号化データを送信する送信部と、
を備えることを特徴とする画像送信装置。
【請求項２】
前記無音検出部は、前記音声符号化データのデータ量が所定値以下である場合、該音声符号化データを無音として検出する、
ことを特徴とする請求項１記載の画像送信装置。
【請求項３】
音声及び画像を取得して符号化し、音声符号化データと画像符号化データとを多重化して送信する画像送信装置の送信方法において、
無音を検出する第１ステップ、
前記無音が検出された場合、前記画像を画像データとして独立に意味を成す絶対値情報として符号化するように指示する第２ステップ、
前記指示に基づいて、前記画像を前記絶対値情報として符号化して送信する第３ステップ、
を有することを特徴とする画像送信装置の送信方法。
【請求項４】
前記第１ステップは、前記音声符号化データのデータ量が所定値以下である場合、該音声符号化データを無音として検出する、
ことを特徴とする請求項３記載の画像送信装置の送信方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２００７−２８２１６４（Ｐ２００７−２８２１６４Ａ）
【公開日】平成１９年１０月２５日（２００７．１０．２５）
【国際特許分類】
【出願番号】特願２００６−１０９５３１（Ｐ２００６−１０９５３１）
【出願日】平成１８年４月１２日（２００６．４．１２）
【出願人】（０００１０１７３２）アルパイン株式会社 (2,424)
【Ｆターム（参考）】
【公開日】平成１９年１０月２５日（２００７．１０．２５）
【国際特許分類】
【出願日】平成１８年４月１２日（２００６．４．１２）
【出願人】（０００１０１７３２）アルパイン株式会社 (2,424)
【Ｆターム（参考）】
[ Back to top ]