符号化装置、符号化方法、および符号化プログラム
【課題】出力するデータ全体に占める付加データの割合を適切に減少させることができる符号化装置、符号化方法、および符号化プログラムを提供する。
【解決手段】テレビ会議装置は、符号化データを出力する出力先の機器との間のネットワークのＭＴＵサイズを計測する（Ｓ２）。計測したＭＴＵサイズで符号化データを分割した場合に、オーバーヘッド割合が目標値となる符号化データのデータサイズを、設定値として設定する（Ｓ４〜Ｓ１１）。オーバーヘッド割合とは、出力するデータ全体に対する付加データの割合である。付加データとは、ネットワーク通信を行うために、分割したデータに新たに付加されるデータである。テレビ会議装置は、設定値として設定されたデータサイズに画像データを符号化する（Ｓ１１）。計測されたＭＴＵサイズで符号化データを分割して機器に出力する（Ｓ１２）。
【解決手段】テレビ会議装置は、符号化データを出力する出力先の機器との間のネットワークのＭＴＵサイズを計測する（Ｓ２）。計測したＭＴＵサイズで符号化データを分割した場合に、オーバーヘッド割合が目標値となる符号化データのデータサイズを、設定値として設定する（Ｓ４〜Ｓ１１）。オーバーヘッド割合とは、出力するデータ全体に対する付加データの割合である。付加データとは、ネットワーク通信を行うために、分割したデータに新たに付加されるデータである。テレビ会議装置は、設定値として設定されたデータサイズに画像データを符号化する（Ｓ１１）。計測されたＭＴＵサイズで符号化データを分割して機器に出力する（Ｓ１２）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、符号化したデータを分割してネットワークに出力する符号化装置、符号化方法、および符号化プログラムに関する。
【背景技術】
【０００２】
従来、動画像のデータを符号化してネットワークに出力する際にデータを分割する装置が知られている（例えば、特許文献１参照）。この装置では、１回の出力で送信できるデータグラムの最大値であるＭＴＵ（Ｍａｘｉｍｕｍ Ｔｒａｎｓｍｉｓｓｉｏｎ Ｕｎｉｔ）が考慮され、符号化されたデータがＭＴＵサイズに収まるサイズで分割される。分割されたデータには、ネットワーク通信を行うために新たにヘッダ等のデータ（以下、「付加データ」という。）が付加されて、データが出力される。符号化されたデータを、ＭＴＵサイズに収まるように分割して出力することで、伝送効率を向上させることができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第３８８８５０５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の装置では、符号化したデータをＭＴＵサイズに合わせて単純に分割するのみであった。単純に分割されたデータのサイズの大小は異なる場合があるが、小さいデータでも一律に付加データを付加しなければならない。よって、出力するデータ全体に占める付加データの割合が大きくなる場合があり、処理の効率が悪化する原因となっていた。一方で、処理の効率のみを考慮してデータを大幅に圧縮すると、動画像の品質が低下する。従って、データ全体に占める付加データの割合を適切に減少させることは、従来では困難であった。
【０００５】
本発明は、出力するデータ全体に占める付加データの割合を適切に減少させることができる符号化装置、符号化方法、および符号化プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の第一の態様に係る符号化装置は、画像入力手段によって入力された画像データを符号化し、符号化データを他の機器にネットワークを介して出力する符号化装置であって、前記機器と前記符号化装置との間の前記ネットワークのＭＴＵサイズを計測する計測手段と、前記計測手段によって計測されたＭＴＵサイズに収まるサイズで符号化データを分割して、ネットワーク通信に必要な付加データを分割した各データに新たに付加する場合に、出力するデータ全体に対する前記付加データの割合であるオーバーヘッド割合が目標値となる符号化データのデータサイズを設定値に設定する設定手段と、前記設定値として設定されたデータサイズに前記画像データを符号化する符号化手段と、前記符号化手段によって符号化された符号化データを、前記計測手段によって計測されたＭＴＵサイズに収まるサイズで分割して前記機器に出力する出力手段とを備えている。
【０００７】
第一の態様に係る符号化装置は、オーバーヘッド割合が目標値となるように画像データを符号化することができるため、オーバーヘッド割合を適切に減少させることができる。よって、処理の効率を向上させることができる。
【０００８】
前記設定手段は、符号化データのデータサイズを増加させた際に前記オーバーヘッド割合が減少から増加に切り替わる点のデータサイズを前記設定値に設定することが望ましい。この場合、設定値を的確且つ容易に設定して、オーバーヘッド割合を適切な値に減少させることができる。
【０００９】
前記符号化装置は、前記設定値を設定せずに前記画像データを符号化した場合の符号化データのデータサイズである基準データサイズを算出する算出手段を備えてもよい。前記設定手段は、前記点のデータサイズと前記基準データサイズとが異なる場合、複数の前記点から、データサイズが前記基準データサイズよりも大きい点のうち最もデータサイズが小さい点である第一点、および、データサイズが前記基準データサイズよりも小さい点のうち最もデータサイズが大きい点である第二点のいずれかの点を目標点として、前記目標点のデータサイズを前記設定値に設定すればよい。この場合、符号化装置は、基準データサイズに近いデータサイズの符号化データを生成しつつ、オーバーヘッド割合を減少させることができる。よって、画像の品質を急激に悪化させることなく、処理の効率を向上させることができる。
【００１０】
前記設定手段は、前記基準データサイズが前記第一点と前記第二点との間に設けた閾値よりも大きいか否かによって、前記目標点を前記第一点および前記第二点のいずれにするかを決定してもよい。この場合、符号化装置は、閾値を用いて容易に設定値を設定することができる。
【００１１】
前記設定手段は、複数の前記機器との間の前記ネットワークのＭＴＵサイズが前記計測手段によって計測された結果、値が異なる複数のＭＴＵサイズが計測された場合、計測された複数の前記機器についてのＭＴＵサイズに基づいて、前記複数の機器に共通する１つの前記設定値を設定することが望ましい。前記出力手段は、同一の符号化データを、出力先の前記機器について計測されたそれぞれのＭＴＵサイズに収まるサイズで分割して、前記複数の機器のそれぞれに出力すればよい。この場合、符号化装置は、ＭＴＵサイズが異なる複数の機器に符号化データを出力する場合でも、オーバーヘッド割合を一連の処理で容易且つ適切に減少させることができる。
【００１２】
前記符号化装置は、前記複数の機器の中におけるそれぞれの前記機器の優先度を決定する優先度決定手段を備えてもよい。前記設定手段は、前記優先度決定手段によって決定された優先度に基づいて、前記複数の機器に共通の前記設定値を設定すればよい。この場合、符号化装置は、出力先の機器毎に別々に符号化処理を行わなくても、一連の符号化処理によって、優先度の高い機器の処理負担を優先して低下させることができる。
【００１３】
前記優先度決定手段は、それぞれの前記機器のネットワーク帯域の情報、ＭＴＵサイズ、および優先させる度合いを示す設定情報の少なくともいずれかを用いて前記優先度を決定してもよい。この場合、符号化装置は、機器の処理速度に影響を与える帯域の情報、ＭＴＵサイズ、および、優先させる度合いを示す設定情報の少なくともいずれかを用いて、優先度を適切に決定することができる。
【００１４】
本発明の第二の態様に係る符号化方法は、画像入力手段によって入力された画像データを符号化し、符号化データを他の機器にネットワークを介して出力する符号化装置で行われる符号化方法であって、前記機器と前記符号化装置との間の前記ネットワークのＭＴＵサイズを計測する計測ステップと、前記計測ステップによって計測されたＭＴＵサイズに収まるサイズで符号化データを分割して、ネットワーク通信に必要な付加データを分割した各データに新たに付加する場合に、出力するデータ全体に対する前記付加データの割合であるオーバーヘッド割合が目標値となる符号化データのデータサイズを設定値に設定する設定ステップと、前記設定値として設定されたデータサイズに前記画像データを符号化する符号化ステップと、前記符号化ステップによって符号化された符号化データを、前記計測ステップによって計測されたＭＴＵサイズに収まるサイズで分割して前記機器に出力する出力ステップとを備えている。
【００１５】
第二の態様に係る符号化方法によると、オーバーヘッド割合が目標値となるように画像データを符号化することができるため、オーバーヘッド割合を適切に減少させることができる。よって、処理の効率を向上させることができる。
【００１６】
本発明の第三の態様に係る符号化プログラムは、画像入力手段によって入力された画像データを符号化し、符号化データを他の機器にネットワークを介して出力するための符号化プログラムであって、コンピュータに、前記機器との間の前記ネットワークのＭＴＵサイズを計測する計測ステップと、前記計測ステップによって計測されたＭＴＵサイズに収まるサイズで符号化データを分割して、ネットワーク通信に必要な付加データを分割した各データに新たに付加する場合に、出力するデータ全体に対する前記付加データの割合であるオーバーヘッド割合が目標値となる符号化データのデータサイズを設定値に設定する設定ステップと、前記設定値として設定されたデータサイズに前記画像データを符号化する符号化ステップと、前記符号化ステップによって符号化された符号化データを、前記計測ステップによって計測されたＭＴＵサイズに収まるサイズで分割して前記機器に出力する出力ステップとを実行させることを特徴とする。
【００１７】
第三の態様に係る符号化プログラムによると、オーバーヘッド割合が目標値となるように画像データを符号化することができるため、オーバーヘッド割合を適切に減少させることができる。よって、処理の効率を向上させることができる。
【図面の簡単な説明】
【００１８】
【図１】テレビ会議装置１の電気的構成を示すブロック図である。
【図２】ＲＡＭ１２のＭＴＵサイズ記憶エリア１２１に記憶されているデータの模式図である。
【図３】ＲＡＭ１２の可用帯域記憶エリア１２２に記憶されているデータの模式図である。
【図４】ＨＤＤ１３の設定優先値記憶エリア１３１に記憶されているデータの模式図である。
【図５】テレビ会議装置１の機能ブロック図である。
【図６】ＮＡＬユニットの構成、および送出パケットの構成を示す図である。
【図７】符号化データのデータサイズを調整する前の送出パケットのデータサイズの一例を示す図である。
【図８】符号化データのデータサイズを調整した後の送出パケットのデータサイズの一例を示す図である。
【図９】テレビ会議装置１が行う符号化処理のフローチャートである。
【図１０】計測されたＭＴＵサイズが１つである場合に作成されるマッピングテーブルの一例を示す図である。
【図１１】計測されたＭＴＵサイズが複数である場合に作成されるマッピングテーブルの一例を示す図である。
【図１２】符号化処理で行われるデータサイズ調整処理のフローチャートである。
【発明を実施するための形態】
【００１９】
以下、本発明の符号化装置を具現化した一実施の形態であるテレビ会議装置１について、図面を参照して説明する。なお、参照する図面は、本発明が採用し得る技術的特徴を説明するために用いられるものである。図面に記載されている装置の構成、各種処理のフローチャート等は、それのみに限定する趣旨ではなく、単なる説明例である。
【００２０】
テレビ会議装置１は、ネットワーク８（図１参照）を介して、１または複数の他のテレビ会議装置１と接続する。各テレビ会議装置１は、画像データおよび音声データを互いに入出力する。その結果、複数の拠点のユーザが映像および音声を共有することができる。よって、全てのユーザが同一拠点にいない場合でも、ユーザは円滑に会議を実行することができる。
【００２１】
図１から図４を参照して、テレビ会議装置１の電気的構成について説明する。テレビ会議装置１は、テレビ会議装置１の制御を司るＣＰＵ１０を備えている。ＣＰＵ１０には、ＲＯＭ１１、ＲＡＭ１２、ハードディスクドライブ（以下、「ＨＤＤ」という。）１３、および入出力インターフェース１９が、バス１８を介して接続されている。
【００２２】
ＲＯＭ１１は、テレビ会議装置１を動作させるためのプログラムおよび初期値等を記憶している。ＲＡＭ１２は、制御プログラムで使用される各種の情報を一時的に記憶する。ＨＤＤ１３は、各種の情報を記憶する不揮発性の記憶装置である。ＨＤＤ１３の代わりに、ＥＥＰＲＯＭまたはメモリカード等の記憶装置を用いてもよい。
【００２３】
入出力インターフェース１９には、音声入力処理部２１、音声出力処理部２２、映像入力処理部２３、映像出力処理部２４、操作部２５、および外部通信Ｉ／Ｆ２６が接続されている。音声入力処理部２１は、音声を入力するマイク３１からの音声データの入力を処理する。音声出力処理部２２は、音声を出力するスピーカ３２の動作を処理する。映像入力処理部２３は、映像を撮像するカメラ３３からの映像データ（動画像データ）の入力を処理する。映像出力処理部２４は、映像を表示する表示装置３４の動作を処理する。操作部２５は、ユーザがテレビ会議装置１に各種指示を入力するために用いられる。外部通信Ｉ／Ｆ２６は、テレビ会議装置１をネットワーク８に接続する。
【００２４】
ＲＡＭ１２について詳細に説明する。ＲＡＭ１２には、ＭＴＵサイズ記憶エリア１２１、可用帯域記憶エリア１２２等の各種記憶エリアが設けられている。
【００２５】
図２に示すように、ＭＴＵサイズ記憶エリア１２１には、ネットワーク８を介して接続している機器（本実施形態では他のテレビ会議装置１）との間の、ネットワーク８のＭＴＵサイズに関する情報が記憶される。ＭＴＵ（Ｍａｘｉｍｕｍ Ｔｒａｎｓｍｉｓｓｉｏｎ Ｕｎｉｔ）サイズとは、１回のデータ転送にて送信可能なデータの最大値である。例えば、イーサネット（登録商標）型ＬＡＮの環境では、イーサネットの最大フレームサイズが１５１８ｂｙｔｅである。よって、イーサネットヘッダとＦＣＳ（Ｆｒａｍｅ Ｃｈｅｃｋ Ｓｅｑｕｅｎｃｅ）とを除いた１５００ｂｙｔｅがＭＴＵサイズとなる。よって、出力するデータが大きい場合、ＩＰヘッダとＩＰパケットのデータ部分との和が１５００ｂｙｔｅ以内となるように、データを分割して出力することが望ましい。
【００２６】
本実施の形態のテレビ会議装置１は、通信の開始時に、接続されている各機器についてＭＴＵサイズを計測する。計測したＭＴＵサイズを、ＭＴＵサイズ記憶エリア１２１に記憶し、データの分割等の処理を行う。また、テレビ会議装置１は、複数の機器の中での各機器の優先度を用いて、複数の機器に対して最適な一の符号化データを生成することができる。テレビ会議装置１は、この優先度を示す計数（Ｇ）を、ＭＴＵサイズから算出することができる。詳細には、ＭＴＵサイズが小さい機器を優先度が高い機器とし、ＭＴＵサイズの逆数を係数（Ｇ）として処理を行う。この処理の詳細は後述する。
【００２７】
図３に示すように、可用帯域記憶エリア１２２には、テレビ会議装置１と各機器との間のネットワーク８の可用帯域が記憶される。テレビ会議装置１は、可用帯域が低い（狭い）機器を優先度が高い機器とし、可用帯域の逆数を係数（Ｇ）として処理を行うこともできる。
【００２８】
ＨＤＤ１３について詳細に説明する。ＨＤＤ１３には、設定優先値記憶エリア１３１等の各種記憶エリアが設けられている。図４に示すように、設定優先値記憶エリア１３１には、ユーザがあらかじめ入力・設定した設定優先値が記憶されている。テレビ会議装置１は、設定優先値を用いて、複数の機器に対して最適な一の符号化データを生成することができる。
【００２９】
次に、テレビ会議装置１における画像データの処理の概要について説明する。テレビ会議装置１は、カメラ３３から入力された画像データを、Ｈ．２６４の規格に基づいて画像圧縮符号化し、符号化データを生成する。生成した符号化データを、ネットワーク８を介して他の機器に出力する。なお、テレビ会議装置１は、他の機器からネットワーク８を介して入力された符号化データを復号し、画像を表示装置３４に表示させる。また、音声データを入出力し、他の機器から入力した音声データに基づいて音声を発生させる。しかし、これらの処理は本発明の要部ではないため、以下では画像圧縮符号化および符号化データの出力の処理について説明を行う。
【００３０】
画像圧縮符号化には、フレーム内符号化とフレーム間符号化とがある。フレーム内符号化とは、カメラによって入力された連続する複数フレーム分の画像データのうちの１フレーム分の画像データ内で、画面内予測によって行われる符号化である。フレーム内符号化によって生成される符号化データであるＩピクチャ（Ｉｎｔｒａ−ｃｏｄｅｄ Ｐｉｃｔｕｒｅ）は、他のピクチャを参照することなく単独で復号することができる。一方、フレーム間符号化では、連続するフレームのデータのうち、符号化するフレームのデータとは異なるフレームのデータが参照されて予測誤差が計算され、計算された予測誤差が符号化される。フレーム間符号化によって生成される符号化データには、Ｐピクチャ（Ｐｒｅｄｉｃｔｉｖｅ−ｃｏｄｅｄ Ｐｉｃｔｕｒｅ）およびＢピクチャ（Ｂｉｄｉｒｅｃｔｉｏｎａｌ−ｃｏｄｅｄ Ｐｉｃｔｕｒｅ）がある。ＰピクチャおよびＢピクチャの復号には、符号化時に参照されたピクチャが必要となる。しかし、ＰピクチャおよびＢピクチャのデータサイズは、Ｉピクチャのデータサイズに比べて小さい。
【００３１】
図５に示すように、テレビ会議装置１では、まず、カメラ３３からの入力画像４１に対してＤＣＴ／量子化４２が行われる。ここでは、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ：離散コサイン変換）によって変換された係数が、量子化パラメータに従って量子化される。次いで、量子化された後のデータの一部に対し、逆量子化／逆ＤＣＴ４３が行われる。逆量子化／逆ＤＣＴ４３が施されたデータにデブロッキングフィルタ４４がかけられて、フレームメモリ４５に記憶される。
【００３２】
フレーム内符号化が行われる場合には、フレームメモリ４５に記憶されたデータに対し、画面内予測４６が行われ、さらにＤＣＴ／量子化４２が行われる。量子化されたデータに対し、エントロピー符号化４７が行われて、符号化データ４８（Ｉピクチャ）が生成される。
【００３３】
フレーム間符号化が行われる場合には、入力画像４１によって動き予測５１が行われ、フレームメモリ４５内の別の予測画像に基づく動き補償５２が行われる。動き補償５２によって算出された予測誤差に、明るさに関する重み係数による重み付き予測５３が行われ、さらにＤＣＴ／量子化４２が行われる。量子化されたデータに対し、エントロピー符号化４７が行われて、符号化データ４８（ＰピクチャまたはＢピクチャ）が生成される。
【００３４】
生成された符号化データ４８は、ＭＴＵサイズ計測５５の結果に基づいて、計測されたＭＴＵサイズに収まる送出パケットへの分割４９が行われる。分割された符号化データが、ネットワーク出力５０の対象となる。
【００３５】
次に、符号化データの分割について説明する。パケット送信のために定義されるパケット化モードとして、単一ＮＡＬ（Ｎｅｔｗｏｒｋ Ａｂｓｔｒａｃｔｉｏｎ Ｌａｙｅｒ）ユニットモード、非インターリーブモード、およびインターリーブモードがある。テレビ会議装置１では、単一ＮＡＬユニットモードが採用されている。単一ＮＡＬユニットモードでは、符号化データである各ピクチャは、単一のＮＡＬユニットパケットにカプセル化される。カプセル化された１つのＮＡＬユニットが、出力するデータの単位となる。
【００３６】
図６に示すように、ＮＡＬユニットは、先頭から順にＮＡＬヘッダ、ＲＢＳＰ、およびトレイリングビットを有する。ＮＡＬヘッダには、ＮＡＬユニットの種類を示す識別子「ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ」等が付加されている。ＲＢＳＰ（Ｒａｗ Ｂｙｔｅ Ｓｅｑｕｅｎｃｅ Ｐａｙｌｏａｄ）には、圧縮符号化された生データが格納される。トレイリングビットは、ＲＢＳＰの最後のビット位置を特定するための調整用のビットである。
【００３７】
カプセル化されたＮＡＬユニットは、出力先の機器との間のネットワーク８のＭＴＵサイズに収まるように分割される。分割されたパケット（以下、「分割パケット」という。）がネットワーク８を介して機器に出力される。ここで、分割パケットには、ネットワーク通信を行うために必要なヘッダ等のデータ（以下、「付加データ」という。）を新たに付加する必要がある。本実施の形態で採用されている通信形態によると、最初の分割パケットの先頭（図６の（１））にはＩＰヘッダおよびＴＣＰヘッダを、それ以降の分割パケット（図６の（２）及び（３））の先頭にはＩＰヘッダを、それぞれ付加データとして付加する必要がある。分割パケットと付加データとによって、ネットワーク８に出力される１つの送出パケットが構成される。
【００３８】
しかしながら、ＮＡＬユニットを単純にＭＴＵサイズに基づいて分割すると、分割された符号化データのデータサイズは均等にならない場合がある。図７に示す例では、（１）および（２）の送出パケットのデータサイズはＭＴＵサイズに等しいが、（３）の送出パケットのデータサイズはＭＴＵサイズよりも小さい。ネットワーク通信を行うためには、（３）の符号化データのような小さいデータにも付加データを付加しなければならない。よって、出力するデータ全体に占める付加データの割合（以下、「オーバーヘッド割合」という。）が大きくなる場合がある。オーバーヘッド割合が大きくなると、処理の効率が悪化し、映像品質が低下する。
【００３９】
本実施の形態のテレビ会議装置１は、図５に示すように、ＭＴＵサイズ計測５５の結果に基づいて、ＮＡＬユニット符号量制御５６によって符号化データのデータサイズを調整することができる。詳細には、計測したＭＴＵサイズに基づいて、オーバーヘッド割合が目標値となる符号化データのデータサイズを設定する。設定したデータサイズの符号化データが生成されるように、ＤＣＴ／量子化４２で用いられる量子化パラメータを決定する。例えば、図７に示す（３）の符号化データ分だけ削減されるように、データを圧縮して符号化を行う。その結果、図８に示すように、小さいデータサイズの符号化データに付加データを付加する必要がなくなり、オーバーヘッド割合が減少する。以上のように、テレビ会議装置１は、オーバーヘッド割合を減少させて、映像品質の低下を防止することができる。
【００４０】
また、オーバーヘッド割合を減少させることのみを目的として量子化パラメータを決定すると、不具合が生じる。例えば、図７に示す（２）および（３）の符号化データ分を共に削減するように、圧縮割合を急激に増加させると、オーバーヘッド割合は減少するが、映像の品質は低下する。圧縮割合を急激に減少させると、復号等の処理負担が増加する。本実施の形態のテレビ会議装置１は、生成する符号化データのデータサイズを適切に設定することで、圧縮割合を急激に変化させることなくオーバーヘッド割合を減少させることができる。以上の処理について、以下詳細に説明する。
【００４１】
図９から図１２を参照して、テレビ会議装置１が行う符号化処理について説明する。符号化処理は、ＲＯＭ１１に記憶されているプログラムに従ってＣＰＵ１０が実行する。符号化処理は、画像データの入出力の実行指示が入力されると開始される。
【００４２】
図９に示すように、符号化処理が開始されると、各種データが初期化される（Ｓ１）。ネットワーク８を介して接続されているそれぞれの機器について、機器との間のネットワーク８のＭＴＵサイズが計測される（Ｓ２）。ＭＴＵサイズの計測は、例えばＰａｔｈ ＭＴＵ Ｄｉｓｃｏｖｅｒｙ等の公知の手法を用いて行われればよい。
【００４３】
次いで、値が異なる複数のＭＴＵサイズが計測されたか否かが判断される（Ｓ３）。接続している機器が１つである場合、または、接続されている複数の機器についてのＭＴＵサイズが全て同じであった場合には（Ｓ３：ＮＯ）、計測された１つのＭＴＵサイズに基づいてマッピングテーブルが作成される（Ｓ４）。マッピングテーブルとは、符号化データのデータサイズとオーバーヘッド割合とを対応付けるテーブルである。
【００４４】
１つのＭＴＵサイズからマッピングテーブルを作成する方法について説明する。使用される数値を以下に示す。
ＭＴＵサイズ（単位：バイト数）：ｍｔｕ
ＩＰヘッダのデータサイズ（単位：バイト数）：ｉｐ
ＴＣＰヘッダのデータサイズ（単位：バイト数）：ｔｃｐ
符号化データのデータサイズ（単位：バイト数）：Ｄ
符号化データの分割数：Ｎ
オーバーヘッド割合（単位：％）：Ｘ
Ｎは０以上の整数であり、パケットが１個の場合はＮ＝０、分割パケットが２個の場合はＮ＝１となる。
【００４５】
まず、符号化データがデータサイズＤである場合の、以下の式（１）を満たす分割数Ｎが算出される。
｛Ｄ−（ｍｔｕ−ｉｐ−ｔｃｐ）｝／（ｍｔｕ−ｉｐ）≦Ｎ＜｛D＋（ｍｔｕ−ｉｐ）−（ｍｔｕ−ｉｐ−ｔｃｐ）｝／（ｍｔｕ−ｉｐ）・・・（１）
この場合のオーバーヘッド割合Ｘが、算出したＮの値を用いて以下の式（２）で算出される。
Ｘ＝｛ｉｐ×（Ｎ＋１）＋ｔｃｐ｝／Ｄ・・・（２）
以上の処理を、データサイズＤを変更しつつ行うことで、ＭＴＵサイズが１つである場合のマッピングテーブルが作成される。
【００４６】
図１０に、計測されたＭＴＵサイズが１つである場合に作成されるマッピングテーブルの一例を示す。図１０に示すように、分割数が変わらなければ、符号化データのデータサイズが大きくなる程、オーバーヘッド割合は減少する。データサイズが大きくなり、分割数が１増加すると、付加されるＩＰヘッダが１つ増加するため、オーバーヘッド割合が増加する。従って、オーバーヘッド割合を考慮すると、データサイズを増加させた場合に分割数が増加する点、つまり、オーバーヘッド割合が減少から増加に切り替わる点のデータサイズに符号化することが望ましい。
【００４７】
図９の説明に戻る。テレビ会議装置１に複数の機器が接続しており、且つ値が異なる複数のＭＴＵサイズが計測された場合には（Ｓ３：ＹＥＳ）、各機器の優先度を示す係数（Ｇ）が取得される（Ｓ６）。先述したように、テレビ会議装置１は様々な係数（Ｇ）を用いることができるが（図２から図４参照）、本実施の形態では、いずれの係数（Ｇ）を用いるかをあらかじめユーザに選択させている。Ｓ６の処理では、ユーザが選択した係数（Ｇ）が、ＲＡＭ１２またはＨＤＤ１３から取得される。次いで、取得された係数（Ｇ）と、取得された複数のＭＴＵサイズとを用いて、マッピングテーブルが作成される（Ｓ７）。
【００４８】
複数のＭＴＵサイズからマッピングテーブルを作成する方法について説明する。まず、ｍ個の機器のＭＴＵサイズｍｔｕｘ＝ｍｔｕ１，ｍｔｕ２，・・・，ｍｔｕｍが計測された場合、各機器のＭＴＵサイズについて、上記の式（１）から、データサイズＤがある値である場合の分割数Ｎｘ＝Ｎ１，Ｎ２，・・・，Ｎｍが算出される。次いで、ｍ個の機器に出力される付加データの総量を、ｍ個の機器に出力される符号化データの総量で割ることで、オーバーヘッド割合Ｘが算出される。この場合のオーバーヘッド割合Ｘの算出式を以下に示す。
各機器の優先度を考慮する場合
Ｘ＝Σ［｛Ｇｉ×ｉｐ×（Ｎｊ＋１）＋ｔｃｐ｝／（Σ（Ｇｉ）×Ｄ）］ （ｉ＝１，・・・，ｍ）（ｊ＝１，・・・，ｍ）
各機器の優先度を考慮しない場合
Ｘ＝Σ｛ｉｐ×（Ｎｉ＋１）＋ｔｃｐ｝／（Ｄ×ｍ） （ｉ＝１，・・・，ｍ）
以上の処理を、データサイズＤを変更しつつ行うことで、マッピングテーブルが作成される。
【００４９】
図１１に、計測されたＭＴＵサイズが複数である場合に作成されるマッピングテーブルの一例を示す。図１１では、参考のために、機器ＡのＭＴＵサイズのみを用いて作成したテーブル、機器ＢのＭＴＵサイズのみを用いて作成したテーブル、機器Ａ，Ｂの２個のＭＴＵサイズを用いて作成したテーブル（優先度の考慮有り）、機器Ａ，Ｂの２個のＭＴＵサイズを用いて作成したテーブル（優先度の考慮無し）の４つのテーブルを示す。機器Ａ，Ｂの２個のＭＴＵサイズを用いてテーブルを作成することで、機器Ａ，Ｂに共通のマッピングテーブルを作成することができる。さらに、優先度を考慮することで、優先度が高い機器のＭＴＵサイズをより大きくマッピングテーブルに反映させることができる。
【００５０】
図９の説明に戻る。マッピングテーブルが作成されると（Ｓ４またはＳ７）、画像データが１フレーム分符号化される（Ｓ８）。この符号化は、ＭＴＵサイズが考慮されることなく行われる。例えば、デフォルト値として設定されている量子化パラメータ、ＭＴＵサイズを考慮せずに出力先の機器の性能のみを考慮して設定された量子化パラメータ等に基づいて行われればよい。次いで、符号化によって生成された符号化データのデータサイズが算出される（Ｓ９）。生成された符号化データが、量子化パラメータを変更することによってデータサイズを変更できる符号化データであるか否かが、データの種類によって判断される（Ｓ１０）。データサイズを変更できない符号化データであれば（Ｓ１０：ＮＯ）、処理はそのままＳ１２へ移行する。ピクチャに関する符号化データであり、データサイズを変更可能な符号化データである場合には（Ｓ１０：ＹＥＳ）、データサイズ調整処理が行われる（Ｓ１１）。
【００５１】
図１２に示すように、データサイズ調整処理では、ＭＴＵサイズを考慮せずに生成した符号化データのデータサイズ（Ｓ９，図９参照）が、基準データサイズに設定される（Ｓ２１）。次いで、変曲点を目標点として選択する処理が行われる。変曲点とは、符号化データのデータサイズを増加させた場合に、符号化データの分割数が増加する点、つまり、オーバーヘッド割合が減少から増加に切り替わる点を示す。変曲点のデータサイズとなるように画像データを符号化することで、オーバーヘッド割合を適切に減少させることができる。変曲点の選択は、作成されているマッピングテーブルによって行われる。
【００５２】
まず、基準データサイズがいずれかの変曲点のデータサイズに一致しているか否かが判断される（Ｓ２２）。一致している場合には（Ｓ２２：ＹＥＳ）、その変曲点が選択されて（Ｓ２３）、処理はＳ２７へ移行する。
【００５３】
基準データサイズがいずれの変曲点のデータサイズにも一致していない場合には（Ｓ２２：ＮＯ）、データサイズが基準データサイズに近接した２つの変曲点のいずれかが選択される。詳細には、データサイズが基準データサイズよりも大きい変曲点のうち最もデータサイズが小さい変曲点である第一変曲点、および、データサイズが基準データサイズよりも小さい変曲点のうち最もデータサイズが大きい変曲点である第二変曲点のいずれかが選択される。具体的には、第一変曲点のデータサイズと第二変曲点のデータサイズの中間を閾値とし、基準データサイズが閾値より大きいか否かが判断される（Ｓ２４）。閾値以下である場合には（Ｓ２４：ＮＯ）、データサイズが基準データサイズよりも小さい方の第二変曲点が選択される（Ｓ２５）。基準データサイズが閾値より大きい場合には（Ｓ２４：ＹＥＳ）、データサイズが基準データサイズよりも大きい方の第一変曲点が選択される（Ｓ２６）。
【００５４】
次いで、選択された変曲点のデータサイズが、符号化データのデータサイズの設定値として設定される（Ｓ２７）。設定値は、オーバーヘッド割合が目標値となる符号化データのデータサイズを示す。次いで、基準データサイズと設定値との差から、符号化データのデータサイズが設定値となる量子化パラメータが算出される（Ｓ２８）。１フレーム分の画像データが、算出された量子化パラメータで再度符号化される（Ｓ２９）。Ｓ８（図９参照）で生成された元の符号化データが削除されて（Ｓ３０）、処理は符号化処理へ戻る。
【００５５】
図９の説明に戻る。符号化データが生成されると（Ｓ８またはＳ１１）、生成された符号化データが、出力先の機器のＭＴＵサイズに収まるように分割される。分割されたデータ（分割パケット）に付加データが付加されて、ネットワーク８に出力される（Ｓ１２）。分割パケットのデータサイズは、出力先の機器のＭＴＵサイズから付加データのデータサイズを引いたサイズとなる。例えば、ＭＴＵサイズが１５００ｂｙｔｅであり、付加データのデータサイズが２０ｂｙｔｅであれば、符号化データは１４８０ｂｙｔｅで分割される。その結果、分割パケットと付加データとからなる送出パケットのデータサイズが、ＭＴＵサイズに等しくなる。
【００５６】
次いで、係数（Ｇ）に関連する処理が行われる（Ｓ１３）。例えば、ネットワーク８の可用帯域を用いて機器の優先度を決定するようにユーザが設定している場合には、可用帯域が計測される。計測された可用帯域から係数（Ｇ）が算出されて、可用帯域記憶エリア１２２（図３参照）に記憶される。また、ユーザによる設定優先値の変更指示があった場合には、変更された設定優先値、および係数（Ｇ）が、設定優先値記憶エリア１３１（図４参照）に記憶される。次いで、終了の指示があるか否かが判断される（Ｓ１４）。終了の指示がなければ（Ｓ１４：ＮＯ）、処理はＳ３の判断へ戻る。終了の指示があれば（Ｓ１４：ＹＥＳ）、符号化処理は終了する。
【００５７】
以上説明したように、本実施の形態のテレビ会議装置１は、符号化データの出力先の機器との間のネットワーク８のＭＴＵサイズを計測する。計測したＭＴＵサイズに収まるように符号化データを分割した場合に、オーバーヘッド割合が目標値となる符号化データのデータサイズを、設定値として設定する。オーバーヘッド割合とは、出力するデータ全体のデータサイズに対する、付加データのデータサイズの割合である。付加データとは、ネットワーク通信を行うために、分割したデータに新たに付加されるデータである。テレビ会議装置１は、設定値として設定されたデータサイズに画像データを符号化する。符号化データを、出力先の機器のＭＴＵサイズに合わせて分割して、ネットワーク８に出力する。従って、テレビ会議装置１は、オーバーヘッド割合が目標値となるように画像データを符号化することができるため、オーバーヘッド割合を適切に減少させることができる。よって、符号化データの復号等の処理の効率を向上させることができる。
【００５８】
テレビ会議装置１は、符号化データのデータサイズを増加させた際に、オーバーヘッド割合が減少から増加に切り替わる変曲点のデータサイズを、データサイズの設定値とすることができる。よって、設定値を適切且つ容易に設定することができる。詳細には、テレビ会議装置１は、設定値を設定せずに生成された符号化データのデータサイズを、基準データサイズとする。基準データサイズに近接したデータサイズをとる２つの変曲点の一方を、目標点として選択する。選択した目標点のデータサイズを設定値とし、画像データを符号化する。従って、基準データサイズに近いデータサイズの符号化データを生成しつつ、オーバーヘッド割合を減少させることができる。よって、データサイズを大幅に変更することによる映像品質の劣化を防ぎつつ、復号等の処理の効率を向上させることができる。テレビ会議装置１は、基準データサイズに近接した２つの変曲点の間に閾値を設定し、閾値を用いて容易に設定値を設定することができる。
【００５９】
テレビ会議装置１は、複数の機器との間のネットワーク８のＭＴＵサイズを計測した結果、値が異なる複数のＭＴＵサイズが計測された場合、複数のＭＴＵサイズを用いて１つのマッピングテーブルを作成する。作成した１つのマッピングテーブルを用いて、複数の機器に共通の一の設定値を設定する。設定値のデータサイズに符号化された同一の符号化データを、出力先の機器のそれぞれのＭＴＵサイズに合わせて分割し、複数の機器のそれぞれに出力する。よって、ＭＴＵサイズが異なる複数の機器に符号化データを出力する場合でも、オーバーヘッド割合を一連の処理で適切に減少させることができる。
【００６０】
テレビ会議装置１は、複数の機器の中における優先度を示す係数（Ｇ）を決定し、係数（Ｇ）を用いて１つのマッピングテーブルを作成することもできる。よって、一連の符号化処理によって、優先度の高い機器の処理負担を優先して低下させることもできる。なお、テレビ会議装置１は、ネットワーク８の帯域の情報、ＭＴＵサイズ、およびユーザによって設定された設定優先値の少なくともいずれかを用いて、係数（Ｇ）を適切に決定することができる。
【００６１】
なお、上記実施の形態において、テレビ会議装置１が本発明の「符号化装置」に相当する。カメラ３３が「画像入力手段」に相当する。図９のＳ２でＭＴＵサイズを計測するＣＰＵ１０が「計測手段」として機能する。図９のＳ４〜Ｓ１１、および図１２のＳ２１〜Ｓ２７で、オーバーヘッド割合が目標値となるデータサイズを設定値に設定するＣＰＵ１０が、「設定手段」として機能する。図１２のＳ２８，Ｓ２９で量子化パラメータを算出して符号化を行うＣＰＵ１０が「符号化手段」として機能する。図９のＳ１２で符号化データを分割して出力するＣＰＵ１０が「出力手段」として機能する。
【００６２】
図９のＳ９で基準データサイズを算出するＣＰＵ１０が「算出手段」として機能する。図１２のＳ３０等で係数（Ｇ）を算出することで各機器の優先度を決定するＣＰＵ１０が「優先度決定手段」として機能する。
【００６３】
図９のＳ２でＭＴＵサイズを計測する処理が「計測ステップ」に相当する。図９のＳ４〜Ｓ１１、および図１２のＳ２１〜Ｓ２７で、オーバーヘッド割合が目標値となるデータサイズを設定値に設定する処理が、「設定ステップ」に相当する。図１２のＳ２８，Ｓ２９で量子化パラメータを算出して符号化を行う処理が「符号化ステップ」に相当する。図９のＳ１２で符号化データを分割して出力する処理が「出力ステップ」に相当する。
【００６４】
本発明は、上記実施の形態に限定されることはなく、様々な変形が可能であることは言うまでもない。例えば、本発明が適用できるのはテレビ会議装置に限られないことは勿論である。例えば、映像を配信するサーバ等、画像の符号化データをネットワークを介して出力する機器であれば、本発明を適用できる。上記実施の形態では、Ｈ．２６４の規格に基づいて符号化が行われているが、他の規格を採用することもできる。
【００６５】
上記実施の形態では、イーサネット（登録商標）型ＬＡＮの環境を採用しており、ＩＰヘッダが付加データとなる。しかし、採用するネットワーク環境に応じて付加データの種類は変化する。例えば、ＵＤＰヘッダ、ＲＴＰヘッダ等が付加データとなる場合もある。このような場合でも、本発明は適用できる。
【００６６】
上記実施の形態では、パケット送信のために定義されるパケット化モードとして単一ＮＡＬユニットモードが採用されている。よって、ＮＡＬユニットを単位として符号化データのデータサイズの調整等の処理が行われている。しかし、非インターリーブモード、またはインターリーブモードを採用した場合でも、本発明は適用できる。この場合、送信の単位となる複数のＮＡＬユニットを単位としてデータサイズの調整等を行えばよい。
【００６７】
上記実施の形態では、処理が開始されてから、計測されたＭＴＵサイズに基づいてマッピングテーブルが作成されている。しかし、ＭＴＵサイズに応じた複数のマッピングテーブルをあらかじめＨＤＤ１３等に記憶しておき、計測したＭＴＵサイズに合致する、または最も近いＭＴＵサイズのマッピングテーブルを用いて設定値を設定してもよい。
【００６８】
上記実施の形態のテレビ会議装置１は、２つの変曲点の中間に閾値を設定し、基準データサイズが閾値よりも大きいか否かによって目標点を選択している。しかし、目標点の選択方法も変更できる。例えば、基準データサイズよりもデータサイズが小さい変曲点（第二変曲点）を、一律に目標点として選択してもよい。同様に、必ず第二変曲点を選択するようにしてもよい。基準データサイズの大きさに応じて閾値の位置を変更することも可能である。
【００６９】
上記実施の形態では、複数の機器について複数の値のＭＴＵサイズが計測された場合、複数の機器に共通の一の設定値を設定している。しかし、機器毎に異なる設定値を設定し、さらに機器毎に異なる量子化パラメータで符号化を行って、同一の画像データから複数の符号化データを生成してもよい。この場合の処理は、計測されたＭＴＵサイズが１つであった場合の処理を、機器毎に行うのみである。
【００７０】
優先度を用いて１つのマッピングテーブルを作成する具体的な方法も変更できる。マッピングテーブルを作成するための上記実施の形態中の式も一例であり、設定値を設定するための１つの手法に過ぎないことは言うまでもない。
【符号の説明】
【００７１】
１ テレビ会議装置
８ ネットワーク
１０ ＣＰＵ
１２ ＲＡＭ
１３ ＨＤＤ
３３ カメラ
【技術分野】
【０００１】
本発明は、符号化したデータを分割してネットワークに出力する符号化装置、符号化方法、および符号化プログラムに関する。
【背景技術】
【０００２】
従来、動画像のデータを符号化してネットワークに出力する際にデータを分割する装置が知られている（例えば、特許文献１参照）。この装置では、１回の出力で送信できるデータグラムの最大値であるＭＴＵ（Ｍａｘｉｍｕｍ Ｔｒａｎｓｍｉｓｓｉｏｎ Ｕｎｉｔ）が考慮され、符号化されたデータがＭＴＵサイズに収まるサイズで分割される。分割されたデータには、ネットワーク通信を行うために新たにヘッダ等のデータ（以下、「付加データ」という。）が付加されて、データが出力される。符号化されたデータを、ＭＴＵサイズに収まるように分割して出力することで、伝送効率を向上させることができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第３８８８５０５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の装置では、符号化したデータをＭＴＵサイズに合わせて単純に分割するのみであった。単純に分割されたデータのサイズの大小は異なる場合があるが、小さいデータでも一律に付加データを付加しなければならない。よって、出力するデータ全体に占める付加データの割合が大きくなる場合があり、処理の効率が悪化する原因となっていた。一方で、処理の効率のみを考慮してデータを大幅に圧縮すると、動画像の品質が低下する。従って、データ全体に占める付加データの割合を適切に減少させることは、従来では困難であった。
【０００５】
本発明は、出力するデータ全体に占める付加データの割合を適切に減少させることができる符号化装置、符号化方法、および符号化プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の第一の態様に係る符号化装置は、画像入力手段によって入力された画像データを符号化し、符号化データを他の機器にネットワークを介して出力する符号化装置であって、前記機器と前記符号化装置との間の前記ネットワークのＭＴＵサイズを計測する計測手段と、前記計測手段によって計測されたＭＴＵサイズに収まるサイズで符号化データを分割して、ネットワーク通信に必要な付加データを分割した各データに新たに付加する場合に、出力するデータ全体に対する前記付加データの割合であるオーバーヘッド割合が目標値となる符号化データのデータサイズを設定値に設定する設定手段と、前記設定値として設定されたデータサイズに前記画像データを符号化する符号化手段と、前記符号化手段によって符号化された符号化データを、前記計測手段によって計測されたＭＴＵサイズに収まるサイズで分割して前記機器に出力する出力手段とを備えている。
【０００７】
第一の態様に係る符号化装置は、オーバーヘッド割合が目標値となるように画像データを符号化することができるため、オーバーヘッド割合を適切に減少させることができる。よって、処理の効率を向上させることができる。
【０００８】
前記設定手段は、符号化データのデータサイズを増加させた際に前記オーバーヘッド割合が減少から増加に切り替わる点のデータサイズを前記設定値に設定することが望ましい。この場合、設定値を的確且つ容易に設定して、オーバーヘッド割合を適切な値に減少させることができる。
【０００９】
前記符号化装置は、前記設定値を設定せずに前記画像データを符号化した場合の符号化データのデータサイズである基準データサイズを算出する算出手段を備えてもよい。前記設定手段は、前記点のデータサイズと前記基準データサイズとが異なる場合、複数の前記点から、データサイズが前記基準データサイズよりも大きい点のうち最もデータサイズが小さい点である第一点、および、データサイズが前記基準データサイズよりも小さい点のうち最もデータサイズが大きい点である第二点のいずれかの点を目標点として、前記目標点のデータサイズを前記設定値に設定すればよい。この場合、符号化装置は、基準データサイズに近いデータサイズの符号化データを生成しつつ、オーバーヘッド割合を減少させることができる。よって、画像の品質を急激に悪化させることなく、処理の効率を向上させることができる。
【００１０】
前記設定手段は、前記基準データサイズが前記第一点と前記第二点との間に設けた閾値よりも大きいか否かによって、前記目標点を前記第一点および前記第二点のいずれにするかを決定してもよい。この場合、符号化装置は、閾値を用いて容易に設定値を設定することができる。
【００１１】
前記設定手段は、複数の前記機器との間の前記ネットワークのＭＴＵサイズが前記計測手段によって計測された結果、値が異なる複数のＭＴＵサイズが計測された場合、計測された複数の前記機器についてのＭＴＵサイズに基づいて、前記複数の機器に共通する１つの前記設定値を設定することが望ましい。前記出力手段は、同一の符号化データを、出力先の前記機器について計測されたそれぞれのＭＴＵサイズに収まるサイズで分割して、前記複数の機器のそれぞれに出力すればよい。この場合、符号化装置は、ＭＴＵサイズが異なる複数の機器に符号化データを出力する場合でも、オーバーヘッド割合を一連の処理で容易且つ適切に減少させることができる。
【００１２】
前記符号化装置は、前記複数の機器の中におけるそれぞれの前記機器の優先度を決定する優先度決定手段を備えてもよい。前記設定手段は、前記優先度決定手段によって決定された優先度に基づいて、前記複数の機器に共通の前記設定値を設定すればよい。この場合、符号化装置は、出力先の機器毎に別々に符号化処理を行わなくても、一連の符号化処理によって、優先度の高い機器の処理負担を優先して低下させることができる。
【００１３】
前記優先度決定手段は、それぞれの前記機器のネットワーク帯域の情報、ＭＴＵサイズ、および優先させる度合いを示す設定情報の少なくともいずれかを用いて前記優先度を決定してもよい。この場合、符号化装置は、機器の処理速度に影響を与える帯域の情報、ＭＴＵサイズ、および、優先させる度合いを示す設定情報の少なくともいずれかを用いて、優先度を適切に決定することができる。
【００１４】
本発明の第二の態様に係る符号化方法は、画像入力手段によって入力された画像データを符号化し、符号化データを他の機器にネットワークを介して出力する符号化装置で行われる符号化方法であって、前記機器と前記符号化装置との間の前記ネットワークのＭＴＵサイズを計測する計測ステップと、前記計測ステップによって計測されたＭＴＵサイズに収まるサイズで符号化データを分割して、ネットワーク通信に必要な付加データを分割した各データに新たに付加する場合に、出力するデータ全体に対する前記付加データの割合であるオーバーヘッド割合が目標値となる符号化データのデータサイズを設定値に設定する設定ステップと、前記設定値として設定されたデータサイズに前記画像データを符号化する符号化ステップと、前記符号化ステップによって符号化された符号化データを、前記計測ステップによって計測されたＭＴＵサイズに収まるサイズで分割して前記機器に出力する出力ステップとを備えている。
【００１５】
第二の態様に係る符号化方法によると、オーバーヘッド割合が目標値となるように画像データを符号化することができるため、オーバーヘッド割合を適切に減少させることができる。よって、処理の効率を向上させることができる。
【００１６】
本発明の第三の態様に係る符号化プログラムは、画像入力手段によって入力された画像データを符号化し、符号化データを他の機器にネットワークを介して出力するための符号化プログラムであって、コンピュータに、前記機器との間の前記ネットワークのＭＴＵサイズを計測する計測ステップと、前記計測ステップによって計測されたＭＴＵサイズに収まるサイズで符号化データを分割して、ネットワーク通信に必要な付加データを分割した各データに新たに付加する場合に、出力するデータ全体に対する前記付加データの割合であるオーバーヘッド割合が目標値となる符号化データのデータサイズを設定値に設定する設定ステップと、前記設定値として設定されたデータサイズに前記画像データを符号化する符号化ステップと、前記符号化ステップによって符号化された符号化データを、前記計測ステップによって計測されたＭＴＵサイズに収まるサイズで分割して前記機器に出力する出力ステップとを実行させることを特徴とする。
【００１７】
第三の態様に係る符号化プログラムによると、オーバーヘッド割合が目標値となるように画像データを符号化することができるため、オーバーヘッド割合を適切に減少させることができる。よって、処理の効率を向上させることができる。
【図面の簡単な説明】
【００１８】
【図１】テレビ会議装置１の電気的構成を示すブロック図である。
【図２】ＲＡＭ１２のＭＴＵサイズ記憶エリア１２１に記憶されているデータの模式図である。
【図３】ＲＡＭ１２の可用帯域記憶エリア１２２に記憶されているデータの模式図である。
【図４】ＨＤＤ１３の設定優先値記憶エリア１３１に記憶されているデータの模式図である。
【図５】テレビ会議装置１の機能ブロック図である。
【図６】ＮＡＬユニットの構成、および送出パケットの構成を示す図である。
【図７】符号化データのデータサイズを調整する前の送出パケットのデータサイズの一例を示す図である。
【図８】符号化データのデータサイズを調整した後の送出パケットのデータサイズの一例を示す図である。
【図９】テレビ会議装置１が行う符号化処理のフローチャートである。
【図１０】計測されたＭＴＵサイズが１つである場合に作成されるマッピングテーブルの一例を示す図である。
【図１１】計測されたＭＴＵサイズが複数である場合に作成されるマッピングテーブルの一例を示す図である。
【図１２】符号化処理で行われるデータサイズ調整処理のフローチャートである。
【発明を実施するための形態】
【００１９】
以下、本発明の符号化装置を具現化した一実施の形態であるテレビ会議装置１について、図面を参照して説明する。なお、参照する図面は、本発明が採用し得る技術的特徴を説明するために用いられるものである。図面に記載されている装置の構成、各種処理のフローチャート等は、それのみに限定する趣旨ではなく、単なる説明例である。
【００２０】
テレビ会議装置１は、ネットワーク８（図１参照）を介して、１または複数の他のテレビ会議装置１と接続する。各テレビ会議装置１は、画像データおよび音声データを互いに入出力する。その結果、複数の拠点のユーザが映像および音声を共有することができる。よって、全てのユーザが同一拠点にいない場合でも、ユーザは円滑に会議を実行することができる。
【００２１】
図１から図４を参照して、テレビ会議装置１の電気的構成について説明する。テレビ会議装置１は、テレビ会議装置１の制御を司るＣＰＵ１０を備えている。ＣＰＵ１０には、ＲＯＭ１１、ＲＡＭ１２、ハードディスクドライブ（以下、「ＨＤＤ」という。）１３、および入出力インターフェース１９が、バス１８を介して接続されている。
【００２２】
ＲＯＭ１１は、テレビ会議装置１を動作させるためのプログラムおよび初期値等を記憶している。ＲＡＭ１２は、制御プログラムで使用される各種の情報を一時的に記憶する。ＨＤＤ１３は、各種の情報を記憶する不揮発性の記憶装置である。ＨＤＤ１３の代わりに、ＥＥＰＲＯＭまたはメモリカード等の記憶装置を用いてもよい。
【００２３】
入出力インターフェース１９には、音声入力処理部２１、音声出力処理部２２、映像入力処理部２３、映像出力処理部２４、操作部２５、および外部通信Ｉ／Ｆ２６が接続されている。音声入力処理部２１は、音声を入力するマイク３１からの音声データの入力を処理する。音声出力処理部２２は、音声を出力するスピーカ３２の動作を処理する。映像入力処理部２３は、映像を撮像するカメラ３３からの映像データ（動画像データ）の入力を処理する。映像出力処理部２４は、映像を表示する表示装置３４の動作を処理する。操作部２５は、ユーザがテレビ会議装置１に各種指示を入力するために用いられる。外部通信Ｉ／Ｆ２６は、テレビ会議装置１をネットワーク８に接続する。
【００２４】
ＲＡＭ１２について詳細に説明する。ＲＡＭ１２には、ＭＴＵサイズ記憶エリア１２１、可用帯域記憶エリア１２２等の各種記憶エリアが設けられている。
【００２５】
図２に示すように、ＭＴＵサイズ記憶エリア１２１には、ネットワーク８を介して接続している機器（本実施形態では他のテレビ会議装置１）との間の、ネットワーク８のＭＴＵサイズに関する情報が記憶される。ＭＴＵ（Ｍａｘｉｍｕｍ Ｔｒａｎｓｍｉｓｓｉｏｎ Ｕｎｉｔ）サイズとは、１回のデータ転送にて送信可能なデータの最大値である。例えば、イーサネット（登録商標）型ＬＡＮの環境では、イーサネットの最大フレームサイズが１５１８ｂｙｔｅである。よって、イーサネットヘッダとＦＣＳ（Ｆｒａｍｅ Ｃｈｅｃｋ Ｓｅｑｕｅｎｃｅ）とを除いた１５００ｂｙｔｅがＭＴＵサイズとなる。よって、出力するデータが大きい場合、ＩＰヘッダとＩＰパケットのデータ部分との和が１５００ｂｙｔｅ以内となるように、データを分割して出力することが望ましい。
【００２６】
本実施の形態のテレビ会議装置１は、通信の開始時に、接続されている各機器についてＭＴＵサイズを計測する。計測したＭＴＵサイズを、ＭＴＵサイズ記憶エリア１２１に記憶し、データの分割等の処理を行う。また、テレビ会議装置１は、複数の機器の中での各機器の優先度を用いて、複数の機器に対して最適な一の符号化データを生成することができる。テレビ会議装置１は、この優先度を示す計数（Ｇ）を、ＭＴＵサイズから算出することができる。詳細には、ＭＴＵサイズが小さい機器を優先度が高い機器とし、ＭＴＵサイズの逆数を係数（Ｇ）として処理を行う。この処理の詳細は後述する。
【００２７】
図３に示すように、可用帯域記憶エリア１２２には、テレビ会議装置１と各機器との間のネットワーク８の可用帯域が記憶される。テレビ会議装置１は、可用帯域が低い（狭い）機器を優先度が高い機器とし、可用帯域の逆数を係数（Ｇ）として処理を行うこともできる。
【００２８】
ＨＤＤ１３について詳細に説明する。ＨＤＤ１３には、設定優先値記憶エリア１３１等の各種記憶エリアが設けられている。図４に示すように、設定優先値記憶エリア１３１には、ユーザがあらかじめ入力・設定した設定優先値が記憶されている。テレビ会議装置１は、設定優先値を用いて、複数の機器に対して最適な一の符号化データを生成することができる。
【００２９】
次に、テレビ会議装置１における画像データの処理の概要について説明する。テレビ会議装置１は、カメラ３３から入力された画像データを、Ｈ．２６４の規格に基づいて画像圧縮符号化し、符号化データを生成する。生成した符号化データを、ネットワーク８を介して他の機器に出力する。なお、テレビ会議装置１は、他の機器からネットワーク８を介して入力された符号化データを復号し、画像を表示装置３４に表示させる。また、音声データを入出力し、他の機器から入力した音声データに基づいて音声を発生させる。しかし、これらの処理は本発明の要部ではないため、以下では画像圧縮符号化および符号化データの出力の処理について説明を行う。
【００３０】
画像圧縮符号化には、フレーム内符号化とフレーム間符号化とがある。フレーム内符号化とは、カメラによって入力された連続する複数フレーム分の画像データのうちの１フレーム分の画像データ内で、画面内予測によって行われる符号化である。フレーム内符号化によって生成される符号化データであるＩピクチャ（Ｉｎｔｒａ−ｃｏｄｅｄ Ｐｉｃｔｕｒｅ）は、他のピクチャを参照することなく単独で復号することができる。一方、フレーム間符号化では、連続するフレームのデータのうち、符号化するフレームのデータとは異なるフレームのデータが参照されて予測誤差が計算され、計算された予測誤差が符号化される。フレーム間符号化によって生成される符号化データには、Ｐピクチャ（Ｐｒｅｄｉｃｔｉｖｅ−ｃｏｄｅｄ Ｐｉｃｔｕｒｅ）およびＢピクチャ（Ｂｉｄｉｒｅｃｔｉｏｎａｌ−ｃｏｄｅｄ Ｐｉｃｔｕｒｅ）がある。ＰピクチャおよびＢピクチャの復号には、符号化時に参照されたピクチャが必要となる。しかし、ＰピクチャおよびＢピクチャのデータサイズは、Ｉピクチャのデータサイズに比べて小さい。
【００３１】
図５に示すように、テレビ会議装置１では、まず、カメラ３３からの入力画像４１に対してＤＣＴ／量子化４２が行われる。ここでは、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ：離散コサイン変換）によって変換された係数が、量子化パラメータに従って量子化される。次いで、量子化された後のデータの一部に対し、逆量子化／逆ＤＣＴ４３が行われる。逆量子化／逆ＤＣＴ４３が施されたデータにデブロッキングフィルタ４４がかけられて、フレームメモリ４５に記憶される。
【００３２】
フレーム内符号化が行われる場合には、フレームメモリ４５に記憶されたデータに対し、画面内予測４６が行われ、さらにＤＣＴ／量子化４２が行われる。量子化されたデータに対し、エントロピー符号化４７が行われて、符号化データ４８（Ｉピクチャ）が生成される。
【００３３】
フレーム間符号化が行われる場合には、入力画像４１によって動き予測５１が行われ、フレームメモリ４５内の別の予測画像に基づく動き補償５２が行われる。動き補償５２によって算出された予測誤差に、明るさに関する重み係数による重み付き予測５３が行われ、さらにＤＣＴ／量子化４２が行われる。量子化されたデータに対し、エントロピー符号化４７が行われて、符号化データ４８（ＰピクチャまたはＢピクチャ）が生成される。
【００３４】
生成された符号化データ４８は、ＭＴＵサイズ計測５５の結果に基づいて、計測されたＭＴＵサイズに収まる送出パケットへの分割４９が行われる。分割された符号化データが、ネットワーク出力５０の対象となる。
【００３５】
次に、符号化データの分割について説明する。パケット送信のために定義されるパケット化モードとして、単一ＮＡＬ（Ｎｅｔｗｏｒｋ Ａｂｓｔｒａｃｔｉｏｎ Ｌａｙｅｒ）ユニットモード、非インターリーブモード、およびインターリーブモードがある。テレビ会議装置１では、単一ＮＡＬユニットモードが採用されている。単一ＮＡＬユニットモードでは、符号化データである各ピクチャは、単一のＮＡＬユニットパケットにカプセル化される。カプセル化された１つのＮＡＬユニットが、出力するデータの単位となる。
【００３６】
図６に示すように、ＮＡＬユニットは、先頭から順にＮＡＬヘッダ、ＲＢＳＰ、およびトレイリングビットを有する。ＮＡＬヘッダには、ＮＡＬユニットの種類を示す識別子「ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ」等が付加されている。ＲＢＳＰ（Ｒａｗ Ｂｙｔｅ Ｓｅｑｕｅｎｃｅ Ｐａｙｌｏａｄ）には、圧縮符号化された生データが格納される。トレイリングビットは、ＲＢＳＰの最後のビット位置を特定するための調整用のビットである。
【００３７】
カプセル化されたＮＡＬユニットは、出力先の機器との間のネットワーク８のＭＴＵサイズに収まるように分割される。分割されたパケット（以下、「分割パケット」という。）がネットワーク８を介して機器に出力される。ここで、分割パケットには、ネットワーク通信を行うために必要なヘッダ等のデータ（以下、「付加データ」という。）を新たに付加する必要がある。本実施の形態で採用されている通信形態によると、最初の分割パケットの先頭（図６の（１））にはＩＰヘッダおよびＴＣＰヘッダを、それ以降の分割パケット（図６の（２）及び（３））の先頭にはＩＰヘッダを、それぞれ付加データとして付加する必要がある。分割パケットと付加データとによって、ネットワーク８に出力される１つの送出パケットが構成される。
【００３８】
しかしながら、ＮＡＬユニットを単純にＭＴＵサイズに基づいて分割すると、分割された符号化データのデータサイズは均等にならない場合がある。図７に示す例では、（１）および（２）の送出パケットのデータサイズはＭＴＵサイズに等しいが、（３）の送出パケットのデータサイズはＭＴＵサイズよりも小さい。ネットワーク通信を行うためには、（３）の符号化データのような小さいデータにも付加データを付加しなければならない。よって、出力するデータ全体に占める付加データの割合（以下、「オーバーヘッド割合」という。）が大きくなる場合がある。オーバーヘッド割合が大きくなると、処理の効率が悪化し、映像品質が低下する。
【００３９】
本実施の形態のテレビ会議装置１は、図５に示すように、ＭＴＵサイズ計測５５の結果に基づいて、ＮＡＬユニット符号量制御５６によって符号化データのデータサイズを調整することができる。詳細には、計測したＭＴＵサイズに基づいて、オーバーヘッド割合が目標値となる符号化データのデータサイズを設定する。設定したデータサイズの符号化データが生成されるように、ＤＣＴ／量子化４２で用いられる量子化パラメータを決定する。例えば、図７に示す（３）の符号化データ分だけ削減されるように、データを圧縮して符号化を行う。その結果、図８に示すように、小さいデータサイズの符号化データに付加データを付加する必要がなくなり、オーバーヘッド割合が減少する。以上のように、テレビ会議装置１は、オーバーヘッド割合を減少させて、映像品質の低下を防止することができる。
【００４０】
また、オーバーヘッド割合を減少させることのみを目的として量子化パラメータを決定すると、不具合が生じる。例えば、図７に示す（２）および（３）の符号化データ分を共に削減するように、圧縮割合を急激に増加させると、オーバーヘッド割合は減少するが、映像の品質は低下する。圧縮割合を急激に減少させると、復号等の処理負担が増加する。本実施の形態のテレビ会議装置１は、生成する符号化データのデータサイズを適切に設定することで、圧縮割合を急激に変化させることなくオーバーヘッド割合を減少させることができる。以上の処理について、以下詳細に説明する。
【００４１】
図９から図１２を参照して、テレビ会議装置１が行う符号化処理について説明する。符号化処理は、ＲＯＭ１１に記憶されているプログラムに従ってＣＰＵ１０が実行する。符号化処理は、画像データの入出力の実行指示が入力されると開始される。
【００４２】
図９に示すように、符号化処理が開始されると、各種データが初期化される（Ｓ１）。ネットワーク８を介して接続されているそれぞれの機器について、機器との間のネットワーク８のＭＴＵサイズが計測される（Ｓ２）。ＭＴＵサイズの計測は、例えばＰａｔｈ ＭＴＵ Ｄｉｓｃｏｖｅｒｙ等の公知の手法を用いて行われればよい。
【００４３】
次いで、値が異なる複数のＭＴＵサイズが計測されたか否かが判断される（Ｓ３）。接続している機器が１つである場合、または、接続されている複数の機器についてのＭＴＵサイズが全て同じであった場合には（Ｓ３：ＮＯ）、計測された１つのＭＴＵサイズに基づいてマッピングテーブルが作成される（Ｓ４）。マッピングテーブルとは、符号化データのデータサイズとオーバーヘッド割合とを対応付けるテーブルである。
【００４４】
１つのＭＴＵサイズからマッピングテーブルを作成する方法について説明する。使用される数値を以下に示す。
ＭＴＵサイズ（単位：バイト数）：ｍｔｕ
ＩＰヘッダのデータサイズ（単位：バイト数）：ｉｐ
ＴＣＰヘッダのデータサイズ（単位：バイト数）：ｔｃｐ
符号化データのデータサイズ（単位：バイト数）：Ｄ
符号化データの分割数：Ｎ
オーバーヘッド割合（単位：％）：Ｘ
Ｎは０以上の整数であり、パケットが１個の場合はＮ＝０、分割パケットが２個の場合はＮ＝１となる。
【００４５】
まず、符号化データがデータサイズＤである場合の、以下の式（１）を満たす分割数Ｎが算出される。
｛Ｄ−（ｍｔｕ−ｉｐ−ｔｃｐ）｝／（ｍｔｕ−ｉｐ）≦Ｎ＜｛D＋（ｍｔｕ−ｉｐ）−（ｍｔｕ−ｉｐ−ｔｃｐ）｝／（ｍｔｕ−ｉｐ）・・・（１）
この場合のオーバーヘッド割合Ｘが、算出したＮの値を用いて以下の式（２）で算出される。
Ｘ＝｛ｉｐ×（Ｎ＋１）＋ｔｃｐ｝／Ｄ・・・（２）
以上の処理を、データサイズＤを変更しつつ行うことで、ＭＴＵサイズが１つである場合のマッピングテーブルが作成される。
【００４６】
図１０に、計測されたＭＴＵサイズが１つである場合に作成されるマッピングテーブルの一例を示す。図１０に示すように、分割数が変わらなければ、符号化データのデータサイズが大きくなる程、オーバーヘッド割合は減少する。データサイズが大きくなり、分割数が１増加すると、付加されるＩＰヘッダが１つ増加するため、オーバーヘッド割合が増加する。従って、オーバーヘッド割合を考慮すると、データサイズを増加させた場合に分割数が増加する点、つまり、オーバーヘッド割合が減少から増加に切り替わる点のデータサイズに符号化することが望ましい。
【００４７】
図９の説明に戻る。テレビ会議装置１に複数の機器が接続しており、且つ値が異なる複数のＭＴＵサイズが計測された場合には（Ｓ３：ＹＥＳ）、各機器の優先度を示す係数（Ｇ）が取得される（Ｓ６）。先述したように、テレビ会議装置１は様々な係数（Ｇ）を用いることができるが（図２から図４参照）、本実施の形態では、いずれの係数（Ｇ）を用いるかをあらかじめユーザに選択させている。Ｓ６の処理では、ユーザが選択した係数（Ｇ）が、ＲＡＭ１２またはＨＤＤ１３から取得される。次いで、取得された係数（Ｇ）と、取得された複数のＭＴＵサイズとを用いて、マッピングテーブルが作成される（Ｓ７）。
【００４８】
複数のＭＴＵサイズからマッピングテーブルを作成する方法について説明する。まず、ｍ個の機器のＭＴＵサイズｍｔｕｘ＝ｍｔｕ１，ｍｔｕ２，・・・，ｍｔｕｍが計測された場合、各機器のＭＴＵサイズについて、上記の式（１）から、データサイズＤがある値である場合の分割数Ｎｘ＝Ｎ１，Ｎ２，・・・，Ｎｍが算出される。次いで、ｍ個の機器に出力される付加データの総量を、ｍ個の機器に出力される符号化データの総量で割ることで、オーバーヘッド割合Ｘが算出される。この場合のオーバーヘッド割合Ｘの算出式を以下に示す。
各機器の優先度を考慮する場合
Ｘ＝Σ［｛Ｇｉ×ｉｐ×（Ｎｊ＋１）＋ｔｃｐ｝／（Σ（Ｇｉ）×Ｄ）］ （ｉ＝１，・・・，ｍ）（ｊ＝１，・・・，ｍ）
各機器の優先度を考慮しない場合
Ｘ＝Σ｛ｉｐ×（Ｎｉ＋１）＋ｔｃｐ｝／（Ｄ×ｍ） （ｉ＝１，・・・，ｍ）
以上の処理を、データサイズＤを変更しつつ行うことで、マッピングテーブルが作成される。
【００４９】
図１１に、計測されたＭＴＵサイズが複数である場合に作成されるマッピングテーブルの一例を示す。図１１では、参考のために、機器ＡのＭＴＵサイズのみを用いて作成したテーブル、機器ＢのＭＴＵサイズのみを用いて作成したテーブル、機器Ａ，Ｂの２個のＭＴＵサイズを用いて作成したテーブル（優先度の考慮有り）、機器Ａ，Ｂの２個のＭＴＵサイズを用いて作成したテーブル（優先度の考慮無し）の４つのテーブルを示す。機器Ａ，Ｂの２個のＭＴＵサイズを用いてテーブルを作成することで、機器Ａ，Ｂに共通のマッピングテーブルを作成することができる。さらに、優先度を考慮することで、優先度が高い機器のＭＴＵサイズをより大きくマッピングテーブルに反映させることができる。
【００５０】
図９の説明に戻る。マッピングテーブルが作成されると（Ｓ４またはＳ７）、画像データが１フレーム分符号化される（Ｓ８）。この符号化は、ＭＴＵサイズが考慮されることなく行われる。例えば、デフォルト値として設定されている量子化パラメータ、ＭＴＵサイズを考慮せずに出力先の機器の性能のみを考慮して設定された量子化パラメータ等に基づいて行われればよい。次いで、符号化によって生成された符号化データのデータサイズが算出される（Ｓ９）。生成された符号化データが、量子化パラメータを変更することによってデータサイズを変更できる符号化データであるか否かが、データの種類によって判断される（Ｓ１０）。データサイズを変更できない符号化データであれば（Ｓ１０：ＮＯ）、処理はそのままＳ１２へ移行する。ピクチャに関する符号化データであり、データサイズを変更可能な符号化データである場合には（Ｓ１０：ＹＥＳ）、データサイズ調整処理が行われる（Ｓ１１）。
【００５１】
図１２に示すように、データサイズ調整処理では、ＭＴＵサイズを考慮せずに生成した符号化データのデータサイズ（Ｓ９，図９参照）が、基準データサイズに設定される（Ｓ２１）。次いで、変曲点を目標点として選択する処理が行われる。変曲点とは、符号化データのデータサイズを増加させた場合に、符号化データの分割数が増加する点、つまり、オーバーヘッド割合が減少から増加に切り替わる点を示す。変曲点のデータサイズとなるように画像データを符号化することで、オーバーヘッド割合を適切に減少させることができる。変曲点の選択は、作成されているマッピングテーブルによって行われる。
【００５２】
まず、基準データサイズがいずれかの変曲点のデータサイズに一致しているか否かが判断される（Ｓ２２）。一致している場合には（Ｓ２２：ＹＥＳ）、その変曲点が選択されて（Ｓ２３）、処理はＳ２７へ移行する。
【００５３】
基準データサイズがいずれの変曲点のデータサイズにも一致していない場合には（Ｓ２２：ＮＯ）、データサイズが基準データサイズに近接した２つの変曲点のいずれかが選択される。詳細には、データサイズが基準データサイズよりも大きい変曲点のうち最もデータサイズが小さい変曲点である第一変曲点、および、データサイズが基準データサイズよりも小さい変曲点のうち最もデータサイズが大きい変曲点である第二変曲点のいずれかが選択される。具体的には、第一変曲点のデータサイズと第二変曲点のデータサイズの中間を閾値とし、基準データサイズが閾値より大きいか否かが判断される（Ｓ２４）。閾値以下である場合には（Ｓ２４：ＮＯ）、データサイズが基準データサイズよりも小さい方の第二変曲点が選択される（Ｓ２５）。基準データサイズが閾値より大きい場合には（Ｓ２４：ＹＥＳ）、データサイズが基準データサイズよりも大きい方の第一変曲点が選択される（Ｓ２６）。
【００５４】
次いで、選択された変曲点のデータサイズが、符号化データのデータサイズの設定値として設定される（Ｓ２７）。設定値は、オーバーヘッド割合が目標値となる符号化データのデータサイズを示す。次いで、基準データサイズと設定値との差から、符号化データのデータサイズが設定値となる量子化パラメータが算出される（Ｓ２８）。１フレーム分の画像データが、算出された量子化パラメータで再度符号化される（Ｓ２９）。Ｓ８（図９参照）で生成された元の符号化データが削除されて（Ｓ３０）、処理は符号化処理へ戻る。
【００５５】
図９の説明に戻る。符号化データが生成されると（Ｓ８またはＳ１１）、生成された符号化データが、出力先の機器のＭＴＵサイズに収まるように分割される。分割されたデータ（分割パケット）に付加データが付加されて、ネットワーク８に出力される（Ｓ１２）。分割パケットのデータサイズは、出力先の機器のＭＴＵサイズから付加データのデータサイズを引いたサイズとなる。例えば、ＭＴＵサイズが１５００ｂｙｔｅであり、付加データのデータサイズが２０ｂｙｔｅであれば、符号化データは１４８０ｂｙｔｅで分割される。その結果、分割パケットと付加データとからなる送出パケットのデータサイズが、ＭＴＵサイズに等しくなる。
【００５６】
次いで、係数（Ｇ）に関連する処理が行われる（Ｓ１３）。例えば、ネットワーク８の可用帯域を用いて機器の優先度を決定するようにユーザが設定している場合には、可用帯域が計測される。計測された可用帯域から係数（Ｇ）が算出されて、可用帯域記憶エリア１２２（図３参照）に記憶される。また、ユーザによる設定優先値の変更指示があった場合には、変更された設定優先値、および係数（Ｇ）が、設定優先値記憶エリア１３１（図４参照）に記憶される。次いで、終了の指示があるか否かが判断される（Ｓ１４）。終了の指示がなければ（Ｓ１４：ＮＯ）、処理はＳ３の判断へ戻る。終了の指示があれば（Ｓ１４：ＹＥＳ）、符号化処理は終了する。
【００５７】
以上説明したように、本実施の形態のテレビ会議装置１は、符号化データの出力先の機器との間のネットワーク８のＭＴＵサイズを計測する。計測したＭＴＵサイズに収まるように符号化データを分割した場合に、オーバーヘッド割合が目標値となる符号化データのデータサイズを、設定値として設定する。オーバーヘッド割合とは、出力するデータ全体のデータサイズに対する、付加データのデータサイズの割合である。付加データとは、ネットワーク通信を行うために、分割したデータに新たに付加されるデータである。テレビ会議装置１は、設定値として設定されたデータサイズに画像データを符号化する。符号化データを、出力先の機器のＭＴＵサイズに合わせて分割して、ネットワーク８に出力する。従って、テレビ会議装置１は、オーバーヘッド割合が目標値となるように画像データを符号化することができるため、オーバーヘッド割合を適切に減少させることができる。よって、符号化データの復号等の処理の効率を向上させることができる。
【００５８】
テレビ会議装置１は、符号化データのデータサイズを増加させた際に、オーバーヘッド割合が減少から増加に切り替わる変曲点のデータサイズを、データサイズの設定値とすることができる。よって、設定値を適切且つ容易に設定することができる。詳細には、テレビ会議装置１は、設定値を設定せずに生成された符号化データのデータサイズを、基準データサイズとする。基準データサイズに近接したデータサイズをとる２つの変曲点の一方を、目標点として選択する。選択した目標点のデータサイズを設定値とし、画像データを符号化する。従って、基準データサイズに近いデータサイズの符号化データを生成しつつ、オーバーヘッド割合を減少させることができる。よって、データサイズを大幅に変更することによる映像品質の劣化を防ぎつつ、復号等の処理の効率を向上させることができる。テレビ会議装置１は、基準データサイズに近接した２つの変曲点の間に閾値を設定し、閾値を用いて容易に設定値を設定することができる。
【００５９】
テレビ会議装置１は、複数の機器との間のネットワーク８のＭＴＵサイズを計測した結果、値が異なる複数のＭＴＵサイズが計測された場合、複数のＭＴＵサイズを用いて１つのマッピングテーブルを作成する。作成した１つのマッピングテーブルを用いて、複数の機器に共通の一の設定値を設定する。設定値のデータサイズに符号化された同一の符号化データを、出力先の機器のそれぞれのＭＴＵサイズに合わせて分割し、複数の機器のそれぞれに出力する。よって、ＭＴＵサイズが異なる複数の機器に符号化データを出力する場合でも、オーバーヘッド割合を一連の処理で適切に減少させることができる。
【００６０】
テレビ会議装置１は、複数の機器の中における優先度を示す係数（Ｇ）を決定し、係数（Ｇ）を用いて１つのマッピングテーブルを作成することもできる。よって、一連の符号化処理によって、優先度の高い機器の処理負担を優先して低下させることもできる。なお、テレビ会議装置１は、ネットワーク８の帯域の情報、ＭＴＵサイズ、およびユーザによって設定された設定優先値の少なくともいずれかを用いて、係数（Ｇ）を適切に決定することができる。
【００６１】
なお、上記実施の形態において、テレビ会議装置１が本発明の「符号化装置」に相当する。カメラ３３が「画像入力手段」に相当する。図９のＳ２でＭＴＵサイズを計測するＣＰＵ１０が「計測手段」として機能する。図９のＳ４〜Ｓ１１、および図１２のＳ２１〜Ｓ２７で、オーバーヘッド割合が目標値となるデータサイズを設定値に設定するＣＰＵ１０が、「設定手段」として機能する。図１２のＳ２８，Ｓ２９で量子化パラメータを算出して符号化を行うＣＰＵ１０が「符号化手段」として機能する。図９のＳ１２で符号化データを分割して出力するＣＰＵ１０が「出力手段」として機能する。
【００６２】
図９のＳ９で基準データサイズを算出するＣＰＵ１０が「算出手段」として機能する。図１２のＳ３０等で係数（Ｇ）を算出することで各機器の優先度を決定するＣＰＵ１０が「優先度決定手段」として機能する。
【００６３】
図９のＳ２でＭＴＵサイズを計測する処理が「計測ステップ」に相当する。図９のＳ４〜Ｓ１１、および図１２のＳ２１〜Ｓ２７で、オーバーヘッド割合が目標値となるデータサイズを設定値に設定する処理が、「設定ステップ」に相当する。図１２のＳ２８，Ｓ２９で量子化パラメータを算出して符号化を行う処理が「符号化ステップ」に相当する。図９のＳ１２で符号化データを分割して出力する処理が「出力ステップ」に相当する。
【００６４】
本発明は、上記実施の形態に限定されることはなく、様々な変形が可能であることは言うまでもない。例えば、本発明が適用できるのはテレビ会議装置に限られないことは勿論である。例えば、映像を配信するサーバ等、画像の符号化データをネットワークを介して出力する機器であれば、本発明を適用できる。上記実施の形態では、Ｈ．２６４の規格に基づいて符号化が行われているが、他の規格を採用することもできる。
【００６５】
上記実施の形態では、イーサネット（登録商標）型ＬＡＮの環境を採用しており、ＩＰヘッダが付加データとなる。しかし、採用するネットワーク環境に応じて付加データの種類は変化する。例えば、ＵＤＰヘッダ、ＲＴＰヘッダ等が付加データとなる場合もある。このような場合でも、本発明は適用できる。
【００６６】
上記実施の形態では、パケット送信のために定義されるパケット化モードとして単一ＮＡＬユニットモードが採用されている。よって、ＮＡＬユニットを単位として符号化データのデータサイズの調整等の処理が行われている。しかし、非インターリーブモード、またはインターリーブモードを採用した場合でも、本発明は適用できる。この場合、送信の単位となる複数のＮＡＬユニットを単位としてデータサイズの調整等を行えばよい。
【００６７】
上記実施の形態では、処理が開始されてから、計測されたＭＴＵサイズに基づいてマッピングテーブルが作成されている。しかし、ＭＴＵサイズに応じた複数のマッピングテーブルをあらかじめＨＤＤ１３等に記憶しておき、計測したＭＴＵサイズに合致する、または最も近いＭＴＵサイズのマッピングテーブルを用いて設定値を設定してもよい。
【００６８】
上記実施の形態のテレビ会議装置１は、２つの変曲点の中間に閾値を設定し、基準データサイズが閾値よりも大きいか否かによって目標点を選択している。しかし、目標点の選択方法も変更できる。例えば、基準データサイズよりもデータサイズが小さい変曲点（第二変曲点）を、一律に目標点として選択してもよい。同様に、必ず第二変曲点を選択するようにしてもよい。基準データサイズの大きさに応じて閾値の位置を変更することも可能である。
【００６９】
上記実施の形態では、複数の機器について複数の値のＭＴＵサイズが計測された場合、複数の機器に共通の一の設定値を設定している。しかし、機器毎に異なる設定値を設定し、さらに機器毎に異なる量子化パラメータで符号化を行って、同一の画像データから複数の符号化データを生成してもよい。この場合の処理は、計測されたＭＴＵサイズが１つであった場合の処理を、機器毎に行うのみである。
【００７０】
優先度を用いて１つのマッピングテーブルを作成する具体的な方法も変更できる。マッピングテーブルを作成するための上記実施の形態中の式も一例であり、設定値を設定するための１つの手法に過ぎないことは言うまでもない。
【符号の説明】
【００７１】
１ テレビ会議装置
８ ネットワーク
１０ ＣＰＵ
１２ ＲＡＭ
１３ ＨＤＤ
３３ カメラ
【特許請求の範囲】
【請求項１】
画像入力手段によって入力された画像データを符号化し、符号化データを他の機器にネットワークを介して出力する符号化装置であって、
前記機器と前記符号化装置との間の前記ネットワークのＭＴＵサイズを計測する計測手段と、
前記計測手段によって計測されたＭＴＵサイズに収まるサイズで符号化データを分割して、ネットワーク通信に必要な付加データを分割した各データに新たに付加する場合に、出力するデータ全体に対する前記付加データの割合であるオーバーヘッド割合が目標値となる符号化データのデータサイズを設定値に設定する設定手段と、
前記設定値として設定されたデータサイズに前記画像データを符号化する符号化手段と、
前記符号化手段によって符号化された符号化データを、前記計測手段によって計測されたＭＴＵサイズに収まるサイズで分割して前記機器に出力する出力手段と
を備えたことを特徴とする符号化装置。
【請求項２】
前記設定手段は、符号化データのデータサイズを増加させた際に前記オーバーヘッド割合が減少から増加に切り替わる点のデータサイズを前記設定値に設定することを特徴とする請求項１に記載の符号化装置。
【請求項３】
前記設定値を設定せずに前記画像データを符号化した場合の符号化データのデータサイズである基準データサイズを算出する算出手段を備え、
前記設定手段は、前記点のデータサイズと前記基準データサイズとが異なる場合、複数の前記点から、データサイズが前記基準データサイズよりも大きい点のうち最もデータサイズが小さい点である第一点、および、データサイズが前記基準データサイズよりも小さい点のうち最もデータサイズが大きい点である第二点のいずれかの点を目標点として、前記目標点のデータサイズを前記設定値に設定することを特徴とする請求項２に記載の符号化装置。
【請求項４】
前記設定手段は、前記基準データサイズが前記第一点と前記第二点との間に設けた閾値よりも大きいか否かによって、前記目標点を前記第一点および前記第二点のいずれにするかを決定することを特徴とする請求項３に記載の符号化装置。
【請求項５】
前記設定手段は、複数の前記機器との間の前記ネットワークのＭＴＵサイズが前記計測手段によって計測された結果、値が異なる複数のＭＴＵサイズが計測された場合、計測された複数の前記機器についてのＭＴＵサイズに基づいて、前記複数の機器に共通する１つの前記設定値を設定し、
前記出力手段は、同一の符号化データを、出力先の前記機器について計測されたそれぞれのＭＴＵサイズに収まるサイズで分割して、前記複数の機器のそれぞれに出力することを特徴とする請求項１から４のいずれかに記載の符号化装置。
【請求項６】
前記複数の機器の中におけるそれぞれの前記機器の優先度を決定する優先度決定手段を備え、
前記設定手段は、前記優先度決定手段によって決定された優先度に基づいて、前記複数の機器に共通の前記設定値を設定することを特徴とする請求項５に記載の符号化装置。
【請求項７】
前記優先度決定手段は、それぞれの前記機器のネットワーク帯域の情報、ＭＴＵサイズ、および優先させる度合いを示す設定情報の少なくともいずれかを用いて前記優先度を決定することを特徴とする請求項６に記載の符号化装置。
【請求項８】
画像入力手段によって入力された画像データを符号化し、符号化データを他の機器にネットワークを介して出力する符号化装置で行われる符号化方法であって、
前記機器と前記符号化装置との間の前記ネットワークのＭＴＵサイズを計測する計測ステップと、
前記計測ステップによって計測されたＭＴＵサイズに収まるサイズで符号化データを分割して、ネットワーク通信に必要な付加データを分割した各データに新たに付加する場合に、出力するデータ全体に対する前記付加データの割合であるオーバーヘッド割合が目標値となる符号化データのデータサイズを設定値に設定する設定ステップと、
前記設定値として設定されたデータサイズに前記画像データを符号化する符号化ステップと、
前記符号化ステップによって符号化された符号化データを、前記計測ステップによって計測されたＭＴＵサイズに収まるサイズで分割して前記機器に出力する出力ステップと
を備えたことを特徴とする符号化方法。
【請求項９】
画像入力手段によって入力された画像データを符号化し、符号化データを他の機器にネットワークを介して出力するための符号化プログラムであって、
コンピュータに、
前記機器との間の前記ネットワークのＭＴＵサイズを計測する計測ステップと、
前記計測ステップによって計測されたＭＴＵサイズに収まるサイズで符号化データを分割して、ネットワーク通信に必要な付加データを分割した各データに新たに付加する場合に、出力するデータ全体に対する前記付加データの割合であるオーバーヘッド割合が目標値となる符号化データのデータサイズを設定値に設定する設定ステップと、
前記設定値として設定されたデータサイズに前記画像データを符号化する符号化ステップと、
前記符号化ステップによって符号化された符号化データを、前記計測ステップによって計測されたＭＴＵサイズに収まるサイズで分割して前記機器に出力する出力ステップと
を実行させることを特徴とする符号化プログラム。
【請求項１】
画像入力手段によって入力された画像データを符号化し、符号化データを他の機器にネットワークを介して出力する符号化装置であって、
前記機器と前記符号化装置との間の前記ネットワークのＭＴＵサイズを計測する計測手段と、
前記計測手段によって計測されたＭＴＵサイズに収まるサイズで符号化データを分割して、ネットワーク通信に必要な付加データを分割した各データに新たに付加する場合に、出力するデータ全体に対する前記付加データの割合であるオーバーヘッド割合が目標値となる符号化データのデータサイズを設定値に設定する設定手段と、
前記設定値として設定されたデータサイズに前記画像データを符号化する符号化手段と、
前記符号化手段によって符号化された符号化データを、前記計測手段によって計測されたＭＴＵサイズに収まるサイズで分割して前記機器に出力する出力手段と
を備えたことを特徴とする符号化装置。
【請求項２】
前記設定手段は、符号化データのデータサイズを増加させた際に前記オーバーヘッド割合が減少から増加に切り替わる点のデータサイズを前記設定値に設定することを特徴とする請求項１に記載の符号化装置。
【請求項３】
前記設定値を設定せずに前記画像データを符号化した場合の符号化データのデータサイズである基準データサイズを算出する算出手段を備え、
前記設定手段は、前記点のデータサイズと前記基準データサイズとが異なる場合、複数の前記点から、データサイズが前記基準データサイズよりも大きい点のうち最もデータサイズが小さい点である第一点、および、データサイズが前記基準データサイズよりも小さい点のうち最もデータサイズが大きい点である第二点のいずれかの点を目標点として、前記目標点のデータサイズを前記設定値に設定することを特徴とする請求項２に記載の符号化装置。
【請求項４】
前記設定手段は、前記基準データサイズが前記第一点と前記第二点との間に設けた閾値よりも大きいか否かによって、前記目標点を前記第一点および前記第二点のいずれにするかを決定することを特徴とする請求項３に記載の符号化装置。
【請求項５】
前記設定手段は、複数の前記機器との間の前記ネットワークのＭＴＵサイズが前記計測手段によって計測された結果、値が異なる複数のＭＴＵサイズが計測された場合、計測された複数の前記機器についてのＭＴＵサイズに基づいて、前記複数の機器に共通する１つの前記設定値を設定し、
前記出力手段は、同一の符号化データを、出力先の前記機器について計測されたそれぞれのＭＴＵサイズに収まるサイズで分割して、前記複数の機器のそれぞれに出力することを特徴とする請求項１から４のいずれかに記載の符号化装置。
【請求項６】
前記複数の機器の中におけるそれぞれの前記機器の優先度を決定する優先度決定手段を備え、
前記設定手段は、前記優先度決定手段によって決定された優先度に基づいて、前記複数の機器に共通の前記設定値を設定することを特徴とする請求項５に記載の符号化装置。
【請求項７】
前記優先度決定手段は、それぞれの前記機器のネットワーク帯域の情報、ＭＴＵサイズ、および優先させる度合いを示す設定情報の少なくともいずれかを用いて前記優先度を決定することを特徴とする請求項６に記載の符号化装置。
【請求項８】
画像入力手段によって入力された画像データを符号化し、符号化データを他の機器にネットワークを介して出力する符号化装置で行われる符号化方法であって、
前記機器と前記符号化装置との間の前記ネットワークのＭＴＵサイズを計測する計測ステップと、
前記計測ステップによって計測されたＭＴＵサイズに収まるサイズで符号化データを分割して、ネットワーク通信に必要な付加データを分割した各データに新たに付加する場合に、出力するデータ全体に対する前記付加データの割合であるオーバーヘッド割合が目標値となる符号化データのデータサイズを設定値に設定する設定ステップと、
前記設定値として設定されたデータサイズに前記画像データを符号化する符号化ステップと、
前記符号化ステップによって符号化された符号化データを、前記計測ステップによって計測されたＭＴＵサイズに収まるサイズで分割して前記機器に出力する出力ステップと
を備えたことを特徴とする符号化方法。
【請求項９】
画像入力手段によって入力された画像データを符号化し、符号化データを他の機器にネットワークを介して出力するための符号化プログラムであって、
コンピュータに、
前記機器との間の前記ネットワークのＭＴＵサイズを計測する計測ステップと、
前記計測ステップによって計測されたＭＴＵサイズに収まるサイズで符号化データを分割して、ネットワーク通信に必要な付加データを分割した各データに新たに付加する場合に、出力するデータ全体に対する前記付加データの割合であるオーバーヘッド割合が目標値となる符号化データのデータサイズを設定値に設定する設定ステップと、
前記設定値として設定されたデータサイズに前記画像データを符号化する符号化ステップと、
前記符号化ステップによって符号化された符号化データを、前記計測ステップによって計測されたＭＴＵサイズに収まるサイズで分割して前記機器に出力する出力ステップと
を実行させることを特徴とする符号化プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１１−６１３６３（Ｐ２０１１−６１３６３Ａ）
【公開日】平成２３年３月２４日（２０１１．３．２４）
【国際特許分類】
【出願番号】特願２００９−２０７１１９（Ｐ２００９−２０７１１９）
【出願日】平成２１年９月８日（２００９．９．８）
【出願人】（０００００５２６７）ブラザー工業株式会社 (13,856)
【Ｆターム（参考）】
【公開日】平成２３年３月２４日（２０１１．３．２４）
【国際特許分類】
【出願日】平成２１年９月８日（２００９．９．８）
【出願人】（０００００５２６７）ブラザー工業株式会社 (13,856)
【Ｆターム（参考）】
[ Back to top ]