通信装置、映像取得方法、及び映像取得プログラム
【課題】映像データの伝送速度を使用可能帯域以下に容易に調整可能な通信装置、映像取得方法、及び映像取得プログラムを提供する。
【解決手段】ＰＣは、ネットワークの使用可能帯域５３を特定する。ＰＣは、カメラから取得した映像データと、前に送信したフレームの映像データとの差分データを符号化して符号化データを作成し、フレーム単位で他のＰＣに対して送信する。ＰＣは、フレーム４１〜４４の送信ビットレートが使用可能帯域５３以下であるので、カメラから出力される映像間の差分データがより大きくなるように、カメラの自動最適化機能のパラメータを第２条件に設定する（矢印６１）。一方、ＰＣは、フレーム４５の送信ビットレートが使用可能帯域５３よりも大きいので、カメラから出力される映像間の差分データがより小さくなるように、カメラの自動最適化機能のパラメータを第１条件に設定する（矢印６２）。
【解決手段】ＰＣは、ネットワークの使用可能帯域５３を特定する。ＰＣは、カメラから取得した映像データと、前に送信したフレームの映像データとの差分データを符号化して符号化データを作成し、フレーム単位で他のＰＣに対して送信する。ＰＣは、フレーム４１〜４４の送信ビットレートが使用可能帯域５３以下であるので、カメラから出力される映像間の差分データがより大きくなるように、カメラの自動最適化機能のパラメータを第２条件に設定する（矢印６１）。一方、ＰＣは、フレーム４５の送信ビットレートが使用可能帯域５３よりも大きいので、カメラから出力される映像間の差分データがより小さくなるように、カメラの自動最適化機能のパラメータを第１条件に設定する（矢印６２）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラ等の撮像装置から映像を取得し、ネットワークに送信する通信装置、映像取得方法、及び映像取得プログラムに関する。
【背景技術】
【０００２】
通信装置は、ネットワークを介してデータを送信する場合、ネットワークにおける使用可能な伝送路容量を超えないように伝送速度を調整することが望ましい。理由は、伝送速度が使用可能な伝送路容量を超えると、データの輻輳、遅延、ゆらぎ、パケットロス等の問題が生じ易くなるためである。以下、使用可能な伝送路容量を、使用可能帯域という。
【０００３】
通信装置がネットワークを介して映像データを送信する場合を仮定する。一般的に、映像データはデータ量が大きくなる傾向が強い。これに対し、例えば特許文献１には、目標とする伝送速度に応じて撮像装置の駆動方式を変更することにより、撮像装置から出力される映像データのデータ量を調整する技術が開示されている。
【０００４】
また、一般的に通信装置は、映像の符号化時に映像データを圧縮することで、データ量を抑制する。これによって通信装置は、映像データがネットワークを介して送信される場合の伝送速度を所定以下に調整することができる。映像データのデータ量を効果的に圧縮できる符号化方式として、フレーム間の差分を符号化する差分符号化方式が広く使用されている。差分符号化方式では、フレーム間の差異が小さい場合に、高い圧縮率を達成することができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−１６０７３７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
差分符号化方式が使用される場合であって、フレーム間の差異が大きい場合、圧縮率は低くなる。このような場合、符号化後の映像データのデータ量が大きくなり、映像データの伝送速度が使用可能帯域を超えてしまう可能性がある。これに対し、特許文献１に記載された技術を利用して撮像装置の駆動方式を変更し、撮像装置から出力されるデータ量を調整した場合でも、自動露光やオートフォーカスといった自動調整機能を使用することで映像データが大きく変化した場合には圧縮率は高くならないので、符号化後の映像データのデータ量を抑制できず、伝送速度を使用可能帯域以下に調整できないという問題点がある。また、データ量を抑制するため、自動調整機能を無効化した場合，使用者はピント調整や露光調整を手動で行わなければならず、簡便性が欠けるという問題がある。
【０００７】
本発明の目的は、映像データの伝送速度を使用可能帯域以下に容易に調整可能な通信装置、映像取得方法、及び映像取得プログラムを提供することにある。
【課題を解決するための手段】
【０００８】
本発明の第一態様に係る通信装置は、ネットワークに接続可能な通信装置であって、設定されたパラメータに基づいて撮影条件を調整し映像を撮影する撮像手段から出力される前記映像を取得する取得手段と、前記取得手段によって今回取得された第一映像と、前記第一映像が取得される前に前記取得手段によって取得された第二映像との差分を示す差分データを用い、前記ネットワークを介して他の前記通信装置に対して送信されるフレームを作成する作成手段と、前記ネットワークの通信状態を特定する特定手段と、前記特定手段によって特定された前記通信状態と、前記作成手段によって作成された前記フレームに含まれるデータのデータ量とが所定の関係を満たす場合、前記撮像手段から出力される前記映像間の差分が小さくなるような前記パラメータを決定し、決定された前記パラメータに基づいて前記撮像手段が前記撮影条件を調整するように、前記パラメータを前記撮像手段に設定する設定手段とを備えている。
【０００９】
第一態様によれば、通信装置は、撮像手段に設定するパラメータを調整することによって、撮像手段から出力される映像間の差分データを小さくすることができる。通信装置は、映像を直接加工することなく差分データを抑制し、フレームに含まれるデータのデータ量を抑制することができる。従って、例えばネットワークの通信状態が悪い場合、通信装置は、他の通信装置に対して送信するフレームのデータ量を容易に抑制することが容易に可能となる。
【００１０】
第一態様において、前記撮像手段は、画質を調整するための前記撮影条件を自動的に最適化する自動最適化機能を有し、前記設定手段は、前記通信状態と、前記作成手段によって作成された前記フレームに含まれるデータのデータ量とが所定の関係を満たす場合、前記自動最適化機能による前記撮影条件の最適化周期を、前回の前記最適化周期を元に前記パラメータとして決定し、前記撮像手段に設定してもよい。最適化周期を長くすることによって、最適化が実行されることにより映像が変化する回数が少なくなるので、全体としての差分データのデータ量を抑制することができる。なお、撮像手段の自動最適化機能の最適化周期を長くした場合、映像を直接加工してデータ量を抑制する場合と異なり、撮像手段から取得する映像の画質を一定レベルに保ちつつ、データ量を抑制することができる。このため通信装置は、映像の画質を極端に劣化させることなく、差分データのデータ量を抑制することができる。
【００１１】
第一態様において、前記撮像手段は、画質を調整するための前記撮影条件を自動的に最適化する自動最適化機能を有し、前記設定手段は、前記通信状態と、前記作成手段によって作成された前記フレームに含まれるデータのデータ量とが所定の関係を満たす場合、前記自動最適化機能による前記撮影条件の最適化を行うか否かを判断する閾値であって、前記撮像手段における前記撮影条件の最適化感度を低下させる閾値を前記パラメータとして決定し、前記撮像手段に設定してもよい。最適化感度を制御することで，データを抑制しつつ撮影環境の変化に対応することができる。なお、撮像手段の自動最適化機能の最適化感度を低下させた場合、撮影環境が大幅に変化した場合のみ最適化が実行されるため、映像を直接加工してデータ量を抑制する場合と異なり、撮像手段から取得する映像の画質を一定レベルに保ちつつ、データ量を抑制することができる。このため通信装置は、映像の画質を極端に劣化させることなく、差分データのデータ量を抑制することができる
【００１２】
第一態様において、前記設定手段は、前記フレームに含まれるデータのデータ量が、前記通信状態に基づいて特定される閾値よりも大きい場合に、前記データ量が小さくなるように前記パラメータを決定して前記撮像手段に設定してもよい。これによって通信装置は、フレームに含まれるデータ量が大きくなり過ぎることを防止できるので、フレームを安定的に送信することができる。
【００１３】
第一態様において、前記自動最適化機能は、オートフォーカス機能、自動露出機能、及びオートホワイトバランス機能のうち少なくともいずれかであってもよい。通信装置は、オートフォーカス機能、自動露出機能、及びオートホワイトバランス機能のうち少なくともいずれかの動作条件を調整することによって、差分データを抑制することができる。
【００１４】
第一態様において、前記通信状態は、前記ネットワークにおける使用可能な帯域である使用可能帯域であってもよい。これによって、フレームを伝送する場合の伝送速度が使用可能帯域よりも大きくなった場合に、フレームに含まれるデータのデータ量を抑制することができる。これによって、フレームの伝送速度が使用可能帯域よりも大きくなることを抑制できる。
【００１５】
本発明の第二態様に係る映像取得方法は、設定されたパラメータに基づいて撮影条件を調整し映像を撮影する撮像手段から出力される前記映像を取得する取得ステップと、前記取得ステップによって今回取得された第一映像と、前記第一映像が取得される前に前記取得ステップによって取得された第二映像との差分を示す差分データを用い、ネットワークを介して他の通信装置に対して送信されるフレームを作成する作成ステップと、前記ネットワークの通信状態を特定する特定ステップと、前記特定ステップによって特定された前記通信状態と、前記作成ステップによって作成された前記フレームに含まれるデータのデータ量とが所定の関係を満たす場合、前記撮像手段から出力される前記映像間の差分が小さくなるような前記パラメータを決定し、決定された前記パラメータに基づいて前記撮像手段が前記撮影条件を調整するように、前記パラメータを前記撮像手段に設定する設定ステップとを備えている。第二態様によれば、第一態様と同様の効果を奏することができる。
【００１６】
本発明の第三態様に係る映像取得プログラムは、設定されたパラメータに基づいて撮影条件を調整し映像を撮影する撮像手段から出力される前記映像を取得する取得ステップと、前記取得ステップによって今回取得された第一映像と、前記第一映像が取得される前に前記取得ステップによって取得された第二映像との差分を示す差分データを用い、ネットワークを介して他の通信装置に対して送信されるフレームを作成する作成ステップと、前記ネットワークの通信状態を特定する特定ステップと、前記特定ステップによって特定された前記通信状態と、前記作成ステップによって作成された前記フレームに含まれるデータのデータ量とが所定の関係を満たす場合、前記撮像手段から出力される前記映像間の差分が小さくなるような前記パラメータを決定し、決定された前記パラメータに基づいて前記撮像手段が前記撮影条件を調整するように、前記パラメータを前記撮像手段に設定する設定ステップとを通信装置のコンピュータに実行させる。第三態様によれば、第一態様と同様の効果を奏することができる。
【図面の簡単な説明】
【００１７】
【図１】通信装置１の電気的構成、及び通信システム１００の構成を示す図である。
【図２】定数テーブル１３１を示す図である。
【図３】従来の方法における、送信ビットレートの推移を示すグラフである。
【図４】本実施形態における、送信ビットレートの推移を示すグラフである。
【図５】送信処理のフローチャートである。
【図６】設定処理のフローチャートである。
【図７】変形例における、送信ビットレートの推移を示すグラフである。
【発明を実施するための形態】
【００１８】
以下、本発明の通信装置を具現化した一実施の形態であるパーソナルコンピュータ（以下、「ＰＣ」という。）１、および複数のＰＣ１を備えた通信システム１００について、図面を参照して説明する。参照する図面は、本発明が採用し得る技術的特徴を説明するために用いられるものである。図面に記載されている装置の構成、各種処理のフローチャート等は、それのみに限定する趣旨ではなく、単なる説明例である。
【００１９】
通信システム１００について説明する。図１に示すように、通信システム１００は、少なくとも２つのＰＣ１を備える。ＰＣ１は、通信相手である他のＰＣ１と、ネットワーク８を介して接続する。ＰＣ１は、他のＰＣ１との間で各種データを送受信する。
【００２０】
本実施の形態の通信システム１００は、複数の拠点のユーザがテレビ会議を行うためのテレビ会議システムである。各ＰＣ１は、映像データおよび音声データを互いに送受信することで、複数の拠点の映像および音声を共有し、テレビ会議を実現する。具体的には、ＰＣ１は、同一拠点内に存在するカメラ３３から映像データを取得し、取得した映像データを符号化して符号化データを生成する。ＰＣ１は、生成した符号化データを、ネットワーク８を介して通信システム１００内の他のＰＣ１に送信する。さらに、ＰＣ１は、他のＰＣ１から受信した符号化データを復号化し、復号化したデータに基づいて、他の拠点の映像を表示装置３４に表示させる。その結果、複数の拠点の映像が通信システム１００内で共有される。音声の共有についても、映像の共有と同様である。なお、ＰＣ１の代わりに、テレビ会議を実行するための専用のテレビ会議端末等を用いてもよい。
【００２１】
ＰＣ１の電気的構成について説明する。図１に示すように、ＰＣ１は、ＰＣ１の制御を司るＣＰＵ１０を備えている。ＣＰＵ１０には、ＲＯＭ１１、ＲＡＭ１２、ハードディスクドライブ（ＨＤＤ）１３、および入出力インターフェース１９が、バス１８を介して接続されている。
【００２２】
ＲＯＭ１１は、ＰＣ１を動作させるためのプログラムおよび初期値等を記憶している。ＲＡＭ１２は、制御プログラムで使用される各種の情報を一時的に記憶する。ＨＤＤ１３は、メディアデータの符号化を制御するための符号化プログラム等の各種の情報を記憶する不揮発性の記憶装置である。ＨＤＤ１３の代わりに、ＥＥＰＲＯＭまたはメモリカード等の記憶装置を用いてもよい。
【００２３】
入出力インターフェース１９には、音声入力処理部２１、音声出力処理部２２、映像入力処理部２３、映像制御処理部２４、映像出力処理部２５、操作入力処理部２６、および外部通信Ｉ／Ｆ２７が接続されている。音声入力処理部２１は、音声を入力するマイク３１からの音声データの入力を処理する。音声出力処理部２２は、音声を出力するスピーカ３２の動作を処理する。映像入力処理部２３は、映像を撮像するカメラ３３からの映像データの入力を処理する。映像制御処理部２４は、カメラ３３からパラメータを取得しまたはカメラ３３にパラメータを設定する処理を行う。パラメータは、カメラ３３が自動最適化機能を実行する場合に基準とする条件である。詳細は後述する。映像出力処理部２５は、映像を表示する表示装置３４の動作を処理する。操作入力処理部２６は、キーボードおよびマウス等の操作部３５からの操作入力を処理する。外部通信Ｉ／Ｆ２７は、ＰＣ１をネットワーク８に接続する。
【００２４】
カメラ３３は、映像の画質を調整するための撮影条件であるピント、露出、及びホワイトバランスを自動的に最適化し、且つ、顔部分を認識して追尾する機能を備えている。具体的には、カメラ３３は、オートフォーカス（ＡＦ）機能、自動露出（ＡＥ）機能、オートホワイトバランス（ＡＷＢ）機能、および、フェイストラッキング（Face Tracking）機能を備えている。ＡＦ機能は、特定の被写体にピントを自動的に合わせる機能である。ＡＥ機能は、特定領域の映像の露出が適正露出となるように自動的に調整する機能である。ＡＷＢ機能は、映像の白色が正確に再現されるように自動的に調整する機能である。Face Tracking機能は、映像内における顔部分の位置を追尾する機能である。以下、ＡＦ機能、ＡＥ機能、ＡＷＢ機能、およびFace Tracking機能を総称し、自動最適化機能ともいう。なお、カメラ３３が備える自動最適化機能は、上述した機能に限定されない。例えばカメラ３３は、色調を自動的に最適化する機能を備えていてもよい。
【００２５】
ＣＰＵ１０は、カメラ３３が自動最適化機能を実行する場合に基準とするパラメータを、映像制御処理部２４を介してカメラ３３から直接取得することができる。またＣＰＵ１０は、カメラ３３が自動最適化機能を実行する場合に基準とするパラメータを、映像制御処理部２４を介してカメラ３３に設定することができる。ＣＰＵ１０は、カメラ３３から取得したパラメータと、ＨＤＤ１３に記憶された定数テーブル１３１（図２参照）に記憶された定数とを参照することで、カメラ３３に設定するパラメータを決定する。
【００２６】
図２を参照し、定数テーブル１３１について説明する。定数テーブル１３１には、ＡＦ機能、ＡＥ機能、およびＡＷＢ機能に対応する定数として、実行周期、調整閾値、およびウィンドウが記憶されている。ＡＦ機能に対応する定数として、レンズ移動量が記憶されている。Face Tracking機能に対応する定数として、基準閾値、追尾閾値、および類似度閾値が記憶されている。なお、定数テーブル１３１に記憶された定数は、カメラ３３に設定されたパラメータを変更する場合の変更量を示している。例えば、定数テーブル１３１においてＡＦ機能の実行周期に対応する第１条件（詳細は後述する）の定数は「＋３」であるので、ＣＰＵ１０は、現時点でカメラ３３に設定されているＡＦ機能の実行周期に３を加算する。ＣＰＵ１０は、加算結果を新たな実行周期としてカメラ３３に再設定する。
【００２７】
実行周期は、カメラ３３がＡＦ機能、ＡＥ機能、およびＡＷＢ機能を実行する周期を示す。例えばＡＦ機能が実行される場合、定数に基づいて算出される実行周期で、ピント修正を行うか判断される。ＡＥ機能が実行される場合、定数に基づいて算出される実行周期で、特定領域の映像の露出を元に再調整を行うか判断される。ＡＷＢ機能の場合、定数に基づいて算出される実行周期で、映像の白色再現性を再調整するか判断される。
【００２８】
調整閾値は、カメラ３３がＡＦ機能、ＡＥ機能、およびＡＷＢ機能を実行するか否かを判断する場合に用いる閾値を示す。例えばＡＦ機能が実行される場合、特定の被写体のピントのずれの程度が、定数に基づいて算出される調整閾値を超えた場合に、特定の被写体のピントが合わせられる。ＡＥ機能が実行される場合、特定領域の映像の露出と適正露出との差分が、定数に基づいて算出される調整閾値を超えた場合に、特定領域の映像の露出が調整される。ＡＷＢ機能が実行される場合、映像のホワイトバランスが、定数に基づいて算出される調整閾値を超えた場合に、ホワイトバランスが調整される。
【００２９】
ウィンドウは、カメラ３３がＡＦ機能、ＡＥ機能、およびＡＷＢ機能を実行する場合に対象とする映像の領域を示す。例えばＡＦ機能が実行される場合、定数に基づいて算出されるウィンドウ内の被写体にピントが合わせられる。ＡＥ機能が実行される場合、定数に基づいて算出されるウィンドウ内の露出が調整される。ＡＷＢ機能が実行される場合、定数に基づいて算出されるウィンドウ内のホワイトバランスが調整される。レンズ移動量は、ＡＦ機能によって自動的にピントを合わせる場合に、一回のピント合わせの際に移動させるレンズの移動量を示す。
【００３０】
なお図２では、実行周期、調整閾値、およびウィンドウに対応する定数について、ＡＦ機能、ＡＥ機能、およびＡＷＢ機能の其々に共通の定数が模擬的に対応付けられているが、実際には機能別に定数は設定される。
【００３１】
基準閾値は、顔部分を検出した際、撮影位置を変更するか否かの判断基準とする閾値を示す。例えば、検出された顔部分が、連続する映像の前後に含まれる顔部分から動いた距離が基準閾値を超えた場合に、再調整を行う。追尾閾値は、カメラ３３が追尾する顔部分の大きさの閾値を示す。例えば、認識した顔部分の大きさが、定数に基づいて算出される追跡閾値を超えた場合に、連続する映像の前後に含まれる顔部分を追尾する。類似度閾値は、連続する映像の前後に含まれる顔部分の類似度合いの閾値を示す。例えば類似度合いが、定数に基づいて算出される類似度閾値を超えた場合、カメラ３３は追尾を行う。
【００３２】
なお図２に示すように、定数テーブル１３１に記憶された定数は、第１条件および第２条件に区分される。ＣＰＵ１０は、ネットワーク８の通信状態に応じて第１条件又は第２条件を選択し、選択した条件に含まれる定数に基づいて、カメラ３３に設定するパラメータを決定し、カメラ３３に再設定する。詳細は後述する。
【００３３】
使用可能帯域の計測について説明する。使用可能帯域とは、送信側のＰＣ１が送信するデータの伝送速度（送信ビットレート）とほぼ等しい伝送速度で受信側のＰＣ１がデータを受信できる最大の伝送速度である。使用可能帯域と、ＰＣ１間のデータの伝送速度とを比較するため、使用可能帯域を伝送路容量（ｂｐｓ）で表す。使用可能帯域の計測方式には種々の方式を用いることができる。本実施の形態では、一例として、以下の文献に記載されている帯域の計測方式を用いる。「津川知朗、ＣａｏＬｅ Ｔｈａｎｈ Ｍａｎ、長谷川剛、村田正幸、「インラインネットワーク計測手法ＩｍＴＣＰおよびその応用手法の実装および性能評価」、電子情報通信学会技術研究報告（ＩＮ２００５−１２０）、ｐ．７９−８４、２００５年１２月」
【００３４】
上記文献に記載されている計測方式では、複数のパケットが、送信間隔を徐々に長くしながら、または徐々に短くしながら順次送信される。例えば、送信間隔を徐々に長くしながら複数のパケットを送信すると、送信ビットレートが使用可能帯域よりも大きい間は、受信側のＰＣ１がパケットの各々を受信する間隔（受信間隔）は、送信側のＰＣ１における送信間隔よりも長くなる。しかし、送信間隔が長くなり、送信ビットレートが使用可能帯域以下となれば、受信間隔と送信間隔とが同一となる。よって、「受信間隔−送信間隔」の値が変化する時点のデータの送信ビットレートを使用可能帯域として計測することができる。
【００３５】
ＰＣ１が他のＰＣ１に対して、映像データを符号化した符号化データを送信する場合の送信ビットレートの推移について、図３および図４を参照して説明する。ＰＣ１は、映像データを符号化データに符号化し、フレーム単位で連続的に他のＰＣ１に対して送信する。図３および図４のうち長方形状の棒４１〜４９の縦軸方向の長さは、フレーム毎の送信ビットレートを示している。なお、フレームは周期的に繰り返し送信されるので、棒４１〜４９の縦軸方向の長さは、フレームに含まれる符号化データのデータ量も示している。
【００３６】
ＰＣ１は、映像データを符号化する場合の符号化方式として、フレーム間の差分データを符号化するフレーム間差分符号化方式を使用する。フレーム間差分符号化方式では、異なる二つの映像データ間の差分データが符号化されるので、二つの映像データを別々に送信する場合と比較して、送信するデータ量を抑制することができる。また、二つの映像データ間の差異が小さい程、符号化データのデータ量は大幅に抑制され、圧縮率は高くなる。なお本発明は、フレーム間差分符号化方式のみを使用し、フレーム間予測を行わない場合と、フレーム内差分符号化方式とフレーム間差分符号化方式とを併用し、フレーム間予測を行う場合との両方に適用可能である。以下では、前者の場合について説明する。後者の場合については、変形例で説明する。
【００３７】
図３は、従来の方法として、ＰＣ１が映像データを符号化する場合において、前のフレームの映像データとの間の差分データを符号化して符号化データを生成する方法を示している。従来の方法では、ＰＣ１は、所定周期（例えば１秒周期）内で他のＰＣ１に対して送信するフレームに含まれる符号化データの総データ量が所定値以下になるように、カメラ３３から取得した映像データの解像度や色数を調整する。なお所定値は、ネットワーク８の使用可能帯域５３に基づいて定められる。符号化データの総データ量が所定値を超えるような場合、使用可能帯域を超える送信ビットレートでフレームが送信されることになり、パケットロスや、輻輳による送信遅延等が生じ易くなる。そこでＰＣ１は、このような場合に、映像データの解像度を低くしたり、映像データの色数を少なくしたりする。これによって、映像データ自体のデータ量が小さくなるので、映像データ間の差分データのデータ量も小さくなり、符号化データのデータ量は抑制される。このようにしてＰＣ１は、所定周期内で送信されるフレームに含まれる符号化データの総データ量が所定値以下となるように調整する。その結果、他のＰＣ１は、ＰＣ１から送信されたフレームを安定的に受信することができる。
【００３８】
例えば図３のうち、所定周期５１内では、映像データ間の差異は継続して小さく、符号化データのデータ量は全体的に小さい。このため、映像データの解像度および色数は調整されることなくそのまま使用され、映像データから符号データが生成される。フレーム４１〜４４の送信ビットレートは、低い値で推移している。
【００３９】
ｔ１のタイミングでカメラ３３から取得された映像データが、前の映像データと比較して大きく変化していたとする。この場合、映像データ間の差分データのデータ量は大きくなるので、符号化データのデータ量は増大する。フレームに含まれる符号化データの増大に伴い、フレーム４５の送信ビットレートは高くなる。ここでＰＣ１は、所定周期内で送信するフレームに含まれる符号化データの総データ量が所定値以下となるように、映像データの解像度や色数を調整する（矢印６０）。具体的には、ＰＣ１は、映像データの解像度を低くし、色数を少なくすることによって、符号化データのデータ量を抑制する。これによって、フレーム４５に続けて送信されるフレーム４６〜４８に含まれる符号化データのデータ量は小さくなり、フレーム４６〜４８の送信ビットレートは低くなる。所定範囲５２内のフレーム４５〜４８に含まれる符号化データの総データ量は所定値以下に抑制される。
【００４０】
ＰＣ１から送信されたフレーム４６〜４８を他のＰＣ１が受信したとする。フレーム４６〜４８に含まれる符号化データの元となる映像データは、符号化データのデータ量を抑制するために、解像度および色数が調整されている。このため、他のＰＣ１が符号化データを復号化して得た映像の解像度は低く、色数は少なくなっている。従って、他のＰＣ１が表示装置３４に映像を表示した場合、表示される映像の輪郭は粗くなり、色調が不鮮明になる。このように従来の方法では、映像が大きく変化することによって符号化データのデータ量が一時的に大きくなった場合、映像データ自体を調整して符号化データを抑制しようとするので、表示装置３４に表示される映像の画質が粗悪になるという問題点がある。
【００４１】
なお、上述した従来の方向の他に、ＰＣ１が所定周期内で送信するフレームに含まれる符号化データの総データ量が所定値以下となるように、送信するフレームを間引いて少なくするという方法もある。この場合、映像が大きく変化することによって符号化データのデータ量が一時的に大きくなると、他のＰＣ１が符号化データを復号化して得た映像の動きは滑らかでなくなる。従って上述と同様、表示装置３４に表示される映像の画質は粗悪になる。
【００４２】
上述の問題点に対して本発明では、従来の方法とは異なり、自動最適化機能により生じる映像の変化を、カメラ３３に設定する自動最適化機能のパラメータを調整することによって制御し、フレームに含まれる符号化データのデータ量を抑制する。図２に示すように、定数テーブル１３１には、自動調整機能のパラメータを決定するための定数が、第１条件および第２条件に区分されて記憶されている。第１条件には、カメラ３３から取得される映像データ間の差分データがより小さくなるようにパラメータを決定できる定数がまとめられている。一方、第２条件には、カメラ３３から取得される映像データ間の差分データがより大きくなるようにパラメータを決定できる定数がまとめられている。
【００４３】
例えば定数テーブル１３１において、ＡＦ機能、ＡＥ機能、およびＡＷＢ機能の実行周期に対応する第１条件の定数は正の値である。このため、カメラ３３におけるＡＦ機能、ＡＥ機能、およびＡＷＢ機能の実行周期が、第１条件の定数に基づいて算出された場合、実行周期はより長くなる。一方、ＡＦ機能、ＡＥ機能、およびＡＷＢ機能の実行周期に対応する第２条件の定数は負の値である。このため、カメラ３３におけるＡＦ機能、ＡＥ機能、およびＡＷＢ機能の実行周期が、第２条件の定数に基づいて算出された場合、実行周期はより短くなる。
【００４４】
カメラ３３においてＡＦ機能が実行された場合に、ＡＦ調整中の映像データやＡＦ機能の実行の前後でカメラ３３から取得される映像データ間の差分データのデータ量は、ＡＦ機能が実行されない場合と比較して大きくなる。理由は、ピントが調整される前の映像と、ピントが調整された後の映像との差異は、差分データとして抽出されるためである。同様の理由で、ＡＥ機能およびＡＷＢ機能が実行された場合、ＡＥ機能およびＡＷＢ機能の実行の前後でカメラ３３から取得される映像データ間の差分データのデータ量は、ＡＥ機能およびＡＷＢ機能が実行されない場合と比較して大きくなる。従って、ＡＦ機能、ＡＥ機能、およびＡＷＢ機能が頻繁に実行される程、映像データ間の差分データのデータ量は大きくなる。このため、第１条件の定数に基づいて実行周期が算出されることによって、映像データが変化する回数を減らし、一定周期（例えば1秒間）で発生するデータ量を抑制する。一方、第２条件の定数に基づいて実行周期が算出されることによって、実行周期はより短くなるので、映像データ間の差分データのデータ量はより大きくなる。
【００４５】
また例えば定数テーブル１３１において、ＡＦ機能、ＡＥ機能、およびＡＷＢ機能の調整閾値に対応する第１条件の定数は正の値である。このため、カメラ３３におけるＡＦ機能、ＡＥ機能、およびＡＷＢ機能の調整閾値が、第１条件の定数に基づいて算出された場合、調整閾値はより大きくなる。一方、ＡＦ機能、ＡＥ機能、およびＡＷＢ機能の調整閾値に対応する第２条件の定数は負の値である。このため、カメラ３３におけるＡＦ機能、ＡＥ機能、およびＡＷＢ機能の調整閾値が、第２条件の定数に基づいて算出された場合、調整閾値はより小さくなる。
【００４６】
カメラ３３においてＡＦ機能、ＡＥ機能、およびＡＷＢ機能の調整閾値が大きくなった場合、ＡＦ機能、ＡＥ機能、およびＡＷＢ機能は大幅に映像データが変化したときのみ実行されるので、実行頻度は低下する。一方、カメラ３３においてＡＦ機能、ＡＥ機能、およびＡＷＢ機能の調整閾値が小さくなった場合、ＡＦ機能、ＡＥ機能、およびＡＷＢ機能は実行され易くなるので、実行頻度は上昇する。ここで上述したように、ＡＦ機能、ＡＥ機能、およびＡＷＢ機能の実行の前後でカメラ３３から取得される映像データ間の差分データのデータ量は、ＡＦ機能、ＡＥ機能、およびＡＷＢ機能が実行されない場合と比較して大きくなる。このため、第１条件の定数に基づいて調整閾値が算出されることによって、調整閾値はより大きくなるので、映像データ間の差分データのデータ量はより小さくなる。一方、第２条件の定数に基づいて調整閾値が算出されることによって、調整閾値はより小さくなるので、映像データ間の差分データのデータ量はより大きくなる。なお、Face Tracking機能の基準閾値、追尾閾値、および類似度閾値についても同様に、第１条件の定数に基づいて閾値が算出されることによって、映像データ間の差分データのデータ量はより小さくなり、第２条件の定数に基づいて閾値が算出されることによって、映像データ間の差分データのデータ量はより大きくなる。
【００４７】
また例えば定数テーブル１３１において、ＡＦ機能、ＡＥ機能、およびＡＷＢ機能のウィンドウに対応する第１条件の定数は「動きのない領域、狭い領域」である。このため、カメラ３３におけるＡＦ機能、ＡＥ機能、およびＡＷＢ機能のウィンドウに第１条件の定数が適用された場合、ＡＦ機能、ＡＥ機能、およびＡＷＢ機能を実行する際に対象とする領域は、より動きのない領域、および、より狭い領域に特定される。一方、ＡＦ機能、ＡＥ機能、およびＡＷＢ機能のウィンドウに対応する第２条件の定数は「動きのある領域、広い領域」である。このため、カメラ３３におけるＡＦ機能、ＡＥ機能、およびＡＷＢ機能のウィンドウに第２条件の定数が適用された場合、ＡＦ機能、ＡＥ機能、およびＡＷＢ機能を実行する際に対象とする領域は、より動きのある領域、および、より広い領域に特定される。
【００４８】
カメラ３３においてＡＦ機能、ＡＥ機能、およびＡＷＢ機能を実行する際に対象とする領域が、より動きのない領域、および、より狭い領域に特定された場合、ＡＦ機能、ＡＥ機能、およびＡＷＢ機能は実行され難くなるので、実行頻度は低下する。一方、カメラ３３においてＡＦ機能、ＡＥ機能、およびＡＷＢ機能を実行する際に対象とする領域が、より動きのある領域、および、より広い領域に特定された場合、ＡＦ機能、ＡＥ機能、およびＡＷＢ機能は実行され易くなるので、実行頻度は上昇する。このため、第１条件の定数が適用されることによって、映像データ間の差分データのデータ量はより小さくなる。一方、第２条件の定数が適用されることによって、映像データ間の差分データのデータ量はより大きくなる。
【００４９】
また例えば定数テーブル１３１において、ＡＦ機能のレンズ移動量に対応する第１条件の定数は負の値である。このため、カメラ３３におけるＡＦ機能のレンズ移動量が、第１条件の定数に基づいて算出された場合、レンズ移動量はより短くなる。一方、ＡＦ機能のレンズ移動量に対応する第２条件の定数は正の値である。このため、カメラ３３におけるＡＦ機能のレンズ移動量が、第２条件の定数に基づいて算出された場合、レンズ移動量はより長くなる。
【００５０】
カメラ３３においてＡＦ機能が実行された場合、レンズ移動量が大きくなる程、ＡＦ機能の実行の前後でカメラ３３から取得される映像データ間の差分データのデータ量は大きくなるとともに調整時間が長くなる。理由は、レンズ移動量が大きくなる程、ピントが調整される前の映像と、ピントが調整された後の映像との差異が大きくなるためである。このため、第１条件の定数に基づいてレンズ移動量が算出されることによって、レンズ移動量はより短くなるので、映像データ間の差分データのデータ量はより小さくなる。一方、第２条件の定数に基づいてレンズ移動量が算出されることによって、レンズ移動量はより長くなるので、映像データ間の差分データのデータ量はより大きくなる。
【００５１】
本発明において、ＰＣ１が映像データ間の差分データを符号化して符号化データを生成する方法について、図４を参照して説明する。本発明では、ネットワーク８の使用可能帯域５３と、フレームの送信ビットレートとを比較する。そして、フレームの送信ビットレートが使用可能帯域以下である場合には、定数テーブル１３１の第２条件の定数を適用することによってカメラ３３の自動最適化機能のパラメータを設定し、フレームに含まれる符号化データのデータ量をより大きくする。一方、使用可能帯域５３よりもフレームの送信ビットレートの方が大きくなった場合、定数テーブル１３１の第１条件の定数を適用することによってカメラ３３の自動最適化機能のパラメータを設定し、フレームに含まれる符号化データのデータ量をより小さくする。
【００５２】
なお、フレームは一定周期で送信される。このため、フレームの送信ビットレートと符号化データのデータ量とは、常に一定の関係になる。従ってＰＣ１は、フレームの送信ビットレートと使用可能帯域との関係を判断することによって、フレームに含まれる符号化データと使用可能帯域との関係を判断していることになる。
【００５３】
図４に示すように、ＰＣ１は、ネットワーク８の使用可能帯域５３を計測する。ＰＣ１は、カメラ３３から取得した映像データと、前のフレームの映像データとの間の差分データを符号化して符号化データを生成し、フレーム単位で他のＰＣ１に送信する。映像データ間の差異は小さいので、フレーム４１〜４４に含まれる符号化データのデータ量は全体的に小さい。このため、フレーム４１〜４４の送信ビットレートは、いずれも使用可能帯域以下となっている。
【００５４】
ＰＣ１は、フレームの送信ビットレートが使用可能帯域５３以下である場合、動作中のカメラ３３における自動最適化機能のパラメータを、定数テーブル１３１の第２条件の定数に基づいて決定し、カメラ３３に設定する（矢印６１）。第２条件の定数が繰り返し適用されることによって、映像データ間の差分データのデータ量は徐々に大きくなる。これによって、ネットワーク８の帯域を有効に活用することができる。なお、映像データ間の差異が十分小さいので、フレーム４１〜４４に含まれる符号化データのデータ量は低い状態で推移している。
【００５５】
ｔ１のタイミングで、映像データが前の映像データと比較して大きく変化したとする。この場合、映像データ間の差分データのデータ量は大きくなるので、符号化データのデータ量は増大する。フレームに含まれる符号化データの増大に伴い、フレーム４５の送信ビットレートは高くなり、使用可能帯域５３よりも大きくなったとする。ここで本発明では、従来の方法とは異なり、カメラ３３から取得した映像データの解像度や色数を調整しない。ＰＣ１は、動作中のカメラ３３における自動最適化機能のパラメータを、定数テーブル１３１の第１条件の定数に基づいて決定し、カメラ３３に設定する（矢印６２）。第１条件の定数が適用されることによって、映像データ間の差分データのデータ量は小さくなる。これによって、フレーム４５に続けて送信されるフレーム４６に含まれる符号化データのデータ量は小さくなる。このため、フレーム４６の送信ビットレートは低くなっている。
【００５６】
ここで図２に示すように、第１条件の定数は、第２条件の定数と比較して値が大きい。このため、図４の矢印６２で第１条件の定数が適用されてパラメータがカメラ３３に設定された場合、第２条件の定数が適用されてパラメータがカメラ３３に設定された場合と比較して、カメラ３３における自動最適化機能のパラメータは大きく変更される。このため、第２条件が適用されてカメラ３３のパラメータが設定されている（矢印６３）にもかかわらず、フレーム４７、４８に含まれる符号化データのデータ量は小さくなっている。フレーム４５〜４８に含まれる符号化データのデータ総量は継続して小さく、フレーム４５〜４８の送信ビットレートは使用可能帯域以下となっている。これによって、図３を参照して説明した従来の方法と同様、所定周期内でＰＣ１から送信されるフレームに含まれる符号化データの総データ量を抑制することができる。
【００５７】
以上説明したように、従来の方法では、映像データの解像度を低くしたり、色数を少なくしたりすることで、フレームに含まれる符号化データのデータ量を抑制し、フレームの送信ビットレートを抑制していた。このため従来の方法では、映像データの画質が悪化するという問題が発生していた。一方本発明では、カメラ３３における自動最適化機能のパラメータを調整することによって、フレームに含まれる符号化データのデータ量を抑制し、送信ビットレートを抑制する。なおこの場合、従来の方法とは異なり、映像データの画質は一定レベルに保たれ、悪化の程度は小さい。例えばＡＦ機能の実行周期が長くなり、被写体のピントが合っていない時間が相対的に長くなった場合や、ＡＥ機能の調整閾値が大きくなり、適正露出に調整される頻度が低下した場合でも、符号化による画質悪化が抑えられるため、ユーザに与える不快感は小さい。このようにＰＣ１は、映像データの画質を極端に悪化させることなく、フレーム送信時の伝送ビットレートを抑制することができる。
【００５８】
図５および図６を参照して、ＰＣ１が実行する処理について説明する。以下説明する送信処理および設定処理符号化処理は、ＨＤＤ１３に記憶されている映像取得プログラムに従って、ＰＣ１のＣＰＵ１０が実行する。ＣＰＵ１０は、ＰＣ１に電源が投入されると、送信処理および設定処理を開始する。ＣＰＵ１０は、送信処理および設定処理を並行して実行することができる。
【００５９】
図５を参照して、送信処理について説明する。ＣＰＵ１０は、カメラ３３から取得した映像データの送信を開始する指示を、操作部３５を介してユーザから受け付けたかを判断する（Ｓ１１）。映像データの送信を開始する指示が受け付けられていない場合（Ｓ１１：ＮＯ）、処理はＳ１１に戻る。ＣＰＵ１０は、映像データの送信を開始する指示を受け付けた場合（Ｓ１１：ＹＥＳ）、フレームを他のＰＣ１に対して送信する所定の周期が到来したかを判断する（Ｓ１３）。所定の周期が到来していない場合（Ｓ１３：ＮＯ）、処理はＳ１３に戻る。
【００６０】
所定の周期が到来した場合（Ｓ１３：ＹＥＳ）、ＣＰＵ１０は、カメラ３３から映像データを取得する（Ｓ１５）。ＣＰＵ１０は、前回送信したフレームの映像データと、カメラ３３から取得した映像データとの間の差分データを符号化することによって、符号化データを生成する。ＣＰＵ１０は、生成した符号化データを用いてフレームを作成する（Ｓ１７）。ＣＰＵ１０は、作成したフレームを、他のＰＣ１０に対して送信する（Ｓ１９）。
【００６１】
ＣＰＵ１０は、映像データの送信を終了する指示を、操作部３５を介してユーザから受け付けたかを判断する（Ｓ２１）。映像データの送信を終了する指示が受け付けられていない場合（Ｓ２１：ＮＯ）、フレームを継続して送信するために、処理はＳ１３に戻る。一方、映像データの送信を終了する指示が受け付けられた場合（Ｓ２１：ＹＥＳ）、処理はＳ１１に戻る。
【００６２】
図６を参照して、設定処理について説明する。ＣＰＵ１０は、カメラ３３から取得した映像データの送信を開始する指示を、操作部３５を介してユーザから受け付けたかを判断する（Ｓ３１）。映像データの送信を開始する指示が受け付けられていない場合（Ｓ３１：ＮＯ）、処理はＳ３１に戻る。ＣＰＵ１０は、映像データの送信を開始する指示を受け付けた場合（Ｓ３１：ＹＥＳ）、カメラ３３に設定されている自動最適化機能のパラメータを、カメラ３３から取得する（Ｓ３３）。ＣＰＵ１０は、ネットワーク８の使用可能帯域（Ｘ）を、周知の方法によって取得する（Ｓ３５）。ＣＰＵ１０は、前回送信したフレームの送信ビットレート（Ｙ）を取得する（Ｓ３７）。フレームの送信ビットレートは、前回送信したフレームのデータ量（ｂｉｔ）と、１秒間に送信されるフレーム数（／ｓ）とを乗算することによって取得する。
【００６３】
ＣＰＵ１０は、Ｓ３５で取得した使用可能帯域（Ｘ）と、Ｓ３７で取得した送信ビットレート（Ｙ）とを比較する（Ｓ３９）。フレームの送信ビットレート（Ｙ）が使用可能帯域（Ｘ）よりも大きくなった場合（Ｓ３９：ＹＥＳ）、ＣＰＵ１０は、定数テーブル１３１に記憶された第１条件の定数を、Ｓ３３で取得したパラメータに適用し、カメラ３３に設定するパラメータを決定する。ＣＰＵ１０は、決定したパラメータをカメラ３３に設定することで、カメラ３３における自動最適化機能のパラメータを更新する（Ｓ４１）。これによって、既に送信したフレームの映像データと、次にカメラ３３から取得する映像データとの間の差分データのデータ量を小さくし、次に送信するフレームの送信ビットレートを抑制する。処理はＳ４５に進む。
【００６４】
一方、フレームの送信ビットレート（Ｙ）が使用可能帯域（Ｘ）以下になった場合（Ｓ３９：ＮＯ）、ＣＰＵ１０は、定数テーブル１３１に記憶された第２条件の定数を、Ｓ３３で取得したパラメータに適用し、カメラ３３に設定するパラメータを決定する。ＣＰＵ１０は、決定したパラメータをカメラ３３に設定することで、カメラ３３における自動最適化機能のパラメータを更新する（Ｓ４３）。処理はＳ４５に進む。
【００６５】
ＣＰＵ１０は、映像データの送信を終了する指示を、操作部３５を介してユーザから受け付けたかを判断する（Ｓ４５）。映像データの送信を終了する指示が受け付けられていない場合（Ｓ４５：ＮＯ）、カメラ３３のパラメータを継続して設定するために、処理はＳ３５に戻る。一方、映像データの送信を終了する指示が受け付けられた場合（Ｓ４５：ＹＥＳ）、処理はＳ３１に戻る。
【００６６】
以上説明したように、ＰＣ１は、カメラ３３に設定する自動最適化機能のパラメータを調整することによって、カメラ３３から出力される映像データ間の差分データを小さくすることができる。このためＰＣ１は、カメラ３３から出力される映像データの解像度や色数を調整することなくそのまま用い、差分データを符号化した符号化データのデータ量を小さくすることができる。従ってＰＣ１は、符号化データを含むフレームの伝送ビットレートを容易に小さくし、伝送ビットレートを使用可能帯域以下に調整することが可能となる。また、映像データの劣化を抑制することができる。
【００６７】
なお、ＰＣ１が本発明の「通信装置」に相当する。カメラ３３が本発明の「撮像手段」に相当する。Ｓ１５の処理を行うＣＰＵ１０が本発明の「取得手段」に相当する。Ｓ３５の処理を行うＣＰＵ１０が本発明の「特定手段」に相当する。Ｓ４１、Ｓ４３の処理を行うＣＰＵ１０が本発明の「設定手段」に相当する。Ｓ１５の処理が本発明の「取得ステップ」に相当する。Ｓ３５の処理が本発明の「特定ステップ」に相当する。Ｓ４１、Ｓ４３の処理が本発明の「設定ステップ」に相当する。
【００６８】
なお本発明は上述の実施形態に限定されず、種々の変更が可能である。上述の実施形態においてＣＰＵ１０は、フレームの送信ビットレートを使用可能帯域と比較した結果に基づいて、カメラ３３に設定する自動最適化機能のパラメータを調整していた。例えばＣＰＵ１０は、使用可能帯域に基づいて、所定周期（例えば１ｓ）内でネットワーク８に送信することが可能なデータ量（送信可能データ量）を算出してもよい。またＣＰＵ１０は、所定周期内で送信されたフレームに含まれる符号化データのデータ量（単位フレームデータ量）を算出してもよい。ＣＰＵ１０は、送信可能データ量と単位フレームデータ量とを比較した結果に基づいて、カメラ３３に設定する自動最適化機能のパラメータを調整しても良い。例えばＣＰＵ１０は、送信可能データ量よりも単位フレームデータ量の方が大きい場合に、定数テーブル１３１に記憶された第１条件の定数を適用して、自動最適化機能のパラメータを決定してもよい。一方、単位フレームデータ量が送信可能データ量以下となった場合に、定数テーブル１３１に記憶された第２条件の定数を適用して、自動最適化機能のパラメータを決定してもよい。また、汎用品のカメラでは、上述で述べたパラメータを制御できない。その場合、外部から制御可能なカメラからカメラ機能を取得し、自動最適化機能を調整してもよい。その場合、ＰＣ１は映像データを解析し、自動最適化機能の有効/無効間隔や手動設定可能なパラメータを制御することになる。
【００６９】
例えばＣＰＵ１０は、使用可能帯域に基づいて、１フレームに含めることが可能なデータ量（使用可能データ量）を算出してもよい。そしてＣＰＵ１０は、使用可能データ量と、実際にフレームに含まれている符号化データのデータ量（フレームデータ総量）とを比較した結果に基づいて、カメラ３３に設定する自動最適化機能のパラメータを調整しても良い。例えばＣＰＵ１０は、使用可能データ量よりもフレームデータ総量の方が大きい場合に、定数テーブル１３１に記憶された第１条件の定数を適用して、自動最適化機能のパラメータを決定し、フレームデータ総量を小さくしてもよい。一方、フレームデータ総量が使用可能データ量以下となった場合に、定数テーブル１３１に記憶された第２条件の定数を適用して、自動最適化機能のパラメータを決定してもよい。
【００７０】
ＣＰＵ１０は、ネットワークの通信状態を示す基準値を、使用可能帯域、通信遅延、および通信のゆらぎ等から総合的に特定しても良い。ＣＰＵ１０は特定した基準値と、フレームの送信ビットレートとを比較した結果に基づいて、カメラ３３に設定する自動最適化機能のパラメータを調整してもよい。またＣＰＵ１０は、使用可能帯域から所定のマージンを減算した値と、フレームの送信ビットレートとを比較しても良い。
【００７１】
上述においてＣＰＵ１０は、フレームの送信ビットレートが使用可能帯域以下となった場合、定数テーブル１３１に記憶された第２条件の定数を適用して決定したパラメータを、カメラ３３に繰り返し設定していた。第２条件の定数を適用して決定したパラメータをカメラ３３に設定する回数は１回のみであってもよい。これによって、第２条件の定数を適用して決定したパラメータが繰り返しカメラ３３に設定されることによって、映像データ間の差分データが徐々に大きくなることを防止できる。
【００７２】
上述では、ＰＣ１がフレーム間差分化方式を使用して映像データの符号化を行う場合について説明した。ＰＣ１は、フレーム間差分化方式とフレーム内差分化方式の両方を併用し、且つフレーム間予測を行って映像データを符号化してもよい。以下、図７を参照し、変形例について説明する。
【００７３】
図７に示すように、フレーム間差分化方式とフレーム内差分化方式の両方を併用し、且つフレーム間予測が行われる場合、フレームとして、Ｉフレーム（Intra-coded Frame）７１、７２と、Ｐフレーム（Predicted Frame）７３〜７８とが使用される。以下、Ｉフレーム７１、７２を総称し、Ｉフレーム７０という。Ｐフレーム７３〜７８を総称し、Ｐフレーム８０という。
【００７４】
Ｉフレーム７０は、フレーム内符号化によって生成される符号化データを含むフレームである。Ｉフレーム７０では、フレーム間での差分符号化が行われないので、Ｉフレーム７０に含まれる符号化データのデータ量は大きくなる。一方、Ｐフレーム８０は、異なるフレームの映像データに基づいて予測映像データを生成し、予測映像データを用いたフレーム間符号化によって生成される符号化データを含むフレームである。Ｐフレーム８０では、フレーム間での差分符号化が行われ、且つフレーム間予測が行われるため、Ｐフレーム８０に含まれる符号化データのデータ量は非常に小さくなる。また図７に示すように、Ｉフレーム７０は、周期的にＰＣ１から送信される。Ｉフレーム７０と次のＩフレーム７０とが送信される間に、複数のＰフレーム８０が送信される。
【００７５】
図７のようなフレーム構成に上述の実施形態をそのまま適用し、使用可能帯域とフレームの送信ビットレートを比較した場合、Ｉフレーム７０の送信ビットレートが使用可能帯域よりも大きくなる可能性は非常に高くなる。反対に、Ｐフレーム８０の送信ビットレートが使用可能帯域よりも大きくなる可能性は非常に低くなる。ここで、Ｉフレーム７０の送信ビットレートが使用可能帯域よりも大きくなることで、カメラ３３における自動最適化機能のパラメータが変更され、カメラ３３から取得される映像データ間の差分データのデータ量が抑制されたと仮定する。この場合、Ｉフレーム７０の次に送信されるＰフレーム８０に含められる符号化データのデータ量は元々小さいにもかかわらず、自動最適化機能のパラメータが変更されるので、符号化データのデータ量を更に小さくしてしまうという問題が発生する。
【００７６】
そこで変形例では、計測された使用可能帯域５３に基づいて、Ｉフレーム７０に適用する閾値５４と、Ｐフレーム８０に適用する閾値５５とを別々に設定する。Ｉフレーム７０の送信ビットレートは、閾値５４と比較される。そして、Ｉフレーム７０の送信ビットレートが閾値５４よりも大きくなった場合、定数テーブル１３１の第１条件の定数を適用することによって、自動最適化機能のパラメータを決定し、カメラ３３に設定する。一方、Ｉフレーム７０の送信ビットレートが閾値５４以下であった場合、定数テーブル１３１の第２条件の定数を適用することによって、自動最適化機能のパラメータを決定し、カメラ３３に設定する。同様に、Ｐフレーム８０の送信ビットレートは、閾値５５と比較される。そして、Ｐフレーム８０の送信ビットレートが閾値５５よりも大きくなった場合、定数テーブル１３１の第１条件の定数を適用することによって、自動最適化機能のパラメータを決定し、カメラ３３に設定する。一方、Ｐフレーム８０の送信ビットレートが閾値５５以下であった場合、定数テーブル１３１の第２条件を適用することによって、自動最適化機能のパラメータを決定し、カメラ３３に設定する。
【００７７】
例えば図７に示すように、Ｉフレーム７１の送信ビットレートは閾値５４よりも大きくなっているので、定数テーブル１３１の第１条件の定数を適用して自動最適化機能のパラメータを決定し、カメラ３３に設定する（矢印９１）。第１条件の定数が適用されることによって、映像データ間の差分データのデータ量は小さくなる。一方、Ｉフレーム７２の送信ビットレートは閾値５４以下であるので、定数テーブル１３１の第２条件の定数を適用して自動最適化機能のパラメータを決定し、カメラ３３に設定する（矢印９４）。この場合、映像データ間の差分データのデータ量は抑制されない。
【００７８】
同様に、Ｐフレーム７４、７７の送信ビットレートは閾値５５よりも大きくなっているので、定数テーブル１３１の第１条件の定数を適用して自動最適化機能のパラメータを決定し、カメラ３３設定する（矢印９３、９５）。第１条件の定数が適用されることによって、映像データ間の差分データのデータ量は小さくなる。一方、Ｐフレーム７３、７５、７６、及び７８の送信ビットレートは閾値５５以下であるので、定数テーブル１３１の第２条件の定数を適用して自動最適化機能のパラメータを決定し、カメラ３３に設定する（矢印９２、９４、９６）。この場合、映像データ間の差分データのデータ量は抑制されない。以上のように、Ｉフレーム７０に適用する閾値５４と、Ｐフレーム８０に適用する閾値５５とを設けることによって、カメラ３３における自動最適化機能のパラメータを適切に調整し、符号化データのデータ量を制御することができる。
【符号の説明】
【００７９】
１ 通信装置
８ ネットワーク
１０ ＣＰＵ
３３ カメラ
１００ 通信システム
１３１ 定数テーブル
【技術分野】
【０００１】
本発明は、カメラ等の撮像装置から映像を取得し、ネットワークに送信する通信装置、映像取得方法、及び映像取得プログラムに関する。
【背景技術】
【０００２】
通信装置は、ネットワークを介してデータを送信する場合、ネットワークにおける使用可能な伝送路容量を超えないように伝送速度を調整することが望ましい。理由は、伝送速度が使用可能な伝送路容量を超えると、データの輻輳、遅延、ゆらぎ、パケットロス等の問題が生じ易くなるためである。以下、使用可能な伝送路容量を、使用可能帯域という。
【０００３】
通信装置がネットワークを介して映像データを送信する場合を仮定する。一般的に、映像データはデータ量が大きくなる傾向が強い。これに対し、例えば特許文献１には、目標とする伝送速度に応じて撮像装置の駆動方式を変更することにより、撮像装置から出力される映像データのデータ量を調整する技術が開示されている。
【０００４】
また、一般的に通信装置は、映像の符号化時に映像データを圧縮することで、データ量を抑制する。これによって通信装置は、映像データがネットワークを介して送信される場合の伝送速度を所定以下に調整することができる。映像データのデータ量を効果的に圧縮できる符号化方式として、フレーム間の差分を符号化する差分符号化方式が広く使用されている。差分符号化方式では、フレーム間の差異が小さい場合に、高い圧縮率を達成することができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−１６０７３７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
差分符号化方式が使用される場合であって、フレーム間の差異が大きい場合、圧縮率は低くなる。このような場合、符号化後の映像データのデータ量が大きくなり、映像データの伝送速度が使用可能帯域を超えてしまう可能性がある。これに対し、特許文献１に記載された技術を利用して撮像装置の駆動方式を変更し、撮像装置から出力されるデータ量を調整した場合でも、自動露光やオートフォーカスといった自動調整機能を使用することで映像データが大きく変化した場合には圧縮率は高くならないので、符号化後の映像データのデータ量を抑制できず、伝送速度を使用可能帯域以下に調整できないという問題点がある。また、データ量を抑制するため、自動調整機能を無効化した場合，使用者はピント調整や露光調整を手動で行わなければならず、簡便性が欠けるという問題がある。
【０００７】
本発明の目的は、映像データの伝送速度を使用可能帯域以下に容易に調整可能な通信装置、映像取得方法、及び映像取得プログラムを提供することにある。
【課題を解決するための手段】
【０００８】
本発明の第一態様に係る通信装置は、ネットワークに接続可能な通信装置であって、設定されたパラメータに基づいて撮影条件を調整し映像を撮影する撮像手段から出力される前記映像を取得する取得手段と、前記取得手段によって今回取得された第一映像と、前記第一映像が取得される前に前記取得手段によって取得された第二映像との差分を示す差分データを用い、前記ネットワークを介して他の前記通信装置に対して送信されるフレームを作成する作成手段と、前記ネットワークの通信状態を特定する特定手段と、前記特定手段によって特定された前記通信状態と、前記作成手段によって作成された前記フレームに含まれるデータのデータ量とが所定の関係を満たす場合、前記撮像手段から出力される前記映像間の差分が小さくなるような前記パラメータを決定し、決定された前記パラメータに基づいて前記撮像手段が前記撮影条件を調整するように、前記パラメータを前記撮像手段に設定する設定手段とを備えている。
【０００９】
第一態様によれば、通信装置は、撮像手段に設定するパラメータを調整することによって、撮像手段から出力される映像間の差分データを小さくすることができる。通信装置は、映像を直接加工することなく差分データを抑制し、フレームに含まれるデータのデータ量を抑制することができる。従って、例えばネットワークの通信状態が悪い場合、通信装置は、他の通信装置に対して送信するフレームのデータ量を容易に抑制することが容易に可能となる。
【００１０】
第一態様において、前記撮像手段は、画質を調整するための前記撮影条件を自動的に最適化する自動最適化機能を有し、前記設定手段は、前記通信状態と、前記作成手段によって作成された前記フレームに含まれるデータのデータ量とが所定の関係を満たす場合、前記自動最適化機能による前記撮影条件の最適化周期を、前回の前記最適化周期を元に前記パラメータとして決定し、前記撮像手段に設定してもよい。最適化周期を長くすることによって、最適化が実行されることにより映像が変化する回数が少なくなるので、全体としての差分データのデータ量を抑制することができる。なお、撮像手段の自動最適化機能の最適化周期を長くした場合、映像を直接加工してデータ量を抑制する場合と異なり、撮像手段から取得する映像の画質を一定レベルに保ちつつ、データ量を抑制することができる。このため通信装置は、映像の画質を極端に劣化させることなく、差分データのデータ量を抑制することができる。
【００１１】
第一態様において、前記撮像手段は、画質を調整するための前記撮影条件を自動的に最適化する自動最適化機能を有し、前記設定手段は、前記通信状態と、前記作成手段によって作成された前記フレームに含まれるデータのデータ量とが所定の関係を満たす場合、前記自動最適化機能による前記撮影条件の最適化を行うか否かを判断する閾値であって、前記撮像手段における前記撮影条件の最適化感度を低下させる閾値を前記パラメータとして決定し、前記撮像手段に設定してもよい。最適化感度を制御することで，データを抑制しつつ撮影環境の変化に対応することができる。なお、撮像手段の自動最適化機能の最適化感度を低下させた場合、撮影環境が大幅に変化した場合のみ最適化が実行されるため、映像を直接加工してデータ量を抑制する場合と異なり、撮像手段から取得する映像の画質を一定レベルに保ちつつ、データ量を抑制することができる。このため通信装置は、映像の画質を極端に劣化させることなく、差分データのデータ量を抑制することができる
【００１２】
第一態様において、前記設定手段は、前記フレームに含まれるデータのデータ量が、前記通信状態に基づいて特定される閾値よりも大きい場合に、前記データ量が小さくなるように前記パラメータを決定して前記撮像手段に設定してもよい。これによって通信装置は、フレームに含まれるデータ量が大きくなり過ぎることを防止できるので、フレームを安定的に送信することができる。
【００１３】
第一態様において、前記自動最適化機能は、オートフォーカス機能、自動露出機能、及びオートホワイトバランス機能のうち少なくともいずれかであってもよい。通信装置は、オートフォーカス機能、自動露出機能、及びオートホワイトバランス機能のうち少なくともいずれかの動作条件を調整することによって、差分データを抑制することができる。
【００１４】
第一態様において、前記通信状態は、前記ネットワークにおける使用可能な帯域である使用可能帯域であってもよい。これによって、フレームを伝送する場合の伝送速度が使用可能帯域よりも大きくなった場合に、フレームに含まれるデータのデータ量を抑制することができる。これによって、フレームの伝送速度が使用可能帯域よりも大きくなることを抑制できる。
【００１５】
本発明の第二態様に係る映像取得方法は、設定されたパラメータに基づいて撮影条件を調整し映像を撮影する撮像手段から出力される前記映像を取得する取得ステップと、前記取得ステップによって今回取得された第一映像と、前記第一映像が取得される前に前記取得ステップによって取得された第二映像との差分を示す差分データを用い、ネットワークを介して他の通信装置に対して送信されるフレームを作成する作成ステップと、前記ネットワークの通信状態を特定する特定ステップと、前記特定ステップによって特定された前記通信状態と、前記作成ステップによって作成された前記フレームに含まれるデータのデータ量とが所定の関係を満たす場合、前記撮像手段から出力される前記映像間の差分が小さくなるような前記パラメータを決定し、決定された前記パラメータに基づいて前記撮像手段が前記撮影条件を調整するように、前記パラメータを前記撮像手段に設定する設定ステップとを備えている。第二態様によれば、第一態様と同様の効果を奏することができる。
【００１６】
本発明の第三態様に係る映像取得プログラムは、設定されたパラメータに基づいて撮影条件を調整し映像を撮影する撮像手段から出力される前記映像を取得する取得ステップと、前記取得ステップによって今回取得された第一映像と、前記第一映像が取得される前に前記取得ステップによって取得された第二映像との差分を示す差分データを用い、ネットワークを介して他の通信装置に対して送信されるフレームを作成する作成ステップと、前記ネットワークの通信状態を特定する特定ステップと、前記特定ステップによって特定された前記通信状態と、前記作成ステップによって作成された前記フレームに含まれるデータのデータ量とが所定の関係を満たす場合、前記撮像手段から出力される前記映像間の差分が小さくなるような前記パラメータを決定し、決定された前記パラメータに基づいて前記撮像手段が前記撮影条件を調整するように、前記パラメータを前記撮像手段に設定する設定ステップとを通信装置のコンピュータに実行させる。第三態様によれば、第一態様と同様の効果を奏することができる。
【図面の簡単な説明】
【００１７】
【図１】通信装置１の電気的構成、及び通信システム１００の構成を示す図である。
【図２】定数テーブル１３１を示す図である。
【図３】従来の方法における、送信ビットレートの推移を示すグラフである。
【図４】本実施形態における、送信ビットレートの推移を示すグラフである。
【図５】送信処理のフローチャートである。
【図６】設定処理のフローチャートである。
【図７】変形例における、送信ビットレートの推移を示すグラフである。
【発明を実施するための形態】
【００１８】
以下、本発明の通信装置を具現化した一実施の形態であるパーソナルコンピュータ（以下、「ＰＣ」という。）１、および複数のＰＣ１を備えた通信システム１００について、図面を参照して説明する。参照する図面は、本発明が採用し得る技術的特徴を説明するために用いられるものである。図面に記載されている装置の構成、各種処理のフローチャート等は、それのみに限定する趣旨ではなく、単なる説明例である。
【００１９】
通信システム１００について説明する。図１に示すように、通信システム１００は、少なくとも２つのＰＣ１を備える。ＰＣ１は、通信相手である他のＰＣ１と、ネットワーク８を介して接続する。ＰＣ１は、他のＰＣ１との間で各種データを送受信する。
【００２０】
本実施の形態の通信システム１００は、複数の拠点のユーザがテレビ会議を行うためのテレビ会議システムである。各ＰＣ１は、映像データおよび音声データを互いに送受信することで、複数の拠点の映像および音声を共有し、テレビ会議を実現する。具体的には、ＰＣ１は、同一拠点内に存在するカメラ３３から映像データを取得し、取得した映像データを符号化して符号化データを生成する。ＰＣ１は、生成した符号化データを、ネットワーク８を介して通信システム１００内の他のＰＣ１に送信する。さらに、ＰＣ１は、他のＰＣ１から受信した符号化データを復号化し、復号化したデータに基づいて、他の拠点の映像を表示装置３４に表示させる。その結果、複数の拠点の映像が通信システム１００内で共有される。音声の共有についても、映像の共有と同様である。なお、ＰＣ１の代わりに、テレビ会議を実行するための専用のテレビ会議端末等を用いてもよい。
【００２１】
ＰＣ１の電気的構成について説明する。図１に示すように、ＰＣ１は、ＰＣ１の制御を司るＣＰＵ１０を備えている。ＣＰＵ１０には、ＲＯＭ１１、ＲＡＭ１２、ハードディスクドライブ（ＨＤＤ）１３、および入出力インターフェース１９が、バス１８を介して接続されている。
【００２２】
ＲＯＭ１１は、ＰＣ１を動作させるためのプログラムおよび初期値等を記憶している。ＲＡＭ１２は、制御プログラムで使用される各種の情報を一時的に記憶する。ＨＤＤ１３は、メディアデータの符号化を制御するための符号化プログラム等の各種の情報を記憶する不揮発性の記憶装置である。ＨＤＤ１３の代わりに、ＥＥＰＲＯＭまたはメモリカード等の記憶装置を用いてもよい。
【００２３】
入出力インターフェース１９には、音声入力処理部２１、音声出力処理部２２、映像入力処理部２３、映像制御処理部２４、映像出力処理部２５、操作入力処理部２６、および外部通信Ｉ／Ｆ２７が接続されている。音声入力処理部２１は、音声を入力するマイク３１からの音声データの入力を処理する。音声出力処理部２２は、音声を出力するスピーカ３２の動作を処理する。映像入力処理部２３は、映像を撮像するカメラ３３からの映像データの入力を処理する。映像制御処理部２４は、カメラ３３からパラメータを取得しまたはカメラ３３にパラメータを設定する処理を行う。パラメータは、カメラ３３が自動最適化機能を実行する場合に基準とする条件である。詳細は後述する。映像出力処理部２５は、映像を表示する表示装置３４の動作を処理する。操作入力処理部２６は、キーボードおよびマウス等の操作部３５からの操作入力を処理する。外部通信Ｉ／Ｆ２７は、ＰＣ１をネットワーク８に接続する。
【００２４】
カメラ３３は、映像の画質を調整するための撮影条件であるピント、露出、及びホワイトバランスを自動的に最適化し、且つ、顔部分を認識して追尾する機能を備えている。具体的には、カメラ３３は、オートフォーカス（ＡＦ）機能、自動露出（ＡＥ）機能、オートホワイトバランス（ＡＷＢ）機能、および、フェイストラッキング（Face Tracking）機能を備えている。ＡＦ機能は、特定の被写体にピントを自動的に合わせる機能である。ＡＥ機能は、特定領域の映像の露出が適正露出となるように自動的に調整する機能である。ＡＷＢ機能は、映像の白色が正確に再現されるように自動的に調整する機能である。Face Tracking機能は、映像内における顔部分の位置を追尾する機能である。以下、ＡＦ機能、ＡＥ機能、ＡＷＢ機能、およびFace Tracking機能を総称し、自動最適化機能ともいう。なお、カメラ３３が備える自動最適化機能は、上述した機能に限定されない。例えばカメラ３３は、色調を自動的に最適化する機能を備えていてもよい。
【００２５】
ＣＰＵ１０は、カメラ３３が自動最適化機能を実行する場合に基準とするパラメータを、映像制御処理部２４を介してカメラ３３から直接取得することができる。またＣＰＵ１０は、カメラ３３が自動最適化機能を実行する場合に基準とするパラメータを、映像制御処理部２４を介してカメラ３３に設定することができる。ＣＰＵ１０は、カメラ３３から取得したパラメータと、ＨＤＤ１３に記憶された定数テーブル１３１（図２参照）に記憶された定数とを参照することで、カメラ３３に設定するパラメータを決定する。
【００２６】
図２を参照し、定数テーブル１３１について説明する。定数テーブル１３１には、ＡＦ機能、ＡＥ機能、およびＡＷＢ機能に対応する定数として、実行周期、調整閾値、およびウィンドウが記憶されている。ＡＦ機能に対応する定数として、レンズ移動量が記憶されている。Face Tracking機能に対応する定数として、基準閾値、追尾閾値、および類似度閾値が記憶されている。なお、定数テーブル１３１に記憶された定数は、カメラ３３に設定されたパラメータを変更する場合の変更量を示している。例えば、定数テーブル１３１においてＡＦ機能の実行周期に対応する第１条件（詳細は後述する）の定数は「＋３」であるので、ＣＰＵ１０は、現時点でカメラ３３に設定されているＡＦ機能の実行周期に３を加算する。ＣＰＵ１０は、加算結果を新たな実行周期としてカメラ３３に再設定する。
【００２７】
実行周期は、カメラ３３がＡＦ機能、ＡＥ機能、およびＡＷＢ機能を実行する周期を示す。例えばＡＦ機能が実行される場合、定数に基づいて算出される実行周期で、ピント修正を行うか判断される。ＡＥ機能が実行される場合、定数に基づいて算出される実行周期で、特定領域の映像の露出を元に再調整を行うか判断される。ＡＷＢ機能の場合、定数に基づいて算出される実行周期で、映像の白色再現性を再調整するか判断される。
【００２８】
調整閾値は、カメラ３３がＡＦ機能、ＡＥ機能、およびＡＷＢ機能を実行するか否かを判断する場合に用いる閾値を示す。例えばＡＦ機能が実行される場合、特定の被写体のピントのずれの程度が、定数に基づいて算出される調整閾値を超えた場合に、特定の被写体のピントが合わせられる。ＡＥ機能が実行される場合、特定領域の映像の露出と適正露出との差分が、定数に基づいて算出される調整閾値を超えた場合に、特定領域の映像の露出が調整される。ＡＷＢ機能が実行される場合、映像のホワイトバランスが、定数に基づいて算出される調整閾値を超えた場合に、ホワイトバランスが調整される。
【００２９】
ウィンドウは、カメラ３３がＡＦ機能、ＡＥ機能、およびＡＷＢ機能を実行する場合に対象とする映像の領域を示す。例えばＡＦ機能が実行される場合、定数に基づいて算出されるウィンドウ内の被写体にピントが合わせられる。ＡＥ機能が実行される場合、定数に基づいて算出されるウィンドウ内の露出が調整される。ＡＷＢ機能が実行される場合、定数に基づいて算出されるウィンドウ内のホワイトバランスが調整される。レンズ移動量は、ＡＦ機能によって自動的にピントを合わせる場合に、一回のピント合わせの際に移動させるレンズの移動量を示す。
【００３０】
なお図２では、実行周期、調整閾値、およびウィンドウに対応する定数について、ＡＦ機能、ＡＥ機能、およびＡＷＢ機能の其々に共通の定数が模擬的に対応付けられているが、実際には機能別に定数は設定される。
【００３１】
基準閾値は、顔部分を検出した際、撮影位置を変更するか否かの判断基準とする閾値を示す。例えば、検出された顔部分が、連続する映像の前後に含まれる顔部分から動いた距離が基準閾値を超えた場合に、再調整を行う。追尾閾値は、カメラ３３が追尾する顔部分の大きさの閾値を示す。例えば、認識した顔部分の大きさが、定数に基づいて算出される追跡閾値を超えた場合に、連続する映像の前後に含まれる顔部分を追尾する。類似度閾値は、連続する映像の前後に含まれる顔部分の類似度合いの閾値を示す。例えば類似度合いが、定数に基づいて算出される類似度閾値を超えた場合、カメラ３３は追尾を行う。
【００３２】
なお図２に示すように、定数テーブル１３１に記憶された定数は、第１条件および第２条件に区分される。ＣＰＵ１０は、ネットワーク８の通信状態に応じて第１条件又は第２条件を選択し、選択した条件に含まれる定数に基づいて、カメラ３３に設定するパラメータを決定し、カメラ３３に再設定する。詳細は後述する。
【００３３】
使用可能帯域の計測について説明する。使用可能帯域とは、送信側のＰＣ１が送信するデータの伝送速度（送信ビットレート）とほぼ等しい伝送速度で受信側のＰＣ１がデータを受信できる最大の伝送速度である。使用可能帯域と、ＰＣ１間のデータの伝送速度とを比較するため、使用可能帯域を伝送路容量（ｂｐｓ）で表す。使用可能帯域の計測方式には種々の方式を用いることができる。本実施の形態では、一例として、以下の文献に記載されている帯域の計測方式を用いる。「津川知朗、ＣａｏＬｅ Ｔｈａｎｈ Ｍａｎ、長谷川剛、村田正幸、「インラインネットワーク計測手法ＩｍＴＣＰおよびその応用手法の実装および性能評価」、電子情報通信学会技術研究報告（ＩＮ２００５−１２０）、ｐ．７９−８４、２００５年１２月」
【００３４】
上記文献に記載されている計測方式では、複数のパケットが、送信間隔を徐々に長くしながら、または徐々に短くしながら順次送信される。例えば、送信間隔を徐々に長くしながら複数のパケットを送信すると、送信ビットレートが使用可能帯域よりも大きい間は、受信側のＰＣ１がパケットの各々を受信する間隔（受信間隔）は、送信側のＰＣ１における送信間隔よりも長くなる。しかし、送信間隔が長くなり、送信ビットレートが使用可能帯域以下となれば、受信間隔と送信間隔とが同一となる。よって、「受信間隔−送信間隔」の値が変化する時点のデータの送信ビットレートを使用可能帯域として計測することができる。
【００３５】
ＰＣ１が他のＰＣ１に対して、映像データを符号化した符号化データを送信する場合の送信ビットレートの推移について、図３および図４を参照して説明する。ＰＣ１は、映像データを符号化データに符号化し、フレーム単位で連続的に他のＰＣ１に対して送信する。図３および図４のうち長方形状の棒４１〜４９の縦軸方向の長さは、フレーム毎の送信ビットレートを示している。なお、フレームは周期的に繰り返し送信されるので、棒４１〜４９の縦軸方向の長さは、フレームに含まれる符号化データのデータ量も示している。
【００３６】
ＰＣ１は、映像データを符号化する場合の符号化方式として、フレーム間の差分データを符号化するフレーム間差分符号化方式を使用する。フレーム間差分符号化方式では、異なる二つの映像データ間の差分データが符号化されるので、二つの映像データを別々に送信する場合と比較して、送信するデータ量を抑制することができる。また、二つの映像データ間の差異が小さい程、符号化データのデータ量は大幅に抑制され、圧縮率は高くなる。なお本発明は、フレーム間差分符号化方式のみを使用し、フレーム間予測を行わない場合と、フレーム内差分符号化方式とフレーム間差分符号化方式とを併用し、フレーム間予測を行う場合との両方に適用可能である。以下では、前者の場合について説明する。後者の場合については、変形例で説明する。
【００３７】
図３は、従来の方法として、ＰＣ１が映像データを符号化する場合において、前のフレームの映像データとの間の差分データを符号化して符号化データを生成する方法を示している。従来の方法では、ＰＣ１は、所定周期（例えば１秒周期）内で他のＰＣ１に対して送信するフレームに含まれる符号化データの総データ量が所定値以下になるように、カメラ３３から取得した映像データの解像度や色数を調整する。なお所定値は、ネットワーク８の使用可能帯域５３に基づいて定められる。符号化データの総データ量が所定値を超えるような場合、使用可能帯域を超える送信ビットレートでフレームが送信されることになり、パケットロスや、輻輳による送信遅延等が生じ易くなる。そこでＰＣ１は、このような場合に、映像データの解像度を低くしたり、映像データの色数を少なくしたりする。これによって、映像データ自体のデータ量が小さくなるので、映像データ間の差分データのデータ量も小さくなり、符号化データのデータ量は抑制される。このようにしてＰＣ１は、所定周期内で送信されるフレームに含まれる符号化データの総データ量が所定値以下となるように調整する。その結果、他のＰＣ１は、ＰＣ１から送信されたフレームを安定的に受信することができる。
【００３８】
例えば図３のうち、所定周期５１内では、映像データ間の差異は継続して小さく、符号化データのデータ量は全体的に小さい。このため、映像データの解像度および色数は調整されることなくそのまま使用され、映像データから符号データが生成される。フレーム４１〜４４の送信ビットレートは、低い値で推移している。
【００３９】
ｔ１のタイミングでカメラ３３から取得された映像データが、前の映像データと比較して大きく変化していたとする。この場合、映像データ間の差分データのデータ量は大きくなるので、符号化データのデータ量は増大する。フレームに含まれる符号化データの増大に伴い、フレーム４５の送信ビットレートは高くなる。ここでＰＣ１は、所定周期内で送信するフレームに含まれる符号化データの総データ量が所定値以下となるように、映像データの解像度や色数を調整する（矢印６０）。具体的には、ＰＣ１は、映像データの解像度を低くし、色数を少なくすることによって、符号化データのデータ量を抑制する。これによって、フレーム４５に続けて送信されるフレーム４６〜４８に含まれる符号化データのデータ量は小さくなり、フレーム４６〜４８の送信ビットレートは低くなる。所定範囲５２内のフレーム４５〜４８に含まれる符号化データの総データ量は所定値以下に抑制される。
【００４０】
ＰＣ１から送信されたフレーム４６〜４８を他のＰＣ１が受信したとする。フレーム４６〜４８に含まれる符号化データの元となる映像データは、符号化データのデータ量を抑制するために、解像度および色数が調整されている。このため、他のＰＣ１が符号化データを復号化して得た映像の解像度は低く、色数は少なくなっている。従って、他のＰＣ１が表示装置３４に映像を表示した場合、表示される映像の輪郭は粗くなり、色調が不鮮明になる。このように従来の方法では、映像が大きく変化することによって符号化データのデータ量が一時的に大きくなった場合、映像データ自体を調整して符号化データを抑制しようとするので、表示装置３４に表示される映像の画質が粗悪になるという問題点がある。
【００４１】
なお、上述した従来の方向の他に、ＰＣ１が所定周期内で送信するフレームに含まれる符号化データの総データ量が所定値以下となるように、送信するフレームを間引いて少なくするという方法もある。この場合、映像が大きく変化することによって符号化データのデータ量が一時的に大きくなると、他のＰＣ１が符号化データを復号化して得た映像の動きは滑らかでなくなる。従って上述と同様、表示装置３４に表示される映像の画質は粗悪になる。
【００４２】
上述の問題点に対して本発明では、従来の方法とは異なり、自動最適化機能により生じる映像の変化を、カメラ３３に設定する自動最適化機能のパラメータを調整することによって制御し、フレームに含まれる符号化データのデータ量を抑制する。図２に示すように、定数テーブル１３１には、自動調整機能のパラメータを決定するための定数が、第１条件および第２条件に区分されて記憶されている。第１条件には、カメラ３３から取得される映像データ間の差分データがより小さくなるようにパラメータを決定できる定数がまとめられている。一方、第２条件には、カメラ３３から取得される映像データ間の差分データがより大きくなるようにパラメータを決定できる定数がまとめられている。
【００４３】
例えば定数テーブル１３１において、ＡＦ機能、ＡＥ機能、およびＡＷＢ機能の実行周期に対応する第１条件の定数は正の値である。このため、カメラ３３におけるＡＦ機能、ＡＥ機能、およびＡＷＢ機能の実行周期が、第１条件の定数に基づいて算出された場合、実行周期はより長くなる。一方、ＡＦ機能、ＡＥ機能、およびＡＷＢ機能の実行周期に対応する第２条件の定数は負の値である。このため、カメラ３３におけるＡＦ機能、ＡＥ機能、およびＡＷＢ機能の実行周期が、第２条件の定数に基づいて算出された場合、実行周期はより短くなる。
【００４４】
カメラ３３においてＡＦ機能が実行された場合に、ＡＦ調整中の映像データやＡＦ機能の実行の前後でカメラ３３から取得される映像データ間の差分データのデータ量は、ＡＦ機能が実行されない場合と比較して大きくなる。理由は、ピントが調整される前の映像と、ピントが調整された後の映像との差異は、差分データとして抽出されるためである。同様の理由で、ＡＥ機能およびＡＷＢ機能が実行された場合、ＡＥ機能およびＡＷＢ機能の実行の前後でカメラ３３から取得される映像データ間の差分データのデータ量は、ＡＥ機能およびＡＷＢ機能が実行されない場合と比較して大きくなる。従って、ＡＦ機能、ＡＥ機能、およびＡＷＢ機能が頻繁に実行される程、映像データ間の差分データのデータ量は大きくなる。このため、第１条件の定数に基づいて実行周期が算出されることによって、映像データが変化する回数を減らし、一定周期（例えば1秒間）で発生するデータ量を抑制する。一方、第２条件の定数に基づいて実行周期が算出されることによって、実行周期はより短くなるので、映像データ間の差分データのデータ量はより大きくなる。
【００４５】
また例えば定数テーブル１３１において、ＡＦ機能、ＡＥ機能、およびＡＷＢ機能の調整閾値に対応する第１条件の定数は正の値である。このため、カメラ３３におけるＡＦ機能、ＡＥ機能、およびＡＷＢ機能の調整閾値が、第１条件の定数に基づいて算出された場合、調整閾値はより大きくなる。一方、ＡＦ機能、ＡＥ機能、およびＡＷＢ機能の調整閾値に対応する第２条件の定数は負の値である。このため、カメラ３３におけるＡＦ機能、ＡＥ機能、およびＡＷＢ機能の調整閾値が、第２条件の定数に基づいて算出された場合、調整閾値はより小さくなる。
【００４６】
カメラ３３においてＡＦ機能、ＡＥ機能、およびＡＷＢ機能の調整閾値が大きくなった場合、ＡＦ機能、ＡＥ機能、およびＡＷＢ機能は大幅に映像データが変化したときのみ実行されるので、実行頻度は低下する。一方、カメラ３３においてＡＦ機能、ＡＥ機能、およびＡＷＢ機能の調整閾値が小さくなった場合、ＡＦ機能、ＡＥ機能、およびＡＷＢ機能は実行され易くなるので、実行頻度は上昇する。ここで上述したように、ＡＦ機能、ＡＥ機能、およびＡＷＢ機能の実行の前後でカメラ３３から取得される映像データ間の差分データのデータ量は、ＡＦ機能、ＡＥ機能、およびＡＷＢ機能が実行されない場合と比較して大きくなる。このため、第１条件の定数に基づいて調整閾値が算出されることによって、調整閾値はより大きくなるので、映像データ間の差分データのデータ量はより小さくなる。一方、第２条件の定数に基づいて調整閾値が算出されることによって、調整閾値はより小さくなるので、映像データ間の差分データのデータ量はより大きくなる。なお、Face Tracking機能の基準閾値、追尾閾値、および類似度閾値についても同様に、第１条件の定数に基づいて閾値が算出されることによって、映像データ間の差分データのデータ量はより小さくなり、第２条件の定数に基づいて閾値が算出されることによって、映像データ間の差分データのデータ量はより大きくなる。
【００４７】
また例えば定数テーブル１３１において、ＡＦ機能、ＡＥ機能、およびＡＷＢ機能のウィンドウに対応する第１条件の定数は「動きのない領域、狭い領域」である。このため、カメラ３３におけるＡＦ機能、ＡＥ機能、およびＡＷＢ機能のウィンドウに第１条件の定数が適用された場合、ＡＦ機能、ＡＥ機能、およびＡＷＢ機能を実行する際に対象とする領域は、より動きのない領域、および、より狭い領域に特定される。一方、ＡＦ機能、ＡＥ機能、およびＡＷＢ機能のウィンドウに対応する第２条件の定数は「動きのある領域、広い領域」である。このため、カメラ３３におけるＡＦ機能、ＡＥ機能、およびＡＷＢ機能のウィンドウに第２条件の定数が適用された場合、ＡＦ機能、ＡＥ機能、およびＡＷＢ機能を実行する際に対象とする領域は、より動きのある領域、および、より広い領域に特定される。
【００４８】
カメラ３３においてＡＦ機能、ＡＥ機能、およびＡＷＢ機能を実行する際に対象とする領域が、より動きのない領域、および、より狭い領域に特定された場合、ＡＦ機能、ＡＥ機能、およびＡＷＢ機能は実行され難くなるので、実行頻度は低下する。一方、カメラ３３においてＡＦ機能、ＡＥ機能、およびＡＷＢ機能を実行する際に対象とする領域が、より動きのある領域、および、より広い領域に特定された場合、ＡＦ機能、ＡＥ機能、およびＡＷＢ機能は実行され易くなるので、実行頻度は上昇する。このため、第１条件の定数が適用されることによって、映像データ間の差分データのデータ量はより小さくなる。一方、第２条件の定数が適用されることによって、映像データ間の差分データのデータ量はより大きくなる。
【００４９】
また例えば定数テーブル１３１において、ＡＦ機能のレンズ移動量に対応する第１条件の定数は負の値である。このため、カメラ３３におけるＡＦ機能のレンズ移動量が、第１条件の定数に基づいて算出された場合、レンズ移動量はより短くなる。一方、ＡＦ機能のレンズ移動量に対応する第２条件の定数は正の値である。このため、カメラ３３におけるＡＦ機能のレンズ移動量が、第２条件の定数に基づいて算出された場合、レンズ移動量はより長くなる。
【００５０】
カメラ３３においてＡＦ機能が実行された場合、レンズ移動量が大きくなる程、ＡＦ機能の実行の前後でカメラ３３から取得される映像データ間の差分データのデータ量は大きくなるとともに調整時間が長くなる。理由は、レンズ移動量が大きくなる程、ピントが調整される前の映像と、ピントが調整された後の映像との差異が大きくなるためである。このため、第１条件の定数に基づいてレンズ移動量が算出されることによって、レンズ移動量はより短くなるので、映像データ間の差分データのデータ量はより小さくなる。一方、第２条件の定数に基づいてレンズ移動量が算出されることによって、レンズ移動量はより長くなるので、映像データ間の差分データのデータ量はより大きくなる。
【００５１】
本発明において、ＰＣ１が映像データ間の差分データを符号化して符号化データを生成する方法について、図４を参照して説明する。本発明では、ネットワーク８の使用可能帯域５３と、フレームの送信ビットレートとを比較する。そして、フレームの送信ビットレートが使用可能帯域以下である場合には、定数テーブル１３１の第２条件の定数を適用することによってカメラ３３の自動最適化機能のパラメータを設定し、フレームに含まれる符号化データのデータ量をより大きくする。一方、使用可能帯域５３よりもフレームの送信ビットレートの方が大きくなった場合、定数テーブル１３１の第１条件の定数を適用することによってカメラ３３の自動最適化機能のパラメータを設定し、フレームに含まれる符号化データのデータ量をより小さくする。
【００５２】
なお、フレームは一定周期で送信される。このため、フレームの送信ビットレートと符号化データのデータ量とは、常に一定の関係になる。従ってＰＣ１は、フレームの送信ビットレートと使用可能帯域との関係を判断することによって、フレームに含まれる符号化データと使用可能帯域との関係を判断していることになる。
【００５３】
図４に示すように、ＰＣ１は、ネットワーク８の使用可能帯域５３を計測する。ＰＣ１は、カメラ３３から取得した映像データと、前のフレームの映像データとの間の差分データを符号化して符号化データを生成し、フレーム単位で他のＰＣ１に送信する。映像データ間の差異は小さいので、フレーム４１〜４４に含まれる符号化データのデータ量は全体的に小さい。このため、フレーム４１〜４４の送信ビットレートは、いずれも使用可能帯域以下となっている。
【００５４】
ＰＣ１は、フレームの送信ビットレートが使用可能帯域５３以下である場合、動作中のカメラ３３における自動最適化機能のパラメータを、定数テーブル１３１の第２条件の定数に基づいて決定し、カメラ３３に設定する（矢印６１）。第２条件の定数が繰り返し適用されることによって、映像データ間の差分データのデータ量は徐々に大きくなる。これによって、ネットワーク８の帯域を有効に活用することができる。なお、映像データ間の差異が十分小さいので、フレーム４１〜４４に含まれる符号化データのデータ量は低い状態で推移している。
【００５５】
ｔ１のタイミングで、映像データが前の映像データと比較して大きく変化したとする。この場合、映像データ間の差分データのデータ量は大きくなるので、符号化データのデータ量は増大する。フレームに含まれる符号化データの増大に伴い、フレーム４５の送信ビットレートは高くなり、使用可能帯域５３よりも大きくなったとする。ここで本発明では、従来の方法とは異なり、カメラ３３から取得した映像データの解像度や色数を調整しない。ＰＣ１は、動作中のカメラ３３における自動最適化機能のパラメータを、定数テーブル１３１の第１条件の定数に基づいて決定し、カメラ３３に設定する（矢印６２）。第１条件の定数が適用されることによって、映像データ間の差分データのデータ量は小さくなる。これによって、フレーム４５に続けて送信されるフレーム４６に含まれる符号化データのデータ量は小さくなる。このため、フレーム４６の送信ビットレートは低くなっている。
【００５６】
ここで図２に示すように、第１条件の定数は、第２条件の定数と比較して値が大きい。このため、図４の矢印６２で第１条件の定数が適用されてパラメータがカメラ３３に設定された場合、第２条件の定数が適用されてパラメータがカメラ３３に設定された場合と比較して、カメラ３３における自動最適化機能のパラメータは大きく変更される。このため、第２条件が適用されてカメラ３３のパラメータが設定されている（矢印６３）にもかかわらず、フレーム４７、４８に含まれる符号化データのデータ量は小さくなっている。フレーム４５〜４８に含まれる符号化データのデータ総量は継続して小さく、フレーム４５〜４８の送信ビットレートは使用可能帯域以下となっている。これによって、図３を参照して説明した従来の方法と同様、所定周期内でＰＣ１から送信されるフレームに含まれる符号化データの総データ量を抑制することができる。
【００５７】
以上説明したように、従来の方法では、映像データの解像度を低くしたり、色数を少なくしたりすることで、フレームに含まれる符号化データのデータ量を抑制し、フレームの送信ビットレートを抑制していた。このため従来の方法では、映像データの画質が悪化するという問題が発生していた。一方本発明では、カメラ３３における自動最適化機能のパラメータを調整することによって、フレームに含まれる符号化データのデータ量を抑制し、送信ビットレートを抑制する。なおこの場合、従来の方法とは異なり、映像データの画質は一定レベルに保たれ、悪化の程度は小さい。例えばＡＦ機能の実行周期が長くなり、被写体のピントが合っていない時間が相対的に長くなった場合や、ＡＥ機能の調整閾値が大きくなり、適正露出に調整される頻度が低下した場合でも、符号化による画質悪化が抑えられるため、ユーザに与える不快感は小さい。このようにＰＣ１は、映像データの画質を極端に悪化させることなく、フレーム送信時の伝送ビットレートを抑制することができる。
【００５８】
図５および図６を参照して、ＰＣ１が実行する処理について説明する。以下説明する送信処理および設定処理符号化処理は、ＨＤＤ１３に記憶されている映像取得プログラムに従って、ＰＣ１のＣＰＵ１０が実行する。ＣＰＵ１０は、ＰＣ１に電源が投入されると、送信処理および設定処理を開始する。ＣＰＵ１０は、送信処理および設定処理を並行して実行することができる。
【００５９】
図５を参照して、送信処理について説明する。ＣＰＵ１０は、カメラ３３から取得した映像データの送信を開始する指示を、操作部３５を介してユーザから受け付けたかを判断する（Ｓ１１）。映像データの送信を開始する指示が受け付けられていない場合（Ｓ１１：ＮＯ）、処理はＳ１１に戻る。ＣＰＵ１０は、映像データの送信を開始する指示を受け付けた場合（Ｓ１１：ＹＥＳ）、フレームを他のＰＣ１に対して送信する所定の周期が到来したかを判断する（Ｓ１３）。所定の周期が到来していない場合（Ｓ１３：ＮＯ）、処理はＳ１３に戻る。
【００６０】
所定の周期が到来した場合（Ｓ１３：ＹＥＳ）、ＣＰＵ１０は、カメラ３３から映像データを取得する（Ｓ１５）。ＣＰＵ１０は、前回送信したフレームの映像データと、カメラ３３から取得した映像データとの間の差分データを符号化することによって、符号化データを生成する。ＣＰＵ１０は、生成した符号化データを用いてフレームを作成する（Ｓ１７）。ＣＰＵ１０は、作成したフレームを、他のＰＣ１０に対して送信する（Ｓ１９）。
【００６１】
ＣＰＵ１０は、映像データの送信を終了する指示を、操作部３５を介してユーザから受け付けたかを判断する（Ｓ２１）。映像データの送信を終了する指示が受け付けられていない場合（Ｓ２１：ＮＯ）、フレームを継続して送信するために、処理はＳ１３に戻る。一方、映像データの送信を終了する指示が受け付けられた場合（Ｓ２１：ＹＥＳ）、処理はＳ１１に戻る。
【００６２】
図６を参照して、設定処理について説明する。ＣＰＵ１０は、カメラ３３から取得した映像データの送信を開始する指示を、操作部３５を介してユーザから受け付けたかを判断する（Ｓ３１）。映像データの送信を開始する指示が受け付けられていない場合（Ｓ３１：ＮＯ）、処理はＳ３１に戻る。ＣＰＵ１０は、映像データの送信を開始する指示を受け付けた場合（Ｓ３１：ＹＥＳ）、カメラ３３に設定されている自動最適化機能のパラメータを、カメラ３３から取得する（Ｓ３３）。ＣＰＵ１０は、ネットワーク８の使用可能帯域（Ｘ）を、周知の方法によって取得する（Ｓ３５）。ＣＰＵ１０は、前回送信したフレームの送信ビットレート（Ｙ）を取得する（Ｓ３７）。フレームの送信ビットレートは、前回送信したフレームのデータ量（ｂｉｔ）と、１秒間に送信されるフレーム数（／ｓ）とを乗算することによって取得する。
【００６３】
ＣＰＵ１０は、Ｓ３５で取得した使用可能帯域（Ｘ）と、Ｓ３７で取得した送信ビットレート（Ｙ）とを比較する（Ｓ３９）。フレームの送信ビットレート（Ｙ）が使用可能帯域（Ｘ）よりも大きくなった場合（Ｓ３９：ＹＥＳ）、ＣＰＵ１０は、定数テーブル１３１に記憶された第１条件の定数を、Ｓ３３で取得したパラメータに適用し、カメラ３３に設定するパラメータを決定する。ＣＰＵ１０は、決定したパラメータをカメラ３３に設定することで、カメラ３３における自動最適化機能のパラメータを更新する（Ｓ４１）。これによって、既に送信したフレームの映像データと、次にカメラ３３から取得する映像データとの間の差分データのデータ量を小さくし、次に送信するフレームの送信ビットレートを抑制する。処理はＳ４５に進む。
【００６４】
一方、フレームの送信ビットレート（Ｙ）が使用可能帯域（Ｘ）以下になった場合（Ｓ３９：ＮＯ）、ＣＰＵ１０は、定数テーブル１３１に記憶された第２条件の定数を、Ｓ３３で取得したパラメータに適用し、カメラ３３に設定するパラメータを決定する。ＣＰＵ１０は、決定したパラメータをカメラ３３に設定することで、カメラ３３における自動最適化機能のパラメータを更新する（Ｓ４３）。処理はＳ４５に進む。
【００６５】
ＣＰＵ１０は、映像データの送信を終了する指示を、操作部３５を介してユーザから受け付けたかを判断する（Ｓ４５）。映像データの送信を終了する指示が受け付けられていない場合（Ｓ４５：ＮＯ）、カメラ３３のパラメータを継続して設定するために、処理はＳ３５に戻る。一方、映像データの送信を終了する指示が受け付けられた場合（Ｓ４５：ＹＥＳ）、処理はＳ３１に戻る。
【００６６】
以上説明したように、ＰＣ１は、カメラ３３に設定する自動最適化機能のパラメータを調整することによって、カメラ３３から出力される映像データ間の差分データを小さくすることができる。このためＰＣ１は、カメラ３３から出力される映像データの解像度や色数を調整することなくそのまま用い、差分データを符号化した符号化データのデータ量を小さくすることができる。従ってＰＣ１は、符号化データを含むフレームの伝送ビットレートを容易に小さくし、伝送ビットレートを使用可能帯域以下に調整することが可能となる。また、映像データの劣化を抑制することができる。
【００６７】
なお、ＰＣ１が本発明の「通信装置」に相当する。カメラ３３が本発明の「撮像手段」に相当する。Ｓ１５の処理を行うＣＰＵ１０が本発明の「取得手段」に相当する。Ｓ３５の処理を行うＣＰＵ１０が本発明の「特定手段」に相当する。Ｓ４１、Ｓ４３の処理を行うＣＰＵ１０が本発明の「設定手段」に相当する。Ｓ１５の処理が本発明の「取得ステップ」に相当する。Ｓ３５の処理が本発明の「特定ステップ」に相当する。Ｓ４１、Ｓ４３の処理が本発明の「設定ステップ」に相当する。
【００６８】
なお本発明は上述の実施形態に限定されず、種々の変更が可能である。上述の実施形態においてＣＰＵ１０は、フレームの送信ビットレートを使用可能帯域と比較した結果に基づいて、カメラ３３に設定する自動最適化機能のパラメータを調整していた。例えばＣＰＵ１０は、使用可能帯域に基づいて、所定周期（例えば１ｓ）内でネットワーク８に送信することが可能なデータ量（送信可能データ量）を算出してもよい。またＣＰＵ１０は、所定周期内で送信されたフレームに含まれる符号化データのデータ量（単位フレームデータ量）を算出してもよい。ＣＰＵ１０は、送信可能データ量と単位フレームデータ量とを比較した結果に基づいて、カメラ３３に設定する自動最適化機能のパラメータを調整しても良い。例えばＣＰＵ１０は、送信可能データ量よりも単位フレームデータ量の方が大きい場合に、定数テーブル１３１に記憶された第１条件の定数を適用して、自動最適化機能のパラメータを決定してもよい。一方、単位フレームデータ量が送信可能データ量以下となった場合に、定数テーブル１３１に記憶された第２条件の定数を適用して、自動最適化機能のパラメータを決定してもよい。また、汎用品のカメラでは、上述で述べたパラメータを制御できない。その場合、外部から制御可能なカメラからカメラ機能を取得し、自動最適化機能を調整してもよい。その場合、ＰＣ１は映像データを解析し、自動最適化機能の有効/無効間隔や手動設定可能なパラメータを制御することになる。
【００６９】
例えばＣＰＵ１０は、使用可能帯域に基づいて、１フレームに含めることが可能なデータ量（使用可能データ量）を算出してもよい。そしてＣＰＵ１０は、使用可能データ量と、実際にフレームに含まれている符号化データのデータ量（フレームデータ総量）とを比較した結果に基づいて、カメラ３３に設定する自動最適化機能のパラメータを調整しても良い。例えばＣＰＵ１０は、使用可能データ量よりもフレームデータ総量の方が大きい場合に、定数テーブル１３１に記憶された第１条件の定数を適用して、自動最適化機能のパラメータを決定し、フレームデータ総量を小さくしてもよい。一方、フレームデータ総量が使用可能データ量以下となった場合に、定数テーブル１３１に記憶された第２条件の定数を適用して、自動最適化機能のパラメータを決定してもよい。
【００７０】
ＣＰＵ１０は、ネットワークの通信状態を示す基準値を、使用可能帯域、通信遅延、および通信のゆらぎ等から総合的に特定しても良い。ＣＰＵ１０は特定した基準値と、フレームの送信ビットレートとを比較した結果に基づいて、カメラ３３に設定する自動最適化機能のパラメータを調整してもよい。またＣＰＵ１０は、使用可能帯域から所定のマージンを減算した値と、フレームの送信ビットレートとを比較しても良い。
【００７１】
上述においてＣＰＵ１０は、フレームの送信ビットレートが使用可能帯域以下となった場合、定数テーブル１３１に記憶された第２条件の定数を適用して決定したパラメータを、カメラ３３に繰り返し設定していた。第２条件の定数を適用して決定したパラメータをカメラ３３に設定する回数は１回のみであってもよい。これによって、第２条件の定数を適用して決定したパラメータが繰り返しカメラ３３に設定されることによって、映像データ間の差分データが徐々に大きくなることを防止できる。
【００７２】
上述では、ＰＣ１がフレーム間差分化方式を使用して映像データの符号化を行う場合について説明した。ＰＣ１は、フレーム間差分化方式とフレーム内差分化方式の両方を併用し、且つフレーム間予測を行って映像データを符号化してもよい。以下、図７を参照し、変形例について説明する。
【００７３】
図７に示すように、フレーム間差分化方式とフレーム内差分化方式の両方を併用し、且つフレーム間予測が行われる場合、フレームとして、Ｉフレーム（Intra-coded Frame）７１、７２と、Ｐフレーム（Predicted Frame）７３〜７８とが使用される。以下、Ｉフレーム７１、７２を総称し、Ｉフレーム７０という。Ｐフレーム７３〜７８を総称し、Ｐフレーム８０という。
【００７４】
Ｉフレーム７０は、フレーム内符号化によって生成される符号化データを含むフレームである。Ｉフレーム７０では、フレーム間での差分符号化が行われないので、Ｉフレーム７０に含まれる符号化データのデータ量は大きくなる。一方、Ｐフレーム８０は、異なるフレームの映像データに基づいて予測映像データを生成し、予測映像データを用いたフレーム間符号化によって生成される符号化データを含むフレームである。Ｐフレーム８０では、フレーム間での差分符号化が行われ、且つフレーム間予測が行われるため、Ｐフレーム８０に含まれる符号化データのデータ量は非常に小さくなる。また図７に示すように、Ｉフレーム７０は、周期的にＰＣ１から送信される。Ｉフレーム７０と次のＩフレーム７０とが送信される間に、複数のＰフレーム８０が送信される。
【００７５】
図７のようなフレーム構成に上述の実施形態をそのまま適用し、使用可能帯域とフレームの送信ビットレートを比較した場合、Ｉフレーム７０の送信ビットレートが使用可能帯域よりも大きくなる可能性は非常に高くなる。反対に、Ｐフレーム８０の送信ビットレートが使用可能帯域よりも大きくなる可能性は非常に低くなる。ここで、Ｉフレーム７０の送信ビットレートが使用可能帯域よりも大きくなることで、カメラ３３における自動最適化機能のパラメータが変更され、カメラ３３から取得される映像データ間の差分データのデータ量が抑制されたと仮定する。この場合、Ｉフレーム７０の次に送信されるＰフレーム８０に含められる符号化データのデータ量は元々小さいにもかかわらず、自動最適化機能のパラメータが変更されるので、符号化データのデータ量を更に小さくしてしまうという問題が発生する。
【００７６】
そこで変形例では、計測された使用可能帯域５３に基づいて、Ｉフレーム７０に適用する閾値５４と、Ｐフレーム８０に適用する閾値５５とを別々に設定する。Ｉフレーム７０の送信ビットレートは、閾値５４と比較される。そして、Ｉフレーム７０の送信ビットレートが閾値５４よりも大きくなった場合、定数テーブル１３１の第１条件の定数を適用することによって、自動最適化機能のパラメータを決定し、カメラ３３に設定する。一方、Ｉフレーム７０の送信ビットレートが閾値５４以下であった場合、定数テーブル１３１の第２条件の定数を適用することによって、自動最適化機能のパラメータを決定し、カメラ３３に設定する。同様に、Ｐフレーム８０の送信ビットレートは、閾値５５と比較される。そして、Ｐフレーム８０の送信ビットレートが閾値５５よりも大きくなった場合、定数テーブル１３１の第１条件の定数を適用することによって、自動最適化機能のパラメータを決定し、カメラ３３に設定する。一方、Ｐフレーム８０の送信ビットレートが閾値５５以下であった場合、定数テーブル１３１の第２条件を適用することによって、自動最適化機能のパラメータを決定し、カメラ３３に設定する。
【００７７】
例えば図７に示すように、Ｉフレーム７１の送信ビットレートは閾値５４よりも大きくなっているので、定数テーブル１３１の第１条件の定数を適用して自動最適化機能のパラメータを決定し、カメラ３３に設定する（矢印９１）。第１条件の定数が適用されることによって、映像データ間の差分データのデータ量は小さくなる。一方、Ｉフレーム７２の送信ビットレートは閾値５４以下であるので、定数テーブル１３１の第２条件の定数を適用して自動最適化機能のパラメータを決定し、カメラ３３に設定する（矢印９４）。この場合、映像データ間の差分データのデータ量は抑制されない。
【００７８】
同様に、Ｐフレーム７４、７７の送信ビットレートは閾値５５よりも大きくなっているので、定数テーブル１３１の第１条件の定数を適用して自動最適化機能のパラメータを決定し、カメラ３３設定する（矢印９３、９５）。第１条件の定数が適用されることによって、映像データ間の差分データのデータ量は小さくなる。一方、Ｐフレーム７３、７５、７６、及び７８の送信ビットレートは閾値５５以下であるので、定数テーブル１３１の第２条件の定数を適用して自動最適化機能のパラメータを決定し、カメラ３３に設定する（矢印９２、９４、９６）。この場合、映像データ間の差分データのデータ量は抑制されない。以上のように、Ｉフレーム７０に適用する閾値５４と、Ｐフレーム８０に適用する閾値５５とを設けることによって、カメラ３３における自動最適化機能のパラメータを適切に調整し、符号化データのデータ量を制御することができる。
【符号の説明】
【００７９】
１ 通信装置
８ ネットワーク
１０ ＣＰＵ
３３ カメラ
１００ 通信システム
１３１ 定数テーブル
【特許請求の範囲】
【請求項１】
ネットワークに接続可能な通信装置であって、
設定されたパラメータに基づいて撮影条件を調整し映像を撮影する撮像手段から出力される前記映像を取得する取得手段と、
前記取得手段によって今回取得された第一映像と、前記第一映像が取得される前に前記取得手段によって取得された第二映像との差分を示す差分データを用い、前記ネットワークを介して他の前記通信装置に対して送信されるフレームを作成する作成手段と、
前記ネットワークの通信状態を特定する特定手段と、
前記特定手段によって特定された前記通信状態と、前記作成手段によって作成された前記フレームに含まれるデータのデータ量とが所定の関係を満たす場合、前記撮像手段から出力される前記映像間の差分が小さくなるような前記パラメータを決定し、決定された前記パラメータに基づいて前記撮像手段が前記撮影条件を調整するように、前記パラメータを前記撮像手段に設定する設定手段と
を備えたことを特徴とする通信装置。
【請求項２】
前記撮像手段は、画質を調整するための前記撮影条件を自動的に最適化する自動最適化機能を有し、
前記設定手段は、
前記通信状態と、前記作成手段によって作成された前記フレームに含まれるデータのデータ量とが所定の関係を満たす場合、前記自動最適化機能による前記撮影条件の最適化周期を、前回の前記最適化周期を元に前記パラメータとして決定し、前記撮像手段に設定することを特徴とする請求項１に記載の通信装置。
【請求項３】
前記撮像手段は、画質を調整するための前記撮影条件を自動的に最適化する自動最適化機能を有し、
前記設定手段は、
前記通信状態と、前記作成手段によって作成された前記フレームに含まれるデータのデータ量とが所定の関係を満たす場合、前記自動最適化機能による前記撮影条件の最適化を行うか否かを判断する閾値であって、前記撮像手段における前記撮影条件の最適化感度を低下させる閾値を前記パラメータとして決定し、前記撮像手段に設定することを特徴とする請求項１に記載の通信装置。
【請求項４】
前記設定手段は、
前記フレームに含まれるデータのデータ量が、前記通信状態に基づいて特定される閾値よりも大きい場合に、前記データ量が小さくなるように前記パラメータを決定して前記撮像手段に設定することを特徴とする請求項１から３のいずれかに記載の通信装置。
【請求項５】
前記自動最適化機能は、オートフォーカス機能、自動露出機能、及びオートホワイトバランス機能のうち少なくともいずれかであることを特徴とする請求項２又は３に記載の通信装置。
【請求項６】
前記通信状態は、前記ネットワークにおける使用可能な帯域である使用可能帯域であることを特徴とする請求項１から５のいずれかに記載の通信装置。
【請求項７】
設定されたパラメータに基づいて撮影条件を調整し映像を撮影する撮像手段から出力される前記映像を取得する取得ステップと、
前記取得ステップによって今回取得された第一映像と、前記第一映像が取得される前に前記取得ステップによって取得された第二映像との差分を示す差分データを用い、ネットワークを介して他の通信装置に対して送信されるフレームを作成する作成ステップと、
前記ネットワークの通信状態を特定する特定ステップと、
前記特定ステップによって特定された前記通信状態と、前記作成ステップによって作成された前記フレームに含まれるデータのデータ量とが所定の関係を満たす場合、前記撮像手段から出力される前記映像間の差分が小さくなるような前記パラメータを決定し、決定された前記パラメータに基づいて前記撮像手段が前記撮影条件を調整するように、前記パラメータを前記撮像手段に設定する設定ステップと
を備えたことを特徴とする映像取得方法。
【請求項８】
設定されたパラメータに基づいて撮影条件を調整し映像を撮影する撮像手段から出力される前記映像を取得する取得ステップと、
前記取得ステップによって今回取得された第一映像と、前記第一映像が取得される前に前記取得ステップによって取得された第二映像との差分を示す差分データを用い、ネットワークを介して他の通信装置に対して送信されるフレームを作成する作成ステップと、
前記ネットワークの通信状態を特定する特定ステップと、
前記特定ステップによって特定された前記通信状態と、前記作成ステップによって作成された前記フレームに含まれるデータのデータ量とが所定の関係を満たす場合、前記撮像手段から出力される前記映像間の差分が小さくなるような前記パラメータを決定し、決定された前記パラメータに基づいて前記撮像手段が前記撮影条件を調整するように、前記パラメータを前記撮像手段に設定する設定ステップと
を通信装置のコンピュータに実行させるための映像取得プログラム。
【請求項１】
ネットワークに接続可能な通信装置であって、
設定されたパラメータに基づいて撮影条件を調整し映像を撮影する撮像手段から出力される前記映像を取得する取得手段と、
前記取得手段によって今回取得された第一映像と、前記第一映像が取得される前に前記取得手段によって取得された第二映像との差分を示す差分データを用い、前記ネットワークを介して他の前記通信装置に対して送信されるフレームを作成する作成手段と、
前記ネットワークの通信状態を特定する特定手段と、
前記特定手段によって特定された前記通信状態と、前記作成手段によって作成された前記フレームに含まれるデータのデータ量とが所定の関係を満たす場合、前記撮像手段から出力される前記映像間の差分が小さくなるような前記パラメータを決定し、決定された前記パラメータに基づいて前記撮像手段が前記撮影条件を調整するように、前記パラメータを前記撮像手段に設定する設定手段と
を備えたことを特徴とする通信装置。
【請求項２】
前記撮像手段は、画質を調整するための前記撮影条件を自動的に最適化する自動最適化機能を有し、
前記設定手段は、
前記通信状態と、前記作成手段によって作成された前記フレームに含まれるデータのデータ量とが所定の関係を満たす場合、前記自動最適化機能による前記撮影条件の最適化周期を、前回の前記最適化周期を元に前記パラメータとして決定し、前記撮像手段に設定することを特徴とする請求項１に記載の通信装置。
【請求項３】
前記撮像手段は、画質を調整するための前記撮影条件を自動的に最適化する自動最適化機能を有し、
前記設定手段は、
前記通信状態と、前記作成手段によって作成された前記フレームに含まれるデータのデータ量とが所定の関係を満たす場合、前記自動最適化機能による前記撮影条件の最適化を行うか否かを判断する閾値であって、前記撮像手段における前記撮影条件の最適化感度を低下させる閾値を前記パラメータとして決定し、前記撮像手段に設定することを特徴とする請求項１に記載の通信装置。
【請求項４】
前記設定手段は、
前記フレームに含まれるデータのデータ量が、前記通信状態に基づいて特定される閾値よりも大きい場合に、前記データ量が小さくなるように前記パラメータを決定して前記撮像手段に設定することを特徴とする請求項１から３のいずれかに記載の通信装置。
【請求項５】
前記自動最適化機能は、オートフォーカス機能、自動露出機能、及びオートホワイトバランス機能のうち少なくともいずれかであることを特徴とする請求項２又は３に記載の通信装置。
【請求項６】
前記通信状態は、前記ネットワークにおける使用可能な帯域である使用可能帯域であることを特徴とする請求項１から５のいずれかに記載の通信装置。
【請求項７】
設定されたパラメータに基づいて撮影条件を調整し映像を撮影する撮像手段から出力される前記映像を取得する取得ステップと、
前記取得ステップによって今回取得された第一映像と、前記第一映像が取得される前に前記取得ステップによって取得された第二映像との差分を示す差分データを用い、ネットワークを介して他の通信装置に対して送信されるフレームを作成する作成ステップと、
前記ネットワークの通信状態を特定する特定ステップと、
前記特定ステップによって特定された前記通信状態と、前記作成ステップによって作成された前記フレームに含まれるデータのデータ量とが所定の関係を満たす場合、前記撮像手段から出力される前記映像間の差分が小さくなるような前記パラメータを決定し、決定された前記パラメータに基づいて前記撮像手段が前記撮影条件を調整するように、前記パラメータを前記撮像手段に設定する設定ステップと
を備えたことを特徴とする映像取得方法。
【請求項８】
設定されたパラメータに基づいて撮影条件を調整し映像を撮影する撮像手段から出力される前記映像を取得する取得ステップと、
前記取得ステップによって今回取得された第一映像と、前記第一映像が取得される前に前記取得ステップによって取得された第二映像との差分を示す差分データを用い、ネットワークを介して他の通信装置に対して送信されるフレームを作成する作成ステップと、
前記ネットワークの通信状態を特定する特定ステップと、
前記特定ステップによって特定された前記通信状態と、前記作成ステップによって作成された前記フレームに含まれるデータのデータ量とが所定の関係を満たす場合、前記撮像手段から出力される前記映像間の差分が小さくなるような前記パラメータを決定し、決定された前記パラメータに基づいて前記撮像手段が前記撮影条件を調整するように、前記パラメータを前記撮像手段に設定する設定ステップと
を通信装置のコンピュータに実行させるための映像取得プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１３−３１０３８（Ｐ２０１３−３１０３８Ａ）
【公開日】平成２５年２月７日（２０１３．２．７）
【国際特許分類】
【出願番号】特願２０１１−１６６３６０（Ｐ２０１１−１６６３６０）
【出願日】平成２３年７月２９日（２０１１．７．２９）
【出願人】（０００００５２６７）ブラザー工業株式会社 (13,856)
【Ｆターム（参考）】
【公開日】平成２５年２月７日（２０１３．２．７）
【国際特許分類】
【出願日】平成２３年７月２９日（２０１１．７．２９）
【出願人】（０００００５２６７）ブラザー工業株式会社 (13,856)
【Ｆターム（参考）】
[ Back to top ]