端末、ネットワークカメラとプログラム、及びネットワークシステム
【課題】無音データが多くても、パケットが遅延してもバッファを有効に利用できる端末、ネットワークカメラ、プログラム、ネットワークシステムを提供することを目的とする。
【解決手段】受信した音声データを音声受信バッファ部２３ａに一時的に貯めて音声出力する端末（コンピュータ装置２）であって、音声受信バッファ部２３ａ内の受信音声データが一定時間継続して所定の波高値以下の場合に無データまたは無音と判定し、この波高値を越えた場合に有音と判定する受信バッファレベル判定手段２５ｂとを備え、バッファ制御手段２５ａが無データまたは無音と判定された音声データを廃棄し、残りの音声データの間を詰めて音声処理手段２５へ出力することを主要な特徴とする。
【解決手段】受信した音声データを音声受信バッファ部２３ａに一時的に貯めて音声出力する端末（コンピュータ装置２）であって、音声受信バッファ部２３ａ内の受信音声データが一定時間継続して所定の波高値以下の場合に無データまたは無音と判定し、この波高値を越えた場合に有音と判定する受信バッファレベル判定手段２５ｂとを備え、バッファ制御手段２５ａが無データまたは無音と判定された音声データを廃棄し、残りの音声データの間を詰めて音声処理手段２５へ出力することを主要な特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声通信が行える端末、ネットワークカメラと、バッファを有効に利用できるプログラム、及びこの端末、ネットワークカメラを使って画像と音声の通信を行うネットワークシステムに関するものである。
【背景技術】
【０００２】
最近、ネットワークカメラで画像を撮像し、インターネット等のネットワークを介してコンピュータ装置に送信するネットワークシステムが普及している。しかし、このネットワークシステムでは、コンピュータ装置を操作して画像情報を入手できるが、周囲の音声情報までは入手できない。そこで、スピーカやマイクを搭載して画像のほかに音声通信まで行えるネットワークカメラ（以下、音声対応ネットワークカメラという）が開発された。
【０００３】
図８は従来の音声通信を行うネットワークシステムの説明図である。このネットワークシステムにおいては、画像の送信に関して、音声対応型ネットワークカメラ１のカメラ１０で撮像した画像は画像処理部１２で圧縮処理され、この圧縮処理された画像データが通信制御部１３によってプロトコル処理されてネットワーク３に送出され、コンピュータ装置２へ送られる。コンピュータ装置２では受信した画像データを解凍処理して画面に表示する。
【０００４】
また、撮像される画像は、カメラ１０のパンやチルト、ズームをカメラ制御部（図示しない）によって制御することで所望のアングル、ズームの画像となる。コンピュータ装置２のブラウザ（画面表示用情報の閲覧プログラム）は、ネットワーク３を経由してポータル画面表示用情報を受信すると、モニタに画像及びコントロールバーを表示したポータル画面を表示し、このコントロールバーを使ってユーザがパン、チルト、ズームを操作すると、ＪＡＶＡ（登録商標）アプレット等が制御量のデータを収めたＩＰパケットを通信制御部１３から音声対応型ネットワークカメラ１に送信する。音声対応型ネットワークカメラ１では、制御部１９がこのＩＰパケットからデータを取り出し、カメラ制御部に制御量を伝え、パンモータ（図示しない）、チルトモータ（図示しない）、リニアアクチュエータ（図示しない）を駆動し、カメラ１０の撮像方向とズームが変更される。
【０００５】
次に音声通信に関しては、マイク１７から入力される音声は音声送信処理部１５にてＡＤ変換と圧縮処理されて、音声送信データが通信制御部１３さらにネットワーク３を経由してコンピュータ装置２に送られる。コンピュータ装置２では受信した音声送信データを処理して、スピーカ２８から音声出力する。同様に、コンピュータ装置２のマイク２７から入力された音声は、コンピュータ装置２で処理されて音声受信データとして送信され、ネットワーク３経由で音声対応型ネットワークカメラ１に送られる。音声対応型ネットワークカメラ１では、受信した音声受信データが通信制御部１３を介して音声受信処理部１４に渡され、そこで解凍処理及びＤＡ変換されてスピーカ１８に出力される。
【０００６】
ところで、このような音声対応型ネットワークカメラ１がコンピュータ装置２に画像と音声を送信する場合には、一般に画像と音声のそれぞれのデータにタイムスタンプ、すなわち時間情報による同期情報を付加して送信することが行われている（例えば、特許文献１参照）。音声、画像両データに時間制御による同期情報をもたせ、受信側で同期情報を持ったデータを再生し、音声、画像両データを同期出力するものである。このとき音声はデータの長さが決まっているが、画像データは出力時間が決まっていない。従って、ネットワークのトラフィック負荷が大きい場合、この端末装置では画像データと音声データの
すべてを送信することが困難で、データを間引く処理を行う。このため、画像の一部、音声の一部がカットされ、音声が途切れ途切れになってしまう。音声の途切れ途切れは聞き辛く、情報の伝達を大きく損なう。
【０００７】
同様に、フレーム番号を画像データと音声データに付加して同期をとるタイムスタンプ方式などが存在するが、タイムスタンプやフレーム番号を画像データ及び音声データに各々付加する必要があり、構成が複雑でネットワークのトラフィック負荷が大きい場合、この端末装置ではすべての画像データと音声データを送信することは困難である。この結果、音声は途切れ途切れとなるし、複雑で、コスト高になるものであった。
【０００８】
さらに、このように音声をカットするのではなく、音声信号が無音声である場合に多重化信号を効率的に生成するマルチメディア多重化伝送装置が提案されている（特許文献２）。これは音声信号バッファ部と音声無音検出部とを備え、音声信号バッファ部は音声符号化信号を一時的に蓄積する。外部マイクでひろった音声信号が無声音の場合を検出すると、音声無音検出部からの入力信号がローレベルの場合はデータの書き込みがイネーブルとし、ハイレベルのときはディセーブルとし、多重化信号の音声信号に割り当てられた時間的領域を映像符号化信号に譲って無駄に使うことが無いものである。処理に当たっては、有音から無音に変わる場合にはローレベルからハイレベルへ必要な時間以上かけて動作させ、無音から有音に変わる場合は直ちにハイレベルからローレベルへ変化させている。これによって語尾と語頭の音声の破棄がなくなるものである。
【特許文献１】特開平９−２７８７１号公報
【特許文献２】特開２００１−１６２６３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
特許文献１のような音声対応型ネットワークカメラが画像と音声を送信する場合、各画像と音声データに時間情報による同期情報を付加したり、フレーム番号を各画像と音声のデータに付加して同期をとることが行われてきた。しかし、ネットワークのトラフィック負荷が大きい場合、これらの同期をとる方式では画像データと音声データのすべてを送信することは困難になるものであった。遅延が起こるとデータの間引き処理が必要で、再生した画像の一部、音声の一部がカットされ、途切れ途切れになってしまう。しかも、これらの技術はデータの送信側でのデータの間引き処理であって、トラフィック変動の影響を受ける受信側の課題を解決するものではない。トラフィック負荷が大きいと音声データのパケットが遅延し、コンピュータ装置の音声バッファでは音声遅延が増加することはあっても減ることがない。
【００１０】
また特許文献２のマルチメディア多重化伝送装置は、音声信号バッファ部と音声無音検出部とを備え、外部マイクでひろった音声信号が無声音の場合を検出すると、音声をカットするのではなくデータの書き込み禁止とするため、多重化信号を効率的に生成することができる。しかし、外部マイクの音声信号が無声音の場合に、マルチメディア多重化伝送装置から送出する多重化信号の無音の音声信号に割り当てられた領域を映像符号化信号に割り当てるもので、従って、この技術も受信側のコンピュータ装置の課題を解決するものではない。トラフィック負荷が大きいと上述の問題を抱えるものである。
【００１１】
そこで上記従来の課題に鑑み本発明は、無音データが多くても、パケットが遅延してもバッファを有効に利用できる端末、ネットワークカメラとプログラム、及びネットワークシステムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記従来の課題を解決するために本発明は、ネットワークを介して音声データを受信す
ると、該音声データを音声受信バッファ部に一時的に貯めて、該音声受信バッファ部から出力される音声データを音声処理手段でデコードし、ＤＡ変換後に音声出力する端末であって、音声受信バッファ部への音声データの入出力制御を行うバッファ制御手段と、音声受信バッファ部内の音声データが一定時間継続して所定の波高値以下の場合に無データまたは無音と判定し該波高値を越えた場合に有音と判定する受信バッファレベル判定手段とを備え、バッファ制御手段が無データまたは無音と判定された音声データを廃棄し、残りの音声データの間を詰めて音声処理手段へ出力することを主要な特徴とする。
【発明の効果】
【００１３】
本発明の端末、ネットワークカメラとプログラム、及びネットワークシステムによれば、音声遅延が増大しても無音部分を破棄することにより遅延量を改善できる。
【発明を実施するための最良の形態】
【００１４】
上記課題を解決するために本発明の第１の形態は、ネットワークを介して音声データを受信すると、該音声データを音声受信バッファ部に一時的に貯めて、該音声受信バッファ部から出力される音声データを音声処理手段でデコードし、ＤＡ変換後に音声出力する端末であって、音声受信バッファ部への音声データの入出力制御を行うバッファ制御手段と、音声受信バッファ部内の音声データが一定時間継続して所定の波高値以下の場合に無データまたは無音と判定し該波高値を越えた場合に有音と判定する受信バッファレベル判定手段とを備え、バッファ制御手段が無データまたは無音と判定された音声データを廃棄し、残りの音声データの間を詰めて音声処理手段へ出力する端末であり、音声受信バッファ部内の無データまたは無音と判定された音声データを廃棄し、残りの音声データの間を詰めて音声出力するので、音声受信バッファ部を有効利用することができ、トラフック変動に影響され難くなる。
【００１５】
本発明の第２の形態は、第１の形態に従属する形態であって、ネットワークを介してネットワークカメラで撮像した画像を受信するとともに、該ネットワークカメラと音声通信し、ネットワークカメラから送信される音声データを受信する端末であるから、ネットワークカメラからの画像とともに音声通信を行い、音声が画像より遅延したり、カットされたりすることがなくなる。
【００１６】
本発明の第３の形態は、第１または２の形態に従属する形態であって、音声受信バッファ部内に所定のデータ量が貯まると、受信バッファレベル判定手段が波高値による判定を行い、バッファ制御手段が該判定によって無データまたは無音と判定された音声データを廃棄する端末であり、所定のデータ量が貯まったら音声受信バッファ部内を整理するので、通常はそのままの音声を出力できる。
【００１７】
本発明の第４の形態は、第１〜３のいずれかの形態に従属する形態であって、所定の波高値が、有音から無データまたは無音に移行するときの第1の閾値と、無データまたは無音から有音に移行するときの第２の閾値とから構成された端末であり、有音の最後のデータをカットし過ぎることがなく、有音に戻るときは既に無データ／無音と評価される領域を経ているため、少し高くても判断を誤ることがない。
【００１８】
本発明の第５の形態は、ネットワークを介して音声通信可能な端末にカメラで撮像した画像を送信するとともに、端末に対して音声データを送信し、該端末から音声データを受信すると、該音声データを音声受信バッファ部に一時的に貯めて、該音声受信バッファ部から出力される音声データを音声受信処理部デコードし、ＤＡ変換後に音声出力するネットワークカメラであって、音声受信バッファ部への音声データの入出力制御を行うバッファ制御手段と、音声受信バッファ部内の音声データが一定時間継続して所定の波高値以下の場合に無データまたは無音と判定し該波高値を越えた場合に有音と判定する受信バッフ
ァレベル判定手段とを備え、バッファ制御手段が無データまたは無音と判定された音声データを廃棄し、残りの音声データの間を詰めて音声受信処理部へ出力するネットワークカメラであり、音声受信バッファ部内の無データまたは無音と判定された音声データを廃棄し、残りの音声データの間を詰めて音声出力するので、音声受信バッファ部を有効利用することができ、トラフック変動に影響され難くなる。
【００１９】
本発明の第６の形態は、コンピュータを、音声受信バッファ部内の音声データが一定時間継続して所定の波高値以下の場合に無データまたは無音と判定し該波高値を越えた場合に有音と判定する受信バッファレベル判定手段と、音声受信バッファ部への音声データの入出力制御を行い、受信バッファレベル判定手段が無データまたは無音と判定した音声データをバッファ制御手段が廃棄し、残りの音声データの間を詰めて音声処理手段へ出力するバッファ制御手段と、して機能させるプログラムであり、音声受信バッファ部内の無データまたは無音と判定された音声データを廃棄し、残りの音声データの間を詰めて音声出力するので、音声受信バッファ部を有効利用することができる。
【００２０】
本発明の第７の形態は、第６の形態に従属する形態であって、音声受信バッファ部内に所定のデータ量が貯まると、受信バッファレベル判定手段が波高値による判定を行い、バッファ制御手段が該判定によって無データまたは無音と判定された音声データを廃棄するプログラムであり、所定のデータ量が貯まったら音声受信バッファ部内を整理するので、通常はそのままの音声を出力できる。
【００２１】
本発明の第８の形態は、第６または７の形態に従属する形態であって、所定の波高値が、有音から無データまたは無音に移行するときの第1の閾値と、無データまたは無音から有音に移行するときの第２の閾値とから構成されたプログラムであり、有音の最後のデータをカットし過ぎることがなく、有音に戻るときは既に無データ／無音と評価される領域を経ているため、少し高くても判断を誤ることがない。
【００２２】
本発明の第９の形態は、第６または７の形態に従属する形態であって、所定の波高値が、有音から無データまたは無音に移行するときの第1の閾値と、無データまたは無音から有音に移行するときの第２の閾値をバッファに蓄積されたデータ長に応じて動的に変化させ、多くのデータが蓄積されたときには無音に移行しやすい閾値、少ないデータが蓄積された状態では有音に移行し易い閾値となるよう制御するプログラムであり、閾値の制御により、多くのデータが蓄積されたときには無音に移行しやすい閾値、少ないデータが蓄積された状態では有音に移行し易い閾値となるよう制御できる。
【００２３】
本発明の第１０の形態は、カメラで撮像した画像を送信するとともに音声通信可能なネットワークカメラと、第１〜４の形態のいずれかの端末とから構成されるネットワークシステムであって、端末の受信バッファレベル判定手段が無データまたは無音と判定した音声データをバッファ制御手段が廃棄し、残りの音声データを順に詰めて音声受信処理部へ出力するネットワークシステムであり、音声受信バッファ部内の無データまたは無音と判定された音声データを廃棄し、残りの音声データの間を詰めて音声出力するので、音声受信バッファ部を有効利用することができ、トラフック変動に影響され難くなる。所定のデータ量が貯まったら音声受信バッファ部内を整理するので、通常はそのままの音声を出力でき、有音の最後のデータをカットし過ぎることがなく、有音に戻るときは既に無データ／無音と評価される領域を経ているため、少し高くても判断を誤ることがない。
【実施例】
【００２４】
（実施例１）
以下、本発明の実施例１のネットワークカメラとプログラム、及びネットワークシステムについて説明する。図１（ａ）は本発明の実施例１におけるネットワークカメラの構成
図、図１（ｂ）は本発明の実施例１におけるネットワークカメラの制御部内の内部ブロック構成図、図２は本発明の実施例１におけるコンピュータ装置のブロック構成図、図３（ａ）は本発明の実施例１におけるコンピュータ装置のポータル画面表示の説明図、図３（ｂ）は（ａ）の無音消去のための設定画面の説明図、図４は本発明の実施例１におけるコンピュータ装置の音声受信バッファ部のデータ処理の説明図、図５は本発明の実施例１における音声受信バッファ部のデータ廃棄の説明図、図６は本発明の実施例１における音声受信バッファ部の無データ及び無音の判定を行うための閾値設定の説明図である。従来の音声対応型ネットワークカメラ１とコンピュータ装置２で符号と同一の符号は実施例１においても基本的に同一である。
【００２５】
図１（ａ）（ｂ）において、１は画像を撮像して送信するとともに音声通信できる音声通信装置を搭載した音声対応型ネットワークカメラ（本発明のネットワークカメラ）、２は音声通信が可能なパソコン等のコンピュータ装置（本発明の端末）、３はインターネット、イーサネット（登録商標）等のネットワークである。１０は音声対応型ネットワークカメラ１のカメラ、１０ａはカメラ１０のパン，チルト，ズームを制御するためのカメラ制御部である。１０ｂはカメラ１０のパン動作を制御するパンモータ、１０ｃはカメラ１０のチルト動作を制御するチルトモータ、１０ｄはカメラ１０のズームを制御するための送り動作を行うリニアアクチュエータである。
【００２６】
コンピュータ装置２が音声対応型ネットワークカメラ１から取得し表示したポータル画面のコントロールバーを使って、クライアントがパン、チルト、ズームを操作すると、ＪＡＶＡ（登録商標）アプレット等によってパン、チルト、ズームの制御量のデータを収めたＩＰパケットがコンピュータ装置２から送信され、音声対応型ネットワークカメラ１ではこのＩＰパケットから制御データを取り出し、カメラ制御部１０ａに制御量を伝え、パンモータ１０ｂ、チルトモータ１０ｃ、リニアアクチュエータ１０ｄをそれぞれ駆動し、撮像方向とズームを変更する。
【００２７】
１１は送受信するデータを圧縮したり解凍するコーディック部、１２はカメラ１１で撮像した画像信号を圧縮処理する画像処理部、１３は画像処理部１２が圧縮した画像データをプロトコル処理して送信する通信制御部である。なお、このプロトコル処理とは、ＴＣＰ／ＩＰプロトコルやイーサネット（登録商標）などのＩＥＥＥ８０２．０３プロトコルなどの処理を指す。
【００２８】
１４は音声対応型ネットワークカメラ１が受信した音声受信データ（ＰＣＭデータ）をデコードする音声受信処理部、１４ａは音声受信処理部１４からの出力はデジタル信号であるためこれをＤＡ変換しアナログ信号に変換するＤＡ変換部、１５は音声対応型ネットワークカメラ１に入力された音声をコード化する音声送信処理部、１５ａは音声入力調整回路１７ａ（後述）からの出力はアナログ信号であるためこれをＡＤ変換するＡＤ変換部である。１６は音声対応型ネットワークカメラ１のバッファ部、１６ａはバッファ部１６を構成し画像処理部１２で圧縮されたＪＰＥＧ、ＭＰＥＧ等の画像データの画像バッファ部、１６ｂはバッファ部１６を構成し音声送信処理部１５でコード化したＰＣＭデータを音声送信バッファ部である。１６ｃはバッファ部１６を構成し、ネットワーク３を介してコンピュータ装置２から送信されたＰＣＭデータをバッファリングするＦＩＦＯ（First In First Out）の音声受信バッファ部である。
【００２９】
この音声受信バッファ部１６ｃは、大量の音声受信データが送信されてきたとき処理能力と処理量との関係で一時的にバッファリングするものである。従ってトラフィック負荷が大きくなったときは、パケットの遅延で着信するデータ量が減少し、処理に関して問題はないようにみえるが、データを取り込めない時間帯が続き、無データ域が音声受信バッファ部１６ｃのデータに混入するという問題が生じる。すなわち、先入れしたデータは出
力を続けるが、パケット遅延のデータは音声受信バッファ部１６ｃを構成する多数の記憶素子に書き込まれず、帯電されない状態となり、この無データの状態が転送されて音声受信処理部１４に送られると、音声受信処理部１４は無意味な処理を行わなければならない。そこで本実施例１においては、この無データ域と、音の大きさが小さい本来の無音の状態を検出して廃棄するものである。以下、無データと無音を合わせて無データ／無音という。
【００３０】
次に図１（ａ）において、１７は音声対応型ネットワークカメラ１の周囲の音声を入力するためのマイク、１７ａは音声入力調整回路、１８は音声を出力するためのスピーカ、１８ａは音声出力調整回路である。マイク１７と音声送信処理部１５との間、及びスピーカ１８と音声受信処理部１４との間にエコーキャンセラ（図示しない）を設けて、スピーカ１８から出力した音声がマイク１７に再び入力されて、コンピュータ装置２側のスピーカ２８から出力され、再びマイク２７から入力されるというループの形成でエコーが形成されるのを防止するのもよい。
【００３１】
図１（ａ）（ｂ）において、１９は音声対応型ネットワークカメラ１の制御部、１９ａはコンピュータ装置２から音声通信モードが選択されたとき、音声通信と画像送信を行う通信実行手段（本発明の通信手段）、１９ｂは音声対応型ネットワークカメラ１からコンピュータ装置２に送信する画面表示用情報を生成する画面表示用情報生成手段である。１９ｃは音声対応型ネットワークカメラ１にアクセスしている複数のコンピュータ装置２の通信状態、例えば音声送信中、音声受信中か、パン、チルト、ズームの制御権行使中、等を示すフラグ、１９ｄは送信ファイル記憶部２０ｂに格納されたアクティブｘ，ＪＡＶＡ（登録商標）アプレット等のプログラム、とくに後述の端末側通信処理手段２６等のコンピュータ装置２を制御するプログラムをダウンロードするためのファイル転送手段である。
【００３２】
次に、１９ｅは音声受信バッファ部１６ｃへのＰＣＭデータの書き込み動作と出力動作を制御するバッファ制御手段、１９ｆは無データ／無音に相当するかのレベル判断を行う受信バッファレベル判定手段、１９ｇは無データ／無音の状態が所定の時間継続したかカウントするタイマ手段である。実施例１においては、バッファ制御手段１９ｅは所定の時間無データ／無音が継続したと判断される場合、この間のデータをすべて廃棄（電荷を消去）し、廃棄した領域を後続のデータを進めて無データ／無音の領域をなくす制御を行う。受信バッファレベル判定手段１９ｆには有音と無データ／無音と評価するための閾値が設定されており、所定時間以上閾値以下になったとき無データ／無音と判定してバッファ制御手段１９ｅに通知する。実施例１においては３６５ｍｓ継続して閾値以下になったときを無データ／無音と判定するが、継続時間は適宜の設定値を採用すればよい。この通知を受けるとバッファ制御手段１９ｅは、無データ／無音が継続するか判断するために、タイマ手段１９ｇに所定の時間をカウントさせる。タイマ手段１９ｇがカウントアウトしたとき、無データ／無音が発生したと判定される。さらに、１９ｈは上記閾値の設定を行う設定手段である。
【００３３】
次に図１（ａ）において、２０はシステムを制御する等のプログラム等を記憶した記憶部、２０ａはポータル画面表示用情報のテンプレートやその他の画面表示用情報（ウェブページ）を格納した画面表示用情報記憶部、２０ｂはコンピュータ装置２に送信してコンピュータ装置２のＣＰＵで実行されるアクティブｘ，ＪＡＶＡ（登録商標）アプレット等のプログラム（以下、端末側通信処理手段）を格納した送信ファイル記憶部である。２０ｃは画像処理部１２で圧縮した画像データを格納する画像記憶部である。なお、上述したＨＴＭＬ等で記述した画面表示用情報は画面表示用情報記憶部２０ａに記憶されるが、ポータル画面表示用情報で各音声対応型ネットワークカメラ１の画像の一覧表示を行うときには、このとき表示される画像データはそれぞれの音声対応型ネットワークカメラ１の画
像記憶部２０ｃに格納されている。
【００３４】
次にコンピュータ装置２の構成を図２に基づいて説明する。図２において、２１はネットワーク３との間のインターフェースである通信制御部、２２はハードウェアとしてＣＰＵを備え、記憶部２３からプログラムを読み出して機能実現手段として実現される制御演算部、２３はプログラムやデータを格納する記憶部、２３ａは音声データを格納する音声受信バッファ部である。また、２４はネットワーク３上のウェブサイトから画面表示用情報を取得して閲覧するためのブラウザ手段、２５はＪＡＶＡ（登録商標）アプレットプログラム、プラグイン等の音声処理プログラムによって機能実現手段として実現される音声処理手段である。
【００３５】
そして、２５ａは音声受信バッファ部２３ａへのＰＣＭデータの書き込み動作と出力動作を制御するバッファ制御手段、２５ｂは無データ／無音に相当するかのレベル判断を行う受信バッファレベル判定手段、２５ｃは無データ／無音の状態が所定の時間継続したかカウントするタイマ手段である。さらに、２５ｄは音声受信バッファ部２３ａで無データ／無音と判定するための閾値をバッファリングデータ長によって変化させるための無音消去設定画面５６（図３（ｂ）参照）を生成するための表示用情報生成部である。そして、２５ｅは音消去設定画面５６からバッファリングデータ長を入力したとき上記閾値の設定を行う設定手段である。
【００３６】
また、２６は声対応型ネットワークカメラ１のファイル転送手段１９ｅによってダウンロードされたアクティブｘ，ＪＡＶＡ（登録商標）アプレット等のプログラムによって機能実現手段として実現される端末側通信処理手段である。２７はマイク、２７ａは音声入力調整回路、２８はスピーカ、２８ａは音声出力調整回路、２９は表示部、３０はモニタである。
【００３７】
続いて図３（ａ）（ｂ）に基づいて、実施例１の音声対応型ネットワークカメラ１がコンピュータ装置２に送信するポータル画面表示用情報と無音消去設定画面の説明をする。図３（ａ）において、５１は動画像や静止画像等の画像域、５２は音声対応型ネットワークカメラ１のカメラ１０のパン、チルト、ズームを制御するコントロールバーである。５２ａが方向制御ボタン、５２ｂはズーム調節バーである。なお、コントロールバー５２には、後述する無データ／無音データを廃棄するための設定画面を呼び出すボタンが用意されている。５３は押下したとき音声対応型ネットワークカメラ１に音声を送信する音声送信ボタン、５４は音声対応型ネットワークカメラ１で行われた音声を受信する音声受信ボタンである。５５は音声対応型ネットワークカメラ１のスピーカ１８から出力する音量を調節する音量調整バーである。音声対応型ネットワークカメラ１のクライアントは、このポータル画面表示用情報を受信してモニタ３０に表示し、ポータル画面の画像を見ながら方向制御ボタン５２ａ、ズーム調節バー５２ｂを操作してカメラ１０のアングル等を切り替え、新しい画像を入手する。また、音声通信モードにおいては、音声送信ボタン５３を押して音声を送信し、音声対応型ネットワークカメラ１側の音声を音声受信ボタン５４の押下によって受信する。
【００３８】
続いて図３（ｂ）において、５６は上述したように音声受信バッファ部２３ａで無データ／無音と判定するための閾値をデータ長によって変化させるための無音消去設定画面、５７はバッファリングデータ長を設定するための設定ボックスである。なお、簡単のため無音消去設定画面という。ポータル画面のコントロールバー５２に表示されている無音消去設定のボタンを押すと、表示用情報生成部２５ｄの生成した無音消去設定画面５６が呼び出され、モニタ３０に表示される。設定ボックス５７にはバッファリングデータ長の入力が可能になっており、図６に示すように、４００ｍｓ、５００ｍｓ、６００ｍｓ、７００ｍｓ、８００ｍｓ、９００ｍｓ、１０００ｍｓの中から選択できるようになっている。
詳細は後述するが、無データ／無音と判断する閾値は１つの値でもよいが、図６においては無データ／無音の状態から有音の状態に変化するときと、有音の状態から無データ／無音の状態に変化するときとで分けて、それぞれ別の一対の閾値を設定している。すなわち、無データ／無音の状態から有音の状態に変化するときの閾値Ｈ（ｄＢ）と、有音の状態から無データ／無音の状態に変化するときの閾値Ｌ（ｄＢ）の一対で無データ／無音を判定している。例えば、設定ボックス５７でバッファリングデータ長を４００ｍｓと入力すると、設定手段２５ｅによって閾値Ｈが−９ｄＢ、閾値Ｌが−１２ｄＢとして設定される。
【００３９】
続いて、コンピュータ装置２の音声受信バッファ部２３ａで行われる無データ／無音の廃棄動作について図４、図５、図６を基に詳細に説明する。図４の（ａ）は音声対応型ネットワークカメラ１から送信された音声データを収めたＩＰパケットである。ヘッダの後に１フレーム分の音声データが格納されている。この音声データは通信制御部２１によって取り出され、バッファ制御手段２５ａは８ビットのＰＣＭデータを８ビット単位で音声受信バッファ部２３ａの所定の列に転送する。図４（ｂ）に示すようにＰＣＭデータの８ビットは、その先頭の１ビットが極性（＋，−）の識別に割り当てられ、残り７ビットで波高値を表している。いわゆるμ則、Ａ則のいずれかに応じて圧縮係数が異なるため、圧縮方式でＰＣＭデータは異なった値となる。
【００４０】
図４（ｃ）に記載されたバッファ制御手段２５ａは、ＦＩＦＯで（８×ｎ）ビットのバッファ容量を有し、８ビット単位でｎ列の記憶素子アレイが設けられており、始端側でＰＣＭデータを転送して書き込むと同時に、終端では一様な速度で音声出力するためＰＣＭデータを所定の速度、８ビット単位で出力する。出力後、残った列の電荷（ＰＣＭデータを示す）は順に１列ごと終端側に転送される。
【００４１】
ところで、図４（ｄ）のグラフはＰＣＭ信号の波高値を示しているが、Ｔｍｓ（実施例1では３６５ｍｓ）幅に相当するｋ列のデータが終端側で閾値Ｌ以下、始端側で閾値Ｈ以上になっている。なお、この波高値は極性（1ビット）を除いた絶対値である。このＴｍｓの（８×ｋ）ビットのＰＣＭデータは波高値が低く、無音の状態と判定され、廃棄される。なお、無データの場合は波高値０がｋ個並んだ状態となる。出力は図４（ｅ）のように８ビット単位でなされ、音声処理手段２５に入力される。音声処理手段２５では音声デジタル信号（ＰＡＭ信号）に変換され、図示しないＤＡ変換部によってアナログ信号となってスピーカ２８から出力される。
【００４２】
ところで、バッファ制御手段２５ａは音声受信バッファ部２３ａ内に設定された所定量のデータが貯まると、無データ／無音のデータを廃棄し、有音の音声データの間を順に詰めて出力する。このときの音声受信バッファ部２３ａの動作について図６に基づいて説明する。図６おいて、受信バッファレベル判定手段２５ｂが判定した有音の領域はＡ，Ｂ，Ｃであり、無データ／無音の領域はＭ，Ｎである。Ａ領域でＰＣＭ信号の大きさが次第に低下し、ｐ点で閾値Ｌ以下となり、Ｍ領域を経てｑ点で閾値Ｈと交差し、Ｂ領域のＰＣＭ信号となる。Ｂ領域で最大値をとった後再びｐ点で閾値Ｌと交差し、Ｎ領域を経てｑ点で閾値Ｈと交差する。なお、このＡ領域が正値だとすると、例外を除きＢ領域は負値となる。このようにｐ点の方が閾値が低く、ｑ点の方が閾値が高いのは、有音の最後のデータをカットし過ぎないようにするためであり、また、無データ／無音と評価する点ｐは確実性を期して低い値とされるが、有音に戻るときは既に無データ／無音と評価される領域を経ているはずであり、少し高くしても判断を誤ることがないからである。
【００４３】
このように判定された無データ／無音の領域はＭ，Ｎはバッファ制御手段２５ａによって廃棄（電荷を消去）され、領域Ａ，Ｂ，Ｃが順に詰められる。このときの状態が図６の下の２図である。バッファ容量に大きな余裕の容量ができているのが分かる。領域Ａ，Ｂ
，Ｃは連続し、無データ／無音の状態がなかったかのように出力される。
【００４４】
しかし、無データ／無音の判定を常に一定の閾値Ｌ、閾値Ｈで行うのがよいとはいえない。すなわち、音声受信バッファ部２３ａのバッファリングデータ長が少ないときは、閾値Ｌ、閾値Ｈを下げて有音と判定する音声データを増やし、バッファリングデータ長が大きくなったときは閾値Ｌ、閾値Ｈを増加させて、有音と判定する音声データを減少させるのが、処理を遅延させないという点で好適である。そして、このような判定を行っても、無データの領域は常に閾値Ｌ以下となるから、閾値Ｌ、閾値Ｈを変化させた場合でもネットワーク３のトラフィック負荷の変動による影響は断つことができる。
【００４５】
図６ではバッファリングデータ長として、４００ｍｓ、５００ｍｓ、６００ｍｓ、７００ｍｓ、８００ｍｓ、９００ｍｓ、１０００ｍｓが設定可能であり、閾値Ｌ、閾値Ｈには３ｄＢのヒステリシスが設けられている。この３ｄＢの差を設けることで有音の最後のデータをカットし過ぎないで済むし、有音と無データ／無音の判断を誤ることがない。
【００４６】
閾値Ｌ、閾値Ｈは、バッファリングデータ長が増加すると、このデータ長に比例して増加させている。これはバッファ容量が大きい場合は、受信するＰＣＭデータのデータ量の大きさと比例していることが多く、閾値Ｌ、閾値Ｈ（スレッシュレベル）を上げることによって、無データ／無音と判定する範囲を増やせば、音声処理手段２５の処理量を減らすことができるからである。バッファリングデータ長が４００ｍｓのとき、閾値Ｈを−９ｄＢ、閾値Ｌを−１２ｄＢとすると、４００ｍｓから１０００ｍｓまで１００ｍｓごとにそれぞれの段階で３ｄＢごと増加させ、１０００ｍｓでは閾値Ｈを＋９ｄＢ、閾値Ｌを＋６ｄＢとするのが好適である。閾値Ｌ、閾値Ｈの変更は、バッファリングデータ長を１００ｍｓごとに行うので、３ｄＢの違いとなる。
【００４７】
なお、以上の説明は、コンピュータ装置２の音声受信バッファ部２３ａにおける無音データ廃棄の設定処理、消去動作について主として説明したものである。とくに、音声対応型ネットワークカメラ１からＪＡＶＡ（登録商標）アプレット等のプログラムを送信して音声受信バッファ部２３ａを形成し、端末側通信処理手段２６を構成して通信を行うコンピュータ装置２について説明しているが、これに限られるものではない。また、これらの説明は、すべて音声対応型ネットワークカメラ１の音声受信バッファ部１６ｃにおける無音データ廃棄の設定処理、消去動作の説明と同様であり、詳細な説明は重複するため省略する。なお、コンピュータ装置２の音声処理手段２５は、音声受信するときには音声受信処理部１４の機能を奏し、音声送信するときには音声送信処理部１５の機能を奏すものである。また、コンピュータ装置２ではクライアントがポータル画面を受信し、無音消去設定画面５６を表示して設定入力するが、音声対応型ネットワークカメラ１の場合、管理者が保守端末から設定を行う。
【００４８】
続いて、本発明の実施例１のネットワークカメラとコンピュータ装置で無データ／無音データの廃棄を行うときのフローを説明する。図７は本発明の実施例１のネットワークカメラとコンピュータ装置で無データ及び無音データの廃棄を行うときのフローチャートである。図７において、音声受信バッファ部２３ａに所定量の音声データ（ＰＣＭデータ）が貯まるまで待機し（ｓｔｅｐ１）、これが貯まった時点で受信バッファレベル判定手段２５ｂが無データ／無音と有音の判定を行う（ｓｔｅｐ２）。
【００４９】
受信バッファレベル判定手段２５ｂが無データ／無音の領域の音声データを廃棄し（ｓｔｅｐ３）、有音の領域のスペースを順に詰めて（ｓｔｅｐ４）、音声処理手段２５に入力されて、音声処理手段２５では音声デジタル信号（ＰＡＭ信号）に変換され（ｓｔｅｐ５）、ＤＡ変換部によってアナログ信号としてスピーカ２８から出力する（ｓｔｅｐ６）。
【００５０】
このように実施例１の音声受信バッファ部２３ａは、バッファリングデータ長を変化させ、音声データの貯まる量の大きさに対応してスレッシュレベルを変化させるから、音声通信時のトラフィックの状態に応じて音声処理手段２５の処理量を減らすことができる。無データと無音データが多くても、パケットが遅延しても音声が遅延することがなく、バッファを有効に利用することができ、トラフィック負荷に影響されることがない。
【産業上の利用可能性】
【００５１】
本発明は、音声対応型ネットワークカメラを使って画像送信と音声通信を行うネットワークシステムに適用できる。
【図面の簡単な説明】
【００５２】
【図１】（ａ）本発明の実施例１におけるネットワークカメラの構成図、（ｂ）本発明の実施例１におけるネットワークカメラの制御部内の内部ブロック構成図
【図２】本発明の実施例１におけるコンピュータ装置のブロック構成図
【図３】（ａ）本発明の実施例１におけるコンピュータ装置のポータル画面表示の説明図、（ｂ）（ａ）の無音消去のための設定画面の説明図
【図４】本発明の実施例１におけるコンピュータ装置の音声受信バッファ部のデータ処理の説明図
【図５】本発明の実施例１における音声受信バッファ部のデータ廃棄の説明図
【図６】本発明の実施例１における音声受信バッファ部の無データ及び無音の判定を行うための閾値設定の説明図
【図７】本発明の実施例１のネットワークカメラとコンピュータ装置で無データ及び無音データの廃棄を行うときのフローチャート
【図８】従来の音声通信のための画像の一覧表示の説明図
【符号の説明】
【００５３】
１ 音声対応型ネットワークカメラ
２ コンピュータ装置
３ ネットワーク
１０ カメラ
１０ａ カメラ制御部
１０ｂ パンモータ
１０ｃ チルトモータ
１０ｄ リニアアクチュエータ
１１ コーディック部
１２ 画像処理部
１３ 通信制御部
１４ 音声受信処理部
１４ａ ＤＡ変換部
１５ 音声送信処理部
１５ａ ＡＤ変換部
１６ バッファ部
１６ａ 画像バッファ部
１６ｂ 音声送信バッファ部
１６ｃ 音声受信バッファ部
１７，２７ マイク
１７ａ，２７ａ 音声入力調整回路
１８，２８ スピーカ
１８ａ，２８ａ 音声出力調整回路
１９ 制御部
１９ａ 通信実行手段
１９ｂ 画面表示用情報生成手段
１９ｃ フラグ
１９ｄ ファイル転送手段
１９ｅ バッファ制御手段
１９ｆ 受信バッファレベル判定手段
１９ｇ タイマ手段
１９ｈ 設定手段
２０，２３ 記憶部
２０ａ 画面表示用情報記憶部
２０ｂ 送信ファイル記憶部
２０ｃ 画像記憶部
２１ 通信制御部
２２ 制御演算部
２３ａ 音声受信バッファ部
２４ ブラウザ手段
２５ 音声処理手段
２５ａ バッファ制御手段
２５ｂ 受信バッファレベル判定手段
２５ｃ タイマ手段
２５ｄ 表示用情報生成部
２５ｅ 設定手段
２６ 端末側通信処理手段
２９ 表示部
３０ モニタ
５１ 画像域
５２ コントロールバー
５２ａ 方向制御ボタン
５２ｂ ズーム調節バー
５３ 音声送信ボタン
５４ 音声受信ボタン
５５ 音量調整バー
５６ 無音消去設定画面
５７ 設定ボックス
【技術分野】
【０００１】
本発明は、音声通信が行える端末、ネットワークカメラと、バッファを有効に利用できるプログラム、及びこの端末、ネットワークカメラを使って画像と音声の通信を行うネットワークシステムに関するものである。
【背景技術】
【０００２】
最近、ネットワークカメラで画像を撮像し、インターネット等のネットワークを介してコンピュータ装置に送信するネットワークシステムが普及している。しかし、このネットワークシステムでは、コンピュータ装置を操作して画像情報を入手できるが、周囲の音声情報までは入手できない。そこで、スピーカやマイクを搭載して画像のほかに音声通信まで行えるネットワークカメラ（以下、音声対応ネットワークカメラという）が開発された。
【０００３】
図８は従来の音声通信を行うネットワークシステムの説明図である。このネットワークシステムにおいては、画像の送信に関して、音声対応型ネットワークカメラ１のカメラ１０で撮像した画像は画像処理部１２で圧縮処理され、この圧縮処理された画像データが通信制御部１３によってプロトコル処理されてネットワーク３に送出され、コンピュータ装置２へ送られる。コンピュータ装置２では受信した画像データを解凍処理して画面に表示する。
【０００４】
また、撮像される画像は、カメラ１０のパンやチルト、ズームをカメラ制御部（図示しない）によって制御することで所望のアングル、ズームの画像となる。コンピュータ装置２のブラウザ（画面表示用情報の閲覧プログラム）は、ネットワーク３を経由してポータル画面表示用情報を受信すると、モニタに画像及びコントロールバーを表示したポータル画面を表示し、このコントロールバーを使ってユーザがパン、チルト、ズームを操作すると、ＪＡＶＡ（登録商標）アプレット等が制御量のデータを収めたＩＰパケットを通信制御部１３から音声対応型ネットワークカメラ１に送信する。音声対応型ネットワークカメラ１では、制御部１９がこのＩＰパケットからデータを取り出し、カメラ制御部に制御量を伝え、パンモータ（図示しない）、チルトモータ（図示しない）、リニアアクチュエータ（図示しない）を駆動し、カメラ１０の撮像方向とズームが変更される。
【０００５】
次に音声通信に関しては、マイク１７から入力される音声は音声送信処理部１５にてＡＤ変換と圧縮処理されて、音声送信データが通信制御部１３さらにネットワーク３を経由してコンピュータ装置２に送られる。コンピュータ装置２では受信した音声送信データを処理して、スピーカ２８から音声出力する。同様に、コンピュータ装置２のマイク２７から入力された音声は、コンピュータ装置２で処理されて音声受信データとして送信され、ネットワーク３経由で音声対応型ネットワークカメラ１に送られる。音声対応型ネットワークカメラ１では、受信した音声受信データが通信制御部１３を介して音声受信処理部１４に渡され、そこで解凍処理及びＤＡ変換されてスピーカ１８に出力される。
【０００６】
ところで、このような音声対応型ネットワークカメラ１がコンピュータ装置２に画像と音声を送信する場合には、一般に画像と音声のそれぞれのデータにタイムスタンプ、すなわち時間情報による同期情報を付加して送信することが行われている（例えば、特許文献１参照）。音声、画像両データに時間制御による同期情報をもたせ、受信側で同期情報を持ったデータを再生し、音声、画像両データを同期出力するものである。このとき音声はデータの長さが決まっているが、画像データは出力時間が決まっていない。従って、ネットワークのトラフィック負荷が大きい場合、この端末装置では画像データと音声データの
すべてを送信することが困難で、データを間引く処理を行う。このため、画像の一部、音声の一部がカットされ、音声が途切れ途切れになってしまう。音声の途切れ途切れは聞き辛く、情報の伝達を大きく損なう。
【０００７】
同様に、フレーム番号を画像データと音声データに付加して同期をとるタイムスタンプ方式などが存在するが、タイムスタンプやフレーム番号を画像データ及び音声データに各々付加する必要があり、構成が複雑でネットワークのトラフィック負荷が大きい場合、この端末装置ではすべての画像データと音声データを送信することは困難である。この結果、音声は途切れ途切れとなるし、複雑で、コスト高になるものであった。
【０００８】
さらに、このように音声をカットするのではなく、音声信号が無音声である場合に多重化信号を効率的に生成するマルチメディア多重化伝送装置が提案されている（特許文献２）。これは音声信号バッファ部と音声無音検出部とを備え、音声信号バッファ部は音声符号化信号を一時的に蓄積する。外部マイクでひろった音声信号が無声音の場合を検出すると、音声無音検出部からの入力信号がローレベルの場合はデータの書き込みがイネーブルとし、ハイレベルのときはディセーブルとし、多重化信号の音声信号に割り当てられた時間的領域を映像符号化信号に譲って無駄に使うことが無いものである。処理に当たっては、有音から無音に変わる場合にはローレベルからハイレベルへ必要な時間以上かけて動作させ、無音から有音に変わる場合は直ちにハイレベルからローレベルへ変化させている。これによって語尾と語頭の音声の破棄がなくなるものである。
【特許文献１】特開平９−２７８７１号公報
【特許文献２】特開２００１−１６２６３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
特許文献１のような音声対応型ネットワークカメラが画像と音声を送信する場合、各画像と音声データに時間情報による同期情報を付加したり、フレーム番号を各画像と音声のデータに付加して同期をとることが行われてきた。しかし、ネットワークのトラフィック負荷が大きい場合、これらの同期をとる方式では画像データと音声データのすべてを送信することは困難になるものであった。遅延が起こるとデータの間引き処理が必要で、再生した画像の一部、音声の一部がカットされ、途切れ途切れになってしまう。しかも、これらの技術はデータの送信側でのデータの間引き処理であって、トラフィック変動の影響を受ける受信側の課題を解決するものではない。トラフィック負荷が大きいと音声データのパケットが遅延し、コンピュータ装置の音声バッファでは音声遅延が増加することはあっても減ることがない。
【００１０】
また特許文献２のマルチメディア多重化伝送装置は、音声信号バッファ部と音声無音検出部とを備え、外部マイクでひろった音声信号が無声音の場合を検出すると、音声をカットするのではなくデータの書き込み禁止とするため、多重化信号を効率的に生成することができる。しかし、外部マイクの音声信号が無声音の場合に、マルチメディア多重化伝送装置から送出する多重化信号の無音の音声信号に割り当てられた領域を映像符号化信号に割り当てるもので、従って、この技術も受信側のコンピュータ装置の課題を解決するものではない。トラフィック負荷が大きいと上述の問題を抱えるものである。
【００１１】
そこで上記従来の課題に鑑み本発明は、無音データが多くても、パケットが遅延してもバッファを有効に利用できる端末、ネットワークカメラとプログラム、及びネットワークシステムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記従来の課題を解決するために本発明は、ネットワークを介して音声データを受信す
ると、該音声データを音声受信バッファ部に一時的に貯めて、該音声受信バッファ部から出力される音声データを音声処理手段でデコードし、ＤＡ変換後に音声出力する端末であって、音声受信バッファ部への音声データの入出力制御を行うバッファ制御手段と、音声受信バッファ部内の音声データが一定時間継続して所定の波高値以下の場合に無データまたは無音と判定し該波高値を越えた場合に有音と判定する受信バッファレベル判定手段とを備え、バッファ制御手段が無データまたは無音と判定された音声データを廃棄し、残りの音声データの間を詰めて音声処理手段へ出力することを主要な特徴とする。
【発明の効果】
【００１３】
本発明の端末、ネットワークカメラとプログラム、及びネットワークシステムによれば、音声遅延が増大しても無音部分を破棄することにより遅延量を改善できる。
【発明を実施するための最良の形態】
【００１４】
上記課題を解決するために本発明の第１の形態は、ネットワークを介して音声データを受信すると、該音声データを音声受信バッファ部に一時的に貯めて、該音声受信バッファ部から出力される音声データを音声処理手段でデコードし、ＤＡ変換後に音声出力する端末であって、音声受信バッファ部への音声データの入出力制御を行うバッファ制御手段と、音声受信バッファ部内の音声データが一定時間継続して所定の波高値以下の場合に無データまたは無音と判定し該波高値を越えた場合に有音と判定する受信バッファレベル判定手段とを備え、バッファ制御手段が無データまたは無音と判定された音声データを廃棄し、残りの音声データの間を詰めて音声処理手段へ出力する端末であり、音声受信バッファ部内の無データまたは無音と判定された音声データを廃棄し、残りの音声データの間を詰めて音声出力するので、音声受信バッファ部を有効利用することができ、トラフック変動に影響され難くなる。
【００１５】
本発明の第２の形態は、第１の形態に従属する形態であって、ネットワークを介してネットワークカメラで撮像した画像を受信するとともに、該ネットワークカメラと音声通信し、ネットワークカメラから送信される音声データを受信する端末であるから、ネットワークカメラからの画像とともに音声通信を行い、音声が画像より遅延したり、カットされたりすることがなくなる。
【００１６】
本発明の第３の形態は、第１または２の形態に従属する形態であって、音声受信バッファ部内に所定のデータ量が貯まると、受信バッファレベル判定手段が波高値による判定を行い、バッファ制御手段が該判定によって無データまたは無音と判定された音声データを廃棄する端末であり、所定のデータ量が貯まったら音声受信バッファ部内を整理するので、通常はそのままの音声を出力できる。
【００１７】
本発明の第４の形態は、第１〜３のいずれかの形態に従属する形態であって、所定の波高値が、有音から無データまたは無音に移行するときの第1の閾値と、無データまたは無音から有音に移行するときの第２の閾値とから構成された端末であり、有音の最後のデータをカットし過ぎることがなく、有音に戻るときは既に無データ／無音と評価される領域を経ているため、少し高くても判断を誤ることがない。
【００１８】
本発明の第５の形態は、ネットワークを介して音声通信可能な端末にカメラで撮像した画像を送信するとともに、端末に対して音声データを送信し、該端末から音声データを受信すると、該音声データを音声受信バッファ部に一時的に貯めて、該音声受信バッファ部から出力される音声データを音声受信処理部デコードし、ＤＡ変換後に音声出力するネットワークカメラであって、音声受信バッファ部への音声データの入出力制御を行うバッファ制御手段と、音声受信バッファ部内の音声データが一定時間継続して所定の波高値以下の場合に無データまたは無音と判定し該波高値を越えた場合に有音と判定する受信バッフ
ァレベル判定手段とを備え、バッファ制御手段が無データまたは無音と判定された音声データを廃棄し、残りの音声データの間を詰めて音声受信処理部へ出力するネットワークカメラであり、音声受信バッファ部内の無データまたは無音と判定された音声データを廃棄し、残りの音声データの間を詰めて音声出力するので、音声受信バッファ部を有効利用することができ、トラフック変動に影響され難くなる。
【００１９】
本発明の第６の形態は、コンピュータを、音声受信バッファ部内の音声データが一定時間継続して所定の波高値以下の場合に無データまたは無音と判定し該波高値を越えた場合に有音と判定する受信バッファレベル判定手段と、音声受信バッファ部への音声データの入出力制御を行い、受信バッファレベル判定手段が無データまたは無音と判定した音声データをバッファ制御手段が廃棄し、残りの音声データの間を詰めて音声処理手段へ出力するバッファ制御手段と、して機能させるプログラムであり、音声受信バッファ部内の無データまたは無音と判定された音声データを廃棄し、残りの音声データの間を詰めて音声出力するので、音声受信バッファ部を有効利用することができる。
【００２０】
本発明の第７の形態は、第６の形態に従属する形態であって、音声受信バッファ部内に所定のデータ量が貯まると、受信バッファレベル判定手段が波高値による判定を行い、バッファ制御手段が該判定によって無データまたは無音と判定された音声データを廃棄するプログラムであり、所定のデータ量が貯まったら音声受信バッファ部内を整理するので、通常はそのままの音声を出力できる。
【００２１】
本発明の第８の形態は、第６または７の形態に従属する形態であって、所定の波高値が、有音から無データまたは無音に移行するときの第1の閾値と、無データまたは無音から有音に移行するときの第２の閾値とから構成されたプログラムであり、有音の最後のデータをカットし過ぎることがなく、有音に戻るときは既に無データ／無音と評価される領域を経ているため、少し高くても判断を誤ることがない。
【００２２】
本発明の第９の形態は、第６または７の形態に従属する形態であって、所定の波高値が、有音から無データまたは無音に移行するときの第1の閾値と、無データまたは無音から有音に移行するときの第２の閾値をバッファに蓄積されたデータ長に応じて動的に変化させ、多くのデータが蓄積されたときには無音に移行しやすい閾値、少ないデータが蓄積された状態では有音に移行し易い閾値となるよう制御するプログラムであり、閾値の制御により、多くのデータが蓄積されたときには無音に移行しやすい閾値、少ないデータが蓄積された状態では有音に移行し易い閾値となるよう制御できる。
【００２３】
本発明の第１０の形態は、カメラで撮像した画像を送信するとともに音声通信可能なネットワークカメラと、第１〜４の形態のいずれかの端末とから構成されるネットワークシステムであって、端末の受信バッファレベル判定手段が無データまたは無音と判定した音声データをバッファ制御手段が廃棄し、残りの音声データを順に詰めて音声受信処理部へ出力するネットワークシステムであり、音声受信バッファ部内の無データまたは無音と判定された音声データを廃棄し、残りの音声データの間を詰めて音声出力するので、音声受信バッファ部を有効利用することができ、トラフック変動に影響され難くなる。所定のデータ量が貯まったら音声受信バッファ部内を整理するので、通常はそのままの音声を出力でき、有音の最後のデータをカットし過ぎることがなく、有音に戻るときは既に無データ／無音と評価される領域を経ているため、少し高くても判断を誤ることがない。
【実施例】
【００２４】
（実施例１）
以下、本発明の実施例１のネットワークカメラとプログラム、及びネットワークシステムについて説明する。図１（ａ）は本発明の実施例１におけるネットワークカメラの構成
図、図１（ｂ）は本発明の実施例１におけるネットワークカメラの制御部内の内部ブロック構成図、図２は本発明の実施例１におけるコンピュータ装置のブロック構成図、図３（ａ）は本発明の実施例１におけるコンピュータ装置のポータル画面表示の説明図、図３（ｂ）は（ａ）の無音消去のための設定画面の説明図、図４は本発明の実施例１におけるコンピュータ装置の音声受信バッファ部のデータ処理の説明図、図５は本発明の実施例１における音声受信バッファ部のデータ廃棄の説明図、図６は本発明の実施例１における音声受信バッファ部の無データ及び無音の判定を行うための閾値設定の説明図である。従来の音声対応型ネットワークカメラ１とコンピュータ装置２で符号と同一の符号は実施例１においても基本的に同一である。
【００２５】
図１（ａ）（ｂ）において、１は画像を撮像して送信するとともに音声通信できる音声通信装置を搭載した音声対応型ネットワークカメラ（本発明のネットワークカメラ）、２は音声通信が可能なパソコン等のコンピュータ装置（本発明の端末）、３はインターネット、イーサネット（登録商標）等のネットワークである。１０は音声対応型ネットワークカメラ１のカメラ、１０ａはカメラ１０のパン，チルト，ズームを制御するためのカメラ制御部である。１０ｂはカメラ１０のパン動作を制御するパンモータ、１０ｃはカメラ１０のチルト動作を制御するチルトモータ、１０ｄはカメラ１０のズームを制御するための送り動作を行うリニアアクチュエータである。
【００２６】
コンピュータ装置２が音声対応型ネットワークカメラ１から取得し表示したポータル画面のコントロールバーを使って、クライアントがパン、チルト、ズームを操作すると、ＪＡＶＡ（登録商標）アプレット等によってパン、チルト、ズームの制御量のデータを収めたＩＰパケットがコンピュータ装置２から送信され、音声対応型ネットワークカメラ１ではこのＩＰパケットから制御データを取り出し、カメラ制御部１０ａに制御量を伝え、パンモータ１０ｂ、チルトモータ１０ｃ、リニアアクチュエータ１０ｄをそれぞれ駆動し、撮像方向とズームを変更する。
【００２７】
１１は送受信するデータを圧縮したり解凍するコーディック部、１２はカメラ１１で撮像した画像信号を圧縮処理する画像処理部、１３は画像処理部１２が圧縮した画像データをプロトコル処理して送信する通信制御部である。なお、このプロトコル処理とは、ＴＣＰ／ＩＰプロトコルやイーサネット（登録商標）などのＩＥＥＥ８０２．０３プロトコルなどの処理を指す。
【００２８】
１４は音声対応型ネットワークカメラ１が受信した音声受信データ（ＰＣＭデータ）をデコードする音声受信処理部、１４ａは音声受信処理部１４からの出力はデジタル信号であるためこれをＤＡ変換しアナログ信号に変換するＤＡ変換部、１５は音声対応型ネットワークカメラ１に入力された音声をコード化する音声送信処理部、１５ａは音声入力調整回路１７ａ（後述）からの出力はアナログ信号であるためこれをＡＤ変換するＡＤ変換部である。１６は音声対応型ネットワークカメラ１のバッファ部、１６ａはバッファ部１６を構成し画像処理部１２で圧縮されたＪＰＥＧ、ＭＰＥＧ等の画像データの画像バッファ部、１６ｂはバッファ部１６を構成し音声送信処理部１５でコード化したＰＣＭデータを音声送信バッファ部である。１６ｃはバッファ部１６を構成し、ネットワーク３を介してコンピュータ装置２から送信されたＰＣＭデータをバッファリングするＦＩＦＯ（First In First Out）の音声受信バッファ部である。
【００２９】
この音声受信バッファ部１６ｃは、大量の音声受信データが送信されてきたとき処理能力と処理量との関係で一時的にバッファリングするものである。従ってトラフィック負荷が大きくなったときは、パケットの遅延で着信するデータ量が減少し、処理に関して問題はないようにみえるが、データを取り込めない時間帯が続き、無データ域が音声受信バッファ部１６ｃのデータに混入するという問題が生じる。すなわち、先入れしたデータは出
力を続けるが、パケット遅延のデータは音声受信バッファ部１６ｃを構成する多数の記憶素子に書き込まれず、帯電されない状態となり、この無データの状態が転送されて音声受信処理部１４に送られると、音声受信処理部１４は無意味な処理を行わなければならない。そこで本実施例１においては、この無データ域と、音の大きさが小さい本来の無音の状態を検出して廃棄するものである。以下、無データと無音を合わせて無データ／無音という。
【００３０】
次に図１（ａ）において、１７は音声対応型ネットワークカメラ１の周囲の音声を入力するためのマイク、１７ａは音声入力調整回路、１８は音声を出力するためのスピーカ、１８ａは音声出力調整回路である。マイク１７と音声送信処理部１５との間、及びスピーカ１８と音声受信処理部１４との間にエコーキャンセラ（図示しない）を設けて、スピーカ１８から出力した音声がマイク１７に再び入力されて、コンピュータ装置２側のスピーカ２８から出力され、再びマイク２７から入力されるというループの形成でエコーが形成されるのを防止するのもよい。
【００３１】
図１（ａ）（ｂ）において、１９は音声対応型ネットワークカメラ１の制御部、１９ａはコンピュータ装置２から音声通信モードが選択されたとき、音声通信と画像送信を行う通信実行手段（本発明の通信手段）、１９ｂは音声対応型ネットワークカメラ１からコンピュータ装置２に送信する画面表示用情報を生成する画面表示用情報生成手段である。１９ｃは音声対応型ネットワークカメラ１にアクセスしている複数のコンピュータ装置２の通信状態、例えば音声送信中、音声受信中か、パン、チルト、ズームの制御権行使中、等を示すフラグ、１９ｄは送信ファイル記憶部２０ｂに格納されたアクティブｘ，ＪＡＶＡ（登録商標）アプレット等のプログラム、とくに後述の端末側通信処理手段２６等のコンピュータ装置２を制御するプログラムをダウンロードするためのファイル転送手段である。
【００３２】
次に、１９ｅは音声受信バッファ部１６ｃへのＰＣＭデータの書き込み動作と出力動作を制御するバッファ制御手段、１９ｆは無データ／無音に相当するかのレベル判断を行う受信バッファレベル判定手段、１９ｇは無データ／無音の状態が所定の時間継続したかカウントするタイマ手段である。実施例１においては、バッファ制御手段１９ｅは所定の時間無データ／無音が継続したと判断される場合、この間のデータをすべて廃棄（電荷を消去）し、廃棄した領域を後続のデータを進めて無データ／無音の領域をなくす制御を行う。受信バッファレベル判定手段１９ｆには有音と無データ／無音と評価するための閾値が設定されており、所定時間以上閾値以下になったとき無データ／無音と判定してバッファ制御手段１９ｅに通知する。実施例１においては３６５ｍｓ継続して閾値以下になったときを無データ／無音と判定するが、継続時間は適宜の設定値を採用すればよい。この通知を受けるとバッファ制御手段１９ｅは、無データ／無音が継続するか判断するために、タイマ手段１９ｇに所定の時間をカウントさせる。タイマ手段１９ｇがカウントアウトしたとき、無データ／無音が発生したと判定される。さらに、１９ｈは上記閾値の設定を行う設定手段である。
【００３３】
次に図１（ａ）において、２０はシステムを制御する等のプログラム等を記憶した記憶部、２０ａはポータル画面表示用情報のテンプレートやその他の画面表示用情報（ウェブページ）を格納した画面表示用情報記憶部、２０ｂはコンピュータ装置２に送信してコンピュータ装置２のＣＰＵで実行されるアクティブｘ，ＪＡＶＡ（登録商標）アプレット等のプログラム（以下、端末側通信処理手段）を格納した送信ファイル記憶部である。２０ｃは画像処理部１２で圧縮した画像データを格納する画像記憶部である。なお、上述したＨＴＭＬ等で記述した画面表示用情報は画面表示用情報記憶部２０ａに記憶されるが、ポータル画面表示用情報で各音声対応型ネットワークカメラ１の画像の一覧表示を行うときには、このとき表示される画像データはそれぞれの音声対応型ネットワークカメラ１の画
像記憶部２０ｃに格納されている。
【００３４】
次にコンピュータ装置２の構成を図２に基づいて説明する。図２において、２１はネットワーク３との間のインターフェースである通信制御部、２２はハードウェアとしてＣＰＵを備え、記憶部２３からプログラムを読み出して機能実現手段として実現される制御演算部、２３はプログラムやデータを格納する記憶部、２３ａは音声データを格納する音声受信バッファ部である。また、２４はネットワーク３上のウェブサイトから画面表示用情報を取得して閲覧するためのブラウザ手段、２５はＪＡＶＡ（登録商標）アプレットプログラム、プラグイン等の音声処理プログラムによって機能実現手段として実現される音声処理手段である。
【００３５】
そして、２５ａは音声受信バッファ部２３ａへのＰＣＭデータの書き込み動作と出力動作を制御するバッファ制御手段、２５ｂは無データ／無音に相当するかのレベル判断を行う受信バッファレベル判定手段、２５ｃは無データ／無音の状態が所定の時間継続したかカウントするタイマ手段である。さらに、２５ｄは音声受信バッファ部２３ａで無データ／無音と判定するための閾値をバッファリングデータ長によって変化させるための無音消去設定画面５６（図３（ｂ）参照）を生成するための表示用情報生成部である。そして、２５ｅは音消去設定画面５６からバッファリングデータ長を入力したとき上記閾値の設定を行う設定手段である。
【００３６】
また、２６は声対応型ネットワークカメラ１のファイル転送手段１９ｅによってダウンロードされたアクティブｘ，ＪＡＶＡ（登録商標）アプレット等のプログラムによって機能実現手段として実現される端末側通信処理手段である。２７はマイク、２７ａは音声入力調整回路、２８はスピーカ、２８ａは音声出力調整回路、２９は表示部、３０はモニタである。
【００３７】
続いて図３（ａ）（ｂ）に基づいて、実施例１の音声対応型ネットワークカメラ１がコンピュータ装置２に送信するポータル画面表示用情報と無音消去設定画面の説明をする。図３（ａ）において、５１は動画像や静止画像等の画像域、５２は音声対応型ネットワークカメラ１のカメラ１０のパン、チルト、ズームを制御するコントロールバーである。５２ａが方向制御ボタン、５２ｂはズーム調節バーである。なお、コントロールバー５２には、後述する無データ／無音データを廃棄するための設定画面を呼び出すボタンが用意されている。５３は押下したとき音声対応型ネットワークカメラ１に音声を送信する音声送信ボタン、５４は音声対応型ネットワークカメラ１で行われた音声を受信する音声受信ボタンである。５５は音声対応型ネットワークカメラ１のスピーカ１８から出力する音量を調節する音量調整バーである。音声対応型ネットワークカメラ１のクライアントは、このポータル画面表示用情報を受信してモニタ３０に表示し、ポータル画面の画像を見ながら方向制御ボタン５２ａ、ズーム調節バー５２ｂを操作してカメラ１０のアングル等を切り替え、新しい画像を入手する。また、音声通信モードにおいては、音声送信ボタン５３を押して音声を送信し、音声対応型ネットワークカメラ１側の音声を音声受信ボタン５４の押下によって受信する。
【００３８】
続いて図３（ｂ）において、５６は上述したように音声受信バッファ部２３ａで無データ／無音と判定するための閾値をデータ長によって変化させるための無音消去設定画面、５７はバッファリングデータ長を設定するための設定ボックスである。なお、簡単のため無音消去設定画面という。ポータル画面のコントロールバー５２に表示されている無音消去設定のボタンを押すと、表示用情報生成部２５ｄの生成した無音消去設定画面５６が呼び出され、モニタ３０に表示される。設定ボックス５７にはバッファリングデータ長の入力が可能になっており、図６に示すように、４００ｍｓ、５００ｍｓ、６００ｍｓ、７００ｍｓ、８００ｍｓ、９００ｍｓ、１０００ｍｓの中から選択できるようになっている。
詳細は後述するが、無データ／無音と判断する閾値は１つの値でもよいが、図６においては無データ／無音の状態から有音の状態に変化するときと、有音の状態から無データ／無音の状態に変化するときとで分けて、それぞれ別の一対の閾値を設定している。すなわち、無データ／無音の状態から有音の状態に変化するときの閾値Ｈ（ｄＢ）と、有音の状態から無データ／無音の状態に変化するときの閾値Ｌ（ｄＢ）の一対で無データ／無音を判定している。例えば、設定ボックス５７でバッファリングデータ長を４００ｍｓと入力すると、設定手段２５ｅによって閾値Ｈが−９ｄＢ、閾値Ｌが−１２ｄＢとして設定される。
【００３９】
続いて、コンピュータ装置２の音声受信バッファ部２３ａで行われる無データ／無音の廃棄動作について図４、図５、図６を基に詳細に説明する。図４の（ａ）は音声対応型ネットワークカメラ１から送信された音声データを収めたＩＰパケットである。ヘッダの後に１フレーム分の音声データが格納されている。この音声データは通信制御部２１によって取り出され、バッファ制御手段２５ａは８ビットのＰＣＭデータを８ビット単位で音声受信バッファ部２３ａの所定の列に転送する。図４（ｂ）に示すようにＰＣＭデータの８ビットは、その先頭の１ビットが極性（＋，−）の識別に割り当てられ、残り７ビットで波高値を表している。いわゆるμ則、Ａ則のいずれかに応じて圧縮係数が異なるため、圧縮方式でＰＣＭデータは異なった値となる。
【００４０】
図４（ｃ）に記載されたバッファ制御手段２５ａは、ＦＩＦＯで（８×ｎ）ビットのバッファ容量を有し、８ビット単位でｎ列の記憶素子アレイが設けられており、始端側でＰＣＭデータを転送して書き込むと同時に、終端では一様な速度で音声出力するためＰＣＭデータを所定の速度、８ビット単位で出力する。出力後、残った列の電荷（ＰＣＭデータを示す）は順に１列ごと終端側に転送される。
【００４１】
ところで、図４（ｄ）のグラフはＰＣＭ信号の波高値を示しているが、Ｔｍｓ（実施例1では３６５ｍｓ）幅に相当するｋ列のデータが終端側で閾値Ｌ以下、始端側で閾値Ｈ以上になっている。なお、この波高値は極性（1ビット）を除いた絶対値である。このＴｍｓの（８×ｋ）ビットのＰＣＭデータは波高値が低く、無音の状態と判定され、廃棄される。なお、無データの場合は波高値０がｋ個並んだ状態となる。出力は図４（ｅ）のように８ビット単位でなされ、音声処理手段２５に入力される。音声処理手段２５では音声デジタル信号（ＰＡＭ信号）に変換され、図示しないＤＡ変換部によってアナログ信号となってスピーカ２８から出力される。
【００４２】
ところで、バッファ制御手段２５ａは音声受信バッファ部２３ａ内に設定された所定量のデータが貯まると、無データ／無音のデータを廃棄し、有音の音声データの間を順に詰めて出力する。このときの音声受信バッファ部２３ａの動作について図６に基づいて説明する。図６おいて、受信バッファレベル判定手段２５ｂが判定した有音の領域はＡ，Ｂ，Ｃであり、無データ／無音の領域はＭ，Ｎである。Ａ領域でＰＣＭ信号の大きさが次第に低下し、ｐ点で閾値Ｌ以下となり、Ｍ領域を経てｑ点で閾値Ｈと交差し、Ｂ領域のＰＣＭ信号となる。Ｂ領域で最大値をとった後再びｐ点で閾値Ｌと交差し、Ｎ領域を経てｑ点で閾値Ｈと交差する。なお、このＡ領域が正値だとすると、例外を除きＢ領域は負値となる。このようにｐ点の方が閾値が低く、ｑ点の方が閾値が高いのは、有音の最後のデータをカットし過ぎないようにするためであり、また、無データ／無音と評価する点ｐは確実性を期して低い値とされるが、有音に戻るときは既に無データ／無音と評価される領域を経ているはずであり、少し高くしても判断を誤ることがないからである。
【００４３】
このように判定された無データ／無音の領域はＭ，Ｎはバッファ制御手段２５ａによって廃棄（電荷を消去）され、領域Ａ，Ｂ，Ｃが順に詰められる。このときの状態が図６の下の２図である。バッファ容量に大きな余裕の容量ができているのが分かる。領域Ａ，Ｂ
，Ｃは連続し、無データ／無音の状態がなかったかのように出力される。
【００４４】
しかし、無データ／無音の判定を常に一定の閾値Ｌ、閾値Ｈで行うのがよいとはいえない。すなわち、音声受信バッファ部２３ａのバッファリングデータ長が少ないときは、閾値Ｌ、閾値Ｈを下げて有音と判定する音声データを増やし、バッファリングデータ長が大きくなったときは閾値Ｌ、閾値Ｈを増加させて、有音と判定する音声データを減少させるのが、処理を遅延させないという点で好適である。そして、このような判定を行っても、無データの領域は常に閾値Ｌ以下となるから、閾値Ｌ、閾値Ｈを変化させた場合でもネットワーク３のトラフィック負荷の変動による影響は断つことができる。
【００４５】
図６ではバッファリングデータ長として、４００ｍｓ、５００ｍｓ、６００ｍｓ、７００ｍｓ、８００ｍｓ、９００ｍｓ、１０００ｍｓが設定可能であり、閾値Ｌ、閾値Ｈには３ｄＢのヒステリシスが設けられている。この３ｄＢの差を設けることで有音の最後のデータをカットし過ぎないで済むし、有音と無データ／無音の判断を誤ることがない。
【００４６】
閾値Ｌ、閾値Ｈは、バッファリングデータ長が増加すると、このデータ長に比例して増加させている。これはバッファ容量が大きい場合は、受信するＰＣＭデータのデータ量の大きさと比例していることが多く、閾値Ｌ、閾値Ｈ（スレッシュレベル）を上げることによって、無データ／無音と判定する範囲を増やせば、音声処理手段２５の処理量を減らすことができるからである。バッファリングデータ長が４００ｍｓのとき、閾値Ｈを−９ｄＢ、閾値Ｌを−１２ｄＢとすると、４００ｍｓから１０００ｍｓまで１００ｍｓごとにそれぞれの段階で３ｄＢごと増加させ、１０００ｍｓでは閾値Ｈを＋９ｄＢ、閾値Ｌを＋６ｄＢとするのが好適である。閾値Ｌ、閾値Ｈの変更は、バッファリングデータ長を１００ｍｓごとに行うので、３ｄＢの違いとなる。
【００４７】
なお、以上の説明は、コンピュータ装置２の音声受信バッファ部２３ａにおける無音データ廃棄の設定処理、消去動作について主として説明したものである。とくに、音声対応型ネットワークカメラ１からＪＡＶＡ（登録商標）アプレット等のプログラムを送信して音声受信バッファ部２３ａを形成し、端末側通信処理手段２６を構成して通信を行うコンピュータ装置２について説明しているが、これに限られるものではない。また、これらの説明は、すべて音声対応型ネットワークカメラ１の音声受信バッファ部１６ｃにおける無音データ廃棄の設定処理、消去動作の説明と同様であり、詳細な説明は重複するため省略する。なお、コンピュータ装置２の音声処理手段２５は、音声受信するときには音声受信処理部１４の機能を奏し、音声送信するときには音声送信処理部１５の機能を奏すものである。また、コンピュータ装置２ではクライアントがポータル画面を受信し、無音消去設定画面５６を表示して設定入力するが、音声対応型ネットワークカメラ１の場合、管理者が保守端末から設定を行う。
【００４８】
続いて、本発明の実施例１のネットワークカメラとコンピュータ装置で無データ／無音データの廃棄を行うときのフローを説明する。図７は本発明の実施例１のネットワークカメラとコンピュータ装置で無データ及び無音データの廃棄を行うときのフローチャートである。図７において、音声受信バッファ部２３ａに所定量の音声データ（ＰＣＭデータ）が貯まるまで待機し（ｓｔｅｐ１）、これが貯まった時点で受信バッファレベル判定手段２５ｂが無データ／無音と有音の判定を行う（ｓｔｅｐ２）。
【００４９】
受信バッファレベル判定手段２５ｂが無データ／無音の領域の音声データを廃棄し（ｓｔｅｐ３）、有音の領域のスペースを順に詰めて（ｓｔｅｐ４）、音声処理手段２５に入力されて、音声処理手段２５では音声デジタル信号（ＰＡＭ信号）に変換され（ｓｔｅｐ５）、ＤＡ変換部によってアナログ信号としてスピーカ２８から出力する（ｓｔｅｐ６）。
【００５０】
このように実施例１の音声受信バッファ部２３ａは、バッファリングデータ長を変化させ、音声データの貯まる量の大きさに対応してスレッシュレベルを変化させるから、音声通信時のトラフィックの状態に応じて音声処理手段２５の処理量を減らすことができる。無データと無音データが多くても、パケットが遅延しても音声が遅延することがなく、バッファを有効に利用することができ、トラフィック負荷に影響されることがない。
【産業上の利用可能性】
【００５１】
本発明は、音声対応型ネットワークカメラを使って画像送信と音声通信を行うネットワークシステムに適用できる。
【図面の簡単な説明】
【００５２】
【図１】（ａ）本発明の実施例１におけるネットワークカメラの構成図、（ｂ）本発明の実施例１におけるネットワークカメラの制御部内の内部ブロック構成図
【図２】本発明の実施例１におけるコンピュータ装置のブロック構成図
【図３】（ａ）本発明の実施例１におけるコンピュータ装置のポータル画面表示の説明図、（ｂ）（ａ）の無音消去のための設定画面の説明図
【図４】本発明の実施例１におけるコンピュータ装置の音声受信バッファ部のデータ処理の説明図
【図５】本発明の実施例１における音声受信バッファ部のデータ廃棄の説明図
【図６】本発明の実施例１における音声受信バッファ部の無データ及び無音の判定を行うための閾値設定の説明図
【図７】本発明の実施例１のネットワークカメラとコンピュータ装置で無データ及び無音データの廃棄を行うときのフローチャート
【図８】従来の音声通信のための画像の一覧表示の説明図
【符号の説明】
【００５３】
１ 音声対応型ネットワークカメラ
２ コンピュータ装置
３ ネットワーク
１０ カメラ
１０ａ カメラ制御部
１０ｂ パンモータ
１０ｃ チルトモータ
１０ｄ リニアアクチュエータ
１１ コーディック部
１２ 画像処理部
１３ 通信制御部
１４ 音声受信処理部
１４ａ ＤＡ変換部
１５ 音声送信処理部
１５ａ ＡＤ変換部
１６ バッファ部
１６ａ 画像バッファ部
１６ｂ 音声送信バッファ部
１６ｃ 音声受信バッファ部
１７，２７ マイク
１７ａ，２７ａ 音声入力調整回路
１８，２８ スピーカ
１８ａ，２８ａ 音声出力調整回路
１９ 制御部
１９ａ 通信実行手段
１９ｂ 画面表示用情報生成手段
１９ｃ フラグ
１９ｄ ファイル転送手段
１９ｅ バッファ制御手段
１９ｆ 受信バッファレベル判定手段
１９ｇ タイマ手段
１９ｈ 設定手段
２０，２３ 記憶部
２０ａ 画面表示用情報記憶部
２０ｂ 送信ファイル記憶部
２０ｃ 画像記憶部
２１ 通信制御部
２２ 制御演算部
２３ａ 音声受信バッファ部
２４ ブラウザ手段
２５ 音声処理手段
２５ａ バッファ制御手段
２５ｂ 受信バッファレベル判定手段
２５ｃ タイマ手段
２５ｄ 表示用情報生成部
２５ｅ 設定手段
２６ 端末側通信処理手段
２９ 表示部
３０ モニタ
５１ 画像域
５２ コントロールバー
５２ａ 方向制御ボタン
５２ｂ ズーム調節バー
５３ 音声送信ボタン
５４ 音声受信ボタン
５５ 音量調整バー
５６ 無音消去設定画面
５７ 設定ボックス
【特許請求の範囲】
【請求項１】
ネットワークを介して音声データを受信すると、該音声データを音声受信バッファ部に一時的に貯めて、該音声受信バッファ部から出力される音声データを音声処理手段でデコードし、ＤＡ変換後に音声出力する端末であって、前記音声受信バッファ部への音声データの入出力制御を行うバッファ制御手段と、前記音声受信バッファ部内の音声データが一定時間継続して所定の波高値以下の場合に無データまたは無音と判定し該波高値を越えた場合に有音と判定する受信バッファレベル判定手段とを備え、前記バッファ制御手段が無データまたは無音と判定された音声データを廃棄し、残りの音声データの間を詰めて前記音声処理手段へ出力することを特徴とする端末。
【請求項２】
ネットワークを介してネットワークカメラで撮像した画像を受信するとともに、該ネットワークカメラと音声通信し、前記ネットワークカメラから送信される音声データを受信することを特徴とする請求項１記載の端末。
【請求項３】
前記音声受信バッファ部内に所定のデータ量が貯まると、前記受信バッファレベル判定手段が前記波高値による判定を行い、前記バッファ制御手段が該判定によって無データまたは無音と判定された音声データを廃棄することを特徴とする請求項１または２に記載された端末。
【請求項４】
前記所定の波高値が、有音から無データまたは無音に移行するときの第1の閾値と、無データまたは無音から有音に移行するときの第２の閾値とから構成されたことを特徴とすることを特徴とする請求項１〜３のいずれかに記載された端末。
【請求項５】
ネットワークを介して音声通信可能な端末にカメラで撮像した画像を送信するとともに、前記端末に対して音声データを送信し、該端末から音声データを受信すると、該音声データを音声受信バッファ部に一時的に貯めて、該音声受信バッファ部から出力される音声データを音声受信処理部デコードし、ＤＡ変換後に音声出力するネットワークカメラであって、前記音声受信バッファ部への音声データの入出力制御を行うバッファ制御手段と、前記音声受信バッファ部内の音声データが一定時間継続して所定の波高値以下の場合に無データまたは無音と判定し該波高値を越えた場合に有音と判定する受信バッファレベル判定手段とを備え、前記バッファ制御手段が無データまたは無音と判定された音声データを廃棄し、残りの音声データの間を詰めて前記音声受信処理部へ出力することを特徴とするネットワークカメラ。
【請求項６】
コンピュータを、音声受信バッファ部内の音声データが一定時間継続して所定の波高値以下の場合に無データまたは無音と判定し該波高値を越えた場合に有音と判定する受信バッファレベル判定手段と、前記音声受信バッファ部への音声データの入出力制御を行い、前記受信バッファレベル判定手段が無データまたは無音と判定した音声データを前記バッファ制御手段が廃棄し、残りの音声データの間を詰めて前記音声処理手段へ出力するバッファ制御手段と、して機能させるプログラム。
【請求項７】
前記音声受信バッファ部内に所定のデータ量が貯まると、前記受信バッファレベル判定手段が前記波高値による判定を行い、前記バッファ制御手段が該判定によって無データまたは無音と判定された音声データを廃棄することを特徴とする請求項６記載のプログラム。
【請求項８】
前記所定の波高値が、有音から無データまたは無音に移行するときの第1の閾値と、無データまたは無音から有音に移行するときの第２の閾値とから構成されたことを特徴とする請求項６または７に記載されたプログラム。
【請求項９】
前記所定の波高値が、有音から無データまたは無音に移行するときの第1の閾値と、無デ
ータまたは無音から有音に移行するときの第２の閾値をバッファに蓄積されたデータ長に応じて動的に変化させ、多くのデータが蓄積されたときには無音に移行しやすい閾値、少ないデータが蓄積された状態では有音に移行し易い閾値となるよう制御することを特徴とする請求項６または７に記載されたプログラム。
【請求項１０】
カメラで撮像した画像を送信するとともに音声通信可能なネットワークカメラと、請求項１〜４のいずれかに記載の端末とから構成されるネットワークシステムであって、前記端末の受信バッファレベル判定手段が無データまたは無音と判定した音声データをバッファ制御手段が廃棄し、残りの音声データを順に詰めて音声受信処理部へ出力することを特徴とするネットワークシステム。
【請求項１】
ネットワークを介して音声データを受信すると、該音声データを音声受信バッファ部に一時的に貯めて、該音声受信バッファ部から出力される音声データを音声処理手段でデコードし、ＤＡ変換後に音声出力する端末であって、前記音声受信バッファ部への音声データの入出力制御を行うバッファ制御手段と、前記音声受信バッファ部内の音声データが一定時間継続して所定の波高値以下の場合に無データまたは無音と判定し該波高値を越えた場合に有音と判定する受信バッファレベル判定手段とを備え、前記バッファ制御手段が無データまたは無音と判定された音声データを廃棄し、残りの音声データの間を詰めて前記音声処理手段へ出力することを特徴とする端末。
【請求項２】
ネットワークを介してネットワークカメラで撮像した画像を受信するとともに、該ネットワークカメラと音声通信し、前記ネットワークカメラから送信される音声データを受信することを特徴とする請求項１記載の端末。
【請求項３】
前記音声受信バッファ部内に所定のデータ量が貯まると、前記受信バッファレベル判定手段が前記波高値による判定を行い、前記バッファ制御手段が該判定によって無データまたは無音と判定された音声データを廃棄することを特徴とする請求項１または２に記載された端末。
【請求項４】
前記所定の波高値が、有音から無データまたは無音に移行するときの第1の閾値と、無データまたは無音から有音に移行するときの第２の閾値とから構成されたことを特徴とすることを特徴とする請求項１〜３のいずれかに記載された端末。
【請求項５】
ネットワークを介して音声通信可能な端末にカメラで撮像した画像を送信するとともに、前記端末に対して音声データを送信し、該端末から音声データを受信すると、該音声データを音声受信バッファ部に一時的に貯めて、該音声受信バッファ部から出力される音声データを音声受信処理部デコードし、ＤＡ変換後に音声出力するネットワークカメラであって、前記音声受信バッファ部への音声データの入出力制御を行うバッファ制御手段と、前記音声受信バッファ部内の音声データが一定時間継続して所定の波高値以下の場合に無データまたは無音と判定し該波高値を越えた場合に有音と判定する受信バッファレベル判定手段とを備え、前記バッファ制御手段が無データまたは無音と判定された音声データを廃棄し、残りの音声データの間を詰めて前記音声受信処理部へ出力することを特徴とするネットワークカメラ。
【請求項６】
コンピュータを、音声受信バッファ部内の音声データが一定時間継続して所定の波高値以下の場合に無データまたは無音と判定し該波高値を越えた場合に有音と判定する受信バッファレベル判定手段と、前記音声受信バッファ部への音声データの入出力制御を行い、前記受信バッファレベル判定手段が無データまたは無音と判定した音声データを前記バッファ制御手段が廃棄し、残りの音声データの間を詰めて前記音声処理手段へ出力するバッファ制御手段と、して機能させるプログラム。
【請求項７】
前記音声受信バッファ部内に所定のデータ量が貯まると、前記受信バッファレベル判定手段が前記波高値による判定を行い、前記バッファ制御手段が該判定によって無データまたは無音と判定された音声データを廃棄することを特徴とする請求項６記載のプログラム。
【請求項８】
前記所定の波高値が、有音から無データまたは無音に移行するときの第1の閾値と、無データまたは無音から有音に移行するときの第２の閾値とから構成されたことを特徴とする請求項６または７に記載されたプログラム。
【請求項９】
前記所定の波高値が、有音から無データまたは無音に移行するときの第1の閾値と、無デ
ータまたは無音から有音に移行するときの第２の閾値をバッファに蓄積されたデータ長に応じて動的に変化させ、多くのデータが蓄積されたときには無音に移行しやすい閾値、少ないデータが蓄積された状態では有音に移行し易い閾値となるよう制御することを特徴とする請求項６または７に記載されたプログラム。
【請求項１０】
カメラで撮像した画像を送信するとともに音声通信可能なネットワークカメラと、請求項１〜４のいずれかに記載の端末とから構成されるネットワークシステムであって、前記端末の受信バッファレベル判定手段が無データまたは無音と判定した音声データをバッファ制御手段が廃棄し、残りの音声データを順に詰めて音声受信処理部へ出力することを特徴とするネットワークシステム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２００６−１４１５０（Ｐ２００６−１４１５０Ａ）
【公開日】平成１８年１月１２日（２００６．１．１２）
【国際特許分類】
【出願番号】特願２００４−１９１１４８（Ｐ２００４−１９１１４８）
【出願日】平成１６年６月２９日（２００４．６．２９）
【出願人】（０００００５８２１）松下電器産業株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成１８年１月１２日（２００６．１．１２）
【国際特許分類】
【出願日】平成１６年６月２９日（２００４．６．２９）
【出願人】（０００００５８２１）松下電器産業株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]