画像通信システム
【課題】歪み補正をカメラ側で行う必要がなく、画質が良好であり、通信データ量を低減できるという効果を有する画像通信システムを提供する。
【解決手段】カメラ３は、超広角レンズ３１を用いて撮像画像を生成する撮像部３３と、撮像画像から注目領域を切り出すと共に、注目領域を含む背景領域よりも広い拡張領域を切り出す領域切出部３５を備える。拡張領域を、注目領域と比べて大きな更新間隔をあけて端末装置５に送信される。端末装置５は、受信した拡張領域を記憶する拡張領域記憶部５９と、拡張領域から注目領域を含むように背景領域を切り出し、注目領域と背景領域を合成する画像合成部５７と、超広角レンズ３１を用いた撮影により生じた歪みを補正する歪み補正部６１とを有する。拡張領域が受信されるたびに、拡張領域記憶部５９の拡張領域が更新される。
【解決手段】カメラ３は、超広角レンズ３１を用いて撮像画像を生成する撮像部３３と、撮像画像から注目領域を切り出すと共に、注目領域を含む背景領域よりも広い拡張領域を切り出す領域切出部３５を備える。拡張領域を、注目領域と比べて大きな更新間隔をあけて端末装置５に送信される。端末装置５は、受信した拡張領域を記憶する拡張領域記憶部５９と、拡張領域から注目領域を含むように背景領域を切り出し、注目領域と背景領域を合成する画像合成部５７と、超広角レンズ３１を用いた撮影により生じた歪みを補正する歪み補正部６１とを有する。拡張領域が受信されるたびに、拡張領域記憶部５９の拡張領域が更新される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、広角レンズを備えた撮像装置と、撮像装置から画像を受信する画像受信装置とを備えた画像通信システムに関する。
【背景技術】
【０００２】
従来、超広角レンズ又は魚眼レンズを利用してパンチルトズーム機能を擬似的に提供する画像通信システムが提案されている。この種のシステムでは、カメラが、超広角レンズ等を備えており、画角が大きい画像を生成する。例えば、画角が１８０°近い画像が生成される。但し、撮像画像は歪んだものとなる。ユーザの指定等に従って、撮像画像から一部の領域が切り出され、歪みが補正され、そして補正後の領域画像が表示される。
【０００３】
実際にパンチルト機構を備えたシステムの場合、所望の撮影方向を向くようにパンチルト機構がカメラを回動させる。上記の広角レンズを備えたシステムでは、撮影方向に対応する領域が撮像画像から切り出される。これにより、実際にカメラが回動しないにも拘わらず、ユーザにとってはカメラが回動して所望の方向を撮影しているように見える。さらに、画像処理によって画像を拡大縮小することにより、ズーム効果が得られる。こうして、擬似的にパンチルトズーム機能を提供することができる。
【０００４】
超広角レンズや魚眼レンズを用いる画像通信システムは、例えば、特許文献１に開示されている。この従来技術では、カメラがサーバに備えられ、端末装置がクライアントに備えられる。
【０００５】
特許文献１には２種類の構成が開示されている。第１の構成では、カメラ側で、撮像画像の歪みが補正され、一部の領域が切り出される。そして、補正後の領域画像が符号化され、符号化データがネットワーク経由で送信される。端末装置は、符号化データを受信し、復号して、画像データを得る。そして、画像がモニタ等に表示される。
【０００６】
特許文献１の第２の構成では、切出と歪み補正が端末装置（クライアント）側で行われる。すなわち、カメラは、撮像画像をリサイズ（縮小）及び符号化し、符号化データをネットワーク経由で送信する。端末装置は、符号化データを受信し、復号して、画像データを得る。そして、端末装置は、画像の歪み補正を行い、必要な領域を切り出し、表示する。
【０００７】
上記のように、超広角レンズや魚眼レンズを備えたシステムでは、歪み補正が必要である。歪み補正処理については、例えば、特許文献２に開示されている。
【特許文献１】特開２００６−１４８７６７号公報
【特許文献２】特許第３０５１１７３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、従来の画像通信システムでは、歪み補正に多大な演算量が必要である。そのため、カメラ側で切出し及び歪み補正を行う構成については、消費電力やコストの観点から、小型カメラなどで実現することは困難であるという問題があった。
【０００９】
また、切出し及び歪み補正を端末装置側で行う構成においては、撮像画像をリサイズして符号化している。そのため、リサイズ及び符号化により画質が劣化するという問題もあった。
【００１０】
また、背景が変化しない場所にカメラが設置され、そして、特定の人物等の動きに合わせて切出領域が決定されることがある。このような用途においては、切出領域の画像が、変化の無い背景領域を人物の周囲に含む。そのため、通信データ量が多く、ネットワーク帯域が無駄に消費されるという問題があった。
【００１１】
本発明は、従来の問題を解決するためになされたもので、その目的は、歪み補正をカメラ側で行う必要がなく、画質が良好であり、通信データ量を低減できる画像通信システムを提供することにある。
【課題を解決するための手段】
【００１２】
本発明の画像通信システムは、撮像装置と、前記撮像装置から画像を受信する画像受信装置とを備えた画像通信システムであって、前記撮像装置は、広角レンズを用いて撮像画像を生成する撮像部と、前記撮像画像から注目領域を切り出すと共に、前記注目領域を含む背景領域よりも更に広く設定された拡張領域を切り出す領域切出部とを有し、前記拡張領域を、前記注目領域と比べて大きな更新間隔をあけて前記画像受信装置に送信し、前記画像受信装置は、受信した前記拡張領域を記憶する拡張領域記憶部と、前記拡張領域から前記注目領域を含むように前記背景領域を切り出し、前記注目領域と前記背景領域を合成する画像合成部と、前記広角レンズを用いた撮影により生じた歪みを補正する歪み補正部とを有し、前記拡張領域が受信されるたびに、前記拡張領域記憶部の前記拡張領域を更新する。
【００１３】
この構成により、撮像装置が注目領域の画像と拡張領域の画像を切り出し、画像受信装置に提供する。拡張領域は、注目領域を含む背景領域より更に広い領域である。拡張領域は、注目領域よりも大きな更新間隔をあけて提供され、画像受信装置に記憶される。画像受信装置は、記憶している拡張領域から背景領域を切り出し、背景領域と注目領域とを合成する。拡張領域が背景領域よりも広いので、注目領域が動いても拡張領域から背景領域を切り出すことができる。したがって、順次提供される複数の注目領域のために、拡張領域を繰り返し利用できる。本発明によれば、切出処理が撮像装置側で行われ、歪み補正が画像受信装置で行われる。したがって、歪み補正の多大な処理を撮像装置で行う必要がない。また、撮像画像全体を送るためのリサイズが不要であり、リサイズによる画質の低下を避けられる。また、拡張領域が繰り返し利用可能であり、拡張領域の更新間隔が注目領域よりも大きくてよいので、通信データ量が少なくなる。こうして、歪み補正をカメラ側で行う必要がなく、画質が良好であり、通信データ量を低減できる画像通信システムを提供することができる。
【００１４】
また、本発明の別の態様は撮像装置であり、この撮像装置は、広角レンズを用いて撮像画像を生成する撮像部と、前記撮像画像から注目領域を切り出すと共に、前記注目領域を含む背景領域よりも更に広く設定された拡張領域を切り出す領域切出部と、前記注目領域を送信すると共に、前記拡張領域を、前記注目領域と合成されるべき前記背景領域の切出元のデータとして送信する通信部とを有し、前記拡張領域を、前記注目領域と比べて大きな更新間隔をあけて送信する。この構成によっても上述の本発明の利点が得られる。
【００１５】
また、本発明の撮像装置において、前記領域切出部は、前記注目領域の移動方向に応じて前記拡張領域の切出位置を決定する。
【００１６】
この構成により、注目領域が移動した場合でも、背景領域がより確実に拡張領域に含まれる。したがって、背景領域をより精度良く切り出すことができる。また、拡張領域の提供の間隔を増大できる。
【００１７】
また、本発明の撮像装置において、前記領域切出部は、前記注目領域の移動速度に応じて前記拡張領域の前記切出位置を決定する。
【００１８】
この構成により、注目領域が移動した場合でも、背景領域がより確実に拡張領域に含まれる。したがって、背景領域をより精度良く切り出すことができる。また、拡張領域の提供の間隔を増大できる。
【００１９】
また、本発明の撮像装置において、前記領域切出部は、前記注目領域の移動速度に応じて前記拡張領域の更新間隔を変更する。
【００２０】
この構成により、注目領域の移動速度が速い場合には更新間隔が短縮される。したがって、注目領域が速く移動する場合にも、拡張領域から背景領域をより確実に切り出すことができる。
【００２１】
また、本発明の撮像装置において、前記領域切出部は、前記拡張領域の動き量に応じて、前記拡張領域の更新間隔を変更する。
【００２２】
この構成により、拡張領域の動き量に応じて、拡張領域の更新間隔が変更される。これにより、背景部分に変化が生じたときに、拡張領域を速やかに更新できる。
【００２３】
また、本発明の撮像装置は、前記注目領域の画像及び前記拡張領域の画像を符号化する符号化部を有し、前記拡張領域よりも前記注目領域に優先的に符号量を割り当てる。
【００２４】
この構成により、注目領域の高画質を維持しつつ、全体の符号量を低減でき、したがって、通信データ量を更に低減できる。
【００２５】
また、本発明の別の態様は画像受信装置であり、広角レンズを用いて得られた撮像画像の注目領域および拡張領域を異なる更新間隔で受信する通信部と、前記拡張領域を記憶する拡張領域記憶部と、前記拡張領域から前記注目領域を含むように背景領域を切り出し、前記注目領域と前記背景領域を合成する画像合成部と、前記広角レンズを用いた撮影により生じた歪みを補正する歪み補正部とを有し、前記拡張領域が受信されるたびに、前記拡張領域記憶部の前記拡張領域を更新する。この構成によっても上述の本発明の利点が得られる。
【００２６】
また、本発明の画像受信装置において、前記画像合成部は、前記背景領域の中心に前記注目領域が位置するように、前記拡張領域から前記背景領域を切り出す。
【００２７】
この構成により、注目領域が背景領域の中央に位置するので、注目領域の視認性を向上できる。
【００２８】
また、本発明の画像受信装置は、前記拡張領域から前記背景領域を切り出せない場合に、前記拡張領域の更新を要求する。
【００２９】
この構成により、注目領域の移動などのために拡張領域から背景領域を切り出せなくなったときに、拡張領域の提供が撮像装置に要求される。したがって、次の拡張領域の受信を待つことなく、新しい拡張領域を受信でき、正しい背景画像を切り出すことができる。
【００３０】
また、本発明の別の態様は画像送信方法であり、この方法は、撮像画像から注目領域と、前記注目領域を含む背景領域よりも更に広く設定される拡張領域を切り出し、前記拡張領域を、前記注目領域と合成されるべき前記背景領域の切出元のデータとして、前記注目領域と比べて大きな更新間隔をあけて送信する。この構成によっても上述の本発明の利点が得られる。
【００３１】
また、本発明の別の態様は画像受信方法であり、撮像画像の注目領域および拡張領域を異なる更新間隔で受信し、受信した前記拡張領域から前記注目領域を含むように背景領域を切り出し、前記注目領域と前記背景領域を合成し、合成した画像の歪みを補正する。この構成によっても上述の本発明の利点が得られる。
【発明の効果】
【００３２】
本発明は、上記のように注目領域と拡張領域を通信及び合成する構成を設けることにより、歪み補正をカメラ側で行う必要がなく、画質が良好であり、通信データ量を低減できるという効果を有する画像通信システムを提供することができる。
【発明を実施するための最良の形態】
【００３３】
以下、本発明の実施の形態の画像通信システムについて、図面を用いて説明する。
【００３４】
本発明の実施の形態に係る画像通信システムを図１に示す。まず、図１を参照し、本実施の形態の概要を説明する。図１において、画像通信システム１は、カメラ３と端末装置５とがネットワーク７を介して通信可能に接続された構成を有する。カメラ３及び端末装置５はそれぞれ本発明の撮像装置及び画像受信装置に相当する。またネットワーク７は例えばＩＰネットワークである。カメラ３は、ネットワーク７を介して画像を通信する機能を有するので、ネットワークカメラとも呼ばれる。
【００３５】
カメラ３には、超広角レンズ又は魚眼レンズが備えられる。超広角レンズ又は魚眼レンズは、本発明の広角レンズに相当し、画角（視野）が非常に大きく、ただし、大きな画角に起因して画像の歪みも大きいレンズである。以下の説明では、カメラ３が超広角レンズを備えるものとする。カメラ３は、超広角レンズを用いて、画角が１８０°に近く、半球に相当する範囲の撮像画像１１を生成する。カメラ３は、撮像画像１１の一部を切り出して領域画像１３を生成し、領域画像１３を符号化し、ネットワーク７を介して端末装置５に伝送する。端末装置５では、領域画像１３が復号され、歪みが補正され、補正画像１５が得られる。補正画像１５は例えばモニタに表示される。
【００３６】
上記の画像通信システム１は、パンチルトズーム機能を実現する。通常のパンチルトズーム機構では、パンチルト機構により機械的にカメラが回動される。そして、ズームレンズによりズーム機能が実現される。一方、図１の構成では、撮像画像１１から領域画像１３が切り出される。これにより、領域画像１３に対応する方向にカメラ３が回動したのと同様の効果が得られる。また、領域画像１３をより小さく切出し、補正画像を拡大表示することでズームイン表示可能であり、逆に、領域画像１３をより大きく切出し、補正画像を縮小表示することでズームアウト表示可能であり、ズームレンズと同様の効果が得られる。こうして、機械的なパンチルト機構及びズームレンズが備えられていなくても、パンチルトズーム機能を実現できる。このようなパンチルトズーム機能は、ソフトウエアパンチルトズーム（ソフトウエアＰＴＺ）と呼ばれる。
【００３７】
次に、図２を参照し、画像通信システム１における切出し領域について説明する。図２に示されるように、本実施の形態では、撮像画像空間および補正画像空間という２つの空間が定義される。撮像画像空間は、超広角レンズを用いて得られた歪んだ画像の空間である。これに対して、補正画像空間は、歪みが補正された画像の空間である。
【００３８】
図２に示されるように、本実施の形態では、注目領域２１、背景領域２３、拡張領域２５といった３つの領域が用いられる。
【００３９】
注目領域２１は、注目される被写体が写った領域である。被写体は例えば人物である。注目領域２１は、ユーザからの指示により決定されてもよく、また、動き検出等の画像認識による検出結果を基に決定されてもよい。本実施の形態では、後者の画像認識結果が用いられる。動き検出は周知の技術によって行われる。そして、所定レベル以上の動きが検出された領域が、注目領域２１に設定される。以下の説明では、注目領域２１の画像を、単に注目領域２１という（下記の背景領域２３、拡張領域２５についても同様である）。
【００４０】
背景領域２３は、注目領域２１を含んだ領域である。背景領域２３は、端末装置５にて表示される画像に対応する領域である。
【００４１】
拡張領域２５は、背景領域２３よりも広く設定される。背景領域２３よりも所定量だけ拡張領域２５が広く設定される。所定量は、例えば、面積比率または面積差でもよく、また、長さ（縦、横等）の比率または差でもよい。例えば、背景領域２３の面積をＸとすると、拡張領域２５の面積がαＸに設定される。αは、１以上の係数であり、例えば「２」である。
【００４２】
カメラ３は、上記の３つの領域のうちで、注目領域２１と拡張領域２５を切り出す。これら注目領域２１及び拡張領域２５は、符号化され、端末装置５に伝送される。端末装置５では、拡張領域２５から背景領域２３が切り出される。そして、注目領域２１と背景領域２３が合成され、歪みが補正され、モニタに表示される。
【００４３】
本発明の範囲内で、合成後に歪みが補正されてもよく、また、合成前に歪み補正が行われてもよい。すなわち、注目領域２１と背景領域２３と各々について、歪みが補正され、それから注目領域２１と背景領域２３が合成されてよい。さらに、背景領域２３の切出前に、拡張領域２５の歪みが補正されてもよい。
【００４４】
図３は、注目領域２１及び拡張領域２５の更新間隔を示している。更新間隔とは、カメラ３から端末装置５への画像提供の間隔である。図示のように、本実施の形態では、注目領域２１及び拡張領域２５の更新間隔が異なって設定される。
【００４５】
注目領域２１は、毎フレーム生成され、伝送される。例えば、１秒当たりのフレーム数が３０枚であれば、注目領域２１の更新間隔は、１／３０秒である。これに対して、拡張領域２５の更新間隔は、注目領域２１の更新間隔より広く、数フレームに相当する間隔に設定される。
【００４６】
端末装置５は、上記の注目領域２１及び拡張領域２５の更新間隔の相違に対応して、以下のように機能する。注目領域２１と拡張領域２５が同時に受信された場合、拡張領域２５から背景領域２３が切り出され、背景領域２３が注目領域２１と合成される。また、拡張領域２５は、端末装置５に記憶される。注目領域２１のみが受信された場合、過去に受信された拡張領域２５から背景領域２３が切り出される。そして、注目領域２１と背景領域２３が合成される。
【００４７】
上記においては、拡張領域２５が繰り返し利用可能である。この繰返し利用は、拡張領域２５を背景領域２３よりも広く設定することによって実現されている。拡張領域２５が広いので、注目領域２１が移動しても、拡張領域２５から背景領域２３を切り出すことができる。
【００４８】
上記の画像通信システム１によれば、切出処理がカメラ３側で行われ、歪み補正が端末装置５で行われる。したがって、歪み補正の多大な処理をカメラ３で行う必要がない。また、撮像画像全体を送るためのリサイズが不要であり、リサイズによる画質の低下を避けられる。また、拡張領域２５が繰り返し利用可能であり、拡張領域２５の更新間隔が注目領域２１よりも大きくてよいので、通信データ量が少なくなる。こうして、歪み補正をカメラ側で行う必要がなく、画質が良好であり、通信データ量を低減できる画像通信システム１を提供することができる。
【００４９】
以上に本実施の形態に係る画像通信システム１の概要を説明した。次に、画像通信システム１の構成をより詳細に説明する。
【００５０】
図４は、カメラ３の構成を示している。カメラ３は、超広角レンズ３１、撮像部３３、領域切出部３５、映像符号化部３７、ネットワーク送受信部３９及び画像認識部４１で構成されており、領域切出部３５は注目領域切出部４３及び拡張領域切出部４５を含む。
【００５１】
撮像部３３は、ＣＣＤ又はＣＭＯＳ等の固体撮像素子を有し、超広角レンズ３１によって得られる光学像から電気的な画像信号を生成する。領域切出部３５は、撮像部３３により生成された撮像画像１１から注目領域２１及び拡張領域２５を切り出す。注目領域２１及び拡張領域２５は、それぞれ、注目領域切出部４３及び拡張領域切出部４５により切り出される。
【００５２】
本実施の形態では、後述にて詳細に説明するように、端末装置５からカメラ３に背景領域２３が指示される。また、画像認識部４１が、撮像画像１１の動き検出を行う。領域切出部３５は、端末装置５からの背景領域２３の指示と、動き検出結果を用いて、注目領域２１及び拡張領域２５を切り出す。
【００５３】
すなわち、領域切出部３５は、動き検出結果を基に、背景領域２３の中で動く領域を特定する。この動く領域が、注目領域２１として切り出される。また、領域切出部３５は、背景領域２３を包含するように、背景領域２３より広い拡張領域２５を切り出す。
【００５４】
また、領域切出部３５は、注目領域２１及び拡張領域２５の更新間隔に応じた頻度で切出処理を行う。注目領域２１の更新間隔は、撮像部３３のフレーム間隔と等しい。したがって、注目領域２１は、毎フレームの撮像画像１１から切り出される。拡張領域２５の更新間隔は、所定数のフレームに相当する。したがって、所定数に一枚の撮像画像１１から拡張領域２５が切り出される。
【００５５】
映像符号化部３７は、領域切出部３５によって切り出された注目領域２１及び拡張領域２５を符号化する。
【００５６】
ネットワーク送受信部３９は、ネットワーク７を介して端末装置５とデータを送受信する構成であり、通信部に相当する。ネットワーク送受信部３９は、端末装置５から各種の指示を受信する。また、ネットワーク送受信部３９は、映像符号化部３７で符号化された注目領域２１及び拡張領域２５を端末装置５へ送信する。
【００５７】
図５は、端末装置５の構成を示している。ネットワーク送受信部５１は、カメラ３のネットワーク送受信部３９と同様に通信部であり、ネットワーク７を介して端末装置５とデータを送受信する。ネットワーク送受信部５１は、ユーザの指示や、その他の制御関連の指示をカメラ３に送信する。また、ネットワーク送受信部５１は、カメラ３から注目領域２１及び拡張領域２５を受信する。
【００５８】
映像復号部５３は、ネットワーク送受信部５１により受信された注目領域２１及び拡張領域２５を復号する。
【００５９】
背景領域制御部５５は、背景領域２３に関連する各種の処理を行う。背景領域制御部５５は、ユーザ指示入力部６５から背景領域２３の指示を受け付け、ネットワーク送受信部５１を介してカメラ３への背景領域２３の指示を供給する。
【００６０】
また、拡張領域２５がネットワーク送受信部５１により受信されたとき、背景領域制御部５５は、画像合成部５７を制御して、拡張領域２５を更新する処理を行わせる。画像合成部５７は、背景領域制御部５５からの指示に従い、拡張領域記憶部５９に記憶された拡張領域２５を更新する。拡張領域記憶部５９は、端末装置５の記憶装置で構成される。
【００６１】
また、背景領域制御部５５は、画像合成部５７を制御して、拡張領域２５から背景領域２３を切り出す処理と、背景領域２３と注目領域２１を合成する処理を行わせる。この制御において、背景領域制御部５５は、拡張領域２５からの背景領域２３の切出位置を指示する。本実施の形態では、背景領域２３の中心が注目領域２１と一致するように、背景領域２３の切出位置が設定される。したがって、注目領域２１の動きに合わせて背景領域２３の切出位置が変化する。
【００６２】
歪み補正部６１は、画像合成部５７により生成された注目領域２１と背景領域２３の合成画像の歪みを補正する。ここでは、超広角レンズ３１を用いることにより生じた歪みが補正される。
【００６３】
表示部６３は、モニタであり、歪み補正後の画像を表示する。また、ユーザ指示入力部６５は、キーボード、ポインティングデバイス等により実現され、ユーザの指示を入力する。本実施の形態では、モニタの表示を利用して、背景領域２３の位置と大きさが指定される。
【００６４】
以上に、画像通信システム１の各部の構成を説明した。次に、画像通信システム１の全体的な動作を説明する。
【００６５】
ユーザ指示入力部６５に対して背景領域２３の位置及び大きさが入力されたとする。背景領域２３の指示は背景領域制御部５５に供給され、背景領域制御部５５は、ネットワーク送受信部５１を介して背景領域２３の指示をカメラ３へ送信する。背景領域２３の指示は、カメラ３のネットワーク送受信部３９に受信され、領域切出部３５に供給される。
【００６６】
カメラ３では、撮像部３３が、超広角レンズ３１を用いて撮像画像１１を生成し、領域切出部３５及び画像認識部４１に供給する。画像認識部４１は、撮像画像１１の動き検出処理を行い、検出結果を領域切出部３５に供給する。
【００６７】
領域切出部３５では、注目領域切出部４３が撮像画像１１から注目領域２１を切り出し、拡張領域切出部４５が撮像画像１１から拡張領域２５を切り出す。注目領域２１は、背景領域２３内の動く領域である。一旦、注目領域２１が特定されると、以降のフレームでは、動き検出結果に基づき注目領域２１が追跡されてよい。また、拡張領域２５は、前述したように、ユーザにより指定された背景領域２３を包含するように切り出される。注目領域２１は、毎フレームから切り出され、拡張領域２５は、所定数に１枚のフレームから切り出される。
【００６８】
注目領域２１及び拡張領域２５は、領域切出部３５から映像符号化部３７に供給され、映像符号化部３７により符号化される。符号化データがネットワーク送受信部３９に供給され、ネットワーク７を介して端末装置５に送信される。
【００６９】
端末装置５では、ネットワーク送受信部５１がネットワーク７から符号化データを受信する。上述のように、注目領域２１は全フレームから切り出され、拡張領域２５は所定数に１枚のフレームから切り出される。したがって、１つの拡張領域２５のデータに対して、複数の注目領域２１のデータが受信される。
【００７０】
注目領域２１及び拡張領域２５は、映像復号部５３で復号され、背景領域制御部５５に供給される。
【００７１】
背景領域制御部５５は、拡張領域２５のデータを画像合成部５７に供給し、拡張領域２５を更新するように指示する。この指示に応え、画像合成部５７は、拡張領域記憶部５９に記憶された拡張領域２５を書き換える。
【００７２】
また、背景領域制御部５５は、順次得られる注目領域２１を画像合成部５７に供給する。更に、背景領域制御部５５は、背景領域２３が注目領域２１を包含するように、画像合成部５７に拡張領域２５から背景領域２３を切り出させる。各々の注目領域２１のために、同じ拡張領域２５から背景領域２３が切り出される。そして、画像合成部５７は、切り出した各々の背景領域２３を、対応する注目領域２１と合成する。
【００７３】
ここで、注目領域２１は、動き検出により特定された動く領域であり、したがって、注目領域２１の位置はフレーム毎に変化する。そのため、注目領域２１の移動に応じて、背景領域２３の切出位置もフレーム毎に変化する必要がある。この処理は、以下のようにして実現される。
【００７４】
カメラ３から端末装置５へは、注目領域２１の座標情報（撮像画像空間上）及び拡張領域２５の座標情報（撮像画像空間上）が、それら領域の画像信号と共に送信される。座標情報は、例えば領域の４頂点の座標のデータであり、領域の位置及び範囲を特定する（座標情報の代わりに、領域位置を特定可能な他のデータが用いられてもよい）。座標情報はネットワーク送受信部５１、映像復号部５３を介して画像合成部５７に取得される。背景領域制御部５５は、座標情報を利用して、注目領域２１が背景領域２３に包含されるように、背景領域２３の切出位置を決定する。
【００７５】
特に、本実施の形態では、歪み補正後に注目領域２１が背景領域２３の中央に位置するように、背景領域２３を切り出すことが好適であり、注目領域２１の視認性を向上できる。そこで、歪み補正を考慮し、注目領域２１の中心と背景領域２３の位置が一致するように切出位置が決定される。
【００７６】
背景領域制御部５５は、注目領域２１の画像と共に、背景領域２３の切出位置を画像合成部５７に供給する。画像合成部５７は、背景領域制御部５５の指示に従って、拡張領域記憶部５９の拡張領域２５から背景領域２３を切り出す。
【００７７】
画像合成部５７は、上記のようにして切り出した背景領域２３を、注目領域２１と合成する。合成画像は歪み補正部６１に供給され、歪みが補正される。補正後の合成画像が、表示部６３に供給され、表示される。
【００７８】
上記の動作により、端末装置５では、新しい拡張領域２５が受信されるまで、背景領域２３の切出位置を変えながら、同じ拡張領域２５が繰り返し利用される。拡張領域２５が背景領域２３より広いので、注目領域２１が動いても拡張領域２５を使い続けられる。新しい拡張領域２５が受信されると、拡張領域記憶部５９の拡張領域２５が更新される。
【００７９】
次に、カメラ３の領域切出部３５における拡張領域２５の切出位置の設定について更に詳細に説明する。拡張領域２５の切出位置は、注目領域２１が拡張領域２５の中央に位置するように設定されてよい。しかし、より好ましくは、注目領域２１の移動方向及び移動速度に基づいて拡張領域２５の切出位置が調整される。
【００８０】
注目領域２１の移動方向及び移動速度は、画像認識部４１の動き検出結果から得られる。移動速度は、注目領域２１を構成するブロックの平均移動量でよい（ここでブロックは、符号化の基本単位であるマクロブロックとするのが好適である）。領域切出部３５は、拡張領域２５の切出位置の中心を、注目領域２１の中心から、注目領域２１の移動方向へとずらす。領域切出部３５は、注目領域２１の移動速度が大きいほど、切出位置のずれ量を増大させる。例えば、移動速度から、拡張領域２５の更新間隔における注目領域２１の移動量が求められる。この移動量が「Ｌ」であれば、切出位置の中心を同方向に「Ｌ」だけずらす。
【００８１】
このように注目領域２１を設定することにより、注目領域２１が移動した場合でも、背景領域２３がより確実に拡張領域２５に含まれる。したがって、背景領域２３をより精度良く切り出すことができる。また、拡張領域２５の更新間隔を増大できる。
【００８２】
次に、拡張領域２５の更新間隔の設定について更に説明する。拡張領域２５の更新間隔は、所定数のフレームに相当する。この更新間隔は固定されていてもよい。しかし、より好ましくは、注目領域２１の移動速度に応じて更新間隔が変更される。
【００８３】
注目領域２１の移動速度は上述のように画像認識部４１の動き検出結果から得られる。領域切出部３５は、移動速度が小さいほど更新間隔を大きくし、移動速度が大きいほど更新間隔を小さくする。すなわち、移動速度が小さいほど更新頻度が小さくなり、移動速度が大きいほど更新頻度が大きくなる。
【００８４】
このような設定により、以下の利点が得られる。注目領域２１の移動速度が小さいときは、時間が経過しても、注目領域２１が拡張領域２５の外に出にくい。これは、拡張領域２５をより長く使い続けられることを意味する。そこで、更新間隔が大きく設定され、通信データ量が低減される。一方、注目領域２１の移動速度が大きいときは、注目領域２１が短時間で拡張領域２５の外に出る。そこで、更新間隔が小さく設定され、注目領域２１がより確実に拡張領域２５内に含まれるように図られる。こうして、通信データ量を抑えつつ、より確実に背景領域２３を拡張領域２５から切り出すことができる。
【００８５】
また、拡張領域２５の更新間隔は、更に、拡張領域２５の動き量に応じて設定されてよい。拡張領域２５の動き量も、画像認識部４１の画像認識結果から得られる。動き量が大きいほど、更新間隔を小さくする（更新頻度を大きくする）。例えば、拡張領域２５の動き量が、閾値Ｚと比較される。そして、動き量が閾値Ｚを超えていれば、更新間隔が１／２に短縮される。これにより更新頻度は２倍になる。このような処理により、背景部分に変化が生じたときに、拡張領域２５を速やかに更新できる。
【００８６】
次に、本実施の形態の画像通信システム１の詳細な動作について、フローチャートを参照して説明する。
【００８７】
図６及び図７は、端末装置５の背景領域制御部５５の処理を示している。既に説明したように、背景領域制御部５５は、概略的には次の３つの処理を行う。（１）背景領域２３についての指示をユーザ指示入力部６５から入手して端末装置５に送る。（２）拡張領域２５を受信したときに、拡張領域２５の更新を画像合成部５７に指示する。（３）各注目領域２１のための背景領域２３の切出位置を決定し、画像合成部５７に指示する。これらの処理が、図６及び図７により実現される。
【００８８】
背景領域制御部５５は、イベントがあるか否かを判定し（Ｓ１）、イベントがなければステップＳ１の判定を繰り返す。イベントがある場合、そのイベントが終了イベントであるか否かを判定する（Ｓ３）。終了イベントであれば、処理を終了する。
【００８９】
イベントが終了イベントでなければ、背景領域制御部５５は、発生イベントが、ユーザ指示入力部６５からの背景領域指示イベントであるか否かを判定する（Ｓ５）。背景領域指示イベントが発生するのは、ユーザによりユーザ指示入力部６５に背景領域２３の指示が入力されたときである。
【００９０】
ここで、本実施の形態では、既に説明したようにソフトウエアＰＴＺが実現される。そして、ユーザ指示入力部６５は、ＰＴＺ情報（パン方向、チルト方向及びズーム倍率）を入力可能に構成される。このＰＴＺ情報は、表示すべき画像の範囲に対応しており、背景領域２３の指示として入力される。ユーザ指示入力部６５は、パン方向、チルト方向及びズーム倍率を表す任意の情報を入力可能な任意のユーザインターフェースで構成されてよい。
【００９１】
ＰＴＺ情報は、ユーザ指示入力部６５に入力されると、ユーザ指示入力部６５から背景領域制御部５５に供給され、ステップＳ５がＹＥＳになる。そして、背景領域制御部５５は、ＰＴＺ情報により補正画像空間を決定する（Ｓ７）。概念的には、補正画像空間は、パン方向及びチルト方向で特定される撮像方向に対して垂直な面（２次元空間）であり、かつ、ズーム倍率に応じた距離だけ離れている。そして、背景領域制御部５５は、補正画像空間で背景領域２３の位置を決めるための座標を取得する（Ｓ９）。この座標は、例えば、長方形の背景領域２３における４頂点の座標である。ＰＴＺ情報と背景領域２３が１対１で対応するので、ＰＴＺ情報から背景領域２３の座標（補正画像空間上）が求められる。
【００９２】
そして、背景領域制御部５５は、ネットワーク送受信部５１に対して座標情報送信イベントを送信し（Ｓ１１）、ステップＳ１に戻る。座標情報送信イベントは、ステップＳ９で求められた背景領域２３の座標情報（補正画像空間上）を含む。ネットワーク送受信部５１は、背景領域制御部５５からの座標情報送信イベントに応答して、背景領域２３の座標情報をネットワーク７へ送出する。
【００９３】
一方、ステップＳ５のＮＯの場合、背景領域制御部５５は、発生したイベントが映像復号部５３からの処理イベントであるか否かを判定する（Ｓ１３）。ステップＳ１３がＮＯであれば、ステップＳ１に戻る。注目領域２１又は拡張領域２５がネットワーク送受信部５１により受信され、映像復号部５３により復号され、背景領域制御部５５に供給されたとき、ステップＳ１３がＹＥＳになる。そして、背景領域制御部５５は、拡張領域２５の画像が復号されたか否かを判定する（Ｓ１５）。ステップＳ１５がＹＥＳの場合、背景領域制御部５５は、画像合成部５７に対して、拡張領域更新イベントを送信し（Ｓ１７）、ステップＳ１に戻る。拡張領域更新イベントは、拡張領域２５の画像と、拡張領域２５の座標情報（撮像空間上）を含む。座標情報は例えば拡張領域２５の４点の座標であり、拡張領域２５の位置と範囲を特定する。
【００９４】
また、ステップＳ１５がＮＯの場合は、注目領域２１の画像が映像復号部５３で復号されている。背景領域制御部５５は、注目領域２１の画像と、注目領域２１の座標情報（撮像画像空間上）を映像復号部５３から取得する。ここでも、座標情報は注目領域２１の４点の座標であり、注目領域２１の位置と範囲を特定する。そして、背景領域制御部５５は、注目領域２１の座標情報（撮像画像空間上）から補正画像空間を決定する（Ｓ１９）。ここで、撮像画像空間上の座標上から、一意に補正画像空間を決定することは（１対１対応でないため）困難である。例えば、補正画像空間と撮像画像空間の中心までの距離を一定に保つという条件下で、補正画像空間を算出する。前述のステップＳ７で決定される補正画像空間とは別に、注目領域２１から補正画像空間が新たに決定される。
【００９５】
また、背景領域制御部５５は、注目領域２１を合成する位置を、撮像画像空間上で決定する（Ｓ２１）。また、背景領域制御部５５は、注目領域２１の座標情報に基づき、背景領域２３を撮像画像空間座標上で決定する（Ｓ２３）。ここでは、背景領域２３の中央に注目領域２１が位置するように、背景領域２３の座標が決定される。この座標は、拡張領域２５からの背景領域２３の切出位置を表す。前述のユーザ指示よる背景領域２３の座標と別に、注目領域２１に応じて背景領域２３が決定される。そして、背景領域制御部５５は、画像合成部５７に対して画像合成イベントを送信して（Ｓ２５）、ステップＳ１に戻る。画像合成イベントは、注目領域２１の画像と、ステップＳ１９で決定された補正画像空間と、ステップＳ２１で決定された注目領域２１を合成すべき座標（撮像画像空間上）と、ステップＳ２３で決定された背景領域２３の切り出し座標（撮像画像空間上）とを含む。
【００９６】
次に、図８は、端末装置５の画像合成部５７の処理を示している。既に説明したように、画像合成部５７は、概略的には次の２つの処理を行う。（１）新しい拡張領域２５が受信されたときに、拡張領域記憶部５９に保持されている拡張領域２５を更新する。（２）注目領域２１が受信されたときに、拡張領域２５から背景領域２３を切り出し、背景領域２３と注目領域２１を合成する。これらの処理が、図８により実現される。
【００９７】
画像合成部５７は、イベントがあるか否かを判定し（Ｓ３１）、イベントがなければステップＳ３１の判定を繰り返す。イベントがある場合、そのイベントが終了イベントであるか否かを判定する（Ｓ３３）。終了イベントであれば、処理を終了する。
【００９８】
イベントが終了イベントでなければ、画像合成部５７は、発生イベントが、拡張領域更新イベントであるか否かを判定する（Ｓ３５）。図７のステップＳ１７にて背景領域制御部５５が画像合成部５７に拡張領域更新イベントを送信した場合、ステップＳ３５がＹＥＳになる。拡張領域更新イベントは、拡張領域２５の画像及び座標情報（撮像画像空間上）を含む。画像合成部５７は、拡張領域記憶部５９に記憶されている拡張領域２５の画像及び座標情報を書き換え（Ｓ３７）、ステップＳ３１に戻る。
【００９９】
一方、ステップＳ３５がＮＯの場合、画像合成部５７は、発生イベントが画像合成イベントであるか否かを判定する（Ｓ３９）。ステップＳ３９がＮＯであれば、ステップＳ３１に戻る。図７のステップＳ２５にて背景領域制御部５５が画像合成部５７に画像合成イベントを送信した場合、ステップＳ３９がＹＥＳになる。画像合成イベントは、注目領域２１の画像と、補正画像空間と、注目領域２１を合成すべき位置と、背景領域２３の切出座標（撮像画像空間上）の指定とを含む。画像合成部５７は、拡張領域記憶部５９に記憶されている拡張領域２５から、指定された座標（切出位置）で背景領域２３を切り出し（Ｓ４１）、背景領域２３上に、指定された座標で注目領域２１を合成し（Ｓ４３）、ステップＳ３１に戻る。合成画像は、画像合成部５７から歪み補正部６１に供給されて、歪み補正にかけられ、表示部６３に表示される。
【０１００】
次に、図９及び図１０は、カメラ３の領域切出部３５の処理を示している。領域切出部３５は、概略的には次の４つの処理を行う。（１）ユーザに指定された背景領域２３から拡張領域２５を決定する。（２）背景領域２３と動き情報から注目領域２１を決定する。（３）拡張領域２５を切り出す。（４）注目領域２１を切り出す。これらの処理が、図９及び図１０により実現される。
【０１０１】
領域切出部３５は、イベントがあるか否かを判定し（Ｓ５１）、イベントがなければステップＳ５１の判定を繰り返す。イベントがある場合、そのイベントが終了イベントであるか否かを判定する（Ｓ５３）。終了イベントであれば、処理を終了する。
【０１０２】
イベントが終了イベントでなければ、領域切出部３５は、発生イベントが、端末装置５からの座標情報送信イベントであるか否かを判定する（Ｓ５５）。図６のステップＳ１１にて座標情報送信イベントが背景領域制御部５５により送信された場合、ステップＳ５５がＹＥＳになる。座標情報送信イベントは、補正画像空間における背景領域２３の座標情報を含む。領域切出部３５は、補正画像空間での背景領域２３の座標を、撮像画像空間の座標へと変換する（Ｓ５７）。また、領域切出部３５は、撮像画像空間の動き情報を画像認識部４１から取得する（Ｓ５９）。そして、背景領域制御部５５は、動き情報を利用して、拡張領域２５の座標情報を決定する（Ｓ６１）。ここでは、拡張領域２５は、背景領域２３を含み、背景領域２３より広く設定される。そして、拡張領域２５の中心が、注目領域２１の中心に対してずらされる。ずれ方向とずれ量は、注目領域２１の移動方向及び移動速度に応じて決定される。ずれ方向は移動方向に合わされる。また、ずれ量は、同じ拡張領域２５を使用する期間の注目領域２１の推定移動量に合わせて設定される。この推定移動量は、拡張領域２５の更新間隔と注目領域２１の移動速度から得られる。領域切出部３５は、ステップＳ６１で決定した撮像画像空間の拡張領域２５の座標情報を保持し（Ｓ６３）、ステップＳ６１に戻る。拡張領域２５の情報は、後段の領域送出時に使用される。
【０１０３】
更に、拡張領域２５の座標情報は、拡張領域２５の更新間隔をあけて、繰り返し更新される。更新処理では、最新の注目領域２１の座標情報（撮像画像空間上）から、拡張領域２５の座標情報（撮像画像空間上）が再度決定される。上述の処理と同様に、注目領域２１の動き情報に基づき、注目領域２１と拡張領域２５の中心がずれるように拡張領域２５の位置が決定される。更新された拡張領域２５の情報も領域切出部３５に保持される。
【０１０４】
一方、ステップＳ５５がＮＯの場合、領域切出部３５は、発生イベントが注目領域設定イベントであるか否かを判定する（Ｓ６５）。注目領域設定イベントでは、領域切出部３５は、画像認識部４１より動き情報を取得し（Ｓ６７）、動き量の大きな領域を注目領域２１として設定する（Ｓ６９）。そして、領域切出部３５は、ステップＳ６９で決定した注目領域２１の座標情報を、領域送出時に使用するために保持する（Ｓ７１）。
【０１０５】
注目領域２１の座標情報は、注目領域２１の更新間隔をあけて、すなわちフレーム毎に、繰り返し更新される。ここでは、ステップＳ６９で設定された注目領域２１が、動き情報に基づき追跡される。そして、各フレームのタイミングで、注目領域２１の最新の座標が決定される。更新された注目領域２１の情報も領域切出部３５に保持される。
【０１０６】
一方、ステップＳ６５がＮＯの場合、領域切出部３５は、発生イベントが領域送出イベントであるか否かを判定する（Ｓ７３）。ステップＳ７３がＮＯであれば、ステップＳ５１へ戻る。ステップＳ７３がＹＥＳであれば、領域切出部３５は、拡張領域２５の送出タイミングが到来したか否かを判定する（Ｓ７５）。ステップＳ７５がＹＥＳであれば、領域切出部３５は、ステップＳ６３にて保持された拡張領域２５の情報を利用して、撮像画像１１から拡張領域２５を切り出し（Ｓ７７）、拡張領域２５を映像符号化部３７に送信し（Ｓ７９）、ステップＳ５１に戻る。
【０１０７】
ステップＳ７５がＮＯであれば、領域切出部３５は、注目領域２１の送出タイミングが到来したか否かを判定する（Ｓ８１）。ステップＳ８１がＮＯであれば、ステップＳ５１へ戻る。ステップＳ８１がＹＥＳであれば、領域切出部３５は、ステップＳ７１にて保持された注目領域２１の情報を利用して、撮像画像１１から注目領域２１を切り出し（Ｓ８３）、注目領域２１を映像符号化部３７に送信し（Ｓ８５）、ステップＳ５１に戻る。
【０１０８】
なお、図３において、注目領域２１及び拡張領域２５の両方を更新すべきフレームでは、注目領域２１と拡張領域２５の更新タイミングが同時に到来し、ステップＳ７７、Ｓ７９の処理と、ステップＳ８３、Ｓ８５の処理とが、連続して行われる。また、注目領域２１のみを更新すべきフレームでは、ステップＳ８３、Ｓ８５の処理のみが行われる。
【０１０９】
以上に、図６〜図１０を参照して、背景領域制御部５５、画像合成部５７及び領域切出部３５の動作を詳細に説明した。上記の処理フローによれば、ユーザによりＰＴＺ情報が背景領域２３の情報として端末装置５に入力されると、図６の処理フローにより、背景領域２３の座標情報が端末装置５からカメラ３へと送信される。そして、図９及び図１０の処理フローにより、拡張領域２５及び注目領域２１が決定され、撮像画像１１から切り出される。切り出された拡張領域２５及び注目領域２１は、カメラ３から端末装置５に送信される。そして、図７及び図８の処理により、新しい拡張領域２５が受信されると、拡張領域記憶部５９の拡張領域２５が書き換えられる。また、注目領域２１が受信されると、背景領域２３が拡張領域２５から切り出され、そして切り出された背景領域２３が注目領域２１と合成される。こうして、図７〜図１０の処理フローにより、画像通信システム１の動作が実現される。
【０１１０】
次に、本実施の形態の変形例を説明する。上述のように、本実施の形態では、拡張領域２５が背景領域２３よりも広く設定され、そして、拡張領域２５から背景領域２３が繰り返し使用される。しかし、注目領域２１の移動速度が大きいために、拡張領域２５から背景領域２３を切り出せなくなる可能性がある。このような場合は、次の拡張領域２５の更新まで、正しい背景領域２３を切り出せないという問題が生じる。
【０１１１】
そこで、この変形例では、端末装置５にて背景領域２３を拡張領域２５から切り出せない場合に、端末装置５からカメラ３に拡張領域２５の更新が要求される。これにより、次の拡張領域２５の更新を待たずに、正しい背景領域２３を切り出すことができる。
【０１１２】
図１１は、上記の更新要求を実現する処理フローを示している。図１１は、端末装置５の背景領域制御部５５の処理フローであり、図７にステップＳ９１〜Ｓ９５が追加されている。ステップＳ９１では、背景領域制御部５５は、ステップＳ２３で決定された背景領域２３の座標情報（撮像画像空間上）を参照し、背景領域２３が拡張領域２５内であるか否かを判定する。背景領域２３が拡張領域２５に包含されていれば、前述の実施の形態と同様に、画像合成イベントが画像合成部５７に送信される。
【０１１３】
背景領域２３が拡張領域２５に包含されない場合、正しい背景領域２３を切り出すことができない。そこで、背景領域２３が再計算される（Ｓ９３）。背景領域制御部５５は、ステップＳ２３で決定された撮像画像空間座標上の背景領域２３を、補正画像空間での座標情報に変換する。そして、背景領域制御部５５は、ネットワーク送受信部５１に対して座標情報送信イベントを送信する（Ｓ９５）。この処理は、図６のステップＳ１１と同様である。再計算後の背景領域２３の座標情報がカメラ３に送信される。そして、カメラ３では、図９及び図１０の処理が行われ、新しい拡張領域２５が端末装置５に送り返される。
【０１１４】
次に、本実施の形態のもう一つの変形例を説明する。この変形例では、映像符号化部３７の処理が変更され、拡張領域２５よりも注目領域２１に優先的に符号量が割り当てられる。これにより、注目領域２１の高画質を維持しつつ、全体の符号量を低減でき、したがって、通信データ量を更に低減できる。
【０１１５】
図１２は、映像符号化部３７の処理フローであって、上記の符号量の割当て制御を実現する処理を示している。
【０１１６】
映像符号化部３７は、イベントがあるか否かを判定し（Ｓ１０１）、イベントがなければステップＳ１０１の判定を繰り返す。イベントがある場合、そのイベントが終了イベントであるか否かを判定する（Ｓ１０３）。終了イベントであれば、処理を終了する。
【０１１７】
イベントが終了イベントでなければ、映像符号化部３７は、発生イベントが、映像符号化イベントであるか否かを判定する（Ｓ１０５）。ステップＳ１０５がＹＥＳであれば、映像符号化部３７は、符号化すべき画像が拡張領域２５であるか否かを判定する（Ｓ１０７）。ステップＳ１０７がＹＥＳであれば、映像符号化部３７は発生符号量を抑制する（Ｓ１０９）。ここでは、例えば、量子化ステップが所定幅だけ大きい値に変更される。あるいは、別の手法で符号量が低減されてもよい。
【０１１８】
一方、ステップＳ１０７がＮＯであれば、映像符号化部３７は、符号化すべき画像が注目領域２１であるか否かを判定する（Ｓ１１１）。ステップＳ１１１がＮＯであれば、ステップＳ１０１に戻る。ステップＳ１１１がＹＥＳであれば、映像符号化部３７は発生符号量を増加させる（Ｓ１１３）。ここでは、例えば、量子化ステップが所定幅だけ小さい値に変更される。あるいは、別の手法で符号量が増大されてもよい。
【０１１９】
以上に本発明の実施の形態に係る画像通信システム１について説明した。本実施の形態によれば、撮像装置（カメラ３）が注目領域２１の画像と拡張領域２５の画像を切り出し、画像受信装置（端末装置５）に提供する。拡張領域２５は、注目領域２１を含む背景領域２３より更に広い領域である。拡張領域２５は、注目領域２１よりも大きな更新間隔をあけて提供され、画像受信装置に記憶される。画像受信装置は、記憶している拡張領域２５から背景領域２３を切り出し、背景領域２３と注目領域２１とを合成する。拡張領域２５が背景領域２３よりも広いので、注目領域２１が動いても拡張領域２５から背景領域２３を切り出すことができる。したがって、順次提供される複数の注目領域２１のために、拡張領域２５を繰り返し利用できる。
【０１２０】
したがって、本実施の形態によれば、切出処理が撮像装置側で行われ、歪み補正が画像受信装置で行われるので、歪み補正の多大な処理を撮像装置で行う必要がない。また、撮像画像１１の全体を送るためのリサイズが不要であり、リサイズによる画質の低下を避けられる。また、拡張領域２５が繰り返し利用可能であり、拡張領域２５の更新間隔が注目領域２１よりも大きくてよいので、通信データ量が少なくなる。こうして、歪み補正をカメラ側で行う必要がなく、画質が良好であり、通信データ量を低減できる画像通信システムを提供することができる。
【０１２１】
また、本実施の形態では、注目領域２１の移動方向に応じて拡張領域２５の切出位置が決定される。また、注目領域２１の移動速度に応じて拡張領域２５の切出位置が決定されてもよい。移動方向及び移動速度は、撮像画像１１の画像認識結果から得られてよい。このような構成により、注目領域２１が移動した場合でも、背景領域２３がより確実に拡張領域２５に含まれる。したがって、背景領域２３をより精度良く切り出すことができる。また、拡張領域２５の提供の間隔を増大できる。
【０１２２】
また、本実施の形態では、注目領域２１の移動速度に応じて拡張領域２５の更新間隔が変更される。移動速度は撮像画像１１の画像認識結果から得られてよい。この構成により、注目領域２１の移動速度が速い場合には更新間隔が短縮される。したがって、注目領域２１が速く移動する場合にも、拡張領域２５から背景領域２３をより確実に切り出すことができる。
【０１２３】
また、本実施の形態では、拡張領域２５の動き量に応じて、拡張領域２５の更新間隔が変更される。動き量は、撮像画像１１の画像認識結果から得られてよい。これにより、背景部分２３に変化が生じたときに、拡張領域２５を速やかに更新できる。
【０１２４】
また、本実施の形態では、注目領域２１の画像及び拡張領域２５の画像を符号化するときに、拡張領域２５よりも注目領域２１に優先的に符号量を割り当てる。これにより、注目領域２１の高画質を維持しつつ、全体の符号量を低減でき、したがって、通信データ量を更に低減できる。
【０１２５】
また、本実施の形態では、背景領域２３の中心に注目領域２１が位置するように、拡張領域２５から背景領域２３が切り出される。これにより、注目領域２１が背景領域２３の中央に位置するので、注目領域２１の視認性を向上できる。
【０１２６】
また、本実施の形態では、拡張領域２５から背景領域２３を切り出せない場合に、撮像装置に拡張領域２５の更新が要求される。これにより、注目領域２１の急激な移動などのために拡張領域２５から背景領域２３を切り出せなくなったときに、次の拡張領域２５の受信を待つことなく、新しい拡張領域２５を受信でき、正しい背景画像２３を切り出すことができる。
【０１２７】
以上に本発明の好適な実施の形態を説明した。しかし、本発明は上述の実施の形態に限定されず、当業者が本発明の範囲内で上述の実施の形態を変形可能なことはもちろんである。
【産業上の利用可能性】
【０１２８】
以上のように、本発明にかかる画像通信システムは、歪み補正をカメラ側で行う必要がなく、画質が良好であり、通信データ量を低減できるという効果を有し、監視カメラ等の画像通信システムとして有用である。
【図面の簡単な説明】
【０１２９】
【図１】本発明の実施の形態における画像通信システムを示す図
【図２】注目領域、背景領域及び拡張領域を説明する図
【図３】注目領域及び拡張領域の更新間隔を説明する図
【図４】画像通信システムのカメラの構成を示すブロック図
【図５】画像通信システムの端末装置の構成を示すブロック図
【図６】端末装置の背景領域制御部の動作を示すフロー図
【図７】端末装置の背景領域制御部の動作を示すフロー図
【図８】端末装置の画像合成部の動作を示すフロー図
【図９】カメラの領域切出部の動作を示すフロー図
【図１０】カメラの領域切出部の動作を示すフロー図
【図１１】変形例における背景領域制御部の動作を示すフロー図
【図１２】変形例における映像符号化部の動作を示すフロー図
【符号の説明】
【０１３０】
１ 画像通信システム
３ カメラ
５ 端末装置
７ ネットワーク
１１ 撮像画像
２１ 注目領域
２３ 背景領域
２５ 拡張領域
３１ 超広角レンズ
３３ 撮像部
３５ 領域切出部
３７ 映像符号化部
３９、５１ ネットワーク送受信部
４１ 画像認識部
４３ 注目領域切出部
４５ 拡張領域切出部
５３ 映像復号部
５５ 背景領域制御部
５７ 画像合成部
５９ 拡張領域記憶部
６１ 歪み補正部
６３ 表示部
６５ ユーザ指示入力部
【技術分野】
【０００１】
本発明は、広角レンズを備えた撮像装置と、撮像装置から画像を受信する画像受信装置とを備えた画像通信システムに関する。
【背景技術】
【０００２】
従来、超広角レンズ又は魚眼レンズを利用してパンチルトズーム機能を擬似的に提供する画像通信システムが提案されている。この種のシステムでは、カメラが、超広角レンズ等を備えており、画角が大きい画像を生成する。例えば、画角が１８０°近い画像が生成される。但し、撮像画像は歪んだものとなる。ユーザの指定等に従って、撮像画像から一部の領域が切り出され、歪みが補正され、そして補正後の領域画像が表示される。
【０００３】
実際にパンチルト機構を備えたシステムの場合、所望の撮影方向を向くようにパンチルト機構がカメラを回動させる。上記の広角レンズを備えたシステムでは、撮影方向に対応する領域が撮像画像から切り出される。これにより、実際にカメラが回動しないにも拘わらず、ユーザにとってはカメラが回動して所望の方向を撮影しているように見える。さらに、画像処理によって画像を拡大縮小することにより、ズーム効果が得られる。こうして、擬似的にパンチルトズーム機能を提供することができる。
【０００４】
超広角レンズや魚眼レンズを用いる画像通信システムは、例えば、特許文献１に開示されている。この従来技術では、カメラがサーバに備えられ、端末装置がクライアントに備えられる。
【０００５】
特許文献１には２種類の構成が開示されている。第１の構成では、カメラ側で、撮像画像の歪みが補正され、一部の領域が切り出される。そして、補正後の領域画像が符号化され、符号化データがネットワーク経由で送信される。端末装置は、符号化データを受信し、復号して、画像データを得る。そして、画像がモニタ等に表示される。
【０００６】
特許文献１の第２の構成では、切出と歪み補正が端末装置（クライアント）側で行われる。すなわち、カメラは、撮像画像をリサイズ（縮小）及び符号化し、符号化データをネットワーク経由で送信する。端末装置は、符号化データを受信し、復号して、画像データを得る。そして、端末装置は、画像の歪み補正を行い、必要な領域を切り出し、表示する。
【０００７】
上記のように、超広角レンズや魚眼レンズを備えたシステムでは、歪み補正が必要である。歪み補正処理については、例えば、特許文献２に開示されている。
【特許文献１】特開２００６−１４８７６７号公報
【特許文献２】特許第３０５１１７３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、従来の画像通信システムでは、歪み補正に多大な演算量が必要である。そのため、カメラ側で切出し及び歪み補正を行う構成については、消費電力やコストの観点から、小型カメラなどで実現することは困難であるという問題があった。
【０００９】
また、切出し及び歪み補正を端末装置側で行う構成においては、撮像画像をリサイズして符号化している。そのため、リサイズ及び符号化により画質が劣化するという問題もあった。
【００１０】
また、背景が変化しない場所にカメラが設置され、そして、特定の人物等の動きに合わせて切出領域が決定されることがある。このような用途においては、切出領域の画像が、変化の無い背景領域を人物の周囲に含む。そのため、通信データ量が多く、ネットワーク帯域が無駄に消費されるという問題があった。
【００１１】
本発明は、従来の問題を解決するためになされたもので、その目的は、歪み補正をカメラ側で行う必要がなく、画質が良好であり、通信データ量を低減できる画像通信システムを提供することにある。
【課題を解決するための手段】
【００１２】
本発明の画像通信システムは、撮像装置と、前記撮像装置から画像を受信する画像受信装置とを備えた画像通信システムであって、前記撮像装置は、広角レンズを用いて撮像画像を生成する撮像部と、前記撮像画像から注目領域を切り出すと共に、前記注目領域を含む背景領域よりも更に広く設定された拡張領域を切り出す領域切出部とを有し、前記拡張領域を、前記注目領域と比べて大きな更新間隔をあけて前記画像受信装置に送信し、前記画像受信装置は、受信した前記拡張領域を記憶する拡張領域記憶部と、前記拡張領域から前記注目領域を含むように前記背景領域を切り出し、前記注目領域と前記背景領域を合成する画像合成部と、前記広角レンズを用いた撮影により生じた歪みを補正する歪み補正部とを有し、前記拡張領域が受信されるたびに、前記拡張領域記憶部の前記拡張領域を更新する。
【００１３】
この構成により、撮像装置が注目領域の画像と拡張領域の画像を切り出し、画像受信装置に提供する。拡張領域は、注目領域を含む背景領域より更に広い領域である。拡張領域は、注目領域よりも大きな更新間隔をあけて提供され、画像受信装置に記憶される。画像受信装置は、記憶している拡張領域から背景領域を切り出し、背景領域と注目領域とを合成する。拡張領域が背景領域よりも広いので、注目領域が動いても拡張領域から背景領域を切り出すことができる。したがって、順次提供される複数の注目領域のために、拡張領域を繰り返し利用できる。本発明によれば、切出処理が撮像装置側で行われ、歪み補正が画像受信装置で行われる。したがって、歪み補正の多大な処理を撮像装置で行う必要がない。また、撮像画像全体を送るためのリサイズが不要であり、リサイズによる画質の低下を避けられる。また、拡張領域が繰り返し利用可能であり、拡張領域の更新間隔が注目領域よりも大きくてよいので、通信データ量が少なくなる。こうして、歪み補正をカメラ側で行う必要がなく、画質が良好であり、通信データ量を低減できる画像通信システムを提供することができる。
【００１４】
また、本発明の別の態様は撮像装置であり、この撮像装置は、広角レンズを用いて撮像画像を生成する撮像部と、前記撮像画像から注目領域を切り出すと共に、前記注目領域を含む背景領域よりも更に広く設定された拡張領域を切り出す領域切出部と、前記注目領域を送信すると共に、前記拡張領域を、前記注目領域と合成されるべき前記背景領域の切出元のデータとして送信する通信部とを有し、前記拡張領域を、前記注目領域と比べて大きな更新間隔をあけて送信する。この構成によっても上述の本発明の利点が得られる。
【００１５】
また、本発明の撮像装置において、前記領域切出部は、前記注目領域の移動方向に応じて前記拡張領域の切出位置を決定する。
【００１６】
この構成により、注目領域が移動した場合でも、背景領域がより確実に拡張領域に含まれる。したがって、背景領域をより精度良く切り出すことができる。また、拡張領域の提供の間隔を増大できる。
【００１７】
また、本発明の撮像装置において、前記領域切出部は、前記注目領域の移動速度に応じて前記拡張領域の前記切出位置を決定する。
【００１８】
この構成により、注目領域が移動した場合でも、背景領域がより確実に拡張領域に含まれる。したがって、背景領域をより精度良く切り出すことができる。また、拡張領域の提供の間隔を増大できる。
【００１９】
また、本発明の撮像装置において、前記領域切出部は、前記注目領域の移動速度に応じて前記拡張領域の更新間隔を変更する。
【００２０】
この構成により、注目領域の移動速度が速い場合には更新間隔が短縮される。したがって、注目領域が速く移動する場合にも、拡張領域から背景領域をより確実に切り出すことができる。
【００２１】
また、本発明の撮像装置において、前記領域切出部は、前記拡張領域の動き量に応じて、前記拡張領域の更新間隔を変更する。
【００２２】
この構成により、拡張領域の動き量に応じて、拡張領域の更新間隔が変更される。これにより、背景部分に変化が生じたときに、拡張領域を速やかに更新できる。
【００２３】
また、本発明の撮像装置は、前記注目領域の画像及び前記拡張領域の画像を符号化する符号化部を有し、前記拡張領域よりも前記注目領域に優先的に符号量を割り当てる。
【００２４】
この構成により、注目領域の高画質を維持しつつ、全体の符号量を低減でき、したがって、通信データ量を更に低減できる。
【００２５】
また、本発明の別の態様は画像受信装置であり、広角レンズを用いて得られた撮像画像の注目領域および拡張領域を異なる更新間隔で受信する通信部と、前記拡張領域を記憶する拡張領域記憶部と、前記拡張領域から前記注目領域を含むように背景領域を切り出し、前記注目領域と前記背景領域を合成する画像合成部と、前記広角レンズを用いた撮影により生じた歪みを補正する歪み補正部とを有し、前記拡張領域が受信されるたびに、前記拡張領域記憶部の前記拡張領域を更新する。この構成によっても上述の本発明の利点が得られる。
【００２６】
また、本発明の画像受信装置において、前記画像合成部は、前記背景領域の中心に前記注目領域が位置するように、前記拡張領域から前記背景領域を切り出す。
【００２７】
この構成により、注目領域が背景領域の中央に位置するので、注目領域の視認性を向上できる。
【００２８】
また、本発明の画像受信装置は、前記拡張領域から前記背景領域を切り出せない場合に、前記拡張領域の更新を要求する。
【００２９】
この構成により、注目領域の移動などのために拡張領域から背景領域を切り出せなくなったときに、拡張領域の提供が撮像装置に要求される。したがって、次の拡張領域の受信を待つことなく、新しい拡張領域を受信でき、正しい背景画像を切り出すことができる。
【００３０】
また、本発明の別の態様は画像送信方法であり、この方法は、撮像画像から注目領域と、前記注目領域を含む背景領域よりも更に広く設定される拡張領域を切り出し、前記拡張領域を、前記注目領域と合成されるべき前記背景領域の切出元のデータとして、前記注目領域と比べて大きな更新間隔をあけて送信する。この構成によっても上述の本発明の利点が得られる。
【００３１】
また、本発明の別の態様は画像受信方法であり、撮像画像の注目領域および拡張領域を異なる更新間隔で受信し、受信した前記拡張領域から前記注目領域を含むように背景領域を切り出し、前記注目領域と前記背景領域を合成し、合成した画像の歪みを補正する。この構成によっても上述の本発明の利点が得られる。
【発明の効果】
【００３２】
本発明は、上記のように注目領域と拡張領域を通信及び合成する構成を設けることにより、歪み補正をカメラ側で行う必要がなく、画質が良好であり、通信データ量を低減できるという効果を有する画像通信システムを提供することができる。
【発明を実施するための最良の形態】
【００３３】
以下、本発明の実施の形態の画像通信システムについて、図面を用いて説明する。
【００３４】
本発明の実施の形態に係る画像通信システムを図１に示す。まず、図１を参照し、本実施の形態の概要を説明する。図１において、画像通信システム１は、カメラ３と端末装置５とがネットワーク７を介して通信可能に接続された構成を有する。カメラ３及び端末装置５はそれぞれ本発明の撮像装置及び画像受信装置に相当する。またネットワーク７は例えばＩＰネットワークである。カメラ３は、ネットワーク７を介して画像を通信する機能を有するので、ネットワークカメラとも呼ばれる。
【００３５】
カメラ３には、超広角レンズ又は魚眼レンズが備えられる。超広角レンズ又は魚眼レンズは、本発明の広角レンズに相当し、画角（視野）が非常に大きく、ただし、大きな画角に起因して画像の歪みも大きいレンズである。以下の説明では、カメラ３が超広角レンズを備えるものとする。カメラ３は、超広角レンズを用いて、画角が１８０°に近く、半球に相当する範囲の撮像画像１１を生成する。カメラ３は、撮像画像１１の一部を切り出して領域画像１３を生成し、領域画像１３を符号化し、ネットワーク７を介して端末装置５に伝送する。端末装置５では、領域画像１３が復号され、歪みが補正され、補正画像１５が得られる。補正画像１５は例えばモニタに表示される。
【００３６】
上記の画像通信システム１は、パンチルトズーム機能を実現する。通常のパンチルトズーム機構では、パンチルト機構により機械的にカメラが回動される。そして、ズームレンズによりズーム機能が実現される。一方、図１の構成では、撮像画像１１から領域画像１３が切り出される。これにより、領域画像１３に対応する方向にカメラ３が回動したのと同様の効果が得られる。また、領域画像１３をより小さく切出し、補正画像を拡大表示することでズームイン表示可能であり、逆に、領域画像１３をより大きく切出し、補正画像を縮小表示することでズームアウト表示可能であり、ズームレンズと同様の効果が得られる。こうして、機械的なパンチルト機構及びズームレンズが備えられていなくても、パンチルトズーム機能を実現できる。このようなパンチルトズーム機能は、ソフトウエアパンチルトズーム（ソフトウエアＰＴＺ）と呼ばれる。
【００３７】
次に、図２を参照し、画像通信システム１における切出し領域について説明する。図２に示されるように、本実施の形態では、撮像画像空間および補正画像空間という２つの空間が定義される。撮像画像空間は、超広角レンズを用いて得られた歪んだ画像の空間である。これに対して、補正画像空間は、歪みが補正された画像の空間である。
【００３８】
図２に示されるように、本実施の形態では、注目領域２１、背景領域２３、拡張領域２５といった３つの領域が用いられる。
【００３９】
注目領域２１は、注目される被写体が写った領域である。被写体は例えば人物である。注目領域２１は、ユーザからの指示により決定されてもよく、また、動き検出等の画像認識による検出結果を基に決定されてもよい。本実施の形態では、後者の画像認識結果が用いられる。動き検出は周知の技術によって行われる。そして、所定レベル以上の動きが検出された領域が、注目領域２１に設定される。以下の説明では、注目領域２１の画像を、単に注目領域２１という（下記の背景領域２３、拡張領域２５についても同様である）。
【００４０】
背景領域２３は、注目領域２１を含んだ領域である。背景領域２３は、端末装置５にて表示される画像に対応する領域である。
【００４１】
拡張領域２５は、背景領域２３よりも広く設定される。背景領域２３よりも所定量だけ拡張領域２５が広く設定される。所定量は、例えば、面積比率または面積差でもよく、また、長さ（縦、横等）の比率または差でもよい。例えば、背景領域２３の面積をＸとすると、拡張領域２５の面積がαＸに設定される。αは、１以上の係数であり、例えば「２」である。
【００４２】
カメラ３は、上記の３つの領域のうちで、注目領域２１と拡張領域２５を切り出す。これら注目領域２１及び拡張領域２５は、符号化され、端末装置５に伝送される。端末装置５では、拡張領域２５から背景領域２３が切り出される。そして、注目領域２１と背景領域２３が合成され、歪みが補正され、モニタに表示される。
【００４３】
本発明の範囲内で、合成後に歪みが補正されてもよく、また、合成前に歪み補正が行われてもよい。すなわち、注目領域２１と背景領域２３と各々について、歪みが補正され、それから注目領域２１と背景領域２３が合成されてよい。さらに、背景領域２３の切出前に、拡張領域２５の歪みが補正されてもよい。
【００４４】
図３は、注目領域２１及び拡張領域２５の更新間隔を示している。更新間隔とは、カメラ３から端末装置５への画像提供の間隔である。図示のように、本実施の形態では、注目領域２１及び拡張領域２５の更新間隔が異なって設定される。
【００４５】
注目領域２１は、毎フレーム生成され、伝送される。例えば、１秒当たりのフレーム数が３０枚であれば、注目領域２１の更新間隔は、１／３０秒である。これに対して、拡張領域２５の更新間隔は、注目領域２１の更新間隔より広く、数フレームに相当する間隔に設定される。
【００４６】
端末装置５は、上記の注目領域２１及び拡張領域２５の更新間隔の相違に対応して、以下のように機能する。注目領域２１と拡張領域２５が同時に受信された場合、拡張領域２５から背景領域２３が切り出され、背景領域２３が注目領域２１と合成される。また、拡張領域２５は、端末装置５に記憶される。注目領域２１のみが受信された場合、過去に受信された拡張領域２５から背景領域２３が切り出される。そして、注目領域２１と背景領域２３が合成される。
【００４７】
上記においては、拡張領域２５が繰り返し利用可能である。この繰返し利用は、拡張領域２５を背景領域２３よりも広く設定することによって実現されている。拡張領域２５が広いので、注目領域２１が移動しても、拡張領域２５から背景領域２３を切り出すことができる。
【００４８】
上記の画像通信システム１によれば、切出処理がカメラ３側で行われ、歪み補正が端末装置５で行われる。したがって、歪み補正の多大な処理をカメラ３で行う必要がない。また、撮像画像全体を送るためのリサイズが不要であり、リサイズによる画質の低下を避けられる。また、拡張領域２５が繰り返し利用可能であり、拡張領域２５の更新間隔が注目領域２１よりも大きくてよいので、通信データ量が少なくなる。こうして、歪み補正をカメラ側で行う必要がなく、画質が良好であり、通信データ量を低減できる画像通信システム１を提供することができる。
【００４９】
以上に本実施の形態に係る画像通信システム１の概要を説明した。次に、画像通信システム１の構成をより詳細に説明する。
【００５０】
図４は、カメラ３の構成を示している。カメラ３は、超広角レンズ３１、撮像部３３、領域切出部３５、映像符号化部３７、ネットワーク送受信部３９及び画像認識部４１で構成されており、領域切出部３５は注目領域切出部４３及び拡張領域切出部４５を含む。
【００５１】
撮像部３３は、ＣＣＤ又はＣＭＯＳ等の固体撮像素子を有し、超広角レンズ３１によって得られる光学像から電気的な画像信号を生成する。領域切出部３５は、撮像部３３により生成された撮像画像１１から注目領域２１及び拡張領域２５を切り出す。注目領域２１及び拡張領域２５は、それぞれ、注目領域切出部４３及び拡張領域切出部４５により切り出される。
【００５２】
本実施の形態では、後述にて詳細に説明するように、端末装置５からカメラ３に背景領域２３が指示される。また、画像認識部４１が、撮像画像１１の動き検出を行う。領域切出部３５は、端末装置５からの背景領域２３の指示と、動き検出結果を用いて、注目領域２１及び拡張領域２５を切り出す。
【００５３】
すなわち、領域切出部３５は、動き検出結果を基に、背景領域２３の中で動く領域を特定する。この動く領域が、注目領域２１として切り出される。また、領域切出部３５は、背景領域２３を包含するように、背景領域２３より広い拡張領域２５を切り出す。
【００５４】
また、領域切出部３５は、注目領域２１及び拡張領域２５の更新間隔に応じた頻度で切出処理を行う。注目領域２１の更新間隔は、撮像部３３のフレーム間隔と等しい。したがって、注目領域２１は、毎フレームの撮像画像１１から切り出される。拡張領域２５の更新間隔は、所定数のフレームに相当する。したがって、所定数に一枚の撮像画像１１から拡張領域２５が切り出される。
【００５５】
映像符号化部３７は、領域切出部３５によって切り出された注目領域２１及び拡張領域２５を符号化する。
【００５６】
ネットワーク送受信部３９は、ネットワーク７を介して端末装置５とデータを送受信する構成であり、通信部に相当する。ネットワーク送受信部３９は、端末装置５から各種の指示を受信する。また、ネットワーク送受信部３９は、映像符号化部３７で符号化された注目領域２１及び拡張領域２５を端末装置５へ送信する。
【００５７】
図５は、端末装置５の構成を示している。ネットワーク送受信部５１は、カメラ３のネットワーク送受信部３９と同様に通信部であり、ネットワーク７を介して端末装置５とデータを送受信する。ネットワーク送受信部５１は、ユーザの指示や、その他の制御関連の指示をカメラ３に送信する。また、ネットワーク送受信部５１は、カメラ３から注目領域２１及び拡張領域２５を受信する。
【００５８】
映像復号部５３は、ネットワーク送受信部５１により受信された注目領域２１及び拡張領域２５を復号する。
【００５９】
背景領域制御部５５は、背景領域２３に関連する各種の処理を行う。背景領域制御部５５は、ユーザ指示入力部６５から背景領域２３の指示を受け付け、ネットワーク送受信部５１を介してカメラ３への背景領域２３の指示を供給する。
【００６０】
また、拡張領域２５がネットワーク送受信部５１により受信されたとき、背景領域制御部５５は、画像合成部５７を制御して、拡張領域２５を更新する処理を行わせる。画像合成部５７は、背景領域制御部５５からの指示に従い、拡張領域記憶部５９に記憶された拡張領域２５を更新する。拡張領域記憶部５９は、端末装置５の記憶装置で構成される。
【００６１】
また、背景領域制御部５５は、画像合成部５７を制御して、拡張領域２５から背景領域２３を切り出す処理と、背景領域２３と注目領域２１を合成する処理を行わせる。この制御において、背景領域制御部５５は、拡張領域２５からの背景領域２３の切出位置を指示する。本実施の形態では、背景領域２３の中心が注目領域２１と一致するように、背景領域２３の切出位置が設定される。したがって、注目領域２１の動きに合わせて背景領域２３の切出位置が変化する。
【００６２】
歪み補正部６１は、画像合成部５７により生成された注目領域２１と背景領域２３の合成画像の歪みを補正する。ここでは、超広角レンズ３１を用いることにより生じた歪みが補正される。
【００６３】
表示部６３は、モニタであり、歪み補正後の画像を表示する。また、ユーザ指示入力部６５は、キーボード、ポインティングデバイス等により実現され、ユーザの指示を入力する。本実施の形態では、モニタの表示を利用して、背景領域２３の位置と大きさが指定される。
【００６４】
以上に、画像通信システム１の各部の構成を説明した。次に、画像通信システム１の全体的な動作を説明する。
【００６５】
ユーザ指示入力部６５に対して背景領域２３の位置及び大きさが入力されたとする。背景領域２３の指示は背景領域制御部５５に供給され、背景領域制御部５５は、ネットワーク送受信部５１を介して背景領域２３の指示をカメラ３へ送信する。背景領域２３の指示は、カメラ３のネットワーク送受信部３９に受信され、領域切出部３５に供給される。
【００６６】
カメラ３では、撮像部３３が、超広角レンズ３１を用いて撮像画像１１を生成し、領域切出部３５及び画像認識部４１に供給する。画像認識部４１は、撮像画像１１の動き検出処理を行い、検出結果を領域切出部３５に供給する。
【００６７】
領域切出部３５では、注目領域切出部４３が撮像画像１１から注目領域２１を切り出し、拡張領域切出部４５が撮像画像１１から拡張領域２５を切り出す。注目領域２１は、背景領域２３内の動く領域である。一旦、注目領域２１が特定されると、以降のフレームでは、動き検出結果に基づき注目領域２１が追跡されてよい。また、拡張領域２５は、前述したように、ユーザにより指定された背景領域２３を包含するように切り出される。注目領域２１は、毎フレームから切り出され、拡張領域２５は、所定数に１枚のフレームから切り出される。
【００６８】
注目領域２１及び拡張領域２５は、領域切出部３５から映像符号化部３７に供給され、映像符号化部３７により符号化される。符号化データがネットワーク送受信部３９に供給され、ネットワーク７を介して端末装置５に送信される。
【００６９】
端末装置５では、ネットワーク送受信部５１がネットワーク７から符号化データを受信する。上述のように、注目領域２１は全フレームから切り出され、拡張領域２５は所定数に１枚のフレームから切り出される。したがって、１つの拡張領域２５のデータに対して、複数の注目領域２１のデータが受信される。
【００７０】
注目領域２１及び拡張領域２５は、映像復号部５３で復号され、背景領域制御部５５に供給される。
【００７１】
背景領域制御部５５は、拡張領域２５のデータを画像合成部５７に供給し、拡張領域２５を更新するように指示する。この指示に応え、画像合成部５７は、拡張領域記憶部５９に記憶された拡張領域２５を書き換える。
【００７２】
また、背景領域制御部５５は、順次得られる注目領域２１を画像合成部５７に供給する。更に、背景領域制御部５５は、背景領域２３が注目領域２１を包含するように、画像合成部５７に拡張領域２５から背景領域２３を切り出させる。各々の注目領域２１のために、同じ拡張領域２５から背景領域２３が切り出される。そして、画像合成部５７は、切り出した各々の背景領域２３を、対応する注目領域２１と合成する。
【００７３】
ここで、注目領域２１は、動き検出により特定された動く領域であり、したがって、注目領域２１の位置はフレーム毎に変化する。そのため、注目領域２１の移動に応じて、背景領域２３の切出位置もフレーム毎に変化する必要がある。この処理は、以下のようにして実現される。
【００７４】
カメラ３から端末装置５へは、注目領域２１の座標情報（撮像画像空間上）及び拡張領域２５の座標情報（撮像画像空間上）が、それら領域の画像信号と共に送信される。座標情報は、例えば領域の４頂点の座標のデータであり、領域の位置及び範囲を特定する（座標情報の代わりに、領域位置を特定可能な他のデータが用いられてもよい）。座標情報はネットワーク送受信部５１、映像復号部５３を介して画像合成部５７に取得される。背景領域制御部５５は、座標情報を利用して、注目領域２１が背景領域２３に包含されるように、背景領域２３の切出位置を決定する。
【００７５】
特に、本実施の形態では、歪み補正後に注目領域２１が背景領域２３の中央に位置するように、背景領域２３を切り出すことが好適であり、注目領域２１の視認性を向上できる。そこで、歪み補正を考慮し、注目領域２１の中心と背景領域２３の位置が一致するように切出位置が決定される。
【００７６】
背景領域制御部５５は、注目領域２１の画像と共に、背景領域２３の切出位置を画像合成部５７に供給する。画像合成部５７は、背景領域制御部５５の指示に従って、拡張領域記憶部５９の拡張領域２５から背景領域２３を切り出す。
【００７７】
画像合成部５７は、上記のようにして切り出した背景領域２３を、注目領域２１と合成する。合成画像は歪み補正部６１に供給され、歪みが補正される。補正後の合成画像が、表示部６３に供給され、表示される。
【００７８】
上記の動作により、端末装置５では、新しい拡張領域２５が受信されるまで、背景領域２３の切出位置を変えながら、同じ拡張領域２５が繰り返し利用される。拡張領域２５が背景領域２３より広いので、注目領域２１が動いても拡張領域２５を使い続けられる。新しい拡張領域２５が受信されると、拡張領域記憶部５９の拡張領域２５が更新される。
【００７９】
次に、カメラ３の領域切出部３５における拡張領域２５の切出位置の設定について更に詳細に説明する。拡張領域２５の切出位置は、注目領域２１が拡張領域２５の中央に位置するように設定されてよい。しかし、より好ましくは、注目領域２１の移動方向及び移動速度に基づいて拡張領域２５の切出位置が調整される。
【００８０】
注目領域２１の移動方向及び移動速度は、画像認識部４１の動き検出結果から得られる。移動速度は、注目領域２１を構成するブロックの平均移動量でよい（ここでブロックは、符号化の基本単位であるマクロブロックとするのが好適である）。領域切出部３５は、拡張領域２５の切出位置の中心を、注目領域２１の中心から、注目領域２１の移動方向へとずらす。領域切出部３５は、注目領域２１の移動速度が大きいほど、切出位置のずれ量を増大させる。例えば、移動速度から、拡張領域２５の更新間隔における注目領域２１の移動量が求められる。この移動量が「Ｌ」であれば、切出位置の中心を同方向に「Ｌ」だけずらす。
【００８１】
このように注目領域２１を設定することにより、注目領域２１が移動した場合でも、背景領域２３がより確実に拡張領域２５に含まれる。したがって、背景領域２３をより精度良く切り出すことができる。また、拡張領域２５の更新間隔を増大できる。
【００８２】
次に、拡張領域２５の更新間隔の設定について更に説明する。拡張領域２５の更新間隔は、所定数のフレームに相当する。この更新間隔は固定されていてもよい。しかし、より好ましくは、注目領域２１の移動速度に応じて更新間隔が変更される。
【００８３】
注目領域２１の移動速度は上述のように画像認識部４１の動き検出結果から得られる。領域切出部３５は、移動速度が小さいほど更新間隔を大きくし、移動速度が大きいほど更新間隔を小さくする。すなわち、移動速度が小さいほど更新頻度が小さくなり、移動速度が大きいほど更新頻度が大きくなる。
【００８４】
このような設定により、以下の利点が得られる。注目領域２１の移動速度が小さいときは、時間が経過しても、注目領域２１が拡張領域２５の外に出にくい。これは、拡張領域２５をより長く使い続けられることを意味する。そこで、更新間隔が大きく設定され、通信データ量が低減される。一方、注目領域２１の移動速度が大きいときは、注目領域２１が短時間で拡張領域２５の外に出る。そこで、更新間隔が小さく設定され、注目領域２１がより確実に拡張領域２５内に含まれるように図られる。こうして、通信データ量を抑えつつ、より確実に背景領域２３を拡張領域２５から切り出すことができる。
【００８５】
また、拡張領域２５の更新間隔は、更に、拡張領域２５の動き量に応じて設定されてよい。拡張領域２５の動き量も、画像認識部４１の画像認識結果から得られる。動き量が大きいほど、更新間隔を小さくする（更新頻度を大きくする）。例えば、拡張領域２５の動き量が、閾値Ｚと比較される。そして、動き量が閾値Ｚを超えていれば、更新間隔が１／２に短縮される。これにより更新頻度は２倍になる。このような処理により、背景部分に変化が生じたときに、拡張領域２５を速やかに更新できる。
【００８６】
次に、本実施の形態の画像通信システム１の詳細な動作について、フローチャートを参照して説明する。
【００８７】
図６及び図７は、端末装置５の背景領域制御部５５の処理を示している。既に説明したように、背景領域制御部５５は、概略的には次の３つの処理を行う。（１）背景領域２３についての指示をユーザ指示入力部６５から入手して端末装置５に送る。（２）拡張領域２５を受信したときに、拡張領域２５の更新を画像合成部５７に指示する。（３）各注目領域２１のための背景領域２３の切出位置を決定し、画像合成部５７に指示する。これらの処理が、図６及び図７により実現される。
【００８８】
背景領域制御部５５は、イベントがあるか否かを判定し（Ｓ１）、イベントがなければステップＳ１の判定を繰り返す。イベントがある場合、そのイベントが終了イベントであるか否かを判定する（Ｓ３）。終了イベントであれば、処理を終了する。
【００８９】
イベントが終了イベントでなければ、背景領域制御部５５は、発生イベントが、ユーザ指示入力部６５からの背景領域指示イベントであるか否かを判定する（Ｓ５）。背景領域指示イベントが発生するのは、ユーザによりユーザ指示入力部６５に背景領域２３の指示が入力されたときである。
【００９０】
ここで、本実施の形態では、既に説明したようにソフトウエアＰＴＺが実現される。そして、ユーザ指示入力部６５は、ＰＴＺ情報（パン方向、チルト方向及びズーム倍率）を入力可能に構成される。このＰＴＺ情報は、表示すべき画像の範囲に対応しており、背景領域２３の指示として入力される。ユーザ指示入力部６５は、パン方向、チルト方向及びズーム倍率を表す任意の情報を入力可能な任意のユーザインターフェースで構成されてよい。
【００９１】
ＰＴＺ情報は、ユーザ指示入力部６５に入力されると、ユーザ指示入力部６５から背景領域制御部５５に供給され、ステップＳ５がＹＥＳになる。そして、背景領域制御部５５は、ＰＴＺ情報により補正画像空間を決定する（Ｓ７）。概念的には、補正画像空間は、パン方向及びチルト方向で特定される撮像方向に対して垂直な面（２次元空間）であり、かつ、ズーム倍率に応じた距離だけ離れている。そして、背景領域制御部５５は、補正画像空間で背景領域２３の位置を決めるための座標を取得する（Ｓ９）。この座標は、例えば、長方形の背景領域２３における４頂点の座標である。ＰＴＺ情報と背景領域２３が１対１で対応するので、ＰＴＺ情報から背景領域２３の座標（補正画像空間上）が求められる。
【００９２】
そして、背景領域制御部５５は、ネットワーク送受信部５１に対して座標情報送信イベントを送信し（Ｓ１１）、ステップＳ１に戻る。座標情報送信イベントは、ステップＳ９で求められた背景領域２３の座標情報（補正画像空間上）を含む。ネットワーク送受信部５１は、背景領域制御部５５からの座標情報送信イベントに応答して、背景領域２３の座標情報をネットワーク７へ送出する。
【００９３】
一方、ステップＳ５のＮＯの場合、背景領域制御部５５は、発生したイベントが映像復号部５３からの処理イベントであるか否かを判定する（Ｓ１３）。ステップＳ１３がＮＯであれば、ステップＳ１に戻る。注目領域２１又は拡張領域２５がネットワーク送受信部５１により受信され、映像復号部５３により復号され、背景領域制御部５５に供給されたとき、ステップＳ１３がＹＥＳになる。そして、背景領域制御部５５は、拡張領域２５の画像が復号されたか否かを判定する（Ｓ１５）。ステップＳ１５がＹＥＳの場合、背景領域制御部５５は、画像合成部５７に対して、拡張領域更新イベントを送信し（Ｓ１７）、ステップＳ１に戻る。拡張領域更新イベントは、拡張領域２５の画像と、拡張領域２５の座標情報（撮像空間上）を含む。座標情報は例えば拡張領域２５の４点の座標であり、拡張領域２５の位置と範囲を特定する。
【００９４】
また、ステップＳ１５がＮＯの場合は、注目領域２１の画像が映像復号部５３で復号されている。背景領域制御部５５は、注目領域２１の画像と、注目領域２１の座標情報（撮像画像空間上）を映像復号部５３から取得する。ここでも、座標情報は注目領域２１の４点の座標であり、注目領域２１の位置と範囲を特定する。そして、背景領域制御部５５は、注目領域２１の座標情報（撮像画像空間上）から補正画像空間を決定する（Ｓ１９）。ここで、撮像画像空間上の座標上から、一意に補正画像空間を決定することは（１対１対応でないため）困難である。例えば、補正画像空間と撮像画像空間の中心までの距離を一定に保つという条件下で、補正画像空間を算出する。前述のステップＳ７で決定される補正画像空間とは別に、注目領域２１から補正画像空間が新たに決定される。
【００９５】
また、背景領域制御部５５は、注目領域２１を合成する位置を、撮像画像空間上で決定する（Ｓ２１）。また、背景領域制御部５５は、注目領域２１の座標情報に基づき、背景領域２３を撮像画像空間座標上で決定する（Ｓ２３）。ここでは、背景領域２３の中央に注目領域２１が位置するように、背景領域２３の座標が決定される。この座標は、拡張領域２５からの背景領域２３の切出位置を表す。前述のユーザ指示よる背景領域２３の座標と別に、注目領域２１に応じて背景領域２３が決定される。そして、背景領域制御部５５は、画像合成部５７に対して画像合成イベントを送信して（Ｓ２５）、ステップＳ１に戻る。画像合成イベントは、注目領域２１の画像と、ステップＳ１９で決定された補正画像空間と、ステップＳ２１で決定された注目領域２１を合成すべき座標（撮像画像空間上）と、ステップＳ２３で決定された背景領域２３の切り出し座標（撮像画像空間上）とを含む。
【００９６】
次に、図８は、端末装置５の画像合成部５７の処理を示している。既に説明したように、画像合成部５７は、概略的には次の２つの処理を行う。（１）新しい拡張領域２５が受信されたときに、拡張領域記憶部５９に保持されている拡張領域２５を更新する。（２）注目領域２１が受信されたときに、拡張領域２５から背景領域２３を切り出し、背景領域２３と注目領域２１を合成する。これらの処理が、図８により実現される。
【００９７】
画像合成部５７は、イベントがあるか否かを判定し（Ｓ３１）、イベントがなければステップＳ３１の判定を繰り返す。イベントがある場合、そのイベントが終了イベントであるか否かを判定する（Ｓ３３）。終了イベントであれば、処理を終了する。
【００９８】
イベントが終了イベントでなければ、画像合成部５７は、発生イベントが、拡張領域更新イベントであるか否かを判定する（Ｓ３５）。図７のステップＳ１７にて背景領域制御部５５が画像合成部５７に拡張領域更新イベントを送信した場合、ステップＳ３５がＹＥＳになる。拡張領域更新イベントは、拡張領域２５の画像及び座標情報（撮像画像空間上）を含む。画像合成部５７は、拡張領域記憶部５９に記憶されている拡張領域２５の画像及び座標情報を書き換え（Ｓ３７）、ステップＳ３１に戻る。
【００９９】
一方、ステップＳ３５がＮＯの場合、画像合成部５７は、発生イベントが画像合成イベントであるか否かを判定する（Ｓ３９）。ステップＳ３９がＮＯであれば、ステップＳ３１に戻る。図７のステップＳ２５にて背景領域制御部５５が画像合成部５７に画像合成イベントを送信した場合、ステップＳ３９がＹＥＳになる。画像合成イベントは、注目領域２１の画像と、補正画像空間と、注目領域２１を合成すべき位置と、背景領域２３の切出座標（撮像画像空間上）の指定とを含む。画像合成部５７は、拡張領域記憶部５９に記憶されている拡張領域２５から、指定された座標（切出位置）で背景領域２３を切り出し（Ｓ４１）、背景領域２３上に、指定された座標で注目領域２１を合成し（Ｓ４３）、ステップＳ３１に戻る。合成画像は、画像合成部５７から歪み補正部６１に供給されて、歪み補正にかけられ、表示部６３に表示される。
【０１００】
次に、図９及び図１０は、カメラ３の領域切出部３５の処理を示している。領域切出部３５は、概略的には次の４つの処理を行う。（１）ユーザに指定された背景領域２３から拡張領域２５を決定する。（２）背景領域２３と動き情報から注目領域２１を決定する。（３）拡張領域２５を切り出す。（４）注目領域２１を切り出す。これらの処理が、図９及び図１０により実現される。
【０１０１】
領域切出部３５は、イベントがあるか否かを判定し（Ｓ５１）、イベントがなければステップＳ５１の判定を繰り返す。イベントがある場合、そのイベントが終了イベントであるか否かを判定する（Ｓ５３）。終了イベントであれば、処理を終了する。
【０１０２】
イベントが終了イベントでなければ、領域切出部３５は、発生イベントが、端末装置５からの座標情報送信イベントであるか否かを判定する（Ｓ５５）。図６のステップＳ１１にて座標情報送信イベントが背景領域制御部５５により送信された場合、ステップＳ５５がＹＥＳになる。座標情報送信イベントは、補正画像空間における背景領域２３の座標情報を含む。領域切出部３５は、補正画像空間での背景領域２３の座標を、撮像画像空間の座標へと変換する（Ｓ５７）。また、領域切出部３５は、撮像画像空間の動き情報を画像認識部４１から取得する（Ｓ５９）。そして、背景領域制御部５５は、動き情報を利用して、拡張領域２５の座標情報を決定する（Ｓ６１）。ここでは、拡張領域２５は、背景領域２３を含み、背景領域２３より広く設定される。そして、拡張領域２５の中心が、注目領域２１の中心に対してずらされる。ずれ方向とずれ量は、注目領域２１の移動方向及び移動速度に応じて決定される。ずれ方向は移動方向に合わされる。また、ずれ量は、同じ拡張領域２５を使用する期間の注目領域２１の推定移動量に合わせて設定される。この推定移動量は、拡張領域２５の更新間隔と注目領域２１の移動速度から得られる。領域切出部３５は、ステップＳ６１で決定した撮像画像空間の拡張領域２５の座標情報を保持し（Ｓ６３）、ステップＳ６１に戻る。拡張領域２５の情報は、後段の領域送出時に使用される。
【０１０３】
更に、拡張領域２５の座標情報は、拡張領域２５の更新間隔をあけて、繰り返し更新される。更新処理では、最新の注目領域２１の座標情報（撮像画像空間上）から、拡張領域２５の座標情報（撮像画像空間上）が再度決定される。上述の処理と同様に、注目領域２１の動き情報に基づき、注目領域２１と拡張領域２５の中心がずれるように拡張領域２５の位置が決定される。更新された拡張領域２５の情報も領域切出部３５に保持される。
【０１０４】
一方、ステップＳ５５がＮＯの場合、領域切出部３５は、発生イベントが注目領域設定イベントであるか否かを判定する（Ｓ６５）。注目領域設定イベントでは、領域切出部３５は、画像認識部４１より動き情報を取得し（Ｓ６７）、動き量の大きな領域を注目領域２１として設定する（Ｓ６９）。そして、領域切出部３５は、ステップＳ６９で決定した注目領域２１の座標情報を、領域送出時に使用するために保持する（Ｓ７１）。
【０１０５】
注目領域２１の座標情報は、注目領域２１の更新間隔をあけて、すなわちフレーム毎に、繰り返し更新される。ここでは、ステップＳ６９で設定された注目領域２１が、動き情報に基づき追跡される。そして、各フレームのタイミングで、注目領域２１の最新の座標が決定される。更新された注目領域２１の情報も領域切出部３５に保持される。
【０１０６】
一方、ステップＳ６５がＮＯの場合、領域切出部３５は、発生イベントが領域送出イベントであるか否かを判定する（Ｓ７３）。ステップＳ７３がＮＯであれば、ステップＳ５１へ戻る。ステップＳ７３がＹＥＳであれば、領域切出部３５は、拡張領域２５の送出タイミングが到来したか否かを判定する（Ｓ７５）。ステップＳ７５がＹＥＳであれば、領域切出部３５は、ステップＳ６３にて保持された拡張領域２５の情報を利用して、撮像画像１１から拡張領域２５を切り出し（Ｓ７７）、拡張領域２５を映像符号化部３７に送信し（Ｓ７９）、ステップＳ５１に戻る。
【０１０７】
ステップＳ７５がＮＯであれば、領域切出部３５は、注目領域２１の送出タイミングが到来したか否かを判定する（Ｓ８１）。ステップＳ８１がＮＯであれば、ステップＳ５１へ戻る。ステップＳ８１がＹＥＳであれば、領域切出部３５は、ステップＳ７１にて保持された注目領域２１の情報を利用して、撮像画像１１から注目領域２１を切り出し（Ｓ８３）、注目領域２１を映像符号化部３７に送信し（Ｓ８５）、ステップＳ５１に戻る。
【０１０８】
なお、図３において、注目領域２１及び拡張領域２５の両方を更新すべきフレームでは、注目領域２１と拡張領域２５の更新タイミングが同時に到来し、ステップＳ７７、Ｓ７９の処理と、ステップＳ８３、Ｓ８５の処理とが、連続して行われる。また、注目領域２１のみを更新すべきフレームでは、ステップＳ８３、Ｓ８５の処理のみが行われる。
【０１０９】
以上に、図６〜図１０を参照して、背景領域制御部５５、画像合成部５７及び領域切出部３５の動作を詳細に説明した。上記の処理フローによれば、ユーザによりＰＴＺ情報が背景領域２３の情報として端末装置５に入力されると、図６の処理フローにより、背景領域２３の座標情報が端末装置５からカメラ３へと送信される。そして、図９及び図１０の処理フローにより、拡張領域２５及び注目領域２１が決定され、撮像画像１１から切り出される。切り出された拡張領域２５及び注目領域２１は、カメラ３から端末装置５に送信される。そして、図７及び図８の処理により、新しい拡張領域２５が受信されると、拡張領域記憶部５９の拡張領域２５が書き換えられる。また、注目領域２１が受信されると、背景領域２３が拡張領域２５から切り出され、そして切り出された背景領域２３が注目領域２１と合成される。こうして、図７〜図１０の処理フローにより、画像通信システム１の動作が実現される。
【０１１０】
次に、本実施の形態の変形例を説明する。上述のように、本実施の形態では、拡張領域２５が背景領域２３よりも広く設定され、そして、拡張領域２５から背景領域２３が繰り返し使用される。しかし、注目領域２１の移動速度が大きいために、拡張領域２５から背景領域２３を切り出せなくなる可能性がある。このような場合は、次の拡張領域２５の更新まで、正しい背景領域２３を切り出せないという問題が生じる。
【０１１１】
そこで、この変形例では、端末装置５にて背景領域２３を拡張領域２５から切り出せない場合に、端末装置５からカメラ３に拡張領域２５の更新が要求される。これにより、次の拡張領域２５の更新を待たずに、正しい背景領域２３を切り出すことができる。
【０１１２】
図１１は、上記の更新要求を実現する処理フローを示している。図１１は、端末装置５の背景領域制御部５５の処理フローであり、図７にステップＳ９１〜Ｓ９５が追加されている。ステップＳ９１では、背景領域制御部５５は、ステップＳ２３で決定された背景領域２３の座標情報（撮像画像空間上）を参照し、背景領域２３が拡張領域２５内であるか否かを判定する。背景領域２３が拡張領域２５に包含されていれば、前述の実施の形態と同様に、画像合成イベントが画像合成部５７に送信される。
【０１１３】
背景領域２３が拡張領域２５に包含されない場合、正しい背景領域２３を切り出すことができない。そこで、背景領域２３が再計算される（Ｓ９３）。背景領域制御部５５は、ステップＳ２３で決定された撮像画像空間座標上の背景領域２３を、補正画像空間での座標情報に変換する。そして、背景領域制御部５５は、ネットワーク送受信部５１に対して座標情報送信イベントを送信する（Ｓ９５）。この処理は、図６のステップＳ１１と同様である。再計算後の背景領域２３の座標情報がカメラ３に送信される。そして、カメラ３では、図９及び図１０の処理が行われ、新しい拡張領域２５が端末装置５に送り返される。
【０１１４】
次に、本実施の形態のもう一つの変形例を説明する。この変形例では、映像符号化部３７の処理が変更され、拡張領域２５よりも注目領域２１に優先的に符号量が割り当てられる。これにより、注目領域２１の高画質を維持しつつ、全体の符号量を低減でき、したがって、通信データ量を更に低減できる。
【０１１５】
図１２は、映像符号化部３７の処理フローであって、上記の符号量の割当て制御を実現する処理を示している。
【０１１６】
映像符号化部３７は、イベントがあるか否かを判定し（Ｓ１０１）、イベントがなければステップＳ１０１の判定を繰り返す。イベントがある場合、そのイベントが終了イベントであるか否かを判定する（Ｓ１０３）。終了イベントであれば、処理を終了する。
【０１１７】
イベントが終了イベントでなければ、映像符号化部３７は、発生イベントが、映像符号化イベントであるか否かを判定する（Ｓ１０５）。ステップＳ１０５がＹＥＳであれば、映像符号化部３７は、符号化すべき画像が拡張領域２５であるか否かを判定する（Ｓ１０７）。ステップＳ１０７がＹＥＳであれば、映像符号化部３７は発生符号量を抑制する（Ｓ１０９）。ここでは、例えば、量子化ステップが所定幅だけ大きい値に変更される。あるいは、別の手法で符号量が低減されてもよい。
【０１１８】
一方、ステップＳ１０７がＮＯであれば、映像符号化部３７は、符号化すべき画像が注目領域２１であるか否かを判定する（Ｓ１１１）。ステップＳ１１１がＮＯであれば、ステップＳ１０１に戻る。ステップＳ１１１がＹＥＳであれば、映像符号化部３７は発生符号量を増加させる（Ｓ１１３）。ここでは、例えば、量子化ステップが所定幅だけ小さい値に変更される。あるいは、別の手法で符号量が増大されてもよい。
【０１１９】
以上に本発明の実施の形態に係る画像通信システム１について説明した。本実施の形態によれば、撮像装置（カメラ３）が注目領域２１の画像と拡張領域２５の画像を切り出し、画像受信装置（端末装置５）に提供する。拡張領域２５は、注目領域２１を含む背景領域２３より更に広い領域である。拡張領域２５は、注目領域２１よりも大きな更新間隔をあけて提供され、画像受信装置に記憶される。画像受信装置は、記憶している拡張領域２５から背景領域２３を切り出し、背景領域２３と注目領域２１とを合成する。拡張領域２５が背景領域２３よりも広いので、注目領域２１が動いても拡張領域２５から背景領域２３を切り出すことができる。したがって、順次提供される複数の注目領域２１のために、拡張領域２５を繰り返し利用できる。
【０１２０】
したがって、本実施の形態によれば、切出処理が撮像装置側で行われ、歪み補正が画像受信装置で行われるので、歪み補正の多大な処理を撮像装置で行う必要がない。また、撮像画像１１の全体を送るためのリサイズが不要であり、リサイズによる画質の低下を避けられる。また、拡張領域２５が繰り返し利用可能であり、拡張領域２５の更新間隔が注目領域２１よりも大きくてよいので、通信データ量が少なくなる。こうして、歪み補正をカメラ側で行う必要がなく、画質が良好であり、通信データ量を低減できる画像通信システムを提供することができる。
【０１２１】
また、本実施の形態では、注目領域２１の移動方向に応じて拡張領域２５の切出位置が決定される。また、注目領域２１の移動速度に応じて拡張領域２５の切出位置が決定されてもよい。移動方向及び移動速度は、撮像画像１１の画像認識結果から得られてよい。このような構成により、注目領域２１が移動した場合でも、背景領域２３がより確実に拡張領域２５に含まれる。したがって、背景領域２３をより精度良く切り出すことができる。また、拡張領域２５の提供の間隔を増大できる。
【０１２２】
また、本実施の形態では、注目領域２１の移動速度に応じて拡張領域２５の更新間隔が変更される。移動速度は撮像画像１１の画像認識結果から得られてよい。この構成により、注目領域２１の移動速度が速い場合には更新間隔が短縮される。したがって、注目領域２１が速く移動する場合にも、拡張領域２５から背景領域２３をより確実に切り出すことができる。
【０１２３】
また、本実施の形態では、拡張領域２５の動き量に応じて、拡張領域２５の更新間隔が変更される。動き量は、撮像画像１１の画像認識結果から得られてよい。これにより、背景部分２３に変化が生じたときに、拡張領域２５を速やかに更新できる。
【０１２４】
また、本実施の形態では、注目領域２１の画像及び拡張領域２５の画像を符号化するときに、拡張領域２５よりも注目領域２１に優先的に符号量を割り当てる。これにより、注目領域２１の高画質を維持しつつ、全体の符号量を低減でき、したがって、通信データ量を更に低減できる。
【０１２５】
また、本実施の形態では、背景領域２３の中心に注目領域２１が位置するように、拡張領域２５から背景領域２３が切り出される。これにより、注目領域２１が背景領域２３の中央に位置するので、注目領域２１の視認性を向上できる。
【０１２６】
また、本実施の形態では、拡張領域２５から背景領域２３を切り出せない場合に、撮像装置に拡張領域２５の更新が要求される。これにより、注目領域２１の急激な移動などのために拡張領域２５から背景領域２３を切り出せなくなったときに、次の拡張領域２５の受信を待つことなく、新しい拡張領域２５を受信でき、正しい背景画像２３を切り出すことができる。
【０１２７】
以上に本発明の好適な実施の形態を説明した。しかし、本発明は上述の実施の形態に限定されず、当業者が本発明の範囲内で上述の実施の形態を変形可能なことはもちろんである。
【産業上の利用可能性】
【０１２８】
以上のように、本発明にかかる画像通信システムは、歪み補正をカメラ側で行う必要がなく、画質が良好であり、通信データ量を低減できるという効果を有し、監視カメラ等の画像通信システムとして有用である。
【図面の簡単な説明】
【０１２９】
【図１】本発明の実施の形態における画像通信システムを示す図
【図２】注目領域、背景領域及び拡張領域を説明する図
【図３】注目領域及び拡張領域の更新間隔を説明する図
【図４】画像通信システムのカメラの構成を示すブロック図
【図５】画像通信システムの端末装置の構成を示すブロック図
【図６】端末装置の背景領域制御部の動作を示すフロー図
【図７】端末装置の背景領域制御部の動作を示すフロー図
【図８】端末装置の画像合成部の動作を示すフロー図
【図９】カメラの領域切出部の動作を示すフロー図
【図１０】カメラの領域切出部の動作を示すフロー図
【図１１】変形例における背景領域制御部の動作を示すフロー図
【図１２】変形例における映像符号化部の動作を示すフロー図
【符号の説明】
【０１３０】
１ 画像通信システム
３ カメラ
５ 端末装置
７ ネットワーク
１１ 撮像画像
２１ 注目領域
２３ 背景領域
２５ 拡張領域
３１ 超広角レンズ
３３ 撮像部
３５ 領域切出部
３７ 映像符号化部
３９、５１ ネットワーク送受信部
４１ 画像認識部
４３ 注目領域切出部
４５ 拡張領域切出部
５３ 映像復号部
５５ 背景領域制御部
５７ 画像合成部
５９ 拡張領域記憶部
６１ 歪み補正部
６３ 表示部
６５ ユーザ指示入力部
【特許請求の範囲】
【請求項１】
撮像装置と、前記撮像装置から画像を受信する画像受信装置とを備えた画像通信システムであって、
前記撮像装置は、
広角レンズを用いて撮像画像を生成する撮像部と、
前記撮像画像から注目領域を切り出すと共に、前記注目領域を含む背景領域よりも更に広く設定された拡張領域を切り出す領域切出部とを有し、
前記拡張領域を、前記注目領域と比べて大きな更新間隔をあけて前記画像受信装置に送信し、
前記画像受信装置は、
受信した前記拡張領域を記憶する拡張領域記憶部と、
前記拡張領域から前記注目領域を含むように前記背景領域を切り出し、前記注目領域と前記背景領域を合成する画像合成部と、
前記広角レンズを用いた撮影により生じた歪みを補正する歪み補正部とを有し、
前記拡張領域が受信されるたびに、前記拡張領域記憶部の前記拡張領域を更新する
ことを特徴とする画像通信システム。
【請求項２】
広角レンズを用いて撮像画像を生成する撮像部と、
前記撮像画像から注目領域を切り出すと共に、前記注目領域を含む背景領域よりも更に広く設定された拡張領域を切り出す領域切出部と、
前記注目領域を送信すると共に、前記拡張領域を、前記注目領域と合成されるべき前記背景領域の切出元のデータとして送信する通信部とを有し、
前記拡張領域を、前記注目領域と比べて大きな更新間隔をあけて送信することを特徴とする撮像装置。
【請求項３】
前記領域切出部は、前記注目領域の移動方向に応じて前記拡張領域の切出位置を決定することを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記領域切出部は、前記注目領域の移動速度に応じて前記拡張領域の前記切出位置を決定することを特徴とする請求項２に記載の撮像装置。
【請求項５】
前記領域切出部は、前記注目領域の移動速度に応じて前記拡張領域の更新間隔を変更することを特徴とする請求項２に記載の撮像装置。
【請求項６】
前記領域切出部は、前記拡張領域の動き量に応じて、前記拡張領域の更新間隔を変更することを特徴とする請求項２に記載の撮像装置。
【請求項７】
前記注目領域の画像及び前記拡張領域の画像を符号化する符号化部を有し、前記拡張領域よりも前記注目領域に優先的に符号量を割り当てることを特徴とする請求項２に記載の撮像装置。
【請求項８】
広角レンズを用いて得られた撮像画像の注目領域および拡張領域を異なる更新間隔で受信する通信部と、
前記拡張領域を記憶する拡張領域記憶部と、
前記拡張領域から前記注目領域を含むように背景領域を切り出し、前記注目領域と前記背景領域を合成する画像合成部と、
前記広角レンズを用いた撮影により生じた歪みを補正する歪み補正部とを有し、
前記拡張領域が受信されるたびに、前記拡張領域記憶部の前記拡張領域を更新することを特徴とする画像受信装置。
【請求項９】
前記画像合成部は、前記背景領域の中心に前記注目領域が位置するように、前記拡張領域から前記背景領域を切り出すことを特徴とする請求項８に記載の画像受信装置。
【請求項１０】
前記拡張領域から前記背景領域を切り出せない場合に、前記拡張領域の更新を要求することを特徴とする請求項８に記載の画像受信装置。
【請求項１１】
撮像画像から注目領域と、前記注目領域を含む背景領域よりも更に広く設定される拡張領域を切り出し、
前記拡張領域を、前記注目領域と合成されるべき前記背景領域の切出元のデータとして、前記注目領域と比べて大きな更新間隔をあけて送信する画像送信方法。
【請求項１２】
撮像画像の注目領域および拡張領域を異なる更新間隔で受信し、
受信した前記拡張領域から前記注目領域を含むように背景領域を切り出し、
前記注目領域と前記背景領域を合成し、
合成した画像の歪みを補正する画像受信方法。
【請求項１】
撮像装置と、前記撮像装置から画像を受信する画像受信装置とを備えた画像通信システムであって、
前記撮像装置は、
広角レンズを用いて撮像画像を生成する撮像部と、
前記撮像画像から注目領域を切り出すと共に、前記注目領域を含む背景領域よりも更に広く設定された拡張領域を切り出す領域切出部とを有し、
前記拡張領域を、前記注目領域と比べて大きな更新間隔をあけて前記画像受信装置に送信し、
前記画像受信装置は、
受信した前記拡張領域を記憶する拡張領域記憶部と、
前記拡張領域から前記注目領域を含むように前記背景領域を切り出し、前記注目領域と前記背景領域を合成する画像合成部と、
前記広角レンズを用いた撮影により生じた歪みを補正する歪み補正部とを有し、
前記拡張領域が受信されるたびに、前記拡張領域記憶部の前記拡張領域を更新する
ことを特徴とする画像通信システム。
【請求項２】
広角レンズを用いて撮像画像を生成する撮像部と、
前記撮像画像から注目領域を切り出すと共に、前記注目領域を含む背景領域よりも更に広く設定された拡張領域を切り出す領域切出部と、
前記注目領域を送信すると共に、前記拡張領域を、前記注目領域と合成されるべき前記背景領域の切出元のデータとして送信する通信部とを有し、
前記拡張領域を、前記注目領域と比べて大きな更新間隔をあけて送信することを特徴とする撮像装置。
【請求項３】
前記領域切出部は、前記注目領域の移動方向に応じて前記拡張領域の切出位置を決定することを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記領域切出部は、前記注目領域の移動速度に応じて前記拡張領域の前記切出位置を決定することを特徴とする請求項２に記載の撮像装置。
【請求項５】
前記領域切出部は、前記注目領域の移動速度に応じて前記拡張領域の更新間隔を変更することを特徴とする請求項２に記載の撮像装置。
【請求項６】
前記領域切出部は、前記拡張領域の動き量に応じて、前記拡張領域の更新間隔を変更することを特徴とする請求項２に記載の撮像装置。
【請求項７】
前記注目領域の画像及び前記拡張領域の画像を符号化する符号化部を有し、前記拡張領域よりも前記注目領域に優先的に符号量を割り当てることを特徴とする請求項２に記載の撮像装置。
【請求項８】
広角レンズを用いて得られた撮像画像の注目領域および拡張領域を異なる更新間隔で受信する通信部と、
前記拡張領域を記憶する拡張領域記憶部と、
前記拡張領域から前記注目領域を含むように背景領域を切り出し、前記注目領域と前記背景領域を合成する画像合成部と、
前記広角レンズを用いた撮影により生じた歪みを補正する歪み補正部とを有し、
前記拡張領域が受信されるたびに、前記拡張領域記憶部の前記拡張領域を更新することを特徴とする画像受信装置。
【請求項９】
前記画像合成部は、前記背景領域の中心に前記注目領域が位置するように、前記拡張領域から前記背景領域を切り出すことを特徴とする請求項８に記載の画像受信装置。
【請求項１０】
前記拡張領域から前記背景領域を切り出せない場合に、前記拡張領域の更新を要求することを特徴とする請求項８に記載の画像受信装置。
【請求項１１】
撮像画像から注目領域と、前記注目領域を含む背景領域よりも更に広く設定される拡張領域を切り出し、
前記拡張領域を、前記注目領域と合成されるべき前記背景領域の切出元のデータとして、前記注目領域と比べて大きな更新間隔をあけて送信する画像送信方法。
【請求項１２】
撮像画像の注目領域および拡張領域を異なる更新間隔で受信し、
受信した前記拡張領域から前記注目領域を含むように背景領域を切り出し、
前記注目領域と前記背景領域を合成し、
合成した画像の歪みを補正する画像受信方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１０−２１９５８１（Ｐ２０１０−２１９５８１Ａ）
【公開日】平成２２年９月３０日（２０１０．９．３０）
【国際特許分類】
【出願番号】特願２００９−６０４２６（Ｐ２００９−６０４２６）
【出願日】平成２１年３月１３日（２００９．３．１３）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２２年９月３０日（２０１０．９．３０）
【国際特許分類】
【出願日】平成２１年３月１３日（２００９．３．１３）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]