映像処理装置、映像処理システム、テレビ会議システム、遠方監視システム、映像処理方法、及び映像装置
【課題】カメラで撮影された映像や動画に対する画像変換の高速化及び効率化を実現する。
【解決手段】撮像装置１０と該撮像装置に接続された処理装置２０を備える。撮像装置１０は、フレーム画像を取得し、該フレーム画像を処理装置２０に送る。処理装置２０は、撮像装置１０から送られたフレーム画像から被写体領域を探索して画像変換のための変換パラメータを算出し、該変換パラメータを撮像装置１０に送る。撮像装置１０は、処理装置２０から送られた変換パラメータを画像処理ユニット内に設定し、該設定した変換パラメータを用いてフレーム画像に対して画像変換を施し、変換済みフレーム画像を処理装置２０に送る。
【解決手段】撮像装置１０と該撮像装置に接続された処理装置２０を備える。撮像装置１０は、フレーム画像を取得し、該フレーム画像を処理装置２０に送る。処理装置２０は、撮像装置１０から送られたフレーム画像から被写体領域を探索して画像変換のための変換パラメータを算出し、該変換パラメータを撮像装置１０に送る。撮像装置１０は、処理装置２０から送られた変換パラメータを画像処理ユニット内に設定し、該設定した変換パラメータを用いてフレーム画像に対して画像変換を施し、変換済みフレーム画像を処理装置２０に送る。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラで撮影した映像に画像変換を施す技術に係り、詳しくは、該画像変換処理を行う映像処理装置及び映像処理システム、映像処理装置を使用したテレビ会議システム、映像処理システムを使用した遠方監視システム、更には、映像処理方法、撮像装置に関する。
【背景技術】
【０００２】
テレビ会議システムのテレビ端末等には、会議シーンを撮影するカメラ（撮像装置）が装備されているが、単に会議シーンを撮影するだけでなく、書画やホワイトボードなどを撮影して相手側と情報を共有するという使い方がある。この場合、撮影画像上の一部の領域に注目してその領域を拡大表示（デジタルズーム）したり、書画やホワイトボートを斜めから撮影した場合でも真正面から撮影しているかのように画像を補正（あおり補正）したりする画像変換処理が望まれる。これに関連して、デジタルカメラ向けのデジタルズームやあおり補正といった画像変換処理技術がすでに知られている（例えば、特許文献１、特許文献２等）。
【０００３】
しかしながら、今までの画像変換処理技術では、映像や動画のように連続したフレーム画像に対してリアルタイムにデジタルズームやあおり補正を行う場合には、映像装置内に、そのためのすべての機能を備えたＩＳＰ（Ｉmage Ｓignal Ｐrocessor）などのハードウエアを実装させることは困難であるという問題があった。例えば、あおり補正について云えば、撮影画像から被写体である書画やホワイトボートの領域（四辺形）を自動検出する処理は画像全体を探索する必要があるため、比較的複雑な処理となり、処理時間もかかり、映像や動画を対象とする場合には、ＩＳＰでのハードウエア実装が困難あるいは不可能である。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明は、撮像装置内のＩＳＰなどで、映像や動画のように連続したフレーム画像に対してリアルタイムに画像変換を行うことを可能して、画像変換の高速化及び効率化を実現することにある。
【０００５】
具体的には、本発明は、画像変換の高速化および効率化を実現した映像処理装置、映像処理システム、テレビ会議システム、遠方監視システム、映像処理方法、及び撮像装置を提供することにある。
【課題を解決するための手段】
【０００６】
本発明では、撮像装置と処理装置を備えて、座標変換のような比較的軽い画像処理を撮像装置側でＩＳＰ等で行い、フレーム画像から被写体領域を探索して変換パラメータを算出するような複雑な処理を処理装置側でＣＰＵ等で行うことを基本とする。また、撮像装置から処理装置にフレーム画像及び変換済みフレーム画像の両方を伝送するか、変換パラメータを算出するためのフレーム画像の伝送レートを変換済みフレーム画像の伝送レートと異ならせる。
【０００７】
詳しくは、本発明は、撮像装置と該撮像装置に接続された処理装置とを具備した映像処理装置であって、前記撮像装置は、フレーム画像を取得する画像取得手段と、前記フレーム画像を前記処理装置に送るフレーム画像伝送手段と、前記処理装置から送られた変換パラメータを該撮像装置内に設定する変換パラメータ設定手段と、前記設定された変換パラメータを用いてフレーム画像に対して画像変換を施す画像変換手段と、変換済みフレーム画像を前記処理装置に送る変換済みフレーム画像伝送手段を有し、前記処理装置は、前記撮像装置から送られたフレーム画像を用いて画像変換のための変換パラメータを算出する変換パラメータ算出手段と、前記変換パラメータを前記撮像装置に送る変換パラメータ伝送手段を有することを特徴とする。そして、前記撮像装置のフレーム画像伝送手段と変換済みフレーム画像伝送手段とで伝送レートを変える。
【０００８】
また、本発明は、撮像装置と該撮像装置に接続された処理装置とがネットワークを介して接続されてなる映像処理システムであって、前記撮像装置は、フレーム画像を取得する画像取得手段と、前記フレーム画像を前記ネットワークを介して前記処理装置に送るフレーム画像伝送手段と、前記処理装置から前記ネットワークを付して送られた変換パラメータを該撮像装置内に設定する変換パラメータ設定手段と、前記設定された変換パラメータを用いてフレーム画像に対して画像変換を施す画像変換手段と、変換済みフレーム画像を前記ネットワークを介して前記処理装置に送る変換済みフレーム画像伝送手段を有し、前記処理装置は、前記撮像装置から前記ネットワークを介して送られたフレーム画像を用いて画像変換のための変換パラメータを算出する変換パラメータ算出手段と、前記変換パラメータを前記ネットワークを介して前記撮像装置に送る変換パラメータ伝送手段を有することを特徴とする。
【０００９】
また、本発明は、複数のテレビ会議端末がネットワークを介して接続されてなるテレビ会議システムであって、テレビ会議端末は、上記映像処理装置を備えていることを特徴とする。
【００１０】
また、本発明は、上記映像処理システムを利用した遠方監視システムであって、複数の撮像装置がネットワークを介して監視センタの処理装置に接続され、処理装置は、複数の撮像装置からネットワークを介して送られてくる映像をそれぞれ表示する表示手段を備えていることを特徴とする。
【００１１】
また、本発明は、撮像装置と該撮像装置に接続された処理装置とによりフレーム画像を処理する映像処理方法であって、前記撮像装置が、フレーム画像を取得し、該フレーム画像を前記処理装置に送る過程と、前記処理装置が、前記撮像装置から送られたフレーム画像を用いて画像変換のための変換パラメータを算出し、該変換パラメータを前記撮像装置に送る過程と、前記撮像装置が、前記処理装置から送られた前記変換パラメータを当該撮像装置内に設定し、該設定した変換パラメータを用いてフレーム画像に対して画像変換を施し、変換済みフレーム画像を前記処理装置に送る過程とを有することを特徴とする。
【００１２】
また、本発明は、フレーム画像を取得する画像取得手段と、画像変換に使用する変換パラメータの算出を依頼するためにフレーム画像を伝送するフレーム画像伝送手段と、受信された変換パラメータを設定する変換パラメータ設定手段と、前記設定された変換パラメータを用いてフレーム画像に対して画像変換を施す画像変換手段と、前記画像変換を施された変換済みフレーム画像を伝送する変換済みフレーム画像伝送手段とを有する撮像装置を特徴とする。
【発明の効果】
【００１３】
本発明によれば、座標変換のような比較的軽い画像処理を撮像装置で行い、フレーム画像から被写体領域を探索して変換パラメータを算出するような複雑な処理を処理装置で行うようにしたので、映像や動画のように連続したフレーム画像に対する画像変換の高速化及び効率化が可能になる。また、変換パラメータを算出するためのフレームレートの伝送レートを低くすることで、メインに伝送すべき変換済みフレーム画像の伝送を高速に行うことができる。
【図面の簡単な説明】
【００１４】
【図１】あおり補正の概念図である。
【図２】あおり変換の説明図である。
【図３】あおり補正の変換パラメータ算出の説明図である。
【図４】実施例１の映像処理装置の構成図である。
【図５】実施例１の映像処理装置の機能ブロック図である。
【図６】実施例１の映像処理装置の処理フローチャートである。
【図７】デジタルズームの概念図である。
【図８】デジタルズームの逆変換の説明図である。
【図９】デジタルズームの変換パラメータ算出の説明図である。
【図１０】実施例２の映像処理装置の構成図である。
【図１１】実施例２の映像処理装置の機能ブロック図である。
【図１２】実施例２の映像処理装置の処理フローチャートである。
【図１３】ズーム表示領域と状態遷移の説明図である。
【図１４】実施例３の映像処理システムの構成図である。
【図１５】実施例３の映像処理システムの機能ブロック図である。
【図１６】実施例４の映像処理システムの構成図である。
【図１７】実施例４の映像処理システムの機能ブロック図である。
【図１８】実施例５のテレビ会議システムの構成図である。
【図１９】実施例６の遠方監視システムの構成図である。
【発明を実施するための形態】
【００１５】
以下、本発明の実施の形態について図面を用いて説明する。なお、以下の実施形態では画像変換としてあおり補正とデジタルズームを取り上げるが、本発明は、これ以外の種々の画像変換にも適用できることは云うまでもない。
【実施例１】
【００１６】
本実施例１は、撮像装置と該撮像装置に接続された処理装置とを備えて、撮像装置で撮影したフレーム画像に画像変換としてあおり補正を施して出力するに際して、撮像装置に接続された処理装置側で比較的複雑な処理を要する被写体領域の自動検出や変換パラメータの算出を行って、その変換パラメータを撮像装置側に送り、撮像装置側では、この変換パラメータを用いて比較的軽い画像変換処理であるあおり補正自体を行い、変換済みフレーム画像を処理装置側に送ることを特徴としている。さらに、撮像装置側から処理装置側へは、変換パラメータの算出のためにフレーム画像が送られるが、該フレーム画像と変換済みフレーム画像の伝送レートを異ならせることも特徴となっている。具体的にはフレーム画像の伝送レートを低くする。
【００１７】
はじめに、図１乃至図３によりあおり補正について説明する。
【００１８】
図１は、あおり補正の概念図であり、左側が被写体であるホワイトボードを斜めから撮影したフレーム画像、右側がフレーム画像に対してあおり補正を施した変換済みフレーム画像の一例をそれぞれ示している。あおり補正とは、被写体であるホワイトボードを斜めから撮影した場合でも、あたかも真正面から撮影したような画像を生成する処理である。
【００１９】
図２は、あおり変換（あおり補正の逆変換）を説明する図である。あおり変換とは、変換済みフレーム画像上の画素（ｘ，ｙ）からフレーム画像上の画素（ｘ’，ｙ’）への座標変換であり、変換式は、
【００２０】
【数１】
のように、行列を用いて表すことができる。ここで、行列の要素ｋ０，ｋ１，ｋ２，ｋ３，ｋ４，ｋ５，ｋ６，ｋ７が変換パラメータである。
【００２１】
あおり補正を施した変換済みフレーム画像を生成するためには、変換済みフレーム画像上の各画素の輝度値に対応するフレーム画像上の画素の輝度値を決定する必要がある。そのためには、変換済みフレーム画像上の各画素が、元のフレーム画像上のどの画素に相当するのかを知る必要があり、その座標を算出するために上記式（１）の変換式を利用する。また、そのためには、予め変換パラメータを算出しておく必要がある。
【００２２】
図３は、変換パラメータの算出の仕方を説明する図である。変換パラメータは、フレーム画像上のホワイトボードの四隅の座標および変換済みフレーム画像の四隅の座標を用いて、
【００２３】
【数２】
のような行列の方程式を解くことで算出することができる。
【００２４】
なお、変換済みフレーム画像の四隅の座標は変換済みフレーム画像のサイズに基づいて決まる。例えば画像の左上隅を原点とし、Ｘ座標の正を右方向、Ｙ座標の正を下方向とした場合、変換済みフレーム画像の大きさがＶＧＡ（640画素×480画素）であれば四隅の座標は（ｘ1’，ｙ1’）＝（0，0），（ｘ2’，ｙ2’）＝（639，0），（ｘ3’，ｙ3’）＝（0，479），（ｘ4’，ｙ4’）＝（639，479）となる。
【００２５】
本実施例１では、フレーム画像からホワイトボードの四隅の座標を検出して式（２）により変換パラメータを算出する比較的複雑な処理は処理装置側で行うようにし、フレーム画像に対して式（１）を利用して、あおり補正を施して変換済みフレーム画像を生成する比較的軽い処理は撮像装置側で行うようにする。さらに、撮像装置側から処理装置側へ、変換パラメータ算出のために送るフレーム画像の伝送レートと、変換済みフレーム画像を送る伝送レートとを異ならせるようにする。
【００２６】
図４に、本実施例１の映像処理装置の構成例を示す。実施例１の映像処理装置は少なくとも撮像装置１０と処理装置２０で構成される。処理装置２０は、例えばパソコンである。撮像装置１０と処理装置２０の間は有線（ＵＳＢ等）あるいは無線で接続される。
【００２７】
撮像装置１０はレンズ１１、該レンズ１１で結像された光学像を電気信号のフレーム画像に変換するＣＣＤやＣＭＯＳなどのセンサ１２、フレーム画像に対して各種画像処理を行うＩＳＰなどの画像処理ユニット１３、フレーム画像や変換済みフレーム画像、その他のデータ、制御信号などを処理装置２０とやり取りするＩ／Ｆユニット１４などで構成される。
【００２８】
処理装置２０は、撮像装置１０とフレーム画像や変換済みフレーム画像、その他のデータ、制御信号などをやり取りするＩ／Ｆユニット２１、種々の処理を実行するＣＰＵ２２、ＣＰＵ２２の処理に必要な各種ソフトウエアやデータ、フレーム画像や変換済みフレーム画像などを格納するメモリ２３、該処理装置２０に接続したモニタ（不図）などに映像信号を送る映像出力ユニット２４、映像信号などネットワークに接続した別の装置に送る通信ユニット２５、装置全体を制御する制御ユニット２６、各ユニットを接続するバス２７などで構成される。メモリ２３はＲＡＭ，ＲＯＭ，ＨＤＤなどの総称である。他にユーザからの操作指示受付ユニットなどもあるか、図４では省略してある。
【００２９】
この実施例１の映像処理装置は、撮像装置１０の画像処理ユニット１３があおり補正の画像変換機能を有し、処理装置２０のＣＰＵ２２が変換パラメータ算出機能を有する。
【００３０】
図５に、実施例１の映像処理装置の全体的機能ブロック図を示す。撮像装置１０では、画像取得部１２１がフレーム画像を生成し、画像変換部１３１およびフレーム画像伝送部１４２に送る。フレーム画像伝送部１４２はフレーム画像を処理装置２０に送る。処理装置２０では、変換パラメータ算出部２２１がフレーム画像から変換パラメータを算出し、変換パラメータ伝送部２１１に送る。変換パラメータ伝送部２１１は変換パラメータを撮像装置１０に送る。撮像装置１０では、変換パラメータ設定部１３２が変換パラメータを当該画像処理ユニット１３内に設定する。画像変換部１２１は、設定された変換パラメータをもとに、フレーム画像に対してあおり補正を施して変換済みフレーム画像を生成し、変換済みフレーム画像伝送部１４１に送る。変換済みフレーム画像伝送部１４１は変換済みフレーム画像を処理装置２０に送る。処理装置２０は、変換済みフレーム画像を該処理装置３０に接続されたディスプレイなどの映像出力装置に表示したり、ネットワークで接続された他の装置に送信したりする。
【００３１】
図６に、図５の機能ブロック図の処理フローチャートを示す。以下、図６に従って実施例１の撮像装置１０と処理装置２０の動作を詳しく説明する。
【００３２】
撮像装置１０は、画像取得部（センサ）１２１が光学像を電気信号に変換してフレーム画像を生成し、画像変換部１３１及びフレーム画像伝送部１４２に送る（ステップ１０１０）。フレーム画像伝送部１４２は、このフレーム画像を処理装置２０に送る（ステップ１０２０）。このフレーム画像は、変換パラメータを算出するために使用されるもので、必ずしもリアルタイムに処理装置２０へ送る必要はない。したがって、変換済みフレーム画像伝送部１４１からの変換済みフレーム画像の伝送レートよりも低レートの伝送で構わない。
【００３３】
処理装置２０は、変換パラメータ算出部（ＣＰＵ）２２１が、フレーム画像から変換パラメータを算出する（ステップ１０３０）。具体的には、変換パラメータ算出部２２１では、フレーム画像から被写体であるホワイトボードの領域を検出し、その領域の四隅の座標及び画像サイズに基づいて予め決まる変換済みフレーム画像の四隅の座標を先の式（２）の方程式に代入して、該方程式を解くことで変換パラメータを算出する（図３参照）。
【００３４】
ここで、フレーム画像からホワイトボートの四隅の座標を検出する処理は、例えば、次のようにして行う。
【００３５】
Ｓｔｅｐ１：フレーム画像から濃淡画像（輝度画像）を生成
Ｓｔｅｐ２：濃淡画像からエッジを検出し、ホワイトボードの周囲の四辺を検出
Ｓｔｅｐ３：隣接する二辺の交点を算出して、ホワイトボードの四隅の座標を算出
なお、例えば特許文献３にもホワイトボート領域の自動検出方法が開示されており、ここに開示されているような方法を用いて、フレーム画像からホワイトボードの領域を検出することでもよい。
【００３６】
図６に戻り、処理装置２０の変換パラメータ伝送部２１１は、変換パラメータを撮像装置１０に送る（ステップ１０４０）。
【００３７】
撮像装置１０は、変換パラメータ設定部１３２にて、処理装置２０から送られてきた変換パラメータを画像処理ユニット（ＩＳＰ等）１３内のメモリに設定する（ステップ１０５０）。
【００３８】
画像変換部１３１は、画像処理ユニット１３内に設定されている変換パラメータを使用して、画像取得部１２１から送られてきたフレーム画像に対してあおり変換を施し、変換済みフレーム画像を生成する（ステップ１０６０）。具体的には、次のように処理する（図２参照）。
【００３９】
Ｓｔｅｐ１：変換済みフレーム画像において輝度値を算出する画素を決定（その座標を（ｘ，ｙ）とする）
Ｓｔｅｐ２：式（１）の変換式を用いて座標（ｘ，ｙ）に対応するフレーム画像上の画素の座標（ｘ’，ｙ’）を算出
Ｓｔｅｐ３：座標（ｘ’，ｙ’）の輝度値を算出
Ｓｔｅｐ４：座標（ｘ’，ｙ’）の輝度値を座標（ｘ，ｙ）の輝度値に設定
画像変換部１３１では、変換済みフレーム画像上の全ての画素の輝度値を決定するまで、Ｓｔｅｐ１〜４の処理を繰り返すことになる。
【００４０】
変換済みフレーム画像伝送部１４１は、処理装置２０に変換済みフレーム画像を送る（ステップ１０７０）。実際には、画像変換部１３１と変換済みフレーム画像伝送部１４１は平行して動作する。また、変換済みフレーム画像の伝送は、先の変換パラメータ算出のために送られるフレーム画像に比べて高速に行なわれる。
【００４１】
処理装置２０は、撮像装置１０から送られてくる変換済みフレーム画像を映像出力ユニット２４や通信ユニット２５などを通して、ディスプレイなどの映像出力装置に表示したり、ネットワークを介して他の装置に送信したりする。
【００４２】
なお、フレーム画像上のホワイトボード領域の座標が変化しない（ホワイトボードやカメラの位置が変わらない）場合、変換パラメータをフレーム画像ごとに再計算する必要はない。従って、実際には次のような方法とすることが好ましい。これにより、処理の効率化が可能になる。
方法１：ホワイトボードやカメラの位置が変わった場合に、ユーザ指示で変換パラメータを再計算する。この場合、ユーザ指示があった場合にだけ、撮像装置１０は、フレーム画像伝送部１４２から処理装置２０にフレーム画像を送る。処理装置２０は、フレーム画像が送られてくると、変換パラメータ算出部２１１で変換パラメータを再計算して、変換パラメータ伝送部２１１から撮像装置１０に変換パラメータを送る。撮像装置１０は、変換パラメータ設定部１３２で変換パラメータを再設定し、画像変換部１３１では設定されている変換パラメータを使用して、画像取得部１２１から送られてきたフレーム画像に対してあおり補正をひたすら行う。
方法２：ホワイトボードやカメラの位置が変化する／しないに関わらず一定時間ごとに変換パラメータを再計算する。この場合、撮像装置１０は、一定時間ごとにフレーム画像伝送部１４２から処理装置２０にフレーム画像を送る。処理装置２０も一定時間ごとに、変換パラメータ算出部２１１で変換パラメータを再計算して、変換パラメータ伝送部２１１から撮像装置１０に該変換パラメータを送る。撮像装置１０は、変換パラメータ設定部１３２で変換パラメータを再設定し、画像変換部１３１では設定されている変換パラメータを使用して、画像取得部１２１から送られてきたフレーム画像に対してあおり補正をひたすら行う。
【００４３】
実施例１の映像処理装置によれば、撮影して得られたフレーム画像からあおり補正を施した変換済みフレーム画像を高速かつ効率的に生成することができる。また、変換パラメータを算出するためのフレーム画像の伝送レートを低くすることで、メインに伝送するべき変換済みフレーム画像の伝送を高速に行うことができる。
【実施例２】
【００４４】
本実施例２は、撮像装置と該撮像装置に接続された処理装置とを備えて、撮像装置で撮影したフレーム画像に画像変換としてデジタルズームを施して出力するに際して、撮像装置に接続された処理装置側でデジタルズームに必要な変換パラメータの算出を行って、その変換パラメータを撮像装置側に送り、撮像装置側では、この変換パラメータを用いてデジタルズーム処理を行い、デジタルズームの施された変換済みフレーム画像を処理装置側に送ることを特徴としている。さらに、本実施例でも、撮像装置側から処理装置側へは、変換パラメータの算出のためにフレーム画像が送られるが、該フレーム画像と変換済みフレーム画像の伝送レートを異ならせる（フレーム画像の伝送レートを低くする）ことも特徴となっている。
【００４５】
はじめに、図７乃至図９によりデジタルズームについて説明する。
【００４６】
図７は、デジタルズームの概念図であり、左側が被写体であるホワイトボードを撮影したフレーム画像、右側がフレーム画像に対してデジタルズーム（ズームイン）に相当する処理を施した変換済みフレーム画像の一例をそれぞれ示している。
【００４７】
図８は、デジタルズームの逆変換を説明する図である。ここでいうデジタルズームの逆変換とは、変換済みフレーム画像上の画素（ｘ，ｙ）からフレーム画像上の画素（ｘ’，ｙ’）への座標変換であり、変換式は、
【００４８】
【数３】
のように、行列を用いて表すことができる。式（３）は先の式（１）と同じであり、変換パラメータは行列の要素ｋ０，ｋ１，ｋ２，ｋ３，ｋ４，ｋ５，ｋ６，ｋ７である。
【００４９】
デジタルズームを施した変換済みフレーム画像を生成するためには、変換済みフレーム画像上の各画素の輝度値に対応するフレーム画像上の画素の輝度値を決定する必要がある。そのためには変換済みフレーム画像上の各画素が、もとのフレーム画像上のどの画素に相当するのかを知る必要があり、その座標を算出するために上記の式（３）を利用する。また、そのためには、あらかじめ変換パラメータを算出しておく必要がある。
【００５０】
図９は、変換パラメータの算出の仕方を説明する図である。これは、先の図３と基本的に同じである。すなわち、変換パラメータは、フレーム画像上のズーム表示領域の四隅の座標および変換済みフレーム画像の四隅の座標を用いて、
【００５１】
【数４】
のような行列の方程式を解くことで算出することができる。フレーム画像上のズーム表示領域はズームボタンの押下状況によって決まる。一方、変換済みフレーム画像の四隅の座標は、実施例１と同様に変換済みフレーム画像のサイズに基づいて一義的に決まる。
【００５２】
本実施例２では、実施例１と同様に、フレーム画像上のズーム表示領域の四隅の座標を取得して式（４）により変換パラメータを算出する比較的複雑な処理は処理装置側で行うようにし、式（３）を利用してデジタルズーム処理を行い、デジタルズームを施した変換済みフレーム画像を生成する比較的軽い処理は撮像装置側で行うようにする。さらに、ここでも撮像装置側から処理装置側へ、変換パラメータ算出のために送るフレーム画像の伝送レートと、変換済みフレーム画像を送る伝送レートを異ならせるようにする。
【００５３】
図１０に、実施例２の映像処理装置の構成例を示す。実施例２の映像処理装置も少なくとも撮像装置３０と処理装置（パソコン等）４０で構成される。撮像装置３０と処理装置４０の間は有線（ＵＳＢ等）あるいは無線で接続される。
【００５４】
撮像装置３０はレンズ３１、該レンズ３１で結像された光学像を電気信号のフレーム画像に変換するＣＣＤやＣＭＯＳなどのセンサ３２、フレーム画像に対して各種画像処理を行うＩＳＰなどの画像処理ユニット３３、フレーム画像や変換済みフレーム画像、その他のデータ、制御信号などを処理装置４０とやり取りするＩ／Ｆユニット３４などで構成される。
【００５５】
処理装置４０は、撮像装置３０とフレーム画像や変換済みフレーム画像、その他のデータ、制御信号などをやり取りするＩ／Ｆユニット４１、種々の処理を実行するＣＰＵ４２、ＣＰＵ４２の処理に必要な各種ソフトウエアやデータ、フレーム画像や変換済みフレーム画像などを格納するメモリ４３、ユーザからズーム指示を受け付けるズーム指示受付ユニット４４、該処理装置４０に接続したモニタなどに映像信号を送映像出力ユニット４５、映像信号などのネットワークに接続した別の装置に送る通信ユニット４６、装置全体を制御する制御ユニット４７、各ユニットを接続するバス４８などで構成される。ここでも、メモリ４３はＲＡＭ，ＲＯＭ，ＨＤＤなどの総称である。
【００５６】
この実施例２の映像処理装置は、撮像装置３０の画像処理ユニット３１がデジタルズームの画像変換機能を有し、処理装置４０のＣＰＵ４２が変換パラメータ算出機能を有する。
【００５７】
なお、ユーザからのズーム指示を受け付ける方法としては、処理装置４０の自体のズームイン／ズームアウトのボタンや、操作リモコンのズームイン／ズームアウトのボタンなどが考えられる。以下では、処理装置４０自体に備えられたズームインボタンとズームアウトボタンでユーザの指示を受け付ける場合について説明する。
【００５８】
図１１に、実施例２の映像処理装置の全体的機能ブロック図を示す。撮像装置３０では、像取得部３２１がフレーム画像を生成し、画像変換部３３１およびフレーム画像伝送部３４２に送る。フレーム画像伝送部３４２はフレーム画像を処理装置４０に送る。処理装置３０では、ズーム指示受付部４４１がユーザからのズームイン／ズームアウトの指示があった場合に制御部４７１に通知し、制御部４７１から変換パラメータ算出部４２１に対して変換パラメータの算出を指示する。変換パラメータ算出部４２１はフレーム画像およびズームボタンの押下状況から変換パラメータを算出し、変換パラメータ伝送部４１１に送る。変換パラメータ伝送部４１１は変換パラメータを撮像装置３０に送る。撮像装置３０では、変換パラメータ設定部３２２が変換パラメータを当該画像処理ユニット３３内に設定する。画像変換部３３１は、設定された変換パラメータを用いて変換式をもとにフレーム画像に対してデジタルズーム処理を施して変換済みフレーム画像を生成し、変換済みフレーム画像伝送部３４１に送る。変換済みフレーム画像伝送部３４１は変換済みフレーム画像を処理装置４０に送る。処理装置４０では、変換済みフレーム画像を該処理装置４０に接続されたディスプレイなどの映像出力装置に表示したり、ネットワークで接続された他の装置に送信したりする。
【００５９】
なお、ユーザからズーム指示がない場合には、撮像装置３０では、画像変換部３３１は画像取得部３２１からのフレーム画像をそのまま変換済みフレーム画像伝送部３４１に送り、変換済みフレーム画像伝送部３４１も、このフレーム画像をそのまま処理装置４０に送ることになる。
【００６０】
図１２に、図１１の機能ブロック図の処理フローチャートを示す。以下、図１２に従って実施例２の撮像装置３０と処理装置４０の動作を詳しく説明する。
【００６１】
撮像装置３０は、画像取得部（センサ）３２１がレンズを通った光学像を電気信号に変換してフレーム画像を生成し、画像変換部３３１及びフレーム画像伝送部３４２に送る（ステップ２０１０）。図１２では省略したが、通常では、画像変換部３３１は画像取得部３２１からのフレーム画像をそのまま変換済みフレーム画像伝送部３４１に送り、変換済みフレーム画像伝送部３４１は同様に、このフレーム画像をそのまま処理装置４０に送る。
【００６２】
一方、フレーム画像伝送部３４２も、フレーム画像を処理装置４０に送る（ステップ２０２０）。本実施例２でも、このフレーム画像は変換パラメータを算出するために使用されるもので、必ずしもリアルタイムに処理装置４０へ送る必要はない。したがって、変換済みフレーム画像伝送部３４１から送出されるフレーム画像あるいは変換済みフレーム画像の伝送レートよりも低レートの伝送で構わない。
【００６３】
なお、フレーム画像伝送部３４２は、ユーザからズーム指示があった場合のみフレーム像を処理装置４０に送ることでもよい。ユーザからズーム指示があったことは後述する処理装置４０のフレーム指示受付部４４１あるいは制御部４７１が通知すればよい。
【００６４】
処理装置４０は、当該処理装置自体などに備えられたズームイン／ズームアウトボタンでユーザがズーム指示があった場合、ズーム指示受付部４４１が、このズーム指示を受け付けて制御部４７１に通知する（ステップ２０３０）。制御部４７１は、変換パラメータ算出部４２１に対して変換パラメータの算出を指示する（ステップ２０４０）。
【００６５】
変換パラメータ算出部４２１では、フレーム画像上のズーム表示領域の四隅の座標および変換済みフレーム画像の四隅の座標からデジタルズームの変換パラメータを算出する（ステップ２０５０）。具体的には、フレーム画像上のズーム表示領域の四隅の座標を式（４）の方程式に代入して、該方程式を解くことで変換パラメータを算出する（図９参照）。ズーム表示像域については後述する。変換パラメータ伝送部４１１は、変換パラメータを撮像装置３０に送る（ステップ２０６０）。
【００６６】
撮像装置３０は、変換パラメータ設定部３３２にて、処理装置４０から送られてきた変換パラメータを当該画像処理ユニット３３内のメモリに設定する（ステップ２０７０）。
【００６７】
画像変換部３３１は、当該画像処理ユニット３３内に設定されている変換パラメータを使用して、画像取得部３２１から送られてきたフレーム画像に対してデジタルズームを施し、変換済みフレーム画像を生成する（ステップ２０８０）。具体的には、次のように処理する（図８参照）。これは、あおり補正の場合と基本的に同じである。
【００６８】
Ｓｔｅｐ１：変換済みフレーム画像において輝度値を算出する画素を決定（その座標を（ｘ，ｙ）とする）。
Ｓｔｅｐ２：式（３）の変換式を用いて座標（ｘ，ｙ）に対応するフレーム画像上の画素の座標（ｘ’，ｙ’）を算出
Ｓｔｅｐ３：座標（ｘ’，ｙ’）の輝度値を算出
Ｓｔｅｐ４：座標（ｘ’，ｙ’）の輝度値を座標（ｘ，ｙ）の輝度値に設定
画像変換部３３１では、変換済みフレーム画像上の全ての画素の輝度値を決定するまで、Ｓｔｅｐ１〜４の処理を繰り返すことになる。
【００６９】
変換済みフレーム画像伝送部３４１は、処理装置４０に変換済みフレーム画像を送る（ステップ２０９０）。実際には、画像変換部３３１と変換済みフレーム画像伝送部３４１は平行して動作する。
【００７０】
以降、ズームボタンの押下状況が変化していなければ、画像変換部３３１は、設定されている変換パラメータをひたすら使用して、フレーム画像に対してデジタルズーム処理を行い、変換済みフレーム画像伝送部３４１は順次、その変換済みフレーム画像を処理装置４０に送る。
【００７１】
処理装置４０は、撮像装置３０から送られてくる変換済みフレーム画像を映像出力ユニット２４や通信ユニット２５などを通して、ディスプレイなどの映像出力装置に表示したり、ネットワークを介して他の装置に送信したりする（ステップ２１００）。
【００７２】
図１３は、フレーム画像のズーム表示領域とズームイン／ズームアウトボタン押下の関係を示したものである。ズーム表示領域とは、左図に示すようにフレーム画像と同一の中心を有する矩形領域である。複数のズーム表示領域が事前に決められており、ズームインボタン／ズームアウトボタンの押下状態でどのズーム表示領域を表示するかが決まる。その状態遷移を右図に示す。状態に関する情報は処理装置側で保持しておく必要があり、ズームインボタン／ズームアウトボタンが押下されるたびに状態を更新することになる。
【００７３】
実際の状態遷移について簡単に説明する。初期状態からズームインボタンが押下されると、ズーム表示領域１を表示するようにデジタルズーム処理を行い、状態１に遷移する。状態１で更にズームインボタンが押下されれば、ズーム表示領域２を表示するようにデジタルズーム処理を行い、状態２に遷移する。また状態２でズームアウトボタンが押下されれば、ズーム表示領域１を表示するようにデジタルズーム処理を行い、状態１に戻る。
【００７４】
実施例２の映像処理装置によれば、撮影して得られたフレーム画像からズームイン／ズームアウト（デジタルズーム）を施した変換済みフレーム画像を高速かつ効率的に生成することができる。また、変換パラメータを算出するためのフレーム画像の伝送レートを低くすることで、メインに伝送するべき変換済みフレーム画像の伝送を高速に行うことができる。
【００７５】
なお、実施例１と実施例２を一緒にすることも可能である。その場合、大部分の構成・機能を共通化できる。
【実施例３】
【００７６】
本実施例３は、実施例１をネットワーク環境に拡張し、撮像装置と処理装置がネットワークで接続された映像処理システムにおいて、処理装置であおり補正に必要な変換パラメータを算出して、その変換パラメータを撮像装置に送り、撮像装置では、この変換パラメータを使用して、撮影して得られたフレーム画像に対してあおり補正を行い、あおり補正された変換済みフレーム画像を処理装置に送ることを特徴としている。また、撮像装置から処理装置へは、変換パラメータの算出のためにフレーム画像を送るが、本実施例３でも、該フレーム画像と変換済みフレーム画像の伝送レートを異ならせる（フレーム画像の伝送レートを低くする）ことも特徴となっている。
【００７７】
図１４に、実施例３の映像処理システムの構成例を示す。実施例３の映像処理システムは撮像装置５０、処理装置６０、及びネットワーク９０で構成される。処理装置６０は例えば監視センタである。
【００７８】
撮像装置５０はレンズ５１、該レンズ５１で結像された光学像を電気信号のフレーム画像に変換するＣＣＤやＣＭＯＳなどのセンサ５２、フレーム画像に対して各種画像処理を行うＩＳＰなどの画像処理ユニット５３、フレーム画像や変換済みフレーム画像、変換パラメータ、制御信号などをネットワーク９０を介して処理装置６０と送受信する通信ユニット５４などで構成される。
【００７９】
処理装置６０は、種々の処理を実行するＣＰＵ６１、ＣＰＵ６１の処理に必要な各種ソフトウエアやデータ、フレーム画像や変換済みフレーム画像などを格納するメモリ６２、該処理装置６０に接続したモニタなどに映像信号を送る映像出力ユニット６３、フレーム画像や変換済みフレーム画像、変換パラメータ、制御信号などをネットワーク９０を介して撮像装置５０と送受信する通信ユニット６４、装置全体を制御する制御ユニット６５、及び、各ユニットを接続するバス６６などで構成される。メモリ６２はＲＡＭ，ＲＯＭ，ＨＤＤなどの総称である。処理装置６０は、他にユーザからの操作指示受付ユニットなどもあるか、図１４では省略してある。
【００８０】
先の実施例１と同様に、この実施例３においても、撮像装置５０の画像処理ユニット５３があおり補正の画像変換機能を有し、処理装置６０のＣＰＵ６１があおり補正に用いる変換パラメータの算出機能を有する。
【００８１】
図１５に、実施例３の映像処理システムの全体的機能ブロック図を示す。撮像装置５０では、画像取得部５２１がフレーム画像を生成し、画像変換部５３１およびフレーム画像伝送部５４２に送る。フレーム画像伝送部５４２は、このフレーム画像をネットワーク９０を介して処理装置６０に送る。処理装置６０では、変換パラメータ算出部６１１がフレーム画像から変換パラメータを算出し、変換パラメータ伝送部６４１に送る。変換パラメータ伝送部６４１は、この変換パラメータをネットワーク９０を介して撮像装置５０に送る。撮像装置５０では、変換パラメータ設定部５３２が変換パラメータを当該処理ユニット内に設定する。画像変換部５３１は、設定された変換パラメータを用いてフレーム画像に対して画像変換を施してこの変換済みフレーム画像を生成し、変換済みフレーム画像伝送部５４１に送る。変換済みフレーム画像伝送部５４１は、この変換済みフレーム画像をネットワーク９０を介して処理装置６０に送る。処理装置６０では、この変換済みフレーム画像を該処理装置６０に接続されたディスプレイなどの映像出力装置に表示する。
【００８２】
あおり補正に必要な変換パラメータの算出のやり方、フレーム画像に対するあおり補正処理のやり方などは、先の実施例１と同様であるので、説明は省略する。
【００８３】
実施例３においても、撮像装置５０から処理装置６０に送られるフレーム画像は、変換パラメータを算出するために使用されるもので、必ずしもリアルタイムに処理装置５０へ送る必要はない。したがって、フレーム画像は、変換済みフレーム画像の伝送レートより低いレートの伝送で構わない。さらに、先の実施例１で述べたように、フレーム画像は、一定時間毎あるいはユーザ指示があった場合にだけ送ることでもよい。これにより、処理の効率化が可能になると共に、ネットワーク９０の有効利用が可能になる。
【実施例４】
【００８４】
本実施例４は、実施例２をネットワーク環境に拡張し、撮像装置と処理装置がネットワークで接続された映像処理システムにおいて、処理装置でデジタルズームに必要な変換パラメータを算出して、その変換パラメータを撮像装置に送り、撮像装置では、この変換パラメータを使用して、撮影して得られたフレーム画像に対してデジタルズームを行い、デジタルズームされた変換済みフレーム画像を処理装置に送ることを特徴としている。また、撮像装置から処理装置へは、変換パラメータの算出のためにフレーム化画像を送るが、本実施例４でも、該フレーム画像と変換済みフレーム画像の伝送レートを異ならせる（フレーム画像の伝送レートを低くする）ことも特徴となっている。
【００８５】
図１６に、実施例４の映像処理システムの構成例を示す。実施例３と同様に実施例４の映像処理システムは撮像装置７０、処理装置８０、及びネットワーク９０で構成される。ここでも処理装置６０は例えば監視センタなどである。
【００８６】
撮像装置７０はレンズ７１、該レンズ７１で結像された光学像を電気信号のフレーム画像に変換するＣＣＤやＣＭＯＳなどのセンサ７２、フレーム画像に対して各種画像処理を行うＩＳＰなどの画像処理ユニット７３、フレーム画像や変換済みフレーム画像、変換パラメータ、制御信号などをネットワーク９０を介して処理装置８０と送受信する通信ユニット７４などで構成される。
【００８７】
処理装置８０は、種々の処理を実行するＣＰＵ８１、ＣＰＵ８１の処理に必要な各種ソフトウエアやデータ、フレーム画像や変換済みフレーム画像などを格納するメモリ８２、ユーザからズーム指示を受け付けるズーム指示受付ユニット８３、該処理装置８０に接続したモニタなどに映像信号を送る映像出力ユニット８４、フレーム画像や変換済みフレーム画像、変換パラメータ、制御信号などをネットワーク９０を介して撮像装置７０と送受信する通信ユニット８５、装置全体を制御する制御ユニット８６、及び、各ユニットを接続するバス８７などで構成される。メモリ８２はＲＡＭ，ＲＯＭ，ＨＤＤなどの総称である。
【００８８】
先の実施例２と同様に、この実施例４においても、撮像装置７０の画像処理ユニット７３がデジタルズーム補正の画像変換機能を有し、処理装置８０のＣＰＵ８１がデジタルズーム処理に用いる変換パラメータの算出機能を有する。
【００８９】
図１７に、実施例４の映像処理システムの全体的機能ブロック図を示す。撮像装置７０では、画像取得部７２１がフレーム画像を生成し、画像変換部７３１およびフレーム画像伝送部７４２に送る。フレーム画像伝送部７４２は、このフレーム画像をネットワーク９０を介して処理装置８０に送る。処理装置８０では、ズーム指示受付部８３１がユーザからのズームイン／ズームアウトの指示があった場合に制御部８６１に通知し、制御部８６１から変換パラメータ算出部８１１に対して変換パラメータの算出を指示する。変換パラメータ算出部８１１はフレーム画像およびズームボタンの押下状況から変換パラメータを算出し、変換パラメータ伝送部８５１に送る。変換パラメータ伝送部８５１は、この変換パラメータをネットワーク９０を介して撮像装置７０に送る。撮像装置７０では、変換パラメータ設定部７３２が、この変換パラメータを当該画像処理ユニット７３内に設定する。画像変換部７３１は、設定された変換パラメータを用いてフレーム画像に対してデジタルズーム処理を施して変換済みフレーム画像を生成し、変換済みフレーム画像伝送部７４１に送る。変換済みフレーム画像伝送部７４１は、この変換済みフレーム画像をネットワーク９０を介して処理装置８０に送る。処理装置８０では、この変換済みフレーム画像を該処理装置８０に接続されたディスプレイなどの映像出力装置に表示する。
【００９０】
なお、ユーザからズーム指示がない場合には、撮像装置７０では、画像変換部７３１は画像取得部７２１からのフレーム画像をそのまま変換済みフレーム画像伝送部７４１に送り、変換済みフレーム画像伝送部７４１も、このフレーム画像をそのまま処理装置８０に送ることになる。
【００９１】
デジタルズーム処理に必要な変換パラメータの算出のやり方、フレーム画像に対するデジタルズーム処理のやり方などは、先の実施例２と同様であるので、説明は省略する。
【００９２】
実施例４においても、フレーム画像伝送部７４２から処理装置８０に送られるフレーム画像は、変換パラメータを算出するために使用されるもので、必ずしもリアルタイムに処理装置８０へ送る必要はない。したがって、変換済みフレーム画像伝送部７４１から処理装置８０に送られるフレーム画像あるいは変換済みフレーム画像の伝送レートより低いレートの伝送で構わない。さらに、先の実施例２で述べたように、フレーム画像伝送部７４２は、ズームイン／ズームアウト指示があった場合にだけフレーム画像を送ることでもよい。これにより、処理の効率化が可能になると共に、ネットワーク９０の有効作用が可能になる。
【００９３】
なお、ここでも実施例３と実施例４を一緒にすることが可能である。その場合、大部分の構成・機能を共通化できる。
【実施例５】
【００９４】
本実施例５は実施例１及び／又は実施例２の映像処理装置を使用したテレビ会議システムを特徴としている。
【００９５】
図１８に、本実施例５のテレビ会議システムの概略構成図を示す。本テレビ会議システムは、複数のテレビ会議端末３０００と、これらテレビ会議端末３０００が接続されるネットワーク４０００で構成される。テレビ会議端末３０００は撮像装置３０１０と処理装置３０２０を具備している。該撮像装置３０１０と処理装置３０２０は、実施例１又は実施例２、あるいは両者の機能を一緒にした映像処理装置と同様の構成である。ここでは、実施例１と実施例２の機能を一緒にした装置構成とする。図１８では省略したが、テレビ会議端末３０００は、マイク、スピーカ、ディスプレイなども備え、撮像装置３０１０と同様に、処理装置３０２０に接続されている。
【００９６】
実施例１で説明したように、あるテレビ会議端末３０００の撮像装置３０１０で撮影された映像は、当該テレビ会議端末３０００内の撮像装置３０１０と処理装置３０２０の協同によりあおり補正を施されて、当該テレビ会議端末３０００内のディスプレイに表示されると同時に、このあおり補正された映像は、ネットワーク４０００に接続された他のテレビ会議端末３０００にも伝送されて、そのディスプレイに表示される。
【００９７】
また、実施例２で説明したように、あるテレビ会議端末３０００において、ユーザがズームイン／ズームアウトボタンを押下すると、当該テレビ会議端末３０００内の同じく撮像装置３０１０と処理装置３０２０の協同によりデジタルズーム処理が施されて、デジタルズーム映像が、当該テレビ会議端末３０００のディスプレイに表示されると同時に、ネットワーク４０００に接続された他のテレビ会議端末３０００にも伝送されて、そのディスプレイに表示される。
【００９８】
本実施例５のテレビ会議システムによれば、ネットワークに接続された複数のテレビ会議端末で、あおり補正やデジタルズームの施された映像をリアルタイムに表示することが可能になる。
【実施例６】
【００９９】
本実施例６は実施例３及び／又は実施例４の映像処理システムを使用した遠方監視システムを特徴としている。
【０１００】
図１９に、本実施例６の遠方監視システムの概略構成図を示す。本遠方監視システムは、複数の撮像装置５０００、センタ装置６０００、及び、これら撮像装置５０００とセンタ装置６０００を接続するネットワーク５０００で構成される。ここで、撮像装置５０００は、それぞれ被監視場所に設置されて使用される。センタ装置６０００は監視センタなどに設置される。該センタ装置６０００は、処理装置６０１０と、複数の撮像装置５０００とそれぞれ対応する複数のディスプレイ６０２０からなる。なお、ディスプレイ６０２０は一台とし、各撮像装置５０００の映像をマルチ表示することでもよい。
【０１０１】
本遠方監視システムは、撮像装置が複数あることを除けば、実施例３又は実施例４、あるいは両者の機能を一緒にした映像処理システムと同様の構成である。ここでは、実施例３と実施例４の機能を一緒にしたシステム構成とする。
【０１０２】
実施例３で説明したように、ある撮像装置５０００で撮影された映像は、当該装置５０００とセンタ装置６０００内の処理装置６０１０の協同によりあおり補正処理を施されて、センタ装置６０００内の該撮像装置５０００に対応するディスプレイ６０２０上に表示される。他の撮像装置５０００で撮像された映像も、同様にあおり補正処理を施されて、センタ装置６０００内の該撮像装置５０００に対応するディスプレイ６０２０上に表示される。
【０１０３】
また、実施例４で説明したように、ある撮影装置５０００で撮影中の映像に対して監視者からズームイン／ズームアウトの指示があった場合には、当該撮像装置５０００とセンタ装置６０００内の処理装置６０１０の協同により、該撮像装置５０００の映像に対してデジタルズーム処理が施されて、センタ装置６０００内の該撮像装置５０００に対応するディスプレイ６０２０上の映像がズームイン／ズームアウト表示にかわる。
【符号の説明】
【０１０４】
１０，３０，５０，７０ 撮像装置
２０，４０，６０，８０ 処理装置
９０ ネットワーク
１２１，３２１，５２１，７２１ 画像取得部
１３２，３３１，５３１，７３１ 画像変換部
１３２，３３２，５３２，７３２ 変換パラメータ設定部
１４１，３４１，５４１，７４１ 変換済みフレーム画像伝送部
１４２，３４２，５４２，７４２ フレーム画像伝送部
２１１，４１１，６４１，８５１ 変換パラメータ伝送部
２２１，４２１，６１１，８１１ 変換パラメータ算出部
４４１，８３１ ズーム指示受付部
３０００ テレビ会議端末
３０１０ 撮像装置
３０２０ 処理装置
４０００ ネットワーク
５０００ 撮像装置
６０００ センタ装置
６０１０ 処理装置
６０２０ ディスプレイ
７０００ ネットワーク
【先行技術文献】
【特許文献】
【０１０５】
【特許文献１】特開２００４−７２１８１号公報
【特許文献２】特開２００８−６０８２７号公報
【特許文献３】特開２００７−６７８４７号公報
【技術分野】
【０００１】
本発明は、カメラで撮影した映像に画像変換を施す技術に係り、詳しくは、該画像変換処理を行う映像処理装置及び映像処理システム、映像処理装置を使用したテレビ会議システム、映像処理システムを使用した遠方監視システム、更には、映像処理方法、撮像装置に関する。
【背景技術】
【０００２】
テレビ会議システムのテレビ端末等には、会議シーンを撮影するカメラ（撮像装置）が装備されているが、単に会議シーンを撮影するだけでなく、書画やホワイトボードなどを撮影して相手側と情報を共有するという使い方がある。この場合、撮影画像上の一部の領域に注目してその領域を拡大表示（デジタルズーム）したり、書画やホワイトボートを斜めから撮影した場合でも真正面から撮影しているかのように画像を補正（あおり補正）したりする画像変換処理が望まれる。これに関連して、デジタルカメラ向けのデジタルズームやあおり補正といった画像変換処理技術がすでに知られている（例えば、特許文献１、特許文献２等）。
【０００３】
しかしながら、今までの画像変換処理技術では、映像や動画のように連続したフレーム画像に対してリアルタイムにデジタルズームやあおり補正を行う場合には、映像装置内に、そのためのすべての機能を備えたＩＳＰ（Ｉmage Ｓignal Ｐrocessor）などのハードウエアを実装させることは困難であるという問題があった。例えば、あおり補正について云えば、撮影画像から被写体である書画やホワイトボートの領域（四辺形）を自動検出する処理は画像全体を探索する必要があるため、比較的複雑な処理となり、処理時間もかかり、映像や動画を対象とする場合には、ＩＳＰでのハードウエア実装が困難あるいは不可能である。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明は、撮像装置内のＩＳＰなどで、映像や動画のように連続したフレーム画像に対してリアルタイムに画像変換を行うことを可能して、画像変換の高速化及び効率化を実現することにある。
【０００５】
具体的には、本発明は、画像変換の高速化および効率化を実現した映像処理装置、映像処理システム、テレビ会議システム、遠方監視システム、映像処理方法、及び撮像装置を提供することにある。
【課題を解決するための手段】
【０００６】
本発明では、撮像装置と処理装置を備えて、座標変換のような比較的軽い画像処理を撮像装置側でＩＳＰ等で行い、フレーム画像から被写体領域を探索して変換パラメータを算出するような複雑な処理を処理装置側でＣＰＵ等で行うことを基本とする。また、撮像装置から処理装置にフレーム画像及び変換済みフレーム画像の両方を伝送するか、変換パラメータを算出するためのフレーム画像の伝送レートを変換済みフレーム画像の伝送レートと異ならせる。
【０００７】
詳しくは、本発明は、撮像装置と該撮像装置に接続された処理装置とを具備した映像処理装置であって、前記撮像装置は、フレーム画像を取得する画像取得手段と、前記フレーム画像を前記処理装置に送るフレーム画像伝送手段と、前記処理装置から送られた変換パラメータを該撮像装置内に設定する変換パラメータ設定手段と、前記設定された変換パラメータを用いてフレーム画像に対して画像変換を施す画像変換手段と、変換済みフレーム画像を前記処理装置に送る変換済みフレーム画像伝送手段を有し、前記処理装置は、前記撮像装置から送られたフレーム画像を用いて画像変換のための変換パラメータを算出する変換パラメータ算出手段と、前記変換パラメータを前記撮像装置に送る変換パラメータ伝送手段を有することを特徴とする。そして、前記撮像装置のフレーム画像伝送手段と変換済みフレーム画像伝送手段とで伝送レートを変える。
【０００８】
また、本発明は、撮像装置と該撮像装置に接続された処理装置とがネットワークを介して接続されてなる映像処理システムであって、前記撮像装置は、フレーム画像を取得する画像取得手段と、前記フレーム画像を前記ネットワークを介して前記処理装置に送るフレーム画像伝送手段と、前記処理装置から前記ネットワークを付して送られた変換パラメータを該撮像装置内に設定する変換パラメータ設定手段と、前記設定された変換パラメータを用いてフレーム画像に対して画像変換を施す画像変換手段と、変換済みフレーム画像を前記ネットワークを介して前記処理装置に送る変換済みフレーム画像伝送手段を有し、前記処理装置は、前記撮像装置から前記ネットワークを介して送られたフレーム画像を用いて画像変換のための変換パラメータを算出する変換パラメータ算出手段と、前記変換パラメータを前記ネットワークを介して前記撮像装置に送る変換パラメータ伝送手段を有することを特徴とする。
【０００９】
また、本発明は、複数のテレビ会議端末がネットワークを介して接続されてなるテレビ会議システムであって、テレビ会議端末は、上記映像処理装置を備えていることを特徴とする。
【００１０】
また、本発明は、上記映像処理システムを利用した遠方監視システムであって、複数の撮像装置がネットワークを介して監視センタの処理装置に接続され、処理装置は、複数の撮像装置からネットワークを介して送られてくる映像をそれぞれ表示する表示手段を備えていることを特徴とする。
【００１１】
また、本発明は、撮像装置と該撮像装置に接続された処理装置とによりフレーム画像を処理する映像処理方法であって、前記撮像装置が、フレーム画像を取得し、該フレーム画像を前記処理装置に送る過程と、前記処理装置が、前記撮像装置から送られたフレーム画像を用いて画像変換のための変換パラメータを算出し、該変換パラメータを前記撮像装置に送る過程と、前記撮像装置が、前記処理装置から送られた前記変換パラメータを当該撮像装置内に設定し、該設定した変換パラメータを用いてフレーム画像に対して画像変換を施し、変換済みフレーム画像を前記処理装置に送る過程とを有することを特徴とする。
【００１２】
また、本発明は、フレーム画像を取得する画像取得手段と、画像変換に使用する変換パラメータの算出を依頼するためにフレーム画像を伝送するフレーム画像伝送手段と、受信された変換パラメータを設定する変換パラメータ設定手段と、前記設定された変換パラメータを用いてフレーム画像に対して画像変換を施す画像変換手段と、前記画像変換を施された変換済みフレーム画像を伝送する変換済みフレーム画像伝送手段とを有する撮像装置を特徴とする。
【発明の効果】
【００１３】
本発明によれば、座標変換のような比較的軽い画像処理を撮像装置で行い、フレーム画像から被写体領域を探索して変換パラメータを算出するような複雑な処理を処理装置で行うようにしたので、映像や動画のように連続したフレーム画像に対する画像変換の高速化及び効率化が可能になる。また、変換パラメータを算出するためのフレームレートの伝送レートを低くすることで、メインに伝送すべき変換済みフレーム画像の伝送を高速に行うことができる。
【図面の簡単な説明】
【００１４】
【図１】あおり補正の概念図である。
【図２】あおり変換の説明図である。
【図３】あおり補正の変換パラメータ算出の説明図である。
【図４】実施例１の映像処理装置の構成図である。
【図５】実施例１の映像処理装置の機能ブロック図である。
【図６】実施例１の映像処理装置の処理フローチャートである。
【図７】デジタルズームの概念図である。
【図８】デジタルズームの逆変換の説明図である。
【図９】デジタルズームの変換パラメータ算出の説明図である。
【図１０】実施例２の映像処理装置の構成図である。
【図１１】実施例２の映像処理装置の機能ブロック図である。
【図１２】実施例２の映像処理装置の処理フローチャートである。
【図１３】ズーム表示領域と状態遷移の説明図である。
【図１４】実施例３の映像処理システムの構成図である。
【図１５】実施例３の映像処理システムの機能ブロック図である。
【図１６】実施例４の映像処理システムの構成図である。
【図１７】実施例４の映像処理システムの機能ブロック図である。
【図１８】実施例５のテレビ会議システムの構成図である。
【図１９】実施例６の遠方監視システムの構成図である。
【発明を実施するための形態】
【００１５】
以下、本発明の実施の形態について図面を用いて説明する。なお、以下の実施形態では画像変換としてあおり補正とデジタルズームを取り上げるが、本発明は、これ以外の種々の画像変換にも適用できることは云うまでもない。
【実施例１】
【００１６】
本実施例１は、撮像装置と該撮像装置に接続された処理装置とを備えて、撮像装置で撮影したフレーム画像に画像変換としてあおり補正を施して出力するに際して、撮像装置に接続された処理装置側で比較的複雑な処理を要する被写体領域の自動検出や変換パラメータの算出を行って、その変換パラメータを撮像装置側に送り、撮像装置側では、この変換パラメータを用いて比較的軽い画像変換処理であるあおり補正自体を行い、変換済みフレーム画像を処理装置側に送ることを特徴としている。さらに、撮像装置側から処理装置側へは、変換パラメータの算出のためにフレーム画像が送られるが、該フレーム画像と変換済みフレーム画像の伝送レートを異ならせることも特徴となっている。具体的にはフレーム画像の伝送レートを低くする。
【００１７】
はじめに、図１乃至図３によりあおり補正について説明する。
【００１８】
図１は、あおり補正の概念図であり、左側が被写体であるホワイトボードを斜めから撮影したフレーム画像、右側がフレーム画像に対してあおり補正を施した変換済みフレーム画像の一例をそれぞれ示している。あおり補正とは、被写体であるホワイトボードを斜めから撮影した場合でも、あたかも真正面から撮影したような画像を生成する処理である。
【００１９】
図２は、あおり変換（あおり補正の逆変換）を説明する図である。あおり変換とは、変換済みフレーム画像上の画素（ｘ，ｙ）からフレーム画像上の画素（ｘ’，ｙ’）への座標変換であり、変換式は、
【００２０】
【数１】
のように、行列を用いて表すことができる。ここで、行列の要素ｋ０，ｋ１，ｋ２，ｋ３，ｋ４，ｋ５，ｋ６，ｋ７が変換パラメータである。
【００２１】
あおり補正を施した変換済みフレーム画像を生成するためには、変換済みフレーム画像上の各画素の輝度値に対応するフレーム画像上の画素の輝度値を決定する必要がある。そのためには、変換済みフレーム画像上の各画素が、元のフレーム画像上のどの画素に相当するのかを知る必要があり、その座標を算出するために上記式（１）の変換式を利用する。また、そのためには、予め変換パラメータを算出しておく必要がある。
【００２２】
図３は、変換パラメータの算出の仕方を説明する図である。変換パラメータは、フレーム画像上のホワイトボードの四隅の座標および変換済みフレーム画像の四隅の座標を用いて、
【００２３】
【数２】
のような行列の方程式を解くことで算出することができる。
【００２４】
なお、変換済みフレーム画像の四隅の座標は変換済みフレーム画像のサイズに基づいて決まる。例えば画像の左上隅を原点とし、Ｘ座標の正を右方向、Ｙ座標の正を下方向とした場合、変換済みフレーム画像の大きさがＶＧＡ（640画素×480画素）であれば四隅の座標は（ｘ1’，ｙ1’）＝（0，0），（ｘ2’，ｙ2’）＝（639，0），（ｘ3’，ｙ3’）＝（0，479），（ｘ4’，ｙ4’）＝（639，479）となる。
【００２５】
本実施例１では、フレーム画像からホワイトボードの四隅の座標を検出して式（２）により変換パラメータを算出する比較的複雑な処理は処理装置側で行うようにし、フレーム画像に対して式（１）を利用して、あおり補正を施して変換済みフレーム画像を生成する比較的軽い処理は撮像装置側で行うようにする。さらに、撮像装置側から処理装置側へ、変換パラメータ算出のために送るフレーム画像の伝送レートと、変換済みフレーム画像を送る伝送レートとを異ならせるようにする。
【００２６】
図４に、本実施例１の映像処理装置の構成例を示す。実施例１の映像処理装置は少なくとも撮像装置１０と処理装置２０で構成される。処理装置２０は、例えばパソコンである。撮像装置１０と処理装置２０の間は有線（ＵＳＢ等）あるいは無線で接続される。
【００２７】
撮像装置１０はレンズ１１、該レンズ１１で結像された光学像を電気信号のフレーム画像に変換するＣＣＤやＣＭＯＳなどのセンサ１２、フレーム画像に対して各種画像処理を行うＩＳＰなどの画像処理ユニット１３、フレーム画像や変換済みフレーム画像、その他のデータ、制御信号などを処理装置２０とやり取りするＩ／Ｆユニット１４などで構成される。
【００２８】
処理装置２０は、撮像装置１０とフレーム画像や変換済みフレーム画像、その他のデータ、制御信号などをやり取りするＩ／Ｆユニット２１、種々の処理を実行するＣＰＵ２２、ＣＰＵ２２の処理に必要な各種ソフトウエアやデータ、フレーム画像や変換済みフレーム画像などを格納するメモリ２３、該処理装置２０に接続したモニタ（不図）などに映像信号を送る映像出力ユニット２４、映像信号などネットワークに接続した別の装置に送る通信ユニット２５、装置全体を制御する制御ユニット２６、各ユニットを接続するバス２７などで構成される。メモリ２３はＲＡＭ，ＲＯＭ，ＨＤＤなどの総称である。他にユーザからの操作指示受付ユニットなどもあるか、図４では省略してある。
【００２９】
この実施例１の映像処理装置は、撮像装置１０の画像処理ユニット１３があおり補正の画像変換機能を有し、処理装置２０のＣＰＵ２２が変換パラメータ算出機能を有する。
【００３０】
図５に、実施例１の映像処理装置の全体的機能ブロック図を示す。撮像装置１０では、画像取得部１２１がフレーム画像を生成し、画像変換部１３１およびフレーム画像伝送部１４２に送る。フレーム画像伝送部１４２はフレーム画像を処理装置２０に送る。処理装置２０では、変換パラメータ算出部２２１がフレーム画像から変換パラメータを算出し、変換パラメータ伝送部２１１に送る。変換パラメータ伝送部２１１は変換パラメータを撮像装置１０に送る。撮像装置１０では、変換パラメータ設定部１３２が変換パラメータを当該画像処理ユニット１３内に設定する。画像変換部１２１は、設定された変換パラメータをもとに、フレーム画像に対してあおり補正を施して変換済みフレーム画像を生成し、変換済みフレーム画像伝送部１４１に送る。変換済みフレーム画像伝送部１４１は変換済みフレーム画像を処理装置２０に送る。処理装置２０は、変換済みフレーム画像を該処理装置３０に接続されたディスプレイなどの映像出力装置に表示したり、ネットワークで接続された他の装置に送信したりする。
【００３１】
図６に、図５の機能ブロック図の処理フローチャートを示す。以下、図６に従って実施例１の撮像装置１０と処理装置２０の動作を詳しく説明する。
【００３２】
撮像装置１０は、画像取得部（センサ）１２１が光学像を電気信号に変換してフレーム画像を生成し、画像変換部１３１及びフレーム画像伝送部１４２に送る（ステップ１０１０）。フレーム画像伝送部１４２は、このフレーム画像を処理装置２０に送る（ステップ１０２０）。このフレーム画像は、変換パラメータを算出するために使用されるもので、必ずしもリアルタイムに処理装置２０へ送る必要はない。したがって、変換済みフレーム画像伝送部１４１からの変換済みフレーム画像の伝送レートよりも低レートの伝送で構わない。
【００３３】
処理装置２０は、変換パラメータ算出部（ＣＰＵ）２２１が、フレーム画像から変換パラメータを算出する（ステップ１０３０）。具体的には、変換パラメータ算出部２２１では、フレーム画像から被写体であるホワイトボードの領域を検出し、その領域の四隅の座標及び画像サイズに基づいて予め決まる変換済みフレーム画像の四隅の座標を先の式（２）の方程式に代入して、該方程式を解くことで変換パラメータを算出する（図３参照）。
【００３４】
ここで、フレーム画像からホワイトボートの四隅の座標を検出する処理は、例えば、次のようにして行う。
【００３５】
Ｓｔｅｐ１：フレーム画像から濃淡画像（輝度画像）を生成
Ｓｔｅｐ２：濃淡画像からエッジを検出し、ホワイトボードの周囲の四辺を検出
Ｓｔｅｐ３：隣接する二辺の交点を算出して、ホワイトボードの四隅の座標を算出
なお、例えば特許文献３にもホワイトボート領域の自動検出方法が開示されており、ここに開示されているような方法を用いて、フレーム画像からホワイトボードの領域を検出することでもよい。
【００３６】
図６に戻り、処理装置２０の変換パラメータ伝送部２１１は、変換パラメータを撮像装置１０に送る（ステップ１０４０）。
【００３７】
撮像装置１０は、変換パラメータ設定部１３２にて、処理装置２０から送られてきた変換パラメータを画像処理ユニット（ＩＳＰ等）１３内のメモリに設定する（ステップ１０５０）。
【００３８】
画像変換部１３１は、画像処理ユニット１３内に設定されている変換パラメータを使用して、画像取得部１２１から送られてきたフレーム画像に対してあおり変換を施し、変換済みフレーム画像を生成する（ステップ１０６０）。具体的には、次のように処理する（図２参照）。
【００３９】
Ｓｔｅｐ１：変換済みフレーム画像において輝度値を算出する画素を決定（その座標を（ｘ，ｙ）とする）
Ｓｔｅｐ２：式（１）の変換式を用いて座標（ｘ，ｙ）に対応するフレーム画像上の画素の座標（ｘ’，ｙ’）を算出
Ｓｔｅｐ３：座標（ｘ’，ｙ’）の輝度値を算出
Ｓｔｅｐ４：座標（ｘ’，ｙ’）の輝度値を座標（ｘ，ｙ）の輝度値に設定
画像変換部１３１では、変換済みフレーム画像上の全ての画素の輝度値を決定するまで、Ｓｔｅｐ１〜４の処理を繰り返すことになる。
【００４０】
変換済みフレーム画像伝送部１４１は、処理装置２０に変換済みフレーム画像を送る（ステップ１０７０）。実際には、画像変換部１３１と変換済みフレーム画像伝送部１４１は平行して動作する。また、変換済みフレーム画像の伝送は、先の変換パラメータ算出のために送られるフレーム画像に比べて高速に行なわれる。
【００４１】
処理装置２０は、撮像装置１０から送られてくる変換済みフレーム画像を映像出力ユニット２４や通信ユニット２５などを通して、ディスプレイなどの映像出力装置に表示したり、ネットワークを介して他の装置に送信したりする。
【００４２】
なお、フレーム画像上のホワイトボード領域の座標が変化しない（ホワイトボードやカメラの位置が変わらない）場合、変換パラメータをフレーム画像ごとに再計算する必要はない。従って、実際には次のような方法とすることが好ましい。これにより、処理の効率化が可能になる。
方法１：ホワイトボードやカメラの位置が変わった場合に、ユーザ指示で変換パラメータを再計算する。この場合、ユーザ指示があった場合にだけ、撮像装置１０は、フレーム画像伝送部１４２から処理装置２０にフレーム画像を送る。処理装置２０は、フレーム画像が送られてくると、変換パラメータ算出部２１１で変換パラメータを再計算して、変換パラメータ伝送部２１１から撮像装置１０に変換パラメータを送る。撮像装置１０は、変換パラメータ設定部１３２で変換パラメータを再設定し、画像変換部１３１では設定されている変換パラメータを使用して、画像取得部１２１から送られてきたフレーム画像に対してあおり補正をひたすら行う。
方法２：ホワイトボードやカメラの位置が変化する／しないに関わらず一定時間ごとに変換パラメータを再計算する。この場合、撮像装置１０は、一定時間ごとにフレーム画像伝送部１４２から処理装置２０にフレーム画像を送る。処理装置２０も一定時間ごとに、変換パラメータ算出部２１１で変換パラメータを再計算して、変換パラメータ伝送部２１１から撮像装置１０に該変換パラメータを送る。撮像装置１０は、変換パラメータ設定部１３２で変換パラメータを再設定し、画像変換部１３１では設定されている変換パラメータを使用して、画像取得部１２１から送られてきたフレーム画像に対してあおり補正をひたすら行う。
【００４３】
実施例１の映像処理装置によれば、撮影して得られたフレーム画像からあおり補正を施した変換済みフレーム画像を高速かつ効率的に生成することができる。また、変換パラメータを算出するためのフレーム画像の伝送レートを低くすることで、メインに伝送するべき変換済みフレーム画像の伝送を高速に行うことができる。
【実施例２】
【００４４】
本実施例２は、撮像装置と該撮像装置に接続された処理装置とを備えて、撮像装置で撮影したフレーム画像に画像変換としてデジタルズームを施して出力するに際して、撮像装置に接続された処理装置側でデジタルズームに必要な変換パラメータの算出を行って、その変換パラメータを撮像装置側に送り、撮像装置側では、この変換パラメータを用いてデジタルズーム処理を行い、デジタルズームの施された変換済みフレーム画像を処理装置側に送ることを特徴としている。さらに、本実施例でも、撮像装置側から処理装置側へは、変換パラメータの算出のためにフレーム画像が送られるが、該フレーム画像と変換済みフレーム画像の伝送レートを異ならせる（フレーム画像の伝送レートを低くする）ことも特徴となっている。
【００４５】
はじめに、図７乃至図９によりデジタルズームについて説明する。
【００４６】
図７は、デジタルズームの概念図であり、左側が被写体であるホワイトボードを撮影したフレーム画像、右側がフレーム画像に対してデジタルズーム（ズームイン）に相当する処理を施した変換済みフレーム画像の一例をそれぞれ示している。
【００４７】
図８は、デジタルズームの逆変換を説明する図である。ここでいうデジタルズームの逆変換とは、変換済みフレーム画像上の画素（ｘ，ｙ）からフレーム画像上の画素（ｘ’，ｙ’）への座標変換であり、変換式は、
【００４８】
【数３】
のように、行列を用いて表すことができる。式（３）は先の式（１）と同じであり、変換パラメータは行列の要素ｋ０，ｋ１，ｋ２，ｋ３，ｋ４，ｋ５，ｋ６，ｋ７である。
【００４９】
デジタルズームを施した変換済みフレーム画像を生成するためには、変換済みフレーム画像上の各画素の輝度値に対応するフレーム画像上の画素の輝度値を決定する必要がある。そのためには変換済みフレーム画像上の各画素が、もとのフレーム画像上のどの画素に相当するのかを知る必要があり、その座標を算出するために上記の式（３）を利用する。また、そのためには、あらかじめ変換パラメータを算出しておく必要がある。
【００５０】
図９は、変換パラメータの算出の仕方を説明する図である。これは、先の図３と基本的に同じである。すなわち、変換パラメータは、フレーム画像上のズーム表示領域の四隅の座標および変換済みフレーム画像の四隅の座標を用いて、
【００５１】
【数４】
のような行列の方程式を解くことで算出することができる。フレーム画像上のズーム表示領域はズームボタンの押下状況によって決まる。一方、変換済みフレーム画像の四隅の座標は、実施例１と同様に変換済みフレーム画像のサイズに基づいて一義的に決まる。
【００５２】
本実施例２では、実施例１と同様に、フレーム画像上のズーム表示領域の四隅の座標を取得して式（４）により変換パラメータを算出する比較的複雑な処理は処理装置側で行うようにし、式（３）を利用してデジタルズーム処理を行い、デジタルズームを施した変換済みフレーム画像を生成する比較的軽い処理は撮像装置側で行うようにする。さらに、ここでも撮像装置側から処理装置側へ、変換パラメータ算出のために送るフレーム画像の伝送レートと、変換済みフレーム画像を送る伝送レートを異ならせるようにする。
【００５３】
図１０に、実施例２の映像処理装置の構成例を示す。実施例２の映像処理装置も少なくとも撮像装置３０と処理装置（パソコン等）４０で構成される。撮像装置３０と処理装置４０の間は有線（ＵＳＢ等）あるいは無線で接続される。
【００５４】
撮像装置３０はレンズ３１、該レンズ３１で結像された光学像を電気信号のフレーム画像に変換するＣＣＤやＣＭＯＳなどのセンサ３２、フレーム画像に対して各種画像処理を行うＩＳＰなどの画像処理ユニット３３、フレーム画像や変換済みフレーム画像、その他のデータ、制御信号などを処理装置４０とやり取りするＩ／Ｆユニット３４などで構成される。
【００５５】
処理装置４０は、撮像装置３０とフレーム画像や変換済みフレーム画像、その他のデータ、制御信号などをやり取りするＩ／Ｆユニット４１、種々の処理を実行するＣＰＵ４２、ＣＰＵ４２の処理に必要な各種ソフトウエアやデータ、フレーム画像や変換済みフレーム画像などを格納するメモリ４３、ユーザからズーム指示を受け付けるズーム指示受付ユニット４４、該処理装置４０に接続したモニタなどに映像信号を送映像出力ユニット４５、映像信号などのネットワークに接続した別の装置に送る通信ユニット４６、装置全体を制御する制御ユニット４７、各ユニットを接続するバス４８などで構成される。ここでも、メモリ４３はＲＡＭ，ＲＯＭ，ＨＤＤなどの総称である。
【００５６】
この実施例２の映像処理装置は、撮像装置３０の画像処理ユニット３１がデジタルズームの画像変換機能を有し、処理装置４０のＣＰＵ４２が変換パラメータ算出機能を有する。
【００５７】
なお、ユーザからのズーム指示を受け付ける方法としては、処理装置４０の自体のズームイン／ズームアウトのボタンや、操作リモコンのズームイン／ズームアウトのボタンなどが考えられる。以下では、処理装置４０自体に備えられたズームインボタンとズームアウトボタンでユーザの指示を受け付ける場合について説明する。
【００５８】
図１１に、実施例２の映像処理装置の全体的機能ブロック図を示す。撮像装置３０では、像取得部３２１がフレーム画像を生成し、画像変換部３３１およびフレーム画像伝送部３４２に送る。フレーム画像伝送部３４２はフレーム画像を処理装置４０に送る。処理装置３０では、ズーム指示受付部４４１がユーザからのズームイン／ズームアウトの指示があった場合に制御部４７１に通知し、制御部４７１から変換パラメータ算出部４２１に対して変換パラメータの算出を指示する。変換パラメータ算出部４２１はフレーム画像およびズームボタンの押下状況から変換パラメータを算出し、変換パラメータ伝送部４１１に送る。変換パラメータ伝送部４１１は変換パラメータを撮像装置３０に送る。撮像装置３０では、変換パラメータ設定部３２２が変換パラメータを当該画像処理ユニット３３内に設定する。画像変換部３３１は、設定された変換パラメータを用いて変換式をもとにフレーム画像に対してデジタルズーム処理を施して変換済みフレーム画像を生成し、変換済みフレーム画像伝送部３４１に送る。変換済みフレーム画像伝送部３４１は変換済みフレーム画像を処理装置４０に送る。処理装置４０では、変換済みフレーム画像を該処理装置４０に接続されたディスプレイなどの映像出力装置に表示したり、ネットワークで接続された他の装置に送信したりする。
【００５９】
なお、ユーザからズーム指示がない場合には、撮像装置３０では、画像変換部３３１は画像取得部３２１からのフレーム画像をそのまま変換済みフレーム画像伝送部３４１に送り、変換済みフレーム画像伝送部３４１も、このフレーム画像をそのまま処理装置４０に送ることになる。
【００６０】
図１２に、図１１の機能ブロック図の処理フローチャートを示す。以下、図１２に従って実施例２の撮像装置３０と処理装置４０の動作を詳しく説明する。
【００６１】
撮像装置３０は、画像取得部（センサ）３２１がレンズを通った光学像を電気信号に変換してフレーム画像を生成し、画像変換部３３１及びフレーム画像伝送部３４２に送る（ステップ２０１０）。図１２では省略したが、通常では、画像変換部３３１は画像取得部３２１からのフレーム画像をそのまま変換済みフレーム画像伝送部３４１に送り、変換済みフレーム画像伝送部３４１は同様に、このフレーム画像をそのまま処理装置４０に送る。
【００６２】
一方、フレーム画像伝送部３４２も、フレーム画像を処理装置４０に送る（ステップ２０２０）。本実施例２でも、このフレーム画像は変換パラメータを算出するために使用されるもので、必ずしもリアルタイムに処理装置４０へ送る必要はない。したがって、変換済みフレーム画像伝送部３４１から送出されるフレーム画像あるいは変換済みフレーム画像の伝送レートよりも低レートの伝送で構わない。
【００６３】
なお、フレーム画像伝送部３４２は、ユーザからズーム指示があった場合のみフレーム像を処理装置４０に送ることでもよい。ユーザからズーム指示があったことは後述する処理装置４０のフレーム指示受付部４４１あるいは制御部４７１が通知すればよい。
【００６４】
処理装置４０は、当該処理装置自体などに備えられたズームイン／ズームアウトボタンでユーザがズーム指示があった場合、ズーム指示受付部４４１が、このズーム指示を受け付けて制御部４７１に通知する（ステップ２０３０）。制御部４７１は、変換パラメータ算出部４２１に対して変換パラメータの算出を指示する（ステップ２０４０）。
【００６５】
変換パラメータ算出部４２１では、フレーム画像上のズーム表示領域の四隅の座標および変換済みフレーム画像の四隅の座標からデジタルズームの変換パラメータを算出する（ステップ２０５０）。具体的には、フレーム画像上のズーム表示領域の四隅の座標を式（４）の方程式に代入して、該方程式を解くことで変換パラメータを算出する（図９参照）。ズーム表示像域については後述する。変換パラメータ伝送部４１１は、変換パラメータを撮像装置３０に送る（ステップ２０６０）。
【００６６】
撮像装置３０は、変換パラメータ設定部３３２にて、処理装置４０から送られてきた変換パラメータを当該画像処理ユニット３３内のメモリに設定する（ステップ２０７０）。
【００６７】
画像変換部３３１は、当該画像処理ユニット３３内に設定されている変換パラメータを使用して、画像取得部３２１から送られてきたフレーム画像に対してデジタルズームを施し、変換済みフレーム画像を生成する（ステップ２０８０）。具体的には、次のように処理する（図８参照）。これは、あおり補正の場合と基本的に同じである。
【００６８】
Ｓｔｅｐ１：変換済みフレーム画像において輝度値を算出する画素を決定（その座標を（ｘ，ｙ）とする）。
Ｓｔｅｐ２：式（３）の変換式を用いて座標（ｘ，ｙ）に対応するフレーム画像上の画素の座標（ｘ’，ｙ’）を算出
Ｓｔｅｐ３：座標（ｘ’，ｙ’）の輝度値を算出
Ｓｔｅｐ４：座標（ｘ’，ｙ’）の輝度値を座標（ｘ，ｙ）の輝度値に設定
画像変換部３３１では、変換済みフレーム画像上の全ての画素の輝度値を決定するまで、Ｓｔｅｐ１〜４の処理を繰り返すことになる。
【００６９】
変換済みフレーム画像伝送部３４１は、処理装置４０に変換済みフレーム画像を送る（ステップ２０９０）。実際には、画像変換部３３１と変換済みフレーム画像伝送部３４１は平行して動作する。
【００７０】
以降、ズームボタンの押下状況が変化していなければ、画像変換部３３１は、設定されている変換パラメータをひたすら使用して、フレーム画像に対してデジタルズーム処理を行い、変換済みフレーム画像伝送部３４１は順次、その変換済みフレーム画像を処理装置４０に送る。
【００７１】
処理装置４０は、撮像装置３０から送られてくる変換済みフレーム画像を映像出力ユニット２４や通信ユニット２５などを通して、ディスプレイなどの映像出力装置に表示したり、ネットワークを介して他の装置に送信したりする（ステップ２１００）。
【００７２】
図１３は、フレーム画像のズーム表示領域とズームイン／ズームアウトボタン押下の関係を示したものである。ズーム表示領域とは、左図に示すようにフレーム画像と同一の中心を有する矩形領域である。複数のズーム表示領域が事前に決められており、ズームインボタン／ズームアウトボタンの押下状態でどのズーム表示領域を表示するかが決まる。その状態遷移を右図に示す。状態に関する情報は処理装置側で保持しておく必要があり、ズームインボタン／ズームアウトボタンが押下されるたびに状態を更新することになる。
【００７３】
実際の状態遷移について簡単に説明する。初期状態からズームインボタンが押下されると、ズーム表示領域１を表示するようにデジタルズーム処理を行い、状態１に遷移する。状態１で更にズームインボタンが押下されれば、ズーム表示領域２を表示するようにデジタルズーム処理を行い、状態２に遷移する。また状態２でズームアウトボタンが押下されれば、ズーム表示領域１を表示するようにデジタルズーム処理を行い、状態１に戻る。
【００７４】
実施例２の映像処理装置によれば、撮影して得られたフレーム画像からズームイン／ズームアウト（デジタルズーム）を施した変換済みフレーム画像を高速かつ効率的に生成することができる。また、変換パラメータを算出するためのフレーム画像の伝送レートを低くすることで、メインに伝送するべき変換済みフレーム画像の伝送を高速に行うことができる。
【００７５】
なお、実施例１と実施例２を一緒にすることも可能である。その場合、大部分の構成・機能を共通化できる。
【実施例３】
【００７６】
本実施例３は、実施例１をネットワーク環境に拡張し、撮像装置と処理装置がネットワークで接続された映像処理システムにおいて、処理装置であおり補正に必要な変換パラメータを算出して、その変換パラメータを撮像装置に送り、撮像装置では、この変換パラメータを使用して、撮影して得られたフレーム画像に対してあおり補正を行い、あおり補正された変換済みフレーム画像を処理装置に送ることを特徴としている。また、撮像装置から処理装置へは、変換パラメータの算出のためにフレーム画像を送るが、本実施例３でも、該フレーム画像と変換済みフレーム画像の伝送レートを異ならせる（フレーム画像の伝送レートを低くする）ことも特徴となっている。
【００７７】
図１４に、実施例３の映像処理システムの構成例を示す。実施例３の映像処理システムは撮像装置５０、処理装置６０、及びネットワーク９０で構成される。処理装置６０は例えば監視センタである。
【００７８】
撮像装置５０はレンズ５１、該レンズ５１で結像された光学像を電気信号のフレーム画像に変換するＣＣＤやＣＭＯＳなどのセンサ５２、フレーム画像に対して各種画像処理を行うＩＳＰなどの画像処理ユニット５３、フレーム画像や変換済みフレーム画像、変換パラメータ、制御信号などをネットワーク９０を介して処理装置６０と送受信する通信ユニット５４などで構成される。
【００７９】
処理装置６０は、種々の処理を実行するＣＰＵ６１、ＣＰＵ６１の処理に必要な各種ソフトウエアやデータ、フレーム画像や変換済みフレーム画像などを格納するメモリ６２、該処理装置６０に接続したモニタなどに映像信号を送る映像出力ユニット６３、フレーム画像や変換済みフレーム画像、変換パラメータ、制御信号などをネットワーク９０を介して撮像装置５０と送受信する通信ユニット６４、装置全体を制御する制御ユニット６５、及び、各ユニットを接続するバス６６などで構成される。メモリ６２はＲＡＭ，ＲＯＭ，ＨＤＤなどの総称である。処理装置６０は、他にユーザからの操作指示受付ユニットなどもあるか、図１４では省略してある。
【００８０】
先の実施例１と同様に、この実施例３においても、撮像装置５０の画像処理ユニット５３があおり補正の画像変換機能を有し、処理装置６０のＣＰＵ６１があおり補正に用いる変換パラメータの算出機能を有する。
【００８１】
図１５に、実施例３の映像処理システムの全体的機能ブロック図を示す。撮像装置５０では、画像取得部５２１がフレーム画像を生成し、画像変換部５３１およびフレーム画像伝送部５４２に送る。フレーム画像伝送部５４２は、このフレーム画像をネットワーク９０を介して処理装置６０に送る。処理装置６０では、変換パラメータ算出部６１１がフレーム画像から変換パラメータを算出し、変換パラメータ伝送部６４１に送る。変換パラメータ伝送部６４１は、この変換パラメータをネットワーク９０を介して撮像装置５０に送る。撮像装置５０では、変換パラメータ設定部５３２が変換パラメータを当該処理ユニット内に設定する。画像変換部５３１は、設定された変換パラメータを用いてフレーム画像に対して画像変換を施してこの変換済みフレーム画像を生成し、変換済みフレーム画像伝送部５４１に送る。変換済みフレーム画像伝送部５４１は、この変換済みフレーム画像をネットワーク９０を介して処理装置６０に送る。処理装置６０では、この変換済みフレーム画像を該処理装置６０に接続されたディスプレイなどの映像出力装置に表示する。
【００８２】
あおり補正に必要な変換パラメータの算出のやり方、フレーム画像に対するあおり補正処理のやり方などは、先の実施例１と同様であるので、説明は省略する。
【００８３】
実施例３においても、撮像装置５０から処理装置６０に送られるフレーム画像は、変換パラメータを算出するために使用されるもので、必ずしもリアルタイムに処理装置５０へ送る必要はない。したがって、フレーム画像は、変換済みフレーム画像の伝送レートより低いレートの伝送で構わない。さらに、先の実施例１で述べたように、フレーム画像は、一定時間毎あるいはユーザ指示があった場合にだけ送ることでもよい。これにより、処理の効率化が可能になると共に、ネットワーク９０の有効利用が可能になる。
【実施例４】
【００８４】
本実施例４は、実施例２をネットワーク環境に拡張し、撮像装置と処理装置がネットワークで接続された映像処理システムにおいて、処理装置でデジタルズームに必要な変換パラメータを算出して、その変換パラメータを撮像装置に送り、撮像装置では、この変換パラメータを使用して、撮影して得られたフレーム画像に対してデジタルズームを行い、デジタルズームされた変換済みフレーム画像を処理装置に送ることを特徴としている。また、撮像装置から処理装置へは、変換パラメータの算出のためにフレーム化画像を送るが、本実施例４でも、該フレーム画像と変換済みフレーム画像の伝送レートを異ならせる（フレーム画像の伝送レートを低くする）ことも特徴となっている。
【００８５】
図１６に、実施例４の映像処理システムの構成例を示す。実施例３と同様に実施例４の映像処理システムは撮像装置７０、処理装置８０、及びネットワーク９０で構成される。ここでも処理装置６０は例えば監視センタなどである。
【００８６】
撮像装置７０はレンズ７１、該レンズ７１で結像された光学像を電気信号のフレーム画像に変換するＣＣＤやＣＭＯＳなどのセンサ７２、フレーム画像に対して各種画像処理を行うＩＳＰなどの画像処理ユニット７３、フレーム画像や変換済みフレーム画像、変換パラメータ、制御信号などをネットワーク９０を介して処理装置８０と送受信する通信ユニット７４などで構成される。
【００８７】
処理装置８０は、種々の処理を実行するＣＰＵ８１、ＣＰＵ８１の処理に必要な各種ソフトウエアやデータ、フレーム画像や変換済みフレーム画像などを格納するメモリ８２、ユーザからズーム指示を受け付けるズーム指示受付ユニット８３、該処理装置８０に接続したモニタなどに映像信号を送る映像出力ユニット８４、フレーム画像や変換済みフレーム画像、変換パラメータ、制御信号などをネットワーク９０を介して撮像装置７０と送受信する通信ユニット８５、装置全体を制御する制御ユニット８６、及び、各ユニットを接続するバス８７などで構成される。メモリ８２はＲＡＭ，ＲＯＭ，ＨＤＤなどの総称である。
【００８８】
先の実施例２と同様に、この実施例４においても、撮像装置７０の画像処理ユニット７３がデジタルズーム補正の画像変換機能を有し、処理装置８０のＣＰＵ８１がデジタルズーム処理に用いる変換パラメータの算出機能を有する。
【００８９】
図１７に、実施例４の映像処理システムの全体的機能ブロック図を示す。撮像装置７０では、画像取得部７２１がフレーム画像を生成し、画像変換部７３１およびフレーム画像伝送部７４２に送る。フレーム画像伝送部７４２は、このフレーム画像をネットワーク９０を介して処理装置８０に送る。処理装置８０では、ズーム指示受付部８３１がユーザからのズームイン／ズームアウトの指示があった場合に制御部８６１に通知し、制御部８６１から変換パラメータ算出部８１１に対して変換パラメータの算出を指示する。変換パラメータ算出部８１１はフレーム画像およびズームボタンの押下状況から変換パラメータを算出し、変換パラメータ伝送部８５１に送る。変換パラメータ伝送部８５１は、この変換パラメータをネットワーク９０を介して撮像装置７０に送る。撮像装置７０では、変換パラメータ設定部７３２が、この変換パラメータを当該画像処理ユニット７３内に設定する。画像変換部７３１は、設定された変換パラメータを用いてフレーム画像に対してデジタルズーム処理を施して変換済みフレーム画像を生成し、変換済みフレーム画像伝送部７４１に送る。変換済みフレーム画像伝送部７４１は、この変換済みフレーム画像をネットワーク９０を介して処理装置８０に送る。処理装置８０では、この変換済みフレーム画像を該処理装置８０に接続されたディスプレイなどの映像出力装置に表示する。
【００９０】
なお、ユーザからズーム指示がない場合には、撮像装置７０では、画像変換部７３１は画像取得部７２１からのフレーム画像をそのまま変換済みフレーム画像伝送部７４１に送り、変換済みフレーム画像伝送部７４１も、このフレーム画像をそのまま処理装置８０に送ることになる。
【００９１】
デジタルズーム処理に必要な変換パラメータの算出のやり方、フレーム画像に対するデジタルズーム処理のやり方などは、先の実施例２と同様であるので、説明は省略する。
【００９２】
実施例４においても、フレーム画像伝送部７４２から処理装置８０に送られるフレーム画像は、変換パラメータを算出するために使用されるもので、必ずしもリアルタイムに処理装置８０へ送る必要はない。したがって、変換済みフレーム画像伝送部７４１から処理装置８０に送られるフレーム画像あるいは変換済みフレーム画像の伝送レートより低いレートの伝送で構わない。さらに、先の実施例２で述べたように、フレーム画像伝送部７４２は、ズームイン／ズームアウト指示があった場合にだけフレーム画像を送ることでもよい。これにより、処理の効率化が可能になると共に、ネットワーク９０の有効作用が可能になる。
【００９３】
なお、ここでも実施例３と実施例４を一緒にすることが可能である。その場合、大部分の構成・機能を共通化できる。
【実施例５】
【００９４】
本実施例５は実施例１及び／又は実施例２の映像処理装置を使用したテレビ会議システムを特徴としている。
【００９５】
図１８に、本実施例５のテレビ会議システムの概略構成図を示す。本テレビ会議システムは、複数のテレビ会議端末３０００と、これらテレビ会議端末３０００が接続されるネットワーク４０００で構成される。テレビ会議端末３０００は撮像装置３０１０と処理装置３０２０を具備している。該撮像装置３０１０と処理装置３０２０は、実施例１又は実施例２、あるいは両者の機能を一緒にした映像処理装置と同様の構成である。ここでは、実施例１と実施例２の機能を一緒にした装置構成とする。図１８では省略したが、テレビ会議端末３０００は、マイク、スピーカ、ディスプレイなども備え、撮像装置３０１０と同様に、処理装置３０２０に接続されている。
【００９６】
実施例１で説明したように、あるテレビ会議端末３０００の撮像装置３０１０で撮影された映像は、当該テレビ会議端末３０００内の撮像装置３０１０と処理装置３０２０の協同によりあおり補正を施されて、当該テレビ会議端末３０００内のディスプレイに表示されると同時に、このあおり補正された映像は、ネットワーク４０００に接続された他のテレビ会議端末３０００にも伝送されて、そのディスプレイに表示される。
【００９７】
また、実施例２で説明したように、あるテレビ会議端末３０００において、ユーザがズームイン／ズームアウトボタンを押下すると、当該テレビ会議端末３０００内の同じく撮像装置３０１０と処理装置３０２０の協同によりデジタルズーム処理が施されて、デジタルズーム映像が、当該テレビ会議端末３０００のディスプレイに表示されると同時に、ネットワーク４０００に接続された他のテレビ会議端末３０００にも伝送されて、そのディスプレイに表示される。
【００９８】
本実施例５のテレビ会議システムによれば、ネットワークに接続された複数のテレビ会議端末で、あおり補正やデジタルズームの施された映像をリアルタイムに表示することが可能になる。
【実施例６】
【００９９】
本実施例６は実施例３及び／又は実施例４の映像処理システムを使用した遠方監視システムを特徴としている。
【０１００】
図１９に、本実施例６の遠方監視システムの概略構成図を示す。本遠方監視システムは、複数の撮像装置５０００、センタ装置６０００、及び、これら撮像装置５０００とセンタ装置６０００を接続するネットワーク５０００で構成される。ここで、撮像装置５０００は、それぞれ被監視場所に設置されて使用される。センタ装置６０００は監視センタなどに設置される。該センタ装置６０００は、処理装置６０１０と、複数の撮像装置５０００とそれぞれ対応する複数のディスプレイ６０２０からなる。なお、ディスプレイ６０２０は一台とし、各撮像装置５０００の映像をマルチ表示することでもよい。
【０１０１】
本遠方監視システムは、撮像装置が複数あることを除けば、実施例３又は実施例４、あるいは両者の機能を一緒にした映像処理システムと同様の構成である。ここでは、実施例３と実施例４の機能を一緒にしたシステム構成とする。
【０１０２】
実施例３で説明したように、ある撮像装置５０００で撮影された映像は、当該装置５０００とセンタ装置６０００内の処理装置６０１０の協同によりあおり補正処理を施されて、センタ装置６０００内の該撮像装置５０００に対応するディスプレイ６０２０上に表示される。他の撮像装置５０００で撮像された映像も、同様にあおり補正処理を施されて、センタ装置６０００内の該撮像装置５０００に対応するディスプレイ６０２０上に表示される。
【０１０３】
また、実施例４で説明したように、ある撮影装置５０００で撮影中の映像に対して監視者からズームイン／ズームアウトの指示があった場合には、当該撮像装置５０００とセンタ装置６０００内の処理装置６０１０の協同により、該撮像装置５０００の映像に対してデジタルズーム処理が施されて、センタ装置６０００内の該撮像装置５０００に対応するディスプレイ６０２０上の映像がズームイン／ズームアウト表示にかわる。
【符号の説明】
【０１０４】
１０，３０，５０，７０ 撮像装置
２０，４０，６０，８０ 処理装置
９０ ネットワーク
１２１，３２１，５２１，７２１ 画像取得部
１３２，３３１，５３１，７３１ 画像変換部
１３２，３３２，５３２，７３２ 変換パラメータ設定部
１４１，３４１，５４１，７４１ 変換済みフレーム画像伝送部
１４２，３４２，５４２，７４２ フレーム画像伝送部
２１１，４１１，６４１，８５１ 変換パラメータ伝送部
２２１，４２１，６１１，８１１ 変換パラメータ算出部
４４１，８３１ ズーム指示受付部
３０００ テレビ会議端末
３０１０ 撮像装置
３０２０ 処理装置
４０００ ネットワーク
５０００ 撮像装置
６０００ センタ装置
６０１０ 処理装置
６０２０ ディスプレイ
７０００ ネットワーク
【先行技術文献】
【特許文献】
【０１０５】
【特許文献１】特開２００４−７２１８１号公報
【特許文献２】特開２００８−６０８２７号公報
【特許文献３】特開２００７−６７８４７号公報
【特許請求の範囲】
【請求項１】
撮像装置と該撮像装置に接続された処理装置とを具備し、
前記撮像装置は、フレーム画像を取得する画像取得手段と、前記フレーム画像を前記処理装置に送るフレーム画像伝送手段と、前記処理装置から送られた変換パラメータを該撮像装置内に設定する変換パラメータ設定手段と、前記設定された変換パラメータを用いてフレーム画像に対して画像変換を施す画像変換手段と、変換済みフレーム画像を前記処理装置に送る変換済みフレーム画像伝送手段を有し、
前記処理装置は、前記撮像装置から送られたフレーム画像を用いて画像変換のための変換パラメータを算出する変換パラメータ算出手段と、前記変換パラメータを前記撮像装置に送る変換パラメータ伝送手段を有する、
ことを特徴とする映像処理装置。
【請求項２】
前記撮像装置のフレーム画像伝送手段と変換済みフレーム画像伝送手段とで伝送レートを変えることを特徴とする請求項１に記載の映像処理装置。
【請求項３】
前記撮像装置の画像変換手段は、フレーム画像に対してあおり補正を施し、
前記処理装置の変換パラメータ算出手段は、フレーム画像から被写体領域を検出して、あおり補正のための変換パラメータを算出する、
ことを特徴とする請求項１又は２に記載の映像処理装置。
【請求項４】
前記撮像装置のフレーム画像伝送手段は、一定時間ごとにフレーム画像を前記処理装置に送り、
前記処理装置の変換パラメータ算出手段は、前記撮像装置から一定時間ごとに送られてくるフレーム画像を用いてあおり補正のための変換パラメータを再計算する、
ことを特徴とする請求項３に記載の映像処理装置。
【請求項５】
前記撮像装置のフレーム画像伝送手段は、ユーザ指示があった場合にのみフレーム画像を前記処理装置に送り、
前記処理装置の変換パラメータ算出手段は、前記撮像装置からフレーム画像が送られてくると、該フレーム画像を用いてあおり補正のための変換パラメータを再計算する、
ことを特徴とする請求項３に記載の映像処理装置。
【請求項６】
前記処理装置は、フレーム画像のズーム指示をユーザから受け付けるズーム指示受付手段を備え、前記変換パラメータ算出手段は、ユーザが指定したフレーム画像上の領域を画像全面に表示するようにデジタルズームするための変換パラメータを算出し、
前記撮像装置の画像変換手段は、フレーム画像に対してデジタルズームを行う、
ことを特徴とする請求項１又は２に記載の映像処理装置。
【請求項７】
前記撮像装置のフレーム画像伝送手段は、ユーザズーム指示があった場合にのみフレーム画像を前記処理装置に送る、
ことを特徴とする請求項６に記載の映像処理装置。
【請求項８】
撮像装置と該撮像装置に接続された処理装置とがネットワークを介して接続されてなる映像処理システムであって、
前記撮像装置は、フレーム画像を取得する画像取得手段と、前記フレーム画像を前記ネットワークを介して前記処理装置に送るフレーム画像伝送手段と、前記処理装置から前記ネットワークを付して送られた変換パラメータを該撮像装置内に設定する変換パラメータ設定手段と、前記設定された変換パラメータを用いてフレーム画像に対して画像変換を施す画像変換手段と、変換済みフレーム画像を前記ネットワークを介して前記処理装置に送る変換済みフレーム画像伝送手段を有し、
前記処理装置は、前記撮像装置から前記ネットワークを介して送られたフレーム画像を用いて画像変換のための変換パラメータを算出する変換パラメータ算出手段と、前記変換パラメータを前記ネットワークを介して前記撮像装置に送る変換パラメータ伝送手段を有する、
ことを特徴とする映像処理システム。
【請求項９】
前記撮像装置のフレーム画像伝送手段と変換済みフレーム画像伝送手段とで伝送レートを変えることを特徴とする請求項８に記載の映像処理システム。
【請求項１０】
前記撮像装置の画像変換手段は、フレーム画像に対してあおり補正を施し、
前記処理装置の変換パラメータ算出手段は、フレーム画像から被写体領域を検出して、あおり補正のための変換パラメータを算出する、
ことを特徴とする請求項８又は９に記載の映像処理システム。
【請求項１１】
前記撮像装置のフレーム画像撮像手段は、一定時間ごとにフレーム画像を前記ネットワークを介して前記処理装置に送り、
前記処理装置の変換パラメータ算出手段は、前記撮像装置から前記ネットワークを介して一定時間ごとに送られてくるフレーム画像を用いてあおり補正のための変換パラメータを再計算する、
ことを特徴とする請求項１０に記載の映像処理システム。
【請求項１２】
前記撮像装置のフレーム画像伝送手段は、ユーザ指示があった場合にのみフレーム画像を前記ネットワークを介して前記処理装置に送り、
前記処理装置の変換パラメータ算出手段は、前記撮像装置からフレーム画像が送られてくると、該フレーム画像を用いてあおり補正のための変換パラメータを再計算する、
ことを特徴とする請求項１０に記載の映像処理システム。
【請求項１３】
前記処理装置は、フレーム画像のズーム指示をユーザから受け付けるズーム指示受付手段を備え、前記変換パラメータ算出手段は、ユーザが指定したフレーム画像上の領域を画像全面に表示するようにデジタルズームするための変換パラメータを算出し、
前記撮像装置の画像変換手段は、フレーム画像に対してデジタルズームを行う、
ことを特徴とする請求項８又は９に記載の映像処理システム。
【請求項１４】
前記撮像装置のフレーム画像伝送手段は、ユーザズーム指示があった場合にのみフレーム画像を前記ネットワークを介して前記処理装置に送る、
ことを特徴とする請求項１３に記載の映像処理システム。
【請求項１５】
複数のテレビ会議端末がネットワークを介して接続されてなるテレビ会議システムであって、
前記テレビ会議端末は、請求項１乃至７のいずれか１項に記載の映像処理装置を備えていることを特徴とするテレビ会議システム。
【請求項１６】
請求項８乃至１４のいずれか１項に記載の映像処理システムを利用した遠方監視システムであって、
複数の撮像装置がネットワークを介して監視センタの処理装置に接続され、処理装置は、複数の撮像装置からネットワークを介して送られてくる映像をそれぞれ表示する表示手段を備えていることを特徴とする遠方監視システム。
【請求項１７】
撮像装置と該撮像装置に接続された処理装置とによりフレーム画像を処理する映像処理方法であって、
前記撮像装置が、フレーム画像を取得し、該フレーム画像を前記処理装置に送る過程と、
前記処理装置が、前記撮像装置から送られたフレーム画像を用いて画像変換のための変換パラメータを算出し、該変換パラメータを前記撮像装置に送る過程と、
前記撮像装置が、前記処理装置から送られた前記変換パラメータを当該撮像装置内に設定し、該設定した変換パラメータを用いてフレーム画像に対して画像変換を施し、変換済みフレーム画像を前記処理装置に送る過程と、
を有することを特徴とする映像処理方法。
【請求項１８】
前記撮像装置から前記処理装置に送られる前記フレーム画像と前記変換済みフレーム画像の伝送レートを異ならせることを特徴とする請求項１７に記載の映像処理方法。
【請求項１９】
フレーム画像を取得する画像取得手段と、
画像変換に使用する変換パラメータの算出を依頼するためにフレーム画像を伝送するフレーム画像伝送手段と、
受信された変換パラメータを設定する変換パラメータ設定手段と、
前記設定された変換パラメータを用いてフレーム画像に対して画像変換を施す画像変換手段と、
前記画像変換を施された変換済みフレーム画像を伝送する変換済みフレーム画像伝送手段と、
を有することを特徴とする撮像装置。
【請求項２０】
前記フレーム画像伝送手段と前記変換済みフレーム画像伝送手段とで伝送レートを変えることを特徴とする請求項１９に記載の撮像装置。
【請求項１】
撮像装置と該撮像装置に接続された処理装置とを具備し、
前記撮像装置は、フレーム画像を取得する画像取得手段と、前記フレーム画像を前記処理装置に送るフレーム画像伝送手段と、前記処理装置から送られた変換パラメータを該撮像装置内に設定する変換パラメータ設定手段と、前記設定された変換パラメータを用いてフレーム画像に対して画像変換を施す画像変換手段と、変換済みフレーム画像を前記処理装置に送る変換済みフレーム画像伝送手段を有し、
前記処理装置は、前記撮像装置から送られたフレーム画像を用いて画像変換のための変換パラメータを算出する変換パラメータ算出手段と、前記変換パラメータを前記撮像装置に送る変換パラメータ伝送手段を有する、
ことを特徴とする映像処理装置。
【請求項２】
前記撮像装置のフレーム画像伝送手段と変換済みフレーム画像伝送手段とで伝送レートを変えることを特徴とする請求項１に記載の映像処理装置。
【請求項３】
前記撮像装置の画像変換手段は、フレーム画像に対してあおり補正を施し、
前記処理装置の変換パラメータ算出手段は、フレーム画像から被写体領域を検出して、あおり補正のための変換パラメータを算出する、
ことを特徴とする請求項１又は２に記載の映像処理装置。
【請求項４】
前記撮像装置のフレーム画像伝送手段は、一定時間ごとにフレーム画像を前記処理装置に送り、
前記処理装置の変換パラメータ算出手段は、前記撮像装置から一定時間ごとに送られてくるフレーム画像を用いてあおり補正のための変換パラメータを再計算する、
ことを特徴とする請求項３に記載の映像処理装置。
【請求項５】
前記撮像装置のフレーム画像伝送手段は、ユーザ指示があった場合にのみフレーム画像を前記処理装置に送り、
前記処理装置の変換パラメータ算出手段は、前記撮像装置からフレーム画像が送られてくると、該フレーム画像を用いてあおり補正のための変換パラメータを再計算する、
ことを特徴とする請求項３に記載の映像処理装置。
【請求項６】
前記処理装置は、フレーム画像のズーム指示をユーザから受け付けるズーム指示受付手段を備え、前記変換パラメータ算出手段は、ユーザが指定したフレーム画像上の領域を画像全面に表示するようにデジタルズームするための変換パラメータを算出し、
前記撮像装置の画像変換手段は、フレーム画像に対してデジタルズームを行う、
ことを特徴とする請求項１又は２に記載の映像処理装置。
【請求項７】
前記撮像装置のフレーム画像伝送手段は、ユーザズーム指示があった場合にのみフレーム画像を前記処理装置に送る、
ことを特徴とする請求項６に記載の映像処理装置。
【請求項８】
撮像装置と該撮像装置に接続された処理装置とがネットワークを介して接続されてなる映像処理システムであって、
前記撮像装置は、フレーム画像を取得する画像取得手段と、前記フレーム画像を前記ネットワークを介して前記処理装置に送るフレーム画像伝送手段と、前記処理装置から前記ネットワークを付して送られた変換パラメータを該撮像装置内に設定する変換パラメータ設定手段と、前記設定された変換パラメータを用いてフレーム画像に対して画像変換を施す画像変換手段と、変換済みフレーム画像を前記ネットワークを介して前記処理装置に送る変換済みフレーム画像伝送手段を有し、
前記処理装置は、前記撮像装置から前記ネットワークを介して送られたフレーム画像を用いて画像変換のための変換パラメータを算出する変換パラメータ算出手段と、前記変換パラメータを前記ネットワークを介して前記撮像装置に送る変換パラメータ伝送手段を有する、
ことを特徴とする映像処理システム。
【請求項９】
前記撮像装置のフレーム画像伝送手段と変換済みフレーム画像伝送手段とで伝送レートを変えることを特徴とする請求項８に記載の映像処理システム。
【請求項１０】
前記撮像装置の画像変換手段は、フレーム画像に対してあおり補正を施し、
前記処理装置の変換パラメータ算出手段は、フレーム画像から被写体領域を検出して、あおり補正のための変換パラメータを算出する、
ことを特徴とする請求項８又は９に記載の映像処理システム。
【請求項１１】
前記撮像装置のフレーム画像撮像手段は、一定時間ごとにフレーム画像を前記ネットワークを介して前記処理装置に送り、
前記処理装置の変換パラメータ算出手段は、前記撮像装置から前記ネットワークを介して一定時間ごとに送られてくるフレーム画像を用いてあおり補正のための変換パラメータを再計算する、
ことを特徴とする請求項１０に記載の映像処理システム。
【請求項１２】
前記撮像装置のフレーム画像伝送手段は、ユーザ指示があった場合にのみフレーム画像を前記ネットワークを介して前記処理装置に送り、
前記処理装置の変換パラメータ算出手段は、前記撮像装置からフレーム画像が送られてくると、該フレーム画像を用いてあおり補正のための変換パラメータを再計算する、
ことを特徴とする請求項１０に記載の映像処理システム。
【請求項１３】
前記処理装置は、フレーム画像のズーム指示をユーザから受け付けるズーム指示受付手段を備え、前記変換パラメータ算出手段は、ユーザが指定したフレーム画像上の領域を画像全面に表示するようにデジタルズームするための変換パラメータを算出し、
前記撮像装置の画像変換手段は、フレーム画像に対してデジタルズームを行う、
ことを特徴とする請求項８又は９に記載の映像処理システム。
【請求項１４】
前記撮像装置のフレーム画像伝送手段は、ユーザズーム指示があった場合にのみフレーム画像を前記ネットワークを介して前記処理装置に送る、
ことを特徴とする請求項１３に記載の映像処理システム。
【請求項１５】
複数のテレビ会議端末がネットワークを介して接続されてなるテレビ会議システムであって、
前記テレビ会議端末は、請求項１乃至７のいずれか１項に記載の映像処理装置を備えていることを特徴とするテレビ会議システム。
【請求項１６】
請求項８乃至１４のいずれか１項に記載の映像処理システムを利用した遠方監視システムであって、
複数の撮像装置がネットワークを介して監視センタの処理装置に接続され、処理装置は、複数の撮像装置からネットワークを介して送られてくる映像をそれぞれ表示する表示手段を備えていることを特徴とする遠方監視システム。
【請求項１７】
撮像装置と該撮像装置に接続された処理装置とによりフレーム画像を処理する映像処理方法であって、
前記撮像装置が、フレーム画像を取得し、該フレーム画像を前記処理装置に送る過程と、
前記処理装置が、前記撮像装置から送られたフレーム画像を用いて画像変換のための変換パラメータを算出し、該変換パラメータを前記撮像装置に送る過程と、
前記撮像装置が、前記処理装置から送られた前記変換パラメータを当該撮像装置内に設定し、該設定した変換パラメータを用いてフレーム画像に対して画像変換を施し、変換済みフレーム画像を前記処理装置に送る過程と、
を有することを特徴とする映像処理方法。
【請求項１８】
前記撮像装置から前記処理装置に送られる前記フレーム画像と前記変換済みフレーム画像の伝送レートを異ならせることを特徴とする請求項１７に記載の映像処理方法。
【請求項１９】
フレーム画像を取得する画像取得手段と、
画像変換に使用する変換パラメータの算出を依頼するためにフレーム画像を伝送するフレーム画像伝送手段と、
受信された変換パラメータを設定する変換パラメータ設定手段と、
前記設定された変換パラメータを用いてフレーム画像に対して画像変換を施す画像変換手段と、
前記画像変換を施された変換済みフレーム画像を伝送する変換済みフレーム画像伝送手段と、
を有することを特徴とする撮像装置。
【請求項２０】
前記フレーム画像伝送手段と前記変換済みフレーム画像伝送手段とで伝送レートを変えることを特徴とする請求項１９に記載の撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【公開番号】特開２０１２−１８６７１９（Ｐ２０１２−１８６７１９Ａ）
【公開日】平成２４年９月２７日（２０１２．９．２７）
【国際特許分類】
【出願番号】特願２０１１−４９３７３（Ｐ２０１１−４９３７３）
【出願日】平成２３年３月７日（２０１１．３．７）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
【公開日】平成２４年９月２７日（２０１２．９．２７）
【国際特許分類】
【出願日】平成２３年３月７日（２０１１．３．７）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
[ Back to top ]