画像処理装置及び画像処理方法
【課題】複数台の撮像装置を用いて予め撮像する領域が重なる場に設定することにより、対象物の移動方向と移動距離を参照することなく高解像度処理を行うことができる画像処理装置及び画像処理方法を提供する。
【解決手段】予め撮像する領域が重なる場所を設定され設置された複数台の撮像装置を用いて対象物の撮影画像を取得することにより、同時刻の複数の対象物の撮像画像が取得できる。このような画像を利用することにより対象物の移動方向と移動距離を考慮にいれずに高解像度処理を行う。
【解決手段】予め撮像する領域が重なる場所を設定され設置された複数台の撮像装置を用いて対象物の撮影画像を取得することにより、同時刻の複数の対象物の撮像画像が取得できる。このような画像を利用することにより対象物の移動方向と移動距離を考慮にいれずに高解像度処理を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数台の撮像装置の画像を用いた画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
昨今、テレビ等の映像表示機の大型化に伴い、受信した低解像度画像に対して高解像度処理を施し、それにより作成された高解像度画像を表示することが一般的に行われている。
【０００３】
高解像度処理の方法としては、１枚の基礎となる低解像度画像に対して超解像度処理を行い画素数を増やす方法がある。
【０００４】
しかし、この方法では、実際には存在しない画素情報を実際の画素の周辺画素から予想することにより新たな解像度の画像を作り出すものでるため、実際の画像とは異なった画像となってしまう場合がある。
【０００５】
また、他の高解像度処理として、１台の撮像装置によって撮像された時刻の異なる複数の低解像度画像から高解像度処理を行う技術が開発されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００９−１６３５８８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１のように時刻の異なる複数の低解像度画像を利用するものでは、高解像度処理を行いたい対象物の移動方向および移動速度（動きベクトル）や、対象物が人の場合には動作を考慮に入れた処理が必要となり、処理が複雑になる。このため、処理が複雑になると、処理の遅延化を招くなどの問題となる。
【０００８】
本発明は、上記の事情に鑑みてなされたもので、複数台の撮像装置を用いて予め撮像する領域が重なる場に設定することにより、対象物の移動方向と移動距離を参照することなく高解像度処理を行うことができる画像処理装置及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明の画像処理装置は、
共通視野を持つように配置され、同時に撮像した低解像度画像を出力する複数の撮像手段と、
前記複数の撮像手段の同期を制御すると共に、前記複数の撮像手段より受信した複数枚の低解像度画像の前記共通視野の画素に対して高解像度画像を生成する画像処理手段と、
前記画像処理手段から出力された前記高解像度画像を表示する受像手段と、
を備えることを特徴とする。
【００１０】
また、本発明の画像処理方法は、
共通視野を持つように配置された複数の撮像手段によって同時に撮影された複数枚の低解像度画像を受信し、
前記複数枚の低解像度の画像の前記共通視野の画素に対して高解像度画像を生成して表示することを特徴とする。
【発明の効果】
【００１１】
本発明によれば、同時に撮影された複数の低解像度画像から高解像度処理を行うため、簡易かつ高速に高解像度処理を実行できるようになる。
【図面の簡単な説明】
【００１２】
【図１】本発明の第１の実施形態に係る画像処理装置の構成を示す図。
【図２】二台の撮像装置の「共通視野」を表す概念図。
【図３】本発明の第１の実施形態の動作を示す図。
【図４】本発明の第２の実施形態に係る画像処理装置の構成を示す図。
【図５】本発明の第２の実施形態に係る高解像度処理後の立体画像を示す図。
【図６】本発明の第３の実施形態に係る監視システムの被写体と撮像装置の配置例を示す図。
【図７】本発明の第３の実施形態に係る監視システムの動作を示す図。
【図８】本発明の第３の実施形態に係る高解像度処理の概念図。
【図９】本発明の第４の実施形態に係る画像処理装置の構成を示す図。
【発明を実施するための形態】
【００１３】
以下、本発明の実施態様について、図１乃至図９を参照しながら説明する。
【００１４】
（第１の実施形態）
図１は、本発明の第１の実施形態に係る画像処理装置の構成を示す図である。
【００１５】
図２は、第１の実施形態による二台の撮像装置の「共通視野」を表す概念図である。
【００１６】
本実施形態の画像処理装置は、図１に示すように、画像処理装置１０と、複数の撮像装置２０ａ，…，２０ｎと、受像装置３０とから構成される。
【００１７】
画像処理装置１０は、高解像度化処理部１１を内蔵し、複数の撮像装置２０ａ，…，２０ｎによって撮影された低解像度（撮影）画像を受信すると、その高解像度処理部１１で高解像度処理を行う。また、画像処理装置１０は、複数の撮像装置２０ａ，２０ｂの撮像タイミングの同期をとり、同じタイミングの画像を取得する。
【００１８】
画像処理装置１０は、同じ撮影タイミングの低解像度画像の画素に対し高解像度化処理部１１によって高解像度処理を行い、それにより生成した高解像度画像を受像装置３０へ送出する。その他、画像処理等に必要な演算処理を行う。
【００１９】
高解像度化処理部１１は、複数の撮像装置２０ａ，…，２０ｎから取得した「共通視野」内の低解像度画像を用いて、被写体の欠落した画素情報を補完するように複数の画像を重ね合せ、位置合せ処理、再構成処理を行うことにより高解像度画像を生成する。
【００２０】
複数の撮像装置２０ａ，２０ｂは、被写体を撮像する装置である。例えば、デジタルカメラやアナログカメラ等がある。これらの複数台の撮像装置のうち、少なくとも二台は「共通視野」を持つように配置される。被写体とは、例えば、人や車等の移動物体である。
【００２１】
図２は、二台の撮像装置の「共通視野」を表す概念図である。ここで、「共通視野」について、例えば二台のカメラを使用した図２を参照して説明する。
【００２２】
各撮像装置２０ａ，２０ｂは、それぞれが撮像する視野角、つまり「単独視野」がある。これらの撮像装置２０ａ，２０ｂの「単独視野」が重なるように設置された場合、「共通視野」が発生する。例えば、図２のように、撮像装置２０ａ，２０ｂのカメラ面の中心線が同一方向を向き、カメラ面に対して鉛直方向に向かって平行に並べた場合、「単独視野」が重なる部分が存在する。この「単独視野」が重なる部分を「共通視野」と呼ぶ。
【００２３】
上記「共通視野」の概念については簡単のため二次元平面で存在したが、同様に、三次元平面に拡張することができるのは言うまでもない。
【００２４】
また、ここでは二台のカメラを利用した場合について説明したが、二台のカメラに限られることなく、三台以上のカメラを利用しても同様の「共通視野」の概念が適用される。
【００２５】
受像装置３０は、画像処理装置１０から出力された高解像度画像を受像し、表示する。なお、受像装置３０の表示方法として、撮像装置２０ａ，…，２０ｎで撮影された画像をそのまま表示しても良い。
【００２６】
次に、第１の実施形態の動作について図３を参照しながら説明する。図３は、本発明の第１の実施形態の動作を示す図である。
【００２７】
各撮像装置２０ａ，…，２０ｎの少なくとも２台は、「共通視野」を持つように配置されている。例えば、撮像装置２０ａ，２０ｎで同時に撮影された「共通視野」が存在する被写体の各低解像度画像は、画像処理装置１０へ送出される（ステップ３０１）。
【００２８】
画像処理装置１０は、同時に送られてきた二枚以上の低解像度画像を高解像度化処理部１１に処理させる。高解像度化処理部１１は、二枚以上の低解像度画像を用いて、被写体の欠落した画素情報を補完するように複数の画像を重ね合せ、位置合せ処理、再構成処理を行うことにより高解像度画像を生成する（ステップ３０２）。
【００２９】
画像処理部１０は、生成した高解像度画像を受像装置３０に送出し、受像装置３０は受信した高解像度画像を表示する（ステップ３０３）。
【００３０】
このように、一つの被写体に対し異なった撮影角度や異なった撮影場所から撮影された画像を複数フレーム撮像し、より多くの画素情報を複数の撮像装置を用いて同時に取得することにより、効率的な高解像度処理を行うことができる。
【００３１】
つまり、一台の撮像装置で撮影した低解像度画像に対して高解像度処理を施すものに比べ、複数フレームの撮像時刻の違いからくる時間差を調節する同期（動きベクトルの補正）が不要となり、より簡便に高解像度処理をすることができる。
【００３２】
（第２の実施形態）
本発明の第２の実施態様について図４、図５を参照しながら説明する。図４は、本発明の第２の実施形態に係る画像処理装置の構成を示す図である。図５は、本発明の第２の実施形態に係る高解像度処理後の立体画像を示す図である。第２の実施態様と第１の実施形態との違いは、画像処理部１０が更に三次元計測処理部１２を備えている点である。
【００３３】
三次元計測処理部１２は、各撮像装置２０ａ，…，２０ｎから出力される視差画像から被写体の立体形状の検出、距離計測、三次元位置計測を行う。
【００３４】
次に、第２の実施形態の作用について説明する。
【００３５】
各撮像装置２０ａ，…，２０ｎで同時に撮影された「共通視野」が存在する被写体の各低解像度画像は、画像処理装置１０へ送出される。画像処理装置１０の高解像度化処理部１１は、二枚以上の低解像度画像を用いて被写体の欠落した画素情報を補完するように複数の画像を重ね合せ、位置合せ処理、再構成処理を行う。また、三次元計測処理部１２によって立体形状の検出、距離計測、三次元位置計測の三次元計測処理を行う。画像処理装置１０は、三次元計測情報を有する高解像度画像を受像装置３０に出力する。
【００３６】
このように、三次元計測処理の三次元計測情報を受信した受像装置３０は、図５に示すように被写体を立体的に表示する。このような画像を提供することにより、監視員に被写体の高度やカメラからの距離等、より正確な被写体の状況を認識させることができる。より正確な被写体の状況を認識させることにより、より安全性の高い監視システムを構築することができる。例えば、高所作業中の作業者の落下危険性の判定が容易になる。
【００３７】
（第３の実施形態）
本発明の第３の実施態様について図６乃至図８を参照しながら説明する。図６は、本発明の第３の実施形態に係る監視システムの被写体と撮像装置の配置例を示す図である。図６に記載する二台の撮像装置２０ａ，２０ｂは、セキュリティ・セーフを目的に広範囲に死角のないように設置され「共通視野」をもっている。図７は、本発明の第３の実施形態に係る高解像度処理の概念図である。
【００３８】
第３の実施態様と第１および第２の実施形態との違いは、図７に示すように外部インターフェイス（外部ＩＦ）から撮像装置２０ａ，２０ｂの「共通視野」の高解像度画像生成対象が指定できる点である。つまり「共通視野」の画像から、さらに高解像度処理を行いたい画像フレームを限定する。この選択された画像フレームの共通視野画素に対して高解像度処理を行う。
【００３９】
ここで、外部ＩＦからの指示ではなく、画像処理部１０内の演算機能を用いて撮像装置２０ａ，２０ｂの「共通視野」の画像から背景画像との背景差分や、フレーム間差分を用いて、高解像度画像生成対象を自動的に抽出・判定し人等の被写体を自動追尾することができるようにしてもよい。
【００４０】
なお、高解像度画像生成対象が存在する低解像度画像の「共通視野」全てに対して高解像度処理を行っても良いし、抽出した一部に対してのみ高解像度処理を行っても良い。抽出した一部に対してのみ高解像度化処理を行う場合には、高解像度処理のさらなる負担軽減が可能となる。
【００４１】
本発明の第３の実施態様の動作について図７、図８を用いて説明する。図８は、本発明の第３の実施形態に係る監視システムの監視例を示す図である。
【００４２】
各撮像装置２０ａ，２０ｂで同時に撮影された「共通視野」が存在する被写体の各低解像度画像は、画像処理装置１０へ送出される（ステップ７０１）。画像処理部１０の高解像度化処理部１１は、撮像装置２０ａ，２０ｂの「共通視野」から高解像度処理を行う対象を抽出し、追尾するための高解像度画像を生成し（ステップ７０３）、その画像を受像装置３０に出力する（ステップ７０４）。一方、高解像度処理を行う対象画像が存在しない場合、受信した低解像度画像に対しては高解像度処理を行わない（ステップ７０１のＮＯ）。
【００４３】
つまり、「共通視野」に人や物などの移動物体が指定、検出された場合に、それらの移動物体が存在する低解像画像の「共通視野」に対して高解像度処理を行う。一方、移動物体が存在しない場合は高解像度処理を行わないというものである。
【００４４】
または、対象人物が抽出された場合は、「共通視野」の抽出した対象人物近傍のみを対象に高解像度処理を行い、移動しない背景画像については、高解像度処理を行わない。
【００４５】
このように、高解像度処理する対象領域を限定する又は高解像度処理を行う期間、画像フレーム、さらには画像フレーム内の一部画素領域を限定することでより効率的、つまり高速で高解像度処理が可能となる。また、自動的に被写体が抽出される場合には監視員の負担も軽減されることとなる。
【００４６】
（第４の実施形態）
本発明の第４の実施態様について図９を参照しながら説明する。図９は、本発明の第４の実施形態に係る画像処理装置の構成を示す図である。
【００４７】
第４の実施形と第１乃至第３の実施形態との違いは、図９に示すように撮像装置２０ａ，…，２０ｎがパン機能、画角の上下左右方向の移動手段、チルト機能、光学又はデジタルズーム機能、パノラマ又は広角機能等を備えている点である。また、画像処理部１０には、撮像装置２０ａ，…，２０ｎの位置を調整することができる位置調整部１３を備えている点である。
【００４８】
位置調整部１３は、各撮像装置２０ａ，…，２０ｎの撮影方向・焦点距離等の調節を指示する。これらの調節は、外部ＩＦ（図示しない）から行っても良いし、位置調整部１３内に自動的に被写体の高解像度化に適した視野位置を確保する機能をもたせてもよい。
【００４９】
本発明の第４の実施態様の動作について説明する。
【００５０】
第１乃至第３の実施形態との違いは、撮像装置２０ａ，…，２０ｎが位置調整部１３からの指令に応じてパン機能、画角の上下左右方向の移動手段、チルト機能、光学又はデジタルズーム機能、パノラマ又は広角機能等を利用して、被写体に位置合せをする点である。
【００５１】
このように、撮像装置２０ａ，…，２０ｎの撮像位置や撮像範囲を調節することにより、「共通視野」を作成することが容易となる。また、人等の高解像度処理対象の抽出・追尾もより行い易くなることから、より高解像度処理を行い易い低解像度画像が取得できる。
【００５２】
更に、被写体を追尾し、各撮像装置２０ａ，…，２０ｎの被写体への焦点距離を調節することで、画像上における被写体のサイズを同一とすることができる。よって、低解像度画像を拡大／縮小処理することなく、高解像度処理が行い、より高精度な高解像度化が可能となる。
【００５３】
なお本発明は、発明の要旨を逸脱しない範囲において、上述した実施形態を適宜設計変更することが可能であり、必要に応じて実施形態を適宜組み合わせても良い。
【符号の説明】
【００５４】
１０ … 画像処理装置
１１ … 高解像度化処理部
１２ … 三次元計測処理部
１３ … 位置調整部
２０ａ…２０ｎ … 撮像装置
３０ … 受像装置
４０ … 表示装置
【技術分野】
【０００１】
本発明は、複数台の撮像装置の画像を用いた画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
昨今、テレビ等の映像表示機の大型化に伴い、受信した低解像度画像に対して高解像度処理を施し、それにより作成された高解像度画像を表示することが一般的に行われている。
【０００３】
高解像度処理の方法としては、１枚の基礎となる低解像度画像に対して超解像度処理を行い画素数を増やす方法がある。
【０００４】
しかし、この方法では、実際には存在しない画素情報を実際の画素の周辺画素から予想することにより新たな解像度の画像を作り出すものでるため、実際の画像とは異なった画像となってしまう場合がある。
【０００５】
また、他の高解像度処理として、１台の撮像装置によって撮像された時刻の異なる複数の低解像度画像から高解像度処理を行う技術が開発されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００９−１６３５８８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１のように時刻の異なる複数の低解像度画像を利用するものでは、高解像度処理を行いたい対象物の移動方向および移動速度（動きベクトル）や、対象物が人の場合には動作を考慮に入れた処理が必要となり、処理が複雑になる。このため、処理が複雑になると、処理の遅延化を招くなどの問題となる。
【０００８】
本発明は、上記の事情に鑑みてなされたもので、複数台の撮像装置を用いて予め撮像する領域が重なる場に設定することにより、対象物の移動方向と移動距離を参照することなく高解像度処理を行うことができる画像処理装置及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明の画像処理装置は、
共通視野を持つように配置され、同時に撮像した低解像度画像を出力する複数の撮像手段と、
前記複数の撮像手段の同期を制御すると共に、前記複数の撮像手段より受信した複数枚の低解像度画像の前記共通視野の画素に対して高解像度画像を生成する画像処理手段と、
前記画像処理手段から出力された前記高解像度画像を表示する受像手段と、
を備えることを特徴とする。
【００１０】
また、本発明の画像処理方法は、
共通視野を持つように配置された複数の撮像手段によって同時に撮影された複数枚の低解像度画像を受信し、
前記複数枚の低解像度の画像の前記共通視野の画素に対して高解像度画像を生成して表示することを特徴とする。
【発明の効果】
【００１１】
本発明によれば、同時に撮影された複数の低解像度画像から高解像度処理を行うため、簡易かつ高速に高解像度処理を実行できるようになる。
【図面の簡単な説明】
【００１２】
【図１】本発明の第１の実施形態に係る画像処理装置の構成を示す図。
【図２】二台の撮像装置の「共通視野」を表す概念図。
【図３】本発明の第１の実施形態の動作を示す図。
【図４】本発明の第２の実施形態に係る画像処理装置の構成を示す図。
【図５】本発明の第２の実施形態に係る高解像度処理後の立体画像を示す図。
【図６】本発明の第３の実施形態に係る監視システムの被写体と撮像装置の配置例を示す図。
【図７】本発明の第３の実施形態に係る監視システムの動作を示す図。
【図８】本発明の第３の実施形態に係る高解像度処理の概念図。
【図９】本発明の第４の実施形態に係る画像処理装置の構成を示す図。
【発明を実施するための形態】
【００１３】
以下、本発明の実施態様について、図１乃至図９を参照しながら説明する。
【００１４】
（第１の実施形態）
図１は、本発明の第１の実施形態に係る画像処理装置の構成を示す図である。
【００１５】
図２は、第１の実施形態による二台の撮像装置の「共通視野」を表す概念図である。
【００１６】
本実施形態の画像処理装置は、図１に示すように、画像処理装置１０と、複数の撮像装置２０ａ，…，２０ｎと、受像装置３０とから構成される。
【００１７】
画像処理装置１０は、高解像度化処理部１１を内蔵し、複数の撮像装置２０ａ，…，２０ｎによって撮影された低解像度（撮影）画像を受信すると、その高解像度処理部１１で高解像度処理を行う。また、画像処理装置１０は、複数の撮像装置２０ａ，２０ｂの撮像タイミングの同期をとり、同じタイミングの画像を取得する。
【００１８】
画像処理装置１０は、同じ撮影タイミングの低解像度画像の画素に対し高解像度化処理部１１によって高解像度処理を行い、それにより生成した高解像度画像を受像装置３０へ送出する。その他、画像処理等に必要な演算処理を行う。
【００１９】
高解像度化処理部１１は、複数の撮像装置２０ａ，…，２０ｎから取得した「共通視野」内の低解像度画像を用いて、被写体の欠落した画素情報を補完するように複数の画像を重ね合せ、位置合せ処理、再構成処理を行うことにより高解像度画像を生成する。
【００２０】
複数の撮像装置２０ａ，２０ｂは、被写体を撮像する装置である。例えば、デジタルカメラやアナログカメラ等がある。これらの複数台の撮像装置のうち、少なくとも二台は「共通視野」を持つように配置される。被写体とは、例えば、人や車等の移動物体である。
【００２１】
図２は、二台の撮像装置の「共通視野」を表す概念図である。ここで、「共通視野」について、例えば二台のカメラを使用した図２を参照して説明する。
【００２２】
各撮像装置２０ａ，２０ｂは、それぞれが撮像する視野角、つまり「単独視野」がある。これらの撮像装置２０ａ，２０ｂの「単独視野」が重なるように設置された場合、「共通視野」が発生する。例えば、図２のように、撮像装置２０ａ，２０ｂのカメラ面の中心線が同一方向を向き、カメラ面に対して鉛直方向に向かって平行に並べた場合、「単独視野」が重なる部分が存在する。この「単独視野」が重なる部分を「共通視野」と呼ぶ。
【００２３】
上記「共通視野」の概念については簡単のため二次元平面で存在したが、同様に、三次元平面に拡張することができるのは言うまでもない。
【００２４】
また、ここでは二台のカメラを利用した場合について説明したが、二台のカメラに限られることなく、三台以上のカメラを利用しても同様の「共通視野」の概念が適用される。
【００２５】
受像装置３０は、画像処理装置１０から出力された高解像度画像を受像し、表示する。なお、受像装置３０の表示方法として、撮像装置２０ａ，…，２０ｎで撮影された画像をそのまま表示しても良い。
【００２６】
次に、第１の実施形態の動作について図３を参照しながら説明する。図３は、本発明の第１の実施形態の動作を示す図である。
【００２７】
各撮像装置２０ａ，…，２０ｎの少なくとも２台は、「共通視野」を持つように配置されている。例えば、撮像装置２０ａ，２０ｎで同時に撮影された「共通視野」が存在する被写体の各低解像度画像は、画像処理装置１０へ送出される（ステップ３０１）。
【００２８】
画像処理装置１０は、同時に送られてきた二枚以上の低解像度画像を高解像度化処理部１１に処理させる。高解像度化処理部１１は、二枚以上の低解像度画像を用いて、被写体の欠落した画素情報を補完するように複数の画像を重ね合せ、位置合せ処理、再構成処理を行うことにより高解像度画像を生成する（ステップ３０２）。
【００２９】
画像処理部１０は、生成した高解像度画像を受像装置３０に送出し、受像装置３０は受信した高解像度画像を表示する（ステップ３０３）。
【００３０】
このように、一つの被写体に対し異なった撮影角度や異なった撮影場所から撮影された画像を複数フレーム撮像し、より多くの画素情報を複数の撮像装置を用いて同時に取得することにより、効率的な高解像度処理を行うことができる。
【００３１】
つまり、一台の撮像装置で撮影した低解像度画像に対して高解像度処理を施すものに比べ、複数フレームの撮像時刻の違いからくる時間差を調節する同期（動きベクトルの補正）が不要となり、より簡便に高解像度処理をすることができる。
【００３２】
（第２の実施形態）
本発明の第２の実施態様について図４、図５を参照しながら説明する。図４は、本発明の第２の実施形態に係る画像処理装置の構成を示す図である。図５は、本発明の第２の実施形態に係る高解像度処理後の立体画像を示す図である。第２の実施態様と第１の実施形態との違いは、画像処理部１０が更に三次元計測処理部１２を備えている点である。
【００３３】
三次元計測処理部１２は、各撮像装置２０ａ，…，２０ｎから出力される視差画像から被写体の立体形状の検出、距離計測、三次元位置計測を行う。
【００３４】
次に、第２の実施形態の作用について説明する。
【００３５】
各撮像装置２０ａ，…，２０ｎで同時に撮影された「共通視野」が存在する被写体の各低解像度画像は、画像処理装置１０へ送出される。画像処理装置１０の高解像度化処理部１１は、二枚以上の低解像度画像を用いて被写体の欠落した画素情報を補完するように複数の画像を重ね合せ、位置合せ処理、再構成処理を行う。また、三次元計測処理部１２によって立体形状の検出、距離計測、三次元位置計測の三次元計測処理を行う。画像処理装置１０は、三次元計測情報を有する高解像度画像を受像装置３０に出力する。
【００３６】
このように、三次元計測処理の三次元計測情報を受信した受像装置３０は、図５に示すように被写体を立体的に表示する。このような画像を提供することにより、監視員に被写体の高度やカメラからの距離等、より正確な被写体の状況を認識させることができる。より正確な被写体の状況を認識させることにより、より安全性の高い監視システムを構築することができる。例えば、高所作業中の作業者の落下危険性の判定が容易になる。
【００３７】
（第３の実施形態）
本発明の第３の実施態様について図６乃至図８を参照しながら説明する。図６は、本発明の第３の実施形態に係る監視システムの被写体と撮像装置の配置例を示す図である。図６に記載する二台の撮像装置２０ａ，２０ｂは、セキュリティ・セーフを目的に広範囲に死角のないように設置され「共通視野」をもっている。図７は、本発明の第３の実施形態に係る高解像度処理の概念図である。
【００３８】
第３の実施態様と第１および第２の実施形態との違いは、図７に示すように外部インターフェイス（外部ＩＦ）から撮像装置２０ａ，２０ｂの「共通視野」の高解像度画像生成対象が指定できる点である。つまり「共通視野」の画像から、さらに高解像度処理を行いたい画像フレームを限定する。この選択された画像フレームの共通視野画素に対して高解像度処理を行う。
【００３９】
ここで、外部ＩＦからの指示ではなく、画像処理部１０内の演算機能を用いて撮像装置２０ａ，２０ｂの「共通視野」の画像から背景画像との背景差分や、フレーム間差分を用いて、高解像度画像生成対象を自動的に抽出・判定し人等の被写体を自動追尾することができるようにしてもよい。
【００４０】
なお、高解像度画像生成対象が存在する低解像度画像の「共通視野」全てに対して高解像度処理を行っても良いし、抽出した一部に対してのみ高解像度処理を行っても良い。抽出した一部に対してのみ高解像度化処理を行う場合には、高解像度処理のさらなる負担軽減が可能となる。
【００４１】
本発明の第３の実施態様の動作について図７、図８を用いて説明する。図８は、本発明の第３の実施形態に係る監視システムの監視例を示す図である。
【００４２】
各撮像装置２０ａ，２０ｂで同時に撮影された「共通視野」が存在する被写体の各低解像度画像は、画像処理装置１０へ送出される（ステップ７０１）。画像処理部１０の高解像度化処理部１１は、撮像装置２０ａ，２０ｂの「共通視野」から高解像度処理を行う対象を抽出し、追尾するための高解像度画像を生成し（ステップ７０３）、その画像を受像装置３０に出力する（ステップ７０４）。一方、高解像度処理を行う対象画像が存在しない場合、受信した低解像度画像に対しては高解像度処理を行わない（ステップ７０１のＮＯ）。
【００４３】
つまり、「共通視野」に人や物などの移動物体が指定、検出された場合に、それらの移動物体が存在する低解像画像の「共通視野」に対して高解像度処理を行う。一方、移動物体が存在しない場合は高解像度処理を行わないというものである。
【００４４】
または、対象人物が抽出された場合は、「共通視野」の抽出した対象人物近傍のみを対象に高解像度処理を行い、移動しない背景画像については、高解像度処理を行わない。
【００４５】
このように、高解像度処理する対象領域を限定する又は高解像度処理を行う期間、画像フレーム、さらには画像フレーム内の一部画素領域を限定することでより効率的、つまり高速で高解像度処理が可能となる。また、自動的に被写体が抽出される場合には監視員の負担も軽減されることとなる。
【００４６】
（第４の実施形態）
本発明の第４の実施態様について図９を参照しながら説明する。図９は、本発明の第４の実施形態に係る画像処理装置の構成を示す図である。
【００４７】
第４の実施形と第１乃至第３の実施形態との違いは、図９に示すように撮像装置２０ａ，…，２０ｎがパン機能、画角の上下左右方向の移動手段、チルト機能、光学又はデジタルズーム機能、パノラマ又は広角機能等を備えている点である。また、画像処理部１０には、撮像装置２０ａ，…，２０ｎの位置を調整することができる位置調整部１３を備えている点である。
【００４８】
位置調整部１３は、各撮像装置２０ａ，…，２０ｎの撮影方向・焦点距離等の調節を指示する。これらの調節は、外部ＩＦ（図示しない）から行っても良いし、位置調整部１３内に自動的に被写体の高解像度化に適した視野位置を確保する機能をもたせてもよい。
【００４９】
本発明の第４の実施態様の動作について説明する。
【００５０】
第１乃至第３の実施形態との違いは、撮像装置２０ａ，…，２０ｎが位置調整部１３からの指令に応じてパン機能、画角の上下左右方向の移動手段、チルト機能、光学又はデジタルズーム機能、パノラマ又は広角機能等を利用して、被写体に位置合せをする点である。
【００５１】
このように、撮像装置２０ａ，…，２０ｎの撮像位置や撮像範囲を調節することにより、「共通視野」を作成することが容易となる。また、人等の高解像度処理対象の抽出・追尾もより行い易くなることから、より高解像度処理を行い易い低解像度画像が取得できる。
【００５２】
更に、被写体を追尾し、各撮像装置２０ａ，…，２０ｎの被写体への焦点距離を調節することで、画像上における被写体のサイズを同一とすることができる。よって、低解像度画像を拡大／縮小処理することなく、高解像度処理が行い、より高精度な高解像度化が可能となる。
【００５３】
なお本発明は、発明の要旨を逸脱しない範囲において、上述した実施形態を適宜設計変更することが可能であり、必要に応じて実施形態を適宜組み合わせても良い。
【符号の説明】
【００５４】
１０ … 画像処理装置
１１ … 高解像度化処理部
１２ … 三次元計測処理部
１３ … 位置調整部
２０ａ…２０ｎ … 撮像装置
３０ … 受像装置
４０ … 表示装置
【特許請求の範囲】
【請求項１】
共通視野を持つように配置され、同時に撮像した低解像度画像を出力する複数の撮像手段と、
前記複数の撮像手段の同期を制御すると共に、前記複数の撮像手段より受信した複数枚の低解像度画像の前記共通視野の画素に対して高解像度画像を生成する画像処理手段と、
前記画像処理手段から出力された前記高解像度画像を表示する受像手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記画像処理手段は、前記複数の撮像手段により同時に撮像された前記複数枚の低解像度画像の前記共通視野の画素に対して高解像度処理および三次元計測処理を行い、三次元の高解像度画像を生成することを特徴とする請求項１に記載する画像処理装置。
【請求項３】
前記画像処理手段は、前記複数の撮像手段により撮像された前記複数枚の低解像度画像のうち、被写体が写っている低解像度画像の共通視野内の画素に対して高解像度画像を生成することを特徴とする請求項１に記載する画像処理装置。
【請求項４】
前記画像処理手段は、前記複数の撮像手段により撮像された前記複数枚の低解像度画像の前記共通視野の画像から抽出された一部の画素に対して高解像度画像を生成することを特徴とする請求項１に記載する画像処理装置。
【請求項５】
共通視野を持つように配置された複数の撮像手段によって同時に撮影された複数枚の低解像度画像を受信し、
前記複数枚の低解像度の画像の前記共通視野の画素に対して高解像度画像を生成して表示することを特徴とする画像処理方法。
【請求項１】
共通視野を持つように配置され、同時に撮像した低解像度画像を出力する複数の撮像手段と、
前記複数の撮像手段の同期を制御すると共に、前記複数の撮像手段より受信した複数枚の低解像度画像の前記共通視野の画素に対して高解像度画像を生成する画像処理手段と、
前記画像処理手段から出力された前記高解像度画像を表示する受像手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記画像処理手段は、前記複数の撮像手段により同時に撮像された前記複数枚の低解像度画像の前記共通視野の画素に対して高解像度処理および三次元計測処理を行い、三次元の高解像度画像を生成することを特徴とする請求項１に記載する画像処理装置。
【請求項３】
前記画像処理手段は、前記複数の撮像手段により撮像された前記複数枚の低解像度画像のうち、被写体が写っている低解像度画像の共通視野内の画素に対して高解像度画像を生成することを特徴とする請求項１に記載する画像処理装置。
【請求項４】
前記画像処理手段は、前記複数の撮像手段により撮像された前記複数枚の低解像度画像の前記共通視野の画像から抽出された一部の画素に対して高解像度画像を生成することを特徴とする請求項１に記載する画像処理装置。
【請求項５】
共通視野を持つように配置された複数の撮像手段によって同時に撮影された複数枚の低解像度画像を受信し、
前記複数枚の低解像度の画像の前記共通視野の画素に対して高解像度画像を生成して表示することを特徴とする画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１１−１８０７５０（Ｐ２０１１−１８０７５０Ａ）
【公開日】平成２３年９月１５日（２０１１．９．１５）
【国際特許分類】
【出願番号】特願２０１０−４２９６０（Ｐ２０１０−４２９６０）
【出願日】平成２２年２月２６日（２０１０．２．２６）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２３年９月１５日（２０１１．９．１５）
【国際特許分類】
【出願日】平成２２年２月２６日（２０１０．２．２６）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]