パノラマ画像の生成方法
【課題】複数の撮像画像から生成されるパノラマ画像の品質を向上する。
【解決手段】カメラサーバ１の通信制御部１４は、複数回の撮像により得られた複数の撮像画像から生成されたパノラマ画像に、プライバシーマスク画像が重畳されるように、カメラサーバ１の画像重畳部１９をオフにする。そして、通信制御部１４は、プライバシーマスク画像が重畳されていない撮像画像をパノラマ画像生成用クライアント３へ送信する。そして、パノラマ画像生成クライアント３は、通信制御部１４からの撮像画像を用いてパノラマ画像の生成とプライバシーマスク画像の重畳を行う。
【解決手段】カメラサーバ１の通信制御部１４は、複数回の撮像により得られた複数の撮像画像から生成されたパノラマ画像に、プライバシーマスク画像が重畳されるように、カメラサーバ１の画像重畳部１９をオフにする。そして、通信制御部１４は、プライバシーマスク画像が重畳されていない撮像画像をパノラマ画像生成用クライアント３へ送信する。そして、パノラマ画像生成クライアント３は、通信制御部１４からの撮像画像を用いてパノラマ画像の生成とプライバシーマスク画像の重畳を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の撮像画像からパノラマ画像を生成するパノラマ画像生成方法に関するものである。
【背景技術】
【０００２】
パノラマ画像生成方法として、特許文献１には、撮像装置の首振りにより撮影可能な全範囲を複数領域に分割し、各領域の撮像画像を射影変換してつなぎ合わせることが記載されている。
また、プライバシーマスクの合成方法として、特許文献２には、首振り角度に応じた位置と大きさのプライバシーマスクを生成し、撮像画像に重畳することが記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−１３６５１４号公報
【特許文献２】特開２００１−６９４９４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、撮像画像に対して行われる処理の位置によっては、パノラマ画像の品質が劣化してしまう恐れがあった。
【０００５】
例えば、パノラマ画像を生成するための複数の撮像画像の間でプライバシーマスク領域が跨る場合、プライバシーマスク画像が重畳された複数の撮像画像を射影変換でパノラマ画像を生成すると、つなぎ合わせ部分でプライバシーマスク画像がずれる恐れがあった。
【０００６】
また、撮像日時や撮像場所などのオンスクリーン画像を撮像画像に重畳するオンスクリーン表示機能を備えた撮像装置でパノラマ画像を生成する場合もパノラマ画像の品質が劣化する恐れがある。すなわち、オンスクリーン画像の重畳位置によっては、パノラマ画像上での撮像画像のつなぎ合わせの部分に、不要なオンスクリーン画像が重畳されてしまう恐れがあった。
【０００７】
上記のように生成されたパノラマ画像の例を図５に示す。図５には、斜線部分をプライバシーマスク画像、下側の日時が示されている部分をオンスクリーン画像として表わしている。図５に示すように、各撮像画像のプライバシーマスク画像の重畳位置によっては、プライバシーマスク画像のふちの部分にがたつきが生じたり、部分的に切れたようになってしまう恐れがあった。また、各撮像画像のオンスクリーン画像の重畳位置によっては、識別不可能な不要なオンスクリーン画像が重畳されてしまう恐れがあった。
【０００８】
本発明は上記の問題点に鑑みてなされたものであり、その目的は、複数の撮像画像から生成されるパノラマ画像の品質を向上することである。
【課題を解決するための手段】
【０００９】
上記の目的を達成するために、本発明のパノラマ画像生成装置は、例えば以下の構成を有する。すなわち、複数回の撮像により得られた複数の撮像画像からパノラマ画像を生成する処理装置であって、前記パノラマ画像上に重畳される所定の画像の前記撮像画像上における重畳位置を決定するための重畳パラメータを入力する入力手段と、前記複数回の撮像により得られた複数の撮像画像の座標値の変換処理により前記複数の撮像画像からパノラマ画像を生成する生成手段と、前記撮像画像上における重畳位置が前記座標値の変換処理により変換された前記パノラマ画像上における重畳位置に前記所定の画像が重畳されるように前記撮像画像上における重畳位置を決定するための重畳パラメータに基づいて前記パノラマ画像上における前記所定の画像の重畳位置を決定する決定手段とを有する。
【発明の効果】
【００１０】
本発明によれば、複数の撮像画像から生成されるパノラマ画像の品質を向上できる。
【図面の簡単な説明】
【００１１】
【図１】パノラマ画像を生成するネットワークカメラシステムのブロック図
【図２】パノラマ画像を生成する処理を説明するためのフローチャート
【図３】クライアントでの画面表示例
【図４】撮像画像平面とパノラマ画像平面の概念図
【図５】従来の方法で生成されたパノラマ画像の例
【発明を実施するための形態】
【００１２】
以下に、本発明の好ましい実施形態を、添付の図面に基づいて詳細に説明する。
図１は、本実施形態におけるネットワークカメラシステムのブロック図である。
本実施形態では、カメラサーバ１、ビューワークライアント２（以下クライアント２）、パノラマ画像生成用クライアント３（以下クライアント３）がネットワーク４を介して接続されている。カメラサーバ１、クライアント２、クライアント３は、それぞれ、ネットワーク４に複数接続することも可能である。本形態において、クライアント３は、複数回の撮像により得られた複数の撮像画像からパノラマ画像を生成する処理装置である。なお、本形態におけるパノラマ画像とは、１回の撮像で得られる撮像画像よりも広視野角の画像である。
【００１３】
ネットワーク４は、カメラ制御信号や、カメラサーバ１による撮像画像を通信可能なインターネットやイントラネット等のディジタルネットワークである。本実施形態ではネットワークプロトコルとしてＴＣＰ／ＩＰ（またはＵＤＰ／ＩＰ）プロトコルを仮定する。また、本実施形態では、カメラサーバ１、クライアント２、クライアント３には、それぞれ異なるＩＰアドレスが割り当てられている。
【００１４】
カメラサーバ１は、クライアント２、３から画像要求コマンドに応じて、撮像画像をネットワーク４を介して配信する。また、カメラサーバ１は、クライアント２、３からのカメラ制御コマンドに応じて、各種カメラ制御（例えばパン・チルト・ズーム制御）を実行する。カメラサーバ１の画像入力部１５は、ビデオカメラ１１による撮像画像（動画および静止画）を取り込む。画像入力部１５は、プライバシーマスクやオンスクリーン表示が有効になっている場合、取り込んだ撮像画像を画像重畳部１９へ入力し、無効になっている場合は画像圧縮部１６に入力する。
【００１５】
画像重畳部１９は、入力された撮像画像に対してプライバシーマスク画像やオンスクリーン画像を重畳し、当該重畳後の撮像画像を画像圧縮部１６へ入力する。すなわち、カメラサーバ１の画像重畳部１９は、撮像画像にオンスクリーン画像やプライバシーマスク画像を重畳する。オンスクリーン画像とは、例えば、撮像画像の撮像日、撮像時刻、撮像場所、撮像対象に関するテキスト画像やイメージ画像、カメラサーバ１の識別情報などである。また、プライバシーマスク画像とは、例えば、撮像画像内の人物や名称や数字などを特定できないようにするためのマスク画像である。プライバシーマスク画像は、例えば一色で塗りつぶしたような画像であっても、モザイク画像であっても良い。
【００１６】
本形態のクライアント２、３の操作入力部２３、３４は、プライバシーマスク画像の重畳位置を入力できる。そして、クライアント２、３の通信制御部２１、３１は、操作入力部２３、３４による重畳位置の入力に応じて、カメラサーバ１に対して重畳位置を示す重畳パラメータを含むコマンドを送信する。カメラサーバ１の画像重畳部１９は、クライアント２、３から通知された重畳パラメータ、および、重畳位置の入力時のビデオカメラ１１のパン・チルト・ズーム値と、現在のパン・チルト・ズーム値に応じた撮像画像上の領域に、プライバシーマスク画像を重畳する。また、複数の撮像画像からパノラマ画像を生成する場合、撮像画像上における重畳位置の入力に応じて、パノラマ画像上でもプライバシーマスク画像が重畳される。ただし、プライバシーマスク画像の重畳位置は、ユーザーによる重畳領域の入力に基づいて決定される例に限らず、例えば、画像処理によって検出された顔領域などに重畳されるように決定することも可能である。
【００１７】
画像圧縮部１６は、画像入力部１５又は画像重畳部１９により入力された撮像画像をクライアントに配信しやすいデータサイズに圧縮し、通信制御部１４へ入力する。通信制御部１４は、画像圧縮部１６による圧縮済みの撮像画像をネットワーク４を介して画像要求コマンドの送信元クライアントに対して送信する。
【００１８】
記憶部１８は、プライバシーマスクやオンスクリーン表示の設定値、クライアント３によって生成されたパノラマ画像などの各種設定値およびデータを保持する。コマンド解釈部１７は、クライアント２、３からのコマンドを解釈して、カメラサーバ１の各部の制御を行う。例えば、コマンド解釈部１７は、通信制御部１４によるカメラ制御コマンドの受信に応じてカメラ・雲台制御部１３を介して可動雲台１２の向きやビデオカメラ１１のズーム倍率などを制御する。本形態の画像圧縮部１６は、ビデオカメラ１１からのＮＴＳＣ画像信号をＡ／Ｄ変換した後、ＭｏｔｉｏｎＪＥＰＧで圧縮する。ただし、他の圧縮形式を用いることも可能である。また、コマンド解釈部１７は、通信制御部１４によるプライバシーマスク画像の重畳位置を示す重畳パラメータを含むコマンドの受信に応じて当該重畳パラメータを記憶部１８と画像重畳部１９に入力する。
【００１９】
クライアント２は、カメラサーバ１に割り当てられているＩＰアドレスを指定してカメラサーバ１に接続される。通信制御部２１は、画像要求コマンド、カメラ制御コマンドをカメラサーバ１へ送信する。また、通信制御部２１は、カメラサーバ１からの撮像画像、パノラマ画像、各種カメラ制御の結果を受信する。また、表示制御部２４は、画像伸長部２５で展開された撮像画像およびパノラマ画像や、各種カメラ制御の結果からグラフィカルユーザーインタフェース（ＧＵＩ）を生成し、画面表示部２６で表示させる。操作入力部２３は、ユーザーのマウスやキーボードによるＧＵＩ操作を受け付ける。
【００２０】
ユーザーのＧＵＩ操作とは、例えば、カメラサーバ１に対してパン、チルト制御やズーム制御を指示するための操作である。より具体的には、ユーザーは、画面表示部２６に表示されたパノラマ画像上でのマウスクリックや、ビデオカメラ１１のパン・チルト・ズーム値を表す枠のドラッグといったＧＵＩ操作を行う。コマンド生成部２２は、操作入力部２３が受け付けたＧＵＩ操作に応じて各種カメラ制御コマンドを生成する。生成されたカメラ制御コマンドは通信制御部２１からカメラサーバ１に送信される。
【００２１】
クライアント３は、クライアント２と同様にカメラサーバ１に割り当てられているＩＰアドレスを指定してカメラサーバ１に接続される。通信制御部３１、表示制御部３５、画像伸長部３６、画面表示部３７は、それぞれクライアント２と同様の機能を備える。
【００２２】
クライアント３の操作入力部３４は、クライアント２の操作入力部２３で入力される操作入力に加え、カメラサーバ１にパノラマ画像を要求するためのＧＵＩ操作の入力を受け付ける。パノラマ画像を要求するためのＧＵＩ操作には、パノラマ画像の範囲を指定するＧＵＩ操作も含まれる。クライアント３の制御パラメータ算出部３３は、操作入力部３４により入力された、パノラマ画像を要求するためのＧＵＩ操作に応じて、パノラマ画像生成用の画像を撮像するためのパン・チルト角度の算出し、算出結果をコマンド生成部３２に入力する。コマンド生成部３２は、入力されたパン・チルト角度に応じたカメラ制御コマンドを生成し、通信制御部３１を介してカメラサーバ１へ送信する。このカメラ制御コマンドを受信したカメラサーバ１は、カメラ制御コマンドに応じたパン・チルト角度へ可動雲台１２を制御した後、ビデオカメラ１１による撮像画像をクライアント３へ送信する。また、クライアント３の操作入力部３４は、撮像画像上におけるプライバシーマスク画像の重畳位置を指定するための入力も可能である。操作入力部３４からプライバシーマスク画像の重畳位置が入力されると、通信制御部３１は、重畳位置を示す重畳パラメータを含むコマンドをカメラサーバ１へ送信する。
【００２３】
パノラマ画像生成部３８は、カメラサーバ１から受信した複数の撮像画像からパノラマ画像を生成する。すなわち、パノラマ画像生成部３８は、画像伸長部３６で伸長された複数の撮像画像の座標値を後述する変換処理（射影変換）で変換してつなぎ合わせることでパノラマ画像を生成する。パノラマ画像生成部３８により生成されたパノラマ画像は画像重畳部３９に入力される。
【００２４】
画像重畳部３９は、パノラマ画像生成部３８によって生成されたパノラマ画像に対してプライバシーマスク画像を重畳し、画像圧縮部３０へ出力する。クライアント３の画像重畳部３９は、パノラマ画像上におけるプライバシーマスク画像の重畳位置を、撮像画像上で指定された重畳位置を示す重畳パラメータと射影変換の計算式に基づいて決定する。すなわち、画像重畳部３９は、撮像画像上における重畳位置が変換されたパノラマ画像上における重畳位置に、所定の画像（プライバシーマスク画像）が重畳されるように、パノラマ画像上におけるプライバシーマスク画像の重畳位置を決定する。画像重畳部３９は、決定した重畳位置にプライバシーマスク画像を重畳する。
【００２５】
画像圧縮部３０は、画像重畳部３９によりプライバシーマスク画像が重畳されたパノラマ画像を圧縮処理して通信制御部３１に渡す。通信制御部３１からカメラサーバ１へ送信されたパノラマ画像は、カメラサーバ１の記憶部１８に記憶され、他のクライアント（クライアント２）からの要求に応じて配信される。
【００２６】
図２は、本実施形態のカメラサーバ１とクライアント３におけるパノラマ画像の生成処理を説明するためのフローチャートである。なお、クライアント３は複数回の撮像により得られた複数の撮像画像からパノラマ画像を生成する処理装置である。図２の処理は、クライアント３の操作入力部３４で、パノラマ画像の生成を指示する操作が入力されたことに応じて開始される。
【００２７】
Ｓ１０１において、クライアント３のコマンド生成部３２は、カメラサーバ１のオンスクリーン表示（ＯＳＤ）が有効（オン）であるか否かを判定する。そして、コマンド生成部３２は、オンスクリーン表示がオンであるとＳ１０１で判定された場合、Ｓ１０２において、カメラサーバ１のオンスクリーン表示を無効（オフ）にするための制御コマンドを送信する。カメラサーバ１の通信制御部１４は、オンスクリーン表示を無効にするための制御コマンドの受信に応じて、画像重畳部１９によるオンスクリーン表示の機能を無効（オフ）にする。
【００２８】
Ｓ１０３において、コマンド生成部３２は、カメラサーバ１のプライバシーマスク処理が有効（オン）であるか否かを判定する。そして、コマンド生成部３２は、プライバシーマスク処理がオンであるとＳ１０３で判定された場合、Ｓ１０４において、カメラサーバ１のプライバシーマスク処理を無効（オフ）にするための制御コマンドを送信する。カメラサーバ１の通信制御部１４はプライバシーマスク処理を無効にするための制御コマンドの受信に応じて、画像重畳部１９によるプライバシーマスク処理を無効（オフ）にする。
【００２９】
Ｓ１０５において、クライアント３の制御パラメータ算出部３３は、操作入力部３４から入力されたパノラマ画像の範囲に関する情報に応じて、パノラマ画像を生成するための複数の撮像画像それぞれのパン・チルト角度を算出する。
【００３０】
Ｓ１０６において、コマンド生成部３２は、Ｓ１０５で算出された複数のパン・チルト角度のうちの１つのパン・チルト角度に応じた撮像方向にビデオカメラ１１を制御するためのカメラ制御コマンドを送信する。
【００３１】
Ｓ１０６で送信されたカメラ制御コマンドに応じた撮像方向にビデオカメラ１１の撮像方向が制御されたことを示す通知を通信制御部３１が受信すると、Ｓ１０７において、コマンド生成部３２は、撮像コマンドを送信する。ビデオカメラ１１は、通信制御部１４による撮像コマンドの受信に応じて、現在のパン・チルト角度で撮像を行う。これにより、パノラマ画像を生成するための複数の撮像画像のうちの１枚が得られる。ビデオカメラ１１により得られた撮像画像は、画像圧縮部１６で圧縮され、通信制御部１４を介してクライアント３へ送信される。
【００３２】
Ｓ１０８（生成手順）において、カメラサーバ１から圧縮済みの撮像画像を受信したクライアント３は、画像伸長部３６で撮像画像を伸長し、パノラマ画像生成部３８でほかの撮像画像とつなぎ合わせてパノラマ画像を生成する。すなわち、クライアント３のパノラマ画像生成部３８は、複数の撮像により得られた複数の撮像画像の座標値の変換処理（射影変換）により複数の撮像画像からパノラマ画像を生成する。変換処理の詳細は後述する。
【００３３】
Ｓ１０９において、コマンド生成部３２は、パノラマ画像の生成に用いるすべての撮像画像が得られたか否か、及び、パノラマ画像の生成を中断する指示が入力されたか否かを判定する。すべての撮像画像が得られた、又は、パノラマ画像の生成を中断する指示が入力されたと判定された場合はＳ１１０へ進む。一方、すべての撮像画像が得られていないと判定され、かつ、パノラマ画像の生成を中断する指示が入力されていないと判定された場合はＳ１０６に戻る。
【００３４】
Ｓ１０６に戻った場合、コマンド生成部３２は、Ｓ１０５で算出された複数のパン・チルト角度のうち、これまでとは異なるパン・チルト角度に応じた方向にビデオカメラ１１を制御するためのカメラ制御コマンドを送信する。そして、Ｓ１０７〜Ｓ１０９は上記の説明と同様の処理を行う。Ｓ１０６からＳ１０９の処理を繰り返すことにより、クライアント３は、パノラマ画像の生成に用いるすべての撮像画像を得られる。
【００３５】
Ｓ１１０において、コマンド生成部３２は、Ｓ１０２でカメラサーバ１のオンスクリーン表示を無効にしたか否かを判定する。無効にしたと判定された場合、Ｓ１１１において、コマンド生成部３２は、カメラサーバ１のオンスクリーン表示を有効にするための制御コマンドを送信する。
【００３６】
Ｓ１１２において、コマンド生成部３２は、Ｓ１０４でカメラサーバのプライバシーマスク処理を無効にしたか否かを判定する。無効にしたと判定された場合、Ｓ１１３において、コマンド生成部３２は、カメラサーバ１のプライバシーマスク処理を有効にするための制御コマンドを送信する。
【００３７】
Ｓ１１４において、画像重畳部３９は、Ｓ１０９でパノラマ画像の生成が中断されたか否かを判定する。パノラマ画像の生成が中断されていないと判定された場合、Ｓ１１５に進み、画像重畳部３９は、Ｓ１０６〜Ｓ１０９により得られた複数の撮像画像から生成されたパノラマ画像に対してプライバシーマスク画像を重畳する。
【００３８】
すなわちＳ１１５（入力手順）において、画像重畳部３９は、記憶部１８が保持するプライバシーマスクの位置に関するパラメータ、描画方法に関するパラメータを入力する。プライバシーマスクの位置に関するパラメータには、プライバシーマスクの重畳位置を示す重畳パラメータ、当該重畳パラメータ設定時のパン・チルト・ズーム値、及び、現在のパン・チルト・ズーム値に関する情報が含まれる。また、描画方法に関するパラメータには、プライバシーマスク画像の色や模様に関する情報が含まれる。
【００３９】
そして、Ｓ１１５（決定手順）において、画像重畳部３９は、パノラマ画像上におけるプライバシーマスク画像の重畳位置を、撮像画像上で指定されたプライバシーマスク画像の重畳位置に関するパラメータと、後述する射影変換の計算式に基づいて決定された重畳位置に重畳する。すなわち、画像重畳部３９は、撮像画像上における重畳位置が変換されたパノラマ画像上における重畳位置にプライバシーマスク画像が重畳されるように、重畳パラメータに基づいてパノラマ画像上におけるプライバシーマスク画像の重畳位置を決定する。
【００４０】
このように、本形態のカメラサーバ１の通信制御部１４は、Ｓ１０２、Ｓ１０４（制御手順）において、カメラサーバ１の画像重畳部１９によるオンスクリーン表示とプライバシーマスク処理の機能を無効（オフ）にする。そして、通信制御部１４は、ビデオカメラ１１により撮像され、オンスクリーン画像やプライバシーマスク画像が重畳されていない状態の複数の撮像画像を、クライアント３へ送信する。そして、クライアント３は、複数の撮像画像をつなぎ合わせてパノラマ画像を生成し、その後、クライアント３の画像重畳部３９が重畳処理を行う。すなわち、Ｓ１０２、Ｓ１０４において、カメラサーバ１の通信制御部１４は、複数回の撮像により得られた複数の撮像画像から生成されたパノラマ画像に、所定の画像（プライバシーマスク画像）が重畳されるように制御する。そして、Ｓ１１５において、クライアント３の通信制御部３１は、画像重畳部３９により各種画像が重畳されたパノラマ画像をカメラサーバ１へ送信する。カメラサーバ１は、受信したパノラマ画像を記憶部１８に記憶させる。カメラサーバ１の通信制御部１４は、クライアント２からの要求に応じて、記憶部１８に記憶されたパノラマ画像をクライアント２へ送信する（出力手順）。
【００４１】
なお、本形態では、Ｓ１１５においてプライバシーマスク画像を重畳する例を説明したが、パノラマ画像の生成と平行して重畳処理を行うようにしても良い。例えば、クライアント３のパノラマ画像生成部３８は、パノラマ画像を生成するための複数回の撮像のうち、第１の撮像により得られた第１の撮像画像と、第２の撮像により得られた第２の撮像画像とを合成してパノラマ画像の一部を生成する。そして、クライアント３の画像重畳部３９は、パノラマ画像生成部３８によるパノラマ画像の一部の生成時に第１の撮像画像と第２の撮像画像に跨って重畳される画像を第１の撮像画像と第２の撮像画像のそれぞれに重畳する。このようにすることで、パノラマ画像が完全に出来上がってから重畳処理をするよりも早くパノラマ画像の生成を完了できる。
【００４２】
また、Ｓ１１５において、画像重畳部３９は、パノラマ画像に対してオンスクリーン画像を重畳することも可能である。すなわち、画像重畳部３９は、記憶部１８が保持するオンスクリーン表示の位置に関する重畳パラメータ（撮像画像上での位置、大きさ）、および表示内容に関するパラメータ（文字列、フォント）に基づいてオンスクリーン画像を重畳しても良い。また、例えばパノラマ画像を表示するクライアント２で、オンスクリーン画像を重畳するようにしても良い。
【００４３】
図３は、カメラサーバ１において、オンスクリーン画像とプライバシーマスク画像が重畳された撮像画像を表示するクライアント２の画面表示例である。
【００４４】
クライアント２の表示画面には、ビデオカメラ１１で撮影されたライブ画像を表示するライブ画像表示部５０、カメラサーバ１の記憶部１８から取得されたパノラマ画像を表示するパノラマ画像表示部５１を有する。また、クライアント２の表示画面には、つまみのドラッグにより可動雲台１２のパン・チルト制御を指示するパンスクロールバー５２およびチルトスクロールバー５３、つまみのドラッグによりビデオカメラ１１のズーム制御を指示するズームスライダー５４を有する。さらに、パノラマ画像表示部５１内には、パン・チルト・ズーム制御を指示するためのパノラマプレビュー枠５５が表示される。パノラマプレビュー枠５５を例えばマウスドラッグにより移動させることにより、ビデオカメラ１１の撮像方向を制御することが可能である。また、パノラマプレビュー枠５５の大きさを例えばマスクドラッグにより変更することで、ビデオカメラ１１のズーム倍率を制御することが可能である。ライブ画像表示部５０には、パノラマプレビュー枠５５に対する操作による制御後のライブ画像が表示される。
【００４５】
カメラサーバ１においてオンスクリーン表示とプライバシーマスクが有効な場合、画像重畳部１９でオンスクリーン画像５７とプライバシーマスク画像５６が重畳された撮像画像がライブ画像表示部５０に表示される。撮像画像上のオンスクリーン画像５７は、記憶部１８が保持するオンスクリーン表示の位置に関するパラメータ（撮像画像上での位置、大きさ）、および表示内容に関するパラメータ（文字列、フォント）に基づいて画像重畳部１９が重畳したものである。
【００４６】
また、撮像画像上のプライバシーマスク画像５６は、記憶部１８が保持するプライバシーマスクの重畳位置に関するパラメータ、描画方法に関するパラメータに基づいて重畳された画像である。プライバシーマスクの重畳位置に関するパラメータには、例えばプライバシーマスク画像の重畳位置に関する重畳パラメータ、重畳パラメータ設定時のパン・チルト・ズーム値、及び、現在のパン・チルト・ズーム値に関する情報が含まれる。また、描画方法に関するパラメータには、プライバシーマスク画像の色や模様に関する情報が含まれる。
【００４７】
なお、図３のプライバシーマスク画像５６は、左側の一部が切れており、左にパンすることでプライバシーマスク画像全体が見えるようになる。このようにプライバシーマスクの一部が切れてしまう問題は、パノラマ画像生成時の画像撮像時にも発生し、Ｓ１０３で算出されたパン・チルト角度によっては、１つのプライバシーマスクが隣り合う撮像画像にまたがる場合がある。このような場合、プライバシーマスク画像が重畳された複数の撮像画像から、例えば射影変換でパノラマ画像を生成すると、つなぎ合わせの部分でプライバシーマスク画像がずれることがある。
【００４８】
次に、複数の撮像画像からパノラマ画像を生成するために用いる射影変換について、図４を用いて説明する。
図４は、撮像画像平面とパノラマ画像平面の概念図である。
パノラマ画像を生成するための射影変換は、地図の投影法における心射図法を用いて説明することができる。すなわち、心射図法における視点（Ｑとする）を、パン・チルト中心Ｑ（０，０，０）に置く。そして、あるパンチルト角度（ρ，τ）で得られた画像平面上の座標をＰ１（ｘ，ｙ）、視点Ｑを中心とする半径Ｒ上の球面上に接するようにこの画像を置いたときに、Ｐ１（ｘ，ｙ）と視点Ｑを結ぶ直線が球面と交わる点の座標を極座標表示する。この極座標表示の結果を（Ｒｓｉｎθｃｏｓφ，Ｒｃｏｓθｃｏｓφ，Ｒｓｉｎφ）とすると、心射図法においては、ｍを定数として一般に次の式が成り立つ。
ｘ＝ｍ・Ｒｃｏｓφｓｉｎ（θ−ρ）／｛ｓｉｎφｓｉｎτ＋ｃｏｓφｃｏｓτｃｏｓ（θ−ρ）｝ （式１．１）
ｙ＝ｍ・Ｒ（ｓｉｎφｃｏｓτ−ｃｏｓφｓｉｎτｃｏｓ（θ−ρ））／｛ｓｉｎφｓｉｎτ＋ｃｏｓφｃｏｓτｃｏｓ（θ−ρ）｝（式１．２）
なお、パン・チルト角度（ρ，τ）のときにこの画像平面と球の交わる画像平面上の座標を原点（０，０）とする。
【００４９】
ここで、パン・チルトして得られる全撮像範囲を角度で表したものを、パン方向θｍｉｎ〜θｍａｘ、チルト方向φｍｉｎ〜φｍａｘとする。なお、この角度は、可動雲台１２のパン・チルト可動範囲にビデオカメラ１１の画角を加えたものである。すなわち、パン・チルト限界をそれぞれ、Ｐｍｉｎ，Ｐｍａｘ，Ｔｍｉｎ，Ｔｍａｘとして、ビデオカメラ１１の画角を水平、垂直それぞれＡｈ，Ａｖとすると、
θｍｉｎ＝Ｐｍｉｎ−Ａｈ／２
θｍａｘ＝Ｐｍａｘ＋Ａｈ／２
φｍｉｎ＝Ｐｍｉｎ−Ａｖ／２
φｍａｘ＝Ｐｍａｘ＋Ａｖ／２
となる。生成するパノラマ画像の画素数を横Ｈ画素、縦Ｖ画素とすると、１画素に相当する画角は、パン方向、チルト方向それぞれ
Δθ＝（θｍａｘ−θｍｉｎ）／Ｈ （式２．１）
Δφ＝（φｍａｘ−φｍｉｎ）／Ｖ （式２．２）
となる。すなわちパノラマ画像上の画素（ｉ，ｊ）は、パン・チルト角度（θ，φ）で表すと
（θ，φ）＝（θｍｉｎ＋Δθ×ｉ，φｍｉｎ＋Δφ×ｊ）
但し、
ｉ＝０，１，２，・・・，Ｈ−１
ｊ＝０，１，２，・・・，Ｖ−１
で表すことができる。したがって、この（θ，φ）と、ある画像ｉｍｇ（Ｐａ，Ｔｂ）を得る際のパンチルト角度、（ρ，τ）＝（Ｐａ，Ｔｂ）から、式（１．１），（１．２），（２．１），（２．２）を用いて、画像ｉｍｇ（Ｐａ，Ｔｂ）上の座標（ｘ，ｙ）が、パノラマ画像上のどの座標に対応するかが決定される。ただし、ａ＝１，２，・・・，ｎ，ｂ＝１，２，・・・，ｍである。すなわちパノラマ画像上の座標をＸｐ，Ｙｐとすると、この変換式をＦとすれば、元の撮像画像の座標は、パノラマ画像上の座標
（Ｘｐ、Ｙｐ）＝Ｆ（Ｘ、ｙ、Ｐａ、Ｔｂ） 式（３）
にマッピングされることになる。
【００５０】
したがって、パノラマ画像上の座標（Ｘｐ，Ｙｐ）の画素値は元の撮像画像ｉｍｇ（Ｐａ，Ｔｂ）の画素値で置き換えることができる。これを全パノラマ画像上の画素（ｉ，ｊ）について求めれば、パン、チルト角度にリニアな座標系を持つパノラマ画像が得られる。この変換式Ｆがパノラマ画像生成部３８によって実行される射影変換の計算式である。
【００５１】
以上説明したように、本実施形態では、パノラマ画像生成用の画像撮像中はカメラサーバ１のオンスクリーン画像の重畳処理を無効化するため、図５に示すような不要なオンスクリーン画像の表示を抑制できる。また、パノラマ画像生成用の画像撮像中はカメラサーバ１のプライバシーマスク画像の重畳処理が無効化される。そして、射影変換によりプライバシーマスク画像の重畳位置が変換されたパノラマ画像上におけるプライバシーマスク画像の重畳位置を撮像画像上におけるプライバシーマスク画像の重畳位置を決定するための重畳パラメータと射影変換の計算式に基づいて決定する。このような構成により、プライバシーマスク画像のふちの部分がなめらかなパノラマ画像が生成される。
【００５２】
具体的には、画像重畳部３９は、記憶部１８が保持するプライバシーマスク設定時のパン・チルト・ズーム値から変換式Ｆを算出する。そして、画像重畳部３９は、プライバシーマスク設定時の撮像画像上でのプライバシーマスクを構成する各画素の座標を式（３）に代入してプライバシーマスク画像の領域を決定することで、ふちの部分が滑らかなプライバシーマスク画像をパノラマ画像に重畳できる。
【００５３】
なお、本形態では、パノラマ画像の生成時は、カメラサーバ１の画像重畳部１９の機能を無効にして、ネットワーク４を介して接続されるクライアント３の画像重畳部３９が、パノラマ画像にプライバシーマスク画像を重畳する例について説明した。しかし、この例に限らない。例えば、カメラサーバ１において、画像重畳部１９の機能を無効にした後、複数回の撮像により得られた複数の撮像画像からパノラマ画像を生成してから、カメラサーバ１の画像重畳部１９でプライバシーマスク画像を重畳するようにすることも可能である。すなわち、カメラサーバ１の通信制御部１４は、撮像画像を出力する場合であって、Ｓ１０３で画像重畳部１９のプライバシーマスク処理がオンであると判定された場合、画像重畳部１９の機能を有効（オン）のままにする。一方、パノラマ画像を出力する場合であって、Ｓ１０３で画像重畳部１９のプライバシーマスク処理がオンであると判定された場合、パノラマ画像にプライバシーマスクが重畳されるように、Ｓ１０４で画像重畳部１９の機能を一時的に無効（オフ）にする。すなわち、カメラサーバ１の通信制御部１４は、パノラマ画像を出力する場合、パノラマ画像が生成されてからプライバシーマスク画像が重畳されるように制御する。このようにすれば、カメラサーバ１内で品質の高いパノラマ画像を生成できる。また、クライアント３で生成されたパノラマ画像をクライアントから受け取って、カメラサーバ１でパノラマ画像にプライバシー画像を重畳する形態も可能である。
【００５４】
また、上述の実施形態では、生成されたパノラマ画像に対してプライバシーマスク画像を重畳することを中心に説明したが、例えば、プライバシーマスク画像の重畳の代わりにマスク処理（モザイク処理や特定の領域の解像度を下げる処理）をする場合にも、本発明は適用可能である。この場合、Ｓ１０４において、カメラサーバ１の通信制御部１４は、複数の撮像画像から得られたパノラマ画像にマスク処理が行われるように、画像重畳部１９のマスク処理を無効にする制御を行い、マスク処理なしの撮像画像をクライアント３へ送信する。そして、Ｓ１１５において、クライアント３は、パノラマ画像を生成すると共に、パノラマ画像上におけるマスク位置を、撮像画像上で指定されたマスク位置を示すマスクパラメータと射影変換の計算式に基づいて決定し、マスク処理する。マスクパラメータは、プライバシーマスク画像の重畳パラメータと同様に、例えば、クライアント２、３の操作入力部２３、３４を用いて入力することが可能である。クライアント３の画像重畳部３９は、マスクパラメータと、当該マスクパラメータの設定時のパン・チルト・ズーム値と、現在のパン・チルト・ズーム値と、射影変換の計算式に基づいてパノラマ画像上におけるマスク位置を決定し、マスク処理を行う。
【００５５】
なお、マスクパラメータは操作入力部２３、３４からの入力に限らず、例えば、画像処理によって検出された顔画像の領域を示す領域情報をマスクパラメータとすることも可能である。このようにすることで、例えばモザイク処理のふちの部分のがたつき等を低減できる。なお、Ｓ１１５において、カメラサーバ１の画像重畳部１９がパノラマ画像に対してマスク処理を行うようにしても良い。
【００５６】
また、上述の実施形態では、生成されたパノラマ画像に対してプライバシーマスク画像を重畳することを中心に説明したが、例えば、実際にパノラマ画像を生成する前に、パノラマ画像上のプライバシーマスク画像の重畳位置を算出し、その結果に基づいてプライバシーマスク画像を重畳するようにしても良い。また、プライバシーマスク画像の重畳位置は算出で求める方法に限らず、例えばテーブルの参照により取得することも可能である。
【００５７】
また、上述の実施形態では、図１に示すカメラサーバ１、クライアント２、クライアント３の各部の処理が、それぞれ専用のハードウェアにより実行される例について説明したが、これらの処理の少なくとも一部の処理を、ＣＰＵで実行するようにしても良い。例えば、図１に示すカメラサーバ１の各部のうち少なくとも一部を、カメラサーバ１のＣＰＵと、当該ＣＰＵで実行されるプログラムを格納するメモリに置き換えて、処理を実行するようにしても良い。また、同様に、クライアント２、３の各部のうち少なくとも一部を、クライアント２、３のＣＰＵと、当該ＣＰＵで実行されるプログラムを格納するメモリに置き換えて、処理を実行するようにしても良い。従って、図２で示すフローチャートの処理のうちの少なくとも一部が、ＣＰＵで実行することも可能である。
【００５８】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【００５９】
以上、本発明の好ましい実施形態について説明したが、本発明は上記の実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【技術分野】
【０００１】
本発明は、複数の撮像画像からパノラマ画像を生成するパノラマ画像生成方法に関するものである。
【背景技術】
【０００２】
パノラマ画像生成方法として、特許文献１には、撮像装置の首振りにより撮影可能な全範囲を複数領域に分割し、各領域の撮像画像を射影変換してつなぎ合わせることが記載されている。
また、プライバシーマスクの合成方法として、特許文献２には、首振り角度に応じた位置と大きさのプライバシーマスクを生成し、撮像画像に重畳することが記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−１３６５１４号公報
【特許文献２】特開２００１−６９４９４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、撮像画像に対して行われる処理の位置によっては、パノラマ画像の品質が劣化してしまう恐れがあった。
【０００５】
例えば、パノラマ画像を生成するための複数の撮像画像の間でプライバシーマスク領域が跨る場合、プライバシーマスク画像が重畳された複数の撮像画像を射影変換でパノラマ画像を生成すると、つなぎ合わせ部分でプライバシーマスク画像がずれる恐れがあった。
【０００６】
また、撮像日時や撮像場所などのオンスクリーン画像を撮像画像に重畳するオンスクリーン表示機能を備えた撮像装置でパノラマ画像を生成する場合もパノラマ画像の品質が劣化する恐れがある。すなわち、オンスクリーン画像の重畳位置によっては、パノラマ画像上での撮像画像のつなぎ合わせの部分に、不要なオンスクリーン画像が重畳されてしまう恐れがあった。
【０００７】
上記のように生成されたパノラマ画像の例を図５に示す。図５には、斜線部分をプライバシーマスク画像、下側の日時が示されている部分をオンスクリーン画像として表わしている。図５に示すように、各撮像画像のプライバシーマスク画像の重畳位置によっては、プライバシーマスク画像のふちの部分にがたつきが生じたり、部分的に切れたようになってしまう恐れがあった。また、各撮像画像のオンスクリーン画像の重畳位置によっては、識別不可能な不要なオンスクリーン画像が重畳されてしまう恐れがあった。
【０００８】
本発明は上記の問題点に鑑みてなされたものであり、その目的は、複数の撮像画像から生成されるパノラマ画像の品質を向上することである。
【課題を解決するための手段】
【０００９】
上記の目的を達成するために、本発明のパノラマ画像生成装置は、例えば以下の構成を有する。すなわち、複数回の撮像により得られた複数の撮像画像からパノラマ画像を生成する処理装置であって、前記パノラマ画像上に重畳される所定の画像の前記撮像画像上における重畳位置を決定するための重畳パラメータを入力する入力手段と、前記複数回の撮像により得られた複数の撮像画像の座標値の変換処理により前記複数の撮像画像からパノラマ画像を生成する生成手段と、前記撮像画像上における重畳位置が前記座標値の変換処理により変換された前記パノラマ画像上における重畳位置に前記所定の画像が重畳されるように前記撮像画像上における重畳位置を決定するための重畳パラメータに基づいて前記パノラマ画像上における前記所定の画像の重畳位置を決定する決定手段とを有する。
【発明の効果】
【００１０】
本発明によれば、複数の撮像画像から生成されるパノラマ画像の品質を向上できる。
【図面の簡単な説明】
【００１１】
【図１】パノラマ画像を生成するネットワークカメラシステムのブロック図
【図２】パノラマ画像を生成する処理を説明するためのフローチャート
【図３】クライアントでの画面表示例
【図４】撮像画像平面とパノラマ画像平面の概念図
【図５】従来の方法で生成されたパノラマ画像の例
【発明を実施するための形態】
【００１２】
以下に、本発明の好ましい実施形態を、添付の図面に基づいて詳細に説明する。
図１は、本実施形態におけるネットワークカメラシステムのブロック図である。
本実施形態では、カメラサーバ１、ビューワークライアント２（以下クライアント２）、パノラマ画像生成用クライアント３（以下クライアント３）がネットワーク４を介して接続されている。カメラサーバ１、クライアント２、クライアント３は、それぞれ、ネットワーク４に複数接続することも可能である。本形態において、クライアント３は、複数回の撮像により得られた複数の撮像画像からパノラマ画像を生成する処理装置である。なお、本形態におけるパノラマ画像とは、１回の撮像で得られる撮像画像よりも広視野角の画像である。
【００１３】
ネットワーク４は、カメラ制御信号や、カメラサーバ１による撮像画像を通信可能なインターネットやイントラネット等のディジタルネットワークである。本実施形態ではネットワークプロトコルとしてＴＣＰ／ＩＰ（またはＵＤＰ／ＩＰ）プロトコルを仮定する。また、本実施形態では、カメラサーバ１、クライアント２、クライアント３には、それぞれ異なるＩＰアドレスが割り当てられている。
【００１４】
カメラサーバ１は、クライアント２、３から画像要求コマンドに応じて、撮像画像をネットワーク４を介して配信する。また、カメラサーバ１は、クライアント２、３からのカメラ制御コマンドに応じて、各種カメラ制御（例えばパン・チルト・ズーム制御）を実行する。カメラサーバ１の画像入力部１５は、ビデオカメラ１１による撮像画像（動画および静止画）を取り込む。画像入力部１５は、プライバシーマスクやオンスクリーン表示が有効になっている場合、取り込んだ撮像画像を画像重畳部１９へ入力し、無効になっている場合は画像圧縮部１６に入力する。
【００１５】
画像重畳部１９は、入力された撮像画像に対してプライバシーマスク画像やオンスクリーン画像を重畳し、当該重畳後の撮像画像を画像圧縮部１６へ入力する。すなわち、カメラサーバ１の画像重畳部１９は、撮像画像にオンスクリーン画像やプライバシーマスク画像を重畳する。オンスクリーン画像とは、例えば、撮像画像の撮像日、撮像時刻、撮像場所、撮像対象に関するテキスト画像やイメージ画像、カメラサーバ１の識別情報などである。また、プライバシーマスク画像とは、例えば、撮像画像内の人物や名称や数字などを特定できないようにするためのマスク画像である。プライバシーマスク画像は、例えば一色で塗りつぶしたような画像であっても、モザイク画像であっても良い。
【００１６】
本形態のクライアント２、３の操作入力部２３、３４は、プライバシーマスク画像の重畳位置を入力できる。そして、クライアント２、３の通信制御部２１、３１は、操作入力部２３、３４による重畳位置の入力に応じて、カメラサーバ１に対して重畳位置を示す重畳パラメータを含むコマンドを送信する。カメラサーバ１の画像重畳部１９は、クライアント２、３から通知された重畳パラメータ、および、重畳位置の入力時のビデオカメラ１１のパン・チルト・ズーム値と、現在のパン・チルト・ズーム値に応じた撮像画像上の領域に、プライバシーマスク画像を重畳する。また、複数の撮像画像からパノラマ画像を生成する場合、撮像画像上における重畳位置の入力に応じて、パノラマ画像上でもプライバシーマスク画像が重畳される。ただし、プライバシーマスク画像の重畳位置は、ユーザーによる重畳領域の入力に基づいて決定される例に限らず、例えば、画像処理によって検出された顔領域などに重畳されるように決定することも可能である。
【００１７】
画像圧縮部１６は、画像入力部１５又は画像重畳部１９により入力された撮像画像をクライアントに配信しやすいデータサイズに圧縮し、通信制御部１４へ入力する。通信制御部１４は、画像圧縮部１６による圧縮済みの撮像画像をネットワーク４を介して画像要求コマンドの送信元クライアントに対して送信する。
【００１８】
記憶部１８は、プライバシーマスクやオンスクリーン表示の設定値、クライアント３によって生成されたパノラマ画像などの各種設定値およびデータを保持する。コマンド解釈部１７は、クライアント２、３からのコマンドを解釈して、カメラサーバ１の各部の制御を行う。例えば、コマンド解釈部１７は、通信制御部１４によるカメラ制御コマンドの受信に応じてカメラ・雲台制御部１３を介して可動雲台１２の向きやビデオカメラ１１のズーム倍率などを制御する。本形態の画像圧縮部１６は、ビデオカメラ１１からのＮＴＳＣ画像信号をＡ／Ｄ変換した後、ＭｏｔｉｏｎＪＥＰＧで圧縮する。ただし、他の圧縮形式を用いることも可能である。また、コマンド解釈部１７は、通信制御部１４によるプライバシーマスク画像の重畳位置を示す重畳パラメータを含むコマンドの受信に応じて当該重畳パラメータを記憶部１８と画像重畳部１９に入力する。
【００１９】
クライアント２は、カメラサーバ１に割り当てられているＩＰアドレスを指定してカメラサーバ１に接続される。通信制御部２１は、画像要求コマンド、カメラ制御コマンドをカメラサーバ１へ送信する。また、通信制御部２１は、カメラサーバ１からの撮像画像、パノラマ画像、各種カメラ制御の結果を受信する。また、表示制御部２４は、画像伸長部２５で展開された撮像画像およびパノラマ画像や、各種カメラ制御の結果からグラフィカルユーザーインタフェース（ＧＵＩ）を生成し、画面表示部２６で表示させる。操作入力部２３は、ユーザーのマウスやキーボードによるＧＵＩ操作を受け付ける。
【００２０】
ユーザーのＧＵＩ操作とは、例えば、カメラサーバ１に対してパン、チルト制御やズーム制御を指示するための操作である。より具体的には、ユーザーは、画面表示部２６に表示されたパノラマ画像上でのマウスクリックや、ビデオカメラ１１のパン・チルト・ズーム値を表す枠のドラッグといったＧＵＩ操作を行う。コマンド生成部２２は、操作入力部２３が受け付けたＧＵＩ操作に応じて各種カメラ制御コマンドを生成する。生成されたカメラ制御コマンドは通信制御部２１からカメラサーバ１に送信される。
【００２１】
クライアント３は、クライアント２と同様にカメラサーバ１に割り当てられているＩＰアドレスを指定してカメラサーバ１に接続される。通信制御部３１、表示制御部３５、画像伸長部３６、画面表示部３７は、それぞれクライアント２と同様の機能を備える。
【００２２】
クライアント３の操作入力部３４は、クライアント２の操作入力部２３で入力される操作入力に加え、カメラサーバ１にパノラマ画像を要求するためのＧＵＩ操作の入力を受け付ける。パノラマ画像を要求するためのＧＵＩ操作には、パノラマ画像の範囲を指定するＧＵＩ操作も含まれる。クライアント３の制御パラメータ算出部３３は、操作入力部３４により入力された、パノラマ画像を要求するためのＧＵＩ操作に応じて、パノラマ画像生成用の画像を撮像するためのパン・チルト角度の算出し、算出結果をコマンド生成部３２に入力する。コマンド生成部３２は、入力されたパン・チルト角度に応じたカメラ制御コマンドを生成し、通信制御部３１を介してカメラサーバ１へ送信する。このカメラ制御コマンドを受信したカメラサーバ１は、カメラ制御コマンドに応じたパン・チルト角度へ可動雲台１２を制御した後、ビデオカメラ１１による撮像画像をクライアント３へ送信する。また、クライアント３の操作入力部３４は、撮像画像上におけるプライバシーマスク画像の重畳位置を指定するための入力も可能である。操作入力部３４からプライバシーマスク画像の重畳位置が入力されると、通信制御部３１は、重畳位置を示す重畳パラメータを含むコマンドをカメラサーバ１へ送信する。
【００２３】
パノラマ画像生成部３８は、カメラサーバ１から受信した複数の撮像画像からパノラマ画像を生成する。すなわち、パノラマ画像生成部３８は、画像伸長部３６で伸長された複数の撮像画像の座標値を後述する変換処理（射影変換）で変換してつなぎ合わせることでパノラマ画像を生成する。パノラマ画像生成部３８により生成されたパノラマ画像は画像重畳部３９に入力される。
【００２４】
画像重畳部３９は、パノラマ画像生成部３８によって生成されたパノラマ画像に対してプライバシーマスク画像を重畳し、画像圧縮部３０へ出力する。クライアント３の画像重畳部３９は、パノラマ画像上におけるプライバシーマスク画像の重畳位置を、撮像画像上で指定された重畳位置を示す重畳パラメータと射影変換の計算式に基づいて決定する。すなわち、画像重畳部３９は、撮像画像上における重畳位置が変換されたパノラマ画像上における重畳位置に、所定の画像（プライバシーマスク画像）が重畳されるように、パノラマ画像上におけるプライバシーマスク画像の重畳位置を決定する。画像重畳部３９は、決定した重畳位置にプライバシーマスク画像を重畳する。
【００２５】
画像圧縮部３０は、画像重畳部３９によりプライバシーマスク画像が重畳されたパノラマ画像を圧縮処理して通信制御部３１に渡す。通信制御部３１からカメラサーバ１へ送信されたパノラマ画像は、カメラサーバ１の記憶部１８に記憶され、他のクライアント（クライアント２）からの要求に応じて配信される。
【００２６】
図２は、本実施形態のカメラサーバ１とクライアント３におけるパノラマ画像の生成処理を説明するためのフローチャートである。なお、クライアント３は複数回の撮像により得られた複数の撮像画像からパノラマ画像を生成する処理装置である。図２の処理は、クライアント３の操作入力部３４で、パノラマ画像の生成を指示する操作が入力されたことに応じて開始される。
【００２７】
Ｓ１０１において、クライアント３のコマンド生成部３２は、カメラサーバ１のオンスクリーン表示（ＯＳＤ）が有効（オン）であるか否かを判定する。そして、コマンド生成部３２は、オンスクリーン表示がオンであるとＳ１０１で判定された場合、Ｓ１０２において、カメラサーバ１のオンスクリーン表示を無効（オフ）にするための制御コマンドを送信する。カメラサーバ１の通信制御部１４は、オンスクリーン表示を無効にするための制御コマンドの受信に応じて、画像重畳部１９によるオンスクリーン表示の機能を無効（オフ）にする。
【００２８】
Ｓ１０３において、コマンド生成部３２は、カメラサーバ１のプライバシーマスク処理が有効（オン）であるか否かを判定する。そして、コマンド生成部３２は、プライバシーマスク処理がオンであるとＳ１０３で判定された場合、Ｓ１０４において、カメラサーバ１のプライバシーマスク処理を無効（オフ）にするための制御コマンドを送信する。カメラサーバ１の通信制御部１４はプライバシーマスク処理を無効にするための制御コマンドの受信に応じて、画像重畳部１９によるプライバシーマスク処理を無効（オフ）にする。
【００２９】
Ｓ１０５において、クライアント３の制御パラメータ算出部３３は、操作入力部３４から入力されたパノラマ画像の範囲に関する情報に応じて、パノラマ画像を生成するための複数の撮像画像それぞれのパン・チルト角度を算出する。
【００３０】
Ｓ１０６において、コマンド生成部３２は、Ｓ１０５で算出された複数のパン・チルト角度のうちの１つのパン・チルト角度に応じた撮像方向にビデオカメラ１１を制御するためのカメラ制御コマンドを送信する。
【００３１】
Ｓ１０６で送信されたカメラ制御コマンドに応じた撮像方向にビデオカメラ１１の撮像方向が制御されたことを示す通知を通信制御部３１が受信すると、Ｓ１０７において、コマンド生成部３２は、撮像コマンドを送信する。ビデオカメラ１１は、通信制御部１４による撮像コマンドの受信に応じて、現在のパン・チルト角度で撮像を行う。これにより、パノラマ画像を生成するための複数の撮像画像のうちの１枚が得られる。ビデオカメラ１１により得られた撮像画像は、画像圧縮部１６で圧縮され、通信制御部１４を介してクライアント３へ送信される。
【００３２】
Ｓ１０８（生成手順）において、カメラサーバ１から圧縮済みの撮像画像を受信したクライアント３は、画像伸長部３６で撮像画像を伸長し、パノラマ画像生成部３８でほかの撮像画像とつなぎ合わせてパノラマ画像を生成する。すなわち、クライアント３のパノラマ画像生成部３８は、複数の撮像により得られた複数の撮像画像の座標値の変換処理（射影変換）により複数の撮像画像からパノラマ画像を生成する。変換処理の詳細は後述する。
【００３３】
Ｓ１０９において、コマンド生成部３２は、パノラマ画像の生成に用いるすべての撮像画像が得られたか否か、及び、パノラマ画像の生成を中断する指示が入力されたか否かを判定する。すべての撮像画像が得られた、又は、パノラマ画像の生成を中断する指示が入力されたと判定された場合はＳ１１０へ進む。一方、すべての撮像画像が得られていないと判定され、かつ、パノラマ画像の生成を中断する指示が入力されていないと判定された場合はＳ１０６に戻る。
【００３４】
Ｓ１０６に戻った場合、コマンド生成部３２は、Ｓ１０５で算出された複数のパン・チルト角度のうち、これまでとは異なるパン・チルト角度に応じた方向にビデオカメラ１１を制御するためのカメラ制御コマンドを送信する。そして、Ｓ１０７〜Ｓ１０９は上記の説明と同様の処理を行う。Ｓ１０６からＳ１０９の処理を繰り返すことにより、クライアント３は、パノラマ画像の生成に用いるすべての撮像画像を得られる。
【００３５】
Ｓ１１０において、コマンド生成部３２は、Ｓ１０２でカメラサーバ１のオンスクリーン表示を無効にしたか否かを判定する。無効にしたと判定された場合、Ｓ１１１において、コマンド生成部３２は、カメラサーバ１のオンスクリーン表示を有効にするための制御コマンドを送信する。
【００３６】
Ｓ１１２において、コマンド生成部３２は、Ｓ１０４でカメラサーバのプライバシーマスク処理を無効にしたか否かを判定する。無効にしたと判定された場合、Ｓ１１３において、コマンド生成部３２は、カメラサーバ１のプライバシーマスク処理を有効にするための制御コマンドを送信する。
【００３７】
Ｓ１１４において、画像重畳部３９は、Ｓ１０９でパノラマ画像の生成が中断されたか否かを判定する。パノラマ画像の生成が中断されていないと判定された場合、Ｓ１１５に進み、画像重畳部３９は、Ｓ１０６〜Ｓ１０９により得られた複数の撮像画像から生成されたパノラマ画像に対してプライバシーマスク画像を重畳する。
【００３８】
すなわちＳ１１５（入力手順）において、画像重畳部３９は、記憶部１８が保持するプライバシーマスクの位置に関するパラメータ、描画方法に関するパラメータを入力する。プライバシーマスクの位置に関するパラメータには、プライバシーマスクの重畳位置を示す重畳パラメータ、当該重畳パラメータ設定時のパン・チルト・ズーム値、及び、現在のパン・チルト・ズーム値に関する情報が含まれる。また、描画方法に関するパラメータには、プライバシーマスク画像の色や模様に関する情報が含まれる。
【００３９】
そして、Ｓ１１５（決定手順）において、画像重畳部３９は、パノラマ画像上におけるプライバシーマスク画像の重畳位置を、撮像画像上で指定されたプライバシーマスク画像の重畳位置に関するパラメータと、後述する射影変換の計算式に基づいて決定された重畳位置に重畳する。すなわち、画像重畳部３９は、撮像画像上における重畳位置が変換されたパノラマ画像上における重畳位置にプライバシーマスク画像が重畳されるように、重畳パラメータに基づいてパノラマ画像上におけるプライバシーマスク画像の重畳位置を決定する。
【００４０】
このように、本形態のカメラサーバ１の通信制御部１４は、Ｓ１０２、Ｓ１０４（制御手順）において、カメラサーバ１の画像重畳部１９によるオンスクリーン表示とプライバシーマスク処理の機能を無効（オフ）にする。そして、通信制御部１４は、ビデオカメラ１１により撮像され、オンスクリーン画像やプライバシーマスク画像が重畳されていない状態の複数の撮像画像を、クライアント３へ送信する。そして、クライアント３は、複数の撮像画像をつなぎ合わせてパノラマ画像を生成し、その後、クライアント３の画像重畳部３９が重畳処理を行う。すなわち、Ｓ１０２、Ｓ１０４において、カメラサーバ１の通信制御部１４は、複数回の撮像により得られた複数の撮像画像から生成されたパノラマ画像に、所定の画像（プライバシーマスク画像）が重畳されるように制御する。そして、Ｓ１１５において、クライアント３の通信制御部３１は、画像重畳部３９により各種画像が重畳されたパノラマ画像をカメラサーバ１へ送信する。カメラサーバ１は、受信したパノラマ画像を記憶部１８に記憶させる。カメラサーバ１の通信制御部１４は、クライアント２からの要求に応じて、記憶部１８に記憶されたパノラマ画像をクライアント２へ送信する（出力手順）。
【００４１】
なお、本形態では、Ｓ１１５においてプライバシーマスク画像を重畳する例を説明したが、パノラマ画像の生成と平行して重畳処理を行うようにしても良い。例えば、クライアント３のパノラマ画像生成部３８は、パノラマ画像を生成するための複数回の撮像のうち、第１の撮像により得られた第１の撮像画像と、第２の撮像により得られた第２の撮像画像とを合成してパノラマ画像の一部を生成する。そして、クライアント３の画像重畳部３９は、パノラマ画像生成部３８によるパノラマ画像の一部の生成時に第１の撮像画像と第２の撮像画像に跨って重畳される画像を第１の撮像画像と第２の撮像画像のそれぞれに重畳する。このようにすることで、パノラマ画像が完全に出来上がってから重畳処理をするよりも早くパノラマ画像の生成を完了できる。
【００４２】
また、Ｓ１１５において、画像重畳部３９は、パノラマ画像に対してオンスクリーン画像を重畳することも可能である。すなわち、画像重畳部３９は、記憶部１８が保持するオンスクリーン表示の位置に関する重畳パラメータ（撮像画像上での位置、大きさ）、および表示内容に関するパラメータ（文字列、フォント）に基づいてオンスクリーン画像を重畳しても良い。また、例えばパノラマ画像を表示するクライアント２で、オンスクリーン画像を重畳するようにしても良い。
【００４３】
図３は、カメラサーバ１において、オンスクリーン画像とプライバシーマスク画像が重畳された撮像画像を表示するクライアント２の画面表示例である。
【００４４】
クライアント２の表示画面には、ビデオカメラ１１で撮影されたライブ画像を表示するライブ画像表示部５０、カメラサーバ１の記憶部１８から取得されたパノラマ画像を表示するパノラマ画像表示部５１を有する。また、クライアント２の表示画面には、つまみのドラッグにより可動雲台１２のパン・チルト制御を指示するパンスクロールバー５２およびチルトスクロールバー５３、つまみのドラッグによりビデオカメラ１１のズーム制御を指示するズームスライダー５４を有する。さらに、パノラマ画像表示部５１内には、パン・チルト・ズーム制御を指示するためのパノラマプレビュー枠５５が表示される。パノラマプレビュー枠５５を例えばマウスドラッグにより移動させることにより、ビデオカメラ１１の撮像方向を制御することが可能である。また、パノラマプレビュー枠５５の大きさを例えばマスクドラッグにより変更することで、ビデオカメラ１１のズーム倍率を制御することが可能である。ライブ画像表示部５０には、パノラマプレビュー枠５５に対する操作による制御後のライブ画像が表示される。
【００４５】
カメラサーバ１においてオンスクリーン表示とプライバシーマスクが有効な場合、画像重畳部１９でオンスクリーン画像５７とプライバシーマスク画像５６が重畳された撮像画像がライブ画像表示部５０に表示される。撮像画像上のオンスクリーン画像５７は、記憶部１８が保持するオンスクリーン表示の位置に関するパラメータ（撮像画像上での位置、大きさ）、および表示内容に関するパラメータ（文字列、フォント）に基づいて画像重畳部１９が重畳したものである。
【００４６】
また、撮像画像上のプライバシーマスク画像５６は、記憶部１８が保持するプライバシーマスクの重畳位置に関するパラメータ、描画方法に関するパラメータに基づいて重畳された画像である。プライバシーマスクの重畳位置に関するパラメータには、例えばプライバシーマスク画像の重畳位置に関する重畳パラメータ、重畳パラメータ設定時のパン・チルト・ズーム値、及び、現在のパン・チルト・ズーム値に関する情報が含まれる。また、描画方法に関するパラメータには、プライバシーマスク画像の色や模様に関する情報が含まれる。
【００４７】
なお、図３のプライバシーマスク画像５６は、左側の一部が切れており、左にパンすることでプライバシーマスク画像全体が見えるようになる。このようにプライバシーマスクの一部が切れてしまう問題は、パノラマ画像生成時の画像撮像時にも発生し、Ｓ１０３で算出されたパン・チルト角度によっては、１つのプライバシーマスクが隣り合う撮像画像にまたがる場合がある。このような場合、プライバシーマスク画像が重畳された複数の撮像画像から、例えば射影変換でパノラマ画像を生成すると、つなぎ合わせの部分でプライバシーマスク画像がずれることがある。
【００４８】
次に、複数の撮像画像からパノラマ画像を生成するために用いる射影変換について、図４を用いて説明する。
図４は、撮像画像平面とパノラマ画像平面の概念図である。
パノラマ画像を生成するための射影変換は、地図の投影法における心射図法を用いて説明することができる。すなわち、心射図法における視点（Ｑとする）を、パン・チルト中心Ｑ（０，０，０）に置く。そして、あるパンチルト角度（ρ，τ）で得られた画像平面上の座標をＰ１（ｘ，ｙ）、視点Ｑを中心とする半径Ｒ上の球面上に接するようにこの画像を置いたときに、Ｐ１（ｘ，ｙ）と視点Ｑを結ぶ直線が球面と交わる点の座標を極座標表示する。この極座標表示の結果を（Ｒｓｉｎθｃｏｓφ，Ｒｃｏｓθｃｏｓφ，Ｒｓｉｎφ）とすると、心射図法においては、ｍを定数として一般に次の式が成り立つ。
ｘ＝ｍ・Ｒｃｏｓφｓｉｎ（θ−ρ）／｛ｓｉｎφｓｉｎτ＋ｃｏｓφｃｏｓτｃｏｓ（θ−ρ）｝ （式１．１）
ｙ＝ｍ・Ｒ（ｓｉｎφｃｏｓτ−ｃｏｓφｓｉｎτｃｏｓ（θ−ρ））／｛ｓｉｎφｓｉｎτ＋ｃｏｓφｃｏｓτｃｏｓ（θ−ρ）｝（式１．２）
なお、パン・チルト角度（ρ，τ）のときにこの画像平面と球の交わる画像平面上の座標を原点（０，０）とする。
【００４９】
ここで、パン・チルトして得られる全撮像範囲を角度で表したものを、パン方向θｍｉｎ〜θｍａｘ、チルト方向φｍｉｎ〜φｍａｘとする。なお、この角度は、可動雲台１２のパン・チルト可動範囲にビデオカメラ１１の画角を加えたものである。すなわち、パン・チルト限界をそれぞれ、Ｐｍｉｎ，Ｐｍａｘ，Ｔｍｉｎ，Ｔｍａｘとして、ビデオカメラ１１の画角を水平、垂直それぞれＡｈ，Ａｖとすると、
θｍｉｎ＝Ｐｍｉｎ−Ａｈ／２
θｍａｘ＝Ｐｍａｘ＋Ａｈ／２
φｍｉｎ＝Ｐｍｉｎ−Ａｖ／２
φｍａｘ＝Ｐｍａｘ＋Ａｖ／２
となる。生成するパノラマ画像の画素数を横Ｈ画素、縦Ｖ画素とすると、１画素に相当する画角は、パン方向、チルト方向それぞれ
Δθ＝（θｍａｘ−θｍｉｎ）／Ｈ （式２．１）
Δφ＝（φｍａｘ−φｍｉｎ）／Ｖ （式２．２）
となる。すなわちパノラマ画像上の画素（ｉ，ｊ）は、パン・チルト角度（θ，φ）で表すと
（θ，φ）＝（θｍｉｎ＋Δθ×ｉ，φｍｉｎ＋Δφ×ｊ）
但し、
ｉ＝０，１，２，・・・，Ｈ−１
ｊ＝０，１，２，・・・，Ｖ−１
で表すことができる。したがって、この（θ，φ）と、ある画像ｉｍｇ（Ｐａ，Ｔｂ）を得る際のパンチルト角度、（ρ，τ）＝（Ｐａ，Ｔｂ）から、式（１．１），（１．２），（２．１），（２．２）を用いて、画像ｉｍｇ（Ｐａ，Ｔｂ）上の座標（ｘ，ｙ）が、パノラマ画像上のどの座標に対応するかが決定される。ただし、ａ＝１，２，・・・，ｎ，ｂ＝１，２，・・・，ｍである。すなわちパノラマ画像上の座標をＸｐ，Ｙｐとすると、この変換式をＦとすれば、元の撮像画像の座標は、パノラマ画像上の座標
（Ｘｐ、Ｙｐ）＝Ｆ（Ｘ、ｙ、Ｐａ、Ｔｂ） 式（３）
にマッピングされることになる。
【００５０】
したがって、パノラマ画像上の座標（Ｘｐ，Ｙｐ）の画素値は元の撮像画像ｉｍｇ（Ｐａ，Ｔｂ）の画素値で置き換えることができる。これを全パノラマ画像上の画素（ｉ，ｊ）について求めれば、パン、チルト角度にリニアな座標系を持つパノラマ画像が得られる。この変換式Ｆがパノラマ画像生成部３８によって実行される射影変換の計算式である。
【００５１】
以上説明したように、本実施形態では、パノラマ画像生成用の画像撮像中はカメラサーバ１のオンスクリーン画像の重畳処理を無効化するため、図５に示すような不要なオンスクリーン画像の表示を抑制できる。また、パノラマ画像生成用の画像撮像中はカメラサーバ１のプライバシーマスク画像の重畳処理が無効化される。そして、射影変換によりプライバシーマスク画像の重畳位置が変換されたパノラマ画像上におけるプライバシーマスク画像の重畳位置を撮像画像上におけるプライバシーマスク画像の重畳位置を決定するための重畳パラメータと射影変換の計算式に基づいて決定する。このような構成により、プライバシーマスク画像のふちの部分がなめらかなパノラマ画像が生成される。
【００５２】
具体的には、画像重畳部３９は、記憶部１８が保持するプライバシーマスク設定時のパン・チルト・ズーム値から変換式Ｆを算出する。そして、画像重畳部３９は、プライバシーマスク設定時の撮像画像上でのプライバシーマスクを構成する各画素の座標を式（３）に代入してプライバシーマスク画像の領域を決定することで、ふちの部分が滑らかなプライバシーマスク画像をパノラマ画像に重畳できる。
【００５３】
なお、本形態では、パノラマ画像の生成時は、カメラサーバ１の画像重畳部１９の機能を無効にして、ネットワーク４を介して接続されるクライアント３の画像重畳部３９が、パノラマ画像にプライバシーマスク画像を重畳する例について説明した。しかし、この例に限らない。例えば、カメラサーバ１において、画像重畳部１９の機能を無効にした後、複数回の撮像により得られた複数の撮像画像からパノラマ画像を生成してから、カメラサーバ１の画像重畳部１９でプライバシーマスク画像を重畳するようにすることも可能である。すなわち、カメラサーバ１の通信制御部１４は、撮像画像を出力する場合であって、Ｓ１０３で画像重畳部１９のプライバシーマスク処理がオンであると判定された場合、画像重畳部１９の機能を有効（オン）のままにする。一方、パノラマ画像を出力する場合であって、Ｓ１０３で画像重畳部１９のプライバシーマスク処理がオンであると判定された場合、パノラマ画像にプライバシーマスクが重畳されるように、Ｓ１０４で画像重畳部１９の機能を一時的に無効（オフ）にする。すなわち、カメラサーバ１の通信制御部１４は、パノラマ画像を出力する場合、パノラマ画像が生成されてからプライバシーマスク画像が重畳されるように制御する。このようにすれば、カメラサーバ１内で品質の高いパノラマ画像を生成できる。また、クライアント３で生成されたパノラマ画像をクライアントから受け取って、カメラサーバ１でパノラマ画像にプライバシー画像を重畳する形態も可能である。
【００５４】
また、上述の実施形態では、生成されたパノラマ画像に対してプライバシーマスク画像を重畳することを中心に説明したが、例えば、プライバシーマスク画像の重畳の代わりにマスク処理（モザイク処理や特定の領域の解像度を下げる処理）をする場合にも、本発明は適用可能である。この場合、Ｓ１０４において、カメラサーバ１の通信制御部１４は、複数の撮像画像から得られたパノラマ画像にマスク処理が行われるように、画像重畳部１９のマスク処理を無効にする制御を行い、マスク処理なしの撮像画像をクライアント３へ送信する。そして、Ｓ１１５において、クライアント３は、パノラマ画像を生成すると共に、パノラマ画像上におけるマスク位置を、撮像画像上で指定されたマスク位置を示すマスクパラメータと射影変換の計算式に基づいて決定し、マスク処理する。マスクパラメータは、プライバシーマスク画像の重畳パラメータと同様に、例えば、クライアント２、３の操作入力部２３、３４を用いて入力することが可能である。クライアント３の画像重畳部３９は、マスクパラメータと、当該マスクパラメータの設定時のパン・チルト・ズーム値と、現在のパン・チルト・ズーム値と、射影変換の計算式に基づいてパノラマ画像上におけるマスク位置を決定し、マスク処理を行う。
【００５５】
なお、マスクパラメータは操作入力部２３、３４からの入力に限らず、例えば、画像処理によって検出された顔画像の領域を示す領域情報をマスクパラメータとすることも可能である。このようにすることで、例えばモザイク処理のふちの部分のがたつき等を低減できる。なお、Ｓ１１５において、カメラサーバ１の画像重畳部１９がパノラマ画像に対してマスク処理を行うようにしても良い。
【００５６】
また、上述の実施形態では、生成されたパノラマ画像に対してプライバシーマスク画像を重畳することを中心に説明したが、例えば、実際にパノラマ画像を生成する前に、パノラマ画像上のプライバシーマスク画像の重畳位置を算出し、その結果に基づいてプライバシーマスク画像を重畳するようにしても良い。また、プライバシーマスク画像の重畳位置は算出で求める方法に限らず、例えばテーブルの参照により取得することも可能である。
【００５７】
また、上述の実施形態では、図１に示すカメラサーバ１、クライアント２、クライアント３の各部の処理が、それぞれ専用のハードウェアにより実行される例について説明したが、これらの処理の少なくとも一部の処理を、ＣＰＵで実行するようにしても良い。例えば、図１に示すカメラサーバ１の各部のうち少なくとも一部を、カメラサーバ１のＣＰＵと、当該ＣＰＵで実行されるプログラムを格納するメモリに置き換えて、処理を実行するようにしても良い。また、同様に、クライアント２、３の各部のうち少なくとも一部を、クライアント２、３のＣＰＵと、当該ＣＰＵで実行されるプログラムを格納するメモリに置き換えて、処理を実行するようにしても良い。従って、図２で示すフローチャートの処理のうちの少なくとも一部が、ＣＰＵで実行することも可能である。
【００５８】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【００５９】
以上、本発明の好ましい実施形態について説明したが、本発明は上記の実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【特許請求の範囲】
【請求項１】
複数回の撮像により得られた複数の撮像画像からパノラマ画像を生成する処理装置であって、
前記パノラマ画像上に重畳される所定の画像の前記撮像画像上における重畳位置を決定するための重畳パラメータを入力する入力手段と、
前記複数回の撮像により得られた複数の撮像画像の座標値の変換処理により前記複数の撮像画像からパノラマ画像を生成する生成手段と、
前記撮像画像上における重畳位置が前記座標値の変換処理により変換された前記パノラマ画像上における重畳位置に前記所定の画像が重畳されるように前記撮像画像上における重畳位置を決定するための重畳パラメータに基づいて前記パノラマ画像上における前記所定の画像の重畳位置を決定する決定手段とを有することを特徴とする処理装置。
【請求項２】
前記複数回の撮像により得られた複数の撮像画像であって前記所定の画像の重畳が行われていない複数の撮像画像を、ネットワークを介して接続される撮像装置から受信する受信手段を有し、
前記生成手段は前記受信された複数の撮像画像からパノラマ画像を生成し、
前記決定手段は前記生成されたパノラマ画像上における前記所定の画像の重畳位置を決定することを特徴とする請求項１記載の処理装置。
【請求項３】
撮像手段と、
前記撮像手段の撮像により得られる撮像画像に対して前記重畳パラメータに応じた重畳位置に前記所定の画像を重畳する重畳手段と、
前記撮像画像を出力する場合、前記撮像手段の撮像により得られる撮像画像の前記重畳パラメータに応じた重畳位置に前記重畳手段が前記所定の画像を重畳するように制御し、
前記パノラマ画像を出力する場合、前記複数回の撮像により得られた複数の撮像画像からパノラマ画像が生成されてから、前記重畳手段が前記所定の画像を重畳するように制御する制御手段とを有する
ことを特徴とする請求項１記載の処理装置。
【請求項４】
前記所定の画像は、前記撮像画像の撮像時刻及び撮像場所のうち少なくとも何れかの情報を示す画像であることを特徴とする請求項１乃至３のうち、いずれか１項記載の処理装置。
【請求項５】
前記所定の画像は、プライバシーマスク画像であることを特徴とする請求項１乃至４のうち、いずれか１項記載の処理装置。
【請求項６】
パノラマ画像を生成するための複数回の撮像のうち、第１の撮像により得られた第１の撮像画像と、第２の撮像により得られた第２の撮像画像とに基づく前記パノラマ画像の一部の生成時に、前記所定の画像であって、前記第１及び第２の撮像画像に跨って重畳される画像の重畳をする重畳手段を有することを特徴とする請求項１記載の処理装置。
【請求項７】
複数回の撮像により得られた複数の撮像画像からパノラマ画像を生成する処理装置が行うパノラマ画像の生成方法であって、
前記パノラマ画像上に重畳される所定の画像の前記撮像画像上における重畳位置を決定するための重畳パラメータを入力する入力工程と、
前記複数回の撮像により得られた複数の撮像画像の座標値の変換処理により前記複数の撮像画像からパノラマ画像を生成する生成工程と、
前記撮像画像上における重畳位置が前記座標値の変換処理により変換された前記パノラマ画像上における重畳位置に前記所定の画像が重畳されるように前記撮像画像上における重畳位置を決定するための重畳パラメータに基づいて前記パノラマ画像上における前記所定の画像の重畳位置を決定する決定工程とを有することを特徴とするパノラマ画像の生成方法。
【請求項８】
複数回の撮像により得られた複数の撮像画像からパノラマ画像を生成するコンピュータに、
前記パノラマ画像上に重畳される所定の画像の前記撮像画像上における重畳位置を決定するための重畳パラメータを入力する入力手順と、
前記複数回の撮像により得られた複数の撮像画像の座標値の変換処理により前記複数の撮像画像からパノラマ画像を生成する生成手順と、
前記撮像画像上における重畳位置が前記座標値の変換処理により変換された前記パノラマ画像上における重畳位置に前記所定の画像が重畳されるように前記撮像画像上における重畳位置を決定するための重畳パラメータに基づいて前記パノラマ画像上における前記所定の画像の重畳位置を決定する決定手順とを実行させることを特徴とするプログラム。
【請求項９】
複数回の撮像により得られた複数の撮像画像からパノラマ画像を生成させる処理装置であって、
前記撮像画像上におけるマスク処理の位置を決定するためのマスクパラメータを入力する入力手段と、
前記複数回の撮像により得られた複数の撮像画像の座標値の変換処理により前記複数の撮像画像からパノラマ画像を生成する生成手段と、
前記撮像画像上におけるマスク処理の位置が前記座標値の変換処理により変換された前記パノラマ画像上におけるマスク処理の位置にマスク処理がされるように前記マスクパラメータに基づいて前記パノラマ画像上における前記マスク処理の位置を決定する決定手段と
を有することを特徴とする処理装置。
【請求項１０】
複数回の撮像により得られた複数の撮像画像からパノラマ画像を生成させる処理装置が行うマスク処理方法であって、
前記撮像画像上におけるマスク処理の位置を決定するためのマスクパラメータを入力する入力工程と、
前記複数回の撮像により得られた複数の撮像画像の座標値の変換処理により前記複数の撮像画像からパノラマ画像を生成する生成工程と、
前記撮像画像上におけるマスク処理の位置が前記座標値の変換処理により変換された前記パノラマ画像上におけるマスク処理の位置にマスク処理がされるように前記マスクパラメータに基づいて前記パノラマ画像上における前記マスク処理の位置を決定する決定工程と
を有することを特徴とするマスク処理方法。
【請求項１１】
複数回の撮像により得られた複数の撮像画像からパノラマ画像を生成させるコンピュータに、
前記撮像画像上におけるマスク処理の位置を決定するためのマスクパラメータを入力する入力手順と、
前記複数回の撮像により得られた複数の撮像画像の座標値の変換処理により前記複数の撮像画像からパノラマ画像を生成する生成手順と、
前記撮像画像上におけるマスク処理の位置が前記座標値の変換処理により変換された前記パノラマ画像上におけるマスク処理の位置にマスク処理がされるように前記マスクパラメータに基づいて前記パノラマ画像上における前記マスク処理の位置を決定する決定手順と
を実行させることを特徴とするプログラム。
【請求項１】
複数回の撮像により得られた複数の撮像画像からパノラマ画像を生成する処理装置であって、
前記パノラマ画像上に重畳される所定の画像の前記撮像画像上における重畳位置を決定するための重畳パラメータを入力する入力手段と、
前記複数回の撮像により得られた複数の撮像画像の座標値の変換処理により前記複数の撮像画像からパノラマ画像を生成する生成手段と、
前記撮像画像上における重畳位置が前記座標値の変換処理により変換された前記パノラマ画像上における重畳位置に前記所定の画像が重畳されるように前記撮像画像上における重畳位置を決定するための重畳パラメータに基づいて前記パノラマ画像上における前記所定の画像の重畳位置を決定する決定手段とを有することを特徴とする処理装置。
【請求項２】
前記複数回の撮像により得られた複数の撮像画像であって前記所定の画像の重畳が行われていない複数の撮像画像を、ネットワークを介して接続される撮像装置から受信する受信手段を有し、
前記生成手段は前記受信された複数の撮像画像からパノラマ画像を生成し、
前記決定手段は前記生成されたパノラマ画像上における前記所定の画像の重畳位置を決定することを特徴とする請求項１記載の処理装置。
【請求項３】
撮像手段と、
前記撮像手段の撮像により得られる撮像画像に対して前記重畳パラメータに応じた重畳位置に前記所定の画像を重畳する重畳手段と、
前記撮像画像を出力する場合、前記撮像手段の撮像により得られる撮像画像の前記重畳パラメータに応じた重畳位置に前記重畳手段が前記所定の画像を重畳するように制御し、
前記パノラマ画像を出力する場合、前記複数回の撮像により得られた複数の撮像画像からパノラマ画像が生成されてから、前記重畳手段が前記所定の画像を重畳するように制御する制御手段とを有する
ことを特徴とする請求項１記載の処理装置。
【請求項４】
前記所定の画像は、前記撮像画像の撮像時刻及び撮像場所のうち少なくとも何れかの情報を示す画像であることを特徴とする請求項１乃至３のうち、いずれか１項記載の処理装置。
【請求項５】
前記所定の画像は、プライバシーマスク画像であることを特徴とする請求項１乃至４のうち、いずれか１項記載の処理装置。
【請求項６】
パノラマ画像を生成するための複数回の撮像のうち、第１の撮像により得られた第１の撮像画像と、第２の撮像により得られた第２の撮像画像とに基づく前記パノラマ画像の一部の生成時に、前記所定の画像であって、前記第１及び第２の撮像画像に跨って重畳される画像の重畳をする重畳手段を有することを特徴とする請求項１記載の処理装置。
【請求項７】
複数回の撮像により得られた複数の撮像画像からパノラマ画像を生成する処理装置が行うパノラマ画像の生成方法であって、
前記パノラマ画像上に重畳される所定の画像の前記撮像画像上における重畳位置を決定するための重畳パラメータを入力する入力工程と、
前記複数回の撮像により得られた複数の撮像画像の座標値の変換処理により前記複数の撮像画像からパノラマ画像を生成する生成工程と、
前記撮像画像上における重畳位置が前記座標値の変換処理により変換された前記パノラマ画像上における重畳位置に前記所定の画像が重畳されるように前記撮像画像上における重畳位置を決定するための重畳パラメータに基づいて前記パノラマ画像上における前記所定の画像の重畳位置を決定する決定工程とを有することを特徴とするパノラマ画像の生成方法。
【請求項８】
複数回の撮像により得られた複数の撮像画像からパノラマ画像を生成するコンピュータに、
前記パノラマ画像上に重畳される所定の画像の前記撮像画像上における重畳位置を決定するための重畳パラメータを入力する入力手順と、
前記複数回の撮像により得られた複数の撮像画像の座標値の変換処理により前記複数の撮像画像からパノラマ画像を生成する生成手順と、
前記撮像画像上における重畳位置が前記座標値の変換処理により変換された前記パノラマ画像上における重畳位置に前記所定の画像が重畳されるように前記撮像画像上における重畳位置を決定するための重畳パラメータに基づいて前記パノラマ画像上における前記所定の画像の重畳位置を決定する決定手順とを実行させることを特徴とするプログラム。
【請求項９】
複数回の撮像により得られた複数の撮像画像からパノラマ画像を生成させる処理装置であって、
前記撮像画像上におけるマスク処理の位置を決定するためのマスクパラメータを入力する入力手段と、
前記複数回の撮像により得られた複数の撮像画像の座標値の変換処理により前記複数の撮像画像からパノラマ画像を生成する生成手段と、
前記撮像画像上におけるマスク処理の位置が前記座標値の変換処理により変換された前記パノラマ画像上におけるマスク処理の位置にマスク処理がされるように前記マスクパラメータに基づいて前記パノラマ画像上における前記マスク処理の位置を決定する決定手段と
を有することを特徴とする処理装置。
【請求項１０】
複数回の撮像により得られた複数の撮像画像からパノラマ画像を生成させる処理装置が行うマスク処理方法であって、
前記撮像画像上におけるマスク処理の位置を決定するためのマスクパラメータを入力する入力工程と、
前記複数回の撮像により得られた複数の撮像画像の座標値の変換処理により前記複数の撮像画像からパノラマ画像を生成する生成工程と、
前記撮像画像上におけるマスク処理の位置が前記座標値の変換処理により変換された前記パノラマ画像上におけるマスク処理の位置にマスク処理がされるように前記マスクパラメータに基づいて前記パノラマ画像上における前記マスク処理の位置を決定する決定工程と
を有することを特徴とするマスク処理方法。
【請求項１１】
複数回の撮像により得られた複数の撮像画像からパノラマ画像を生成させるコンピュータに、
前記撮像画像上におけるマスク処理の位置を決定するためのマスクパラメータを入力する入力手順と、
前記複数回の撮像により得られた複数の撮像画像の座標値の変換処理により前記複数の撮像画像からパノラマ画像を生成する生成手順と、
前記撮像画像上におけるマスク処理の位置が前記座標値の変換処理により変換された前記パノラマ画像上におけるマスク処理の位置にマスク処理がされるように前記マスクパラメータに基づいて前記パノラマ画像上における前記マスク処理の位置を決定する決定手順と
を実行させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１２−６０２１６（Ｐ２０１２−６０２１６Ａ）
【公開日】平成２４年３月２２日（２０１２．３．２２）
【国際特許分類】
【出願番号】特願２０１０−１９８７７６（Ｐ２０１０−１９８７７６）
【出願日】平成２２年９月６日（２０１０．９．６）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２４年３月２２日（２０１２．３．２２）
【国際特許分類】
【出願日】平成２２年９月６日（２０１０．９．６）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]