パノラマ画像の生成装置、及び生成方法
【課題】撮像範囲が長辺と短辺で構成される撮像部を用いた場合に、広い視野範囲のパノラマ画像が得られるようにする。
【解決手段】撮像範囲が長辺と短辺で構成される撮像部の撮像方向を制御してパノラマ画像を生成する生成クライアントのコマンド生成部は、撮像範囲の回転のため回転機構を、パノラマ画像の生成のために制御し、生成クライアントの画像合成部は、回転機構を制御して得られる複数の撮像画像からパノラマ画像を生成する。
【解決手段】撮像範囲が長辺と短辺で構成される撮像部の撮像方向を制御してパノラマ画像を生成する生成クライアントのコマンド生成部は、撮像範囲の回転のため回転機構を、パノラマ画像の生成のために制御し、生成クライアントの画像合成部は、回転機構を制御して得られる複数の撮像画像からパノラマ画像を生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数回の撮像によりパノラマ画像を生成する生成方法に関する。
【背景技術】
【０００２】
パン・チルト機構をもったカメラを用いたパノラマ画像の生成方法として、パン・チルト機構の制御によりカメラの撮像方向を順次変えて複数回の撮像を行い、得られた複数の画像に対し射影変換等の処理をする方法が知られている。
【０００３】
特許文献１には、パン・チルト機構の制御により撮像方向を順次変えて撮像した複数の画像を用いてパノラマ画像を生成することが記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００１−１３６５１４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、パノラマ画像の生成に用いるカメラによっては、パノラマ画像の視野範囲が狭くなってしまう恐れがあった。
【０００６】
例えば、撮像範囲の短辺がチルト方向に対応する状態で撮像された複数の撮像画像でパノラマ画像を生成すると、長辺がチルト方向に対応する状態で撮像した撮像画像でパノラマ画像を生成するよりも、パノラマ画像のチルト方向の視野範囲が狭くなってしまう恐れがあった。
【０００７】
より具体的に、図１に示すような、撮像範囲が長辺と短辺で構成される撮像部の撮像方向を制御して、パノラマ画像の生成に用いる複数の撮像画像を取得する場合について説明する。図１（ａ）の撮像範囲１０３は、撮像範囲の長辺がパン方向に対応する状態の撮像範囲を示しており、図１（ｄ）の撮像範囲１０６は、撮像範囲の長辺がチルト方向に対応する状態の撮像範囲を示している。例えば、図１（ａ）のような状態で、チルト機構の可動範囲の限界に対応する領域（例えばチルト角が０度のときの撮像範囲）を撮像すると、図１（ｄ）のような状態で撮像するよりも、チルト方向の視野範囲が狭くなってしまう恐れがあった。
【０００８】
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、より広い視野範囲のパノラマ画像が得られるようにすることである。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明の生成装置は、例えば以下の構成を有する。すなわち、撮像範囲が長辺と短辺で構成される撮像部の撮像方向を制御してパノラマ画像を生成する生成装置であって、前記撮像範囲の回転のための回転機構を前記パノラマ画像の生成のために制御する制御手段と、前記回転機構を制御して得られる複数の撮像画像からパノラマ画像を生成する生成手段とを有する。
【発明の効果】
【００１０】
本発明によれば、より広い視野範囲のパノラマ画像が得られるようになる。
【図面の簡単な説明】
【００１１】
【図１】パノラマ画像の生成方法を説明するための図
【図２】本実施形態のカメラ装置を示す図
【図３】ネットワークカメラシステムの構成例を示す図
【図４】パノラマ画像の生成処理を説明するためのフローチャート
【図５】パノラマ画像の視野範囲の比較を示した図
【発明を実施するための形態】
【００１２】
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて説明する。
【００１３】
本実施形態のカメラ装置の構成とパノラマ画像の生成方法の概要を、図１及び図２を用いて説明する。
【００１４】
図２（ａ）は、本形態のカメラ装置１１０の側面図である。パン駆動部はボトムケース２０１とターンテーブル２０２で構成され、パン回転軸２０３を中心にターンテーブル２０２が回転する構造となっている。また、図２（ｂ）はカメラ装置１１０の正面図である。チルト駆動部は、レンズ支柱２０４とレンズケース２０６で構成され、チルト回転軸２０５を中心にレンズケース２０６が回転する構造となっている。ただし、カメラ装置１１０の構造は、これに限らない。
【００１５】
図１（ａ）〜（ｃ）は、ローテート機構を駆動しない場合、すなわち、ローテート角が０度に固定された状態で、パノラマ画像を生成する場合の例を示している。図１（ａ）は、カメラ装置１１０のチルト角が０度（チルト機構の可動範囲の限界）のときのカメラ装置１１０の状態を示している。なお、図１（ａ）に示すように、本形態のカメラ装置１１０の撮像範囲１０３は長辺と短辺で構成される。
【００１６】
また、図１（ｂ）は、撮像範囲の長辺がパン方向に対応する状態で撮像してパノラマ画像を生成する場合の例を示している。図１（ｂ）において、１０１はカメラ設置位置、１０２は撮像方向、１０３は撮像方向１０２のときの撮像範囲、１０４は撮像方向の駆動可能範囲を示している。駆動可能範囲１０４で示すように、本形態のカメラ装置１１０は、パン方向は３６０度の駆動が可能であり、チルト方向は０度〜９０度の駆動が可能である。図１（ｃ）は、チルト角が０度のときに、ローテート角を０度の状態で撮像した場合の撮像範囲の例である。図１（ｃ）に示すように、ローテート角が０度の状態では、カメラ装置１１０の撮像範囲の長辺はパン方向に対応し、短辺はチルト方向に対応している。
【００１７】
一方、図１（ｄ）、（ｅ）は、ローテート角を９０度にした状態でパノラマ画像を生成する場合の例を示している。図１（ｄ）は、カメラ装置１１０のチルト角が０度のときのカメラ装置１１０の状態を示している。図１（ｄ）に示すように、ローテート角を９０度にすることで、撮像範囲の長辺がチルト方向に対応し、短辺がパン方向に対応する状態となっている。
【００１８】
図１（ｅ）は、チルト角が０度のときに、ローテート角を９０度にして撮像した場合の撮像範囲の例である。図１（ｃ）及び（ｅ）を比較してわかるように、ローテート角を９０度にすることで、ローテート角が０度のときよりも、より下方向の撮像範囲を広くすることができる。
【００１９】
図３は、本実施形態のネットワークカメラシステムのブロック図である。
図３に示すように、カメラサーバ３０１、ビューワクライアント３０２（以下、クライアント３０２）、パノラマ画像生成クライアント３０３（以下、生成クライアント３０３）が、ネットワーク３０４を介して接続されている。なお、カメラサーバ３０１は、図１及び図２のカメラ装置１１０に対応する。また、本形態では、ネットワーク３０４に、それぞれ１台ずつ接続される例を説明するが、複数台接続されるようにしても良い。
【００２０】
また、ネットワーク３０４は、後で述べる制御コマンドや画像データを通すのに十分な帯域があるインターネットやイントラネット等のディジタルネットワークであればどのようなものでもよい。なお、本形態では、ネットワークプロトコルとしてＴＣＰ／ＩＰ（ＵＤＰ／ＩＰ）プロトコルを用いるものし、各装置には、それぞれ異なるＩＰアドレスを割り当てられているものとする。
【００２１】
カメラサーバ３０１は、ビデオカメラ３１１、可動雲台３１２、カメラ・雲台制御部３１３、通信制御部３１４、画像入力部３１５、画像圧縮部３１６、コマンド解釈部３１７、記憶部３１８を含んで構成される。ただし、ビデオカメラ３１１は、カメラサーバ３０１とは別の装置であっても良い。
ビデオカメラ３１１は、撮像して得られた画像データを画像入力部３１５へ渡す。なお、本形態のビデオカメラ３１１の撮像範囲は、長辺と短辺で構成される。また、ビデオカメラ３１１は、動画を撮像することも、静止画を撮像することも可能である。また、ビデオカメラ３１１のズーム倍率などを含む各種撮像パラメータは、通信制御部３１４でクライアントから受信した制御コマンドに応じて変更可能である。
【００２２】
画像入力部３１５は、ビデオカメラ３１１により得られた画像データを画像圧縮部３１６へ渡す。画像圧縮部３１６は、画像入力部３１５からの画像データを圧縮し、通信に必要なヘッダを付加して通信パケットを生成する。本形態の画像圧縮部３１６は、ビデオカメラ３１１からのＮＴＳＣ画像信号をＡ／Ｄ変換し、さらに、ＭｏｔｉｏｎＪＥＰＧで圧縮するが、この形態に限らない。また、画像データは圧縮しなくても良い。画像圧縮部３１６は、画像データの通信パケットを通信制御部３１４へ渡す。
【００２３】
通信制御部３１４は、画像圧縮部３１６からの画像データをネットワーク３０４を介してクライアント３０２や生成クライアント３０３へ送信する。また、通信制御部３１４は、クライアント３０２や生成クライアント３０３から、ビデオカメラ３１１の撮像方向やズーム倍率などの制御のための制御コマンドを受信する。通信制御部３１４は、受信した制御コマンドをコマンド解釈部３１７へ渡す。コマンド解釈部３１７は、受信した制御コマンドの内容に応じて、カメラ・雲台制御部３１３を介して可動雲台３１２のパン角、チルト角、ローテート角や、ビデオカメラ３１１のズーム倍率等を制御する。
【００２４】
記憶部３１８は、生成クライアント３０３により生成されたパノラマ画像を記憶する。また、記憶部３１８は、現在のパン角、チルト角、ローテート角などの各種パラメータや、過去の撮像で得られた画像データなどを記憶する。
【００２５】
クライアント３０２は、カメラサーバ３０１のＩＰアドレスを指定してカメラサーバ３０１に接続し、カメラサーバ３０１から受信した画像データに応じた画像を表示させるクライアントである。また、本形態のクライアント３０２は、可動雲台３１２のパン角、チルト角、ローテート角や、ビデオカメラ３１１のズーム倍率などを制御することが可能である。
クライアント３０２は、通信制御部３２１、コマンド生成部３２２、操作入力部３２３、表示制御部３２４、画像伸長部３２５、表示部３２６を含んで構成される。
【００２６】
通信制御部３２１は、カメラサーバ３０１から画像データを受信して画像伸長部３２５へ渡す。通信制御部３２１が受信する画像データには、パノラマ画像データが含まれる。画像伸長部３２５は、通信制御部３２１からの画像データを伸長する。画像伸長部３２５は、伸長した画像データを表示制御部３２４へ渡す。表示制御部３２４は、画像伸長部３２５からの画像データに基づく画像を表示部３２６で表示させる。
【００２７】
また、クライアント３０２の操作入力部３２３は、クライアント３０２のユーザによる操作内容をコマンド生成部３２２へ渡す。本形態の操作入力部３２３は、ユーザ操作のためのＧＵＩ（グラフィカルユーザインタフェース）を提供することが可能である。操作入力部３２３は、例えば、ユーザが、マウスクリックやドラッグで、カメラサーバ３０１の可動雲台３１２のパン角、チルト角、ローテート角を制御するための操作が行われた場合、制御内容をコマンド生成部３２２へ渡す。コマンド生成部３２２は、操作入力部３２３からの制御内容に基づいて制御コマンドを生成する。通信制御部３２１は、コマンド生成部３２２により生成された制御コマンドをカメラサーバ３０１へ送信する。カメラサーバ３０１は、クライアント３０２から受信した制御コマンドの内容に応じて、パン角、チルト角、ローテート角、ズーム倍率等を制御する。
【００２８】
また、クライアント３０２の操作入力部３２３は、制御コマンドに応じた制御後のパラメータ（パン角、チルト角、ローテート角など）のカメラサーバ３０１からの通知を受けて、上記のＧＵＩの表示を変更する。このようにすることで、クライアント３０２のユーザは、現在のカメラサーバ３０１の状態を知ることができる。
【００２９】
生成クライアント３０３は、クライアント３０２と同様に、カメラサーバ３０１のＩＰアドレスを指定してカメラサーバ３０１に接続し、カメラサーバ３０１から受信した画像データに応じた画像を表示させるクライアントである。また、生成クライアント３０３は、カメラサーバ３０１のパン角、チルト角、ローテート角、ズーム倍率などを制御することも可能である。
生成クライアント３０３は、画像圧縮部３３１、通信制御部３３２、コマンド生成部３３３、パラメータ決定部３３４、操作入力部３３５、表示制御部３３６、画像伸長部３３７、表示部３３８、画像合成部３３９を含んで構成される。以下、生成クライアント３０３の機能について、クライアント３０２との差異を中心に説明する。
【００３０】
まず、生成クライアント３０３がパノラマ画像を生成しない場合の画像表示処理について説明する。通信制御部３３２は、カメラサーバ３０１からの画像データを画像伸長部３３７へ渡す。画像伸長部３３７は、通信制御部３３２からの画像データを伸長して表示制御部３３６へ渡し、表示制御部３３６は、画像伸長部３３７からの画像データに応じた画像を表示部３３８で表示させる。
【００３１】
次に、生成クライアント３０３がパノラマ画像を生成する場合の処理について説明する。例えば、生成クライアント３０３のユーザが、操作入力部３３５からパノラマ画像の生成指示を入力したことに応じて、パノラマ画像の生成処理が開始される。パノラマ画像の生成指示が入力されると、パラメータ決定部３３４は、カメラサーバ３０１の制御パラメータを決定する。算出される制御パラメータは、例えば、パン角、チルト角、ローテート角などである。パラメータ決定部３３４による制御パラメータの決定方法の詳細は後述する。
【００３２】
コマンド生成部３３３は、パラメータ決定部３３４により決定された制御パラメータに基づいてカメラサーバ３０１に対する制御コマンドを生成し、通信制御部３３２を介してカメラサーバ３０１へ送信する。通信制御部３３２は、制御コマンドに応じてカメラサーバ３０１で撮像された画像データを受信すると、画像伸長部３３７へ渡す。ここで受信される画像データは、パノラマ画像の一部を構成する画像データである。画像伸長部３３７は、通信制御部３３２からの画像データを伸長して画像合成部３３９へ渡す。
【００３３】
画像合成部３３９は、画像伸長部３３７から受信した複数の画像データを合成してパノラマ画像を生成する。本形態の画像合成部３３９は、射影変換によって複数の画像データを合成するが、この方法に限らない。画像合成部３３９により生成されたパノラマ画像は画像圧縮部３３１で圧縮され、通信制御部３３２を介してカメラサーバ３０１へ送信される。カメラサーバ３０１の通信制御部３１４は、生成クライアント３０３から受信したパノラマ画像を記憶部３１８に記憶させ、クライアント３０２等からの要求に応じてパノラマ画像を提供する。なお、本実施形態では、パノラマ画像を生成クライアント３０３で生成したが、パノラマ画像をカメラサーバ３０１で生成してもよい。
【００３４】
次に、生成クライアント３０３によるパノラマ画像の生成処理について、図４を用いて説明する。本形態の生成クライアント３０３は、撮像範囲が長辺と短辺で構成されるビデオカメラ３１１の撮像方向を制御してパノラマ画像を生成する生成装置である。生成クライアント３０３は、図４の処理を実行するためのプログラムを、ＣＰＵで読み出して実行することにより、図４の処理を実現する。ただし、図４の処理の少なくとも一部を専用のハードウェアで行うようにしても良い。また、本形態の生成クライアント３０３は、操作入力部３３５で、ユーザからパノラマ画像の生成指示が入力されたことに応じて図４の処理を開始する例について説明するが、パノラマ画像の生成タイミングは、この例に限らない。
【００３５】
操作入力部３３５でパノラマ画像の生成指示が入力されると、コマンド生成部３３３は、カメラサーバ３０１の撮像方向やズーム倍率を初期状態にするための制御コマンドを通信制御部３３２を介してカメラサーバ３０１へ送信する（Ｓ４１）。
【００３６】
パラメータ決定部３３４は、パノラマ画像を生成するための撮像画像を得るためのパン角とチルト角を決定する（Ｓ４２）。パラメータ決定部３３４は、複数の撮像画像を得るために、パン角とチルト角の組（制御内容）を複数、決定する。また、パラメータ決定部３３４は、Ｓ４２において、複数の制御内容の制御順序を決定する。
パラメータ決定部３３４は、決定した複数の制御内容のうち、制御順序が最初の制御内容にカメラサーバ３０１を制御するための制御コマンドを、通信制御部３３２を介してカメラサーバ３０１へ送信する（Ｓ４３）。なお、制御順序が最初の制御内容と、Ｓ４１の制御内容とが同じである場合は、制御コマンドを送信しなくても良い。
【００３７】
コマンド生成部３３３は、Ｓ４３で送信した制御コマンドに応じた制御により、チルト角が０度（チルト機構の可動範囲の限界）になったか否かを判定する。チルト角が０度になったと判定された場合はＳ４５に進み、０度になっていないと判定された場合はＳ４４へ進む。
【００３８】
チルト角が０度になっていないと判定された場合、コマンド生成部３３３は、ビデオカメラ３１１の撮像範囲の長辺をパン方向に対応させるためのローテート角の制御コマンドを生成し、通信制御部３３２を介してカメラサーバ３０１へ送信する（Ｓ４４）。本形態のコマンド生成部３３３は、Ｓ４４において、カメラサーバ３０１のローテート角を０度にするための制御コマンドを送信する。
【００３９】
一方、チルト角が０度になったと判定された場合、コマンド生成部３３３は、Ｓ４５（制御手順）において、ビデオカメラ３１１の撮像範囲の長辺をチルト方向に対応させるためのローテート角の制御コマンドを生成し、通信制御部３３２を介してカメラサーバ３０１へ送信する。本形態のコマンド生成部３３３は、Ｓ４５において、カメラサーバ３０１のローテート角を９０度にするための制御コマンドを送信する。すなわち、コマンド生成部３３３は、チルト機構の可動範囲の限界に対応する特定領域を撮像する際に、撮像範囲の回転のための回転機構（ローテート機構）をパノラマ画像の生成のために制御する。
【００４０】
ただし、現在のローテート角とローテート角の制御コマンドによる変更後のローテート角が同じ場合は、Ｓ４４、Ｓ４５でローテート角の制御コマンドを送信しないようにしても良い。
【００４１】
コマンド生成部３３３は、通信制御部３３２を介して、カメラサーバ３０１へ撮像コマンドを送信する（Ｓ４６）。カメラサーバ３０１は、撮像コマンドの受信に応じて撮像を行い、得られた画像データを生成クライアント３０３へ送信する。この画像データは、パノラマ画像の生成に用いられる画像データである。
【００４２】
生成クライアント３０３は、カメラサーバ３０１から受信した画像データを画像伸長部３３７で伸長し、画像合成部３３９で合成する（Ｓ４７）。すなわち、生成クライアント３０３の画像合成部３３９は、Ｓ４７（生成手順）において、回転機構（ローテート機構）を制御して得られる複数の撮像画像からパノラマ画像を生成する。なお、本形態の生成クライアント３０３は、心射図法を用いた射影変換により複数の画像データを合成してパノラマ画像を生成するが、この形態に限らない。また、図４の処理が開始されてから初めてのＳ４７の処理は、省略可能である。また、パノラマ画像を生成するためのすべての画像データがそろってから、パノラマ画像を生成するようにすることも可能である。
【００４３】
コマンド生成部３３３は、パノラマ画像の生成に用いるすべての画像データの取得が完了したか否かを判定し、終了したと判定した場合は、画像合成部３３９で生成されたパノラマ画像をカメラサーバ３０１へ送信して処理を終了する。一方、終了していないと判定された場合Ｓ４３へ進み、Ｓ４２で決定された制御順序に従って、次のパン角、チルト角の制御を行い、カメラサーバ３０１から画像データを取得する。なお、本実施形態では、パノラマ画像を生成クライアント３０３で生成したが、パノラマ画像をカメラサーバ３０１で生成してもよい。
【００４４】
次に、図４のＳ４２で決定される制御順序、及び、Ｓ４４、Ｓ４５で制御されるローテート角と撮像範囲の関係について、図５を用いて説明する。
【００４５】
図５（ａ）は、撮像範囲の長辺がパン方向に対応する状態で撮像してパノラマ画像を生成する場合の例を示している。図５（ａ）において、５０１はカメラ設置位置、５０２は撮像方向、５０３は撮像方向５０２のときの撮像範囲、５０４は撮像方向の駆動可能範囲を示している。駆動可能範囲５０４に示されるように、本形態のカメラサーバ３０１は、パン方向は３６０度の駆動が可能であり、チルト方向は０度〜９０度の駆動が可能である。また、図５（ｂ）は、図５（ａ）のようにして撮像された画像データを用いてパノラマ画像を生成した場合のパノラマ画像の視野範囲を示している。すなわち、図５（ａ）（ｂ）は、ローテート角を０度に保って撮像した画像データを用いたパノラマ画像である。
【００４６】
図５（ｂ）の例では、図５（ａ）の駆動可能範囲５０４のうち、撮像範囲５１３に対応する初期位置からパノラマ画像用の画像データの撮像を開始し、チルト角の制御と撮像を繰り返す。この結果、撮像範囲５１４に達すると、パン角の制御により撮像範囲５１５へ移動される。以後、ルート５１１に示すような移動と撮像を繰り返して得られた画像データからパノラマ画像が生成される。
【００４７】
一方、図５（ｃ）は、ローテート角の制御をして得られた画像データからパノラマ画像を生成する場合の例を示している。図５（ｃ）において、５２１はカメラ設置位置、５２２は特定領域外を撮像するときの撮像方向の例、５２３は撮像方向５２２のときの撮像範囲を示している。また、図５（ｃ）において、５２４は特定領域を撮像するときの撮像方向の例、５２５は撮像方向５２４のときの撮像範囲、５２６は撮像方向の駆動可能範囲を示している。図５（ｃ）に示すように、特定領域を撮像するとき（チルト角が可動範囲の限界のとき）は、そうでないときよりもローテート角を＋９０度としている。
【００４８】
図５（ｄ）は、図５（ｃ）のようにして撮像された画像データを用いてパノラマ画像を生成した場合のパノラマ画像の視野範囲を示している。図５の（ｂ）と（ｄ）に示すように、パノラマ画像を生成する際に、ローテート角の制御を行うことで、制御を行わない場合よりもより視野範囲が広いパノラマ画像が得られる。
【００４９】
また、図５（ｄ）に示すように、本形態のカメラサーバ３０１は、撮像範囲５３３に対応する初期位置からパノラマ画像用の画像データの撮像を開始し、パン角の制御と撮像を繰り返す。この結果、撮像範囲５３４に達すると、チルト角の制御により撮像範囲５３５へ移動される。以後、ルート５３１に示すような移動と撮像を繰り返し、撮像範囲５３６に達する。その後、カメラサーバ３０１は、チルト角を０度にする。本形態の生成クライアント３０３は、カメラサーバ３０１の特定領域（チルト角が０度のときの撮像領域）を撮像する際に、ローテート角を９０度、回転させる。この回転により、ビデオカメラ３１１の撮像範囲は、撮像範囲５３７に示すようになる。その後、カメラサーバ３０１は、ルート５３１に示すように、撮像範囲５３７から撮像範囲５３８まで、ローテート角が９０度の状態のまま、撮像を繰り返し、撮像範囲５３８の画像データを撮像して撮像を終了する。なお、図５（ｄ）の撮像範囲５３６の状態から、先にチルト角を０度にして、その後ローテート角を９０度回転させても、先にローテート角を回転させて、その後チルト角を０度にしても、ローテート角とチルト角を同時に制御しても良い。
【００５０】
図５（ｄ）のルート５３１に示すような制御順序にすることで、図５（ｂ）のルート５１１のように制御しながらローテート角を制御するよりも、ローテート機構の制御回数を少なくすることができる。
【００５１】
なお、図５（ｅ）のように、ローテート角を０度にした状態で撮像範囲５４１を撮像して得られた画像データを用いてパノラマ画像を生成するようにしても良い。すなわち、コマンド生成部３３３は、撮像範囲の長辺がパン方向に対応する状態で特定領域が撮像されると共に、撮像範囲の長辺がチルト方向に対応する状態で特定領域が撮像されるようにローテート機構を制御するようにしても良い。この場合、パノラマ画像は、撮像範囲の長辺がパン方向に対応する状態で撮像された画像データと撮像範囲の長辺がチルト方向に対応する状態で撮像された画像データとを含む複数の画像データから生成される。このようにすることで、図５（ｄ）のようにして得られたパノラマ画像よりもさらに視野範囲が広いパノラマ画像が得られる。
【００５２】
また、図示していないが、チルト角が０度に対応する特定領域のうち、パノラマ画像の端部に対応する領域を撮像する際に、ローテート角を、例えば４５度にしても良い。つまりコマンド生成部３３３は、特定領域のうち、パン機構の可動範囲の限界（例えば０度）に対応する第２の特定領域が、撮像範囲の長辺がパン方向に対応する状態とチルト方向に対応する状態との間の状態で撮像されるように、ローテート機構を制御しても良い。このようにすることで、図５（ｅ）のようにして得られたパノラマ画像の視野範囲よりもさらに広い視野範囲のパノラマ画像を得ることができる。
【００５３】
また、本形態の生成クライアント３０３は、図５（ｂ）のようにパノラマ画像を生成するか、図５（ｄ）のようにパノラマ画像を生成するか、図５（ｅ）のようにパノラマ画像を生成するかを、操作入力部３３５からのユーザ入力によって切換えることができる。このようにすることで、例えばユーザは、ローテート機構の制御回数や、パノラマ画像の視野範囲の希望に、より適したパノラマ画像の生成方法を選択できるようになる。
【００５４】
なお、本形態では、ローテート角を９０度にした状態で特定領域を撮像した画像データと、ローテート角を０度にした状態で特定領域以外の領域を撮像した画像データとでパノラマ画像を生成する例を中心に説明したが、これに限らない。
【００５５】
例えば、ローテート角を９０度にした状態で、すべての領域を撮像して得られた画像データを用いてパノラマ画像を生成するようにしても良い。すなわち、生成クライアント３０３は、パノラマ画像の生成指示に応じて、カメラサーバ３０１のローテート角を０度から９０度にするための制御コマンドを送信する。そして、ローテート角が９０度の状態で、パン角やチルト角の制御と撮像を繰り返して得られた画像データからパノラマ画像を生成するようにしても良い。
【００５６】
また、本形態では、先にローテート角を０度の状態で、特定領域以外の領域を撮像させ、特定領域以外の領域の撮像が完了した後に、ローテート角を９０度にして特定領域を撮像させるようにする例を中心に説明したが、この順序を逆にすることも可能である。すなわち、先にローテート角を９０度にした状態で特定領域を撮像させ、特定領域の撮像が完了した後に、ローテート角を０度にして特定領域以外の領域を撮像させるようにしても良い。
【００５７】
また、先に特定領域を撮像させるか、先に特定領域以外の領域を撮像させるかを、パノラマ画像の生成指示が入力された時点におけるカメラサーバ３０１のローテート角（回転角）に基づいて決定するようにしても良い。すなわち、パノラマ画像の生成指示の入力時のローテート角が０度のときは、先に特定領域以外の領域を撮像させ、ローテート角が９０度のときは、先に特定領域を撮像させるようにしても良い。このようにすれば、よりローテート機構の制御回数を少なくしつつ、広い視野範囲のパノラマ画像を得ることができる。
【００５８】
また、本形態では、特定領域が、チルト角が０度のときの撮像範囲である場合の例について説明したが、この例に限らない。例えば、チルト角をマイナス角度にも可動できる場合、チルト角の可動範囲の限界に対応する領域が特定領域となる。また、例えば、パン角の可動範囲に制限がある場合、パン角の可動範囲の限界に対応する撮像範囲を撮像する際に、撮像範囲の長辺がパン方向に対応する状態で撮像されるようにローテート角を制御することも可能である。
【００５９】
また、本形態では、生成クライアント３０３がカメラサーバ３０１へ制御コマンドを送信してカメラサーバ３０１を制御し、生成クライアント３０３がカメラサーバ３０１からの画像データからパノラマ画像を生成する例について説明した。しかし、カメラサーバ３０１でパノラマ画像を生成するようにすることも可能である。
【００６０】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【技術分野】
【０００１】
本発明は、複数回の撮像によりパノラマ画像を生成する生成方法に関する。
【背景技術】
【０００２】
パン・チルト機構をもったカメラを用いたパノラマ画像の生成方法として、パン・チルト機構の制御によりカメラの撮像方向を順次変えて複数回の撮像を行い、得られた複数の画像に対し射影変換等の処理をする方法が知られている。
【０００３】
特許文献１には、パン・チルト機構の制御により撮像方向を順次変えて撮像した複数の画像を用いてパノラマ画像を生成することが記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００１−１３６５１４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、パノラマ画像の生成に用いるカメラによっては、パノラマ画像の視野範囲が狭くなってしまう恐れがあった。
【０００６】
例えば、撮像範囲の短辺がチルト方向に対応する状態で撮像された複数の撮像画像でパノラマ画像を生成すると、長辺がチルト方向に対応する状態で撮像した撮像画像でパノラマ画像を生成するよりも、パノラマ画像のチルト方向の視野範囲が狭くなってしまう恐れがあった。
【０００７】
より具体的に、図１に示すような、撮像範囲が長辺と短辺で構成される撮像部の撮像方向を制御して、パノラマ画像の生成に用いる複数の撮像画像を取得する場合について説明する。図１（ａ）の撮像範囲１０３は、撮像範囲の長辺がパン方向に対応する状態の撮像範囲を示しており、図１（ｄ）の撮像範囲１０６は、撮像範囲の長辺がチルト方向に対応する状態の撮像範囲を示している。例えば、図１（ａ）のような状態で、チルト機構の可動範囲の限界に対応する領域（例えばチルト角が０度のときの撮像範囲）を撮像すると、図１（ｄ）のような状態で撮像するよりも、チルト方向の視野範囲が狭くなってしまう恐れがあった。
【０００８】
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、より広い視野範囲のパノラマ画像が得られるようにすることである。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明の生成装置は、例えば以下の構成を有する。すなわち、撮像範囲が長辺と短辺で構成される撮像部の撮像方向を制御してパノラマ画像を生成する生成装置であって、前記撮像範囲の回転のための回転機構を前記パノラマ画像の生成のために制御する制御手段と、前記回転機構を制御して得られる複数の撮像画像からパノラマ画像を生成する生成手段とを有する。
【発明の効果】
【００１０】
本発明によれば、より広い視野範囲のパノラマ画像が得られるようになる。
【図面の簡単な説明】
【００１１】
【図１】パノラマ画像の生成方法を説明するための図
【図２】本実施形態のカメラ装置を示す図
【図３】ネットワークカメラシステムの構成例を示す図
【図４】パノラマ画像の生成処理を説明するためのフローチャート
【図５】パノラマ画像の視野範囲の比較を示した図
【発明を実施するための形態】
【００１２】
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて説明する。
【００１３】
本実施形態のカメラ装置の構成とパノラマ画像の生成方法の概要を、図１及び図２を用いて説明する。
【００１４】
図２（ａ）は、本形態のカメラ装置１１０の側面図である。パン駆動部はボトムケース２０１とターンテーブル２０２で構成され、パン回転軸２０３を中心にターンテーブル２０２が回転する構造となっている。また、図２（ｂ）はカメラ装置１１０の正面図である。チルト駆動部は、レンズ支柱２０４とレンズケース２０６で構成され、チルト回転軸２０５を中心にレンズケース２０６が回転する構造となっている。ただし、カメラ装置１１０の構造は、これに限らない。
【００１５】
図１（ａ）〜（ｃ）は、ローテート機構を駆動しない場合、すなわち、ローテート角が０度に固定された状態で、パノラマ画像を生成する場合の例を示している。図１（ａ）は、カメラ装置１１０のチルト角が０度（チルト機構の可動範囲の限界）のときのカメラ装置１１０の状態を示している。なお、図１（ａ）に示すように、本形態のカメラ装置１１０の撮像範囲１０３は長辺と短辺で構成される。
【００１６】
また、図１（ｂ）は、撮像範囲の長辺がパン方向に対応する状態で撮像してパノラマ画像を生成する場合の例を示している。図１（ｂ）において、１０１はカメラ設置位置、１０２は撮像方向、１０３は撮像方向１０２のときの撮像範囲、１０４は撮像方向の駆動可能範囲を示している。駆動可能範囲１０４で示すように、本形態のカメラ装置１１０は、パン方向は３６０度の駆動が可能であり、チルト方向は０度〜９０度の駆動が可能である。図１（ｃ）は、チルト角が０度のときに、ローテート角を０度の状態で撮像した場合の撮像範囲の例である。図１（ｃ）に示すように、ローテート角が０度の状態では、カメラ装置１１０の撮像範囲の長辺はパン方向に対応し、短辺はチルト方向に対応している。
【００１７】
一方、図１（ｄ）、（ｅ）は、ローテート角を９０度にした状態でパノラマ画像を生成する場合の例を示している。図１（ｄ）は、カメラ装置１１０のチルト角が０度のときのカメラ装置１１０の状態を示している。図１（ｄ）に示すように、ローテート角を９０度にすることで、撮像範囲の長辺がチルト方向に対応し、短辺がパン方向に対応する状態となっている。
【００１８】
図１（ｅ）は、チルト角が０度のときに、ローテート角を９０度にして撮像した場合の撮像範囲の例である。図１（ｃ）及び（ｅ）を比較してわかるように、ローテート角を９０度にすることで、ローテート角が０度のときよりも、より下方向の撮像範囲を広くすることができる。
【００１９】
図３は、本実施形態のネットワークカメラシステムのブロック図である。
図３に示すように、カメラサーバ３０１、ビューワクライアント３０２（以下、クライアント３０２）、パノラマ画像生成クライアント３０３（以下、生成クライアント３０３）が、ネットワーク３０４を介して接続されている。なお、カメラサーバ３０１は、図１及び図２のカメラ装置１１０に対応する。また、本形態では、ネットワーク３０４に、それぞれ１台ずつ接続される例を説明するが、複数台接続されるようにしても良い。
【００２０】
また、ネットワーク３０４は、後で述べる制御コマンドや画像データを通すのに十分な帯域があるインターネットやイントラネット等のディジタルネットワークであればどのようなものでもよい。なお、本形態では、ネットワークプロトコルとしてＴＣＰ／ＩＰ（ＵＤＰ／ＩＰ）プロトコルを用いるものし、各装置には、それぞれ異なるＩＰアドレスを割り当てられているものとする。
【００２１】
カメラサーバ３０１は、ビデオカメラ３１１、可動雲台３１２、カメラ・雲台制御部３１３、通信制御部３１４、画像入力部３１５、画像圧縮部３１６、コマンド解釈部３１７、記憶部３１８を含んで構成される。ただし、ビデオカメラ３１１は、カメラサーバ３０１とは別の装置であっても良い。
ビデオカメラ３１１は、撮像して得られた画像データを画像入力部３１５へ渡す。なお、本形態のビデオカメラ３１１の撮像範囲は、長辺と短辺で構成される。また、ビデオカメラ３１１は、動画を撮像することも、静止画を撮像することも可能である。また、ビデオカメラ３１１のズーム倍率などを含む各種撮像パラメータは、通信制御部３１４でクライアントから受信した制御コマンドに応じて変更可能である。
【００２２】
画像入力部３１５は、ビデオカメラ３１１により得られた画像データを画像圧縮部３１６へ渡す。画像圧縮部３１６は、画像入力部３１５からの画像データを圧縮し、通信に必要なヘッダを付加して通信パケットを生成する。本形態の画像圧縮部３１６は、ビデオカメラ３１１からのＮＴＳＣ画像信号をＡ／Ｄ変換し、さらに、ＭｏｔｉｏｎＪＥＰＧで圧縮するが、この形態に限らない。また、画像データは圧縮しなくても良い。画像圧縮部３１６は、画像データの通信パケットを通信制御部３１４へ渡す。
【００２３】
通信制御部３１４は、画像圧縮部３１６からの画像データをネットワーク３０４を介してクライアント３０２や生成クライアント３０３へ送信する。また、通信制御部３１４は、クライアント３０２や生成クライアント３０３から、ビデオカメラ３１１の撮像方向やズーム倍率などの制御のための制御コマンドを受信する。通信制御部３１４は、受信した制御コマンドをコマンド解釈部３１７へ渡す。コマンド解釈部３１７は、受信した制御コマンドの内容に応じて、カメラ・雲台制御部３１３を介して可動雲台３１２のパン角、チルト角、ローテート角や、ビデオカメラ３１１のズーム倍率等を制御する。
【００２４】
記憶部３１８は、生成クライアント３０３により生成されたパノラマ画像を記憶する。また、記憶部３１８は、現在のパン角、チルト角、ローテート角などの各種パラメータや、過去の撮像で得られた画像データなどを記憶する。
【００２５】
クライアント３０２は、カメラサーバ３０１のＩＰアドレスを指定してカメラサーバ３０１に接続し、カメラサーバ３０１から受信した画像データに応じた画像を表示させるクライアントである。また、本形態のクライアント３０２は、可動雲台３１２のパン角、チルト角、ローテート角や、ビデオカメラ３１１のズーム倍率などを制御することが可能である。
クライアント３０２は、通信制御部３２１、コマンド生成部３２２、操作入力部３２３、表示制御部３２４、画像伸長部３２５、表示部３２６を含んで構成される。
【００２６】
通信制御部３２１は、カメラサーバ３０１から画像データを受信して画像伸長部３２５へ渡す。通信制御部３２１が受信する画像データには、パノラマ画像データが含まれる。画像伸長部３２５は、通信制御部３２１からの画像データを伸長する。画像伸長部３２５は、伸長した画像データを表示制御部３２４へ渡す。表示制御部３２４は、画像伸長部３２５からの画像データに基づく画像を表示部３２６で表示させる。
【００２７】
また、クライアント３０２の操作入力部３２３は、クライアント３０２のユーザによる操作内容をコマンド生成部３２２へ渡す。本形態の操作入力部３２３は、ユーザ操作のためのＧＵＩ（グラフィカルユーザインタフェース）を提供することが可能である。操作入力部３２３は、例えば、ユーザが、マウスクリックやドラッグで、カメラサーバ３０１の可動雲台３１２のパン角、チルト角、ローテート角を制御するための操作が行われた場合、制御内容をコマンド生成部３２２へ渡す。コマンド生成部３２２は、操作入力部３２３からの制御内容に基づいて制御コマンドを生成する。通信制御部３２１は、コマンド生成部３２２により生成された制御コマンドをカメラサーバ３０１へ送信する。カメラサーバ３０１は、クライアント３０２から受信した制御コマンドの内容に応じて、パン角、チルト角、ローテート角、ズーム倍率等を制御する。
【００２８】
また、クライアント３０２の操作入力部３２３は、制御コマンドに応じた制御後のパラメータ（パン角、チルト角、ローテート角など）のカメラサーバ３０１からの通知を受けて、上記のＧＵＩの表示を変更する。このようにすることで、クライアント３０２のユーザは、現在のカメラサーバ３０１の状態を知ることができる。
【００２９】
生成クライアント３０３は、クライアント３０２と同様に、カメラサーバ３０１のＩＰアドレスを指定してカメラサーバ３０１に接続し、カメラサーバ３０１から受信した画像データに応じた画像を表示させるクライアントである。また、生成クライアント３０３は、カメラサーバ３０１のパン角、チルト角、ローテート角、ズーム倍率などを制御することも可能である。
生成クライアント３０３は、画像圧縮部３３１、通信制御部３３２、コマンド生成部３３３、パラメータ決定部３３４、操作入力部３３５、表示制御部３３６、画像伸長部３３７、表示部３３８、画像合成部３３９を含んで構成される。以下、生成クライアント３０３の機能について、クライアント３０２との差異を中心に説明する。
【００３０】
まず、生成クライアント３０３がパノラマ画像を生成しない場合の画像表示処理について説明する。通信制御部３３２は、カメラサーバ３０１からの画像データを画像伸長部３３７へ渡す。画像伸長部３３７は、通信制御部３３２からの画像データを伸長して表示制御部３３６へ渡し、表示制御部３３６は、画像伸長部３３７からの画像データに応じた画像を表示部３３８で表示させる。
【００３１】
次に、生成クライアント３０３がパノラマ画像を生成する場合の処理について説明する。例えば、生成クライアント３０３のユーザが、操作入力部３３５からパノラマ画像の生成指示を入力したことに応じて、パノラマ画像の生成処理が開始される。パノラマ画像の生成指示が入力されると、パラメータ決定部３３４は、カメラサーバ３０１の制御パラメータを決定する。算出される制御パラメータは、例えば、パン角、チルト角、ローテート角などである。パラメータ決定部３３４による制御パラメータの決定方法の詳細は後述する。
【００３２】
コマンド生成部３３３は、パラメータ決定部３３４により決定された制御パラメータに基づいてカメラサーバ３０１に対する制御コマンドを生成し、通信制御部３３２を介してカメラサーバ３０１へ送信する。通信制御部３３２は、制御コマンドに応じてカメラサーバ３０１で撮像された画像データを受信すると、画像伸長部３３７へ渡す。ここで受信される画像データは、パノラマ画像の一部を構成する画像データである。画像伸長部３３７は、通信制御部３３２からの画像データを伸長して画像合成部３３９へ渡す。
【００３３】
画像合成部３３９は、画像伸長部３３７から受信した複数の画像データを合成してパノラマ画像を生成する。本形態の画像合成部３３９は、射影変換によって複数の画像データを合成するが、この方法に限らない。画像合成部３３９により生成されたパノラマ画像は画像圧縮部３３１で圧縮され、通信制御部３３２を介してカメラサーバ３０１へ送信される。カメラサーバ３０１の通信制御部３１４は、生成クライアント３０３から受信したパノラマ画像を記憶部３１８に記憶させ、クライアント３０２等からの要求に応じてパノラマ画像を提供する。なお、本実施形態では、パノラマ画像を生成クライアント３０３で生成したが、パノラマ画像をカメラサーバ３０１で生成してもよい。
【００３４】
次に、生成クライアント３０３によるパノラマ画像の生成処理について、図４を用いて説明する。本形態の生成クライアント３０３は、撮像範囲が長辺と短辺で構成されるビデオカメラ３１１の撮像方向を制御してパノラマ画像を生成する生成装置である。生成クライアント３０３は、図４の処理を実行するためのプログラムを、ＣＰＵで読み出して実行することにより、図４の処理を実現する。ただし、図４の処理の少なくとも一部を専用のハードウェアで行うようにしても良い。また、本形態の生成クライアント３０３は、操作入力部３３５で、ユーザからパノラマ画像の生成指示が入力されたことに応じて図４の処理を開始する例について説明するが、パノラマ画像の生成タイミングは、この例に限らない。
【００３５】
操作入力部３３５でパノラマ画像の生成指示が入力されると、コマンド生成部３３３は、カメラサーバ３０１の撮像方向やズーム倍率を初期状態にするための制御コマンドを通信制御部３３２を介してカメラサーバ３０１へ送信する（Ｓ４１）。
【００３６】
パラメータ決定部３３４は、パノラマ画像を生成するための撮像画像を得るためのパン角とチルト角を決定する（Ｓ４２）。パラメータ決定部３３４は、複数の撮像画像を得るために、パン角とチルト角の組（制御内容）を複数、決定する。また、パラメータ決定部３３４は、Ｓ４２において、複数の制御内容の制御順序を決定する。
パラメータ決定部３３４は、決定した複数の制御内容のうち、制御順序が最初の制御内容にカメラサーバ３０１を制御するための制御コマンドを、通信制御部３３２を介してカメラサーバ３０１へ送信する（Ｓ４３）。なお、制御順序が最初の制御内容と、Ｓ４１の制御内容とが同じである場合は、制御コマンドを送信しなくても良い。
【００３７】
コマンド生成部３３３は、Ｓ４３で送信した制御コマンドに応じた制御により、チルト角が０度（チルト機構の可動範囲の限界）になったか否かを判定する。チルト角が０度になったと判定された場合はＳ４５に進み、０度になっていないと判定された場合はＳ４４へ進む。
【００３８】
チルト角が０度になっていないと判定された場合、コマンド生成部３３３は、ビデオカメラ３１１の撮像範囲の長辺をパン方向に対応させるためのローテート角の制御コマンドを生成し、通信制御部３３２を介してカメラサーバ３０１へ送信する（Ｓ４４）。本形態のコマンド生成部３３３は、Ｓ４４において、カメラサーバ３０１のローテート角を０度にするための制御コマンドを送信する。
【００３９】
一方、チルト角が０度になったと判定された場合、コマンド生成部３３３は、Ｓ４５（制御手順）において、ビデオカメラ３１１の撮像範囲の長辺をチルト方向に対応させるためのローテート角の制御コマンドを生成し、通信制御部３３２を介してカメラサーバ３０１へ送信する。本形態のコマンド生成部３３３は、Ｓ４５において、カメラサーバ３０１のローテート角を９０度にするための制御コマンドを送信する。すなわち、コマンド生成部３３３は、チルト機構の可動範囲の限界に対応する特定領域を撮像する際に、撮像範囲の回転のための回転機構（ローテート機構）をパノラマ画像の生成のために制御する。
【００４０】
ただし、現在のローテート角とローテート角の制御コマンドによる変更後のローテート角が同じ場合は、Ｓ４４、Ｓ４５でローテート角の制御コマンドを送信しないようにしても良い。
【００４１】
コマンド生成部３３３は、通信制御部３３２を介して、カメラサーバ３０１へ撮像コマンドを送信する（Ｓ４６）。カメラサーバ３０１は、撮像コマンドの受信に応じて撮像を行い、得られた画像データを生成クライアント３０３へ送信する。この画像データは、パノラマ画像の生成に用いられる画像データである。
【００４２】
生成クライアント３０３は、カメラサーバ３０１から受信した画像データを画像伸長部３３７で伸長し、画像合成部３３９で合成する（Ｓ４７）。すなわち、生成クライアント３０３の画像合成部３３９は、Ｓ４７（生成手順）において、回転機構（ローテート機構）を制御して得られる複数の撮像画像からパノラマ画像を生成する。なお、本形態の生成クライアント３０３は、心射図法を用いた射影変換により複数の画像データを合成してパノラマ画像を生成するが、この形態に限らない。また、図４の処理が開始されてから初めてのＳ４７の処理は、省略可能である。また、パノラマ画像を生成するためのすべての画像データがそろってから、パノラマ画像を生成するようにすることも可能である。
【００４３】
コマンド生成部３３３は、パノラマ画像の生成に用いるすべての画像データの取得が完了したか否かを判定し、終了したと判定した場合は、画像合成部３３９で生成されたパノラマ画像をカメラサーバ３０１へ送信して処理を終了する。一方、終了していないと判定された場合Ｓ４３へ進み、Ｓ４２で決定された制御順序に従って、次のパン角、チルト角の制御を行い、カメラサーバ３０１から画像データを取得する。なお、本実施形態では、パノラマ画像を生成クライアント３０３で生成したが、パノラマ画像をカメラサーバ３０１で生成してもよい。
【００４４】
次に、図４のＳ４２で決定される制御順序、及び、Ｓ４４、Ｓ４５で制御されるローテート角と撮像範囲の関係について、図５を用いて説明する。
【００４５】
図５（ａ）は、撮像範囲の長辺がパン方向に対応する状態で撮像してパノラマ画像を生成する場合の例を示している。図５（ａ）において、５０１はカメラ設置位置、５０２は撮像方向、５０３は撮像方向５０２のときの撮像範囲、５０４は撮像方向の駆動可能範囲を示している。駆動可能範囲５０４に示されるように、本形態のカメラサーバ３０１は、パン方向は３６０度の駆動が可能であり、チルト方向は０度〜９０度の駆動が可能である。また、図５（ｂ）は、図５（ａ）のようにして撮像された画像データを用いてパノラマ画像を生成した場合のパノラマ画像の視野範囲を示している。すなわち、図５（ａ）（ｂ）は、ローテート角を０度に保って撮像した画像データを用いたパノラマ画像である。
【００４６】
図５（ｂ）の例では、図５（ａ）の駆動可能範囲５０４のうち、撮像範囲５１３に対応する初期位置からパノラマ画像用の画像データの撮像を開始し、チルト角の制御と撮像を繰り返す。この結果、撮像範囲５１４に達すると、パン角の制御により撮像範囲５１５へ移動される。以後、ルート５１１に示すような移動と撮像を繰り返して得られた画像データからパノラマ画像が生成される。
【００４７】
一方、図５（ｃ）は、ローテート角の制御をして得られた画像データからパノラマ画像を生成する場合の例を示している。図５（ｃ）において、５２１はカメラ設置位置、５２２は特定領域外を撮像するときの撮像方向の例、５２３は撮像方向５２２のときの撮像範囲を示している。また、図５（ｃ）において、５２４は特定領域を撮像するときの撮像方向の例、５２５は撮像方向５２４のときの撮像範囲、５２６は撮像方向の駆動可能範囲を示している。図５（ｃ）に示すように、特定領域を撮像するとき（チルト角が可動範囲の限界のとき）は、そうでないときよりもローテート角を＋９０度としている。
【００４８】
図５（ｄ）は、図５（ｃ）のようにして撮像された画像データを用いてパノラマ画像を生成した場合のパノラマ画像の視野範囲を示している。図５の（ｂ）と（ｄ）に示すように、パノラマ画像を生成する際に、ローテート角の制御を行うことで、制御を行わない場合よりもより視野範囲が広いパノラマ画像が得られる。
【００４９】
また、図５（ｄ）に示すように、本形態のカメラサーバ３０１は、撮像範囲５３３に対応する初期位置からパノラマ画像用の画像データの撮像を開始し、パン角の制御と撮像を繰り返す。この結果、撮像範囲５３４に達すると、チルト角の制御により撮像範囲５３５へ移動される。以後、ルート５３１に示すような移動と撮像を繰り返し、撮像範囲５３６に達する。その後、カメラサーバ３０１は、チルト角を０度にする。本形態の生成クライアント３０３は、カメラサーバ３０１の特定領域（チルト角が０度のときの撮像領域）を撮像する際に、ローテート角を９０度、回転させる。この回転により、ビデオカメラ３１１の撮像範囲は、撮像範囲５３７に示すようになる。その後、カメラサーバ３０１は、ルート５３１に示すように、撮像範囲５３７から撮像範囲５３８まで、ローテート角が９０度の状態のまま、撮像を繰り返し、撮像範囲５３８の画像データを撮像して撮像を終了する。なお、図５（ｄ）の撮像範囲５３６の状態から、先にチルト角を０度にして、その後ローテート角を９０度回転させても、先にローテート角を回転させて、その後チルト角を０度にしても、ローテート角とチルト角を同時に制御しても良い。
【００５０】
図５（ｄ）のルート５３１に示すような制御順序にすることで、図５（ｂ）のルート５１１のように制御しながらローテート角を制御するよりも、ローテート機構の制御回数を少なくすることができる。
【００５１】
なお、図５（ｅ）のように、ローテート角を０度にした状態で撮像範囲５４１を撮像して得られた画像データを用いてパノラマ画像を生成するようにしても良い。すなわち、コマンド生成部３３３は、撮像範囲の長辺がパン方向に対応する状態で特定領域が撮像されると共に、撮像範囲の長辺がチルト方向に対応する状態で特定領域が撮像されるようにローテート機構を制御するようにしても良い。この場合、パノラマ画像は、撮像範囲の長辺がパン方向に対応する状態で撮像された画像データと撮像範囲の長辺がチルト方向に対応する状態で撮像された画像データとを含む複数の画像データから生成される。このようにすることで、図５（ｄ）のようにして得られたパノラマ画像よりもさらに視野範囲が広いパノラマ画像が得られる。
【００５２】
また、図示していないが、チルト角が０度に対応する特定領域のうち、パノラマ画像の端部に対応する領域を撮像する際に、ローテート角を、例えば４５度にしても良い。つまりコマンド生成部３３３は、特定領域のうち、パン機構の可動範囲の限界（例えば０度）に対応する第２の特定領域が、撮像範囲の長辺がパン方向に対応する状態とチルト方向に対応する状態との間の状態で撮像されるように、ローテート機構を制御しても良い。このようにすることで、図５（ｅ）のようにして得られたパノラマ画像の視野範囲よりもさらに広い視野範囲のパノラマ画像を得ることができる。
【００５３】
また、本形態の生成クライアント３０３は、図５（ｂ）のようにパノラマ画像を生成するか、図５（ｄ）のようにパノラマ画像を生成するか、図５（ｅ）のようにパノラマ画像を生成するかを、操作入力部３３５からのユーザ入力によって切換えることができる。このようにすることで、例えばユーザは、ローテート機構の制御回数や、パノラマ画像の視野範囲の希望に、より適したパノラマ画像の生成方法を選択できるようになる。
【００５４】
なお、本形態では、ローテート角を９０度にした状態で特定領域を撮像した画像データと、ローテート角を０度にした状態で特定領域以外の領域を撮像した画像データとでパノラマ画像を生成する例を中心に説明したが、これに限らない。
【００５５】
例えば、ローテート角を９０度にした状態で、すべての領域を撮像して得られた画像データを用いてパノラマ画像を生成するようにしても良い。すなわち、生成クライアント３０３は、パノラマ画像の生成指示に応じて、カメラサーバ３０１のローテート角を０度から９０度にするための制御コマンドを送信する。そして、ローテート角が９０度の状態で、パン角やチルト角の制御と撮像を繰り返して得られた画像データからパノラマ画像を生成するようにしても良い。
【００５６】
また、本形態では、先にローテート角を０度の状態で、特定領域以外の領域を撮像させ、特定領域以外の領域の撮像が完了した後に、ローテート角を９０度にして特定領域を撮像させるようにする例を中心に説明したが、この順序を逆にすることも可能である。すなわち、先にローテート角を９０度にした状態で特定領域を撮像させ、特定領域の撮像が完了した後に、ローテート角を０度にして特定領域以外の領域を撮像させるようにしても良い。
【００５７】
また、先に特定領域を撮像させるか、先に特定領域以外の領域を撮像させるかを、パノラマ画像の生成指示が入力された時点におけるカメラサーバ３０１のローテート角（回転角）に基づいて決定するようにしても良い。すなわち、パノラマ画像の生成指示の入力時のローテート角が０度のときは、先に特定領域以外の領域を撮像させ、ローテート角が９０度のときは、先に特定領域を撮像させるようにしても良い。このようにすれば、よりローテート機構の制御回数を少なくしつつ、広い視野範囲のパノラマ画像を得ることができる。
【００５８】
また、本形態では、特定領域が、チルト角が０度のときの撮像範囲である場合の例について説明したが、この例に限らない。例えば、チルト角をマイナス角度にも可動できる場合、チルト角の可動範囲の限界に対応する領域が特定領域となる。また、例えば、パン角の可動範囲に制限がある場合、パン角の可動範囲の限界に対応する撮像範囲を撮像する際に、撮像範囲の長辺がパン方向に対応する状態で撮像されるようにローテート角を制御することも可能である。
【００５９】
また、本形態では、生成クライアント３０３がカメラサーバ３０１へ制御コマンドを送信してカメラサーバ３０１を制御し、生成クライアント３０３がカメラサーバ３０１からの画像データからパノラマ画像を生成する例について説明した。しかし、カメラサーバ３０１でパノラマ画像を生成するようにすることも可能である。
【００６０】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【特許請求の範囲】
【請求項１】
撮像範囲が長辺と短辺で構成される撮像部の撮像方向を制御してパノラマ画像を生成する生成装置であって、
前記撮像範囲の回転のための回転機構を前記パノラマ画像の生成のために制御する制御手段と、
前記回転機構を制御して得られる複数の撮像画像からパノラマ画像を生成する生成手段とを有することを特徴とする生成装置。
【請求項２】
前記制御手段は、チルト機構の可動範囲の限界に対応する特定領域を撮像する際に前記回転機構を制御することを特徴とする請求項１に記載の生成装置。
【請求項３】
前記制御手段は、前記パノラマ画像の生成指示に応じて、前記撮像範囲の長辺がパン方向に対応する状態から、前記撮像範囲の長辺がチルト方向に対応する状態に前記撮像範囲が回転するように前記回転機構を制御し、前記生成手段は、前記撮像範囲の長辺がチルト方向に対応する状態で撮像された複数の撮像画像からパノラマ画像を生成することを特徴とする請求項１に記載の生成装置。
【請求項４】
前記制御手段は、チルト機構の可動範囲の限界に対応する特定領域を撮像する際に、前記撮像範囲の長辺がパン方向に対応する状態から、前記撮像範囲の長辺がチルト方向に対応する状態に前記撮像範囲が回転するように前記回転機構を制御することを特徴とする請求項１又は２に記載の生成装置。
【請求項５】
前記制御手段は、チルト機構の可動範囲の限界に対応する特定領域が、前記撮像範囲の長辺がパン方向に対応する状態で撮像されると共に、前記撮像範囲の長辺がチルト方向に対応する状態で撮像されるように、前記回転機構を制御し、
前記生成手段は、前記撮像範囲の長辺がパン方向に対応する状態及び前記撮像範囲の長辺がチルト方向に対応する状態で撮像された撮像画像を含む複数の撮像画像から前記パノラマ画像を生成することを特徴とする請求項１に記載の生成装置。
【請求項６】
前記制御手段は、前記チルト機構の可動範囲の限界に対応する特定領域のうち、パン機構の可動範囲の限界に対応する第２の特定領域が、前記撮像範囲の長辺がパン方向に対応する状態と前記撮像範囲の長辺がチルト方向に対応する状態との間の状態で撮像されるように、前記回転機構を制御することを特徴とする請求項４に記載の生成装置。
【請求項７】
前記制御手段は、チルト機構の可動範囲の限界に対応する特定領域以外の領域の撮像が完了した後に、前記特定領域が撮像されるように前記回転機構を制御することを特徴とする請求項１乃至６のうち、いずれか１項に記載の生成装置。
【請求項８】
前記制御手段は、チルト機構の可動範囲の限界に対応する特定領域以外の領域の撮像が完了した後に、前記特定領域が撮像されるように前記回転機構を制御するか、前記特定領域の撮像が完了した後に、前記特定領域以外の領域が撮像されるように前記回転機構を制御するかを、前記パノラマ画像の生成指示を受けたときの前記回転機構の回転角に基づいて決定することを特徴とする請求項１乃至６のうち、いずれか１項に記載の生成装置。
【請求項９】
撮像範囲が長辺と短辺で構成される撮像部の撮像方向を制御してパノラマ画像を生成する生成装置が行う生成方法であって、
前記撮像範囲の回転のための回転機構を前記パノラマ画像の生成のために制御する制御工程と、
前記回転機構を制御して得られる複数の撮像画像からパノラマ画像を生成する生成工程とを有することを特徴とする生成方法。
【請求項１０】
撮像範囲が長辺と短辺で構成される撮像部の撮像方向を制御してパノラマ画像を生成するコンピュータに、
前記撮像範囲の回転のための回転機構を前記パノラマ画像の生成のために制御する制御手順と、
前記回転機構を制御して得られる複数の撮像画像からパノラマ画像を生成する生成手順とを実行させることを特徴とするプログラム。
【請求項１】
撮像範囲が長辺と短辺で構成される撮像部の撮像方向を制御してパノラマ画像を生成する生成装置であって、
前記撮像範囲の回転のための回転機構を前記パノラマ画像の生成のために制御する制御手段と、
前記回転機構を制御して得られる複数の撮像画像からパノラマ画像を生成する生成手段とを有することを特徴とする生成装置。
【請求項２】
前記制御手段は、チルト機構の可動範囲の限界に対応する特定領域を撮像する際に前記回転機構を制御することを特徴とする請求項１に記載の生成装置。
【請求項３】
前記制御手段は、前記パノラマ画像の生成指示に応じて、前記撮像範囲の長辺がパン方向に対応する状態から、前記撮像範囲の長辺がチルト方向に対応する状態に前記撮像範囲が回転するように前記回転機構を制御し、前記生成手段は、前記撮像範囲の長辺がチルト方向に対応する状態で撮像された複数の撮像画像からパノラマ画像を生成することを特徴とする請求項１に記載の生成装置。
【請求項４】
前記制御手段は、チルト機構の可動範囲の限界に対応する特定領域を撮像する際に、前記撮像範囲の長辺がパン方向に対応する状態から、前記撮像範囲の長辺がチルト方向に対応する状態に前記撮像範囲が回転するように前記回転機構を制御することを特徴とする請求項１又は２に記載の生成装置。
【請求項５】
前記制御手段は、チルト機構の可動範囲の限界に対応する特定領域が、前記撮像範囲の長辺がパン方向に対応する状態で撮像されると共に、前記撮像範囲の長辺がチルト方向に対応する状態で撮像されるように、前記回転機構を制御し、
前記生成手段は、前記撮像範囲の長辺がパン方向に対応する状態及び前記撮像範囲の長辺がチルト方向に対応する状態で撮像された撮像画像を含む複数の撮像画像から前記パノラマ画像を生成することを特徴とする請求項１に記載の生成装置。
【請求項６】
前記制御手段は、前記チルト機構の可動範囲の限界に対応する特定領域のうち、パン機構の可動範囲の限界に対応する第２の特定領域が、前記撮像範囲の長辺がパン方向に対応する状態と前記撮像範囲の長辺がチルト方向に対応する状態との間の状態で撮像されるように、前記回転機構を制御することを特徴とする請求項４に記載の生成装置。
【請求項７】
前記制御手段は、チルト機構の可動範囲の限界に対応する特定領域以外の領域の撮像が完了した後に、前記特定領域が撮像されるように前記回転機構を制御することを特徴とする請求項１乃至６のうち、いずれか１項に記載の生成装置。
【請求項８】
前記制御手段は、チルト機構の可動範囲の限界に対応する特定領域以外の領域の撮像が完了した後に、前記特定領域が撮像されるように前記回転機構を制御するか、前記特定領域の撮像が完了した後に、前記特定領域以外の領域が撮像されるように前記回転機構を制御するかを、前記パノラマ画像の生成指示を受けたときの前記回転機構の回転角に基づいて決定することを特徴とする請求項１乃至６のうち、いずれか１項に記載の生成装置。
【請求項９】
撮像範囲が長辺と短辺で構成される撮像部の撮像方向を制御してパノラマ画像を生成する生成装置が行う生成方法であって、
前記撮像範囲の回転のための回転機構を前記パノラマ画像の生成のために制御する制御工程と、
前記回転機構を制御して得られる複数の撮像画像からパノラマ画像を生成する生成工程とを有することを特徴とする生成方法。
【請求項１０】
撮像範囲が長辺と短辺で構成される撮像部の撮像方向を制御してパノラマ画像を生成するコンピュータに、
前記撮像範囲の回転のための回転機構を前記パノラマ画像の生成のために制御する制御手順と、
前記回転機構を制御して得られる複数の撮像画像からパノラマ画像を生成する生成手順とを実行させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１２−１９１４２５（Ｐ２０１２−１９１４２５Ａ）
【公開日】平成２４年１０月４日（２０１２．１０．４）
【国際特許分類】
【出願番号】特願２０１１−５２９６３（Ｐ２０１１−５２９６３）
【出願日】平成２３年３月１０日（２０１１．３．１０）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２４年１０月４日（２０１２．１０．４）
【国際特許分類】
【出願日】平成２３年３月１０日（２０１１．３．１０）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]