情報処理装置、撮像システム、再生制御方法、録画制御方法、及びプログラム
【課題】画像解析をせずに複数映像を同期再生する情報処理装置を提供すること。
【解決手段】複数の撮像装置により撮影された複数の映像データを取得する映像取得部と、前記各撮像装置の向き及び画角を含む位置情報を取得する位置情報取得部と、前記位置情報を用いて前記各映像データの投影方向及び画角が前記各撮像装置の向き及び画角に一致するように当該各映像データの再生位置を算出する再生位置算出部と、前記各再生位置に前記各映像データを再生させる再生制御部とを備える、情報処理装置が提供される。
【解決手段】複数の撮像装置により撮影された複数の映像データを取得する映像取得部と、前記各撮像装置の向き及び画角を含む位置情報を取得する位置情報取得部と、前記位置情報を用いて前記各映像データの投影方向及び画角が前記各撮像装置の向き及び画角に一致するように当該各映像データの再生位置を算出する再生位置算出部と、前記各再生位置に前記各映像データを再生させる再生制御部とを備える、情報処理装置が提供される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、撮像システム、再生制御方法、録画制御方法、及びプログラムに関する。
【背景技術】
【０００２】
サッカーやアメリカンフットボール等の広いフィールドで行われるスポーツが撮影される場合、個々の選手の動きを追いかけながらズームレンズで撮影するためのズーム撮影や、フィールド全体を俯瞰的に撮影するための広角撮影が行われる。その中で、複数の選手がどのようなフォーメーションで動いているかを確認したり、フィールド全体で各選手がどのように動いているかを解析したりするには、広角撮影された映像が用いられる。
【０００３】
このような広角撮影を行うには、画角が広い広角レンズが用いられる。また、広いフィールド全体を１画面に捉えるために、複数のカメラで捉えた映像を合成してパノラマ映像を生成する手法も考えられる。画像を合成する技術に関して、例えば、下記の特許文献１には、３次元座標で表される非平面画像を２次元平面にマッピングする技術が開示されている。逆に、下記の特許文献２には、パノラマ画像を複数の画面に表示する技術が開示されている。さらに、下記の特許文献３には、１台のカメラを移動しながら複数の画像を撮影し、その移動情報に基づいて複数の画像を合成することによりパノラマ画像を生成する技術が開示されている。
【０００４】
【特許文献１】特開２００３−１４１５６２号公報
【特許文献２】特開２００３−２０９７６９号公報
【特許文献３】特開平９−３２２０５５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
１つの被写体を複数枚の画像として撮影し、これらの被写体像をつなぎ合わせてパノラマ化するには、複数の被写体像を位置合わせしてから合成する必要がある。上記の特許文献３には、複数画像を移動しながら１台のカメラで撮影し、その移動情報に基づいて被写体像の重複領域を予測して検出する技術が記載されている。また、衛星写真の合成等においては、複数画像の重複部分をマップマッチングにより検出し、その重複部分が一致するように複数画像を合成する技術が知られている。
【０００６】
しかしながら、マップマッチングを実行するには、非常に強力な演算能力が要求される。そのため、スポーツ中継のように刻々と変化する映像シーンを撮影する際に、１枚１枚の映像をマップマッチングにより合成処理してパノラマ化するのは現実的ではない。また、このような合成処理を行う画像処理装置は非常に高価である。また、１台のカメラを移動させながら撮影された映像を繋ぎ合わせてパノラマ映像を生成すると、動きのある被写体の映像が乱れてしまう。このようなパノラマ化手法は、風景のような静止した被写体を撮影するには適しているが、スポーツ中継には適用できない。
【０００７】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、複数のカメラで撮影された動きのある映像を低い演算負荷でパノラマ化することが可能な、新規かつ改良された情報処理装置、撮像システム、再生制御方法、録画制御方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明のある観点によれば、複数の撮像装置により撮影された複数の映像データを取得する映像取得部と、前記各撮像装置の向き及び画角を含む位置情報を取得する位置情報取得部と、前記位置情報を用いて前記各映像データの投影方向及び画角が前記各撮像装置の向き及び画角に一致するように当該各映像データの再生位置を算出する再生位置算出部と、前記各再生位置に前記各映像データを再生させる再生制御部とを備える、情報処理装置が提供される。
【０００９】
このように、上記の情報処理装置は、映像取得部により、複数の撮像装置により撮影された複数の映像データを取得する。また、この情報処理装置は、位置情報取得部により、前記各撮像装置の向き及び画角を含む位置情報を取得する。さらに、この情報処理装置は、再生位置算出部により、前記位置情報を用いて前記各映像データの投影方向及び画角が前記各撮像装置の向き及び画角に一致するように当該各映像データの再生位置を算出する。そして、この情報処理装置は、再生制御部により、前記各再生位置に前記各映像データを再生させる。このように構成することにより、高負荷な演算処理を行わずに、複数の映像を合成表示することが可能になる。
【００１０】
また、前記映像取得部は、撮像範囲の一部が重なるように前記複数の撮像装置により同時に撮影された複数の映像データを取得するように構成されていてもよい。この場合、前記再生制御部は、前記各映像データの重なり部分に対して、前面に表示される前記映像データを表示し、背面に表示される前記映像データを表示しないように前記複数の映像データを再生させる。
【００１１】
また、前記再生位置算出部は、表示画面の奥行き方向を含む仮想的な３次元空間において前記各映像データが投影される面領域を前記再生位置として算出するように構成されていてもよい。この場合、前記再生制御部は、前記再生位置として算出された前記仮想的な３次元空間内の面領域に前記各映像データが投影されているように当該各映像データを再生させる。
【００１２】
また、上記の情報処理装置は、撮像範囲の一部が重なるように複数の撮像装置の向きを制御する方向制御部と、前記各撮像装置の画角を調整する画角調整部と、前記方向制御部により制御された前記各撮像装置の向き、及び前記画角調整部により調整された前記各撮像装置の画角を位置情報として記録する位置情報記録部と、前記各撮像装置により撮影された映像データ及び前記位置情報が記録される記憶部とをさらに備えていてもよい。この場合、前記映像取得部は、前記記憶部から前記映像データを取得する。そして、前記位置情報取得部は、前記記憶部から前記位置情報を取得する。
【００１３】
また、上記課題を解決するために、本発明の別の観点によれば、撮像範囲の一部が重なるように複数の撮像装置の向きを制御する方向制御部と、前記各撮像装置の画角を調整する画角調整部と、前記方向制御部により制御された前記各撮像装置の向き、及び前記画角調整部により調整された前記各撮像装置の画角を位置情報として記録する位置情報記録部と、前記各撮像装置により撮影された映像データ及び前記位置情報が記録される記憶部とを備える、情報処理装置が提供される。
【００１４】
また、上記課題を解決するために、本発明の別の観点によれば、個々の撮影方向及び画角を変更することが可能な複数の撮像部と、撮像範囲の一部が重なるように前記各撮像部の向きを制御する方向制御部と、前記各撮像部の画角を調整する画角調整部と、前記方向制御部により制御された前記各撮像部の向き、及び前記画角調整部により調整された前記各撮像部の画角を位置情報として記録する位置情報記録部と、前記各撮像部により撮影された映像データ及び前記位置情報が記録される記憶部とを備える、撮像システムが提供される。
【００１５】
また、上記課題を解決するために、本発明の別の観点によれば、複数の撮像装置により撮影された複数の映像データが取得される映像取得工程と、前記各撮像装置の向き及び画角を含む位置情報が取得される位置情報取得工程と、前記位置情報を用いて前記各映像データの投影方向及び画角が前記各撮像装置の向き及び画角に一致するように当該各映像データの再生位置が算出される再生位置算出工程と、前記各再生位置に前記各映像データが再生されるように制御される再生制御工程とを含む、再生制御方法が提供される。
【００１６】
また、上記課題を解決するために、本発明の別の観点によれば、撮像範囲の一部が重なるように複数の撮像装置の向きが制御される方向制御工程と、前記各撮像装置の画角が調整される画角調整工程と、前記方向制御工程で制御された前記各撮像装置の向き、及び前記画角調整工程で調整された前記各撮像装置の画角が位置情報として記録される位置情報記録工程と、前記各撮像装置により撮影された映像データが記録される記録工程とを含む、録画制御方法が提供される。
【００１７】
また、上記課題を解決するために、本発明の別の観点によれば、複数の撮像装置により撮影された複数の映像データが取得される映像取得工程と、前記各撮像装置の向き及び画角を含む位置情報が取得される位置情報取得工程と、前記位置情報を用いて前記各映像データの投影方向及び画角が前記各撮像装置の向き及び画角に一致するように当該各映像データの再生位置が算出される再生位置算出工程と、前記各再生位置に前記各映像データが再生されるように制御される再生制御工程とを含む、再生制御方法をコンピュータに実現させるためのプログラムが提供される。
【００１８】
また、上記課題を解決するために、本発明の別の観点によれば、撮像範囲の一部が重なるように複数の撮像装置の向きが制御される方向制御工程と、前記各撮像装置の画角が調整される画角調整工程と、前記方向制御工程で制御された前記各撮像装置の向き、及び前記画角調整工程で調整された前記各撮像装置の画角が位置情報として記録される位置情報記録工程と、前記各撮像装置により撮影された映像データが記録される記録工程とを含む、録画制御方法をコンピュータに実現させるためのプログラムが提供される。
【発明の効果】
【００１９】
以上説明したように本発明によれば、複数のカメラで撮影された動きのある映像を低い演算負荷でパノラマ化することが可能になる。
【発明を実施するための最良の形態】
【００２０】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２１】
［本稿の構成］
本稿の構成は次の通りである。まず、本発明に係る実施形態が目的とするところについて説明した上で、その目的を実現するための装置、及び方法について詳細に説明する。はじめに、本実施形態に係る撮像システムのシステム構成について説明する。次いで、この撮像システムに含まれる撮像装置の機能構成について説明する。さらに、その撮像装置に接続された情報処理装置の機能構成について説明する。その後、本実施形態に係る再生制御方法の原理を説明し、この再生制御方法に係る一連の処理の流れについて説明する。さらに、本実施形態に係る撮像システムの変形例について述べる。最後に、本実施形態に係る情報処理装置のハードウェア構成について説明する。
【００２２】
＜実施形態＞
以下、本発明の一実施形態について説明する。
【００２３】
［目的］
まず、本実施形態が目的とするところについて、図１を参照しながら説明する。図１には、２台のカメラ（カメラＡ、カメラＢ）により撮影された２つの映像と、これらの２つの映像が合成された合成映像とが示されている。本実施形態は、映像の合成処理において高い演算量を要求せずに、２つの映像をパノラマ化することを目的としている。なお、以下の説明においては、説明の都合上、映像が２つの場合について述べるが、本実施形態に係る技術は、３つ以上の映像を合成する場合にも適用することができる。
【００２４】
本実施形態が適用対象とする映像は、複数のカメラにより同期して撮影された映像である。但し、この映像は、被写体が動き回る映像であってもよいが、図１に示すように、被写体像の一部が重複するように撮影されている。既に述べた通り、これまでの技術では、この重複部分を特定するためにマップマッチングと呼ばれる画像処理技術が用いられていた。しかし、このような画像処理技術を用いると、映像を合成する際に大きな演算能力が必要になり、高価な装置を用いなければ映像をパノラマ化することが困難であった。そこで、本実施形態は、このような困難を解消し、安価な装置を用いて上記のような複数の映像をパノラマ化する技術を提供することを目的としている。
【００２５】
［撮像システム１０のシステム構成］
上記の目的を達成するために、本件発明者は、図２に示すような撮像システム１０を考案した。まず、図２を参照しながら、本実施形態に係る撮像システム１０のシステム構成について説明する。なお、「撮像システム」と表現しているが、後述するように、撮影された映像を再生する機能も有している。そのため、実質的には「録画再生システム」である。また、録画機能と再生機能とを独立の装置として構成することも可能である。以下、「撮像システム」として説明するが、このような変形についても、本実施形態の技術的範囲に含まれることは言うまでもない。
【００２６】
図２に示すように、撮像システム１０は、主に、撮像ユニット１００と、情報処理装置２００とにより構成されている。撮像ユニット１００と情報処理装置２００とは、所定の接続手段を用いて接続されている。
【００２７】
所定の接続手段としては、例えば、ＵＳＢやＩＥＥＥ１３９４等の接続ケーブル、又はＢｌｕｅｔｏｏｔｈ（登録商標）やＷＬＡＮ等の無線通信手段が用いられる。ここで、ＵＳＢとはＵｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓのことであり、ＷＬＡＮとはＷｉｒｅｌｅｓｓ Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋのことである。もちろん、他の接続手段が用いられてもよい。場合によっては、撮像ユニット１００で撮影された映像データをリムーバブル記録媒体に記録しておき、情報処理装置２００から読み出すような構成にしてもよい。
【００２８】
撮像ユニット１００は、例えば、複数の撮像装置１０２、１０４と、架台１０８と、駆動制御部１５２とにより構成される。以下の説明では、撮像装置を２台に限定して述べるが、本実施形態の技術は、３台以上の撮像装置を備えた撮像ユニット１００に対しても拡張できる。また、架台１０８の形状、駆動制御部１５２の有無についても、本実施形態に係る技術の本質的な部分とは関係が薄いため、適宜変更可能である。また、以下の説明の中で、撮像装置１０２をカメラＢと呼び、撮像装置１０４をカメラＡと呼ぶ場合がある。
【００２９】
図２に示すように、撮像装置１０２、１０４は、架台１０８に載置されている。撮像装置１０２、１０４と架台１０８とは駆動機構（非図示）を介して機械的に接続されている。そのため、撮像装置１０２、１０４は、架台１０８上で、それぞれの向きを変えることができる。また、架台１０８に設けられた駆動機構は、手動又は駆動制御部１５２により駆動制御される。例えば、駆動制御部１５２は、２つの撮像装置１０２、１０４の撮像範囲が図１の例のように互いに重複部分を含むように、撮像装置１０２、１０４の撮像方向を制御することができる。
【００３０】
さらに、駆動制御部１５２は、撮像装置１０２、１０４に対して電気的に接続されていてもよい。この場合、駆動制御部１５２は、撮像装置１０２、１０４の光学系等を制御し、撮像装置１０２、１０４の焦点距離等を制御する。後述するように、撮像装置１０２、１０４の画角は、撮像装置１０２、１０４が搭載する撮像素子の寸法と焦点距離とにより決定される。そのため、駆動制御部１５２は、２つの撮像装置１０２、１０４の相対的な向きを制御すると共に画角を調整することで、撮像装置１０２、１０４により撮影される２つの映像が重複部分を含むように制御することが可能になるのである。
【００３１】
なお、図２の例では、２つの撮像装置１０２、１０４が互いに外側を向くように配置されているが、手動又は駆動制御部１５２により、互いに内側に向くように配置されることもある。
【００３２】
以上、撮像システム１０のシステム構成の一例について説明した。このような構成にすることで、撮像システム１０は、複数の撮像装置１０２、１０４を備えた撮像ユニット１００により、互いに重複部分を含む複数の被写体像を撮影することができる。そして、撮像ユニット１００により撮影された映像は、情報処理装置２００に伝送される。以下、撮像装置１０２、１０４、及び情報処理装置２００の機能構成について詳細に説明する。
【００３３】
［撮像装置１０２、１０４の機能構成］
まず、図３を参照しながら、本実施形態に係る撮像装置１０２、１０４の機能構成について説明する。図３は、本実施形態に係る撮像装置１０２、１０４の機能構成例を示す説明図である。
【００３４】
図３に示すように、撮像装置１０２、１０４は、主に、イメージセンサ１１２と、画像処理ブロック１１４と、制御部１１６と、操作部１１８と、表示パネル１２０と、記録メディア１２２とにより構成される。
【００３５】
（イメージセンサ１１２）
イメージセンサ１１２は、例えば、ＣＣＤやＣＭＯＳ等の光電変換素子により形成されている。イメージセンサ１１２は、光学系を介して入力された光信号を光電変換して電気信号を出力する。イメージセンサ１１２から出力された電気信号は、画像処理ブロック１１４（画像処理部１３０）に入力される。なお、動画像が撮影される場合には、被写体像が連続してイメージセンサ１１２に入力され、ページ単位の画像信号が画像処理部１３０に逐次的に入力される。
【００３６】
（制御部１１６、操作部１１８）
制御部１１６は、操作部１１８によるユーザ操作に応じて画像処理ブロック１１４の動作を制御する手段である。操作部１１８としては、例えば、キーボード、マウス、リモートコントローラ、ボタン、タッチパネル、タッチパッド、光学センサ、又はカーソル等の操作手段が用いられる。但し、タッチパネルの場合、操作部１１８の機能は、後述する表示パネル１２０との組み合わせで実現される。
【００３７】
また、制御部１１６は、撮像装置１０２、１０４の向き及び画角等を含む位置情報を取得して記録メディア１２２に記録したり、情報処理装置２００に伝送するように構成されていてもよい。例えば、制御部１１６は、駆動制御部１５２から伝送される制御情報を参照したり、架台１０８上の基準位置からの相対的な位置関係を検出して、撮像装置１０２、１０４の位置情報を取得する。また、制御部１１６は、撮像装置１０２、１０４に搭載された光学系の設定情報から画角等の位置情報を取得してもよい。なお、制御部１１６は、後述する画像出力制御部１３６を制御して、映像信号と共に位置情報を情報処理装置２００に伝送するように制御してもよい。
【００３８】
（表示パネル１２０）
表示パネル１２０としては、撮像装置１０２、１０４に搭載されている表示モニタやファインダであってもよいし、撮像装置１０２、１０４に外部機器として接続されている表示モニタであってもよい。また、表示パネル１２０は、タッチパネル等の入力機能を備えたものであってもよい。さらに、表示パネル１２０は、ユーザが画面を押圧した押圧力を検知する機能を備えた圧力検知機能付きのタッチパネルであってもよい。そして、表示パネル１２０は、画面に直接触れずとも、ユーザが接触又は近接した画面上の位置を３次元的に検知する機能を有していてもよい。
【００３９】
（記録メディア１２２）
記録メディア１２２は、例えば、磁気記録媒体、光記録媒体、光磁気記録媒体、又は半導体記録媒体等により構成される。記録メディア１２２には、映像データが記録される。また、記録メディア１２２には、各種の設定情報や映像内容に関するメタ情報等が記録されてもよい。記録メディア１２２は、後述する画像処理ブロック１１４のメディア制御回路１４２により読み出し又は書き込み処理が制御される。
【００４０】
（画像処理ブロック１１４）
画像処理ブロック１１４は、主に、画像処理部１３０と、画像出力制御部１３６と、エンコーダ１３８と、バッファメモリ１４０と、メディア制御回路１４２とにより構成される。また、画像処理部１３０は、前処理回路１３２と、カメラ信号処理回路１３４とにより構成される。
【００４１】
（前処理回路１３２）
前処理回路１３２には、例えば、ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ）回路、ＡＧＣ（Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌ）回路、Ａ／Ｄ（Ａｎａｌｏｇ ｔｏ Ｄｉｇｉｔａｌ）コンバータ等が含まれる。ＣＤＳ回路は、イメージセンサ１１２から入力された電気信号に含まれるリセットノイズを除去する回路である。ＡＧＣ回路は、その電気信号を所定レベルまで増幅制御する回路である。Ａ／Ｄコンバータは、アナログの電気信号をデジタルの映像信号に変換する回路である。これらの回路により生成された映像信号は、カメラ信号処理回路１３４に入力される。
【００４２】
（カメラ信号処理回路１３４）
カメラ信号処理回路１３４には、例えば、フィーダバッククランプ回路、ホワイトクリップ回路、ベースクリップ回路、ホワイトバランス回路、γ補正回路等が含まれる。
【００４３】
フィーダバッククランプ回路は、デジタル画像信号の黒レベルＯＢ（オプティカルブラック）を一定基準値に固定するための回路である。ホワイトクリップ回路は、画像信号の過変調を防ぐために所定振幅以上の変調が掛からないようにするリミッタ回路である。ベースクリップ回路は、低レベルノイズをクリップするための回路である。ホワイトバランス回路は、ホワイトバランスを調整するための回路である。γ補正回路は、画像信号に所定のγ補正を施すための回路である。これらの回路により処理された映像信号は、エンコーダ１３８、及び画像出力制御部１３６に入力される。
【００４４】
（エンコーダ１３８）
エンコーダ１３８は、カメラ信号処理回路１３４から入力された映像信号に対して所定のエンコード方式でエンコード処理を施す。なお、所定のエンコード方式としては、例えば、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６４／ＡＶＣ等で規格化された方式が用いられる。なお、エンコーダ１３８は、動き補償フレーム間差分符号化等の処理を実行する際にバッファメモリ１４０をフレームメモリとして利用する。エンコーダ１３８によりエンコードされた映像信号は、メディア制御回路１４２を介して記録メディア１２２に記録される。また、エンコーダ１３８は、エンコード後の映像信号を画像出力制御部１３６に入力する。
【００４５】
（画像出力制御部１３６）
画像出力制御部１３６は、カメラ信号処理回路１３４から入力された映像信号をスルー映像として表示パネル１２０に表示する。また、画像出力制御部１３６は、エンコーダ１３８によりエンコードされた映像信号を情報処理装置２００に伝送する。
【００４６】
以上、本実施形態に係る撮像装置１０２、１０４の機能構成について説明した。上記のように、撮像装置１０２、１０４は、イメージセンサ１１２を介して撮像された映像信号を記録メディア１２２に記録したり、表示パネル１２０にスルー映像として表示したりする。さらに、撮像装置１０２、１０４は、エンコード後の映像信号を情報処理装置２００に伝送する。但し、撮像装置１０２、１０４と情報処理装置２００とが高速な伝送経路で接続されている場合や、映像信号を伝送可能な接続ケーブル等で接続されている場合、エンコード前の映像信号が情報処理装置２００に直接伝送されてもよい。
【００４７】
［情報処理装置２００の機能構成］
次に、図４を参照しながら、本実施形態に係る情報処理装置２００の機能構成について説明する。図４は、本実施形態に係る情報処理装置２００の機能構成例を示す説明図である。なお、図４には、説明の都合上、情報処理装置２００に加えて撮像ユニット１００の構成も示している。
【００４８】
図４に示すように、情報処理装置２００は、映像取得部２０２と、記憶部２０４と、位置情報取得部２０６と、再生位置算出部２０８と、再生制御部２１０とにより構成される。さらに、情報処理装置２００は、表示部３００に接続されている。但し、表示部３００は、情報処理装置２００に内蔵されていてもよい。
【００４９】
（映像取得部２０２、記憶部２０４）
映像取得部２０２は、情報処理装置２００に接続された複数の撮像装置１０２、１０４から複数の映像データを取得する。映像取得部２０２により取得された個々の映像データは、記憶部２０４に記録される。記憶部２０４に記録される映像は、図１に示した「カメラＡの映像」「カメラＢの映像」に相当する個別の映像である。記憶部２０４に記録された個別の映像は、後述する再生制御部２１０により読み出される。
【００５０】
（位置情報取得部２０６）
位置情報取得部２０６は、情報処理装置２００に接続された撮像ユニット１００から複数の撮像装置１０２、１０４の位置情報を取得する。この位置情報には、撮像装置１０２、１０４のそれぞれに対応する撮影時の画角、及び撮像装置１０２、１０４の撮影方向が含まれる。また、この位置情報には、例えば、架台１０８に水平な面上における撮像装置１０２、１０４の個々の位置や、架台１０８に垂直な方向も含めた３次元的な位置が含まれていてもよい。位置情報取得部２０６により取得された位置情報は、再生位置算出部２０８に入力される。
【００５１】
（再生位置算出部２０８）
再生位置算出部２０８は、位置情報取得部２０６により取得された位置情報に基づいて撮像装置１０２、１０４のそれぞれが撮影した映像の再生位置を算出する。つまり、再生位置算出部２０８は、個々の映像を投影する方向や向き等を算出する。このとき、再生位置算出部２０８は、撮像装置１０２により撮影された映像が投影される方向及び画角を撮像装置１０２の撮影方向及び画角に一致させる。同様に、再生位置算出部２０８は、撮像装置１０４により撮影された映像が投影される方向及び画角を撮像装置１０４の撮影方向及び画角に一致させる。このような条件で再生位置を決定することにより、２つの映像の重複部分が正しく重ねて表示され、図１の合成画像のように表示される。
【００５２】
ここで、再生位置算出部２０８による再生位置の算出方法について説明を加える。まず、図５を参照しながら、画角の定義について説明する。図５は、画角の定義を示す説明図である。なお、画角αは、フレームの寸法をＤ、実効的な焦点距離をｆとすると、下記の式（１）のように表現される。但し、ここで言うフレームの寸法とは、図５に示す投影面又は撮影面の寸法である。また、寸法とは、縦／横／奥行き方向等の幅である。
【００５３】
【数１】
【００５４】
図５、及び上記の式（１）から分かるように、フレームの寸法Ｄが変化しても、焦点距離ｆを変化させることで、同じ画角αを維持することができる。逆に、同じ画角αに対し、焦点距離ｆを調整することでフレームの寸法Ｄを変化させることができる。このような関係から次の事が言える。図５に示すように、画角αの撮像装置１０２、１０４を焦点距離Ｌ１に設定して被写体を撮影した場合、寸法がＤ１の撮影面で映像を撮影することができる。逆に、この映像を寸法Ｄ２の投影面に画角αの映写機で投影する場合、焦点距離をＬ２に設定することで正しく表示される。
【００５５】
このような関係を念頭に置き、図６、及び図７を参照しながら、２台の撮像装置１０２、１０４で撮影された映像を合成表示する場合について考える。ここでは、撮像装置１０２をカメラＢ、撮像装置１０４をカメラＡと呼ぶ。図６は、カメラＡ、カメラＢにより被写体Ｘを撮影した場合の位置情報を模式的に示したものである。図７は、カメラＡ、カメラＢにより撮影された２つの映像を合成表示するために各映像が再生される再生位置の配置関係を模式的に示したものである。
【００５６】
まず、図６を参照する。カメラＡの撮影方向はｄａである。撮影方向ｄａは、基準面に対して垂直な正面方向から角度θａだけ傾いた方向を向いている。また、カメラＡの画角はφａである。同様に、カメラＢの撮影方向はｄｂである。撮影方向ｄｂは、基準面に対して垂直な正面方向から角度θｂだけ傾いた方向を向いている。また、カメラＢの画角はφｂである。なお、説明の都合上、カメラＡの撮影方向ｄａを示す線と、カメラＢの撮影方向ｄｂを示す線とが基準面上で交わるように表記し、その交点を基準点Ｐとした。
【００５７】
上記の通り、被写体Ｘを含む広い範囲の映像を撮影する場合には、互いに視野が重なるようにカメラＡ、及びカメラＢの撮像方向ｄａ、ｄｂを設定する必要がある。そのため、手動又は駆動制御部１５２により、角度θａ及び角度θｂの一方又は両方が調整される。また、被写体Ｘに焦点が合うようにカメラＡ、及びカメラＢの焦点距離が調整される。このように、焦点距離は、カメラＡ、及びカメラＢと、被写体Ｘとの間の距離に基づいて決められる。あとは、撮像面の寸法に応じて画角φａ、及び画角φｂを調整すればよい。このとき、撮像面の寸法には、被写体Ｘを含むように所望の撮像範囲が設定される。例えば、フィールド全体が含まれるように撮像範囲が設定される。
【００５８】
このようにして設定されたカメラＡの撮像方向ｄａ及び画角φａと、カメラＢの撮像方向ｄｂ及び画角φｂとは位置情報として保持される。例えば、この位置情報は、カメラＡ及びカメラＢから情報処理装置２００に伝送されて情報処理装置２００に保持される。
【００５９】
次に、図７を参照する。図６のカメラ配置で撮影された被写体Ｘの映像は、図７に示すように互いに重複する部分を含むものとなる。そこで、再生位置算出部２０８は、この重複部分が正しく一致するようにカメラＡの映像とカメラＢの映像とが配置される再生位置を算出する。このとき、再生位置算出部２０８は、撮影時の位置情報として、カメラＡの撮影方向ｄａ及び画角φａと、カメラＢの撮影方向ｄｂ及び画角φｂとを用いる。
【００６０】
図５及び上記の式（１）を用いて説明した通り、画角が同じであれば、撮影面の寸法と投影面の寸法とが異なっていても、焦点距離を調整することで正しく映像を投影することができる。また、カメラＡ及びカメラＢの撮影方向と同じ向きに映像が投影されることにより、正しく被写体像が再現される。そこで、再生位置算出部２０８は、映写機が設置される基準面上の点Ｐを基点にして、カメラＡの映像が投影される投影方向Ｄａを撮像方向ｄａに一致させ、その画角をφａに設定する。但し、基点Ｐから投影面Ｓａまでの距離は、カメラＡから被写体Ｘまでの距離と異なるため、投影時には焦点距離が調整される。
【００６１】
同様に、再生位置算出部２０８は、映写機が設置される基準面上の点Ｐを基点にして、カメラＢの映像が投影される投影方向Ｄｂを撮像方向ｄｂに一致させ、その画角をφｂに設定する。但し、基点Ｐから投影面Ｓｂまでの距離は、カメラＢから被写体Ｘまでの距離と異なるため、投影時には焦点距離が調整される。このようにしてカメラＡの映像、及びカメラＢの映像が投影される方向が調整されることにより、各映像の重複部分が正しく一致するように所望の投影面Ｓａ、Ｓｂに対して各映像が表示される。再生位置算出部２０８は、このような投影面Ｓａ、Ｓｂの位置を再生位置として算出するのである。
【００６２】
再び図４を参照する。再生位置算出部２０８により算出された再生位置は、再生制御部２１０に入力される。但し、この再生位置の情報は、３次元空間上の座標情報として入力されるか、或いは、投影面Ｓａ、Ｓｂを２次元平面に射影変換して得られる２次元座標の情報として入力される。
【００６３】
（再生制御部２１０）
再生制御部２１０は、再生位置算出部２０８により算出された再生位置の情報に基づいて撮像装置１０２、１０４（カメラＢ、Ａ）により撮影された映像を表示部３００に表示させる。例えば、図１に示すような２つの映像が撮影された場合、再生制御部２１０は、図８に示すように、カメラＡ、Ｂの撮影方向及び画角に対応する各再生位置に各映像を投影する。実際には、表示部３００が持つ表示画面上の２次元平面に奥行き方向の座標を加えた仮想的な３次元空間内に投影面Ｓａ、Ｓｂを配置して各映像を投影しているように表示される。
【００６４】
このとき、重複部分の位置検出や画像の合成処理を行っていない点が重要である。つまり、単に独立した２つの映像を並べて表示しているという点が重要である。このことは、２つの映像の対応点を算出して合成する手法とは基本的に異なっており、本実施形態の技術は、２つの映像の対応点を算出すること無しに、独立した２つの映像を並べて表示しているだけなのである。従って、映像の合成処理にこれまで要していた高負荷演算を行わなくても済むため、比較的安価な装置で合成映像の表示が可能になるのである。
【００６５】
なお、重複部分については、例えば、奥行き方向に向かって前面に位置する映像の重複部分だけを表示するように制御してもよい。また、図８に示すように、再生制御部２１０により表示部３００に表示される合成映像は、正面方向からの撮影方向の傾きに起因して外枠が台形に歪んでいる。そこで、再生制御部２１０は、合成映像が矩形の外形を有するように上下の一部分をカットして表示してもよい。このような処理が施された合成映像は、例えば、図９に示すようなインターフェースでユーザに提示される。
【００６６】
上記の通り、カメラＡの映像とカメラＢの映像とは、画像処理により合成されておらず、それぞれが独立したまま表示されている。そのため、各映像に対する表示制御を独立に行うことができる。つまり、片方の映像のみを画面上で移動させたり、ズームイン／ズームアウトさせたり、回転させたりすることが容易にできる。そこで、図９に示すように、インターフェースとして、各映像を個々に指定するためのラジオボタンやチェックボックスを設けたり、個々の映像を指定して再生／一時停止／再生終了等の操作ボタンを設けたりすることで、ユーザ操作の自由度を高めることができる。
【００６７】
以上、本実施形態に係る情報処理装置２００の機能構成について説明した。上記の通り、情報処理装置２００は、複数の撮像装置１０２、１０４で撮影された映像を適切に配置することで各映像に画像処理を施さずに合成表示を実現している。特に、本実施形態は、各映像の配置方法として、撮像装置１０２、１０４のそれぞれに対応する撮像方向及び画角と、各映像の投影方向及び画角とを一致させる手法を提案している。この手法により、マップマッチングのような高負荷処理を行わずとも映像の重複部分を正しく合わせることが可能になり、独立した映像のまま、映像のパノラマ化を実現しているのである。
【００６８】
［録画処理の流れについて］
次に、図１０を参照しながら、本実施形態に係る撮像システム１０による録画処理の流れについて説明する。図１０は、本実施形態に係る録画処理の流れを示す説明図である。なお、ここに示す一連の処理は、主に、情報処理装置２００により実行される。
【００６９】
図１０に示すように、まず、情報処理装置２００により、カメラＡの位置情報が取得される（Ｓ１０２）。次いで、カメラＡに対して録画開始が指示される（Ｓ１０４）。次いで、録画処理のループが開始される（Ｓ１０６）。
【００７０】
この録画処理ループの中で、まず、カメラＡにより映像フレームが取得される（Ｓ１０８）。次いで、モニタ用に映像フレームがディスプレイに表示される（Ｓ１１０）。このとき、映像フレームは、カメラＡの表示パネル１２０に表示されるように構成されていてもよいし、情報処理装置２００に伝送されて表示部３００に表示されるように構成されていてもよい。次いで、映像フレームがエンコードされる（Ｓ１１２）。次いで、エンコード後の映像フレームが外部記憶装置に保存される（Ｓ１１４）。このとき、外部記憶装置としては、例えば、記録メディア１２２、又は記憶部２０４等が用いられる。
【００７１】
次いで、録画処理ループを終了するか否かが判断され、継続する場合、ステップＳ１０８から始まる一連の処理が繰り返される（Ｓ１１６）。録画処理ループの継続／終了は、ユーザの録画停止指示の有無により判断される。ユーザにより録画停止の指示がある場合、ステップＳ１１６で録画処理ループが終了される。一方、ユーザにより録画停止の指示が無い場合、ステップＳ１０８〜Ｓ１１６の録画処理ループが繰り返される。ステップＳ１１６において録画処理ループが終了されると、録画処理に係る一連の処理が終了する。
【００７２】
上記のステップＳ１０２〜Ｓ１１６までの一連の処理は、カメラＢについても同様に実行される。このように、カメラＡ、カメラＢについて並行して録画処理が実行される。その結果、情報処理装置２００の記憶部２０４には、カメラＡ、カメラＢにより撮影された個々の映像が記録される。なお、カメラＡ、カメラＢの記録メディア１２２に映像データが記録された場合、記録処理の終了後に、各記録メディア１２２に記録された映像データが情報処理装置２００により読み出されて記憶部２０４に記録される。
【００７３】
［再生処理の流れについて］
次に、図１１を参照しながら、本実施形態に係る情報処理装置２００による再生処理の流れについて説明する。図１１は、本実施形態に係る再生処理の流れを示す説明図である。
【００７４】
図１１に示すように、まず、情報処理装置２００によりカメラＡの位置情報が読み込まれる（Ｓ２０２）。次いで、外部記憶装置からカメラＡの映像ファイルが読み出される（Ｓ２０４）。ここでは外部記憶装置と表現しているが、これは、上記の録画処理に対応するように表現されたものである。従って、このステップにおいては、カメラＡの記録メディア１２２又は記憶部２０４等に記録された映像ファイルが読み出される。
【００７５】
次いで、再描画処理ループが開始される（Ｓ２０６）。まず、カメラＡの位置情報と視点情報とに基づいてポリゴンの頂点座標が計算される（Ｓ２０８）。この処理は、主に、再生位置算出部２０８により実行される。また、視点情報は、どのような視点で映像を観るかという情報であり、ユーザにより指定される。なお、ここで言うポリゴン（ｐｏｌｙｇｏｎ）とは、３次元コンピュータグラフィックスにおいて、三角形や四角形等の多角形の組み合わせにより物体を表現する際の各要素のことである。つまり、映像が投影される投影面をコンピュータグラフィックス上の仮想的な３次元空間における位置で表現しようとするものである。
【００７６】
次いで、情報処理装置２００により、映像ファイルから１フレーム分の映像データが読み込まれる（Ｓ２１０）。次いで、読み込まれたフレームがテクスチャとしてポリゴンに貼り付けられる（Ｓ２１２）。テクスチャとは、通常、３次元コンピュータグラフィックスにおいて、物体の表面の質感を表現するために貼り付ける画像のことを言う。ここでは、映像フレームをテクスチャとしてポリゴンに貼り付ける処理が行われているのである。次いで、映像フレームが貼り付けられたポリゴンが画面上に描画される（Ｓ２１４）。さらに、ユーザ操作に応じて視点情報が更新される（Ｓ２１６）。
【００７７】
次いで、再描画処理ループを終了するか否かが判断され、継続する場合、ステップＳ２０８から始まる一連の処理が繰り返される（Ｓ２１８）。再描画処理ループの継続／終了は、ユーザの再生停止指示の有無により判断される。ユーザにより再生停止の指示がある場合、ステップＳ２１８で再描画処理ループが終了される。一方、ユーザにより再生停止の指示が無い場合、ステップＳ２０８〜Ｓ２１８の再描画処理ループが繰り返される。ステップＳ２１８において再描画処理ループが終了されると、再生処理に係る一連の処理が終了する。
【００７８】
上記のステップＳ２０２〜Ｓ２１８までの一連の処理は、カメラＢの映像についても同様に実行される。このように、カメラＡの映像、及びカメラＢの映像について並行して再生処理が実行される。その結果、表示部３００には、カメラＡ、カメラＢにより撮影された映像が同期して再生される。このとき、再生制御部２１０は、映像フレームの時刻がカメラＡの映像とカメラＢの映像とで撮影時刻が同期するように再生時刻を調整する。その結果、表示部３００には、２つの映像が同期して再生される。但し、タイムフレームのズレが補償されるように構成されていてもよい。
【００７９】
以上、本実施形態に係る録画処理及び再生処理の流れについて説明した。上記の通り、カメラＡ及びカメラＢによる撮影時の撮影方向及び画角とが保持されている。そのため、個々の撮影方向及び画角に一致するように各映像の投影方向及び画角が調整されることで、仮想的な３次元空間上で容易に複数の映像を合成表示することができるようになる。
【００８０】
［変形例：撮像システム１０の構成］
次に、図１２を参照しながら、本実施形態の一変形例に係る撮像システム１０のシステム構成について説明する。図１２は、本実施形態の一変形例に係る撮像システム１０のシステム構成を示す説明図である。当該変形例は、撮像装置１０２、１０４の撮像方向や画角を情報処理装置２００により制御するように変形したものである。そこで、この制御手段に係る構成要素についてのみ説明し、図４に示した情報処理装置２００と実質的に同一の機能構成については同一の符号を付することにより詳細な説明を省略する。
【００８１】
［撮像ユニット１００の変形部分］
図１２に示すように、本変形例に係る撮像ユニット１００は、複数の撮像装置１０２、１０４の他に、駆動制御部１５２を備えている。駆動制御部１５２は、複数の撮像装置１０２、１０４に対して機械的及び電気的に接続されており、撮像装置１０２、１０４の撮影方向及び画角を制御することができる。また、駆動制御部１５２は、情報処理装置２００から制御情報を取得し、この制御情報に応じて撮像装置１０２、１０４の撮影方向及び画角を制御する。
【００８２】
［情報処理装置２００の変形部分］
本変形例に係る情報処理装置２００は、図４に示した位置情報取得部２０６に代えて、方向制御部２５２、及び画角調整部２５４が設けられている。方向制御部２５２は、撮像ユニット１００の駆動制御部１５２を制御して撮像装置１０２、１０４の撮影方向を制御する。一方、画角調整部２５４は、撮像ユニット１００の駆動制御部１５２を制御して撮像装置１０２、１０４の画角を調整する。このように、本変形例に係る情報処理装置２００は、撮像ユニット１００に係る位置情報を制御する制御装置としての機能を備える。
【００８３】
そのため、方向制御部２５２は、撮像装置１０２、１０４の撮影方向に関する情報を保持しており、撮像ユニット１００に制御情報を伝送する際に撮影方向の情報を再生位置算出部２０８に入力する。同様に、画角調整部２５４は、撮像装置１０２、１０４の画角に関する情報を保持しており、撮像ユニット１００に制御情報を伝送する際に画角の情報を再生位置算出部２０８に入力する。このような構成にすることで、図４に示した情報処理装置２００の場合と同様に、再生位置算出部２０８は、撮像装置１０２、１０４で撮影された映像の再生位置を算出することができる。
【００８４】
以上、本実施形態に係る一変形例について説明した。このように、撮像装置１０２、１０４を駆動制御する構成等については様々な変形が可能である。特に、位置情報をどの構成要素により保持しておくか、或いは、どの構成要素から取得するか等については、自由に変形することができる。最後に、情報処理装置２００のハードウェア構成の一例について説明する。同ハードウェア構成と上記の機能構成との間の対応関係は次の通りである。
【００８５】
（対応関係）
映像取得部２０２、位置情報取得部２０６、再生位置算出部２０８、再生制御部２１０の機能は、ＲＯＭ９０４、ＲＡＭ９０６、記憶部９２０、又はリムーバブル記録媒体９２８に記録されたプログラムに基づいてＣＰＵ９０２により実現される。また、方向制御部２５２、画角調整部２５４の機能についても、ＲＯＭ９０４、ＲＡＭ９０６、記憶部９２０、又はリムーバブル記録媒体９２８に記録されたプログラムに基づいてＣＰＵ９０２により実現される。さらに、記憶部２０４の機能は、ＲＡＭ９０６、記憶部９２０、又はリムーバブル記録媒体９２８により実現される。そして、表示部３００の機能は、出力部９１８により実現される。但し、表示部３００がタッチパネル等の入力手段としての機能を有する場合、表示部３００は入力部９１６にも対応する。
【００８６】
［ハードウェア構成（情報処理装置２００）］
上記装置が有する各構成要素の機能は、例えば、図１３に示すハードウェア構成を有する情報処理装置により、上記の機能を実現するためのコンピュータプログラムを用いて実現することが可能である。図１３は、上記装置の各構成要素が有する機能を実現することが可能な情報処理装置のハードウェア構成を示す説明図である。この情報処理装置の形態は任意であり、例えば、パーソナルコンピュータ、携帯電話、ＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙ−ｐｈｏｎｅ Ｓｙｓｔｅｍ）、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）等の携帯情報端末、ゲーム機、又は各種の情報家電等の形態がこれに含まれる。
【００８７】
図１３に示すように、前記の情報処理装置は、主に、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０２と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０４と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０６と、ホストバス９０８と、ブリッジ９１０と、外部バス９１２と、インターフェース９１４と、入力部９１６と、出力部９１８と、記憶部９２０と、ドライブ９２２と、接続ポート９２４と、通信部９２６とにより構成される。
【００８８】
ＣＰＵ９０２は、例えば、演算処理装置又は制御装置として機能し、ＲＯＭ９０４、ＲＡＭ９０６、記憶部９２０、又はリムーバブル記録媒体９２８に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。ＲＯＭ９０４は、例えば、ＣＰＵ９０２に読み込まれるプログラムや演算に用いるデータ等を格納する。ＲＡＭ９０６は、例えば、ＣＰＵ９０２に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等を一時的又は永続的に格納する。これらの構成要素は、例えば、高速なデータ伝送が可能なホストバス９０８によって相互に接続されている。また、ホストバス９０８は、例えば、ブリッジ９１０を介して比較的データ伝送速度が低速な外部バス９１２に接続されている。
【００８９】
入力部９１６は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、及びレバー等の操作手段である。また、入力部９１６は、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントロール手段（所謂、リモコン）であってもよい。なお、入力部９１６は、上記の操作手段を用いて入力された情報を入力信号としてＣＰＵ９０２に伝送するための入力制御回路等により構成されている。
【００９０】
出力部９１８は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＰＤＰ（Ｐｌａｓｍａ ＤｉｓｐｌａｙＰａｎｅｌ）、又はＥＬＤ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）等のディスプレイ装置、スピーカ、ヘッドホン等のオーディオ出力装置、プリンタ、携帯電話、又はファクシミリ等、取得した情報を利用者に対して視覚的又は聴覚的に通知することが可能な装置である。
【００９１】
記憶部９２０は、各種のデータを格納するための装置であり、例えば、ハードディスクドライブ（ＨＤＤ；Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等により構成される。
【００９２】
ドライブ９２２は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体９２８に記録された情報を読み出し、又はリムーバブル記録媒体９２８に情報を書き込む装置である。リムーバブル記録媒体９２８は、例えば、ＤＶＤメディア、Ｂｌｕ−ｒａｙメディア、ＨＤ ＤＶＤメディア、コンパクトフラッシュ（ＣＦ；ＣｏｍｐａｃｔＦｌａｓｈ）（登録商標）、メモリースティック、又はＳＤメモリカード（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ ｍｅｍｏｒｙ ｃａｒｄ）等である。もちろん、リムーバブル記録媒体９２８は、例えば、非接触型ＩＣチップを搭載したＩＣカード（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ Ｃａｒｄ）、又は電子機器等であってもよい。
【００９３】
接続ポート９２４は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ Ｃｏｍｐｕｔｅｒ Ｓｙｓｔｅｍ Ｉｎｔｅｒｆａｃｅ）、ＲＳ−２３２Ｃポート、又は光オーディオ端子等のような外部接続機器９３０を接続するためのポートである。外部接続機器９３０は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、又はＩＣレコーダ等である。
【００９４】
通信部９２６は、ネットワーク９３２に接続するための通信デバイスであり、例えば、有線又は無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）用の通信カード、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）用のルータ、又は各種通信用のモデム等である。また、通信部９２６に接続されるネットワーク９３２は、有線又は無線により接続されたネットワークにより構成され、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、可視光通信、放送、又は衛星通信等である。
【００９５】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【００９６】
上記の説明においては、２台のカメラで撮影された映像の再生位置を仮想的な３次元空間に配置してソフトウェア的に表示処理を行う構成例を示したが、本実施形態は、これに限定されない。例えば、再生位置算出部２０８により算出された３次元的な再生位置の情報に基づき、複数の映写機を駆動制御して実際のスクリーンに投影してもよい。また、記憶部２０４には、位置情報が記録されるように構成されていてもよい。
【００９７】
なお、上記の情報処理装置２００の機能は、テレビジョン受像機、録画再生装置、ゲーム機、携帯情報端末、携帯電話、情報家電等の任意の電子機器により実現されうる。また、上記の方向制御部２５２、画角調整部２５４は、位置情報記録部の一例である。
【図面の簡単な説明】
【００９８】
【図１】２台のカメラで撮影された映像及びそれらの合成映像を示す説明図である。
【図２】本発明の一実施形態に係る撮像システムの構成を示す説明図である。
【図３】本実施形態に係る撮像装置の機能構成例を示す説明図である。
【図４】本実施形態に係る情報処理装置の機能構成例を示す説明図である。
【図５】画角の定義を示す説明図である。
【図６】本実施形態に係る位置情報の一例を示す説明図である。
【図７】本実施形態に係る再生位置の算出方法を示す説明図である。
【図８】本実施形態に係る再生位置と合成画像との関係を示す説明図である。
【図９】本実施形態に係る再生画面の一例を示す説明図である。
【図１０】本実施形態に係る録画処理の流れを示す説明図である。
【図１１】本実施形態に係る再生処理の流れを示す説明図である。
【図１２】本実施形態に係る撮像システムの変形例を示す説明図である。
【図１３】本実施形態に係る情報処理装置のハードウェア構成例を示す説明図である。
【符号の説明】
【００９９】
１０ 撮像システム
１００ 撮像ユニット
１０２、１０４ 撮像装置
１０８ 架台
１１２ イメージセンサ
１１４ 画像処理ブロック
１１６ 制御部
１１８ 操作部
１２０ 表示パネル
１２２ 記録メディア
１３０ 画像処理部
１３２ 前処理回路
１３４ カメラ信号処理回路
１３６ 画像出力制御部
１３８ エンコーダ
１４０ バッファメモリ
１４２ メディア制御回路
１５２ 駆動制御部
２００ 情報処理装置
２０２ 映像取得部
２０４ 記憶部
２０６ 位置情報取得部
２０８ 再生位置算出部
２１０ 再生制御部
２５２ 方向制御部
２５４ 画角調整部
３００ 表示部
【技術分野】
【０００１】
本発明は、情報処理装置、撮像システム、再生制御方法、録画制御方法、及びプログラムに関する。
【背景技術】
【０００２】
サッカーやアメリカンフットボール等の広いフィールドで行われるスポーツが撮影される場合、個々の選手の動きを追いかけながらズームレンズで撮影するためのズーム撮影や、フィールド全体を俯瞰的に撮影するための広角撮影が行われる。その中で、複数の選手がどのようなフォーメーションで動いているかを確認したり、フィールド全体で各選手がどのように動いているかを解析したりするには、広角撮影された映像が用いられる。
【０００３】
このような広角撮影を行うには、画角が広い広角レンズが用いられる。また、広いフィールド全体を１画面に捉えるために、複数のカメラで捉えた映像を合成してパノラマ映像を生成する手法も考えられる。画像を合成する技術に関して、例えば、下記の特許文献１には、３次元座標で表される非平面画像を２次元平面にマッピングする技術が開示されている。逆に、下記の特許文献２には、パノラマ画像を複数の画面に表示する技術が開示されている。さらに、下記の特許文献３には、１台のカメラを移動しながら複数の画像を撮影し、その移動情報に基づいて複数の画像を合成することによりパノラマ画像を生成する技術が開示されている。
【０００４】
【特許文献１】特開２００３−１４１５６２号公報
【特許文献２】特開２００３−２０９７６９号公報
【特許文献３】特開平９−３２２０５５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
１つの被写体を複数枚の画像として撮影し、これらの被写体像をつなぎ合わせてパノラマ化するには、複数の被写体像を位置合わせしてから合成する必要がある。上記の特許文献３には、複数画像を移動しながら１台のカメラで撮影し、その移動情報に基づいて被写体像の重複領域を予測して検出する技術が記載されている。また、衛星写真の合成等においては、複数画像の重複部分をマップマッチングにより検出し、その重複部分が一致するように複数画像を合成する技術が知られている。
【０００６】
しかしながら、マップマッチングを実行するには、非常に強力な演算能力が要求される。そのため、スポーツ中継のように刻々と変化する映像シーンを撮影する際に、１枚１枚の映像をマップマッチングにより合成処理してパノラマ化するのは現実的ではない。また、このような合成処理を行う画像処理装置は非常に高価である。また、１台のカメラを移動させながら撮影された映像を繋ぎ合わせてパノラマ映像を生成すると、動きのある被写体の映像が乱れてしまう。このようなパノラマ化手法は、風景のような静止した被写体を撮影するには適しているが、スポーツ中継には適用できない。
【０００７】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、複数のカメラで撮影された動きのある映像を低い演算負荷でパノラマ化することが可能な、新規かつ改良された情報処理装置、撮像システム、再生制御方法、録画制御方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明のある観点によれば、複数の撮像装置により撮影された複数の映像データを取得する映像取得部と、前記各撮像装置の向き及び画角を含む位置情報を取得する位置情報取得部と、前記位置情報を用いて前記各映像データの投影方向及び画角が前記各撮像装置の向き及び画角に一致するように当該各映像データの再生位置を算出する再生位置算出部と、前記各再生位置に前記各映像データを再生させる再生制御部とを備える、情報処理装置が提供される。
【０００９】
このように、上記の情報処理装置は、映像取得部により、複数の撮像装置により撮影された複数の映像データを取得する。また、この情報処理装置は、位置情報取得部により、前記各撮像装置の向き及び画角を含む位置情報を取得する。さらに、この情報処理装置は、再生位置算出部により、前記位置情報を用いて前記各映像データの投影方向及び画角が前記各撮像装置の向き及び画角に一致するように当該各映像データの再生位置を算出する。そして、この情報処理装置は、再生制御部により、前記各再生位置に前記各映像データを再生させる。このように構成することにより、高負荷な演算処理を行わずに、複数の映像を合成表示することが可能になる。
【００１０】
また、前記映像取得部は、撮像範囲の一部が重なるように前記複数の撮像装置により同時に撮影された複数の映像データを取得するように構成されていてもよい。この場合、前記再生制御部は、前記各映像データの重なり部分に対して、前面に表示される前記映像データを表示し、背面に表示される前記映像データを表示しないように前記複数の映像データを再生させる。
【００１１】
また、前記再生位置算出部は、表示画面の奥行き方向を含む仮想的な３次元空間において前記各映像データが投影される面領域を前記再生位置として算出するように構成されていてもよい。この場合、前記再生制御部は、前記再生位置として算出された前記仮想的な３次元空間内の面領域に前記各映像データが投影されているように当該各映像データを再生させる。
【００１２】
また、上記の情報処理装置は、撮像範囲の一部が重なるように複数の撮像装置の向きを制御する方向制御部と、前記各撮像装置の画角を調整する画角調整部と、前記方向制御部により制御された前記各撮像装置の向き、及び前記画角調整部により調整された前記各撮像装置の画角を位置情報として記録する位置情報記録部と、前記各撮像装置により撮影された映像データ及び前記位置情報が記録される記憶部とをさらに備えていてもよい。この場合、前記映像取得部は、前記記憶部から前記映像データを取得する。そして、前記位置情報取得部は、前記記憶部から前記位置情報を取得する。
【００１３】
また、上記課題を解決するために、本発明の別の観点によれば、撮像範囲の一部が重なるように複数の撮像装置の向きを制御する方向制御部と、前記各撮像装置の画角を調整する画角調整部と、前記方向制御部により制御された前記各撮像装置の向き、及び前記画角調整部により調整された前記各撮像装置の画角を位置情報として記録する位置情報記録部と、前記各撮像装置により撮影された映像データ及び前記位置情報が記録される記憶部とを備える、情報処理装置が提供される。
【００１４】
また、上記課題を解決するために、本発明の別の観点によれば、個々の撮影方向及び画角を変更することが可能な複数の撮像部と、撮像範囲の一部が重なるように前記各撮像部の向きを制御する方向制御部と、前記各撮像部の画角を調整する画角調整部と、前記方向制御部により制御された前記各撮像部の向き、及び前記画角調整部により調整された前記各撮像部の画角を位置情報として記録する位置情報記録部と、前記各撮像部により撮影された映像データ及び前記位置情報が記録される記憶部とを備える、撮像システムが提供される。
【００１５】
また、上記課題を解決するために、本発明の別の観点によれば、複数の撮像装置により撮影された複数の映像データが取得される映像取得工程と、前記各撮像装置の向き及び画角を含む位置情報が取得される位置情報取得工程と、前記位置情報を用いて前記各映像データの投影方向及び画角が前記各撮像装置の向き及び画角に一致するように当該各映像データの再生位置が算出される再生位置算出工程と、前記各再生位置に前記各映像データが再生されるように制御される再生制御工程とを含む、再生制御方法が提供される。
【００１６】
また、上記課題を解決するために、本発明の別の観点によれば、撮像範囲の一部が重なるように複数の撮像装置の向きが制御される方向制御工程と、前記各撮像装置の画角が調整される画角調整工程と、前記方向制御工程で制御された前記各撮像装置の向き、及び前記画角調整工程で調整された前記各撮像装置の画角が位置情報として記録される位置情報記録工程と、前記各撮像装置により撮影された映像データが記録される記録工程とを含む、録画制御方法が提供される。
【００１７】
また、上記課題を解決するために、本発明の別の観点によれば、複数の撮像装置により撮影された複数の映像データが取得される映像取得工程と、前記各撮像装置の向き及び画角を含む位置情報が取得される位置情報取得工程と、前記位置情報を用いて前記各映像データの投影方向及び画角が前記各撮像装置の向き及び画角に一致するように当該各映像データの再生位置が算出される再生位置算出工程と、前記各再生位置に前記各映像データが再生されるように制御される再生制御工程とを含む、再生制御方法をコンピュータに実現させるためのプログラムが提供される。
【００１８】
また、上記課題を解決するために、本発明の別の観点によれば、撮像範囲の一部が重なるように複数の撮像装置の向きが制御される方向制御工程と、前記各撮像装置の画角が調整される画角調整工程と、前記方向制御工程で制御された前記各撮像装置の向き、及び前記画角調整工程で調整された前記各撮像装置の画角が位置情報として記録される位置情報記録工程と、前記各撮像装置により撮影された映像データが記録される記録工程とを含む、録画制御方法をコンピュータに実現させるためのプログラムが提供される。
【発明の効果】
【００１９】
以上説明したように本発明によれば、複数のカメラで撮影された動きのある映像を低い演算負荷でパノラマ化することが可能になる。
【発明を実施するための最良の形態】
【００２０】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２１】
［本稿の構成］
本稿の構成は次の通りである。まず、本発明に係る実施形態が目的とするところについて説明した上で、その目的を実現するための装置、及び方法について詳細に説明する。はじめに、本実施形態に係る撮像システムのシステム構成について説明する。次いで、この撮像システムに含まれる撮像装置の機能構成について説明する。さらに、その撮像装置に接続された情報処理装置の機能構成について説明する。その後、本実施形態に係る再生制御方法の原理を説明し、この再生制御方法に係る一連の処理の流れについて説明する。さらに、本実施形態に係る撮像システムの変形例について述べる。最後に、本実施形態に係る情報処理装置のハードウェア構成について説明する。
【００２２】
＜実施形態＞
以下、本発明の一実施形態について説明する。
【００２３】
［目的］
まず、本実施形態が目的とするところについて、図１を参照しながら説明する。図１には、２台のカメラ（カメラＡ、カメラＢ）により撮影された２つの映像と、これらの２つの映像が合成された合成映像とが示されている。本実施形態は、映像の合成処理において高い演算量を要求せずに、２つの映像をパノラマ化することを目的としている。なお、以下の説明においては、説明の都合上、映像が２つの場合について述べるが、本実施形態に係る技術は、３つ以上の映像を合成する場合にも適用することができる。
【００２４】
本実施形態が適用対象とする映像は、複数のカメラにより同期して撮影された映像である。但し、この映像は、被写体が動き回る映像であってもよいが、図１に示すように、被写体像の一部が重複するように撮影されている。既に述べた通り、これまでの技術では、この重複部分を特定するためにマップマッチングと呼ばれる画像処理技術が用いられていた。しかし、このような画像処理技術を用いると、映像を合成する際に大きな演算能力が必要になり、高価な装置を用いなければ映像をパノラマ化することが困難であった。そこで、本実施形態は、このような困難を解消し、安価な装置を用いて上記のような複数の映像をパノラマ化する技術を提供することを目的としている。
【００２５】
［撮像システム１０のシステム構成］
上記の目的を達成するために、本件発明者は、図２に示すような撮像システム１０を考案した。まず、図２を参照しながら、本実施形態に係る撮像システム１０のシステム構成について説明する。なお、「撮像システム」と表現しているが、後述するように、撮影された映像を再生する機能も有している。そのため、実質的には「録画再生システム」である。また、録画機能と再生機能とを独立の装置として構成することも可能である。以下、「撮像システム」として説明するが、このような変形についても、本実施形態の技術的範囲に含まれることは言うまでもない。
【００２６】
図２に示すように、撮像システム１０は、主に、撮像ユニット１００と、情報処理装置２００とにより構成されている。撮像ユニット１００と情報処理装置２００とは、所定の接続手段を用いて接続されている。
【００２７】
所定の接続手段としては、例えば、ＵＳＢやＩＥＥＥ１３９４等の接続ケーブル、又はＢｌｕｅｔｏｏｔｈ（登録商標）やＷＬＡＮ等の無線通信手段が用いられる。ここで、ＵＳＢとはＵｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓのことであり、ＷＬＡＮとはＷｉｒｅｌｅｓｓ Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋのことである。もちろん、他の接続手段が用いられてもよい。場合によっては、撮像ユニット１００で撮影された映像データをリムーバブル記録媒体に記録しておき、情報処理装置２００から読み出すような構成にしてもよい。
【００２８】
撮像ユニット１００は、例えば、複数の撮像装置１０２、１０４と、架台１０８と、駆動制御部１５２とにより構成される。以下の説明では、撮像装置を２台に限定して述べるが、本実施形態の技術は、３台以上の撮像装置を備えた撮像ユニット１００に対しても拡張できる。また、架台１０８の形状、駆動制御部１５２の有無についても、本実施形態に係る技術の本質的な部分とは関係が薄いため、適宜変更可能である。また、以下の説明の中で、撮像装置１０２をカメラＢと呼び、撮像装置１０４をカメラＡと呼ぶ場合がある。
【００２９】
図２に示すように、撮像装置１０２、１０４は、架台１０８に載置されている。撮像装置１０２、１０４と架台１０８とは駆動機構（非図示）を介して機械的に接続されている。そのため、撮像装置１０２、１０４は、架台１０８上で、それぞれの向きを変えることができる。また、架台１０８に設けられた駆動機構は、手動又は駆動制御部１５２により駆動制御される。例えば、駆動制御部１５２は、２つの撮像装置１０２、１０４の撮像範囲が図１の例のように互いに重複部分を含むように、撮像装置１０２、１０４の撮像方向を制御することができる。
【００３０】
さらに、駆動制御部１５２は、撮像装置１０２、１０４に対して電気的に接続されていてもよい。この場合、駆動制御部１５２は、撮像装置１０２、１０４の光学系等を制御し、撮像装置１０２、１０４の焦点距離等を制御する。後述するように、撮像装置１０２、１０４の画角は、撮像装置１０２、１０４が搭載する撮像素子の寸法と焦点距離とにより決定される。そのため、駆動制御部１５２は、２つの撮像装置１０２、１０４の相対的な向きを制御すると共に画角を調整することで、撮像装置１０２、１０４により撮影される２つの映像が重複部分を含むように制御することが可能になるのである。
【００３１】
なお、図２の例では、２つの撮像装置１０２、１０４が互いに外側を向くように配置されているが、手動又は駆動制御部１５２により、互いに内側に向くように配置されることもある。
【００３２】
以上、撮像システム１０のシステム構成の一例について説明した。このような構成にすることで、撮像システム１０は、複数の撮像装置１０２、１０４を備えた撮像ユニット１００により、互いに重複部分を含む複数の被写体像を撮影することができる。そして、撮像ユニット１００により撮影された映像は、情報処理装置２００に伝送される。以下、撮像装置１０２、１０４、及び情報処理装置２００の機能構成について詳細に説明する。
【００３３】
［撮像装置１０２、１０４の機能構成］
まず、図３を参照しながら、本実施形態に係る撮像装置１０２、１０４の機能構成について説明する。図３は、本実施形態に係る撮像装置１０２、１０４の機能構成例を示す説明図である。
【００３４】
図３に示すように、撮像装置１０２、１０４は、主に、イメージセンサ１１２と、画像処理ブロック１１４と、制御部１１６と、操作部１１８と、表示パネル１２０と、記録メディア１２２とにより構成される。
【００３５】
（イメージセンサ１１２）
イメージセンサ１１２は、例えば、ＣＣＤやＣＭＯＳ等の光電変換素子により形成されている。イメージセンサ１１２は、光学系を介して入力された光信号を光電変換して電気信号を出力する。イメージセンサ１１２から出力された電気信号は、画像処理ブロック１１４（画像処理部１３０）に入力される。なお、動画像が撮影される場合には、被写体像が連続してイメージセンサ１１２に入力され、ページ単位の画像信号が画像処理部１３０に逐次的に入力される。
【００３６】
（制御部１１６、操作部１１８）
制御部１１６は、操作部１１８によるユーザ操作に応じて画像処理ブロック１１４の動作を制御する手段である。操作部１１８としては、例えば、キーボード、マウス、リモートコントローラ、ボタン、タッチパネル、タッチパッド、光学センサ、又はカーソル等の操作手段が用いられる。但し、タッチパネルの場合、操作部１１８の機能は、後述する表示パネル１２０との組み合わせで実現される。
【００３７】
また、制御部１１６は、撮像装置１０２、１０４の向き及び画角等を含む位置情報を取得して記録メディア１２２に記録したり、情報処理装置２００に伝送するように構成されていてもよい。例えば、制御部１１６は、駆動制御部１５２から伝送される制御情報を参照したり、架台１０８上の基準位置からの相対的な位置関係を検出して、撮像装置１０２、１０４の位置情報を取得する。また、制御部１１６は、撮像装置１０２、１０４に搭載された光学系の設定情報から画角等の位置情報を取得してもよい。なお、制御部１１６は、後述する画像出力制御部１３６を制御して、映像信号と共に位置情報を情報処理装置２００に伝送するように制御してもよい。
【００３８】
（表示パネル１２０）
表示パネル１２０としては、撮像装置１０２、１０４に搭載されている表示モニタやファインダであってもよいし、撮像装置１０２、１０４に外部機器として接続されている表示モニタであってもよい。また、表示パネル１２０は、タッチパネル等の入力機能を備えたものであってもよい。さらに、表示パネル１２０は、ユーザが画面を押圧した押圧力を検知する機能を備えた圧力検知機能付きのタッチパネルであってもよい。そして、表示パネル１２０は、画面に直接触れずとも、ユーザが接触又は近接した画面上の位置を３次元的に検知する機能を有していてもよい。
【００３９】
（記録メディア１２２）
記録メディア１２２は、例えば、磁気記録媒体、光記録媒体、光磁気記録媒体、又は半導体記録媒体等により構成される。記録メディア１２２には、映像データが記録される。また、記録メディア１２２には、各種の設定情報や映像内容に関するメタ情報等が記録されてもよい。記録メディア１２２は、後述する画像処理ブロック１１４のメディア制御回路１４２により読み出し又は書き込み処理が制御される。
【００４０】
（画像処理ブロック１１４）
画像処理ブロック１１４は、主に、画像処理部１３０と、画像出力制御部１３６と、エンコーダ１３８と、バッファメモリ１４０と、メディア制御回路１４２とにより構成される。また、画像処理部１３０は、前処理回路１３２と、カメラ信号処理回路１３４とにより構成される。
【００４１】
（前処理回路１３２）
前処理回路１３２には、例えば、ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ）回路、ＡＧＣ（Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌ）回路、Ａ／Ｄ（Ａｎａｌｏｇ ｔｏ Ｄｉｇｉｔａｌ）コンバータ等が含まれる。ＣＤＳ回路は、イメージセンサ１１２から入力された電気信号に含まれるリセットノイズを除去する回路である。ＡＧＣ回路は、その電気信号を所定レベルまで増幅制御する回路である。Ａ／Ｄコンバータは、アナログの電気信号をデジタルの映像信号に変換する回路である。これらの回路により生成された映像信号は、カメラ信号処理回路１３４に入力される。
【００４２】
（カメラ信号処理回路１３４）
カメラ信号処理回路１３４には、例えば、フィーダバッククランプ回路、ホワイトクリップ回路、ベースクリップ回路、ホワイトバランス回路、γ補正回路等が含まれる。
【００４３】
フィーダバッククランプ回路は、デジタル画像信号の黒レベルＯＢ（オプティカルブラック）を一定基準値に固定するための回路である。ホワイトクリップ回路は、画像信号の過変調を防ぐために所定振幅以上の変調が掛からないようにするリミッタ回路である。ベースクリップ回路は、低レベルノイズをクリップするための回路である。ホワイトバランス回路は、ホワイトバランスを調整するための回路である。γ補正回路は、画像信号に所定のγ補正を施すための回路である。これらの回路により処理された映像信号は、エンコーダ１３８、及び画像出力制御部１３６に入力される。
【００４４】
（エンコーダ１３８）
エンコーダ１３８は、カメラ信号処理回路１３４から入力された映像信号に対して所定のエンコード方式でエンコード処理を施す。なお、所定のエンコード方式としては、例えば、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６４／ＡＶＣ等で規格化された方式が用いられる。なお、エンコーダ１３８は、動き補償フレーム間差分符号化等の処理を実行する際にバッファメモリ１４０をフレームメモリとして利用する。エンコーダ１３８によりエンコードされた映像信号は、メディア制御回路１４２を介して記録メディア１２２に記録される。また、エンコーダ１３８は、エンコード後の映像信号を画像出力制御部１３６に入力する。
【００４５】
（画像出力制御部１３６）
画像出力制御部１３６は、カメラ信号処理回路１３４から入力された映像信号をスルー映像として表示パネル１２０に表示する。また、画像出力制御部１３６は、エンコーダ１３８によりエンコードされた映像信号を情報処理装置２００に伝送する。
【００４６】
以上、本実施形態に係る撮像装置１０２、１０４の機能構成について説明した。上記のように、撮像装置１０２、１０４は、イメージセンサ１１２を介して撮像された映像信号を記録メディア１２２に記録したり、表示パネル１２０にスルー映像として表示したりする。さらに、撮像装置１０２、１０４は、エンコード後の映像信号を情報処理装置２００に伝送する。但し、撮像装置１０２、１０４と情報処理装置２００とが高速な伝送経路で接続されている場合や、映像信号を伝送可能な接続ケーブル等で接続されている場合、エンコード前の映像信号が情報処理装置２００に直接伝送されてもよい。
【００４７】
［情報処理装置２００の機能構成］
次に、図４を参照しながら、本実施形態に係る情報処理装置２００の機能構成について説明する。図４は、本実施形態に係る情報処理装置２００の機能構成例を示す説明図である。なお、図４には、説明の都合上、情報処理装置２００に加えて撮像ユニット１００の構成も示している。
【００４８】
図４に示すように、情報処理装置２００は、映像取得部２０２と、記憶部２０４と、位置情報取得部２０６と、再生位置算出部２０８と、再生制御部２１０とにより構成される。さらに、情報処理装置２００は、表示部３００に接続されている。但し、表示部３００は、情報処理装置２００に内蔵されていてもよい。
【００４９】
（映像取得部２０２、記憶部２０４）
映像取得部２０２は、情報処理装置２００に接続された複数の撮像装置１０２、１０４から複数の映像データを取得する。映像取得部２０２により取得された個々の映像データは、記憶部２０４に記録される。記憶部２０４に記録される映像は、図１に示した「カメラＡの映像」「カメラＢの映像」に相当する個別の映像である。記憶部２０４に記録された個別の映像は、後述する再生制御部２１０により読み出される。
【００５０】
（位置情報取得部２０６）
位置情報取得部２０６は、情報処理装置２００に接続された撮像ユニット１００から複数の撮像装置１０２、１０４の位置情報を取得する。この位置情報には、撮像装置１０２、１０４のそれぞれに対応する撮影時の画角、及び撮像装置１０２、１０４の撮影方向が含まれる。また、この位置情報には、例えば、架台１０８に水平な面上における撮像装置１０２、１０４の個々の位置や、架台１０８に垂直な方向も含めた３次元的な位置が含まれていてもよい。位置情報取得部２０６により取得された位置情報は、再生位置算出部２０８に入力される。
【００５１】
（再生位置算出部２０８）
再生位置算出部２０８は、位置情報取得部２０６により取得された位置情報に基づいて撮像装置１０２、１０４のそれぞれが撮影した映像の再生位置を算出する。つまり、再生位置算出部２０８は、個々の映像を投影する方向や向き等を算出する。このとき、再生位置算出部２０８は、撮像装置１０２により撮影された映像が投影される方向及び画角を撮像装置１０２の撮影方向及び画角に一致させる。同様に、再生位置算出部２０８は、撮像装置１０４により撮影された映像が投影される方向及び画角を撮像装置１０４の撮影方向及び画角に一致させる。このような条件で再生位置を決定することにより、２つの映像の重複部分が正しく重ねて表示され、図１の合成画像のように表示される。
【００５２】
ここで、再生位置算出部２０８による再生位置の算出方法について説明を加える。まず、図５を参照しながら、画角の定義について説明する。図５は、画角の定義を示す説明図である。なお、画角αは、フレームの寸法をＤ、実効的な焦点距離をｆとすると、下記の式（１）のように表現される。但し、ここで言うフレームの寸法とは、図５に示す投影面又は撮影面の寸法である。また、寸法とは、縦／横／奥行き方向等の幅である。
【００５３】
【数１】
【００５４】
図５、及び上記の式（１）から分かるように、フレームの寸法Ｄが変化しても、焦点距離ｆを変化させることで、同じ画角αを維持することができる。逆に、同じ画角αに対し、焦点距離ｆを調整することでフレームの寸法Ｄを変化させることができる。このような関係から次の事が言える。図５に示すように、画角αの撮像装置１０２、１０４を焦点距離Ｌ１に設定して被写体を撮影した場合、寸法がＤ１の撮影面で映像を撮影することができる。逆に、この映像を寸法Ｄ２の投影面に画角αの映写機で投影する場合、焦点距離をＬ２に設定することで正しく表示される。
【００５５】
このような関係を念頭に置き、図６、及び図７を参照しながら、２台の撮像装置１０２、１０４で撮影された映像を合成表示する場合について考える。ここでは、撮像装置１０２をカメラＢ、撮像装置１０４をカメラＡと呼ぶ。図６は、カメラＡ、カメラＢにより被写体Ｘを撮影した場合の位置情報を模式的に示したものである。図７は、カメラＡ、カメラＢにより撮影された２つの映像を合成表示するために各映像が再生される再生位置の配置関係を模式的に示したものである。
【００５６】
まず、図６を参照する。カメラＡの撮影方向はｄａである。撮影方向ｄａは、基準面に対して垂直な正面方向から角度θａだけ傾いた方向を向いている。また、カメラＡの画角はφａである。同様に、カメラＢの撮影方向はｄｂである。撮影方向ｄｂは、基準面に対して垂直な正面方向から角度θｂだけ傾いた方向を向いている。また、カメラＢの画角はφｂである。なお、説明の都合上、カメラＡの撮影方向ｄａを示す線と、カメラＢの撮影方向ｄｂを示す線とが基準面上で交わるように表記し、その交点を基準点Ｐとした。
【００５７】
上記の通り、被写体Ｘを含む広い範囲の映像を撮影する場合には、互いに視野が重なるようにカメラＡ、及びカメラＢの撮像方向ｄａ、ｄｂを設定する必要がある。そのため、手動又は駆動制御部１５２により、角度θａ及び角度θｂの一方又は両方が調整される。また、被写体Ｘに焦点が合うようにカメラＡ、及びカメラＢの焦点距離が調整される。このように、焦点距離は、カメラＡ、及びカメラＢと、被写体Ｘとの間の距離に基づいて決められる。あとは、撮像面の寸法に応じて画角φａ、及び画角φｂを調整すればよい。このとき、撮像面の寸法には、被写体Ｘを含むように所望の撮像範囲が設定される。例えば、フィールド全体が含まれるように撮像範囲が設定される。
【００５８】
このようにして設定されたカメラＡの撮像方向ｄａ及び画角φａと、カメラＢの撮像方向ｄｂ及び画角φｂとは位置情報として保持される。例えば、この位置情報は、カメラＡ及びカメラＢから情報処理装置２００に伝送されて情報処理装置２００に保持される。
【００５９】
次に、図７を参照する。図６のカメラ配置で撮影された被写体Ｘの映像は、図７に示すように互いに重複する部分を含むものとなる。そこで、再生位置算出部２０８は、この重複部分が正しく一致するようにカメラＡの映像とカメラＢの映像とが配置される再生位置を算出する。このとき、再生位置算出部２０８は、撮影時の位置情報として、カメラＡの撮影方向ｄａ及び画角φａと、カメラＢの撮影方向ｄｂ及び画角φｂとを用いる。
【００６０】
図５及び上記の式（１）を用いて説明した通り、画角が同じであれば、撮影面の寸法と投影面の寸法とが異なっていても、焦点距離を調整することで正しく映像を投影することができる。また、カメラＡ及びカメラＢの撮影方向と同じ向きに映像が投影されることにより、正しく被写体像が再現される。そこで、再生位置算出部２０８は、映写機が設置される基準面上の点Ｐを基点にして、カメラＡの映像が投影される投影方向Ｄａを撮像方向ｄａに一致させ、その画角をφａに設定する。但し、基点Ｐから投影面Ｓａまでの距離は、カメラＡから被写体Ｘまでの距離と異なるため、投影時には焦点距離が調整される。
【００６１】
同様に、再生位置算出部２０８は、映写機が設置される基準面上の点Ｐを基点にして、カメラＢの映像が投影される投影方向Ｄｂを撮像方向ｄｂに一致させ、その画角をφｂに設定する。但し、基点Ｐから投影面Ｓｂまでの距離は、カメラＢから被写体Ｘまでの距離と異なるため、投影時には焦点距離が調整される。このようにしてカメラＡの映像、及びカメラＢの映像が投影される方向が調整されることにより、各映像の重複部分が正しく一致するように所望の投影面Ｓａ、Ｓｂに対して各映像が表示される。再生位置算出部２０８は、このような投影面Ｓａ、Ｓｂの位置を再生位置として算出するのである。
【００６２】
再び図４を参照する。再生位置算出部２０８により算出された再生位置は、再生制御部２１０に入力される。但し、この再生位置の情報は、３次元空間上の座標情報として入力されるか、或いは、投影面Ｓａ、Ｓｂを２次元平面に射影変換して得られる２次元座標の情報として入力される。
【００６３】
（再生制御部２１０）
再生制御部２１０は、再生位置算出部２０８により算出された再生位置の情報に基づいて撮像装置１０２、１０４（カメラＢ、Ａ）により撮影された映像を表示部３００に表示させる。例えば、図１に示すような２つの映像が撮影された場合、再生制御部２１０は、図８に示すように、カメラＡ、Ｂの撮影方向及び画角に対応する各再生位置に各映像を投影する。実際には、表示部３００が持つ表示画面上の２次元平面に奥行き方向の座標を加えた仮想的な３次元空間内に投影面Ｓａ、Ｓｂを配置して各映像を投影しているように表示される。
【００６４】
このとき、重複部分の位置検出や画像の合成処理を行っていない点が重要である。つまり、単に独立した２つの映像を並べて表示しているという点が重要である。このことは、２つの映像の対応点を算出して合成する手法とは基本的に異なっており、本実施形態の技術は、２つの映像の対応点を算出すること無しに、独立した２つの映像を並べて表示しているだけなのである。従って、映像の合成処理にこれまで要していた高負荷演算を行わなくても済むため、比較的安価な装置で合成映像の表示が可能になるのである。
【００６５】
なお、重複部分については、例えば、奥行き方向に向かって前面に位置する映像の重複部分だけを表示するように制御してもよい。また、図８に示すように、再生制御部２１０により表示部３００に表示される合成映像は、正面方向からの撮影方向の傾きに起因して外枠が台形に歪んでいる。そこで、再生制御部２１０は、合成映像が矩形の外形を有するように上下の一部分をカットして表示してもよい。このような処理が施された合成映像は、例えば、図９に示すようなインターフェースでユーザに提示される。
【００６６】
上記の通り、カメラＡの映像とカメラＢの映像とは、画像処理により合成されておらず、それぞれが独立したまま表示されている。そのため、各映像に対する表示制御を独立に行うことができる。つまり、片方の映像のみを画面上で移動させたり、ズームイン／ズームアウトさせたり、回転させたりすることが容易にできる。そこで、図９に示すように、インターフェースとして、各映像を個々に指定するためのラジオボタンやチェックボックスを設けたり、個々の映像を指定して再生／一時停止／再生終了等の操作ボタンを設けたりすることで、ユーザ操作の自由度を高めることができる。
【００６７】
以上、本実施形態に係る情報処理装置２００の機能構成について説明した。上記の通り、情報処理装置２００は、複数の撮像装置１０２、１０４で撮影された映像を適切に配置することで各映像に画像処理を施さずに合成表示を実現している。特に、本実施形態は、各映像の配置方法として、撮像装置１０２、１０４のそれぞれに対応する撮像方向及び画角と、各映像の投影方向及び画角とを一致させる手法を提案している。この手法により、マップマッチングのような高負荷処理を行わずとも映像の重複部分を正しく合わせることが可能になり、独立した映像のまま、映像のパノラマ化を実現しているのである。
【００６８】
［録画処理の流れについて］
次に、図１０を参照しながら、本実施形態に係る撮像システム１０による録画処理の流れについて説明する。図１０は、本実施形態に係る録画処理の流れを示す説明図である。なお、ここに示す一連の処理は、主に、情報処理装置２００により実行される。
【００６９】
図１０に示すように、まず、情報処理装置２００により、カメラＡの位置情報が取得される（Ｓ１０２）。次いで、カメラＡに対して録画開始が指示される（Ｓ１０４）。次いで、録画処理のループが開始される（Ｓ１０６）。
【００７０】
この録画処理ループの中で、まず、カメラＡにより映像フレームが取得される（Ｓ１０８）。次いで、モニタ用に映像フレームがディスプレイに表示される（Ｓ１１０）。このとき、映像フレームは、カメラＡの表示パネル１２０に表示されるように構成されていてもよいし、情報処理装置２００に伝送されて表示部３００に表示されるように構成されていてもよい。次いで、映像フレームがエンコードされる（Ｓ１１２）。次いで、エンコード後の映像フレームが外部記憶装置に保存される（Ｓ１１４）。このとき、外部記憶装置としては、例えば、記録メディア１２２、又は記憶部２０４等が用いられる。
【００７１】
次いで、録画処理ループを終了するか否かが判断され、継続する場合、ステップＳ１０８から始まる一連の処理が繰り返される（Ｓ１１６）。録画処理ループの継続／終了は、ユーザの録画停止指示の有無により判断される。ユーザにより録画停止の指示がある場合、ステップＳ１１６で録画処理ループが終了される。一方、ユーザにより録画停止の指示が無い場合、ステップＳ１０８〜Ｓ１１６の録画処理ループが繰り返される。ステップＳ１１６において録画処理ループが終了されると、録画処理に係る一連の処理が終了する。
【００７２】
上記のステップＳ１０２〜Ｓ１１６までの一連の処理は、カメラＢについても同様に実行される。このように、カメラＡ、カメラＢについて並行して録画処理が実行される。その結果、情報処理装置２００の記憶部２０４には、カメラＡ、カメラＢにより撮影された個々の映像が記録される。なお、カメラＡ、カメラＢの記録メディア１２２に映像データが記録された場合、記録処理の終了後に、各記録メディア１２２に記録された映像データが情報処理装置２００により読み出されて記憶部２０４に記録される。
【００７３】
［再生処理の流れについて］
次に、図１１を参照しながら、本実施形態に係る情報処理装置２００による再生処理の流れについて説明する。図１１は、本実施形態に係る再生処理の流れを示す説明図である。
【００７４】
図１１に示すように、まず、情報処理装置２００によりカメラＡの位置情報が読み込まれる（Ｓ２０２）。次いで、外部記憶装置からカメラＡの映像ファイルが読み出される（Ｓ２０４）。ここでは外部記憶装置と表現しているが、これは、上記の録画処理に対応するように表現されたものである。従って、このステップにおいては、カメラＡの記録メディア１２２又は記憶部２０４等に記録された映像ファイルが読み出される。
【００７５】
次いで、再描画処理ループが開始される（Ｓ２０６）。まず、カメラＡの位置情報と視点情報とに基づいてポリゴンの頂点座標が計算される（Ｓ２０８）。この処理は、主に、再生位置算出部２０８により実行される。また、視点情報は、どのような視点で映像を観るかという情報であり、ユーザにより指定される。なお、ここで言うポリゴン（ｐｏｌｙｇｏｎ）とは、３次元コンピュータグラフィックスにおいて、三角形や四角形等の多角形の組み合わせにより物体を表現する際の各要素のことである。つまり、映像が投影される投影面をコンピュータグラフィックス上の仮想的な３次元空間における位置で表現しようとするものである。
【００７６】
次いで、情報処理装置２００により、映像ファイルから１フレーム分の映像データが読み込まれる（Ｓ２１０）。次いで、読み込まれたフレームがテクスチャとしてポリゴンに貼り付けられる（Ｓ２１２）。テクスチャとは、通常、３次元コンピュータグラフィックスにおいて、物体の表面の質感を表現するために貼り付ける画像のことを言う。ここでは、映像フレームをテクスチャとしてポリゴンに貼り付ける処理が行われているのである。次いで、映像フレームが貼り付けられたポリゴンが画面上に描画される（Ｓ２１４）。さらに、ユーザ操作に応じて視点情報が更新される（Ｓ２１６）。
【００７７】
次いで、再描画処理ループを終了するか否かが判断され、継続する場合、ステップＳ２０８から始まる一連の処理が繰り返される（Ｓ２１８）。再描画処理ループの継続／終了は、ユーザの再生停止指示の有無により判断される。ユーザにより再生停止の指示がある場合、ステップＳ２１８で再描画処理ループが終了される。一方、ユーザにより再生停止の指示が無い場合、ステップＳ２０８〜Ｓ２１８の再描画処理ループが繰り返される。ステップＳ２１８において再描画処理ループが終了されると、再生処理に係る一連の処理が終了する。
【００７８】
上記のステップＳ２０２〜Ｓ２１８までの一連の処理は、カメラＢの映像についても同様に実行される。このように、カメラＡの映像、及びカメラＢの映像について並行して再生処理が実行される。その結果、表示部３００には、カメラＡ、カメラＢにより撮影された映像が同期して再生される。このとき、再生制御部２１０は、映像フレームの時刻がカメラＡの映像とカメラＢの映像とで撮影時刻が同期するように再生時刻を調整する。その結果、表示部３００には、２つの映像が同期して再生される。但し、タイムフレームのズレが補償されるように構成されていてもよい。
【００７９】
以上、本実施形態に係る録画処理及び再生処理の流れについて説明した。上記の通り、カメラＡ及びカメラＢによる撮影時の撮影方向及び画角とが保持されている。そのため、個々の撮影方向及び画角に一致するように各映像の投影方向及び画角が調整されることで、仮想的な３次元空間上で容易に複数の映像を合成表示することができるようになる。
【００８０】
［変形例：撮像システム１０の構成］
次に、図１２を参照しながら、本実施形態の一変形例に係る撮像システム１０のシステム構成について説明する。図１２は、本実施形態の一変形例に係る撮像システム１０のシステム構成を示す説明図である。当該変形例は、撮像装置１０２、１０４の撮像方向や画角を情報処理装置２００により制御するように変形したものである。そこで、この制御手段に係る構成要素についてのみ説明し、図４に示した情報処理装置２００と実質的に同一の機能構成については同一の符号を付することにより詳細な説明を省略する。
【００８１】
［撮像ユニット１００の変形部分］
図１２に示すように、本変形例に係る撮像ユニット１００は、複数の撮像装置１０２、１０４の他に、駆動制御部１５２を備えている。駆動制御部１５２は、複数の撮像装置１０２、１０４に対して機械的及び電気的に接続されており、撮像装置１０２、１０４の撮影方向及び画角を制御することができる。また、駆動制御部１５２は、情報処理装置２００から制御情報を取得し、この制御情報に応じて撮像装置１０２、１０４の撮影方向及び画角を制御する。
【００８２】
［情報処理装置２００の変形部分］
本変形例に係る情報処理装置２００は、図４に示した位置情報取得部２０６に代えて、方向制御部２５２、及び画角調整部２５４が設けられている。方向制御部２５２は、撮像ユニット１００の駆動制御部１５２を制御して撮像装置１０２、１０４の撮影方向を制御する。一方、画角調整部２５４は、撮像ユニット１００の駆動制御部１５２を制御して撮像装置１０２、１０４の画角を調整する。このように、本変形例に係る情報処理装置２００は、撮像ユニット１００に係る位置情報を制御する制御装置としての機能を備える。
【００８３】
そのため、方向制御部２５２は、撮像装置１０２、１０４の撮影方向に関する情報を保持しており、撮像ユニット１００に制御情報を伝送する際に撮影方向の情報を再生位置算出部２０８に入力する。同様に、画角調整部２５４は、撮像装置１０２、１０４の画角に関する情報を保持しており、撮像ユニット１００に制御情報を伝送する際に画角の情報を再生位置算出部２０８に入力する。このような構成にすることで、図４に示した情報処理装置２００の場合と同様に、再生位置算出部２０８は、撮像装置１０２、１０４で撮影された映像の再生位置を算出することができる。
【００８４】
以上、本実施形態に係る一変形例について説明した。このように、撮像装置１０２、１０４を駆動制御する構成等については様々な変形が可能である。特に、位置情報をどの構成要素により保持しておくか、或いは、どの構成要素から取得するか等については、自由に変形することができる。最後に、情報処理装置２００のハードウェア構成の一例について説明する。同ハードウェア構成と上記の機能構成との間の対応関係は次の通りである。
【００８５】
（対応関係）
映像取得部２０２、位置情報取得部２０６、再生位置算出部２０８、再生制御部２１０の機能は、ＲＯＭ９０４、ＲＡＭ９０６、記憶部９２０、又はリムーバブル記録媒体９２８に記録されたプログラムに基づいてＣＰＵ９０２により実現される。また、方向制御部２５２、画角調整部２５４の機能についても、ＲＯＭ９０４、ＲＡＭ９０６、記憶部９２０、又はリムーバブル記録媒体９２８に記録されたプログラムに基づいてＣＰＵ９０２により実現される。さらに、記憶部２０４の機能は、ＲＡＭ９０６、記憶部９２０、又はリムーバブル記録媒体９２８により実現される。そして、表示部３００の機能は、出力部９１８により実現される。但し、表示部３００がタッチパネル等の入力手段としての機能を有する場合、表示部３００は入力部９１６にも対応する。
【００８６】
［ハードウェア構成（情報処理装置２００）］
上記装置が有する各構成要素の機能は、例えば、図１３に示すハードウェア構成を有する情報処理装置により、上記の機能を実現するためのコンピュータプログラムを用いて実現することが可能である。図１３は、上記装置の各構成要素が有する機能を実現することが可能な情報処理装置のハードウェア構成を示す説明図である。この情報処理装置の形態は任意であり、例えば、パーソナルコンピュータ、携帯電話、ＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙ−ｐｈｏｎｅ Ｓｙｓｔｅｍ）、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）等の携帯情報端末、ゲーム機、又は各種の情報家電等の形態がこれに含まれる。
【００８７】
図１３に示すように、前記の情報処理装置は、主に、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０２と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０４と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０６と、ホストバス９０８と、ブリッジ９１０と、外部バス９１２と、インターフェース９１４と、入力部９１６と、出力部９１８と、記憶部９２０と、ドライブ９２２と、接続ポート９２４と、通信部９２６とにより構成される。
【００８８】
ＣＰＵ９０２は、例えば、演算処理装置又は制御装置として機能し、ＲＯＭ９０４、ＲＡＭ９０６、記憶部９２０、又はリムーバブル記録媒体９２８に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。ＲＯＭ９０４は、例えば、ＣＰＵ９０２に読み込まれるプログラムや演算に用いるデータ等を格納する。ＲＡＭ９０６は、例えば、ＣＰＵ９０２に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等を一時的又は永続的に格納する。これらの構成要素は、例えば、高速なデータ伝送が可能なホストバス９０８によって相互に接続されている。また、ホストバス９０８は、例えば、ブリッジ９１０を介して比較的データ伝送速度が低速な外部バス９１２に接続されている。
【００８９】
入力部９１６は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、及びレバー等の操作手段である。また、入力部９１６は、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントロール手段（所謂、リモコン）であってもよい。なお、入力部９１６は、上記の操作手段を用いて入力された情報を入力信号としてＣＰＵ９０２に伝送するための入力制御回路等により構成されている。
【００９０】
出力部９１８は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＰＤＰ（Ｐｌａｓｍａ ＤｉｓｐｌａｙＰａｎｅｌ）、又はＥＬＤ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）等のディスプレイ装置、スピーカ、ヘッドホン等のオーディオ出力装置、プリンタ、携帯電話、又はファクシミリ等、取得した情報を利用者に対して視覚的又は聴覚的に通知することが可能な装置である。
【００９１】
記憶部９２０は、各種のデータを格納するための装置であり、例えば、ハードディスクドライブ（ＨＤＤ；Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等により構成される。
【００９２】
ドライブ９２２は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体９２８に記録された情報を読み出し、又はリムーバブル記録媒体９２８に情報を書き込む装置である。リムーバブル記録媒体９２８は、例えば、ＤＶＤメディア、Ｂｌｕ−ｒａｙメディア、ＨＤ ＤＶＤメディア、コンパクトフラッシュ（ＣＦ；ＣｏｍｐａｃｔＦｌａｓｈ）（登録商標）、メモリースティック、又はＳＤメモリカード（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ ｍｅｍｏｒｙ ｃａｒｄ）等である。もちろん、リムーバブル記録媒体９２８は、例えば、非接触型ＩＣチップを搭載したＩＣカード（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ Ｃａｒｄ）、又は電子機器等であってもよい。
【００９３】
接続ポート９２４は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ Ｃｏｍｐｕｔｅｒ Ｓｙｓｔｅｍ Ｉｎｔｅｒｆａｃｅ）、ＲＳ−２３２Ｃポート、又は光オーディオ端子等のような外部接続機器９３０を接続するためのポートである。外部接続機器９３０は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、又はＩＣレコーダ等である。
【００９４】
通信部９２６は、ネットワーク９３２に接続するための通信デバイスであり、例えば、有線又は無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）用の通信カード、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）用のルータ、又は各種通信用のモデム等である。また、通信部９２６に接続されるネットワーク９３２は、有線又は無線により接続されたネットワークにより構成され、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、可視光通信、放送、又は衛星通信等である。
【００９５】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【００９６】
上記の説明においては、２台のカメラで撮影された映像の再生位置を仮想的な３次元空間に配置してソフトウェア的に表示処理を行う構成例を示したが、本実施形態は、これに限定されない。例えば、再生位置算出部２０８により算出された３次元的な再生位置の情報に基づき、複数の映写機を駆動制御して実際のスクリーンに投影してもよい。また、記憶部２０４には、位置情報が記録されるように構成されていてもよい。
【００９７】
なお、上記の情報処理装置２００の機能は、テレビジョン受像機、録画再生装置、ゲーム機、携帯情報端末、携帯電話、情報家電等の任意の電子機器により実現されうる。また、上記の方向制御部２５２、画角調整部２５４は、位置情報記録部の一例である。
【図面の簡単な説明】
【００９８】
【図１】２台のカメラで撮影された映像及びそれらの合成映像を示す説明図である。
【図２】本発明の一実施形態に係る撮像システムの構成を示す説明図である。
【図３】本実施形態に係る撮像装置の機能構成例を示す説明図である。
【図４】本実施形態に係る情報処理装置の機能構成例を示す説明図である。
【図５】画角の定義を示す説明図である。
【図６】本実施形態に係る位置情報の一例を示す説明図である。
【図７】本実施形態に係る再生位置の算出方法を示す説明図である。
【図８】本実施形態に係る再生位置と合成画像との関係を示す説明図である。
【図９】本実施形態に係る再生画面の一例を示す説明図である。
【図１０】本実施形態に係る録画処理の流れを示す説明図である。
【図１１】本実施形態に係る再生処理の流れを示す説明図である。
【図１２】本実施形態に係る撮像システムの変形例を示す説明図である。
【図１３】本実施形態に係る情報処理装置のハードウェア構成例を示す説明図である。
【符号の説明】
【００９９】
１０ 撮像システム
１００ 撮像ユニット
１０２、１０４ 撮像装置
１０８ 架台
１１２ イメージセンサ
１１４ 画像処理ブロック
１１６ 制御部
１１８ 操作部
１２０ 表示パネル
１２２ 記録メディア
１３０ 画像処理部
１３２ 前処理回路
１３４ カメラ信号処理回路
１３６ 画像出力制御部
１３８ エンコーダ
１４０ バッファメモリ
１４２ メディア制御回路
１５２ 駆動制御部
２００ 情報処理装置
２０２ 映像取得部
２０４ 記憶部
２０６ 位置情報取得部
２０８ 再生位置算出部
２１０ 再生制御部
２５２ 方向制御部
２５４ 画角調整部
３００ 表示部
【特許請求の範囲】
【請求項１】
複数の撮像装置により撮影された複数の映像データを取得する映像取得部と、
前記各撮像装置の向き及び画角を含む位置情報を取得する位置情報取得部と、
前記位置情報を用いて前記各映像データの投影方向及び画角が前記各撮像装置の向き及び画角に一致するように当該各映像データの再生位置を算出する再生位置算出部と、
前記各再生位置に前記各映像データを再生させる再生制御部と、
を備える、情報処理装置。
【請求項２】
前記映像取得部は、撮像範囲の一部が重なるように前記複数の撮像装置により同時に撮影された複数の映像データを取得し、
前記再生制御部は、前記各映像データの重なり部分に対して、前面に表示される前記映像データを表示し、背面に表示される前記映像データを表示しないように前記複数の映像データを再生させる、請求項１に記載の情報処理装置。
【請求項３】
前記再生位置算出部は、表示画面の奥行き方向を含む仮想的な３次元空間において前記各映像データが投影される面領域を前記再生位置として算出し、
前記再生制御部は、前記再生位置として算出された前記仮想的な３次元空間内の面領域に前記各映像データが投影されているように当該各映像データを再生させる、請求項１に記載の情報処理装置。
【請求項４】
撮像範囲の一部が重なるように複数の撮像装置の向きを制御する方向制御部と、
前記各撮像装置の画角を調整する画角調整部と、
前記方向制御部により制御された前記各撮像装置の向き、及び前記画角調整部により調整された前記各撮像装置の画角を位置情報として記録する位置情報記録部と、
前記各撮像装置により撮影された映像データ及び前記位置情報が記録される記憶部と、
をさらに備え、
前記映像取得部は、前記記憶部から前記映像データを取得し、
前記位置情報取得部は、前記記憶部から前記位置情報を取得する、請求項１に記載の情報処理装置。
【請求項５】
撮像範囲の一部が重なるように複数の撮像装置の向きを制御する方向制御部と、
前記各撮像装置の画角を調整する画角調整部と、
前記方向制御部により制御された前記各撮像装置の向き、及び前記画角調整部により調整された前記各撮像装置の画角を位置情報として記録する位置情報記録部と、
前記各撮像装置により撮影された映像データ及び前記位置情報が記録される記憶部と、
を備える、情報処理装置。
【請求項６】
個々の撮影方向及び画角を変更することが可能な複数の撮像部と、
撮像範囲の一部が重なるように前記各撮像部の向きを制御する方向制御部と、
前記各撮像部の画角を調整する画角調整部と、
前記方向制御部により制御された前記各撮像部の向き、及び前記画角調整部により調整された前記各撮像部の画角を位置情報として記録する位置情報記録部と、
前記各撮像部により撮影された映像データ及び前記位置情報が記録される記憶部と、
を備える、撮像システム。
【請求項７】
複数の撮像装置により撮影された複数の映像データが取得される映像取得工程と、
前記各撮像装置の向き及び画角を含む位置情報が取得される位置情報取得工程と、
前記位置情報を用いて前記各映像データの投影方向及び画角が前記各撮像装置の向き及び画角に一致するように当該各映像データの再生位置が算出される再生位置算出工程と、
前記各再生位置に前記各映像データが再生されるように制御される再生制御工程と、
を含む、再生制御方法。
【請求項８】
撮像範囲の一部が重なるように複数の撮像装置の向きが制御される方向制御工程と、
前記各撮像装置の画角が調整される画角調整工程と、
前記方向制御工程で制御された前記各撮像装置の向き、及び前記画角調整工程で調整された前記各撮像装置の画角が位置情報として記録される位置情報記録工程と、
前記各撮像装置により撮影された映像データが記録される記録工程と、
を含む、録画制御方法。
【請求項９】
複数の撮像装置により撮影された複数の映像データが取得される映像取得工程と、
前記各撮像装置の向き及び画角を含む位置情報が取得される位置情報取得工程と、
前記位置情報を用いて前記各映像データの投影方向及び画角が前記各撮像装置の向き及び画角に一致するように当該各映像データの再生位置が算出される再生位置算出工程と、
前記各再生位置に前記各映像データが再生されるように制御される再生制御工程と、
を含む、再生制御方法をコンピュータに実現させるためのプログラム。
【請求項１０】
撮像範囲の一部が重なるように複数の撮像装置の向きが制御される方向制御工程と、
前記各撮像装置の画角が調整される画角調整工程と、
前記方向制御工程で制御された前記各撮像装置の向き、及び前記画角調整工程で調整された前記各撮像装置の画角が位置情報として記録される位置情報記録工程と、
前記各撮像装置により撮影された映像データが記録される記録工程と、
を含む、録画制御方法をコンピュータに実現させるためのプログラム。
【請求項１】
複数の撮像装置により撮影された複数の映像データを取得する映像取得部と、
前記各撮像装置の向き及び画角を含む位置情報を取得する位置情報取得部と、
前記位置情報を用いて前記各映像データの投影方向及び画角が前記各撮像装置の向き及び画角に一致するように当該各映像データの再生位置を算出する再生位置算出部と、
前記各再生位置に前記各映像データを再生させる再生制御部と、
を備える、情報処理装置。
【請求項２】
前記映像取得部は、撮像範囲の一部が重なるように前記複数の撮像装置により同時に撮影された複数の映像データを取得し、
前記再生制御部は、前記各映像データの重なり部分に対して、前面に表示される前記映像データを表示し、背面に表示される前記映像データを表示しないように前記複数の映像データを再生させる、請求項１に記載の情報処理装置。
【請求項３】
前記再生位置算出部は、表示画面の奥行き方向を含む仮想的な３次元空間において前記各映像データが投影される面領域を前記再生位置として算出し、
前記再生制御部は、前記再生位置として算出された前記仮想的な３次元空間内の面領域に前記各映像データが投影されているように当該各映像データを再生させる、請求項１に記載の情報処理装置。
【請求項４】
撮像範囲の一部が重なるように複数の撮像装置の向きを制御する方向制御部と、
前記各撮像装置の画角を調整する画角調整部と、
前記方向制御部により制御された前記各撮像装置の向き、及び前記画角調整部により調整された前記各撮像装置の画角を位置情報として記録する位置情報記録部と、
前記各撮像装置により撮影された映像データ及び前記位置情報が記録される記憶部と、
をさらに備え、
前記映像取得部は、前記記憶部から前記映像データを取得し、
前記位置情報取得部は、前記記憶部から前記位置情報を取得する、請求項１に記載の情報処理装置。
【請求項５】
撮像範囲の一部が重なるように複数の撮像装置の向きを制御する方向制御部と、
前記各撮像装置の画角を調整する画角調整部と、
前記方向制御部により制御された前記各撮像装置の向き、及び前記画角調整部により調整された前記各撮像装置の画角を位置情報として記録する位置情報記録部と、
前記各撮像装置により撮影された映像データ及び前記位置情報が記録される記憶部と、
を備える、情報処理装置。
【請求項６】
個々の撮影方向及び画角を変更することが可能な複数の撮像部と、
撮像範囲の一部が重なるように前記各撮像部の向きを制御する方向制御部と、
前記各撮像部の画角を調整する画角調整部と、
前記方向制御部により制御された前記各撮像部の向き、及び前記画角調整部により調整された前記各撮像部の画角を位置情報として記録する位置情報記録部と、
前記各撮像部により撮影された映像データ及び前記位置情報が記録される記憶部と、
を備える、撮像システム。
【請求項７】
複数の撮像装置により撮影された複数の映像データが取得される映像取得工程と、
前記各撮像装置の向き及び画角を含む位置情報が取得される位置情報取得工程と、
前記位置情報を用いて前記各映像データの投影方向及び画角が前記各撮像装置の向き及び画角に一致するように当該各映像データの再生位置が算出される再生位置算出工程と、
前記各再生位置に前記各映像データが再生されるように制御される再生制御工程と、
を含む、再生制御方法。
【請求項８】
撮像範囲の一部が重なるように複数の撮像装置の向きが制御される方向制御工程と、
前記各撮像装置の画角が調整される画角調整工程と、
前記方向制御工程で制御された前記各撮像装置の向き、及び前記画角調整工程で調整された前記各撮像装置の画角が位置情報として記録される位置情報記録工程と、
前記各撮像装置により撮影された映像データが記録される記録工程と、
を含む、録画制御方法。
【請求項９】
複数の撮像装置により撮影された複数の映像データが取得される映像取得工程と、
前記各撮像装置の向き及び画角を含む位置情報が取得される位置情報取得工程と、
前記位置情報を用いて前記各映像データの投影方向及び画角が前記各撮像装置の向き及び画角に一致するように当該各映像データの再生位置が算出される再生位置算出工程と、
前記各再生位置に前記各映像データが再生されるように制御される再生制御工程と、
を含む、再生制御方法をコンピュータに実現させるためのプログラム。
【請求項１０】
撮像範囲の一部が重なるように複数の撮像装置の向きが制御される方向制御工程と、
前記各撮像装置の画角が調整される画角調整工程と、
前記方向制御工程で制御された前記各撮像装置の向き、及び前記画角調整工程で調整された前記各撮像装置の画角が位置情報として記録される位置情報記録工程と、
前記各撮像装置により撮影された映像データが記録される記録工程と、
を含む、録画制御方法をコンピュータに実現させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２００９−３０２７８５（Ｐ２００９−３０２７８５Ａ）
【公開日】平成２１年１２月２４日（２００９．１２．２４）
【国際特許分類】
【出願番号】特願２００８−１５３５５７（Ｐ２００８−１５３５５７）
【出願日】平成２０年６月１１日（２００８．６．１１）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２１年１２月２４日（２００９．１２．２４）
【国際特許分類】
【出願日】平成２０年６月１１日（２００８．６．１１）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]