全周映像のための表示技術
【課題】これまでよりも優れた全周映像の表示を実現する。
【解決手段】全周映像のうち特定の範囲の表示を行う映像表示技術と、特定の人物の箇所のみの映像を抜き出して表示する映像表示技術を組み合わせることにより、誰がどこへ向かって話しているか、３次元的な位置関係はどういうものであるかなどを容易に把握しうる全周映像表示を可能とする。人物が３次元的な位置関係を保って表示されることから、会話の流れを容易に把握することができる。実施形態によっては、抜き出した映像を表示するにおいて、位置調整や左右反転などの処理を入れることもでき、誰が誰に話しているかをさらに容易に把握することが可能となる。
【解決手段】全周映像のうち特定の範囲の表示を行う映像表示技術と、特定の人物の箇所のみの映像を抜き出して表示する映像表示技術を組み合わせることにより、誰がどこへ向かって話しているか、３次元的な位置関係はどういうものであるかなどを容易に把握しうる全周映像表示を可能とする。人物が３次元的な位置関係を保って表示されることから、会話の流れを容易に把握することができる。実施形態によっては、抜き出した映像を表示するにおいて、位置調整や左右反転などの処理を入れることもでき、誰が誰に話しているかをさらに容易に把握することが可能となる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、全方位カメラを用いて収録された会議映像の容易な閲覧を可能にする技術に関する。
【背景技術】
【０００２】
会議映像を記録する手段として全方位カメラを用いることが盛んに行われている。全方位カメラを用いる場合、会議参加者全員の行動が記録できる利点があるが、全方位カメラによって収録された全周映像は閲覧者にとって見やすいものではなく、誰がどこへ向かって話しているかがわからないなどの不便がある。そのため、その映像を閲覧者によって見やすい形に変換して表示する装置が必要となる。
【０００３】
従来の技術としては、全周画像を半円筒状に表示するものがあった（米アップル社のQuickTime VR）。 また発話者を自動で拡大表示するもの（ソニー株式会社製PCSA-CTG70）や、各参加者の映像を３次元状に並べるもの（米アップル社のiChat）があった。QuickTime VRの技術においては、注目角度の話者を見ることができるが、注目角度背後の話者を見ることができない。PCSA-CTG70は、発話者を見ることができるが、発話者以外は見ることができない。iChatの技術は、 自然な３次元的な位置関係の再現を実現するが、閲覧者の背後の人物を見ることができない。
【非特許文献１】「QuickTime VR」，技術資料， Apple Inc., 2005年6月4日
【非特許文献２】「PCSA-CTG70 Video Communication System - Technical Documentation」（英語版）Sony Corporation，2006年6月，ver 1.0
【発明の開示】
【発明が解決しようとする課題】
【０００４】
これらの従来技術に鑑み、本発明は、これまでよりも優れた全周映像の表示を実現すべくなされたものである。
【課題を解決するための手段】
【０００５】
本発明は、全周映像のうち特定の範囲の表示を行う映像表示技術と、特定の人物の箇所のみの映像を抜き出して表示する映像表示技術を組み合わせることにより、誰がどこへ向かって話しているか、３次元的な位置関係はどういうものであるかなどを容易に把握しうる全周映像表示を可能とする。人物が３次元的な位置関係を保って表示されることから、会話の流れを容易に把握することができる。抜き出した映像を表示するにおいて、位置調整や左右反転などの処理を入れることもでき、これによって、誰が誰に話しているかをさらに容易に把握することが可能となる。
【０００６】
本発明の実施形態は、次のような映像データ形成装置を含む。この装置は、全周映像を構成するデータから、該全周映像の注目方向前方を表示するための映像データを形成する手段と、前記全周映像データから、該全周映像において前記注目方向の後方に位置する人物が含まれる映像データを抽出する手段と、前記抽出した映像データを前記注目方向前方の映像データに合成する手段とを具備することを特徴とする。
【０００７】
また、本発明の実施形態は、装置により実行される、次のような、映像データ形成方法を含む。この方法は、全周映像を構成するデータから、該全周映像の注目方向前方を表示するための映像データを形成するステップと、前記全周映像データから、該全周映像において前記注目方向の後方に位置する人物が含まれる映像データを抽出するステップと、前記抽出した映像データを前記注目方向前方の映像データに合成するステップとを含むことを特徴とする。
【０００８】
また、本発明の実施形態は、次のようなプログラムを含む。このプログラムは、コンピュータを、全周映像を構成するデータから、該全周映像の注目方向前方を表示するための映像データを形成する手段；前記全周映像データから、該全周映像において前記注目方向の後方に位置する人物が含まれる映像データを抽出する手段；前記抽出した映像データを前記注目方向前方の映像データに合成する手段；として動作させることを特徴とする。
【０００９】
本発明の好適な実施形態のいくつかは、添付の特許請求の範囲に特定されている。しかし本発明の実施形態は、特許請求の範囲や明細書及び図面に明示的に記載されるものに限定されず、本発明の思想を逸脱することなく、様々な形態をとることが可能である。本発明は、本願特許請求の範囲や明細書及び図面に明示的に開示されるか否かにかかわらず、これらの書類から教示されうるあらゆる新規かつ有益な構成を、その範囲に含むものである。
【発明を実施するための最良の形態】
【００１０】
以下、本発明の実施形態の例を、添付の図面を参照しながら詳しく説明する。
【００１１】
図１は、本発明の好適な実施形態の例である、映像データ形成装置１０のハードウェア構成の概要及びそれに接続される周辺機器を描いたものである。図１に描かれるように、映像データ形成装置１０は、CPU１２や主記憶装置１４，補助記憶装置１６などを備える一般のコンピュータであることができ、その特徴的な機能は、主にソフトウェア処理によって提供される。補助記憶装置１６は、ハードディスクやフラッシュメモリ、またはDVD-読み取り装置等の光ディスク装置などであることができ、映像データ形成装置１０の電源が入っていないとき、映像データ形成装置１０を情報処理装置たらしめるソフトウェアは、この補助記憶装置１６に格納されている。映像データ形成装置１０に電源が投入されると、補助記憶装置１６に格納されていたソフトウェアコードの全部または一部が、高速な記憶装置である主記憶装置１４にコピーされ、CPU１２の制御に用いられる。
【００１２】
映像データ形成装置１０には、会議収録装置４０が接続されることができる。会議収録装置４０は、全周カメラと複数のマイクを備え、一度に360度全周囲の映像及び音声の収集を行うことができる。したがって会議収録装置４０は、図２に描かれるような、円卓会議の収録に適している。
【００１３】
全周カメラは、特殊な鏡面構造を有するレンズを用いることで、単一のカメラによって360度の風景を撮影することを可能にしたカメラである。広角レンズを備えた複数のカメラの出力映像をソフトウェア的に合成して作成することによって、360度の映像を撮影することを可能にしたカメラもある。全周カメラによって撮影された全周映像は平面状の映像に変換され、デジタルデータとして保存される。図１の例では、このような変換及び映像データのA/D変換を行なうための映像処理回路２０が映像データ形成装置１０に備えられている。しかしながら、このような映像信号に対する処理を行う装置は、会議収録装置４０の方に備えられていてもよい。図１の例において、会議収録装置４０から出力されるアナログの映像信号は、信号線４２ａを介して映像処理回路２０に入力し、映像処理回路２０でA/D変換されると共に、映像処理回路２０及びCPU１２によって所定の処理が施され、補助記憶装置１６にデジタルデータとして記憶される。このデジタルデータは、例えばH.263形式のビデオストリームであることができる。CPU１２に所定の機能を実行させるためのソフトウェアは、前述のように、主記憶装置１４または補助記憶装置１６に格納されている。
【００１４】
会議収録装置４０が備える複数のマイクは、音源位置の特定を可能とするために、放射状に配置されていることが好ましい。それぞれのマイクで収録された音声信号はそれぞれ独立に保存される。図１の例では、会議収録装置４０から出力される複数のアナログ音声信号が、信号線４２ｂ〜４２ｄを介して音声処理回路１８に入力し、A/D変換されてデジタルデータとして補助記憶装置１６に記憶される。しかしながら、マイクで収録された音声信号に対して所定の処理を行う回路は、会議収録装置４０の側に備えられていてもよい。
【００１５】
なお、図１の例では３本の音声チャネルしか記載されていないが、実際にはもっと多くのマイクを用いて収録を行っても構わないことはいうまでもない。可能であれば、８チャンネル程度の収録を行うことが望ましい。
【００１６】
図１の例において、会議収録装置４０で収集された映像及び音声は、信号線４２ａ〜４２ｄを介して映像データ形成装置１０に入力し、その記憶装置１６に保存されることとなっているが、実施形態によっては、会議収録装置４０の側で必要な信号処理及び記録を行い、データの映像データ形成装置１０への移動は、データを収録したDVDディスクを映像データ形成装置１０に接続されたディスク読み取り装置で読みとらせることによって行ってもよい。
【００１７】
このほか、映像データ形成装置１０は、キーボード７０やマウス８０を接続するためのインタフェース２６，２８を備える。キーボード７０やマウス８０は、オペレータが、映像データ形成装置１０に所定の指示を与えるために使用されることができる。また映像データ形成装置１０は、ディスプレイ５０を接続するための映像出力回路２２と、スピーカ６０を接続するための音声出力回路２４を備えることができる。映像出力回路２２と音声出力回路２４は、CPU１２の指示に基づき、それぞれ、ディスプレイ５０やスピーカ６０で映像・音声の再生を行なうために必要な信号を生成する。
【００１８】
図２を参照すると、全周映像のデータは、視聴者２００を中心に周囲３６０度の映像情報（符号２０２で表す）を含んでいる。しかしながら、ディスプレイ装置のスクリーンは小さいため、３６０度の映像情報を一度に表示すると、被写体が非常に小さくなってしまい、あまり好ましいものではない。そこで映像データ形成装置１０は、全周映像２０２の一部（図２で角θで表した領域）のみを、ディスプレイ５０に表示するように構成されている。そのかわり映像データ形成装置１０は、全周映像２０２を視聴者２００を中心に仮想的に回転させることにより、所望の領域をディスプレイ５０に表示させることができる。この回転は、マウス８０をドラッグしたり、キーボード７０の左右キーを押したりするなどの方法で、映像データ形成装置１０のオペレータが自由に行うことができる。無論、ジョイスティックやタッチパネル、音声操作装置など、どのようなユーザインタフェースを用いて回転を行っても構わない。
【００１９】
映像データ形成装置１０は、映像を円筒に投影した場合に、その円筒の中心から見た眺めを再現するような映像データを形成しうるように構成されることが好ましい。このような、半円筒状に表示する映像データをディスプレイ５０に表示させることで、平面的なスクリーンであっても立体的な映像を映し出すことができる。このような技術は既に知られており、前述のQuicktime VRはその一例である。
【００２０】
図３は、映像データ形成装置１０の機能ブロック図である。前述のとおり、これらの機能は、主に記憶装置１４又は／及び１６に格納されるソフトウェアの命令を実行するCPU１２によって遂行される。
【００２１】
会議収録装置４０を用いて収録された映像・音声データのうち、音声データは、音声入力部３００を介して音方向検出部３０２に供給され、映像データは映像入力部３０１を介して人物方向検出部３０４及び映像切り出し・反転部３１４に供給される。この映像データは、視野３６０度の全周映像を構成することができ、音声データは個々のチャネルが別々のマイクに対応した複数のチャンネルのデータから構成されている。各チャンネルの音声には、会議参加者とそれぞれのマイクの間の近さによって同じ参加者の声が音量や位相が変化して記録されており、それら音声を既知の信号処理技術（例えば、特開2007-233239号公報に記載される技術）を用いて相互に比較することにより、話者の方向を推定することができる。
【特許文献１】特開2007-233239号公報
【００２２】
音方向検出部３０２による話者方向の推定結果は人物方向検出部３０４に供給される。人物方向検出部３０４は、音方向検出部３０２によって推定された各人物の発する声の方向と共に、映像から顔検出アルゴリズムを用いて検出した人物の顔位置を用いて、人物方向を推定する。顔検出アルゴリズムには、例えば、Haar特徴と多段弱識別器を用いたアルゴリズムを用いることができる。
【００２３】
注目方向入力部３０６は、ユーザにより指定された注目方向を、次の切り出し位置計算部３１２に伝えるセクションである。前述のように、映像データ形成装置１０は、全周映像を円筒中心に対して仮想的に回転させることで、全周映像の任意の領域をディスプレイ５０に表示させることができる。映像データ形成装置１０のユーザは、所望の映像が表示されている方向を、注目方向として自由に指定することができる。この指定は、キーボード７０やマウス８０など、適当なユーザインタフェースを用いて行うこととすることができる。また、いつでも変更することができるように映像データ形成装置１０を構成することが好ましい。
【００２４】
なお、「注目方向」との用語における「方向」とは、全周映像により形成される仮想的な円筒の中心から見た角度を意味する。従って、全周映像には、基準となる位置を予め定めておくことが好ましい。円筒中心から見てその基準位置が正面に来る場合を０度として、角度を定義することができる。
【００２５】
注目方向は自動で設定されるように構成してもよい。注目方向自動判定部３０８は、このような目的のためのセクションであり、音方向検出部３０２によって検出された人物方向や発話時間等から注目方向を自動的に設定する。例えば、各時刻の各人物の発話情報から、その時刻において一番長時間発話している人物を算出し、その人物がいる方向を注目方向として設定するように構成することができる。注目方向の自動設定と手動設定は切り替え可能であることが好ましく、また、自動設定中であっても、オペレータの操作により手動で注目方向の設定がなされた場合には、それを優先するように構成されることが好ましい。
【００２６】
切り出し位置計算部３１２は、注目方向入力部３０６又は注目方向自動判定部３０８から供給される注目方向データと、人物方向検出部３０４から供給される人物位置データに基づいて、全周映像データから、出力用の映像として切り出す範囲を計算する。この計算は様々なものであることができるが、以下に、図４〜図６を用いてその一例を説明する。
【００２７】
図４のように、円卓Ｔを囲んでＡ，Ｂ，Ｃの三者が会議をしている様子を、円卓Ｔの中心に設置した全方位カメラによって撮影するとする。このとき全方位カメラによって撮影される映像は、図５のようになる。ただし図５は、３６０度全ての範囲の映像を平面状に描いたものであって、３６０度全ての範囲の映像が一度にディスプレイに表示されるわけではないことに留意されたい。
【００２８】
図６に描かれるように、全方位カメラの正面方向と注目方向とのなす角をΦ、全方位カメラの正面方向と注目方向背後の人物方向とのなす角をθ、注目方向の視野角をφとそれぞれ定義する。また、全周映像の横幅をｗとする。このとき切り出し位置計算部３１２は、注目方向前方の映像データを形成するための範囲として、［w/2+w/2*((Φ-φ)/360)，w/2+w/2*((Φ+φ)/360)］を計算する。視野角φはディスプレイの横幅に依存して設定される値である。通常90度よりすこし少ない80度程度が設定される。
【００２９】
また切り出し位置計算部３１２は、注目方向背後人物箇所の映像の映像データを形成するための範囲として、w/2+w/2*(θ/360)を中心として左右それぞれ予め定められた範囲を計算する。
【００３０】
なお、この計算はほんの一例であり、具体的な要求に応じてさまざまな計算方法があり得ることは留意すべきである。
【００３１】
映像切り出し・反転部３１４は、切り出し位置計算部３１２から供給される計算結果に基づいて、全周映像データから、注目方向前方の映像データを形成するためのデータ及び注目方向後方の映像データを形成するためのデータを切り出す。この様子が図７に描かれている。７００で表された全周映像データから、注目方向前方の映像として、［w/2+w/2*((Φ-φ)/360)，w/2+w/2*((Φ+φ)/360)］で囲まれた範囲のデータ７０２のみが切り出され、注目方向後方に位置する人物の映像のために、w/2+w/2*(θ/360)を中心とした所定の幅の映像データ７０４が切り取られている。このような切り出しは、例えば、メモリ上に展開された全体映像の画素列から、指定された範囲の画素を抜き出すことで実現することができる。
【００３２】
さらに映像切り出し・反転部３１４は、注目方向後方に位置する人物の映像の左右を反転する。これは、注目方向後方に位置する人物と、注目方向前方に位置する人物との関係を自然に見せるためである。映像の反転は、画素列を反転することで容易に行うことができる。
【００３３】
出力映像形成部３１６は、注目方向後方に位置する人物の映像データを、注目方向前方の映像データに合成する。この様子が図８に描かれている。図８Ａは、注目方向前方の映像を図示したものである。これに、注目方向後方に位置する人物の映像データを合成すると、図８Ｂのようになる。注目方向後方に位置する人物の映像が左右反転されていることで、注目方向前方の人物Ａと注目方向後方の人物Ｂとの対応関係が自然に表現されている。注目方向後方の人物の映像を合成する位置は、注目方向前方の映像データの表示の横幅をｐとするとき、p/2+p/2*cos(Φ+θ)の位置とすることができる。むろん、かかる計算式は例に過ぎず、他の計算式によって合成位置を求めてもよい。
【００３４】
さて、図８Ｂのような表示は、特に、人物Ｃが話者であるときに有用であると思われる。注目方向後方の人物が話者であるときは、そのままでは画面で誰が話しているかを確認できず、不便であるからである。一方、注目方向前方の人物が話者であるときは、画面で誰が話しているかを確認できるので、注目方向後方の人物の映像をスーパーインポーズすることは、実装上の要求によっては不要とされるかもしれない。
【００３５】
このような要求に対応するため、映像データ形成装置１０は、表示・非表示制御部３１０を備えている。表示・非表示制御部３１０は、音方向検出部３０２による話者方向の推定結果に基づき、注目方向後方の人物が話者ではないときは、注目方向後方の人物の映像のスーパーインポーズを行なわないように、出力映像形成部３１６を制御する。これによって、注目方向後方の人物が話者であるときのみ、図８Ｂのような映像が表示されることになる。
【００３６】
前述のとおり、図３に描いた映像データ形成装置１０の各機能３００〜３１６は、主に、記憶装置１４又は／及び１６に格納されるソフトウェアの命令を実行するCPU１２によって遂行されることができる。しかしながら、各機能の遂行には、CPU１２以外のハードウェアが関与する場合があることは、言うまでもない。例えば、音声入力部３００や映像入力部３０１には、音声や映像の信号を伝達するための回路が関与する場合があり、また、注目方向入力部３０６は、ユーザインタフェースの制御が関わってくる。さらに、ディスプレイ５０に供給される映像信号を形成するためには、ＣＰＵ１２だけで処理を行うよりも、映像信号を形成するための専用のハードウェアを用いたほうが高速に処理を行うことができる場合がある。また、さらなる高速化のために、機能３００〜３１６の一部を専用のハードウェア回路を用いて実装したり、ＦＰＧＡなどのプログラマブルロジック回路を用いて実装したりすることも考えられる。当業者であれば、本明細書の開示から、様々な実装形態に容易に想到することが可能であることが疑いない。
【００３７】
図９を用いて映像データ形成装置１０の動作の一例をフローチャートで説明する。
【００３８】
符号９００は動作の開始を表す。ステップ９０２では、全周映像を構成するデータ（映像・音声）が主記憶装置１４に読み込まれる。このとき読み込まれるデータの量は、むろんのこと、全収録時間のデータである必要はなく、一部の時間のデータで十分である。ステップ９０４では、注目方向の決定が行われる。前述のように、注目方向の決定は、オペレータがユーザインタフェース７０，８０などを利用して行うことができ、また、音声データから同定した話者の位置や発話時間などに基づいて自動的に行なうこともできる。
【００３９】
ステップ９０６では、注目方向前方の映像の切り出しが行われる。前述の例では、全周映像の基準方向と注目方向とのなす角をΦ、注目方向の視野角をφ、全周映像の横幅をｗとしたとき、切り出される範囲は［w/2+w/2*((Φ-φ)/360)，w/2+w/2*((Φ+φ)/360)］で囲まれた範囲とする。
【００４０】
並行して、ステップ９０８では、発話位置の同定や顔認識手段を用いて、注目方向後方の人物の検出が行われる。この検出経過に基づき、ステップ９１０では、注目方向後方の人物の映像の切り出しが行われる。前述の例では、全周映像の基準方向と注目方向後方の人物とのなす角をθとしたとき、w/2+w/2*(θ/360)を中心とした所定の幅の映像が全周映像から切り出される。
【００４１】
ステップ９１２では、注目方向後方の人物の発話の有無の判定し、発話があると判定された場合に限り、ステップ９０６で切り出した注目方向前方の映像データと、ステップ９１０で切り出した注目方向後方の人物の映像データとが合成され、ステップ９１６で出力用の映像信号として構成される。注目方向後方の人物が発話していないと判定された場合、ステップ９１６では、注目方向前方の映像データのみを使用して出力用の映像データを構成する。
【００４２】
ステップ９１８では、構成された映像データがディスプレイへ出力され、ステップ９０２へと戻り、次のフレームの処理を行う。符号９２０は動作の終了を示す。
【００４３】
以上、本発明の実施形態の例について説明してきたが、これはあくまで例に過ぎず、本願発明の実施形態を限定する意図で紹介したものではないことは言うまでもない。本発明は、本発明の思想を逸脱せずに様々な実施形態を取りうるものである。
【図面の簡単な説明】
【００４４】
【図１】本発明の実施例である映像データ形成装置１０のハードウェア構成及びその周辺機器の概略を説明するための図である。
【図２】全周映像の表示方法を説明するための図である。
【図３】映像データ形成装置１０の機能構成を説明するための図である。
【図４】全周映像の収録の様子を説明するための図である。
【図５】全方位カメラによって撮影される映像を説明するための図である。
【図６】映像の切り出しを行うための角度の定義を説明するための図である
【図７】映像の切り出しの様子を説明するための図である。
【図８】映像の合成の様子を説明するための図である。
【図９】映像データ形成装置１０の動作を説明するための図である。
【符号の説明】
【００４５】
１０ 映像データ形成装置
１２ ＣＰＵ
１４ 主記憶装置
１６ 補助記憶装置
１８ 音声処理回路
２０ 映像処理回路
２２ 映像出力回路
２４ 音声出力回路
２６，２８ インタフェース
４０ 会議収録装置
４２ａ-４２ｄ 信号線
５０ ディスプレイ
６０ スピーカ
７０ キーボード
８０ マウス
２００ 視聴者
２０２ 全周映像
３００ 音声入力部
３０１ 映像入力部
３０２ 音方向検出部
３０４ 人物方向検出部
３０６ 注目方向入力部
３０８ 注目方向自動判定部
３１０ 表示・非表示制御部
３１２ 位置計算部
３１４ 反転部
３１６ 出力映像形成部
【技術分野】
【０００１】
本発明は、全方位カメラを用いて収録された会議映像の容易な閲覧を可能にする技術に関する。
【背景技術】
【０００２】
会議映像を記録する手段として全方位カメラを用いることが盛んに行われている。全方位カメラを用いる場合、会議参加者全員の行動が記録できる利点があるが、全方位カメラによって収録された全周映像は閲覧者にとって見やすいものではなく、誰がどこへ向かって話しているかがわからないなどの不便がある。そのため、その映像を閲覧者によって見やすい形に変換して表示する装置が必要となる。
【０００３】
従来の技術としては、全周画像を半円筒状に表示するものがあった（米アップル社のQuickTime VR）。 また発話者を自動で拡大表示するもの（ソニー株式会社製PCSA-CTG70）や、各参加者の映像を３次元状に並べるもの（米アップル社のiChat）があった。QuickTime VRの技術においては、注目角度の話者を見ることができるが、注目角度背後の話者を見ることができない。PCSA-CTG70は、発話者を見ることができるが、発話者以外は見ることができない。iChatの技術は、 自然な３次元的な位置関係の再現を実現するが、閲覧者の背後の人物を見ることができない。
【非特許文献１】「QuickTime VR」，技術資料， Apple Inc., 2005年6月4日
【非特許文献２】「PCSA-CTG70 Video Communication System - Technical Documentation」（英語版）Sony Corporation，2006年6月，ver 1.0
【発明の開示】
【発明が解決しようとする課題】
【０００４】
これらの従来技術に鑑み、本発明は、これまでよりも優れた全周映像の表示を実現すべくなされたものである。
【課題を解決するための手段】
【０００５】
本発明は、全周映像のうち特定の範囲の表示を行う映像表示技術と、特定の人物の箇所のみの映像を抜き出して表示する映像表示技術を組み合わせることにより、誰がどこへ向かって話しているか、３次元的な位置関係はどういうものであるかなどを容易に把握しうる全周映像表示を可能とする。人物が３次元的な位置関係を保って表示されることから、会話の流れを容易に把握することができる。抜き出した映像を表示するにおいて、位置調整や左右反転などの処理を入れることもでき、これによって、誰が誰に話しているかをさらに容易に把握することが可能となる。
【０００６】
本発明の実施形態は、次のような映像データ形成装置を含む。この装置は、全周映像を構成するデータから、該全周映像の注目方向前方を表示するための映像データを形成する手段と、前記全周映像データから、該全周映像において前記注目方向の後方に位置する人物が含まれる映像データを抽出する手段と、前記抽出した映像データを前記注目方向前方の映像データに合成する手段とを具備することを特徴とする。
【０００７】
また、本発明の実施形態は、装置により実行される、次のような、映像データ形成方法を含む。この方法は、全周映像を構成するデータから、該全周映像の注目方向前方を表示するための映像データを形成するステップと、前記全周映像データから、該全周映像において前記注目方向の後方に位置する人物が含まれる映像データを抽出するステップと、前記抽出した映像データを前記注目方向前方の映像データに合成するステップとを含むことを特徴とする。
【０００８】
また、本発明の実施形態は、次のようなプログラムを含む。このプログラムは、コンピュータを、全周映像を構成するデータから、該全周映像の注目方向前方を表示するための映像データを形成する手段；前記全周映像データから、該全周映像において前記注目方向の後方に位置する人物が含まれる映像データを抽出する手段；前記抽出した映像データを前記注目方向前方の映像データに合成する手段；として動作させることを特徴とする。
【０００９】
本発明の好適な実施形態のいくつかは、添付の特許請求の範囲に特定されている。しかし本発明の実施形態は、特許請求の範囲や明細書及び図面に明示的に記載されるものに限定されず、本発明の思想を逸脱することなく、様々な形態をとることが可能である。本発明は、本願特許請求の範囲や明細書及び図面に明示的に開示されるか否かにかかわらず、これらの書類から教示されうるあらゆる新規かつ有益な構成を、その範囲に含むものである。
【発明を実施するための最良の形態】
【００１０】
以下、本発明の実施形態の例を、添付の図面を参照しながら詳しく説明する。
【００１１】
図１は、本発明の好適な実施形態の例である、映像データ形成装置１０のハードウェア構成の概要及びそれに接続される周辺機器を描いたものである。図１に描かれるように、映像データ形成装置１０は、CPU１２や主記憶装置１４，補助記憶装置１６などを備える一般のコンピュータであることができ、その特徴的な機能は、主にソフトウェア処理によって提供される。補助記憶装置１６は、ハードディスクやフラッシュメモリ、またはDVD-読み取り装置等の光ディスク装置などであることができ、映像データ形成装置１０の電源が入っていないとき、映像データ形成装置１０を情報処理装置たらしめるソフトウェアは、この補助記憶装置１６に格納されている。映像データ形成装置１０に電源が投入されると、補助記憶装置１６に格納されていたソフトウェアコードの全部または一部が、高速な記憶装置である主記憶装置１４にコピーされ、CPU１２の制御に用いられる。
【００１２】
映像データ形成装置１０には、会議収録装置４０が接続されることができる。会議収録装置４０は、全周カメラと複数のマイクを備え、一度に360度全周囲の映像及び音声の収集を行うことができる。したがって会議収録装置４０は、図２に描かれるような、円卓会議の収録に適している。
【００１３】
全周カメラは、特殊な鏡面構造を有するレンズを用いることで、単一のカメラによって360度の風景を撮影することを可能にしたカメラである。広角レンズを備えた複数のカメラの出力映像をソフトウェア的に合成して作成することによって、360度の映像を撮影することを可能にしたカメラもある。全周カメラによって撮影された全周映像は平面状の映像に変換され、デジタルデータとして保存される。図１の例では、このような変換及び映像データのA/D変換を行なうための映像処理回路２０が映像データ形成装置１０に備えられている。しかしながら、このような映像信号に対する処理を行う装置は、会議収録装置４０の方に備えられていてもよい。図１の例において、会議収録装置４０から出力されるアナログの映像信号は、信号線４２ａを介して映像処理回路２０に入力し、映像処理回路２０でA/D変換されると共に、映像処理回路２０及びCPU１２によって所定の処理が施され、補助記憶装置１６にデジタルデータとして記憶される。このデジタルデータは、例えばH.263形式のビデオストリームであることができる。CPU１２に所定の機能を実行させるためのソフトウェアは、前述のように、主記憶装置１４または補助記憶装置１６に格納されている。
【００１４】
会議収録装置４０が備える複数のマイクは、音源位置の特定を可能とするために、放射状に配置されていることが好ましい。それぞれのマイクで収録された音声信号はそれぞれ独立に保存される。図１の例では、会議収録装置４０から出力される複数のアナログ音声信号が、信号線４２ｂ〜４２ｄを介して音声処理回路１８に入力し、A/D変換されてデジタルデータとして補助記憶装置１６に記憶される。しかしながら、マイクで収録された音声信号に対して所定の処理を行う回路は、会議収録装置４０の側に備えられていてもよい。
【００１５】
なお、図１の例では３本の音声チャネルしか記載されていないが、実際にはもっと多くのマイクを用いて収録を行っても構わないことはいうまでもない。可能であれば、８チャンネル程度の収録を行うことが望ましい。
【００１６】
図１の例において、会議収録装置４０で収集された映像及び音声は、信号線４２ａ〜４２ｄを介して映像データ形成装置１０に入力し、その記憶装置１６に保存されることとなっているが、実施形態によっては、会議収録装置４０の側で必要な信号処理及び記録を行い、データの映像データ形成装置１０への移動は、データを収録したDVDディスクを映像データ形成装置１０に接続されたディスク読み取り装置で読みとらせることによって行ってもよい。
【００１７】
このほか、映像データ形成装置１０は、キーボード７０やマウス８０を接続するためのインタフェース２６，２８を備える。キーボード７０やマウス８０は、オペレータが、映像データ形成装置１０に所定の指示を与えるために使用されることができる。また映像データ形成装置１０は、ディスプレイ５０を接続するための映像出力回路２２と、スピーカ６０を接続するための音声出力回路２４を備えることができる。映像出力回路２２と音声出力回路２４は、CPU１２の指示に基づき、それぞれ、ディスプレイ５０やスピーカ６０で映像・音声の再生を行なうために必要な信号を生成する。
【００１８】
図２を参照すると、全周映像のデータは、視聴者２００を中心に周囲３６０度の映像情報（符号２０２で表す）を含んでいる。しかしながら、ディスプレイ装置のスクリーンは小さいため、３６０度の映像情報を一度に表示すると、被写体が非常に小さくなってしまい、あまり好ましいものではない。そこで映像データ形成装置１０は、全周映像２０２の一部（図２で角θで表した領域）のみを、ディスプレイ５０に表示するように構成されている。そのかわり映像データ形成装置１０は、全周映像２０２を視聴者２００を中心に仮想的に回転させることにより、所望の領域をディスプレイ５０に表示させることができる。この回転は、マウス８０をドラッグしたり、キーボード７０の左右キーを押したりするなどの方法で、映像データ形成装置１０のオペレータが自由に行うことができる。無論、ジョイスティックやタッチパネル、音声操作装置など、どのようなユーザインタフェースを用いて回転を行っても構わない。
【００１９】
映像データ形成装置１０は、映像を円筒に投影した場合に、その円筒の中心から見た眺めを再現するような映像データを形成しうるように構成されることが好ましい。このような、半円筒状に表示する映像データをディスプレイ５０に表示させることで、平面的なスクリーンであっても立体的な映像を映し出すことができる。このような技術は既に知られており、前述のQuicktime VRはその一例である。
【００２０】
図３は、映像データ形成装置１０の機能ブロック図である。前述のとおり、これらの機能は、主に記憶装置１４又は／及び１６に格納されるソフトウェアの命令を実行するCPU１２によって遂行される。
【００２１】
会議収録装置４０を用いて収録された映像・音声データのうち、音声データは、音声入力部３００を介して音方向検出部３０２に供給され、映像データは映像入力部３０１を介して人物方向検出部３０４及び映像切り出し・反転部３１４に供給される。この映像データは、視野３６０度の全周映像を構成することができ、音声データは個々のチャネルが別々のマイクに対応した複数のチャンネルのデータから構成されている。各チャンネルの音声には、会議参加者とそれぞれのマイクの間の近さによって同じ参加者の声が音量や位相が変化して記録されており、それら音声を既知の信号処理技術（例えば、特開2007-233239号公報に記載される技術）を用いて相互に比較することにより、話者の方向を推定することができる。
【特許文献１】特開2007-233239号公報
【００２２】
音方向検出部３０２による話者方向の推定結果は人物方向検出部３０４に供給される。人物方向検出部３０４は、音方向検出部３０２によって推定された各人物の発する声の方向と共に、映像から顔検出アルゴリズムを用いて検出した人物の顔位置を用いて、人物方向を推定する。顔検出アルゴリズムには、例えば、Haar特徴と多段弱識別器を用いたアルゴリズムを用いることができる。
【００２３】
注目方向入力部３０６は、ユーザにより指定された注目方向を、次の切り出し位置計算部３１２に伝えるセクションである。前述のように、映像データ形成装置１０は、全周映像を円筒中心に対して仮想的に回転させることで、全周映像の任意の領域をディスプレイ５０に表示させることができる。映像データ形成装置１０のユーザは、所望の映像が表示されている方向を、注目方向として自由に指定することができる。この指定は、キーボード７０やマウス８０など、適当なユーザインタフェースを用いて行うこととすることができる。また、いつでも変更することができるように映像データ形成装置１０を構成することが好ましい。
【００２４】
なお、「注目方向」との用語における「方向」とは、全周映像により形成される仮想的な円筒の中心から見た角度を意味する。従って、全周映像には、基準となる位置を予め定めておくことが好ましい。円筒中心から見てその基準位置が正面に来る場合を０度として、角度を定義することができる。
【００２５】
注目方向は自動で設定されるように構成してもよい。注目方向自動判定部３０８は、このような目的のためのセクションであり、音方向検出部３０２によって検出された人物方向や発話時間等から注目方向を自動的に設定する。例えば、各時刻の各人物の発話情報から、その時刻において一番長時間発話している人物を算出し、その人物がいる方向を注目方向として設定するように構成することができる。注目方向の自動設定と手動設定は切り替え可能であることが好ましく、また、自動設定中であっても、オペレータの操作により手動で注目方向の設定がなされた場合には、それを優先するように構成されることが好ましい。
【００２６】
切り出し位置計算部３１２は、注目方向入力部３０６又は注目方向自動判定部３０８から供給される注目方向データと、人物方向検出部３０４から供給される人物位置データに基づいて、全周映像データから、出力用の映像として切り出す範囲を計算する。この計算は様々なものであることができるが、以下に、図４〜図６を用いてその一例を説明する。
【００２７】
図４のように、円卓Ｔを囲んでＡ，Ｂ，Ｃの三者が会議をしている様子を、円卓Ｔの中心に設置した全方位カメラによって撮影するとする。このとき全方位カメラによって撮影される映像は、図５のようになる。ただし図５は、３６０度全ての範囲の映像を平面状に描いたものであって、３６０度全ての範囲の映像が一度にディスプレイに表示されるわけではないことに留意されたい。
【００２８】
図６に描かれるように、全方位カメラの正面方向と注目方向とのなす角をΦ、全方位カメラの正面方向と注目方向背後の人物方向とのなす角をθ、注目方向の視野角をφとそれぞれ定義する。また、全周映像の横幅をｗとする。このとき切り出し位置計算部３１２は、注目方向前方の映像データを形成するための範囲として、［w/2+w/2*((Φ-φ)/360)，w/2+w/2*((Φ+φ)/360)］を計算する。視野角φはディスプレイの横幅に依存して設定される値である。通常90度よりすこし少ない80度程度が設定される。
【００２９】
また切り出し位置計算部３１２は、注目方向背後人物箇所の映像の映像データを形成するための範囲として、w/2+w/2*(θ/360)を中心として左右それぞれ予め定められた範囲を計算する。
【００３０】
なお、この計算はほんの一例であり、具体的な要求に応じてさまざまな計算方法があり得ることは留意すべきである。
【００３１】
映像切り出し・反転部３１４は、切り出し位置計算部３１２から供給される計算結果に基づいて、全周映像データから、注目方向前方の映像データを形成するためのデータ及び注目方向後方の映像データを形成するためのデータを切り出す。この様子が図７に描かれている。７００で表された全周映像データから、注目方向前方の映像として、［w/2+w/2*((Φ-φ)/360)，w/2+w/2*((Φ+φ)/360)］で囲まれた範囲のデータ７０２のみが切り出され、注目方向後方に位置する人物の映像のために、w/2+w/2*(θ/360)を中心とした所定の幅の映像データ７０４が切り取られている。このような切り出しは、例えば、メモリ上に展開された全体映像の画素列から、指定された範囲の画素を抜き出すことで実現することができる。
【００３２】
さらに映像切り出し・反転部３１４は、注目方向後方に位置する人物の映像の左右を反転する。これは、注目方向後方に位置する人物と、注目方向前方に位置する人物との関係を自然に見せるためである。映像の反転は、画素列を反転することで容易に行うことができる。
【００３３】
出力映像形成部３１６は、注目方向後方に位置する人物の映像データを、注目方向前方の映像データに合成する。この様子が図８に描かれている。図８Ａは、注目方向前方の映像を図示したものである。これに、注目方向後方に位置する人物の映像データを合成すると、図８Ｂのようになる。注目方向後方に位置する人物の映像が左右反転されていることで、注目方向前方の人物Ａと注目方向後方の人物Ｂとの対応関係が自然に表現されている。注目方向後方の人物の映像を合成する位置は、注目方向前方の映像データの表示の横幅をｐとするとき、p/2+p/2*cos(Φ+θ)の位置とすることができる。むろん、かかる計算式は例に過ぎず、他の計算式によって合成位置を求めてもよい。
【００３４】
さて、図８Ｂのような表示は、特に、人物Ｃが話者であるときに有用であると思われる。注目方向後方の人物が話者であるときは、そのままでは画面で誰が話しているかを確認できず、不便であるからである。一方、注目方向前方の人物が話者であるときは、画面で誰が話しているかを確認できるので、注目方向後方の人物の映像をスーパーインポーズすることは、実装上の要求によっては不要とされるかもしれない。
【００３５】
このような要求に対応するため、映像データ形成装置１０は、表示・非表示制御部３１０を備えている。表示・非表示制御部３１０は、音方向検出部３０２による話者方向の推定結果に基づき、注目方向後方の人物が話者ではないときは、注目方向後方の人物の映像のスーパーインポーズを行なわないように、出力映像形成部３１６を制御する。これによって、注目方向後方の人物が話者であるときのみ、図８Ｂのような映像が表示されることになる。
【００３６】
前述のとおり、図３に描いた映像データ形成装置１０の各機能３００〜３１６は、主に、記憶装置１４又は／及び１６に格納されるソフトウェアの命令を実行するCPU１２によって遂行されることができる。しかしながら、各機能の遂行には、CPU１２以外のハードウェアが関与する場合があることは、言うまでもない。例えば、音声入力部３００や映像入力部３０１には、音声や映像の信号を伝達するための回路が関与する場合があり、また、注目方向入力部３０６は、ユーザインタフェースの制御が関わってくる。さらに、ディスプレイ５０に供給される映像信号を形成するためには、ＣＰＵ１２だけで処理を行うよりも、映像信号を形成するための専用のハードウェアを用いたほうが高速に処理を行うことができる場合がある。また、さらなる高速化のために、機能３００〜３１６の一部を専用のハードウェア回路を用いて実装したり、ＦＰＧＡなどのプログラマブルロジック回路を用いて実装したりすることも考えられる。当業者であれば、本明細書の開示から、様々な実装形態に容易に想到することが可能であることが疑いない。
【００３７】
図９を用いて映像データ形成装置１０の動作の一例をフローチャートで説明する。
【００３８】
符号９００は動作の開始を表す。ステップ９０２では、全周映像を構成するデータ（映像・音声）が主記憶装置１４に読み込まれる。このとき読み込まれるデータの量は、むろんのこと、全収録時間のデータである必要はなく、一部の時間のデータで十分である。ステップ９０４では、注目方向の決定が行われる。前述のように、注目方向の決定は、オペレータがユーザインタフェース７０，８０などを利用して行うことができ、また、音声データから同定した話者の位置や発話時間などに基づいて自動的に行なうこともできる。
【００３９】
ステップ９０６では、注目方向前方の映像の切り出しが行われる。前述の例では、全周映像の基準方向と注目方向とのなす角をΦ、注目方向の視野角をφ、全周映像の横幅をｗとしたとき、切り出される範囲は［w/2+w/2*((Φ-φ)/360)，w/2+w/2*((Φ+φ)/360)］で囲まれた範囲とする。
【００４０】
並行して、ステップ９０８では、発話位置の同定や顔認識手段を用いて、注目方向後方の人物の検出が行われる。この検出経過に基づき、ステップ９１０では、注目方向後方の人物の映像の切り出しが行われる。前述の例では、全周映像の基準方向と注目方向後方の人物とのなす角をθとしたとき、w/2+w/2*(θ/360)を中心とした所定の幅の映像が全周映像から切り出される。
【００４１】
ステップ９１２では、注目方向後方の人物の発話の有無の判定し、発話があると判定された場合に限り、ステップ９０６で切り出した注目方向前方の映像データと、ステップ９１０で切り出した注目方向後方の人物の映像データとが合成され、ステップ９１６で出力用の映像信号として構成される。注目方向後方の人物が発話していないと判定された場合、ステップ９１６では、注目方向前方の映像データのみを使用して出力用の映像データを構成する。
【００４２】
ステップ９１８では、構成された映像データがディスプレイへ出力され、ステップ９０２へと戻り、次のフレームの処理を行う。符号９２０は動作の終了を示す。
【００４３】
以上、本発明の実施形態の例について説明してきたが、これはあくまで例に過ぎず、本願発明の実施形態を限定する意図で紹介したものではないことは言うまでもない。本発明は、本発明の思想を逸脱せずに様々な実施形態を取りうるものである。
【図面の簡単な説明】
【００４４】
【図１】本発明の実施例である映像データ形成装置１０のハードウェア構成及びその周辺機器の概略を説明するための図である。
【図２】全周映像の表示方法を説明するための図である。
【図３】映像データ形成装置１０の機能構成を説明するための図である。
【図４】全周映像の収録の様子を説明するための図である。
【図５】全方位カメラによって撮影される映像を説明するための図である。
【図６】映像の切り出しを行うための角度の定義を説明するための図である
【図７】映像の切り出しの様子を説明するための図である。
【図８】映像の合成の様子を説明するための図である。
【図９】映像データ形成装置１０の動作を説明するための図である。
【符号の説明】
【００４５】
１０ 映像データ形成装置
１２ ＣＰＵ
１４ 主記憶装置
１６ 補助記憶装置
１８ 音声処理回路
２０ 映像処理回路
２２ 映像出力回路
２４ 音声出力回路
２６，２８ インタフェース
４０ 会議収録装置
４２ａ-４２ｄ 信号線
５０ ディスプレイ
６０ スピーカ
７０ キーボード
８０ マウス
２００ 視聴者
２０２ 全周映像
３００ 音声入力部
３０１ 映像入力部
３０２ 音方向検出部
３０４ 人物方向検出部
３０６ 注目方向入力部
３０８ 注目方向自動判定部
３１０ 表示・非表示制御部
３１２ 位置計算部
３１４ 反転部
３１６ 出力映像形成部
【特許請求の範囲】
【請求項１】
全周映像を構成するデータから、該全周映像の注目方向前方を表示するための映像データを形成する手段と、
前記全周映像データから、該全周映像において前記注目方向の後方に位置する人物が含まれる映像データを抽出する手段と、
前記抽出した映像データを前記注目方向前方の映像データに合成する手段と、
を具備する映像データ形成装置。
【請求項２】
前記注目方向前方の映像データを形成する手段は、該注目方向前方を半円筒状に表示する映像データを形成するように構成される、請求項１に記載の映像データ形成装置。
【請求項３】
前記注目方向をユーザが任意に定めることを可能にするＵＩを備える、請求項１又は２に記載の映像データ形成装置。
【請求項４】
前記全周映像データに付随する音声データから音源位置の同定を行う手段をさらに備え、前記音源位置同定の結果に基づいて自動的に前記注目方向を定めるように構成される、請求項１から３のいずれかに記載の映像データ形成装置。
【請求項５】
前記音源位置同定手段により、前記注目方向後方で音源位置を同定することにより、前記注目方向の後方の人物の位置を同定するように構成される、請求項４に記載の映像データ形成装置。
【請求項６】
前記注目方向後方に音源が同定されない場合は、前記注目方向後方の映像データの抽出又は／及び前記抽出した映像データの前記注目方向前方の映像データへの合成を行わない、請求項４又は５に記載の映像データ形成装置。
【請求項７】
映像データに含まれる人物の顔を検出する顔検出手段を備え、前記注目方向後方において検出された顔の位置に基づいて前記注目方向後方の人物の位置を同定するように構成される、請求項１から６のいずれかに記載の映像データ形成装置。
【請求項８】
前記合成する手段は、前記抽出した映像データを左右反転した上で前記注目方向前方の映像データに合成するように構成される、請求項１から７のいずれかに記載の映像データ形成装置。
【請求項９】
前記全周映像の基準方向と前記注目方向とのなす角をΦ、前記注目方向の視野角をφ、前記基準方向と前記注目方向後方の人物とのなす角をθ、前記全周映像の横幅をｗとしたとき、
前記注目方向前方の映像データを形成する手段は、前記全周映像から［w/2+w/2*((Φ-φ)/360)，w/2+w/2*((Φ+φ)/360)］で囲まれる範囲の映像を切り出し、
前記注目方向後方の映像データを抽出する手段は、w/2+w/2*(θ/360)を中心とした所定の幅の映像を切り出すように構成される、請求項１から８のいずれかに記載の映像データ形成装置。
【請求項１０】
さらに、前記合成する手段は、前記注目方向前方の映像データの表示の横幅をｐとするとき、前記注目方向後方の映像データを、p/2+p/2*cos(Φ+θ)の位置に合成するように構成される、請求項９に記載の映像データ形成装置。
【請求項１１】
全周映像を構成するデータから、該全周映像の注目方向前方を表示するための映像データを形成するステップと、
前記全周映像データから、該全周映像において前記注目方向の後方に位置する人物が含まれる映像データを抽出するステップと、
前記抽出した映像データを前記注目方向前方の映像データに合成するステップと、
を含む、映像データ形成装置の動作方法。
【請求項１２】
全周映像を構成するデータから、該全周映像の注目方向前方を表示するための映像データを形成する手段；
前記全周映像データから、該全周映像において前記注目方向の後方に位置する人物が含まれる映像データを抽出する手段；
前記抽出した映像データを前記注目方向前方の映像データに合成する手段；
としてコンピュータを動作させる、プログラム。
【請求項１３】
全周映像を構成するデータから、該全周映像の注目方向前方を表示するための映像データを形成し、前記全周映像データから、該全周映像において前記注目方向の後方に位置する人物が含まれる映像データを抽出し、前記抽出した映像データを前記注目方向前方の映像データに合成するように構成される、映像データ形成装置。
【請求項１】
全周映像を構成するデータから、該全周映像の注目方向前方を表示するための映像データを形成する手段と、
前記全周映像データから、該全周映像において前記注目方向の後方に位置する人物が含まれる映像データを抽出する手段と、
前記抽出した映像データを前記注目方向前方の映像データに合成する手段と、
を具備する映像データ形成装置。
【請求項２】
前記注目方向前方の映像データを形成する手段は、該注目方向前方を半円筒状に表示する映像データを形成するように構成される、請求項１に記載の映像データ形成装置。
【請求項３】
前記注目方向をユーザが任意に定めることを可能にするＵＩを備える、請求項１又は２に記載の映像データ形成装置。
【請求項４】
前記全周映像データに付随する音声データから音源位置の同定を行う手段をさらに備え、前記音源位置同定の結果に基づいて自動的に前記注目方向を定めるように構成される、請求項１から３のいずれかに記載の映像データ形成装置。
【請求項５】
前記音源位置同定手段により、前記注目方向後方で音源位置を同定することにより、前記注目方向の後方の人物の位置を同定するように構成される、請求項４に記載の映像データ形成装置。
【請求項６】
前記注目方向後方に音源が同定されない場合は、前記注目方向後方の映像データの抽出又は／及び前記抽出した映像データの前記注目方向前方の映像データへの合成を行わない、請求項４又は５に記載の映像データ形成装置。
【請求項７】
映像データに含まれる人物の顔を検出する顔検出手段を備え、前記注目方向後方において検出された顔の位置に基づいて前記注目方向後方の人物の位置を同定するように構成される、請求項１から６のいずれかに記載の映像データ形成装置。
【請求項８】
前記合成する手段は、前記抽出した映像データを左右反転した上で前記注目方向前方の映像データに合成するように構成される、請求項１から７のいずれかに記載の映像データ形成装置。
【請求項９】
前記全周映像の基準方向と前記注目方向とのなす角をΦ、前記注目方向の視野角をφ、前記基準方向と前記注目方向後方の人物とのなす角をθ、前記全周映像の横幅をｗとしたとき、
前記注目方向前方の映像データを形成する手段は、前記全周映像から［w/2+w/2*((Φ-φ)/360)，w/2+w/2*((Φ+φ)/360)］で囲まれる範囲の映像を切り出し、
前記注目方向後方の映像データを抽出する手段は、w/2+w/2*(θ/360)を中心とした所定の幅の映像を切り出すように構成される、請求項１から８のいずれかに記載の映像データ形成装置。
【請求項１０】
さらに、前記合成する手段は、前記注目方向前方の映像データの表示の横幅をｐとするとき、前記注目方向後方の映像データを、p/2+p/2*cos(Φ+θ)の位置に合成するように構成される、請求項９に記載の映像データ形成装置。
【請求項１１】
全周映像を構成するデータから、該全周映像の注目方向前方を表示するための映像データを形成するステップと、
前記全周映像データから、該全周映像において前記注目方向の後方に位置する人物が含まれる映像データを抽出するステップと、
前記抽出した映像データを前記注目方向前方の映像データに合成するステップと、
を含む、映像データ形成装置の動作方法。
【請求項１２】
全周映像を構成するデータから、該全周映像の注目方向前方を表示するための映像データを形成する手段；
前記全周映像データから、該全周映像において前記注目方向の後方に位置する人物が含まれる映像データを抽出する手段；
前記抽出した映像データを前記注目方向前方の映像データに合成する手段；
としてコンピュータを動作させる、プログラム。
【請求項１３】
全周映像を構成するデータから、該全周映像の注目方向前方を表示するための映像データを形成し、前記全周映像データから、該全周映像において前記注目方向の後方に位置する人物が含まれる映像データを抽出し、前記抽出した映像データを前記注目方向前方の映像データに合成するように構成される、映像データ形成装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１０−３４８１２（Ｐ２０１０−３４８１２Ａ）
【公開日】平成２２年２月１２日（２０１０．２．１２）
【国際特許分類】
【出願番号】特願２００８−１９４３０５（Ｐ２００８−１９４３０５）
【出願日】平成２０年７月２９日（２００８．７．２９）
【出願人】（３０１０２１５３３）独立行政法人産業技術総合研究所 (6,529)
【Ｆターム（参考）】
【公開日】平成２２年２月１２日（２０１０．２．１２）
【国際特許分類】
【出願日】平成２０年７月２９日（２００８．７．２９）
【出願人】（３０１０２１５３３）独立行政法人産業技術総合研究所 (6,529)
【Ｆターム（参考）】
[ Back to top ]