撮影方法、撮影機、撮影装置、３次元画像形成方法、全方位３次元画像形成方法、投影装置、通信システム、表示装置、遠隔操作方法、及び監視方法
【課題】カメラ自身が写りこんでいる部分をステレオ画像の組合せ処理により取り除くことができ、よってカメラによる死角が生じず、低コストでありながら、広範囲な３次元画像をリアルタイムで撮影することができる撮影方法、撮影機、撮影装置、３次元画像形成方法、全方位３次元画像形成方法、並びにかかる技術を用いた投影装置、通信システム、表示装置、遠隔操作方法、及び監視方法を提供する。
【解決手段】カメラＣ１〜Ｃ３で、同期して撮影すると、カメラＣ１で撮影する領域と、カメラＣ２で撮影する領域とが一部重なることとなる。かかる場合、カメラＣ１から得られた画像を左目用の画像とし、カメラＣ２から得られた画像を右目用の画像とすれば、重複した撮影領域（第１の撮影領域）では３次元画像を撮影できることとなる。
【解決手段】カメラＣ１〜Ｃ３で、同期して撮影すると、カメラＣ１で撮影する領域と、カメラＣ２で撮影する領域とが一部重なることとなる。かかる場合、カメラＣ１から得られた画像を左目用の画像とし、カメラＣ２から得られた画像を右目用の画像とすれば、重複した撮影領域（第１の撮影領域）では３次元画像を撮影できることとなる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影方法、撮影機、撮影装置、３次元画像形成方法、全方位３次元画像形成方法、投影装置、通信システム、表示装置、遠隔操作方法、及び監視方法に関する。
【背景技術】
【０００２】
従来のステレオ画像の撮影方法は、一般的に、２台のカメラを一定の距離を離して、同一水平面に配置し、被写体に撮影方向を向けて撮影するものである。また、その周辺の被写体や背景の撮影も一緒に行うなら、カメラを載せた雲台毎、水平面内で回転させて複数枚の撮影をおこなって、得られた画像をつなぎ合わせて合成し、望みの画像を形成することが一般的である。又、カメラの光軸を撮影対象物に向けるのが常識である。
【０００３】
ここで、周辺の被写体や背景を撮影（あるいはパノラマ撮影）する場合に、複数枚の撮影を行うために、各撮影に時差が起こり、移動する被写体や変化する被写体は、かかる時差のために歪んで撮影されるなどして正確な画像が得られなかった。従って、例えば監視、観察等の利用には不適切であった。また、全方位の画像を撮影するために、球面鏡、円錐鏡、双曲面鏡、角錐鏡、放物面鏡などのミラー用いて撮影する方法もあるが、それらの方法では、ミラーの部分が死角となり、完全な半球や全球の画像が取得できないという問題がある。特に、全方位画像撮影装置では、カメラ本体が画像に写りこむことで死角となってしまう。更に、ミラーを用いる方法の多くは、同一鉛直軸上の２つのカメラによりステレオ視を行う際に、ステレオ対の方向が水平で無いために、全方位の見回しをステレオで途切れなく行うことができないという問題がある。これに対し、ミラーを用いずにリアルタイムで３次元画像を撮影するものとして、特許文献１，２に示すような全方位撮影装置が知られている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第３８２７９１２号明細書
【特許文献２】特開２０１０−２５６５３４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
より具体的には、特許文献１に示すステレオ画像撮影装置は、１２個のステレオカメラユニットを１２面体に取り付け、ユニット内のカメラ間隔を保ちながら、他のユニットの視野を妨げないように最適に組み合わせることで、全方向のカラー画像と３次元情報とをリアルタイムで取得できるものである。しかるに、特許文献１のステレオ画像撮影装置では、カメラ自身が写り込むことがなく、全周囲に加え、頭頂方向の画像もリアルタイムで撮影できるが、１２個のステレオカメラユニットが必要になるため、コスト高を招くという問題がある。更に、各カメラユニットの基線方向がバラバラなので、連続的な全方位のステレオ映像を見ることができない。
【０００６】
次に、特許文献２の図７に示す全方位撮像装置は、半径方向外側に向けた１６台のカメラを２つずつ対にして用いることで、カメラ自身が写りこむことがなく、８枚の３次元画像をリアルタイムで取得するものである。しかしながら、特許文献２の技術でも１６台のカメラが必要になり、また天頂方向の画像を撮影することは困難である。
【０００７】
本発明は、かかる問題点に鑑みてなされたものであり、各カメラの画像において、カメラ自身が写りこんでいる部分をステレオ画像の組合せ処理により取り除くことができ、よってカメラによる死角が生じず、低コストでありながら、広範囲な３次元画像をリアルタイムで撮影することができる撮影方法、撮影機、撮影装置、３次元画像形成方法、全方位３次元画像形成方法、並びにかかる技術を用いた投影装置、通信システム、表示装置、遠隔操作方法、及び監視方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
請求項１に記載の撮影方法は、広角レンズ又は超広角レンズを有する少なくとも３台のカメラを、同一平面の同一円周上に配設し、前記円周上の前記少なくとも３台のカメラの間のそれぞれの円弧の長さが等しくなるように配置して、且、前記平面に垂直で同一の撮影方向に前記少なくとも３台のカメラを配置し、同期して撮影することを特徴とする。
【０００９】
本発明の原理を、図１を参照して説明する。尚、本発明にて単に「画像」というときは、「映像」も含むことがあるものとする。図１において、広角レンズＬ１〜Ｌ３（又は超広角レンズ）をそれぞれ有する３台のカメラＣ１〜Ｃ３を、同一平面の同一円周上に配設している。又、３台のカメラＣ１〜Ｃ３のうち隣接するもの（その光軸）同士の間における円弧の長さが等しくなっている。尚、カメラＣ１〜Ｃ３の形状が同じである場合、同一仮想平面（ここでは水平面ＨＰ）の同一円周上に、各撮像面（撮像素子の受光面或いは銀塩フィルム面）の中心が位置するとともに、隣接するもの撮像面の中心間における円弧の長さが等しくなっているようにすると好ましい。
【００１０】
更に、仮想平面に垂直で同一の撮影方向に３台のカメラＣ１〜Ｃ３を配置している。これは、カメラＣ１〜Ｃ３の光軸Ｘ１〜Ｘ３が互いに平行であることを意味する。
【００１１】
かかる状態に配置したカメラＣ１〜Ｃ３で、同期して撮影すると、カメラＣ１で撮影する領域と、カメラＣ２で撮影する領域とが一部重なることとなる。かかる場合、カメラＣ１から得られた画像を左目用の画像とし、カメラＣ２から得られた画像を右目用の画像とすれば、重複した撮影領域（第１の撮影領域）では３次元画像（ステレオ画像ともいう）を撮影できることとなる。又、カメラＣ２で撮影する領域と、カメラＣ３で撮影する領域とが一部重なるから、カメラＣ２から得られた画像を左目画像とし、カメラＣ３から得られた画像を右目用の画像とすれば、重複した撮影領域（第１の撮影領域とは異なる第２の撮影領域）では３次元画像を撮影できることとなる。更に、カメラＣ３で撮影する領域と、カメラＣ１で撮影する領域とが一部重なるから、カメラＣ３から得られた画像を左目画像とし、カメラＣ１から得られた画像を右目用の画像とすれば、重複した撮影領域（第１及び第２の撮影領域とは異なる第３の撮影領域）では３次元画像を撮影できることとなる。又、得られた３次元画像に基づき、被写体までの距離などの情報を求めることができる。
【００１２】
かかる場合、カメラの光軸Ｘ１〜Ｘ３が仮想平面に垂直であるが、カメラＣ１〜Ｃ３は広角レンズＬ１〜Ｌ３を有しているので、その画角の範囲内で、光軸方向のみならず、全周の画像をリアルタイムに撮影できる。本発明によれば、同じカメラで撮影した画像を、右目用の画像及び左目用の画像として用いることで、少ない数のカメラを用いて全周の３次元画像をリアルタイムで撮影できることとなる。尚、広角レンズＬ１〜Ｌ３により撮影した画像には歪みが生じるが、これは画像処理等により平面画像に変換可能である。
【００１３】
請求項２に記載の撮影方法は、それぞれの特性が同一の前記少なくとも３台のカメラを用い、前記平面を水平面とし、前記撮影方向を天に向けて前記撮影を実行することを特徴とする。これにより、天頂方向を含む広範囲の被写体を撮影できる。
【００１４】
請求項３に記載の撮影方法は、前記広角レンズ又は超広角レンズが、６０度以上の画角を有することを特徴とする。これにより、広範囲の被写体を撮影できる。
【００１５】
請求項４に記載の撮影方法は、前記広角レンズ又は超広角レンズが魚眼レンズであることを特徴とする。これにより、更に広範囲の被写体を撮影できる。
【００１６】
請求項５に記載の撮影方法は、前記カメラが４台であることを特徴とする。カメラの数は、３台だけでなく、４台でも良いし、更に多くしても良い。
【００１７】
請求項６に記載の撮影方法は、前記カメラがデジタルカメラであることを特徴とする。これにより得られた画像に対し画像処理を容易に行える。
【００１８】
請求項７に記載の撮影方法は、前記カメラが、ムービーカメラであることを特徴とする。本発明は、特に移動又は変化する被写体をリアルタイムで撮影するのに好適である。
【００１９】
請求項８に記載の撮影方法は、前記カメラが、複数のマイクロフォンとそれぞれの前記マイクロフォンが集音した音を録音するディバイスを配置したことを特徴とする。例えば、図１のカメラＣ１〜Ｃ３に各々マイクロフォンを搭載して、集音することも可能である。これにより、ステレオで録音した音を再生するのに好都合である。
【００２０】
請求項９に記載の撮影機は、広角レンズ又は超広角レンズを有する少なくとも３台のカメラを、同一平面上の同一円周上に配設し、前記円周上の前記少なくとも３台のカメラの間のそれぞれの円弧の長さが等しくなるように配置して、且、前記平面に垂直で同一の撮影方向に前記少なくとも３台のカメラを配置し、同期撮影機構を備えたことを特徴とする。
【００２１】
図１を参照して説明したように、本発明の撮影機によれば、同じカメラで撮影した画像を、右目用の画像及び左目用の画像として用いることで、少ない数のカメラを用いて全周の３次元画像をリアルタイムで撮影できる。
【００２２】
請求項１０に記載の撮影機は、それぞれの前記少なくとも３台のカメラの特性が同一であることを特徴とする。これにより、均一な３次元画像を得ることができる。
【００２３】
請求項１１に記載の撮影機は、前記広角レンズ又は超広角レンズが魚眼レンズであることを特徴とする。これにより、更に広範囲の被写体を撮影できる。
【００２４】
請求項１２に記載の撮影機は、前記カメラが４台であることを特徴とする。カメラの数は、３台だけでなく、４台でも良いし、更に多くしても良い。
【００２５】
請求項１３に記載の撮影機は、前記カメラがデジタルカメラであることを特徴とする。これにより得られた画像に対し画像処理を容易に行える。
【００２６】
請求項１４に記載の撮影機は、前記少なくとも３台のカメラがそれぞれデジタルムービーカメラであり、それぞれの前記カメラが録音ディバイスを有することを特徴とする。本発明は、特に移動又は変化する被写体と音をリアルタイムで撮影するのに好適である。
【００２７】
請求項１５に記載の撮影装置は、第一の広角レンズ又は超広角レンズを有する第一の少なくとも３台のカメラを、第一の同一平面上の第一の同一円周上に配設し、前記第一の円周上の前記第一の少なくとも３台のカメラの間のそれぞれの第一の円弧の長さが等しくなるように配置して、且、前記第一の平面に垂直で第一の同一の撮影方向に前記第一の少なくとも３台のカメラを配置し、第一の同期撮影機構を備えた第一の撮影機と第二の広角レンズ又は超広角レンズを有する第二の少なくとも３台のカメラを、第二の同一平面上の第二の同一円周上に配設し、前記第二の円周上の前記第二の少なくとも３台のカメラの間のそれぞれの第二の円弧の長さが等しくなるように配置して、且、前記第二の平面に垂直で第二の同一の撮影方向に前記第二の少なくとも３台のカメラを配置し、第二の同期撮影機構を備えた第二の撮影機とを前記第一の撮影方向と前記第二の撮影方向を逆方向になるように、背中合わせに配置したことを特徴とする。
【００２８】
本発明の原理を、図２を参照して説明する。図２において、第１の撮影機として、広角レンズＬ１〜Ｌ３（又は超広角レンズ）をそれぞれ有する３台のカメラＣ１〜Ｃ３を、不図示の第１の同期撮影機構に連結した状態で、同一平面（第１平面）の同一円周上に配設している。又、３台のカメラＣ１〜Ｃ３のうち隣接するもの同士の間における円弧の長さが等しくなっている。更に、第２の撮影機として、広角レンズＬ４〜Ｌ６（又は超広角レンズ）をそれぞれ有する３台のカメラＣ４〜Ｃ６を、不図示の第２の同期撮影機構に連結した状態で、且つ各々カメラＣ１〜Ｃ３に背面合わせの状態で、同一平面（第１平面に近接して平行な第２平面）の同一円周上に配設している。よって、３台のカメラＣ４〜Ｃ６のうち隣接するもの同士の間における円弧の長さが等しくなっている。
【００２９】
更に、第１平面に垂直で同一の撮影方向に３台のカメラＣ１〜Ｃ３を配置している。これは、カメラＣ１〜Ｃ３の光軸Ｘ１〜Ｘ３が互いに平行であることを意味する。又、第２平面に垂直で同一の撮影方向に３台のカメラＣ４〜Ｃ６を配置している。これは、カメラＣ４〜Ｃ６の光軸Ｘ４〜Ｘ６が互いに平行であることを意味する。但し、３台のカメラＣ１〜Ｃ３の撮影方向は真上であり、逆に３台のカメラＣ４〜Ｃ６の撮影方向は真下である。
【００３０】
かかる状態に配置したカメラＣ１〜Ｃ３で、同期して撮影すると、カメラＣ１で撮影する領域と、カメラＣ２で撮影する領域とが一部重なることとなる。かかる場合、カメラＣ１から得られた画像を左目用の画像とし、カメラＣ２から得られた画像を右目用の画像とすれば、重複した撮影領域（第１の撮影領域）では３次元画像を撮影できることとなる。又、カメラＣ２で撮影する領域と、カメラＣ３で撮影する領域とが一部重なるから、カメラＣ２から得られた画像を左目画像とし、カメラＣ３から得られた画像を右目用の画像とすれば、重複した撮影領域（第１の撮影領域とは異なる第２の撮影領域）では３次元画像を撮影できることとなる。更に、カメラＣ３で撮影する領域と、カメラＣ１で撮影する領域とが一部重なるから、カメラＣ３から得られた画像を左目画像とし、カメラＣ１から得られた画像を右目用の画像とすれば、重複した撮影領域（第１及び第２の撮影領域とは異なる第３の撮影領域）では３次元画像を撮影できることとなる。又、得られた３次元画像に基づき、被写体までの距離などの情報を求めることができる。
【００３１】
更に、カメラＣ４〜Ｃ６で、同期して撮影すると、カメラＣ４で撮影する領域と、カメラＣ５で撮影する領域とが一部重なることとなる。かかる場合、カメラＣ４から得られた画像を左目用の画像とし、カメラＣ５から得られた画像を右目用の画像とすれば、重複した撮影領域（第４の撮影領域）では３次元画像を撮影できることとなる。又、カメラＣ５で撮影する領域と、カメラＣ６で撮影する領域とが一部重なるから、カメラＣ５から得られた画像を左目画像とし、カメラＣ６から得られた画像を右目用の画像とすれば、重複した撮影領域（第４の撮影領域とは異なる第５の撮影領域）では３次元画像を撮影できることとなる。更に、カメラＣ６で撮影する領域と、カメラＣ４で撮影する領域とが一部重なるから、カメラＣ６から得られた画像を左目画像とし、カメラＣ４から得られた画像を右目用の画像とすれば、重複した撮影領域（第４及び第５の撮影領域とは異なる第６の撮影領域）では３次元画像を撮影できることとなる。又、得られた３次元画像に基づき、被写体までの距離などの情報を求めることができる。
【００３２】
つまり本発明によれば、同じカメラで撮影した画像を、右目用の画像及び左目用の画像として用いることで、少ない数のカメラを用いて、前後左右に加え上下の、即ち全方位の３次元画像をリアルタイムで撮影できることとなる。尚、広角レンズＬ１〜Ｌ６により撮影した画像には歪みが生じるが、これは画像処理等により平面画像に変換可能である。
【００３３】
請求項１６に記載の撮影装置は、前記第一の少なくとも３台のカメラと前記第二の少なくとも３台のカメラの撮影軸が、前記第一のカメラの内の１台と、前記第二のカメラの内の１台のそれぞれの対で同一であることを特徴とする。即ち、図２で示す光軸Ｘ１とＸ４，Ｘ２とＸ５，Ｘ３とＸ６が一致していると好ましい。
【００３４】
請求項１７に記載の撮影装置は、前記第一の少なくとも３台のカメラと前記第二の少なくとも３台のカメラは、デジタルカメラであり、全部のカメラの合計が８台であることを特徴とする。カメラの数は、これに限られない。
【００３５】
請求項１８に記載の撮影装置は、前記広角レンズ又は超広角レンズが魚眼レンズであることを特徴とする。これにより、更に広範囲の被写体を撮影できる。
【００３６】
請求項１９に記載の撮影装置は、前記第一の少なくとも３台のカメラと前記第二の少なくとも３台のカメラが、デジタルカメラであることを特徴とする。これにより得られた画像に対し画像処理を容易に行える。
【００３７】
請求項２０に記載の撮影装置は、前記第一の少なくとも３台のカメラと前記第二の少なくとも３台のカメラが、ムービーカメラであることを特徴とする。本発明は、特に移動又は変化する被写体をリアルタイムで撮影するのに好適である。
【００３８】
請求項２１に記載の３次元画像形成方法は、
広角レンズ又は超広角レンズを備えた３個以上のカメラを同一円周上で、それぞれのカメラを仮想で結ぶ円弧の長さが同じであり、前記円周面に垂直で、光軸が同一方向になるように、且つ互いの撮影範囲が重なるように配置して、同時に撮影を行うステップと
第１の領域で撮影範囲が重なった２つのカメラのうち左目側のカメラから得られた画像を用いて、前記第１の領域における左目用の画像を形成すると共に、右目側のカメラから得られた画像を用いて、前記第１の領域における右目用の画像を形成するステップと、
前記第１の領域とは異なるが隣接する第２の領域で撮影範囲が重なった２つのカメラのうちの一方であって、前記第１の領域を撮影する２つのカメラのうち前記左目側のカメラとは異なるカメラから得られた画像を用いて、前記２の領域における左目用の画像を形成するステップを含むことを特徴とする。
【００３９】
図１を参照し、カメラＣ１〜Ｃ３を用いて同時に撮影を行った後、第１の領域で撮影範囲が重なった２つのカメラＣ１、Ｃ２のうち、左目側のカメラＣ１から得られた画像を用いて、第１の領域における左目用の画像を形成すると共に、右目側のカメラＣ２から得られた画像を用いて、第１の領域における右目用の画像を形成する。これにより第１の撮影領域の３次元画像を形成できる。次に、第１の撮影領域とは異なるが隣接する第２の領域で撮影範囲が重なった２つのカメラＣ２、Ｃ３のうち、左目側のカメラＣ２から得られた画像を用いて、第２の領域における左目用の画像を形成すると共に、右目側のカメラＣ３から得られた画像を用いて、第２の領域における右目用の画像を形成する。これにより第２の撮影領域の３次元画像を形成できる。更に、第１、２の撮影領域とは異なるが隣接する第３の領域で撮影範囲が重なった２つのカメラＣ３、Ｃ１のうち、左目側のカメラＣ３から得られた画像を用いて、第３の領域における左目用の画像を形成すると共に、右目側のカメラＣ１から得られた画像を用いて、第３の領域における右目用の画像を形成する。これにより第３の撮影領域の３次元画像を形成できる。以上により、カメラ周囲における全周の３次元画像を得ることができる。
【００４０】
請求項２２に記載の３次元画像形成方法は、前記カメラがデジタルカメラであり、１つのデジタルカメラから出力された画像信号を用いて、異なる撮影領域の右目用の画像と左目用の画像とを形成することを特徴とする。これにより、得られた画像の画像処理が容易になる。
【００４１】
請求項２３に記載の３次元画像形成方法は、前記カメラはムービーカメラであり、１つのムービーカメラから出力された画像信号を用いて、異なる撮影領域の右目用の映像と左目用の映像とを形成することを特徴とする。本発明は、特に移動又は変化する被写体の撮影に有効である。
【００４２】
請求項２４に記載の３次元画像形成方法は、前記カメラが、所定点を中心とする円周上に配置されて、前記広角レンズの光軸を平行としていることを特徴とする。
【００４３】
請求項２５に記載の３次元画像形成方法は、撮影範囲が重なった同一の領域を同時に撮影したときに、左目用の画像を形成するための前記カメラと、右目用の画像を形成するための前記カメラは、前記所定点を挟んだ対角上に位置することを特徴とする。例えば、２ｎ個（ｎは２以上の整数）のカメラを用いて撮影する場合に対応する。
【００４４】
請求項２６に記載の３次元画像形成方法は、前記広角レンズが魚眼レンズであることを特徴とする。
【００４５】
請求項２７に記載の３次元画像形成方法は、前記カメラから得られた画像が、円柱面に投影されるように画像処理された後、周方向に連結されることを特徴とする。
【００４６】
図１において、例えば左目側のカメラＣ１から得られた画像を用いて、第１の領域における左目用の画像を形成すると共に、右目側のカメラＣ２から得られた画像を用いて、第１の領域における右目用の画像を形成することで、重なった第１の撮影領域の３次元画像ＩＭ１を形成する。又、左目側のカメラＣ２から得られた画像を用いて、第２の領域における左目用の画像を形成すると共に、右目側のカメラＣ３から得られた画像を用いて、第２の領域における右目用の画像を形成することで、重なった第２の撮影領域の３次元画像ＩＭ２を形成する。更に、左目側のカメラＣ３から得られた画像を用いて、第３の領域における左目用の画像を形成すると共に、右目側のカメラＣ１から得られた画像を用いて、第３の領域における右目用の画像を形成することで、重なった第３の撮影領域の３次元画像ＩＭ３を形成する。しかるに、これらの３次元画像ＩＭ１〜ＩＭ３は、広角レンズを通して得られた画像であるため歪んで見える。そこで、かかる３次元画像ＩＭ１〜ＩＭ３を円柱面に投影した後、以下のように展開する画像処理を行うことで、モザイク画像である３次元画像ＩＭ１’〜ＩＭ３’を得る。即ち、広角レンズ（又は魚眼レンズ）で被写体を撮影した画像（撮像素子の受光面上）を円で示す図３（ａ）を元に、カメラ（円の中心にある）から等距離の円周を三等分したとき、それぞれの円周部分が、図３（ｂ）の長方形の下辺を三等分したそれぞれに対応するモザイク状になるように画像変換する。長方形の縦は、円の半径ｒで、横は、全方位３６０°の角度に対応する。長方形の上辺は、円の中央（天頂）の一点に対応し、その一点を３６０°に展開したものである。これをモザイク画像という。
【００４７】
同様に、カメラＣ２，Ｃ３から得られた３次元画像ＩＭ２を円柱面に投影するように画像処理すれば、矩形状の３次元画像ＩＭ２’を得ることができ、更にカメラＣ３，Ｃ１から得られた３次元画像ＩＭ３を円柱面に投影するように画像処理すれば、矩形状の３次元画像ＩＭ３’を得ることができるから、これらを連続的につなぎ合わせることで、３６０度のパノラマ３次元画像を得ることができる。
【００４８】
請求項２８に記載の全方位３次元画像形成方法は、請求項１乃至８に記載の撮影方法で、撮影して得られる３個以上（Ｎ個、但しＮは、正の整数）の３６０度の全方位画像の一部または全部を円筒内に投影して得られる画像に画像変換し、前記円筒内の一周をＮ個に等分して、Ｎ個のモザイク（短冊状）に分割してモザイク画像（短冊状画像集合画像）とし、内一個は、特定方位を中心とする部分画像であり、ひとつのカメラ（第一のカメラとする）で得られた画像のひとつのモザイク（第一のモザイクとする）を選択して片目用のモザイク画像部分とし、前記第一のカメラから最も遠いカメラ（２個ある場合は、円周上の距離が特定の回転方向で近い方か遠い方のいずれかを選択する選択基準で選択し、以降前記選択基準を変更しない。）（第二のカメラとする）の前記第一のモザイクと中心方位が同じ画像のモザイクを選択し（第二のモザイクとする）他眼用のモザイク画像部分とする工程を含み、前記中心方位は、前記第一のカメラと前記第二のカメラを結ぶ直線に垂直であって、前記同一円周を含む面上にあることを特徴とする。
【００４９】
図４（ａ）は、水平である仮想平面に４つのカメラＣ１〜Ｃ４を９０度ずつ等配した撮影装置を天頂から見た図であり、上方を北とする。ここで、紙面垂直方向に光軸を向けたカメラＣ１〜Ｃ４で撮影した３６０度の全方位画像の全部（一部でも良い）を円筒内に投影して得られる画像に画像変換し、かかる円筒内の一周を４個に等分して、４個のモザイク（短冊状）ＭＺ１〜ＭＺ４に分割してモザイク画像（短冊状画像集合画像）とした状態を、図４（ｂ）に示す。ここで、モザイクＭＺ１の中央方位が、例えば北とすると、選択された第一のカメラＣ４と第二のカメラＣ２とで、モザイクＭＺ１の３次元画像を得ることができ、この場合、天頂からみて左側にあるカメラＣ４の画像データにより左目用の画像又は映像を生成することが出来、天頂からみて右側にあるカメラＣ２の画像データにより右目用の画像又は映像を生成することが出来る。このとき、カメラＣ４の撮影するモザイクＭＺ１は、カメラＣ２の撮影するモザイクＭＺ１と中心方位が同じであり、即ち中心方位は、カメラＣ４とカメラＣ２を結ぶ直線に垂直であって、同一円周を含む面上にある（尚、図４（ａ）ではカメラＣ１〜Ｃ４の乗る内側円と、視野を示す外側円との距離が近いので、カメラの画角が折れ線となって示されているが、実際はほぼ直線となる）。つまり、中央方位が北であるモザイクＭＺ１の３次元画像は、カメラＣ４とＣ２の画像データのみから得られ、カメラＣ１，Ｃ３の画像データは用いない。又、中央方位が東であるモザイクＭＺ２の３次元画像は、選択された第一のカメラＣ１と第二のカメラＣ３とで得ることができ、この場合、天頂からみて左側にあるカメラＣ１の画像データにより左目用の画像又は映像を生成することが出来、天頂からみて右側にあるカメラＣ３の画像データにより右目用の画像又は映像を生成することが出来る。つまり、中央方位が東であるモザイクＭＺ２の３次元画像は、カメラＣ１とＣ３の画像データのみから得られ、カメラＣ２，Ｃ４の画像データは用いない。更に、中央方位が南であるモザイクＭＺ３の３次元画像は、選択された第一のカメラＣ２と第二のカメラＣ４とで得ることができ、この場合、天頂からみて左側にあるカメラＣ２の画像データにより左目用の画像又は映像を生成することが出来、天頂からみて右側にあるカメラＣ４の画像データにより右目用の画像又は映像を生成することが出来る。つまり、中央方位が南であるモザイクＭＺ３の３次元画像は、カメラＣ２とＣ４の画像データのみから得られ、カメラＣ１，Ｃ３の画像データは用いない。又、中央方位が西であるモザイクＭＺ４の３次元画像は、選択された第一のカメラＣ３と第二のカメラＣ１とで得ることができ、この場合、天頂からみて左側にあるカメラＣ３の画像データにより左目用の画像又は映像を生成することが出来、天頂からみて右側にあるカメラＣ１の画像データにより右目用の画像又は映像を生成することが出来る。つまり、中央方位が西であるモザイクＭＺ４の３次元画像は、カメラＣ３とＣ１の画像データのみから得られ、カメラＣ２，Ｃ４の画像データは用いない。尚、特定方位は、北でなくても良い。更に、カメラの個数が奇数である場合、円周上の距離が特定の回転方向（時計回りでなく、反時計回りでも良いが、一度選択されると選択方向が固定される）で近い方か遠い方のいずれかを選択し、以下同様とする（図１の例は、第一のカメラに対し時計回りに近い方を第二のカメラを選択した例であり、図２の例は、鉛直上向きの装置においては、第一のカメラに対し時計回りに近い方を第二のカメラを選択した例であり、鉛直下向きの装置においては、第一のカメラに対し反時計回りに近い方を第二のカメラを選択した例である）。
【００５０】
請求項２９に記載の全方位３次元画像形成方法は、前記第一のカメラと前記第二のカメラに関して、天頂から見たときに左側にあるカメラの画像を左眼用とし、右側にあるカメラの画像を右目用とし、それぞれのモザイク画像部分を選択する工程を各カメラについて実行して、それぞれのカメラに対応する左目用と右目用のモザイク画像部分を選択し、繰り返して得られる各モザイク画像部分を集合させて左目用のモザイク画像と右目用のモザイク画像を作成する工程を含むことを特徴とする。
【００５１】
図４を参照して、カメラＣ１〜Ｃ４により得られた左目用と右目用のモザイク画像ＭＺ１〜ＭＺ４について、それぞれ３次元画像を生成する工程を実行した後、これらを接合する工程を実行することで全方位の３次元画像を得ることができる。
【００５２】
請求項３０に記載の投影装置は、請求項２１乃至２９のいずれかに記載の３次元画像形成方法により形成された左目用の画像と右目用の画像とを同時に投影することを特徴とする。
【００５３】
例えば図１に示すカメラＣ１〜Ｃ３を、投影装置に置き換えることで、それぞれカメラＣ１〜Ｃ３で得られた画像を、半球ＨＳに投影することで、全方位の３次元画像を投影することができる。尚、かかる画像を半球ＨＳに投影するような場合、画像処理にて撮影直後のモザイク処理前の画像に戻す必要がある。また、ステレオ画像に用いられない部分が投影されると支障が生じるので、該部分をマスクで遮蔽する等の手段で、投影されないようにする必要がある。図１の場合は、撮影画像中心から装置中心へ向かって左右６０度（全体で１２０度）の画像部分を覆うことが必要である。更に、例えば、図４のように、４台のカメラＣ１〜Ｃ４をプロジェクタに置き換えて球面内に投影するときは、各カメラごとに４分割した円の画像のうちの対向する２か所の画像を用いるが、それ以外の２か所の画像は用いないので、それをマスクすることが必要である。具体的には、カメラＣ２に関するものでは、モザイク画像ＭＺ1、ＭＺ３に対応する画像は使用するが、モザイク画像ＭＺ２、ＭＺ４に対応する画像は使用しないので、この２か所の画像が投影されないように覆い隠すことになる。他の画像についても、同様の工夫をする。
【００５４】
請求項３１に記載の投影装置は、前記投影装置は、左目用の画像と右目用の画像とを曲面のスクリーンに投影することを特徴とする。図１の半球ＨＳが曲面のスクリーンに相当する。但し、スクリーンは半球に限られない。
【００５５】
請求項３２に記載の投影装置は、前記曲面のスクリーンとは、半球の内面であることを特徴とする。
【００５６】
請求項３３に記載の投影装置は、前記スクリーンに表示される画像の位置を計測する計測手段を有することを特徴とする。スクリーンに表示される画像は３次元画像であるため、公知のステレオ測距法により画像中の被写体までの距離を測定できる。従って、計測手段とは、公知のステレオ測距法を実現できる画像処理等を実行できるものであれば足りる。
【００５７】
請求項３４に記載の通信システムは、請求項９乃至２０に記載の撮影機または撮影装置と、請求項３０乃至３３のいずれかに記載の投影装置とを有することを特徴とする。
【００５８】
請求項３５に記載の表示装置は、請求項２１乃至２９のいずれかに記載の３次元画像形成方法により形成された左目用の画像と右目用の画像とを同時に表示することを特徴とする。
【００５９】
請求項３６に記載の表示装置は、前記画像を表示するパネルは、観察者の周囲に３６０度にわたって配置されていることを特徴とする。
【００６０】
請求項３７に記載の表示装置は、請求項２１乃至２９のいずれかに記載の３次元画像形成方法により形成された左目用の画像と右目用の画像とを別個に表示する一対の表示部を有することを特徴とする。
【００６１】
請求項３８に記載の表示装置は、前記一対の表示部を観察者の左目と右目に各々あてがうようにして、該観察者が着用する眼鏡型の表示装置であり、前記表示装置の方向を検出する検出手段を有し、前記検出手段の検出した方向に応じて、前記表示部に表示する画像を切り換えることを特徴とする。
【００６２】
請求項３９に記載の通信システムは、請求項９乃至２０に記載の撮影装置と、請求項３６乃至３８のいずれかに記載の表示装置とを有することを特徴とする。
【００６３】
請求項４０に記載の遠隔操作方法は、請求項３４又は３９に記載の通信システムを有し、前記撮影装置を作動装置に取り付けて、前記作動装置から離れた場所で前記表示装置に表示された画像を見ながら、観察者が前記作動装置を操作するようになっていることを特徴とする。
【発明の効果】
【００６４】
以上述べた本発明によれば、東西南北３６０度の方向に切れ目無く、立体像が得られる。これが、しかも、同期した一度の撮影で得られた画像を用いるので時差が生じず、さらに、天および／または地に向けて撮影したときに、これらの効果が大きく、これらの効果が得られる撮影方法と、それができる撮影機、撮影装置を実現すると共に、カメラ自身が画像上に現れることのない画像を簡単に作成できる。
【００６５】
本発明によれば、例えば魚眼レンズで、天頂に向けて一度撮影するだけで、パノラマ画像が得られる。従来のように被写体に光軸を向けるのではなく、天頂に向ける点が従来技術とは大きく異なる。つまり被写体は周辺画像の一部に映ることになる。
【００６６】
本発明によれば、東西南北、上下左右３６０度の方向に延在する立体像を簡単に得ることができる。又、光軸方向に限らず、いずれの方向の被写体の３次元情報（位置）も取得できる。
【００６７】
本発明は、応用範囲が広範囲であり、例えば地図、ゲーム等々に適用可能である。ディスプレーの仕方で色々可能性があり、例えば、乗り物（車、船、飛行機等々）の訓練のために、方向を検出するヘッドマウントディスプレー（ＨＭＤ）上に、その方向の立体像を表示し、顔を向ける毎に立体像を切り換えることができる。また、例えば、プラネタリウムでは、半球の内面に３次元画像を表示することができる。
【００６８】
本発明は静止画でも動画でも適用可能であり、以上の効果が動画でも得られる。更に、全方位ステレオ動画の生成に複雑な後処理を必要としないので、撮影とほぼ同時に再生が可能である。加えて、通信装置との組み合わせにより遠隔地での同時再生が可能であるから、ＴＶ会議や、危険な場所にある装置の遠隔操作等に用いることができる。
【００６９】
尚、本明細書中、超広角レンズとは、広角レンズより広い画角を持つレンズをいう。広角レンズとは少なくとも６０度の画角を持つものをいう。デジタルカメラとは、被写体像を電気信号に変換する固体撮像素子を有するカメラをいう。「等距離」、「同一円周上」、「同一の特性」、「等しい長さの円弧」とは、実質的に等しいか同一であればよい。又、「同期撮影」とは、例えば同時に撮影することをいうが、僅かなタイムラグがあっても良い。以上のズレは、画像処理等の補正で正すことができる。
【００７０】
対となる位置の２台のカメラは、特殊カメラで、両面感光体の両側に撮影レンズを持っているものでも良いし、別々のカメラを対にして、背中合わせにしてもよい。ふたつの感光体の位置の差が撮影で抜ける位置になるし、魚眼レンズでも１８０度の画角でない限り、抜ける位置ができる。
【００７１】
カメラとしては、デジタルカメラの他、銀塩カメラを用いることができる。また動画とは、例えば複数の静止画を連続的に切り換えるものをいう。又、本発明の撮影方法で得られた右目用の画像と、左目用の画像とは、従来のディスプレイで利用可能である。
【図面の簡単な説明】
【００７２】
【図１】一例にかかる本発明の原理を説明するための図である。
【図２】別な例にかかる本発明の原理を説明するための図である。
【図３】画像処理の例を示す図である。
【図４】別な例にかかる本発明の原理を説明するための図であり、（ａ）ではカメラＣ４，Ｃ２のみ強調して示している。
【図５】第１の実施の形態にかかる撮影装置の概略図である。
【図６】第１の実施の形態にかかる撮影装置の録画・録音手順を示す図である。
【図７】第１の実施の形態にかかる撮影装置の後処理を示す図である。
【図８】第１の実施の形態にかかる再生装置の概略図である。
【図９】第１の実施の形態にかかる再生装置の再生処理を示す図である。
【図１０】第２の実施の形態の概略図である。
【図１１】第２の実施の形態の録画・再生処理を示す図である。
【図１２】第２の実施の形態にかかる後処理を示す図である。
【図１３】第２の実施の形態にかかる再生処理を示す図である。
【図１４】第３の実施の形態の概略図である。
【図１５】第３の実施の形態にかかる処理を示す図である。
【図１６】第４の実施の形態にかかる後処理を示す図である。
【発明を実施するための形態】
【００７３】
（第１の実施の形態）
以下、本発明にかかる第１の実施の形態について、図面を参照して説明する。ここでは、本発明の撮影方法、撮影機、撮影装置、３次元画像形成方法、全方位３次元画像形成方法、投影装置、表示装置について述べる。まず、図５に示す、４台のムービーカメラと４台のマイクロフォンを用いた半球ステレオ撮影装置、及び図８に示す、半球状スクリーンと魚眼レンズ付プロジェクタを用いた再生装置を説明する。また、その応用として、臨場感の高い劇場鑑賞映像製作目的とした撮影を舞台直下座席からの撮影・再生を行う装置を説明する。
【００７４】
図１において、支持台ＢＳは、フレームなどの剛体に設置される円盤部ＢＳ１と、円盤部ＢＳ１から等間隔で水平方向に放射状に延在する４本の支持柱ＢＳ２と、支持柱ＢＳ２の先端で支持されたリング部ＢＳ３とを有している。リング部ＢＳ３は、気泡管を用いた水準器にて高精度に水平に設置されると好ましい。
【００７５】
リング部ＢＳ３上には、４つのムービーカメラＭＣ１〜ＭＣ４が周方向に等間隔で固定されている。不図示の固体撮像素子に加え、ムービーカメラＭＣ１〜ＭＣ４は、それぞれ画角が１８０〜１９０°である円周魚眼レンズＦＬ１〜ＦＬ４（超広角レンズでも良い）と、高指向性のマイクロフォンＭＰ１〜ＭＰ４を備えている。魚眼レンズＦＬ１〜ＦＬ４の光軸は、リング部ＢＳ３の軸線に平行に設置されている。尚、ここでは、ローカル座標系として、円盤部ＢＳ１及びリング部ＢＳ３の中心を原点Ｏとし、原点ＯからムービーカメラＭＣ１の光軸に向かう方向をＹ軸の正方向とし、原点ＯからムービーカメラＭＣ２の光軸に向かう方向をＸ軸の正方向とする。また方向角θはＹ軸の正方向を０°として、時計回りの方向の角度にとる。原点Ｏから各ムービーカメラの光軸までの距離は５ｃｍである。
【００７６】
ムービーカメラＭＣ１〜ＭＣ４は、４ｃｈカメラ同期制御インターフェースＣＩ／Ｆにそれぞれ接続されており、マイクロフォンＭＰ２〜ＭＰ４は、４ｃｈマイクミキサーインタフェースＭＩ／Ｆにそれぞれ接続されている。処理装置ＰＲＣは、４ｃｈカメラ同期制御インターフェースＣＩ／Ｆと、４ｃｈマイクミキサーインタフェースＭＩ／Ｆに接続され、内部にプログラム格納ＲＯＭを有すると共に、外部記憶装置ＨＤに接続されている。
【００７７】
ムービーカメラＭＣ１〜ＭＣ４は、ＨＤＴＶ（２Ｍ画素）以上の３０ｆｐｓでカラー画像が記録できるものであり、画像が十分な転送フレームレートを確保するためにカメラ側で圧縮処理により半分程度のデータサイズにするものであると好ましい。又、キャリブレーションにより、光学的な補正を行うことができ、同期撮影機構を兼ねる処理装置ＰＲＣからの外部トリガーにより、他のムービーカメラと同期撮影が可能となっている。尚、データの転送にはカメラリンクＩ／Ｆを用いると好ましい。ムービーカメラＭＣ１〜ＭＣ４の水平面上の設置の向きは、ローカル座標系の原点ＯからＸ軸に合わせている。
【００７８】
高指向性のマイクロフォンＭＰ１〜ＭＰ４は、それぞれ指向性の高いマイクロフォンであり、原点ＯからみてムービーカメラＭＣ１〜ＭＣ４の外側に設置されている。つまり、撮影装置の中心からみて指向性の高い方向を半径方向外側に向けている。
【００７９】
４ｃｈカメラ同期制御インタフェースＣＩ／Ｆは、カメラリンクＩ／Ｆで接続されたムービーカメラＭＣ１〜ＭＣ４を制御する機能を有する。より具体的には、処理装置ＰＲＣの命令で撮影トリガーを出力してムービーカメラＭＣ１〜ＭＣ４の同期撮影を行う。処理装置ＰＲＣとは、ＰＣＩ−Ｅｘｐｒｅｓｓなどのシステムバスで接続される。
【００８０】
４ｃｈマイクミキサーインターフェースＭＩ／Ｆは、高指向性マイクロフォンＭＰ１〜ＭＰ４の音声データを４ｃｈの音声データとして処理する機能を有する。処理装置ＰＲＣとは、ＰＣＩ−Ｅｘｐｒｅｓｓなどのシステムバスで接続される。
【００８１】
処理装置ＰＲＣは、ＣＰＵ・メモリ・外部記憶装置・ディスプレイ・及びプログラムＲＯＭからなる処理装置であって、例えばＰＣを用いることができる。処理装置ＰＲＣは、ムービーカメラ・マイクロフォンの動作を制御するプログラムをＲＯＭから読出して、画像処理を実行すると共に、制御プログラムＵ／Ｉ、撮影・記録された画像・音声データ、及び処理された画像・音声データをディスプレイで表示・操作するディスプレイ（不図示）を備える。
【００８２】
外部記憶装置ＨＤは、処理装置ＰＲＣで制御され記録されたムービーカメラ・マイクロフォンの画像・音声データ、及び処理済データを記録するハードディスクドライブ又はソリッドステートドライブ装置であり、十分な書き込み処理レートのためにハードウェアＲＡＩＤのＩ／Ｆで接続されている。又、ＲＡＩＤレベル０（ストライピング）により高速な書き込みを行うことができる。
【００８３】
本実施の形態の撮影方法を、図６を参照して説明する。図６は、録画・録音の手順を示すブロック図である。まず、不図示のスイッチのオン操作により、録画・録音開始の同期トリガー信号を送信すると、処理装置ＰＲＣにてプログラムを起動して録画・録音を開始する。より具体的には、プログラムから制御される４ｃｈカメラ同期制御インタフェースＣＩ／Ｆと４ｃｈマイクミキサーインタフェースＭＩ／Ｆから録画・録音開始のトリガー信号を各ムービーカメラ・マイクに送信する。
【００８４】
ムービーカメラＭＣ１〜ＭＣ４は、トリガー信号を受信すると撮影を開始する。画像はローリングシャッター方式の３０ｆｐｓで撮影される。取得された画像は、円周魚眼レンズの効果で、天頂を中心とする円極座標の画像となる。撮影された各フレーム画像はムービーカメラのハードウェアでリアルタイムに画像圧縮処理が行われて約半分のデータサイズになる。
【００８５】
圧縮された画像は、カメラリンクＩ／Ｆでリアルタイムに４ｃｈカメラ同期制御インタフェースＣＩ／Ｆに転送される。転送された画像は、４ｃｈカメラ同期制御インタフェースＣＩ／Ｆに於いて、他のカメラからの画像とフレーム番号等による同期情報を付加した後に、更にカメラリンクＩ／Ｆによりリアルタイムに処理装置ＰＲＣに転送される。撮影停止のトリガーが受信されるまでリアルタイムで処理の実行を繰り返す。
【００８６】
高指向性マイクロフォンＭＰ１〜ＭＰ４は、４ｃｈマイクミキサーインターフェースＭＩ／Ｆからトリガーを受信して録音を開始する。処理装置ＰＲＣにおいて、リアルタイムに４つのマイクの音声データを４ｃｈの音声データに合成する。録音停止のトリガーが受信されるまでリアルタイムで処理の実行を繰り返す。
【００８７】
ムービーカメラＭＣ１〜ＭＣ４の動画像データは、処理装置ＰＲＣから、ハードウェアＲＡＩＤで接続された外部記憶装置ＨＤにリアルタイムで格納される。又、処理装置ＰＲＣで４ｃｈに合成された音声データは、リアルタイムに外部記憶装置ＨＤに格納される
【００８８】
図７は、処理装置ＰＲＣで行われる後処理を示すブロック図である。処理装置ＰＲＣは、ムービーカメラＭＣ１〜ＭＣ４の外部記憶装置ＨＤから録画データをフレーム単位で読み出し、後処理プログラムにより画像処理を実行する。まず、画像の光学キャリブレーションを行う、より具体的には、予め測定されているムービーカメラＭＣ１〜ＭＣ４の光学キャリブレーションデータをプログラム格納ＲＯＭから読み出して、各フレーム画像に対してキャリブレーション処理を行い、ＰＳ（Ｐｏｓｉｔｉｏｎ ｏｆ Ｓｙｍｍｅｔｒｙ）及びＲａｄｉａｌ Ｄｉｓｔｏｒｔｉｏｎを補正する。キャリブレーション済の画像データはメモリーバッファに格納される。
【００８９】
又、処理装置ＰＲＣは、画像の投影変換処理（円極座標から円筒座標）を行う、より具体的には、処理装置ＰＲＣは、メモリーバッファからキャリブレーション済みフレーム画像データを読み出す。そして、ムービーカメラの天頂を中心とする円極座標系の画像データをキャリブレーションで補正されたＰＳを軸として円筒座標系に投影変換処理を行う。ここで、投影する円筒は、ムービーカメラＭＣ１〜ＭＣ４のＰＳを中心として鉛直方向に処理前の画像と同程度以上の解像度を保持できる任意の半径を持つものとする。円筒投影変換において、変換後の画像は、ローカル座標系の方位角０°を画像の原点となるようにする。更に、処理装置ＰＲＣは、メモリーバッファに投影変換済のフレーム画像を格納し、その後、メモリーバッファからキャリブレーション済みのフレーム画像データを消去する。
【００９０】
次に、処理装置ＰＲＣは、画像の切り出し処理を行う。まずは、方位角０°±４５°の左目用画像を切り出す。具体的には、メモリーバッファから投影変換処理済のフレーム画像を読み出す。読み出したフレーム画像について、画像から方位角０°±４５°（合計９０°）を切り出す。更に、メモリーバッファに切り出し処理済の画像を格納する。その後、メモリーバッファから投影変換済みフレーム画像を消去する。
【００９１】
次に、処理装置ＰＲＣは、方位角１８０°±４５°の右目用画像を切り出す。具体的には、メモリーバッファから投影変換処理済のフレーム画像を読み出す。読み出したフレーム画像について、画像から方位角１８０°±４５°（合計９０°）を切り出す。更に、メモリーバッファに切り出し処理済の画像を格納する。その後、メモリーバッファから投影変換済みフレーム画像を消去する。
【００９２】
次に、処理装置ＰＲＣは、方位角９０°±４５°の左目用画像を切り出す。具体的には、メモリーバッファから投影変換処理済のフレーム画像を読み出す。読み出したフレーム画像について、画像から方位角９０°±４５°（合計９０°）を切り出す。更に、メモリーバッファに切り出し処理済の画像を格納する。その後、メモリーバッファから投影変換済みフレーム画像を消去する。
【００９３】
次に、処理装置ＰＲＣは、方位角２７０°±４５°の右目用画像を切り出す。具体的には、メモリーバッファから投影変換処理済のフレーム画像を読み出す。読み出したフレーム画像について、画像から方位角２７０°±４５°（合計９０°）を切り出す。更に、メモリーバッファに切り出し処理済の画像を格納する。その後、メモリーバッファから投影変換済みフレーム画像を消去する。
【００９４】
次に、処理装置ＰＲＣは、方位角１８０°±４５°の左目用画像を切り出す。具体的には、メモリーバッファから投影変換処理済のフレーム画像を読み出す。読み出したフレーム画像について、画像から方位角１８０°±４５°（合計９０°）を切り出す。更に、メモリーバッファに切り出し処理済の画像を格納する。その後、メモリーバッファから投影変換済みフレーム画像を消去する。
【００９５】
次に、処理装置ＰＲＣは、方位角０°±４５°の右目用画像を切り出す。具体的には、メモリーバッファから投影変換処理済のフレーム画像を読み出す。読み出したフレーム画像について、画像から方位角０°±４５°（合計９０°）を切り出す。更に、メモリーバッファに切り出し処理済の画像を格納する。その後、メモリーバッファから投影変換済みフレーム画像を消去する。
【００９６】
次に、処理装置ＰＲＣは、方位角２７０°±４５°の左目用画像を切り出す。具体的には、メモリーバッファから投影変換処理済のフレーム画像を読み出す。読み出したフレーム画像について、画像から方位角２７０°±４５°（合計９０°）を切り出す。更に、メモリーバッファに切り出し処理済の画像を格納する。その後、メモリーバッファから投影変換済みフレーム画像を消去する。
【００９７】
次に、処理装置ＰＲＣは、方位角９０°±４５°の右目用画像を切り出す。具体的には、メモリーバッファから投影変換処理済のフレーム画像を読み出す。読み出したフレーム画像について、画像から方位角９０°±４５°（合計９０°）を切り出す。更に、メモリーバッファに切り出し処理済の画像を格納する。その後、メモリーバッファから投影変換済みフレーム画像を消去する。
【００９８】
以上を言い換えると、方向角θ＝０度の方向を中心とするステレオ動画は、ムービーカメラＭＣ４の画像データにより左目動画を形成し、ムービーカメラＭＣ２の画像データにより右目用動画を形成する。一方、方向角θ＝１８０度の方向を中心とするステレオ動画は、ムービーカメラＭＣ２の画像データにより左目動画を形成し、ムービーカメラＭＣ４の画像データにより右目用動画を形成する。又、方向角θ＝９０度の方向を中心とするステレオ動画は、ムービーカメラＭＣ１の画像データにより左目動画を形成し、ムービーカメラＭＣ３の画像データにより右目用動画を形成する。一方、方向角θ＝２７０度を中心とする方向のステレオ動画は、ムービーカメラＭＣ３の画像データにより左目動画を形成し、ムービーカメラＭＣ１の画像データにより右目用動画を形成する。
【００９９】
更に処理装置ＰＲＣは、画像のモザイク処理（左目用）を行う。左目用に処理された切り出し済み画像を、一つの画像にモザイク処理する。より具体的には、方位角０°を画像原点左上として、方位角を合わせてモザイク処理する。その後、メモリーバッファにモザイク済のフレーム画像を格納し、メモリーバッファから切り出し処理済の画像を消去する。
【０１００】
また処理装置ＰＲＣは、画像のモザイク処理（右目用）を行う。右目用に処理された切り出し済み画像を、一つの画像にモザイク処理する。より具体的には、方位角０°を画像原点左上として、方位角を合わせてモザイク処理する。その後、メモリーバッファにモザイク済のフレーム画像を格納し、メモリーバッファから切り出し処理済の画像を消去する。
【０１０１】
これと並行して、４ｃｈの音声データを入力された処理装置ＰＲＣは、後処理プログラムにより、左眼動画像・右眼動画像・音声データの合成保存を行う。音声については、画像のフレーム始終端に同期した長さのデータがメモリーバッファに格納されている。モザイクの処理済み画像のうち左目画像データを左に、右目画像データを右に配置して結合し、横方向に２倍大きさのサイドバイサイド形式のステレオフレーム画像を生成する。その後、動画像形式のフレーム画像として外部記憶装置ＨＤに記録する。以上の処理を繰り返し、フレーム終端まで処理を複行する。画像の処理が終了後、音声データを画像データのタイムコードで同期させて格納する。その後、全てのメモリーバッファの内容をクリアすることで、処理が終了する。
【０１０２】
次に、図８を参照して、半球状スクリーンと魚眼レンズ付プロジェクタを用いた再生装置を説明する。図８において、縁部のみを示す中空の半球型スクリーンＨＳの中央に、円周魚眼レンズＦＬを備えたプロジェクタＰＪが、光軸を半球中央に向けて配置されている。又、４つのスピーカーＳＰ１〜ＳＰ４が、半球型スクリーンＨＳの内壁に周方向に等間隔に設置されている。尚、ここでは、ローカル座標系として、半球型スクリーンＨＳの中心を原点Ｏとし、原点ＯからスピーカーＳＰ１の中心に向かう方向をＹ軸の正方向とし、原点ＯからスピーカーＳＰ２の中心に向かう方向をＸ軸の正方向とする。また方向角θはＹ軸の正方向を０°とし、時計回りの方向の角度にとる。
【０１０３】
スピーカーＳＰ１〜ＳＰ４は、４ｃｈ音声出力インターフェースＳＩ／Ｆにそれぞれ接続されており、プロジェクタＰＪは、再生装置ＲＰに接続されている。再生装置ＲＰは、４ｃｈ音声出力インターフェースＳＩ／Ｆに接続され、内部にプログラム格納ＲＯＭを有すると共に、外部記憶装置ＨＤに接続されている。
【０１０４】
半球型スクリーンＨＳは、水平面より上部を半球形状の（下部が開いた）半径２ｍ程度の剛体のスクリーンであり、地上から１．５ｍ程度の高さに設置されている。その形状は、円錐でも円筒でも構わないが球に近いほど観察者からの距離の変化が少なくなり理想的となる。尚、プロジェクタＰＪの代わりに、半球型スクリーンＨＳの内面に画像を表示するパネルを設けても良い。
【０１０５】
円周魚眼レンズＦＬを備えた再生プロジェクタＰＪは、２Ｍ画素程度の解像度を持つプロジェクタで再生装置ＲＰに映像出力Ｉ／Ｆで接続されており、半球型スクリーンＨＳの中央・且つ下部端にレンズ外側を合わせて鉛直上方を向いて配置されている。
【０１０６】
動画の観察者は、半球型スクリーンＨＳの下部から半球型スクリーンＨＳ内部に頭部だけを入れてスクリーンに投影された動画を観察する。観察者は、アクティブシャッター方式の眼鏡ＧＬを掛けている。アクティブシャッター方式の眼鏡ＧＬは、眼鏡同期信号エミッタにより１００〜１２０Ｈｚ程度の速さで左眼と右眼の画像を切り替えて表示できるものである。
【０１０７】
より具体的には、観察者はアクティブシャッター方式の眼鏡ＧＬを用いて、同期信号エミッターの赤外線信号を受信しながらステレオ動画を観察する。半球型スクリーンＨＳの映像が再生プロジェクタＰＪと観察者の直線上にあるときには隠蔽されて動画が観察できないために、観察位置を移動する必要がある。よって通常、観察者は観察位置に立ち再生プロジェクタＰＪの方向を向いて動画を観察することになる。
【０１０８】
再生装置ＲＰは、ＣＰＵ・メモリ・外部記憶装置・ディスプレイ・及びプログラムＲＯＭからなる処理装置であり、例えばＰＣを用いると好ましい。再生装置ＲＰは、再生プロジェクタＰＪのステレオ動画像データ、４ｃｈの音声データ、アクティブシャッター方式の眼鏡ＧＬを同期するためのエミッタのためのＩ／Ｆを有する。再生装置ＲＰは、ステレオ動画像、及び４ｃｈの音声を再生するプログラムをＲＯＭから読み出し、再生のため実行する。再生装置ＲＰは、再生プログラムのＵ／Ｉ、及び再生データを表示・操作するディスプレイを備える。
【０１０９】
４ｃｈ音声出力ＳＩ／Ｆは、４ｃｈで格納されている音声データを各チャンネルに分配するＩ／Ｆを有し、チャンネル間のボリュームレベルなどを個々に調整制御する機能がある。尚、アクティブシャッター方式の眼鏡同期信号エミッタは、再生装置ＲＰに接続されており、観察者が装着するアクティブシャッター方式の眼鏡における左眼・右眼の液晶スクリーンのオンオフを再生プロジェクタＰＪのステレオ画像の左眼・右眼の切り替えに同期させて制御するための赤外線信号を送信する機能を有する。
【０１１０】
次に、図９を参照して動画の再生手順を説明する。図９は、動画の再生手順を説明するためのブロック図である。不図示のスイッチのオン操作に応じて、再生装置ＲＰはステレオ動画像再生プログラムを実行する。これにより、再生に必要なプロジェクタＰＪ・スピーカーＳＰ１〜ＳＰ４・アクティブシャッター方式の眼鏡同期信号エミッタが確保・初期化される。
【０１１１】
再生装置ＲＰは、外部記憶装置ＨＤから後処理で格納されたステレオ動画像・音声データを、再生の支障が出ないように逐次メモリーバッファに読み出す。そして、アナログビデオ出力Ｄ−ＳＵＢ、又はデジタルビデオ出力ＤＶＩ−Ｄで接続したプロジェクタＰＪに画像を送信し、半球状スクリーンＨＳに投影する。このとき撮影時とローカル座標系を一致させるのがよい。投影される映像は、サイドバイサイド方式のステレオ画像であって、決められた１００−１２０Ｈｚ程度の周波数で左眼用の画像と右眼用の画像が切り替えて再生される。
【０１１２】
更に、投影されるステレオ画像に同期して観察者がかけているアクティブシャッター方式の眼鏡ＧＬのシャッター動作を同期させるための赤外線同期信号を、再生装置ＲＰに接続されたエミッタから送信する。観察者は、アクティブシャッター方式の眼鏡ＧＬがエミッタの赤外線信号を受信している間は、公知の態様で、投影されたステレオ画像をステレオ状態で観察することができる。
【０１１３】
一方、再生装置ＲＰは、音声データからマイクＭＰ１に該当するｃｈ１の音声を、スピーカＳＰ１に送信して再生し、音声データからマイクＭＰ２に該当するｃｈ２の音声を、スピーカＳＰ２に送信して再生し、音声データからマイクＭＰ３に該当するｃｈ３の音声を、スピーカＳＰ３に送信して再生し、音声データからマイクＭＰ４に該当するｃｈ４の音声を、スピーカＳＰ４に送信して再生する。尚、アクティブシャッター方式の眼鏡ＧＬに方向センサを備えて、観察者が向いている方向を検出し、その方向のスピーカーのみ音声を増大させたり、或いはその方向のスピーカーのみから音声を流すようにしても良い。
【０１１４】
以上説明した本実施の形態では、これまで実現できなかった以下の効果を期待できる。
１）ステレオ半球動画像の撮影を、持ち運びの可能な大きさの撮影装置及び処理装置で実施できる。
２）半球に渡って全方位に死角が無くつなぎ目の目立たないステレオ動画像を記録・再生できる。
３）半球を単一のステレオフレーム画像として取り扱えるため、再生はプロジェクタ１ 台で再生が可能である。
４）カメラとほぼ同じ位置に設置された指向性マイクロフォンの音声を再生することで、全方位のステレオ動画像と共に音源定位が可能である。
【０１１５】
尚、ムービーカメラＭＣ１〜ＭＣ４に装着するレンズを円周魚眼レンズに換えて画角４５度の普通角レンズ（標準レンズ）とした場合、レンズの画角を変更したことで下述のデメリットが発生する。その結果、画角４５度の普通角レンズを用いると円周魚眼レンズと比較して極端に実用性が低下し、装置として成立しない可能性が高い。
【０１１６】
即ち、本発明の用途では、主要被写体が画像周辺部に位置する場合が多いが、かかる領域では解像度も低下し、ひずみ、収差が出る可能性をもっている。したがって、標準角レンズを用いると、天頂を向けて撮影したときに、足元の水平面に近い周辺の像が使えなくなる恐れがある。レンズの画角がせまくなるほど、水平面からの距離が増えた高さまでの周囲映像が使えなくなってしまう。例えば普通角レンズで、天頂を向けて撮影すると、３６０度周囲の高いビルの精細な映像も得られなくなる。従って、それより画角の大きなレンズを用いるのが好ましい。本発明においては、ステレオの基線が装置の中央（天頂・又は鉛直下）から同心円上に設定されており、円周上で水平に視野を動かす時には、ステレオで観察をし続けることが出来る。又、前述の理由により、視野を装置の中央（天頂・又は鉛直下）に向けたときには、ステレオの基線方向が異なる画像が視野に入ってくるために、ステレオで観察できない部分が発生する。肉眼での視野角は、ぼんやりと光を認知する周辺部を含めても、概ねレンズの標準角（４５°）に相当する程度である。また注視している範囲は３０°程度といわれる。画角４５°の普通角による装置では、ステレオ視の有効な天頂（又は鉛直下）から画像の端までの天地方向の角度が２２．５度となるために、観察者が自然に画像を観察した時に装置の中央を含んだ方向に視野を向けてしまうので自然なステレオ感を得ることが困難である。もし、自然なステレオ感を得るとすれば、装置の中央を視野に入れないようにして画像の無い部分に注視点をむける必要性があり、これも容易ではない。更に、画角４５°程度のステレオ画像の撮影や再生を成立させることを考えれば、むしろ天頂（または鉛直下）方向へ２台のカメラを向けて通常の並行ステレオ撮影を行うほうが実用的で簡便であり、本装置の必然性が失われることになる。
【０１１７】
一方、ムービーカメラＭＣ１〜ＭＣ４に装着するレンズを画角６０°の広角レンズとした場合には、上述の問題は生じない。円周魚眼レンズと比較して実用性は低下するが、限定的な応用範囲では装置としては成立する。例えば、道路交差点において鉛直下へ向けて装置を設置して、交通の監視や事故時の検証を目的とした場合は、この画角で成立する。
【０１１８】
画角４５°の普通角レンズによる撮影装置では、肉眼の注視方向の視野角３０°が装置の天地方向の有効なステレオ視野角２２．５°よりも大きくなってしまいために、実用性が極端に低下したが、画角６０°普通角レンズでは限界下限値ではあるが、装置の天地方向の有効なステレオ視野角が３０°となり、装置としては成立する。又、画角が小さくなることで画像の画素数が同じであれば、解像度が３倍向上する。更に、レンズの性能の低下する辺縁部を使用しないために色収差や放射方向歪みによる影響が低減されるという利点もある。
【０１１９】
（第２の実施の形態）
次に、第２の実施の形態について説明する。図１０は、第２の実施の形態にかかるドライブレコーダシステムを説明するためのブロック図である。ここでは、図２に示すように、図５の撮影装置を２組背面合わせに組み合わせて（装置の軸を一致させて）、全球の撮影・録音を行うドライブレコーダとする。ドライブレコーダは、車両上部（外部）に搭載され、事故など何らかの事象の後でそれを分析するための画像・音声を提供するものである。
【０１２０】
図１０において、車両ＶＨのルーフの概ね中央に、支持軸ＨＰを介して録画・録音装置ＲＤが設置されている。上部の録画・録音装置ＲＤ１、下部の録画・録音装置ＲＤ２は、それぞれ図５に示す撮影装置と基本構成は同じである。上部の録画・録音装置ＲＤ１は、処理装置ＰＲＣ１に接続され、下部の録画・録音装置ＲＤ２は、処理装置ＰＲＣ２に接続されている。処理装置ＰＲＣ１及び処理装置ＰＲＣ２は、同期制御用処理装置ＳＹＣに接続されている。
【０１２１】
上部の録画・録音装置ＲＤ１は、鉛直方向上向きに撮影方向を設定する。魚眼レンズが１８０°のとき、装置厚み（上部の録画・録音装置ＲＤ１の入射瞳と、下部の録画・録音装置ＲＤ２の入射瞳の鉛直方向の距離）が上半球と下半球の画像の離隔となる。このために上部の録画・録音装置ＲＤ１と下部の録画・録音装置ＲＤ２は密着させて可能な限り離隔を小さくすることが望ましい。
【０１２２】
以上を改善するためには、以下の３つの対策のいずれかまたは組み合わせを行うと好ましい。
１）レンズの画角を１８０°以上（例えば１９０°）とすること。
２）装置の鉛直方向の厚みを小さくするために各カメラの光学系にプリズムを採用した屈折光学構造を採用すること。
３）上部の録画・録音装置ＲＤ１と下部の録画・録音装置ＲＤ２で、装置の方位角θの原点をずらして上下でカメラの物理的な干渉を減らすこと。
【０１２３】
下部の録画・録音装置ＲＤ２は、鉛直方向下向きに撮影方向を設定する。それ以外は、上部の録画・録音装置ＲＤ１と共通である。処理装置ＰＲＣ１及び処理装置ＰＲＣ２は、上述の実施の形態における処理装置ＰＲＣと同様である。
【０１２４】
同期制御用処理装置ＳＹＣは、ＣＰＵ・メモリ・外部記憶装置・ディスプレイ・及びプログラムＲＯＭからなる処理装置であり、例えばＰＣを用いることができ、上部の録画・録音装置ＲＤ１と下部の録画・録音装置ＲＤ２の録画・録音開始・終了のトリガー信号を発生して同期を取る機能を有する。
【０１２５】
図１１は、第２の実施の形態の録画・再生手順を説明するためのフロー図である。図１１において、同期制御用処理装置ＳＹＣが、同期処理用プログラムを起動して録画・録音開始トリガー信号を上部の録画・録音装置ＲＤ１と下部の録画・録音装置ＲＤ２に送信して、録画・録音を開始させる。これにより上部の録画・録音装置ＲＤ１と下部の録画・録音装置ＲＤ２は、第１の実施の形態と同様にして録画・録音を行う。その後、同期制御用処理装置ＳＹＣで同期処理用プログラムにより録画・録音終了トリガー信号を上部の録画・録音装置ＲＤ１と下部の録画・録音装置ＲＤ２に送信して、録画・録音を停止させる。
【０１２６】
図１２は、第２の実施の形態の後処理を説明するためのフロー図である。上部の録画・録音装置ＲＤ１と下部の録画・録音装置ＲＤ２から収集された画像データ・音声データは、上述した実施の形態と同様に画像処理される。更に、左眼の上半球・下半球画像のモザイク処理（左目用）のため、上部の録画・録音装置ＲＤ１と下部の録画・録音装置ＲＤ２で記録された左目用画像の各フレームを上半球を上部に、下半球を下部に配置して、行数が２倍の画像にモザイクする。また、右眼の上半球・下半球画像のモザイク処理（右目用）のため、上部の録画・録音装置ＲＤ１と下部の録画・録音装置ＲＤ２で記録された右目用画像の各フレームを上半球を上部に、下半球を下部に配置して、行数が２倍の画像にモザイクする。加えて、上部の録画・録音装置ＲＤ１と下部の録画・録音装置ＲＤ２で記録された各４ｃｈの音声データを８ｃｈの音声データとして合成する。その後、上述した実施の形態と同様に、記憶する。
【０１２７】
図１３は、第２の実施の形態の再生処理を説明するためのフロー図である。第１の実施の形態では、半球型スクリーンＳＣ及び円周魚眼レンズ付プロジェクタＰＪを使用して動画再生を行っているが、本実施例では全球が対象となり物理的には同様の再生方法をとることが困難である。このためにヘッドマウントディスプレー（ＨＭＤ）を用いた没入型の全球ステレオ画像・音声再生の装置を用いるが、限られた条件であればプロジェクタと半球型スクリーンとの組み合わせでも良い。表示装置としてのＨＭＤは、例えば一対の表示部を観察者の左目と右目に各々あてがうようにして、観察者が着用する眼鏡型の表示装置であり、更にＨＭＤの方向を検出する検出手段としてのセンサを有し、該センサの検出した方向に応じて、表示部に表示する４つのステレオ画像を切り換えるものである。
【０１２８】
ステレオ動画像・音声再生プログラムを実行すると、再生に必要なＨＭＤ（３軸方位センサー・サイドバイサイド動画像再生・音声再生）が初期化される。更に、ＨＭＤの３軸角度センサーが観察者の視野の方位角と仰角を計測し、再生プログラムが受信する。角度データは、装置の対応する最速の周期で繰り返し測定・送信される。ＨＭＤは、再生プログラムに基づき、角度データから、画像の範囲の計算、音声の各ｃｈの合成割合を実行する。その後、計算された画像の範囲の切り出し処理を行うと共に、計算されたｃｈの合成割合により８ｃｈの音声の合成処理を行う。切り出された画像・合成された音声はビデオ出力Ｉ／Ｆ経由でＨＭＤに送信される。ＨＭＤは送信された左眼・右眼動画像・音声を再生することができるので、ＨＭＤを装着した観察者がこれを観察できる。本実施の形態によれば、全球のステレオ動画像・音声が簡便記録・再生できる。観察者が右を向けば右側の画像が表示され、左を向けば左側の画像が表示され、後ろを向けば後側の画像が表示される。ドライブレコーダとして、事故等の発生後にデータを分析し、衝突時の速度・方向・周辺の他車の動きなどを一元的に把握できる。
【０１２９】
（第３の実施の形態）
次に、第３の実施の形態について説明する。ここでは、本発明の通信システム、遠隔操作方法を述べる。図１４は、第３の実施の形態にかかる遠隔操作方法を示すブロック図である。第１の実施の形態の装置を応用して、遠隔地からリアルタイムに撮影・再生及びその情報を用いてマニピュレータを操作する通信システムを構築でき、その応用として、無人深海調査船に搭載する遠隔操作マニピュレータとの組合せを設定する。
【０１３０】
上述の録画・録音装置ＲＤ２を、透明なガラス製の耐圧シールド容器ＶＬに格納し、鉛直下を観察するように無人深海調査船ＳＨの船底に水平に取り付ける。耐圧シールド容器ＶＬの中央にマニピュレータＭＰＴの軸受けを取り付けて、半球ステレオ画像を観察しながら、インタラクティブにマニピュレータＭＰＴを操作できるようにする。第２の実施の形態と同様な処理装置ＰＲＣ２は、無人深海調査船ＳＨに設けられている。再生装置としては、第２の実施の形態のＨＭＤによるものを採用する。再生は伝送装置を用いてリアルタイムに行う。
【０１３１】
調査船に設けたマニピュレータ制御装置ＭＤは、マニピュレータＭＰＴに内蔵されたアクチュエータを制御する。制御の命令は母船上の制御装置ＣＮＴから伝送される。無人調査船側無線伝送装置ＲＴ１は、母船上の母船側無線伝送装置ＲＴ２と通信し、全方位画像・及び音声をアップリンクすると共に、マニピュレータＭＰＴの制御信号をダウンリンクする。
【０１３２】
処理装置ＰＲＣは、第２の実施の形態における再生装置と同様のもので、リアルタイムに再生用ＨＭＤで画像・音声の再生を行うことができる。制御装置ＣＮＴは、マニピュレータ操作Ｉ／Ｆから入力される制御信号を、無線伝送装置ＲＴ２を通じて送信する。マニピュレータ操作Ｉ／Ｆは、作業者が、再生用ＨＭＤに表示される映像でマニピュレータＭＰＴの動作を確認しながら、マニピュレータＭＰＴの制御をインタラクティブに行うものであり、ジョイスティック形のＩ／Ｆで或ると好ましい。
【０１３３】
図１５は、録画・録音・伝送・再生・マニピュレータ制御・フィードバック確認の手順を示すフロー図である。録画・録音装置ＲＤ２が取得した画像データ・音声データは、処理装置ＰＲＣ２で処理された後、無人調査船側無線伝送装置ＲＴ１から、母船側無線伝送装置ＲＴ２を介して、制御装置ＣＮＴにアップリンクされ、ＨＭＤにて再生される。
【０１３４】
ＨＭＤを装着した作業者は、リアルタイムで表示された画像を見ながら、マニピュレータ操作Ｉ／Ｆを操作するので、その信号が制御装置ＣＮＴより、母船側無線伝送装置ＲＴ２から、無人調査船側無線伝送装置ＲＴ１を介して、マニピュレータ制御装置ＭＤにダウンリンクされ、マニピュレータＭＰＴを駆動するようになっている。
【０１３５】
本実施の形態によれば、深海のような遠隔地でも、広い視野に渡ってステレオ視での観察が可能である。即ち、単眼のモニタ画像では、耐圧ガラスなどによる屈折の影響により自然な視野の遠近感を得ることが困難であったのに対し、ステレオ視が可能になることで屈折の影響があっても、相対的な遠近感により、対象物の観察や作業を容易にする。更に、撮影した物体の長さなどを後から計測することが出来る。又、マニピュレータＭＰＴがステレオ画像に写りこむために容易に遠隔地からインタラクティブに操作をすることが可能である。又、装置の中央部は画像の死角となるから、マニピュレータＭＰＴの取り付け部が観察時の隠蔽を起こす障害になりづらい。尚、かかる通信システムを２つ設けることで、ＴＶ会議なども可能になる。
【０１３６】
（第４の実施の形態）
次に、第４の実施の形態について説明する。ここでは、本発明の監視方法を述べる。図１６は、第４の実施の形態にかかる監視動作を示すブロック図である。第４の実施の形態は、第１の実施の形態に計測機能を後処理として組み合わせた応用例として、道路交差点の上方に、鉛直下へ光軸を向けて取り付けた撮影装置により、交通の監視や事故時の検証を目的とするものである。撮影装置としては、第２の実施の形態の録画・録音装置ＲＤ２と処理装置ＰＲＣ２を用いることができる。
【０１３７】
監視動作について説明する。まず、トータルステーション等の測量機器を用いて、予め撮影装置の位置座標値及び方向角０°を決定する。次に、計測手段を兼ねる処理装置ＰＲＣ２が、撮影装置で取得した画像データ・音声データを処理して、得られたステレオ画像において目視で対象物の位置を計測して、左眼及び右眼に画像座標値として記録する。又、画像処理トラッキング技術を用いて移動する対象物を対象とすることも出来る。更に、三角測量の基本原理を用いて、対象物の撮影装置との相対的な方向角を算出する。又、対象物の仰角はカメラの中心からの画角で決定する。決定された方向角と仰角の交会誤差は算出平均をする。撮影装置の外部定位値を基準に、対象物の相対位置を決定することで、対象物の絶対位置を決定することができる。
【０１３８】
本実施の形態によれば、半球（第２の実施の形態との組合わせでは全球）のいずれにある対象物でも、画像に写っている限り、撮影装置からの相対位置が計測できる。又、画像中の位置が計測できる特性を応用して、ＣＧ技術で作成した仮想の物体を任意の位置で装置からの出力画像にオーバーレイ表示できる（ＡＲ技術）。
【０１３９】
以上、本発明を実施の形態を参照して説明してきたが、本発明は上記実施の形態に限定して解釈されるべきではなく、適宜変更・改良が可能であることはもちろんである。
【符号の説明】
【０１４０】
ＢＳ 支持台
ＢＳ１ 円盤部
ＢＳ２ 支持柱
ＢＳ３ リング部
ＣＩ／Ｆ カメラ同期制御インタフェース
ＣＮＴ 制御装置
ＦＬ 円周魚眼レンズ
ＦＬ１〜ＦＬ４ 魚眼レンズ
ＧＬ 眼鏡
ＨＤ 外部記憶装置
ＨＭＤ ヘッドマウントディスプレイ
ＨＰ 支持軸
ＨＳ 半球型スクリーン
ＭＣ１〜ＭＣ４ ムービーカメラ
ＭＤ マニピュレータ制御装置
ＭＩ／Ｆ マイクミキサーインタフェース
ＭＰ１〜ＭＰ４ 高指向性マイクロフォン
ＭＰＴ マニピュレータ
Ｏ 原点
ＰＪ 円周魚眼レンズ付プロジェクタ
ＰＲＣ 処理装置
ＰＲＣ１ 処理装置
ＰＲＣ２ 処理装置
ＲＤ 録画・録音装置
ＲＤ１ 録画・録音装置
ＲＤ２ 録画・録音装置
ＲＰ 再生装置
ＲＴ１ 無人調査船側無線伝送装置
ＲＴ２ 母船側無線伝送装置
ＳＣ 半球型スクリーン
ＳＨ 無人深海調査船
ＳＩ／Ｆ 音声出力インターフェース
ＳＰ１〜ＳＰ４ スピーカー
ＳＹＣ 同期制御用処理装置
ＶＨ 車両
ＶＬ 耐圧シールド容器
【技術分野】
【０００１】
本発明は、撮影方法、撮影機、撮影装置、３次元画像形成方法、全方位３次元画像形成方法、投影装置、通信システム、表示装置、遠隔操作方法、及び監視方法に関する。
【背景技術】
【０００２】
従来のステレオ画像の撮影方法は、一般的に、２台のカメラを一定の距離を離して、同一水平面に配置し、被写体に撮影方向を向けて撮影するものである。また、その周辺の被写体や背景の撮影も一緒に行うなら、カメラを載せた雲台毎、水平面内で回転させて複数枚の撮影をおこなって、得られた画像をつなぎ合わせて合成し、望みの画像を形成することが一般的である。又、カメラの光軸を撮影対象物に向けるのが常識である。
【０００３】
ここで、周辺の被写体や背景を撮影（あるいはパノラマ撮影）する場合に、複数枚の撮影を行うために、各撮影に時差が起こり、移動する被写体や変化する被写体は、かかる時差のために歪んで撮影されるなどして正確な画像が得られなかった。従って、例えば監視、観察等の利用には不適切であった。また、全方位の画像を撮影するために、球面鏡、円錐鏡、双曲面鏡、角錐鏡、放物面鏡などのミラー用いて撮影する方法もあるが、それらの方法では、ミラーの部分が死角となり、完全な半球や全球の画像が取得できないという問題がある。特に、全方位画像撮影装置では、カメラ本体が画像に写りこむことで死角となってしまう。更に、ミラーを用いる方法の多くは、同一鉛直軸上の２つのカメラによりステレオ視を行う際に、ステレオ対の方向が水平で無いために、全方位の見回しをステレオで途切れなく行うことができないという問題がある。これに対し、ミラーを用いずにリアルタイムで３次元画像を撮影するものとして、特許文献１，２に示すような全方位撮影装置が知られている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第３８２７９１２号明細書
【特許文献２】特開２０１０−２５６５３４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
より具体的には、特許文献１に示すステレオ画像撮影装置は、１２個のステレオカメラユニットを１２面体に取り付け、ユニット内のカメラ間隔を保ちながら、他のユニットの視野を妨げないように最適に組み合わせることで、全方向のカラー画像と３次元情報とをリアルタイムで取得できるものである。しかるに、特許文献１のステレオ画像撮影装置では、カメラ自身が写り込むことがなく、全周囲に加え、頭頂方向の画像もリアルタイムで撮影できるが、１２個のステレオカメラユニットが必要になるため、コスト高を招くという問題がある。更に、各カメラユニットの基線方向がバラバラなので、連続的な全方位のステレオ映像を見ることができない。
【０００６】
次に、特許文献２の図７に示す全方位撮像装置は、半径方向外側に向けた１６台のカメラを２つずつ対にして用いることで、カメラ自身が写りこむことがなく、８枚の３次元画像をリアルタイムで取得するものである。しかしながら、特許文献２の技術でも１６台のカメラが必要になり、また天頂方向の画像を撮影することは困難である。
【０００７】
本発明は、かかる問題点に鑑みてなされたものであり、各カメラの画像において、カメラ自身が写りこんでいる部分をステレオ画像の組合せ処理により取り除くことができ、よってカメラによる死角が生じず、低コストでありながら、広範囲な３次元画像をリアルタイムで撮影することができる撮影方法、撮影機、撮影装置、３次元画像形成方法、全方位３次元画像形成方法、並びにかかる技術を用いた投影装置、通信システム、表示装置、遠隔操作方法、及び監視方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
請求項１に記載の撮影方法は、広角レンズ又は超広角レンズを有する少なくとも３台のカメラを、同一平面の同一円周上に配設し、前記円周上の前記少なくとも３台のカメラの間のそれぞれの円弧の長さが等しくなるように配置して、且、前記平面に垂直で同一の撮影方向に前記少なくとも３台のカメラを配置し、同期して撮影することを特徴とする。
【０００９】
本発明の原理を、図１を参照して説明する。尚、本発明にて単に「画像」というときは、「映像」も含むことがあるものとする。図１において、広角レンズＬ１〜Ｌ３（又は超広角レンズ）をそれぞれ有する３台のカメラＣ１〜Ｃ３を、同一平面の同一円周上に配設している。又、３台のカメラＣ１〜Ｃ３のうち隣接するもの（その光軸）同士の間における円弧の長さが等しくなっている。尚、カメラＣ１〜Ｃ３の形状が同じである場合、同一仮想平面（ここでは水平面ＨＰ）の同一円周上に、各撮像面（撮像素子の受光面或いは銀塩フィルム面）の中心が位置するとともに、隣接するもの撮像面の中心間における円弧の長さが等しくなっているようにすると好ましい。
【００１０】
更に、仮想平面に垂直で同一の撮影方向に３台のカメラＣ１〜Ｃ３を配置している。これは、カメラＣ１〜Ｃ３の光軸Ｘ１〜Ｘ３が互いに平行であることを意味する。
【００１１】
かかる状態に配置したカメラＣ１〜Ｃ３で、同期して撮影すると、カメラＣ１で撮影する領域と、カメラＣ２で撮影する領域とが一部重なることとなる。かかる場合、カメラＣ１から得られた画像を左目用の画像とし、カメラＣ２から得られた画像を右目用の画像とすれば、重複した撮影領域（第１の撮影領域）では３次元画像（ステレオ画像ともいう）を撮影できることとなる。又、カメラＣ２で撮影する領域と、カメラＣ３で撮影する領域とが一部重なるから、カメラＣ２から得られた画像を左目画像とし、カメラＣ３から得られた画像を右目用の画像とすれば、重複した撮影領域（第１の撮影領域とは異なる第２の撮影領域）では３次元画像を撮影できることとなる。更に、カメラＣ３で撮影する領域と、カメラＣ１で撮影する領域とが一部重なるから、カメラＣ３から得られた画像を左目画像とし、カメラＣ１から得られた画像を右目用の画像とすれば、重複した撮影領域（第１及び第２の撮影領域とは異なる第３の撮影領域）では３次元画像を撮影できることとなる。又、得られた３次元画像に基づき、被写体までの距離などの情報を求めることができる。
【００１２】
かかる場合、カメラの光軸Ｘ１〜Ｘ３が仮想平面に垂直であるが、カメラＣ１〜Ｃ３は広角レンズＬ１〜Ｌ３を有しているので、その画角の範囲内で、光軸方向のみならず、全周の画像をリアルタイムに撮影できる。本発明によれば、同じカメラで撮影した画像を、右目用の画像及び左目用の画像として用いることで、少ない数のカメラを用いて全周の３次元画像をリアルタイムで撮影できることとなる。尚、広角レンズＬ１〜Ｌ３により撮影した画像には歪みが生じるが、これは画像処理等により平面画像に変換可能である。
【００１３】
請求項２に記載の撮影方法は、それぞれの特性が同一の前記少なくとも３台のカメラを用い、前記平面を水平面とし、前記撮影方向を天に向けて前記撮影を実行することを特徴とする。これにより、天頂方向を含む広範囲の被写体を撮影できる。
【００１４】
請求項３に記載の撮影方法は、前記広角レンズ又は超広角レンズが、６０度以上の画角を有することを特徴とする。これにより、広範囲の被写体を撮影できる。
【００１５】
請求項４に記載の撮影方法は、前記広角レンズ又は超広角レンズが魚眼レンズであることを特徴とする。これにより、更に広範囲の被写体を撮影できる。
【００１６】
請求項５に記載の撮影方法は、前記カメラが４台であることを特徴とする。カメラの数は、３台だけでなく、４台でも良いし、更に多くしても良い。
【００１７】
請求項６に記載の撮影方法は、前記カメラがデジタルカメラであることを特徴とする。これにより得られた画像に対し画像処理を容易に行える。
【００１８】
請求項７に記載の撮影方法は、前記カメラが、ムービーカメラであることを特徴とする。本発明は、特に移動又は変化する被写体をリアルタイムで撮影するのに好適である。
【００１９】
請求項８に記載の撮影方法は、前記カメラが、複数のマイクロフォンとそれぞれの前記マイクロフォンが集音した音を録音するディバイスを配置したことを特徴とする。例えば、図１のカメラＣ１〜Ｃ３に各々マイクロフォンを搭載して、集音することも可能である。これにより、ステレオで録音した音を再生するのに好都合である。
【００２０】
請求項９に記載の撮影機は、広角レンズ又は超広角レンズを有する少なくとも３台のカメラを、同一平面上の同一円周上に配設し、前記円周上の前記少なくとも３台のカメラの間のそれぞれの円弧の長さが等しくなるように配置して、且、前記平面に垂直で同一の撮影方向に前記少なくとも３台のカメラを配置し、同期撮影機構を備えたことを特徴とする。
【００２１】
図１を参照して説明したように、本発明の撮影機によれば、同じカメラで撮影した画像を、右目用の画像及び左目用の画像として用いることで、少ない数のカメラを用いて全周の３次元画像をリアルタイムで撮影できる。
【００２２】
請求項１０に記載の撮影機は、それぞれの前記少なくとも３台のカメラの特性が同一であることを特徴とする。これにより、均一な３次元画像を得ることができる。
【００２３】
請求項１１に記載の撮影機は、前記広角レンズ又は超広角レンズが魚眼レンズであることを特徴とする。これにより、更に広範囲の被写体を撮影できる。
【００２４】
請求項１２に記載の撮影機は、前記カメラが４台であることを特徴とする。カメラの数は、３台だけでなく、４台でも良いし、更に多くしても良い。
【００２５】
請求項１３に記載の撮影機は、前記カメラがデジタルカメラであることを特徴とする。これにより得られた画像に対し画像処理を容易に行える。
【００２６】
請求項１４に記載の撮影機は、前記少なくとも３台のカメラがそれぞれデジタルムービーカメラであり、それぞれの前記カメラが録音ディバイスを有することを特徴とする。本発明は、特に移動又は変化する被写体と音をリアルタイムで撮影するのに好適である。
【００２７】
請求項１５に記載の撮影装置は、第一の広角レンズ又は超広角レンズを有する第一の少なくとも３台のカメラを、第一の同一平面上の第一の同一円周上に配設し、前記第一の円周上の前記第一の少なくとも３台のカメラの間のそれぞれの第一の円弧の長さが等しくなるように配置して、且、前記第一の平面に垂直で第一の同一の撮影方向に前記第一の少なくとも３台のカメラを配置し、第一の同期撮影機構を備えた第一の撮影機と第二の広角レンズ又は超広角レンズを有する第二の少なくとも３台のカメラを、第二の同一平面上の第二の同一円周上に配設し、前記第二の円周上の前記第二の少なくとも３台のカメラの間のそれぞれの第二の円弧の長さが等しくなるように配置して、且、前記第二の平面に垂直で第二の同一の撮影方向に前記第二の少なくとも３台のカメラを配置し、第二の同期撮影機構を備えた第二の撮影機とを前記第一の撮影方向と前記第二の撮影方向を逆方向になるように、背中合わせに配置したことを特徴とする。
【００２８】
本発明の原理を、図２を参照して説明する。図２において、第１の撮影機として、広角レンズＬ１〜Ｌ３（又は超広角レンズ）をそれぞれ有する３台のカメラＣ１〜Ｃ３を、不図示の第１の同期撮影機構に連結した状態で、同一平面（第１平面）の同一円周上に配設している。又、３台のカメラＣ１〜Ｃ３のうち隣接するもの同士の間における円弧の長さが等しくなっている。更に、第２の撮影機として、広角レンズＬ４〜Ｌ６（又は超広角レンズ）をそれぞれ有する３台のカメラＣ４〜Ｃ６を、不図示の第２の同期撮影機構に連結した状態で、且つ各々カメラＣ１〜Ｃ３に背面合わせの状態で、同一平面（第１平面に近接して平行な第２平面）の同一円周上に配設している。よって、３台のカメラＣ４〜Ｃ６のうち隣接するもの同士の間における円弧の長さが等しくなっている。
【００２９】
更に、第１平面に垂直で同一の撮影方向に３台のカメラＣ１〜Ｃ３を配置している。これは、カメラＣ１〜Ｃ３の光軸Ｘ１〜Ｘ３が互いに平行であることを意味する。又、第２平面に垂直で同一の撮影方向に３台のカメラＣ４〜Ｃ６を配置している。これは、カメラＣ４〜Ｃ６の光軸Ｘ４〜Ｘ６が互いに平行であることを意味する。但し、３台のカメラＣ１〜Ｃ３の撮影方向は真上であり、逆に３台のカメラＣ４〜Ｃ６の撮影方向は真下である。
【００３０】
かかる状態に配置したカメラＣ１〜Ｃ３で、同期して撮影すると、カメラＣ１で撮影する領域と、カメラＣ２で撮影する領域とが一部重なることとなる。かかる場合、カメラＣ１から得られた画像を左目用の画像とし、カメラＣ２から得られた画像を右目用の画像とすれば、重複した撮影領域（第１の撮影領域）では３次元画像を撮影できることとなる。又、カメラＣ２で撮影する領域と、カメラＣ３で撮影する領域とが一部重なるから、カメラＣ２から得られた画像を左目画像とし、カメラＣ３から得られた画像を右目用の画像とすれば、重複した撮影領域（第１の撮影領域とは異なる第２の撮影領域）では３次元画像を撮影できることとなる。更に、カメラＣ３で撮影する領域と、カメラＣ１で撮影する領域とが一部重なるから、カメラＣ３から得られた画像を左目画像とし、カメラＣ１から得られた画像を右目用の画像とすれば、重複した撮影領域（第１及び第２の撮影領域とは異なる第３の撮影領域）では３次元画像を撮影できることとなる。又、得られた３次元画像に基づき、被写体までの距離などの情報を求めることができる。
【００３１】
更に、カメラＣ４〜Ｃ６で、同期して撮影すると、カメラＣ４で撮影する領域と、カメラＣ５で撮影する領域とが一部重なることとなる。かかる場合、カメラＣ４から得られた画像を左目用の画像とし、カメラＣ５から得られた画像を右目用の画像とすれば、重複した撮影領域（第４の撮影領域）では３次元画像を撮影できることとなる。又、カメラＣ５で撮影する領域と、カメラＣ６で撮影する領域とが一部重なるから、カメラＣ５から得られた画像を左目画像とし、カメラＣ６から得られた画像を右目用の画像とすれば、重複した撮影領域（第４の撮影領域とは異なる第５の撮影領域）では３次元画像を撮影できることとなる。更に、カメラＣ６で撮影する領域と、カメラＣ４で撮影する領域とが一部重なるから、カメラＣ６から得られた画像を左目画像とし、カメラＣ４から得られた画像を右目用の画像とすれば、重複した撮影領域（第４及び第５の撮影領域とは異なる第６の撮影領域）では３次元画像を撮影できることとなる。又、得られた３次元画像に基づき、被写体までの距離などの情報を求めることができる。
【００３２】
つまり本発明によれば、同じカメラで撮影した画像を、右目用の画像及び左目用の画像として用いることで、少ない数のカメラを用いて、前後左右に加え上下の、即ち全方位の３次元画像をリアルタイムで撮影できることとなる。尚、広角レンズＬ１〜Ｌ６により撮影した画像には歪みが生じるが、これは画像処理等により平面画像に変換可能である。
【００３３】
請求項１６に記載の撮影装置は、前記第一の少なくとも３台のカメラと前記第二の少なくとも３台のカメラの撮影軸が、前記第一のカメラの内の１台と、前記第二のカメラの内の１台のそれぞれの対で同一であることを特徴とする。即ち、図２で示す光軸Ｘ１とＸ４，Ｘ２とＸ５，Ｘ３とＸ６が一致していると好ましい。
【００３４】
請求項１７に記載の撮影装置は、前記第一の少なくとも３台のカメラと前記第二の少なくとも３台のカメラは、デジタルカメラであり、全部のカメラの合計が８台であることを特徴とする。カメラの数は、これに限られない。
【００３５】
請求項１８に記載の撮影装置は、前記広角レンズ又は超広角レンズが魚眼レンズであることを特徴とする。これにより、更に広範囲の被写体を撮影できる。
【００３６】
請求項１９に記載の撮影装置は、前記第一の少なくとも３台のカメラと前記第二の少なくとも３台のカメラが、デジタルカメラであることを特徴とする。これにより得られた画像に対し画像処理を容易に行える。
【００３７】
請求項２０に記載の撮影装置は、前記第一の少なくとも３台のカメラと前記第二の少なくとも３台のカメラが、ムービーカメラであることを特徴とする。本発明は、特に移動又は変化する被写体をリアルタイムで撮影するのに好適である。
【００３８】
請求項２１に記載の３次元画像形成方法は、
広角レンズ又は超広角レンズを備えた３個以上のカメラを同一円周上で、それぞれのカメラを仮想で結ぶ円弧の長さが同じであり、前記円周面に垂直で、光軸が同一方向になるように、且つ互いの撮影範囲が重なるように配置して、同時に撮影を行うステップと
第１の領域で撮影範囲が重なった２つのカメラのうち左目側のカメラから得られた画像を用いて、前記第１の領域における左目用の画像を形成すると共に、右目側のカメラから得られた画像を用いて、前記第１の領域における右目用の画像を形成するステップと、
前記第１の領域とは異なるが隣接する第２の領域で撮影範囲が重なった２つのカメラのうちの一方であって、前記第１の領域を撮影する２つのカメラのうち前記左目側のカメラとは異なるカメラから得られた画像を用いて、前記２の領域における左目用の画像を形成するステップを含むことを特徴とする。
【００３９】
図１を参照し、カメラＣ１〜Ｃ３を用いて同時に撮影を行った後、第１の領域で撮影範囲が重なった２つのカメラＣ１、Ｃ２のうち、左目側のカメラＣ１から得られた画像を用いて、第１の領域における左目用の画像を形成すると共に、右目側のカメラＣ２から得られた画像を用いて、第１の領域における右目用の画像を形成する。これにより第１の撮影領域の３次元画像を形成できる。次に、第１の撮影領域とは異なるが隣接する第２の領域で撮影範囲が重なった２つのカメラＣ２、Ｃ３のうち、左目側のカメラＣ２から得られた画像を用いて、第２の領域における左目用の画像を形成すると共に、右目側のカメラＣ３から得られた画像を用いて、第２の領域における右目用の画像を形成する。これにより第２の撮影領域の３次元画像を形成できる。更に、第１、２の撮影領域とは異なるが隣接する第３の領域で撮影範囲が重なった２つのカメラＣ３、Ｃ１のうち、左目側のカメラＣ３から得られた画像を用いて、第３の領域における左目用の画像を形成すると共に、右目側のカメラＣ１から得られた画像を用いて、第３の領域における右目用の画像を形成する。これにより第３の撮影領域の３次元画像を形成できる。以上により、カメラ周囲における全周の３次元画像を得ることができる。
【００４０】
請求項２２に記載の３次元画像形成方法は、前記カメラがデジタルカメラであり、１つのデジタルカメラから出力された画像信号を用いて、異なる撮影領域の右目用の画像と左目用の画像とを形成することを特徴とする。これにより、得られた画像の画像処理が容易になる。
【００４１】
請求項２３に記載の３次元画像形成方法は、前記カメラはムービーカメラであり、１つのムービーカメラから出力された画像信号を用いて、異なる撮影領域の右目用の映像と左目用の映像とを形成することを特徴とする。本発明は、特に移動又は変化する被写体の撮影に有効である。
【００４２】
請求項２４に記載の３次元画像形成方法は、前記カメラが、所定点を中心とする円周上に配置されて、前記広角レンズの光軸を平行としていることを特徴とする。
【００４３】
請求項２５に記載の３次元画像形成方法は、撮影範囲が重なった同一の領域を同時に撮影したときに、左目用の画像を形成するための前記カメラと、右目用の画像を形成するための前記カメラは、前記所定点を挟んだ対角上に位置することを特徴とする。例えば、２ｎ個（ｎは２以上の整数）のカメラを用いて撮影する場合に対応する。
【００４４】
請求項２６に記載の３次元画像形成方法は、前記広角レンズが魚眼レンズであることを特徴とする。
【００４５】
請求項２７に記載の３次元画像形成方法は、前記カメラから得られた画像が、円柱面に投影されるように画像処理された後、周方向に連結されることを特徴とする。
【００４６】
図１において、例えば左目側のカメラＣ１から得られた画像を用いて、第１の領域における左目用の画像を形成すると共に、右目側のカメラＣ２から得られた画像を用いて、第１の領域における右目用の画像を形成することで、重なった第１の撮影領域の３次元画像ＩＭ１を形成する。又、左目側のカメラＣ２から得られた画像を用いて、第２の領域における左目用の画像を形成すると共に、右目側のカメラＣ３から得られた画像を用いて、第２の領域における右目用の画像を形成することで、重なった第２の撮影領域の３次元画像ＩＭ２を形成する。更に、左目側のカメラＣ３から得られた画像を用いて、第３の領域における左目用の画像を形成すると共に、右目側のカメラＣ１から得られた画像を用いて、第３の領域における右目用の画像を形成することで、重なった第３の撮影領域の３次元画像ＩＭ３を形成する。しかるに、これらの３次元画像ＩＭ１〜ＩＭ３は、広角レンズを通して得られた画像であるため歪んで見える。そこで、かかる３次元画像ＩＭ１〜ＩＭ３を円柱面に投影した後、以下のように展開する画像処理を行うことで、モザイク画像である３次元画像ＩＭ１’〜ＩＭ３’を得る。即ち、広角レンズ（又は魚眼レンズ）で被写体を撮影した画像（撮像素子の受光面上）を円で示す図３（ａ）を元に、カメラ（円の中心にある）から等距離の円周を三等分したとき、それぞれの円周部分が、図３（ｂ）の長方形の下辺を三等分したそれぞれに対応するモザイク状になるように画像変換する。長方形の縦は、円の半径ｒで、横は、全方位３６０°の角度に対応する。長方形の上辺は、円の中央（天頂）の一点に対応し、その一点を３６０°に展開したものである。これをモザイク画像という。
【００４７】
同様に、カメラＣ２，Ｃ３から得られた３次元画像ＩＭ２を円柱面に投影するように画像処理すれば、矩形状の３次元画像ＩＭ２’を得ることができ、更にカメラＣ３，Ｃ１から得られた３次元画像ＩＭ３を円柱面に投影するように画像処理すれば、矩形状の３次元画像ＩＭ３’を得ることができるから、これらを連続的につなぎ合わせることで、３６０度のパノラマ３次元画像を得ることができる。
【００４８】
請求項２８に記載の全方位３次元画像形成方法は、請求項１乃至８に記載の撮影方法で、撮影して得られる３個以上（Ｎ個、但しＮは、正の整数）の３６０度の全方位画像の一部または全部を円筒内に投影して得られる画像に画像変換し、前記円筒内の一周をＮ個に等分して、Ｎ個のモザイク（短冊状）に分割してモザイク画像（短冊状画像集合画像）とし、内一個は、特定方位を中心とする部分画像であり、ひとつのカメラ（第一のカメラとする）で得られた画像のひとつのモザイク（第一のモザイクとする）を選択して片目用のモザイク画像部分とし、前記第一のカメラから最も遠いカメラ（２個ある場合は、円周上の距離が特定の回転方向で近い方か遠い方のいずれかを選択する選択基準で選択し、以降前記選択基準を変更しない。）（第二のカメラとする）の前記第一のモザイクと中心方位が同じ画像のモザイクを選択し（第二のモザイクとする）他眼用のモザイク画像部分とする工程を含み、前記中心方位は、前記第一のカメラと前記第二のカメラを結ぶ直線に垂直であって、前記同一円周を含む面上にあることを特徴とする。
【００４９】
図４（ａ）は、水平である仮想平面に４つのカメラＣ１〜Ｃ４を９０度ずつ等配した撮影装置を天頂から見た図であり、上方を北とする。ここで、紙面垂直方向に光軸を向けたカメラＣ１〜Ｃ４で撮影した３６０度の全方位画像の全部（一部でも良い）を円筒内に投影して得られる画像に画像変換し、かかる円筒内の一周を４個に等分して、４個のモザイク（短冊状）ＭＺ１〜ＭＺ４に分割してモザイク画像（短冊状画像集合画像）とした状態を、図４（ｂ）に示す。ここで、モザイクＭＺ１の中央方位が、例えば北とすると、選択された第一のカメラＣ４と第二のカメラＣ２とで、モザイクＭＺ１の３次元画像を得ることができ、この場合、天頂からみて左側にあるカメラＣ４の画像データにより左目用の画像又は映像を生成することが出来、天頂からみて右側にあるカメラＣ２の画像データにより右目用の画像又は映像を生成することが出来る。このとき、カメラＣ４の撮影するモザイクＭＺ１は、カメラＣ２の撮影するモザイクＭＺ１と中心方位が同じであり、即ち中心方位は、カメラＣ４とカメラＣ２を結ぶ直線に垂直であって、同一円周を含む面上にある（尚、図４（ａ）ではカメラＣ１〜Ｃ４の乗る内側円と、視野を示す外側円との距離が近いので、カメラの画角が折れ線となって示されているが、実際はほぼ直線となる）。つまり、中央方位が北であるモザイクＭＺ１の３次元画像は、カメラＣ４とＣ２の画像データのみから得られ、カメラＣ１，Ｃ３の画像データは用いない。又、中央方位が東であるモザイクＭＺ２の３次元画像は、選択された第一のカメラＣ１と第二のカメラＣ３とで得ることができ、この場合、天頂からみて左側にあるカメラＣ１の画像データにより左目用の画像又は映像を生成することが出来、天頂からみて右側にあるカメラＣ３の画像データにより右目用の画像又は映像を生成することが出来る。つまり、中央方位が東であるモザイクＭＺ２の３次元画像は、カメラＣ１とＣ３の画像データのみから得られ、カメラＣ２，Ｃ４の画像データは用いない。更に、中央方位が南であるモザイクＭＺ３の３次元画像は、選択された第一のカメラＣ２と第二のカメラＣ４とで得ることができ、この場合、天頂からみて左側にあるカメラＣ２の画像データにより左目用の画像又は映像を生成することが出来、天頂からみて右側にあるカメラＣ４の画像データにより右目用の画像又は映像を生成することが出来る。つまり、中央方位が南であるモザイクＭＺ３の３次元画像は、カメラＣ２とＣ４の画像データのみから得られ、カメラＣ１，Ｃ３の画像データは用いない。又、中央方位が西であるモザイクＭＺ４の３次元画像は、選択された第一のカメラＣ３と第二のカメラＣ１とで得ることができ、この場合、天頂からみて左側にあるカメラＣ３の画像データにより左目用の画像又は映像を生成することが出来、天頂からみて右側にあるカメラＣ１の画像データにより右目用の画像又は映像を生成することが出来る。つまり、中央方位が西であるモザイクＭＺ４の３次元画像は、カメラＣ３とＣ１の画像データのみから得られ、カメラＣ２，Ｃ４の画像データは用いない。尚、特定方位は、北でなくても良い。更に、カメラの個数が奇数である場合、円周上の距離が特定の回転方向（時計回りでなく、反時計回りでも良いが、一度選択されると選択方向が固定される）で近い方か遠い方のいずれかを選択し、以下同様とする（図１の例は、第一のカメラに対し時計回りに近い方を第二のカメラを選択した例であり、図２の例は、鉛直上向きの装置においては、第一のカメラに対し時計回りに近い方を第二のカメラを選択した例であり、鉛直下向きの装置においては、第一のカメラに対し反時計回りに近い方を第二のカメラを選択した例である）。
【００５０】
請求項２９に記載の全方位３次元画像形成方法は、前記第一のカメラと前記第二のカメラに関して、天頂から見たときに左側にあるカメラの画像を左眼用とし、右側にあるカメラの画像を右目用とし、それぞれのモザイク画像部分を選択する工程を各カメラについて実行して、それぞれのカメラに対応する左目用と右目用のモザイク画像部分を選択し、繰り返して得られる各モザイク画像部分を集合させて左目用のモザイク画像と右目用のモザイク画像を作成する工程を含むことを特徴とする。
【００５１】
図４を参照して、カメラＣ１〜Ｃ４により得られた左目用と右目用のモザイク画像ＭＺ１〜ＭＺ４について、それぞれ３次元画像を生成する工程を実行した後、これらを接合する工程を実行することで全方位の３次元画像を得ることができる。
【００５２】
請求項３０に記載の投影装置は、請求項２１乃至２９のいずれかに記載の３次元画像形成方法により形成された左目用の画像と右目用の画像とを同時に投影することを特徴とする。
【００５３】
例えば図１に示すカメラＣ１〜Ｃ３を、投影装置に置き換えることで、それぞれカメラＣ１〜Ｃ３で得られた画像を、半球ＨＳに投影することで、全方位の３次元画像を投影することができる。尚、かかる画像を半球ＨＳに投影するような場合、画像処理にて撮影直後のモザイク処理前の画像に戻す必要がある。また、ステレオ画像に用いられない部分が投影されると支障が生じるので、該部分をマスクで遮蔽する等の手段で、投影されないようにする必要がある。図１の場合は、撮影画像中心から装置中心へ向かって左右６０度（全体で１２０度）の画像部分を覆うことが必要である。更に、例えば、図４のように、４台のカメラＣ１〜Ｃ４をプロジェクタに置き換えて球面内に投影するときは、各カメラごとに４分割した円の画像のうちの対向する２か所の画像を用いるが、それ以外の２か所の画像は用いないので、それをマスクすることが必要である。具体的には、カメラＣ２に関するものでは、モザイク画像ＭＺ1、ＭＺ３に対応する画像は使用するが、モザイク画像ＭＺ２、ＭＺ４に対応する画像は使用しないので、この２か所の画像が投影されないように覆い隠すことになる。他の画像についても、同様の工夫をする。
【００５４】
請求項３１に記載の投影装置は、前記投影装置は、左目用の画像と右目用の画像とを曲面のスクリーンに投影することを特徴とする。図１の半球ＨＳが曲面のスクリーンに相当する。但し、スクリーンは半球に限られない。
【００５５】
請求項３２に記載の投影装置は、前記曲面のスクリーンとは、半球の内面であることを特徴とする。
【００５６】
請求項３３に記載の投影装置は、前記スクリーンに表示される画像の位置を計測する計測手段を有することを特徴とする。スクリーンに表示される画像は３次元画像であるため、公知のステレオ測距法により画像中の被写体までの距離を測定できる。従って、計測手段とは、公知のステレオ測距法を実現できる画像処理等を実行できるものであれば足りる。
【００５７】
請求項３４に記載の通信システムは、請求項９乃至２０に記載の撮影機または撮影装置と、請求項３０乃至３３のいずれかに記載の投影装置とを有することを特徴とする。
【００５８】
請求項３５に記載の表示装置は、請求項２１乃至２９のいずれかに記載の３次元画像形成方法により形成された左目用の画像と右目用の画像とを同時に表示することを特徴とする。
【００５９】
請求項３６に記載の表示装置は、前記画像を表示するパネルは、観察者の周囲に３６０度にわたって配置されていることを特徴とする。
【００６０】
請求項３７に記載の表示装置は、請求項２１乃至２９のいずれかに記載の３次元画像形成方法により形成された左目用の画像と右目用の画像とを別個に表示する一対の表示部を有することを特徴とする。
【００６１】
請求項３８に記載の表示装置は、前記一対の表示部を観察者の左目と右目に各々あてがうようにして、該観察者が着用する眼鏡型の表示装置であり、前記表示装置の方向を検出する検出手段を有し、前記検出手段の検出した方向に応じて、前記表示部に表示する画像を切り換えることを特徴とする。
【００６２】
請求項３９に記載の通信システムは、請求項９乃至２０に記載の撮影装置と、請求項３６乃至３８のいずれかに記載の表示装置とを有することを特徴とする。
【００６３】
請求項４０に記載の遠隔操作方法は、請求項３４又は３９に記載の通信システムを有し、前記撮影装置を作動装置に取り付けて、前記作動装置から離れた場所で前記表示装置に表示された画像を見ながら、観察者が前記作動装置を操作するようになっていることを特徴とする。
【発明の効果】
【００６４】
以上述べた本発明によれば、東西南北３６０度の方向に切れ目無く、立体像が得られる。これが、しかも、同期した一度の撮影で得られた画像を用いるので時差が生じず、さらに、天および／または地に向けて撮影したときに、これらの効果が大きく、これらの効果が得られる撮影方法と、それができる撮影機、撮影装置を実現すると共に、カメラ自身が画像上に現れることのない画像を簡単に作成できる。
【００６５】
本発明によれば、例えば魚眼レンズで、天頂に向けて一度撮影するだけで、パノラマ画像が得られる。従来のように被写体に光軸を向けるのではなく、天頂に向ける点が従来技術とは大きく異なる。つまり被写体は周辺画像の一部に映ることになる。
【００６６】
本発明によれば、東西南北、上下左右３６０度の方向に延在する立体像を簡単に得ることができる。又、光軸方向に限らず、いずれの方向の被写体の３次元情報（位置）も取得できる。
【００６７】
本発明は、応用範囲が広範囲であり、例えば地図、ゲーム等々に適用可能である。ディスプレーの仕方で色々可能性があり、例えば、乗り物（車、船、飛行機等々）の訓練のために、方向を検出するヘッドマウントディスプレー（ＨＭＤ）上に、その方向の立体像を表示し、顔を向ける毎に立体像を切り換えることができる。また、例えば、プラネタリウムでは、半球の内面に３次元画像を表示することができる。
【００６８】
本発明は静止画でも動画でも適用可能であり、以上の効果が動画でも得られる。更に、全方位ステレオ動画の生成に複雑な後処理を必要としないので、撮影とほぼ同時に再生が可能である。加えて、通信装置との組み合わせにより遠隔地での同時再生が可能であるから、ＴＶ会議や、危険な場所にある装置の遠隔操作等に用いることができる。
【００６９】
尚、本明細書中、超広角レンズとは、広角レンズより広い画角を持つレンズをいう。広角レンズとは少なくとも６０度の画角を持つものをいう。デジタルカメラとは、被写体像を電気信号に変換する固体撮像素子を有するカメラをいう。「等距離」、「同一円周上」、「同一の特性」、「等しい長さの円弧」とは、実質的に等しいか同一であればよい。又、「同期撮影」とは、例えば同時に撮影することをいうが、僅かなタイムラグがあっても良い。以上のズレは、画像処理等の補正で正すことができる。
【００７０】
対となる位置の２台のカメラは、特殊カメラで、両面感光体の両側に撮影レンズを持っているものでも良いし、別々のカメラを対にして、背中合わせにしてもよい。ふたつの感光体の位置の差が撮影で抜ける位置になるし、魚眼レンズでも１８０度の画角でない限り、抜ける位置ができる。
【００７１】
カメラとしては、デジタルカメラの他、銀塩カメラを用いることができる。また動画とは、例えば複数の静止画を連続的に切り換えるものをいう。又、本発明の撮影方法で得られた右目用の画像と、左目用の画像とは、従来のディスプレイで利用可能である。
【図面の簡単な説明】
【００７２】
【図１】一例にかかる本発明の原理を説明するための図である。
【図２】別な例にかかる本発明の原理を説明するための図である。
【図３】画像処理の例を示す図である。
【図４】別な例にかかる本発明の原理を説明するための図であり、（ａ）ではカメラＣ４，Ｃ２のみ強調して示している。
【図５】第１の実施の形態にかかる撮影装置の概略図である。
【図６】第１の実施の形態にかかる撮影装置の録画・録音手順を示す図である。
【図７】第１の実施の形態にかかる撮影装置の後処理を示す図である。
【図８】第１の実施の形態にかかる再生装置の概略図である。
【図９】第１の実施の形態にかかる再生装置の再生処理を示す図である。
【図１０】第２の実施の形態の概略図である。
【図１１】第２の実施の形態の録画・再生処理を示す図である。
【図１２】第２の実施の形態にかかる後処理を示す図である。
【図１３】第２の実施の形態にかかる再生処理を示す図である。
【図１４】第３の実施の形態の概略図である。
【図１５】第３の実施の形態にかかる処理を示す図である。
【図１６】第４の実施の形態にかかる後処理を示す図である。
【発明を実施するための形態】
【００７３】
（第１の実施の形態）
以下、本発明にかかる第１の実施の形態について、図面を参照して説明する。ここでは、本発明の撮影方法、撮影機、撮影装置、３次元画像形成方法、全方位３次元画像形成方法、投影装置、表示装置について述べる。まず、図５に示す、４台のムービーカメラと４台のマイクロフォンを用いた半球ステレオ撮影装置、及び図８に示す、半球状スクリーンと魚眼レンズ付プロジェクタを用いた再生装置を説明する。また、その応用として、臨場感の高い劇場鑑賞映像製作目的とした撮影を舞台直下座席からの撮影・再生を行う装置を説明する。
【００７４】
図１において、支持台ＢＳは、フレームなどの剛体に設置される円盤部ＢＳ１と、円盤部ＢＳ１から等間隔で水平方向に放射状に延在する４本の支持柱ＢＳ２と、支持柱ＢＳ２の先端で支持されたリング部ＢＳ３とを有している。リング部ＢＳ３は、気泡管を用いた水準器にて高精度に水平に設置されると好ましい。
【００７５】
リング部ＢＳ３上には、４つのムービーカメラＭＣ１〜ＭＣ４が周方向に等間隔で固定されている。不図示の固体撮像素子に加え、ムービーカメラＭＣ１〜ＭＣ４は、それぞれ画角が１８０〜１９０°である円周魚眼レンズＦＬ１〜ＦＬ４（超広角レンズでも良い）と、高指向性のマイクロフォンＭＰ１〜ＭＰ４を備えている。魚眼レンズＦＬ１〜ＦＬ４の光軸は、リング部ＢＳ３の軸線に平行に設置されている。尚、ここでは、ローカル座標系として、円盤部ＢＳ１及びリング部ＢＳ３の中心を原点Ｏとし、原点ＯからムービーカメラＭＣ１の光軸に向かう方向をＹ軸の正方向とし、原点ＯからムービーカメラＭＣ２の光軸に向かう方向をＸ軸の正方向とする。また方向角θはＹ軸の正方向を０°として、時計回りの方向の角度にとる。原点Ｏから各ムービーカメラの光軸までの距離は５ｃｍである。
【００７６】
ムービーカメラＭＣ１〜ＭＣ４は、４ｃｈカメラ同期制御インターフェースＣＩ／Ｆにそれぞれ接続されており、マイクロフォンＭＰ２〜ＭＰ４は、４ｃｈマイクミキサーインタフェースＭＩ／Ｆにそれぞれ接続されている。処理装置ＰＲＣは、４ｃｈカメラ同期制御インターフェースＣＩ／Ｆと、４ｃｈマイクミキサーインタフェースＭＩ／Ｆに接続され、内部にプログラム格納ＲＯＭを有すると共に、外部記憶装置ＨＤに接続されている。
【００７７】
ムービーカメラＭＣ１〜ＭＣ４は、ＨＤＴＶ（２Ｍ画素）以上の３０ｆｐｓでカラー画像が記録できるものであり、画像が十分な転送フレームレートを確保するためにカメラ側で圧縮処理により半分程度のデータサイズにするものであると好ましい。又、キャリブレーションにより、光学的な補正を行うことができ、同期撮影機構を兼ねる処理装置ＰＲＣからの外部トリガーにより、他のムービーカメラと同期撮影が可能となっている。尚、データの転送にはカメラリンクＩ／Ｆを用いると好ましい。ムービーカメラＭＣ１〜ＭＣ４の水平面上の設置の向きは、ローカル座標系の原点ＯからＸ軸に合わせている。
【００７８】
高指向性のマイクロフォンＭＰ１〜ＭＰ４は、それぞれ指向性の高いマイクロフォンであり、原点ＯからみてムービーカメラＭＣ１〜ＭＣ４の外側に設置されている。つまり、撮影装置の中心からみて指向性の高い方向を半径方向外側に向けている。
【００７９】
４ｃｈカメラ同期制御インタフェースＣＩ／Ｆは、カメラリンクＩ／Ｆで接続されたムービーカメラＭＣ１〜ＭＣ４を制御する機能を有する。より具体的には、処理装置ＰＲＣの命令で撮影トリガーを出力してムービーカメラＭＣ１〜ＭＣ４の同期撮影を行う。処理装置ＰＲＣとは、ＰＣＩ−Ｅｘｐｒｅｓｓなどのシステムバスで接続される。
【００８０】
４ｃｈマイクミキサーインターフェースＭＩ／Ｆは、高指向性マイクロフォンＭＰ１〜ＭＰ４の音声データを４ｃｈの音声データとして処理する機能を有する。処理装置ＰＲＣとは、ＰＣＩ−Ｅｘｐｒｅｓｓなどのシステムバスで接続される。
【００８１】
処理装置ＰＲＣは、ＣＰＵ・メモリ・外部記憶装置・ディスプレイ・及びプログラムＲＯＭからなる処理装置であって、例えばＰＣを用いることができる。処理装置ＰＲＣは、ムービーカメラ・マイクロフォンの動作を制御するプログラムをＲＯＭから読出して、画像処理を実行すると共に、制御プログラムＵ／Ｉ、撮影・記録された画像・音声データ、及び処理された画像・音声データをディスプレイで表示・操作するディスプレイ（不図示）を備える。
【００８２】
外部記憶装置ＨＤは、処理装置ＰＲＣで制御され記録されたムービーカメラ・マイクロフォンの画像・音声データ、及び処理済データを記録するハードディスクドライブ又はソリッドステートドライブ装置であり、十分な書き込み処理レートのためにハードウェアＲＡＩＤのＩ／Ｆで接続されている。又、ＲＡＩＤレベル０（ストライピング）により高速な書き込みを行うことができる。
【００８３】
本実施の形態の撮影方法を、図６を参照して説明する。図６は、録画・録音の手順を示すブロック図である。まず、不図示のスイッチのオン操作により、録画・録音開始の同期トリガー信号を送信すると、処理装置ＰＲＣにてプログラムを起動して録画・録音を開始する。より具体的には、プログラムから制御される４ｃｈカメラ同期制御インタフェースＣＩ／Ｆと４ｃｈマイクミキサーインタフェースＭＩ／Ｆから録画・録音開始のトリガー信号を各ムービーカメラ・マイクに送信する。
【００８４】
ムービーカメラＭＣ１〜ＭＣ４は、トリガー信号を受信すると撮影を開始する。画像はローリングシャッター方式の３０ｆｐｓで撮影される。取得された画像は、円周魚眼レンズの効果で、天頂を中心とする円極座標の画像となる。撮影された各フレーム画像はムービーカメラのハードウェアでリアルタイムに画像圧縮処理が行われて約半分のデータサイズになる。
【００８５】
圧縮された画像は、カメラリンクＩ／Ｆでリアルタイムに４ｃｈカメラ同期制御インタフェースＣＩ／Ｆに転送される。転送された画像は、４ｃｈカメラ同期制御インタフェースＣＩ／Ｆに於いて、他のカメラからの画像とフレーム番号等による同期情報を付加した後に、更にカメラリンクＩ／Ｆによりリアルタイムに処理装置ＰＲＣに転送される。撮影停止のトリガーが受信されるまでリアルタイムで処理の実行を繰り返す。
【００８６】
高指向性マイクロフォンＭＰ１〜ＭＰ４は、４ｃｈマイクミキサーインターフェースＭＩ／Ｆからトリガーを受信して録音を開始する。処理装置ＰＲＣにおいて、リアルタイムに４つのマイクの音声データを４ｃｈの音声データに合成する。録音停止のトリガーが受信されるまでリアルタイムで処理の実行を繰り返す。
【００８７】
ムービーカメラＭＣ１〜ＭＣ４の動画像データは、処理装置ＰＲＣから、ハードウェアＲＡＩＤで接続された外部記憶装置ＨＤにリアルタイムで格納される。又、処理装置ＰＲＣで４ｃｈに合成された音声データは、リアルタイムに外部記憶装置ＨＤに格納される
【００８８】
図７は、処理装置ＰＲＣで行われる後処理を示すブロック図である。処理装置ＰＲＣは、ムービーカメラＭＣ１〜ＭＣ４の外部記憶装置ＨＤから録画データをフレーム単位で読み出し、後処理プログラムにより画像処理を実行する。まず、画像の光学キャリブレーションを行う、より具体的には、予め測定されているムービーカメラＭＣ１〜ＭＣ４の光学キャリブレーションデータをプログラム格納ＲＯＭから読み出して、各フレーム画像に対してキャリブレーション処理を行い、ＰＳ（Ｐｏｓｉｔｉｏｎ ｏｆ Ｓｙｍｍｅｔｒｙ）及びＲａｄｉａｌ Ｄｉｓｔｏｒｔｉｏｎを補正する。キャリブレーション済の画像データはメモリーバッファに格納される。
【００８９】
又、処理装置ＰＲＣは、画像の投影変換処理（円極座標から円筒座標）を行う、より具体的には、処理装置ＰＲＣは、メモリーバッファからキャリブレーション済みフレーム画像データを読み出す。そして、ムービーカメラの天頂を中心とする円極座標系の画像データをキャリブレーションで補正されたＰＳを軸として円筒座標系に投影変換処理を行う。ここで、投影する円筒は、ムービーカメラＭＣ１〜ＭＣ４のＰＳを中心として鉛直方向に処理前の画像と同程度以上の解像度を保持できる任意の半径を持つものとする。円筒投影変換において、変換後の画像は、ローカル座標系の方位角０°を画像の原点となるようにする。更に、処理装置ＰＲＣは、メモリーバッファに投影変換済のフレーム画像を格納し、その後、メモリーバッファからキャリブレーション済みのフレーム画像データを消去する。
【００９０】
次に、処理装置ＰＲＣは、画像の切り出し処理を行う。まずは、方位角０°±４５°の左目用画像を切り出す。具体的には、メモリーバッファから投影変換処理済のフレーム画像を読み出す。読み出したフレーム画像について、画像から方位角０°±４５°（合計９０°）を切り出す。更に、メモリーバッファに切り出し処理済の画像を格納する。その後、メモリーバッファから投影変換済みフレーム画像を消去する。
【００９１】
次に、処理装置ＰＲＣは、方位角１８０°±４５°の右目用画像を切り出す。具体的には、メモリーバッファから投影変換処理済のフレーム画像を読み出す。読み出したフレーム画像について、画像から方位角１８０°±４５°（合計９０°）を切り出す。更に、メモリーバッファに切り出し処理済の画像を格納する。その後、メモリーバッファから投影変換済みフレーム画像を消去する。
【００９２】
次に、処理装置ＰＲＣは、方位角９０°±４５°の左目用画像を切り出す。具体的には、メモリーバッファから投影変換処理済のフレーム画像を読み出す。読み出したフレーム画像について、画像から方位角９０°±４５°（合計９０°）を切り出す。更に、メモリーバッファに切り出し処理済の画像を格納する。その後、メモリーバッファから投影変換済みフレーム画像を消去する。
【００９３】
次に、処理装置ＰＲＣは、方位角２７０°±４５°の右目用画像を切り出す。具体的には、メモリーバッファから投影変換処理済のフレーム画像を読み出す。読み出したフレーム画像について、画像から方位角２７０°±４５°（合計９０°）を切り出す。更に、メモリーバッファに切り出し処理済の画像を格納する。その後、メモリーバッファから投影変換済みフレーム画像を消去する。
【００９４】
次に、処理装置ＰＲＣは、方位角１８０°±４５°の左目用画像を切り出す。具体的には、メモリーバッファから投影変換処理済のフレーム画像を読み出す。読み出したフレーム画像について、画像から方位角１８０°±４５°（合計９０°）を切り出す。更に、メモリーバッファに切り出し処理済の画像を格納する。その後、メモリーバッファから投影変換済みフレーム画像を消去する。
【００９５】
次に、処理装置ＰＲＣは、方位角０°±４５°の右目用画像を切り出す。具体的には、メモリーバッファから投影変換処理済のフレーム画像を読み出す。読み出したフレーム画像について、画像から方位角０°±４５°（合計９０°）を切り出す。更に、メモリーバッファに切り出し処理済の画像を格納する。その後、メモリーバッファから投影変換済みフレーム画像を消去する。
【００９６】
次に、処理装置ＰＲＣは、方位角２７０°±４５°の左目用画像を切り出す。具体的には、メモリーバッファから投影変換処理済のフレーム画像を読み出す。読み出したフレーム画像について、画像から方位角２７０°±４５°（合計９０°）を切り出す。更に、メモリーバッファに切り出し処理済の画像を格納する。その後、メモリーバッファから投影変換済みフレーム画像を消去する。
【００９７】
次に、処理装置ＰＲＣは、方位角９０°±４５°の右目用画像を切り出す。具体的には、メモリーバッファから投影変換処理済のフレーム画像を読み出す。読み出したフレーム画像について、画像から方位角９０°±４５°（合計９０°）を切り出す。更に、メモリーバッファに切り出し処理済の画像を格納する。その後、メモリーバッファから投影変換済みフレーム画像を消去する。
【００９８】
以上を言い換えると、方向角θ＝０度の方向を中心とするステレオ動画は、ムービーカメラＭＣ４の画像データにより左目動画を形成し、ムービーカメラＭＣ２の画像データにより右目用動画を形成する。一方、方向角θ＝１８０度の方向を中心とするステレオ動画は、ムービーカメラＭＣ２の画像データにより左目動画を形成し、ムービーカメラＭＣ４の画像データにより右目用動画を形成する。又、方向角θ＝９０度の方向を中心とするステレオ動画は、ムービーカメラＭＣ１の画像データにより左目動画を形成し、ムービーカメラＭＣ３の画像データにより右目用動画を形成する。一方、方向角θ＝２７０度を中心とする方向のステレオ動画は、ムービーカメラＭＣ３の画像データにより左目動画を形成し、ムービーカメラＭＣ１の画像データにより右目用動画を形成する。
【００９９】
更に処理装置ＰＲＣは、画像のモザイク処理（左目用）を行う。左目用に処理された切り出し済み画像を、一つの画像にモザイク処理する。より具体的には、方位角０°を画像原点左上として、方位角を合わせてモザイク処理する。その後、メモリーバッファにモザイク済のフレーム画像を格納し、メモリーバッファから切り出し処理済の画像を消去する。
【０１００】
また処理装置ＰＲＣは、画像のモザイク処理（右目用）を行う。右目用に処理された切り出し済み画像を、一つの画像にモザイク処理する。より具体的には、方位角０°を画像原点左上として、方位角を合わせてモザイク処理する。その後、メモリーバッファにモザイク済のフレーム画像を格納し、メモリーバッファから切り出し処理済の画像を消去する。
【０１０１】
これと並行して、４ｃｈの音声データを入力された処理装置ＰＲＣは、後処理プログラムにより、左眼動画像・右眼動画像・音声データの合成保存を行う。音声については、画像のフレーム始終端に同期した長さのデータがメモリーバッファに格納されている。モザイクの処理済み画像のうち左目画像データを左に、右目画像データを右に配置して結合し、横方向に２倍大きさのサイドバイサイド形式のステレオフレーム画像を生成する。その後、動画像形式のフレーム画像として外部記憶装置ＨＤに記録する。以上の処理を繰り返し、フレーム終端まで処理を複行する。画像の処理が終了後、音声データを画像データのタイムコードで同期させて格納する。その後、全てのメモリーバッファの内容をクリアすることで、処理が終了する。
【０１０２】
次に、図８を参照して、半球状スクリーンと魚眼レンズ付プロジェクタを用いた再生装置を説明する。図８において、縁部のみを示す中空の半球型スクリーンＨＳの中央に、円周魚眼レンズＦＬを備えたプロジェクタＰＪが、光軸を半球中央に向けて配置されている。又、４つのスピーカーＳＰ１〜ＳＰ４が、半球型スクリーンＨＳの内壁に周方向に等間隔に設置されている。尚、ここでは、ローカル座標系として、半球型スクリーンＨＳの中心を原点Ｏとし、原点ＯからスピーカーＳＰ１の中心に向かう方向をＹ軸の正方向とし、原点ＯからスピーカーＳＰ２の中心に向かう方向をＸ軸の正方向とする。また方向角θはＹ軸の正方向を０°とし、時計回りの方向の角度にとる。
【０１０３】
スピーカーＳＰ１〜ＳＰ４は、４ｃｈ音声出力インターフェースＳＩ／Ｆにそれぞれ接続されており、プロジェクタＰＪは、再生装置ＲＰに接続されている。再生装置ＲＰは、４ｃｈ音声出力インターフェースＳＩ／Ｆに接続され、内部にプログラム格納ＲＯＭを有すると共に、外部記憶装置ＨＤに接続されている。
【０１０４】
半球型スクリーンＨＳは、水平面より上部を半球形状の（下部が開いた）半径２ｍ程度の剛体のスクリーンであり、地上から１．５ｍ程度の高さに設置されている。その形状は、円錐でも円筒でも構わないが球に近いほど観察者からの距離の変化が少なくなり理想的となる。尚、プロジェクタＰＪの代わりに、半球型スクリーンＨＳの内面に画像を表示するパネルを設けても良い。
【０１０５】
円周魚眼レンズＦＬを備えた再生プロジェクタＰＪは、２Ｍ画素程度の解像度を持つプロジェクタで再生装置ＲＰに映像出力Ｉ／Ｆで接続されており、半球型スクリーンＨＳの中央・且つ下部端にレンズ外側を合わせて鉛直上方を向いて配置されている。
【０１０６】
動画の観察者は、半球型スクリーンＨＳの下部から半球型スクリーンＨＳ内部に頭部だけを入れてスクリーンに投影された動画を観察する。観察者は、アクティブシャッター方式の眼鏡ＧＬを掛けている。アクティブシャッター方式の眼鏡ＧＬは、眼鏡同期信号エミッタにより１００〜１２０Ｈｚ程度の速さで左眼と右眼の画像を切り替えて表示できるものである。
【０１０７】
より具体的には、観察者はアクティブシャッター方式の眼鏡ＧＬを用いて、同期信号エミッターの赤外線信号を受信しながらステレオ動画を観察する。半球型スクリーンＨＳの映像が再生プロジェクタＰＪと観察者の直線上にあるときには隠蔽されて動画が観察できないために、観察位置を移動する必要がある。よって通常、観察者は観察位置に立ち再生プロジェクタＰＪの方向を向いて動画を観察することになる。
【０１０８】
再生装置ＲＰは、ＣＰＵ・メモリ・外部記憶装置・ディスプレイ・及びプログラムＲＯＭからなる処理装置であり、例えばＰＣを用いると好ましい。再生装置ＲＰは、再生プロジェクタＰＪのステレオ動画像データ、４ｃｈの音声データ、アクティブシャッター方式の眼鏡ＧＬを同期するためのエミッタのためのＩ／Ｆを有する。再生装置ＲＰは、ステレオ動画像、及び４ｃｈの音声を再生するプログラムをＲＯＭから読み出し、再生のため実行する。再生装置ＲＰは、再生プログラムのＵ／Ｉ、及び再生データを表示・操作するディスプレイを備える。
【０１０９】
４ｃｈ音声出力ＳＩ／Ｆは、４ｃｈで格納されている音声データを各チャンネルに分配するＩ／Ｆを有し、チャンネル間のボリュームレベルなどを個々に調整制御する機能がある。尚、アクティブシャッター方式の眼鏡同期信号エミッタは、再生装置ＲＰに接続されており、観察者が装着するアクティブシャッター方式の眼鏡における左眼・右眼の液晶スクリーンのオンオフを再生プロジェクタＰＪのステレオ画像の左眼・右眼の切り替えに同期させて制御するための赤外線信号を送信する機能を有する。
【０１１０】
次に、図９を参照して動画の再生手順を説明する。図９は、動画の再生手順を説明するためのブロック図である。不図示のスイッチのオン操作に応じて、再生装置ＲＰはステレオ動画像再生プログラムを実行する。これにより、再生に必要なプロジェクタＰＪ・スピーカーＳＰ１〜ＳＰ４・アクティブシャッター方式の眼鏡同期信号エミッタが確保・初期化される。
【０１１１】
再生装置ＲＰは、外部記憶装置ＨＤから後処理で格納されたステレオ動画像・音声データを、再生の支障が出ないように逐次メモリーバッファに読み出す。そして、アナログビデオ出力Ｄ−ＳＵＢ、又はデジタルビデオ出力ＤＶＩ−Ｄで接続したプロジェクタＰＪに画像を送信し、半球状スクリーンＨＳに投影する。このとき撮影時とローカル座標系を一致させるのがよい。投影される映像は、サイドバイサイド方式のステレオ画像であって、決められた１００−１２０Ｈｚ程度の周波数で左眼用の画像と右眼用の画像が切り替えて再生される。
【０１１２】
更に、投影されるステレオ画像に同期して観察者がかけているアクティブシャッター方式の眼鏡ＧＬのシャッター動作を同期させるための赤外線同期信号を、再生装置ＲＰに接続されたエミッタから送信する。観察者は、アクティブシャッター方式の眼鏡ＧＬがエミッタの赤外線信号を受信している間は、公知の態様で、投影されたステレオ画像をステレオ状態で観察することができる。
【０１１３】
一方、再生装置ＲＰは、音声データからマイクＭＰ１に該当するｃｈ１の音声を、スピーカＳＰ１に送信して再生し、音声データからマイクＭＰ２に該当するｃｈ２の音声を、スピーカＳＰ２に送信して再生し、音声データからマイクＭＰ３に該当するｃｈ３の音声を、スピーカＳＰ３に送信して再生し、音声データからマイクＭＰ４に該当するｃｈ４の音声を、スピーカＳＰ４に送信して再生する。尚、アクティブシャッター方式の眼鏡ＧＬに方向センサを備えて、観察者が向いている方向を検出し、その方向のスピーカーのみ音声を増大させたり、或いはその方向のスピーカーのみから音声を流すようにしても良い。
【０１１４】
以上説明した本実施の形態では、これまで実現できなかった以下の効果を期待できる。
１）ステレオ半球動画像の撮影を、持ち運びの可能な大きさの撮影装置及び処理装置で実施できる。
２）半球に渡って全方位に死角が無くつなぎ目の目立たないステレオ動画像を記録・再生できる。
３）半球を単一のステレオフレーム画像として取り扱えるため、再生はプロジェクタ１ 台で再生が可能である。
４）カメラとほぼ同じ位置に設置された指向性マイクロフォンの音声を再生することで、全方位のステレオ動画像と共に音源定位が可能である。
【０１１５】
尚、ムービーカメラＭＣ１〜ＭＣ４に装着するレンズを円周魚眼レンズに換えて画角４５度の普通角レンズ（標準レンズ）とした場合、レンズの画角を変更したことで下述のデメリットが発生する。その結果、画角４５度の普通角レンズを用いると円周魚眼レンズと比較して極端に実用性が低下し、装置として成立しない可能性が高い。
【０１１６】
即ち、本発明の用途では、主要被写体が画像周辺部に位置する場合が多いが、かかる領域では解像度も低下し、ひずみ、収差が出る可能性をもっている。したがって、標準角レンズを用いると、天頂を向けて撮影したときに、足元の水平面に近い周辺の像が使えなくなる恐れがある。レンズの画角がせまくなるほど、水平面からの距離が増えた高さまでの周囲映像が使えなくなってしまう。例えば普通角レンズで、天頂を向けて撮影すると、３６０度周囲の高いビルの精細な映像も得られなくなる。従って、それより画角の大きなレンズを用いるのが好ましい。本発明においては、ステレオの基線が装置の中央（天頂・又は鉛直下）から同心円上に設定されており、円周上で水平に視野を動かす時には、ステレオで観察をし続けることが出来る。又、前述の理由により、視野を装置の中央（天頂・又は鉛直下）に向けたときには、ステレオの基線方向が異なる画像が視野に入ってくるために、ステレオで観察できない部分が発生する。肉眼での視野角は、ぼんやりと光を認知する周辺部を含めても、概ねレンズの標準角（４５°）に相当する程度である。また注視している範囲は３０°程度といわれる。画角４５°の普通角による装置では、ステレオ視の有効な天頂（又は鉛直下）から画像の端までの天地方向の角度が２２．５度となるために、観察者が自然に画像を観察した時に装置の中央を含んだ方向に視野を向けてしまうので自然なステレオ感を得ることが困難である。もし、自然なステレオ感を得るとすれば、装置の中央を視野に入れないようにして画像の無い部分に注視点をむける必要性があり、これも容易ではない。更に、画角４５°程度のステレオ画像の撮影や再生を成立させることを考えれば、むしろ天頂（または鉛直下）方向へ２台のカメラを向けて通常の並行ステレオ撮影を行うほうが実用的で簡便であり、本装置の必然性が失われることになる。
【０１１７】
一方、ムービーカメラＭＣ１〜ＭＣ４に装着するレンズを画角６０°の広角レンズとした場合には、上述の問題は生じない。円周魚眼レンズと比較して実用性は低下するが、限定的な応用範囲では装置としては成立する。例えば、道路交差点において鉛直下へ向けて装置を設置して、交通の監視や事故時の検証を目的とした場合は、この画角で成立する。
【０１１８】
画角４５°の普通角レンズによる撮影装置では、肉眼の注視方向の視野角３０°が装置の天地方向の有効なステレオ視野角２２．５°よりも大きくなってしまいために、実用性が極端に低下したが、画角６０°普通角レンズでは限界下限値ではあるが、装置の天地方向の有効なステレオ視野角が３０°となり、装置としては成立する。又、画角が小さくなることで画像の画素数が同じであれば、解像度が３倍向上する。更に、レンズの性能の低下する辺縁部を使用しないために色収差や放射方向歪みによる影響が低減されるという利点もある。
【０１１９】
（第２の実施の形態）
次に、第２の実施の形態について説明する。図１０は、第２の実施の形態にかかるドライブレコーダシステムを説明するためのブロック図である。ここでは、図２に示すように、図５の撮影装置を２組背面合わせに組み合わせて（装置の軸を一致させて）、全球の撮影・録音を行うドライブレコーダとする。ドライブレコーダは、車両上部（外部）に搭載され、事故など何らかの事象の後でそれを分析するための画像・音声を提供するものである。
【０１２０】
図１０において、車両ＶＨのルーフの概ね中央に、支持軸ＨＰを介して録画・録音装置ＲＤが設置されている。上部の録画・録音装置ＲＤ１、下部の録画・録音装置ＲＤ２は、それぞれ図５に示す撮影装置と基本構成は同じである。上部の録画・録音装置ＲＤ１は、処理装置ＰＲＣ１に接続され、下部の録画・録音装置ＲＤ２は、処理装置ＰＲＣ２に接続されている。処理装置ＰＲＣ１及び処理装置ＰＲＣ２は、同期制御用処理装置ＳＹＣに接続されている。
【０１２１】
上部の録画・録音装置ＲＤ１は、鉛直方向上向きに撮影方向を設定する。魚眼レンズが１８０°のとき、装置厚み（上部の録画・録音装置ＲＤ１の入射瞳と、下部の録画・録音装置ＲＤ２の入射瞳の鉛直方向の距離）が上半球と下半球の画像の離隔となる。このために上部の録画・録音装置ＲＤ１と下部の録画・録音装置ＲＤ２は密着させて可能な限り離隔を小さくすることが望ましい。
【０１２２】
以上を改善するためには、以下の３つの対策のいずれかまたは組み合わせを行うと好ましい。
１）レンズの画角を１８０°以上（例えば１９０°）とすること。
２）装置の鉛直方向の厚みを小さくするために各カメラの光学系にプリズムを採用した屈折光学構造を採用すること。
３）上部の録画・録音装置ＲＤ１と下部の録画・録音装置ＲＤ２で、装置の方位角θの原点をずらして上下でカメラの物理的な干渉を減らすこと。
【０１２３】
下部の録画・録音装置ＲＤ２は、鉛直方向下向きに撮影方向を設定する。それ以外は、上部の録画・録音装置ＲＤ１と共通である。処理装置ＰＲＣ１及び処理装置ＰＲＣ２は、上述の実施の形態における処理装置ＰＲＣと同様である。
【０１２４】
同期制御用処理装置ＳＹＣは、ＣＰＵ・メモリ・外部記憶装置・ディスプレイ・及びプログラムＲＯＭからなる処理装置であり、例えばＰＣを用いることができ、上部の録画・録音装置ＲＤ１と下部の録画・録音装置ＲＤ２の録画・録音開始・終了のトリガー信号を発生して同期を取る機能を有する。
【０１２５】
図１１は、第２の実施の形態の録画・再生手順を説明するためのフロー図である。図１１において、同期制御用処理装置ＳＹＣが、同期処理用プログラムを起動して録画・録音開始トリガー信号を上部の録画・録音装置ＲＤ１と下部の録画・録音装置ＲＤ２に送信して、録画・録音を開始させる。これにより上部の録画・録音装置ＲＤ１と下部の録画・録音装置ＲＤ２は、第１の実施の形態と同様にして録画・録音を行う。その後、同期制御用処理装置ＳＹＣで同期処理用プログラムにより録画・録音終了トリガー信号を上部の録画・録音装置ＲＤ１と下部の録画・録音装置ＲＤ２に送信して、録画・録音を停止させる。
【０１２６】
図１２は、第２の実施の形態の後処理を説明するためのフロー図である。上部の録画・録音装置ＲＤ１と下部の録画・録音装置ＲＤ２から収集された画像データ・音声データは、上述した実施の形態と同様に画像処理される。更に、左眼の上半球・下半球画像のモザイク処理（左目用）のため、上部の録画・録音装置ＲＤ１と下部の録画・録音装置ＲＤ２で記録された左目用画像の各フレームを上半球を上部に、下半球を下部に配置して、行数が２倍の画像にモザイクする。また、右眼の上半球・下半球画像のモザイク処理（右目用）のため、上部の録画・録音装置ＲＤ１と下部の録画・録音装置ＲＤ２で記録された右目用画像の各フレームを上半球を上部に、下半球を下部に配置して、行数が２倍の画像にモザイクする。加えて、上部の録画・録音装置ＲＤ１と下部の録画・録音装置ＲＤ２で記録された各４ｃｈの音声データを８ｃｈの音声データとして合成する。その後、上述した実施の形態と同様に、記憶する。
【０１２７】
図１３は、第２の実施の形態の再生処理を説明するためのフロー図である。第１の実施の形態では、半球型スクリーンＳＣ及び円周魚眼レンズ付プロジェクタＰＪを使用して動画再生を行っているが、本実施例では全球が対象となり物理的には同様の再生方法をとることが困難である。このためにヘッドマウントディスプレー（ＨＭＤ）を用いた没入型の全球ステレオ画像・音声再生の装置を用いるが、限られた条件であればプロジェクタと半球型スクリーンとの組み合わせでも良い。表示装置としてのＨＭＤは、例えば一対の表示部を観察者の左目と右目に各々あてがうようにして、観察者が着用する眼鏡型の表示装置であり、更にＨＭＤの方向を検出する検出手段としてのセンサを有し、該センサの検出した方向に応じて、表示部に表示する４つのステレオ画像を切り換えるものである。
【０１２８】
ステレオ動画像・音声再生プログラムを実行すると、再生に必要なＨＭＤ（３軸方位センサー・サイドバイサイド動画像再生・音声再生）が初期化される。更に、ＨＭＤの３軸角度センサーが観察者の視野の方位角と仰角を計測し、再生プログラムが受信する。角度データは、装置の対応する最速の周期で繰り返し測定・送信される。ＨＭＤは、再生プログラムに基づき、角度データから、画像の範囲の計算、音声の各ｃｈの合成割合を実行する。その後、計算された画像の範囲の切り出し処理を行うと共に、計算されたｃｈの合成割合により８ｃｈの音声の合成処理を行う。切り出された画像・合成された音声はビデオ出力Ｉ／Ｆ経由でＨＭＤに送信される。ＨＭＤは送信された左眼・右眼動画像・音声を再生することができるので、ＨＭＤを装着した観察者がこれを観察できる。本実施の形態によれば、全球のステレオ動画像・音声が簡便記録・再生できる。観察者が右を向けば右側の画像が表示され、左を向けば左側の画像が表示され、後ろを向けば後側の画像が表示される。ドライブレコーダとして、事故等の発生後にデータを分析し、衝突時の速度・方向・周辺の他車の動きなどを一元的に把握できる。
【０１２９】
（第３の実施の形態）
次に、第３の実施の形態について説明する。ここでは、本発明の通信システム、遠隔操作方法を述べる。図１４は、第３の実施の形態にかかる遠隔操作方法を示すブロック図である。第１の実施の形態の装置を応用して、遠隔地からリアルタイムに撮影・再生及びその情報を用いてマニピュレータを操作する通信システムを構築でき、その応用として、無人深海調査船に搭載する遠隔操作マニピュレータとの組合せを設定する。
【０１３０】
上述の録画・録音装置ＲＤ２を、透明なガラス製の耐圧シールド容器ＶＬに格納し、鉛直下を観察するように無人深海調査船ＳＨの船底に水平に取り付ける。耐圧シールド容器ＶＬの中央にマニピュレータＭＰＴの軸受けを取り付けて、半球ステレオ画像を観察しながら、インタラクティブにマニピュレータＭＰＴを操作できるようにする。第２の実施の形態と同様な処理装置ＰＲＣ２は、無人深海調査船ＳＨに設けられている。再生装置としては、第２の実施の形態のＨＭＤによるものを採用する。再生は伝送装置を用いてリアルタイムに行う。
【０１３１】
調査船に設けたマニピュレータ制御装置ＭＤは、マニピュレータＭＰＴに内蔵されたアクチュエータを制御する。制御の命令は母船上の制御装置ＣＮＴから伝送される。無人調査船側無線伝送装置ＲＴ１は、母船上の母船側無線伝送装置ＲＴ２と通信し、全方位画像・及び音声をアップリンクすると共に、マニピュレータＭＰＴの制御信号をダウンリンクする。
【０１３２】
処理装置ＰＲＣは、第２の実施の形態における再生装置と同様のもので、リアルタイムに再生用ＨＭＤで画像・音声の再生を行うことができる。制御装置ＣＮＴは、マニピュレータ操作Ｉ／Ｆから入力される制御信号を、無線伝送装置ＲＴ２を通じて送信する。マニピュレータ操作Ｉ／Ｆは、作業者が、再生用ＨＭＤに表示される映像でマニピュレータＭＰＴの動作を確認しながら、マニピュレータＭＰＴの制御をインタラクティブに行うものであり、ジョイスティック形のＩ／Ｆで或ると好ましい。
【０１３３】
図１５は、録画・録音・伝送・再生・マニピュレータ制御・フィードバック確認の手順を示すフロー図である。録画・録音装置ＲＤ２が取得した画像データ・音声データは、処理装置ＰＲＣ２で処理された後、無人調査船側無線伝送装置ＲＴ１から、母船側無線伝送装置ＲＴ２を介して、制御装置ＣＮＴにアップリンクされ、ＨＭＤにて再生される。
【０１３４】
ＨＭＤを装着した作業者は、リアルタイムで表示された画像を見ながら、マニピュレータ操作Ｉ／Ｆを操作するので、その信号が制御装置ＣＮＴより、母船側無線伝送装置ＲＴ２から、無人調査船側無線伝送装置ＲＴ１を介して、マニピュレータ制御装置ＭＤにダウンリンクされ、マニピュレータＭＰＴを駆動するようになっている。
【０１３５】
本実施の形態によれば、深海のような遠隔地でも、広い視野に渡ってステレオ視での観察が可能である。即ち、単眼のモニタ画像では、耐圧ガラスなどによる屈折の影響により自然な視野の遠近感を得ることが困難であったのに対し、ステレオ視が可能になることで屈折の影響があっても、相対的な遠近感により、対象物の観察や作業を容易にする。更に、撮影した物体の長さなどを後から計測することが出来る。又、マニピュレータＭＰＴがステレオ画像に写りこむために容易に遠隔地からインタラクティブに操作をすることが可能である。又、装置の中央部は画像の死角となるから、マニピュレータＭＰＴの取り付け部が観察時の隠蔽を起こす障害になりづらい。尚、かかる通信システムを２つ設けることで、ＴＶ会議なども可能になる。
【０１３６】
（第４の実施の形態）
次に、第４の実施の形態について説明する。ここでは、本発明の監視方法を述べる。図１６は、第４の実施の形態にかかる監視動作を示すブロック図である。第４の実施の形態は、第１の実施の形態に計測機能を後処理として組み合わせた応用例として、道路交差点の上方に、鉛直下へ光軸を向けて取り付けた撮影装置により、交通の監視や事故時の検証を目的とするものである。撮影装置としては、第２の実施の形態の録画・録音装置ＲＤ２と処理装置ＰＲＣ２を用いることができる。
【０１３７】
監視動作について説明する。まず、トータルステーション等の測量機器を用いて、予め撮影装置の位置座標値及び方向角０°を決定する。次に、計測手段を兼ねる処理装置ＰＲＣ２が、撮影装置で取得した画像データ・音声データを処理して、得られたステレオ画像において目視で対象物の位置を計測して、左眼及び右眼に画像座標値として記録する。又、画像処理トラッキング技術を用いて移動する対象物を対象とすることも出来る。更に、三角測量の基本原理を用いて、対象物の撮影装置との相対的な方向角を算出する。又、対象物の仰角はカメラの中心からの画角で決定する。決定された方向角と仰角の交会誤差は算出平均をする。撮影装置の外部定位値を基準に、対象物の相対位置を決定することで、対象物の絶対位置を決定することができる。
【０１３８】
本実施の形態によれば、半球（第２の実施の形態との組合わせでは全球）のいずれにある対象物でも、画像に写っている限り、撮影装置からの相対位置が計測できる。又、画像中の位置が計測できる特性を応用して、ＣＧ技術で作成した仮想の物体を任意の位置で装置からの出力画像にオーバーレイ表示できる（ＡＲ技術）。
【０１３９】
以上、本発明を実施の形態を参照して説明してきたが、本発明は上記実施の形態に限定して解釈されるべきではなく、適宜変更・改良が可能であることはもちろんである。
【符号の説明】
【０１４０】
ＢＳ 支持台
ＢＳ１ 円盤部
ＢＳ２ 支持柱
ＢＳ３ リング部
ＣＩ／Ｆ カメラ同期制御インタフェース
ＣＮＴ 制御装置
ＦＬ 円周魚眼レンズ
ＦＬ１〜ＦＬ４ 魚眼レンズ
ＧＬ 眼鏡
ＨＤ 外部記憶装置
ＨＭＤ ヘッドマウントディスプレイ
ＨＰ 支持軸
ＨＳ 半球型スクリーン
ＭＣ１〜ＭＣ４ ムービーカメラ
ＭＤ マニピュレータ制御装置
ＭＩ／Ｆ マイクミキサーインタフェース
ＭＰ１〜ＭＰ４ 高指向性マイクロフォン
ＭＰＴ マニピュレータ
Ｏ 原点
ＰＪ 円周魚眼レンズ付プロジェクタ
ＰＲＣ 処理装置
ＰＲＣ１ 処理装置
ＰＲＣ２ 処理装置
ＲＤ 録画・録音装置
ＲＤ１ 録画・録音装置
ＲＤ２ 録画・録音装置
ＲＰ 再生装置
ＲＴ１ 無人調査船側無線伝送装置
ＲＴ２ 母船側無線伝送装置
ＳＣ 半球型スクリーン
ＳＨ 無人深海調査船
ＳＩ／Ｆ 音声出力インターフェース
ＳＰ１〜ＳＰ４ スピーカー
ＳＹＣ 同期制御用処理装置
ＶＨ 車両
ＶＬ 耐圧シールド容器
【特許請求の範囲】
【請求項１】
広角レンズ又は超広角レンズを有する少なくとも３台のカメラを、同一平面の同一円周上に配設し、前記円周上の前記少なくとも３台のカメラの間のそれぞれの円弧の長さが等しくなるように配置して、且、前記平面に垂直で同一の撮影方向に前記少なくとも３台のカメラを配置し、同期して撮影することを特徴とする撮影方法。
【請求項２】
それぞれの特性が同一の前記少なくとも３台のカメラを用い、前記平面を水平面とし、前記撮影方向を天に向けて前記撮影を実行することを特徴とする請求項１の撮影方法。
【請求項３】
前記広角レンズ又は超広角レンズが、６０度以上の画角を有することを特徴とする請求項１または２に記載の撮影方法。
【請求項４】
前記広角レンズ又は超広角レンズが魚眼レンズであることを特徴とする請求項１乃至３のいずれかに記載の撮影方法。
【請求項５】
前記カメラが４台であることを特徴とする請求項１乃至４のいずれかに記載の撮影方法。
【請求項６】
前記カメラがデジタルカメラであることを特徴とする請求項１乃至５のいずれかに記載の撮影方法。
【請求項７】
前記カメラが、ムービーカメラであることを特徴とする請求項１乃至６のいずれかに記載の撮影方法。
【請求項８】
前記カメラが、複数のマイクロフォンとそれぞれの前記マイクロフォンが集音した音を録音するディバイスを配置したことを特徴とする請求項１乃至７のいずれかに記載された撮影方法。
【請求項９】
広角レンズ又は超広角レンズを有する少なくとも３台のカメラを、同一平面上の同一円周上に配設し、前記円周上の前記少なくとも３台のカメラの間のそれぞれの円弧の長さが等しくなるように配置して、且、前記平面に垂直で同一の撮影方向に前記少なくとも３台のカメラを配置し、同期撮影機構を備えたことを特徴とする撮影機。
【請求項１０】
それぞれの前記少なくとも３台のカメラの特性が同一であることを特徴とする請求項９の撮影機。
【請求項１１】
前記広角レンズ又は超広角レンズが魚眼レンズであることを特徴とする請求項９または１０のいずれかに記載の撮影機。
【請求項１２】
前記カメラが４台であることを特徴とする請求項９乃至１１のいずれかに記載の撮影機。
【請求項１３】
前記カメラがデジタルカメラであることを特徴とする請求項９乃至１２のいずれかに記載の撮影機。
【請求項１４】
前記少なくとも３台のカメラがそれぞれデジタルムービーカメラであり、それぞれの前記カメラが録音ディバイスを有することを特徴とする請求項９乃至１３のいずれかに記載の撮影機。
【請求項１５】
第一の広角レンズ又は超広角レンズを有する第一の少なくとも３台のカメラを、第一の同一平面上の第一の同一円周上に配設し、前記第一の円周上の前記第一の少なくとも３台のカメラの間のそれぞれの第一の円弧の長さが等しくなるように配置して、且、前記第一の平面に垂直で第一の同一の撮影方向に前記第一の少なくとも３台のカメラを配置し、第一の同期撮影機構を備えた第一の撮影機と第二の広角レンズ又は超広角レンズを有する第二の少なくとも３台のカメラを、第二の同一平面上の第二の同一円周上に配設し、前記第二の円周上の前記第二の少なくとも３台のカメラの間のそれぞれの第二の円弧の長さが等しくなるように配置して、且、前記第二の平面に垂直で第二の同一の撮影方向に前記第二の少なくとも３台のカメラを配置し、第二の同期撮影機構を備えた第二の撮影機とを前記第一の撮影方向と前記第二の撮影方向を逆方向になるように、背中合わせに配置したことを特徴とする撮影装置。
【請求項１６】
前記第一の少なくとも３台のカメラと前記第二の少なくとも３台のカメラの撮影軸が、前記第一のカメラの内の１台と、前記第二のカメラの内の１台のそれぞれの対で同一であることを特徴とする請求項１５に記載の撮影装置。
【請求項１７】
前記第一の少なくとも３台のカメラと前記第二の少なくとも３台のカメラは、デジタルカメラであり、全部のカメラの合計が８台であることを特徴とする請求項１５または１６に記載の撮影装置。
【請求項１８】
前記広角レンズ又は超広角レンズが魚眼レンズであることを特徴とする請求項１５乃至１７のいずれかに記載の撮影装置。
【請求項１９】
前記第一の少なくとも３台のカメラと前記第二の少なくとも３台のカメラが、デジタルカメラであることを特徴とする請求項１５乃至１８のいずれかに記載の撮影装置。
【請求項２０】
前記第一の少なくとも３台のカメラと前記第二の少なくとも３台のカメラが、ムービーカメラであることを特徴とする請求項１５乃至１８のいずれかに記載の撮影装置。
【請求項２１】
広角レンズ又は超広角レンズを備えた３個以上のカメラを同一円周上で、それぞれのカメラを仮想で結ぶ円弧の長さが同じであり、前記円周面に垂直で、光軸が同一方向になるように、且つ互いの撮影範囲が重なるように配置して、同時に撮影を行うステップと
第１の領域で撮影範囲が重なった２つのカメラのうち左目側のカメラから得られた画像を用いて、前記第１の領域における左目用の画像を形成すると共に、右目側のカメラから得られた画像を用いて、前記第１の領域における右目用の画像を形成するステップと、
前記第１の領域とは異なるが隣接する第２の領域で撮影範囲が重なった２つのカメラのうちの一方であって、前記第１の領域を撮影する２つのカメラのうち前記左目側のカメラとは異なるカメラから得られた画像を用いて、前記２の領域における左目用の画像を形成するステップを含むことを特徴とする３次元画像形成方法。
【請求項２２】
前記カメラはデジタルカメラであり、１つのデジタルカメラから出力された画像信号を用いて、異なる撮影領域の右目用の画像と左目用の画像とを形成することを特徴とする請求項２１に記載の３次元画像形成方法。
【請求項２３】
前記カメラはムービーカメラであり、１つのムービーカメラから出力された画像信号を用いて、異なる撮影領域の右目用の映像と左目用の映像とを形成することを特徴とする請求項２１に記載の３次元画像形成方法。
【請求項２４】
前記カメラは、所定点を中心とする円周上に配置されて、前記広角レンズの光軸を平行としていることを特徴とする請求項２１乃至２３のいずれかに記載の３次元画像形成方法。
【請求項２５】
撮影範囲が重なった同一の領域を同時に撮影したときに、左目用の画像を形成するための前記カメラと、右目用の画像を形成するための前記カメラは、前記所定点を挟んだ対角上に位置することを特徴とする請求項２４に記載の３次元画像形成方法。
【請求項２６】
前記広角レンズは魚眼レンズであることを特徴とする請求項２１乃至２５のいずれかに記載の３次元画像形成方法。
【請求項２７】
前記カメラから得られた画像は、円柱面に投影されるように画像処理された後、周方向に連結されることを特徴とする請求項２１乃至２６のいずれかに記載の３次元画像形成方法。
【請求項２８】
請求項１乃至８に記載の撮影方法で、撮影して得られる３個以上（Ｎ個、但しＮは、正の整数）の３６０度の全方位画像の一部または全部を円筒内に投影して得られる画像に画像変換し、前記円筒内の一周をＮ個に等分して、Ｎ個のモザイク（短冊状）に分割してモザイク画像（短冊状画像集合画像）とし、内一個は、特定方位を中心とする部分画像であり、ひとつのカメラ（第一のカメラとする）で得られた画像のひとつのモザイク（第一のモザイクとする）を選択して片目用のモザイク画像部分とし、前記第一のカメラから最も遠いカメラ（２個ある場合は、円周上の距離が特定の回転方向で近い方か遠い方のいずれかを選択する選択基準で選択し、以降前記選択基準を変更しない。）（第二のカメラとする）の前記第一のモザイクと中心方位が同じ画像のモザイクを選択し（第二のモザイクとする）他眼用のモザイク画像部分とする工程を含み、前記中心方位は、前記第一のカメラと前記第二のカメラを結ぶ直線に垂直であって、前記同一円周を含む面上にあることを特徴とする全方位３次元画像形成方法。
【請求項２９】
前記第一のカメラと前記第二のカメラに関して、天頂から見たときに左側にあるカメラの画像を左眼用とし、右側にあるカメラの画像を右目用とし、それぞれのモザイク画像部分を選択する工程を各カメラについて実行して、それぞれのカメラに対応する左目用と右目用のモザイク画像部分を選択し、繰り返して得られる各モザイク画像部分を集合させて左目用のモザイク画像と右目用のモザイク画像を作成する工程を含むことを特徴とする請求項２８に記載の全方位３次元画像形成方法。
【請求項３０】
請求項２１乃至２９のいずれかに記載の３次元画像形成方法により形成された左目用の画像と右目用の画像とを同時に投影することを特徴とする投影装置。
【請求項３１】
前記投影装置は、左目用の画像と右目用の画像とを曲面のスクリーンに投影することを特徴とする請求項３０に記載の投影装置。
【請求項３２】
前記曲面のスクリーンとは、半球の内面であることを特徴とする請求項３０に記載の投影装置。
【請求項３３】
前記スクリーンに表示される画像の位置を計測する計測手段を有することを特徴とする請求項３２に記載の投影装置。
【請求項３４】
請求項９乃至２０に記載の撮影機または撮影装置と、請求項３０乃至３３のいずれかに記載の投影装置とを有することを特徴とする通信システム。
【請求項３５】
請求項２１乃至２９のいずれかに記載の３次元画像形成方法により形成された左目用の画像と右目用の画像とを同時に表示することを特徴とする表示装置。
【請求項３６】
前記画像を表示するパネルは、観察者の周囲に３６０度にわたって配置されていることを特徴とする請求項３５に記載の表示装置。
【請求項３７】
請求項２１乃至２９のいずれかに記載の３次元画像形成方法により形成された左目用の画像と右目用の画像とを別個に表示する一対の表示部を有することを特徴とする表示装置。
【請求項３８】
前記表示装置は、前記一対の表示部を観察者の左目と右目に各々あてがうようにして、該観察者が着用する眼鏡型の表示装置であり、前記表示装置の方向を検出する検出手段を有し、前記検出手段の検出した方向に応じて、前記表示部に表示する画像を切り換えることを特徴とする請求項３７に記載の表示装置。
【請求項３９】
請求項９乃至２０に記載の撮影装置と、請求項３６乃至３８のいずれかに記載の表示装置とを有することを特徴とする通信システム。
【請求項４０】
請求項３４又は３９に記載の通信システムを有し、前記撮影装置を作動装置に取り付けて、前記作動装置から離れた場所で前記表示装置に表示された画像を見ながら、観察者が前記作動装置を操作するようになっていることを特徴とする遠隔操作方法。
【請求項４１】
請求項３４又は３９に記載の通信システムを有し、前記撮影装置を交差点の上方に取り付けて前記交差点を撮影し、前記交差点から離れた場所で前記表示装置に表示された画像を用いて、前記交差点を監視することを特徴とする監視方法。
【請求項１】
広角レンズ又は超広角レンズを有する少なくとも３台のカメラを、同一平面の同一円周上に配設し、前記円周上の前記少なくとも３台のカメラの間のそれぞれの円弧の長さが等しくなるように配置して、且、前記平面に垂直で同一の撮影方向に前記少なくとも３台のカメラを配置し、同期して撮影することを特徴とする撮影方法。
【請求項２】
それぞれの特性が同一の前記少なくとも３台のカメラを用い、前記平面を水平面とし、前記撮影方向を天に向けて前記撮影を実行することを特徴とする請求項１の撮影方法。
【請求項３】
前記広角レンズ又は超広角レンズが、６０度以上の画角を有することを特徴とする請求項１または２に記載の撮影方法。
【請求項４】
前記広角レンズ又は超広角レンズが魚眼レンズであることを特徴とする請求項１乃至３のいずれかに記載の撮影方法。
【請求項５】
前記カメラが４台であることを特徴とする請求項１乃至４のいずれかに記載の撮影方法。
【請求項６】
前記カメラがデジタルカメラであることを特徴とする請求項１乃至５のいずれかに記載の撮影方法。
【請求項７】
前記カメラが、ムービーカメラであることを特徴とする請求項１乃至６のいずれかに記載の撮影方法。
【請求項８】
前記カメラが、複数のマイクロフォンとそれぞれの前記マイクロフォンが集音した音を録音するディバイスを配置したことを特徴とする請求項１乃至７のいずれかに記載された撮影方法。
【請求項９】
広角レンズ又は超広角レンズを有する少なくとも３台のカメラを、同一平面上の同一円周上に配設し、前記円周上の前記少なくとも３台のカメラの間のそれぞれの円弧の長さが等しくなるように配置して、且、前記平面に垂直で同一の撮影方向に前記少なくとも３台のカメラを配置し、同期撮影機構を備えたことを特徴とする撮影機。
【請求項１０】
それぞれの前記少なくとも３台のカメラの特性が同一であることを特徴とする請求項９の撮影機。
【請求項１１】
前記広角レンズ又は超広角レンズが魚眼レンズであることを特徴とする請求項９または１０のいずれかに記載の撮影機。
【請求項１２】
前記カメラが４台であることを特徴とする請求項９乃至１１のいずれかに記載の撮影機。
【請求項１３】
前記カメラがデジタルカメラであることを特徴とする請求項９乃至１２のいずれかに記載の撮影機。
【請求項１４】
前記少なくとも３台のカメラがそれぞれデジタルムービーカメラであり、それぞれの前記カメラが録音ディバイスを有することを特徴とする請求項９乃至１３のいずれかに記載の撮影機。
【請求項１５】
第一の広角レンズ又は超広角レンズを有する第一の少なくとも３台のカメラを、第一の同一平面上の第一の同一円周上に配設し、前記第一の円周上の前記第一の少なくとも３台のカメラの間のそれぞれの第一の円弧の長さが等しくなるように配置して、且、前記第一の平面に垂直で第一の同一の撮影方向に前記第一の少なくとも３台のカメラを配置し、第一の同期撮影機構を備えた第一の撮影機と第二の広角レンズ又は超広角レンズを有する第二の少なくとも３台のカメラを、第二の同一平面上の第二の同一円周上に配設し、前記第二の円周上の前記第二の少なくとも３台のカメラの間のそれぞれの第二の円弧の長さが等しくなるように配置して、且、前記第二の平面に垂直で第二の同一の撮影方向に前記第二の少なくとも３台のカメラを配置し、第二の同期撮影機構を備えた第二の撮影機とを前記第一の撮影方向と前記第二の撮影方向を逆方向になるように、背中合わせに配置したことを特徴とする撮影装置。
【請求項１６】
前記第一の少なくとも３台のカメラと前記第二の少なくとも３台のカメラの撮影軸が、前記第一のカメラの内の１台と、前記第二のカメラの内の１台のそれぞれの対で同一であることを特徴とする請求項１５に記載の撮影装置。
【請求項１７】
前記第一の少なくとも３台のカメラと前記第二の少なくとも３台のカメラは、デジタルカメラであり、全部のカメラの合計が８台であることを特徴とする請求項１５または１６に記載の撮影装置。
【請求項１８】
前記広角レンズ又は超広角レンズが魚眼レンズであることを特徴とする請求項１５乃至１７のいずれかに記載の撮影装置。
【請求項１９】
前記第一の少なくとも３台のカメラと前記第二の少なくとも３台のカメラが、デジタルカメラであることを特徴とする請求項１５乃至１８のいずれかに記載の撮影装置。
【請求項２０】
前記第一の少なくとも３台のカメラと前記第二の少なくとも３台のカメラが、ムービーカメラであることを特徴とする請求項１５乃至１８のいずれかに記載の撮影装置。
【請求項２１】
広角レンズ又は超広角レンズを備えた３個以上のカメラを同一円周上で、それぞれのカメラを仮想で結ぶ円弧の長さが同じであり、前記円周面に垂直で、光軸が同一方向になるように、且つ互いの撮影範囲が重なるように配置して、同時に撮影を行うステップと
第１の領域で撮影範囲が重なった２つのカメラのうち左目側のカメラから得られた画像を用いて、前記第１の領域における左目用の画像を形成すると共に、右目側のカメラから得られた画像を用いて、前記第１の領域における右目用の画像を形成するステップと、
前記第１の領域とは異なるが隣接する第２の領域で撮影範囲が重なった２つのカメラのうちの一方であって、前記第１の領域を撮影する２つのカメラのうち前記左目側のカメラとは異なるカメラから得られた画像を用いて、前記２の領域における左目用の画像を形成するステップを含むことを特徴とする３次元画像形成方法。
【請求項２２】
前記カメラはデジタルカメラであり、１つのデジタルカメラから出力された画像信号を用いて、異なる撮影領域の右目用の画像と左目用の画像とを形成することを特徴とする請求項２１に記載の３次元画像形成方法。
【請求項２３】
前記カメラはムービーカメラであり、１つのムービーカメラから出力された画像信号を用いて、異なる撮影領域の右目用の映像と左目用の映像とを形成することを特徴とする請求項２１に記載の３次元画像形成方法。
【請求項２４】
前記カメラは、所定点を中心とする円周上に配置されて、前記広角レンズの光軸を平行としていることを特徴とする請求項２１乃至２３のいずれかに記載の３次元画像形成方法。
【請求項２５】
撮影範囲が重なった同一の領域を同時に撮影したときに、左目用の画像を形成するための前記カメラと、右目用の画像を形成するための前記カメラは、前記所定点を挟んだ対角上に位置することを特徴とする請求項２４に記載の３次元画像形成方法。
【請求項２６】
前記広角レンズは魚眼レンズであることを特徴とする請求項２１乃至２５のいずれかに記載の３次元画像形成方法。
【請求項２７】
前記カメラから得られた画像は、円柱面に投影されるように画像処理された後、周方向に連結されることを特徴とする請求項２１乃至２６のいずれかに記載の３次元画像形成方法。
【請求項２８】
請求項１乃至８に記載の撮影方法で、撮影して得られる３個以上（Ｎ個、但しＮは、正の整数）の３６０度の全方位画像の一部または全部を円筒内に投影して得られる画像に画像変換し、前記円筒内の一周をＮ個に等分して、Ｎ個のモザイク（短冊状）に分割してモザイク画像（短冊状画像集合画像）とし、内一個は、特定方位を中心とする部分画像であり、ひとつのカメラ（第一のカメラとする）で得られた画像のひとつのモザイク（第一のモザイクとする）を選択して片目用のモザイク画像部分とし、前記第一のカメラから最も遠いカメラ（２個ある場合は、円周上の距離が特定の回転方向で近い方か遠い方のいずれかを選択する選択基準で選択し、以降前記選択基準を変更しない。）（第二のカメラとする）の前記第一のモザイクと中心方位が同じ画像のモザイクを選択し（第二のモザイクとする）他眼用のモザイク画像部分とする工程を含み、前記中心方位は、前記第一のカメラと前記第二のカメラを結ぶ直線に垂直であって、前記同一円周を含む面上にあることを特徴とする全方位３次元画像形成方法。
【請求項２９】
前記第一のカメラと前記第二のカメラに関して、天頂から見たときに左側にあるカメラの画像を左眼用とし、右側にあるカメラの画像を右目用とし、それぞれのモザイク画像部分を選択する工程を各カメラについて実行して、それぞれのカメラに対応する左目用と右目用のモザイク画像部分を選択し、繰り返して得られる各モザイク画像部分を集合させて左目用のモザイク画像と右目用のモザイク画像を作成する工程を含むことを特徴とする請求項２８に記載の全方位３次元画像形成方法。
【請求項３０】
請求項２１乃至２９のいずれかに記載の３次元画像形成方法により形成された左目用の画像と右目用の画像とを同時に投影することを特徴とする投影装置。
【請求項３１】
前記投影装置は、左目用の画像と右目用の画像とを曲面のスクリーンに投影することを特徴とする請求項３０に記載の投影装置。
【請求項３２】
前記曲面のスクリーンとは、半球の内面であることを特徴とする請求項３０に記載の投影装置。
【請求項３３】
前記スクリーンに表示される画像の位置を計測する計測手段を有することを特徴とする請求項３２に記載の投影装置。
【請求項３４】
請求項９乃至２０に記載の撮影機または撮影装置と、請求項３０乃至３３のいずれかに記載の投影装置とを有することを特徴とする通信システム。
【請求項３５】
請求項２１乃至２９のいずれかに記載の３次元画像形成方法により形成された左目用の画像と右目用の画像とを同時に表示することを特徴とする表示装置。
【請求項３６】
前記画像を表示するパネルは、観察者の周囲に３６０度にわたって配置されていることを特徴とする請求項３５に記載の表示装置。
【請求項３７】
請求項２１乃至２９のいずれかに記載の３次元画像形成方法により形成された左目用の画像と右目用の画像とを別個に表示する一対の表示部を有することを特徴とする表示装置。
【請求項３８】
前記表示装置は、前記一対の表示部を観察者の左目と右目に各々あてがうようにして、該観察者が着用する眼鏡型の表示装置であり、前記表示装置の方向を検出する検出手段を有し、前記検出手段の検出した方向に応じて、前記表示部に表示する画像を切り換えることを特徴とする請求項３７に記載の表示装置。
【請求項３９】
請求項９乃至２０に記載の撮影装置と、請求項３６乃至３８のいずれかに記載の表示装置とを有することを特徴とする通信システム。
【請求項４０】
請求項３４又は３９に記載の通信システムを有し、前記撮影装置を作動装置に取り付けて、前記作動装置から離れた場所で前記表示装置に表示された画像を見ながら、観察者が前記作動装置を操作するようになっていることを特徴とする遠隔操作方法。
【請求項４１】
請求項３４又は３９に記載の通信システムを有し、前記撮影装置を交差点の上方に取り付けて前記交差点を撮影し、前記交差点から離れた場所で前記表示装置に表示された画像を用いて、前記交差点を監視することを特徴とする監視方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１２−１６５１０２（Ｐ２０１２−１６５１０２Ａ）
【公開日】平成２４年８月３０日（２０１２．８．３０）
【国際特許分類】
【出願番号】特願２０１１−２２５９６（Ｐ２０１１−２２５９６）
【出願日】平成２３年２月４日（２０１１．２．４）
【出願人】（３９００２３２４９）国際航業株式会社 (55)
【Ｆターム（参考）】
【公開日】平成２４年８月３０日（２０１２．８．３０）
【国際特許分類】
【出願日】平成２３年２月４日（２０１１．２．４）
【出願人】（３９００２３２４９）国際航業株式会社 (55)
【Ｆターム（参考）】
[ Back to top ]