遠隔映像表示方法、映像取得装置及びその方法とそのプログラム
全方位ビデオカメラ２によりその周囲のパノラマ被写体６を撮影し、その撮影映像信号を映像取得装置１へ伝送し、映像取得装置１は部分被写体６１の撮像信号を取り出して、前方位カメラ２から離れた地点の利用者が手に持っているカメラ付携帯端末３へ送信し、この表示面３２ａに再生表示し、利用者は携帯端末３で周辺被写体８を撮影し、その周辺映像信号を装置１へ伝送する。携帯端末３の撮影方向を破線のように回転させると、装置１はその回転前と後の周辺映像信号の変化から携帯端末３の撮影方向の変化を検出し、この変化と対応して、部分被写体６１に対し、回転させた部分被写体６２の映像信号をパノラマ撮影信号から取り出して携帯端末３へ送り、これを再生表示させる。
【発明の詳細な説明】
【技術分野】
この発明はパノラマ被写体を、画像センサ、つまり映像信号を出力するカメラ（以下、単にカメラと記載する）で撮影して、その撮影映像を前記カメラから離れた場所の利用者に表示する遠隔映像表示方法、その方法に用いられる映像取得装置、その映像取得方法、及び映像取得プログラムに関する。
【背景技術】
例えば道路の交通量を把握するために、監視用カメラを雲台上に取付けて、道路の交通状態を撮影できるように設置し、このカメラよりの映像信号を通信回線を通じて遠隔地に設置された監視装置へ伝送し、監視装置では受信した映像信号を再生して表示器に、監視カメラが撮影した道路の交通状態を表示し、監視員はその表示を見ながら遠隔制御装置の操作釦やレバーなどを操作して、監視用カメラの撮影方向（水平方向及び垂直方向）を変更する制御信号、又は／及び監視用カメラのズームレンズのズーム量を変更する制御信号を通信回線を通じて監視用カメラの制御機構部に伝送して、監視用カメラを制御し、表示器に表示される映像を見ながら監視用カメラの撮影方向や撮影状態を制御することが行われている（例えば日本特許出願公開平１１−２０５７７５号（１９９９年７月３０日発行）参照）。
高層建築の屋上に雲台上に取付けたカメラを設置し、インターネットなどの通信網を通じて、パーソナルコンピュータからカメラをアクセスして、予め決められた時間、そのカメラを占有し、そのカメラの撮影映像信号をパーソナルコンピュータに受信してその表示器に再生表示し、利用者はその再生映像を見ながら、パーソナルコンピュータを操作して、カメラの撮影方向やレンズのズーム量を遠隔制御して、広い範囲のパノラマ被写体の各部分を見て楽しむサービス、いわゆるビデオライブが提供されている。
親が自宅あるいは、勤務先からパーソナルコンピュータを制御して、通信回線を介して幼稚園に設けたカメラをアクセスしてその撮影映像信号をパーソナルコンピュータに再生表示し、カメラの撮影方向やズーム量を遠隔制御して各種状態での子供の様子を知ることが考えられる。
更にコンビニエンスストアに設けた防犯カメラの撮影映像信号を離れた所で表示器に再生表示すると共に、守備員はその再生映像を見ながら防犯カメラの撮影方向やズーム量を遠隔制御することが考えられる。
このように遠方に設けられたカメラを遠隔制御してその撮影映像信号を表示させることは各種の利用が考えられる。いずれの場合も、従来においては、カメラ自体の撮影方向を機械的に変更制御し、あるいはズームレンズを機械的に移動させる制御を、パーソナルコンピュータを利用したボタン（キー）操作やレバー操作により行われるものであった。また、１人の利用者がカメラを遠隔制御している間は、他の利用者はそのカメラを制御できず、つまり、例えば予め決められた時間、そのカメラは１人の利用者により占有されるものである。
従来の遠隔映像表示における見たい映像を得るための制御はボタン（キー）操作、あるいはレバー操作によりカメラ自体を遠隔制御するものであるため、利用者がカメラを直接手で持って、あるいは雲台上のカメラを直接手で操作して所望の撮影映像を得る場合と比較して、操作性が悪く、つまり所望の撮影映像と多少ずれたものとなる場合があった。
この発明の目的は、利用者がその手でカメラを直接操作する感覚で所望の遠隔映像を表示させることを可能とする遠隔映像表示方法、その方法に用いられる映像取得装置、その方法、及び映像取得プログラムを提供することにある。
【発明の開示】
この発明の遠隔映像表示方法によれば、パノラマ被写体を遠隔撮影装置で撮影し、その撮影したパノラマ被写体の一部分の撮影映像信号を映像取得装置を介して、遠隔撮影装置と、異なる位置の映像表示手段に送信し、映像表示手段は受信した撮影信号を再生してパノラマ被写体の上記一部分の映像として表示し、
その映像表示手段の表示を見ることができる位置のカメラ付携帯端末により、その周辺を撮影し、その周辺映像信号を映像取得装置へ送信し、
映像取得装置で、前回の受信周辺映像信号と今回の受信周辺映像信号とから、カメラ付携帯端末が撮影した周辺映像の変化情報を求め、この変化情報に基づき、撮影した周辺映像の変化と対応して、パノラマ被写体の一部分に対して変更されたパノラマ被写体の一部分の撮影映像信号を遠隔撮影装置から求め、その求めた撮影映像信号を映像表示手段へ送信する。
パノラマ被写体は、映像表示手段の一表示画面分の映像として表示するには適さない程度に十分広い、あるいは一表示画面分の映像としてある程度の表示はできるがその各一部分の詳細を見る必要がある視野範囲の大きさであり、視野角は３６０度かそれ以下であり、また必ずしも連続していなくてもよい。映像取得装置がパノラマ被写体の変更された一部分の撮影映像信号を遠隔撮影装置から求めるのは、二つの形態がある。その一つの形態によれば、カメラ付携帯端末から受信した前回の周辺映像信号の映像（以下、前回映像と記述する）に対する今回の周辺映像信号の映像（以下、今回映像と記述する）の変化情報が、変化検出手段により受信周辺映像信号から検出され、その変化情報とから、パノラマ被写体の一部分の撮影映像信号を得るために用いる取得用信号が取得用信号生成手段により生成され、その生成された取得用信号が遠隔撮影装置へ送信され、遠隔撮影装置より受信された撮影映像信号が映像中継手段により、映像表示手段へ送信される。この形態では映像取得装置は取得用信号を遠隔撮影装置へ送り、遠隔撮影装置がパノラマ被写体の変更された一部分の撮影映像信号を取り出し送信した映像信号を受信することにより、パノラマ被写体の変更された一部分の撮影映像信号を求める。
他の形態によれば、同様に変化検出手段及び取得用信号生成手段が設けられ、遠隔撮影装置より受信した撮影映像信号から生成された取得用信号に基づき、その映像取得装置の映像取得手段によりパノラマ被写体の変更された一部分の撮影映像信号が取り出されて求められる。
この発明の表示方法によれば、映像表示手段に表示されているパノラマ被写体の一部分の映像を見ながら、カメラ付携帯端末を手に持ってそのカメラ付携帯端末によりパノラマ被写体の一部を撮影するようにカメラ付携帯端末を操作することにより、パノラマ被写体の所望の部分を遠隔撮影表示することができ、パノラマ被写体を直接見ることができる場所で自分でカメラを操作して撮影する場合と、同様な感じで操作することができ操作性が頗るよく、かつパノラマ被写体の所望とする部分と撮影された映像とのずれが生じ難い。
【図面の簡単な説明】
図１はこの発明の原理を説明するためのシステム構成例を示す図である。
図２は全方位ビデオカメラのイメージセンサデバイスの例と、その部分被写体撮像信号の取り出しを説明するための図である。
図３Ａはカメラ付携帯端末の撮影方向を回転させた時の撮影映像のイメージセンサ上での移動状態の例を示す図である。
図３Ｂは図３Ａにおける移動前と後の各映像を示す図である。
図４は実施例１のシステム構成例を示すブロック図である。
図５は図４中の変化検出手段１２及び取得用信号生成手段１３の各機能構成例を示す図である。
図６は図４に示したシステム全体の動作手順の例を示す図である。
図７は図４中の映像取得装置１の処理手順の例を示す流れ図である。
図８は実施例２のシステム構成例を示すブロック図である。
図９は図８中の映像取得装置１の処理手順の例を示す流れ図である。
図１０は複数のカメラ装置を用いる遠隔撮影装置２とそのパノラマ被写体６との関係例を示す図である。
図１１は実施例３のシステム構成例を示すブロック図である。
図１２は図１１中のカメラ装置のイメージセンサデバイスと部分被写体撮像信号の取り出しを説明するための図である。
図１３は図１１中の遠隔撮影装置１の変形例を示すブロック図である。
図１４は図１１中の取得用信号生成手段１３の具体的機能構成例とカメラ方向記憶手段１９の記憶例を示す図である。
図１５は図１４中のカメラ決定部１３ｂの処理手順の例を示す流れ図である。
図１６はカメラ方向記憶手段１９の他の記憶例を示す図である。
図１７は実施例４のシステム構成例を示すブロック図である。
図１８は実施例５のシステム構成例を示すブロック図である。
図１９は図１８中の雲台カメラ２１の外観例を示す図である。
図２０は実施例６のシステム構成例を示すブロック図である。
図２１は図２０中の映像取得装置１の機能構成例を示すブロック図である。
【発明を実施するための最良の形態】
原理説明
図１を参照してこの発明の原理を説明する。
この例では遠隔撮影装置２として全方位カメラが用いられた場合である。全方位カメラはディジタルビデオカメラであって、周囲３６０度を撮影可能な全方位画像センサであり、例えば山澤一誠著「ミラーを用いた全方位カメラの原理と特徴」コンピュータビジョンとイメージメディア１２５−２１、Ｐ．１５５〜１６０、２００１年１月１９日を参照されたい。また全方位カメラは市販されており、例えば図２に示すように予め決めた基準方向を０度とし、３６０度のパノラマ被写体にカメラ像がＣＣＤなどの長方形の２次元イメージセンサデバイス７に結像され、各画素対応の光電気変換信号を取出すことができる。
図１において遠隔撮影装置２はその３６０度にわたる周囲のパノラマ被写体６を撮影することができる。この例ではその遠隔撮影装置２で撮影したパノラマ被写体６の一部分、例えば基準に対し１８０度の方向の一部分（以下、部分被写体と記述する）６１の撮影映像信号、つまり図２におけるイメージセンサデバイス７中の領域７１の各画素信号が取り出されて伝送路４を通じて映像取得装置１へ送信される。
映像取得装置１では受信した部分被写体の撮影映像信号を伝送路５を通じて、遠隔撮影装置２とは異なる位置の映像表示手段を兼ねるカメラ付携帯端末３へ送信する。カメラ付携帯端末３としてこの例ではカメラ付携帯電話機を用いているが、カメラ付ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｃｅ）や、ＰＤＡにカメラを固定したものなど、要はディジタルビデオカメラを備え、かつ通信手段を備え、手に持ってカメラ撮影操作を行うことができる端末であればよい。伝送路４及び５はこれらを区別するため以下、それぞれ遠隔用伝送路４及び携帯用伝送路５と記述する。これら両伝送路４及び５はいずれも専用伝送回路であっても、インターネット、無線・有線公衆通信網などの通信網を一つ乃至複数介する伝送路であってもよい。
所でこの例はカメラ付携帯端末３は映像表示手段をも備えるものであり、映像取得装置１から受信した遠隔撮影装置２よりの部分被写体６１の撮影映像信号はその映像表示手段により再生されて、その表示面３２ａに表示される。
利用者はカメラ付携帯端末３を手に持ってその端末３のカメラ（携帯撮影手段）３３でその利用者の周辺被写体８を撮影しながら、表示面３２ａに表示されたパノラマ被写体６の部分被写体６１を見て、パノラマ被写体６１中の遠隔撮影表示したい他の部分被写体を見たい場合は、そのカメラ３３でその見たい部分被写体を撮影するように、カメラ付携帯端末３を操作する。例えば部分被写体６１に対し、右へ４５度の方向の部分被写体６２を撮影したい場合は、カメラ付携帯端末３で現に撮影している方向３３ａから、図１中に１点鎖線で示すようにカメラ付携帯端末３のカメラ３３の撮影方向３３ａを右へ４５度回転する。
カメラ付携帯端末３のカメラ３３により撮影されている周辺被写体の映像信号（以後、周辺映像信号と記述する）は携帯用伝送路５を通じて映像取得装置１へ送信される。映像取得装置１は受信した前回の周辺映像信号と、今回の周辺映像信号とから、カメラ付携帯端末３が撮影している周辺映像が変化したことを検出する。
周辺被写体８に対し、カメラ付携帯端末３が撮影している範囲は図３Ａに示すように撮影範囲８ａに対し右側に移動した撮影範囲８ｂとなる。従って部分被写体６１の再生映像を見た時の受信周辺映像信号は図３Ｂの上側に示す撮影範囲８ａの撮影映像信号であるが、カメラ付携帯端末３の撮影方向が右へ４５度回転された状態での受信周辺映像信号は図３Ｂの下側に示す撮影範囲８ｂの撮影映像信号となる。これら両受信周辺映像信号を比較すれば、同一の映像部分が、図において右から左へ移動しており、そのカメラ付携帯端末３の撮影方向が右へ回転されたことを検出することができる。
映像取得装置１はこの受信周辺映像信号の映像の前回のそれに対する変化情報を検出し、この変化情報に基づき遠隔撮影装置２で撮影している映像信号から取り出す撮影映像信号を変更して、その取出した撮影映像信号と対応するパノラマ被写体６中の部分被写体が、受信周辺映像信号の映像の変化に対応して変更されるように遠隔撮影装置２に指示する。カメラ付携帯端末３の撮影方向を前記例では４５度右へ回転させた場合は、パノラマ被写体６の部分被写体６１がその方向に対して右へ４５度回転した部分被写体６２と対応した撮影映像信号を取り出すように、図２中のイメージセンサデバイス７上の領域７１に対し、周辺撮影映像の移動距離Ｄ１だけ右へ移動させた領域７２の撮影映像信号を取り出すように、映像取得装置１は遠隔撮影装置２に遠隔用伝送路４を通じて指示する。
遠隔撮影装置２はこの指示を受信して、イメージセンサデバイス７の領域７２から撮影映像信号を取り出して、遠隔用伝送路４を通じて映像取得装置１へ送信し、映像取得装置１はその受信撮影映像信号を携帯用伝送路５を通じてカメラ付携帯端末３へ送信する。カメラ付携帯端末３はその表示面３２ａに部分被写体６２と対応する再生映像を表示することになる。
遠隔撮影装置２はパノラマ被写体６を常時撮影し、映像取得装置１から取得指示に基づいて部分被写体の撮影映像信号を常時、例えば毎秒３０フレームの速さで映像取得装置１を中継してカメラ付携帯端末３へ送信している。カメラ付携帯端末３もその撮影周辺映像信号を常時映像取得装置１へ送信している。
以上の説明から理解されるようにこの発明の方法によればパノラマ被写体６を実際に見ながらその撮影表示したい部分を撮影するようにカメラ付携帯端末３を操作することにより所望の部分被写体を遠隔撮影表示することができ、遠隔撮影の操作性がよく、かつ所望の部分被写体と撮影映像信号の再生映像とのずれが生じ難いものとなる。また例えば携帯電話機のような携帯端末のキーを操作してカメラを遠隔操作することを想定すると、その場合はキーの操作であることに基づく操作性が悪い上に、キーが小さくかつ複数のキーが接近しているため誤操作をし易いが、この発明方法によればそのようなおそれもない。
【実施例１】
図４にこの発明の実施例１が適用されるシステム構成例を示す。なおこの出願中のすべての図において、同一参照番号は同一機能のものを表わし、重複説明を省略する。
映像取得装置１はカメラ付携帯端末３から携帯用伝送路５を通じて受信される周辺映像信号を受信する周辺映像受信手段１１と、受信された周辺映像信号から周辺映像信号の映像の変化を変化情報として検出する変化検出手段１２と、その検出した変化情報に基づき取得用信号を生成する取得用信号生成手段１３と、その生成した取得用信号を遠隔用伝送路４を通じて遠隔撮影装置２へ送信する送信手段１４と、遠隔撮影装置２から遠隔用伝送路４を介して送信された撮影映像信号を受信して、携帯用伝送路５を介してカメラ付携帯端末３へ送信する映像中継手段１５とを備える。
遠隔撮影装置２はパノラマ被写体を撮影する遠隔撮影手段としての全方位カメラ２１と、遠隔用伝送路４を介して映像取得装置１から送信された取得用信号を受信する信号受信手段２３と、その受信した取得用信号に基づき、全方位カメラ２１から部分被写体の撮影映像信号を取り出す映像取り出し手段２４と、その取り出された撮影映像信号を遠隔用伝送路４を介して映像取得装置１へ送信する映像送信手段２２とを備える。
カメラ付携帯端末３は遠隔撮影装置２から携帯用伝送路５を介して送信された撮影映像信号を受信する映像受信手段３１と、その受信した撮影映像信号を再生表示する映像表示手段３２と、周辺被写体を撮影する携帯撮影手段としてのディジタルビデオカメラ３３と、そのカメラ３３で撮影した周辺映像信号を映像取得装置１へ携帯用伝送路５を介して送信する送信手段３４とを備える。
遠隔撮影装置２の映像取り出し手段２４では受信した取得用信号により決まる１画面分の撮影映像信号を全方位カメラ２１から取り出す。例えば、取得用信号により図２に示すイメージセンサデバイス中における画素位置（ｘ１，ｙ１）を中心として各画素（ｘ＋ａＰｉ，ｙ＋ａＰｊ）（ｉ＝０，±１，…，±Ｉ、ｊ＝０，±１，…，±Ｊ、２Ｉは１画面相当のｘ方向の画素数、２Ｊは１画面相当のｙ方向の画素数λ）の信号を順次取り出し、領域７１の撮影映像信号として出力する。つまりこの例では取得したい部分被写体の中心位置と、ズーム量が取得用信号により指定して取出される。この例では取得用信号は基準画素位置信号ｘ、ｙと拡大・縮小信号ａＰとからなる。
この撮影映像信号が映像取得装置を介してカメラ付携帯端末３へ伝送され、カメラ付携帯端末３の映像表示手段３２には、遠隔撮影装置２が撮影しているパノラマ被写体中の部分被写体、この例では図１中の部分被写体６２の映像が表示される。
映像取得装置１の変化検出手段１２ではカメラ付携帯端末３から受信された前回の周辺映像信号の映像（以下、前回映像と記述する）に対する今回の周辺映像信号の映像（以下、今回映像と記述する）の変化情報を受信周辺映像信号から検出する。例えば図５に示すように周辺映像信号が受信されると、受信バッファメモリ１２ａに格納され、その格納の前に前回受信し受信バッファメモリ１２ａに格納されていた周辺映像信号は前回フレームメモリ１２ｂに格納される。両メモリ１２ａ及び１２ｂ内に格納されている両周辺映像信号が変化検出部１２ｃに入力される。変化検出部１２ｃでは前回映像から今回映像への移動方向又はこれとその移動の程度（大きさ）又は／及び前回映像に対する今回映像のオブジェクトの大きさの変化、つまりズーム量を検出する。この変化情報の検出技術は、例えば撮影中のカメラの動き、いわゆるカメラワークを解析する技術を用いることができる。カメラワークの解析技術は例えば谷口行信他著「Ｐａｎｏｒａｍａ Ｅｘｃｅｒｐｔｓ：パノラマ画像の自動生成・レイアウトによる映像一覧」電子情報通信学会論文誌Ｄ−ＩＩ、Ｖｏｌ．Ｊ８２−Ｄ−ＩＩ Ｎｏ．３，ＰＰ．３９２，１９９９年３月や、書籍、小暮賢司監修、山森和彦著「未来ねっと技術シリーズ メディア処理技術４」２０ 電気通信協会 平成１１年１１月１０日初版発行などに示されている。
例えばカメラの左右の回転（パン）操作、カメラの上下の回転（チルト）操作、カメラのレンズによる画角を変化させる（ズーム）操作のカメラワークを解析する手法の一例を述べる。前回映像をｆ（ｘ，ｙ）、今回映像をｆ’（ｘ’，ｙ’）
（ｘ’，ｙ’）＝（ａｘ＋ｄｘ，ａｙ＋ｄｙ）
とし、つまりａ，ｄｘ及びｄｙをそれぞれズーム、パン及びチルトを説明するパラメータとする。映像ｆ（ｘ，ｙ）とｆ’（ｘ’，ｙ’）との間の２乗誤差
（１／Ｎ）Σｘ，ｙ｛ｆ（ｘ，ｙ）−ｆ’（ｘ’，ｙ’）｝２
を最小化するパラメータａ，ｄｘ，ｄｙを求める。これらａ，ｄｘ，ｄｙを変化情報とする。つまり変化検出部１２ｃでは例えばａ，ｄｘ，ｄｙを演算して変化情報とする、つまりａは拡大・縮小情報であり、ｄｘ，ｄｙは方向情報である。カメラ付携帯端末３の左右の回転のみを検出する場合はａ＝１，ｄｙ＝０とし、上下の回転のみを検出する場合はａ＝１，ｄｘ＝０とし、ズーム変化のみを検出する場合はｄｘ＝ｄｙ＝０、回転のみを検出する場合はａ＝１とすればよい。
取得用信号生成手段１３は変化検出手段１２で検出された変化情報と前回取得用信号とからパノラマ被写体の部分被写体の撮影映像信号を取得するために用いる取得用信号を生成する。取得用信号生成手段１３は例えば図５中に示すように、前回信号メモリ１３ａに前回生成され、現在用いられている取得用信号、例えばｘ，ｙ，ａＰが格納されており、これら信号ｘ，ｙ，ａＰと、変化情報、例えばｄｘ，ｄｙ，ａｘが加算部１３ｂでｘ＋ｄｘ→ｘ、加算部１３ｃでｙ＋ｄｙ→ｙ、乗算部１３ｄでａＰ×ａ→ａＰがそれぞれ演算されて補足され、新たな取得用信号が生成され、この新たな取得用信号ｘ，ｙ，ａＰで前回信号メモリ１３ａ内の各取得用信号が更新されると共に信号送信手段１４へ出力される。なお映像取得装置１による映像取得処理が行われていない状態では、前回信号メモリ１３ａには、予め決められた取得用信号、例えば図２中のセンサデバイス７の中心ｘ，ｙ、最大ズーム量の半分の値をａＰが初期値として、格納されてあり、映像取得装置１が取得処理を開始すると、前回信号メモリ１３ａ中の初期値信号ｘ，ｙ，ａＰが取得用信号として遠隔撮影装置２へ送信される。
また変化情報が小さい、例えばｄｘ＝１などの場合は、カメラ付携帯端末３に表示されるパノラマ被写体の部分被写体の映像はほとんど変化しないため、切捨部１３ｅ，１３ｆ，１３ｇを設け、ｄｘ，ｄｙ，ａがそれぞれに対し予め決められた所定値以下の場合はｄｘ，ｄｙをそれぞれ０、ａを１として加算部１３ｂ，１３ｃ、乗算部１３ｄへ供給されるようにするとよい。切捨部１３ｅ，１３ｆ，１３ｇにそれぞれ設定する前記所定値は、各切捨部、またこの遠隔撮影表示システムを利用する形態により異なり、遠方の風景の部分被写体を遠隔撮影表示する場合は比較的大きな値とし、比較的小さい空間の防犯用に利用する場合は比較的小さな値とするなどあるが、例えばｄｘについてみれば最小でも５以下は０とすることが考えられる。
遠隔撮影装置１１へ送信する取得用信号の更新は一般に各フレームの受信ごとに行うと処理が多くなり好ましくなく、また一般に各フレームごとに更新を行っても、受信部分被写体映像の変化は利用者にとってほとんど感じられない。従って遠隔撮影装置１１への取得用信号の送信間隔は適当な間隔で行えばよい。この間隔は例えば交通量の監視のように被写体の状況の変化が比較的速い場合は例えば１／１０秒ごとに、被写体が風景の場合は例えば１／３秒ごとに、場合によったら数秒ごとになどと、システムの利用形態に応じて適当に決められるとよい。このために例えば変化検出手段１２中に更新指示部１２ｄを設け、設定された更新時間間隔で更新指示部１２ｄの指示により受信バッファメモリ１２ａに１フレーム分の周辺映像信号を取り込み、変化検出部１２ｃでの変化情報の検出を更新時間間隔ごとに行うようにする。あるいは受信バッファメモリ１２ａの内容を周辺映像信号の１フレーム分ごとに更新し、変化情報の検出ごとに受信バッファメモリ１２ａの内容を前回フレームメモリ１２ｂに転送してもよい。なお変化検出部１２ｃで検出した変化情報がすべてゼロ、この例ではｄｘ＝ｄｙ＝０、ａ＝１であれば、取得用信号を生成して遠隔撮影装置へ送信する必要はなく、その場合は取得用信号の生成も行う必要はない。また取得用信号の生成、送信は、変化情報中の変化のあった情報のみについて行ってもよい。
遠隔撮影装置２において、信号受信手段２３で受信された取得用信号は図４中に示すように映像取り出し手段２４に入力され、この取得用信号により記憶部２４ａに格納されている前回受信した取得用信号が更新される。映像取り出し手段２４はその記憶部２４ａの更新された取得用信号に基づき全方位カメラ２１が撮影しているパノラマ被写体中の部分被写体の撮影映像信号が取り出される。例えば全方位カメラ２１のイメージセンサデバイス７から、図２に示したように更新前の取得用信号（基準画素位置信号）により画素（ｘ，ｙ）を中心（基準）とする一画面分の領域７１の撮影映像信号が常時取り出されている状態から、更新された取得用信号（基準画素位置信号）により画素（ｘ’，ｙ’）を中心とする一画面分の領域７２の撮影映像信号が常時取り出される状態になる。この図２に示す例では、カメラ付携帯端末３の撮影方向が上下方向及びズーム量は変化せず右方向にのみ回転した場合、つまり変化情報ｄｙ＝０、ａ＝１でｄｘが検出され、取得用信号がｘ，ｙ，ａＰからｘ←ｘ＋ｄｘ、ｙ’，ａ’Ｐ←ａＰとなった場合である。ここで更新された情報ｘ，ｙ，ａＰをその更新前と区別するため対応情報に対しダッシュ「’」を付けて示した。図４ではｄｘ＝Ｄ１である。
この全方位カメラ２から取り出された撮像映像信号は映像送信手段２２により映像取得装置１を中継してカメラ付携帯端末３へ送信される。従ってカメラ付携帯端末３の映像表示手段３２に表示される映像も変化する。つまりパノラマ被写体中の撮影部分被写体が、カメラ付携帯端末３のカメラ操作（方向及び／又はズーム操作）に応じて変化し、その変化した部分被写体の撮影映像信号が映像表示手段２２に再生表示される。
ズーム量ａＰについて述べると、最大ズーム量ａＰＭの時に、映像取り出し手段２４はイメージセンサデバイス７（図２）の各画素の信号をｘ方向に２Ｉ個、ｙ方向に２Ｊ個取り出す。ズーム量ａＰの場合はａＰＭ／ａＰ個おきの画素の信号をｘ方向に２Ｉ個、ｙ方向に２Ｊ個取り出す。このようにしてズーム量ａＰが大きければイメージセンサデバイス７における狭い領域から部分被写体の撮像映像信号を取り出し、ａＰが小さければ広い領域から部分被写体、撮像映像信号を取り出すことになり、カメラ付携帯端末３の映像表示手段３２に表示される映像もズーム量ａＰの変化に応じて拡大・縮小が行われることになる。
映像取得装置１の映像中継手段１５では遠隔撮影装置２から受信した撮影映像信号の画面サイズを映像表示手段３２のそれに合わせる変換、同様に各画素ごとの振幅（輝度）解像度の変換や圧縮符号化などカメラ付携帯端末３の定格や携帯用伝送路５の規格に応じた変化が変換部１５ａ（図４参照）で行ってカメラ付携帯端末３へ送信する。
図４に示したシステムに処理の流れを図６を参照して簡単に説明する。カメラ付携帯端末３から起動アクセスを映像取得装置１へ送信する（Ｆ１）。映像取得装置１は起動アクセス又は取得用信号（初期値）を遠隔撮影装置２へ送信する（Ｆ２）。遠隔撮影装置２は予め決められた又は取得用信号に応じた部分被写体撮影映像信号（以下「撮影映像信号」を「撮影信号」と記述することもある）を取り出し（Ｆ３）、その撮影信号を映像取得装置１へリアルタイムで送信する（Ｆ４）。映像取得装置１は受信した撮影信号をカメラ付携帯端末３へ中継伝送する（Ｆ５）。
カメラ付携帯端末３は受信した撮影信号を再生して部分被写体映像を表示する（Ｆ６）。カメラ付携帯端末３により周辺被写体の撮影操作を行う（Ｆ７）。その撮影した周辺映像信号をリアルタイムで映像取得装置１へ送信する（Ｆ８）。
映像取得装置１は受信した周辺映像信号の映像、変化からカメラ付携帯端末３のカメラ操作の変化を検出し（Ｆ９）、変化があれば、その取得用信号を生成し（Ｆ１０）、その取得用信号を遠隔撮影装置２へ送信する（Ｆ１１）。
遠隔撮影装置２は受信した取得用信号に基づき、取り出す部分被写体撮影信号を変更する（Ｆ１２）。その後は全体の処理は処理Ｆ３の取得用信号に応じた撮影信号を処理以後を繰り返し、カメラ付携帯端末３が終了指令を映像取得装置１へ送信すると（Ｆ１３）、映像取得装置１はこれを遠隔撮影装置２へ中継送信し（Ｆ１４）、遠隔撮影装置２は部分被写体撮影信号の送信を終了する（Ｆ１５）。
映像取得装置１の処理手順の例を図７を参照して説明する。
ステップＳ１：カメラ付携帯端末３から起動アクセスの受信を待ち、
ステップＳ２：起動アクセスを受信すると、起動アクセス又は前回信号メモリ１３ａ内の取得用信号（初期値）を遠隔撮影装置２へ送信する。
ステップＳ３：カメラ操作の指令を受信したかを判定する。
ステップＳ４：操作指令を受信していなければ遠隔撮影装置２から部分被写体撮像信号を受信し、
ステップＳ５：その受信した撮像信号をカメラ付携帯端末３へ中継送信する。
ステップＳ６：ステップＳ３で操作指令を受信していれば、その指令を保持し又はフラグを立て、カメラ付携帯端末３から周辺映像信号を受信する。
ステップＳ７：変化検出タイミングかを調べ、検出タイミングになっていれば、
ステップＳ８：変化検出手段１２で変化検出処理を行い変化情報を求める。
ステップＳ９：求めた変化情報と前回生成された取得用信号とを用いて新たに取得用信号を生成し、これで前回生成された取得用信号を更新する。
ステップＳ１０：新たに生成した取得用信号を遠隔撮影装置２へ送信し、ステップＳ４に移る。
ステップＳ１１：ステップＳ５の後、操作停止指令を受信したかを判断し、受信していなければステップＳ７に戻る。
ステップＳ１２：ステップＳ１１で停止指令を受信していれば前記保持した操作指令を消去し、又は前記フラグを消し、操作再開の指令を受信したかを判断する。
ステップＳ１３：操作再開指令を受信していなければ、終了指示を受信したかを判断し、受信していなければステップＳ４に移る。
ステップＳ７で変化検出タイミングになっていなければステップＳ４に移り、またステップＳ１２で操作再開指令を受信していれば、そのことを保持し、例えばフラグを立てステップＳ６に移る。
このように処理がなされるから、利用者がカメラ付携帯端末３から起動アクセスを映像取得装置１へ送ると、部分被写体撮像信号がカメラ付携帯端末３に再生表示され、利用者がこの部分被写体映像を見て、他の部分被写体映像を見たい、あるいは拡大又は縮小したい場合、カメラ操作指令をカメラ付携帯端末３から映像取得装置１へ送信し、所望のカメラ操作を行い、所望の部分被写体映像が得られたら操作停止指令を送信すれば、その部分被写体映像を、例えばカメラ付携帯端末３と持ち歩きながら見続けることができる。必要に応じて再び見たい部分被写体を変更したい場合を、操作再開指令を出せばよい。
ステップＳ１３で終了指示を受信したら、映像取得装置１は必要に応じて終了指令を遠隔撮影装置１へ送信し（Ｓ１４）、遠隔撮影装置１は終了指令を受信すると、部分被写体撮像信号の送信を終了するようにしてもよい、あるいは最初に部分被写体撮像信号を送信してから所定の時間経過すると、その撮像信号の送信を終了するようにするなどの手法によって終了としてもよい。周辺の映像信号の受信を、図７中に破線で示すように起動アクセスの受信後、操作指令の受信前に行ってもよい。ステップＳ７で変化検出タイミングの検出を行うことにより、例えば設定した所定の時間間隔で変化検出処理を行うようにしたが、ステップＳ７を省略して、変化検出処理を常時行ってもよい。また変化検出処理の後に図７中に破線で示すように受信した周辺映像が前回の受信周辺映像に対し変化があるかを判断し、変化がなければステップＳ４に移り、変化があればステップＳ９に移るようにしてもよい（Ｓ１５）。
【実施例２】
実施例１では遠隔撮影装置１の撮影手段として、全方位カメラを用い、映像取得装置１は遠隔撮影装置に取得用信号を送って部分被写体撮像信号を取り出させて部分被写体撮像信号を取得したが、実施例２では遠隔撮影装置２の撮影手段として全方位カメラを用い、遠隔撮影装置２からその全ての撮影映像信号を映像取得装置１に送信させ、映像取得装置１では受信した撮影映像信号中から部分被写体撮像信号を取得する。
図８にそのシステム構成例を示す。図４と異なる部分についてのみ説明する。遠隔撮影装置２では映像取り出し手段２４が省略され、全方位カメラ２１の全ての撮影映像信号を映像送信手段２２から映像取得装置１に送信する。信号受信手段２３は省略してもよいが、例えば映像取得装置１からの起動アクセスを受信すると、全方位カメラ２１の撮影を開始し、あるいは撮影映像信号の映像取得装置１への送信を開始し終了指令を受信すると、撮影映像信号の映像取得装置１への送信を終了するようにしてもよい。
映像取得装置１には遠隔映像受信手段１６、映像取得手段１７及び映像送信手段１８が設けられ、取得用信号の遠隔撮影装置２への送信は行わない。遠隔撮影装置２から受信した撮影映像信号を遠隔映像受信手段１６で受信し、その受信した撮影映像信号から、取得用信号生成手段１３よりの取得用信号により、部分被写体撮像信号が映像取得手段１７により取り出される。例えば受信撮影映像信号は映像取得手段１７中のバッファメモリ１７ａに格納され、この格納は各画素信号が、例えば図２に示したイメージセンサデバイス７における画素配列と同様な配列になるように行われる。実施例１における遠隔撮影装置２内での映像取り出し手段２４による部分被写体撮像信号の取り出しと同様の手法により、映像取得手段１７において、取得用信号生成手段１３内の前回メモリ１３ａ（図５参照）に格納されている取得用信号、この例では基準画素位置信号ｘ，ｙ，及び拡大・縮小信号ａＰに基づき、バッファメモリ１７ａから部分被写体撮像信号が取り出される。この取り出された部分被写体撮像信号を映像送信手段１８によりカメラ付携帯端末３へ送信する。その際、実施例１と同様に画面サイズ変換、圧縮処理などの変換を変換部１８ａで行って送信してもよい。必要に応じて信号送信手段１４により起動アクセス、終了指令などを遠隔撮影装置２へ送信するようにしてもよい。その他は実施例１と同様である。
この実施例２に用いられる映像取得装置１の処理手順の例を図９に示す。図７に示した手順と同様に、ステップＳ１，Ｓ２，Ｓ３が実行される。ステップＳ３でカメラ操作の指令が受信されていなければ、ステップＳ４で遠隔撮影装置２から撮影映像信号を受信し、次にステップ１６で前回信号メモリ１３ａに格納されている変化情報に基づいて受信した撮影映像信号が部分被写体撮像信号を取得処理し、ステップＳ１７でその取得した部分被写体撮像信号をカメラ付携帯端末３へ送信する。
その取得映像送信後はステップＳ１１に移り、実施例１と同様にカメラ操作の停止指令を受信したかを判断し、図７中のステップＳ１２，Ｓ１３を順次実行し、終了指示を受信していなければ、ステップＳ４に移る。その他は実施例１と同様であり、かつ同様に作用効果が得られる。なお、システムとしての処理の流れは図６に示したものにおいて遠隔撮影装置２はＦ３で全ての撮影映像信号を映像取得装置１へ送信し、Ｆ１２は省略され、映像取得装置１では図９に示した処理を行うことになり、その他は実施例１と同様である。
【実施例３】
実施例３は遠隔撮影装置２の撮影手段として、複数のディジタルビデオカメラを用い、かつ映像取得装置１は遠隔撮影装置２にパノラマ被写体の部分被写体撮像信号を取り出して取得するものである。
実施例３に用いる遠隔撮影装置２とパノラマ被写体６との関係例を図１０に示す。この例では遠隔撮影装置２として８個のディジタルビデオカメラをそれぞれ備えるカメラ装置２１〜２８がその撮影方向が等角度間隔となるように、３６０度に渡って配置される。また各カメラ装置２１〜２８の各視野角θは撮影方向角度間隔、この例では４５度よりわずか大きく、隣接カメラ装置の視野の一部がわずか重なり、パノラマ被写体６の連続した各部分被写体を撮影することができるようにされている。パノラマ被写体６の遠隔撮影装置２からの等距離は円筒面となるが、部分被写体が解り易いようにパノラマ被写体６の下の径を上より小さくしてある。
例えばカメラ装置２１により部分被写体６１を撮像し、これに対し、撮影方向が右へ４５度回転した方向の部分被写体６２をカメラ装置２２で撮影することができる。この遠隔撮影装置２によればこのようにしてパノラマ被写体６をカメラ装置２ｎの個数で等分割した部分被写体のいずれでも撮影することができる。なおカメラ装置の数は８個に限らない。その撮影方向の角度間隔は等間隔でなくてもよく、つまりパノラマ被写体６の一部に見る必要がない部分が含まれ、そのような部分は撮影しないように各カメラ装置の撮影方向が向けられる。
実施例３のシステム構成例を図１１に示す。図４に示した構成と異なる部分についてのみ説明する。遠隔撮影装置２としては複数のカメラ装置２１〜２Ｎが例えば図１０に示したように配置される。各カメラ装置２１〜２Ｎは同様の構成であり、その構成をカメラ装置２１を代表して説明する。図４と同様に映像取り出し手段２４が設けられるが、その構成及び処理（動作）が図４中の映像取り出し手段２４と異なる点がある。つまり映像取得装置１から送信されて受信される取得用信号はカメラ識別情報ＩＤｐと必要に応じてズームパラメータａＰ又は／及び位置パラメータｙである。これに伴って、映像取り出し手段２４にはａＰ，ｙを格納する記憶部２４ａと、そのカメラ装置２１のカメラ識別情報ＩＤ１が記憶されたＩＤ記憶部２４ｂが設けられる。ａＰ，ｙのいずれかが用いられない場合は、記憶部２４ａは省略される。
信号受信手段２３により受信した取得用信号中のカメラ識別情報ＩＤｐがＩＤ記憶部２４ｂに格納されているカメラ識別情報、この例ではＩＤ１と一致すると、カメラ装置２１のカメラ２１が撮影を開始し、映像取り出し処理を行うか、カメラ２１を常時撮影状態にしておき、そのカメラ２１から映像取り出し処理を行う。取得用信号中のａＰ，ｙにより記憶部２４ａ内のａＰ，ｙをそれぞれ更新する。
映像取り出し処理は実施例１の場合とほぼ同様に行うことができるが、ａＰ，ｙを用いない場合はカメラ２１で撮影した映像信号を部分被写体撮像信号としてカメラ２１から取り出し、映像送信手段２２へ入力する。カメラ２１のイメージセンサデバイス７は例えば図１２に示すように、方形状をしており、その横幅は取り出す映像画面の横方向（ｘ方向）における画素数２ＩにａＰの最大値ａＰＭをａＰの最小値ａＳで割った数（ａＰＭ／ａＰＳ）を乗算した画素数２（ａＰＭ／ａＰＳ）Ｉであり、縦幅は、取り出す映像画面の縦方向（ｙ方向）における画素数２Ｊに（ａＰＭ／ａＰＳ）を乗算し、更に最大チルト（仰・俯角）の画素数ΔｙＭを乗算した画素数２（ａＰＭ／ａＰＳ）・ΔｙＭ・Ｊである。逆に云えばデバイス７の横幅の画素数によりａＰの最小値ａＰＳが決まり、デバイス７の縦幅の画素数により前記最小値ａＰＳにより最大チルト（仰・俯角）ΔｙＭが決まる。
例えば記憶部２４ａに記憶されているパラメータがａＰ，ｙであれば、図１２中のデバイス７のｘ方向における２等分線（中心線）上の位置ｙを中心と横幅が２（ａＰＭ／ａＰ）Ｉ、縦幅が２（ａＰＭ／ａＰ）Ｊの領域７１における各画素（（ａＰＭ／ａＰ）ｉ，ｙ＋（ａＰＭ／ａＰ）ｊ）（ｉ＝０，±１，…，±Ｉ，ｊ＝０，±１，…，±Ｊ）の信号が部分被写体撮像信号として取り出され、パラメータがａＰ，ｙ’に更新されると、中心線上のｙ’を中心に横幅２（ａＰＭ／ａＰ’）Ｉ、縦幅２（ａＰＭ／ａＰ’）Ｊの領域７２における各画素（（ａＰＭ／ａＰ’）ｉ，ｙ’＋（ａＰＭ／ａＰ’）ｊ）の信号が部分被写体撮像信号として取り出される。
以上のようにして映像取得装置１から送信された取得用信号に応じて遠隔撮影装置２ではカメラ装置２１〜２Ｎのいずれかから部分被写体撮像信号が取り出され、これが映像伝送手段２２により映像取得装置１へ送信される。各遠隔撮影装置２と映像取得装置１を接続する遠隔用伝送路４は各カメラ装置２１〜２Ｎと映像取得装置１とを図１１に示したように個別の回線で接続してもよいが、図１３に示すように、遠隔撮影装置２と映像取得装置１とを１つの双方向伝送路４で接続してもよい。つまり映像取得装置１よりの取得用信号を信号受信手段２３で受信し、その受信した取得用信号を分配手段２６によりカメラ装置２１〜２Ｎの各映像取り出し手段２４へ供給し、カメラ装置２１〜２Ｎの各カメラ２１からの部分被写体撮像信号（通常はその１つのみが出力されている）を合成手段２７で合成し、その合成した部分被写体撮像信号を映像送信手段２２により映像取得装置１へ送信する。
図１１の説明に戻る。映像取得装置１には各カメラ装置２１〜２Ｎの撮影方向と対応した方向情報がそのカメラ装置の識別情報ＩＤｉと対応してカメラ方向記憶手段１９に格納されている。例えば各隣接カメラ装置間の撮影方向がなす角度が記憶される。図１４中にその例を示す。この図１４ではカメラ装置２Ｎの数Ｎが８の場合であり、カメラ装置２１〜２Ｎの各カメラ識別情報をそれぞれＩＤ１〜ＩＤ８とする。カメラ装置２１と２２との撮影方向の角度間隔Δｘ１（取得映像の画面上の画素数に変換した値であり以下も同様）がＩＤ１・ＩＤ２に対し記憶され、カメラ装置２２と２３との撮影方向の角度間隔Δｘ２がＩＤ２・ＩＤ３に対し記憶され、以下同様に隣接撮影方向の角度間隔が記憶される。
取得用信号生成手段１４は図４中のそれとは構成・処理（動作）が異なる部分がある。図１４中にその機能構成例を示す。この例は変化検出手段１２は例えば図５中に示したような構成手法で変化情報として方向情報ｄｘ，ｄｙ、拡大・縮小情報ａが検出された場合を例としている。前回信号メモリ１３ａに前回のカメラ識別情報ＩＤｐと、ｙ方向位置ｙと、ズーム量ａＰが格納される。この初期値としては例えば識別情報ＩＤｐとして予め決めたカメラ識別情報ＩＤ１，ｙ＝０，ａＰをその最大値と最小値の中間値とする。
ｄｘはカメラ決定部１３ｂに入力される。カメラ決定部１３ｂでの処理を図１５を参照して説明する。ｄｘの符号が正であれば（Ｓ１）、前回カメラ識別情報ＩＤｐのカメラ撮影方向とカメラ識別情報ＩＤｐ＋１のカメラ撮影方向との間の角度Δｘ＋１を、ＩＤｐ・ＩＤｐ＋１をアドレスとしてカメラ方向記憶手段１９から読み出す（Ｓ２）。ｄｘがΔｘ＋１以上かを判定し（Ｓ３）、Δｘ＋１以上であればＩＤｐ＋１を出力し（Ｓ４）、Δｘ＋１以上でなければ、ＩＤｐをそのまま出力する（Ｓ５）。
ステップＳ１でｄｘの符号が正でなければ、ＩＤｐ−１とＩＤｐとのカメラ撮影方向のなす角度Δｘ−１を、ＩＤｐ−１・ＩＤｐをアドレスとして記憶手段１９から読み出し（Ｓ６）、ｄｘの絶対値がΔｘ−１以上かを判定し（Ｓ７）、以上であればＩＤｐ−１出力し（Ｓ８）、Δｘ−１以上でなければＩＤｐをそのまま出力する（Ｓ９）。
隣接カメラ装置の撮影方向角度間隔が狭い場合や、カメラ付携帯端末３の撮影方向を急に比較的大きく変化させる場合は図１５中に破線で示すようにステップＳ４およびＳ８を省略し、ステップＳ３でｄｘがΔｘ＋１以上であれば、更に隣りのカメラ撮影方向角度間隔、つまりＩＤｐ＋１とＩＤｐ＋２とのカメラ撮影方向のなす角度間隔をΔｘ＋２として記憶手段１９から読み出し（Ｓ１０）、ｄｘがΔｘ＋１＋Δｘ＋２以上かを判定し（Ｓ１１）、以上であればＩＤｐ＋２を出力し（Ｓ１２）、Δｘ＋１＋Δｘ＋２以上でなければＩＤｐ＋１を出力する（Ｓ１３）。
またステップＳ７で｜ｄｘ｜がΔｘ−１以上であれば、更に隣りの撮影方向角度間隔、つまりＩＤｐ−２・ＩＤｐ−１をアドレスとして角度間隔Δｘ−２を記憶手段１９から読み出し（Ｓ１４）、｜ｄｘ｜がΔｘ−１＋Δｘ−２以上であるかを判定し（Ｓ１５）、以上であればＩＤｐ−２を出力し（Ｓ１６）、以上でなければＩＤｐ−１を出力する（Ｓ１７）。以下同様にして更に離れているカメラ撮影方向についても判定するようにすることもできる。
更に図１０に示した例のように隣接撮影方向の角度間隔が全て等しい場合はその角度、この例では４５度と対応した画素数Δｘだけを図１４中に破線で示すようにカメラ方向記憶手段１９間に記憶し、図１５中のステップＳ２，Ｓ６を省略し、ステップＳ３でΔｘ≦ｄｘかの判定を行い、ステップＳ７でΔｘ≦｜ｄｘ｜の判定を行えばよい。大きな動きに対しては、図１５中の破線の処理において、ステップＳ４，Ｓ８，Ｓ１０及びＳ１４を省略し、ステップＳ１１で２Δｘ≦ｄｘかの判定を行い、ステップＳ１５で２Δｘ≦｜ｄｘ｜の判定を行えばよい。この場合も同様にして更に離れたカメラ撮影方向についても判定するようにすることもできる。
図１４中取得用信号生成手段１３についての説明に戻る。入力されたｄｙ及びａについては図１３で説明したと同様にｄｙは加算部１３ｃで前回のｙと加算して出力し、ａは乗算部１３ｄで前回のａＰと乗算して出力する。各部１３ｂ，１３ｃ及び１３ｄの出力をそれぞれ信号送信手段１４に出力し、かつ前回信号メモリ１３ａに対する更新処理を同様に行う。また各入力に対し、切捨部１３ｅ，１３ｆ及び１３ｇを設けることもできる。この場合切捨部１３ｅではｄｘが設定値以下ではカメラ決定部１３ｂでの処理を行うことなく現在のＩＤｐ（メモリ１３ａ内のＩＤｐ）を出力する。
カメラ方向記憶手段１９としては例えば図１６に示すように、予め決めた１つのカメラ装置の撮影方向に対する他のカメラ装置の撮影方向の角度を記憶しておいてもよい。図１６の例ではカメラ識別情報ＩＤ４のカメラ装置の撮影方向を基準にして、この基準方向に対する他の７つのカメラ装置の各撮影方向の角度を、取得映像の一画面における画素数として表わしたものを記憶した場合である。この場合は、図１５に示した処理において、例えばステップＳ２でＩＤｐ及びＩＤｐ＋１の各角度を読み出し、ｄｘがその差以上かの判定をする。
利用形態によっては、利用者が最初に見たい部分被写体の方向が予め決っている場合は、各カメラ識別情報と、そのカメラ装置の撮影方向が北方向、北東方向、東方向、…などと東西南北方向と対応付けておく必要がある。これは遠隔撮影装置２を設置する際にいずれのカメラ識別情報のカメラ装置の撮影方向をどの方向にするかを決めておき、そのようになるように設置して、カメラ識別情報とその東西南北方向との対応づけを行ってもよい。しかし遠隔撮影装置１をそのように設置するのには手間がかかる場合がある。そこで、例えば各カメラ装置２１〜２Ｎに図１１中に示すように、カメラ情報測定手段２５をそれぞれ設け、そのカメラ情報測定手段２５の例えば磁気コンパスなどの方位計２５ａによりその撮影方向の真北に対する角度を求め、これよりその東西南北の方向の方位情報を得る。この例では、重力加速度計などによる傾斜計２５ｂも設け、その撮影方向の水平面に対する角度、つまりそのカメラ２１のイメージセンサデバイス７のｙ軸が水平面となす角度（仰・俯角）を取得映像の画面上の画素数で表わした値Δｙを検出する。各カメラ状態測定手段２５により測定した東西南北の方向と傾斜角Δｙｎをそのカメラ装置２ｎ（ｎ＝１，…，Ｎ）のカメラ識別情報ＩＤｎと共に図１１及び図１３中に括弧書で示すように信号送受信手段２３により映像取得装置１へ送信する。映像取得装置１は信号送受信手段１５により各カメラ装置２ｎからのその識別情報ＩＤｎと東西南北の方向と、傾斜角Δｙｎとを受信して、各識別情報ＩＤｎと対応して例えば図１６に示すように、カメラ方向記憶手段１９に格納する。
利用者が映像取得装置１へ起動アクセスをした場合は映像取得装置１では予め決められた東西南北の方向、例えば北方向が撮影方向のカメラ識別情報、図１６に示す例ではＩＤ３と、その仰・俯角Δｙ３を読み出し、これらと必要に応じて拡大・縮小パラメータ（ズーム量）の初期値ａＰを遠隔撮影装置２へ送信する。初期値ａＰはカメラ装置２１〜２Ｎ中の各映像取り出し手段２４の記憶部２４ａに予め格納しておいてもよい。仰・俯角Δｙｎが図１２中の補正部分ｈで加算部１３ｃの出力から差し引かれて信号送信手段１４へ送信される。前回信号メモリ１３中のｙに対する更新は補正部１３ｈによる補正が行われない値により行う。例えば水平方向を基準に部分被写体映像を見たい場合に、カメラ撮影方向が水平面に対し、わずか上に向いている場合、カメラ２１のイメージセンサデバイス７に結像している部分被写体像は、水平方向を見た部分被写体像よりも、撮影方向が上に向いている分、つまりΔｙｎだけ上側にずれている。よって補正部１３ｈによりΔｙｎだけ差し引きされることにより水平方向を基準として部分被写体像が得られる。なおｙの初期値はｙ＝０とされる。
以上述べたように、映像取得装置１からの取得用信号に応じて、いずれかのカメラ装置２ｎから部分被写体映像信号が映像取得装置１に送信され、これを取得することができ、これが実施例１と同様にカメラ付携帯端末３へ中継され送信される。カメラ付携帯端末３についての利用者の操作は実施例１と同様であり、従って実施例１と同様にカメラ付携帯端末３をカメラ操作することにより、パノラマ被写体を直接見て、カメラ操作している場合とよく対応した部分被写体映像を見ることができることは容易に理解されよう。この場合の映像取得装置１の処理手順は図７に示したものと同様である。この場合を起動アクセスを受けると、これを遠隔撮影装置２へ送信し、遠隔撮影装置２は起動アクセスを受信すると、予め決めた１つのカメラ装置２ｎから局部被写体撮像信号を映像取得装置１へ送信するようにしてもよい。
【実施例４】
遠隔撮影装置２として複数のカメラ装置２１〜２Ｎを用いる場合も、実施例２と同様に映像取得装置１において、遠隔撮影装置２から受信した撮影映像信号から部分被写体撮像信号を取得することもできる。この場合が実施例４であり、実施例３との違いを図１７を参照して説明する。
遠隔撮影装置２において、各カメラ装置２１〜２Ｎの映像取り出し手段２４は省略され、各カメラ２１よりの撮像信号が撮像送信手段２２により映像取得装置１へ送信する。その際、各カメラ装置２１〜２ＮのＩＤ記憶部２４ｂに格納されているカメラ識別情報ＩＤｎをそのカメラ２１の撮像信号に付けるなど、映像取得装置１では、受信する撮像信号がいずれのカメラ装置２ｎからのものであるかを区別できるようにする。なお映像取得装置１の遠隔映像受信手段１６における入力端子が各カメラ装置２１〜２Ｎに応じて予め決っていれば、カメラ識別情報ＩＤｎを送信する必要もない。映像送信手段２２はカメラ装置２１〜２Ｎごとに設けてもよいが共通に１つ設けてもよい。また必要に応じてカメラ情報測定手段２５を設けてもよい。
映像取得装置１においては映像中継手段１５が省略され、映像取得手段１７において、カメラ装置２１〜２Ｎの各撮像信号中から、取得用信号生成手段１３よりの取得用信号中のカメラ識別情報ＩＤｐに応じたものを選択部１７ｂにより選択する。つまり受信信号中のカメラ識別情報ＩＤｎがＩＤｐと一致するものを選択する。この選択は映像取得手段１７で行ってもよい。また映像取得手段１７では、図８中のそれと同様のバッファメモリ１７ａを設けるが、このバッファメモリ１７ａには例えば図１２に示したイメージセンサデバイスの画素配列と同様に、選択された撮像信号をその画素信号ごと格納し、図１１中の映像取り出し手段２４及び図１２を参照して説明したと同様に、取得用信号中のａＰ及び／又はｙに応じて部分被写体撮像信号を取得する。
なお取得用信号がＩＤｐのみの場合は、バッファメモリ１７ａを省略することもできる。撮像信号の選択は選択部１７ａの代りに映像受信手段１６内に選択部１６ａを用いて行ってもよく、あるいは、前述したように、受信端子が各カメラ装置２１〜２Ｎごとに予め決っているものはそのＩＤｐと対応する受信端子を選択して受信撮像信号を選択してもよい。
映像取得装置１はカメラ付携帯端末３から起動アクセスを受付けると、予め決めたカメラ識別情報又は予め決めた東西南北の方向の部分被写体撮像信号を取得してカメラ付携帯端末３へ送信する。この実施例４のシステムにおける映像取得装置１の処理手順は図９に示した手順と同様である。よってこの実施例４においても、実施例１〜３と同様作用効果が得られることは容易に理解されよう。
【実施例５】
実施例５は遠隔撮影装置２の撮影手段２１として雲台に搭載したビデオカメラを用いる場合である。図１８にそのシステム構成例を示す。図４と異なる部分について説明する。
遠隔撮影装置２の撮影手段２１として例えば図１９に示すような、雲台２７上にビデオカメラ２８が搭載され、カメラ２８の撮影方向を遠隔地からの制御信号により変更することができ、またそのレンズにより画角、いわゆるズーム量を変更することができるものである。以下、この撮影手段２１を雲台カメラ２１と記述する。映像取り出し手段２４においては、映像取得装置１から取得用信号として、方位信号θ、仰・俯角度信号φ、ズーム信号Ｚが入力される。方位制御部２４ｃにより方位信号θに応じて方位角制御機構２４ｄを制御してカメラ２１の撮影方向の方位角度がθとなるようにする。仰・俯角制御部２４ｅにより仰・俯角信号φに応じて仰・俯角制御機構２４ｆを制御してカメラの撮影方向の仰・俯角がφになるようにする。ズーム制御部２４ｇによりズーム信号Ｚに応じてズーム制御機構２４ｈを制御してカメラ２１のズーム量がＺになるようにする。これら制御部２４ｃ，２４ｅ，２４ｇ及び制御機構２４ｄ，２４ｆ，２４ｈは市販の遠隔制御雲台カメラの雲台２７に設けられているものと同様のものを用いることができる。
このようにしてパノラマ被写体６中から、取得用信号に応じた部分被写体撮像信号がカメラ２１から取り出され、映像取得装置１へ送信される。この遠隔撮影装置２にも、図１１中で説明したカメラ情報測定手段２５を設けてもよい。
映像取得装置１では、取得用信号生成手段１３において、例えは図５中に示した取得用信号生成手段１３を用いて、変化検出手段１２で検出した変化情報に基づき信号ｘ，ｙ，ａＰを生成し、これら信号ｘ，ｙ，ａＰを変換部１３ｊにより、方位信号θ及び仰・俯角信号φの方向信号と、ズーム信号Ｚのズーム変更信号とに変換して遠隔撮影装置２へ送信する。
映像取得装置１から起動アクセスを遠隔撮影装置２へ送ると、遠隔撮影装置２は予め決めて設定されている基準の撮影方向でかつ基準のズーム量で撮影した部分被写体撮像信号を映像取得装置１へ送信する。遠隔撮影装置２にカメラ情報測定手段２５を設け、映像取得装置１が起動アクセスを受けた時に、予め決めた方向、例えば北方向かつ水平方向を撮影方向とした部分被写体撮像信号を得る場合は、初期取得用信号を初期信号生成部１３ｋで生成する。つまり遠隔撮影装置２のカメラ情報測定手段２５で測定した方位角θｉと仰・俯角φｉが記憶部１３ｍ，１３ｎに格納され、これら記憶されたθｉ，φｉと、予め決められた基準方位角及び基準仰・俯角との、方向を含めた差分角度信号を基準計算部１３ｐ及び１３ｑで計算して、これらを初期取得用信号として遠隔撮影装置２へ送信する。つまり雲台カメラ２１の現在の撮影方向に対する差分を取得用信号として送信し、遠隔撮影装置２では、受信した取得用信号に基づき、前記差分だけ雲台カメラ２１の撮影方向を変化させるような制御を行う。ズーム量Ｚについては初期取得用信号は差分がゼロである。このような制御の場合は、変化検出手段１２の検出変化情報に基づく取得用信号も雲台カメラ２１の現在の状態、つまり撮影方向及びズーム量に対する各変化量のみを遠隔撮影装置２へ送信する。従って例えば図１８中に示すように変化検出手段１２より検出した変化情報ｄｘ，ｄｙ，ａは取得用信号生成手段１３の変換部１３ｊへ直接入力され、その各変換出力が取得用生成信号として遠隔撮影装置２へ送信される。遠隔撮影装置２では受信した取得用信号が表わす各変化量だけ、対応する方位制御機構２４ｄ、仰・俯角制御機構２４ｆ、ズーム量制御機構２４ｈをそれぞれ制御することになる。
このように、予め決めた東西南北の方向を基準とする場合に限らず、雲台カメラ２１を設置した初期状態を基準とし、変化検出手段１２で検出した変化情報と対応する変化分を示す取得用信号を生成して遠隔撮影装置２へ送信し、遠隔撮影装置２では受信した取得用信号が示す変化量だけ、現在の雲台カメラ２１の方向又は／及びズーム量に対し、変更するように制御するようにしてもよい。このように変化情報に基づく変化だけを表わす取得用信号を生成して遠隔撮影装置２へ送信することは実施例２及び４についても適用することができる。この場合は例えば実施例１では図５中に示した取得用信号生成手段１３と同様のものを遠隔撮影装置２に設ける。
【実施例６】
実施例６は遠隔撮影装置２を、複数の利用者が利用できるようにした場合である。例えば図２０に示すように映像取得装置１は通信網５０に接続され、複数のカメラ付携帯端末３１，３２，…，３Ｍは、通信網５０を直接接続され、又は他の通信網を介して通信網５０に接続され、映像取得装置１と接続する携帯用伝送路５１，５２，…，５Ｍを構成することができる。映像取得装置１は遠隔撮影装置２と遠隔用伝送路４を通じて接続される。遠隔用伝送路４は専用回線でもよく、通信網５０を介する回線でもよい。
遠隔撮影装置２として実施例２で説明したものと同様構成のものを使用する場合についてまず説明する。この場合の映像取得装置１の機能構成例を図２１に示す。複数のカメラ付携帯端末３と接続可能なように複数回でもＳ個の接続回線を備え、つまり複数の周辺映像受信手段１１１〜１１Ｓが設けられ、受信バッファメモリ１２ａ１〜１２ａＳと、各回線番号ｓ（ｓ＝１，２，…，Ｓ）対応の周辺映像信号を格納するＳ個の領域を備える前回フレームメモリ１２ｂｓと、各回線番号ｓごとにカメラ操作状態か否かを示すフラグを格納するフラグメモリ４２と、各回線番号ｓごとの更新指示部１２ｄＳと、１つ乃至複数の変化検出部１２ｃ（図では１つのみを示している）と、１つ乃至複数の取得用信号生成手段１３（図では１つのみを示している）と、各回線の周辺映像受信手段１１Ｓと対となっている映像送信手段１８Ｓと、遠隔映像手段１６と、１つ乃至複数の映像取得手段１７（図では１つのみを示している）と、制御手段９８とが設けられている。取得用信号生成手段１３中の前回信号メモリ１３ａには各回線番号ｓごとに前回生成した（現に用いている）取得用信号を格納する領域が設けられている。制御手段９３はマイクロプロセッサ又はＣＰＵ（中央処理装置）と映像取得装置１として機能させるために必要なプログラムが格納されたメモリとを備え、そのプログラムを実行することにより各メモリに対する読み出し、書き込みや各部を順次動作させる。図２１中に示した機能構成中には制御手段９３自体で行うものもある。
あるカメラ付携帯端末３が回線番号ｓの周辺映像受信手段１１Ｓと接続し、起動アクセスを行い、部分被写体撮像信号の受信を終了するまで、回線を接続した状態で利用する場合につき説明する。周辺映像受信手段１１Ｓに起動アクセスが受信されると、前回信号メモリ１３ａの回線ｓの領域から取得用信号を読み出し、その取得用信号により、遠隔映像受信手段１７で受信されているパノラマ撮像信号から部分被写体撮像信号を映像取得手段１７で取り出し、これを回線番号ｓの映像送信手段ｓによりカメラ付携帯端末３に送信する。前回信号メモリ１３ａは初期状態において、その全ての領域には予め決めた特定の部分被写体に対する取得用信号、この例ではｘ０，ｙ０，ａＰ０が格納されている。カメラ付携帯端末３では映像取得装置１から映像信号が受信されるとその映像表示手段３２でその受信映像信号を再生表示させる。映像取得手段１７での部分被写体撮像信号の取得操作は実施例２で説明したと同様の手法による。
回線ｓの周辺映像受信手段１１Ｓにカメラ操作指令を受信すると、フラグメモリ９２の回線番号ｓに対しフラグを立て、つまりフラグを“０”から“１”に変更し（初期状態でフラグは“０”とされてある）、更新指示部１２ｄＳのタイマをセットし、その後周辺映像受信手段１１Ｓに受信される周辺映像信号を受信バッファメモリ１２ａＳに格納する。
更新指示部１２ｄＳから更新指示が出力されるごとに、受信バッファメモリ１２ａＳと前回フレームメモリ１２ｂ中の領域ｓ内の両受信周辺映像信号とから、変化検出部１２ｃで変化情報ｄｘ，ｄｙ，ａを検出し、その変化情報に基づき、取得用信号生成手段１３で前回信号メモリ１３ａの領域ｓ内の前回生成した取得用信号に対して処理を行って取得用信号を生成し、この信号で前回信号メモリ１３ａの領域ｓ内の取得用信号を更新すると共に、映像取得手段１７で部分被写体撮像信号を映像送信手段１８Ｓでカメラ付携帯端末３へ送信する。また受信バッファメモリ１２ａＳ内の映像信号を前回フレームメモリ１２ｂの領域ｓに転送する。
周辺映像受信手段１１Ｓにカメラ操作停止指令を受信するとフラグメモリ９２中の回線番号ｓのフラグを“０”に戻し、更新指示部１２ｄＳの動作を中止させる。前回信号メモリ１３ａの領域ｓの取得用信号に基づき、部分被写体撮像信号を取得して映像送信手段１８Ｓにより、リアルタイムで送信することが行われる。周辺映像受信手段１１Ｓに操作再開指令を受信すると、フラグメモリ９２内の回線ｓのフラグを“１”とし、更新指示部１２ｄＳを動作状態とさせ、カメラ操作指令を受信した場合と同様の処理状態にする。周辺映像受信手段１１Ｓに終了指令が受信されると、受信バッファメモリ１２ａＳ、前回フレームメモリ１２ｂの領域ｓ、前回信号メモリ１３ａの領域ｓの各内容を消去し、必要に応じて更新指示部１２ｄＳの動作を停止し、フラグメモリ９２内の回線番号ｓに対するフラグを“０”にする。
高速処理が可能でカメラ付携帯端末３ｍ（ｍ＝１，２，…，Ｍ）が映像取得装置１に対し起動アクセスを送信し、映像取得を終了するまでに映像取得装置１とカメラ付携帯端末３の間で信号の送信、受信ごとに回線の接続を行うようにしてもよい。その場合はカメラ付携帯端末３ｍは信号を送信するごとに端末識別情報Ｉｄｍを付加する。端末識別情報Ｉｄｍとしては例えばカメラ付携帯端末３ｍの電話番号、アドレスなどと必要に応じてカメラ付携帯端末３ｍの機器番号、利用者氏名などが用いられる。端末識別情報Ｉｄｍと回線数の処理番号ｓ（ｓ＝１，２，…，Ｓ）とを対応付ける処理番号メモリ９１を設ける。起動アクセスを受信すると、その端末識別情報Ｉｄｍと空き処理番号ｓ（現在処理に利用していない番号）を対応付けて処理番号メモリ９１に記憶する。その後映像取得装置１はカメラ付携帯端末３ｍから信号を受信するごとにその端末識別情報Ｉｄｍにより処理番号メモリ９１から処理番号ｓを読み出し、その処理番号ｓについて対応する処理をする。つまり端末識別情報Ｉｄｍの指令によりフラグメモリ９１内の処理番号ｓのフラグの制御、更新指示部１２ｄＳに対する動作の制御、周辺映像信号に対し、受信バッファメモリ１２ａＳ、前回フレームメモリ１２ｂ内の領域ｓの各利用、取得用信号生成手段１３及び映像取得手段１７における前回信号メモリ１３ａ内領域ｓの取得用信号を利用し、部分被写体撮像信号の送信は、処理番号メモリ９１内の処理番号ｓに対する端末識別情報Ｉｄｍを読み出し、空いている映像送信手段１８Ｓを用いて、前期読み出した端末識別情報Ｉｄｍのカメラ付携帯端末３ｍに接続して行う。以上のように、この実施例６によれば、複数利用者がカメラ付携帯端末３をそれぞれ独立に同時的に操作して１つの遠隔撮影装置１から、それぞれ所望する部分被写体映像を見ることができる。なお、処理が輻輳した場合に、変化検出部１２ｃ、取得用信号生成手段１３、映像取得手段１７は複数個が同時に利用される。
遠隔撮影装置１として図１０に示したと同様のものを用いる場合にも複数の利用者に同時に１つの遠隔撮影装置１を利用することができる。つまり図２１に示した構成において、遠隔映像受信手段１６、取得用信号生成手段１３、映像取得手段１７を図１４、図１７と同様な構成とし、かつ複数のカメラ付携帯端末３ｍに対し、同時的に処理できるように、その映像取得装置１は、図２１に示したように複数の周辺映像受信手段１１Ｓ、複数の受信フレームメモリ１２ａＳ、複数の更新指示部１２ｄＳ、複数の記憶領域をもつ前回フレームメモリ１２ｂ、複数記憶領域をもつ前回信号メモリ１３ａ、複数の映像送信手段１８Ｓ、フラグメモリ９２、制御手段９３などを設け、前回信号メモリ１３ａ内に括弧書きで示すように、取得用信号中の信号ｘの代りにカメラ識別情報ＩＤｐを用い、全方位カメラを用いる場合と同様に、各カメラ付携帯端末３ｍごとの処理を行うが部分被写体撮像信号の取得は実施例４で説明したように行う。この場合も複数のカメラ装置２１〜２Ｎから同時に受信される複数方向からの各撮影信号を、複数のカメラ付携帯端末３ｍにより同時的にそれぞれ所望する部分被写体映像を見ることができることは容易に理解されよう。
実施例１及び３に示すシステムにおいても、複数のカメラ付携帯端末３ｍによる部分被写体映像の同時的取得を行うようにすることもできる。この場合は図２１中の映像取得手段１７を省略し、映像取得装置１で生成したカメラ付携帯端末３ｍに対する取得用信号を、それが識別できるように、例えば前述した処理番号ｓを付けて遠隔撮影装置２へ送信し遠隔撮影装置２では図４の例の場合は図２０中に破線で示すように、映像取り出し手段２４内に各処理番号ごとに取得用信号を記憶する記憶部２４ａを備え、その受信した処理番号に応じた記憶部２４ａ中の対応取得用信号を更新し、その各記憶部２４ａに格納されている各取得用信号により実施例１で説明したようにそれぞれ部分被写体撮像信号を取り出し、それに処理番号を付けて映像取得装置１へ送信する。映像取得装置１では受信した処理番号に応じたカメラ付携帯端末３ｍに同時に受信した部分被写体撮像信号を中継送信し、映像取得手段１７は省略される。
図１１に示したシステムの場合は、同様に遠隔撮影装置１の映像取り出し手段２４に各処理番号ごとに取得用信号を記憶する記憶部２４ａが設けられ、記憶部２４ａ中の受信した処理番号と対応する取得信号を同時に受信した取得用信号で更新し、記憶部２４ａに格納されている各取得用信号ＩＤｐ，ｘ，ａＰに基づき対応するカメラ装置２ｎから部分被写体撮像信号を取り出し、これにその処理番号を付けて映像取得装置１へ送信すればよい。
変形例
上述したいずれの実施例においても図４、図８、図１８、図２０などに破線で示すように、映像表示手段３２はパーソナルコンピュータなどに用いられる固定の表示器を用いてもよい。ただしいずれの場合も映像取得装置１からカメラ付携帯端末へ送信した部分被写体撮像信号が再生表示されるようにされる。この場合は利用者はこの固定の映像表示手段３２に表示される映像を見ながらカメラ付携帯端末３をカメラ操作することになる。前記例のようにカメラ付携帯端末３に映像表示手段３２が固定されている場合は、歩きながらでも、どこに居ても利用することができ例えば、幼稚園での自分の子供の様子を見たりなど頗る便利である。
パノラマ被写体６は必ずしも３６０度に渡るものでなくてもよく、被写体６を直接見ながら撮影する場合に撮影方向を変更したり、視野角を調整したいような被写体であればよい。更に実施例３の説明で述べたように、パノラマ被写体６は連続するものでなくてもよい。これらは例えば前方１８０度の景色を部分的に所望の個所を撮影したい場合や防犯カメラとして、複数の出入口のみを監視すればよい場合などから容易に理解されよう。
更にいずれの場合も、カメラ付携帯端末３の撮影方向を左右に回転して部分被写体を選択する、前記例では取得用信号としてｘ又はＩＤｐのみ用いる場合のみでもよく、更にカメラ付携帯端末３の撮影方向を上下に回転して又は／及び前後に移動させて部分被写体を選択する、つまり前記例では取得用信号にｙ又は／及びａＰを加えてもよい。更に前述ではカメラ操作のそれぞれについてその大きさも加味した変化情報を検出し、これと対応して取得用信号を補正生成したが、例えば単に方向の変化だけを検出し、その変化の程度（大きさ）を検出することなく、方向の変化があれば、前回取得用信号ｘに対し、所定値ｄｘを加減算するようにしてもよい。
カメラ付携帯端末３で周辺映像を撮影している際に、そのカメラ３３に何らかの関係により、急に強い光が瞬時的に入射して、周辺映像信号が乱されることが考えられる。このように乱れた周辺映像信号に基づき変化情報を検出し、これに基づき取得用信号を生成すると、全く予期しない部分被写体映像が受信表示される。このようなことがないように、前記各実施例における映像取得装置１内の変化検出手段１２に誤検出防止部を設けるとよい。その誤検出防止部の例を実施例１に代表して説明する。図４中に破線で示すように、取得用信号生成手段１３へ送出された変化情報の履歴情報が履歴記憶部１２ｅに記憶される。この履歴情報は、例えば直前の３回分の変化情報が常に格納されるようにされる。例えば図５中に示した検出部１２ｃで変化情報が検出されると、この変化情報が、履歴記憶部１２ｅに格納されている変化情報の変化の連続性から大きく異なるか否かを判定部１２ｆで比較判定する。この判定が大きく異ならなければ、つまり異常でなければ、その変化情報を取得用信号生成手段１３へ出力すると共に、履歴情報記憶部１２ｅに最も新しい情報として記憶し、最も古い情報を除去する。判定部１２ｆが異常と判定すると、その検出した変化情報を阻止部１２ｇで破棄し、次の更新指示を待つか、改めて周辺映像信号を受信して、変化検出処理を行う。
複数の利用者が１つの遠隔撮影装置１を共に同時的に利用する場合は図２０中に示すようにパーソナルコンピュータなどの利用者端末３’によりその映像表示手段の表示面３ａの映像を見ながら操作部３ｂをキーやレバー、マウス、トラックボールなどを操作して遠隔撮影装置１が撮影しているパノラマ被写体６中の取得したい部分被写体を移動又は／及び拡大縮小操作したものを、パノラマ撮影映像信号から取得するようにしてもよい。操作部３ｂは例えば、パーソナルコンピュータにおいて画面上のある表示を移動させるための操作に基づき生じるｘ軸方向の制御信号を前記変化情報中のｄｘとし、ｙ軸方向の制御信号を前記ｄｙとし、画面上のある表示を拡大・縮小するための制御信号を前記変化情報中のａとしてそれぞれ出力し、この変化情報ｄｘを映像取得装置１へ送信する。この場合の映像取得装置１では周辺映像受信手段１１ｓの代わりに単なる信号受信手段１１ｓが用いられ、その受信手段１１ｓで各利用者端末３’から受信した変化情報はその信号受信手段１１ｓの回線番号又は同時に受信した利用者識別情報に基づく処理番号により、前回信号メモリ１３ａ中の前回生成した取得用信号ｘ（又はＩＤｐ），ｙ，ａＰと、その受信変化情報を用いて取得用信号生成手段１３により取得用信号を生成する。その後の処理は実施例６と同様である。ただし、取得用映像信号は対応する利用者端末３’へ送信することになる。
更に複数利用者が遠隔撮影装置２を共通に利用する際に、各利用者ごとの部分被写体撮像信号の取り出しを、実施例１又は実施例３で示したように、遠隔撮影装置２で行うようにすることもできる。その場合は前述と同様にして映像取得装置１では各利用者端末３’ごとの受信した変化情報ｄｘ，ｄｙ，ａに応じて取得用信号を生成するが、その取得用信号はＩＤｐ，ｙ，ａであり、実施例６の説明の終わりの方で述べたように例えば処理番号を付けて取得用信号を遠隔撮影装置２へ送信し、遠隔撮影装置２では同様に処理番号ごとに取得用信号に応じて部分被写体撮像信号を映像取得装置１へ送信する。
利用者端末３’としてパーソナルコンピュータのような固定して用いられるものを例としたが、携帯電話機やＰＤＡなど携帯型の端末でもよいことは明らかであろう。つまり利用者端末は遠隔撮影装置２の撮影パノラマ被写体中の取得部分被写体を指定するために予め決めた基準に対する方向及び／又は伸縮を示す変化情報、例えばｄｘ，ｄｙ，ａを映像取得装置１へ送信するものである。
上述した実施例１〜６で用いた映像取得装置１はコンピュータにより機能させてもよい。つまり各映像取得装置１がそれぞれ備える機能をコンピュータに実行させるためのプログラムをＣＤ−ＲＯＭ、磁気ディスク、半導体メモリなどの記録媒体からコンピュータにインストールし、あるいは通信回線を通じてダウンロードし、そのプログラムを実行させればよい。
【図１】
【図２】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【技術分野】
この発明はパノラマ被写体を、画像センサ、つまり映像信号を出力するカメラ（以下、単にカメラと記載する）で撮影して、その撮影映像を前記カメラから離れた場所の利用者に表示する遠隔映像表示方法、その方法に用いられる映像取得装置、その映像取得方法、及び映像取得プログラムに関する。
【背景技術】
例えば道路の交通量を把握するために、監視用カメラを雲台上に取付けて、道路の交通状態を撮影できるように設置し、このカメラよりの映像信号を通信回線を通じて遠隔地に設置された監視装置へ伝送し、監視装置では受信した映像信号を再生して表示器に、監視カメラが撮影した道路の交通状態を表示し、監視員はその表示を見ながら遠隔制御装置の操作釦やレバーなどを操作して、監視用カメラの撮影方向（水平方向及び垂直方向）を変更する制御信号、又は／及び監視用カメラのズームレンズのズーム量を変更する制御信号を通信回線を通じて監視用カメラの制御機構部に伝送して、監視用カメラを制御し、表示器に表示される映像を見ながら監視用カメラの撮影方向や撮影状態を制御することが行われている（例えば日本特許出願公開平１１−２０５７７５号（１９９９年７月３０日発行）参照）。
高層建築の屋上に雲台上に取付けたカメラを設置し、インターネットなどの通信網を通じて、パーソナルコンピュータからカメラをアクセスして、予め決められた時間、そのカメラを占有し、そのカメラの撮影映像信号をパーソナルコンピュータに受信してその表示器に再生表示し、利用者はその再生映像を見ながら、パーソナルコンピュータを操作して、カメラの撮影方向やレンズのズーム量を遠隔制御して、広い範囲のパノラマ被写体の各部分を見て楽しむサービス、いわゆるビデオライブが提供されている。
親が自宅あるいは、勤務先からパーソナルコンピュータを制御して、通信回線を介して幼稚園に設けたカメラをアクセスしてその撮影映像信号をパーソナルコンピュータに再生表示し、カメラの撮影方向やズーム量を遠隔制御して各種状態での子供の様子を知ることが考えられる。
更にコンビニエンスストアに設けた防犯カメラの撮影映像信号を離れた所で表示器に再生表示すると共に、守備員はその再生映像を見ながら防犯カメラの撮影方向やズーム量を遠隔制御することが考えられる。
このように遠方に設けられたカメラを遠隔制御してその撮影映像信号を表示させることは各種の利用が考えられる。いずれの場合も、従来においては、カメラ自体の撮影方向を機械的に変更制御し、あるいはズームレンズを機械的に移動させる制御を、パーソナルコンピュータを利用したボタン（キー）操作やレバー操作により行われるものであった。また、１人の利用者がカメラを遠隔制御している間は、他の利用者はそのカメラを制御できず、つまり、例えば予め決められた時間、そのカメラは１人の利用者により占有されるものである。
従来の遠隔映像表示における見たい映像を得るための制御はボタン（キー）操作、あるいはレバー操作によりカメラ自体を遠隔制御するものであるため、利用者がカメラを直接手で持って、あるいは雲台上のカメラを直接手で操作して所望の撮影映像を得る場合と比較して、操作性が悪く、つまり所望の撮影映像と多少ずれたものとなる場合があった。
この発明の目的は、利用者がその手でカメラを直接操作する感覚で所望の遠隔映像を表示させることを可能とする遠隔映像表示方法、その方法に用いられる映像取得装置、その方法、及び映像取得プログラムを提供することにある。
【発明の開示】
この発明の遠隔映像表示方法によれば、パノラマ被写体を遠隔撮影装置で撮影し、その撮影したパノラマ被写体の一部分の撮影映像信号を映像取得装置を介して、遠隔撮影装置と、異なる位置の映像表示手段に送信し、映像表示手段は受信した撮影信号を再生してパノラマ被写体の上記一部分の映像として表示し、
その映像表示手段の表示を見ることができる位置のカメラ付携帯端末により、その周辺を撮影し、その周辺映像信号を映像取得装置へ送信し、
映像取得装置で、前回の受信周辺映像信号と今回の受信周辺映像信号とから、カメラ付携帯端末が撮影した周辺映像の変化情報を求め、この変化情報に基づき、撮影した周辺映像の変化と対応して、パノラマ被写体の一部分に対して変更されたパノラマ被写体の一部分の撮影映像信号を遠隔撮影装置から求め、その求めた撮影映像信号を映像表示手段へ送信する。
パノラマ被写体は、映像表示手段の一表示画面分の映像として表示するには適さない程度に十分広い、あるいは一表示画面分の映像としてある程度の表示はできるがその各一部分の詳細を見る必要がある視野範囲の大きさであり、視野角は３６０度かそれ以下であり、また必ずしも連続していなくてもよい。映像取得装置がパノラマ被写体の変更された一部分の撮影映像信号を遠隔撮影装置から求めるのは、二つの形態がある。その一つの形態によれば、カメラ付携帯端末から受信した前回の周辺映像信号の映像（以下、前回映像と記述する）に対する今回の周辺映像信号の映像（以下、今回映像と記述する）の変化情報が、変化検出手段により受信周辺映像信号から検出され、その変化情報とから、パノラマ被写体の一部分の撮影映像信号を得るために用いる取得用信号が取得用信号生成手段により生成され、その生成された取得用信号が遠隔撮影装置へ送信され、遠隔撮影装置より受信された撮影映像信号が映像中継手段により、映像表示手段へ送信される。この形態では映像取得装置は取得用信号を遠隔撮影装置へ送り、遠隔撮影装置がパノラマ被写体の変更された一部分の撮影映像信号を取り出し送信した映像信号を受信することにより、パノラマ被写体の変更された一部分の撮影映像信号を求める。
他の形態によれば、同様に変化検出手段及び取得用信号生成手段が設けられ、遠隔撮影装置より受信した撮影映像信号から生成された取得用信号に基づき、その映像取得装置の映像取得手段によりパノラマ被写体の変更された一部分の撮影映像信号が取り出されて求められる。
この発明の表示方法によれば、映像表示手段に表示されているパノラマ被写体の一部分の映像を見ながら、カメラ付携帯端末を手に持ってそのカメラ付携帯端末によりパノラマ被写体の一部を撮影するようにカメラ付携帯端末を操作することにより、パノラマ被写体の所望の部分を遠隔撮影表示することができ、パノラマ被写体を直接見ることができる場所で自分でカメラを操作して撮影する場合と、同様な感じで操作することができ操作性が頗るよく、かつパノラマ被写体の所望とする部分と撮影された映像とのずれが生じ難い。
【図面の簡単な説明】
図１はこの発明の原理を説明するためのシステム構成例を示す図である。
図２は全方位ビデオカメラのイメージセンサデバイスの例と、その部分被写体撮像信号の取り出しを説明するための図である。
図３Ａはカメラ付携帯端末の撮影方向を回転させた時の撮影映像のイメージセンサ上での移動状態の例を示す図である。
図３Ｂは図３Ａにおける移動前と後の各映像を示す図である。
図４は実施例１のシステム構成例を示すブロック図である。
図５は図４中の変化検出手段１２及び取得用信号生成手段１３の各機能構成例を示す図である。
図６は図４に示したシステム全体の動作手順の例を示す図である。
図７は図４中の映像取得装置１の処理手順の例を示す流れ図である。
図８は実施例２のシステム構成例を示すブロック図である。
図９は図８中の映像取得装置１の処理手順の例を示す流れ図である。
図１０は複数のカメラ装置を用いる遠隔撮影装置２とそのパノラマ被写体６との関係例を示す図である。
図１１は実施例３のシステム構成例を示すブロック図である。
図１２は図１１中のカメラ装置のイメージセンサデバイスと部分被写体撮像信号の取り出しを説明するための図である。
図１３は図１１中の遠隔撮影装置１の変形例を示すブロック図である。
図１４は図１１中の取得用信号生成手段１３の具体的機能構成例とカメラ方向記憶手段１９の記憶例を示す図である。
図１５は図１４中のカメラ決定部１３ｂの処理手順の例を示す流れ図である。
図１６はカメラ方向記憶手段１９の他の記憶例を示す図である。
図１７は実施例４のシステム構成例を示すブロック図である。
図１８は実施例５のシステム構成例を示すブロック図である。
図１９は図１８中の雲台カメラ２１の外観例を示す図である。
図２０は実施例６のシステム構成例を示すブロック図である。
図２１は図２０中の映像取得装置１の機能構成例を示すブロック図である。
【発明を実施するための最良の形態】
原理説明
図１を参照してこの発明の原理を説明する。
この例では遠隔撮影装置２として全方位カメラが用いられた場合である。全方位カメラはディジタルビデオカメラであって、周囲３６０度を撮影可能な全方位画像センサであり、例えば山澤一誠著「ミラーを用いた全方位カメラの原理と特徴」コンピュータビジョンとイメージメディア１２５−２１、Ｐ．１５５〜１６０、２００１年１月１９日を参照されたい。また全方位カメラは市販されており、例えば図２に示すように予め決めた基準方向を０度とし、３６０度のパノラマ被写体にカメラ像がＣＣＤなどの長方形の２次元イメージセンサデバイス７に結像され、各画素対応の光電気変換信号を取出すことができる。
図１において遠隔撮影装置２はその３６０度にわたる周囲のパノラマ被写体６を撮影することができる。この例ではその遠隔撮影装置２で撮影したパノラマ被写体６の一部分、例えば基準に対し１８０度の方向の一部分（以下、部分被写体と記述する）６１の撮影映像信号、つまり図２におけるイメージセンサデバイス７中の領域７１の各画素信号が取り出されて伝送路４を通じて映像取得装置１へ送信される。
映像取得装置１では受信した部分被写体の撮影映像信号を伝送路５を通じて、遠隔撮影装置２とは異なる位置の映像表示手段を兼ねるカメラ付携帯端末３へ送信する。カメラ付携帯端末３としてこの例ではカメラ付携帯電話機を用いているが、カメラ付ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｃｅ）や、ＰＤＡにカメラを固定したものなど、要はディジタルビデオカメラを備え、かつ通信手段を備え、手に持ってカメラ撮影操作を行うことができる端末であればよい。伝送路４及び５はこれらを区別するため以下、それぞれ遠隔用伝送路４及び携帯用伝送路５と記述する。これら両伝送路４及び５はいずれも専用伝送回路であっても、インターネット、無線・有線公衆通信網などの通信網を一つ乃至複数介する伝送路であってもよい。
所でこの例はカメラ付携帯端末３は映像表示手段をも備えるものであり、映像取得装置１から受信した遠隔撮影装置２よりの部分被写体６１の撮影映像信号はその映像表示手段により再生されて、その表示面３２ａに表示される。
利用者はカメラ付携帯端末３を手に持ってその端末３のカメラ（携帯撮影手段）３３でその利用者の周辺被写体８を撮影しながら、表示面３２ａに表示されたパノラマ被写体６の部分被写体６１を見て、パノラマ被写体６１中の遠隔撮影表示したい他の部分被写体を見たい場合は、そのカメラ３３でその見たい部分被写体を撮影するように、カメラ付携帯端末３を操作する。例えば部分被写体６１に対し、右へ４５度の方向の部分被写体６２を撮影したい場合は、カメラ付携帯端末３で現に撮影している方向３３ａから、図１中に１点鎖線で示すようにカメラ付携帯端末３のカメラ３３の撮影方向３３ａを右へ４５度回転する。
カメラ付携帯端末３のカメラ３３により撮影されている周辺被写体の映像信号（以後、周辺映像信号と記述する）は携帯用伝送路５を通じて映像取得装置１へ送信される。映像取得装置１は受信した前回の周辺映像信号と、今回の周辺映像信号とから、カメラ付携帯端末３が撮影している周辺映像が変化したことを検出する。
周辺被写体８に対し、カメラ付携帯端末３が撮影している範囲は図３Ａに示すように撮影範囲８ａに対し右側に移動した撮影範囲８ｂとなる。従って部分被写体６１の再生映像を見た時の受信周辺映像信号は図３Ｂの上側に示す撮影範囲８ａの撮影映像信号であるが、カメラ付携帯端末３の撮影方向が右へ４５度回転された状態での受信周辺映像信号は図３Ｂの下側に示す撮影範囲８ｂの撮影映像信号となる。これら両受信周辺映像信号を比較すれば、同一の映像部分が、図において右から左へ移動しており、そのカメラ付携帯端末３の撮影方向が右へ回転されたことを検出することができる。
映像取得装置１はこの受信周辺映像信号の映像の前回のそれに対する変化情報を検出し、この変化情報に基づき遠隔撮影装置２で撮影している映像信号から取り出す撮影映像信号を変更して、その取出した撮影映像信号と対応するパノラマ被写体６中の部分被写体が、受信周辺映像信号の映像の変化に対応して変更されるように遠隔撮影装置２に指示する。カメラ付携帯端末３の撮影方向を前記例では４５度右へ回転させた場合は、パノラマ被写体６の部分被写体６１がその方向に対して右へ４５度回転した部分被写体６２と対応した撮影映像信号を取り出すように、図２中のイメージセンサデバイス７上の領域７１に対し、周辺撮影映像の移動距離Ｄ１だけ右へ移動させた領域７２の撮影映像信号を取り出すように、映像取得装置１は遠隔撮影装置２に遠隔用伝送路４を通じて指示する。
遠隔撮影装置２はこの指示を受信して、イメージセンサデバイス７の領域７２から撮影映像信号を取り出して、遠隔用伝送路４を通じて映像取得装置１へ送信し、映像取得装置１はその受信撮影映像信号を携帯用伝送路５を通じてカメラ付携帯端末３へ送信する。カメラ付携帯端末３はその表示面３２ａに部分被写体６２と対応する再生映像を表示することになる。
遠隔撮影装置２はパノラマ被写体６を常時撮影し、映像取得装置１から取得指示に基づいて部分被写体の撮影映像信号を常時、例えば毎秒３０フレームの速さで映像取得装置１を中継してカメラ付携帯端末３へ送信している。カメラ付携帯端末３もその撮影周辺映像信号を常時映像取得装置１へ送信している。
以上の説明から理解されるようにこの発明の方法によればパノラマ被写体６を実際に見ながらその撮影表示したい部分を撮影するようにカメラ付携帯端末３を操作することにより所望の部分被写体を遠隔撮影表示することができ、遠隔撮影の操作性がよく、かつ所望の部分被写体と撮影映像信号の再生映像とのずれが生じ難いものとなる。また例えば携帯電話機のような携帯端末のキーを操作してカメラを遠隔操作することを想定すると、その場合はキーの操作であることに基づく操作性が悪い上に、キーが小さくかつ複数のキーが接近しているため誤操作をし易いが、この発明方法によればそのようなおそれもない。
【実施例１】
図４にこの発明の実施例１が適用されるシステム構成例を示す。なおこの出願中のすべての図において、同一参照番号は同一機能のものを表わし、重複説明を省略する。
映像取得装置１はカメラ付携帯端末３から携帯用伝送路５を通じて受信される周辺映像信号を受信する周辺映像受信手段１１と、受信された周辺映像信号から周辺映像信号の映像の変化を変化情報として検出する変化検出手段１２と、その検出した変化情報に基づき取得用信号を生成する取得用信号生成手段１３と、その生成した取得用信号を遠隔用伝送路４を通じて遠隔撮影装置２へ送信する送信手段１４と、遠隔撮影装置２から遠隔用伝送路４を介して送信された撮影映像信号を受信して、携帯用伝送路５を介してカメラ付携帯端末３へ送信する映像中継手段１５とを備える。
遠隔撮影装置２はパノラマ被写体を撮影する遠隔撮影手段としての全方位カメラ２１と、遠隔用伝送路４を介して映像取得装置１から送信された取得用信号を受信する信号受信手段２３と、その受信した取得用信号に基づき、全方位カメラ２１から部分被写体の撮影映像信号を取り出す映像取り出し手段２４と、その取り出された撮影映像信号を遠隔用伝送路４を介して映像取得装置１へ送信する映像送信手段２２とを備える。
カメラ付携帯端末３は遠隔撮影装置２から携帯用伝送路５を介して送信された撮影映像信号を受信する映像受信手段３１と、その受信した撮影映像信号を再生表示する映像表示手段３２と、周辺被写体を撮影する携帯撮影手段としてのディジタルビデオカメラ３３と、そのカメラ３３で撮影した周辺映像信号を映像取得装置１へ携帯用伝送路５を介して送信する送信手段３４とを備える。
遠隔撮影装置２の映像取り出し手段２４では受信した取得用信号により決まる１画面分の撮影映像信号を全方位カメラ２１から取り出す。例えば、取得用信号により図２に示すイメージセンサデバイス中における画素位置（ｘ１，ｙ１）を中心として各画素（ｘ＋ａＰｉ，ｙ＋ａＰｊ）（ｉ＝０，±１，…，±Ｉ、ｊ＝０，±１，…，±Ｊ、２Ｉは１画面相当のｘ方向の画素数、２Ｊは１画面相当のｙ方向の画素数λ）の信号を順次取り出し、領域７１の撮影映像信号として出力する。つまりこの例では取得したい部分被写体の中心位置と、ズーム量が取得用信号により指定して取出される。この例では取得用信号は基準画素位置信号ｘ、ｙと拡大・縮小信号ａＰとからなる。
この撮影映像信号が映像取得装置を介してカメラ付携帯端末３へ伝送され、カメラ付携帯端末３の映像表示手段３２には、遠隔撮影装置２が撮影しているパノラマ被写体中の部分被写体、この例では図１中の部分被写体６２の映像が表示される。
映像取得装置１の変化検出手段１２ではカメラ付携帯端末３から受信された前回の周辺映像信号の映像（以下、前回映像と記述する）に対する今回の周辺映像信号の映像（以下、今回映像と記述する）の変化情報を受信周辺映像信号から検出する。例えば図５に示すように周辺映像信号が受信されると、受信バッファメモリ１２ａに格納され、その格納の前に前回受信し受信バッファメモリ１２ａに格納されていた周辺映像信号は前回フレームメモリ１２ｂに格納される。両メモリ１２ａ及び１２ｂ内に格納されている両周辺映像信号が変化検出部１２ｃに入力される。変化検出部１２ｃでは前回映像から今回映像への移動方向又はこれとその移動の程度（大きさ）又は／及び前回映像に対する今回映像のオブジェクトの大きさの変化、つまりズーム量を検出する。この変化情報の検出技術は、例えば撮影中のカメラの動き、いわゆるカメラワークを解析する技術を用いることができる。カメラワークの解析技術は例えば谷口行信他著「Ｐａｎｏｒａｍａ Ｅｘｃｅｒｐｔｓ：パノラマ画像の自動生成・レイアウトによる映像一覧」電子情報通信学会論文誌Ｄ−ＩＩ、Ｖｏｌ．Ｊ８２−Ｄ−ＩＩ Ｎｏ．３，ＰＰ．３９２，１９９９年３月や、書籍、小暮賢司監修、山森和彦著「未来ねっと技術シリーズ メディア処理技術４」２０ 電気通信協会 平成１１年１１月１０日初版発行などに示されている。
例えばカメラの左右の回転（パン）操作、カメラの上下の回転（チルト）操作、カメラのレンズによる画角を変化させる（ズーム）操作のカメラワークを解析する手法の一例を述べる。前回映像をｆ（ｘ，ｙ）、今回映像をｆ’（ｘ’，ｙ’）
（ｘ’，ｙ’）＝（ａｘ＋ｄｘ，ａｙ＋ｄｙ）
とし、つまりａ，ｄｘ及びｄｙをそれぞれズーム、パン及びチルトを説明するパラメータとする。映像ｆ（ｘ，ｙ）とｆ’（ｘ’，ｙ’）との間の２乗誤差
（１／Ｎ）Σｘ，ｙ｛ｆ（ｘ，ｙ）−ｆ’（ｘ’，ｙ’）｝２
を最小化するパラメータａ，ｄｘ，ｄｙを求める。これらａ，ｄｘ，ｄｙを変化情報とする。つまり変化検出部１２ｃでは例えばａ，ｄｘ，ｄｙを演算して変化情報とする、つまりａは拡大・縮小情報であり、ｄｘ，ｄｙは方向情報である。カメラ付携帯端末３の左右の回転のみを検出する場合はａ＝１，ｄｙ＝０とし、上下の回転のみを検出する場合はａ＝１，ｄｘ＝０とし、ズーム変化のみを検出する場合はｄｘ＝ｄｙ＝０、回転のみを検出する場合はａ＝１とすればよい。
取得用信号生成手段１３は変化検出手段１２で検出された変化情報と前回取得用信号とからパノラマ被写体の部分被写体の撮影映像信号を取得するために用いる取得用信号を生成する。取得用信号生成手段１３は例えば図５中に示すように、前回信号メモリ１３ａに前回生成され、現在用いられている取得用信号、例えばｘ，ｙ，ａＰが格納されており、これら信号ｘ，ｙ，ａＰと、変化情報、例えばｄｘ，ｄｙ，ａｘが加算部１３ｂでｘ＋ｄｘ→ｘ、加算部１３ｃでｙ＋ｄｙ→ｙ、乗算部１３ｄでａＰ×ａ→ａＰがそれぞれ演算されて補足され、新たな取得用信号が生成され、この新たな取得用信号ｘ，ｙ，ａＰで前回信号メモリ１３ａ内の各取得用信号が更新されると共に信号送信手段１４へ出力される。なお映像取得装置１による映像取得処理が行われていない状態では、前回信号メモリ１３ａには、予め決められた取得用信号、例えば図２中のセンサデバイス７の中心ｘ，ｙ、最大ズーム量の半分の値をａＰが初期値として、格納されてあり、映像取得装置１が取得処理を開始すると、前回信号メモリ１３ａ中の初期値信号ｘ，ｙ，ａＰが取得用信号として遠隔撮影装置２へ送信される。
また変化情報が小さい、例えばｄｘ＝１などの場合は、カメラ付携帯端末３に表示されるパノラマ被写体の部分被写体の映像はほとんど変化しないため、切捨部１３ｅ，１３ｆ，１３ｇを設け、ｄｘ，ｄｙ，ａがそれぞれに対し予め決められた所定値以下の場合はｄｘ，ｄｙをそれぞれ０、ａを１として加算部１３ｂ，１３ｃ、乗算部１３ｄへ供給されるようにするとよい。切捨部１３ｅ，１３ｆ，１３ｇにそれぞれ設定する前記所定値は、各切捨部、またこの遠隔撮影表示システムを利用する形態により異なり、遠方の風景の部分被写体を遠隔撮影表示する場合は比較的大きな値とし、比較的小さい空間の防犯用に利用する場合は比較的小さな値とするなどあるが、例えばｄｘについてみれば最小でも５以下は０とすることが考えられる。
遠隔撮影装置１１へ送信する取得用信号の更新は一般に各フレームの受信ごとに行うと処理が多くなり好ましくなく、また一般に各フレームごとに更新を行っても、受信部分被写体映像の変化は利用者にとってほとんど感じられない。従って遠隔撮影装置１１への取得用信号の送信間隔は適当な間隔で行えばよい。この間隔は例えば交通量の監視のように被写体の状況の変化が比較的速い場合は例えば１／１０秒ごとに、被写体が風景の場合は例えば１／３秒ごとに、場合によったら数秒ごとになどと、システムの利用形態に応じて適当に決められるとよい。このために例えば変化検出手段１２中に更新指示部１２ｄを設け、設定された更新時間間隔で更新指示部１２ｄの指示により受信バッファメモリ１２ａに１フレーム分の周辺映像信号を取り込み、変化検出部１２ｃでの変化情報の検出を更新時間間隔ごとに行うようにする。あるいは受信バッファメモリ１２ａの内容を周辺映像信号の１フレーム分ごとに更新し、変化情報の検出ごとに受信バッファメモリ１２ａの内容を前回フレームメモリ１２ｂに転送してもよい。なお変化検出部１２ｃで検出した変化情報がすべてゼロ、この例ではｄｘ＝ｄｙ＝０、ａ＝１であれば、取得用信号を生成して遠隔撮影装置へ送信する必要はなく、その場合は取得用信号の生成も行う必要はない。また取得用信号の生成、送信は、変化情報中の変化のあった情報のみについて行ってもよい。
遠隔撮影装置２において、信号受信手段２３で受信された取得用信号は図４中に示すように映像取り出し手段２４に入力され、この取得用信号により記憶部２４ａに格納されている前回受信した取得用信号が更新される。映像取り出し手段２４はその記憶部２４ａの更新された取得用信号に基づき全方位カメラ２１が撮影しているパノラマ被写体中の部分被写体の撮影映像信号が取り出される。例えば全方位カメラ２１のイメージセンサデバイス７から、図２に示したように更新前の取得用信号（基準画素位置信号）により画素（ｘ，ｙ）を中心（基準）とする一画面分の領域７１の撮影映像信号が常時取り出されている状態から、更新された取得用信号（基準画素位置信号）により画素（ｘ’，ｙ’）を中心とする一画面分の領域７２の撮影映像信号が常時取り出される状態になる。この図２に示す例では、カメラ付携帯端末３の撮影方向が上下方向及びズーム量は変化せず右方向にのみ回転した場合、つまり変化情報ｄｙ＝０、ａ＝１でｄｘが検出され、取得用信号がｘ，ｙ，ａＰからｘ←ｘ＋ｄｘ、ｙ’，ａ’Ｐ←ａＰとなった場合である。ここで更新された情報ｘ，ｙ，ａＰをその更新前と区別するため対応情報に対しダッシュ「’」を付けて示した。図４ではｄｘ＝Ｄ１である。
この全方位カメラ２から取り出された撮像映像信号は映像送信手段２２により映像取得装置１を中継してカメラ付携帯端末３へ送信される。従ってカメラ付携帯端末３の映像表示手段３２に表示される映像も変化する。つまりパノラマ被写体中の撮影部分被写体が、カメラ付携帯端末３のカメラ操作（方向及び／又はズーム操作）に応じて変化し、その変化した部分被写体の撮影映像信号が映像表示手段２２に再生表示される。
ズーム量ａＰについて述べると、最大ズーム量ａＰＭの時に、映像取り出し手段２４はイメージセンサデバイス７（図２）の各画素の信号をｘ方向に２Ｉ個、ｙ方向に２Ｊ個取り出す。ズーム量ａＰの場合はａＰＭ／ａＰ個おきの画素の信号をｘ方向に２Ｉ個、ｙ方向に２Ｊ個取り出す。このようにしてズーム量ａＰが大きければイメージセンサデバイス７における狭い領域から部分被写体の撮像映像信号を取り出し、ａＰが小さければ広い領域から部分被写体、撮像映像信号を取り出すことになり、カメラ付携帯端末３の映像表示手段３２に表示される映像もズーム量ａＰの変化に応じて拡大・縮小が行われることになる。
映像取得装置１の映像中継手段１５では遠隔撮影装置２から受信した撮影映像信号の画面サイズを映像表示手段３２のそれに合わせる変換、同様に各画素ごとの振幅（輝度）解像度の変換や圧縮符号化などカメラ付携帯端末３の定格や携帯用伝送路５の規格に応じた変化が変換部１５ａ（図４参照）で行ってカメラ付携帯端末３へ送信する。
図４に示したシステムに処理の流れを図６を参照して簡単に説明する。カメラ付携帯端末３から起動アクセスを映像取得装置１へ送信する（Ｆ１）。映像取得装置１は起動アクセス又は取得用信号（初期値）を遠隔撮影装置２へ送信する（Ｆ２）。遠隔撮影装置２は予め決められた又は取得用信号に応じた部分被写体撮影映像信号（以下「撮影映像信号」を「撮影信号」と記述することもある）を取り出し（Ｆ３）、その撮影信号を映像取得装置１へリアルタイムで送信する（Ｆ４）。映像取得装置１は受信した撮影信号をカメラ付携帯端末３へ中継伝送する（Ｆ５）。
カメラ付携帯端末３は受信した撮影信号を再生して部分被写体映像を表示する（Ｆ６）。カメラ付携帯端末３により周辺被写体の撮影操作を行う（Ｆ７）。その撮影した周辺映像信号をリアルタイムで映像取得装置１へ送信する（Ｆ８）。
映像取得装置１は受信した周辺映像信号の映像、変化からカメラ付携帯端末３のカメラ操作の変化を検出し（Ｆ９）、変化があれば、その取得用信号を生成し（Ｆ１０）、その取得用信号を遠隔撮影装置２へ送信する（Ｆ１１）。
遠隔撮影装置２は受信した取得用信号に基づき、取り出す部分被写体撮影信号を変更する（Ｆ１２）。その後は全体の処理は処理Ｆ３の取得用信号に応じた撮影信号を処理以後を繰り返し、カメラ付携帯端末３が終了指令を映像取得装置１へ送信すると（Ｆ１３）、映像取得装置１はこれを遠隔撮影装置２へ中継送信し（Ｆ１４）、遠隔撮影装置２は部分被写体撮影信号の送信を終了する（Ｆ１５）。
映像取得装置１の処理手順の例を図７を参照して説明する。
ステップＳ１：カメラ付携帯端末３から起動アクセスの受信を待ち、
ステップＳ２：起動アクセスを受信すると、起動アクセス又は前回信号メモリ１３ａ内の取得用信号（初期値）を遠隔撮影装置２へ送信する。
ステップＳ３：カメラ操作の指令を受信したかを判定する。
ステップＳ４：操作指令を受信していなければ遠隔撮影装置２から部分被写体撮像信号を受信し、
ステップＳ５：その受信した撮像信号をカメラ付携帯端末３へ中継送信する。
ステップＳ６：ステップＳ３で操作指令を受信していれば、その指令を保持し又はフラグを立て、カメラ付携帯端末３から周辺映像信号を受信する。
ステップＳ７：変化検出タイミングかを調べ、検出タイミングになっていれば、
ステップＳ８：変化検出手段１２で変化検出処理を行い変化情報を求める。
ステップＳ９：求めた変化情報と前回生成された取得用信号とを用いて新たに取得用信号を生成し、これで前回生成された取得用信号を更新する。
ステップＳ１０：新たに生成した取得用信号を遠隔撮影装置２へ送信し、ステップＳ４に移る。
ステップＳ１１：ステップＳ５の後、操作停止指令を受信したかを判断し、受信していなければステップＳ７に戻る。
ステップＳ１２：ステップＳ１１で停止指令を受信していれば前記保持した操作指令を消去し、又は前記フラグを消し、操作再開の指令を受信したかを判断する。
ステップＳ１３：操作再開指令を受信していなければ、終了指示を受信したかを判断し、受信していなければステップＳ４に移る。
ステップＳ７で変化検出タイミングになっていなければステップＳ４に移り、またステップＳ１２で操作再開指令を受信していれば、そのことを保持し、例えばフラグを立てステップＳ６に移る。
このように処理がなされるから、利用者がカメラ付携帯端末３から起動アクセスを映像取得装置１へ送ると、部分被写体撮像信号がカメラ付携帯端末３に再生表示され、利用者がこの部分被写体映像を見て、他の部分被写体映像を見たい、あるいは拡大又は縮小したい場合、カメラ操作指令をカメラ付携帯端末３から映像取得装置１へ送信し、所望のカメラ操作を行い、所望の部分被写体映像が得られたら操作停止指令を送信すれば、その部分被写体映像を、例えばカメラ付携帯端末３と持ち歩きながら見続けることができる。必要に応じて再び見たい部分被写体を変更したい場合を、操作再開指令を出せばよい。
ステップＳ１３で終了指示を受信したら、映像取得装置１は必要に応じて終了指令を遠隔撮影装置１へ送信し（Ｓ１４）、遠隔撮影装置１は終了指令を受信すると、部分被写体撮像信号の送信を終了するようにしてもよい、あるいは最初に部分被写体撮像信号を送信してから所定の時間経過すると、その撮像信号の送信を終了するようにするなどの手法によって終了としてもよい。周辺の映像信号の受信を、図７中に破線で示すように起動アクセスの受信後、操作指令の受信前に行ってもよい。ステップＳ７で変化検出タイミングの検出を行うことにより、例えば設定した所定の時間間隔で変化検出処理を行うようにしたが、ステップＳ７を省略して、変化検出処理を常時行ってもよい。また変化検出処理の後に図７中に破線で示すように受信した周辺映像が前回の受信周辺映像に対し変化があるかを判断し、変化がなければステップＳ４に移り、変化があればステップＳ９に移るようにしてもよい（Ｓ１５）。
【実施例２】
実施例１では遠隔撮影装置１の撮影手段として、全方位カメラを用い、映像取得装置１は遠隔撮影装置に取得用信号を送って部分被写体撮像信号を取り出させて部分被写体撮像信号を取得したが、実施例２では遠隔撮影装置２の撮影手段として全方位カメラを用い、遠隔撮影装置２からその全ての撮影映像信号を映像取得装置１に送信させ、映像取得装置１では受信した撮影映像信号中から部分被写体撮像信号を取得する。
図８にそのシステム構成例を示す。図４と異なる部分についてのみ説明する。遠隔撮影装置２では映像取り出し手段２４が省略され、全方位カメラ２１の全ての撮影映像信号を映像送信手段２２から映像取得装置１に送信する。信号受信手段２３は省略してもよいが、例えば映像取得装置１からの起動アクセスを受信すると、全方位カメラ２１の撮影を開始し、あるいは撮影映像信号の映像取得装置１への送信を開始し終了指令を受信すると、撮影映像信号の映像取得装置１への送信を終了するようにしてもよい。
映像取得装置１には遠隔映像受信手段１６、映像取得手段１７及び映像送信手段１８が設けられ、取得用信号の遠隔撮影装置２への送信は行わない。遠隔撮影装置２から受信した撮影映像信号を遠隔映像受信手段１６で受信し、その受信した撮影映像信号から、取得用信号生成手段１３よりの取得用信号により、部分被写体撮像信号が映像取得手段１７により取り出される。例えば受信撮影映像信号は映像取得手段１７中のバッファメモリ１７ａに格納され、この格納は各画素信号が、例えば図２に示したイメージセンサデバイス７における画素配列と同様な配列になるように行われる。実施例１における遠隔撮影装置２内での映像取り出し手段２４による部分被写体撮像信号の取り出しと同様の手法により、映像取得手段１７において、取得用信号生成手段１３内の前回メモリ１３ａ（図５参照）に格納されている取得用信号、この例では基準画素位置信号ｘ，ｙ，及び拡大・縮小信号ａＰに基づき、バッファメモリ１７ａから部分被写体撮像信号が取り出される。この取り出された部分被写体撮像信号を映像送信手段１８によりカメラ付携帯端末３へ送信する。その際、実施例１と同様に画面サイズ変換、圧縮処理などの変換を変換部１８ａで行って送信してもよい。必要に応じて信号送信手段１４により起動アクセス、終了指令などを遠隔撮影装置２へ送信するようにしてもよい。その他は実施例１と同様である。
この実施例２に用いられる映像取得装置１の処理手順の例を図９に示す。図７に示した手順と同様に、ステップＳ１，Ｓ２，Ｓ３が実行される。ステップＳ３でカメラ操作の指令が受信されていなければ、ステップＳ４で遠隔撮影装置２から撮影映像信号を受信し、次にステップ１６で前回信号メモリ１３ａに格納されている変化情報に基づいて受信した撮影映像信号が部分被写体撮像信号を取得処理し、ステップＳ１７でその取得した部分被写体撮像信号をカメラ付携帯端末３へ送信する。
その取得映像送信後はステップＳ１１に移り、実施例１と同様にカメラ操作の停止指令を受信したかを判断し、図７中のステップＳ１２，Ｓ１３を順次実行し、終了指示を受信していなければ、ステップＳ４に移る。その他は実施例１と同様であり、かつ同様に作用効果が得られる。なお、システムとしての処理の流れは図６に示したものにおいて遠隔撮影装置２はＦ３で全ての撮影映像信号を映像取得装置１へ送信し、Ｆ１２は省略され、映像取得装置１では図９に示した処理を行うことになり、その他は実施例１と同様である。
【実施例３】
実施例３は遠隔撮影装置２の撮影手段として、複数のディジタルビデオカメラを用い、かつ映像取得装置１は遠隔撮影装置２にパノラマ被写体の部分被写体撮像信号を取り出して取得するものである。
実施例３に用いる遠隔撮影装置２とパノラマ被写体６との関係例を図１０に示す。この例では遠隔撮影装置２として８個のディジタルビデオカメラをそれぞれ備えるカメラ装置２１〜２８がその撮影方向が等角度間隔となるように、３６０度に渡って配置される。また各カメラ装置２１〜２８の各視野角θは撮影方向角度間隔、この例では４５度よりわずか大きく、隣接カメラ装置の視野の一部がわずか重なり、パノラマ被写体６の連続した各部分被写体を撮影することができるようにされている。パノラマ被写体６の遠隔撮影装置２からの等距離は円筒面となるが、部分被写体が解り易いようにパノラマ被写体６の下の径を上より小さくしてある。
例えばカメラ装置２１により部分被写体６１を撮像し、これに対し、撮影方向が右へ４５度回転した方向の部分被写体６２をカメラ装置２２で撮影することができる。この遠隔撮影装置２によればこのようにしてパノラマ被写体６をカメラ装置２ｎの個数で等分割した部分被写体のいずれでも撮影することができる。なおカメラ装置の数は８個に限らない。その撮影方向の角度間隔は等間隔でなくてもよく、つまりパノラマ被写体６の一部に見る必要がない部分が含まれ、そのような部分は撮影しないように各カメラ装置の撮影方向が向けられる。
実施例３のシステム構成例を図１１に示す。図４に示した構成と異なる部分についてのみ説明する。遠隔撮影装置２としては複数のカメラ装置２１〜２Ｎが例えば図１０に示したように配置される。各カメラ装置２１〜２Ｎは同様の構成であり、その構成をカメラ装置２１を代表して説明する。図４と同様に映像取り出し手段２４が設けられるが、その構成及び処理（動作）が図４中の映像取り出し手段２４と異なる点がある。つまり映像取得装置１から送信されて受信される取得用信号はカメラ識別情報ＩＤｐと必要に応じてズームパラメータａＰ又は／及び位置パラメータｙである。これに伴って、映像取り出し手段２４にはａＰ，ｙを格納する記憶部２４ａと、そのカメラ装置２１のカメラ識別情報ＩＤ１が記憶されたＩＤ記憶部２４ｂが設けられる。ａＰ，ｙのいずれかが用いられない場合は、記憶部２４ａは省略される。
信号受信手段２３により受信した取得用信号中のカメラ識別情報ＩＤｐがＩＤ記憶部２４ｂに格納されているカメラ識別情報、この例ではＩＤ１と一致すると、カメラ装置２１のカメラ２１が撮影を開始し、映像取り出し処理を行うか、カメラ２１を常時撮影状態にしておき、そのカメラ２１から映像取り出し処理を行う。取得用信号中のａＰ，ｙにより記憶部２４ａ内のａＰ，ｙをそれぞれ更新する。
映像取り出し処理は実施例１の場合とほぼ同様に行うことができるが、ａＰ，ｙを用いない場合はカメラ２１で撮影した映像信号を部分被写体撮像信号としてカメラ２１から取り出し、映像送信手段２２へ入力する。カメラ２１のイメージセンサデバイス７は例えば図１２に示すように、方形状をしており、その横幅は取り出す映像画面の横方向（ｘ方向）における画素数２ＩにａＰの最大値ａＰＭをａＰの最小値ａＳで割った数（ａＰＭ／ａＰＳ）を乗算した画素数２（ａＰＭ／ａＰＳ）Ｉであり、縦幅は、取り出す映像画面の縦方向（ｙ方向）における画素数２Ｊに（ａＰＭ／ａＰＳ）を乗算し、更に最大チルト（仰・俯角）の画素数ΔｙＭを乗算した画素数２（ａＰＭ／ａＰＳ）・ΔｙＭ・Ｊである。逆に云えばデバイス７の横幅の画素数によりａＰの最小値ａＰＳが決まり、デバイス７の縦幅の画素数により前記最小値ａＰＳにより最大チルト（仰・俯角）ΔｙＭが決まる。
例えば記憶部２４ａに記憶されているパラメータがａＰ，ｙであれば、図１２中のデバイス７のｘ方向における２等分線（中心線）上の位置ｙを中心と横幅が２（ａＰＭ／ａＰ）Ｉ、縦幅が２（ａＰＭ／ａＰ）Ｊの領域７１における各画素（（ａＰＭ／ａＰ）ｉ，ｙ＋（ａＰＭ／ａＰ）ｊ）（ｉ＝０，±１，…，±Ｉ，ｊ＝０，±１，…，±Ｊ）の信号が部分被写体撮像信号として取り出され、パラメータがａＰ，ｙ’に更新されると、中心線上のｙ’を中心に横幅２（ａＰＭ／ａＰ’）Ｉ、縦幅２（ａＰＭ／ａＰ’）Ｊの領域７２における各画素（（ａＰＭ／ａＰ’）ｉ，ｙ’＋（ａＰＭ／ａＰ’）ｊ）の信号が部分被写体撮像信号として取り出される。
以上のようにして映像取得装置１から送信された取得用信号に応じて遠隔撮影装置２ではカメラ装置２１〜２Ｎのいずれかから部分被写体撮像信号が取り出され、これが映像伝送手段２２により映像取得装置１へ送信される。各遠隔撮影装置２と映像取得装置１を接続する遠隔用伝送路４は各カメラ装置２１〜２Ｎと映像取得装置１とを図１１に示したように個別の回線で接続してもよいが、図１３に示すように、遠隔撮影装置２と映像取得装置１とを１つの双方向伝送路４で接続してもよい。つまり映像取得装置１よりの取得用信号を信号受信手段２３で受信し、その受信した取得用信号を分配手段２６によりカメラ装置２１〜２Ｎの各映像取り出し手段２４へ供給し、カメラ装置２１〜２Ｎの各カメラ２１からの部分被写体撮像信号（通常はその１つのみが出力されている）を合成手段２７で合成し、その合成した部分被写体撮像信号を映像送信手段２２により映像取得装置１へ送信する。
図１１の説明に戻る。映像取得装置１には各カメラ装置２１〜２Ｎの撮影方向と対応した方向情報がそのカメラ装置の識別情報ＩＤｉと対応してカメラ方向記憶手段１９に格納されている。例えば各隣接カメラ装置間の撮影方向がなす角度が記憶される。図１４中にその例を示す。この図１４ではカメラ装置２Ｎの数Ｎが８の場合であり、カメラ装置２１〜２Ｎの各カメラ識別情報をそれぞれＩＤ１〜ＩＤ８とする。カメラ装置２１と２２との撮影方向の角度間隔Δｘ１（取得映像の画面上の画素数に変換した値であり以下も同様）がＩＤ１・ＩＤ２に対し記憶され、カメラ装置２２と２３との撮影方向の角度間隔Δｘ２がＩＤ２・ＩＤ３に対し記憶され、以下同様に隣接撮影方向の角度間隔が記憶される。
取得用信号生成手段１４は図４中のそれとは構成・処理（動作）が異なる部分がある。図１４中にその機能構成例を示す。この例は変化検出手段１２は例えば図５中に示したような構成手法で変化情報として方向情報ｄｘ，ｄｙ、拡大・縮小情報ａが検出された場合を例としている。前回信号メモリ１３ａに前回のカメラ識別情報ＩＤｐと、ｙ方向位置ｙと、ズーム量ａＰが格納される。この初期値としては例えば識別情報ＩＤｐとして予め決めたカメラ識別情報ＩＤ１，ｙ＝０，ａＰをその最大値と最小値の中間値とする。
ｄｘはカメラ決定部１３ｂに入力される。カメラ決定部１３ｂでの処理を図１５を参照して説明する。ｄｘの符号が正であれば（Ｓ１）、前回カメラ識別情報ＩＤｐのカメラ撮影方向とカメラ識別情報ＩＤｐ＋１のカメラ撮影方向との間の角度Δｘ＋１を、ＩＤｐ・ＩＤｐ＋１をアドレスとしてカメラ方向記憶手段１９から読み出す（Ｓ２）。ｄｘがΔｘ＋１以上かを判定し（Ｓ３）、Δｘ＋１以上であればＩＤｐ＋１を出力し（Ｓ４）、Δｘ＋１以上でなければ、ＩＤｐをそのまま出力する（Ｓ５）。
ステップＳ１でｄｘの符号が正でなければ、ＩＤｐ−１とＩＤｐとのカメラ撮影方向のなす角度Δｘ−１を、ＩＤｐ−１・ＩＤｐをアドレスとして記憶手段１９から読み出し（Ｓ６）、ｄｘの絶対値がΔｘ−１以上かを判定し（Ｓ７）、以上であればＩＤｐ−１出力し（Ｓ８）、Δｘ−１以上でなければＩＤｐをそのまま出力する（Ｓ９）。
隣接カメラ装置の撮影方向角度間隔が狭い場合や、カメラ付携帯端末３の撮影方向を急に比較的大きく変化させる場合は図１５中に破線で示すようにステップＳ４およびＳ８を省略し、ステップＳ３でｄｘがΔｘ＋１以上であれば、更に隣りのカメラ撮影方向角度間隔、つまりＩＤｐ＋１とＩＤｐ＋２とのカメラ撮影方向のなす角度間隔をΔｘ＋２として記憶手段１９から読み出し（Ｓ１０）、ｄｘがΔｘ＋１＋Δｘ＋２以上かを判定し（Ｓ１１）、以上であればＩＤｐ＋２を出力し（Ｓ１２）、Δｘ＋１＋Δｘ＋２以上でなければＩＤｐ＋１を出力する（Ｓ１３）。
またステップＳ７で｜ｄｘ｜がΔｘ−１以上であれば、更に隣りの撮影方向角度間隔、つまりＩＤｐ−２・ＩＤｐ−１をアドレスとして角度間隔Δｘ−２を記憶手段１９から読み出し（Ｓ１４）、｜ｄｘ｜がΔｘ−１＋Δｘ−２以上であるかを判定し（Ｓ１５）、以上であればＩＤｐ−２を出力し（Ｓ１６）、以上でなければＩＤｐ−１を出力する（Ｓ１７）。以下同様にして更に離れているカメラ撮影方向についても判定するようにすることもできる。
更に図１０に示した例のように隣接撮影方向の角度間隔が全て等しい場合はその角度、この例では４５度と対応した画素数Δｘだけを図１４中に破線で示すようにカメラ方向記憶手段１９間に記憶し、図１５中のステップＳ２，Ｓ６を省略し、ステップＳ３でΔｘ≦ｄｘかの判定を行い、ステップＳ７でΔｘ≦｜ｄｘ｜の判定を行えばよい。大きな動きに対しては、図１５中の破線の処理において、ステップＳ４，Ｓ８，Ｓ１０及びＳ１４を省略し、ステップＳ１１で２Δｘ≦ｄｘかの判定を行い、ステップＳ１５で２Δｘ≦｜ｄｘ｜の判定を行えばよい。この場合も同様にして更に離れたカメラ撮影方向についても判定するようにすることもできる。
図１４中取得用信号生成手段１３についての説明に戻る。入力されたｄｙ及びａについては図１３で説明したと同様にｄｙは加算部１３ｃで前回のｙと加算して出力し、ａは乗算部１３ｄで前回のａＰと乗算して出力する。各部１３ｂ，１３ｃ及び１３ｄの出力をそれぞれ信号送信手段１４に出力し、かつ前回信号メモリ１３ａに対する更新処理を同様に行う。また各入力に対し、切捨部１３ｅ，１３ｆ及び１３ｇを設けることもできる。この場合切捨部１３ｅではｄｘが設定値以下ではカメラ決定部１３ｂでの処理を行うことなく現在のＩＤｐ（メモリ１３ａ内のＩＤｐ）を出力する。
カメラ方向記憶手段１９としては例えば図１６に示すように、予め決めた１つのカメラ装置の撮影方向に対する他のカメラ装置の撮影方向の角度を記憶しておいてもよい。図１６の例ではカメラ識別情報ＩＤ４のカメラ装置の撮影方向を基準にして、この基準方向に対する他の７つのカメラ装置の各撮影方向の角度を、取得映像の一画面における画素数として表わしたものを記憶した場合である。この場合は、図１５に示した処理において、例えばステップＳ２でＩＤｐ及びＩＤｐ＋１の各角度を読み出し、ｄｘがその差以上かの判定をする。
利用形態によっては、利用者が最初に見たい部分被写体の方向が予め決っている場合は、各カメラ識別情報と、そのカメラ装置の撮影方向が北方向、北東方向、東方向、…などと東西南北方向と対応付けておく必要がある。これは遠隔撮影装置２を設置する際にいずれのカメラ識別情報のカメラ装置の撮影方向をどの方向にするかを決めておき、そのようになるように設置して、カメラ識別情報とその東西南北方向との対応づけを行ってもよい。しかし遠隔撮影装置１をそのように設置するのには手間がかかる場合がある。そこで、例えば各カメラ装置２１〜２Ｎに図１１中に示すように、カメラ情報測定手段２５をそれぞれ設け、そのカメラ情報測定手段２５の例えば磁気コンパスなどの方位計２５ａによりその撮影方向の真北に対する角度を求め、これよりその東西南北の方向の方位情報を得る。この例では、重力加速度計などによる傾斜計２５ｂも設け、その撮影方向の水平面に対する角度、つまりそのカメラ２１のイメージセンサデバイス７のｙ軸が水平面となす角度（仰・俯角）を取得映像の画面上の画素数で表わした値Δｙを検出する。各カメラ状態測定手段２５により測定した東西南北の方向と傾斜角Δｙｎをそのカメラ装置２ｎ（ｎ＝１，…，Ｎ）のカメラ識別情報ＩＤｎと共に図１１及び図１３中に括弧書で示すように信号送受信手段２３により映像取得装置１へ送信する。映像取得装置１は信号送受信手段１５により各カメラ装置２ｎからのその識別情報ＩＤｎと東西南北の方向と、傾斜角Δｙｎとを受信して、各識別情報ＩＤｎと対応して例えば図１６に示すように、カメラ方向記憶手段１９に格納する。
利用者が映像取得装置１へ起動アクセスをした場合は映像取得装置１では予め決められた東西南北の方向、例えば北方向が撮影方向のカメラ識別情報、図１６に示す例ではＩＤ３と、その仰・俯角Δｙ３を読み出し、これらと必要に応じて拡大・縮小パラメータ（ズーム量）の初期値ａＰを遠隔撮影装置２へ送信する。初期値ａＰはカメラ装置２１〜２Ｎ中の各映像取り出し手段２４の記憶部２４ａに予め格納しておいてもよい。仰・俯角Δｙｎが図１２中の補正部分ｈで加算部１３ｃの出力から差し引かれて信号送信手段１４へ送信される。前回信号メモリ１３中のｙに対する更新は補正部１３ｈによる補正が行われない値により行う。例えば水平方向を基準に部分被写体映像を見たい場合に、カメラ撮影方向が水平面に対し、わずか上に向いている場合、カメラ２１のイメージセンサデバイス７に結像している部分被写体像は、水平方向を見た部分被写体像よりも、撮影方向が上に向いている分、つまりΔｙｎだけ上側にずれている。よって補正部１３ｈによりΔｙｎだけ差し引きされることにより水平方向を基準として部分被写体像が得られる。なおｙの初期値はｙ＝０とされる。
以上述べたように、映像取得装置１からの取得用信号に応じて、いずれかのカメラ装置２ｎから部分被写体映像信号が映像取得装置１に送信され、これを取得することができ、これが実施例１と同様にカメラ付携帯端末３へ中継され送信される。カメラ付携帯端末３についての利用者の操作は実施例１と同様であり、従って実施例１と同様にカメラ付携帯端末３をカメラ操作することにより、パノラマ被写体を直接見て、カメラ操作している場合とよく対応した部分被写体映像を見ることができることは容易に理解されよう。この場合の映像取得装置１の処理手順は図７に示したものと同様である。この場合を起動アクセスを受けると、これを遠隔撮影装置２へ送信し、遠隔撮影装置２は起動アクセスを受信すると、予め決めた１つのカメラ装置２ｎから局部被写体撮像信号を映像取得装置１へ送信するようにしてもよい。
【実施例４】
遠隔撮影装置２として複数のカメラ装置２１〜２Ｎを用いる場合も、実施例２と同様に映像取得装置１において、遠隔撮影装置２から受信した撮影映像信号から部分被写体撮像信号を取得することもできる。この場合が実施例４であり、実施例３との違いを図１７を参照して説明する。
遠隔撮影装置２において、各カメラ装置２１〜２Ｎの映像取り出し手段２４は省略され、各カメラ２１よりの撮像信号が撮像送信手段２２により映像取得装置１へ送信する。その際、各カメラ装置２１〜２ＮのＩＤ記憶部２４ｂに格納されているカメラ識別情報ＩＤｎをそのカメラ２１の撮像信号に付けるなど、映像取得装置１では、受信する撮像信号がいずれのカメラ装置２ｎからのものであるかを区別できるようにする。なお映像取得装置１の遠隔映像受信手段１６における入力端子が各カメラ装置２１〜２Ｎに応じて予め決っていれば、カメラ識別情報ＩＤｎを送信する必要もない。映像送信手段２２はカメラ装置２１〜２Ｎごとに設けてもよいが共通に１つ設けてもよい。また必要に応じてカメラ情報測定手段２５を設けてもよい。
映像取得装置１においては映像中継手段１５が省略され、映像取得手段１７において、カメラ装置２１〜２Ｎの各撮像信号中から、取得用信号生成手段１３よりの取得用信号中のカメラ識別情報ＩＤｐに応じたものを選択部１７ｂにより選択する。つまり受信信号中のカメラ識別情報ＩＤｎがＩＤｐと一致するものを選択する。この選択は映像取得手段１７で行ってもよい。また映像取得手段１７では、図８中のそれと同様のバッファメモリ１７ａを設けるが、このバッファメモリ１７ａには例えば図１２に示したイメージセンサデバイスの画素配列と同様に、選択された撮像信号をその画素信号ごと格納し、図１１中の映像取り出し手段２４及び図１２を参照して説明したと同様に、取得用信号中のａＰ及び／又はｙに応じて部分被写体撮像信号を取得する。
なお取得用信号がＩＤｐのみの場合は、バッファメモリ１７ａを省略することもできる。撮像信号の選択は選択部１７ａの代りに映像受信手段１６内に選択部１６ａを用いて行ってもよく、あるいは、前述したように、受信端子が各カメラ装置２１〜２Ｎごとに予め決っているものはそのＩＤｐと対応する受信端子を選択して受信撮像信号を選択してもよい。
映像取得装置１はカメラ付携帯端末３から起動アクセスを受付けると、予め決めたカメラ識別情報又は予め決めた東西南北の方向の部分被写体撮像信号を取得してカメラ付携帯端末３へ送信する。この実施例４のシステムにおける映像取得装置１の処理手順は図９に示した手順と同様である。よってこの実施例４においても、実施例１〜３と同様作用効果が得られることは容易に理解されよう。
【実施例５】
実施例５は遠隔撮影装置２の撮影手段２１として雲台に搭載したビデオカメラを用いる場合である。図１８にそのシステム構成例を示す。図４と異なる部分について説明する。
遠隔撮影装置２の撮影手段２１として例えば図１９に示すような、雲台２７上にビデオカメラ２８が搭載され、カメラ２８の撮影方向を遠隔地からの制御信号により変更することができ、またそのレンズにより画角、いわゆるズーム量を変更することができるものである。以下、この撮影手段２１を雲台カメラ２１と記述する。映像取り出し手段２４においては、映像取得装置１から取得用信号として、方位信号θ、仰・俯角度信号φ、ズーム信号Ｚが入力される。方位制御部２４ｃにより方位信号θに応じて方位角制御機構２４ｄを制御してカメラ２１の撮影方向の方位角度がθとなるようにする。仰・俯角制御部２４ｅにより仰・俯角信号φに応じて仰・俯角制御機構２４ｆを制御してカメラの撮影方向の仰・俯角がφになるようにする。ズーム制御部２４ｇによりズーム信号Ｚに応じてズーム制御機構２４ｈを制御してカメラ２１のズーム量がＺになるようにする。これら制御部２４ｃ，２４ｅ，２４ｇ及び制御機構２４ｄ，２４ｆ，２４ｈは市販の遠隔制御雲台カメラの雲台２７に設けられているものと同様のものを用いることができる。
このようにしてパノラマ被写体６中から、取得用信号に応じた部分被写体撮像信号がカメラ２１から取り出され、映像取得装置１へ送信される。この遠隔撮影装置２にも、図１１中で説明したカメラ情報測定手段２５を設けてもよい。
映像取得装置１では、取得用信号生成手段１３において、例えは図５中に示した取得用信号生成手段１３を用いて、変化検出手段１２で検出した変化情報に基づき信号ｘ，ｙ，ａＰを生成し、これら信号ｘ，ｙ，ａＰを変換部１３ｊにより、方位信号θ及び仰・俯角信号φの方向信号と、ズーム信号Ｚのズーム変更信号とに変換して遠隔撮影装置２へ送信する。
映像取得装置１から起動アクセスを遠隔撮影装置２へ送ると、遠隔撮影装置２は予め決めて設定されている基準の撮影方向でかつ基準のズーム量で撮影した部分被写体撮像信号を映像取得装置１へ送信する。遠隔撮影装置２にカメラ情報測定手段２５を設け、映像取得装置１が起動アクセスを受けた時に、予め決めた方向、例えば北方向かつ水平方向を撮影方向とした部分被写体撮像信号を得る場合は、初期取得用信号を初期信号生成部１３ｋで生成する。つまり遠隔撮影装置２のカメラ情報測定手段２５で測定した方位角θｉと仰・俯角φｉが記憶部１３ｍ，１３ｎに格納され、これら記憶されたθｉ，φｉと、予め決められた基準方位角及び基準仰・俯角との、方向を含めた差分角度信号を基準計算部１３ｐ及び１３ｑで計算して、これらを初期取得用信号として遠隔撮影装置２へ送信する。つまり雲台カメラ２１の現在の撮影方向に対する差分を取得用信号として送信し、遠隔撮影装置２では、受信した取得用信号に基づき、前記差分だけ雲台カメラ２１の撮影方向を変化させるような制御を行う。ズーム量Ｚについては初期取得用信号は差分がゼロである。このような制御の場合は、変化検出手段１２の検出変化情報に基づく取得用信号も雲台カメラ２１の現在の状態、つまり撮影方向及びズーム量に対する各変化量のみを遠隔撮影装置２へ送信する。従って例えば図１８中に示すように変化検出手段１２より検出した変化情報ｄｘ，ｄｙ，ａは取得用信号生成手段１３の変換部１３ｊへ直接入力され、その各変換出力が取得用生成信号として遠隔撮影装置２へ送信される。遠隔撮影装置２では受信した取得用信号が表わす各変化量だけ、対応する方位制御機構２４ｄ、仰・俯角制御機構２４ｆ、ズーム量制御機構２４ｈをそれぞれ制御することになる。
このように、予め決めた東西南北の方向を基準とする場合に限らず、雲台カメラ２１を設置した初期状態を基準とし、変化検出手段１２で検出した変化情報と対応する変化分を示す取得用信号を生成して遠隔撮影装置２へ送信し、遠隔撮影装置２では受信した取得用信号が示す変化量だけ、現在の雲台カメラ２１の方向又は／及びズーム量に対し、変更するように制御するようにしてもよい。このように変化情報に基づく変化だけを表わす取得用信号を生成して遠隔撮影装置２へ送信することは実施例２及び４についても適用することができる。この場合は例えば実施例１では図５中に示した取得用信号生成手段１３と同様のものを遠隔撮影装置２に設ける。
【実施例６】
実施例６は遠隔撮影装置２を、複数の利用者が利用できるようにした場合である。例えば図２０に示すように映像取得装置１は通信網５０に接続され、複数のカメラ付携帯端末３１，３２，…，３Ｍは、通信網５０を直接接続され、又は他の通信網を介して通信網５０に接続され、映像取得装置１と接続する携帯用伝送路５１，５２，…，５Ｍを構成することができる。映像取得装置１は遠隔撮影装置２と遠隔用伝送路４を通じて接続される。遠隔用伝送路４は専用回線でもよく、通信網５０を介する回線でもよい。
遠隔撮影装置２として実施例２で説明したものと同様構成のものを使用する場合についてまず説明する。この場合の映像取得装置１の機能構成例を図２１に示す。複数のカメラ付携帯端末３と接続可能なように複数回でもＳ個の接続回線を備え、つまり複数の周辺映像受信手段１１１〜１１Ｓが設けられ、受信バッファメモリ１２ａ１〜１２ａＳと、各回線番号ｓ（ｓ＝１，２，…，Ｓ）対応の周辺映像信号を格納するＳ個の領域を備える前回フレームメモリ１２ｂｓと、各回線番号ｓごとにカメラ操作状態か否かを示すフラグを格納するフラグメモリ４２と、各回線番号ｓごとの更新指示部１２ｄＳと、１つ乃至複数の変化検出部１２ｃ（図では１つのみを示している）と、１つ乃至複数の取得用信号生成手段１３（図では１つのみを示している）と、各回線の周辺映像受信手段１１Ｓと対となっている映像送信手段１８Ｓと、遠隔映像手段１６と、１つ乃至複数の映像取得手段１７（図では１つのみを示している）と、制御手段９８とが設けられている。取得用信号生成手段１３中の前回信号メモリ１３ａには各回線番号ｓごとに前回生成した（現に用いている）取得用信号を格納する領域が設けられている。制御手段９３はマイクロプロセッサ又はＣＰＵ（中央処理装置）と映像取得装置１として機能させるために必要なプログラムが格納されたメモリとを備え、そのプログラムを実行することにより各メモリに対する読み出し、書き込みや各部を順次動作させる。図２１中に示した機能構成中には制御手段９３自体で行うものもある。
あるカメラ付携帯端末３が回線番号ｓの周辺映像受信手段１１Ｓと接続し、起動アクセスを行い、部分被写体撮像信号の受信を終了するまで、回線を接続した状態で利用する場合につき説明する。周辺映像受信手段１１Ｓに起動アクセスが受信されると、前回信号メモリ１３ａの回線ｓの領域から取得用信号を読み出し、その取得用信号により、遠隔映像受信手段１７で受信されているパノラマ撮像信号から部分被写体撮像信号を映像取得手段１７で取り出し、これを回線番号ｓの映像送信手段ｓによりカメラ付携帯端末３に送信する。前回信号メモリ１３ａは初期状態において、その全ての領域には予め決めた特定の部分被写体に対する取得用信号、この例ではｘ０，ｙ０，ａＰ０が格納されている。カメラ付携帯端末３では映像取得装置１から映像信号が受信されるとその映像表示手段３２でその受信映像信号を再生表示させる。映像取得手段１７での部分被写体撮像信号の取得操作は実施例２で説明したと同様の手法による。
回線ｓの周辺映像受信手段１１Ｓにカメラ操作指令を受信すると、フラグメモリ９２の回線番号ｓに対しフラグを立て、つまりフラグを“０”から“１”に変更し（初期状態でフラグは“０”とされてある）、更新指示部１２ｄＳのタイマをセットし、その後周辺映像受信手段１１Ｓに受信される周辺映像信号を受信バッファメモリ１２ａＳに格納する。
更新指示部１２ｄＳから更新指示が出力されるごとに、受信バッファメモリ１２ａＳと前回フレームメモリ１２ｂ中の領域ｓ内の両受信周辺映像信号とから、変化検出部１２ｃで変化情報ｄｘ，ｄｙ，ａを検出し、その変化情報に基づき、取得用信号生成手段１３で前回信号メモリ１３ａの領域ｓ内の前回生成した取得用信号に対して処理を行って取得用信号を生成し、この信号で前回信号メモリ１３ａの領域ｓ内の取得用信号を更新すると共に、映像取得手段１７で部分被写体撮像信号を映像送信手段１８Ｓでカメラ付携帯端末３へ送信する。また受信バッファメモリ１２ａＳ内の映像信号を前回フレームメモリ１２ｂの領域ｓに転送する。
周辺映像受信手段１１Ｓにカメラ操作停止指令を受信するとフラグメモリ９２中の回線番号ｓのフラグを“０”に戻し、更新指示部１２ｄＳの動作を中止させる。前回信号メモリ１３ａの領域ｓの取得用信号に基づき、部分被写体撮像信号を取得して映像送信手段１８Ｓにより、リアルタイムで送信することが行われる。周辺映像受信手段１１Ｓに操作再開指令を受信すると、フラグメモリ９２内の回線ｓのフラグを“１”とし、更新指示部１２ｄＳを動作状態とさせ、カメラ操作指令を受信した場合と同様の処理状態にする。周辺映像受信手段１１Ｓに終了指令が受信されると、受信バッファメモリ１２ａＳ、前回フレームメモリ１２ｂの領域ｓ、前回信号メモリ１３ａの領域ｓの各内容を消去し、必要に応じて更新指示部１２ｄＳの動作を停止し、フラグメモリ９２内の回線番号ｓに対するフラグを“０”にする。
高速処理が可能でカメラ付携帯端末３ｍ（ｍ＝１，２，…，Ｍ）が映像取得装置１に対し起動アクセスを送信し、映像取得を終了するまでに映像取得装置１とカメラ付携帯端末３の間で信号の送信、受信ごとに回線の接続を行うようにしてもよい。その場合はカメラ付携帯端末３ｍは信号を送信するごとに端末識別情報Ｉｄｍを付加する。端末識別情報Ｉｄｍとしては例えばカメラ付携帯端末３ｍの電話番号、アドレスなどと必要に応じてカメラ付携帯端末３ｍの機器番号、利用者氏名などが用いられる。端末識別情報Ｉｄｍと回線数の処理番号ｓ（ｓ＝１，２，…，Ｓ）とを対応付ける処理番号メモリ９１を設ける。起動アクセスを受信すると、その端末識別情報Ｉｄｍと空き処理番号ｓ（現在処理に利用していない番号）を対応付けて処理番号メモリ９１に記憶する。その後映像取得装置１はカメラ付携帯端末３ｍから信号を受信するごとにその端末識別情報Ｉｄｍにより処理番号メモリ９１から処理番号ｓを読み出し、その処理番号ｓについて対応する処理をする。つまり端末識別情報Ｉｄｍの指令によりフラグメモリ９１内の処理番号ｓのフラグの制御、更新指示部１２ｄＳに対する動作の制御、周辺映像信号に対し、受信バッファメモリ１２ａＳ、前回フレームメモリ１２ｂ内の領域ｓの各利用、取得用信号生成手段１３及び映像取得手段１７における前回信号メモリ１３ａ内領域ｓの取得用信号を利用し、部分被写体撮像信号の送信は、処理番号メモリ９１内の処理番号ｓに対する端末識別情報Ｉｄｍを読み出し、空いている映像送信手段１８Ｓを用いて、前期読み出した端末識別情報Ｉｄｍのカメラ付携帯端末３ｍに接続して行う。以上のように、この実施例６によれば、複数利用者がカメラ付携帯端末３をそれぞれ独立に同時的に操作して１つの遠隔撮影装置１から、それぞれ所望する部分被写体映像を見ることができる。なお、処理が輻輳した場合に、変化検出部１２ｃ、取得用信号生成手段１３、映像取得手段１７は複数個が同時に利用される。
遠隔撮影装置１として図１０に示したと同様のものを用いる場合にも複数の利用者に同時に１つの遠隔撮影装置１を利用することができる。つまり図２１に示した構成において、遠隔映像受信手段１６、取得用信号生成手段１３、映像取得手段１７を図１４、図１７と同様な構成とし、かつ複数のカメラ付携帯端末３ｍに対し、同時的に処理できるように、その映像取得装置１は、図２１に示したように複数の周辺映像受信手段１１Ｓ、複数の受信フレームメモリ１２ａＳ、複数の更新指示部１２ｄＳ、複数の記憶領域をもつ前回フレームメモリ１２ｂ、複数記憶領域をもつ前回信号メモリ１３ａ、複数の映像送信手段１８Ｓ、フラグメモリ９２、制御手段９３などを設け、前回信号メモリ１３ａ内に括弧書きで示すように、取得用信号中の信号ｘの代りにカメラ識別情報ＩＤｐを用い、全方位カメラを用いる場合と同様に、各カメラ付携帯端末３ｍごとの処理を行うが部分被写体撮像信号の取得は実施例４で説明したように行う。この場合も複数のカメラ装置２１〜２Ｎから同時に受信される複数方向からの各撮影信号を、複数のカメラ付携帯端末３ｍにより同時的にそれぞれ所望する部分被写体映像を見ることができることは容易に理解されよう。
実施例１及び３に示すシステムにおいても、複数のカメラ付携帯端末３ｍによる部分被写体映像の同時的取得を行うようにすることもできる。この場合は図２１中の映像取得手段１７を省略し、映像取得装置１で生成したカメラ付携帯端末３ｍに対する取得用信号を、それが識別できるように、例えば前述した処理番号ｓを付けて遠隔撮影装置２へ送信し遠隔撮影装置２では図４の例の場合は図２０中に破線で示すように、映像取り出し手段２４内に各処理番号ごとに取得用信号を記憶する記憶部２４ａを備え、その受信した処理番号に応じた記憶部２４ａ中の対応取得用信号を更新し、その各記憶部２４ａに格納されている各取得用信号により実施例１で説明したようにそれぞれ部分被写体撮像信号を取り出し、それに処理番号を付けて映像取得装置１へ送信する。映像取得装置１では受信した処理番号に応じたカメラ付携帯端末３ｍに同時に受信した部分被写体撮像信号を中継送信し、映像取得手段１７は省略される。
図１１に示したシステムの場合は、同様に遠隔撮影装置１の映像取り出し手段２４に各処理番号ごとに取得用信号を記憶する記憶部２４ａが設けられ、記憶部２４ａ中の受信した処理番号と対応する取得信号を同時に受信した取得用信号で更新し、記憶部２４ａに格納されている各取得用信号ＩＤｐ，ｘ，ａＰに基づき対応するカメラ装置２ｎから部分被写体撮像信号を取り出し、これにその処理番号を付けて映像取得装置１へ送信すればよい。
変形例
上述したいずれの実施例においても図４、図８、図１８、図２０などに破線で示すように、映像表示手段３２はパーソナルコンピュータなどに用いられる固定の表示器を用いてもよい。ただしいずれの場合も映像取得装置１からカメラ付携帯端末へ送信した部分被写体撮像信号が再生表示されるようにされる。この場合は利用者はこの固定の映像表示手段３２に表示される映像を見ながらカメラ付携帯端末３をカメラ操作することになる。前記例のようにカメラ付携帯端末３に映像表示手段３２が固定されている場合は、歩きながらでも、どこに居ても利用することができ例えば、幼稚園での自分の子供の様子を見たりなど頗る便利である。
パノラマ被写体６は必ずしも３６０度に渡るものでなくてもよく、被写体６を直接見ながら撮影する場合に撮影方向を変更したり、視野角を調整したいような被写体であればよい。更に実施例３の説明で述べたように、パノラマ被写体６は連続するものでなくてもよい。これらは例えば前方１８０度の景色を部分的に所望の個所を撮影したい場合や防犯カメラとして、複数の出入口のみを監視すればよい場合などから容易に理解されよう。
更にいずれの場合も、カメラ付携帯端末３の撮影方向を左右に回転して部分被写体を選択する、前記例では取得用信号としてｘ又はＩＤｐのみ用いる場合のみでもよく、更にカメラ付携帯端末３の撮影方向を上下に回転して又は／及び前後に移動させて部分被写体を選択する、つまり前記例では取得用信号にｙ又は／及びａＰを加えてもよい。更に前述ではカメラ操作のそれぞれについてその大きさも加味した変化情報を検出し、これと対応して取得用信号を補正生成したが、例えば単に方向の変化だけを検出し、その変化の程度（大きさ）を検出することなく、方向の変化があれば、前回取得用信号ｘに対し、所定値ｄｘを加減算するようにしてもよい。
カメラ付携帯端末３で周辺映像を撮影している際に、そのカメラ３３に何らかの関係により、急に強い光が瞬時的に入射して、周辺映像信号が乱されることが考えられる。このように乱れた周辺映像信号に基づき変化情報を検出し、これに基づき取得用信号を生成すると、全く予期しない部分被写体映像が受信表示される。このようなことがないように、前記各実施例における映像取得装置１内の変化検出手段１２に誤検出防止部を設けるとよい。その誤検出防止部の例を実施例１に代表して説明する。図４中に破線で示すように、取得用信号生成手段１３へ送出された変化情報の履歴情報が履歴記憶部１２ｅに記憶される。この履歴情報は、例えば直前の３回分の変化情報が常に格納されるようにされる。例えば図５中に示した検出部１２ｃで変化情報が検出されると、この変化情報が、履歴記憶部１２ｅに格納されている変化情報の変化の連続性から大きく異なるか否かを判定部１２ｆで比較判定する。この判定が大きく異ならなければ、つまり異常でなければ、その変化情報を取得用信号生成手段１３へ出力すると共に、履歴情報記憶部１２ｅに最も新しい情報として記憶し、最も古い情報を除去する。判定部１２ｆが異常と判定すると、その検出した変化情報を阻止部１２ｇで破棄し、次の更新指示を待つか、改めて周辺映像信号を受信して、変化検出処理を行う。
複数の利用者が１つの遠隔撮影装置１を共に同時的に利用する場合は図２０中に示すようにパーソナルコンピュータなどの利用者端末３’によりその映像表示手段の表示面３ａの映像を見ながら操作部３ｂをキーやレバー、マウス、トラックボールなどを操作して遠隔撮影装置１が撮影しているパノラマ被写体６中の取得したい部分被写体を移動又は／及び拡大縮小操作したものを、パノラマ撮影映像信号から取得するようにしてもよい。操作部３ｂは例えば、パーソナルコンピュータにおいて画面上のある表示を移動させるための操作に基づき生じるｘ軸方向の制御信号を前記変化情報中のｄｘとし、ｙ軸方向の制御信号を前記ｄｙとし、画面上のある表示を拡大・縮小するための制御信号を前記変化情報中のａとしてそれぞれ出力し、この変化情報ｄｘを映像取得装置１へ送信する。この場合の映像取得装置１では周辺映像受信手段１１ｓの代わりに単なる信号受信手段１１ｓが用いられ、その受信手段１１ｓで各利用者端末３’から受信した変化情報はその信号受信手段１１ｓの回線番号又は同時に受信した利用者識別情報に基づく処理番号により、前回信号メモリ１３ａ中の前回生成した取得用信号ｘ（又はＩＤｐ），ｙ，ａＰと、その受信変化情報を用いて取得用信号生成手段１３により取得用信号を生成する。その後の処理は実施例６と同様である。ただし、取得用映像信号は対応する利用者端末３’へ送信することになる。
更に複数利用者が遠隔撮影装置２を共通に利用する際に、各利用者ごとの部分被写体撮像信号の取り出しを、実施例１又は実施例３で示したように、遠隔撮影装置２で行うようにすることもできる。その場合は前述と同様にして映像取得装置１では各利用者端末３’ごとの受信した変化情報ｄｘ，ｄｙ，ａに応じて取得用信号を生成するが、その取得用信号はＩＤｐ，ｙ，ａであり、実施例６の説明の終わりの方で述べたように例えば処理番号を付けて取得用信号を遠隔撮影装置２へ送信し、遠隔撮影装置２では同様に処理番号ごとに取得用信号に応じて部分被写体撮像信号を映像取得装置１へ送信する。
利用者端末３’としてパーソナルコンピュータのような固定して用いられるものを例としたが、携帯電話機やＰＤＡなど携帯型の端末でもよいことは明らかであろう。つまり利用者端末は遠隔撮影装置２の撮影パノラマ被写体中の取得部分被写体を指定するために予め決めた基準に対する方向及び／又は伸縮を示す変化情報、例えばｄｘ，ｄｙ，ａを映像取得装置１へ送信するものである。
上述した実施例１〜６で用いた映像取得装置１はコンピュータにより機能させてもよい。つまり各映像取得装置１がそれぞれ備える機能をコンピュータに実行させるためのプログラムをＣＤ−ＲＯＭ、磁気ディスク、半導体メモリなどの記録媒体からコンピュータにインストールし、あるいは通信回線を通じてダウンロードし、そのプログラムを実行させればよい。
【図１】
【図２】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【特許請求の範囲】
【請求項１】
パノラマ被写体を遠隔撮影装置で撮影し、
上記撮影した上記パノラマ被写体の一部分の撮影映像信号を映像取得装置を介して、上記遠隔撮影装置と、異なる位置の映像表示手段に送信し、
上記映像表示手段で、受信した上記撮影映像信号を上記パノラマ被写体の一部分の映像として再生表示し、
上記映像表示手段の表示を見ることができる位置のカメラ付携帯端末によりその周辺を撮影し、その周辺映像信号を上記映像取得装置へ送信し、
上記映像取得装置により、前回の受信周辺映像信号と今回の受信周辺映像信号とから、上記カメラ付携帯端末が撮影した周辺映像の変化情報を求め、
上記変化情報に基づき、上記撮影した周辺映像の変化と対応して、上記パノラマ被写体の一部分に対して変更された上記パノラマ被写体の一部分の撮影映像信号を上記遠隔撮影装置から求め、
その求めた撮影映像信号を上記映像表示手段へ送信する
ことを特徴とする遠隔映像表示方法。
【請求項２】
カメラ付携帯端末からの周辺映像信号を受信する周辺映像受信手段と、
上記周辺映像受信手段で受信した前回の周辺映像信号の映像（以下、前回映像という）に対する今回の周辺映像信号の映像（以下、今回映像という）の変化情報を上記受信した周辺映像信号から検出する変化検出手段と、
上記変化情報から、パノラマ被写体の一部分の撮影映像信号を得るために用いる取得用信号を生成する取得用信号生成手段と、
上記取得用信号を、パノラマ被写体を撮影して撮影映像信号を出力する遠隔撮影装置へ送信する信号送信手段と、
上記遠隔撮影装置からの撮影映像信号を受信して上記カメラ付携帯端末と同位置の映像表示手段へ送信する映像中継手段と
を具備する映像取得装置。
【請求項３】
請求の範囲２記載の装置において、
上記変化検出手段は、上記変化情報として、上記前回映像に対する今回映像の移動方向と対応した方向情報又は／及び上記前回映像の一部に対する今回映像の対応部分の大きさの変化と対応した伸縮情報を検出する手段であり、
上記取得用信号生成手段は上記取得用信号として上記方向情報に応じて前回生成した切り取り基準画素位置信号を補正した切り取り基準画素位置信号又は／及び上記伸縮情報に応じて撮影映像の拡大・縮小信号を生成する手段である。
【請求項４】
請求の範囲２記載の装置において
上記遠隔撮影装置が備える、撮影方向が角度間隔をもつ複数のカメラ装置の各識別情報とその撮影方向と対応する情報とが格納されたカメラ方向記憶手段を備え、
上記変化検出手段は上記変化情報として、上記前回映像に対する今回映像の移動方向と対応した方向情報を検出する手段であり、
上記取得用信号生成手段は上記取得用信号として、前回生成した送信カメラ識別情報信号と、上記方向情報とから上記カメラ方向記憶手段を参照して、撮影方向を決定し、その撮影方向と対応するカメラ識別情報として送信カメラ識別情報信号を生成する手段である。
【請求項５】
請求の範囲２記載の装置において、
上記変化検出手段は上記変化情報として上記前回映像に対する上記今回映像の移動方向と対応した方向情報又は／及び上記前回映像に対する今回映像の大きさの変化と対応した伸縮情報を検出する手段であり、
上記取得用信号生成手段は上記取得用信号として、上記方向情報に応じた撮影方向変更信号又は／及び上記伸縮情報に応じたズーム変更信号を生成する手段である。
【請求項６】
請求の範囲２記載の装置において、
上記周辺受信手段は、複数のカメラ付携帯端末からの各周辺映像信号を受信する手段であり、
上記変化検出手段は、受信した周辺映像信号を送信したカメラ付携帯端末ごとに前回の変化情報検出に用いた周辺映像信号をそれぞれ格納する前回フレームメモリを備え、受信した周辺映像信号と、その送信カメラ付携帯端末と対応する前回フレームメモリ中の周辺映像信号とに基づき、そのカメラ付携帯端末と対応する変化情報を検出する手段であり、
上記取得用信号生成手段は、受信した周辺映像信号を送信したカメラ付形態端末ごとに前回生成した取得用信号を格納する前回信号メモリを備え、上記検出したカメラ付携帯端末と対応する変化情報と、そのカメラ付携帯端末と対応する前回信号メモリ中の前回生成した取得用信号とよりそのカメラ付携帯端末と対応する取得用信号を生成し、その取得用信号により前回信号メモリ中の対応する信号を更新する手段であり、
上記信号送信手段は上記生成した取得用信号とその対応するカメラ付携帯端末を識別する情報を送信する手段であり、
上記映像中継手段は、受信した撮影信号を、これとともに受信したカメラ付携帯端末を識別する情報が示すカメラ付携帯端末の上記映像表示手段へ送信する手段である。
【請求項７】
カメラ付携帯端末からの周辺映像信号を受信する周辺映像受信手段と、
上記周辺映像受信手段で受信した前回の周辺映像信号の映像（以下、前回映像という）に対する今回の周辺映像信号の映像（以下、今回映像という）の変化情報を上記受信した周辺映像信号から検出する変化検出手段と、
上記変化情報と前回生成した取得用信号とよりパノラマ被写体の一部分の撮影映像信号を得るために用いる取得用信号を生成する取得用信号生成手段と、
パノラマ被写体を撮影した遠隔撮影装置より送信された撮影映像信号を受信する遠隔映像受信手段と、
上記受信した撮影映像信号から上記取得用信号に基づき、パノラマ被写体の一部分の映像信号を取得する映像取得手段と、
上記取得した映像信号を上記カメラ付携帯端末と同位置の映像表示手段へ送信する映像送信手段と
を具備する映像取得装置。
【請求項８】
請求の範囲７記載の装置において、
上記遠隔映像受信手段で受信される撮影映像信号はパノラマ映像信号であり、
上記変化検出手段は上記変化情報として、上記前回映像に対する上記今回映像の移動方向と対応した方向情報又は／及び上記前回映像の一部に対する上記今回映像の対応部分の大きさ変化と対応した伸縮情報を検出する手段であり、
上記取得用信号生成手段は上記取得用信号として、上記方向情報に応じて前回生成した切り取り基準画素位置信号を補正した切り取り基準画素位置信号又は／及び上記伸縮情報に応じた映像拡大・縮小信号を生成する手段であり、
上記映像取得手段は、上記パノラマ映像信号から、そのパノラマ映像上の、上記補正した切り取り基準画素位置信号により決まる位置を基準として一画面分の映像信号又は／及び前回生成した切り取り基準画素位置信号又は上記補正した切り取り基準画素位置信号により決まる、上記パノラマ映像信号のパノラマ映像の部分映像を、前回送信した取得映像信号の映像に対し、上記映像拡大・縮小信号により拡大・縮小した一画面分の映像信号を取得する手段である。
【請求項９】
請求の範囲７記載の装置において、
上記遠隔映像受信手段で受信される撮影映像信号は、上記遠方撮影装置が備える、撮影方向が角度間隔をもった複数のカメラ装置からの撮影映像信号であり、
上記複数のカメラ装置の識別情報と、その撮影方向と対応する情報とが格納されたカメラ方向記憶手段を備え、
上記変化検出手段は上記変化情報として、上記前回映像に対する上記今回映像の移動方向と対応した方向情報を検出する手段であり、
上記取得用信号生成手段は上記取得用信号として、前回生成したカメラ識別情報信号と、上記方向情報とから上記カメラ方向記憶手段を参照して撮影方向を決定し、その撮影方向と対応するカメラ識別情報をカメラ識別信号として生成する手段であり、
上記映像取得手段は、複数の撮影映像信号から上記生成されたカメラ識別信号と対応するものを取得する手段である。
【請求項１０】
請求の範囲９記載の装置において、
上記変化検出手段は上記変化情報として、上記検出した方向情報の移動方向と直角方向における上記前回映像に対する上記今回映像の移動方向と対応した第２方向情報又は／及び上記前回映像の一部に対する上記今回映像の対応部分の大きさ変化と対応した伸縮情報を検出する手段を含み、
上記取得用信号生成手段は、上記取得用信号として、前回生成した切り取り基準画素位置信号を上記第２方向情報に応じて補正した切り取り基準画素位置信号又は／及び上記伸縮に応じた映像拡大・縮小信号を生成する手段を含み、
上記映像取得手段は上記取得した撮影映像信号から、その映像上の上記補正した切り取り基準画素位置信号により決る位置を基準として一画面分の映像信号又は／及び前回生成した切り取り基準画素位置信号又は上記補正した切り取り基準画素位置信号により決る、上記取得した撮影映像信号の映像の部分映像を前回送信した取得映像信号の映像に対し、上記映像拡大・縮小信号により拡大・縮小した一画面分の映像信号を取得する手段である。
【請求項１１】
請求の範囲７記載の装置において、
上記周辺映像受信手段は、複数のカメラ付携帯端末からの各周辺映像信号を受信する手段であり、
上記変化検出手段は、受信した周辺映像信号を送信したカメラ付携帯端末ごとに前回の変化情報検出に用いた周辺映像信号をそれぞれ格納する前回フレームメモリを備え、受信した周辺映像信号と、その送信カメラ付携帯端末と対応する前回フレームメモリ中の周辺映像信号とに基づき、そのカメラ付携帯端末と対応する変化情報を検出する手段であり、
上記取得用信号生成手段は、受信した周辺映像信号を送信したカメラ付携帯端末ごとに前回生成した取得用信号を格納する前回信号メモリを備え、上記検出したカメラ付携帯端末と対応する変化情報と、そのカメラ付携帯端末と対応する前回信号メモリ中の前回生成した取得用信号とよりそのカメラ付携帯端末と対応する取得用信号を生成し、その取得用信号により前回信号メモリ中の対応する信号を更新する手段であり、
上記映像取得手段は上記前回信号メモリに格納されている各カメラ付携帯端末と対応する取得用信号ごとに映像信号を取得する手段であり、
上記映像送信手段は、上記カメラ付携帯端末ごとの取得映像信号をそのカメラ付携帯端末と同位置の映像表示手段へ送信する手段である。
【請求項１２】
請求の範囲２又は７記載の装置において、
上記変化情報の履歴を記憶する変化履歴記憶手段と、
上記変化検出手段により検出された変化情報が異常か否かを、上記変化履歴記憶手段に記憶されている履歴情報を参照して判定する判定手段と、
その判定手段が異常と判定すると、その時の検出変化情報の上記取得用信号生成手段への供給を阻止する手段とを備えることを特徴とする。
【請求項１３】
カメラの撮影方向又は／及びレンズによる画角（ズーム量）を変化させる操作（以下、カメラ操作という）指令を受信したか否かを判定する第１ステップと、
第１ステップの判定が受信したのであればカメラ付携帯端末から周辺被写体を撮影した周辺映像信号を受信する第２ステップと、
受信した周辺映像信号から、周辺映像信号の映像が前回のそれに対する変化情報を検出する第３ステップと、
前回の取得用信号及び上記変化情報に基づきパノラマ被写体中の一部（以下、部分被写体という）の撮影映像信号の取得に用いる取得用信号を生成する第４ステップと、
上記生成した取得用信号を上記パノラマ被写体を撮影する遠隔撮影装置へ送信する第５ステップと、
遠隔撮影装置から撮影映像信号を受信する第６ステップと、
受信した撮影映像信号を上記カメラ付携帯端末と同位置の映像表示手段へ送信する第７ステップと、
カメラ操作の停止指令を受信したかを判定する第８ステップと、
を有し、上記第１ステップで操作指令を受信していなければ上記第６ステップに移り、上記第８ステップで停止指令を受信していなければ上記第１ステップに戻ることを特徴とする映像取得装置の処理方法。
【請求項１４】
カメラの撮影方向又は／及びレンズによる画角（ズーム量）を変化させる操作（以下、カメラ操作という）指令を受信したか否かを判定する第１ステップと、
第１ステップの判定が受信したのであればカメラ付携帯端末から周辺被写体を撮影した周辺映像信号を受信する第２ステップと、
受信した周辺映像信号から、周辺映像信号の映像が前回のそれに対する変化情報を検出する第３ステップと、
前回の取得用信号及び上記変化情報に基づきパノラマ被写体中の一部（以下、部分被写体という）の撮影映像信号の取得に用いる取得用信号を生成する第４ステップと、
遠隔撮影装置から撮影映像信号を受信する第５ステップと、
上記受信した撮影映像信号から上記生成した取得用信号に基づきパノラマ被写体の一部の撮影信号を取得する第６ステップと、
上記取得した撮影映像信号を上記カメラ付携帯端末と同位置の映像表示手段へ送信する第７ステップと、
カメラ操作の停止指令を受信したかを判定する第８ステップと、
を有し、上記第１ステップで操作指令を受信していなければ上記第５ステップに移り、上記第８ステップで停止指令を受信していなければ上記第１ステップに戻ることを特徴とする映像取得装置の処理方法。
【請求項１５】
パノラマ被写体を遠隔撮影装置で撮影し、その撮影映像信号を映像取得装置へ送信し、
表示端末からその識別情報と操作情報を映像取得装置へ送信し、
上記映像取得装置は受信した操作情報に基づき、上記受信した撮影映像信号から、上記パノラマ被写体の一部分の映像信号を取得し、
その取得した映像信号を上記受信した識別情報の上記表示端末へ送信し、
上記表示端末は受信した映像信号を表示することを特徴とする遠隔映像表示方法。
【請求項１６】
複数の利用者端末から変化情報信号を受信する信号受信手段と、
受信した変化情報信号を送信した利用者端末を識別する情報（以下利用者端末識別情報という）ごとに前回生成した取得用信号を格納する前回信号メモリを備え、受信した変化情報信号と、その利用者端末識別情報の前回生成した取得用信号とから、パノラマ被写体の一部分（以下、部分被写体という）の撮像信号を得るために用いる取得用信号を生成し、前回信号メモリ中の対応する取得用信号を更新する取得用信号生成手段と、
上記生成した取得用信号とその利用者端末識別情報を、パノラマ被写体を撮影して撮影映像信号を出力する遠隔撮影装置へ送信する信号送信手段と、
上記遠隔撮影装置からの撮像信号と利用者端末識別情報を受信して、その撮像信号をその利用者端末識別情報と対応する利用者端末の映像表示手段へ送信する映像中継手段と
を具備する映像取得装置。
【請求項１７】
請求の範囲１６記載の装置において、
上記変化情報信号は、前回の部分被写体に対する変更したい部分被写体の方向情報信号又は／及び伸縮情報信号であり、
上記取得用信号生成手段は上記取得用信号として上記方向情報信号に応じて前回生成した切り取り基準画素位置信号を補正した切り取り基準画素位置信号又は／及び上記伸縮情報信号に応じて撮影映像の拡大・縮小信号を生成する手段である。
【請求項１８】
請求の範囲１６記載の装置において
上記遠隔撮影装置が備える、撮影方向が角度間隔をもつ複数のカメラ装置の各識別情報とその撮影方向と対応する情報とが格納されたカメラ方向記憶手段を備え、
上記変化情報信号は、前回の部分被写体に対する変更したい部分被写体の第１方向情報信号及び／又は第１方向情報の第２方向情報信号又は／及び伸縮情報信号であり、
上記取得用信号生成手段は上記取得用信号として、前回生成した送信カメラ識別情報信号と、上記第１方向情報信号とから上記カメラ方向記憶手段を参照して、撮影方向を決定し、その撮影方向と対応するカメラ識別情報として送信カメラ識別情報信号を生成し、及び／又は上記第２方向情報信号に応じた前記生成した基準画素位置信号を補正した基準画素位置信号又は／及び上記伸縮情報信号に応じた映像拡大・縮小信号を生成する手段である。
【請求項１９】
複数の利用者端末から変化情報信号を受信する信号受信手段と、
受信した変化情報信号を送信した利用者端末を識別する情報（以下利用者端末識別情報という）ごとに前回生成した取得用信号を格納する前回信号メモリを備え、受信した変化情報信号と、その利用者端末識別情報の前回生成した取得用信号とから、パノラマ被写体の一部分（以下、部分被写体という）の撮像信号を得るために用いる取得用信号を生成し、前回信号メモリ中の対応する取得用信号を更新する取得用信号生成手段と、
上記生成した取得用信号とその利用者端末識別情報を、パノラマ被写体を撮影して撮影映像信号を出力する遠隔撮影装置へ送信する信号送信手段と、
パノラマ被写体を撮影した遠隔撮影装置から送信された撮影映像信号を受信する遠隔映像手段と、
上記受信した撮影映像信号から、上記前回信号メモリに格納されている利用者端末識別情報ごとの取得用信号に基づき、パノラマ被写体の一部分の映像信号を取得する映像取得手段と、
上記取得した映像信号をその利用者端末識別情報の利用者端末へ送信する映像送信手段と
を具備する映像取得装置。
【請求項２０】
請求の範囲１９記載の装置において、
上記遠隔映像受信手段で受信される撮影映像信号はパノラマ映像信号であり、
上記変化情報信号は、前回の部分被写体に対する変更したい部分被写体の方向情報信号又は／及び伸縮情報信号であり、
上記取得用信号生成手段は上記取得用信号として、上記方向情報信号に応じて前回生成した切り取り基準画素位置信号を補正した切り取り基準画素位置信号又は／及び上記伸縮情報信号に応じた映像拡大・縮小信号を生成する手段であり、
上記映像取得手段は、上記パノラマ映像信号から、そのパノラマ映像上の、上記補正した切り取り基準画素位置信号により決まる位置を基準として一画面分の映像信号又は／及び前回生成した切り取り基準画素位置信号又は上記補正した切り取り基準画素位置信号により決まる、上記パノラマ映像信号のパノラマ映像の部分被写体映像を、前回送信した取得映像信号の映像に対し、上記映像拡大・縮小信号により拡大・縮小した一画面分の映像信号を取得する手段である。
【請求項２１】
請求の範囲１９記載の装置において、
上記遠隔映像受信手段で受信される撮影映像信号は、上記遠隔撮影装置が備える、撮影方向が角度間隔をもった複数のカメラ装置からの撮影映像信号であり、
上記複数のカメラ装置の識別情報と、その撮影方向と対応する情報とが格納されたカメラ方向記憶手段を備え、
上記変化情報信号は、前回の部分被写体に対する変更したい部分被写体の第１方向情報信号又は／及び第１方向情報と直角方向における第２方向情報信号又は／及び伸縮情報信号であり、
上記取得用信号生成手段は上記取得用信号として、前回生成したカメラ識別情報信号と、上記第１方向情報信号とから上記カメラ方向記憶手段を参照して撮影方向を決定し、その撮影方向と対応するカメラ識別情報をカメラ識別信号として生成し、又は／及び前回生成した切り取り基準画素位置信号を上記第２方向情報信号に応じて補正した切り取り基準画素位置信号又は／及び上記伸縮信号に応じた映像拡大・縮小信号を生成する手段であり、
上記映像取得手段は、複数の撮影映像信号から上記生成されたカメラ識別信号と対応するものを取得し、又は／及び上記取得した撮影映像信号から、その映像上の上記補正した切り取り基準画素位置信号により決る位置を基準として一画面分の映像信号又は／及び前回生成した切り取り基準画素位置信号又は上記補正した切り取り基準画素位置信号により決る、上記取得した撮影映像信号の映像の部分映像を前回送信した取得映像信号の映像に対し、上記映像拡大・縮小信号により拡大・縮小した一画面分の映像信号を取得する手段である。
【請求項２２】
請求の範囲２，‥‥，１２，１６，‥‥，２１のいずれかに記載の映像取得装置としてコンピュータを機能させるためのプログラム。
【請求項１】
パノラマ被写体を遠隔撮影装置で撮影し、
上記撮影した上記パノラマ被写体の一部分の撮影映像信号を映像取得装置を介して、上記遠隔撮影装置と、異なる位置の映像表示手段に送信し、
上記映像表示手段で、受信した上記撮影映像信号を上記パノラマ被写体の一部分の映像として再生表示し、
上記映像表示手段の表示を見ることができる位置のカメラ付携帯端末によりその周辺を撮影し、その周辺映像信号を上記映像取得装置へ送信し、
上記映像取得装置により、前回の受信周辺映像信号と今回の受信周辺映像信号とから、上記カメラ付携帯端末が撮影した周辺映像の変化情報を求め、
上記変化情報に基づき、上記撮影した周辺映像の変化と対応して、上記パノラマ被写体の一部分に対して変更された上記パノラマ被写体の一部分の撮影映像信号を上記遠隔撮影装置から求め、
その求めた撮影映像信号を上記映像表示手段へ送信する
ことを特徴とする遠隔映像表示方法。
【請求項２】
カメラ付携帯端末からの周辺映像信号を受信する周辺映像受信手段と、
上記周辺映像受信手段で受信した前回の周辺映像信号の映像（以下、前回映像という）に対する今回の周辺映像信号の映像（以下、今回映像という）の変化情報を上記受信した周辺映像信号から検出する変化検出手段と、
上記変化情報から、パノラマ被写体の一部分の撮影映像信号を得るために用いる取得用信号を生成する取得用信号生成手段と、
上記取得用信号を、パノラマ被写体を撮影して撮影映像信号を出力する遠隔撮影装置へ送信する信号送信手段と、
上記遠隔撮影装置からの撮影映像信号を受信して上記カメラ付携帯端末と同位置の映像表示手段へ送信する映像中継手段と
を具備する映像取得装置。
【請求項３】
請求の範囲２記載の装置において、
上記変化検出手段は、上記変化情報として、上記前回映像に対する今回映像の移動方向と対応した方向情報又は／及び上記前回映像の一部に対する今回映像の対応部分の大きさの変化と対応した伸縮情報を検出する手段であり、
上記取得用信号生成手段は上記取得用信号として上記方向情報に応じて前回生成した切り取り基準画素位置信号を補正した切り取り基準画素位置信号又は／及び上記伸縮情報に応じて撮影映像の拡大・縮小信号を生成する手段である。
【請求項４】
請求の範囲２記載の装置において
上記遠隔撮影装置が備える、撮影方向が角度間隔をもつ複数のカメラ装置の各識別情報とその撮影方向と対応する情報とが格納されたカメラ方向記憶手段を備え、
上記変化検出手段は上記変化情報として、上記前回映像に対する今回映像の移動方向と対応した方向情報を検出する手段であり、
上記取得用信号生成手段は上記取得用信号として、前回生成した送信カメラ識別情報信号と、上記方向情報とから上記カメラ方向記憶手段を参照して、撮影方向を決定し、その撮影方向と対応するカメラ識別情報として送信カメラ識別情報信号を生成する手段である。
【請求項５】
請求の範囲２記載の装置において、
上記変化検出手段は上記変化情報として上記前回映像に対する上記今回映像の移動方向と対応した方向情報又は／及び上記前回映像に対する今回映像の大きさの変化と対応した伸縮情報を検出する手段であり、
上記取得用信号生成手段は上記取得用信号として、上記方向情報に応じた撮影方向変更信号又は／及び上記伸縮情報に応じたズーム変更信号を生成する手段である。
【請求項６】
請求の範囲２記載の装置において、
上記周辺受信手段は、複数のカメラ付携帯端末からの各周辺映像信号を受信する手段であり、
上記変化検出手段は、受信した周辺映像信号を送信したカメラ付携帯端末ごとに前回の変化情報検出に用いた周辺映像信号をそれぞれ格納する前回フレームメモリを備え、受信した周辺映像信号と、その送信カメラ付携帯端末と対応する前回フレームメモリ中の周辺映像信号とに基づき、そのカメラ付携帯端末と対応する変化情報を検出する手段であり、
上記取得用信号生成手段は、受信した周辺映像信号を送信したカメラ付形態端末ごとに前回生成した取得用信号を格納する前回信号メモリを備え、上記検出したカメラ付携帯端末と対応する変化情報と、そのカメラ付携帯端末と対応する前回信号メモリ中の前回生成した取得用信号とよりそのカメラ付携帯端末と対応する取得用信号を生成し、その取得用信号により前回信号メモリ中の対応する信号を更新する手段であり、
上記信号送信手段は上記生成した取得用信号とその対応するカメラ付携帯端末を識別する情報を送信する手段であり、
上記映像中継手段は、受信した撮影信号を、これとともに受信したカメラ付携帯端末を識別する情報が示すカメラ付携帯端末の上記映像表示手段へ送信する手段である。
【請求項７】
カメラ付携帯端末からの周辺映像信号を受信する周辺映像受信手段と、
上記周辺映像受信手段で受信した前回の周辺映像信号の映像（以下、前回映像という）に対する今回の周辺映像信号の映像（以下、今回映像という）の変化情報を上記受信した周辺映像信号から検出する変化検出手段と、
上記変化情報と前回生成した取得用信号とよりパノラマ被写体の一部分の撮影映像信号を得るために用いる取得用信号を生成する取得用信号生成手段と、
パノラマ被写体を撮影した遠隔撮影装置より送信された撮影映像信号を受信する遠隔映像受信手段と、
上記受信した撮影映像信号から上記取得用信号に基づき、パノラマ被写体の一部分の映像信号を取得する映像取得手段と、
上記取得した映像信号を上記カメラ付携帯端末と同位置の映像表示手段へ送信する映像送信手段と
を具備する映像取得装置。
【請求項８】
請求の範囲７記載の装置において、
上記遠隔映像受信手段で受信される撮影映像信号はパノラマ映像信号であり、
上記変化検出手段は上記変化情報として、上記前回映像に対する上記今回映像の移動方向と対応した方向情報又は／及び上記前回映像の一部に対する上記今回映像の対応部分の大きさ変化と対応した伸縮情報を検出する手段であり、
上記取得用信号生成手段は上記取得用信号として、上記方向情報に応じて前回生成した切り取り基準画素位置信号を補正した切り取り基準画素位置信号又は／及び上記伸縮情報に応じた映像拡大・縮小信号を生成する手段であり、
上記映像取得手段は、上記パノラマ映像信号から、そのパノラマ映像上の、上記補正した切り取り基準画素位置信号により決まる位置を基準として一画面分の映像信号又は／及び前回生成した切り取り基準画素位置信号又は上記補正した切り取り基準画素位置信号により決まる、上記パノラマ映像信号のパノラマ映像の部分映像を、前回送信した取得映像信号の映像に対し、上記映像拡大・縮小信号により拡大・縮小した一画面分の映像信号を取得する手段である。
【請求項９】
請求の範囲７記載の装置において、
上記遠隔映像受信手段で受信される撮影映像信号は、上記遠方撮影装置が備える、撮影方向が角度間隔をもった複数のカメラ装置からの撮影映像信号であり、
上記複数のカメラ装置の識別情報と、その撮影方向と対応する情報とが格納されたカメラ方向記憶手段を備え、
上記変化検出手段は上記変化情報として、上記前回映像に対する上記今回映像の移動方向と対応した方向情報を検出する手段であり、
上記取得用信号生成手段は上記取得用信号として、前回生成したカメラ識別情報信号と、上記方向情報とから上記カメラ方向記憶手段を参照して撮影方向を決定し、その撮影方向と対応するカメラ識別情報をカメラ識別信号として生成する手段であり、
上記映像取得手段は、複数の撮影映像信号から上記生成されたカメラ識別信号と対応するものを取得する手段である。
【請求項１０】
請求の範囲９記載の装置において、
上記変化検出手段は上記変化情報として、上記検出した方向情報の移動方向と直角方向における上記前回映像に対する上記今回映像の移動方向と対応した第２方向情報又は／及び上記前回映像の一部に対する上記今回映像の対応部分の大きさ変化と対応した伸縮情報を検出する手段を含み、
上記取得用信号生成手段は、上記取得用信号として、前回生成した切り取り基準画素位置信号を上記第２方向情報に応じて補正した切り取り基準画素位置信号又は／及び上記伸縮に応じた映像拡大・縮小信号を生成する手段を含み、
上記映像取得手段は上記取得した撮影映像信号から、その映像上の上記補正した切り取り基準画素位置信号により決る位置を基準として一画面分の映像信号又は／及び前回生成した切り取り基準画素位置信号又は上記補正した切り取り基準画素位置信号により決る、上記取得した撮影映像信号の映像の部分映像を前回送信した取得映像信号の映像に対し、上記映像拡大・縮小信号により拡大・縮小した一画面分の映像信号を取得する手段である。
【請求項１１】
請求の範囲７記載の装置において、
上記周辺映像受信手段は、複数のカメラ付携帯端末からの各周辺映像信号を受信する手段であり、
上記変化検出手段は、受信した周辺映像信号を送信したカメラ付携帯端末ごとに前回の変化情報検出に用いた周辺映像信号をそれぞれ格納する前回フレームメモリを備え、受信した周辺映像信号と、その送信カメラ付携帯端末と対応する前回フレームメモリ中の周辺映像信号とに基づき、そのカメラ付携帯端末と対応する変化情報を検出する手段であり、
上記取得用信号生成手段は、受信した周辺映像信号を送信したカメラ付携帯端末ごとに前回生成した取得用信号を格納する前回信号メモリを備え、上記検出したカメラ付携帯端末と対応する変化情報と、そのカメラ付携帯端末と対応する前回信号メモリ中の前回生成した取得用信号とよりそのカメラ付携帯端末と対応する取得用信号を生成し、その取得用信号により前回信号メモリ中の対応する信号を更新する手段であり、
上記映像取得手段は上記前回信号メモリに格納されている各カメラ付携帯端末と対応する取得用信号ごとに映像信号を取得する手段であり、
上記映像送信手段は、上記カメラ付携帯端末ごとの取得映像信号をそのカメラ付携帯端末と同位置の映像表示手段へ送信する手段である。
【請求項１２】
請求の範囲２又は７記載の装置において、
上記変化情報の履歴を記憶する変化履歴記憶手段と、
上記変化検出手段により検出された変化情報が異常か否かを、上記変化履歴記憶手段に記憶されている履歴情報を参照して判定する判定手段と、
その判定手段が異常と判定すると、その時の検出変化情報の上記取得用信号生成手段への供給を阻止する手段とを備えることを特徴とする。
【請求項１３】
カメラの撮影方向又は／及びレンズによる画角（ズーム量）を変化させる操作（以下、カメラ操作という）指令を受信したか否かを判定する第１ステップと、
第１ステップの判定が受信したのであればカメラ付携帯端末から周辺被写体を撮影した周辺映像信号を受信する第２ステップと、
受信した周辺映像信号から、周辺映像信号の映像が前回のそれに対する変化情報を検出する第３ステップと、
前回の取得用信号及び上記変化情報に基づきパノラマ被写体中の一部（以下、部分被写体という）の撮影映像信号の取得に用いる取得用信号を生成する第４ステップと、
上記生成した取得用信号を上記パノラマ被写体を撮影する遠隔撮影装置へ送信する第５ステップと、
遠隔撮影装置から撮影映像信号を受信する第６ステップと、
受信した撮影映像信号を上記カメラ付携帯端末と同位置の映像表示手段へ送信する第７ステップと、
カメラ操作の停止指令を受信したかを判定する第８ステップと、
を有し、上記第１ステップで操作指令を受信していなければ上記第６ステップに移り、上記第８ステップで停止指令を受信していなければ上記第１ステップに戻ることを特徴とする映像取得装置の処理方法。
【請求項１４】
カメラの撮影方向又は／及びレンズによる画角（ズーム量）を変化させる操作（以下、カメラ操作という）指令を受信したか否かを判定する第１ステップと、
第１ステップの判定が受信したのであればカメラ付携帯端末から周辺被写体を撮影した周辺映像信号を受信する第２ステップと、
受信した周辺映像信号から、周辺映像信号の映像が前回のそれに対する変化情報を検出する第３ステップと、
前回の取得用信号及び上記変化情報に基づきパノラマ被写体中の一部（以下、部分被写体という）の撮影映像信号の取得に用いる取得用信号を生成する第４ステップと、
遠隔撮影装置から撮影映像信号を受信する第５ステップと、
上記受信した撮影映像信号から上記生成した取得用信号に基づきパノラマ被写体の一部の撮影信号を取得する第６ステップと、
上記取得した撮影映像信号を上記カメラ付携帯端末と同位置の映像表示手段へ送信する第７ステップと、
カメラ操作の停止指令を受信したかを判定する第８ステップと、
を有し、上記第１ステップで操作指令を受信していなければ上記第５ステップに移り、上記第８ステップで停止指令を受信していなければ上記第１ステップに戻ることを特徴とする映像取得装置の処理方法。
【請求項１５】
パノラマ被写体を遠隔撮影装置で撮影し、その撮影映像信号を映像取得装置へ送信し、
表示端末からその識別情報と操作情報を映像取得装置へ送信し、
上記映像取得装置は受信した操作情報に基づき、上記受信した撮影映像信号から、上記パノラマ被写体の一部分の映像信号を取得し、
その取得した映像信号を上記受信した識別情報の上記表示端末へ送信し、
上記表示端末は受信した映像信号を表示することを特徴とする遠隔映像表示方法。
【請求項１６】
複数の利用者端末から変化情報信号を受信する信号受信手段と、
受信した変化情報信号を送信した利用者端末を識別する情報（以下利用者端末識別情報という）ごとに前回生成した取得用信号を格納する前回信号メモリを備え、受信した変化情報信号と、その利用者端末識別情報の前回生成した取得用信号とから、パノラマ被写体の一部分（以下、部分被写体という）の撮像信号を得るために用いる取得用信号を生成し、前回信号メモリ中の対応する取得用信号を更新する取得用信号生成手段と、
上記生成した取得用信号とその利用者端末識別情報を、パノラマ被写体を撮影して撮影映像信号を出力する遠隔撮影装置へ送信する信号送信手段と、
上記遠隔撮影装置からの撮像信号と利用者端末識別情報を受信して、その撮像信号をその利用者端末識別情報と対応する利用者端末の映像表示手段へ送信する映像中継手段と
を具備する映像取得装置。
【請求項１７】
請求の範囲１６記載の装置において、
上記変化情報信号は、前回の部分被写体に対する変更したい部分被写体の方向情報信号又は／及び伸縮情報信号であり、
上記取得用信号生成手段は上記取得用信号として上記方向情報信号に応じて前回生成した切り取り基準画素位置信号を補正した切り取り基準画素位置信号又は／及び上記伸縮情報信号に応じて撮影映像の拡大・縮小信号を生成する手段である。
【請求項１８】
請求の範囲１６記載の装置において
上記遠隔撮影装置が備える、撮影方向が角度間隔をもつ複数のカメラ装置の各識別情報とその撮影方向と対応する情報とが格納されたカメラ方向記憶手段を備え、
上記変化情報信号は、前回の部分被写体に対する変更したい部分被写体の第１方向情報信号及び／又は第１方向情報の第２方向情報信号又は／及び伸縮情報信号であり、
上記取得用信号生成手段は上記取得用信号として、前回生成した送信カメラ識別情報信号と、上記第１方向情報信号とから上記カメラ方向記憶手段を参照して、撮影方向を決定し、その撮影方向と対応するカメラ識別情報として送信カメラ識別情報信号を生成し、及び／又は上記第２方向情報信号に応じた前記生成した基準画素位置信号を補正した基準画素位置信号又は／及び上記伸縮情報信号に応じた映像拡大・縮小信号を生成する手段である。
【請求項１９】
複数の利用者端末から変化情報信号を受信する信号受信手段と、
受信した変化情報信号を送信した利用者端末を識別する情報（以下利用者端末識別情報という）ごとに前回生成した取得用信号を格納する前回信号メモリを備え、受信した変化情報信号と、その利用者端末識別情報の前回生成した取得用信号とから、パノラマ被写体の一部分（以下、部分被写体という）の撮像信号を得るために用いる取得用信号を生成し、前回信号メモリ中の対応する取得用信号を更新する取得用信号生成手段と、
上記生成した取得用信号とその利用者端末識別情報を、パノラマ被写体を撮影して撮影映像信号を出力する遠隔撮影装置へ送信する信号送信手段と、
パノラマ被写体を撮影した遠隔撮影装置から送信された撮影映像信号を受信する遠隔映像手段と、
上記受信した撮影映像信号から、上記前回信号メモリに格納されている利用者端末識別情報ごとの取得用信号に基づき、パノラマ被写体の一部分の映像信号を取得する映像取得手段と、
上記取得した映像信号をその利用者端末識別情報の利用者端末へ送信する映像送信手段と
を具備する映像取得装置。
【請求項２０】
請求の範囲１９記載の装置において、
上記遠隔映像受信手段で受信される撮影映像信号はパノラマ映像信号であり、
上記変化情報信号は、前回の部分被写体に対する変更したい部分被写体の方向情報信号又は／及び伸縮情報信号であり、
上記取得用信号生成手段は上記取得用信号として、上記方向情報信号に応じて前回生成した切り取り基準画素位置信号を補正した切り取り基準画素位置信号又は／及び上記伸縮情報信号に応じた映像拡大・縮小信号を生成する手段であり、
上記映像取得手段は、上記パノラマ映像信号から、そのパノラマ映像上の、上記補正した切り取り基準画素位置信号により決まる位置を基準として一画面分の映像信号又は／及び前回生成した切り取り基準画素位置信号又は上記補正した切り取り基準画素位置信号により決まる、上記パノラマ映像信号のパノラマ映像の部分被写体映像を、前回送信した取得映像信号の映像に対し、上記映像拡大・縮小信号により拡大・縮小した一画面分の映像信号を取得する手段である。
【請求項２１】
請求の範囲１９記載の装置において、
上記遠隔映像受信手段で受信される撮影映像信号は、上記遠隔撮影装置が備える、撮影方向が角度間隔をもった複数のカメラ装置からの撮影映像信号であり、
上記複数のカメラ装置の識別情報と、その撮影方向と対応する情報とが格納されたカメラ方向記憶手段を備え、
上記変化情報信号は、前回の部分被写体に対する変更したい部分被写体の第１方向情報信号又は／及び第１方向情報と直角方向における第２方向情報信号又は／及び伸縮情報信号であり、
上記取得用信号生成手段は上記取得用信号として、前回生成したカメラ識別情報信号と、上記第１方向情報信号とから上記カメラ方向記憶手段を参照して撮影方向を決定し、その撮影方向と対応するカメラ識別情報をカメラ識別信号として生成し、又は／及び前回生成した切り取り基準画素位置信号を上記第２方向情報信号に応じて補正した切り取り基準画素位置信号又は／及び上記伸縮信号に応じた映像拡大・縮小信号を生成する手段であり、
上記映像取得手段は、複数の撮影映像信号から上記生成されたカメラ識別信号と対応するものを取得し、又は／及び上記取得した撮影映像信号から、その映像上の上記補正した切り取り基準画素位置信号により決る位置を基準として一画面分の映像信号又は／及び前回生成した切り取り基準画素位置信号又は上記補正した切り取り基準画素位置信号により決る、上記取得した撮影映像信号の映像の部分映像を前回送信した取得映像信号の映像に対し、上記映像拡大・縮小信号により拡大・縮小した一画面分の映像信号を取得する手段である。
【請求項２２】
請求の範囲２，‥‥，１２，１６，‥‥，２１のいずれかに記載の映像取得装置としてコンピュータを機能させるためのプログラム。
【国際公開番号】ＷＯ２００４／０６６６３２
【国際公開日】平成１６年８月５日（２００４．８．５）
【発行日】平成１８年５月１８日（２００６．５．１８）
【国際特許分類】
【出願番号】特願２００５−５０７６７６（Ｐ２００５−５０７６７６）
【国際出願番号】ＰＣＴ／ＪＰ２００４／０００２２３
【国際出願日】平成１６年１月１５日（２００４．１．１５）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【国際公開日】平成１６年８月５日（２００４．８．５）
【発行日】平成１８年５月１８日（２００６．５．１８）
【国際特許分類】
【国際出願番号】ＰＣＴ／ＪＰ２００４／０００２２３
【国際出願日】平成１６年１月１５日（２００４．１．１５）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]