画像処理プログラム、遠隔操作プログラム、画像処理装置及び遠隔操作装置
【課題】 設けられている操作キーの数も少なく、また、表示画面の大きさも小さな携帯電話機を用いて、簡単かつ良好に移動カメラ装置を遠隔移動操作する。
【解決手段】 携帯電話機の数字キーと関連付けた移動マトリクスを、移動カメラ装置の撮像画像に付加して該携帯電話機の表示部に表示する。ユーザは、移動カメラ装置を移動させる際、この表示部を見て、移動カメラ装置を移動させたい場所に表示されている移動マトリクス上の数字を確認し、この数字と同じ数字の数字キーを操作する。コントロールステーションの制御部は、ユーザにより操作された数字キーと、現在、ユーザの携帯電話機の表示部に表示している移動マトリクスとに基づいて、移動カメラ装置の移動方向及び移動量を算出し、この算出結果に基づいて移動カメラ装置を移動制御する。
【解決手段】 携帯電話機の数字キーと関連付けた移動マトリクスを、移動カメラ装置の撮像画像に付加して該携帯電話機の表示部に表示する。ユーザは、移動カメラ装置を移動させる際、この表示部を見て、移動カメラ装置を移動させたい場所に表示されている移動マトリクス上の数字を確認し、この数字と同じ数字の数字キーを操作する。コントロールステーションの制御部は、ユーザにより操作された数字キーと、現在、ユーザの携帯電話機の表示部に表示している移動マトリクスとに基づいて、移動カメラ装置の移動方向及び移動量を算出し、この算出結果に基づいて移動カメラ装置を移動制御する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば携帯電話機，ＰＨＳ電話機（PHS：Personal Handyphone System），ＰＤＡ装置（PDA：Personal Digital Assistant）、ノート型のパーソナルコンピュータ装置等の携帯端末装置を用いて移動カメラ装置の遠隔操作を行う遠隔操作システムに適用して好適な画像処理プログラム、遠隔操作プログラム、画像処理装置及び遠隔操作装置に関する。
【背景技術】
【０００２】
従来、特開２００３−１９５９４１号公報（特許文献１）に、移動体を移動させるサービスを提供する方法として、車両の遠隔操作を行う車両遠隔操作サービスが開示されている。この車両遠隔操作サービスは、遠隔操作する車両に対して八方方向を撮像するカメラ装置と、操作者が操作する自動車のコックピット型の遠隔操作装置とを有している。
【０００３】
遠隔操作装置は、自動車のコックピットを模造した外観形状を有しており、ハンドル，ブレーキ，アクセル，ギヤチェンジレバーの他、モニタ装置が設けられている。
【０００４】
操作者により、これらハンドル，ブレーキ，アクセル等が操作されると、このハンドル，ブレーキ，アクセル等の操作に対応する操作信号は車両側に送信され、該車両側に設けられた制御部が、上記操作信号に基づいて車両の各部を制御する。
【０００５】
一方、車両に設けられた各カメラ装置は、常時、各カメラ装置が設けられた方向の画像を撮像しており、撮像した画像をそれぞれ遠隔操作装置側に送信する。遠隔操作装置側では、ハンドル，ブレーキ，アクセル等の操作状況に応じて、各カメラ装置により撮像された画像を切り替えて上記モニタ装置に表示する。
【０００６】
これにより、操作者は、モニタ装置に表示される画像を見ながら自動車を運転する感覚で、遠隔地にある車両を遠隔遠隔操作することができる。
【０００７】
【特許文献１】特開２００３−１９５９４１号公報（第４頁〜第６頁：図４，図８）
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかし、特許文献１に開示されている車両遠隔操作サービスにおいては、上記自動車のコックピット型の遠隔操作装置等の大掛かりな装置を必要とする問題がある。
【０００９】
ここで、移動カメラ装置等の被遠隔操作装置を遠隔操作する場合、急な場合でも直ぐに操作可能であり、また、外出先からも場所を選ばず操作が可能となること等から、携帯電話機やＰＤＡ装置（PDA：Personal Digital Assistant）等の携帯端末装置を遠隔操作装置として用いることが好ましいのであるが、携帯端末装置は、その携帯性を良くするために筐体自体が小型化されている。
【００１０】
このため、この携帯端末装置を用いる場合には、小さな表示画面を見ながら、限られた数のボタンを操作して被遠隔操作装置の遠隔操作を行う必要がある。このため、遠隔操作装置として携帯端末装置を用いる場合には、被遠隔操作装置の遠隔操作が困難とな問題を生ずる。
【００１１】
本発明は、携帯端末装置を用いながらにして、被遠隔操作装置を良好に遠隔操作可能とする画像処理プログラム、遠隔操作プログラム、画像処理装置及び遠隔操作装置の提供を目的とする。
【課題を解決するための手段】
【００１２】
本発明は、移動カメラ装置の各移動場所で撮像された画像がそれぞれ記憶された記憶手段と、上記記憶手段から、ユーザにより指定された画像、及びこのユーザにより指定された画像の撮像場所に隣接する場所で撮像された画像をそれぞれ読み出す画像読み出し手段と、上記画像読み出し手段により、上記記憶手段から読み出された、上記ユーザにより指定された画像に対して、上記ユーザにより指定された画像の撮像場所に隣接する場所で撮像された画像を、３次元的な位置関係を示すように合成して３次元合成画像を形成する３次元合成画像形成手段とを有する。
【００１３】
このような本発明は、ユーザにより指定された画像の撮像場所、及びこの撮像場所に隣接する撮像場所の各画像を３次元的に合成してユーザの携帯端末装置等に表示することが可能となる。このため、移動カメラ装置の各移動場所で撮像された各画像の３次元的な位置関係をユーザに把握させ易くすることができる。
【００１４】
また、本発明は、移動カメラ装置が現在位置する場所で撮像された画像に対して、該移動カメラ装置の移動位置を示すと共に、携帯端末装置に設けられている各操作キーに対応する符号を付加した符号付加画像を形成する符号付加画像形成手段と、上記携帯端末装置の表示手段に表示された上記符号付加画像に基づいて、ユーザにより操作された、上記移動カメラ装置の所望の移動位置に対応する上記符号に対応する該携帯端末装置の操作キーを検出する操作キー検出手段とを有する。
【００１５】
また、これら各手段に加え、上記操作キー検出手段により検出された、ユーザにより操作された操作キー、及びこの操作キーに対応する上記符号付加画像上の符号に基づいて、該符号付加画像上の上記符号に対応する位置に、上記移動カメラ装置を移動させるための、少なくとも移動方向及び移動距離を検出する移動検出手段と、上記移動検出手段により検出された移動方向に、上記移動距離分、上記移動カメラ装置を移動制御することで、ユーザにより、上記携帯端末装置の操作キーが操作されることで指定された上記符号付加画像上の符号に対応する位置に、上記移動カメラ装置を移動制御する移動制御手段とを有する。
【００１６】
このような本発明は、ユーザの携帯端末装置の表示手段に、移動カメラ装置が現在位置する場所で撮像された画像と共に、移動カメラ装置の次の移動位置を指定するための符号を表示することができる。この符号は、携帯端末装置の操作キーに関連付けされており、ユーザは、上記表示画面に基づいて、所望の移動位置に対応する符号を認識し、この符号に対応する操作キーを操作する。これにより、移動制御手段が、ユーザにより選択された上記符号付加画像上の符号に対応する位置に、移動カメラ装置を移動制御する。
【００１７】
また、本発明は、移動カメラ装置の各移動場所で撮像された画像、及び該各画像を撮像した場所に移動カメラ装置が移動した際における少なくとも移動距離及び移動方向を示す画像に関する情報がそれぞれ記憶された記憶手段と、上記記憶手段に記憶されている各画像を読み出し、これらを一覧化して携帯端末装置の表示手段に表示する画像一覧形成手段とを有する。
【００１８】
また、これら各手段に加え、ユーザにより上記携帯端末装置の操作手段が操作されることで、上記表示手段に一覧化されて表示された画像の中から選択された画像を検出する選択画像検出手段と、上記記憶手段に記憶されている上記画像に関する情報に基づいて、上記ユーザにより選択された画像の撮像時における上記移動カメラ装置の移動軌跡を検出する移動軌跡検出手段と、上記移動軌跡検出手段により検出された上記移動軌跡と、該移動カメラ装置の現在位置とに基づいて、上記ユーザにより選択された画像を撮像した場所までの最短ルートを検出する最短ルート検出手段と、上記最短ルート検出手段により検出された上記最短ルートに沿って、上記現在位置から上記ユーザにより選択された画像が撮像された場所まで、上記移動カメラ装置を移動制御する移動制御手段とを有する。
【００１９】
このような本発明は、記憶手段に記憶されている、移動カメラ装置により過去に撮像された画像の一覧の中から、ユーザにより所望の画像（＝所望の場所）が選択されると、最短ルート検出手段が、移動カメラ装置が現在位置している場所から上記所望の場所までの最短ルートを検出し、移動制御手段が、この最短ルートを通って上記所望の場所まで移動するように移動カメラ装置を移動制御する。これにより、移動カメラ装置を目的の場所まで迅速に移動制御することができる。
【発明の効果】
【００２０】
本発明は、表示画面の大きさや設けられている操作キーの数にも限りがある携帯端末装置を用いながら、良好に移動カメラ装置を遠隔操作することができる。
【発明を実施するための最良の形態】
【００２１】
［遠隔操作システムの構成］
本発明の実施の形態となる遠隔操作システムは、図１に示すようにユーザの自宅等のプライベート領域に設けられたプライベートシステム１と、このプライベートシステム１に接続されたインターネット等のパブリック網２と、このパブリック網２に接続された携帯電話会社のコミュニケーションシステム３と、当該遠隔操作システムの遠隔操作装置となる携帯電話機４とを有している。
【００２２】
プライベートシステム１は、プライベート網５に接続された、コントロールステーション６と、この場合の被遠隔操作装置となる移動カメラ装置７とを有している。後述するが、コントロールステーション６は、携帯電話機４からの操作信号に基づいて移動カメラ装置７を移動制御及び撮像制御し、移動カメラ装置７で撮像された画像をデータベース８に蓄積すると共に、携帯電話機４に送信するようになっている。
【００２３】
コミュニケーションシステム３は、コミュニケーション網９に接続されたモバイルサーバ装置１０と基地局１１とを有しており、携帯電話機４からの操作信号を、パブリック網２を介してプライベート網５上のコントロールステーション６に送信し、コントロールステーション６からの移動カメラ装置７で撮像された画像を、基地局１１を介して携帯電話機４に送信するようになっている。
【００２４】
なお、この例では、プライベートシステム１側に設けられたコントロールステーション６で移動カメラ装置７を移動制御等することとして説明を進めるが、携帯電話機４からの操作信号に対応する遠隔操作信号を形成する装置をコミュニケーションシステム３側に設け、プライベートシステム１側に設けられたサーバ装置が、このコミュニケーションシステム３からの遠隔操作信号を移動カメラ装置７に転送して、該移動カメラ装置７を遠隔操作してもよい（＝移動カメラ装置７の制御主体をプライベートシステム１側に設けたが、これはコミュニケーションシステム３側に設けてもよい。）。
【００２５】
［携帯電話機の構成］
携帯電話機４は、いわゆる回転開閉型の携帯電話機となっており、図２に示すように表示部１３と、回転操作部１４、右キー１５、左キー１６、オンフックキー１８、オフフックキー１９、ユーザセレクトキー２０及びクリアキー２１を備えた上操作部２２が設けられた第１の筐体３１と、数字キー、＊キー、＃キーの操作キー等を備えた下操作部２３が設けられた第２の筐体３２とを有している。
【００２６】
回転操作部１４は、当該回転操作部１４の最外周を形成するように設けられ、時計回り方向及び反時計回り方向に回転操作可能となっている回転操作ダイヤル２４と、回転操作ダイヤル２４の内周に沿って設けられ、少なくとも上下左右方向に押圧操作可能となっている十字キー２５と、当該回転操作部１４の中心軸上に設けられ、押圧操作可能となっている決定キー２６とを有している。
【００２７】
右キー１５は、待ち受け時においては、インターネットへの接続を指定するためのキーとなっているのであるが、移動カメラ装置７の遠隔操作時においては、移動カメラ装置７の呼び出し等の機能が割り当てられるようになっている。同様に、左キー１６は、待ち受け時においては、携帯メールの送受信等を指定するためのメール操作用のキーとなっているのであるが、移動カメラ装置７の遠隔操作時においては、後述する「バーチャルナビゲーション」において所望の画像（＝移動カメラ装置７の移動場所）を指定する等の機能が割り当てられるようになっている。
【００２８】
下操作部２３の数字キー、＊キー及び＃キーは、最上段に１の数字キー、２の数字キー、３の数字キーが順に、当該携帯電話機４の短手方向に沿って設けられ、次段に４の数字キー、５の数字キー、６の数字キーが順に設けられ、さらに次段に７の数字キー、８の数字キー、９の数字キーが順に設けられている。そして、最終段に＊キー、０の数字キー、＃キーが順に設けられている。
【００２９】
これら各数字キーは、移動カメラ装置７を遠隔操作する際に、該移動カメラ装置７の移動場所を指定するためのキーとなる。すなわち、詳細は後述するが、当該実施の形態の遠隔操作システムの場合、携帯電話機４の表示部１３に、現在、移動カメラ装置７が位置している部屋の画像を表示すると共に、１〜９の数字を表示した移動マトリクスを表示する。
【００３０】
この移動マトリクス上に表示された１〜９の数字は、下操作部２３の１〜９の数字キーに対応しており、ユーザは、移動マトリクス上に表示された１の数字の位置に移動カメラ装置７を移動させたい場合は、下操作部２３の１の数字キーを、また、移動マトリクス上に表示された７の数字の位置に移動カメラ装置７を移動させたい場合は、下操作部２３の７の数字キーを押圧操作する。これにより、移動カメラ装置７が、移動マトリクス上に表示された１の数字の位置或いは７の数字の位置に移動制御されるようになっている。
【００３１】
［コントロールステーションの構成］
コントロールステーション６は、図３に示すように移動カメラ装置７との間で通信を行うアンテナ４１及び通信回路４２と、当該コントロールステーション６を図１に示すプライベート網５に接続するためのネットワークインターフェイス４３（ＮＷＩＦ）とを有している。
【００３２】
また、コントロールステーション６は、上記アンテナ４１及び通信回路４２を介して送受信される携帯電話機４の操作信号や当該コントロールステーション６から携帯電話機４に送信する画像等の情報に対して送受信用の情報処理を施す情報処理部４４と、当該コントロールステーション６から携帯電話機４に送信する画像に対して上記移動マトリクスを付加し、また、３次元的な位置関係に対応した複数の部屋の画像を複合して１枚の画像を形成する等の画像処理を行う画像処理部４５とを有している。
【００３３】
また、コントロールステーション６は、移動カメラ装置７で撮像された画像、及び各画像の撮像日時や撮像方向及び移動カメラ装置７の移動軌跡等の画像に関する情報を記憶するデータベース８と、当該遠隔操作システムのコミュニケーションプログラムや画像処理プログラム及び情報処理プログラムを含む遠隔操作プログラム等が記憶されたプログラムメモリ４６と、このプログラムメモリ４６に記憶されている遠隔操作プログラムに基づいて、携帯電話機４及び移動カメラ装置７と通信制御や、移動カメラ装置７の移動制御、情報処理部４４の情報処理、及び画像処理部４５の画像処理等を制御する制御部４７とを有している。
【００３４】
なお、この例では、コントロールステーション６側に遠隔操作プログラムが記憶されており、コントロールステーション６がこの遠隔操作プログラムに基づいて遠隔操作制御を行うこととして説明を進めるが、上記遠隔操作プログラムを携帯電話機４側に設け、携帯電話機４において、移動カメラ装置７で撮像された画像に対する移動マトリクスの付加や、３次元的な位置関係に対応した複数の部屋の画像を複合して１枚の画像を形成する等の画像処理を実行するようにしてもよい。
【００３５】
或いは、上記遠隔操作プログラムをモバイルサーバ装置１０側に設け、このモバイルサーバ装置１０において、移動カメラ装置７で撮像された画像に対する移動マトリクスの付加や、３次元的な位置関係に対応した複数の部屋の画像を複合して１枚の画像を形成する等の画像処理を実行するようにしてもよい。
【００３６】
［移動カメラ装置の遠隔移動操作］
図４のフローチャートに、当該遠隔操作システムにおける移動カメラ装置の遠隔移動操作の流れを示す。この図４のフローチャートは、プログラムメモリ４６に記憶されている遠隔操作プログラムに基づく、ユーザのプライベートシステム１に設けられたコントロールステーション６の動作の流れを示している。
【００３７】
まず、ユーザは、自宅等に設けられている移動カメラ装置７を遠隔操作する場合、携帯電話機４の上操作部２２等を操作して遠隔操作の開始を指定する。この指定がなされると、携帯電話機４の制御部は、遠隔操作の開始信号を形成し、これを図１に示す基地局１１に送信制御する。この遠隔操作の開始信号は、コミュニケーション網９、パブリック網２及びプライベート網５を順に介してコントロールステーション６に供給される。
【００３８】
図４のフローチャートは、図３に示すコントロールステーション６の制御部４７が、ユーザの携帯電話機４からの上記遠隔操作の開始信号の受信を検出することでスタートとなる。このフローチャートがスタートとなると制御部４７は、まず、ステップＳ１において、現在位置での撮像を指示する撮像指示信号を形成し、これを通信回路４２及びアンテナ４１を介して移動カメラ装置７に送信する。
【００３９】
移動カメラ装置７は、非遠隔操作時には、エナジーステーションと呼ばれる充電装置が設けられた場所（部屋）で待機しており、このエナジーステーションで充電を行っている。このエナジーステーションが設けられた場所は、移動カメラ装置７の移動開始基準位置となっている。このため、移動カメラ装置７は、この移動開始基準位置を起点として遠隔移動制御されることとなる。移動カメラ装置７は、撮像指示信号を受信すると、このエナジーステーションに位置している状態で撮像を行い、この撮像した画像をコントロールステーション６に送信する。
【００４０】
次に、制御部４７は、ステップＳ２において、移動カメラ装置７から送信された画像及び画像に関する情報をデータベース８に記憶制御すると共に、ステップＳ３において、移動カメラ装置７から送信された画像を画像処理部４５に供給し、該画像に移動マトリクスを付加する。そして、この移動マトリクスの付加された画像を、ユーザの携帯電話機４に送信するように通信回路４２を通信制御する。ユーザの携帯電話機４の制御部は、この移動カメラ装置７により撮像された画像に上記移動マトリクスが付加された画像を、表示部１３に表示制御する。
【００４１】
図５に、ユーザの携帯電話機４の表示部１３に表示される、移動カメラ装置７により撮像された画像に移動マトリクスが付加された画像の一例を示す。この図５からわかるように移動マトリクスには、１〜９の数字が表示されている。この例の場合、移動カメラ装置７の現在位置（視点）は、この移動マトリクスの「８」の数字のマトリクスの後方側となっており、「１」の数字は、この視点の位置から移動カメラ装置７を斜め左上方向に３マスに相当する距離分（＝３マトリクス分に相当する距離）移動させる場合に選択する数字となっている。
【００４２】
同様に、「２」の数字は、この視点の位置から移動カメラ装置７を３マスに相当する距離分、直進移動させる場合に選択する数字となっており、「３」の数字は、この視点の位置から移動カメラ装置７を斜め右上方向に３マスに相当する距離分、移動させる場合に選択する数字となっている。
【００４３】
同様に、「４」の数字は、この視点の位置から移動カメラ装置７を２マスに相当する距離分、移動させる場合に選択する数字となっており、「５」の数字は、この視点の位置から移動カメラ装置７を２マスに相当する距離分、直進移動させる場合に選択する数字となっており、「６」の数字は、この視点の位置から移動カメラ装置７を２マスに相当する距離分、右斜め方向に移動させる場合に選択する数字となっている。
【００４４】
さらに、「７」の数字は、この視点の位置から移動カメラ装置７を１マスに相当する距離分、移動させる場合に選択する数字となっており、「８」の数字は、この視点の位置から移動カメラ装置７を１マスに相当する距離分、直進移動させる場合に選択する数字となっており、「９」の数字は、この視点の位置から移動カメラ装置７を１マスに相当する距離分、右斜め方向に移動させる場合に選択する数字となっている。
【００４５】
この移動マトリクス上に表示された１〜９の数字は、携帯電話機４の下操作部２３の１〜９の数字キーに対応しており、ユーザは、移動マトリクス上に表示された１の数字の位置に移動カメラ装置７を移動させたい場合は、下操作部２３の１の数字キーを、また、移動マトリクス上に表示された７の数字の位置に移動カメラ装置７を移動させたい場合は、下操作部２３の７の数字キーを押圧操作する。携帯電話機４の制御部は、このユーザにより操作された数字キーを示す操作情報を形成し、これをコントロールステーション６に送信する。
【００４６】
コントロールステーション６の制御部４７は、図４のフローチャートのステップＳ４において、この携帯電話機４からの操作された数字キーを示す操作情報の有無を判別することにより、移動カメラ装置７の移動の指示がなされたか否かを判別する。そして、移動の指示がなされたと判別したタイミングで、処理をステップＳ５に進める。
【００４７】
ステップＳ５では、制御部４７が、ユーザにより操作された数字キーに対応する位置に、移動カメラ装置７を遠隔移動制御する。具体的には、制御部４７は、移動カメラ装置７の最低移動距離を一単位とし、例えば上記視点から前方方向１０単位分の位置に上記「２」の数字のマトリクスを表示し、上記視点から右斜め方向１０単位分の位置に上記「３」の数字のマトリクスを表示し、上記視点から左斜め方向６単位分の位置に上記「４」の数字のマトリクスを表示する等のように、移動カメラ装置７の最低移動距離に基づいて移動マトリクスを形成して表示制御している。
【００４８】
そして、ユーザが上記数字キーを押圧操作することで、移動マトリクス上の数字が指定されると、例えば「２」の数字のマトリクスが指定された場合は、上記視点から前方方向１０単位分の位置に移動カメラ装置７を移動制御し、「４」の数字のマトリクスが指定された場合は、上記視点から左斜め方向６単位分の位置に移動カメラ装置７を移動制御する。これにより、移動カメラ装置７は、現在、ユーザの携帯電話機４の表示部１３に表示されている移動マトリクス上における、ユーザが数字キーを操作することで指定した数字に対応する位置に移動制御されることとなる。
【００４９】
このように移動カメラ装置７を移動制御すると、次に制御部４７は、ステップＳ６において、その移動した位置で撮像を行うように移動カメラ装置７を撮像制御する。これにより、移動カメラ装置７は、その移動後の位置で撮像を行い、この画像をコントロールステーション６に送信する。
【００５０】
コントロールステーション６の制御部４７は、移動カメラ装置７が移動後の位置で撮像を行った画像を受信すると、処理をステップＳ２に戻し、ユーザにより指定された移動マトリクス上の数字と、移動カメラ装置７の最低移動距離に基づいて、今回の移動制御で移動カメラ装置７が移動した「移動距離」及び「移動方向」を検出すると共に、図示しないタイマにより計時されている計時時刻に基づいて「撮像日時」を検出し、これら「移動距離」、「移動方向」及び「撮像日時」を示す各情報を、画像に関する情報とし、上記移動後の位置で撮像された画像に関連付けてデータベース８に記憶制御する。
【００５１】
（画像の蓄積）
制御部４７は、以後、ユーザにより遠隔操作の終了が指示されるまでの間、上述のステップＳ３〜ステップＳ６の処理を繰り返し実行する。これにより、ユーザにより指定された位置への移動カメラ装置７の移動制御、撮像制御及び撮像された画像及び画像に関する情報のデータベース８への記憶制御が繰り返し実行され、データベース８には、各移動位置で撮像された画像及びこの各画像に関する情報が蓄積されていくこととなる。
【００５２】
なお、この例では、移動カメラ装置７がユーザにより移動操作された際にその場所で撮像を行うこととしたが、これは、コントロールステーション６の制御部４７が、家中を徘徊するように移動カメラ装置７を移動制御し、移動時間毎や移動距離毎等に撮像を行うように移動カメラ装置７を撮像制御し、これにより得られた画像を、「撮像位置」、「撮像日時」等の画像に関する情報と共にデータベース８に蓄積するようにしてもよい。これにより、データベース８には、各移動位置で撮像された画像及びこの各画像に関する情報が、自動的に蓄積されていくこととなる。
【００５３】
（現在位置に隣接する位置の同時表示機能）
次に、このようにデータベース８に移動カメラ装置７により撮像された画像が蓄積されることで、移動カメラ装置７の現在位置に隣接する位置の画像を、現在位置の画像と同時に表示することが可能となる。
【００５４】
すなわち、コントロールステーション６の制御部４７は、図４のフローチャートのステップＳ３において、画像に移動マトリクスを付加して携帯電話機４に送信する際に、データベース８を検索することで、移動カメラ装置７の現在位置に隣接する場所で、過去に撮像された画像が存在するか否かを判別する。
【００５５】
すなわち、データベース８に記憶される画像は、「移動カメラ装置７の移動距離」、「移動カメラ装置７の移動方向」及び「撮像日時」を示す各情報と共に記憶されるため、制御部４７では、この「移動カメラ装置７の移動距離」及び「移動カメラ装置７の移動方向」に基づいて、各画像の位置関係を検出することができる。これは、過去に撮像された画像をデータベース８に蓄積することで、データベース８内に、ユーザの自宅の間取り図が仮想的に形成されることを意味している。
【００５６】
このため、コントロールステーション６の制御部４７は、移動カメラ装置７の現在位置で撮像された画像に移動マトリクスを付加する際に、データベース８から、現在位置の右側の位置で撮像された画像（Ｒ画像）、現在位置の左側の位置で撮像された画像（Ｌ画像）、及び現在位置の奥側の位置で撮像された画像（Ｏ画像）をそれぞれ検出し、これら各画像を、現在位置で撮像された画像と共に画像処理部４５に転送する。
【００５７】
そして、制御部４７は画像処理部を制御して、αブレンディング処理等により、上記現在位置で撮像された画像以外の画像であるＲ画像、Ｌ画像及びＯ画像のα値（透明度）を調整することで、Ｒ画像、Ｌ画像及びＯ画像を半透明の画像とすると共に、この半透明の画像としたＲ画像、Ｌ画像及びＯ画像を、上記現在位置で撮像された画像に３次元的に合成し、この３次元合成画像に移動マトリクスを付加してユーザの携帯電話機４に送信する。
【００５８】
図６に、この移動マトリクスが付加された３次元合成画像の一例を示す。この図６からわかるように、Ｒ画像、Ｌ画像及びＯ画像は、現在位置で撮像された画像の視認性を邪魔しないように、半透明の画像として、また、小さな画像として表示される。
【００５９】
このように、現在の撮像位置に隣接する場所の画像を３次元的に合成することにより、ユーザに対して移動カメラ装置７の現在位置と部屋の位置関係を認識させ易くすることができる。ユーザは、このような３次元合成画像を見て、移動カメラ装置７の次の移動場所を決め、該移動カメラ装置７を移動操作することとなる。
【００６０】
（バーチャルナビゲーション機能）
次に、データベース８に移動カメラ装置７により撮像された画像が蓄積されると、移動カメラ装置７を移動操作することなく、このデータベース８に蓄積された画像に基づいて、各部屋（過去に撮像を行った場所）を仮想的に移動することが可能となる（バーチャルナビゲーション機能）。
【００６１】
すなわち、ユーザにより携帯電話機４の上操作部２２等が操作されバーチャルナビゲーションの実行が指定されると、携帯電話機４の制御部は、このバーチャルナビゲーションの実行が指定されたことを示す操作信号をコントロールステーション６に送信する。
【００６２】
コントロールステーション６の制御部４７は、このバーチャルナビゲーションの実行が指定されたことを示す操作信号を受信すると、図７に示すフローチャートをスタートさせ、ステップＳ１１から順に処理を実行する。
【００６３】
具体的には、ステップＳ１１では、このコントロールステーション６の制御部４７が、データベース８に記憶されている各画像の「移動距離」及び「移動方向」を示す各情報に基づいて「撮像位置」を検出し、異なる撮像位置で撮像された各画像を画像処理部４５に転送する。また、制御部４７は、各画像のサムネイル画像を形成するように画像処理部４５を制御すると共に、最新の撮像日時のサムネイル画像から順に並べることで一覧化したサムネイル一覧画像を形成するように画像処理部４５を制御する。そして、制御部４７は、このサムネイル一覧画像をユーザの携帯電話機４に送信するように通信回路４２を通信制御する。
【００６４】
ユーザの携帯電話機４の制御部は、このサムネイル一覧画像を受信すると、これを表示部１３に表示制御する。これにより、ユーザの携帯電話機４の表示部１３に、各場所で撮像された画像のサムネイルが一覧的に表示されることとなる。ユーザは、携帯電話機４の上操作部２２等を操作することで、このサムネイル一覧画像から、所望の画像（＝所望の場所）を選択する。携帯電話機４の制御部は、この選択操作がなされると、ユーザにより選択されたサムネイル画像を示す情報をコントロールステーション６側に送信する。
【００６５】
図７のフローチャートのステップＳ１２では、コントロールステーション６の制御部４７が、上記携帯電話機４から送信される上記選択されたサムネイル画像を示す情報を受信したか否かを判別することで、ユーザにより所望の画像（＝所望の場所）の選択操作がなされたか否かを判別する。そして、上記選択されたサムネイル画像を示す情報を受信していない場合は、該情報の受信待ち状態となり、上記選択されたサムネイル画像を示す情報を受信したタイミングで、ユーザにより所望の画像が選択操作されたものと判別し、処理をステップＳ１３に進める。
【００６６】
ステップＳ１３では、制御部４７が、ユーザにより選択された画像をデータベース８から読み出して画像処理部４５に転送すると共に、このユーザにより選択された画像の撮像位置の右側の位置で撮像された画像（Ｒ画像）、ユーザにより選択された画像の撮像位置の左側の位置で撮像された画像（Ｌ画像）、及びユーザにより選択された画像の撮像位置の奥側の位置で撮像された画像（Ｏ画像）をデータベース８から読み出して画像処理部４５に転送する。
【００６７】
そして、制御部４７は、これら各画像に基づいて、前述の３次元合成画像を形成するように画像処理部４５を制御すると共に、この画像処理部４５で形成された３次元合成画像をユーザの携帯電話機４に送信するように通信回路４２を制御する。これにより、ユーザの携帯電話機４の表示部１３に、ユーザが選択した画像、及び上記Ｒ画像，Ｌ画像，Ｏ画像を３次元的に合成された３次元合成画像が表示されることとなる。
【００６８】
図８に、このバーチャルナビゲーション機能の実行時にユーザの携帯電話機４の表示部１３に表示される３次元合成画像の一例を示す。この図８からわかるように、３次元合成画像としては、ユーザにより選択された画像と共に、このユーザにより選択された画像の右側に上記Ｒ画像が半透明かつ小さく表示され、ユーザにより選択された画像の左側に上記Ｌ画像が半透明かつ小さく表示され、ユーザにより選択された画像の奥側に上記Ｏ画像が半透明かつ小さく表示される。ユーザは、この３次元合成画像を見ることにより、自分で選択した部屋の様子と共に、この選択した部屋に隣接する部屋の様子を同時に確認することができる。
【００６９】
なお、このバーチャルナビゲーション機能の実行時には、移動カメラ装置７の移動操作を行われないため、携帯電話機４の表示部１３には、移動マトリクスの表示は行われないようになっている。
【００７０】
次に、携帯電話機４の制御部は、上記３次元合成画像を表示した際、いずれかの画像の画枠を形成するかたちでカーソルＣＲを表示制御する。図８は、Ｌ画像にカーソルＣＲが表示されている例である。また、携帯電話機４の制御部は、ユーザにより選択された画像の表示領域の左下領域に「画像選択」の文字を、また、ユーザにより選択された画像の表示領域の右下領域に「カメラ呼出」の文字をそれぞれ表示制御する。
【００７１】
これら各文字は、上操作部２２の左キー１６を押圧操作することで、現在、カーソルＣＲが位置している画像が選択されることを意味し（＝「画像選択」）、また、上操作部２２の右キー１５を押圧操作することで、ユーザにより選択された画像が撮像された場所まで移動カメラ装置７が移動されることを意味している（＝「カメラ呼出」）。
【００７２】
カーソルＣＲは、回転操作部１４の十字キー２５を操作することで移動可能となっており、携帯電話機４の制御部は、十字キー２５の操作に対応して、カーソルＣＲを、例えばＬ画像→メイン画像（現在、大きく表示されている画像）→Ｒ画像→Ｏ画像→Ｌ画像・・・の順に移動表示制御する。ユーザは、現在、表示されている場所に隣接する場所の画像を見たい場合、十字キー２５を操作してＬ画像，Ｒ画像，Ｏ画像のうち、所望の画像にカーソルＣＲを移動操作し、左キー１６を押圧操作する。携帯電話機４の制御部は、この左キー１６の押圧操作を検出すると、カーソルＣＲで選択されている画像を示す情報をコントロールステーション６側に送信する。
【００７３】
図７のフローチャートのステップＳ１４では、制御部４７が、この携帯電話機４から送信される上記カーソルＣＲで選択されている画像を示す情報の受信の有無を判別することで、ユーザにより画像の選択操作がなされたか否かを判別しており、ユーザにより画像の選択操作がなされたものと判別した場合は、処理をステップＳ１３に戻す。
【００７４】
そして、制御部４７は、前述のようにユーザにより選択された画像をデータベース８から読み出して画像処理部４５に転送すると共に、このユーザにより選択された画像に対するＲ画像、Ｌ画像及びＯ画像をデータベース８から読み出して画像処理部４５に転送し、３次元合成画像を形成するように画像処理部４５を制御すると共に、この画像処理部４５で形成された３次元合成画像をユーザの携帯電話機４に送信するように通信回路４２を制御する。これにより、ユーザの携帯電話機４の表示部１３に、ユーザがカーソルＣＲを移動操作することで選択した画像、及び上記Ｒ画像，Ｌ画像，Ｏ画像が３次元的に合成された３次元合成画像が表示されることとなる。
【００７５】
このようにユーザにより選択された画像及びこのユーザにより選択された画像に対応するＲ画像，Ｌ画像，Ｏ画像をデータベース８から読み出してユーザの携帯電話機４の表示部１３に表示することにより、データベース８に蓄積された画像に基づいて、各部屋（過去に撮像を行った場所）を仮想的に移動するバーチャルナビゲーション機能を実現することができる。
【００７６】
次に、このようなバーチャルナビゲーション機能の実行時に表示される各画像は、過去に撮像された画像であるが、その場所の現在の様子を確認したい場合がある。この場合、ユーザは、カーソルＣＲを移動操作して、上記Ｌ画像，メイン画像，Ｒ画像及びＯ画像のうち、所望の画像を選択すると共に、右キー１５を押圧操作する。前述のように、この場合における右キー１５の押圧操作は、ユーザにより選択された画像が撮像された場所まで移動カメラ装置７を移動操作することを意味している（＝「カメラ呼出」）。このため、携帯電話機４の制御部は、右キー１５を押圧操作されると、カーソルＣＲで選択された画像を示す情報、及び移動カメラ装置７の呼出操作がなされたことを示す情報を、コントロールステーション６側に送信する。
【００７７】
コントロールステーション６の制御部４７は、図７のフローチャートのステップＳ１５において、これら各情報の受信の有無を判別することにより、移動カメラ装置７の呼出操作がなされたか否かを判別しており、移動カメラ装置７の呼出操作がなされたと判別したタイミングで処理をステップＳ１６に進める。
【００７８】
（移動軌跡の解析による最短移動ルートの算出動作）
ステップＳ１６では、制御部４７が、移動カメラ装置７を、現在位置から、ユーザにより選択された画像に対応する位置まで移動させる際の最短移動ルートを検出する。具体的には、制御部４７は、ユーザにより選択された画像に対応する移動カメラ装置７の「移動距離」，「移動方向」を示す情報、及びこのユーザにより選択された画像の撮像位置に隣接する位置で撮像された画像に対応する移動カメラ装置７の「移動距離」，「移動方向」等を検出することで、過去に、ユーザにより選択された画像の撮像位置まで移動カメラ装置７が移動された「移動軌跡」を検出する。そして、この「移動軌跡」に基づいて、移動カメラ装置７を、現在位置から、ユーザにより選択された画像に対応する位置まで移動させる際の最短移動ルートを検出する。
【００７９】
次に制御部４７は、ステップＳ１７において、この検出した最短移動ルートに沿って移動カメラ装置７を移動制御する。これにより、家中のどの場所からでも、最短ルートを通って、ユーザにより選択された画像に対応する位置に到達するように、移動カメラ装置７を移動制御することができる。
【００８０】
次に制御部４７は、ユーザにより選択された画像に対応する位置まで移動カメラ装置７を移動制御すると、ステップＳ１８において、この移動位置で撮像を行うように移動カメラ装置７を撮像制御する。そして、この撮像が行われると、図４のフローチャートのステップＳ２へ処理を移行し、前述のように撮像された画像等をデータベース８に保存すると共に、この画像に移動マトリクスを付加してユーザの携帯電話機４に送信する。これにより、バーチャルナビゲーションでユーザにより選択された場所の、現在の様子を示す画像を携帯電話機４の表示部１３に表示することができる。ユーザは、この画像を見て、自分で選択した場所の現状を認識することとなる。
【００８１】
（過去画像とのリアルタイムマッチング処理）
ここで、コントロールステーション６の制御部４７は、移動カメラ装置７を移動制御する際、この移動中も連続的或いは断続的に撮像を行うように、該移動カメラ装置７を撮像制御する。また、制御部４７は、略々リアルタイムで連続的に得られる撮像画像を画像処置部４５に転送すると共に、このように連続的に得られる撮像画像の各撮像位置において過去に撮像された画像をデータベース８から読み出し、これらを順次、画像処置部４５に転送する。そして、同じ撮像位置同士の、上記リアルタイムで得られる画像と、データベース８に記憶されている過去画像とをリアルタイムで画像マッチング処理するように画像処置部４５を制御し、この画像マッチング結果に基づいて移動カメラ装置７の移動制御の調整を行う。
【００８２】
具体的には、上記マッチング処理を行った結果、現在の撮像画像とデータベース８に記憶されている過去画像との間に、ズレが検出された場合、この各画像のズレ量に対応して、移動カメラ装置７の移動距離を調整制御する。これにより、床の滑り等により、移動カメラ装置７の移動に移動誤差が生じた場合でも、これを是正して、ユーザが指定した目的の場所まで正確に移動カメラ装置を移動制御することができる。
【００８３】
（障害物の対処）
次に、障害物等により移動カメラ装置７の移動が阻害されている場合、移動制御をしているにもかかわらず、移動位置が更新されないこととなる。このため、制御部４７は、移動制御中に所定時間以上、移動位置が更新されない場合は、移動カメラ装置７の移動が障害等により阻害されているものと判断し、その場で撮像を行うように移動カメラ装置７を撮像制御する。そして、この移動カメラ装置７で撮像された画像をユーザの携帯電話機４に送信する。なお、この画像と共に、例えば「移動カメラが移動できません」等のメッセージを送信してもよい。
【００８４】
これにより、ユーザの携帯電話機４の表示部１３に、移動カメラ装置７の移動が阻害されている場所の画像（及び上記メッセージ）が表示されることとなる。ユーザは、この画像を見て、移動カメラ装置７の移動が阻害されている理由を判別し、障害物を回避する方向に移動カメラ装置７を移動させるべく、上操作部２２等を操作して新たな移動指示を出すこととなる。これにより、移動カメラ装置７の移動が障害物等により阻害されている場合でも、これを回避して移動カメラ装置７の移動制御を継続することができる。
【００８５】
［実施の形態の効果］
以上の説明から明らかなように、この実施の形態の遠隔操作システムは、携帯電話機４の数字キーと関連付けた移動マトリクスを、移動カメラ装置７の撮像画像に付加して該携帯電話機４の表示部１３に表示する。ユーザは、移動カメラ装置７を移動させる際、この表示部１３を見て、移動カメラ装置７を移動させたい場所に表示されている移動マトリクス上の数字を確認し、この数字と同じ数字の数字キーを操作する。コントロールステーション６の制御部４７は、ユーザにより操作された数字キーと、現在、ユーザの携帯電話機４の表示部１３に表示している移動マトリクスとに基づいて、移動カメラ装置７の移動方向及び移動量を算出し、この算出結果に基づいて移動カメラ装置７を移動制御する。
【００８６】
また、移動カメラ装置７により撮像された画像を表示する際、このメイン画像と共に、メイン画像の撮像位置に隣接する位置で撮像された画像（上述のＲ画像，Ｌ画像及びＯ画像）とを３次元合成してユーザの携帯電話機４に表示する。
【００８７】
さらに、メイン画像の撮像位置に隣接する位置で撮像された各画像は、メイン画像の視認性を妨げないように半透明かつ小さく表示する。
【００８８】
これにより、設けられている操作キーの数も少なく、また、表示画面の大きさも小さな携帯電話機を用いて、簡単かつ良好に移動カメラ装置７を移動制御することができる。
【００８９】
なお、この例では、移動マトリクスの各マトリクスと、携帯電話機４の下操作部２３の数字キーとを関連付けすることとしたが、移動マトリクスの各マトリクスを、他のキーや回転操作部１４の回転数や回転位置等に関連付けて移動カメラ装置７を移動操作するようにしてもよい。
【００９０】
また、この実施の形態の遠隔操作システムは、移動カメラ装置７で撮像された各位置の画像をそれぞれコントロールステーション６のデータベース８に蓄積し、これら各画像をサムネイル化してユーザの携帯電話機４に表示し、ユーザにより所望の位置の画像が選択される毎に、このユーザにより選択されたメイン画像及びこのメイン画像の撮像位置に隣接する位置で撮像された画像（上述のＲ画像，Ｌ画像及びＯ画像）とを３次元合成してユーザの携帯電話機４に表示する。これにより、ユーザは、移動カメラ装置７を実際に移動操作することなく、各撮像位置を仮想的に移動して、各場所の様子等を確認することができる。
【００９１】
また、この実施の形態の遠隔操作システムは、コントロールステーション６の制御部４７が移動カメラ装置７を移動制御する際、この移動中に移動カメラ装置７で撮像された画像（現在画像）と、この画像の各撮像位置において過去に撮像された画像（過去画像）をデータベース８から読み出し、両者を比較（画像マッチング処理）し、同じ撮像位置で撮像された現在画像と過去画像との間にズレが生じていた場合に、このズレを是正するように移動カメラ装置７の移動制御を調整する。
【００９２】
これにより、床の滑り等により、移動カメラ装置７の移動に移動誤差が生じた場合でも、これを是正して、ユーザが指定した目的の場所まで正確に移動カメラ装置を移動制御することができる。
【００９３】
また、この実施の形態の遠隔操作システムは、移動カメラ装置７の移動制御中に所定時間以上、移動位置が更新されない場合、移動カメラ装置７の移動が障害等により阻害されているものと判断し、その場で撮像を行うように移動カメラ装置７を撮像制御し、この撮像画像をユーザの携帯電話機４に送信する。これにより、移動カメラ装置７の移動操作が阻害されている原因を、上記送信した画像に基づいてユーザが判断することができる。この場合、ユーザは、障害物を回避する方向に移動カメラ装置７を移動操作することとなる。
【００９４】
なお、上述の実施の形態の説明では、移動カメラ装置７を携帯電話機４で移動操作することとしたが、この他、ＰＨＳ電話機（PHS：Personal Handyphone System），ＰＤＡ装置（PDA：Personal Digital Assistant）、ノート型のパーソナルコンピュータ装置等の携帯端末装置を用いて移動カメラ装置７を移動操作してもよい。この場合でも、携帯電話機４を用いる場合と同様に良好に移動カメラ装置７を移動操作することができる。
【００９５】
最後に、上述の実施の形態は、あくまでも本発明の一例として開示したに過ぎない。このため、本発明は、上述の実施の形態以外であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論であることを付け加えておく。
【図面の簡単な説明】
【００９６】
【図１】本発明を適用した実施の形態の遠隔操作システムのブロック図である。
【図２】実施の形態の携帯電話機の遠隔操作システムに用いられる携帯電話機の外観を示す図である。
【図３】実施の形態の遠隔操作システムの移動カメラ装置を移動制御するコントロールステーションのブロック図である。
【図４】実施の形態の遠隔操作システムにおける移動カメラ装置の移動制御の流れを示すフローチャートである。
【図５】実施の形態の遠隔操作システムにおいて、ユーザの携帯電話機に、移動カメラ装置で撮像された画像と共に表示される移動マトリクスを示す図である。
【図６】実施の形態の遠隔操作システムにおいて、ユーザの携帯電話機に表示される３次元合成画像を示す図である。
【図７】実施の形態の遠隔操作システムにおけるバーチャルナビゲーション実行時におけるコントロールステーションの動作を示すフローチャートである。
【図８】バーチャルナビゲーション実行時にユーザの携帯電話機に表示される画像の一例を示す図である。
【符号の説明】
【００９７】
１ プライベートシステム、２ パブリック網、３ コミュニケーションシステム、４ 携帯電話機、５ プライベート網、６ コントロールステーション、７ 移動カメラ装置、８ コントロールステーションのデータベース、９ コミュニケーション網、１０ モバイルサーバ装置、１１ 基地局、１３ 携帯電話機の表示部、１４ 携帯電話機の回転操作部、１５ 携帯電話機の右キー、１６ 携帯電話機の左キー、２２ 携帯電話機の上操作部、２３ 携帯電話機４の下操作部、４１ コントロールステーションのアンテナ、４２ コントロールステーションの通信回路、４３ コントロールステーションのネットワークインターフェイス、４４ コントロールステーションの情報処理部、４５ コントロールステーションの画像処理部、４６ 遠隔操作プログラムが記憶されているコントロールステーションのプログラムメモリ
【技術分野】
【０００１】
本発明は、例えば携帯電話機，ＰＨＳ電話機（PHS：Personal Handyphone System），ＰＤＡ装置（PDA：Personal Digital Assistant）、ノート型のパーソナルコンピュータ装置等の携帯端末装置を用いて移動カメラ装置の遠隔操作を行う遠隔操作システムに適用して好適な画像処理プログラム、遠隔操作プログラム、画像処理装置及び遠隔操作装置に関する。
【背景技術】
【０００２】
従来、特開２００３−１９５９４１号公報（特許文献１）に、移動体を移動させるサービスを提供する方法として、車両の遠隔操作を行う車両遠隔操作サービスが開示されている。この車両遠隔操作サービスは、遠隔操作する車両に対して八方方向を撮像するカメラ装置と、操作者が操作する自動車のコックピット型の遠隔操作装置とを有している。
【０００３】
遠隔操作装置は、自動車のコックピットを模造した外観形状を有しており、ハンドル，ブレーキ，アクセル，ギヤチェンジレバーの他、モニタ装置が設けられている。
【０００４】
操作者により、これらハンドル，ブレーキ，アクセル等が操作されると、このハンドル，ブレーキ，アクセル等の操作に対応する操作信号は車両側に送信され、該車両側に設けられた制御部が、上記操作信号に基づいて車両の各部を制御する。
【０００５】
一方、車両に設けられた各カメラ装置は、常時、各カメラ装置が設けられた方向の画像を撮像しており、撮像した画像をそれぞれ遠隔操作装置側に送信する。遠隔操作装置側では、ハンドル，ブレーキ，アクセル等の操作状況に応じて、各カメラ装置により撮像された画像を切り替えて上記モニタ装置に表示する。
【０００６】
これにより、操作者は、モニタ装置に表示される画像を見ながら自動車を運転する感覚で、遠隔地にある車両を遠隔遠隔操作することができる。
【０００７】
【特許文献１】特開２００３−１９５９４１号公報（第４頁〜第６頁：図４，図８）
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかし、特許文献１に開示されている車両遠隔操作サービスにおいては、上記自動車のコックピット型の遠隔操作装置等の大掛かりな装置を必要とする問題がある。
【０００９】
ここで、移動カメラ装置等の被遠隔操作装置を遠隔操作する場合、急な場合でも直ぐに操作可能であり、また、外出先からも場所を選ばず操作が可能となること等から、携帯電話機やＰＤＡ装置（PDA：Personal Digital Assistant）等の携帯端末装置を遠隔操作装置として用いることが好ましいのであるが、携帯端末装置は、その携帯性を良くするために筐体自体が小型化されている。
【００１０】
このため、この携帯端末装置を用いる場合には、小さな表示画面を見ながら、限られた数のボタンを操作して被遠隔操作装置の遠隔操作を行う必要がある。このため、遠隔操作装置として携帯端末装置を用いる場合には、被遠隔操作装置の遠隔操作が困難とな問題を生ずる。
【００１１】
本発明は、携帯端末装置を用いながらにして、被遠隔操作装置を良好に遠隔操作可能とする画像処理プログラム、遠隔操作プログラム、画像処理装置及び遠隔操作装置の提供を目的とする。
【課題を解決するための手段】
【００１２】
本発明は、移動カメラ装置の各移動場所で撮像された画像がそれぞれ記憶された記憶手段と、上記記憶手段から、ユーザにより指定された画像、及びこのユーザにより指定された画像の撮像場所に隣接する場所で撮像された画像をそれぞれ読み出す画像読み出し手段と、上記画像読み出し手段により、上記記憶手段から読み出された、上記ユーザにより指定された画像に対して、上記ユーザにより指定された画像の撮像場所に隣接する場所で撮像された画像を、３次元的な位置関係を示すように合成して３次元合成画像を形成する３次元合成画像形成手段とを有する。
【００１３】
このような本発明は、ユーザにより指定された画像の撮像場所、及びこの撮像場所に隣接する撮像場所の各画像を３次元的に合成してユーザの携帯端末装置等に表示することが可能となる。このため、移動カメラ装置の各移動場所で撮像された各画像の３次元的な位置関係をユーザに把握させ易くすることができる。
【００１４】
また、本発明は、移動カメラ装置が現在位置する場所で撮像された画像に対して、該移動カメラ装置の移動位置を示すと共に、携帯端末装置に設けられている各操作キーに対応する符号を付加した符号付加画像を形成する符号付加画像形成手段と、上記携帯端末装置の表示手段に表示された上記符号付加画像に基づいて、ユーザにより操作された、上記移動カメラ装置の所望の移動位置に対応する上記符号に対応する該携帯端末装置の操作キーを検出する操作キー検出手段とを有する。
【００１５】
また、これら各手段に加え、上記操作キー検出手段により検出された、ユーザにより操作された操作キー、及びこの操作キーに対応する上記符号付加画像上の符号に基づいて、該符号付加画像上の上記符号に対応する位置に、上記移動カメラ装置を移動させるための、少なくとも移動方向及び移動距離を検出する移動検出手段と、上記移動検出手段により検出された移動方向に、上記移動距離分、上記移動カメラ装置を移動制御することで、ユーザにより、上記携帯端末装置の操作キーが操作されることで指定された上記符号付加画像上の符号に対応する位置に、上記移動カメラ装置を移動制御する移動制御手段とを有する。
【００１６】
このような本発明は、ユーザの携帯端末装置の表示手段に、移動カメラ装置が現在位置する場所で撮像された画像と共に、移動カメラ装置の次の移動位置を指定するための符号を表示することができる。この符号は、携帯端末装置の操作キーに関連付けされており、ユーザは、上記表示画面に基づいて、所望の移動位置に対応する符号を認識し、この符号に対応する操作キーを操作する。これにより、移動制御手段が、ユーザにより選択された上記符号付加画像上の符号に対応する位置に、移動カメラ装置を移動制御する。
【００１７】
また、本発明は、移動カメラ装置の各移動場所で撮像された画像、及び該各画像を撮像した場所に移動カメラ装置が移動した際における少なくとも移動距離及び移動方向を示す画像に関する情報がそれぞれ記憶された記憶手段と、上記記憶手段に記憶されている各画像を読み出し、これらを一覧化して携帯端末装置の表示手段に表示する画像一覧形成手段とを有する。
【００１８】
また、これら各手段に加え、ユーザにより上記携帯端末装置の操作手段が操作されることで、上記表示手段に一覧化されて表示された画像の中から選択された画像を検出する選択画像検出手段と、上記記憶手段に記憶されている上記画像に関する情報に基づいて、上記ユーザにより選択された画像の撮像時における上記移動カメラ装置の移動軌跡を検出する移動軌跡検出手段と、上記移動軌跡検出手段により検出された上記移動軌跡と、該移動カメラ装置の現在位置とに基づいて、上記ユーザにより選択された画像を撮像した場所までの最短ルートを検出する最短ルート検出手段と、上記最短ルート検出手段により検出された上記最短ルートに沿って、上記現在位置から上記ユーザにより選択された画像が撮像された場所まで、上記移動カメラ装置を移動制御する移動制御手段とを有する。
【００１９】
このような本発明は、記憶手段に記憶されている、移動カメラ装置により過去に撮像された画像の一覧の中から、ユーザにより所望の画像（＝所望の場所）が選択されると、最短ルート検出手段が、移動カメラ装置が現在位置している場所から上記所望の場所までの最短ルートを検出し、移動制御手段が、この最短ルートを通って上記所望の場所まで移動するように移動カメラ装置を移動制御する。これにより、移動カメラ装置を目的の場所まで迅速に移動制御することができる。
【発明の効果】
【００２０】
本発明は、表示画面の大きさや設けられている操作キーの数にも限りがある携帯端末装置を用いながら、良好に移動カメラ装置を遠隔操作することができる。
【発明を実施するための最良の形態】
【００２１】
［遠隔操作システムの構成］
本発明の実施の形態となる遠隔操作システムは、図１に示すようにユーザの自宅等のプライベート領域に設けられたプライベートシステム１と、このプライベートシステム１に接続されたインターネット等のパブリック網２と、このパブリック網２に接続された携帯電話会社のコミュニケーションシステム３と、当該遠隔操作システムの遠隔操作装置となる携帯電話機４とを有している。
【００２２】
プライベートシステム１は、プライベート網５に接続された、コントロールステーション６と、この場合の被遠隔操作装置となる移動カメラ装置７とを有している。後述するが、コントロールステーション６は、携帯電話機４からの操作信号に基づいて移動カメラ装置７を移動制御及び撮像制御し、移動カメラ装置７で撮像された画像をデータベース８に蓄積すると共に、携帯電話機４に送信するようになっている。
【００２３】
コミュニケーションシステム３は、コミュニケーション網９に接続されたモバイルサーバ装置１０と基地局１１とを有しており、携帯電話機４からの操作信号を、パブリック網２を介してプライベート網５上のコントロールステーション６に送信し、コントロールステーション６からの移動カメラ装置７で撮像された画像を、基地局１１を介して携帯電話機４に送信するようになっている。
【００２４】
なお、この例では、プライベートシステム１側に設けられたコントロールステーション６で移動カメラ装置７を移動制御等することとして説明を進めるが、携帯電話機４からの操作信号に対応する遠隔操作信号を形成する装置をコミュニケーションシステム３側に設け、プライベートシステム１側に設けられたサーバ装置が、このコミュニケーションシステム３からの遠隔操作信号を移動カメラ装置７に転送して、該移動カメラ装置７を遠隔操作してもよい（＝移動カメラ装置７の制御主体をプライベートシステム１側に設けたが、これはコミュニケーションシステム３側に設けてもよい。）。
【００２５】
［携帯電話機の構成］
携帯電話機４は、いわゆる回転開閉型の携帯電話機となっており、図２に示すように表示部１３と、回転操作部１４、右キー１５、左キー１６、オンフックキー１８、オフフックキー１９、ユーザセレクトキー２０及びクリアキー２１を備えた上操作部２２が設けられた第１の筐体３１と、数字キー、＊キー、＃キーの操作キー等を備えた下操作部２３が設けられた第２の筐体３２とを有している。
【００２６】
回転操作部１４は、当該回転操作部１４の最外周を形成するように設けられ、時計回り方向及び反時計回り方向に回転操作可能となっている回転操作ダイヤル２４と、回転操作ダイヤル２４の内周に沿って設けられ、少なくとも上下左右方向に押圧操作可能となっている十字キー２５と、当該回転操作部１４の中心軸上に設けられ、押圧操作可能となっている決定キー２６とを有している。
【００２７】
右キー１５は、待ち受け時においては、インターネットへの接続を指定するためのキーとなっているのであるが、移動カメラ装置７の遠隔操作時においては、移動カメラ装置７の呼び出し等の機能が割り当てられるようになっている。同様に、左キー１６は、待ち受け時においては、携帯メールの送受信等を指定するためのメール操作用のキーとなっているのであるが、移動カメラ装置７の遠隔操作時においては、後述する「バーチャルナビゲーション」において所望の画像（＝移動カメラ装置７の移動場所）を指定する等の機能が割り当てられるようになっている。
【００２８】
下操作部２３の数字キー、＊キー及び＃キーは、最上段に１の数字キー、２の数字キー、３の数字キーが順に、当該携帯電話機４の短手方向に沿って設けられ、次段に４の数字キー、５の数字キー、６の数字キーが順に設けられ、さらに次段に７の数字キー、８の数字キー、９の数字キーが順に設けられている。そして、最終段に＊キー、０の数字キー、＃キーが順に設けられている。
【００２９】
これら各数字キーは、移動カメラ装置７を遠隔操作する際に、該移動カメラ装置７の移動場所を指定するためのキーとなる。すなわち、詳細は後述するが、当該実施の形態の遠隔操作システムの場合、携帯電話機４の表示部１３に、現在、移動カメラ装置７が位置している部屋の画像を表示すると共に、１〜９の数字を表示した移動マトリクスを表示する。
【００３０】
この移動マトリクス上に表示された１〜９の数字は、下操作部２３の１〜９の数字キーに対応しており、ユーザは、移動マトリクス上に表示された１の数字の位置に移動カメラ装置７を移動させたい場合は、下操作部２３の１の数字キーを、また、移動マトリクス上に表示された７の数字の位置に移動カメラ装置７を移動させたい場合は、下操作部２３の７の数字キーを押圧操作する。これにより、移動カメラ装置７が、移動マトリクス上に表示された１の数字の位置或いは７の数字の位置に移動制御されるようになっている。
【００３１】
［コントロールステーションの構成］
コントロールステーション６は、図３に示すように移動カメラ装置７との間で通信を行うアンテナ４１及び通信回路４２と、当該コントロールステーション６を図１に示すプライベート網５に接続するためのネットワークインターフェイス４３（ＮＷＩＦ）とを有している。
【００３２】
また、コントロールステーション６は、上記アンテナ４１及び通信回路４２を介して送受信される携帯電話機４の操作信号や当該コントロールステーション６から携帯電話機４に送信する画像等の情報に対して送受信用の情報処理を施す情報処理部４４と、当該コントロールステーション６から携帯電話機４に送信する画像に対して上記移動マトリクスを付加し、また、３次元的な位置関係に対応した複数の部屋の画像を複合して１枚の画像を形成する等の画像処理を行う画像処理部４５とを有している。
【００３３】
また、コントロールステーション６は、移動カメラ装置７で撮像された画像、及び各画像の撮像日時や撮像方向及び移動カメラ装置７の移動軌跡等の画像に関する情報を記憶するデータベース８と、当該遠隔操作システムのコミュニケーションプログラムや画像処理プログラム及び情報処理プログラムを含む遠隔操作プログラム等が記憶されたプログラムメモリ４６と、このプログラムメモリ４６に記憶されている遠隔操作プログラムに基づいて、携帯電話機４及び移動カメラ装置７と通信制御や、移動カメラ装置７の移動制御、情報処理部４４の情報処理、及び画像処理部４５の画像処理等を制御する制御部４７とを有している。
【００３４】
なお、この例では、コントロールステーション６側に遠隔操作プログラムが記憶されており、コントロールステーション６がこの遠隔操作プログラムに基づいて遠隔操作制御を行うこととして説明を進めるが、上記遠隔操作プログラムを携帯電話機４側に設け、携帯電話機４において、移動カメラ装置７で撮像された画像に対する移動マトリクスの付加や、３次元的な位置関係に対応した複数の部屋の画像を複合して１枚の画像を形成する等の画像処理を実行するようにしてもよい。
【００３５】
或いは、上記遠隔操作プログラムをモバイルサーバ装置１０側に設け、このモバイルサーバ装置１０において、移動カメラ装置７で撮像された画像に対する移動マトリクスの付加や、３次元的な位置関係に対応した複数の部屋の画像を複合して１枚の画像を形成する等の画像処理を実行するようにしてもよい。
【００３６】
［移動カメラ装置の遠隔移動操作］
図４のフローチャートに、当該遠隔操作システムにおける移動カメラ装置の遠隔移動操作の流れを示す。この図４のフローチャートは、プログラムメモリ４６に記憶されている遠隔操作プログラムに基づく、ユーザのプライベートシステム１に設けられたコントロールステーション６の動作の流れを示している。
【００３７】
まず、ユーザは、自宅等に設けられている移動カメラ装置７を遠隔操作する場合、携帯電話機４の上操作部２２等を操作して遠隔操作の開始を指定する。この指定がなされると、携帯電話機４の制御部は、遠隔操作の開始信号を形成し、これを図１に示す基地局１１に送信制御する。この遠隔操作の開始信号は、コミュニケーション網９、パブリック網２及びプライベート網５を順に介してコントロールステーション６に供給される。
【００３８】
図４のフローチャートは、図３に示すコントロールステーション６の制御部４７が、ユーザの携帯電話機４からの上記遠隔操作の開始信号の受信を検出することでスタートとなる。このフローチャートがスタートとなると制御部４７は、まず、ステップＳ１において、現在位置での撮像を指示する撮像指示信号を形成し、これを通信回路４２及びアンテナ４１を介して移動カメラ装置７に送信する。
【００３９】
移動カメラ装置７は、非遠隔操作時には、エナジーステーションと呼ばれる充電装置が設けられた場所（部屋）で待機しており、このエナジーステーションで充電を行っている。このエナジーステーションが設けられた場所は、移動カメラ装置７の移動開始基準位置となっている。このため、移動カメラ装置７は、この移動開始基準位置を起点として遠隔移動制御されることとなる。移動カメラ装置７は、撮像指示信号を受信すると、このエナジーステーションに位置している状態で撮像を行い、この撮像した画像をコントロールステーション６に送信する。
【００４０】
次に、制御部４７は、ステップＳ２において、移動カメラ装置７から送信された画像及び画像に関する情報をデータベース８に記憶制御すると共に、ステップＳ３において、移動カメラ装置７から送信された画像を画像処理部４５に供給し、該画像に移動マトリクスを付加する。そして、この移動マトリクスの付加された画像を、ユーザの携帯電話機４に送信するように通信回路４２を通信制御する。ユーザの携帯電話機４の制御部は、この移動カメラ装置７により撮像された画像に上記移動マトリクスが付加された画像を、表示部１３に表示制御する。
【００４１】
図５に、ユーザの携帯電話機４の表示部１３に表示される、移動カメラ装置７により撮像された画像に移動マトリクスが付加された画像の一例を示す。この図５からわかるように移動マトリクスには、１〜９の数字が表示されている。この例の場合、移動カメラ装置７の現在位置（視点）は、この移動マトリクスの「８」の数字のマトリクスの後方側となっており、「１」の数字は、この視点の位置から移動カメラ装置７を斜め左上方向に３マスに相当する距離分（＝３マトリクス分に相当する距離）移動させる場合に選択する数字となっている。
【００４２】
同様に、「２」の数字は、この視点の位置から移動カメラ装置７を３マスに相当する距離分、直進移動させる場合に選択する数字となっており、「３」の数字は、この視点の位置から移動カメラ装置７を斜め右上方向に３マスに相当する距離分、移動させる場合に選択する数字となっている。
【００４３】
同様に、「４」の数字は、この視点の位置から移動カメラ装置７を２マスに相当する距離分、移動させる場合に選択する数字となっており、「５」の数字は、この視点の位置から移動カメラ装置７を２マスに相当する距離分、直進移動させる場合に選択する数字となっており、「６」の数字は、この視点の位置から移動カメラ装置７を２マスに相当する距離分、右斜め方向に移動させる場合に選択する数字となっている。
【００４４】
さらに、「７」の数字は、この視点の位置から移動カメラ装置７を１マスに相当する距離分、移動させる場合に選択する数字となっており、「８」の数字は、この視点の位置から移動カメラ装置７を１マスに相当する距離分、直進移動させる場合に選択する数字となっており、「９」の数字は、この視点の位置から移動カメラ装置７を１マスに相当する距離分、右斜め方向に移動させる場合に選択する数字となっている。
【００４５】
この移動マトリクス上に表示された１〜９の数字は、携帯電話機４の下操作部２３の１〜９の数字キーに対応しており、ユーザは、移動マトリクス上に表示された１の数字の位置に移動カメラ装置７を移動させたい場合は、下操作部２３の１の数字キーを、また、移動マトリクス上に表示された７の数字の位置に移動カメラ装置７を移動させたい場合は、下操作部２３の７の数字キーを押圧操作する。携帯電話機４の制御部は、このユーザにより操作された数字キーを示す操作情報を形成し、これをコントロールステーション６に送信する。
【００４６】
コントロールステーション６の制御部４７は、図４のフローチャートのステップＳ４において、この携帯電話機４からの操作された数字キーを示す操作情報の有無を判別することにより、移動カメラ装置７の移動の指示がなされたか否かを判別する。そして、移動の指示がなされたと判別したタイミングで、処理をステップＳ５に進める。
【００４７】
ステップＳ５では、制御部４７が、ユーザにより操作された数字キーに対応する位置に、移動カメラ装置７を遠隔移動制御する。具体的には、制御部４７は、移動カメラ装置７の最低移動距離を一単位とし、例えば上記視点から前方方向１０単位分の位置に上記「２」の数字のマトリクスを表示し、上記視点から右斜め方向１０単位分の位置に上記「３」の数字のマトリクスを表示し、上記視点から左斜め方向６単位分の位置に上記「４」の数字のマトリクスを表示する等のように、移動カメラ装置７の最低移動距離に基づいて移動マトリクスを形成して表示制御している。
【００４８】
そして、ユーザが上記数字キーを押圧操作することで、移動マトリクス上の数字が指定されると、例えば「２」の数字のマトリクスが指定された場合は、上記視点から前方方向１０単位分の位置に移動カメラ装置７を移動制御し、「４」の数字のマトリクスが指定された場合は、上記視点から左斜め方向６単位分の位置に移動カメラ装置７を移動制御する。これにより、移動カメラ装置７は、現在、ユーザの携帯電話機４の表示部１３に表示されている移動マトリクス上における、ユーザが数字キーを操作することで指定した数字に対応する位置に移動制御されることとなる。
【００４９】
このように移動カメラ装置７を移動制御すると、次に制御部４７は、ステップＳ６において、その移動した位置で撮像を行うように移動カメラ装置７を撮像制御する。これにより、移動カメラ装置７は、その移動後の位置で撮像を行い、この画像をコントロールステーション６に送信する。
【００５０】
コントロールステーション６の制御部４７は、移動カメラ装置７が移動後の位置で撮像を行った画像を受信すると、処理をステップＳ２に戻し、ユーザにより指定された移動マトリクス上の数字と、移動カメラ装置７の最低移動距離に基づいて、今回の移動制御で移動カメラ装置７が移動した「移動距離」及び「移動方向」を検出すると共に、図示しないタイマにより計時されている計時時刻に基づいて「撮像日時」を検出し、これら「移動距離」、「移動方向」及び「撮像日時」を示す各情報を、画像に関する情報とし、上記移動後の位置で撮像された画像に関連付けてデータベース８に記憶制御する。
【００５１】
（画像の蓄積）
制御部４７は、以後、ユーザにより遠隔操作の終了が指示されるまでの間、上述のステップＳ３〜ステップＳ６の処理を繰り返し実行する。これにより、ユーザにより指定された位置への移動カメラ装置７の移動制御、撮像制御及び撮像された画像及び画像に関する情報のデータベース８への記憶制御が繰り返し実行され、データベース８には、各移動位置で撮像された画像及びこの各画像に関する情報が蓄積されていくこととなる。
【００５２】
なお、この例では、移動カメラ装置７がユーザにより移動操作された際にその場所で撮像を行うこととしたが、これは、コントロールステーション６の制御部４７が、家中を徘徊するように移動カメラ装置７を移動制御し、移動時間毎や移動距離毎等に撮像を行うように移動カメラ装置７を撮像制御し、これにより得られた画像を、「撮像位置」、「撮像日時」等の画像に関する情報と共にデータベース８に蓄積するようにしてもよい。これにより、データベース８には、各移動位置で撮像された画像及びこの各画像に関する情報が、自動的に蓄積されていくこととなる。
【００５３】
（現在位置に隣接する位置の同時表示機能）
次に、このようにデータベース８に移動カメラ装置７により撮像された画像が蓄積されることで、移動カメラ装置７の現在位置に隣接する位置の画像を、現在位置の画像と同時に表示することが可能となる。
【００５４】
すなわち、コントロールステーション６の制御部４７は、図４のフローチャートのステップＳ３において、画像に移動マトリクスを付加して携帯電話機４に送信する際に、データベース８を検索することで、移動カメラ装置７の現在位置に隣接する場所で、過去に撮像された画像が存在するか否かを判別する。
【００５５】
すなわち、データベース８に記憶される画像は、「移動カメラ装置７の移動距離」、「移動カメラ装置７の移動方向」及び「撮像日時」を示す各情報と共に記憶されるため、制御部４７では、この「移動カメラ装置７の移動距離」及び「移動カメラ装置７の移動方向」に基づいて、各画像の位置関係を検出することができる。これは、過去に撮像された画像をデータベース８に蓄積することで、データベース８内に、ユーザの自宅の間取り図が仮想的に形成されることを意味している。
【００５６】
このため、コントロールステーション６の制御部４７は、移動カメラ装置７の現在位置で撮像された画像に移動マトリクスを付加する際に、データベース８から、現在位置の右側の位置で撮像された画像（Ｒ画像）、現在位置の左側の位置で撮像された画像（Ｌ画像）、及び現在位置の奥側の位置で撮像された画像（Ｏ画像）をそれぞれ検出し、これら各画像を、現在位置で撮像された画像と共に画像処理部４５に転送する。
【００５７】
そして、制御部４７は画像処理部を制御して、αブレンディング処理等により、上記現在位置で撮像された画像以外の画像であるＲ画像、Ｌ画像及びＯ画像のα値（透明度）を調整することで、Ｒ画像、Ｌ画像及びＯ画像を半透明の画像とすると共に、この半透明の画像としたＲ画像、Ｌ画像及びＯ画像を、上記現在位置で撮像された画像に３次元的に合成し、この３次元合成画像に移動マトリクスを付加してユーザの携帯電話機４に送信する。
【００５８】
図６に、この移動マトリクスが付加された３次元合成画像の一例を示す。この図６からわかるように、Ｒ画像、Ｌ画像及びＯ画像は、現在位置で撮像された画像の視認性を邪魔しないように、半透明の画像として、また、小さな画像として表示される。
【００５９】
このように、現在の撮像位置に隣接する場所の画像を３次元的に合成することにより、ユーザに対して移動カメラ装置７の現在位置と部屋の位置関係を認識させ易くすることができる。ユーザは、このような３次元合成画像を見て、移動カメラ装置７の次の移動場所を決め、該移動カメラ装置７を移動操作することとなる。
【００６０】
（バーチャルナビゲーション機能）
次に、データベース８に移動カメラ装置７により撮像された画像が蓄積されると、移動カメラ装置７を移動操作することなく、このデータベース８に蓄積された画像に基づいて、各部屋（過去に撮像を行った場所）を仮想的に移動することが可能となる（バーチャルナビゲーション機能）。
【００６１】
すなわち、ユーザにより携帯電話機４の上操作部２２等が操作されバーチャルナビゲーションの実行が指定されると、携帯電話機４の制御部は、このバーチャルナビゲーションの実行が指定されたことを示す操作信号をコントロールステーション６に送信する。
【００６２】
コントロールステーション６の制御部４７は、このバーチャルナビゲーションの実行が指定されたことを示す操作信号を受信すると、図７に示すフローチャートをスタートさせ、ステップＳ１１から順に処理を実行する。
【００６３】
具体的には、ステップＳ１１では、このコントロールステーション６の制御部４７が、データベース８に記憶されている各画像の「移動距離」及び「移動方向」を示す各情報に基づいて「撮像位置」を検出し、異なる撮像位置で撮像された各画像を画像処理部４５に転送する。また、制御部４７は、各画像のサムネイル画像を形成するように画像処理部４５を制御すると共に、最新の撮像日時のサムネイル画像から順に並べることで一覧化したサムネイル一覧画像を形成するように画像処理部４５を制御する。そして、制御部４７は、このサムネイル一覧画像をユーザの携帯電話機４に送信するように通信回路４２を通信制御する。
【００６４】
ユーザの携帯電話機４の制御部は、このサムネイル一覧画像を受信すると、これを表示部１３に表示制御する。これにより、ユーザの携帯電話機４の表示部１３に、各場所で撮像された画像のサムネイルが一覧的に表示されることとなる。ユーザは、携帯電話機４の上操作部２２等を操作することで、このサムネイル一覧画像から、所望の画像（＝所望の場所）を選択する。携帯電話機４の制御部は、この選択操作がなされると、ユーザにより選択されたサムネイル画像を示す情報をコントロールステーション６側に送信する。
【００６５】
図７のフローチャートのステップＳ１２では、コントロールステーション６の制御部４７が、上記携帯電話機４から送信される上記選択されたサムネイル画像を示す情報を受信したか否かを判別することで、ユーザにより所望の画像（＝所望の場所）の選択操作がなされたか否かを判別する。そして、上記選択されたサムネイル画像を示す情報を受信していない場合は、該情報の受信待ち状態となり、上記選択されたサムネイル画像を示す情報を受信したタイミングで、ユーザにより所望の画像が選択操作されたものと判別し、処理をステップＳ１３に進める。
【００６６】
ステップＳ１３では、制御部４７が、ユーザにより選択された画像をデータベース８から読み出して画像処理部４５に転送すると共に、このユーザにより選択された画像の撮像位置の右側の位置で撮像された画像（Ｒ画像）、ユーザにより選択された画像の撮像位置の左側の位置で撮像された画像（Ｌ画像）、及びユーザにより選択された画像の撮像位置の奥側の位置で撮像された画像（Ｏ画像）をデータベース８から読み出して画像処理部４５に転送する。
【００６７】
そして、制御部４７は、これら各画像に基づいて、前述の３次元合成画像を形成するように画像処理部４５を制御すると共に、この画像処理部４５で形成された３次元合成画像をユーザの携帯電話機４に送信するように通信回路４２を制御する。これにより、ユーザの携帯電話機４の表示部１３に、ユーザが選択した画像、及び上記Ｒ画像，Ｌ画像，Ｏ画像を３次元的に合成された３次元合成画像が表示されることとなる。
【００６８】
図８に、このバーチャルナビゲーション機能の実行時にユーザの携帯電話機４の表示部１３に表示される３次元合成画像の一例を示す。この図８からわかるように、３次元合成画像としては、ユーザにより選択された画像と共に、このユーザにより選択された画像の右側に上記Ｒ画像が半透明かつ小さく表示され、ユーザにより選択された画像の左側に上記Ｌ画像が半透明かつ小さく表示され、ユーザにより選択された画像の奥側に上記Ｏ画像が半透明かつ小さく表示される。ユーザは、この３次元合成画像を見ることにより、自分で選択した部屋の様子と共に、この選択した部屋に隣接する部屋の様子を同時に確認することができる。
【００６９】
なお、このバーチャルナビゲーション機能の実行時には、移動カメラ装置７の移動操作を行われないため、携帯電話機４の表示部１３には、移動マトリクスの表示は行われないようになっている。
【００７０】
次に、携帯電話機４の制御部は、上記３次元合成画像を表示した際、いずれかの画像の画枠を形成するかたちでカーソルＣＲを表示制御する。図８は、Ｌ画像にカーソルＣＲが表示されている例である。また、携帯電話機４の制御部は、ユーザにより選択された画像の表示領域の左下領域に「画像選択」の文字を、また、ユーザにより選択された画像の表示領域の右下領域に「カメラ呼出」の文字をそれぞれ表示制御する。
【００７１】
これら各文字は、上操作部２２の左キー１６を押圧操作することで、現在、カーソルＣＲが位置している画像が選択されることを意味し（＝「画像選択」）、また、上操作部２２の右キー１５を押圧操作することで、ユーザにより選択された画像が撮像された場所まで移動カメラ装置７が移動されることを意味している（＝「カメラ呼出」）。
【００７２】
カーソルＣＲは、回転操作部１４の十字キー２５を操作することで移動可能となっており、携帯電話機４の制御部は、十字キー２５の操作に対応して、カーソルＣＲを、例えばＬ画像→メイン画像（現在、大きく表示されている画像）→Ｒ画像→Ｏ画像→Ｌ画像・・・の順に移動表示制御する。ユーザは、現在、表示されている場所に隣接する場所の画像を見たい場合、十字キー２５を操作してＬ画像，Ｒ画像，Ｏ画像のうち、所望の画像にカーソルＣＲを移動操作し、左キー１６を押圧操作する。携帯電話機４の制御部は、この左キー１６の押圧操作を検出すると、カーソルＣＲで選択されている画像を示す情報をコントロールステーション６側に送信する。
【００７３】
図７のフローチャートのステップＳ１４では、制御部４７が、この携帯電話機４から送信される上記カーソルＣＲで選択されている画像を示す情報の受信の有無を判別することで、ユーザにより画像の選択操作がなされたか否かを判別しており、ユーザにより画像の選択操作がなされたものと判別した場合は、処理をステップＳ１３に戻す。
【００７４】
そして、制御部４７は、前述のようにユーザにより選択された画像をデータベース８から読み出して画像処理部４５に転送すると共に、このユーザにより選択された画像に対するＲ画像、Ｌ画像及びＯ画像をデータベース８から読み出して画像処理部４５に転送し、３次元合成画像を形成するように画像処理部４５を制御すると共に、この画像処理部４５で形成された３次元合成画像をユーザの携帯電話機４に送信するように通信回路４２を制御する。これにより、ユーザの携帯電話機４の表示部１３に、ユーザがカーソルＣＲを移動操作することで選択した画像、及び上記Ｒ画像，Ｌ画像，Ｏ画像が３次元的に合成された３次元合成画像が表示されることとなる。
【００７５】
このようにユーザにより選択された画像及びこのユーザにより選択された画像に対応するＲ画像，Ｌ画像，Ｏ画像をデータベース８から読み出してユーザの携帯電話機４の表示部１３に表示することにより、データベース８に蓄積された画像に基づいて、各部屋（過去に撮像を行った場所）を仮想的に移動するバーチャルナビゲーション機能を実現することができる。
【００７６】
次に、このようなバーチャルナビゲーション機能の実行時に表示される各画像は、過去に撮像された画像であるが、その場所の現在の様子を確認したい場合がある。この場合、ユーザは、カーソルＣＲを移動操作して、上記Ｌ画像，メイン画像，Ｒ画像及びＯ画像のうち、所望の画像を選択すると共に、右キー１５を押圧操作する。前述のように、この場合における右キー１５の押圧操作は、ユーザにより選択された画像が撮像された場所まで移動カメラ装置７を移動操作することを意味している（＝「カメラ呼出」）。このため、携帯電話機４の制御部は、右キー１５を押圧操作されると、カーソルＣＲで選択された画像を示す情報、及び移動カメラ装置７の呼出操作がなされたことを示す情報を、コントロールステーション６側に送信する。
【００７７】
コントロールステーション６の制御部４７は、図７のフローチャートのステップＳ１５において、これら各情報の受信の有無を判別することにより、移動カメラ装置７の呼出操作がなされたか否かを判別しており、移動カメラ装置７の呼出操作がなされたと判別したタイミングで処理をステップＳ１６に進める。
【００７８】
（移動軌跡の解析による最短移動ルートの算出動作）
ステップＳ１６では、制御部４７が、移動カメラ装置７を、現在位置から、ユーザにより選択された画像に対応する位置まで移動させる際の最短移動ルートを検出する。具体的には、制御部４７は、ユーザにより選択された画像に対応する移動カメラ装置７の「移動距離」，「移動方向」を示す情報、及びこのユーザにより選択された画像の撮像位置に隣接する位置で撮像された画像に対応する移動カメラ装置７の「移動距離」，「移動方向」等を検出することで、過去に、ユーザにより選択された画像の撮像位置まで移動カメラ装置７が移動された「移動軌跡」を検出する。そして、この「移動軌跡」に基づいて、移動カメラ装置７を、現在位置から、ユーザにより選択された画像に対応する位置まで移動させる際の最短移動ルートを検出する。
【００７９】
次に制御部４７は、ステップＳ１７において、この検出した最短移動ルートに沿って移動カメラ装置７を移動制御する。これにより、家中のどの場所からでも、最短ルートを通って、ユーザにより選択された画像に対応する位置に到達するように、移動カメラ装置７を移動制御することができる。
【００８０】
次に制御部４７は、ユーザにより選択された画像に対応する位置まで移動カメラ装置７を移動制御すると、ステップＳ１８において、この移動位置で撮像を行うように移動カメラ装置７を撮像制御する。そして、この撮像が行われると、図４のフローチャートのステップＳ２へ処理を移行し、前述のように撮像された画像等をデータベース８に保存すると共に、この画像に移動マトリクスを付加してユーザの携帯電話機４に送信する。これにより、バーチャルナビゲーションでユーザにより選択された場所の、現在の様子を示す画像を携帯電話機４の表示部１３に表示することができる。ユーザは、この画像を見て、自分で選択した場所の現状を認識することとなる。
【００８１】
（過去画像とのリアルタイムマッチング処理）
ここで、コントロールステーション６の制御部４７は、移動カメラ装置７を移動制御する際、この移動中も連続的或いは断続的に撮像を行うように、該移動カメラ装置７を撮像制御する。また、制御部４７は、略々リアルタイムで連続的に得られる撮像画像を画像処置部４５に転送すると共に、このように連続的に得られる撮像画像の各撮像位置において過去に撮像された画像をデータベース８から読み出し、これらを順次、画像処置部４５に転送する。そして、同じ撮像位置同士の、上記リアルタイムで得られる画像と、データベース８に記憶されている過去画像とをリアルタイムで画像マッチング処理するように画像処置部４５を制御し、この画像マッチング結果に基づいて移動カメラ装置７の移動制御の調整を行う。
【００８２】
具体的には、上記マッチング処理を行った結果、現在の撮像画像とデータベース８に記憶されている過去画像との間に、ズレが検出された場合、この各画像のズレ量に対応して、移動カメラ装置７の移動距離を調整制御する。これにより、床の滑り等により、移動カメラ装置７の移動に移動誤差が生じた場合でも、これを是正して、ユーザが指定した目的の場所まで正確に移動カメラ装置を移動制御することができる。
【００８３】
（障害物の対処）
次に、障害物等により移動カメラ装置７の移動が阻害されている場合、移動制御をしているにもかかわらず、移動位置が更新されないこととなる。このため、制御部４７は、移動制御中に所定時間以上、移動位置が更新されない場合は、移動カメラ装置７の移動が障害等により阻害されているものと判断し、その場で撮像を行うように移動カメラ装置７を撮像制御する。そして、この移動カメラ装置７で撮像された画像をユーザの携帯電話機４に送信する。なお、この画像と共に、例えば「移動カメラが移動できません」等のメッセージを送信してもよい。
【００８４】
これにより、ユーザの携帯電話機４の表示部１３に、移動カメラ装置７の移動が阻害されている場所の画像（及び上記メッセージ）が表示されることとなる。ユーザは、この画像を見て、移動カメラ装置７の移動が阻害されている理由を判別し、障害物を回避する方向に移動カメラ装置７を移動させるべく、上操作部２２等を操作して新たな移動指示を出すこととなる。これにより、移動カメラ装置７の移動が障害物等により阻害されている場合でも、これを回避して移動カメラ装置７の移動制御を継続することができる。
【００８５】
［実施の形態の効果］
以上の説明から明らかなように、この実施の形態の遠隔操作システムは、携帯電話機４の数字キーと関連付けた移動マトリクスを、移動カメラ装置７の撮像画像に付加して該携帯電話機４の表示部１３に表示する。ユーザは、移動カメラ装置７を移動させる際、この表示部１３を見て、移動カメラ装置７を移動させたい場所に表示されている移動マトリクス上の数字を確認し、この数字と同じ数字の数字キーを操作する。コントロールステーション６の制御部４７は、ユーザにより操作された数字キーと、現在、ユーザの携帯電話機４の表示部１３に表示している移動マトリクスとに基づいて、移動カメラ装置７の移動方向及び移動量を算出し、この算出結果に基づいて移動カメラ装置７を移動制御する。
【００８６】
また、移動カメラ装置７により撮像された画像を表示する際、このメイン画像と共に、メイン画像の撮像位置に隣接する位置で撮像された画像（上述のＲ画像，Ｌ画像及びＯ画像）とを３次元合成してユーザの携帯電話機４に表示する。
【００８７】
さらに、メイン画像の撮像位置に隣接する位置で撮像された各画像は、メイン画像の視認性を妨げないように半透明かつ小さく表示する。
【００８８】
これにより、設けられている操作キーの数も少なく、また、表示画面の大きさも小さな携帯電話機を用いて、簡単かつ良好に移動カメラ装置７を移動制御することができる。
【００８９】
なお、この例では、移動マトリクスの各マトリクスと、携帯電話機４の下操作部２３の数字キーとを関連付けすることとしたが、移動マトリクスの各マトリクスを、他のキーや回転操作部１４の回転数や回転位置等に関連付けて移動カメラ装置７を移動操作するようにしてもよい。
【００９０】
また、この実施の形態の遠隔操作システムは、移動カメラ装置７で撮像された各位置の画像をそれぞれコントロールステーション６のデータベース８に蓄積し、これら各画像をサムネイル化してユーザの携帯電話機４に表示し、ユーザにより所望の位置の画像が選択される毎に、このユーザにより選択されたメイン画像及びこのメイン画像の撮像位置に隣接する位置で撮像された画像（上述のＲ画像，Ｌ画像及びＯ画像）とを３次元合成してユーザの携帯電話機４に表示する。これにより、ユーザは、移動カメラ装置７を実際に移動操作することなく、各撮像位置を仮想的に移動して、各場所の様子等を確認することができる。
【００９１】
また、この実施の形態の遠隔操作システムは、コントロールステーション６の制御部４７が移動カメラ装置７を移動制御する際、この移動中に移動カメラ装置７で撮像された画像（現在画像）と、この画像の各撮像位置において過去に撮像された画像（過去画像）をデータベース８から読み出し、両者を比較（画像マッチング処理）し、同じ撮像位置で撮像された現在画像と過去画像との間にズレが生じていた場合に、このズレを是正するように移動カメラ装置７の移動制御を調整する。
【００９２】
これにより、床の滑り等により、移動カメラ装置７の移動に移動誤差が生じた場合でも、これを是正して、ユーザが指定した目的の場所まで正確に移動カメラ装置を移動制御することができる。
【００９３】
また、この実施の形態の遠隔操作システムは、移動カメラ装置７の移動制御中に所定時間以上、移動位置が更新されない場合、移動カメラ装置７の移動が障害等により阻害されているものと判断し、その場で撮像を行うように移動カメラ装置７を撮像制御し、この撮像画像をユーザの携帯電話機４に送信する。これにより、移動カメラ装置７の移動操作が阻害されている原因を、上記送信した画像に基づいてユーザが判断することができる。この場合、ユーザは、障害物を回避する方向に移動カメラ装置７を移動操作することとなる。
【００９４】
なお、上述の実施の形態の説明では、移動カメラ装置７を携帯電話機４で移動操作することとしたが、この他、ＰＨＳ電話機（PHS：Personal Handyphone System），ＰＤＡ装置（PDA：Personal Digital Assistant）、ノート型のパーソナルコンピュータ装置等の携帯端末装置を用いて移動カメラ装置７を移動操作してもよい。この場合でも、携帯電話機４を用いる場合と同様に良好に移動カメラ装置７を移動操作することができる。
【００９５】
最後に、上述の実施の形態は、あくまでも本発明の一例として開示したに過ぎない。このため、本発明は、上述の実施の形態以外であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論であることを付け加えておく。
【図面の簡単な説明】
【００９６】
【図１】本発明を適用した実施の形態の遠隔操作システムのブロック図である。
【図２】実施の形態の携帯電話機の遠隔操作システムに用いられる携帯電話機の外観を示す図である。
【図３】実施の形態の遠隔操作システムの移動カメラ装置を移動制御するコントロールステーションのブロック図である。
【図４】実施の形態の遠隔操作システムにおける移動カメラ装置の移動制御の流れを示すフローチャートである。
【図５】実施の形態の遠隔操作システムにおいて、ユーザの携帯電話機に、移動カメラ装置で撮像された画像と共に表示される移動マトリクスを示す図である。
【図６】実施の形態の遠隔操作システムにおいて、ユーザの携帯電話機に表示される３次元合成画像を示す図である。
【図７】実施の形態の遠隔操作システムにおけるバーチャルナビゲーション実行時におけるコントロールステーションの動作を示すフローチャートである。
【図８】バーチャルナビゲーション実行時にユーザの携帯電話機に表示される画像の一例を示す図である。
【符号の説明】
【００９７】
１ プライベートシステム、２ パブリック網、３ コミュニケーションシステム、４ 携帯電話機、５ プライベート網、６ コントロールステーション、７ 移動カメラ装置、８ コントロールステーションのデータベース、９ コミュニケーション網、１０ モバイルサーバ装置、１１ 基地局、１３ 携帯電話機の表示部、１４ 携帯電話機の回転操作部、１５ 携帯電話機の右キー、１６ 携帯電話機の左キー、２２ 携帯電話機の上操作部、２３ 携帯電話機４の下操作部、４１ コントロールステーションのアンテナ、４２ コントロールステーションの通信回路、４３ コントロールステーションのネットワークインターフェイス、４４ コントロールステーションの情報処理部、４５ コントロールステーションの画像処理部、４６ 遠隔操作プログラムが記憶されているコントロールステーションのプログラムメモリ
【特許請求の範囲】
【請求項１】
移動カメラ装置の各移動場所で撮像された画像がそれぞれ記憶された記憶手段から、ユーザにより指定された画像、及びこのユーザにより指定された画像の撮像場所に隣接する場所で撮像された画像をそれぞれ読み出す画像読み出し手段と、
上記画像読み出し手段としてコンピュータを機能させることで上記記憶手段から読み出された、上記ユーザにより指定された画像に対して、上記ユーザにより指定された画像の撮像場所に隣接する場所で撮像された画像を、３次元的な位置関係を示すように合成して３次元合成画像を形成する３次元合成画像形成手段
としてコンピュータを機能させる画像処理プログラム。
【請求項２】
請求項１に記載の画像処理プログラムであって、
上記３次元合成画像形成手段としてコンピュータを機能させる際に、上記ユーザにより指定された画像の撮像場所に隣接する場所で撮像された画像は略半透明で表示手段に表示されるように上記３次元合成画像を形成する上記３次元合成画像形成手段としてコンピュータを機能させること
を特徴とする画像処理プログラム。
【請求項３】
請求項２に記載の画像処理プログラムであって、
上記３次元合成画像形成手段としてコンピュータを機能させる際に、上記ユーザにより指定された画像の撮像場所に隣接する場所で撮像された画像は、上記ユーザにより指定された画像よりも小さなサイズで上記表示手段に表示されるように上記３次元合成画像を形成する上記３次元合成画像形成手段としてコンピュータを機能させること
を特徴とする画像処理プログラム。
【請求項４】
移動カメラ装置が現在位置する場所で撮像された画像に対して、該移動カメラ装置の移動位置を示すと共に、携帯端末装置に設けられている各操作キーに対応する符号を付加した符号付加画像を形成する符号付加画像形成手段と、
上記携帯端末装置の表示手段に表示された上記符号付加画像に基づいて、ユーザにより操作された、上記移動カメラ装置の所望の移動位置に対応する上記符号に対応する該携帯端末装置の操作キーを検出する操作キー検出手段と、
コンピュータを上記操作キー検出手段として機能させることで検出された、ユーザにより操作された操作キー、及びこの操作キーに対応する上記符号付加画像上の符号に基づいて、該符号付加画像上の上記符号に対応する位置に、上記移動カメラ装置を移動させるための、少なくとも移動方向及び移動距離を検出する移動検出手段と、
コンピュータを上記移動検出手段として機能させることで検出された移動方向に、上記移動距離分、上記移動カメラ装置を移動制御することで、ユーザにより、上記携帯端末装置の操作キーが操作されることで指定された上記符号付加画像上の符号に対応する位置に、上記移動カメラ装置を移動制御する移動制御手段
としてコンピュータを機能させる遠隔操作プログラム。
【請求項５】
請求項４に記載の遠隔操作プログラムであって、
上記移動カメラ装置の各移動場所で撮像された画像がそれぞれ記憶された記憶手段から、上記移動カメラ装置が現在位置する場所に隣接する場所で撮像された画像をそれぞれ読み出す画像読み出し手段としてコンピュータを機能させ、
上記符号付加画像形成手段としてコンピュータを機能させる際に、上記移動カメラ装置が現在位置する場所で撮像された画像に対して、上記記憶手段から読み出された上記移動カメラ装置が現在位置する場所に隣接する場所で撮像された各画像を、３次元的な位置関係を示すように合成して上記符号付加画像を形成するようにコンピュータを機能させること
を特徴とする遠隔操作プログラム。
【請求項６】
請求項５に記載の遠隔操作プログラムであって、
上記符号付加画像形成手段としてコンピュータを機能させる際に、上記記憶手段から読み出された上記移動カメラ装置が現在位置する場所に隣接する場所で撮像された各画像は、上記携帯端末装置の上記表示手段に表示された際に、略半透明となるように上記符号付加画像を形成する上記符号付加画像形成手段としてコンピュータを機能させること
を特徴とする遠隔操作プログラム。
【請求項７】
請求項６に記載の遠隔操作プログラムであって、
上記符号付加画像形成手段としてコンピュータを機能させる際に、上記記憶手段から読み出された上記移動カメラ装置が現在位置する場所に隣接する場所で撮像された各画像は、上記携帯端末装置の上記表示手段に表示された際に、上記移動カメラ装置が現在位置する場所で撮像された画像よりも小さなサイズとなるように上記符号付加画像を形成する上記上記符号付加画像形成手段としてコンピュータを機能させること
を特徴とする遠隔操作プログラム。
【請求項８】
移動カメラ装置の各移動場所で撮像された画像、及び該各画像を撮像した場所に移動カメラ装置が移動した際における少なくとも移動距離及び移動方向を示す画像に関する情報がそれぞれ記憶された記憶手段から、該各画像を読み出し、これらを一覧化して携帯端末装置の表示手段に表示する画像一覧形成手段と、
ユーザにより上記携帯端末装置の操作手段が操作されることで、上記表示手段に一覧化されて表示された画像の中から選択された画像を検出する選択画像検出手段と、
上記記憶手段に記憶されている上記画像に関する情報に基づいて、上記ユーザにより選択された画像の撮像時における上記移動カメラ装置の移動軌跡を検出する移動軌跡検出手段と、
コンピュータを上記移動軌跡検出手段として機能させることで検出された上記移動軌跡と、該移動カメラ装置の現在位置とに基づいて、上記ユーザにより選択された画像を撮像した場所までの最短ルートを検出する最短ルート検出手段と、
コンピュータを上記最短ルート検出手段として機能させることで検出された上記最短ルートに沿って、上記現在位置から上記ユーザにより選択された画像が撮像された場所まで、上記移動カメラ装置を移動制御する移動制御手段と
してコンピュータを機能させる遠隔操作プログラム。
【請求項９】
請求項８に記載の遠隔操作プログラムであって、
コンピュータを上記移動制御手段として機能させる際に、所定の移動距離毎或いは所定の時間毎に撮像を行うように上記移動カメラ装置を撮像制御すると共に、該移動カメラ装置で撮像された画像と、この画像の撮像位置と同じ位置で、過去に撮像された画像を上記記憶手段から読み出し、両者を画像マッチング処理することで、該各画像のズレを検出し、このズレを是正しながら、上記最短ルートに沿って上記移動カメラ装置を移動制御する移動制御手段としてコンピュータを機能させること
を特徴とする遠隔操作プログラム。
【請求項１０】
請求項９に記載の遠隔操作プログラムであって、
上記移動カメラ装置の移動中における所定時間以上の移動停止を検出する移動停止検出手段と、
コンピュータを上記移動停止検出手段として機能させることで、上記移動カメラ装置の移動停止が検出された場合、その場で撮像を行うように移動カメラ装置を撮像制御する撮像制御手段と、
コンピュータを上記撮像制御手段として機能させることで、上記移動カメラ装置により撮像された画像に基づいて、上記携帯端末装置の表示手段に表示するための画像を形成する表示画像形成手段としてコンピュータを機能させること
を特徴とする遠隔操作プログラム。
【請求項１１】
移動カメラ装置の各移動場所で撮像された画像がそれぞれ記憶された記憶手段と、
上記記憶手段から、ユーザにより指定された画像、及びこのユーザにより指定された画像の撮像場所に隣接する場所で撮像された画像をそれぞれ読み出す画像読み出し手段と、
上記画像読み出し手段により、上記記憶手段から読み出された、上記ユーザにより指定された画像に対して、上記ユーザにより指定された画像の撮像場所に隣接する場所で撮像された画像を、３次元的な位置関係を示すように合成して３次元合成画像を形成する３次元合成画像形成手段と
を有する画像処理装置。
【請求項１２】
請求項１１に記載の画像処理装置であって、
上記３次元合成画像形成手段は、上記ユーザにより指定された画像の撮像場所に隣接する場所で撮像された画像は略半透明で表示手段に表示されるように上記３次元合成画像を形成すること
を特徴とする画像処理装置。
【請求項１３】
請求項１２に記載の画像処理装置であって、
上記３次元合成画像形成手段は、上記ユーザにより指定された画像の撮像場所に隣接する場所で撮像された画像が、上記ユーザにより指定された画像よりも小さなサイズで上記表示手段に表示されるように上記３次元合成画像を形成すること
を特徴とする画像処理装置。
【請求項１４】
移動カメラ装置が現在位置する場所で撮像された画像に対して、該移動カメラ装置の移動位置を示すと共に、携帯端末装置に設けられている各操作キーに対応する符号を付加した符号付加画像を形成する符号付加画像形成手段と、
上記携帯端末装置の表示手段に表示された上記符号付加画像に基づいて、ユーザにより操作された、上記移動カメラ装置の所望の移動位置に対応する上記符号に対応する該携帯端末装置の操作キーを検出する操作キー検出手段と、
上記操作キー検出手段により検出された、ユーザにより操作された操作キー、及びこの操作キーに対応する上記符号付加画像上の符号に基づいて、該符号付加画像上の上記符号に対応する位置に、上記移動カメラ装置を移動させるための、少なくとも移動方向及び移動距離を検出する移動検出手段と、
上記移動検出手段により検出された移動方向に、上記移動距離分、上記移動カメラ装置を移動制御することで、ユーザにより、上記携帯端末装置の操作キーが操作されることで指定された上記符号付加画像上の符号に対応する位置に、上記移動カメラ装置を移動制御する移動制御手段と
を有する遠隔操作装置。
【請求項１５】
請求項１４に記載の遠隔操作装置であって、
上記移動カメラ装置の各移動場所で撮像された画像がそれぞれ記憶された記憶手段から、上記移動カメラ装置が現在位置する場所に隣接する場所で撮像された画像をそれぞれ読み出す画像読み出し手段を有し、
上記符号付加画像形成手段は、上記移動カメラ装置が現在位置する場所で撮像された画像に対して、上記記憶手段から読み出された上記移動カメラ装置が現在位置する場所に隣接する場所で撮像された各画像を、３次元的な位置関係を示すように合成して上記符号付加画像を形成すること
を特徴とする遠隔操作装置。
【請求項１６】
請求項１５に記載の遠隔操作装置であって、
上記符号付加画像形成手段は、上記記憶手段から読み出された上記移動カメラ装置が現在位置する場所に隣接する場所で撮像された各画像を、上記携帯端末装置の上記表示手段に表示された際に略半透明となるように上記符号付加画像を形成すること
を特徴とする遠隔操作装置。
【請求項１７】
請求項１６に記載の遠隔操作装置であって、
上記符号付加画像形成手段は、上記記憶手段から読み出された上記移動カメラ装置が現在位置する場所に隣接する場所で撮像された各画像が上記携帯端末装置の上記表示手段に表示された際に、上記移動カメラ装置が現在位置する場所で撮像された画像よりも小さなサイズとなるように上記符号付加画像を形成すること
を特徴とする遠隔操作装置。
【請求項１８】
移動カメラ装置の各移動場所で撮像された画像、及び該各画像を撮像した場所に移動カメラ装置が移動した際における少なくとも移動距離及び移動方向を示す画像に関する情報がそれぞれ記憶された記憶手段と、
上記記憶手段に記憶されている各画像を読み出し、これらを一覧化して携帯端末装置の表示手段に表示する画像一覧形成手段と、
ユーザにより上記携帯端末装置の操作手段が操作されることで、上記表示手段に一覧化されて表示された画像の中から選択された画像を検出する選択画像検出手段と、
上記記憶手段に記憶されている上記画像に関する情報に基づいて、上記ユーザにより選択された画像の撮像時における上記移動カメラ装置の移動軌跡を検出する移動軌跡検出手段と、
上記移動軌跡検出手段により検出された上記移動軌跡と、該移動カメラ装置の現在位置とに基づいて、上記ユーザにより選択された画像を撮像した場所までの最短ルートを検出する最短ルート検出手段と、
上記最短ルート検出手段により検出された上記最短ルートに沿って、上記現在位置から上記ユーザにより選択された画像が撮像された場所まで、上記移動カメラ装置を移動制御する移動制御手段と
を有する遠隔操作装置。
【請求項１９】
請求項１８に記載の遠隔操作装置であって、
上記移動制御手段は、所定の移動距離毎或いは所定の時間毎に撮像を行うように上記移動カメラ装置を撮像制御すると共に、該移動カメラ装置で撮像された画像と、この画像の撮像位置と同じ位置で、過去に撮像された画像を上記記憶手段から読み出し、両者を画像マッチング処理することで、該各画像のズレを検出し、このズレを是正しながら、上記最短ルートに沿って上記移動カメラ装置を移動制御すること
を特徴とする遠隔操作装置。
【請求項２０】
請求項１９に記載の遠隔操作装置であって、
上記移動カメラ装置の移動中における所定時間以上の移動停止を検出する移動停止検出手段と、
上記移動停止検出手段により、上記移動カメラ装置の移動停止が検出された場合、その場で撮像を行うように移動カメラ装置を撮像制御する撮像制御手段と、
上記撮像制御手段により、上記移動カメラ装置で撮像された画像に基づいて、上記携帯端末装置の表示手段に表示するための画像を形成する表示画像形成手段とを有すること
を特徴とする遠隔操作装置。
【請求項１】
移動カメラ装置の各移動場所で撮像された画像がそれぞれ記憶された記憶手段から、ユーザにより指定された画像、及びこのユーザにより指定された画像の撮像場所に隣接する場所で撮像された画像をそれぞれ読み出す画像読み出し手段と、
上記画像読み出し手段としてコンピュータを機能させることで上記記憶手段から読み出された、上記ユーザにより指定された画像に対して、上記ユーザにより指定された画像の撮像場所に隣接する場所で撮像された画像を、３次元的な位置関係を示すように合成して３次元合成画像を形成する３次元合成画像形成手段
としてコンピュータを機能させる画像処理プログラム。
【請求項２】
請求項１に記載の画像処理プログラムであって、
上記３次元合成画像形成手段としてコンピュータを機能させる際に、上記ユーザにより指定された画像の撮像場所に隣接する場所で撮像された画像は略半透明で表示手段に表示されるように上記３次元合成画像を形成する上記３次元合成画像形成手段としてコンピュータを機能させること
を特徴とする画像処理プログラム。
【請求項３】
請求項２に記載の画像処理プログラムであって、
上記３次元合成画像形成手段としてコンピュータを機能させる際に、上記ユーザにより指定された画像の撮像場所に隣接する場所で撮像された画像は、上記ユーザにより指定された画像よりも小さなサイズで上記表示手段に表示されるように上記３次元合成画像を形成する上記３次元合成画像形成手段としてコンピュータを機能させること
を特徴とする画像処理プログラム。
【請求項４】
移動カメラ装置が現在位置する場所で撮像された画像に対して、該移動カメラ装置の移動位置を示すと共に、携帯端末装置に設けられている各操作キーに対応する符号を付加した符号付加画像を形成する符号付加画像形成手段と、
上記携帯端末装置の表示手段に表示された上記符号付加画像に基づいて、ユーザにより操作された、上記移動カメラ装置の所望の移動位置に対応する上記符号に対応する該携帯端末装置の操作キーを検出する操作キー検出手段と、
コンピュータを上記操作キー検出手段として機能させることで検出された、ユーザにより操作された操作キー、及びこの操作キーに対応する上記符号付加画像上の符号に基づいて、該符号付加画像上の上記符号に対応する位置に、上記移動カメラ装置を移動させるための、少なくとも移動方向及び移動距離を検出する移動検出手段と、
コンピュータを上記移動検出手段として機能させることで検出された移動方向に、上記移動距離分、上記移動カメラ装置を移動制御することで、ユーザにより、上記携帯端末装置の操作キーが操作されることで指定された上記符号付加画像上の符号に対応する位置に、上記移動カメラ装置を移動制御する移動制御手段
としてコンピュータを機能させる遠隔操作プログラム。
【請求項５】
請求項４に記載の遠隔操作プログラムであって、
上記移動カメラ装置の各移動場所で撮像された画像がそれぞれ記憶された記憶手段から、上記移動カメラ装置が現在位置する場所に隣接する場所で撮像された画像をそれぞれ読み出す画像読み出し手段としてコンピュータを機能させ、
上記符号付加画像形成手段としてコンピュータを機能させる際に、上記移動カメラ装置が現在位置する場所で撮像された画像に対して、上記記憶手段から読み出された上記移動カメラ装置が現在位置する場所に隣接する場所で撮像された各画像を、３次元的な位置関係を示すように合成して上記符号付加画像を形成するようにコンピュータを機能させること
を特徴とする遠隔操作プログラム。
【請求項６】
請求項５に記載の遠隔操作プログラムであって、
上記符号付加画像形成手段としてコンピュータを機能させる際に、上記記憶手段から読み出された上記移動カメラ装置が現在位置する場所に隣接する場所で撮像された各画像は、上記携帯端末装置の上記表示手段に表示された際に、略半透明となるように上記符号付加画像を形成する上記符号付加画像形成手段としてコンピュータを機能させること
を特徴とする遠隔操作プログラム。
【請求項７】
請求項６に記載の遠隔操作プログラムであって、
上記符号付加画像形成手段としてコンピュータを機能させる際に、上記記憶手段から読み出された上記移動カメラ装置が現在位置する場所に隣接する場所で撮像された各画像は、上記携帯端末装置の上記表示手段に表示された際に、上記移動カメラ装置が現在位置する場所で撮像された画像よりも小さなサイズとなるように上記符号付加画像を形成する上記上記符号付加画像形成手段としてコンピュータを機能させること
を特徴とする遠隔操作プログラム。
【請求項８】
移動カメラ装置の各移動場所で撮像された画像、及び該各画像を撮像した場所に移動カメラ装置が移動した際における少なくとも移動距離及び移動方向を示す画像に関する情報がそれぞれ記憶された記憶手段から、該各画像を読み出し、これらを一覧化して携帯端末装置の表示手段に表示する画像一覧形成手段と、
ユーザにより上記携帯端末装置の操作手段が操作されることで、上記表示手段に一覧化されて表示された画像の中から選択された画像を検出する選択画像検出手段と、
上記記憶手段に記憶されている上記画像に関する情報に基づいて、上記ユーザにより選択された画像の撮像時における上記移動カメラ装置の移動軌跡を検出する移動軌跡検出手段と、
コンピュータを上記移動軌跡検出手段として機能させることで検出された上記移動軌跡と、該移動カメラ装置の現在位置とに基づいて、上記ユーザにより選択された画像を撮像した場所までの最短ルートを検出する最短ルート検出手段と、
コンピュータを上記最短ルート検出手段として機能させることで検出された上記最短ルートに沿って、上記現在位置から上記ユーザにより選択された画像が撮像された場所まで、上記移動カメラ装置を移動制御する移動制御手段と
してコンピュータを機能させる遠隔操作プログラム。
【請求項９】
請求項８に記載の遠隔操作プログラムであって、
コンピュータを上記移動制御手段として機能させる際に、所定の移動距離毎或いは所定の時間毎に撮像を行うように上記移動カメラ装置を撮像制御すると共に、該移動カメラ装置で撮像された画像と、この画像の撮像位置と同じ位置で、過去に撮像された画像を上記記憶手段から読み出し、両者を画像マッチング処理することで、該各画像のズレを検出し、このズレを是正しながら、上記最短ルートに沿って上記移動カメラ装置を移動制御する移動制御手段としてコンピュータを機能させること
を特徴とする遠隔操作プログラム。
【請求項１０】
請求項９に記載の遠隔操作プログラムであって、
上記移動カメラ装置の移動中における所定時間以上の移動停止を検出する移動停止検出手段と、
コンピュータを上記移動停止検出手段として機能させることで、上記移動カメラ装置の移動停止が検出された場合、その場で撮像を行うように移動カメラ装置を撮像制御する撮像制御手段と、
コンピュータを上記撮像制御手段として機能させることで、上記移動カメラ装置により撮像された画像に基づいて、上記携帯端末装置の表示手段に表示するための画像を形成する表示画像形成手段としてコンピュータを機能させること
を特徴とする遠隔操作プログラム。
【請求項１１】
移動カメラ装置の各移動場所で撮像された画像がそれぞれ記憶された記憶手段と、
上記記憶手段から、ユーザにより指定された画像、及びこのユーザにより指定された画像の撮像場所に隣接する場所で撮像された画像をそれぞれ読み出す画像読み出し手段と、
上記画像読み出し手段により、上記記憶手段から読み出された、上記ユーザにより指定された画像に対して、上記ユーザにより指定された画像の撮像場所に隣接する場所で撮像された画像を、３次元的な位置関係を示すように合成して３次元合成画像を形成する３次元合成画像形成手段と
を有する画像処理装置。
【請求項１２】
請求項１１に記載の画像処理装置であって、
上記３次元合成画像形成手段は、上記ユーザにより指定された画像の撮像場所に隣接する場所で撮像された画像は略半透明で表示手段に表示されるように上記３次元合成画像を形成すること
を特徴とする画像処理装置。
【請求項１３】
請求項１２に記載の画像処理装置であって、
上記３次元合成画像形成手段は、上記ユーザにより指定された画像の撮像場所に隣接する場所で撮像された画像が、上記ユーザにより指定された画像よりも小さなサイズで上記表示手段に表示されるように上記３次元合成画像を形成すること
を特徴とする画像処理装置。
【請求項１４】
移動カメラ装置が現在位置する場所で撮像された画像に対して、該移動カメラ装置の移動位置を示すと共に、携帯端末装置に設けられている各操作キーに対応する符号を付加した符号付加画像を形成する符号付加画像形成手段と、
上記携帯端末装置の表示手段に表示された上記符号付加画像に基づいて、ユーザにより操作された、上記移動カメラ装置の所望の移動位置に対応する上記符号に対応する該携帯端末装置の操作キーを検出する操作キー検出手段と、
上記操作キー検出手段により検出された、ユーザにより操作された操作キー、及びこの操作キーに対応する上記符号付加画像上の符号に基づいて、該符号付加画像上の上記符号に対応する位置に、上記移動カメラ装置を移動させるための、少なくとも移動方向及び移動距離を検出する移動検出手段と、
上記移動検出手段により検出された移動方向に、上記移動距離分、上記移動カメラ装置を移動制御することで、ユーザにより、上記携帯端末装置の操作キーが操作されることで指定された上記符号付加画像上の符号に対応する位置に、上記移動カメラ装置を移動制御する移動制御手段と
を有する遠隔操作装置。
【請求項１５】
請求項１４に記載の遠隔操作装置であって、
上記移動カメラ装置の各移動場所で撮像された画像がそれぞれ記憶された記憶手段から、上記移動カメラ装置が現在位置する場所に隣接する場所で撮像された画像をそれぞれ読み出す画像読み出し手段を有し、
上記符号付加画像形成手段は、上記移動カメラ装置が現在位置する場所で撮像された画像に対して、上記記憶手段から読み出された上記移動カメラ装置が現在位置する場所に隣接する場所で撮像された各画像を、３次元的な位置関係を示すように合成して上記符号付加画像を形成すること
を特徴とする遠隔操作装置。
【請求項１６】
請求項１５に記載の遠隔操作装置であって、
上記符号付加画像形成手段は、上記記憶手段から読み出された上記移動カメラ装置が現在位置する場所に隣接する場所で撮像された各画像を、上記携帯端末装置の上記表示手段に表示された際に略半透明となるように上記符号付加画像を形成すること
を特徴とする遠隔操作装置。
【請求項１７】
請求項１６に記載の遠隔操作装置であって、
上記符号付加画像形成手段は、上記記憶手段から読み出された上記移動カメラ装置が現在位置する場所に隣接する場所で撮像された各画像が上記携帯端末装置の上記表示手段に表示された際に、上記移動カメラ装置が現在位置する場所で撮像された画像よりも小さなサイズとなるように上記符号付加画像を形成すること
を特徴とする遠隔操作装置。
【請求項１８】
移動カメラ装置の各移動場所で撮像された画像、及び該各画像を撮像した場所に移動カメラ装置が移動した際における少なくとも移動距離及び移動方向を示す画像に関する情報がそれぞれ記憶された記憶手段と、
上記記憶手段に記憶されている各画像を読み出し、これらを一覧化して携帯端末装置の表示手段に表示する画像一覧形成手段と、
ユーザにより上記携帯端末装置の操作手段が操作されることで、上記表示手段に一覧化されて表示された画像の中から選択された画像を検出する選択画像検出手段と、
上記記憶手段に記憶されている上記画像に関する情報に基づいて、上記ユーザにより選択された画像の撮像時における上記移動カメラ装置の移動軌跡を検出する移動軌跡検出手段と、
上記移動軌跡検出手段により検出された上記移動軌跡と、該移動カメラ装置の現在位置とに基づいて、上記ユーザにより選択された画像を撮像した場所までの最短ルートを検出する最短ルート検出手段と、
上記最短ルート検出手段により検出された上記最短ルートに沿って、上記現在位置から上記ユーザにより選択された画像が撮像された場所まで、上記移動カメラ装置を移動制御する移動制御手段と
を有する遠隔操作装置。
【請求項１９】
請求項１８に記載の遠隔操作装置であって、
上記移動制御手段は、所定の移動距離毎或いは所定の時間毎に撮像を行うように上記移動カメラ装置を撮像制御すると共に、該移動カメラ装置で撮像された画像と、この画像の撮像位置と同じ位置で、過去に撮像された画像を上記記憶手段から読み出し、両者を画像マッチング処理することで、該各画像のズレを検出し、このズレを是正しながら、上記最短ルートに沿って上記移動カメラ装置を移動制御すること
を特徴とする遠隔操作装置。
【請求項２０】
請求項１９に記載の遠隔操作装置であって、
上記移動カメラ装置の移動中における所定時間以上の移動停止を検出する移動停止検出手段と、
上記移動停止検出手段により、上記移動カメラ装置の移動停止が検出された場合、その場で撮像を行うように移動カメラ装置を撮像制御する撮像制御手段と、
上記撮像制御手段により、上記移動カメラ装置で撮像された画像に基づいて、上記携帯端末装置の表示手段に表示するための画像を形成する表示画像形成手段とを有すること
を特徴とする遠隔操作装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２００６−２０２３７（Ｐ２００６−２０２３７Ａ）
【公開日】平成１８年１月１９日（２００６．１．１９）
【国際特許分類】
【出願番号】特願２００４−１９８３２５（Ｐ２００４−１９８３２５）
【出願日】平成１６年７月５日（２００４．７．５）
【出願人】（５０１４３１０７３）ソニー・エリクソン・モバイルコミュニケーションズ株式会社 (810)
【Ｆターム（参考）】
【公開日】平成１８年１月１９日（２００６．１．１９）
【国際特許分類】
【出願日】平成１６年７月５日（２００４．７．５）
【出願人】（５０１４３１０７３）ソニー・エリクソン・モバイルコミュニケーションズ株式会社 (810)
【Ｆターム（参考）】
[ Back to top ]