説明

情報処理装置及び遠隔診断システム

【課題】ユーザのニーズ及びクライアント2,2’との間の通信速度等に応じた適切な画像送信を実現することが可能なサーバを提供する。
【解決手段】俯瞰画像及び拡大画像を符号化する画像処理部43と、画像処理部43により符号化された画像を、クライアント2、2’に送信する通信制御部45と、ビデオカメラ5により撮影される俯瞰画像に動きが無い場合に、俯瞰画像を送信する第1モードと、俯瞰画像に動きがある場合に、俯瞰画像を送信する第2モードと、拡大用カメラにより撮影される拡大画像を送信する第3モードとで、画像処理部43による符号化方式及び通信制御部45による送信方法を変更する制御部46と、を備えることを特徴とする。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は情報処理装置及び遠隔診断システムに関し、特に対象物の俯瞰画像を撮影する俯瞰画像撮影装置及び前記対象物の拡大画像を撮影する拡大画像撮影装置が接続されるとともに、少なくとも拡大画像撮影装置を遠隔操作する遠隔操作装置が接続された情報処理装置、及び該情報処理装置を備える遠隔診断システムに関する。
【背景技術】
【0002】
従来より、ビデオカメラ及びプロジェクタが接続されているサーバ(例えばコンピュータ)と、ネットワークを介して当該サーバに接続される遠隔地のクライアント(例えばコンピュータ)とを備え、サーバ側に存在する診断対象物を、クライアント側で診断する遠隔診断システムが知られている(例えば、特許文献1参照)。
【0003】
この遠隔診断システムでは、サーバは、サーバに接続されているビデオカメラにより撮影される対象物の撮影画像を、ネットワークを介してクライアントに送信するものであり、クライアントは、表示装置の表示画面に立体物を含む撮影画像を表示し、当該表示画面上にアノテーション画像(線、図形、文字)などが書き込まれると、当該アノテーション画像をネットワークを介してサーバに送信するものである。また、サーバは受信したアノテーション画像をプロジェクタに送信し、プロジェクタは受信したアノテーション画像を対象物を含む投影領域の適切な位置(これは、クライアントが、撮影画像の範囲内でアノテーション画像を書き込んだ位置に対応する)に投影する。
【0004】
このような遠隔診断システムでは、効率的な診断を行うために、サーバとクライアントとの間における撮影画像の送信を効率的に行うことが必要となる。このような観点から、最近では、撮影した画像中に動きが検出されない場合には、UDP(User Datagram Protocol)により画像を送信し、画像中に動きが検出された場合には、信頼性の高いTCP(Transmission Control Protocol)により画像を送信する技術が提案されている(例えば、特許文献2参照)。
【0005】
【特許文献1】特開2005−33756号公報
【特許文献2】特開2000−224569号公報
【発明の開示】
【発明が解決しようとする課題】
【0006】
上記特許文献2に記載の技術では、画像内に動きがあるときには、高品質の画像がクライアントに送信され、画像内に動きがないときには低品質の画像が送信されることになる。しかるに、当該技術を、上記遠隔指示システムに採用した場合、クライアント側のユーザが重要視する画像が高品質で送信されないことや、ユーザがほとんど重要視しない画像が高品質で送信されることがあり、必ずしもユーザの要求に適合しないことが判明してきた。
【0007】
そこで、本発明は上記の課題に鑑みてなされたものであり、ユーザのニーズ及び遠隔操作装置との間の通信速度等に応じた適切な画像送信を実現することが可能な情報処理装置、及び適切な画像に基づく対象物の診断を行うことが可能な遠隔診断システムを提供することを目的とする。
【課題を解決するための手段】
【0008】
上記課題を解決するために、本発明の情報処理装置は、対象物の俯瞰画像を撮影する俯瞰画像撮影装置及び前記対象物の拡大画像を撮影する拡大画像撮影装置が接続されるとともに、少なくとも前記拡大画像撮影装置を遠隔操作する遠隔操作装置が接続されたものであり、前記俯瞰画像及び前記拡大画像を符号化する符号化手段と、前記符号化手段により符号化された画像を、前記遠隔操作装置に送信する送信手段と、前記俯瞰画像撮影装置により撮影される前記俯瞰画像に継続した変化が無い場合に、前記俯瞰画像を送信する第1モードと、前記俯瞰画像に継続した変化がある場合に、前記俯瞰画像を送信する第2モードと、前記拡大画像撮影装置により撮影される拡大画像を送信する第3モードとで、前記符号化手段による符号化方式及び前記送信手段による送信方法を変更する変更手段と、を備えることを特徴とする。
【0009】
これによれば、俯瞰画像に継続した変化が無い場合にその俯瞰画像を送信する第1モードと、俯瞰画像に継続した変化がある場合にその俯瞰画像を送信する第2モードと、拡大画像撮影装置により撮影される拡大画像を送信する第3モードとで、符号化方式と送信方法を変更して、画像の送信を行うので、高画質な画像の送信が必要な場合、比較的低画質な画像の送信で良い場合、及び拡大画像の送信を行う場合など、各画像に応じた適切な符号化方式及び送信方法を選択することで、ユーザのニーズ及び遠隔操作装置との間の通信速度等に応じた適切な画像送信を実現することが可能となる。
【0010】
この場合において、前記第1モードの符号化方式は、前記第2モードの符号化方式と比較して、前記俯瞰画像が高画質となる符号化方式であり、前記第1モードの送信方法は、前記第2モードの送信方法と比較して、信頼性の高い送信方法であることとすることができる。かかる場合には、俯瞰画像に継続した変化(動き)がある場合には、対象物の移動や俯瞰画像撮影装置のパン・チルト・ズーム動作などが行われている場合が多く、その画像は、俯瞰画像を観察するユーザにとっては比較的重要ではない画像である可能性が高く、その一方で、俯瞰画像に継続した変化(動き)がない場合には、その画像は、俯瞰画像を観察するユーザにとって比較的重要な画像である可能性が高いので、それらの事情を考慮した適切な符号化方式及び送信方法を選択することにより、ユーザのニーズ及び遠隔操作装置との間の通信速度等に応じた適切な画像送信を実現することが可能となる。
【0011】
また、前記第3モードの符号化方式は、前記第2モードの符号化方式と比較して、前記俯瞰画像が高画質となる符号化方式であり、前記第3モードの送信方法は、前記第2モードの送信方法と比較して、信頼性の高い送信方法であることとすることができる。かかる場合には、拡大画像は、その画像を観察するユーザにとって重要度が高い画像である可能性が高いので、当該重要度を考慮した適切な符号化方式及び送信方法を選択することで、ユーザのニーズ及び遠隔操作装置との間の通信速度等に応じた適切な画像送信を実現することが可能となる。
【0012】
この場合において、前記第2モード及び第3モードの符号化方式は、動画用の符号化方式であることとすることができる。また、前記変更手段は、前記第3モードにおいて前記拡大画像に継続的な変化がない場合に、前記第1モードと同一の符号化方式及び送信方法に設定することとすることができる。かかる場合には、拡大画像に継続的変化がない場合には、第1モードと同様に扱うことにより、拡大画像を、ユーザのニーズ及び遠隔操作装置との間の通信速度等に応じて適切に送信することが可能となる。更に、前記第3モードの符号化方式及び送信方法を、ユーザからの指示に従って設定する設定手段を更に備えることとすることができる。かかる場合には、ユーザにとって重要度の高い画像を高品質かつ高信頼度で送信するなど、ユーザのニーズにあわせた画像送信を実現することが可能となる。
【0013】
本発明の情報処理装置では、前記送信手段は、前記拡大画像を送信している間は、前記俯瞰画像の送信を中止することとすることができる。かかる場合には、拡大画像を送信している間は、ユーザは拡大画像のみを観察している可能性が高いと考えられるので、俯瞰画像の送信を中止することにより、遠隔操作装置との間の通信回線等への負担を軽減することが可能となる。
【0014】
また、本発明の情報処理装置では、前記対象物に対して図形を投影する投影装置が更に接続され、前記投影された図形内の画像を抽出する抽出手段を更に備え、前記変更手段は、前記抽出手段により抽出された画像を、前記第1モードと同一のモードで前記遠隔操作装置に送信することとすることができる。かかる場合には、ユーザにより描画された図形内の画像を抽出して、第1モードと同一のモードで画像を送信することにより、ユーザの要求に応じた画像を適切に送信することが可能となる。
【0015】
また、本発明の情報処理装置では、前記第1モードでは、プログレッシブ符号化により、前記俯瞰画像を送信することとすることができる。かかる場合には、通信回線の性能等にかかわらず、画像全体を遠隔操作装置に送信することが可能となる。
【0016】
本発明の遠隔診断システムは、対象物の俯瞰画像を撮影する俯瞰画像撮影装置及び前記対象物の拡大画像を撮影する拡大画像撮影装置が接続された本発明の情報処理装置と、少なくとも前記拡大画像撮影装置を遠隔操作するとともに、前記情報処理装置から送信された画像を表示する遠隔操作装置と、を備えることを特徴とする。
【0017】
これによれば、適切な画像の送信を行うことが可能な情報処理装置により送信された画像が、遠隔操作装置において表示されるので、適切な画像に基づく対象物の診断を行うことが可能となる。
【発明の効果】
【0018】
本発明によれば、ユーザのニーズ及び遠隔操作装置との間の通信速度等に応じた適切な画像送信を実現することが可能な情報処理装置、及び適切な画像に基づく対象物の診断を行うことが可能な遠隔診断システムを提供することができる。
【発明を実施するための最良の形態】
【0019】
以下、本発明の一実施形態について図1〜図7に基づいて詳細に説明する。
【0020】
図1には、本実施形態の遠隔診断システム100の構成が概略的に示されている。
【0021】
図1の遠隔診断システム100は、サーバとして機能するパーソナルコンピュータ(PC)1(情報処理装置)を含むサーバシステム10と、クライアントとして機能するPC2(遠隔操作装置)を含むクライアントシステム20と、PC2’(遠隔操作装置)を含むクライアントシステム20’と、を備えている。なお、以下においては、説明の便宜上、PC1を「サーバ1」と呼び、PC2、PC2’を「クライアント2」、「クライアント2’」と呼ぶものとする。
【0022】
サーバ1とクライアント2とは、イントラネット23に接続されている。また、クライアント2’は、イントラネット23’に接続されている。また、イントラネット23は、ファイヤーウォール25を介してインターネット3に接続されており、イントラネット23’は、ファイヤーウォール25’を介してインターネット3に接続されている。
【0023】
サーバ1には、プロジェクタ4(投影装置)と、ビデオカメラ5(俯瞰画像撮影装置)と、拡大用カメラ6(拡大画像撮影装置)と、がそれぞれ接続されている。
【0024】
プロジェクタ4は、サーバ1からの制御コマンドに基づいて、診断対象物7に対して、ハーフミラー8を介して単なる光線を照射したり、アノテーション画像(注釈画像)等を投影したりする。なお、アノテーション画像は、線、文字、記号、図形、色、フォント(書体)等のあらゆる態様の画像を含む。
【0025】
ビデオカメラ5は、診断対象物7の反射画像をハーフミラー8を介して撮影し、撮影画像(俯瞰画像)をサーバ1に向けて出力する。拡大用カメラ6は、診断対象物7の一部を拡大した状態で撮影することが可能なパン・チルト・ズーム機能付きのビデオカメラであり、撮影した画像(拡大画像)をサーバ1に出力する。
【0026】
クライアント2には、ディスプレイ(表示手段)21とマウスなどの入力インタフェース24が接続されており、ディスプレイ21には、俯瞰画像と拡大画像とが、別々のウィンドウ22a,22b内に表示される。また、クライアント2’には、ディスプレイ(表示手段)21’と入力インタフェース24’が接続されており、ディスプレイ21’にも、ディスプレイ21に表示された画像と同一の俯瞰画像及び拡大画像が、別々のウィンドウ22a,22b内に表示される。なお、クライアント2(2’)を、ディスプレイ21(21’)を備える一体型のパーソナルコンピュータにより構成することとしても良い。
【0027】
ウィンドウ22aそれぞれには、ペン、テキスト、消去、ズームなどのボタン群、線種や色種のアイコンが表示されている。ウィンドウ22a内の表示領域23a内には、ビデオカメラ5で撮影された撮影画像(俯瞰画像)が表示される。図1では、診断対象物7をビデオカメラ5により撮影した撮影画像(俯瞰画像)がウィンドウ22aの表示領域23a内に表示された状態が示されている。
【0028】
このように構成されるウィンドウ22aにおいては、クライアント2(又は2’)に接続された入力インタフェース24(又は24’)により、ペンボタンがクリックされて、マウスポインタの移動により、診断対象物7上に図形等が記載されると、当該図形の情報(具体的には、当該図形を示す、表示領域23aにおける座標(x、y))はクライアント2からサーバ1に出力される。サーバ1は、当該図形の情報をプロジェクタ4の座標の情報に変換し、プロジェクタ4に出力する。プロジェクタ4は当該変換された図形の情報に基づいて診断対象物7上に当該図形を投影する。なお、撮影画像は表示領域23aに表示されるため、撮影画像における座標(x、y)は、表示領域23aにおける座標(x、y)と一致する。
【0029】
また、ウィンドウ22aにおいては、例えば、クライアント2(2’)に接続された入力インタフェース24(24’)により、ズームボタンがクリックされて、マウスポインタで、診断対象物7上の一部の領域(例えば、図1において点線で囲まれた領域)が指定されると、その操作情報が、クライアント2からネットワーク(3、23,23’)を介してサーバ1に送られ、サーバ1は、拡大用カメラ6を制御して、指定された領域に該当する部分を撮影する。また、撮影画像(拡大画像)は、サーバ1から、クライアント2に送られる。クライアント2では、ディスプレイ21上のウィンドウ22bの表示領域23b内に、当該拡大画像を表示する。なお、ウィンドウ22bには、表示領域23bのほか、ズームイン、ズームアウト、及び上下左右への画像移動ボタンが設けられている。
【0030】
次に、サーバ1の機能構成について、図2(a)に基づいて説明する。サーバ1は、図2(a)に示されるように、画像入力部41と、動き検出部42と、画像処理部43と、画像出力部44と、通信制御部45と、制御部46と、操作処理部47とを備えている。
【0031】
画像入力部41は、ビデオカメラ5及び拡大用カメラ6から入力される画像信号をデジタルデータ化する。動き検出部42は、画像入力部41から入力された画像に継続的な変化(動き)があったか否かを検出し、その検出結果を制御部46に通知する。
【0032】
画像処理部43は、制御部46の指示の下、画像入力部41から入力された画像を、処理(圧縮等)する。これについて、更に詳述すると、画像処理部43は、図3(a)に示されるように、符号化切り替え部61を備えており、この符号化切り替え部61は、制御部46の指示の下、画像圧縮方式を、例えば、JPEG(低圧縮)、JPEG(高圧縮・プログレッシブ化)、MPEG2、MPEG4、H.264から選択して、画像の圧縮処理を行う。JPEGは、静止画の符号化アルゴリズムであり、符号化パラメータの制御により、圧縮率を制御することが可能であるので、適宜、高圧縮率にしたり、低圧縮率にしたりすることができる。MPEG2、MPEG4、H.264は、動画符号化アルゴリズムである。MPEG2は、比較的高画質で送信できる点に特徴を有し、MPEG4は、低い転送レートでも送信できる点に特徴を有し、H.264は、高画質で送信できる点に特徴を有している。制御部46は、例えば、図3(b)に示されるようなマトリクスに基づいて、画像圧縮方法を切り替える(これについては、後に更に詳述する)。
【0033】
図2(a)に戻り、画像出力部44は、操作処理部47の指示に従って、プロジェクタ4を制御してアノテーション(図形)等を診断対象物7に描画する。通信制御部45は、画像処理部43で処理された画像データの送信や、クライアント2,2’との間のカメラ操作情報の送信制御を行う。これについて、更に詳述すると、通信制御部45は、図4に示されるように、通信方法切り替え部62を含んでおり、この通信方法切り替え部62は、制御部46の指示の下、例えば、送信方法(送信プロトコル)をUDP(User Datagram Protocol)とTCP(Transmission Control Protocol)とから選択して切り替え、画像データの通信を行う。
【0034】
図2(a)に戻り、制御部46は、動き検出部42や操作処理部47からの信号に応じて、画像処理部43や通信制御部45を制御する。操作処理部47は、通信制御装置45を介してクライアント2(2’)のユーザからの指示や、サーバ1の近傍にいるユーザからの指示を受け、その操作指示を、画像処理部43、通信制御部45、制御部46などに通知する。
【0035】
次に、クライアント2(2’)の機能構成について、図2(b)に基づいて説明する。クライアント2(2’)は、図2(b)に示されるように、画像表示部51と、画像処理部52と、操作入力部53と、通信制御部54と、操作処理部55とを備えている。
【0036】
画像表示部51は、サーバ1から送信されてきた画像を、ディスプレイ21(21’)に表示する。画像処理部52は、サーバ1からの画像を、符号化方式及び送信方法(送信プロトコル)に応じて、表示用に画像データを処理する。操作入力部53は、ユーザにより入力インタフェース24(24’)を介して入力される操作情報を受け取るとともに、その操作情報を通信制御部54に通知する。通信制御部54は、サーバ1から送信されてくる画像データを受信したり、操作入力部53から送られてくるユーザの操作情報をサーバ1側(操作処理部47(図2(a)参照))に送信する。操作処理部55は、操作入力部53により受け取られた操作情報を処理して、通信制御部54に対して出力する。
【0037】
次に、本実施形態の遠隔診断システム100における処理について、図5、図6に基づいて説明する。なお、この処理の前提として、通信路の状態は、「良好」であるものとする。すなわち、本実施形態では、動きのない俯瞰画像を送信する場合には、図3(b)のマトリクスに示されるように、圧縮形式としてJPEG(低圧縮)を選択するととともに、送信方法(送信プロトコル)としてTCPを選択する(これを「第1モード」と呼ぶ)。また、動きのある俯瞰画像を送信する場合には、動きを優先する(すなわち、画像が動いているときは、画質の低下を許容する)ため、図3(b)のマトリクスに示されるように、圧縮形式としてMPEG2を選択するとともに、送信方法(送信プロトコル)としてUDPを選択する(これを「第2モード」と呼ぶ)。さらに、拡大画像を送信する場合には、画質を優先する(すなわち、画像が動いているときでも、高画質の画像が送信されるようにする)ため、図3(b)のマトリクスに示されるように、圧縮形式としてH.264を選択するとともに、送信方法(送信プロトコル)としてTCPを選択する(これを「第3モード」と呼ぶ)。これらを表にまとめたものが図7に示されている。
【0038】
まず、図5のフローチャートに沿って、サーバ1による俯瞰画像の送信処理について説明する。
【0039】
図5のステップS10では、ユーザにより不図示の診断台上に診断対象物7が載置されるとともに、入力インタフェース24(24’)を介して、診断開始ボタン等が押されることにより診断開始指示が出され、操作処理部47が、その診断開始指示を受け取ったか否かを、サーバ1の制御部46により判断する。ここでの判断が肯定されると、ステップS12に移行して、遠隔診断を開始し、ステップS14に移行して、制御部46が、通信制御部45からクライアント2、2’に対して、ビデオカメラ5で撮影された俯瞰画像が既に送信されているか否かを判断する。
【0040】
このステップS14の判断が否定されると、ステップS16に移行し、制御部46は、画像送信のモード(以下、「画像送信モード」と呼ぶ)を「第1モード」に設定(画像処理部43の圧縮方式をJPEG(低圧縮)形式に設定するとともに、通信制御部45の通信プロトコルをTCPに設定)し、通信制御部45において、TCPにてJPEG(低圧縮)で圧縮された画像データを、クライアント2、2’に向けて送信した後、ステップS18に移行する。これに対し、クライアント2、2’では、通信制御部54を介して画像データを受け取ると、画像処理部52に画像データを送り、そこで復号化して、画像表示部51に送る。画像表示部51では、ディスプレイ21(21’)のウィンドウ22aの表示領域23a内に復号化された俯瞰画像を表示する。
【0041】
これに対し、ステップS14の判断が肯定された場合(すなわち、俯瞰画像(データ)が既に送信されていた場合)には、上記ステップS16を経ずに、ステップS18に移行する。
【0042】
ステップS18では、動き検出部42が、俯瞰画像に動きがあるか否かを判断する。そして、俯瞰画像に動きが生じた段階(例えば所定数以上の画素において継続的に変化があった段階)で、ステップS18の判断が肯定され、次のステップS20に移行して、画像送信モードを「第2モード」に変更する(画像処理部43の圧縮方式をMPEG2形式に切り替えるとともに、通信制御部45の通信プロトコルをUDPに切り替える)。
【0043】
次いで、ステップS22では、画像処理部43にて俯瞰画像をMPEG2で圧縮した画像データを、通信制御部45がUDPにてクライアント2、2’に送信する。その後、動きが終了するまで、第2モードで画像データを送り続け(ステップS24)、動きが終了した段階で、ステップS26に移行する。なお、クライアント2、2’では、通信制御部54を介して画像データを受け取ると、画像処理部52に俯瞰画像データを送り、そこで復号化して、画像表示部51に送る。画像表示部51では、ディスプレイ21(21’)のウィンドウ22aの表示領域23a内に復号化された俯瞰画像(動画)を表示する。
【0044】
次いで、ステップS26では、画像送信モードを再度第1モード(JPEG(低圧縮)、TCP)に変更し、ステップS28に移行する。そして、ステップS28では、動きが終了した状態の俯瞰画像(画像処理部43にて処理された画像データ)を、通信制御部45を介して、第1モードでクライアント2,2’に送信し、図5の全処理を終了する。なお、クライアント2,2’では、通信制御部54を介して画像データを受け取ると画像処理部52に俯瞰画像データを送り、そこで復号化して、画像表示部51に送る。画像表示部51では、ディスプレイ21(21’)のウィンドウ22aの表示領域23a内に復号化された俯瞰画像を表示する。
【0045】
次に、図6のフローチャートに沿って、サーバ1による、拡大画像の送信処理について説明する。
【0046】
図6のステップS30では、クライアント2(2’)のユーザにより、入力インタフェース24(24’)を介して、拡大用カメラの利用ボタンが押されることにより、拡大用カメラ6の利用設定がされたか否かを制御部46が判断する。ここでの判断が肯定されると、ステップS32に移行して、制御部46は、画像送信モードを、「第3モード」に変更する(画像処理部43の圧縮方式をH.264形式に切り替えるとともに、通信制御部45の通信プロトコルをTCPに切り替える)。
【0047】
次いで、ステップS34では、画像処理部43においてH.264により圧縮処理された拡大画像の画像データを、通信制御部45が、クライアント2、2’の通信制御部54に向けて送信する。クライアント2、2’では、通信制御部54を介して拡大画像データを受け取ると、画像処理部52に俯瞰画像データを送り、そこで復号化して、画像表示部51に送る。画像表示部51では、ディスプレイ21(21’)のウィンドウ22aの表示領域23a内に復号化された拡大画像を表示する。
【0048】
次のステップS36では、クライアント2(2’)のユーザにより、入力インタフェース24(24’)を介して、拡大用カメラ6の利用終了ボタンが押されることにより、拡大用カメラ6の利用設定が解除されたか否かを制御部46が判断する。通信制御部45は、ここでの判断が肯定されるまで、拡大画像データを送信するが、判断が肯定された段階で、拡大画像データの送信を中止し、ステップS38に移行して、画像送信モードを「第1モード」に変更する。
【0049】
次のステップS40では、拡大用カメラ6を利用している間に、俯瞰画像に変化があったか否かを判断する。ここでの判断が肯定された場合には、ステップS42において俯瞰画像(俯瞰画像データ)をクライアント2及び2’に向けて第1モードで送信した後、図6の全フローチャート(処理・判断)を終了する。なお、クライアント2、2’では、通信制御部54を介して画像データを受け取ると、画像処理部52に俯瞰画像データを送り、そこで復号化して、画像表示部51に送る。画像表示部51では、ディスプレイ21(21’)のウィンドウ22aの表示領域23a内に復号化された俯瞰画像を表示する。
【0050】
これに対し、ステップS40の判断が否定された場合には、ステップS42を経ずに、図6の全処理を終了する。
【0051】
以上詳細に説明したように、本実施形態の遠隔診断システムによると、俯瞰画像に動き(継続した変化)が無い場合にその俯瞰画像を送信する第1モードと、俯瞰画像に動きがある場合にその俯瞰画像を送信する第2モードと、拡大用カメラ6を用いて撮影された拡大画像を送信する第3モードとで、符号化方式と送信方法を変更して、画像の送信を行うので、各画像に応じた適切な符号化方式及び送信方法を選択することで、ユーザのニーズ及びサーバ・クライアント間の通信速度等に応じた適切な画像送信を実現することができる。特に、本実施形態では、俯瞰画像に動きがある場合には、診断対象物7の移動やビデオカメラ5のパン・チルト・ズーム動作などが行われている場合が多いため、その画像は、俯瞰画像を観察するユーザにとっては重要ではない画像である可能性が高く、その一方で、俯瞰画像に動きがない場合には、その画像は、俯瞰画像を観察するユーザにとって比較的重要な画像である可能性が高いので、それらの事情を考慮した適切な符号化方式及び送信方法(前者の場合は、例えばMPEG2及びUDP、後者の場合は、例えばJPEG(低圧縮)及びTCP)を選択することにより、適切な画像送信を実現することができる。
【0052】
また、本実施形態では、第3モードの符号化方式を、第2モードの符号化方式(MPEG2)よりも、俯瞰画像が高画質となる符号化方式(H.264)とし、第3モードの送信方法(送信プロトコル)を、第2モードの送信方法(UDP)よりも、信頼性の高い送信方法(TCP)としているので、画像を観察するユーザ(診断対象物7を診断するユーザ)にとって重要な画像である可能性の高い拡大画像を、適切に送信することができる。
【0053】
なお、上記実施形態では、図5、図6の処理と並行して、図8のような処理を行うこととしても良い。この図8の処理は、クライアント2(2’)のユーザが選択した部分の画像を、サーバ1からクライアント2,2’へ送信するというものである。
【0054】
具体的には、クライアント2(2’)において、ユーザが入力インタフェース24(24’)を介して俯瞰画像上の一部分を囲む図形を描き、かつその図形により囲まれた一部分(選択された領域)を拡大して送信する旨の指示を出した場合には、その指示情報は、クライアント2(2’)の操作入力部53、操作処理部55を介して、通信制御部54から、サーバ1の操作処理部47に送られるため、制御部46では、そのような指示情報がクライアント2,2’側から送られてきたか否かを、図8のステップS44において判断する。ここでの判断が肯定されると、ステップS46に移行する。
【0055】
ステップS46では、画像出力部44が、操作処理部47に入力された指示情報に基づいて、プロジェクタ4を介して、診断対象物7上に図形(選択された領域に対応)を投影する。この投影状態の具体例が、図9(a)に示されている(投影されている図形には、符号「71」が付されている)。
【0056】
次いで、ステップS48では、画像処理部43が、当該選択された領域を画像入力部41に入力された画像から認識して、抽出する。
【0057】
次いで、ステップS50では、制御部46が、画像送信モードを「第1モード」に設定し、次のステップS52では、抽出された部分の画像のみを、画像処理部43が圧縮形式JPEG(低圧縮)で圧縮し、その圧縮データを、通信制御部45からTCPにてクライアント2,2’に向けて送信し、図8の全処理を終了する。なお、クライアント22’では、通信制御部54を介して抽出画像データを受け取ると、画像処理部52に抽出部分の画像データを送り、そこで復号化して、画像表示部51に送る。画像表示部51では、図9(b)に示されるように、ディスプレイ21(21’)のウィンドウ22bの表示領域23b内に復号化された抽出部分の画像を表示する。
【0058】
このようにすることにより、ユーザは、特に観察したい部分(診断したい部分)を図形で囲むだけで、その部分の高画質画像をディスプレイ21(21’)上に表示することが可能である。なお、上記においては、サーバ1は、図形により囲まれた部分のみをクライアント2,2’に送信することとしたが、これに限られるものではなく、例えば、図形により囲まれた部分のみを高画質、それ以外の部分を低画質として、俯瞰画像全体を送信するようにしても良い。
【0059】
なお、上記実施形態では、拡大画像データの送信が、常に第3モード(圧縮方式としてH.264が設定され、送信方法としてTCPが設定された状態)で行われる場合について説明したが、これに限られるものではなく、例えば、拡大画像に動きが無いような場合(クライアント2,2’のユーザが拡大用カメラ6のパン・チルト・ズーム操作をしない場合など)には、サーバ1は、拡大画像を、静止画としてクライアント2、2’に送信することとしても良い。この場合、例えば、拡大画像データを、第1モードと同一の設定(符号化方式及び送信方法)で送ることとすることができる。また、例えば、拡大画像においても俯瞰画像と同様、拡大画像に動きがあるときには低画質で送信し、動きが無いときにのみ高画質で送信するようにしても良い。
【0060】
また、上記実施形態においては、ユーザが、各モードの符号化方式や送信方法を選択することができるようにしても良い。特に、第3モードの拡大画像データについて、ユーザのニーズ(動きを優先するか画質を優先するかなどのニーズ)に応じた符号化方式及び送信方法を決定できるような機能(設定手段)を、クライアント2,2’及びサーバ1に設けておくこととしても良い。
【0061】
なお、上記実施形態では、特に説明をしなかったが、ユーザが拡大用カメラ6を利用している間においては、サーバ1からクライアント2、2’に対する俯瞰画像の送信を中止(一時中断)することとしても良いし、あるいは、拡大画像の送信と並行して俯瞰画像の送信を行うが、拡大画像の送信の方を優先する(すなわち、俯瞰画像の送信の際には画質を落としたり、通信速度を落としたりする)こととしても良い。
【0062】
なお、上記実施形態では、通信路の状態が良好である場合を前提に説明したが、通信路の状態は不良である場合もある。このような場合には、図3(b)の右列に表示されている圧縮方式をそれぞれ選択することが可能である。例えば、通信路が不良の状態で、動きのない俯瞰画像を送る場合には、常に画像全体を構成できるような符号化方式及び送信方法を選択する。すなわち、低品質画像を構成できるデータを優先的に送信し、その送信方法で問題が無ければ、より高品質画像を送信することが可能な画像データを送信するという、いわゆるプログレッシブ符号化方式を採用することが可能である。
【0063】
なお、上記実施形態では、俯瞰画像に動きがない場合には、俯瞰画像に変化が発生するまでの間は、俯瞰画像を送らない場合について説明したが(図5のステップS16やステップS28参照)、これに限られるものではなく、俯瞰画像に変化がない場合であっても、クライアント2,2’に俯瞰画像を常時送り続けるようにしても良い。
【0064】
なお、上記実施形態では、俯瞰画像全体で動きの有無を判断し、それにあわせた送信方法を設定する場合について説明したが、これに限られるものではなく、例えば、俯瞰画像をより小さい領域に分割し、各領域ごとに動き検出などを行って、その検出結果に基づいて、領域ごとに符号化方式及び送信方法を設定することとしても良い。
【0065】
なお、上記実施形態では、クライアントが2台(クライアント2、2’)である場合について説明したが、これに限らず、クライアントが3台以上あっても良い。また、ネットワーク構成は、図1のネットワーク構成に限られるものではなく、種々の構成(例えば、サーバ1、クライアント2,2’のいずれかがインターネット3に直接接続されている構成や、サーバ1、クライアント2,2’のそれぞれが同一のイントラネットに接続されている構成)などを採用することが可能である。
【0066】
なお、上記実施形態の図3(a)、図3(b)で示した符号化方式、及び図4で示した送信方法(送信プロトコル)は、一例である。したがって、その他の符号化方式や送信方法を採用することももちろん可能である。
【0067】
上述した実施形態は本発明の好適な実施の例である。但し、これに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変形実施可能である。
【図面の簡単な説明】
【0068】
【図1】一実施形態に係る遠隔診断システムの概略構成を示す図である。
【図2】サーバ及びクライアントの機能構成を示すブロック図である。
【図3】図3(a)は、図2の画像処理部の具体的構成を示すブロック図であり、図3(b)は、符号化方式に関するマトリクスを示す図である。
【図4】図2の通信制御部の具体的構成を示すブロック図である。
【図5】サーバによる俯瞰画像の送信処理を示すフローチャートである。
【図6】サーバによる拡大画像の送信処理を示すフローチャートである。
【図7】第1〜第3モードにおける具体的な符号化方式及び送信方法について示す図である。
【図8】変形例に係るサーバの処理を示すフローチャートである。
【図9】変形例に係るサーバの処理の具体例を示す図である。
【符号の説明】
【0069】
1 サーバ
2 クライアント
2’ クライアント
4 プロジェクタ
5 ビデオカメラ
6 拡大用カメラ
7 診断対象物
43 画像処理部
45 通信制御部
46 制御部
71 図形
100 遠隔診断システム

【特許請求の範囲】
【請求項1】
対象物の俯瞰画像を撮影する俯瞰画像撮影装置及び前記対象物の拡大画像を撮影する拡大画像撮影装置が接続されるとともに、少なくとも前記拡大画像撮影装置を遠隔操作する遠隔操作装置が接続された情報処理装置であって、
前記俯瞰画像及び前記拡大画像を符号化する符号化手段と、
前記符号化手段により符号化された画像を、前記遠隔操作装置に送信する送信手段と、
前記俯瞰画像撮影装置により撮影される前記俯瞰画像に継続した変化が無い場合に、前記俯瞰画像を送信する第1モードと、前記俯瞰画像に継続した変化がある場合に、前記俯瞰画像を送信する第2モードと、前記拡大画像撮影装置により撮影される拡大画像を送信する第3モードとで、前記符号化手段による符号化方式及び前記送信手段による送信方法を変更する変更手段と、を備える情報処理装置。
【請求項2】
前記第1モードの符号化方式は、前記第2モードの符号化方式と比較して、前記俯瞰画像が高画質となる符号化方式であり、
前記第1モードの送信方法は、前記第2モードの送信方法と比較して、信頼性の高い送信方法であることを特徴とする請求項1に記載の情報処理装置。
【請求項3】
前記第3モードの符号化方式は、前記第2モードの符号化方式と比較して、前記俯瞰画像が高画質となる符号化方式であり、
前記第3モードの送信方法は、前記第2モードの送信方法と比較して、信頼性の高い送信方法であることを特徴とする請求項1又は2に記載の情報処理装置。
【請求項4】
前記第2モード及び第3モードの符号化方式は、動画用の符号化方式であることを特徴とする請求項3に記載の情報処理装置。
【請求項5】
前記変更手段は、前記第3モードにおいて前記拡大画像に継続的な変化がない場合に、前記第1モードと同一の符号化方式及び送信方法に設定することを特徴とする請求項4に記載の情報処理装置。
【請求項6】
前記第3モードの符号化方式及び送信方法を、ユーザからの指示に従って設定する設定手段を更に備える請求項4又は5に記載の情報処理装置。
【請求項7】
前記送信手段は、前記拡大画像を送信している間は、前記俯瞰画像の送信を中止することを特徴とする請求項1〜6のいずれか一項に記載の情報処理装置。
【請求項8】
前記対象物に対して図形を投影する投影装置が更に接続され、
前記投影された図形内の画像を抽出する抽出手段を更に備え、
前記変更手段は、前記抽出手段により抽出された画像を、前記第1モードと同一のモードで前記遠隔操作装置に送信することを特徴とする請求項1〜7のいずれか一項に記載の情報処理装置。
【請求項9】
前記第1モードでは、プログレッシブ符号化により、前記俯瞰画像を送信することを特徴とする請求項1〜8のいずれか一項に記載の情報処理装置。
【請求項10】
対象物の俯瞰画像を撮影する俯瞰画像撮影装置及び前記対象物の拡大画像を撮影する拡大画像撮影装置が接続された請求項1〜9のいずれか一項に記載の情報処理装置と、
少なくとも前記拡大画像撮影装置を遠隔操作するとともに、前記情報処理装置から送信された画像を表示する遠隔操作装置と、を備える遠隔診断システム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate


【公開番号】特開2009−60251(P2009−60251A)
【公開日】平成21年3月19日(2009.3.19)
【国際特許分類】
【出願番号】特願2007−224349(P2007−224349)
【出願日】平成19年8月30日(2007.8.30)
【出願人】(000005496)富士ゼロックス株式会社 (21,908)
【Fターム(参考)】