説明

画像遠隔送受信方法及びシステム並びに撮像装置並びに記憶媒体

【課題】 ズームレンズをテレ側に位置したままで、目標とする被写体にカメラの撮影方向を比較的容易に遠隔から制御でき、また、中央の被写体の画像解像度をある程度維持したまま、広角撮影が比較的ローコストで実現できるを画像遠隔送受信方法及びシステムをを提供する。
【解決手段】 カメラ部200側では、CCDセンサ9,16からの画像信号を独立処理し、該処理された信号をA/D変換器19,20で変換し、該変換された画像を画像メモリ23,24に蓄え、該蓄えた撮像画像の画像メモリ23,24上での拡大率をMPU27で判別し、該判別された拡大率判別情報を受信表示装置に画像データと共に送付し、該受信表示装置側では、前記カメラ部200から受信した圧縮画像データを伸長し、該伸長後に受信した拡大率判別情報を基に受信画像を合成し、該合成した画像を画面に表示する。

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、例えば、ローカルエリアネットワーク(LAN)等の回線に直接接続できるカメラを遠隔撮像装置とし、受信表示装置にLAN接続可能なパーソナルコンピュータ等を利用した遠隔撮像送受信システムにより遠隔撮像送受信する遠隔撮像送受信方法及びシステム並びに撮像装置並びにこの遠隔撮像送受信システムを制御するための制御プログラムを格納した記憶媒体に関する。
【0002】
【従来の技術】従来のこの種の遠隔撮像送受信システムにおける遠隔撮像装置としてのカメラの構成を図14に示す。
【0003】同図において、100はカメラの外装カバー、101はレンズユニット、102は前玉レンズで、レンズユニット101の前面に配置されている。103はフォーカスレンズ、104はズームレンズ、105は光量を制御するアイリス羽根、106はフォーカスモータで、フォーカスレンズ103を移動させるモータである。107はズームモータで、ズームレンズ104を移動させるモータである。108はアイリスモータで、アイリス羽根105を移動させるモータで、このアイリス羽根105の移動により後述する撮像部であるCCDセンサ109への光量が制御される。109はCCDセンサで、フォーカスレンズ103及びズームレンズ104を通った光信号を電気信号に変換するものである。
【0004】110はCSD(相関2重サンプリング回路)/AGC(自動利得制御回路)回路である。111はA/D変換器、112はデジタル画像処理するプロセス(Process)回路、113は輝度成分Y及び色成分Cの画像メモリ(輝度メモリ/色差メモリ)、114は画像圧縮回路で、画像メモリ113内のデジタルデータのデータ量を圧縮する回路である。115は動作タイミング発生器(TG:Timing Generater)で、CCDセンサ109の動作タイミングを発生する。116はSSG(Standard Signal Generater)で、TG115のタイミング信号から水平・垂直同期信号等を生成するものである。117はMPU(Micro Processing Unit:超小型演算装置)で、本カメラの動作を制御するものである。
【0005】118はメモリコントローラ(Memory Controller)で、SSG116のタイミング信号に合わせて画像メモリ113への書き込み/読み出しを制御するものである。119はデータパケット回路、120はネットワークインターフェース(Network I/F)である。
【0006】レンズユニット101内では、被写体の光信号は、MPU117の制御データに従ってフォーカスレンズ103とズームレンズ104とにより、CCDセンサ109に精度良く画像を結像させる。この時、CCDセンサ109の最小及び最大内(ダイナミックレンジ)に光量を制限するため、アイリスモータ108によりアイリス羽根105の開きを変え、適正光量がCCDセンサ109に入るように調整する。
【0007】被写体の光信号は、適正時間CCDセンサ109に照射され、該CCDセンサ109は、その光エネルギーを光電変換して電気信号として内部に蓄える。この蓄えられた電気信号は、TG115のクロックに従って順にフィールド単位で読み出され、CSD/AGC回路110により相関2重サンプリングとゲイン調整が行われる。このCCDセンサ109の画素毎に蓄積されたアナログ映像信号は、順にA/D変換器111によりデジタルデータに変換される。
【0008】プロセス回路112は、前記デジタル画像信号に対して所定の色処理・ホワイトバランス調整処理等をデジタル的に行い、適正レベルに調整されたデジタルビデオ信号であるY、U/Vデジタル信号を出力する。また、プロセス回路112では、レンズユニット101を駆動するために必要な鮮鋭度信号等を取り出し、MPU117に出力する。
【0009】プロセス回路112で計算されたY、U/Vデジタル信号は、SSG116からの垂直(V)・水平(H)同期信号及び画素タイミング信号に同期して、メモリコントローラ118で作成されたアドレス・書き込みクロックに従って、画像メモリ113に一時記憶される。
【0010】一方、画像メモリ113からは、順にメモリコントローラ118の読み出しタイミング制御信号に従って読み出された画像圧縮回路114により、M−JPEG等の画像圧縮処理が施され、データパケット回路119によりTCP/IP等のLAN(ローカルエリアネットワーク)プロトコルに添って受信PC(図示省略)に送られる。前記PC上に起動されたアプリケーションソフトにより順にパケットデータから圧縮画像データを読み出し、ソフトウエア画像伸張してモニタ画面に表示する。
【0011】
【発明が解決しようとする課題】しかしながら、上述した従来例にあっては、ズームレンズ104が12倍等の高倍率側にある時、目標の被写体にカメラの撮像方向を遠隔から向けるには、撮像範囲が非常に狭く、回線の帯域が小さい場合や、回線遅延が大きい場合は、目標とする被写体にカメラを向けるには非常に困難で多くの時間がかかった。または、一度ズームレンズ104をテレ(Tele)側からワイド(Wide:広角)側に移動して、常に被写体が中央に位置するようにカメラの向きを制御しながらズームレンズ104をテレ側に移動して、被写体を撮影画面の中で好みのサイズに合わせていた。また、人物が複数集まった被写体全体をある距離から撮影しようとしたとき、中央付近の人物をある程度の画質で撮影するには、CCDセンサ109を3つ使った高価なカメラやハイビジョン等のカメラを使う以外に方法が無かった。
【0012】本発明は上述した従来の技術の有するこのような問題点に鑑みてなされたものであり、その第1の目的とするところは、ズームレンズをテレ側に位置したままで、目標とする被写体にカメラの撮影方向を比較的容易に遠隔から制御でき、また、中央の被写体の画像解像度をある程度維持したまま、広角撮影が比較的ローコストで実現できる画像遠隔送受信方法及びシステムを提供することにある。
【0013】また、本発明の第2の目的とするところは、上述したシステムに最適な撮像装置を提供することにある。
【0014】また、本発明の第3の目的とするところは、上述した本発明の画像遠隔送受信システムを制御するための制御プログラムを格納した記憶媒体を提供することにある。
【0015】
【課題を解決するための手段】上記第1の目的を達成するために請求項1記載の画像遠隔送受信方法は、通信回線に直接接続できる遠隔撮像装置と、該遠隔撮像装置から送信される撮像画像を受信表示する受信表示装置とからなる画像遠隔送受信システムにより画像を遠隔送受信する画像遠隔送受信方法であって、前記遠隔撮像装置側には、それぞれ独立した2つの撮像素子からの画像信号をそれぞれ独立に処理する信号処理過程と、前記信号処理過程により処理された信号をデジタル化するA/D変換過程と、前記A/D変換過程により変換されたそれぞれのデジタル画像をメモリ手段に別々に蓄えるメモリ過程と、前記メモリ手段に蓄えられた撮像画像の前記メモリ手段上での拡大率を判別する拡大率判別過程と、前記拡大率判別過程により判別された拡大率判別情報を受信端である前記受信表示装置に画像データと共に送付する送付過程とを有し、前記受信表示装置側には、前記遠隔撮像装置から受信した圧縮画像データを伸長する伸長過程と、前記伸長過程により伸長後に前記受信した拡大率判別情報を基に前記受信画像を合成する合成過程と、前記合成過程により合成した画像を画面に表示する表示過程とを有することを特徴とする。
【0016】また、上記第1の目的を達成するために請求項2記載の画像遠隔送受信方法は、請求項1記載の画像遠隔送受信方法において、前記通信回線は、ローカルエリアネットワークであることを特徴とする。
【0017】また、上記第1の目的を達成するために請求項3記載の画像遠隔送受信方法は、請求項1記載の画像遠隔送受信方法において、前記遠隔撮像装置は、カメラであることを特徴とする。
【0018】また、上記第1の目的を達成するために請求項4記載の画像遠隔送受信方法は、請求項1記載の画像遠隔送受信方法において、前記受信表示装置は、パーソナルコンピュータであることを特徴とする。
【0019】また、上記第1の目的を達成するために請求項5記載の画像遠隔送受信方法は、請求項1記載の画像遠隔送受信方法において、前記撮像素子は、CCDセンサであることを特徴とする。
【0020】また、上記第1の目的を達成するために請求項6記載の画像遠隔送受信方法は、請求項1記載の画像遠隔送受信方法において、前記拡大率判別過程は、前記遠隔撮像装置のAF(オートフォーカス)動作の終了を待ってから拡大率判別処理を実行することを特徴とする。
【0021】また、上記第1の目的を達成するために請求項7記載の画像遠隔送受信システムは、通信回線に直接接続できる遠隔撮像装置と、該遠隔撮像装置から送信される撮像画像を受信表示する受信表示装置とからなる画像遠隔送受信システムであって、前記遠隔撮像装置側には、それぞれ独立した2つの撮像素子からの画像信号をそれぞれ独立に処理する信号処理手段と、前記信号処理手段により処理された信号をデジタル化するA/D変換手段と、前記A/D変換手段により変換されたそれぞれのデジタル画像を別々に蓄えるメモリ手段と、前記メモリ手段に蓄えられた撮像画像の前記メモリ手段上での拡大率を判別する拡大率判別手段と、前記拡大率判別手段により判別された拡大率判別情報を受信端である前記受信表示装置に画像データと共に送付する送付手段とを有し、前記受信表示装置側には、前記遠隔撮像装置から受信した圧縮画像データを伸長する伸長手段と、前記伸長手段により伸長後に前記受信した拡大率判別情報を基に前記受信画像を合成する合成手段と、前記合成手段により合成した画像を画面に表示する表示手段とを有することを特徴とする。
【0022】また、上記第1の目的を達成するために請求項8記載の画像遠隔送受信システムは、請求項7記載の画像遠隔送受信システムにおいて、前記通信回線は、ローカルエリアネットワークであることを特徴とする。
【0023】また、上記第1の目的を達成するために請求項9記載の画像遠隔送受信システムは、請求項7記載の画像遠隔送受信システムにおいて、前記遠隔撮像装置は、カメラであることを特徴とする。
【0024】また、上記第1の目的を達成するために請求項10記載の画像遠隔送受信システムは、請求項7記載の画像遠隔送受信システムにおいて、前記受信表示装置は、パーソナルコンピュータであることを特徴とする。
【0025】また、上記第1の目的を達成するために請求項11記載の画像遠隔送受信システムは、請求項7記載の画像遠隔送受信システムにおいて、前記拡大率判別過程は、前記遠隔撮像装置のAF(オートフォーカス)動作の終了を待ってから拡大率判別処理を実行することを特徴とする。
【0026】また、上記第1の目的を達成するために請求項12記載の画像遠隔送受信方法は、通信回線に直接接続できる遠隔撮像装置と、該遠隔撮像装置から送信される撮像画像を受信表示する受信表示装置とからなる画像遠隔送受信システムにより画像を遠隔送受信する画像遠隔送受信方法であって、前記遠隔撮像装置側には、レンズからの光を第1及び第2の光に分岐する分岐過程と、前記分岐過程により分岐された第1の光を倍率/焦点距離固定のレンズを通過後に第1の撮像素子に導入する第1導入過程と、前記分岐過程により分岐された第2の光を倍率/焦点距離可変のレンズを通過後に第2の撮像素子に導入する第2導入過程と、前記第1及び第2の撮像素子の撮像信号を輝度信号と色信号としてプロセス処理するプロセス処理過程と、前記プロセス処理過程により処理された画像信号をA/D変換するA/D変換過程と、前記A/D変換過程により変換されたそれぞれのデジタル画像を第1の画像メモリ手段及び第2の画像メモリ手段に別々に蓄えるメモリ過程と、前記第1の画像メモリ手段及び第2の画像メモリ手段にそれぞれ蓄えられた第1の画像と第2の画像の拡大比率及び位置座標を検出する検出過程と、前記第1の画像メモリ手段及び第2の画像メモリ手段に蓄えられた画像をそれぞれ独立した圧縮比率で受信端である前記受信表示装置に前記検出過程により検出された検出情報と共に送付する送付過程とを有し、前記受信表示装置側には、前記遠隔撮像装置から受信した圧縮画像データを伸長する伸長過程と、前記伸長過程により伸長後に前記受信した拡大比率を基に前記受信画像を合成する合成過程と、前記合成過程により合成した画像を画面に表示する表示過程とを有することを特徴とする。
【0027】また、上記第1の目的を達成するために請求項13記載の画像遠隔送受信方法は、請求項12記載の画像遠隔送受信方法において、前記通信回線は、ローカルエリアネットワークであることを特徴とする。
【0028】また、上記第1の目的を達成するために請求項14記載の画像遠隔送受信方法は、請求項12記載の画像遠隔送受信方法において、前記遠隔撮像装置は、カメラであることを特徴とする。
【0029】また、上記第1の目的を達成するために請求項15記載の画像遠隔送受信方法は、請求項12記載の画像遠隔送受信方法において、前記受信表示装置は、パーソナルコンピュータであることを特徴とする。
【0030】また、上記第1の目的を達成するために請求項16記載の画像遠隔送受信方法は、請求項12記載の画像遠隔送受信方法において、前記撮像素子は、CCDセンサであることを特徴とする。
【0031】また、上記第1の目的を達成するために請求項17記載の画像遠隔送受信方法は、請求項12記載の画像遠隔送受信方法において、前記分岐手段は、プリズムであることを特徴とする。
【0032】また、上記第1の目的を達成するために請求項18記載の画像遠隔送受信方法は、請求項12記載の画像遠隔送受信方法において、前記拡大率判別過程は、前記遠隔撮像装置のAF(オートフォーカス)動作の終了を待ってから拡大率判別処理を実行することを特徴とする。
【0033】また、上記第1の目的を達成するために請求項19記載の画像遠隔送受信システムは、通信回線に直接接続できる遠隔撮像装置と、該遠隔撮像装置から送信される撮像画像を受信表示する受信表示装置とからなる画像遠隔送受信システムであって、前記遠隔撮像装置側には、レンズからの光を第1及び第2の光に分岐する分岐手段と、前記分岐手段により分岐された第1の光を倍率/焦点距離固定のレンズを通過後に第1の撮像素子に導入する第1導入手段と、前記分岐手段により分岐された第2の光を倍率/焦点距離可変のレンズを通過後に第2の撮像素子に導入する第2導入手段と、前記第1及び第2の撮像素子の撮像信号を輝度信号と色信号としてプロセス処理するプロセス処理手段と、前記プロセス処理手段により処理された画像信号をA/D変換するA/D変換手段と、前記A/D変換手段により変換されたそれぞれのデジタル画像を別々に蓄える第1の画像メモリ手段及び第2の画像メモリ手段と、前記第1の画像メモリ手段及び第2の画像メモリ手段にそれぞれ蓄えられた第1の画像と第2の画像の拡大比率及び位置座標を検出する検出手段と、前記第1の画像メモリ手段及び第2の画像メモリ手段に蓄えられた画像をそれぞれ独立した圧縮比率で受信端である前記受信表示装置に前記検出手段により検出された検出情報と共に送付する送付手段とを有し、前記受信表示装置側には、前記遠隔撮像装置から受信した圧縮画像データを伸長する伸長手段と、前記伸長手段により伸長後に前記受信した拡大比率を基に前記受信画像を合成する合成手段と、前記合成手段により合成した画像を画面に表示する表示手段とを有することを特徴とする。
【0034】また、上記第1の目的を達成するために請求項20記載の画像遠隔送受信システムは、請求項19記載の画像遠隔送受信システムにおいて、前記通信回線は、ローカルエリアネットワークであることを特徴とする。
【0035】また、上記第1の目的を達成するために請求項21記載の画像遠隔送受信システムは、請求項20記載の画像遠隔送受信システムにおいて、前記遠隔撮像装置は、カメラであることを特徴とする。
【0036】また、上記第1の目的を達成するために請求項22記載の画像遠隔送受信システムは、請求項20記載の画像遠隔送受信システムにおいて、前記受信表示装置は、パーソナルコンピュータであることを特徴とする。
【0037】また、上記第1の目的を達成するために請求項23記載の画像遠隔送受信システムは、請求項20記載の画像遠隔送受信システムにおいて、前記撮像素子は、CCDセンサであることを特徴とする。
【0038】また、上記第1の目的を達成するために請求項24記載の画像遠隔送受信システムは、請求項20記載の画像遠隔送受信システムにおいて、前記分岐手段は、プリズムであることを特徴とする。
【0039】また、上記第1の目的を達成するために請求項25記載の画像遠隔送受信システムは、請求項19記載の画像遠隔送受信システムにおいて、前記拡大率判別過程は、前記遠隔撮像装置のAF(オートフォーカス)動作の終了を待ってから拡大率判別処理を実行することを特徴とする。
【0040】また、上記第2の目的を達成するために請求項26記載の画像装置は、それぞれ独立した2つの撮像素子からの画像信号をそれぞれ独立に処理する信号処理手段と、前記信号処理手段により処理された信号をデジタル化するA/D変換手段と、前記A/D変換手段により変換されたそれぞれのデジタル画像を別々に蓄えるメモリ手段と、前記メモリ手段に蓄えられた撮像画像の前記メモリ手段上での拡大率を判別する拡大率判別手段とを有することを特徴とする。
【0041】また、上記第2の目的を達成するために請求項27記載の撮像装置は、請求項26記載の撮像装置において、前記拡大率判別手段により判別された拡大率判別情報をネットワークを介して受信表示装置に送付する送付手段を有することを特徴とする。
【0042】また、上記第2の目的を達成するために請求項28記載の撮像装置は、レンズからの光を第1及び第2の光に分岐する分岐手段と、前記分岐手段により分岐された第1の光を倍率/焦点距離固定のレンズを通過後に第1の撮像素子に導入する第1導入手段と、前記分岐手段により分岐された第2の光を倍率/焦点距離可変のレンズを通過後に第2の撮像素子に導入する第2導入手段と、前記第1,第2の撮像素子の撮像信号を輝度信号と色信号としてプロセスするプロセス処理手段と、前記プロセス処理手段により処理された画像信号をA/D変換するA/D変換手段と、前記第1,第2の撮像素子によって撮像され且つ前記A/D変換手段によってデジタル変換された第1,第2のデジタル画像を蓄積する画像メモリ手段と、前記画像メモリ手段によって蓄積された前記第1,第2の画像の拡大比率及び相対的に対応する画像領域の位置を検出する検出手段とを有することを特徴とする。
【0043】また、上記第2の目的を達成するために請求項29記載の撮像装置は、請求項28記載の撮像装置において、前記検出手段により検出された前記第1,第2の画像の拡大比率及び相対的に対応する画像領域の位置に関する情報を送付する送付手段を有することを特徴とする。
【0044】また、上記第3の目的を達成するために請求項30記載の記憶媒体は、通信回線に直接接続できる遠隔撮像装置と、該遠隔撮像装置から送信される撮像画像を受信表示する受信表示装置とからなる画像遠隔送受信システムを制御するための制御プログラムを格納した記憶媒体であって、前記制御プログラムは、前記遠隔撮像装置側において実行される制御プログラムと、前記受信表示装置側で実行される制御プログラムとからなり、前記遠隔撮像装置側において実行される制御プログラムは、それぞれ独立した2つの撮像素子からの画像信号をそれぞれ独立に処理する信号処理モジュールと、前記信号処理モジュールにより処理された信号をデジタル化するA/D変換モジュールと、前記A/D変換モジュールにより変換されたそれぞれのデジタル画像をメモリ手段に別々に蓄えるメモリモジュールと、前記メモリ手段に蓄えられた撮像画像の前記メモリ手段上での拡大率を判別する拡大率判別モジュールと、前記拡大率判別モジュールにより判別された拡大率判別情報を受信端である前記受信表示装置に画像データと共に送付する送付モジュールとを有し、前記受信表示装置側で実行される制御プログラムは、前記遠隔撮像装置から受信した圧縮画像データを伸長する伸長モジュールと、前記伸長モジュールにより伸長後に前記受信した拡大率判別情報を基に前記受信画像を合成する合成モジュールと、前記合成モジュールにより合成した画像を画面に表示する表示モジュールとを有することを特徴とする。
【0045】また、上記第3の目的を達成するために請求項31記載の記憶媒体は、請求項30記載の記憶媒体において、前記通信回線は、ローカルエリアネットワークであることを特徴とする。
【0046】また、上記第3の目的を達成するために請求項32記載の記憶媒体は、請求項30記載の記憶媒体において、前記遠隔撮像装置は、カメラであることを特徴とする。
【0047】また、上記第3の目的を達成するために請求項33記載の記憶媒体は、請求項30記載の記憶媒体において、前記受信表示装置は、パーソナルコンピュータであることを特徴とする。
【0048】また、上記第3の目的を達成するために請求項34記載の記憶媒体は、請求項30記載の記憶媒体において、前記撮像素子は、CCDセンサであることを特徴とする。
【0049】また、上記第3の目的を達成するために請求項35記載の記憶媒体は、請求項30記載の記憶媒体において、前記分岐手段は、プリズムであることを特徴とする。
【0050】また、上記第3の目的を達成するために請求項36記載の記憶媒体は、請求項30記載の記憶媒体において、前記拡大率判別モジュールは、前記遠隔撮像装置のAF(オートフォーカス)動作の終了を待ってから拡大率判別処理を実行することを特徴とする。
【0051】また、上記第3の目的を達成するために請求項37記載の記憶媒体は、通信回線に直接接続できる遠隔撮像装置と、該遠隔撮像装置から送信される撮像画像を受信表示する受信表示装置とからなる画像遠隔送受信システムを制御するための制御プログラムを格納した記憶媒体であって、前記制御プログラムは、前記遠隔撮像装置側において実行される制御プログラムと、前記受信表示装置側で実行される制御プログラムとからなり、前記遠隔撮像装置側において実行される制御プログラムは、レンズからの光を第1及び第2の光に分岐する分岐モジュールと、前記分岐モジュールにより分岐された第1の光を倍率/焦点距離固定のレンズを通過後に第1の撮像素子に導入する第1導入モジュールと、前記分岐モジュールにより分岐された第2の光を倍率/焦点距離可変のレンズを通過後に第2の撮像素子に導入する第2導入モジュールと、前記第1及び第2の撮像素子の撮像信号を輝度信号と色信号としてプロセス処理するプロセス処理モジュールと、前記プロセス処理モジュールにより処理された画像信号をA/D変換するA/D変換モジュールと、前記A/D変換モジュールにより変換されたそれぞれのデジタル画像を第1の画像メモリ手段及び第2の画像メモリ手段に別々に蓄えるメモリモジュールと、前記第1の画像メモリ手段及び第2の画像メモリ手段にそれぞれ蓄えられた第1の画像と第2の画像の拡大比率及び位置座標を検出する検出モジュールと、前記第1の画像メモリ手段及び第2の画像メモリ手段に蓄えられた画像をそれぞれ独立した圧縮比率で受信端である前記受信表示装置に前記検出モジュールにより検出された検出情報と共に送付する送付モジュールとを有し、前記受信表示装置側で実行される制御プログラムは、前記遠隔撮像装置から受信した圧縮画像データを伸長する伸長モジュールと、前記伸長モジュールにより伸長後に前記受信した拡大比率を基に前記受信画像を合成する合成モジュールと、前記合成モジュールにより合成した画像を画面に表示する表示モジュールとを有することを特徴とする。
【0052】また、上記第3の目的を達成するために請求項38記載の記憶媒体は、請求項37記載の記憶媒体において、前記通信回線は、ローカルエリアネットワークであることを特徴とする。
【0053】また、上記第3の目的を達成するために請求項39記載の記憶媒体は、請求項37記載の記憶媒体において、前記遠隔撮像装置は、カメラであることを特徴とする。
【0054】また、上記第3の目的を達成するために請求項40記載の記憶媒体は、請求項37記載の記憶媒体において、前記受信表示装置は、パーソナルコンピュータであることを特徴とする。
【0055】また、上記第3の目的を達成するために請求項41記載の記憶媒体は、請求項37記載の記憶媒体において、前記撮像素子は、CCDセンサであることを特徴とする。
【0056】また、上記第3の目的を達成するために請求項42記載の記憶媒体は、請求項37記載の記憶媒体において、前記分岐手段は、プリズムであることを特徴とする。
【0057】また、上記第3の目的を達成するため請求項43記載の記憶媒体は、請求項30乃至41または42記載の記憶媒体において、前記記憶媒体は、フロッピーディスクであることを特徴とする。
【0058】また、上記第3の目的を達成するため請求項44記載の記憶媒体は、請求項30乃至41または42記載の記憶媒体において、前記記憶媒体は、ハードディスクであることを特徴とする。
【0059】また、上記第3の目的を達成するため請求項45記載の記憶媒体は、請求項30乃至41または42記載の記憶媒体において、前記記憶媒体は、光ディスクであることを特徴とする。
【0060】また、上記第3の目的を達成するため請求項46記載の記憶媒体は、請求項30乃至41または42記載の記憶媒体において、前記記憶媒体は、光磁気ディスクであることを特徴とする。
【0061】また、上記第3の目的を達成するため請求項47記載の記憶媒体は、請求項30乃至41または42記載の記憶媒体において、前記記憶媒体は、CD−ROM(Compact Disk Read Only Memory)であることを特徴とする。
【0062】また、上記第3の目的を達成するため請求項48記載の記憶媒体は、請求項30乃至41または42記載の記憶媒体において、前記記憶媒体は、CD−R(Compact Disk Recordable)であることを特徴とする。
【0063】また、上記第3の目的を達成するため請求項49記載の記憶媒体は、請求項30乃至41または42記載の記憶媒体において、前記記憶媒体は、磁気テープであることを特徴とする。
【0064】また、上記第3の目的を達成するため請求項50記載の記憶媒体は、請求項30乃至41または42記載の記憶媒体において、前記記憶媒体は、不揮発性メモリカードであることを特徴とする。
【0065】更に、上記第3の目的を達成するため請求項51記載の記憶媒体は、請求項30乃至41または42記載の記憶媒体において、前記記憶媒体は、ROM(Read Only Memory)チップであることを特徴とする。
【0066】
【発明の実施の形態】以下、本発明の各実施の形態を図面に基づき説明する。
【0067】(第1の実施の形態)まず、本発明の第1の実施の形態を図1乃至図12に基づき説明する。
【0068】図1は、本実施の形態に係る画像遠隔送受信システムにおける画像入力用の遠隔撮像装置としてのカメラ部の構成を示すブロック図である。同図において、200はカメラ部、1はカメラ部200の外装カバー、2はレンズユニット、3は単焦点CCD部、4はズーム・AF CCD部、5は前玉レンズで、レンズユニット2の前面に配置されている。6は分光器であるプリズムで、被写体からの光をズームレンズ15側及び単焦点レンズユニット部2aに分離するものである。7はミラーで、プリズム6からの被写体光を単焦点レンズユニット部2aに導くものである。8は単焦点レンズユニット2a内の単焦点フォーカスレンズ、9は単焦点レンズユニット2a内の第1のCCDセンサである。
【0069】10はフォーカスモータで、レンズユニット2内のフォーカスレンズ14を移動させるモータである。11はズームモータで、レンズユニット2内のズームレンズ15を移動させるモータである。12は光量を制御するアイリス羽根で、図示しないアイリスモータにより移動されてCCDセンサ109への光量を制御する。14はレンズユニット2内のフォーカスレンズで、後述するMPU27からの指令により稼動する。15はレンズユニット2内のズームレンズで、後述するMPU27からの指令により稼動する。16はレンズユニット2内の第2のCCDセンサで、フォーカスレンズ14及びズームレンズ15を通った光信号を電気信号に変換するものである。
【0070】17は第1のCSD(相関2重サンプリング回路)/AGC(自動利得制御回路)回路、18は第2のCSD(相関2重サンプリング回路)/AGC(自動利得制御回路)回路である。19は第1のCCDセンサ9の各画素からのアナログ信号をデジタル信号に高速変換する第1のA/D変換器、20は第2のCCDセンサ16の各画素からのアナログ信号をデジタル信号に高速変換する第2のA/D変換器、21はデジタル画像処理する単焦点カメラCCD用の第1のプロセス(Process)回路、22はデジタル画像処理するズームレンズ用第2のプロセス(Process)回路、23は輝度成分Y及び色成分Cの第1の画像メモリ(輝度メモリ/色差メモリ)、24は輝度成分Y及び色成分Cの第2の画像メモリ(輝度メモリ/色差メモリ)、25は第1のCCDセンサ9及び第2のCCDセンサ16の蓄積・読み出しの動作タイミングを規制するタイミングジェネレータ(TG:Timing Generater)、26はSSG(Standard Signal Generater)で、TG25のタイミング信号から水平・垂直同期信号等を生成するものである。
【0071】27はMPU(Micro Processing Unit:超小型演算装置)で、本カメラ部200の動作を制御するものである。28はメモリコントローラ(Memory Controller)で、SSG26のタイミング信号に合わせて第1の画像メモリ23及び第2の画像メモリ24への書き込み/読み出しを制御するものである。29は拡大率計算回路で、広角固定焦点カメラ部200からの第1の画像メモリ23内の画像とズームカメラ部200からの第2の画像メモリ24内の画像の拡大率を計算するものである。
【0072】30は第1の画像圧縮回路で、第1の画像メモリ23内のデジタルデータのデータ量を圧縮する回路である。31は第2の画像圧縮回路で、第2の画像メモリ23内のデジタルデータのデータ量を圧縮する回路である。32はデータ多重回路で、第1の画像圧縮回路30及び第2の画像圧縮回路31からの画像データと拡大率計算回路29からの拡大率データ及び合成アドレス情報をデータ多重化するものである。33はLAN(ローカルエリアネットワーク)の10Base−Tや100Base−T等のLAN回線インターフェースとしてのネットワークインターフェース(Network I/F)である。
【0073】また、本実施の形態においては、有線のネットワークを例として説明したが電波や光を使った無線の回線を使った場合でも同様の効果が期待できる。またLocalのネットワークだけでなくWANやインターネットを介した場合でも同様である。
【0074】図2は、図1に示すカメラ部200を載置するための雲台部の構成を示す図であり、同図において、34はカメラ部200を載置固定するための雲台台座、35はパン(PAN)モータ、36はチルト(Tilt)モータで、これら各モータ35,36により雲台台座34が稼動される。
【0075】図3は、本実施の形態に係る画像遠隔送受信システムの構成を示す図であり、同図において、200は画像入力部である遠隔撮像装置としてのカメラ部で、LAN(Local Area Network)回線205にLANコネクタ209を介して接続されている。そして、各カメラ200は、後述する方法で圧縮画像データと拡大率及び合成位置座標等を多重化し、随時LAN回線205にデータを転送する。201はサーバ、202はプラウザアプリケーションソフト、203は受信表示装置としてのPC(パーソナルコンピュータ)、204はネットワークボード(Network Board)、205はLAN(LocalArea Network)、206は第1の被写体、207は第2の被写体、208は第3の被写体である。PC203内のプラウザアプリケーションソフト202は、図4に示したように宛先IPアドレス231がPC203自身のIPアドレスとなっているデータ列をLAN回線205から読み出し順に画像データを伸張していく。
【0076】図4は、本実施の形態に係るカメラ部200が送信時に作成する多重データを示す図である。同図において、220はPreamble、221はVersion、222はServiceType、223はFrameLength、224は識別子、225はフラグ、226はFlagmentOffset、227は生存期間、228はプロトコル、229はヘッダチェックサム、230は送信元IPアドレス、231は宛先IPアドレス、232はDataUnit、233はPad、234はFCS、235はData列識別コード、236は第1のカメラの圧縮画像データのデータ長、237は拡大率、238は合成するためのアドレス情報ADR Inf、239は第1のカメラからの画像の圧縮データのN番目パケット、240は第2のData長、241は第2のカメラの画像の圧縮データのM番目パケット、242は画像データまたは音声データまたはグラフィックデータの初期パケットか、途中パケットか、修了パケットかを表すコード、243はPacketIDである。
【0077】そして、宛先IPアドレス231や送信元IPアドレス230を含んだデータ列として、H320やH323等の受信側と約束されたデータ列に並べて、ネットワークI/F33を介してISDNやLAN等の回線に送り出される。受信側PC203(図2参照)は、自分への宛先のデータ列を回線上から読み出し、圧縮画像データを伸張して、PC203内部のビデオボード内の画像メモリにフレーム単位で順に記録し、モニタに出力し、遠隔地からLAN回線205に接続されたカメラ部200からのライブ画像を確認することができる。
【0078】次に、上記構成になるカメラ部200の動作について、図1を用いて説明する。
【0079】被写体(図示省略)からの光は、カメラ部200の前玉レンズ5を介してレンズユニット2内に入り、プリズム6によって直進波と反射波に分離される。反射波はミラー7により単焦点フォーカレンズ8に導かれ、第1のCCDセンサ9の撮像面上に結像される。第1のCCDセンサ9は、電子シャッタ等の露光制御回路(図示省略)及び第1のCDS/AGC回路17により適正レベルに調整され、TG25の読み出しタイミングクロックに合わせてライン毎に読み出され、サンプルホールドされ、第1のA/D変換器19によりSSG26のタイミング信号に合わせて画素単位でデジタル化される。第1のプロセス回路21に導かれたデジタル画素データは、輝度信号・色差信号の順に計算され、メモリコントローラ28で指定されたアドレスとタイミングで第1の画像メモリ23に記憶される。
【0080】一方、プリズム6を通過した直進波は、フォーカスレンズ14及びズームレンズ15により第2のCCDセンサ16の撮像面に合焦するように、MPU27は合焦状況に合わせてフォーカスモータ10及びズームモータ11を駆動する。第2のCCDセンサ16への被写体からの光の照射量を制限し適正露出が得られるように、図示しないアイリスモータを制御してアイリス羽根12の開閉を調整する。これにより、第2のCCDセンサ16には適正量の光が入射される。
【0081】第2のCCDセンサ16に蓄積された被写体電気信号は、TG25からの読み出しタイミングクロックに合わせて、第1のCCDセンサ9と同様にライン毎に読み出され、サンプルホールドされ、第1のA/D変換器19によりSSG26のタイミング信号に合わせて画素単位でデジタル化される。第2のプロセス回路22に導かれたデジタル画素データは、輝度信号・色差信号の順に計算され、メモリコントローラ28で指定されたアドレスとタイミングで第2の画像メモリ24に記憶される。
【0082】図5は、図1に示す第1の画像メモリ23及び第2の画像メモリ24に蓄積された画像の一例を示す図であり、同図(a)は第1の画像メモリ23内の画像の一例を、同図(b)は第2の画像メモリ24内の画像の一例をそれぞれ示す。
【0083】また、ここでは第1の画像メモリ23及び第2の画像メモリ24の画素数は、縦横同一の重みで画素数比4:3で640×480画素(VGA)の場合を一例として説明する。
【0084】図5(a)において、40は第1の画像メモリ23内の画像、41は第1の画像メモリ23に格納される画像40中に示される点線枠で、第2のCCDセンサ16(図1参照)によって撮像された撮像範囲を示しており、図5(b)に示す第2の画像メモリ24内の画像43に相当する。また、図5(a)において、42は第1のカメラ200の画像内での第2のカメラ200の撮像中心位置の中心位置座標(Xc,Yc)、(X1,Y1)、44は小屋の扉である。また、図5(b)において、43は第2の画像メモリ24内の画像である。
【0085】以下、第1の画像メモリ23に格納される画像中における第2の画像メモリ24内の画像43に相当する撮像範囲(点線枠41)の導出方法について、図6R>6乃至図8を用いて説明する。
【0086】図6は、第1の画像メモリ23に格納される画像からのテンプレートデータの作成方法を説明するための図である。
【0087】はじめに、第1の画像メモリ23に格納される画像の中から座標(M,N)を通過する水平ライン及び垂直ラインをそれぞれ選択する。例えば、本実施の形態では、デフォルトとして第1の画像メモリ23に格納される画像の中心(図5(a)参照)の輝度データ(Xc,Yc)=(320,240)を通過する水平ライン(図6(a)のMライン)及び垂直ライン(図6(a)のNライン)をそれぞれ選択することにする。
【0088】そして、以下のように第1の画像メモリ23に格納される画像のうちの選択された水平ライン座標のうち、水平方向の第q番目のテンプレートとして、座標1+4(q−1)から座標640−4(q−1)の座標であると定義する。
【0089】
第1番目のテンプレート(図6(b)参照)
Tm1(x)=f(P(1,1),P(1,2),…,P(1,640)
第2番目のテンプレート(図6(c)参照)
Tm2(x)=f(P(1,5),P(1,6),…,P(1,636)
… 第q番目のテンプレート Tmq(x)=f(P(q,4q−3),P(q,4q−2),…,P(q,644−4q)
… 第73番目のテンプレート(図6(d)参照)
Tm73(x)=f(P(73,293),P(73,294),…,P(1,348)
とする。
【0090】即ち、水平方向の第q番目のテンプレートは、選択された水平ライン(図6(a)のMライン)640個の画素情報を640−2×(q−1)個の画素情報としてスケーリングをした画素の集まりである。
【0091】尚、本実施の形態では、ズームレンズ16(図1参照)の駆動限界の関係より第73番目のテンプレートの作成を終了している。
【0092】次に、上述のようにして作成した各水平方向のテンプレートに対応するように、第2の画像メモリ24に格納されている画像の水平方向の画素データに対して、例えば、図7に示すような演算を行い、画素データの割り当てを行う。
【0093】ここで、図7の演算を説明する。
【0094】(第2の画像メモリに格納されている画像の水平方向の画素密度)/(第1の画像メモリに格納されている画像の水平方向の画素密度)=(第2の画像メモリに格納されている画像の水平方向の画素データの個数)/(第q番目の水平方向のテンプレートにおける割り当ての個数)=640/(640−8(q−1))
であることから、第1の画像メモリ23に格納されている画像の水平方向の画素データの座標及び個数に対応させると、第q番目のテンプレートのi番目の画素Xq(i)の座標は、Xq(i)=i×640/(640−8(q−1))
と表わすことができる。
【0095】ここで、Xq(i)が整数の場合は、求められた座標に対応する第2の画像メモリ24に格納されている画像の水平方向の画素データ(第1番目のテンプレートYm1(x)と同じ密度間隔の配列)をXq(i)とすればよい。
【0096】しかしながら、Xq(i)が整数でない場合は、求められた座標に隣接する第2の画像メモリ24に格納されている画像の水平方向の画素データに対して重み付け評価を行うことによって、Xq(i)を求めればよい。
【0097】例えば、下記式(1)に示すように、Xq(i+1)の座標がX(i+2)とX(i+3)との間に存在する場合には、X(i+2)とX(i+3)との画素データを重み付けして、Xq(i+1)を求めればよい Xq(i+1)=X(i+2)×b1+X(i+3)×a1)/(a1+b1)…(1)
尚、上記(1)式において、a1,b1は、それぞれXq(i+1)からX(i+2)、X(i+3)までの距離である。
【0098】また、Xq(i+2)においても同様に、その座標がX(i+4)とX(i+5)との間に存在する場合には、下記式(2)を用いてXq(i+2)を求めればよい。
【0099】
Xq(i+2)=X(i+4)×b2+X(i+5)×a2)/(a2+b2)…(2)
尚、上記(2)式において、a2,b2は、それぞれXq(i+2)からX(i+4)、X(i+5)までの距離である。
【0100】このようにして再配置を行った第q番目のテンプレートデータTmq(x)は、 Tmq(x)=f(Xq(1),Xq(2),…,Xq(i),…)となる。
【0101】同様にして、第1の画像メモリ23に格納される画像のうちの選択された垂直ライン(図6(a)のNライン)のうち、垂直方向の第q番目のテンプレートは、座標1+3(q−1)から座標480−3(q−1)までであると定義し、第q番目のテンプレート:Tnq(x)=f(P(q,3q−2)、P(q,3q−1)、…,Pq(q,483−3q))
とする。
【0102】そして、水平方向と同様にして、垂直方向のテンプレートに対して、Tnq(x)=f(Yq(1),Yq(2),…,Yq(i),…)
のように、データの割り当てを行う(図6(e)、(f)、(g)参照)。
【0103】このようにして求められた水平方向のテンプレートデータTmq(x)及び垂直方向のテンプレートデータTnq(x)(1≦q≦73)を、下記式(3)、(4)に代入する。
【0104】
【数1】


【0105】
【数2】


【0106】但し、上述したように(Xc,Yc)は、第1の画像メモリ23に格納されている画像の中心の輝度データである(即ち、(Xc,Yc)=(320,240)。
【0107】尚、上記式(3)は、水平方向のテンプレートデータTmq(x)と対応する第1の画像メモリ23に格納されている画像の輝度値の1画素あたりの平均相違度Sm(q)を示す。また、上記式(4)は、垂直方向のテンプレートデータTnq(x)と対応する第1の画像メモリ23に格納されている画像の輝度値の1画素あたりの平均相違度Sn(q)を示す。
【0108】ここで、上記式(3)、(4)において、G(x,y)は、第1の画像メモリ内の各画素点の輝度値である。
【0109】そして、順に上記のテンプレート(q=1〜73)にわたって下記式(5)によりS(q)を計算し、S(q)が最小となるqの値を求める。
【0110】
S(q)=Sm(q)+Sn(q)…(5)
図8(a)は第1の画像メモリ23内で一致度S(q)が最大となったテンプレートTq(m,n)を示し、図8R>8(b)は第2の画像テンプレートラインと画像位置との関係を示す。
【0111】前記第2のカメラ部200の撮像中心と第1のカメラ部200の撮像中心とのずれ角Thは(Xc−320、Yc−240)として、予め本カメラ部200の組み立て調整段階で、キャリブレーションデータとしてMPU27(図1参照)内の記憶媒体(EEPROM等)に記憶されている。
【0112】次に、本実施の形態のカメラ部200における第1の画像メモリ23内の画像と第2の画像メモリ24内の画像の拡大比率(ズーム比)の計算処理動作について、図9のフローチャートに基づき説明する。
【0113】まず、ステップS901で第2のカメラ部200のズーム位置が変更(移動)される度に、この拡大比率の計算が行われるように、ズーム位置が変更(移動)されたか否かを判断する。そして、ズーム位置が変更されたと判断された場合は、次のステップS902でフォーカスが正しく被写体に合焦されているか(フォーカス位置が正常か)否かを判断してから、拡大比率の計算が開始される。
【0114】前記ステップS902においてフォーカスが正しく被写体に合焦されている(フォーカス位置が正常である)と判断された場合は、次のステップS903で第2の画像メモリ24内のテンプレートデータ(画像データ)Tm1、Tn1を読み出し、全てのテンプレートを計算する。次に、ステップS904でループカウンタq及び相違度Sの最小値をSminとし、Smin=255、相違度Sが最小となるqをZoomqと定義して、Zoomq=1で初期化する。
【0115】次に、ステップS905でテンプレートとの比較が1〜73まで終了したか否か(q<or=qmax?)を判断する。そして、その判断結果が肯定(Yes)の場合は、次のステップS906で各q番目のテンプレートでの相違度値S(q)を計算する(S(q)=Sm(q)+Sn(q))。次に、ステップS907で前記ステップS906において計算された相違度値S(q)がSminより小さいか否か(S(q)<Smin?)を判断する。そして、相違度値S(q)がSminより小さい(S(q)<Smin)と判断された場合は、次のステップS908でそのqの値をZoomqに書き込み(Zoomq=q)、また、S(q)の値をSminに書き込む(Smin=S(q))。次に、ステップS909でq=q+1としてループカウンタの値を増やした後、前記ステップS905へ戻る。
【0116】また、前記ステップS901及び前記ステップS902における判断結果が否定(No)の場合は、いずれも前記ステップS901へ戻る。
【0117】また、前記ステップS905における判断結果が否定(No)の場合は、ステップS910へ進んで、Sminが基準値Srefより小さいか否か(Smin<Sref?)を判断する。そして、その判断結果が肯定(Yes)の場合は、ステップS911で、第1画像メモリ23内での第2の画像位置及び拡大倍率(ズーム倍率)が判明する。即ち、拡大倍率=640/(640−8×q)及び第1の画像メモリ23内の点線枠41の位置座標始点(4×Zoomq+1、3×Zoomq+1)及び位置座標終点(640−4×Zoomq、480−3×Zoomq)が得られる。
【0118】次に、ステップS912で前記ステップS911において得られた拡大率情報、位置座標始点及び位置座標終点データは、図1のデータ多重化回路32に導かれ(セットされ)、第1の画像圧縮データ及び第2の画像圧縮データと共に、図4に示すように配置され、図1のネットワークI/F33に送られ、LAN(ローカルエリアネットワーク)やISDN(統合サービスデジタル網)回線等により、遠隔地に配置されたPC(パーソナルコンピュータ)等(図2のコンピュータ203)等のネットワークボード204を介してブラウザアプリケーションソフトでモニタに表示される。
【0119】尚、前記ステップS910における判断結果が否定(No)の場合及び前記ステップS912の処理が終了した場合は、いずれも前記ステップS901へ戻る。
【0120】図10は、図3のPC203に接続されたモニタ上に合成表示された画像の表示例を示す図であり、同図(a)は、第1の画像内に第2の画像を合成し且つ中央部分の解像度を上げた場合を、同図(b)は、第1の画像を左上部にPicture−In−Pictureとして表示し、拡大画像を見ながら広い画角の画像を同時に表示した例をそれぞれ示す。
【0121】図1に示すカメラ部200を図3に示す雲台部の雲台台座34上に載置固定し、このカメラ部200の撮像中心の向き(前球レンズ5の向き)を遠隔にあるPC203(図2参照)の画面を見ながら制御しようとしたとする。例えば、雲台部のパンモータ35を回転駆動して、カメラ部200の撮像中心を図5(a)の小屋の扉44の方向に向けようとすると、図5(b)の画角では既にカメラ部200の画角から小屋の扉44は外れてしまっていて、ユーザは順に右方向にパンモータ35を回転駆動する操作を繰り返して、PC203の画面に小屋の一部45が表示されて、初めてそのパンモータ35の回転駆動方向が正しいことを確認することができる。
【0122】これに反して、本実施の形態では、1つのCCDカメラが常に広角画像を捕らえ、常に広角の画像が受信側のモニタ画面に表示されるので、雲台部の雲台台座34上に載置固定されたカメラ部200の撮像中心の向きを目標被写体により簡単に制御することができる。
【0123】図11は、図1のレンズユニット2内のズームモータ(ズームパルスモータ)11の位置(ズームモータ11の位置情報)とその時のレンズ焦点距離(mm)との関係を示す図、図12は、第1のCCDセンサ9のサイズC1と第1のフォーカスレンズ(単焦点フォーカスレンズ)8の焦点距離F1と、第2のCCDセンサ16のサイズC2と第2のフォーカスレンズ(フォーカスレンズ)14の焦点距離F2とから計算される拡大倍率を説明するための図であり、同図(a)は第1のCCDセンサ9側を、同図(b)は第2のCCDセンサ16側をそれぞれ示す。
【0124】尚、図12(a)において、F1は第1のフォーカスレンズ8の焦点距離、C1は第1のCCDセンサ9のサイズ、O1は第1のフォーカスレンズ8の実際の撮像被写体長さ、L1は第1のフォーカスレンズ8から被写体までの距離である。
【0125】また、図12(b)において、F2は第2のフォーカスレンズ14の焦点距離、C2は第2のCCDセンサ16のサイズ、O2は第2のフォーカスレンズ14の実際の撮像被写体長さ、L2は第2のフォーカスレンズ14から被写体までの距離である。
【0126】第1のCCDセンサ9と第2のCCDセンサ16の撮像倍率(拡大倍率)Zは、下記式(6)により求められる。
【0127】
Z=O1/O2=(C1×F2)/(C2×F1)…(6)
従って、図6、図8及び図9で説明した拡大率の求め方では、全てのテンプレート候補に関して相違度の値を計算したが、ズームモータ11の位置情報から得られた拡大率付近に相当するテンプレートの相違度S(q)の最小値を求めるようにすることで、一致するはずのない余計な計算を行わなくて済む。
【0128】また、本実施の形態に係る画像遠隔送受信システムは、記憶媒体に格納された制御プログラムをコンピュータが読み出して実行することにより、上述した本実施の形態の機能が実現されるものであるが、本発明はこれに限定されるものではなく、前記制御プログラムの指示に基づきコンピュータ上で稼働しているOS(オペレーティングシステム)等の実際の処理の一部または全部を行い、その処理によって上述した本実施の形態の機能が実現される場合も含まれることは言うまでもない。
【0129】また、制御プログラムを格納する記憶媒体としては、例えば、フロッピーディスク、ハードディスク、光ディスク、光磁気ディスク、CD−ROM(Compact Disk Read Only Memory)、CD−R(Compact Disk Recordable)、磁気テープ、不揮発性メモリカード、ROMチップ等を用いることができる。
【0130】尚、本実施の形態では、輝度メモリ内の輝度データのみによる画像の相違度S(q)を使って第2の画像メモリ24内の画像における第1の画像メモリ24内の対象画像の位置及び拡大率の求め方について説明したが、同様に色差メモリ内のデータを使うことも、また、組み合わせることも可能である。
【0131】また、本実施の形態では、テンプレートとしてあるライン単位でのテンプレートを用意したが、複数ラインに渡るテンプレートを用意して、より信頼性を高めることも可能である。
【0132】(第2の実施の形態)次に、本発明の第2の実施の形態を図13に基づき説明する。
【0133】尚、本実施の形態に係る雲台部の構成は、上述した第1の実施の形態の図2と同一であるから、同図を流用して説明する。
【0134】図13は、本実施の形態に係るカメラ部の構成を示すブロック図であり、同図において、上述した第1の実施の形態の図1と同一部分には同一符号が付してある。
【0135】図13において図1と異なる点は、図13の単焦点レンズユニット部2aに変え、可変焦点レンズユニット部2bを設けたことである。この可変焦点レンズユニット部2bは、第1のCCDセンサ9、アイリス羽根66、ズームレンズモータ67、ズームレンズ68、フォーカスレンズモータ69及びフォーカスレンズ70を有している。
【0136】そして、フォーカスレンズ70は、ミラー7によって反射された光学像の焦点を調節する。また、フォーカスレンズモータ69は、不図示の制御回路から出力された制御信号に基づいてフォーカスレンズ70を移動させる。この構成によって、第2のフォーカスレンズ14が光学像の中央を合焦させるように調節する一方で、フォーカスレンズ70を光学像の周辺部に合焦させるように焦点を調節させれば、光学像の中央と周辺部との双方が合焦した画像を得ることができる。
【0137】また、ズームレンズモータ67は、ズームレンズ68の移動を制御する。また、ズームレンズモータ67は、第2のCCDセンサ16によって撮像される画角より狭くならないように制御される。この構成によって、第1のCCDセンサ9によって撮像される画角を任意に設定することができる。
【0138】尚、本実施の形態のその他の構成及び動作は、上述した第1の実施の形態と同一であるから、その説明は省略する。
【0139】
【発明の効果】以上詳述したように本発明の画像遠隔送受信方法及びシステムによれば、ズームレンズ位置をテレ側にしたままで、ワイド側の画像を確認することができ、目標の被写体にカメラの撮影方向を比較的容易に向けることができ、また、広角での撮影時にも中央の被写体の画像解像度の向上を比較的ローコストで実現することができるという効果を奏する。
【0140】また、本発明の撮像装置によれば、上述した本発明の画像遠隔送受信システムに最適であるという効果を奏する。
【0141】また、本発明の記憶媒体によれば、上述した本発明の画像遠隔送受信システムを円滑に制御することができるという効果を奏する。
【図面の簡単な説明】
【図1】本発明の第1の実施の形態に係る画像遠隔送受信システムにおける画像入力用の遠隔撮像装置としてのカメラ部の構成を示すブロック図である。
【図2】本発明の第1の実施の形態に係る画像遠隔送受信システムにおけるカメラ部を載置するための雲台部の構成を示す図である。
【図3】本発明の第1の実施の形態に係る画像遠隔送受信システムの構成を示す図である。
【図4】本発明の第1の実施の形態に係る画像遠隔送受信システムにおけるカメラ部が送信時に作成する多重データを示す図である。
【図5】本発明の第1の実施の形態に係る画像遠隔送受信システムにおけるカメラ部の第1の画像メモリ及び第2の画像メモリに蓄積された画像の一例を示す図である。
【図6】本発明の第1の実施の形態に係る画像遠隔送受信システムにおけるカメラ部の第1の画像メモリに格納される画像からのテンプレートデータの作成方法を説明するための図である。
【図7】本発明の第1の実施の形態に係る画像遠隔送受信システムにおけるカメラ部のテンプレートデータの求め方を説明するための図である。
【図8】本発明の第1の実施の形態に係る画像遠隔送受信システムにおけるカメラ部の第1の画像メモリ内で相異度S(q)が最小となったテンプレートTq(m,n)及び第2の画像のテンプレートラインと画像位置との関係を示す図である。
【図9】本発明の第1の実施の形態に係る画像遠隔送受信システムにおけるカメラ部の第1の画像メモリ内の画像と第2の画像メモリ内の画像の拡大比率(ズーム比)の計算処理動作の流れを示すフローチャートである。
【図10】本発明の第1の実施の形態に係る画像遠隔送受信システムにおけるPC(パーソナルコンピュータ)に接続されたモニタ上に合成表示された画像の表示例を示す図である。
【図11】本発明の第1の実施の形態に係る画像遠隔送受信システムにおけるカメラ部のレンズユニット内のズームモータ(ズームパルスモータ)の位置(ズームモータの位置情報)とその時のレンズ焦点距離(mm)との関係を示す図である。
【図12】本発明の第1の実施の形態に係る画像遠隔送受信システムにおけるカメラ部の第1のCCDセンサのサイズC1と第1のフォーカスレンズ(単焦点フォーカスレンズ)の焦点距離F1と、第2のCCDセンサのサイズC2と第2のフォーカスレンズ(フォーカスレンズ)の焦点距離F2とから計算される拡大倍率を説明するための図である。
【図13】本発明の第2の実施の形態に係る画像遠隔送受信システムにおけるカメラ部の構成を示すブロック図である。
【図14】従来の画像遠隔送受信システムにおけるカメラ部の構成を示すブロック図である。
【符号の説明】
1 外装カバー
2 レンズユニット
2a 単焦点レンズユニット部
2b 可変焦点レンズユニット部
3 単焦点CCD部
4 ズーム・AF CCD部
5 前玉レンズ
6 分光器(プリズム)
7 ミラー
8 単焦点フォーカスレンズ(第1のフォーカスレンズ)
9 第1のCCDセンサ
10 フォーカスモータ
11 ズームモータ
12 アイリス羽根
14 フォーカスレンズ(第2のフォーカスレンズ)
15 ズームレンズ
16 第2のCCDセンサ
17 第1のCSD(相関2重サンプリング回路)/AGC(自動利得制御回路)回路
18 第2のCSD(相関2重サンプリング回路)/AGC(自動利得制御回路)回路
19 第1のA/D変換器
20 第2のA/D変換器
21 第1のプロセス(Process)回路
22 第2のプロセス(Process)回路
23 第1の画像メモリ(輝度メモリ/色差メモリ)
24 第2の画像メモリ(輝度メモリ/色差メモリ)
25 タイミングジェネレータ(TG:Timing Generater)
26 SSG(Standard Signal Generater)
27 MPU(Micro Processing Unit:超小型演算装置
28 メモリコントローラ(Memory Controller)
29 拡大率計算回路
30 第1の画像圧縮回路
31 第2の画像圧縮回路
32 データ多重回路
33 ネットワークインターフェース(Network I/F)
34 雲台台座
35 パン(PAN)モータ
36 チルト(Tilt)モータ
66 アイリス羽根
67 ズームレンズモータ
68 ズームレンズ
69 フォーカスレンズモータ
70 フォーカスレンズ
200 カメラ部(画像入力部、遠隔撮像装置)
201 サーバ
202 プラウザアプリケーションソフト
203 PC(パーソナルコンピュータ、受信表示装置)
204 ネットワークボード(Network Board)
205 LAN(Local Area Network)
206 第1の被写体
207 第2の被写体
208 第3の被写体

【特許請求の範囲】
【請求項1】 通信回線に直接接続できる遠隔撮像装置と、該遠隔撮像装置から送信される撮像画像を受信表示する受信表示装置とからなる画像遠隔送受信システムにより画像を遠隔送受信する画像遠隔送受信方法であって、前記遠隔撮像装置側には、それぞれ独立した2つの撮像素子からの画像信号をそれぞれ独立に処理する信号処理過程と、前記信号処理過程により処理された信号をデジタル化するA/D変換過程と、前記A/D変換過程により変換されたそれぞれのデジタル画像をメモリ手段に別々に蓄えるメモリ過程と、前記メモリ手段に蓄えられた撮像画像の前記メモリ手段上での拡大率を判別する拡大率判別過程と、前記拡大率判別過程により判別された拡大率判別情報を受信端である前記受信表示装置に画像データと共に送付する送付過程とを有し、前記受信表示装置側には、前記遠隔撮像装置から受信した圧縮画像データを伸長する伸長過程と、前記伸長過程により伸長後に前記受信した拡大率判別情報を基に前記受信画像を合成する合成過程と、前記合成過程により合成した画像を画面に表示する表示過程とを有することを特徴とする画像遠隔送受信方法。
【請求項2】 前記通信回線は、ローカルエリアネットワークであることを特徴とする請求項1記載の画像遠隔送受信方法。
【請求項3】 前記遠隔撮像装置は、カメラであることを特徴とする請求項1記載の画像遠隔送受信方法。
【請求項4】 前記受信表示装置は、パーソナルコンピュータであることを特徴とする請求項1記載の画像遠隔送受信方法。
【請求項5】 前記撮像素子は、CCDセンサであることを特徴とする請求項1記載の画像遠隔送受信方法。
【請求項6】 前記拡大率判別過程は、前記遠隔撮像装置のAF(オートフォーカス)動作の終了を待ってから拡大率判別処理を実行することを特徴とする請求項1記載の画像遠隔送受信方法。
【請求項7】 通信回線に直接接続できる遠隔撮像装置と、該遠隔撮像装置から送信される撮像画像を受信表示する受信表示装置とからなる画像遠隔送受信システムであって、前記遠隔撮像装置側には、それぞれ独立した2つの撮像素子からの画像信号をそれぞれ独立に処理する信号処理手段と、前記信号処理手段により処理された信号をデジタル化するA/D変換手段と、前記A/D変換手段により変換されたそれぞれのデジタル画像を別々に蓄えるメモリ手段と、前記メモリ手段に蓄えられた撮像画像の前記メモリ手段上での拡大率を判別する拡大率判別手段と、前記拡大率判別手段により判別された拡大率判別情報を受信端である前記受信表示装置に画像データと共に送付する送付手段とを有し、前記受信表示装置側には、前記遠隔撮像装置から受信した圧縮画像データを伸長する伸長手段と、前記伸長手段により伸長後に前記受信した拡大率判別情報を基に前記受信画像を合成する合成手段と、前記合成手段により合成した画像を画面に表示する表示手段とを有することを特徴とする画像遠隔送受信システム。
【請求項8】 前記通信回線は、ローカルエリアネットワークであることを特徴とする請求項7記載の画像遠隔送受信システム。
【請求項9】 前記遠隔撮像装置は、カメラであることを特徴とする請求項7記載の画像遠隔送受信システム。
【請求項10】 前記受信表示装置は、パーソナルコンピュータであることを特徴とする請求項7記載の画像遠隔送受信システム。
【請求項11】 前記拡大率判別過程は、前記遠隔撮像装置のAF(オートフォーカス)動作の終了を待ってから拡大率判別処理を実行することを特徴とする請求項7記載の画像遠隔送受信システム。
【請求項12】 通信回線に直接接続できる遠隔撮像装置と、該遠隔撮像装置から送信される撮像画像を受信表示する受信表示装置とからなる画像遠隔送受信システムにより画像を遠隔送受信する画像遠隔送受信方法であって、前記遠隔撮像装置側には、レンズからの光を第1及び第2の光に分岐する分岐過程と、前記分岐過程により分岐された第1の光を倍率/焦点距離固定のレンズを通過後に第1の撮像素子に導入する第1導入過程と、前記分岐過程により分岐された第2の光を倍率/焦点距離可変のレンズを通過後に第2の撮像素子に導入する第2導入過程と、前記第1及び第2の撮像素子の撮像信号を輝度信号と色信号としてプロセス処理するプロセス処理過程と、前記プロセス処理過程により処理された画像信号をA/D変換するA/D変換過程と、前記A/D変換過程により変換されたそれぞれのデジタル画像を第1の画像メモリ手段及び第2の画像メモリ手段に別々に蓄えるメモリ過程と、前記第1の画像メモリ手段及び第2の画像メモリ手段にそれぞれ蓄えられた第1の画像と第2の画像の拡大比率及び位置座標を検出する検出過程と、前記第1の画像メモリ手段及び第2の画像メモリ手段に蓄えられた画像をそれぞれ独立した圧縮比率で受信端である前記受信表示装置に前記検出過程により検出された検出情報と共に送付する送付過程とを有し、前記受信表示装置側には、前記遠隔撮像装置から受信した圧縮画像データを伸長する伸長過程と、前記伸長過程により伸長後に前記受信した拡大比率を基に前記受信画像を合成する合成過程と、前記合成過程により合成した画像を画面に表示する表示過程とを有することを特徴とする画像遠隔送受信方法。
【請求項13】 前記通信回線は、ローカルエリアネットワークであることを特徴とする請求項12記載の画像遠隔送受信方法。
【請求項14】 前記遠隔撮像装置は、カメラであることを特徴とする請求項12記載の画像遠隔送受信方法。
【請求項15】 前記受信表示装置は、パーソナルコンピュータであることを特徴とする請求項12記載の画像遠隔送受信方法。
【請求項16】 前記撮像素子は、CCDセンサであることを特徴とする請求項12記載の画像遠隔送受信方法。
【請求項17】 前記分岐手段は、プリズムであることを特徴とする請求項12記載の画像遠隔送受信方法。
【請求項18】 前記拡大率判別過程は、前記遠隔撮像装置のAF(オートフォーカス)動作の終了を待ってから拡大率判別処理を実行することを特徴とする請求項12記載の画像遠隔送受信方法。
【請求項19】 通信回線に直接接続できる遠隔撮像装置と、該遠隔撮像装置から送信される撮像画像を受信表示する受信表示装置とからなる画像遠隔送受信システムであって、前記遠隔撮像装置側には、レンズからの光を第1及び第2の光に分岐する分岐手段と、前記分岐手段により分岐された第1の光を倍率/焦点距離固定のレンズを通過後に第1の撮像素子に導入する第1導入手段と、前記分岐手段により分岐された第2の光を倍率/焦点距離可変のレンズを通過後に第2の撮像素子に導入する第2導入手段と、前記第1及び第2の撮像素子の撮像信号を輝度信号と色信号としてプロセス処理するプロセス処理手段と、前記プロセス処理手段により処理された画像信号をA/D変換するA/D変換手段と、前記A/D変換手段により変換されたそれぞれのデジタル画像を別々に蓄える第1の画像メモリ手段及び第2の画像メモリ手段と、前記第1の画像メモリ手段及び第2の画像メモリ手段にそれぞれ蓄えられた第1の画像と第2の画像の拡大比率及び位置座標を検出する検出手段と、前記第1の画像メモリ手段及び第2の画像メモリ手段に蓄えられた画像をそれぞれ独立した圧縮比率で受信端である前記受信表示装置に前記検出手段により検出された検出情報と共に送付する送付手段とを有し、前記受信表示装置側には、前記遠隔撮像装置から受信した圧縮画像データを伸長する伸長手段と、前記伸長手段により伸長後に前記受信した拡大比率を基に前記受信画像を合成する合成手段と、前記合成手段により合成した画像を画面に表示する表示手段とを有することを特徴とする画像遠隔送受信システム。
【請求項20】 前記通信回線は、ローカルエリアネットワークであることを特徴とする請求項19記載の画像遠隔送受信システム。
【請求項21】 前記遠隔撮像装置は、カメラであることを特徴とする請求項19記載の画像遠隔送受信システム。
【請求項22】 前記受信表示装置は、パーソナルコンピュータであることを特徴とする請求項19記載の画像遠隔送受信システム。
【請求項23】 前記撮像素子は、CCDセンサであることを特徴とする請求項19記載の画像遠隔送受信システム。
【請求項24】 前記分岐手段は、プリズムであることを特徴とする請求項19記載の画像遠隔送受信システム。
【請求項25】 前記拡大率判別過程は、前記遠隔撮像装置のAF(オートフォーカス)動作の終了を待ってから拡大率判別処理を実行することを特徴とする請求項19記載の画像遠隔送受信システム。
【請求項26】 それぞれ独立した2つの撮像素子からの画像信号をそれぞれ独立に処理する信号処理手段と、前記信号処理手段により処理された信号をデジタル化するA/D変換手段と、前記A/D変換手段により変換されたそれぞれのデジタル画像を別々に蓄えるメモリ手段と、前記メモリ手段に蓄えられた撮像画像の前記メモリ手段上での拡大率を判別する拡大率判別手段とを有することを特徴とする撮像装置。
【請求項27】 前記拡大率判別手段により判別された拡大率判別情報をネットワークを介して受信表示装置に送付する送付手段を有することを特徴とする請求項26記載の撮像装置。
【請求項28】 レンズからの光を第1及び第2の光に分岐する分岐手段と、前記分岐手段により分岐された第1の光を倍率/焦点距離固定のレンズを通過後に第1の撮像素子に導入する第1導入手段と、前記分岐手段により分岐された第2の光を倍率/焦点距離可変のレンズを通過後に第2の撮像素子に導入する第2導入手段と、前記第1,第2の撮像素子の撮像信号を輝度信号と色信号としてプロセスするプロセス処理手段と、前記プロセス処理手段により処理された画像信号をA/D変換するA/D変換手段と、前記第1,第2の撮像素子によって撮像され且つ前記A/D変換手段によってデジタル変換された第1,第2のデジタル画像を蓄積する画像メモリ手段と、前記画像メモリ手段によって蓄積された前記第1,第2の画像の拡大比率及び相対的に対応する画像領域の位置を検出する検出手段とを有することを特徴とする撮像装置。
【請求項29】 前記検出手段により検出された前記第1,第2の画像の拡大比率及び相対的に対応する画像領域の位置に関する情報を送付する送付手段を有することを特徴とする請求項28記載の撮像装置。
【請求項30】 通信回線に直接接続できる遠隔撮像装置と、該遠隔撮像装置から送信される撮像画像を受信表示する受信表示装置とからなる画像遠隔送受信システムを制御するための制御プログラムを格納した記憶媒体であって、前記制御プログラムは、前記遠隔撮像装置側において実行される制御プログラムと、前記受信表示装置側で実行される制御プログラムとからなり、前記遠隔撮像装置側において実行される制御プログラムは、それぞれ独立した2つの撮像素子からの画像信号をそれぞれ独立に処理する信号処理モジュールと、前記信号処理モジュールにより処理された信号をデジタル化するA/D変換モジュールと、前記A/D変換モジュールにより変換されたそれぞれのデジタル画像をメモリ手段に別々に蓄えるメモリモジュールと、前記メモリ手段に蓄えられた撮像画像の前記メモリ手段上での拡大率を判別する拡大率判別モジュールと、前記拡大率判別モジュールにより判別された拡大率判別情報を受信端である前記受信表示装置に画像データと共に送付する送付モジュールとを有し、前記受信表示装置側で実行される制御プログラムは、前記遠隔撮像装置から受信した圧縮画像データを伸長する伸長モジュールと、前記伸長モジュールにより伸長後に前記受信した拡大率判別情報を基に前記受信画像を合成する合成モジュールと、前記合成モジュールにより合成した画像を画面に表示する表示モジュールとを有することを特徴とする記憶媒体。
【請求項31】 前記通信回線は、ローカルエリアネットワークであることを特徴とする請求項30記載の記憶媒体。
【請求項32】 前記遠隔撮像装置は、カメラであることを特徴とする請求項30記載の記憶媒体。
【請求項33】 前記受信表示装置は、パーソナルコンピュータであることを特徴とする請求項30記載の記憶媒体。
【請求項34】 前記撮像素子は、CCDセンサであることを特徴とする請求項30記載の記憶媒体。
【請求項35】 前記分岐手段は、プリズムであることを特徴とする請求項30記載の記憶媒体。
【請求項36】 前記拡大率判別モジュールは、前記遠隔撮像装置のAF(オートフォーカス)動作の終了を待ってから拡大率判別処理を実行することを特徴とする請求項30記載の記憶媒体。
【請求項37】 通信回線に直接接続できる遠隔撮像装置と、該遠隔撮像装置から送信される撮像画像を受信表示する受信表示装置とからなる画像遠隔送受信システムを制御するための制御プログラムを格納した記憶媒体であって、前記制御プログラムは、前記遠隔撮像装置側において実行される制御プログラムと、前記受信表示装置側で実行される制御プログラムとからなり、前記遠隔撮像装置側において実行される制御プログラムは、レンズからの光を第1及び第2の光に分岐する分岐モジュールと、前記分岐モジュールにより分岐された第1の光を倍率/焦点距離固定のレンズを通過後に第1の撮像素子に導入する第1導入モジュールと、前記分岐モジュールにより分岐された第2の光を倍率/焦点距離可変のレンズを通過後に第2の撮像素子に導入する第2導入モジュールと、前記第1及び第2の撮像素子の撮像信号を輝度信号と色信号としてプロセス処理するプロセス処理モジュールと、前記プロセス処理モジュールにより処理された画像信号をA/D変換するA/D変換モジュールと、前記A/D変換モジュールにより変換されたそれぞれのデジタル画像を第1の画像メモリ手段及び第2の画像メモリ手段に別々に蓄えるメモリモジュールと、前記第1の画像メモリ手段及び第2の画像メモリ手段にそれぞれ蓄えられた第1の画像と第2の画像の拡大比率及び位置座標を検出する検出モジュールと、前記第1の画像メモリ手段及び第2の画像メモリ手段に蓄えられた画像をそれぞれ独立した圧縮比率で受信端である前記受信表示装置に前記検出モジュールにより検出された検出情報と共に送付する送付モジュールとを有し、前記受信表示装置側で実行される制御プログラムは、前記遠隔撮像装置から受信した圧縮画像データを伸長する伸長モジュールと、前記伸長モジュールにより伸長後に前記受信した拡大比率を基に前記受信画像を合成する合成モジュールと、前記合成モジュールにより合成した画像を画面に表示する表示モジュールとを有することを特徴とする記憶媒体。
【請求項38】 前記通信回線は、ローカルエリアネットワークであることを特徴とする請求項37記載の記憶媒体。
【請求項39】 前記遠隔撮像装置は、カメラであることを特徴とする請求項37記載の記憶媒体。
【請求項40】 前記受信表示装置は、パーソナルコンピュータであることを特徴とする請求項37記載の記憶媒体。
【請求項41】 前記撮像素子は、CCDセンサであることを特徴とする請求項37記載の記憶媒体。
【請求項42】 前記分岐手段は、プリズムであることを特徴とする請求項37記載の記憶媒体。
【請求項43】 前記記憶媒体は、フロッピーディスクであることを特徴とする請求項30乃至41または42記載の記憶媒体。
【請求項44】 前記記憶媒体は、ハードディスクであることを特徴とする請求項30乃至41または42記載の記憶媒体。
【請求項45】 前記記憶媒体は、光ディスクであることを特徴とする請求項30乃至41または42記載の記憶媒体。
【請求項46】 前記記憶媒体は、光磁気ディスクであることを特徴とする請求項30乃至41または42記載の記憶媒体。
【請求項47】 前記記憶媒体は、CD−ROM(Compact Disk Read Only Memory)であることを特徴とする請求項30乃至41または42記載の記憶媒体。
【請求項48】 前記記憶媒体は、CD−R(Compact DiskRecordable)であることを特徴とする請求項30乃至41または42記載の記憶媒体。
【請求項49】 前記記憶媒体は、磁気テープであることを特徴とする請求項30乃至41または42記載の記憶媒体。
【請求項50】 前記記憶媒体は、不揮発性メモリカードであることを特徴とする請求項30乃至41または42記載の記憶媒体。
【請求項51】 前記記憶媒体は、ROM(Read Only Memory)チップであることを特徴とする請求項30乃至41または42記載の記憶媒体。

【図1】
image rotate


【図2】
image rotate


【図3】
image rotate


【図7】
image rotate


【図4】
image rotate


【図5】
image rotate


【図6】
image rotate


【図8】
image rotate


【図9】
image rotate


【図10】
image rotate


【図11】
image rotate


【図12】
image rotate


【図13】
image rotate


【図14】
image rotate


【公開番号】特開2001−103466(P2001−103466A)
【公開日】平成13年4月13日(2001.4.13)
【国際特許分類】
【出願番号】特願平11−280058
【出願日】平成11年9月30日(1999.9.30)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】