画像配信システム、端末装置、画像配信装置、プログラム及び記録媒体
【課題】端末装置に撮影方向等を決定する姿勢センサを必要とせず、簡単な操作で所望とする遠隔地の映像を閲覧可能にする。
【解決手段】ユーザは携帯端末装置１１の画像入力手段５１で紙面等に印刷されたコード情報を撮影する。ユーザが撮影したコード情報の画像から、識別手段５２は画像配信装置１２のＵＲＬ等のテキスト情報を抽出し、位置関係算出手段５３は携帯端末装置１１と紙面との位置関係情報を算出する。そして、携帯端末装置１１は、テキスト情報および位置関係情報を画像配信装置１２に送信する。画像配信装置１２はテキスト情報に基づいて画像入力装置１３を特定し、特定した画像入力装置１３に位置関係に対応する撮影方向で撮影させ、撮影画像情報を携帯端末装置１１に返信する。
【解決手段】ユーザは携帯端末装置１１の画像入力手段５１で紙面等に印刷されたコード情報を撮影する。ユーザが撮影したコード情報の画像から、識別手段５２は画像配信装置１２のＵＲＬ等のテキスト情報を抽出し、位置関係算出手段５３は携帯端末装置１１と紙面との位置関係情報を算出する。そして、携帯端末装置１１は、テキスト情報および位置関係情報を画像配信装置１２に送信する。画像配信装置１２はテキスト情報に基づいて画像入力装置１３を特定し、特定した画像入力装置１３に位置関係に対応する撮影方向で撮影させ、撮影画像情報を携帯端末装置１１に返信する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像配信システム、端末装置および画像配信装置に関し、特に端末装置を利用して、遠隔地に設置した画像入力装置が撮影した画像から、所望の撮影画像を閲覧する技術に関する。
【背景技術】
【０００２】
端末装置、通信インフラ等の高機能且つ高性能化によって、外出先から自宅の様子や観光地などの遠隔地に設置されたカメラで撮影された画像情報を携帯端末装置の画面に表示して閲覧することが一般的に行われるようになってきた。これにより、ユーザは何処に居ても携帯電話機等の端末装置を所有していれば、遠隔地の様子を画像で把握できるようになった。
しかし、端末装置を利用して遠隔地の画像情報を閲覧する際には幾つかの課題がある。１番目の課題は端末装置を利用して遠隔地に設置された複数台のカメラ（画像入力装置）の中からユーザが所望するカメラを特定することであり、２番目の課題はユーザが所望する視点方向から撮影した画像情報を表示させるための処理（例えば遠隔地に設置されたカメラを稼動させたり、カメラの方向を変更したりする処理）を端末装置から指示することである。
【０００３】
近年、遠隔地に設置されるカメラはインターネット等のネットワークに接続する機種が多くなっているために、ユーザは多数のカメラの中から所望するカメラを特定することが困難になっており、この背景から１番目の課題を解決することが重要となる。
また近年、撮影領域を変更するために撮影部を駆動する機能があるカメラや全方位画像領域の撮影機能があるカメラ等が普及しており、これらの機能を端末装置、特に携帯電話機の小さな画面上で有効に活用するためには２番目の課題を解決することも重要となる。
【０００４】
１番目の課題を解決するための従来技術としては、文章、画像およびコード情報が印刷された紙媒体をスキャナで読み取り、読み取った画像をＨＴＭＬ文書化する技術がある（例えば、特許文献１参照）。文書化の際、コード情報には、埋め込まれていたＵＲＬとリンクする情報を付加して、クリッカブル画像としてＨＴＭＬ文書を生成する。通常、紙媒体にはコード情報とともに地図情報、商品情報、企業情報などのコンテンツ情報が印刷されており、コード情報には情報発信元ＷｅｂサイトのＵＲＬ等が埋め込まれている。ユーザは生成されたＨＴＭＬ文書のコンテンツ情報を閲覧して、コード情報をクリックすることで、本発明が課題にしているカメラとは異なるが、数多い情報の中から所望とする情報サイトに到達することができる。
なお、ここでコード情報とは、バーコード、２次元バーコードなどをコードと呼ぶのと同様で、文字コードをパターン化したものの意味である。
【０００５】
２番目の課題を解決するための従来技術としては、携帯端末装置に姿勢センサを取り付けて姿勢情報を検出し、この姿勢情報をもとに遠隔地に設置されたカメラの方向を制御することで、ユーザが閲覧したい視点から撮影した画像情報を携帯端末装置の画面に表示するようにしたものもある（例えば特許文献２参照）。
また、蓄積した画像情報の中から所望の時間帯の画像情報を閲覧する従来技術としては、動画情報の再生開始時刻をコード情報として紙面に印刷し、携帯端末装置でコード情報を撮影することにより、任意の再生時刻から動画情報を再生させることもできる（例えば、特許文献３、４参照）。この従来技術により紙面に印刷されたコード情報を携帯端末装置で撮影することで、任意の時刻から動画情報を再生するように指示することが可能である。
【特許文献１】特開２００５−２４２５５６公報
【特許文献２】特開２００５−１５０７８１公報
【特許文献３】特開２００５−１７５７８２公報
【特許文献４】特開２００３−３３３５６８公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記従来技術では、端末装置に撮影方向等を決定する姿勢センサを必要とし、またユーザが所望とする撮影対象の方向へ表示範囲を誘導する機能などの使い易さが望まれる。
本発明は、上記実情を考慮してなされたものであり、端末装置に撮影方向等を決定する姿勢センサを必要とせず、簡単な操作で所望とする遠隔地の映像を閲覧可能にすることを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、請求項１に記載の発明は、ネットワークに接続した画像入力装置および画像配信装置とで前記画像入力装置が撮影した画像情報を、前記ネットワークに接続可能な端末装置へ配信する画像配信システムであって、前記画像配信装置は、前記端末装置が画像入力部で撮影して送信してくるコード情報に含まれる画像入力装置特定情報と、撮影時のコード情報と端末装置との位置関係情報とを参照して、前記特定された画像入力装置が前記位置関係で撮影した画像情報を前記端末装置へ配信することを特徴とする。
また、請求項２の発明は、ネットワークに接続可能な通信部を有する端末装置であって、印刷されたコード情報を撮影する画像入力手段と、前記コード情報を撮影して得られた画像を送信する送信手段と、前記画像の送信に応答して送られてくる画像情報を受信する受信手段と、受信した画像情報を表示する画像表示手段とを備えたことを特徴とする。
【０００８】
また、請求項３の発明は、ネットワークに接続可能な通信部を有する端末装置であって、印刷されたコード情報を撮影する画像入力手段と、前記撮影したコード情報の画像からテキスト情報を識別する識別手段と、前記撮影したコード情報と画像入力手段との位置関係情報を算出する位置関係算出手段と、前記テキスト情報および位置関係情報を送信する送信手段と、前記テキスト情報および位置関係情報の送信に応答して送られてくる画像情報を受信する受信手段と、受信した画像情報を表示する画像表示手段とを備えたことを特徴とする。
また、請求項４の発明は、請求項２または３記載の端末装置において、前記送られてくる画像情報の種類を選択する、全撮影領域の画像表示モードと視点方向からの画像表示モードとのモード切り替えボタンを設けたことを特徴とする。
【０００９】
また、請求項５の発明は、請求項２または３記載の端末装置において、前記画像表示手段は、受信した画像情報とともに注目画像の視線方向を示すことを特徴とする。
また、請求項６の発明は、ネットワークに接続可能な通信部を有する画像配信装置であって、送信されてくるテキスト情報および位置関係情報を受信する受信手段と、受信したテキスト情報により遠隔地に設置された画像入力装置を特定する特定手段と、受信した位置関係情報により特定した画像入力装置で撮影した画像情報の視点変更処理をする視点変更手段と、視点変更処理された画像情報を前記テキスト情報および位置関係情報の送信元へ送信する送信手段と備えたことを特徴とする。
【００１０】
また、請求項７の発明は、ネットワークに接続可能な通信部を有する画像配信装置であって、送信されてくる所定形状の画像を撮影した画像情報を受信する受信手段と、受信した前記画像情報からテキスト情報を識別し、識別したテキスト情報により遠隔地に設置された画像入力装置を特定する特定手段と、前記受信した画像情報から撮影時の画像と撮影面との位置関係情報を算出する位置情報算出手段と、前記位置情報算出手段で算出した位置関係情報を参照して、前記特定手段で特定した画像入力装置が撮影した画像情報の視点変更処理を行う視点変更手段と、視点変更処理された画像情報を前記所定形状の画像の送信元へ送信する送信手段とを備えたことを特徴とする。
また、請求項８の発明は、請求項６または７記載の画像配信装置において、前記視点変更手段は、全撮影領域の画像情報から位置関係情報と対応する部分の画像情報を切り出すことを特徴とする。
【００１１】
また、請求項９の発明は、請求項６または７記載の画像配信装置において、前記視点変更手段は、位置関係情報と対応する部分の画像領域を撮影すべく特定の画像入力装置へ制御信号を送信して、画像入力装置の撮影面を変更させることを特徴とする。
また、請求項１０の発明は、請求項６または７記載の画像配信装置において、前記視点変更手段は、コード情報とともに印字されている他のコンテンツ情報の印字方向との違いをテキスト情報から取得し、前記位置関係情報を修正して視点変更処理を行うことを特徴とする。
また、請求項１１の発明は、請求項６または７記載の画像配信装置において、前記特定手段は、画像入力装置および撮影時刻を特定することを特徴とする。
【００１２】
また、請求項１２の発明は、請求項６または７記載の画像配信装置において、前記送信手段は、前記画像情報と全撮影領域の画像情報から注目すべき画像情報が撮影された視点方向情報とを送信することを特徴とする。
また、請求項１３の発明は、コンピュータを、請求項２乃至５のいずれか一項に記載の端末装置として機能させるためのプログラムであることを特徴とする。
また、請求項１４の発明は、コンピュータを、請求項６乃至１２のいずれか一項に記載の画像配信装置として機能させるためのプログラムであることを特徴とする。
また、請求項１５の発明は、請求項１３または１４記載のプログラムを記録したコンピュータ読み取り可能な記録媒体にしたことを特徴とする。
【発明の効果】
【００１３】
本発明によれば、端末装置に撮影方向等を決定するための姿勢センサを必要とせず、簡単な操作で所望とする遠隔地の映像が閲覧可能となる。
【発明を実施するための最良の形態】
【００１４】
以下、図面を参照して、本発明の実施形態を詳細に説明する。なお、本明細書では、端末装置として携帯端末装置を例に説明しているが、これに限定したものではなく、ＰＤＡ（Personal Digital Assistants）やその他の電子情報機器等で、画像を撮影する機能と画像をネットワークを介して送受信する機能があれば携帯できないものでも適用できる。
図１は、本発明の一実施形態を示す画像配信システムの全体構成図である。この画像配信システムは、携帯端末装置１１、画像配信装置１２、画像入力装置１３がインターネット等のネットワーク１０を介して接続されている。携帯端末装置１１、画像配信装置１２の詳細は後述する。画像入力装置１３としては、半球面の撮影領域全体が一度に撮影できる全方位カメラ１３ａや撮影部を駆動させて撮影領域を変更できる駆動型カメラ１３ｂ等を使用する。
【００１５】
このように構成された画像配信システムでは、はじめに携帯端末装置１１で印刷されたコード情報を撮影して、この撮影画像からテキスト情報および位置関係情報を抽出し、画像配信装置１２へ送信する。画像配信装置１２は、携帯端末装置１１から送信されたテキスト情報および位置関係情報を受信し、遠隔地に設置された複数台の画像入力装置１３の中からテキスト情報に対応する画像入力装置を特定し、その画像入力装置で撮影された画像情報を取得する。次に位置関係情報と対応するように、取得した画像情報の視点変更処理を実行し、視点変更処理後の画像情報を携帯端末装置１１へ送信する。携帯端末装置１１は、画像配信装置１２から送信された画像情報を受信して携帯端末装置１１の画面上に表示する。この例は前述の全方位カメラ１３ａを使用した場合であるが、駆動型カメラ１３ｂを使用した場合は、テキスト情報に対応する画像入力装置を特定した後、位置関係情報と対応するように、特定した画像入力装置の撮影範囲を制御信号を送って制御し、それで得られた撮影画像情報を携帯端末装置１１へ送信する。
【００１６】
図２は、本発明の画像配信システムの利用形態を説明する図である。ユーザは、紙面２０に印刷されたコード情報を携帯端末装置１１で撮影する。コード情報としては、例えばバーコードや２次元コード、その他文字データを所定の規則に基づいてパターンで表わしたものを用いる。コード情報が撮影されると、遠隔地に設置された画像入力装置１３で撮影した画像情報が携帯端末装置１１の画面上に表示される（撮影状態−Ａ）。ユーザが携帯端末装置１１を傾けると、その傾きに伴って遠隔地に設置された画像入力装置１３の撮影方向を変化させ、携帯端末装置１１の傾きに対応した視点方向から撮影された画像情報を表示する。これより、ユーザは紙面等を介して遠隔地の様子（画像情報）を直感的に携帯端末装置１１の画面上に表示できる（撮影状態−Ｂ）。
【００１７】
［実施例１］
図３は本発明の携帯端末装置１１の外観図である。本実施例の携帯端末装置１１は、携帯電話機と同様の外観をしており、通信部３１の一部である電波を送受信するアンテナと、前面には、カーソルキー３５を含むキー入力部３４と、音声通信のための音声出力部３２、音声入力部３６と、キー入力部３４から入力した情報および受信した画像情報等を表示する画像表示部３３を備えている。また、裏面には画像を撮影するための画像入力部３７と、充電可能な電池を電源とする電源部３８を備えている。
【００１８】
図４は、図３に示した携帯端末装置１１のハードウェア構成を示す図ある。同図に示すように、携帯端末装置１１は、ＣＰＵ４１、情報記録部４２、入力Ｉ／Ｆ４３、出力Ｉ／Ｆ４４、通信Ｉ／Ｆ４５等を備えている。
ＣＰＵ４１は、オペレーティング・システムの制御下で、情報記録部４２に記録されているプログラムを実行することで携帯端末装置としての動作を実現する。また、情報記憶部４２は、図２で説明したコード情報を撮影した画像情報や画像配信装置１２から送信されてきた画像情報等を記録する。この情報記録部４２は、携帯端末装置１１の内部に常時内蔵しても、また、フラッシュメモリ等で構成して携帯端末装置１１から着脱可能な形式にして使用してもよい。更に、ハードディスクや光メモリ等の記録媒体で構成してもよい。
【００１９】
入力Ｉ／Ｆ４３は、画像入力部３７とキー入力部３４と音声入力部３６からの入力のためのインターフェースである。画像入力部３７は、ＣＣＤやＣＭＯＳ等の撮像素子で構成されており、紙面等に印刷されたコード情報や任意の対象を撮影できる。画像入力部３７で撮影した画像情報は、情報記録部４２に保存される。また、ＣＰＵ４１の演算機能を利用して、画像解析処理を実行し、撮影したコード情報の画像情報からテキスト情報や位置関係情報を抽出する。キー入力部３４は、数字キーやカーソルキー３５など複数の操作ボタンで構成されている。ユーザはキー入力部３４を利用して全撮影領域の画像表示モードと視点方向からの画像表示モードとのモード切り替え処理を行うことができる。なお、画像表示モードの切り替え処理は音声入力部３６を用いてもよい。
【００２０】
出力Ｉ／Ｆ４４は、液晶ディスプレイ等を使用した画像表示部３３や音声出力部３２への出力のためのインターフェースである。画像配信装置１２から送信されてきた画像情報は画像表示部３３に表示される。通信Ｉ／Ｆ４５は、通信部３１が行う携帯端末装置１１と画像配信装置１２との間の通信処理を実現する。通信手段としては、ＰＤＣ（Personal Digital Cellular）やＰＨＳ（Personal Handyphone System）等の無線電話機能を用いて、携帯端末用の基地局（交換機など）を介して一般電話回線に接続する。また、BlueTooth（登録商標）やIEEE802.15等の近距離無線データ通信機能あるいはIEEE802.11等の無線データ通信機能を使用して、携帯端末装置１１の近くにある基地局を介してインターネット等のネットワークに接続してもよい。テキスト情報、位置関係情報の送信処理や画像情報の受信処理は通信部３１を介して行われる。なお、本発明で使用する携帯端末装置は携帯電話機器に限定されるものでなく、ＣＰＵを有し画像入力部と画像出力部と通信部を備えた電子機器であれば本発明を適用できる。
【００２１】
図５は、本発明の携帯端末装置１１の機能構成を示す図である。同図において、画像入力手段５１は、紙面等に印刷されたコード情報を撮影する。識別手段５２は、画像入力手段５１が撮影した画像情報からテキスト情報を識別する。コード情報の識別処理方法は従来から周知の画像認識処理の制御方法を適宜に用いればよい。コード情報に保存する情報の例としては、（http://www.xxxxxx.com/image_server1/index.jsp?camera=www.xxxxxx.com/camera/map5_1&time=2005/08/22/15:35）のように画像配信装置のＵＲＬ情報（http://www.xxxxxx.com/image_server1/index.jsp）と、遠隔地に設置された画像入力装置を特定する情報（camera=www.xxxxxx.com/camera/map5_1）とが含まれていればよい。また、指定した時刻に撮影された画像情報を表示させたい場合には、コード情報に指定の時刻情報（time=2005/08/22/15:35）を追加してもよい。
【００２２】
位置関係算出手段５３は、画像入力手段５１が撮影した画像情報から、携帯端末装置１１の画像入力部３７とコード情報の印字面との位置関係を算出し、画像入力装置１３の撮像面（位置関係情報）とする。位置関係情報は、姿勢情報と距離情報の２つ要素から成る。姿勢情報の算出方法に関しては、本出願人が出願した特開２００５−３８０２１号公報に記載されている。これより、画像入力装置１３の撮像面とコード情報の印字面との姿勢情報が算出される。なお本発明では、コード情報の外形情報を利用することで、より簡易に姿勢情報を算出できる。携帯端末装置１１の撮像面とコード情報の印字面との距離情報の算出方法の一例としては、コード情報を識別した際に撮影した距離を基準距離とおき、基準距離との比率を距離情報として算出してもよい。即ち、基準距離で撮影されたコード情報の画像情報と次の時点で撮影されたコード情報の画像情報とを比較し、撮影されたコード情報の外形サイズの比率を距離情報として算出する。基準距離の比率を利用せずに絶対的な距離情報を利用する場合には、絶対的な距離情報の算出のために撮像部の焦点距離情報と印字されたコードのサイズ情報が必要となる。焦点距離情報は携帯端末装置１１の撮像部に設定された情報から取得できる。印字されたコードのサイズ情報はコード情報から取得する。印字する紙面等のサイズによって印字されるコードのサイズ情報は変化することが多いので、コードのサイズ情報は予め設定しておくのではなく、コードを印字する際にコードのサイズ情報をコード情報に含ませておくことが望ましい。コード情報に保存する情報の一例としては、（http://www.xxxxxx.com/image_server1/index.jsp?camera=www.xxxxxx.com/camera/map5_1&code_size=30）とする。ここで“code_size=30”がコードのサイズ情報を表している（単位はmm：ミリメートル）。ＱＲコード（登録商標）等を利用する際にはコードの外形が正方形であるため、外形の一辺の長さをコード情報に保存するだけでよい。
【００２３】
送信手段５４は、識別手段５２が識別したコード情報に保存されたＵＲＬの画像配信装置１２に位置関係算出手段５３が算出した位置関係情報を送信する。なお、送信する際の情報は、（http://www.xxxxxx.com/image_server1/index.jsp?camera=www.xxxxxx.com/camera/map5_1&theta=30&psi=50&phi=40&distance=5）のように、位置関係算出手段５３が算出した位置関係情報（theta=30&psi=50&phi=40&distance=5）もＵＲＬ情報に含んだ形式で送信してもよい。
受信手段５５は、画像配信装置１２から返信される画像情報を受信する。受信する画像情報は画像配信装置１２によって位置関係情報と対応するように視点変更処理された後の画像情報である。画像表示手段５６は、受信手段５５で受信した画像情報を携帯端末装置１１の画像表示部３３に表示する。
【００２４】
図６は、本発明に使用するコード情報が印刷された媒体の一例を示す図である。同図は、部屋の見取図の中にコード情報が印刷された例であるが、地図等のコンテンツ情報とともにコード情報を印刷してもよい。部屋の内部を撮影するために設置された画像入力装置の位置と紙面２０に印刷されたコード情報の位置関係は対応している。画像入力装置とコード情報との位置関係の対応付けは人が介在して行ってもよく、位置情報を計測する手段のある画像入力装置が部屋に設置されている場合には、計測された位置情報を参照して部屋の見取図にコード情報を印刷する位置を自動的に対応付けてもよい。なお画像入力装置の位置を計測する方法としては、位置計測用の特定機器（ＧＰＳ等）を取り付ける方法や、無線ＬＡＮ信号の三辺測量などの通信手段を利用して位置情報を算出する方法、画像入力装置で撮影した画像情報から画像入力装置の位置情報を算出する方法などがある。
【００２５】
また、紙面に印刷されるコンテンツ情報は常に図６のように水平に印刷されるのではなく、図７のようにコンテンツ情報が印刷される方向は利用形態によって変わることがある。図７のようにコンテンツ情報が斜め方向に印刷された場合でも、コード情報は紙面の方向に合わせて印刷した方が使い勝手が良いため、コンテンツ情報の印字方向とコード情報の印字方向は一致しないことになる。このような状態で携帯端末装置の撮像面とコード情報の印字面との位置関係情報だけを参照して画像情報の視点変更処理を行うと、紙面に印刷されるコンテンツ情報と携帯端末装置の画面上に表示される画像情報との方向が一致しなくなる。こうなると携帯端末装置を移動させて遠隔地の画像情報を直感的に閲覧することが困難になってしまう。
【００２６】
この問題を解決するために、コード情報内にコンテンツ情報の印字方向とコード情報の印字方向との方向関係情報を保存しておくとよい。そうすれば携帯端末装置の位置関係算出手段は、コード情報内に保存された方向関係情報を参照して、携帯端末装置の撮像面とコード情報の印字面との位置関係情報を補正することができる。補正処理では、算出した位置関係情報からコード情報に保存された方向関係情報を減算すればよい。一例としてコード情報に保存された方向関係情報が[code_theta=0&code_psi=0&code_phi=10]であり、画像情報から算出した位置関係情報が［theta~=30&psi~=50&phi~=40］である場合には、補正処理後の位置関係情報は［theta=30&psi=50&phi=30］となる。また、図７ではコンテンツ情報を２次元平面内で回転させた例を示したが、３次元空間内でコンテンツ情報を回転させても同様な補正処理を行うことができる。
【００２７】
図８は、本発明の画像配信装置１２の機能構成を示す図である。同図の受信手段８１は携帯端末装置１１から送信されるテキスト情報と位置関係情報とを受信する。受信の際には画像情報の返信処理のために携帯端末装置１１のアドレス情報を一時的に記録する。特定手段８２は、複数台の画像入力装置の中からコード情報と対応する画像入力装置１３を特定する。画像入力装置１３の特定方法としては、受信したコード情報が（http://www.xxxxxx.com/image_server1/index.jsp?camera=www.xxxxxx.com/camera/map5_1&time=2005/08/22/15:35&theta=30&psi=50&phi=40&distance=5）である場合には、［camera=］で代入されている値のＵＲＬ情報を参照することで画像入力装置１３を特定できる。また、時刻情報[time=2005/08/22/15:35]がコード情報に追加されている場合には、指定された日時（2005年8月22日、15時35分）に撮影された画像情報を指定できる。
視点変更手段８３は、位置関係情報と対応する画像情報が取得できるように視点変更処理を行う。視点変更処理の方法は、接続先の画像入力装置１３の種類によって異なる。特定された画像入力装置１３が画像入力部駆動型の装置であった場合は、画像配信装置１２から画像入力装置１３へ画像入力部を駆動するための制御信号を送信して、位置関係情報 [theta=30][psi=50][phi=40][ distance=5]と対応する撮影領域を撮影させる。ここで位置関係情報の[theta=30][psi=50][phi=40]は撮影する角度（撮影面の姿勢情報）を示し、[ distance=5]は画像入力装置のズーム情報（距離情報）を示す。
【００２８】
特定された画像入力装置１３が全方位領域を撮影する装置であった場合は、特定された画像入力装置１３から全方位の画像情報を受信し、全方位の画像情報から位置関係情報に対応する画像領域を切り出す。画像領域の切り出し方法は図９のように、撮影時の姿勢情報を参照して切り出し対象となる画像情報の中心点を設定する。図９は、全方位撮影領域における位置関係情報と切り出し画像の中心点の関係を説明する図である。同図において、全方位画像入力装置の撮影範囲は球面をなし、画像入力装置の（裏側を除く）撮影方向の視野はすべて球面上に入る。ここで、θ[theta]は方位角、ψ[psi]は仰角、φ[phi]は視線周りのねじれ角で、カメラレンズの光軸周りのねじれに相当する。これにより、切り出し対象となる画像情報の中心点と画像の向きが定まる。次に撮影時のズーム情報を参照して画像領域サイズを算出し、設定した画像情報の中心点を基準として対象となる画像領域を切り出す。ここで、画像領域サイズの算出の際に基準とする画像領域サイズは画像入力装置１３が任意に設定してもよく、あるいは画像配信装置１２と携帯端末装置１１が任意に設定してもよい。以上の視点変更処理を実行することにより、位置関係情報と対応する画像情報を取得することができる。送信手段８４は、視点変更処理後の画像情報を携帯端末装置１１へ返信する。なお、画像配信装置１２が携帯端末装置１１の認証処理を行うようにすれば、送信手段８４は、特定の携帯端末装置にだけ遠隔地で撮影された画像情報を返信するようにも設定できる。なお、時刻の指定がなされていたら、画像配信装置１２が指定された時刻に撮影の動作を開始するように制御する。
【００２９】
次に本実施例の動作を図を参照して説明する。図１０は、本実施例における各装置の処理を示すフローチャートである。本実施例では同図のステップ１〜１１を繰り返し実行することで、携帯端末装置１１の撮像面とコード情報の印字面との位置関係情報に対応した視点方向から撮影された画像情報を遠隔地に設置された画像入力装置１３から取得して携帯端末装置の画像表示部に連続的に表示させる。
まず、携帯端末装置１１は、ユーザが携帯端末装置の画像入力部３７で紙面２０に印刷されているコード情報を撮影して得られた画像情報を取り込む（ステップ１）。次にステップ１で取り込んだ画像情報から画像解析処理を行ってＵＲＬ等のテキスト情報と位置関係情報を算出する（ステップ２）。なお、繰り返しで２回目以降の処理では、位置関係情報の算出のみを行う。位置関係情報の算出処理では、１回目の処理で取得したコード情報の外形情報を利用して算出してよい。次にステップ２で算出したテキスト情報と位置関係情報を画像配信装置１２へ送信する（ステップ３）。
【００３０】
画像配信装置１２は、ステップ３で送信されたテキスト情報と位置関係情報を受信し（ステップ４）、遠隔地に設置された複数の画像入力装置からステップ４で受信したコード情報に対応する画像入力装置１３を特定して、特定した画像入力装置１３へ画像情報を取得するための制御信号を送信する（ステップ５）。繰り返しで２回目以降の処理では、１回目の処理で特定した画像入力装置１３へ自動的に制御信号を送信する。
画像入力装置１３は、ステップ５で送信された制御信号を受信し、制御信号に従って周囲の画像情報を撮影する（ステップ６）。そして、撮影した画像情報を画像配信装置１２へ送信する（ステップ７）。
【００３１】
画像配信装置１２は、画像入力装置１３がステップ７で送信した画像情報を受信して、ステップ４で受信した位置関係情報を参照して、画像入力装置１３が撮影した画像情報の視点変更処理を実行する（ステップ８）。そして、視点変更処理した画像情報を携帯端末装置１１へ送信する（ステップ９）。
携帯端末装置１１は、視点変更処理後の画像情報を受信し（ステップ１０）、受信した画像情報を携帯端末装置１１の画像表示部３３に表示する（ステップ１１）。
なお、画像情報の表示は切り替えボタンによって表示モードを切り替えてもよい。ユーザが携帯端末装置１１のキー入力部３４を操作して、視点方向からの画像表示モードを選択している場合には、視点変更処理された後の画像情報を画面上に表示する。ユーザが全方位撮影領域の画像表示モードを選択している場合には、画像入力装置１３で撮影可能な全方位画像領域を撮影した画像情報を画像表示部３３に表示する。
【００３２】
以上の処理により、携帯端末装置１１の撮像面とコード情報の印字面との位置関係情報に対応した視点方向から撮影された画像情報を遠隔地に設置された画像入力装置１３から取得して携帯端末装置１１の画像表示部３３に表示させることができる。これより、携帯端末装置で紙面等に印刷されたコード情報を撮影するだけで、遠隔地に設置された複数台の画像入力装置からユーザが所望する画像入力装置を特定し、ユーザが閲覧したい視点方向から撮影した画像情報を携帯端末装置の画面上に表示させることが可能となる。
【００３３】
［実施例２］
本実施例では、画像配信装置でコード情報の識別や位置関係情報の算出等の画像認識処理を実行することにより、高度な画像認識処理が困難な低機能な携帯端末装置を使用しても、実施例１と同様の機能を実現する構成を示す。
本実施例２の前提となる画像配信システムの全体構成と携帯端末装置の外観およびハードウェアの構成は実施例１と同様である。
図１１は、実施例２における携帯端末装置１１の機能構成を示す図である。同図において、画像入力手段５１は、紙面等に印刷されたコード情報を撮影した画像を取り込み、送信手段５４は予め携帯端末装置１１に保存されている画像配信装置１２のＵＲＬ情報を参照して画像配信装置１２に接続し、取り込んだ画像情報を送信する。なお、画像配信装置１２のＵＲＬ情報は、ユーザがコード情報を撮影する前後にキー入力部３４から入力してもよい。受信手段５５は、画像配信装置１２から返信される画像情報を受信する。受信する画像情報は、画像配信装置１２によって算出された位置関係情報と対応するように視点変更処理された後の画像情報である。画像表示手段５６は受信手段５５で受信した画像情報を携帯端末装置１１の画像表示部３３に表示する。
【００３４】
図１２は、実施例２における画像配信装置１２の機能構成を示す図である。同図において、受信手段８１は、携帯端末装置１１から送信されてくる画像情報を受信する。受信の際には返信処理のために携帯端末装置１１のアドレス情報を一時的に記録する。識別手段９１は、携帯端末装置１１から送信されてきた画像情報（コード情報）からテキスト情報を識別し、位置関係算出手段９２は、携帯端末装置１１から送信されてきた画像情報から、画像入力部３７の撮像面とコード情報が印刷されている印字面との位置関係情報を算出する。コード情報の識別処理方法と位置関係情報の算出方法は実施例１で説明した方法と同様である。また、特定手段８２、視点変更手段８３、送信手段８４の機能に関しても実施例１と同様である。
【００３５】
次に本実施例の動作を図を参照して説明する。図１３は、本実施例における各装置の処理を示すフローチャートである。本実施例２は実施例１と同様に、図１３のステップ２１〜３１を繰り返し実行することで、携帯端末装置１１の撮像面とコード情報の印字面との位置関係情報に対応した視点方向から撮影された画像情報を遠隔地に設置された画像入力装置１３から取得して携帯端末装置１１の画像表示部３３に連続的に表示させる。
まず、携帯端末装置１１は、ユーザが携帯端末装置１１の画像入力部３７で紙面２０に印刷されているコード情報を撮影して得られた画像情報を取り込み（ステップ２１）、取り込んだ画像情報を所定のＵＲＬの画像配信装置１２へ送信する（ステップ２２）。
画像配信装置１２は、ステップ２２で送信した画像情報を受信し（ステップ２３）、受信した画像情報に画像解析処理を行ってテキスト情報と位置関係情報とを算出する（ステップ２４）。テキスト情報と位置関係情報の算出処理は実施例１における携帯端末装置１１の画像解析処理と同様な処理を行う。ステップ２５〜３１までの処理は、実施例１における図１０のステップ５〜１１と同様の処理である。
【００３６】
以上説明したように、画像配信装置１２でコード情報の識別や位置関係情報の算出等の画像認識処理を実行するので、高度な画像認識処理が困難である低機能な携帯端末装置を使用しても、実施例１と同様な機能を実現できる。なお、本実施例２では、画像配信装置１２がコード情報の識別処理と位置関係情報の算出処理を実行する例を示したが、携帯端末装置１１でコード情報の識別処理を行って、画像配信装置１２では位置関係情報の算出処理を行うようにしてもよく、使用する携帯端末装置の機能や性能に応じて処理の分担を変えればよい。
【００３７】
［実施例３］
本実施例では、実施例１、２で説明した携帯端末装置や画像配信装置を利用して、遠隔地に設置されている画像入力装置が撮影した画像情報から、注目すべき画像情報が撮影されている画像領域を検出し、注目画像情報が撮影できる視点方向をユーザに指示する誘導情報を提供する例を説明する。
注目画像領域の検出方法としては、画像情報を撮影した時間ごとの差分処理を行って、変化が検出された部分を注目画像領域する方法がある。また、画像入力装置に撮影されるユーザや物に予めＲＦ−ＩＤなどのタグを付けて画像配信装置等がその位置を監視して、画像入力装置の撮影範囲内にタグが検出されたら、検出された部分を注目画像領域としてもよい。また、他のユーザが閲覧した画像領域のログ情報を記録しておき、画像領域の閲覧回数から注目画像領域としてもよい。これらの注目画像の検出は画像配信装置で行う。
【００３８】
ユーザを特定の視点方向へ誘導する方法としては、画像入力装置が撮影した画像情報とともに、図１４に示すように、携帯端末装置１１の画像表示部３３に矢印を表示する方法や、図１５のように画像入力装置１３が撮影可能な全撮影範囲を表示して、注目画像情報が撮影された画像領域を指示する方法がある。
図１４は、携帯端末装置１１の画像表示部３３に４方向の矢印を表示して、注目画像領域が撮影された視点方向に近い方向にある矢印Ａの色を変化させた例である。矢印は視点方向の距離に応じて色や濃度を変化させるとよい。
図１５は、携帯端末装置１１の画像表示部３３の右下に、遠隔地に設置された画像入力装置１３が撮影可能な全撮影範囲Ｂを表示した例である。全撮影範囲内に、携帯端末装置１１の画像表示部３３に表示している現在の視点位置と、注目画像情報の視点位置を表示することでユーザを注目画像領域の視点方向へ誘導することができる。
【００３９】
以上説明したように、誘導情報を携帯端末装置の画面上に表示することにより、注目画像領域が撮影された視点方向へ表示画像を誘導することできる。
【図面の簡単な説明】
【００４０】
【図１】本発明の一実施形態を示す画像配信システムの全体構成図である。
【図２】本発明の画像配信システムの利用形態を説明する図である。
【図３】本発明の携帯端末装置１１の外観図である。
【図４】図３に示した携帯端末装置１１のハードウェア構成を示す図である。
【図５】本発明の携帯端末装置１１の機能構成を示す図である。
【図６】本発明に使用するコード情報が印刷された媒体の一例を示す図である。
【図７】本発明に使用するコード情報が印刷された媒体の一例を示す図である。
【図８】本発明の画像配信装置１２の機能構成を示す図である。
【図９】全方位撮影領域における位置関係情報と切り出し画像の中心点の関係を説明する図である。
【図１０】実施例１における各装置の処理を示すフローチャートである。
【図１１】実施例２における携帯端末装置１１の機能構成を示す図である。
【図１２】実施例２における画像配信装置１２の機能構成を示す図である。
【図１３】実施例２における各装置の処理を示すフローチャートである。
【図１４】実施例３における注目画像領域の視点方向を示す表示例である。
【図１５】実施例３における注目画像領域の視点方向を示す表示例である。
【符号の説明】
【００４１】
１０ ネットワーク、１１ 携帯端末装置、１２ 画像配信装置、１３、１３ａ、１３ｂ、１３ｃ 画像入力装置、２０ 紙面、３１ 通信部、３２ 音声出力部、３３ 画像表示部、３４ キー入力部、３５ カーソルキー、３６ 音声入力部、３７ 画像入力部、３８ 電源部、４１ ＣＰＵ、４２ 情報記録部、４３ 入力Ｉ／Ｆ、４４ 出力Ｉ／Ｆ、４５ 通信Ｉ／Ｆ、５１ 画像入力手段、５２、９１ 識別手段、５３、９２ 位置関係算出手段、５４、８４ 送信手段、５５、８１ 受信手段、５６ 画像表示手段、８２ 特定手段、８３ 視点変更手段
【技術分野】
【０００１】
本発明は、画像配信システム、端末装置および画像配信装置に関し、特に端末装置を利用して、遠隔地に設置した画像入力装置が撮影した画像から、所望の撮影画像を閲覧する技術に関する。
【背景技術】
【０００２】
端末装置、通信インフラ等の高機能且つ高性能化によって、外出先から自宅の様子や観光地などの遠隔地に設置されたカメラで撮影された画像情報を携帯端末装置の画面に表示して閲覧することが一般的に行われるようになってきた。これにより、ユーザは何処に居ても携帯電話機等の端末装置を所有していれば、遠隔地の様子を画像で把握できるようになった。
しかし、端末装置を利用して遠隔地の画像情報を閲覧する際には幾つかの課題がある。１番目の課題は端末装置を利用して遠隔地に設置された複数台のカメラ（画像入力装置）の中からユーザが所望するカメラを特定することであり、２番目の課題はユーザが所望する視点方向から撮影した画像情報を表示させるための処理（例えば遠隔地に設置されたカメラを稼動させたり、カメラの方向を変更したりする処理）を端末装置から指示することである。
【０００３】
近年、遠隔地に設置されるカメラはインターネット等のネットワークに接続する機種が多くなっているために、ユーザは多数のカメラの中から所望するカメラを特定することが困難になっており、この背景から１番目の課題を解決することが重要となる。
また近年、撮影領域を変更するために撮影部を駆動する機能があるカメラや全方位画像領域の撮影機能があるカメラ等が普及しており、これらの機能を端末装置、特に携帯電話機の小さな画面上で有効に活用するためには２番目の課題を解決することも重要となる。
【０００４】
１番目の課題を解決するための従来技術としては、文章、画像およびコード情報が印刷された紙媒体をスキャナで読み取り、読み取った画像をＨＴＭＬ文書化する技術がある（例えば、特許文献１参照）。文書化の際、コード情報には、埋め込まれていたＵＲＬとリンクする情報を付加して、クリッカブル画像としてＨＴＭＬ文書を生成する。通常、紙媒体にはコード情報とともに地図情報、商品情報、企業情報などのコンテンツ情報が印刷されており、コード情報には情報発信元ＷｅｂサイトのＵＲＬ等が埋め込まれている。ユーザは生成されたＨＴＭＬ文書のコンテンツ情報を閲覧して、コード情報をクリックすることで、本発明が課題にしているカメラとは異なるが、数多い情報の中から所望とする情報サイトに到達することができる。
なお、ここでコード情報とは、バーコード、２次元バーコードなどをコードと呼ぶのと同様で、文字コードをパターン化したものの意味である。
【０００５】
２番目の課題を解決するための従来技術としては、携帯端末装置に姿勢センサを取り付けて姿勢情報を検出し、この姿勢情報をもとに遠隔地に設置されたカメラの方向を制御することで、ユーザが閲覧したい視点から撮影した画像情報を携帯端末装置の画面に表示するようにしたものもある（例えば特許文献２参照）。
また、蓄積した画像情報の中から所望の時間帯の画像情報を閲覧する従来技術としては、動画情報の再生開始時刻をコード情報として紙面に印刷し、携帯端末装置でコード情報を撮影することにより、任意の再生時刻から動画情報を再生させることもできる（例えば、特許文献３、４参照）。この従来技術により紙面に印刷されたコード情報を携帯端末装置で撮影することで、任意の時刻から動画情報を再生するように指示することが可能である。
【特許文献１】特開２００５−２４２５５６公報
【特許文献２】特開２００５−１５０７８１公報
【特許文献３】特開２００５−１７５７８２公報
【特許文献４】特開２００３−３３３５６８公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記従来技術では、端末装置に撮影方向等を決定する姿勢センサを必要とし、またユーザが所望とする撮影対象の方向へ表示範囲を誘導する機能などの使い易さが望まれる。
本発明は、上記実情を考慮してなされたものであり、端末装置に撮影方向等を決定する姿勢センサを必要とせず、簡単な操作で所望とする遠隔地の映像を閲覧可能にすることを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、請求項１に記載の発明は、ネットワークに接続した画像入力装置および画像配信装置とで前記画像入力装置が撮影した画像情報を、前記ネットワークに接続可能な端末装置へ配信する画像配信システムであって、前記画像配信装置は、前記端末装置が画像入力部で撮影して送信してくるコード情報に含まれる画像入力装置特定情報と、撮影時のコード情報と端末装置との位置関係情報とを参照して、前記特定された画像入力装置が前記位置関係で撮影した画像情報を前記端末装置へ配信することを特徴とする。
また、請求項２の発明は、ネットワークに接続可能な通信部を有する端末装置であって、印刷されたコード情報を撮影する画像入力手段と、前記コード情報を撮影して得られた画像を送信する送信手段と、前記画像の送信に応答して送られてくる画像情報を受信する受信手段と、受信した画像情報を表示する画像表示手段とを備えたことを特徴とする。
【０００８】
また、請求項３の発明は、ネットワークに接続可能な通信部を有する端末装置であって、印刷されたコード情報を撮影する画像入力手段と、前記撮影したコード情報の画像からテキスト情報を識別する識別手段と、前記撮影したコード情報と画像入力手段との位置関係情報を算出する位置関係算出手段と、前記テキスト情報および位置関係情報を送信する送信手段と、前記テキスト情報および位置関係情報の送信に応答して送られてくる画像情報を受信する受信手段と、受信した画像情報を表示する画像表示手段とを備えたことを特徴とする。
また、請求項４の発明は、請求項２または３記載の端末装置において、前記送られてくる画像情報の種類を選択する、全撮影領域の画像表示モードと視点方向からの画像表示モードとのモード切り替えボタンを設けたことを特徴とする。
【０００９】
また、請求項５の発明は、請求項２または３記載の端末装置において、前記画像表示手段は、受信した画像情報とともに注目画像の視線方向を示すことを特徴とする。
また、請求項６の発明は、ネットワークに接続可能な通信部を有する画像配信装置であって、送信されてくるテキスト情報および位置関係情報を受信する受信手段と、受信したテキスト情報により遠隔地に設置された画像入力装置を特定する特定手段と、受信した位置関係情報により特定した画像入力装置で撮影した画像情報の視点変更処理をする視点変更手段と、視点変更処理された画像情報を前記テキスト情報および位置関係情報の送信元へ送信する送信手段と備えたことを特徴とする。
【００１０】
また、請求項７の発明は、ネットワークに接続可能な通信部を有する画像配信装置であって、送信されてくる所定形状の画像を撮影した画像情報を受信する受信手段と、受信した前記画像情報からテキスト情報を識別し、識別したテキスト情報により遠隔地に設置された画像入力装置を特定する特定手段と、前記受信した画像情報から撮影時の画像と撮影面との位置関係情報を算出する位置情報算出手段と、前記位置情報算出手段で算出した位置関係情報を参照して、前記特定手段で特定した画像入力装置が撮影した画像情報の視点変更処理を行う視点変更手段と、視点変更処理された画像情報を前記所定形状の画像の送信元へ送信する送信手段とを備えたことを特徴とする。
また、請求項８の発明は、請求項６または７記載の画像配信装置において、前記視点変更手段は、全撮影領域の画像情報から位置関係情報と対応する部分の画像情報を切り出すことを特徴とする。
【００１１】
また、請求項９の発明は、請求項６または７記載の画像配信装置において、前記視点変更手段は、位置関係情報と対応する部分の画像領域を撮影すべく特定の画像入力装置へ制御信号を送信して、画像入力装置の撮影面を変更させることを特徴とする。
また、請求項１０の発明は、請求項６または７記載の画像配信装置において、前記視点変更手段は、コード情報とともに印字されている他のコンテンツ情報の印字方向との違いをテキスト情報から取得し、前記位置関係情報を修正して視点変更処理を行うことを特徴とする。
また、請求項１１の発明は、請求項６または７記載の画像配信装置において、前記特定手段は、画像入力装置および撮影時刻を特定することを特徴とする。
【００１２】
また、請求項１２の発明は、請求項６または７記載の画像配信装置において、前記送信手段は、前記画像情報と全撮影領域の画像情報から注目すべき画像情報が撮影された視点方向情報とを送信することを特徴とする。
また、請求項１３の発明は、コンピュータを、請求項２乃至５のいずれか一項に記載の端末装置として機能させるためのプログラムであることを特徴とする。
また、請求項１４の発明は、コンピュータを、請求項６乃至１２のいずれか一項に記載の画像配信装置として機能させるためのプログラムであることを特徴とする。
また、請求項１５の発明は、請求項１３または１４記載のプログラムを記録したコンピュータ読み取り可能な記録媒体にしたことを特徴とする。
【発明の効果】
【００１３】
本発明によれば、端末装置に撮影方向等を決定するための姿勢センサを必要とせず、簡単な操作で所望とする遠隔地の映像が閲覧可能となる。
【発明を実施するための最良の形態】
【００１４】
以下、図面を参照して、本発明の実施形態を詳細に説明する。なお、本明細書では、端末装置として携帯端末装置を例に説明しているが、これに限定したものではなく、ＰＤＡ（Personal Digital Assistants）やその他の電子情報機器等で、画像を撮影する機能と画像をネットワークを介して送受信する機能があれば携帯できないものでも適用できる。
図１は、本発明の一実施形態を示す画像配信システムの全体構成図である。この画像配信システムは、携帯端末装置１１、画像配信装置１２、画像入力装置１３がインターネット等のネットワーク１０を介して接続されている。携帯端末装置１１、画像配信装置１２の詳細は後述する。画像入力装置１３としては、半球面の撮影領域全体が一度に撮影できる全方位カメラ１３ａや撮影部を駆動させて撮影領域を変更できる駆動型カメラ１３ｂ等を使用する。
【００１５】
このように構成された画像配信システムでは、はじめに携帯端末装置１１で印刷されたコード情報を撮影して、この撮影画像からテキスト情報および位置関係情報を抽出し、画像配信装置１２へ送信する。画像配信装置１２は、携帯端末装置１１から送信されたテキスト情報および位置関係情報を受信し、遠隔地に設置された複数台の画像入力装置１３の中からテキスト情報に対応する画像入力装置を特定し、その画像入力装置で撮影された画像情報を取得する。次に位置関係情報と対応するように、取得した画像情報の視点変更処理を実行し、視点変更処理後の画像情報を携帯端末装置１１へ送信する。携帯端末装置１１は、画像配信装置１２から送信された画像情報を受信して携帯端末装置１１の画面上に表示する。この例は前述の全方位カメラ１３ａを使用した場合であるが、駆動型カメラ１３ｂを使用した場合は、テキスト情報に対応する画像入力装置を特定した後、位置関係情報と対応するように、特定した画像入力装置の撮影範囲を制御信号を送って制御し、それで得られた撮影画像情報を携帯端末装置１１へ送信する。
【００１６】
図２は、本発明の画像配信システムの利用形態を説明する図である。ユーザは、紙面２０に印刷されたコード情報を携帯端末装置１１で撮影する。コード情報としては、例えばバーコードや２次元コード、その他文字データを所定の規則に基づいてパターンで表わしたものを用いる。コード情報が撮影されると、遠隔地に設置された画像入力装置１３で撮影した画像情報が携帯端末装置１１の画面上に表示される（撮影状態−Ａ）。ユーザが携帯端末装置１１を傾けると、その傾きに伴って遠隔地に設置された画像入力装置１３の撮影方向を変化させ、携帯端末装置１１の傾きに対応した視点方向から撮影された画像情報を表示する。これより、ユーザは紙面等を介して遠隔地の様子（画像情報）を直感的に携帯端末装置１１の画面上に表示できる（撮影状態−Ｂ）。
【００１７】
［実施例１］
図３は本発明の携帯端末装置１１の外観図である。本実施例の携帯端末装置１１は、携帯電話機と同様の外観をしており、通信部３１の一部である電波を送受信するアンテナと、前面には、カーソルキー３５を含むキー入力部３４と、音声通信のための音声出力部３２、音声入力部３６と、キー入力部３４から入力した情報および受信した画像情報等を表示する画像表示部３３を備えている。また、裏面には画像を撮影するための画像入力部３７と、充電可能な電池を電源とする電源部３８を備えている。
【００１８】
図４は、図３に示した携帯端末装置１１のハードウェア構成を示す図ある。同図に示すように、携帯端末装置１１は、ＣＰＵ４１、情報記録部４２、入力Ｉ／Ｆ４３、出力Ｉ／Ｆ４４、通信Ｉ／Ｆ４５等を備えている。
ＣＰＵ４１は、オペレーティング・システムの制御下で、情報記録部４２に記録されているプログラムを実行することで携帯端末装置としての動作を実現する。また、情報記憶部４２は、図２で説明したコード情報を撮影した画像情報や画像配信装置１２から送信されてきた画像情報等を記録する。この情報記録部４２は、携帯端末装置１１の内部に常時内蔵しても、また、フラッシュメモリ等で構成して携帯端末装置１１から着脱可能な形式にして使用してもよい。更に、ハードディスクや光メモリ等の記録媒体で構成してもよい。
【００１９】
入力Ｉ／Ｆ４３は、画像入力部３７とキー入力部３４と音声入力部３６からの入力のためのインターフェースである。画像入力部３７は、ＣＣＤやＣＭＯＳ等の撮像素子で構成されており、紙面等に印刷されたコード情報や任意の対象を撮影できる。画像入力部３７で撮影した画像情報は、情報記録部４２に保存される。また、ＣＰＵ４１の演算機能を利用して、画像解析処理を実行し、撮影したコード情報の画像情報からテキスト情報や位置関係情報を抽出する。キー入力部３４は、数字キーやカーソルキー３５など複数の操作ボタンで構成されている。ユーザはキー入力部３４を利用して全撮影領域の画像表示モードと視点方向からの画像表示モードとのモード切り替え処理を行うことができる。なお、画像表示モードの切り替え処理は音声入力部３６を用いてもよい。
【００２０】
出力Ｉ／Ｆ４４は、液晶ディスプレイ等を使用した画像表示部３３や音声出力部３２への出力のためのインターフェースである。画像配信装置１２から送信されてきた画像情報は画像表示部３３に表示される。通信Ｉ／Ｆ４５は、通信部３１が行う携帯端末装置１１と画像配信装置１２との間の通信処理を実現する。通信手段としては、ＰＤＣ（Personal Digital Cellular）やＰＨＳ（Personal Handyphone System）等の無線電話機能を用いて、携帯端末用の基地局（交換機など）を介して一般電話回線に接続する。また、BlueTooth（登録商標）やIEEE802.15等の近距離無線データ通信機能あるいはIEEE802.11等の無線データ通信機能を使用して、携帯端末装置１１の近くにある基地局を介してインターネット等のネットワークに接続してもよい。テキスト情報、位置関係情報の送信処理や画像情報の受信処理は通信部３１を介して行われる。なお、本発明で使用する携帯端末装置は携帯電話機器に限定されるものでなく、ＣＰＵを有し画像入力部と画像出力部と通信部を備えた電子機器であれば本発明を適用できる。
【００２１】
図５は、本発明の携帯端末装置１１の機能構成を示す図である。同図において、画像入力手段５１は、紙面等に印刷されたコード情報を撮影する。識別手段５２は、画像入力手段５１が撮影した画像情報からテキスト情報を識別する。コード情報の識別処理方法は従来から周知の画像認識処理の制御方法を適宜に用いればよい。コード情報に保存する情報の例としては、（http://www.xxxxxx.com/image_server1/index.jsp?camera=www.xxxxxx.com/camera/map5_1&time=2005/08/22/15:35）のように画像配信装置のＵＲＬ情報（http://www.xxxxxx.com/image_server1/index.jsp）と、遠隔地に設置された画像入力装置を特定する情報（camera=www.xxxxxx.com/camera/map5_1）とが含まれていればよい。また、指定した時刻に撮影された画像情報を表示させたい場合には、コード情報に指定の時刻情報（time=2005/08/22/15:35）を追加してもよい。
【００２２】
位置関係算出手段５３は、画像入力手段５１が撮影した画像情報から、携帯端末装置１１の画像入力部３７とコード情報の印字面との位置関係を算出し、画像入力装置１３の撮像面（位置関係情報）とする。位置関係情報は、姿勢情報と距離情報の２つ要素から成る。姿勢情報の算出方法に関しては、本出願人が出願した特開２００５−３８０２１号公報に記載されている。これより、画像入力装置１３の撮像面とコード情報の印字面との姿勢情報が算出される。なお本発明では、コード情報の外形情報を利用することで、より簡易に姿勢情報を算出できる。携帯端末装置１１の撮像面とコード情報の印字面との距離情報の算出方法の一例としては、コード情報を識別した際に撮影した距離を基準距離とおき、基準距離との比率を距離情報として算出してもよい。即ち、基準距離で撮影されたコード情報の画像情報と次の時点で撮影されたコード情報の画像情報とを比較し、撮影されたコード情報の外形サイズの比率を距離情報として算出する。基準距離の比率を利用せずに絶対的な距離情報を利用する場合には、絶対的な距離情報の算出のために撮像部の焦点距離情報と印字されたコードのサイズ情報が必要となる。焦点距離情報は携帯端末装置１１の撮像部に設定された情報から取得できる。印字されたコードのサイズ情報はコード情報から取得する。印字する紙面等のサイズによって印字されるコードのサイズ情報は変化することが多いので、コードのサイズ情報は予め設定しておくのではなく、コードを印字する際にコードのサイズ情報をコード情報に含ませておくことが望ましい。コード情報に保存する情報の一例としては、（http://www.xxxxxx.com/image_server1/index.jsp?camera=www.xxxxxx.com/camera/map5_1&code_size=30）とする。ここで“code_size=30”がコードのサイズ情報を表している（単位はmm：ミリメートル）。ＱＲコード（登録商標）等を利用する際にはコードの外形が正方形であるため、外形の一辺の長さをコード情報に保存するだけでよい。
【００２３】
送信手段５４は、識別手段５２が識別したコード情報に保存されたＵＲＬの画像配信装置１２に位置関係算出手段５３が算出した位置関係情報を送信する。なお、送信する際の情報は、（http://www.xxxxxx.com/image_server1/index.jsp?camera=www.xxxxxx.com/camera/map5_1&theta=30&psi=50&phi=40&distance=5）のように、位置関係算出手段５３が算出した位置関係情報（theta=30&psi=50&phi=40&distance=5）もＵＲＬ情報に含んだ形式で送信してもよい。
受信手段５５は、画像配信装置１２から返信される画像情報を受信する。受信する画像情報は画像配信装置１２によって位置関係情報と対応するように視点変更処理された後の画像情報である。画像表示手段５６は、受信手段５５で受信した画像情報を携帯端末装置１１の画像表示部３３に表示する。
【００２４】
図６は、本発明に使用するコード情報が印刷された媒体の一例を示す図である。同図は、部屋の見取図の中にコード情報が印刷された例であるが、地図等のコンテンツ情報とともにコード情報を印刷してもよい。部屋の内部を撮影するために設置された画像入力装置の位置と紙面２０に印刷されたコード情報の位置関係は対応している。画像入力装置とコード情報との位置関係の対応付けは人が介在して行ってもよく、位置情報を計測する手段のある画像入力装置が部屋に設置されている場合には、計測された位置情報を参照して部屋の見取図にコード情報を印刷する位置を自動的に対応付けてもよい。なお画像入力装置の位置を計測する方法としては、位置計測用の特定機器（ＧＰＳ等）を取り付ける方法や、無線ＬＡＮ信号の三辺測量などの通信手段を利用して位置情報を算出する方法、画像入力装置で撮影した画像情報から画像入力装置の位置情報を算出する方法などがある。
【００２５】
また、紙面に印刷されるコンテンツ情報は常に図６のように水平に印刷されるのではなく、図７のようにコンテンツ情報が印刷される方向は利用形態によって変わることがある。図７のようにコンテンツ情報が斜め方向に印刷された場合でも、コード情報は紙面の方向に合わせて印刷した方が使い勝手が良いため、コンテンツ情報の印字方向とコード情報の印字方向は一致しないことになる。このような状態で携帯端末装置の撮像面とコード情報の印字面との位置関係情報だけを参照して画像情報の視点変更処理を行うと、紙面に印刷されるコンテンツ情報と携帯端末装置の画面上に表示される画像情報との方向が一致しなくなる。こうなると携帯端末装置を移動させて遠隔地の画像情報を直感的に閲覧することが困難になってしまう。
【００２６】
この問題を解決するために、コード情報内にコンテンツ情報の印字方向とコード情報の印字方向との方向関係情報を保存しておくとよい。そうすれば携帯端末装置の位置関係算出手段は、コード情報内に保存された方向関係情報を参照して、携帯端末装置の撮像面とコード情報の印字面との位置関係情報を補正することができる。補正処理では、算出した位置関係情報からコード情報に保存された方向関係情報を減算すればよい。一例としてコード情報に保存された方向関係情報が[code_theta=0&code_psi=0&code_phi=10]であり、画像情報から算出した位置関係情報が［theta~=30&psi~=50&phi~=40］である場合には、補正処理後の位置関係情報は［theta=30&psi=50&phi=30］となる。また、図７ではコンテンツ情報を２次元平面内で回転させた例を示したが、３次元空間内でコンテンツ情報を回転させても同様な補正処理を行うことができる。
【００２７】
図８は、本発明の画像配信装置１２の機能構成を示す図である。同図の受信手段８１は携帯端末装置１１から送信されるテキスト情報と位置関係情報とを受信する。受信の際には画像情報の返信処理のために携帯端末装置１１のアドレス情報を一時的に記録する。特定手段８２は、複数台の画像入力装置の中からコード情報と対応する画像入力装置１３を特定する。画像入力装置１３の特定方法としては、受信したコード情報が（http://www.xxxxxx.com/image_server1/index.jsp?camera=www.xxxxxx.com/camera/map5_1&time=2005/08/22/15:35&theta=30&psi=50&phi=40&distance=5）である場合には、［camera=］で代入されている値のＵＲＬ情報を参照することで画像入力装置１３を特定できる。また、時刻情報[time=2005/08/22/15:35]がコード情報に追加されている場合には、指定された日時（2005年8月22日、15時35分）に撮影された画像情報を指定できる。
視点変更手段８３は、位置関係情報と対応する画像情報が取得できるように視点変更処理を行う。視点変更処理の方法は、接続先の画像入力装置１３の種類によって異なる。特定された画像入力装置１３が画像入力部駆動型の装置であった場合は、画像配信装置１２から画像入力装置１３へ画像入力部を駆動するための制御信号を送信して、位置関係情報 [theta=30][psi=50][phi=40][ distance=5]と対応する撮影領域を撮影させる。ここで位置関係情報の[theta=30][psi=50][phi=40]は撮影する角度（撮影面の姿勢情報）を示し、[ distance=5]は画像入力装置のズーム情報（距離情報）を示す。
【００２８】
特定された画像入力装置１３が全方位領域を撮影する装置であった場合は、特定された画像入力装置１３から全方位の画像情報を受信し、全方位の画像情報から位置関係情報に対応する画像領域を切り出す。画像領域の切り出し方法は図９のように、撮影時の姿勢情報を参照して切り出し対象となる画像情報の中心点を設定する。図９は、全方位撮影領域における位置関係情報と切り出し画像の中心点の関係を説明する図である。同図において、全方位画像入力装置の撮影範囲は球面をなし、画像入力装置の（裏側を除く）撮影方向の視野はすべて球面上に入る。ここで、θ[theta]は方位角、ψ[psi]は仰角、φ[phi]は視線周りのねじれ角で、カメラレンズの光軸周りのねじれに相当する。これにより、切り出し対象となる画像情報の中心点と画像の向きが定まる。次に撮影時のズーム情報を参照して画像領域サイズを算出し、設定した画像情報の中心点を基準として対象となる画像領域を切り出す。ここで、画像領域サイズの算出の際に基準とする画像領域サイズは画像入力装置１３が任意に設定してもよく、あるいは画像配信装置１２と携帯端末装置１１が任意に設定してもよい。以上の視点変更処理を実行することにより、位置関係情報と対応する画像情報を取得することができる。送信手段８４は、視点変更処理後の画像情報を携帯端末装置１１へ返信する。なお、画像配信装置１２が携帯端末装置１１の認証処理を行うようにすれば、送信手段８４は、特定の携帯端末装置にだけ遠隔地で撮影された画像情報を返信するようにも設定できる。なお、時刻の指定がなされていたら、画像配信装置１２が指定された時刻に撮影の動作を開始するように制御する。
【００２９】
次に本実施例の動作を図を参照して説明する。図１０は、本実施例における各装置の処理を示すフローチャートである。本実施例では同図のステップ１〜１１を繰り返し実行することで、携帯端末装置１１の撮像面とコード情報の印字面との位置関係情報に対応した視点方向から撮影された画像情報を遠隔地に設置された画像入力装置１３から取得して携帯端末装置の画像表示部に連続的に表示させる。
まず、携帯端末装置１１は、ユーザが携帯端末装置の画像入力部３７で紙面２０に印刷されているコード情報を撮影して得られた画像情報を取り込む（ステップ１）。次にステップ１で取り込んだ画像情報から画像解析処理を行ってＵＲＬ等のテキスト情報と位置関係情報を算出する（ステップ２）。なお、繰り返しで２回目以降の処理では、位置関係情報の算出のみを行う。位置関係情報の算出処理では、１回目の処理で取得したコード情報の外形情報を利用して算出してよい。次にステップ２で算出したテキスト情報と位置関係情報を画像配信装置１２へ送信する（ステップ３）。
【００３０】
画像配信装置１２は、ステップ３で送信されたテキスト情報と位置関係情報を受信し（ステップ４）、遠隔地に設置された複数の画像入力装置からステップ４で受信したコード情報に対応する画像入力装置１３を特定して、特定した画像入力装置１３へ画像情報を取得するための制御信号を送信する（ステップ５）。繰り返しで２回目以降の処理では、１回目の処理で特定した画像入力装置１３へ自動的に制御信号を送信する。
画像入力装置１３は、ステップ５で送信された制御信号を受信し、制御信号に従って周囲の画像情報を撮影する（ステップ６）。そして、撮影した画像情報を画像配信装置１２へ送信する（ステップ７）。
【００３１】
画像配信装置１２は、画像入力装置１３がステップ７で送信した画像情報を受信して、ステップ４で受信した位置関係情報を参照して、画像入力装置１３が撮影した画像情報の視点変更処理を実行する（ステップ８）。そして、視点変更処理した画像情報を携帯端末装置１１へ送信する（ステップ９）。
携帯端末装置１１は、視点変更処理後の画像情報を受信し（ステップ１０）、受信した画像情報を携帯端末装置１１の画像表示部３３に表示する（ステップ１１）。
なお、画像情報の表示は切り替えボタンによって表示モードを切り替えてもよい。ユーザが携帯端末装置１１のキー入力部３４を操作して、視点方向からの画像表示モードを選択している場合には、視点変更処理された後の画像情報を画面上に表示する。ユーザが全方位撮影領域の画像表示モードを選択している場合には、画像入力装置１３で撮影可能な全方位画像領域を撮影した画像情報を画像表示部３３に表示する。
【００３２】
以上の処理により、携帯端末装置１１の撮像面とコード情報の印字面との位置関係情報に対応した視点方向から撮影された画像情報を遠隔地に設置された画像入力装置１３から取得して携帯端末装置１１の画像表示部３３に表示させることができる。これより、携帯端末装置で紙面等に印刷されたコード情報を撮影するだけで、遠隔地に設置された複数台の画像入力装置からユーザが所望する画像入力装置を特定し、ユーザが閲覧したい視点方向から撮影した画像情報を携帯端末装置の画面上に表示させることが可能となる。
【００３３】
［実施例２］
本実施例では、画像配信装置でコード情報の識別や位置関係情報の算出等の画像認識処理を実行することにより、高度な画像認識処理が困難な低機能な携帯端末装置を使用しても、実施例１と同様の機能を実現する構成を示す。
本実施例２の前提となる画像配信システムの全体構成と携帯端末装置の外観およびハードウェアの構成は実施例１と同様である。
図１１は、実施例２における携帯端末装置１１の機能構成を示す図である。同図において、画像入力手段５１は、紙面等に印刷されたコード情報を撮影した画像を取り込み、送信手段５４は予め携帯端末装置１１に保存されている画像配信装置１２のＵＲＬ情報を参照して画像配信装置１２に接続し、取り込んだ画像情報を送信する。なお、画像配信装置１２のＵＲＬ情報は、ユーザがコード情報を撮影する前後にキー入力部３４から入力してもよい。受信手段５５は、画像配信装置１２から返信される画像情報を受信する。受信する画像情報は、画像配信装置１２によって算出された位置関係情報と対応するように視点変更処理された後の画像情報である。画像表示手段５６は受信手段５５で受信した画像情報を携帯端末装置１１の画像表示部３３に表示する。
【００３４】
図１２は、実施例２における画像配信装置１２の機能構成を示す図である。同図において、受信手段８１は、携帯端末装置１１から送信されてくる画像情報を受信する。受信の際には返信処理のために携帯端末装置１１のアドレス情報を一時的に記録する。識別手段９１は、携帯端末装置１１から送信されてきた画像情報（コード情報）からテキスト情報を識別し、位置関係算出手段９２は、携帯端末装置１１から送信されてきた画像情報から、画像入力部３７の撮像面とコード情報が印刷されている印字面との位置関係情報を算出する。コード情報の識別処理方法と位置関係情報の算出方法は実施例１で説明した方法と同様である。また、特定手段８２、視点変更手段８３、送信手段８４の機能に関しても実施例１と同様である。
【００３５】
次に本実施例の動作を図を参照して説明する。図１３は、本実施例における各装置の処理を示すフローチャートである。本実施例２は実施例１と同様に、図１３のステップ２１〜３１を繰り返し実行することで、携帯端末装置１１の撮像面とコード情報の印字面との位置関係情報に対応した視点方向から撮影された画像情報を遠隔地に設置された画像入力装置１３から取得して携帯端末装置１１の画像表示部３３に連続的に表示させる。
まず、携帯端末装置１１は、ユーザが携帯端末装置１１の画像入力部３７で紙面２０に印刷されているコード情報を撮影して得られた画像情報を取り込み（ステップ２１）、取り込んだ画像情報を所定のＵＲＬの画像配信装置１２へ送信する（ステップ２２）。
画像配信装置１２は、ステップ２２で送信した画像情報を受信し（ステップ２３）、受信した画像情報に画像解析処理を行ってテキスト情報と位置関係情報とを算出する（ステップ２４）。テキスト情報と位置関係情報の算出処理は実施例１における携帯端末装置１１の画像解析処理と同様な処理を行う。ステップ２５〜３１までの処理は、実施例１における図１０のステップ５〜１１と同様の処理である。
【００３６】
以上説明したように、画像配信装置１２でコード情報の識別や位置関係情報の算出等の画像認識処理を実行するので、高度な画像認識処理が困難である低機能な携帯端末装置を使用しても、実施例１と同様な機能を実現できる。なお、本実施例２では、画像配信装置１２がコード情報の識別処理と位置関係情報の算出処理を実行する例を示したが、携帯端末装置１１でコード情報の識別処理を行って、画像配信装置１２では位置関係情報の算出処理を行うようにしてもよく、使用する携帯端末装置の機能や性能に応じて処理の分担を変えればよい。
【００３７】
［実施例３］
本実施例では、実施例１、２で説明した携帯端末装置や画像配信装置を利用して、遠隔地に設置されている画像入力装置が撮影した画像情報から、注目すべき画像情報が撮影されている画像領域を検出し、注目画像情報が撮影できる視点方向をユーザに指示する誘導情報を提供する例を説明する。
注目画像領域の検出方法としては、画像情報を撮影した時間ごとの差分処理を行って、変化が検出された部分を注目画像領域する方法がある。また、画像入力装置に撮影されるユーザや物に予めＲＦ−ＩＤなどのタグを付けて画像配信装置等がその位置を監視して、画像入力装置の撮影範囲内にタグが検出されたら、検出された部分を注目画像領域としてもよい。また、他のユーザが閲覧した画像領域のログ情報を記録しておき、画像領域の閲覧回数から注目画像領域としてもよい。これらの注目画像の検出は画像配信装置で行う。
【００３８】
ユーザを特定の視点方向へ誘導する方法としては、画像入力装置が撮影した画像情報とともに、図１４に示すように、携帯端末装置１１の画像表示部３３に矢印を表示する方法や、図１５のように画像入力装置１３が撮影可能な全撮影範囲を表示して、注目画像情報が撮影された画像領域を指示する方法がある。
図１４は、携帯端末装置１１の画像表示部３３に４方向の矢印を表示して、注目画像領域が撮影された視点方向に近い方向にある矢印Ａの色を変化させた例である。矢印は視点方向の距離に応じて色や濃度を変化させるとよい。
図１５は、携帯端末装置１１の画像表示部３３の右下に、遠隔地に設置された画像入力装置１３が撮影可能な全撮影範囲Ｂを表示した例である。全撮影範囲内に、携帯端末装置１１の画像表示部３３に表示している現在の視点位置と、注目画像情報の視点位置を表示することでユーザを注目画像領域の視点方向へ誘導することができる。
【００３９】
以上説明したように、誘導情報を携帯端末装置の画面上に表示することにより、注目画像領域が撮影された視点方向へ表示画像を誘導することできる。
【図面の簡単な説明】
【００４０】
【図１】本発明の一実施形態を示す画像配信システムの全体構成図である。
【図２】本発明の画像配信システムの利用形態を説明する図である。
【図３】本発明の携帯端末装置１１の外観図である。
【図４】図３に示した携帯端末装置１１のハードウェア構成を示す図である。
【図５】本発明の携帯端末装置１１の機能構成を示す図である。
【図６】本発明に使用するコード情報が印刷された媒体の一例を示す図である。
【図７】本発明に使用するコード情報が印刷された媒体の一例を示す図である。
【図８】本発明の画像配信装置１２の機能構成を示す図である。
【図９】全方位撮影領域における位置関係情報と切り出し画像の中心点の関係を説明する図である。
【図１０】実施例１における各装置の処理を示すフローチャートである。
【図１１】実施例２における携帯端末装置１１の機能構成を示す図である。
【図１２】実施例２における画像配信装置１２の機能構成を示す図である。
【図１３】実施例２における各装置の処理を示すフローチャートである。
【図１４】実施例３における注目画像領域の視点方向を示す表示例である。
【図１５】実施例３における注目画像領域の視点方向を示す表示例である。
【符号の説明】
【００４１】
１０ ネットワーク、１１ 携帯端末装置、１２ 画像配信装置、１３、１３ａ、１３ｂ、１３ｃ 画像入力装置、２０ 紙面、３１ 通信部、３２ 音声出力部、３３ 画像表示部、３４ キー入力部、３５ カーソルキー、３６ 音声入力部、３７ 画像入力部、３８ 電源部、４１ ＣＰＵ、４２ 情報記録部、４３ 入力Ｉ／Ｆ、４４ 出力Ｉ／Ｆ、４５ 通信Ｉ／Ｆ、５１ 画像入力手段、５２、９１ 識別手段、５３、９２ 位置関係算出手段、５４、８４ 送信手段、５５、８１ 受信手段、５６ 画像表示手段、８２ 特定手段、８３ 視点変更手段
【特許請求の範囲】
【請求項１】
ネットワークに接続した画像入力装置および画像配信装置とで前記画像入力装置が撮影した画像情報を、前記ネットワークに接続可能な端末装置へ配信する画像配信システムであって、前記画像配信装置は、前記端末装置が画像入力部で撮影して送信してくるコード情報に含まれる画像入力装置特定情報と、撮影時のコード情報と端末装置との位置関係情報とを参照して、前記特定された画像入力装置が前記位置関係で撮影した画像情報を前記端末装置へ配信することを特徴とする画像配信システム。
【請求項２】
ネットワークに接続可能な通信部を有する端末装置であって、印刷されたコード情報を撮影する画像入力手段と、前記コード情報を撮影して得られた画像を送信する送信手段と、前記画像の送信に応答して送られてくる画像情報を受信する受信手段と、受信した画像情報を表示する画像表示手段とを備えたことを特徴とする端末装置。
【請求項３】
ネットワークに接続可能な通信部を有する端末装置であって、印刷されたコード情報を撮影する画像入力手段と、前記撮影したコード情報の画像からテキスト情報を識別する識別手段と、前記撮影したコード情報と画像入力手段との位置関係情報を算出する位置関係算出手段と、前記テキスト情報および位置関係情報を送信する送信手段と、前記テキスト情報および位置関係情報の送信に応答して送られてくる画像情報を受信する受信手段と、受信した画像情報を表示する画像表示手段とを備えたことを特徴とする端末装置。
【請求項４】
請求項２または３記載の端末装置において、前記送られてくる画像情報の種類を選択する、全撮影領域の画像表示モードと視点方向からの画像表示モードとのモード切り替えボタンを設けたことを特徴とする端末装置。
【請求項５】
前記画像表示手段は、受信した画像情報とともに注目画像の視線方向を示すことを特徴とする請求項２または３記載の端末装置。
【請求項６】
ネットワークに接続可能な通信部を有する画像配信装置であって、送信されてくるテキスト情報および位置関係情報を受信する受信手段と、受信したテキスト情報により遠隔地に設置された画像入力装置を特定する特定手段と、受信した位置関係情報により特定した画像入力装置で撮影した画像情報の視点変更処理をする視点変更手段と、視点変更処理された画像情報を前記テキスト情報および位置関係情報の送信元へ送信する送信手段と備えたことを特徴とする画像配信装置。
【請求項７】
ネットワークに接続可能な通信部を有する画像配信装置であって、送信されてくる所定形状の画像を撮影した画像情報を受信する受信手段と、受信した前記画像情報からテキスト情報を識別し、識別したテキスト情報により遠隔地に設置された画像入力装置を特定する特定手段と、前記受信した画像情報から撮影時の画像と撮影面との位置関係情報を算出する位置情報算出手段と、前記位置情報算出手段で算出した位置関係情報を参照して、前記特定手段で特定した画像入力装置が撮影した画像情報の視点変更処理を行う視点変更手段と、視点変更処理された画像情報を前記所定形状の画像の送信元へ送信する送信手段とを備えたことを特徴とする画像配信装置。
【請求項８】
前記視点変更手段は、全撮影領域の画像情報から位置関係情報と対応する部分の画像情報を切り出すことを特徴とする請求項６または７記載の画像配信装置。
【請求項９】
前記視点変更手段は、位置関係情報と対応する部分の画像領域を撮影すべく特定の画像入力装置へ制御信号を送信して、画像入力装置の撮影面を変更させることを特徴とする請求項６または７記載の画像配信装置。
【請求項１０】
前記視点変更手段は、コード情報とともに印字されている他のコンテンツ情報の印字方向との違いをテキスト情報から取得し、前記位置関係情報を修正して視点変更処理を行うことを特徴とする請求項６または７記載の画像配信装置。
【請求項１１】
前記特定手段は、画像入力装置および撮影時刻を特定することを特徴とする請求項６または７記載の画像配信装置。
【請求項１２】
前記送信手段は、前記画像情報と全撮影領域の画像情報から注目すべき画像情報が撮影された視点方向情報とを送信することを特徴とする請求項６または７記載の画像配信装置。
【請求項１３】
コンピュータを、請求項２乃至５のいずれか一項に記載の端末装置として機能させるためのプログラム。
【請求項１４】
コンピュータを、請求項６乃至１２のいずれか一項に記載の画像配信装置として機能させるためのプログラム。
【請求項１５】
請求項１３または１４記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１】
ネットワークに接続した画像入力装置および画像配信装置とで前記画像入力装置が撮影した画像情報を、前記ネットワークに接続可能な端末装置へ配信する画像配信システムであって、前記画像配信装置は、前記端末装置が画像入力部で撮影して送信してくるコード情報に含まれる画像入力装置特定情報と、撮影時のコード情報と端末装置との位置関係情報とを参照して、前記特定された画像入力装置が前記位置関係で撮影した画像情報を前記端末装置へ配信することを特徴とする画像配信システム。
【請求項２】
ネットワークに接続可能な通信部を有する端末装置であって、印刷されたコード情報を撮影する画像入力手段と、前記コード情報を撮影して得られた画像を送信する送信手段と、前記画像の送信に応答して送られてくる画像情報を受信する受信手段と、受信した画像情報を表示する画像表示手段とを備えたことを特徴とする端末装置。
【請求項３】
ネットワークに接続可能な通信部を有する端末装置であって、印刷されたコード情報を撮影する画像入力手段と、前記撮影したコード情報の画像からテキスト情報を識別する識別手段と、前記撮影したコード情報と画像入力手段との位置関係情報を算出する位置関係算出手段と、前記テキスト情報および位置関係情報を送信する送信手段と、前記テキスト情報および位置関係情報の送信に応答して送られてくる画像情報を受信する受信手段と、受信した画像情報を表示する画像表示手段とを備えたことを特徴とする端末装置。
【請求項４】
請求項２または３記載の端末装置において、前記送られてくる画像情報の種類を選択する、全撮影領域の画像表示モードと視点方向からの画像表示モードとのモード切り替えボタンを設けたことを特徴とする端末装置。
【請求項５】
前記画像表示手段は、受信した画像情報とともに注目画像の視線方向を示すことを特徴とする請求項２または３記載の端末装置。
【請求項６】
ネットワークに接続可能な通信部を有する画像配信装置であって、送信されてくるテキスト情報および位置関係情報を受信する受信手段と、受信したテキスト情報により遠隔地に設置された画像入力装置を特定する特定手段と、受信した位置関係情報により特定した画像入力装置で撮影した画像情報の視点変更処理をする視点変更手段と、視点変更処理された画像情報を前記テキスト情報および位置関係情報の送信元へ送信する送信手段と備えたことを特徴とする画像配信装置。
【請求項７】
ネットワークに接続可能な通信部を有する画像配信装置であって、送信されてくる所定形状の画像を撮影した画像情報を受信する受信手段と、受信した前記画像情報からテキスト情報を識別し、識別したテキスト情報により遠隔地に設置された画像入力装置を特定する特定手段と、前記受信した画像情報から撮影時の画像と撮影面との位置関係情報を算出する位置情報算出手段と、前記位置情報算出手段で算出した位置関係情報を参照して、前記特定手段で特定した画像入力装置が撮影した画像情報の視点変更処理を行う視点変更手段と、視点変更処理された画像情報を前記所定形状の画像の送信元へ送信する送信手段とを備えたことを特徴とする画像配信装置。
【請求項８】
前記視点変更手段は、全撮影領域の画像情報から位置関係情報と対応する部分の画像情報を切り出すことを特徴とする請求項６または７記載の画像配信装置。
【請求項９】
前記視点変更手段は、位置関係情報と対応する部分の画像領域を撮影すべく特定の画像入力装置へ制御信号を送信して、画像入力装置の撮影面を変更させることを特徴とする請求項６または７記載の画像配信装置。
【請求項１０】
前記視点変更手段は、コード情報とともに印字されている他のコンテンツ情報の印字方向との違いをテキスト情報から取得し、前記位置関係情報を修正して視点変更処理を行うことを特徴とする請求項６または７記載の画像配信装置。
【請求項１１】
前記特定手段は、画像入力装置および撮影時刻を特定することを特徴とする請求項６または７記載の画像配信装置。
【請求項１２】
前記送信手段は、前記画像情報と全撮影領域の画像情報から注目すべき画像情報が撮影された視点方向情報とを送信することを特徴とする請求項６または７記載の画像配信装置。
【請求項１３】
コンピュータを、請求項２乃至５のいずれか一項に記載の端末装置として機能させるためのプログラム。
【請求項１４】
コンピュータを、請求項６乃至１２のいずれか一項に記載の画像配信装置として機能させるためのプログラム。
【請求項１５】
請求項１３または１４記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２００７−２８２１２３（Ｐ２００７−２８２１２３Ａ）
【公開日】平成１９年１０月２５日（２００７．１０．２５）
【国際特許分類】
【出願番号】特願２００６−１０９０３７（Ｐ２００６−１０９０３７）
【出願日】平成１８年４月１１日（２００６．４．１１）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
【公開日】平成１９年１０月２５日（２００７．１０．２５）
【国際特許分類】
【出願日】平成１８年４月１１日（２００６．４．１１）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
[ Back to top ]