情報処理装置、情報処理方法、情報処理システム、プログラムおよび端末装置
【課題】端末装置のユーザに対して、位置を移動させることなく、様々な位置における臨場感を体感させること。
【解決手段】情報処理装置は、撮像部を用いて被写体を撮像している一の端末装置から、当該一の端末装置の位置を示す位置情報、前記撮像部の撮像方向を示す撮像方向情報、および前記撮像部のズーム状態を示すズーム状態情報をそれぞれ受信する第一受信部と、前記一の端末装置から受信した位置情報が示す位置を基準として、当該一の端末装置から受信した前記撮像方向情報が示す撮像方向及び前記ズーム状態情報が示すズーム状態に応じた領域を決定し、当該領域に存在する他の端末装置を、所定のデータの取得対象の端末装置として決定する決定部と、前記所定のデータの取得対象の端末装置から、当該端末装置が有する所定のデータを受信する第二受信部と、前記音データを、前記一の端末装置へ送信する送信部とを備える。
【解決手段】情報処理装置は、撮像部を用いて被写体を撮像している一の端末装置から、当該一の端末装置の位置を示す位置情報、前記撮像部の撮像方向を示す撮像方向情報、および前記撮像部のズーム状態を示すズーム状態情報をそれぞれ受信する第一受信部と、前記一の端末装置から受信した位置情報が示す位置を基準として、当該一の端末装置から受信した前記撮像方向情報が示す撮像方向及び前記ズーム状態情報が示すズーム状態に応じた領域を決定し、当該領域に存在する他の端末装置を、所定のデータの取得対象の端末装置として決定する決定部と、前記所定のデータの取得対象の端末装置から、当該端末装置が有する所定のデータを受信する第二受信部と、前記音データを、前記一の端末装置へ送信する送信部とを備える。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理方法、情報処理システム、プログラムおよび端末装置に関する。
【背景技術】
【0002】
被写体が保持するマイクで収集した音声を、当該マイクから取得し、被写体の画像を撮像した画像とともに保存することができるデジタルカメラが考案されている(たとえば、特許文献1参照。)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2005−295502号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上記特許文献1に記載の技術では、デジタルカメラのユーザは、そのカメラが有る位置における音を保存することしかできない。従って、たとえば、歌手のコンサート会場でその歌手から遠い位置に居る場合には、会場に設置されたスピーカから発せられる歌手の声を聞いたり保存したりすることはできるが、その歌手の声をスピーカを介さずに直接聞くことは難しく、その歌手の近くにいるかのような臨場感を体感することはできない。
【0005】
本発明の目的は、端末装置のユーザに対して、位置を移動させることなく、様々な位置における臨場感を体感させること。
【課題を解決するための手段】
【0006】
上記課題を解決するため、本発明に係る情報処理装置は、撮像部を用いて被写体を撮像している一の端末装置から、当該一の端末装置の位置を示す位置情報、前記撮像部の撮像方向を示す撮像方向情報、および前記撮像部のズーム状態を示すズーム状態情報をそれぞれ受信する第一受信部と、前記一の端末装置から受信した位置情報が示す位置を基準として、当該一の端末装置から受信した前記撮像方向情報が示す撮像方向及び前記ズーム状態情報が示すズーム状態に応じた領域を決定し、当該領域に存在する他の端末装置を、所定のデータの取得対象の端末装置として決定する決定部と、前記所定のデータの取得対象の端末装置から、当該端末装置が有する所定のデータを受信する第二受信部と、前記所定のデータを、前記一の端末装置へ送信する送信部とを備えることを特徴とする。
【0007】
好ましくは、上記情報処理装置において、前記決定部は、決定した前記領域に存在する複数の他の端末装置のうち、予め定められた条件を満たす端末装置を、前記所定のデータの取得対象の端末装置として決定するとよい。
【0008】
好ましくは、上記情報処理装置において、前記決定部は、決定した前記領域に存在する複数の他の端末装置のうち、いずれの端末装置を前記所定のデータの取得対象の端末装置とするかを前記一の端末装置のユーザに選択させ、当該ユーザによって選択された端末装置を、前記所定のデータの取得対象の端末装置として決定するとよい。
【0009】
好ましくは、上記情報処理装置において、前記受信部が、前記一の端末装置から、前記位置情報、前記撮像方向情報、および前記ズーム状態情報を受信する度に、前記決定部は、前記受信部が新たに受信した各々の前記情報に応じた前記領域を決定し、当該領域に存在する他の端末装置を、前記所定のデータの取得対象の端末装置として新たに決定し、前記第二受信部は、新たに決定された所定のデータの取得対象の端末装置から前記所定のデータの受信を開始するとよい。
【0010】
好ましくは、上記情報処理装置において、前記第二受信部は、前記所定のデータの取得対象の端末装置から、当該端末装置が収集した音に関する音データを受信し、前記送信部は、前記音データを、前記一の端末装置へ送信するとよい。
【0011】
好ましくは、上記情報処理装置において、前記前記第二受信部が受信した音データからテキストデータを生成する生成部と、前記テキストデータが、前記一の端末装置について決められた母国語以外のテキストデータである場合には、当該母国語以外のテキストデータを翻訳し、母国語のテキストデータを生成する翻訳部と、をさらに備え、前記送信部は、前記母国語のテキストデータを、前記一の端末装置へ送信するとよい。
【0012】
好ましくは、上記情報処理装置において、前記第二受信部は、前記所定のデータの取得対象の端末装置から、当該端末装置が撮像した画像に関する画像データを受信し、前記送信部は、前記画像データを、前記一の端末装置へ送信するとよい。
【0013】
また、本発明に係る情報処理方法は、複数の端末装置のそれぞれと通信が可能な情報処理装置による情報処理方法であって、撮像部を用いて被写体を撮像している一の端末装置から、当該一の端末装置の位置を示す位置情報、前記撮像部の撮像方向を示す撮像方向情報、および前記撮像部のズーム状態を示すズーム状態情報をそれぞれ受信する第一受信工程と、前記一の端末装置から受信した位置情報が示す位置を基準として、当該一の端末装置から受信した前記撮像方向情報が示す撮像方向及び前記ズーム状態情報が示すズーム状態に応じた領域を決定し、当該領域に存在する他の端末装置を、所定のデータの取得対象の端末装置として決定する決定工程と、前記所定のデータの取得対象の端末装置から、当該端末装置が有する所定のデータを受信する第二受信工程と、前記所定のデータを、前記一の端末装置へ送信する送信工程とを備えることを特徴とする。
【0014】
また、本発明に係る情報処理システムは、複数の端末装置と、前記複数の端末装置のそれぞれと通信が可能な情報処理装置とを備え、前記情報処理装置は、撮像部を用いて被写体を撮像している一の端末装置から、当該一の端末装置の位置を示す位置情報、前記撮像部の撮像方向を示す撮像方向情報、および前記撮像部のズーム状態を示すズーム状態情報をそれぞれ受信する第一受信部と、前記一の端末装置から受信した位置情報が示す位置を基準として、当該一の端末装置から受信した前記撮像方向情報が示す撮像方向及び前記ズーム状態情報が示すズーム状態に応じた領域を決定し、当該領域に存在する他の端末装置を、所定のデータの取得対象の端末装置として決定する決定部と、前記所定のデータの取得対象の端末装置から、当該端末装置が有する所定のデータを受信する第二受信部と、前記所定のデータを、前記一の端末装置へ送信する送信部とを備えることを特徴とする。
【0015】
また、本発明に係るプログラムは、コンピュータを、撮像部を用いて被写体を撮像している一の端末装置から、当該一の端末装置の位置を示す位置情報、前記撮像部の撮像方向を示す撮像方向情報、および前記撮像部のズーム状態を示すズーム状態情報をそれぞれ受信する第一受信手段、前記一の端末装置から受信した位置情報が示す位置を基準として、当該一の端末装置から受信した前記撮像方向情報が示す撮像方向及び前記ズーム状態情報が示すズーム状態に応じた領域を決定し、当該領域に存在する他の端末装置を、所定のデータの取得対象の端末装置として決定する決定手段、前記所定のデータの取得対象の端末装置から、当該端末装置が有する所定のデータを受信する第二受信手段、前記所定のデータを、前記一の端末装置へ送信する送信手段として機能させることを特徴とする。
【0016】
また、本発明に係る端末装置は、被写体を撮像する撮像部と、当該端末装置の位置を検出する位置検出部と、前記撮像部の撮像方向を検出する撮像方向検出部と、前記撮像部のズーム状態を検出するズーム状態検出部と、前記位置を示す位置情報、前記撮像方向を示す撮像方向情報、および前記ズーム状態を示すズーム状態情報を、請求項1〜7のいずれかに記載の情報処理装置へ送信する送信部と、前記情報処理装置から送信されてくる所定のデータを受信する受信部と、前記所定のデータに応じた情報を出力する出力部とを備えることを特徴とする。
【発明の効果】
【0017】
本発明によれば、端末装置のユーザに対して、位置を移動させることなく、様々な位置における臨場感を体感させることができる。
【図面の簡単な説明】
【0018】
【図1】第1実施形態に係る情報処理システム10の構成を示す。
【図2】サーバ装置100の機能構成を示す。
【図3】各携帯電話機110の許可情報および音量情報の一例を示す。
【図4】携帯電話機110の機能構成を示す。
【図5】第1実施形態に係るサーバ装置100および携帯電話機110による処理の手順を示す。
【図6】携帯電話機110Aの状態の一例を示す。
【図7】サーバ装置100のハードウェア構成の一例を示す。
【図8】携帯電話機110のハードウェア構成の一例を示す。
【図9】音データの取得対象の携帯電話機100を選択する方法の一例を示す。
【図10】第3実施形態に係るサーバ装置100および携帯電話機110による処理の手順を示す。
【図11】第3実施形態にかかる携帯電話機110Aの状態の一例を示す。
【図12】第4実施形態に係るサーバ装置100の機能構成を示す。
【図13】第4実施形態にかかるサーバ装置100および携帯電話機110による処理の手順を示す。
【図14】第4実施形態にかかる携帯電話機110Aの状態の一例を示す。
【発明を実施するための形態】
【0019】
(第1実施形態)
図1は、第1実施形態に係る情報処理システム10の構成を示す。情報処理システム10は、情報処理装置としてのサーバ装置100、および端末装置としての複数の携帯電話機110(携帯電話機110A〜E)を備える。
【0020】
サーバ装置100は、通信回線120に、専用線やインターネットを介して接続されている。サーバ装置100は、情報処理システム10を利用して、複数の携帯電話機110に対して情報提供サービスを提供する。
【0021】
携帯電話機110は、通信回線120による通信をおこなうことができる。たとえば、携帯電話機110は、通信エリア130A内において、基地局130との無線通信をおこなうことにより、基地局130を介して通信回線120に接続し、通信回線120を利用してサーバ装置100や他の携帯電話機110との通信をおこない、サーバ装置100や他の携帯電話機110とのデータ通信をおこなうことができる。携帯電話機110のような電話機能を有するもの以外に、通信機能を有するPDA(Personal Digital Assistants)や携帯ゲーム機などをこの携帯電話機110に代えて使用することができる。
【0022】
携帯電話機110は、カメラ1580およびディスプレイ1560を備えている。携帯電話機110は、カメラ1580によって被写体の画像を撮像し、このディスプレイ1560によって表示することができる。カメラ1580は、ズーム機能を有しており、ズームインすることで、画角が狭くなる一方、被写体が大きく写し出された画像を撮像する。反対に、カメラ1580は、ズームアウトすることで、画角が広くなる一方、被写体が小さく写し出された画像を撮像する。
【0023】
また、携帯電話機110は、スピーカ1570を備えている。携帯電話機110は、このスピーカ1570から、他の携帯電話機110によって収集された音を発することができる。たとえば、図1に示す携帯電話機110Aは、他の携帯電話機110B〜Eのいずれかで収集された音に関する音データを、サーバ装置100を介して取得し、取得した音データに応じた音を、当該携帯電話機110が備えるスピーカから発することができる。
【0024】
ここで、サーバ装置100は、携帯電話機110Aのカメラ1580によって撮像された画像の大きさ、すなわちカメラ1580のズーム状態に応じた領域で聞こえる音を、携帯電話機110Aが発することができるように、複数の他の携帯電話機110B〜Eの中から、いずれか適切な携帯電話機110を、音データの取得対象(供給元)の携帯電話機110として決定する。ここでいう、ズーム状態とは、携帯電話機110においてズーム機能がどの程度発揮されている状態であるかということを示すものであり、たとえばズームの倍率である。
【0025】
たとえば、携帯電話機110Aにおいて、カメラ1580をズームインさせて、被写体が大きく写し出されている画像がディスプレイ1560に表示されている場合は、被写体をより近い位置で見たときの画像が表示されているとも言える。これに応じて、サーバ装置100は、携帯電話機110Aの位置よりも被写体により近い位置に位置している、他の携帯電話機110(たとえば、携帯電話機110C)を、音データの取得対象の携帯電話機110として決定し、この携帯電話機110によって収集された音の音データを、この携帯電話機110から受け取り、携帯電話機110Aへ供給する。携帯電話機110Aにおいては、サーバ装置100から供給された音データにより、他の携帯電話機110によって収集された音、すなわち、被写体により近い位置で聞こえる音を、スピーカ1570から発することができる。
【0026】
このようにすることで、携帯電話機110Aのユーザは、ディスプレイ1560に表示されたズームイン状態の画像によって、視覚的に被写体により近い位置にいるかのような感覚を得ることができるうえ、スピーカ1570から発せられた音によって、聴覚的にも被写体により近い位置にいるかのような感覚を得ることができる。
【0027】
図2は、サーバ装置100の機能構成を示す。サーバ装置100は、第一受信部202、決定部204、第二受信部206、および送信部208を備える。
【0028】
第一受信部202は、被写体の画像を撮像している一の携帯電話機110から、当該一の携帯電話機110の位置を示す位置情報、被写体の画像を撮像している撮像方向を示す撮像方向情報、およびズーム状態を示すズーム状態情報をそれぞれ受信する。
【0029】
決定部204は、前記一の携帯電話機110の位置を基準とする、前記撮像方向かつ前記ズーム状態に応じた位置に存在する他の携帯電話機110を、音データの取得対象の携帯電話機110として決定する。たとえば、決定部204は、前記位置および前記撮像方向に基づいて、一の携帯電話機110の位置から、前記撮像方向に向かって直線状あるいは放射状に伸びる領域を第一の領域として算出する。そして、決定部204は、前記ズーム状態に応じて、前記位置からの離間距離を算出する。具体的には、決定部204は、前記ズーム倍率が大きいほど、前記位置からの離間距離が長くなるように、前記位置からの距離を算出する。たとえば、ズーム状態としてのズーム倍率が2倍であれば離間距離がXmであり、ズーム倍率が4倍であれば離間距離が2Xmであり、ズーム倍率が6倍であれば離間距離が3Xmであり、といった具合である。この離間距離は、ズームイン状態がさらに進み、ズーム倍率が大きくなると、前記位置と被写体との間の距離よりも長くなることもある。一方、ズームアウト状態が進み、ズーム倍率が1よりも小さくなると、この離間距離はマイナス、すなわち、前記位置から被写体とは反対側の方向の距離になることもある。
【0030】
さらに、決定部204は、算出した第一の領域のうちの算出した離間距離だけ離れた位置に該当する領域を第二の領域として決定する。このとき、決定部204は、算出した離間距離に前後の幅を持たせて、この離間距離だけ離れた位置に該当する領域を、第二の領域として決定してもよい。サーバ装置100は、複数の携帯電話機110のそれぞれと常時通信をおこない、携帯電話機110の位置情報を取得しておくことで、複数の携帯電話機110のそれぞれの位置を予め把握している。決定部204は、算出した第二の領域と、サーバ装置100が予め把握している複数の携帯電話機110のそれぞれの位置とに基づいて、第二の領域内に存在する携帯電話機110を、音データの取得対象の携帯電話機110として決定する。
【0031】
第二受信部206は、決定部204が決定した音データの取得対象の携帯電話機110から、当該音データの取得対象の携帯電話機110が収集した音に関する音データを受信する。送信部208は、前記音データを、前記一の携帯電話機110へ送信することで、前記音データの取得対象の携帯電話機110が収集した音を、前記一の携帯電話機110から発せさせる。
【0032】
ここで、決定部204は、算出した第二の領域に、複数の携帯電話機110が存在する場合、予め定められた条件を満たす携帯電話機110を、音データの取得対象の携帯電話機110として決定する。上記条件は、適切な音声データを供給できる携帯電話機110を選出することができるものであればどのようなものであってもよいが、本実施形態では、音声データの供給を許可しており、かつ収集した音の音量が適切であることを条件としている。
【0033】
図3は、各携帯電話機110の許可情報および音量情報の一例を示す。図3に示すテーブル300は、サーバ装置100が有するデータベース・テーブルである。テーブル300には、携帯電話機110ごとに、許可情報および音量情報が格納されている。許可情報とは、収集した音の供給を許可するか否かを示す情報である。音量情報とは、収集した音データの音量を示す情報である。たとえば、サーバ装置100は、各携帯電話機110から、予め許可情報および音量情報を取得しておく。音量情報に関しては、サーバ装置100は、各携帯電話機110から、当該携帯電話機110が収集した音をサンプリングし、サンプリングした音の音量を計測することによって、この音量情報を得るようにしてもよい。このとき、サーバ装置100は、サンプリングした音に対して所定の加工を施し、加工が施された後の音の音量を計測することによって、この音量情報を得るようにしてもよい。たとえば、サーバ装置100は、サンプリングした音に対してノイズ除去処理をおこない、ノイズが除去された後の音の音量を計測することによって、この音量情報を得るようにしてもよい。
【0034】
たとえば、テーブル300には、4台の携帯電話機110B〜Eの許可情報および音量情報が格納されている。ここで、携帯電話機110B〜Eのいずれもが、決定部204が算出した第二の領域内に存在していると仮定した場合、決定部204は、このテーブル300に格納されている情報に基づいて、携帯電話機110B〜Eの中から、音データの取得対象の携帯電話機110を決定する。たとえば、携帯電話機110Bは、音データの供給が許可されておらず、携帯電話機110C〜Eは、音データの供給が許可されている。したがって、決定部204は、携帯電話機110Bを音データの取得対象の携帯電話機110の候補とせず、携帯電話機110C〜Eを音データの取得対象の携帯電話機110の候補とする。そして、決定部204は、候補とした各携帯電話機110C〜Eが収集した音の音量に基づいて、候補とした携帯電話機110C〜Eの中から、音データの取得対象の携帯電話機110を決定する。
【0035】
たとえば、テーブル300には、携帯電話機110Cが収集した音の音量として「10db」が格納されている。また、携帯電話機110Dが収集した音の音量として「20db」が格納されている。また、携帯電話機110Eが収集した音の音量として「30db」が格納されている。このとき、サーバ装置100において、「音量基準値として「20db」が設定されており、この音量基準値に一番近い音量を有する携帯電話機110を、音データの取得対象の携帯電話機110とする」という条件が予め定められている場合、決定部204は、この条件に合致する携帯電話機110Dを、音データの取得対象の携帯電話機110の候補とする。なお、音量基準値は、上記のように予め定められている固定値であってもよく、何らかの条件にしたがって変動するものであってもよい。たとえば、音量基準値は、複数の携帯電話機110が収集した音量の平均値、最大値、最小値などであってもよい。また、音量基準値は、ズーム倍率が大きくなるにつれて、増加するものであってもよい。また、音量基準値は、携帯電話機110Aのユーザが指定できるようにしてもよい。なお、決定部204が音データの取得対象の携帯電話機110を決定するために用いる条件は、上記した許可情報や音量情報によるものに限らない。
【0036】
図4は、携帯電話機110の機能構成を示す。携帯電話機110は、撮像部302、表示部303、位置検出部304、方向検出部306、ズーム状態検出部307、集音部308、送信部310、受信部320、および発音部322を備える。
【0037】
撮像部302は、被写体を撮像する。具体的には、携帯電話機110は撮像装置の一例としてのカメラ1580を備えており、このカメラ1580が撮像部302として機能し、被写体を撮像する。
【0038】
表示部303は、撮像部302が撮像した画像を表示する。具体的には、携帯電話機110は表示装置の一例としてのディスプレイ1560を備えており、このディスプレイ1560が表示部303として機能し、撮像部302によって撮像された画像を表示する。
【0039】
ここで、撮像部302は、ズーム機能を有している。たとえば、撮像部302は、ユーザによるズームイン操作を受け、ズームインすることで、画角が狭くなる一方、被写体が拡大された画像を撮像する。また、撮像部302は、ユーザによるズームアウト操作を受け、ズームアウトすることで、画角が広くなる一方、被写体が縮小された画像を撮像する。撮像部302が有するズーム機能は、光学的に画像を拡大または縮小する光学ズームであってもよく、画像処理によって画像を拡大または縮小するデジタルズームであってもよい。
【0040】
位置検出部304は、携帯電話機110の位置を検出する。具体的には、携帯電話機110は位置検出装置の一例としてのGPS(Global Positioning System)ユニット1582を備えており、このGPSユニット1582が位置検出部304として機能し、携帯電話機110の位置を検出する。位置検出部304は、検出した携帯電話機110の位置を示す位置情報を生成する。たとえば、位置情報には、携帯電話機110の位置を示す座標が示されている。
【0041】
方向検出部306は、撮像部302による画像の撮像方向を検出する。具体的には、携帯電話機110は方向検出装置の一例としての方位センサ1584を備えており、この方位センサ1584が方向検出部306として機能し、撮像部302の撮像方向を検出する。方向検出部306は、検出した撮像部302の撮像方向を示す撮像方向情報を生成する。たとえば、撮像方向情報には、撮像部302の撮像方向を示す方位が示されている。
【0042】
ズーム状態検出部307は、撮像部302のズーム状態、たとえばズームの倍率を検出する。そして、ズーム状態検出部307は、検出した当該撮像部302のズーム状態を示すズーム状態情報を生成する。たとえば、撮像部302のズーム状態は撮像部302自身がこれを把握しているため、この撮像部302が、ズーム状態検出部307として機能する。
【0043】
集音部308は、携帯電話機110の周辺の音を収集する。具体的には、携帯電話機110は集音装置の一例としてのマイク1586を備えており、このマイク1586が集音部308として機能し、携帯電話機110の周辺の音を収集する。集音部308は、収集した音を示す音データを生成する。
【0044】
送信部310は、サーバ装置100に対して、各種情報を送信する。具体的には、当該携帯電話機110が音データの供給を要求する側の携帯電話機110として利用される場合、送信部310は、他の携帯電話機110が収集した音を当該携帯電話機110へ供給するようにサーバ装置100へ要求するとともに、位置置検出部304が検出した位置に関する位置情報、方向検出部306が検出した撮像方向に関する撮像方向情報、およびズーム状態検出部307が検出したズーム状態に関するズーム状態情報を、サーバ装置100へ送信する。
【0045】
一方、当該携帯電話機110が音データを供給する側の携帯電話機110として利用される場合、送信部310は、当該携帯電話機110が収集した音を他の携帯電話機110へ供給するようにサーバ装置100から要求された場合、集音部308が収集した音に関する音データを、サーバ装置100へ送信する。
【0046】
受信部320は、サーバ装置100から、各種情報を受信する。具体的には、当該携帯電話機110が音データの供給を要求する側の携帯電話機110として利用される場合、受信部320は、他の携帯電話機110から供給された音データを、サーバ装置100を介して受信する。
【0047】
発音部322は、受信部320が受信した音データにより、他の携帯電話機110から供給された音、すなわち、他の携帯電話機110によって収集された音を発する。具体的には、当該携帯電話機110は、発音装置の一例としてのスピーカ1570を備えており、このスピーカ1570が発音部322として機能し、他の携帯電話機110から供給された音を発する。発音部322は、他の携帯電話機110によって収集された音を発していないときは、当該携帯電話機110の集音部308によって収集された音を発することもできる。
【0048】
図5は、第1実施形態にかかるサーバ装置100および携帯電話機110による処理の手順を示す。以降の説明では、携帯電話機110Aを、他の携帯電話機110に対して音データの供給を要求する側の端末とし、携帯電話機110Dが、サーバ装置100によって音データの取得対象の携帯電話機110として決定された場合の例を説明する。
【0049】
まず、一の端末装置である携帯電話機110Aにおいて、撮像部302が、被写体の画像の撮像を開始すると(ステップS502)、位置検出部304が、当該携帯電話機110Aの位置を検出し(ステップS504)、方向検出部306が、当該携帯電話機110Aの撮像方向を検出し(ステップS506)、ズーム状態検出部307が、当該撮像部302のズーム状態を検出する(ステップS508)。そして、送信部310が、他の携帯電話機110が収集した音の音データを供給するようにサーバ装置100へ要求するとともに、ステップS504〜ステップS508で生成された各種情報をサーバ装置100へ送信する(ステップS510)。
【0050】
サーバ装置100においては、第一受信部202が、ステップS510で送信された各種情報を受信し(ステップS512)、決定部204が、ステップS512で受信された各種情報に基づいて、他の端末装置である複数の携帯電話機110の中から、音データの取得対象の携帯電話機110を決定する(ステップS514)。この例では、上述したとおり、携帯電話機110Dを、音データの取得対象の携帯電話機110として決定する。そして、サーバ装置100は、ステップS514で決定された音データの取得対象の携帯電話機110Dに対し、収集した音データを供給するように要求する(ステップS516)。
【0051】
この要求を受けた携帯電話機110Dにおいては、集音部308が、音の収集を開始し(ステップS518)、送信部310が、集音部308によって収集された音の音データをサーバ装置100へ送信することにより、当該音データの供給を開始する(ステップS520)。
【0052】
サーバ装置100は、第二受信部206が、携帯電話機110Dから供給された音データを受信すると(ステップS522)、送信部208が、この音データを携帯電話機110Aへ送信する(ステップS524)。すなわち、サーバ装置100は、携帯電話機110Dから供給された音データを、携帯電話機110Aへ転送する。
【0053】
そして、携帯電話機110Aは、受信部320が、サーバ装置100から送信された音データを受信すると(ステップS526)、発音部322が、この音データにより、携帯電話機110Dによって収集された音を発する(ステップS528)。
【0054】
上記した一連の処理において、たとえば、携帯電話機110Aにおいて音データの受け取りを停止する操作がなされたり、携帯電話機110Dにおいて音データの供給を停止する操作がなされる等の、なんらかの終了イベントが発生するまで、ステップS518〜ステップS528の処理が繰り返され、携帯電話機110Dは、収集した音の音データを携帯電話機110Aへ供給し続け、携帯電話機110Aは、携帯電話機110Dによって収集された音を発し続ける。
【0055】
この間、携帯電話機110Aの位置、方向、ズーム状態の少なくともいずれか一つが変更されると、この変更がおこなわれるごとに、サーバ装置100の第一受信部202は、変更後の各々の情報を携帯電話機110Aから受信し、サーバ装置100の決定部204は、変更後の各々の情報によって定まる位置に存在する携帯電話機110を、音データの取得対象の携帯電話機110として新たに決定し、サーバ装置100の第二受信部206は、新たに決定された音データの取得対象の携帯電話機110から音データの受信を開始する。
【0056】
この場合、携帯電話機110Aの位置、方向、ズーム状態の少なくともいずれか一つが変更されるだけではなく、さらに、携帯電話機110Aのユーザがこれらの変更後に「確定」ボタンを押下するなど、この変更を確定する操作を行った場合に、サーバ装置100の第一受信部202が、変更後の各々の情報を携帯電話機110Aから受信し、サーバ装置100の決定部204が、変更後の各々の情報によって定まる位置に存在する携帯電話機110を、音データの取得対象の携帯電話機110として新たに決定し、サーバ装置100の第二受信部206が、新たに決定された音データの取得対象の携帯電話機110から音データの受信を開始するようにしてもよい。
【0057】
図6は、携帯電話機110Aの状態の一例を示す。携帯電話機110Aには、図6での図示を省略するカメラ1580が設けられており、携帯電話機110Aのディスプレイ1560には、このカメラ1580が撮像している被写体の画像600が表示されている。携帯電話機110Aの表面には、入力装置の一例としての各種入力ボタン1550が設けられており、この各種入力ボタン1550がユーザによって操作されることにより、カメラ1580による画像の撮像や、撮像部302のズーム状態設定を含む各種設定がおこなわれる。
【0058】
また、携帯電話機110Aには、図6での図示を省略するスピーカ1570が設けられており、このスピーカ1570からは、音610が発せられている。ここで、この音610は、当該携帯電話機110Aによって収集された音ではなく、携帯電話機110Dによって収集された音である。
【0059】
画像600は、カメラ1580に対するズームイン操作がおこなわれたことによって拡大された画像である。このズームイン操作に応じて、サーバ装置100によって、当該携帯電話機110Aの位置を基準として、カメラ1580の撮像方向に存在し、当該携帯電話機110Aよりも被写体に近い携帯電話機110Dが、音データの取得対象の携帯電話機110として決定されている。そして、携帯電話機110Dによって収集された音の音データが、サーバ装置100を介して、当該携帯電話機110Aへ供給され、これにより、当該携帯電話機110Aは、携帯電話機110Dによって収集された音、すなわち、当該当該携帯電話機110Aの位置よりも被写体に近い位置で収集された音を発している。
【0060】
このように、第1実施形態によれば、当該携帯電話機110Aのユーザは、カメラ1580に対するズームイン操作をおこなうことで、ディスプレイ1560に表示された画像600によって、視覚的に携帯電話機110Dの位置にいるかのような感覚を得ることができるうえ、スピーカ1570から発せられた音610によって、聴覚的にも携帯電話機110Dの位置にいるかのような感覚を得ることができる。したがって、端末装置としての携帯電話機のユーザは、位置を移動することなく、カメラ1580の向きを変えたり、ズーム操作をおこなうことで、様々な位置における臨場感を体感することができる。
【0061】
図7は、サーバ装置100のハードウェア構成の一例を示す。サーバ装置100は、CPU2505、ROM2510、RAM2520、HD(ハードディスク)ドライブ2525、通信インターフェース2530、外部メモリドライブ2540、および外部メモリ2542を備える。
【0062】
ROM2510、RAM2520、およびHDドライブ2525は、各種データおよび各種プログラムを格納する。CPU2505は、ROM2510、RAM2520、またはHDドライブ2525に格納されたプログラムを実行することで、各種データ処理および各種ハードウェア制御をおこなう。
【0063】
通信インターフェース2530は、通信ネットワークに接続し、通信ネットワークを介して外部との通信をおこなう。外部メモリドライブ2540は、外部メモリ2542に接続し、外部メモリ2542に対するデータの送受信をおこなう。外部メモリ2542としては、たとえば、メモリカードが挙げられる。外部メモリ2542は、フレキシブルディスク、CD、DVD等の記録媒体であってもよい。
【0064】
CPU2505が実行するプログラムは、たとえば、コンピュータ読み取り可能な記録媒体に格納されてサーバ装置100に提供され、サーバ装置100に格納される。CPU2505が実行するプログラムは、サーバ装置100に予め格納されていてもよい。また、CPU2505が実行するプログラムは、外部装置から通信ネットワークを介してサーバ装置100に提供され、サーバ装置100に格納されてもよい。
【0065】
たとえば、サーバ装置100が備えるCPU2505が、ROM2510、RAM2520、HDドライブ2525、または外部メモリ2542に格納されているプログラムを実行することにより、サーバ装置100は、決定部204として機能する。また、サーバ装置100が備えるCPU2505が、ROM2510、RAM2520、HDドライブ2525、または外部メモリ2542に格納されているプログラムを実行し、通信インターフェース2530を制御することにより、サーバ装置100は、第一受信部202、第二受信部206、および送信部208として機能する。
【0066】
図8は、携帯電話機110のハードウェア構成の一例を示す。携帯電話機110は、既に説明した、各種入力ボタン1550、ディスプレイ1560、スピーカ1570、カメラ1580、GPSユニット1582、方位センサ1584、およびマイク1586に加え、CPU1505、ROM1510、RAM1520、HD(ハードディスク)ドライブ1525、通信インターフェース1530、外部メモリドライブ1540、および外部メモリ1542を備える。
【0067】
ROM1510、RAM1520、およびHDドライブ1525は、各種データおよび各種プログラムを格納する。CPU1505は、ROM1510、RAM1520、またはHDドライブ1525に格納されたプログラムを実行することで、各種データ処理および各種ハードウェア制御をおこなう。
【0068】
通信インターフェース1530は、通信ネットワークに接続し、通信ネットワークを介して外部との通信をおこなう。外部メモリドライブ1540は、外部メモリ1542に接続し、外部メモリ1542に対するデータの送受信をおこなう。外部メモリ1542としては、たとえば、メモリカードが挙げられる。
【0069】
CPU1505が実行するプログラムは、たとえば、コンピュータ読み取り可能な記録媒体に格納されて携帯電話機110に提供され、携帯電話機110に格納される。CPU1505が実行するプログラムは、携帯電話機110に予め格納されていてもよい。また、CPU1505が実行するプログラムは、外部装置から通信ネットワークを介して携帯電話機110に提供され、携帯電話機110に格納されてもよい。
【0070】
たとえば、携帯電話機110が備えるCPU1505が、ROM1510、RAM1520、HDドライブ1525、または外部メモリ1542に格納されているプログラムを実行し、通信インターフェース1530を制御することにより、携帯電話機110は、送信部310および受信部320として機能する。
【0071】
(第2実施形態)
次に、第2実施形態を説明する。この第2実施形態では、音データの取得対象の携帯電話機110をサーバ装置100が自動的に決定するのではなく、音データの供給を要求する携帯電話機110Aのユーザに決定させる例について説明する。
【0072】
図9は、音データの取得対象の携帯電話機100を選択する方法の一例を示す。第2実施形態では、サーバ装置100の決定部204は、第一受信部202によって取得された各々の情報によって定まる位置に存在する複数の携帯電話機100のうち、いずれの携帯電話機100を音データの取得対象の携帯電話機100とするかを、一の携帯電話機100のユーザに選択させ、一の携帯電話機100のユーザによって選択された携帯電話機100を、音データの取得対象の携帯電話機110として決定する。
【0073】
図9において、携帯電話機110Aのディスプレイ1560には、音データの取得対象の携帯電話機110を選択するための画面900が表示されている。この画面900は、サーバ装置100から送信された画面データに応じて表示されたものである。サーバ装置100は、各々の携帯電話機から受信した位置情報、方位情報及びズーム状態情報から画面900の画面データを生成する。画面900において、線分P1及びP2に挟まれた領域が前述した第1の領域であり、そのうち、アイコン922、924、926、928が存在する領域が前述した第2の領域である。サーバ装置100は、この画面900の画面データを、携帯電話機110Aへ送信して、携帯電話機110Aに画面900を表示させる。そして、この画面900によって、音データの取得対象の携帯電話機110を、携帯電話機110Aのユーザに選択させる。これにより、サーバ装置100は、音データの取得対象の携帯電話機110を決定する。
【0074】
たとえば、画面900には、当該携帯電話機110Aの位置を示すアイコン910と、他の4つの携帯電話機110の位置を示すアイコン922、924、926、928と、被写体の位置を示すアイコン930とが表示されている。当該携帯電話機110Aのユーザは、各種入力ボタン1550を操作することにより、アイコン922〜928の中から、所望する位置のアイコンを選択する。当該携帯電話機110Aは、この選択結果を、サーバ装置100へ送信する。サーバ装置100は、この選択結果に基づいて、4つの携帯電話機110の中から、音データの取得対象の携帯電話機110を決定する。
【0075】
このように、第2実施形態によれば、音データの取得対象の携帯電話機110をユーザが選択できるようにしたので、ユーザは、音データの取得対象の携帯電話機110を切り替えることで、複数の携帯電話機110が存在する様々な位置のうち、ユーザが所望する位置で聞こえる音を、当該携帯電話機110Aから聞くことができる。したがって、端末装置である携帯電話機のユーザは、位置を移動することなく、カメラ1580の向きを変えたり、ズーム操作をおこなうことで、様々な位置における臨場感を体感することができる。
【0076】
なお、音データの取得対象の携帯電話機110を携帯電話機110Aのユーザに選択させる場合、サーバ装置100は、候補となる複数の携帯電話機110のそれぞれから取得した音を、携帯電話機110Aへ送信し、携帯電話機110Aが、候補となる複数の携帯電話機110の各々の音を試聴できるようにしてもよい。このようにすることで、携帯電話機110Aのユーザにとって最も好ましい音を供給する携帯電話機110を、音データの取得対象の携帯電話機110として、携帯電話機110Aのユーザに選択させることができる。
【0077】
(第3実施形態)
次に、第3実施形態を説明する。この第3実施形態では、携帯電話機110Aが、携帯電話機110Dから、音データだけでなく、画像データをも受け取る例について説明する。
【0078】
第3実施形態では、サーバ装置100の第二受信部206は、音データの取得対象の携帯電話機110Dから、当該音データの取得対象の携帯電話機110Dが撮像した画像に関する画像データを受信し、サーバ装置100の送信部208は、音データの取得対象の携帯電話機110Dから受信した画像データを、携帯電話機110Aへ送信することで、音データの取得対象の携帯電話機110Dが撮像した画像を、携帯電話機110Aに表示させる。
【0079】
図10は、第3実施形態にかかるサーバ装置100および携帯電話機110による処理の手順を示す。まず、携帯電話機110Aにおいて、撮像部302が、被写体の画像の撮像を開始すると(ステップS1002)、位置検出部304が、当該携帯電話機110Aの位置を検出し(ステップS1004)、方向検出部306が、当該携帯電話機110Aの撮像方向を検出し(ステップS1006)、ズーム状態検出部307が、当該撮像部302のズーム状態を検出する(ステップS1008)。そして、送信部310が、他の携帯電話機110が収集した音の音データを供給するようにサーバ装置100へ要求するとともに、ステップS1004〜ステップS1008で生成された各種情報をサーバ装置100へ送信する(ステップS1010)。
【0080】
サーバ装置100においては、第一受信部202が、ステップS1010で送信された各種情報を受信し(ステップS1012)、決定部204が、ステップS1012で受信された各種情報に基づいて、音データの取得対象の携帯電話機110を決定する(ステップS1014)。この例では、上述したとおり、携帯電話機110Dを、音データの取得対象の携帯電話機110として決定する。そして、サーバ装置100は、ステップS1014で決定された音データの取得対象の携帯電話機110Dに対し、収集した音データおよび撮像した画像データを供給するように要求する(ステップS1016)。
【0081】
この要求を受けた携帯電話機110Dにおいては、集音部308が、音の収集を開始するとともに、撮像部302が、画像の撮像を開始し(ステップS1018)、送信部310が、集音部308によって収集された音の音データ、および撮像部302によって撮像された画像の画像データをサーバ装置100へ送信することにより、当該音データおよび当該画像データの供給を開始する(ステップS1020)。
【0082】
サーバ装置100は、第二受信部206が、携帯電話機110Dから供給された音データおよび画像データを受信すると(ステップS1022)、送信部208が、この音データおよび画像データを携帯電話機110Aへ送信する(ステップS1024)。すなわち、サーバ装置100は、携帯電話機110Dから供給された音データおよび画像データを、携帯電話機110Aへ転送する。
【0083】
そして、携帯電話機110Aは、受信部320が、サーバ装置100から送信された音データおよび画像データを受信すると(ステップS1026)、発音部322が、この音データにより、携帯電話機110Dによって収集された音を発するとともに、表示部303が、この画像データにより、携帯電話機110Dによって撮像された画像を表示する(ステップS1028)。
【0084】
図11は、第3実施形態にかかる携帯電話機110Aの状態の一例を示す。図11(a)は、カメラ1580に対するズームイン操作がおこなわれる前の、携帯電話機110Aの状態を示す。図11(a)において、携帯電話機110Aのディスプレイ1560には、被写体の画像1100が表示されている。この画像1100は、当該携帯電話機110Aのカメラ1580によって撮像された画像である。また、図11(a)において、携帯電話機110Aのスピーカ1570からは、音1110が発せられている。この音610は、当該携帯電話機110Aのマイク1586によって収集された音である。
【0085】
携帯電話機110Aにおいては、図11(a)に示す状態から、カメラ1580に対するズームイン操作がおこなわれている。このズームイン操作に応じて、サーバ装置100によって、当該携帯電話機110Aの位置を基準として、カメラ1580の撮像方向に存在し、当該携帯電話機110Aよりも被写体に近い携帯電話機110Dが、音データの取得対象の携帯電話機110として決定される。そして、携帯電話機110Dによって収集された音の音データ、および携帯電話機110Dによって撮像された画像の画像データが、サーバ装置100を介して、当該携帯電話機110Aへ供給され、これにより、当該携帯電話機110Aは、携帯電話機110Dによって収集された音、すなわち、当該当該携帯電話機110Aの位置よりも被写体に近い位置で収集された音を発するとともに、携帯電話機110Dによって撮像された画像、すなわち、当該当該携帯電話機110Aの位置よりも被写体に近い位置で撮像された画像を表示する。
【0086】
図11(b)は、カメラ1580に対するズームイン操作がおこなわれた後の、携帯電話機110Aの状態を示す。図11(b)において、携帯電話機110Aのディスプレイ1560には、被写体の画像1102が表示されている。この画像1100は、当該携帯電話機110Aのカメラ1580によって撮像された画像ではなく、携帯電話機110Dによって撮像され、携帯電話機110Dから供給されてきた画像である。また、図11(b)において、携帯電話機110Aのスピーカ1570からは、音1112が発せられている。この音1112は、当該携帯電話機110Aのマイク1586によって収集された音ではなく、携帯電話機110Dによって収集され、携帯電話機110Dから供給されてきた音である。
【0087】
このように、第3実施形態によれば、当該携帯電話機110Aのユーザは、カメラ1580に対するズームイン操作をおこなうことで、ディスプレイ1560に表示された画像1102によって、視覚的に携帯電話機110Dの位置にいるかのような感覚を得ることができるうえ、スピーカ1570から発せられた音1112によって、聴覚的にも携帯電話機110Dの位置にいるかのような感覚を得ることができる。特に、携帯電話機110Dの位置で撮像された画像をディスプレイ1560に表示しているので、当該携帯電話機110Aの位置では、被写体を写し出すことができない状況であっても、携帯電話機110Dから供給された画像1102によって、被写体を視認することができる。したがって、端末装置のユーザは、位置を移動することなく、カメラ1580の向きを変えたり、ズーム操作をおこなうことで、様々な位置における臨場感を体感することができる。
【0088】
(第4実施形態)
図12は、第4実施形態に係るサーバ装置100の機能構成を示す。第4実施形態に係るサーバ装置100は、生成部210および翻訳部220をさらに備える点で、第1実施形態に係るサーバ装置100と異なる。以下、第1実施形態に係るサーバ装置100と異なる点を中心に説明する。
【0089】
生成部210は、音データの取得対象の携帯電話機110Dから供給され、第二受信部206が受信した音データに含まれている音声データから、音声認識技術を用いて、テキストデータを生成する。翻訳部220は、テキストデータが携帯電話機110Aについて決められた母国語以外の場合には、当該母国語以外のテキストデータを翻訳辞書などを用いて翻訳し、母国語のテキストデータを生成する。どの携帯電話機110のユーザがどの言語を母国語としているかについては、予め生成部210によって記憶されていてもよいし、後述するステップS1310(図13)にて、携帯電話機110からその都度サーバ装置100に通知されてもよい。
【0090】
第4実施形態では、サーバ装置100の送信部208は、翻訳部220によって生成された母国語のテキストデータを、携帯電話機110Aへ送信することで、音データの取得対象の携帯電話機110Dが収集した音声の内容を母国語で示すテキストを、携帯電話機110Aに表示させる。
【0091】
図13は、第4実施形態にかかるサーバ装置100および携帯電話機110による処理の手順を示す。まず、携帯電話機110Aにおいて、撮像部302が、被写体の画像の撮像を開始すると(ステップS1302)、位置検出部304が、当該携帯電話機110Aの位置を検出し(ステップS1304)、方向検出部306が、当該携帯電話機110Aの撮像方向を検出し(ステップS1306)、ズーム状態検出部307が、当該撮像部302のズーム状態を検出する(ステップS1308)。そして、送信部310が、他の携帯電話機110が収集した音の音データを供給するようにサーバ装置100へ要求するとともに、ステップS1304〜ステップS1308で生成された各種情報をサーバ装置100へ送信する(ステップS1310)。
【0092】
サーバ装置100においては、第一受信部202が、ステップS1310で送信された各種情報を受信し(ステップS1312)、決定部204が、ステップS1312で受信された各種情報に基づいて、音データの取得対象の携帯電話機110を決定する(ステップS1314)。この例では、上述したとおり、携帯電話機110Dを、音データの取得対象の携帯電話機110として決定する。そして、サーバ装置100は、ステップS1314で決定された音データの取得対象の携帯電話機110Dに対し、収集した音データおよびこの音データから生成したテキストデータを供給するように要求する(ステップS1316)。
【0093】
この要求を受けた携帯電話機110Dにおいては、集音部308が、音の収集を開始し(ステップS1318)、送信部310が、集音部308によって収集された音の音データをサーバ装置100へ送信することにより、当該音データの供給を開始する(ステップS1320)。
【0094】
サーバ装置100は、第二受信部206が、携帯電話機110Dから供給された音データを受信すると(ステップS1322)、生成部210が、音声認識技術を用いて、この音データに含まれている音声データから、テキストデータを生成し(ステップS1324)、翻訳部220が、このテキストデータを翻訳し、母国語のテキストデータを生成する(ステップS1326)。そして、送信部310が、携帯電話機110Dから供給された音データ、および翻訳部220が生成した母国語のテキストデータをサーバ装置100へ送信する(ステップS1328)。
【0095】
そして、携帯電話機110Aは、受信部320が、サーバ装置100から送信された音データおよびテキストデータを受信すると(ステップS1330)、発音部322が、この音データにより、携帯電話機110Dによって収集された音を発するとともに、表示部303が、このテキストデータにより、携帯電話機110Dが収集した音に含まれる音声の内容を母国語で示すテキストを表示する(ステップS1332)。
【0096】
図14は、第4実施形態にかかる携帯電話機110Aの状態の一例を示す。図14は、カメラ1580に対するズームイン操作がおこなわれた後の、携帯電話機110Aの状態を示す。このズームイン操作に応じて、サーバ装置100によって、当該携帯電話機110Aの位置を基準として、カメラ1580の撮像方向に存在し、当該携帯電話機110Aよりも被写体に近い携帯電話機110Dが、音データの取得対象の携帯電話機110として決定されている。そして、携帯電話機110Dによって収集された音の音データ、この音データに含まれる音声を母国語でテキスト化したテキストデータが、サーバ装置100を介して、当該携帯電話機110Aへ供給され、これにより、当該携帯電話機110Aは、携帯電話機110Dによって収集された音、すなわち、当該当該携帯電話機110Aの位置よりも被写体に近い位置で収集された音を発するとともに、携帯電話機110Dが収集した音に含まれる音声の内容を母国語で示すテキストを表示する。
【0097】
たとえば、図14において、携帯電話機110Aのディスプレイ1560には、被写体の画像1400が表示されている。この画像1400は、当該携帯電話機110Aのカメラ1580によって撮像された画像であるが、第3実施形態で説明したように、携帯電話機110Dから供給されてきた画像を表示するようにしてもよい。また、図14において、携帯電話機110Aのスピーカ1570からは、音1410が発せられている。この音1410は、当該携帯電話機110Aのマイク1586によって収集された音ではなく、携帯電話機110Dによって収集され、携帯電話機110Dから供給されてきた音である。さらに、携帯電話機110Aのディスプレイ1560には、画像1400上に重ねて、テキスト1420が表示されている。このテキスト1420は、音1410に含まれる音声の内容を母国語で示すものであり、サーバ装置100において生成され、サーバ装置100から供給されてきたものである。
【0098】
このように、第4実施形態によれば、当該携帯電話機110Aのユーザは、カメラ1580に対するズームイン操作をおこなうことで、ディスプレイ1560に表示された画像1400によって、視覚的に携帯電話機110Dの位置にいるかのような感覚を得ることができるうえ、スピーカ1570から発せられた音1410によって、聴覚的にも携帯電話機110Dの位置にいるかのような感覚を得ることができる。さらに、ディスプレイ1560に表示されたテキスト1420によって、音1410に含まれる母語語以外の音声の内容を、容易に把握することができる。したがって、端末装置のユーザは、位置を移動することなく、カメラ1580の向きを変えたり、ズーム操作をおこなうことで、様々な位置における臨場感を体感することができる。
【0099】
(変形例)
なお、本発明は、上記した形態での実施に限らず、以下のように変形させて実施してもよい。また、以下の変形例を組み合わせてもよい。
【0100】
サーバ装置100は、複数の携帯電話機110から音声データを受け取り、この音声データと、この音声データの供給元の携帯電話機110の位置とを対応付けて、ROM2510、RAM2520、HDドライブ2525、外部メモリ2542などの格納部に格納しておいてもよい。この場合、サーバ装置100は、携帯電話機110Aから受信した各々の情報によって特定した領域に存在する携帯電話機110から音声データ等を受け取り、これを携帯電話機110Aへ供給する代わりに、上記領域に含まれている位置に対応付けられて格納されている音声データを、携帯電話機110Aへ供給してもよい。これにより、携帯電話機110Aのユーザは、上記位置において、過去にどのような音声が聞こえていたかを知ることができる。
【0101】
また、サーバ装置100は、複数の携帯電話機110から画像データを受け取り、この画像データと、この画像データの供給元の携帯電話機110の位置とを対応付けて、ROM2510、RAM2520、HDドライブ2525、外部メモリ2542などの格納部に格納しておいてもよい。この場合、サーバ装置100は、携帯電話機110Aから受信した各々の情報によって特定した領域に存在する携帯電話機110から音声データ等を受け取り、これを携帯電話機110Aへ供給する代わりに、上記領域に含まれている位置に対応付けられて格納されている画像データを、携帯電話機110Aへ供給してもよい。これにより、携帯電話機110Aのユーザは、上記位置において、過去にどのような被写体が撮像されていたかを知ることができる。
【0102】
各実施形態では、ズーム状態情報としてズームの倍率に関する情報を想定していたが、これ以外の情報をズーム状態情報として用いてもよい。たとえば、携帯電話機110やその部品ユニットであるカメラ1570の製造メーカに応じて、カメラレンズの画角そのものが違うことがあるし、ズームの倍率を評価する基準も異なることがある。そこで、携帯電話機110は、ズーム状態情報としてのズーム倍率とともに、携帯電話機110自身やその部品ユニットであるカメラ1570の製造メーカを特定するような識別情報(たとえばシリアルナンバー)をサーバ装置100に通知する。サーバ装置100は、このシリアルナンバー及びズーム倍率ごとに、前述した第2の領域を特定するための離間距離に関する情報を予め記憶しておき、この記憶内容に基づいて離間距離を特定する。このようにすれば、ズーム操作を行ったユーザが望む領域の音を収集することが可能となる。
【0103】
各実施形態では、携帯電話機110Aから取得した各々の情報に基づいてサーバ装置100が決定した領域内に、適切な音を供給することができる携帯電話機110が存在することを前提として説明したが、サーバ装置100が決定した領域内に、適切な音(たとえばある一定音量以上の音など予め定められている基準を満たす音)を供給することができない携帯電話機110しか存在しない場合や、そもそも携帯電話機110が一台も存在しない場合も考えられる。このような場合、サーバ100は、決定した領域を前後方向に移動させて、適切な音を供給することができる携帯電話機110が存在する領域を検出するようにしてもよい。そして、サーバ100は、検出した領域に存在する携帯電話機110からこの携帯電話機110が収集した音を取得し、取得した音を携帯電話機110Aへ供給して、携帯電話機110Aから出力させるようにしてもよい。
【0104】
この場合、携帯電話機110Aのカメラ1570のズーム状態と、携帯電話機110Aから出力されている音が収集された位置との整合がとれなくなる。そこで、サーバ100は、携帯電話機110Aから出力されている音が収集された位置にあわせて、携帯電話機110Aのカメラ1570のズーム状態を変更するように制御してもよい。たとえば、携帯電話機110Aのカメラ1570のズーム倍率が2倍のときに、これに対応する領域に適切な音を供給することができる携帯電話機110が存在しなく、サーバ100が、決定した領域を前後にずらし、適切な音を供給することができる携帯電話機110を検出したとする。この携帯電話機110が検出された領域が、携帯電話機110Aのカメラ1570のズーム倍率が3倍のときに対応する領域である場合、サーバ100は、携帯電話機110Aのカメラ1570のズーム倍率を3倍に制御する。これにより、携帯電話機110Aのディスプレイ1560には、3倍に拡大された被写体の画像(すなわち、上記によって決定された携帯電話機110の位置で見える画像)が自動的に表示され、携帯電話機110Aのスピーカ1570からは、この画像に応じた適切な位置で聞こえる音(すなわち、上記によって決定された携帯電話機110の位置で聞こえる音)が発せられる。このようにすることで、携帯電話機110Aのユーザは、音と画像のバランスが取れた心地よい臨場感を得ることができる。
【0105】
上記の場合において、サーバ装置100は、適切な音を供給することができる携帯電話機110を、ズームイン方向・ズームアウト方向のいずれか一方向に探索してもよく、ズームイン方向・ズームアウト方向の双方向に探索してもよい。これらのうちのいずれを適用するかについては、予めサーバ装置100に設定されていてもよく、携帯電話機110Aのユーザに選択させるようにしてもよい。また、サーバ装置100は、適切な音を供給することができる携帯電話機110が存在する領域を複数検出してもよく、この場合、いずれの領域に存在する携帯電話機110を音データの供給元の携帯電話機110とするかを、携帯電話機110Aのユーザに選択させるようにしてもよく、たとえば、元の領域から最も近い位置にある領域に存在する携帯電話機110を音データの供給元の携帯電話機110とするなど、自動的に決定するようにしてもよい。
【0106】
各実施形態では、本発明に係る情報処理装置をサーバ装置に適用した例を示したが、これに限らず、本発明に係る情報処理装置は、パーソナルコンピュータなどにも適用することができる。なお、本発明に係る端末装置は、本発明に係る情報処理装置の機能を兼ね備えるものであってもよい。この場合、各実施形態で説明したようなサーバ装置を設けなくても、本発明に係る情報処理方法を実現することができる。
【0107】
また、各実施形態では、本発明に係る端末装置を携帯電話機に適用した例を示したが、これに限らず、本発明に係る端末装置は、PDA(Personal Digital Assistant)、携帯音楽再生装置、携帯動画再生装置、携帯ナビゲーション装置などにも適用することができる。本発明に係る端末装置は、被写体が保持しているものも含めてよい。また、各実施形態では、音の取得対象として決定された携帯電話機110が撮像部を備えているが、音データを供給するだけであれば、撮像部を備えていなくてもよい。
【0108】
なお、各実施形態では、本発明にかかる「所定のデータ」の一例として、音データおよび画像データを用いて説明し、本発明にかかる「出力部」の一例として、発音部322および表示部303を用いて説明したが、これらに限定するものではない。すなわち、携帯電話機110Aは、他の携帯電話機110から、音データおよび画像データ以外のデータを所定のデータとして受け取って出力するようにしてもよい。また、携帯電話機110Aは、他の携帯電話機110から受け取ったデータを、発音部322および表示部303以外の出力部によって出力するようにしてもよい。
【符号の説明】
【0109】
100…サーバ装置、110…携帯電話機、202…第一受信部、204…決定部、206…第二受信部、208…送信部、302…撮像部、303…表示部、304…位置検出部、306…方向検出部、307…ズーム状態検出部、308…集音部、310…送信部、320…受信部、322…発音部
【技術分野】
【0001】
本発明は、情報処理装置、情報処理方法、情報処理システム、プログラムおよび端末装置に関する。
【背景技術】
【0002】
被写体が保持するマイクで収集した音声を、当該マイクから取得し、被写体の画像を撮像した画像とともに保存することができるデジタルカメラが考案されている(たとえば、特許文献1参照。)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2005−295502号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上記特許文献1に記載の技術では、デジタルカメラのユーザは、そのカメラが有る位置における音を保存することしかできない。従って、たとえば、歌手のコンサート会場でその歌手から遠い位置に居る場合には、会場に設置されたスピーカから発せられる歌手の声を聞いたり保存したりすることはできるが、その歌手の声をスピーカを介さずに直接聞くことは難しく、その歌手の近くにいるかのような臨場感を体感することはできない。
【0005】
本発明の目的は、端末装置のユーザに対して、位置を移動させることなく、様々な位置における臨場感を体感させること。
【課題を解決するための手段】
【0006】
上記課題を解決するため、本発明に係る情報処理装置は、撮像部を用いて被写体を撮像している一の端末装置から、当該一の端末装置の位置を示す位置情報、前記撮像部の撮像方向を示す撮像方向情報、および前記撮像部のズーム状態を示すズーム状態情報をそれぞれ受信する第一受信部と、前記一の端末装置から受信した位置情報が示す位置を基準として、当該一の端末装置から受信した前記撮像方向情報が示す撮像方向及び前記ズーム状態情報が示すズーム状態に応じた領域を決定し、当該領域に存在する他の端末装置を、所定のデータの取得対象の端末装置として決定する決定部と、前記所定のデータの取得対象の端末装置から、当該端末装置が有する所定のデータを受信する第二受信部と、前記所定のデータを、前記一の端末装置へ送信する送信部とを備えることを特徴とする。
【0007】
好ましくは、上記情報処理装置において、前記決定部は、決定した前記領域に存在する複数の他の端末装置のうち、予め定められた条件を満たす端末装置を、前記所定のデータの取得対象の端末装置として決定するとよい。
【0008】
好ましくは、上記情報処理装置において、前記決定部は、決定した前記領域に存在する複数の他の端末装置のうち、いずれの端末装置を前記所定のデータの取得対象の端末装置とするかを前記一の端末装置のユーザに選択させ、当該ユーザによって選択された端末装置を、前記所定のデータの取得対象の端末装置として決定するとよい。
【0009】
好ましくは、上記情報処理装置において、前記受信部が、前記一の端末装置から、前記位置情報、前記撮像方向情報、および前記ズーム状態情報を受信する度に、前記決定部は、前記受信部が新たに受信した各々の前記情報に応じた前記領域を決定し、当該領域に存在する他の端末装置を、前記所定のデータの取得対象の端末装置として新たに決定し、前記第二受信部は、新たに決定された所定のデータの取得対象の端末装置から前記所定のデータの受信を開始するとよい。
【0010】
好ましくは、上記情報処理装置において、前記第二受信部は、前記所定のデータの取得対象の端末装置から、当該端末装置が収集した音に関する音データを受信し、前記送信部は、前記音データを、前記一の端末装置へ送信するとよい。
【0011】
好ましくは、上記情報処理装置において、前記前記第二受信部が受信した音データからテキストデータを生成する生成部と、前記テキストデータが、前記一の端末装置について決められた母国語以外のテキストデータである場合には、当該母国語以外のテキストデータを翻訳し、母国語のテキストデータを生成する翻訳部と、をさらに備え、前記送信部は、前記母国語のテキストデータを、前記一の端末装置へ送信するとよい。
【0012】
好ましくは、上記情報処理装置において、前記第二受信部は、前記所定のデータの取得対象の端末装置から、当該端末装置が撮像した画像に関する画像データを受信し、前記送信部は、前記画像データを、前記一の端末装置へ送信するとよい。
【0013】
また、本発明に係る情報処理方法は、複数の端末装置のそれぞれと通信が可能な情報処理装置による情報処理方法であって、撮像部を用いて被写体を撮像している一の端末装置から、当該一の端末装置の位置を示す位置情報、前記撮像部の撮像方向を示す撮像方向情報、および前記撮像部のズーム状態を示すズーム状態情報をそれぞれ受信する第一受信工程と、前記一の端末装置から受信した位置情報が示す位置を基準として、当該一の端末装置から受信した前記撮像方向情報が示す撮像方向及び前記ズーム状態情報が示すズーム状態に応じた領域を決定し、当該領域に存在する他の端末装置を、所定のデータの取得対象の端末装置として決定する決定工程と、前記所定のデータの取得対象の端末装置から、当該端末装置が有する所定のデータを受信する第二受信工程と、前記所定のデータを、前記一の端末装置へ送信する送信工程とを備えることを特徴とする。
【0014】
また、本発明に係る情報処理システムは、複数の端末装置と、前記複数の端末装置のそれぞれと通信が可能な情報処理装置とを備え、前記情報処理装置は、撮像部を用いて被写体を撮像している一の端末装置から、当該一の端末装置の位置を示す位置情報、前記撮像部の撮像方向を示す撮像方向情報、および前記撮像部のズーム状態を示すズーム状態情報をそれぞれ受信する第一受信部と、前記一の端末装置から受信した位置情報が示す位置を基準として、当該一の端末装置から受信した前記撮像方向情報が示す撮像方向及び前記ズーム状態情報が示すズーム状態に応じた領域を決定し、当該領域に存在する他の端末装置を、所定のデータの取得対象の端末装置として決定する決定部と、前記所定のデータの取得対象の端末装置から、当該端末装置が有する所定のデータを受信する第二受信部と、前記所定のデータを、前記一の端末装置へ送信する送信部とを備えることを特徴とする。
【0015】
また、本発明に係るプログラムは、コンピュータを、撮像部を用いて被写体を撮像している一の端末装置から、当該一の端末装置の位置を示す位置情報、前記撮像部の撮像方向を示す撮像方向情報、および前記撮像部のズーム状態を示すズーム状態情報をそれぞれ受信する第一受信手段、前記一の端末装置から受信した位置情報が示す位置を基準として、当該一の端末装置から受信した前記撮像方向情報が示す撮像方向及び前記ズーム状態情報が示すズーム状態に応じた領域を決定し、当該領域に存在する他の端末装置を、所定のデータの取得対象の端末装置として決定する決定手段、前記所定のデータの取得対象の端末装置から、当該端末装置が有する所定のデータを受信する第二受信手段、前記所定のデータを、前記一の端末装置へ送信する送信手段として機能させることを特徴とする。
【0016】
また、本発明に係る端末装置は、被写体を撮像する撮像部と、当該端末装置の位置を検出する位置検出部と、前記撮像部の撮像方向を検出する撮像方向検出部と、前記撮像部のズーム状態を検出するズーム状態検出部と、前記位置を示す位置情報、前記撮像方向を示す撮像方向情報、および前記ズーム状態を示すズーム状態情報を、請求項1〜7のいずれかに記載の情報処理装置へ送信する送信部と、前記情報処理装置から送信されてくる所定のデータを受信する受信部と、前記所定のデータに応じた情報を出力する出力部とを備えることを特徴とする。
【発明の効果】
【0017】
本発明によれば、端末装置のユーザに対して、位置を移動させることなく、様々な位置における臨場感を体感させることができる。
【図面の簡単な説明】
【0018】
【図1】第1実施形態に係る情報処理システム10の構成を示す。
【図2】サーバ装置100の機能構成を示す。
【図3】各携帯電話機110の許可情報および音量情報の一例を示す。
【図4】携帯電話機110の機能構成を示す。
【図5】第1実施形態に係るサーバ装置100および携帯電話機110による処理の手順を示す。
【図6】携帯電話機110Aの状態の一例を示す。
【図7】サーバ装置100のハードウェア構成の一例を示す。
【図8】携帯電話機110のハードウェア構成の一例を示す。
【図9】音データの取得対象の携帯電話機100を選択する方法の一例を示す。
【図10】第3実施形態に係るサーバ装置100および携帯電話機110による処理の手順を示す。
【図11】第3実施形態にかかる携帯電話機110Aの状態の一例を示す。
【図12】第4実施形態に係るサーバ装置100の機能構成を示す。
【図13】第4実施形態にかかるサーバ装置100および携帯電話機110による処理の手順を示す。
【図14】第4実施形態にかかる携帯電話機110Aの状態の一例を示す。
【発明を実施するための形態】
【0019】
(第1実施形態)
図1は、第1実施形態に係る情報処理システム10の構成を示す。情報処理システム10は、情報処理装置としてのサーバ装置100、および端末装置としての複数の携帯電話機110(携帯電話機110A〜E)を備える。
【0020】
サーバ装置100は、通信回線120に、専用線やインターネットを介して接続されている。サーバ装置100は、情報処理システム10を利用して、複数の携帯電話機110に対して情報提供サービスを提供する。
【0021】
携帯電話機110は、通信回線120による通信をおこなうことができる。たとえば、携帯電話機110は、通信エリア130A内において、基地局130との無線通信をおこなうことにより、基地局130を介して通信回線120に接続し、通信回線120を利用してサーバ装置100や他の携帯電話機110との通信をおこない、サーバ装置100や他の携帯電話機110とのデータ通信をおこなうことができる。携帯電話機110のような電話機能を有するもの以外に、通信機能を有するPDA(Personal Digital Assistants)や携帯ゲーム機などをこの携帯電話機110に代えて使用することができる。
【0022】
携帯電話機110は、カメラ1580およびディスプレイ1560を備えている。携帯電話機110は、カメラ1580によって被写体の画像を撮像し、このディスプレイ1560によって表示することができる。カメラ1580は、ズーム機能を有しており、ズームインすることで、画角が狭くなる一方、被写体が大きく写し出された画像を撮像する。反対に、カメラ1580は、ズームアウトすることで、画角が広くなる一方、被写体が小さく写し出された画像を撮像する。
【0023】
また、携帯電話機110は、スピーカ1570を備えている。携帯電話機110は、このスピーカ1570から、他の携帯電話機110によって収集された音を発することができる。たとえば、図1に示す携帯電話機110Aは、他の携帯電話機110B〜Eのいずれかで収集された音に関する音データを、サーバ装置100を介して取得し、取得した音データに応じた音を、当該携帯電話機110が備えるスピーカから発することができる。
【0024】
ここで、サーバ装置100は、携帯電話機110Aのカメラ1580によって撮像された画像の大きさ、すなわちカメラ1580のズーム状態に応じた領域で聞こえる音を、携帯電話機110Aが発することができるように、複数の他の携帯電話機110B〜Eの中から、いずれか適切な携帯電話機110を、音データの取得対象(供給元)の携帯電話機110として決定する。ここでいう、ズーム状態とは、携帯電話機110においてズーム機能がどの程度発揮されている状態であるかということを示すものであり、たとえばズームの倍率である。
【0025】
たとえば、携帯電話機110Aにおいて、カメラ1580をズームインさせて、被写体が大きく写し出されている画像がディスプレイ1560に表示されている場合は、被写体をより近い位置で見たときの画像が表示されているとも言える。これに応じて、サーバ装置100は、携帯電話機110Aの位置よりも被写体により近い位置に位置している、他の携帯電話機110(たとえば、携帯電話機110C)を、音データの取得対象の携帯電話機110として決定し、この携帯電話機110によって収集された音の音データを、この携帯電話機110から受け取り、携帯電話機110Aへ供給する。携帯電話機110Aにおいては、サーバ装置100から供給された音データにより、他の携帯電話機110によって収集された音、すなわち、被写体により近い位置で聞こえる音を、スピーカ1570から発することができる。
【0026】
このようにすることで、携帯電話機110Aのユーザは、ディスプレイ1560に表示されたズームイン状態の画像によって、視覚的に被写体により近い位置にいるかのような感覚を得ることができるうえ、スピーカ1570から発せられた音によって、聴覚的にも被写体により近い位置にいるかのような感覚を得ることができる。
【0027】
図2は、サーバ装置100の機能構成を示す。サーバ装置100は、第一受信部202、決定部204、第二受信部206、および送信部208を備える。
【0028】
第一受信部202は、被写体の画像を撮像している一の携帯電話機110から、当該一の携帯電話機110の位置を示す位置情報、被写体の画像を撮像している撮像方向を示す撮像方向情報、およびズーム状態を示すズーム状態情報をそれぞれ受信する。
【0029】
決定部204は、前記一の携帯電話機110の位置を基準とする、前記撮像方向かつ前記ズーム状態に応じた位置に存在する他の携帯電話機110を、音データの取得対象の携帯電話機110として決定する。たとえば、決定部204は、前記位置および前記撮像方向に基づいて、一の携帯電話機110の位置から、前記撮像方向に向かって直線状あるいは放射状に伸びる領域を第一の領域として算出する。そして、決定部204は、前記ズーム状態に応じて、前記位置からの離間距離を算出する。具体的には、決定部204は、前記ズーム倍率が大きいほど、前記位置からの離間距離が長くなるように、前記位置からの距離を算出する。たとえば、ズーム状態としてのズーム倍率が2倍であれば離間距離がXmであり、ズーム倍率が4倍であれば離間距離が2Xmであり、ズーム倍率が6倍であれば離間距離が3Xmであり、といった具合である。この離間距離は、ズームイン状態がさらに進み、ズーム倍率が大きくなると、前記位置と被写体との間の距離よりも長くなることもある。一方、ズームアウト状態が進み、ズーム倍率が1よりも小さくなると、この離間距離はマイナス、すなわち、前記位置から被写体とは反対側の方向の距離になることもある。
【0030】
さらに、決定部204は、算出した第一の領域のうちの算出した離間距離だけ離れた位置に該当する領域を第二の領域として決定する。このとき、決定部204は、算出した離間距離に前後の幅を持たせて、この離間距離だけ離れた位置に該当する領域を、第二の領域として決定してもよい。サーバ装置100は、複数の携帯電話機110のそれぞれと常時通信をおこない、携帯電話機110の位置情報を取得しておくことで、複数の携帯電話機110のそれぞれの位置を予め把握している。決定部204は、算出した第二の領域と、サーバ装置100が予め把握している複数の携帯電話機110のそれぞれの位置とに基づいて、第二の領域内に存在する携帯電話機110を、音データの取得対象の携帯電話機110として決定する。
【0031】
第二受信部206は、決定部204が決定した音データの取得対象の携帯電話機110から、当該音データの取得対象の携帯電話機110が収集した音に関する音データを受信する。送信部208は、前記音データを、前記一の携帯電話機110へ送信することで、前記音データの取得対象の携帯電話機110が収集した音を、前記一の携帯電話機110から発せさせる。
【0032】
ここで、決定部204は、算出した第二の領域に、複数の携帯電話機110が存在する場合、予め定められた条件を満たす携帯電話機110を、音データの取得対象の携帯電話機110として決定する。上記条件は、適切な音声データを供給できる携帯電話機110を選出することができるものであればどのようなものであってもよいが、本実施形態では、音声データの供給を許可しており、かつ収集した音の音量が適切であることを条件としている。
【0033】
図3は、各携帯電話機110の許可情報および音量情報の一例を示す。図3に示すテーブル300は、サーバ装置100が有するデータベース・テーブルである。テーブル300には、携帯電話機110ごとに、許可情報および音量情報が格納されている。許可情報とは、収集した音の供給を許可するか否かを示す情報である。音量情報とは、収集した音データの音量を示す情報である。たとえば、サーバ装置100は、各携帯電話機110から、予め許可情報および音量情報を取得しておく。音量情報に関しては、サーバ装置100は、各携帯電話機110から、当該携帯電話機110が収集した音をサンプリングし、サンプリングした音の音量を計測することによって、この音量情報を得るようにしてもよい。このとき、サーバ装置100は、サンプリングした音に対して所定の加工を施し、加工が施された後の音の音量を計測することによって、この音量情報を得るようにしてもよい。たとえば、サーバ装置100は、サンプリングした音に対してノイズ除去処理をおこない、ノイズが除去された後の音の音量を計測することによって、この音量情報を得るようにしてもよい。
【0034】
たとえば、テーブル300には、4台の携帯電話機110B〜Eの許可情報および音量情報が格納されている。ここで、携帯電話機110B〜Eのいずれもが、決定部204が算出した第二の領域内に存在していると仮定した場合、決定部204は、このテーブル300に格納されている情報に基づいて、携帯電話機110B〜Eの中から、音データの取得対象の携帯電話機110を決定する。たとえば、携帯電話機110Bは、音データの供給が許可されておらず、携帯電話機110C〜Eは、音データの供給が許可されている。したがって、決定部204は、携帯電話機110Bを音データの取得対象の携帯電話機110の候補とせず、携帯電話機110C〜Eを音データの取得対象の携帯電話機110の候補とする。そして、決定部204は、候補とした各携帯電話機110C〜Eが収集した音の音量に基づいて、候補とした携帯電話機110C〜Eの中から、音データの取得対象の携帯電話機110を決定する。
【0035】
たとえば、テーブル300には、携帯電話機110Cが収集した音の音量として「10db」が格納されている。また、携帯電話機110Dが収集した音の音量として「20db」が格納されている。また、携帯電話機110Eが収集した音の音量として「30db」が格納されている。このとき、サーバ装置100において、「音量基準値として「20db」が設定されており、この音量基準値に一番近い音量を有する携帯電話機110を、音データの取得対象の携帯電話機110とする」という条件が予め定められている場合、決定部204は、この条件に合致する携帯電話機110Dを、音データの取得対象の携帯電話機110の候補とする。なお、音量基準値は、上記のように予め定められている固定値であってもよく、何らかの条件にしたがって変動するものであってもよい。たとえば、音量基準値は、複数の携帯電話機110が収集した音量の平均値、最大値、最小値などであってもよい。また、音量基準値は、ズーム倍率が大きくなるにつれて、増加するものであってもよい。また、音量基準値は、携帯電話機110Aのユーザが指定できるようにしてもよい。なお、決定部204が音データの取得対象の携帯電話機110を決定するために用いる条件は、上記した許可情報や音量情報によるものに限らない。
【0036】
図4は、携帯電話機110の機能構成を示す。携帯電話機110は、撮像部302、表示部303、位置検出部304、方向検出部306、ズーム状態検出部307、集音部308、送信部310、受信部320、および発音部322を備える。
【0037】
撮像部302は、被写体を撮像する。具体的には、携帯電話機110は撮像装置の一例としてのカメラ1580を備えており、このカメラ1580が撮像部302として機能し、被写体を撮像する。
【0038】
表示部303は、撮像部302が撮像した画像を表示する。具体的には、携帯電話機110は表示装置の一例としてのディスプレイ1560を備えており、このディスプレイ1560が表示部303として機能し、撮像部302によって撮像された画像を表示する。
【0039】
ここで、撮像部302は、ズーム機能を有している。たとえば、撮像部302は、ユーザによるズームイン操作を受け、ズームインすることで、画角が狭くなる一方、被写体が拡大された画像を撮像する。また、撮像部302は、ユーザによるズームアウト操作を受け、ズームアウトすることで、画角が広くなる一方、被写体が縮小された画像を撮像する。撮像部302が有するズーム機能は、光学的に画像を拡大または縮小する光学ズームであってもよく、画像処理によって画像を拡大または縮小するデジタルズームであってもよい。
【0040】
位置検出部304は、携帯電話機110の位置を検出する。具体的には、携帯電話機110は位置検出装置の一例としてのGPS(Global Positioning System)ユニット1582を備えており、このGPSユニット1582が位置検出部304として機能し、携帯電話機110の位置を検出する。位置検出部304は、検出した携帯電話機110の位置を示す位置情報を生成する。たとえば、位置情報には、携帯電話機110の位置を示す座標が示されている。
【0041】
方向検出部306は、撮像部302による画像の撮像方向を検出する。具体的には、携帯電話機110は方向検出装置の一例としての方位センサ1584を備えており、この方位センサ1584が方向検出部306として機能し、撮像部302の撮像方向を検出する。方向検出部306は、検出した撮像部302の撮像方向を示す撮像方向情報を生成する。たとえば、撮像方向情報には、撮像部302の撮像方向を示す方位が示されている。
【0042】
ズーム状態検出部307は、撮像部302のズーム状態、たとえばズームの倍率を検出する。そして、ズーム状態検出部307は、検出した当該撮像部302のズーム状態を示すズーム状態情報を生成する。たとえば、撮像部302のズーム状態は撮像部302自身がこれを把握しているため、この撮像部302が、ズーム状態検出部307として機能する。
【0043】
集音部308は、携帯電話機110の周辺の音を収集する。具体的には、携帯電話機110は集音装置の一例としてのマイク1586を備えており、このマイク1586が集音部308として機能し、携帯電話機110の周辺の音を収集する。集音部308は、収集した音を示す音データを生成する。
【0044】
送信部310は、サーバ装置100に対して、各種情報を送信する。具体的には、当該携帯電話機110が音データの供給を要求する側の携帯電話機110として利用される場合、送信部310は、他の携帯電話機110が収集した音を当該携帯電話機110へ供給するようにサーバ装置100へ要求するとともに、位置置検出部304が検出した位置に関する位置情報、方向検出部306が検出した撮像方向に関する撮像方向情報、およびズーム状態検出部307が検出したズーム状態に関するズーム状態情報を、サーバ装置100へ送信する。
【0045】
一方、当該携帯電話機110が音データを供給する側の携帯電話機110として利用される場合、送信部310は、当該携帯電話機110が収集した音を他の携帯電話機110へ供給するようにサーバ装置100から要求された場合、集音部308が収集した音に関する音データを、サーバ装置100へ送信する。
【0046】
受信部320は、サーバ装置100から、各種情報を受信する。具体的には、当該携帯電話機110が音データの供給を要求する側の携帯電話機110として利用される場合、受信部320は、他の携帯電話機110から供給された音データを、サーバ装置100を介して受信する。
【0047】
発音部322は、受信部320が受信した音データにより、他の携帯電話機110から供給された音、すなわち、他の携帯電話機110によって収集された音を発する。具体的には、当該携帯電話機110は、発音装置の一例としてのスピーカ1570を備えており、このスピーカ1570が発音部322として機能し、他の携帯電話機110から供給された音を発する。発音部322は、他の携帯電話機110によって収集された音を発していないときは、当該携帯電話機110の集音部308によって収集された音を発することもできる。
【0048】
図5は、第1実施形態にかかるサーバ装置100および携帯電話機110による処理の手順を示す。以降の説明では、携帯電話機110Aを、他の携帯電話機110に対して音データの供給を要求する側の端末とし、携帯電話機110Dが、サーバ装置100によって音データの取得対象の携帯電話機110として決定された場合の例を説明する。
【0049】
まず、一の端末装置である携帯電話機110Aにおいて、撮像部302が、被写体の画像の撮像を開始すると(ステップS502)、位置検出部304が、当該携帯電話機110Aの位置を検出し(ステップS504)、方向検出部306が、当該携帯電話機110Aの撮像方向を検出し(ステップS506)、ズーム状態検出部307が、当該撮像部302のズーム状態を検出する(ステップS508)。そして、送信部310が、他の携帯電話機110が収集した音の音データを供給するようにサーバ装置100へ要求するとともに、ステップS504〜ステップS508で生成された各種情報をサーバ装置100へ送信する(ステップS510)。
【0050】
サーバ装置100においては、第一受信部202が、ステップS510で送信された各種情報を受信し(ステップS512)、決定部204が、ステップS512で受信された各種情報に基づいて、他の端末装置である複数の携帯電話機110の中から、音データの取得対象の携帯電話機110を決定する(ステップS514)。この例では、上述したとおり、携帯電話機110Dを、音データの取得対象の携帯電話機110として決定する。そして、サーバ装置100は、ステップS514で決定された音データの取得対象の携帯電話機110Dに対し、収集した音データを供給するように要求する(ステップS516)。
【0051】
この要求を受けた携帯電話機110Dにおいては、集音部308が、音の収集を開始し(ステップS518)、送信部310が、集音部308によって収集された音の音データをサーバ装置100へ送信することにより、当該音データの供給を開始する(ステップS520)。
【0052】
サーバ装置100は、第二受信部206が、携帯電話機110Dから供給された音データを受信すると(ステップS522)、送信部208が、この音データを携帯電話機110Aへ送信する(ステップS524)。すなわち、サーバ装置100は、携帯電話機110Dから供給された音データを、携帯電話機110Aへ転送する。
【0053】
そして、携帯電話機110Aは、受信部320が、サーバ装置100から送信された音データを受信すると(ステップS526)、発音部322が、この音データにより、携帯電話機110Dによって収集された音を発する(ステップS528)。
【0054】
上記した一連の処理において、たとえば、携帯電話機110Aにおいて音データの受け取りを停止する操作がなされたり、携帯電話機110Dにおいて音データの供給を停止する操作がなされる等の、なんらかの終了イベントが発生するまで、ステップS518〜ステップS528の処理が繰り返され、携帯電話機110Dは、収集した音の音データを携帯電話機110Aへ供給し続け、携帯電話機110Aは、携帯電話機110Dによって収集された音を発し続ける。
【0055】
この間、携帯電話機110Aの位置、方向、ズーム状態の少なくともいずれか一つが変更されると、この変更がおこなわれるごとに、サーバ装置100の第一受信部202は、変更後の各々の情報を携帯電話機110Aから受信し、サーバ装置100の決定部204は、変更後の各々の情報によって定まる位置に存在する携帯電話機110を、音データの取得対象の携帯電話機110として新たに決定し、サーバ装置100の第二受信部206は、新たに決定された音データの取得対象の携帯電話機110から音データの受信を開始する。
【0056】
この場合、携帯電話機110Aの位置、方向、ズーム状態の少なくともいずれか一つが変更されるだけではなく、さらに、携帯電話機110Aのユーザがこれらの変更後に「確定」ボタンを押下するなど、この変更を確定する操作を行った場合に、サーバ装置100の第一受信部202が、変更後の各々の情報を携帯電話機110Aから受信し、サーバ装置100の決定部204が、変更後の各々の情報によって定まる位置に存在する携帯電話機110を、音データの取得対象の携帯電話機110として新たに決定し、サーバ装置100の第二受信部206が、新たに決定された音データの取得対象の携帯電話機110から音データの受信を開始するようにしてもよい。
【0057】
図6は、携帯電話機110Aの状態の一例を示す。携帯電話機110Aには、図6での図示を省略するカメラ1580が設けられており、携帯電話機110Aのディスプレイ1560には、このカメラ1580が撮像している被写体の画像600が表示されている。携帯電話機110Aの表面には、入力装置の一例としての各種入力ボタン1550が設けられており、この各種入力ボタン1550がユーザによって操作されることにより、カメラ1580による画像の撮像や、撮像部302のズーム状態設定を含む各種設定がおこなわれる。
【0058】
また、携帯電話機110Aには、図6での図示を省略するスピーカ1570が設けられており、このスピーカ1570からは、音610が発せられている。ここで、この音610は、当該携帯電話機110Aによって収集された音ではなく、携帯電話機110Dによって収集された音である。
【0059】
画像600は、カメラ1580に対するズームイン操作がおこなわれたことによって拡大された画像である。このズームイン操作に応じて、サーバ装置100によって、当該携帯電話機110Aの位置を基準として、カメラ1580の撮像方向に存在し、当該携帯電話機110Aよりも被写体に近い携帯電話機110Dが、音データの取得対象の携帯電話機110として決定されている。そして、携帯電話機110Dによって収集された音の音データが、サーバ装置100を介して、当該携帯電話機110Aへ供給され、これにより、当該携帯電話機110Aは、携帯電話機110Dによって収集された音、すなわち、当該当該携帯電話機110Aの位置よりも被写体に近い位置で収集された音を発している。
【0060】
このように、第1実施形態によれば、当該携帯電話機110Aのユーザは、カメラ1580に対するズームイン操作をおこなうことで、ディスプレイ1560に表示された画像600によって、視覚的に携帯電話機110Dの位置にいるかのような感覚を得ることができるうえ、スピーカ1570から発せられた音610によって、聴覚的にも携帯電話機110Dの位置にいるかのような感覚を得ることができる。したがって、端末装置としての携帯電話機のユーザは、位置を移動することなく、カメラ1580の向きを変えたり、ズーム操作をおこなうことで、様々な位置における臨場感を体感することができる。
【0061】
図7は、サーバ装置100のハードウェア構成の一例を示す。サーバ装置100は、CPU2505、ROM2510、RAM2520、HD(ハードディスク)ドライブ2525、通信インターフェース2530、外部メモリドライブ2540、および外部メモリ2542を備える。
【0062】
ROM2510、RAM2520、およびHDドライブ2525は、各種データおよび各種プログラムを格納する。CPU2505は、ROM2510、RAM2520、またはHDドライブ2525に格納されたプログラムを実行することで、各種データ処理および各種ハードウェア制御をおこなう。
【0063】
通信インターフェース2530は、通信ネットワークに接続し、通信ネットワークを介して外部との通信をおこなう。外部メモリドライブ2540は、外部メモリ2542に接続し、外部メモリ2542に対するデータの送受信をおこなう。外部メモリ2542としては、たとえば、メモリカードが挙げられる。外部メモリ2542は、フレキシブルディスク、CD、DVD等の記録媒体であってもよい。
【0064】
CPU2505が実行するプログラムは、たとえば、コンピュータ読み取り可能な記録媒体に格納されてサーバ装置100に提供され、サーバ装置100に格納される。CPU2505が実行するプログラムは、サーバ装置100に予め格納されていてもよい。また、CPU2505が実行するプログラムは、外部装置から通信ネットワークを介してサーバ装置100に提供され、サーバ装置100に格納されてもよい。
【0065】
たとえば、サーバ装置100が備えるCPU2505が、ROM2510、RAM2520、HDドライブ2525、または外部メモリ2542に格納されているプログラムを実行することにより、サーバ装置100は、決定部204として機能する。また、サーバ装置100が備えるCPU2505が、ROM2510、RAM2520、HDドライブ2525、または外部メモリ2542に格納されているプログラムを実行し、通信インターフェース2530を制御することにより、サーバ装置100は、第一受信部202、第二受信部206、および送信部208として機能する。
【0066】
図8は、携帯電話機110のハードウェア構成の一例を示す。携帯電話機110は、既に説明した、各種入力ボタン1550、ディスプレイ1560、スピーカ1570、カメラ1580、GPSユニット1582、方位センサ1584、およびマイク1586に加え、CPU1505、ROM1510、RAM1520、HD(ハードディスク)ドライブ1525、通信インターフェース1530、外部メモリドライブ1540、および外部メモリ1542を備える。
【0067】
ROM1510、RAM1520、およびHDドライブ1525は、各種データおよび各種プログラムを格納する。CPU1505は、ROM1510、RAM1520、またはHDドライブ1525に格納されたプログラムを実行することで、各種データ処理および各種ハードウェア制御をおこなう。
【0068】
通信インターフェース1530は、通信ネットワークに接続し、通信ネットワークを介して外部との通信をおこなう。外部メモリドライブ1540は、外部メモリ1542に接続し、外部メモリ1542に対するデータの送受信をおこなう。外部メモリ1542としては、たとえば、メモリカードが挙げられる。
【0069】
CPU1505が実行するプログラムは、たとえば、コンピュータ読み取り可能な記録媒体に格納されて携帯電話機110に提供され、携帯電話機110に格納される。CPU1505が実行するプログラムは、携帯電話機110に予め格納されていてもよい。また、CPU1505が実行するプログラムは、外部装置から通信ネットワークを介して携帯電話機110に提供され、携帯電話機110に格納されてもよい。
【0070】
たとえば、携帯電話機110が備えるCPU1505が、ROM1510、RAM1520、HDドライブ1525、または外部メモリ1542に格納されているプログラムを実行し、通信インターフェース1530を制御することにより、携帯電話機110は、送信部310および受信部320として機能する。
【0071】
(第2実施形態)
次に、第2実施形態を説明する。この第2実施形態では、音データの取得対象の携帯電話機110をサーバ装置100が自動的に決定するのではなく、音データの供給を要求する携帯電話機110Aのユーザに決定させる例について説明する。
【0072】
図9は、音データの取得対象の携帯電話機100を選択する方法の一例を示す。第2実施形態では、サーバ装置100の決定部204は、第一受信部202によって取得された各々の情報によって定まる位置に存在する複数の携帯電話機100のうち、いずれの携帯電話機100を音データの取得対象の携帯電話機100とするかを、一の携帯電話機100のユーザに選択させ、一の携帯電話機100のユーザによって選択された携帯電話機100を、音データの取得対象の携帯電話機110として決定する。
【0073】
図9において、携帯電話機110Aのディスプレイ1560には、音データの取得対象の携帯電話機110を選択するための画面900が表示されている。この画面900は、サーバ装置100から送信された画面データに応じて表示されたものである。サーバ装置100は、各々の携帯電話機から受信した位置情報、方位情報及びズーム状態情報から画面900の画面データを生成する。画面900において、線分P1及びP2に挟まれた領域が前述した第1の領域であり、そのうち、アイコン922、924、926、928が存在する領域が前述した第2の領域である。サーバ装置100は、この画面900の画面データを、携帯電話機110Aへ送信して、携帯電話機110Aに画面900を表示させる。そして、この画面900によって、音データの取得対象の携帯電話機110を、携帯電話機110Aのユーザに選択させる。これにより、サーバ装置100は、音データの取得対象の携帯電話機110を決定する。
【0074】
たとえば、画面900には、当該携帯電話機110Aの位置を示すアイコン910と、他の4つの携帯電話機110の位置を示すアイコン922、924、926、928と、被写体の位置を示すアイコン930とが表示されている。当該携帯電話機110Aのユーザは、各種入力ボタン1550を操作することにより、アイコン922〜928の中から、所望する位置のアイコンを選択する。当該携帯電話機110Aは、この選択結果を、サーバ装置100へ送信する。サーバ装置100は、この選択結果に基づいて、4つの携帯電話機110の中から、音データの取得対象の携帯電話機110を決定する。
【0075】
このように、第2実施形態によれば、音データの取得対象の携帯電話機110をユーザが選択できるようにしたので、ユーザは、音データの取得対象の携帯電話機110を切り替えることで、複数の携帯電話機110が存在する様々な位置のうち、ユーザが所望する位置で聞こえる音を、当該携帯電話機110Aから聞くことができる。したがって、端末装置である携帯電話機のユーザは、位置を移動することなく、カメラ1580の向きを変えたり、ズーム操作をおこなうことで、様々な位置における臨場感を体感することができる。
【0076】
なお、音データの取得対象の携帯電話機110を携帯電話機110Aのユーザに選択させる場合、サーバ装置100は、候補となる複数の携帯電話機110のそれぞれから取得した音を、携帯電話機110Aへ送信し、携帯電話機110Aが、候補となる複数の携帯電話機110の各々の音を試聴できるようにしてもよい。このようにすることで、携帯電話機110Aのユーザにとって最も好ましい音を供給する携帯電話機110を、音データの取得対象の携帯電話機110として、携帯電話機110Aのユーザに選択させることができる。
【0077】
(第3実施形態)
次に、第3実施形態を説明する。この第3実施形態では、携帯電話機110Aが、携帯電話機110Dから、音データだけでなく、画像データをも受け取る例について説明する。
【0078】
第3実施形態では、サーバ装置100の第二受信部206は、音データの取得対象の携帯電話機110Dから、当該音データの取得対象の携帯電話機110Dが撮像した画像に関する画像データを受信し、サーバ装置100の送信部208は、音データの取得対象の携帯電話機110Dから受信した画像データを、携帯電話機110Aへ送信することで、音データの取得対象の携帯電話機110Dが撮像した画像を、携帯電話機110Aに表示させる。
【0079】
図10は、第3実施形態にかかるサーバ装置100および携帯電話機110による処理の手順を示す。まず、携帯電話機110Aにおいて、撮像部302が、被写体の画像の撮像を開始すると(ステップS1002)、位置検出部304が、当該携帯電話機110Aの位置を検出し(ステップS1004)、方向検出部306が、当該携帯電話機110Aの撮像方向を検出し(ステップS1006)、ズーム状態検出部307が、当該撮像部302のズーム状態を検出する(ステップS1008)。そして、送信部310が、他の携帯電話機110が収集した音の音データを供給するようにサーバ装置100へ要求するとともに、ステップS1004〜ステップS1008で生成された各種情報をサーバ装置100へ送信する(ステップS1010)。
【0080】
サーバ装置100においては、第一受信部202が、ステップS1010で送信された各種情報を受信し(ステップS1012)、決定部204が、ステップS1012で受信された各種情報に基づいて、音データの取得対象の携帯電話機110を決定する(ステップS1014)。この例では、上述したとおり、携帯電話機110Dを、音データの取得対象の携帯電話機110として決定する。そして、サーバ装置100は、ステップS1014で決定された音データの取得対象の携帯電話機110Dに対し、収集した音データおよび撮像した画像データを供給するように要求する(ステップS1016)。
【0081】
この要求を受けた携帯電話機110Dにおいては、集音部308が、音の収集を開始するとともに、撮像部302が、画像の撮像を開始し(ステップS1018)、送信部310が、集音部308によって収集された音の音データ、および撮像部302によって撮像された画像の画像データをサーバ装置100へ送信することにより、当該音データおよび当該画像データの供給を開始する(ステップS1020)。
【0082】
サーバ装置100は、第二受信部206が、携帯電話機110Dから供給された音データおよび画像データを受信すると(ステップS1022)、送信部208が、この音データおよび画像データを携帯電話機110Aへ送信する(ステップS1024)。すなわち、サーバ装置100は、携帯電話機110Dから供給された音データおよび画像データを、携帯電話機110Aへ転送する。
【0083】
そして、携帯電話機110Aは、受信部320が、サーバ装置100から送信された音データおよび画像データを受信すると(ステップS1026)、発音部322が、この音データにより、携帯電話機110Dによって収集された音を発するとともに、表示部303が、この画像データにより、携帯電話機110Dによって撮像された画像を表示する(ステップS1028)。
【0084】
図11は、第3実施形態にかかる携帯電話機110Aの状態の一例を示す。図11(a)は、カメラ1580に対するズームイン操作がおこなわれる前の、携帯電話機110Aの状態を示す。図11(a)において、携帯電話機110Aのディスプレイ1560には、被写体の画像1100が表示されている。この画像1100は、当該携帯電話機110Aのカメラ1580によって撮像された画像である。また、図11(a)において、携帯電話機110Aのスピーカ1570からは、音1110が発せられている。この音610は、当該携帯電話機110Aのマイク1586によって収集された音である。
【0085】
携帯電話機110Aにおいては、図11(a)に示す状態から、カメラ1580に対するズームイン操作がおこなわれている。このズームイン操作に応じて、サーバ装置100によって、当該携帯電話機110Aの位置を基準として、カメラ1580の撮像方向に存在し、当該携帯電話機110Aよりも被写体に近い携帯電話機110Dが、音データの取得対象の携帯電話機110として決定される。そして、携帯電話機110Dによって収集された音の音データ、および携帯電話機110Dによって撮像された画像の画像データが、サーバ装置100を介して、当該携帯電話機110Aへ供給され、これにより、当該携帯電話機110Aは、携帯電話機110Dによって収集された音、すなわち、当該当該携帯電話機110Aの位置よりも被写体に近い位置で収集された音を発するとともに、携帯電話機110Dによって撮像された画像、すなわち、当該当該携帯電話機110Aの位置よりも被写体に近い位置で撮像された画像を表示する。
【0086】
図11(b)は、カメラ1580に対するズームイン操作がおこなわれた後の、携帯電話機110Aの状態を示す。図11(b)において、携帯電話機110Aのディスプレイ1560には、被写体の画像1102が表示されている。この画像1100は、当該携帯電話機110Aのカメラ1580によって撮像された画像ではなく、携帯電話機110Dによって撮像され、携帯電話機110Dから供給されてきた画像である。また、図11(b)において、携帯電話機110Aのスピーカ1570からは、音1112が発せられている。この音1112は、当該携帯電話機110Aのマイク1586によって収集された音ではなく、携帯電話機110Dによって収集され、携帯電話機110Dから供給されてきた音である。
【0087】
このように、第3実施形態によれば、当該携帯電話機110Aのユーザは、カメラ1580に対するズームイン操作をおこなうことで、ディスプレイ1560に表示された画像1102によって、視覚的に携帯電話機110Dの位置にいるかのような感覚を得ることができるうえ、スピーカ1570から発せられた音1112によって、聴覚的にも携帯電話機110Dの位置にいるかのような感覚を得ることができる。特に、携帯電話機110Dの位置で撮像された画像をディスプレイ1560に表示しているので、当該携帯電話機110Aの位置では、被写体を写し出すことができない状況であっても、携帯電話機110Dから供給された画像1102によって、被写体を視認することができる。したがって、端末装置のユーザは、位置を移動することなく、カメラ1580の向きを変えたり、ズーム操作をおこなうことで、様々な位置における臨場感を体感することができる。
【0088】
(第4実施形態)
図12は、第4実施形態に係るサーバ装置100の機能構成を示す。第4実施形態に係るサーバ装置100は、生成部210および翻訳部220をさらに備える点で、第1実施形態に係るサーバ装置100と異なる。以下、第1実施形態に係るサーバ装置100と異なる点を中心に説明する。
【0089】
生成部210は、音データの取得対象の携帯電話機110Dから供給され、第二受信部206が受信した音データに含まれている音声データから、音声認識技術を用いて、テキストデータを生成する。翻訳部220は、テキストデータが携帯電話機110Aについて決められた母国語以外の場合には、当該母国語以外のテキストデータを翻訳辞書などを用いて翻訳し、母国語のテキストデータを生成する。どの携帯電話機110のユーザがどの言語を母国語としているかについては、予め生成部210によって記憶されていてもよいし、後述するステップS1310(図13)にて、携帯電話機110からその都度サーバ装置100に通知されてもよい。
【0090】
第4実施形態では、サーバ装置100の送信部208は、翻訳部220によって生成された母国語のテキストデータを、携帯電話機110Aへ送信することで、音データの取得対象の携帯電話機110Dが収集した音声の内容を母国語で示すテキストを、携帯電話機110Aに表示させる。
【0091】
図13は、第4実施形態にかかるサーバ装置100および携帯電話機110による処理の手順を示す。まず、携帯電話機110Aにおいて、撮像部302が、被写体の画像の撮像を開始すると(ステップS1302)、位置検出部304が、当該携帯電話機110Aの位置を検出し(ステップS1304)、方向検出部306が、当該携帯電話機110Aの撮像方向を検出し(ステップS1306)、ズーム状態検出部307が、当該撮像部302のズーム状態を検出する(ステップS1308)。そして、送信部310が、他の携帯電話機110が収集した音の音データを供給するようにサーバ装置100へ要求するとともに、ステップS1304〜ステップS1308で生成された各種情報をサーバ装置100へ送信する(ステップS1310)。
【0092】
サーバ装置100においては、第一受信部202が、ステップS1310で送信された各種情報を受信し(ステップS1312)、決定部204が、ステップS1312で受信された各種情報に基づいて、音データの取得対象の携帯電話機110を決定する(ステップS1314)。この例では、上述したとおり、携帯電話機110Dを、音データの取得対象の携帯電話機110として決定する。そして、サーバ装置100は、ステップS1314で決定された音データの取得対象の携帯電話機110Dに対し、収集した音データおよびこの音データから生成したテキストデータを供給するように要求する(ステップS1316)。
【0093】
この要求を受けた携帯電話機110Dにおいては、集音部308が、音の収集を開始し(ステップS1318)、送信部310が、集音部308によって収集された音の音データをサーバ装置100へ送信することにより、当該音データの供給を開始する(ステップS1320)。
【0094】
サーバ装置100は、第二受信部206が、携帯電話機110Dから供給された音データを受信すると(ステップS1322)、生成部210が、音声認識技術を用いて、この音データに含まれている音声データから、テキストデータを生成し(ステップS1324)、翻訳部220が、このテキストデータを翻訳し、母国語のテキストデータを生成する(ステップS1326)。そして、送信部310が、携帯電話機110Dから供給された音データ、および翻訳部220が生成した母国語のテキストデータをサーバ装置100へ送信する(ステップS1328)。
【0095】
そして、携帯電話機110Aは、受信部320が、サーバ装置100から送信された音データおよびテキストデータを受信すると(ステップS1330)、発音部322が、この音データにより、携帯電話機110Dによって収集された音を発するとともに、表示部303が、このテキストデータにより、携帯電話機110Dが収集した音に含まれる音声の内容を母国語で示すテキストを表示する(ステップS1332)。
【0096】
図14は、第4実施形態にかかる携帯電話機110Aの状態の一例を示す。図14は、カメラ1580に対するズームイン操作がおこなわれた後の、携帯電話機110Aの状態を示す。このズームイン操作に応じて、サーバ装置100によって、当該携帯電話機110Aの位置を基準として、カメラ1580の撮像方向に存在し、当該携帯電話機110Aよりも被写体に近い携帯電話機110Dが、音データの取得対象の携帯電話機110として決定されている。そして、携帯電話機110Dによって収集された音の音データ、この音データに含まれる音声を母国語でテキスト化したテキストデータが、サーバ装置100を介して、当該携帯電話機110Aへ供給され、これにより、当該携帯電話機110Aは、携帯電話機110Dによって収集された音、すなわち、当該当該携帯電話機110Aの位置よりも被写体に近い位置で収集された音を発するとともに、携帯電話機110Dが収集した音に含まれる音声の内容を母国語で示すテキストを表示する。
【0097】
たとえば、図14において、携帯電話機110Aのディスプレイ1560には、被写体の画像1400が表示されている。この画像1400は、当該携帯電話機110Aのカメラ1580によって撮像された画像であるが、第3実施形態で説明したように、携帯電話機110Dから供給されてきた画像を表示するようにしてもよい。また、図14において、携帯電話機110Aのスピーカ1570からは、音1410が発せられている。この音1410は、当該携帯電話機110Aのマイク1586によって収集された音ではなく、携帯電話機110Dによって収集され、携帯電話機110Dから供給されてきた音である。さらに、携帯電話機110Aのディスプレイ1560には、画像1400上に重ねて、テキスト1420が表示されている。このテキスト1420は、音1410に含まれる音声の内容を母国語で示すものであり、サーバ装置100において生成され、サーバ装置100から供給されてきたものである。
【0098】
このように、第4実施形態によれば、当該携帯電話機110Aのユーザは、カメラ1580に対するズームイン操作をおこなうことで、ディスプレイ1560に表示された画像1400によって、視覚的に携帯電話機110Dの位置にいるかのような感覚を得ることができるうえ、スピーカ1570から発せられた音1410によって、聴覚的にも携帯電話機110Dの位置にいるかのような感覚を得ることができる。さらに、ディスプレイ1560に表示されたテキスト1420によって、音1410に含まれる母語語以外の音声の内容を、容易に把握することができる。したがって、端末装置のユーザは、位置を移動することなく、カメラ1580の向きを変えたり、ズーム操作をおこなうことで、様々な位置における臨場感を体感することができる。
【0099】
(変形例)
なお、本発明は、上記した形態での実施に限らず、以下のように変形させて実施してもよい。また、以下の変形例を組み合わせてもよい。
【0100】
サーバ装置100は、複数の携帯電話機110から音声データを受け取り、この音声データと、この音声データの供給元の携帯電話機110の位置とを対応付けて、ROM2510、RAM2520、HDドライブ2525、外部メモリ2542などの格納部に格納しておいてもよい。この場合、サーバ装置100は、携帯電話機110Aから受信した各々の情報によって特定した領域に存在する携帯電話機110から音声データ等を受け取り、これを携帯電話機110Aへ供給する代わりに、上記領域に含まれている位置に対応付けられて格納されている音声データを、携帯電話機110Aへ供給してもよい。これにより、携帯電話機110Aのユーザは、上記位置において、過去にどのような音声が聞こえていたかを知ることができる。
【0101】
また、サーバ装置100は、複数の携帯電話機110から画像データを受け取り、この画像データと、この画像データの供給元の携帯電話機110の位置とを対応付けて、ROM2510、RAM2520、HDドライブ2525、外部メモリ2542などの格納部に格納しておいてもよい。この場合、サーバ装置100は、携帯電話機110Aから受信した各々の情報によって特定した領域に存在する携帯電話機110から音声データ等を受け取り、これを携帯電話機110Aへ供給する代わりに、上記領域に含まれている位置に対応付けられて格納されている画像データを、携帯電話機110Aへ供給してもよい。これにより、携帯電話機110Aのユーザは、上記位置において、過去にどのような被写体が撮像されていたかを知ることができる。
【0102】
各実施形態では、ズーム状態情報としてズームの倍率に関する情報を想定していたが、これ以外の情報をズーム状態情報として用いてもよい。たとえば、携帯電話機110やその部品ユニットであるカメラ1570の製造メーカに応じて、カメラレンズの画角そのものが違うことがあるし、ズームの倍率を評価する基準も異なることがある。そこで、携帯電話機110は、ズーム状態情報としてのズーム倍率とともに、携帯電話機110自身やその部品ユニットであるカメラ1570の製造メーカを特定するような識別情報(たとえばシリアルナンバー)をサーバ装置100に通知する。サーバ装置100は、このシリアルナンバー及びズーム倍率ごとに、前述した第2の領域を特定するための離間距離に関する情報を予め記憶しておき、この記憶内容に基づいて離間距離を特定する。このようにすれば、ズーム操作を行ったユーザが望む領域の音を収集することが可能となる。
【0103】
各実施形態では、携帯電話機110Aから取得した各々の情報に基づいてサーバ装置100が決定した領域内に、適切な音を供給することができる携帯電話機110が存在することを前提として説明したが、サーバ装置100が決定した領域内に、適切な音(たとえばある一定音量以上の音など予め定められている基準を満たす音)を供給することができない携帯電話機110しか存在しない場合や、そもそも携帯電話機110が一台も存在しない場合も考えられる。このような場合、サーバ100は、決定した領域を前後方向に移動させて、適切な音を供給することができる携帯電話機110が存在する領域を検出するようにしてもよい。そして、サーバ100は、検出した領域に存在する携帯電話機110からこの携帯電話機110が収集した音を取得し、取得した音を携帯電話機110Aへ供給して、携帯電話機110Aから出力させるようにしてもよい。
【0104】
この場合、携帯電話機110Aのカメラ1570のズーム状態と、携帯電話機110Aから出力されている音が収集された位置との整合がとれなくなる。そこで、サーバ100は、携帯電話機110Aから出力されている音が収集された位置にあわせて、携帯電話機110Aのカメラ1570のズーム状態を変更するように制御してもよい。たとえば、携帯電話機110Aのカメラ1570のズーム倍率が2倍のときに、これに対応する領域に適切な音を供給することができる携帯電話機110が存在しなく、サーバ100が、決定した領域を前後にずらし、適切な音を供給することができる携帯電話機110を検出したとする。この携帯電話機110が検出された領域が、携帯電話機110Aのカメラ1570のズーム倍率が3倍のときに対応する領域である場合、サーバ100は、携帯電話機110Aのカメラ1570のズーム倍率を3倍に制御する。これにより、携帯電話機110Aのディスプレイ1560には、3倍に拡大された被写体の画像(すなわち、上記によって決定された携帯電話機110の位置で見える画像)が自動的に表示され、携帯電話機110Aのスピーカ1570からは、この画像に応じた適切な位置で聞こえる音(すなわち、上記によって決定された携帯電話機110の位置で聞こえる音)が発せられる。このようにすることで、携帯電話機110Aのユーザは、音と画像のバランスが取れた心地よい臨場感を得ることができる。
【0105】
上記の場合において、サーバ装置100は、適切な音を供給することができる携帯電話機110を、ズームイン方向・ズームアウト方向のいずれか一方向に探索してもよく、ズームイン方向・ズームアウト方向の双方向に探索してもよい。これらのうちのいずれを適用するかについては、予めサーバ装置100に設定されていてもよく、携帯電話機110Aのユーザに選択させるようにしてもよい。また、サーバ装置100は、適切な音を供給することができる携帯電話機110が存在する領域を複数検出してもよく、この場合、いずれの領域に存在する携帯電話機110を音データの供給元の携帯電話機110とするかを、携帯電話機110Aのユーザに選択させるようにしてもよく、たとえば、元の領域から最も近い位置にある領域に存在する携帯電話機110を音データの供給元の携帯電話機110とするなど、自動的に決定するようにしてもよい。
【0106】
各実施形態では、本発明に係る情報処理装置をサーバ装置に適用した例を示したが、これに限らず、本発明に係る情報処理装置は、パーソナルコンピュータなどにも適用することができる。なお、本発明に係る端末装置は、本発明に係る情報処理装置の機能を兼ね備えるものであってもよい。この場合、各実施形態で説明したようなサーバ装置を設けなくても、本発明に係る情報処理方法を実現することができる。
【0107】
また、各実施形態では、本発明に係る端末装置を携帯電話機に適用した例を示したが、これに限らず、本発明に係る端末装置は、PDA(Personal Digital Assistant)、携帯音楽再生装置、携帯動画再生装置、携帯ナビゲーション装置などにも適用することができる。本発明に係る端末装置は、被写体が保持しているものも含めてよい。また、各実施形態では、音の取得対象として決定された携帯電話機110が撮像部を備えているが、音データを供給するだけであれば、撮像部を備えていなくてもよい。
【0108】
なお、各実施形態では、本発明にかかる「所定のデータ」の一例として、音データおよび画像データを用いて説明し、本発明にかかる「出力部」の一例として、発音部322および表示部303を用いて説明したが、これらに限定するものではない。すなわち、携帯電話機110Aは、他の携帯電話機110から、音データおよび画像データ以外のデータを所定のデータとして受け取って出力するようにしてもよい。また、携帯電話機110Aは、他の携帯電話機110から受け取ったデータを、発音部322および表示部303以外の出力部によって出力するようにしてもよい。
【符号の説明】
【0109】
100…サーバ装置、110…携帯電話機、202…第一受信部、204…決定部、206…第二受信部、208…送信部、302…撮像部、303…表示部、304…位置検出部、306…方向検出部、307…ズーム状態検出部、308…集音部、310…送信部、320…受信部、322…発音部
【特許請求の範囲】
【請求項1】
撮像部を用いて被写体を撮像している一の端末装置から、当該一の端末装置の位置を示す位置情報、前記撮像部の撮像方向を示す撮像方向情報、および前記撮像部のズーム状態を示すズーム状態情報をそれぞれ受信する第一受信部と、
前記一の端末装置から受信した位置情報が示す位置を基準として、当該一の端末装置から受信した前記撮像方向情報が示す撮像方向及び前記ズーム状態情報が示すズーム状態に応じた領域を決定し、当該領域に存在する他の端末装置を、所定のデータの取得対象の端末装置として決定する決定部と、
前記音データの取得対象の端末装置から、当該端末装置が有する所定のデータを受信する第二受信部と、
前記所定のデータを、前記一の端末装置へ送信する送信部と
を備えることを特徴とする情報処理装置。
【請求項2】
前記決定部は、
決定した前記領域に存在する複数の他の端末装置のうち、予め定められた条件を満たす端末装置を、前記所定のデータの取得対象の端末装置として決定する
ことを特徴とする請求項1に記載の情報処理装置。
【請求項3】
前記決定部は、
決定した前記領域に存在する複数の他の端末装置のうち、いずれの端末装置を前記所定のデータの取得対象の端末装置とするかを前記一の端末装置のユーザに選択させ、当該ユーザによって選択された端末装置を、前記所定のデータの取得対象の端末装置として決定する
ことを特徴とする請求項1に記載の情報処理装置。
【請求項4】
前記受信部が、前記一の端末装置から、前記位置情報、前記撮像方向情報、および前記ズーム状態情報を受信する度に、
前記決定部は、
前記受信部が新たに受信した各々の前記情報に応じた前記領域を決定し、当該領域に存在する他の端末装置を、前記所定のデータの取得対象の端末装置として新たに決定し、
前記第二受信部は、
新たに決定された所定のデータの取得対象の端末装置から前記所定のデータの受信を開始する
ことを特徴とする請求項1から3のいずれかに記載の情報処理装置。
【請求項5】
前記第二受信部は、
前記所定のデータの取得対象の端末装置から、当該端末装置が収集した音に関する音データを受信し、
前記送信部は、
前記音データを、前記一の端末装置へ送信する
ことを特徴とする請求項1から4のいずれかに記載の情報処理装置。
【請求項6】
前記前記第二受信部が受信した音データからテキストデータを生成する生成部と、
前記テキストデータが、前記一の端末装置について決められた母国語以外のテキストデータである場合には、当該母国語以外のテキストデータを翻訳し、母国語のテキストデータを生成する翻訳部と、
をさらに備え、
前記送信部は、
前記母国語のテキストデータを、前記一の端末装置へ送信する
ことを特徴とする請求項5に記載の情報処理装置。
【請求項7】
前記第二受信部は、
前記所定のデータの取得対象の端末装置から、当該端末装置が撮像した画像に関する画像データを受信し、
前記送信部は、
前記画像データを、前記一の端末装置へ送信する
ことを特徴とする請求項1から6のいずれかに記載の情報処理装置。
【請求項8】
複数の端末装置のそれぞれと通信が可能な情報処理装置による情報処理方法であって、
撮像部を用いて被写体を撮像している一の端末装置から、当該一の端末装置の位置を示す位置情報、前記撮像部の撮像方向を示す撮像方向情報、および前記撮像部のズーム状態を示すズーム状態情報をそれぞれ受信する第一受信工程と、
前記一の端末装置から受信した位置情報が示す位置を基準として、当該一の端末装置から受信した前記撮像方向情報が示す撮像方向及び前記ズーム状態情報が示すズーム状態に応じた領域を決定し、当該領域に存在する他の端末装置を、所定のデータの取得対象の端末装置として決定する決定工程と、
前記所定のデータの取得対象の端末装置から、当該端末装置が有する所定のデータを受信する第二受信工程と、
前記所定のデータを、前記一の端末装置へ送信する送信工程と
を備えることを特徴とする情報処理方法。
【請求項9】
複数の端末装置と、
前記複数の端末装置のそれぞれと通信が可能な情報処理装置と
を備え、
前記情報処理装置は、
撮像部を用いて被写体を撮像している一の端末装置から、当該一の端末装置の位置を示す位置情報、前記撮像部の撮像方向を示す撮像方向情報、および前記撮像部のズーム状態を示すズーム状態情報をそれぞれ受信する第一受信部と、
前記一の端末装置から受信した位置情報が示す位置を基準として、当該一の端末装置から受信した前記撮像方向情報が示す撮像方向及び前記ズーム状態情報が示すズーム状態に応じた領域を決定し、当該領域に存在する他の端末装置を、所定のデータの取得対象の端末装置として決定する決定部と、
前記所定のデータの取得対象の端末装置から、当該端末装置が有する所定のデータを受信する第二受信部と、
前記所定のデータを、前記一の端末装置へ送信する送信部と
を備えることを特徴とする情報処理システム。
【請求項10】
コンピュータを、
撮像部を用いて被写体を撮像している一の端末装置から、当該一の端末装置の位置を示す位置情報、前記撮像部の撮像方向を示す撮像方向情報、および前記撮像部のズーム状態を示すズーム状態情報をそれぞれ受信する第一受信手段、
前記一の端末装置から受信した位置情報が示す位置を基準として、当該一の端末装置から受信した前記撮像方向情報が示す撮像方向及び前記ズーム状態情報が示すズーム状態に応じた領域を決定し、当該領域に存在する他の端末装置を、所定のデータの取得対象の端末装置として決定する決定手段、
前記所定のデータの取得対象の端末装置から、当該端末装置が有する所定のデータを受信する第二受信手段、
前記所定のデータを、前記一の端末装置へ送信する送信手段
として機能させることを特徴とするプログラム。
【請求項11】
被写体を撮像する撮像部と、
当該端末装置の位置を検出する位置検出部と、
前記撮像部の撮像方向を検出する撮像方向検出部と、
前記撮像部のズーム状態を検出するズーム状態検出部と、
前記位置を示す位置情報、前記撮像方向を示す撮像方向情報、および前記ズーム状態を示すズーム状態情報を、請求項1〜7のいずれかに記載の情報処理装置へ送信する送信部と、
前記情報処理装置から送信されてくる所定のデータを受信する受信部と、
前記所定のデータに応じた情報を出力する出力部と
を備えることを特徴とする端末装置。
【請求項1】
撮像部を用いて被写体を撮像している一の端末装置から、当該一の端末装置の位置を示す位置情報、前記撮像部の撮像方向を示す撮像方向情報、および前記撮像部のズーム状態を示すズーム状態情報をそれぞれ受信する第一受信部と、
前記一の端末装置から受信した位置情報が示す位置を基準として、当該一の端末装置から受信した前記撮像方向情報が示す撮像方向及び前記ズーム状態情報が示すズーム状態に応じた領域を決定し、当該領域に存在する他の端末装置を、所定のデータの取得対象の端末装置として決定する決定部と、
前記音データの取得対象の端末装置から、当該端末装置が有する所定のデータを受信する第二受信部と、
前記所定のデータを、前記一の端末装置へ送信する送信部と
を備えることを特徴とする情報処理装置。
【請求項2】
前記決定部は、
決定した前記領域に存在する複数の他の端末装置のうち、予め定められた条件を満たす端末装置を、前記所定のデータの取得対象の端末装置として決定する
ことを特徴とする請求項1に記載の情報処理装置。
【請求項3】
前記決定部は、
決定した前記領域に存在する複数の他の端末装置のうち、いずれの端末装置を前記所定のデータの取得対象の端末装置とするかを前記一の端末装置のユーザに選択させ、当該ユーザによって選択された端末装置を、前記所定のデータの取得対象の端末装置として決定する
ことを特徴とする請求項1に記載の情報処理装置。
【請求項4】
前記受信部が、前記一の端末装置から、前記位置情報、前記撮像方向情報、および前記ズーム状態情報を受信する度に、
前記決定部は、
前記受信部が新たに受信した各々の前記情報に応じた前記領域を決定し、当該領域に存在する他の端末装置を、前記所定のデータの取得対象の端末装置として新たに決定し、
前記第二受信部は、
新たに決定された所定のデータの取得対象の端末装置から前記所定のデータの受信を開始する
ことを特徴とする請求項1から3のいずれかに記載の情報処理装置。
【請求項5】
前記第二受信部は、
前記所定のデータの取得対象の端末装置から、当該端末装置が収集した音に関する音データを受信し、
前記送信部は、
前記音データを、前記一の端末装置へ送信する
ことを特徴とする請求項1から4のいずれかに記載の情報処理装置。
【請求項6】
前記前記第二受信部が受信した音データからテキストデータを生成する生成部と、
前記テキストデータが、前記一の端末装置について決められた母国語以外のテキストデータである場合には、当該母国語以外のテキストデータを翻訳し、母国語のテキストデータを生成する翻訳部と、
をさらに備え、
前記送信部は、
前記母国語のテキストデータを、前記一の端末装置へ送信する
ことを特徴とする請求項5に記載の情報処理装置。
【請求項7】
前記第二受信部は、
前記所定のデータの取得対象の端末装置から、当該端末装置が撮像した画像に関する画像データを受信し、
前記送信部は、
前記画像データを、前記一の端末装置へ送信する
ことを特徴とする請求項1から6のいずれかに記載の情報処理装置。
【請求項8】
複数の端末装置のそれぞれと通信が可能な情報処理装置による情報処理方法であって、
撮像部を用いて被写体を撮像している一の端末装置から、当該一の端末装置の位置を示す位置情報、前記撮像部の撮像方向を示す撮像方向情報、および前記撮像部のズーム状態を示すズーム状態情報をそれぞれ受信する第一受信工程と、
前記一の端末装置から受信した位置情報が示す位置を基準として、当該一の端末装置から受信した前記撮像方向情報が示す撮像方向及び前記ズーム状態情報が示すズーム状態に応じた領域を決定し、当該領域に存在する他の端末装置を、所定のデータの取得対象の端末装置として決定する決定工程と、
前記所定のデータの取得対象の端末装置から、当該端末装置が有する所定のデータを受信する第二受信工程と、
前記所定のデータを、前記一の端末装置へ送信する送信工程と
を備えることを特徴とする情報処理方法。
【請求項9】
複数の端末装置と、
前記複数の端末装置のそれぞれと通信が可能な情報処理装置と
を備え、
前記情報処理装置は、
撮像部を用いて被写体を撮像している一の端末装置から、当該一の端末装置の位置を示す位置情報、前記撮像部の撮像方向を示す撮像方向情報、および前記撮像部のズーム状態を示すズーム状態情報をそれぞれ受信する第一受信部と、
前記一の端末装置から受信した位置情報が示す位置を基準として、当該一の端末装置から受信した前記撮像方向情報が示す撮像方向及び前記ズーム状態情報が示すズーム状態に応じた領域を決定し、当該領域に存在する他の端末装置を、所定のデータの取得対象の端末装置として決定する決定部と、
前記所定のデータの取得対象の端末装置から、当該端末装置が有する所定のデータを受信する第二受信部と、
前記所定のデータを、前記一の端末装置へ送信する送信部と
を備えることを特徴とする情報処理システム。
【請求項10】
コンピュータを、
撮像部を用いて被写体を撮像している一の端末装置から、当該一の端末装置の位置を示す位置情報、前記撮像部の撮像方向を示す撮像方向情報、および前記撮像部のズーム状態を示すズーム状態情報をそれぞれ受信する第一受信手段、
前記一の端末装置から受信した位置情報が示す位置を基準として、当該一の端末装置から受信した前記撮像方向情報が示す撮像方向及び前記ズーム状態情報が示すズーム状態に応じた領域を決定し、当該領域に存在する他の端末装置を、所定のデータの取得対象の端末装置として決定する決定手段、
前記所定のデータの取得対象の端末装置から、当該端末装置が有する所定のデータを受信する第二受信手段、
前記所定のデータを、前記一の端末装置へ送信する送信手段
として機能させることを特徴とするプログラム。
【請求項11】
被写体を撮像する撮像部と、
当該端末装置の位置を検出する位置検出部と、
前記撮像部の撮像方向を検出する撮像方向検出部と、
前記撮像部のズーム状態を検出するズーム状態検出部と、
前記位置を示す位置情報、前記撮像方向を示す撮像方向情報、および前記ズーム状態を示すズーム状態情報を、請求項1〜7のいずれかに記載の情報処理装置へ送信する送信部と、
前記情報処理装置から送信されてくる所定のデータを受信する受信部と、
前記所定のデータに応じた情報を出力する出力部と
を備えることを特徴とする端末装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【公開番号】特開2011−205200(P2011−205200A)
【公開日】平成23年10月13日(2011.10.13)
【国際特許分類】
【出願番号】特願2010−67957(P2010−67957)
【出願日】平成22年3月24日(2010.3.24)
【出願人】(392026693)株式会社エヌ・ティ・ティ・ドコモ (5,876)
【Fターム(参考)】
【公開日】平成23年10月13日(2011.10.13)
【国際特許分類】
【出願日】平成22年3月24日(2010.3.24)
【出願人】(392026693)株式会社エヌ・ティ・ティ・ドコモ (5,876)
【Fターム(参考)】
[ Back to top ]