データ情報と音声情報とを結びつけるための方法及びシステム
【課題】音声蓄積サーバに蓄積された音声情報と、データ利用サーバに蓄積されたデータ情報とを結びつける。
【解決手段】
音声蓄積サーバは、端末装置から受信する音声情報を録音するとともに、端末装置の電話番号と音声着信時刻とを音声関連情報として格納し、データ利用サーバは、データ情報と、前記音声情報が前記端末装置から送出される時刻より前の時刻である第１の時刻と、音声録音終了より後の時刻である第２の時刻と、前記電話番号とを含む端末装置送信データを端末装置から受信し、音声蓄積サーバにアクセスすることにより、前記端末装置送信データに含まれる前記電話番号と同じ電話番号を含み、かつ、前記第１の時刻より後であり前記第２の時刻より前である音声着信時刻を含む音声関連情報を抽出し、当該音声関連情報に対応する音声情報を取得し、当該音声情報と前記データ情報とを対応付けて利用データ格納手段に格納する。
【解決手段】
音声蓄積サーバは、端末装置から受信する音声情報を録音するとともに、端末装置の電話番号と音声着信時刻とを音声関連情報として格納し、データ利用サーバは、データ情報と、前記音声情報が前記端末装置から送出される時刻より前の時刻である第１の時刻と、音声録音終了より後の時刻である第２の時刻と、前記電話番号とを含む端末装置送信データを端末装置から受信し、音声蓄積サーバにアクセスすることにより、前記端末装置送信データに含まれる前記電話番号と同じ電話番号を含み、かつ、前記第１の時刻より後であり前記第２の時刻より前である音声着信時刻を含む音声関連情報を抽出し、当該音声関連情報に対応する音声情報を取得し、当該音声情報と前記データ情報とを対応付けて利用データ格納手段に格納する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、携帯電話機から１まとまりとなるべきデータ情報と音声情報とが別々に送信され、それぞれ別々の装置に格納される場合において、これらのデータ情報と音声情報とを統合する技術に関するものである。
【背景技術】
【０００２】
携帯電話機の技術進歩は目覚しく、携帯電話機１台で様々な情報を入力、あるいは取得できるようになっている。このような情報には、携帯電話機に具備するカメラから取得した静止画像、あるいは動画像、テキスト情報、ＧＰＳ機能がついている機種であればＧＰＳ情報（携帯電話機の位置情報）、さらにはマイクから取得した音声情報などがある。
これらの情報をネットワークに接続されたサーバに送信することにより、サーバにおいてこれらの情報を種々の目的で利用することが可能となる。特に、音声情報と画像情報とを一体のものとしてサーバに送信することにより、画像内容を音声を用いて説明するといったアプリケーションの構築が可能となる。
【０００３】
例えば、特許文献１には、携帯型ＰＣを用いて取得した写真データ及び音声データ等からなる環境調査用の統合データを記録媒体に記憶し、統合データを必要に応じて携帯電話機を用いて外部ＰＣに送信し、外部ＰＣにおいてデータ解析等を行う技術が記載されている。
【０００４】
また、特許文献２には、緊急時に携帯電話機により取得した画像ファイル及び音声ファイルを通信サービス業者サーバに送信し、通信サービス業者サーバが画像ファイル及び音声ファイルを添付した緊急連絡用メールを作成し、連絡先に送信することが記載されている。
これら技術は携帯型ＰＣもしくは携帯電話機にある程度の記憶容量を持つ記憶媒体などが実装され、これらの情報をこれらの記憶媒体に格納することが前提となっている。しかしながら、音声を長時間録音したデータを格納しておくには大容量の記憶媒体が必要であり、また、これらのデータを無線で特定のサーバに送ることになれば、通信量が大きくなり、通信時間も増大してしまうといった事態を招く。このような事態を回避するために、録音時間に上限を設けると利用者からは使いずらいといった評価を得てしまう。
一方、音声を録音することについては、特許文献１、あるいは特許文献２のように、携帯電話機等に音声データを格納するのではなく、遠隔にある音声蓄積サーバに音声を録音し、それを必要に応じて聞くことができるサービスが広く普及している。
例えば、特許文献３には、携帯電話機から送信される音声情報を録音すると共に、録音された音声情報を携帯電話機の使用者からの要請に応じて再生する録音サービス装置が記載されている。また、特許文献４には、携帯電話機に音声を入力し、その音声をサーバに送信してサーバが音声を記録する技術が記載されている。
【０００５】
一般に、携帯電話機を用いて音声蓄積サーバへの録音を行う場合、音声通話と同様に音声蓄積サーバに電話をかけ呼接続を行い、携帯電話機に対する発話音声が音声通話路を経由して、直接、音声蓄積サーバに記録される。録音した音声を再生する場合は、音声蓄積サーバを呼び出し、音声蓄積サーバから音声を再生させる。
音声蓄積サーバを用いれば、携帯電話機に大容量の記憶媒体を必要としないので、大容量の記憶媒体を有しない比較的低価格帯の携帯電話機においても音声録音／再生が可能である。
【０００６】
しかし、画像情報やテキスト情報等は音声通信経路とは別のデータ通信経路を経由してサーバ（一般的なＷｅｂサーバとする）に送信されるため、音声情報と画像情報等とを一体のものとして扱うことを要するアプリケーションにおいて、音声の蓄積に上記のような音声蓄積サーバを用いることとすると、音声蓄積サーバに蓄積された音声情報と、Ｗｅｂサーバに蓄積された画像情報等とを一塊の情報群であると認識するための関連付けを行うことが必要となる。
【０００７】
この課題に対して、簡単な対応策としては、両情報に同一の識別情報（ＩＤ相当）を付与することが考えられるが、通常、音声の音声蓄積サーバへの録音に際しては、音声とともに発信者側の電話番号と録音時刻が記録されるだけであり、これら以外のＩＤを付与するようにするには、音声蓄積サーバを少なからず改造する必要が生じる。
【０００８】
別の対応策として、音声蓄積サーバでは「発信者番号＋音声の着信時刻」を記録し、サーバにおいては「発信者番号＋データ情報の発信時刻」を記録し、両者の値が一致するかどうかで関連があるか否かを判断する方法が考えられる。しかし、音声は発話により送信され、データ情報は携帯電話機の操作により送信されるので、音声の着信時刻とデータ情報の発信時刻とが一致することはありえない。また、一定の時間の時刻差であれば（例えば５秒差）、同一時刻であると見なすといった判断ロジックを採用したとしても、必ずしも音声の発信とデータ発信との時間差が上記一定の時間差内である保証はない。従って、このような判断ロジックを採用した場合、結びつけるべき音声情報とデータ情報を結びつけることができなかったり、関連のない音声情報とデータ情報とを結びつけてしまったりといったことが発生してしまい、音声情報とデータ情報間の一体性を判断するための有効な方法ではない。
【特許文献１】特開２００２−３５２０４０号公報
【特許文献２】特開２００５−０３９７００号公報
【特許文献３】特開２００１−１７７６５３号公報
【特許文献４】特開２００４−３３６３１９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
本発明は上記の点に鑑みてなされたものであり、携帯電話機から音声通信経路を経由して音声蓄積サーバに蓄積された音声情報と、当該携帯電話機からデータ通信経路を経由してデータ利用サーバに蓄積されたデータ情報とを結びつけるための技術を、既存の音声蓄積サーバ及び携帯電話機に対して大きな機能追加等を施すことなく実現することを目的とする。
【課題を解決するための手段】
【００１０】
上記の課題は、データ情報を取得してデータ通信経路を介して送信する機能と音声通信経路を介して音声情報の送信を行う機能とを有する端末装置と、当該端末装置から受信する音声情報を蓄積する機能を有する音声蓄積サーバと、前記端末装置からデータ情報を受信して格納する機能を有するデータ利用サーバとを備えたシステムにおいて、前記データ情報と前記音声情報とを結びつける方法であって、前記端末装置が、第１の時刻を取得して格納手段に格納するステップと、前記端末装置が、利用者の操作に基づき前記データ情報を取得して前記格納手段に格納するステップと、前記端末装置が、前記音声蓄積サーバと呼接続を行い、利用者の発話による音声情報を前記音声蓄積サーバに送信するステップと、前記音声蓄積サーバが、前記端末装置から受信した音声情報を音声情報格納手段に格納するとともに、前記端末装置の電話番号と音声着信時刻とを前記音声情報と対応付けて音声関連情報として音声関連情報格納手段に格納するステップと、前記端末装置が、前記音声蓄積サーバとの呼接続が終了した後、前記データ情報と、前記第１の時刻と、前記呼接続が終了した時刻より後の時刻である第２の時刻と、前記端末装置の電話番号とを端末装置送信データとして前記データ利用サーバに送信するステップと、前記データ利用サーバが、前記端末装置送信データを受信して端末装置送信データ格納手段に格納するステップと、前記データ利用サーバが、前記音声蓄積サーバにアクセスすることにより、前記端末装置送信データに含まれる前記電話番号と同じ電話番号を含み、かつ、前記第１の時刻より後であり前記第２の時刻より前である音声着信時刻を含む音声関連情報を抽出し、当該音声関連情報に対応する音声情報を取得し、当該音声情報と前記データ情報とを対応付けて利用データ格納手段に格納するステップとを有することを特徴とする方法により解決できる。なお、データ利用サーバとして例えばＷｅｂサーバを使用できる。
【００１１】
また、本発明は、データ情報を取得してデータ通信経路を介して送信する機能と音声通信経路を介して音声情報の送信を行う機能とを有する端末装置から受信する音声情報を蓄積する機能を有する音声蓄積サーバと、前記端末装置からデータ情報を受信して格納する機能を有するデータ利用サーバとを備え、前記データ情報と前記音声情報とを結びつける機能を有するシステムであって、前記音声蓄積サーバは、前記端末装置と呼接続を行い、前記端末装置から受信する音声情報を音声情報格納手段に格納するとともに、前記端末装置の電話番号と音声着信時刻とを前記音声情報と対応付けて音声関連情報として音声関連情報格納手段に格納する手段を有し、前記データ利用サーバは、前記データ情報と、前記音声情報が前記端末装置から送信される時刻より前の時刻である第１の時刻と、前記呼接続が終了した時刻より後の時刻である第２の時刻と、前記端末装置の電話番号とを含む端末装置送信データを前記端末装置から受信し、端末装置送信データ格納手段に格納する手段と、前記音声蓄積サーバにアクセスすることにより、前記端末装置送信データに含まれる前記電話番号と同じ電話番号を含み、かつ、前記第１の時刻より後であり前記第２の時刻より前である音声着信時刻を含む音声関連情報を抽出し、当該音声関連情報に対応する音声情報を取得し、当該音声情報と前記データ情報とを対応付けて利用データ格納手段に格納する手段とを有する、ことを特徴とするシステムとして構成することもできる。
【発明の効果】
【００１２】
本発明によれば、携帯電話機から音声通信経路を経由して音声蓄積サーバに蓄積された音声情報と、当該携帯電話機からデータ通信経路を経由してデータ利用サーバに蓄積されたデータ情報とを結びつけるための技術を、既存の音声蓄積サーバ及び携帯電話機に対して大きな機能追加等を施すことなく実現することが可能となる。
【発明を実施するための最良の形態】
【００１３】
以下、図面を参照して本発明の実施の形態について説明する。以下の実施の形態では、携帯電話機から画像情報（写真）、テキスト情報、及びＧＰＳ情報（これらをデータ情報と呼ぶ）をＷｅｂサーバに送るとともに、音声を音声蓄積サーバに送信し、Ｗｅｂサーバが音声情報とデータ情報との結びつけを行い、Ｗｅｂサーバにアクセスした端末に対してＧＰＳ情報に基づく位置情報を地図上にマッピングした画面を表示し、端末のユーザは地図上の当該位置をクリックすることにより、写真やテキスト情報を音声を聞きながら参照することができるサービスを前提としている。また、携帯電話機の時刻と音声蓄積サーバの時刻とはある程度正確に一致しているものとする。
【００１４】
（システム構成）
図１に本発明の実施の形態におけるシステム構成を示す。図１に示すように、本実施の形態におけるシステムは、携帯電話機１０、音声蓄積サーバ２０、及びＷｅｂサーバ３０を有している。
【００１５】
携帯電話機１０は携帯網の音声通信経路４０を介して音声蓄積サーバ２０と呼接続を行って、音声通信経路４０により音声を音声蓄積サーバ２０に送信する。また、携帯電話機１０は携帯網のデータ通信経路５０を介してＷｅｂサーバ３０にデータ情報を送信する。
【００１６】
携帯電話機１０は市販されている一般的なものであり、ＧＰＳ受信部１１、カメラ１２、文字入力部１３、音声入力部１４、データ格納部１５、データ送受信部１６、音声送受信部１７、及びアンテナ１８を有する。ＧＰＳ受信部１１はＧＰＳ衛星からＧＰＳ情報を受信し、カメラ１２は写真を撮影して画像情報を取得し、文字入力部１３はユーザ操作に基づきテキスト情報を取得し、それぞれデータ格納部１５に記録する。そして、データ格納部１５に格納されたデータ情報は、データ送受信部１６によりデータ通信経路５０を介してＷｅｂサーバ３０に送信される。
【００１７】
また、音声入力部１４はユーザの発話による音声を取得し、音声送受信部１７は取得された音声を音声通信経路４０を介して音声蓄積サーバ２０に送信する。また、音声送受信部１７は呼接続等の電話機能を有している。
【００１８】
携帯電話機１０には更にデータ情報入力・送信のためのアプリケーションプログラム（以下、単にアプリケーションと呼ぶ）を実行するための機能部（ＣＰＵ、メモリ等）が備えられており、このアプリケーションを実行することにより、データ情報の入力や送信を行うためのデータ情報入力送信部が生成される。更に携帯電話機１０は画面表示を行うための図示しない表示部を有している。
【００１９】
音声蓄積サーバ２０は、携帯電話機１０から受信する音声を音声情報として格納する音声情報格納部２１を有している。また、音声蓄積サーバ２０は、当該音声情報に関連付けて音声関連情報（発信者電話番号と音声着信時刻）を格納する音声関連情報格納部２２を有している。
【００２０】
Ｗｅｂサーバ３０は、携帯電話機１０から受信したデータ情報と結び付けるべき音声情報を音声蓄積サーバ２０から取得し、当該データ情報と音声情報とを格納する利用データ格納部３１を有している。また、Ｗｅｂサーバ３０は、地図情報を格納する地図情報格納部３２を有している。なお、地図情報は必要に応じて外部の地図情報サーバから取得するようにしてもよい。更に、Ｗｅｂサーバ３０は、利用データ格納部３１に格納されたデータと地図情報格納部３２に格納された地図情報を用いてユーザに対してサービスを提供する機能を有している。
【００２１】
（システムの動作）
次に、本実施の形態におけるシステムの動作を図２のフローチャートを参照して説明する。
【００２２】
まず、ユーザによる操作に基づき携帯電話機１０はアプリケーションを起動し、起動したアプリケーションにより生成されたデータ情報入力送信部がアプリケーション起動時の時刻（アプリケーション起動時刻という）をデータ格納部１５に保存する（ステップＭ１）。
【００２３】
データ情報入力送信部は、携帯電話機１０の表示部に、ユーザがデータ情報を入力することをサポートするための画面を表示し、ユーザはその画面に示された情報に従って、写真撮影、テキスト入力、ＧＰＳ情報取得のための操作を行う。これらの操作により得られた画像情報、テキスト情報、及びＧＰＳ情報はデータ情報入力送信部によりデータ格納部１５に格納される（ステップＭ２）。
【００２４】
上記画面には音声蓄積サーバ２０に発呼するためのボタンが表示されており、ユーザがそのボタンを押し下げる（クリックする）ことにより、データ情報入力送信部は音声蓄積サーバ２０への発呼処理を行う（ステップＭ３）。その後アプリケーションの実行は一時中断される。つまり、アプリケーションを用いたデータの入力等を行うことができなくなる。また、アプリケーションは、音声蓄積サーバ２０に発呼する前の時点ではデータ情報の送信を行うことができないように構成されていてもよい。
【００２５】
音声蓄積サーバ２０への呼接続が完了すると、携帯電話機１０のユーザは音声蓄積サーバ２０から流れるガイダンス等に従って、ステップ２で入力したデータ情報に関係する内容の発話を行い、発話した音声は音声通信経路４０を介して音声蓄積サーバ２０に送信される（ステップＭ４）。
【００２６】
一方、ステップＶ１において携帯電話機１０と呼接続された音声蓄積サーバ２０は、発信者電話番号（携帯電話機１０の電話番号）と音声着信時刻とを音声関連情報として音声関連情報格納部２２に蓄積する（ステップＶ２）。なお、発信者電話番号は、携帯網における発信者電話番号通知機能を用いて通知するようにしてもよいし、携帯電話機１０が通知してもよい。また、音声着信時刻は音声録音が開始されたときに、音声蓄積サーバ２０が取得する時刻である。
【００２７】
音声蓄積サーバ２０は、携帯電話機１０から送信された音声を音声情報格納部２１に格納（録音）する（ステップＶ３）。なお、音声関連情報格納部２２に格納される発信者電話番号及び音声着信時刻とからなる音声関連情報と、音声情報格納部２１に格納される音声情報とは関連付けられている。例えば、音声関連情報に音声情報の識別情報（ファイル名等）を含ませることによりこの関連付けを行うことができる。
【００２８】
さて、携帯電話機１０側では、音声の入力が終了すると呼の切断（呼接続の終了）が行われ、携帯電話機１０における通話機能が終了し、その後アプリケーションが再起動（再実行）され、データ情報入力送信部が動作する（ステップＭ５）。
【００２９】
データ情報入力送信部は表示部にデータ送信ボタンを含む画面を表示する。ユーザが当該画面に表示されたデータ送信ボタンを押し下げる（クリックする）ことにより、データ情報入力送信部はその押し下げの時刻（データ送信時刻と呼ぶ）をデータ格納部１５に保存する（ステップＭ６）。更に、データ情報入力送信部は、ステップＭ２で入力・保存されたデータ情報と、アプリケーション起動時刻と、データ送信時刻と、携帯電話機１０の電話番号とをＷｅｂサーバ３０にデータ通信経路５０を介して送信する（ステップＭ７）。
【００３０】
Ｗｅｂサーバ３０は、携帯電話機１０から送信されたデータ情報と、アプリケーション起動時刻と、データ送信時刻と、携帯電話機１０の電話番号と（これらをまとめて携帯電話機送信データと呼ぶ）を受信し、Ｗｅｂサーバ３０の一次データ格納部（ＲＡＭ等）に保存する（ステップＷ１）。
【００３１】
そして、Ｗｅｂサーバ３０は音声蓄積サーバ２０における音声関連情報格納部２２を参照し、ステップＷ１で受信した携帯電話機送信データに含まれる発信者電話番号と同じ発信者電話番号を持ち、かつ、音声着信時刻がアプリケーション起動時刻とデータ送信時刻との間に存在する音声関連情報を抽出する（ステップＷ２）。そして、Ｗｅｂサーバ３０は、当該音声関連情報に対応する音声情報を取得し、ステップＷ１で受信したデータ情報とを一体として利用データ格納部３１に格納する（ステップＷ３）。ステップＷ２の処理で抽出した音声関連情報に対応する音声情報とステップＷ１で受信したデータ情報とを一体と見なしてよい理由を次に説明する。
【００３２】
図２に示すフローチャートに沿ってデータ、音声の送信及び格納を行う場合の処理を時系列で示すと図３に示すようになる。
【００３３】
つまり、まずアプリケーションの起動がなされ（アプリケーション起動時刻：Ｔ１）、データ入力・編集の後、音声蓄積サーバへの発呼が行われ、音声録音が開始される（音声着信時刻：Ｔ２）。そして、音声の録音が終了した後、通話機能の終了に伴いアプリケーションが再実行され、送信ボタンの押し下げによりデータ情報の送信が開始され（データ送信時刻：Ｔ３）、データ送信が終了する。
【００３４】
アプリケーションの起動がされなければ音声蓄積サーバ２０への発呼はなされないので、必ずＴ１＜Ｔ２となる。また、音声の録音が終了した後でなければデータ送信を行うことはないので、必ずＴ２＜Ｔ３となる。従って、常にＴ１＜Ｔ２＜Ｔ３が成り立つ。また、データ入力・編集、及び音声蓄積サーバ２０への発呼は同一アプリケーションを用いて連続して行われるので、Ｔ１とＴ３との間に同じユーザの他のデータ情報に関連する音声の録音が行われることはない。
【００３５】
よって、携帯電話機送信データに含まれる発信者電話番号と同じ発信者電話番号を持ち、かつ、音声着信時刻Ｔ２がアプリケーション起動時刻Ｔ１とデータ送信時刻Ｔ３との間に存在する音声関連情報に対応する音声情報は、携帯電話機送信データに含まれるデータ情報と一体のものとして扱うことができる。
【００３６】
なお、Ｔ１は、音声着信時刻Ｔ２より前の時刻であればよく必ずしもアプリケーション起動時刻である必要はない。また、Ｔ３は、音声着信時刻Ｔ２より後の時刻であればよく必ずしもデータ送信時刻（送信ボタンを押した時刻）である必要はない。また、Ｔ２は、Ｔ１とＴ３の間の時刻であればよく必ずしも音声の録音を開始した時刻である必要はない。例えば音声の録音の途中の時刻や、音声の録音が終了した時刻でもよい。
【００３７】
図２におけるステップＷ３の後の処理の一例を次に説明する。Ｗｅｂサーバ３０は、利用データ格納部３１に格納されたデータ情報に含まれるＧＰＳ情報に基づき、ＧＰＳ情報が示す位置を含む地図情報を取得し、その位置を示す画像を含み、その位置をクリックしたときに写真及びテキスト情報を表示するとともに、音声を出力するようにしたＷｅｂページを作成し、ユーザ識別情報（ユーザＩＤ、電話番号等）と対応付けて利用データ格納部３１に格納する。そして、Ｗｅｂサーバ３０は、ユーザ端末からのアクセスに応じて当該Ｗｅｂページを当該ユーザ端末に送信する。ユーザ端末には、データ情報と関連付けられた位置を示す画像を含む地図画像が表示され（図４（ａ））、当該位置を示す画像で示された位置をクリックすることにより、写真とテキスト情報が表示され（図４（ｂ）、音声を聞くことができる。
【００３８】
（各装置の詳細構成）
次に、上記の動作を行う各装置の機能構成についてより詳細に説明する。
【００３９】
図５に、アプリケーションが実行されているときにおける携帯電話機１０のデータ情報入力送信部の機能構成を示す。図５に示すようにデータ情報入力送信部は、時刻取得部１、データ情報入力・編集部３、発呼部５、及びデータ情報送信処理部７を有している。
【００４０】
時刻取得部１は、アプリケーションが起動したときと送信ボタンの押し下げがなされたときに携帯電話機１０が備える時計機能部から時刻を取得し、当該時刻をデータ格納部１５に記録する。データ情報入力・編集部３は、写真撮影により得られた画像を取得してデータ格納部１５に記録する機能、テキスト入力画面を表示して、入力されたテキストをデータ格納部１５に記録する機能、ＧＰＳ受信部１１で受信したＧＰＳ情報をデータ格納部１５に記録する機能等を有している。なお、上記の時刻情報、画像情報、テキスト情報、ＧＰＳ情報は互いに関連付けられてデータ格納部１５に記録される。
【００４１】
発呼部７は、ユーザからの操作に基づき、音声蓄積サーバ２０に対して呼接続を行うための発呼を行う。また、データ情報送信処理部５は、送信ボタンの押し下げに応じて時刻情報とデータ情報に発信者電話番号を付加した情報をデータ通信経路５０を経由してＷｅｂサーバ３０に送信するための機能を有している。
【００４２】
図６は、音声蓄積サーバ２０の機能構成図である。音声蓄積サーバ２０は、電話機能部２３、音声蓄積処理部２４、Ｗｅｂサーバ連携処理部２５、音声関連情報格納部２２、及び音声情報格納部２１を有している。
【００４３】
電話機能部２３は、音声通信経路４０を通じて他の装置と呼接続を行い、音声の送受信を行うための機能部である。音声蓄積処理部２４は、音声関連情報格納部２２に、音声着信時刻、発信者電話番号、及び音声識別情報を互いに対応付けて格納するための処理部である。また、音声蓄積処理部２４は、電話機能部２３から受信した音声を音声情報として音声情報格納部２１に格納するための処理を行う。
【００４４】
Ｗｅｂサーバ連携処理部２５は、Ｗｅｂサーバ３０からのアクセスを受けてＷｅｂサーバ３０に音声関連情報格納部２２の検索を行わせたり、音声関連情報や音声情報をＷｅｂサーバに送信する機能を有している。
【００４５】
なお、音声蓄積処理部２４とＷｅｂサーバ連携処理部２５はそれぞれ音声蓄積のためのプログラム、Ｗｅｂサーバ連携処理のためのプログラムを音声蓄積サーバ２０上で実行することにより実現可能である。
【００４６】
図７は、Ｗｅｂサーバ３０の機能構成図である。Ｗｅｂサーバ３０は、データ通信機能部３３、Ｗｅｂデータ処理部３４、音声蓄積サーバ連携処理部３５、一次データ格納部３６、利用データ格納部３１、地図情報格納部３２を有している。
【００４７】
データ通信機能部３３は、データ通信経路５０を介して他の装置とデータ通信を行うための機能部である。Ｗｅｂデータ処理部３４は、携帯電話機１０から携帯電話機送信データを受信して一次データ格納部３６に格納する機能、携帯電話機１０から受信したデータ情報と、音声蓄積サーバ連携処理部３５を介して取得した、前記データ情報と一体となるべき音声情報とを利用データ格納部３１に格納する機能、利用データ格納部３１に格納されたデータを利用して図４（ａ）、（ｂ）に示したようなサービスを提供する機能等を有している。
【００４８】
また、音声蓄積サーバ連携処理部３５は、Ｗｅｂデータ処理部３４からアプリケーション起動時刻、データ送信時刻、発信者電話番号を受け取り、音声蓄積サーバ２０にアクセスし、アプリケーション起動時刻、データ送信時刻、発信者電話番号を用いて音声関連情報格納部２２を検索し、当該発信者電話番号と同じ発信者電話番号を持ち、かつ、音声着信時刻がアプリケーション起動時刻とデータ送信時刻との間に存在する音声関連情報を抽出し、その音声関連情報に含まれる音声識別情報を用いて、音声情報格納部２１から当該音声情報を取得し、Ｗｅｂデータ処理部３４に渡す機能を有している。
【００４９】
なお、音声蓄積サーバ連携処理部３５は、発信者電話番号が一致する音声関連情報を全て取得し、Ｗｅｂデータ処理部３４がそれらの音声関連情報を一次データ格納部３６に格納し、Ｗｅｂデータ処理部３４がアプリケーション起動時刻とデータ送信時刻とを用いて、一次データ格納部３６に格納された音声関連情報の中から目的とするデータ情報に対応する音声関連情報を抽出することとしてもよい。この場合、Ｗｅｂデータ処理部３４は、抽出された音声関連情報から音声情報の識別情報を取得し、その識別情報を用いることにより音声蓄積サーバ連携処理部３５を介して音声蓄積サーバ３０から音声情報を取得する。
【００５０】
Ｗｅｂデータ処理部３４と音声蓄積サーバ連携処理部３５はそれぞれＷｅｂデータ処理のためのプログラム、音声蓄積サーバ連携処理のためのプログラムをＷｅｂサーバ３０上で実行することにより実現可能である。
【００５１】
図８に、利用データ格納部３１に格納されるデータの一例を示す。図８に示す例では、画像ファイル、音声ファイル、テキスト情報、緯度経度情報（ＧＰＳ情報）、発信者情報（ＩＤ等）等が塊毎に格納されている。
【００５２】
本実施の形態で説明した技術を用いることにより、例えば、写真をＷｅｂサーバに送って、更に音声で写真の内容を補足するようなサービスを容易に提供できる。また、データ情報にＧＰＳ情報を含ませ、上述したような地図へのマッピングを行うことにより、どこから電話しているのか説明が不要な留守番電話機能を実現できる。また、本実施の形態における技術は特別な装置がなくても市販の携帯電話機で実現できるので、一般市民から情報を収集して生きた情報によるハザードマップ作成等に応用範囲を広げることも可能である。
【００５３】
本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において、種々変更・応用が可能である。
【図面の簡単な説明】
【００５４】
【図１】本発明の実施の形態におけるシステム構成図である。
【図２】本発明の実施の形態におけるシステムの動作を示すフローチャートである。
【図３】処理の流れを時系列で示した図である。
【図４】提供されるサービスの一例を説明するための図である。
【図５】携帯電話機１０のデータ情報入力送信部の機能構成図である。
【図６】音声蓄積サーバ２０の機能構成図である。
【図７】Ｗｅｂサーバ３０の機能構成図である。
【図８】利用データ格納部３１に格納されるデータの一例を示す図である。
【符号の説明】
【００５５】
１０ 携帯電話機
１１ ＧＰＳ受信部
１２ カメラ
１３ 文字入力部
１４ 音声入力部
１５ データ格納部
１６ データ送受信部
１７ 音声送受信部
１８ アンテナ
２０ 音声蓄積サーバ
２１ 音声情報格納部
２２ 音声関連情報格納部
２３ 電話機能部
２４ 音声蓄積処理部
２５ Ｗｅｂサーバ連携処理部
３０ Ｗｅｂサーバ
３１ 利用データ格納部
３２ 地図情報格納部
３３ データ通信機能部
３４ Ｗｅｂデータ処理部
３５ 音声蓄積サーバ連携処理部
３６ 一次データ格納部
４０ 音声通信経路
５０ データ通信経路
【技術分野】
【０００１】
本発明は、携帯電話機から１まとまりとなるべきデータ情報と音声情報とが別々に送信され、それぞれ別々の装置に格納される場合において、これらのデータ情報と音声情報とを統合する技術に関するものである。
【背景技術】
【０００２】
携帯電話機の技術進歩は目覚しく、携帯電話機１台で様々な情報を入力、あるいは取得できるようになっている。このような情報には、携帯電話機に具備するカメラから取得した静止画像、あるいは動画像、テキスト情報、ＧＰＳ機能がついている機種であればＧＰＳ情報（携帯電話機の位置情報）、さらにはマイクから取得した音声情報などがある。
これらの情報をネットワークに接続されたサーバに送信することにより、サーバにおいてこれらの情報を種々の目的で利用することが可能となる。特に、音声情報と画像情報とを一体のものとしてサーバに送信することにより、画像内容を音声を用いて説明するといったアプリケーションの構築が可能となる。
【０００３】
例えば、特許文献１には、携帯型ＰＣを用いて取得した写真データ及び音声データ等からなる環境調査用の統合データを記録媒体に記憶し、統合データを必要に応じて携帯電話機を用いて外部ＰＣに送信し、外部ＰＣにおいてデータ解析等を行う技術が記載されている。
【０００４】
また、特許文献２には、緊急時に携帯電話機により取得した画像ファイル及び音声ファイルを通信サービス業者サーバに送信し、通信サービス業者サーバが画像ファイル及び音声ファイルを添付した緊急連絡用メールを作成し、連絡先に送信することが記載されている。
これら技術は携帯型ＰＣもしくは携帯電話機にある程度の記憶容量を持つ記憶媒体などが実装され、これらの情報をこれらの記憶媒体に格納することが前提となっている。しかしながら、音声を長時間録音したデータを格納しておくには大容量の記憶媒体が必要であり、また、これらのデータを無線で特定のサーバに送ることになれば、通信量が大きくなり、通信時間も増大してしまうといった事態を招く。このような事態を回避するために、録音時間に上限を設けると利用者からは使いずらいといった評価を得てしまう。
一方、音声を録音することについては、特許文献１、あるいは特許文献２のように、携帯電話機等に音声データを格納するのではなく、遠隔にある音声蓄積サーバに音声を録音し、それを必要に応じて聞くことができるサービスが広く普及している。
例えば、特許文献３には、携帯電話機から送信される音声情報を録音すると共に、録音された音声情報を携帯電話機の使用者からの要請に応じて再生する録音サービス装置が記載されている。また、特許文献４には、携帯電話機に音声を入力し、その音声をサーバに送信してサーバが音声を記録する技術が記載されている。
【０００５】
一般に、携帯電話機を用いて音声蓄積サーバへの録音を行う場合、音声通話と同様に音声蓄積サーバに電話をかけ呼接続を行い、携帯電話機に対する発話音声が音声通話路を経由して、直接、音声蓄積サーバに記録される。録音した音声を再生する場合は、音声蓄積サーバを呼び出し、音声蓄積サーバから音声を再生させる。
音声蓄積サーバを用いれば、携帯電話機に大容量の記憶媒体を必要としないので、大容量の記憶媒体を有しない比較的低価格帯の携帯電話機においても音声録音／再生が可能である。
【０００６】
しかし、画像情報やテキスト情報等は音声通信経路とは別のデータ通信経路を経由してサーバ（一般的なＷｅｂサーバとする）に送信されるため、音声情報と画像情報等とを一体のものとして扱うことを要するアプリケーションにおいて、音声の蓄積に上記のような音声蓄積サーバを用いることとすると、音声蓄積サーバに蓄積された音声情報と、Ｗｅｂサーバに蓄積された画像情報等とを一塊の情報群であると認識するための関連付けを行うことが必要となる。
【０００７】
この課題に対して、簡単な対応策としては、両情報に同一の識別情報（ＩＤ相当）を付与することが考えられるが、通常、音声の音声蓄積サーバへの録音に際しては、音声とともに発信者側の電話番号と録音時刻が記録されるだけであり、これら以外のＩＤを付与するようにするには、音声蓄積サーバを少なからず改造する必要が生じる。
【０００８】
別の対応策として、音声蓄積サーバでは「発信者番号＋音声の着信時刻」を記録し、サーバにおいては「発信者番号＋データ情報の発信時刻」を記録し、両者の値が一致するかどうかで関連があるか否かを判断する方法が考えられる。しかし、音声は発話により送信され、データ情報は携帯電話機の操作により送信されるので、音声の着信時刻とデータ情報の発信時刻とが一致することはありえない。また、一定の時間の時刻差であれば（例えば５秒差）、同一時刻であると見なすといった判断ロジックを採用したとしても、必ずしも音声の発信とデータ発信との時間差が上記一定の時間差内である保証はない。従って、このような判断ロジックを採用した場合、結びつけるべき音声情報とデータ情報を結びつけることができなかったり、関連のない音声情報とデータ情報とを結びつけてしまったりといったことが発生してしまい、音声情報とデータ情報間の一体性を判断するための有効な方法ではない。
【特許文献１】特開２００２−３５２０４０号公報
【特許文献２】特開２００５−０３９７００号公報
【特許文献３】特開２００１−１７７６５３号公報
【特許文献４】特開２００４−３３６３１９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
本発明は上記の点に鑑みてなされたものであり、携帯電話機から音声通信経路を経由して音声蓄積サーバに蓄積された音声情報と、当該携帯電話機からデータ通信経路を経由してデータ利用サーバに蓄積されたデータ情報とを結びつけるための技術を、既存の音声蓄積サーバ及び携帯電話機に対して大きな機能追加等を施すことなく実現することを目的とする。
【課題を解決するための手段】
【００１０】
上記の課題は、データ情報を取得してデータ通信経路を介して送信する機能と音声通信経路を介して音声情報の送信を行う機能とを有する端末装置と、当該端末装置から受信する音声情報を蓄積する機能を有する音声蓄積サーバと、前記端末装置からデータ情報を受信して格納する機能を有するデータ利用サーバとを備えたシステムにおいて、前記データ情報と前記音声情報とを結びつける方法であって、前記端末装置が、第１の時刻を取得して格納手段に格納するステップと、前記端末装置が、利用者の操作に基づき前記データ情報を取得して前記格納手段に格納するステップと、前記端末装置が、前記音声蓄積サーバと呼接続を行い、利用者の発話による音声情報を前記音声蓄積サーバに送信するステップと、前記音声蓄積サーバが、前記端末装置から受信した音声情報を音声情報格納手段に格納するとともに、前記端末装置の電話番号と音声着信時刻とを前記音声情報と対応付けて音声関連情報として音声関連情報格納手段に格納するステップと、前記端末装置が、前記音声蓄積サーバとの呼接続が終了した後、前記データ情報と、前記第１の時刻と、前記呼接続が終了した時刻より後の時刻である第２の時刻と、前記端末装置の電話番号とを端末装置送信データとして前記データ利用サーバに送信するステップと、前記データ利用サーバが、前記端末装置送信データを受信して端末装置送信データ格納手段に格納するステップと、前記データ利用サーバが、前記音声蓄積サーバにアクセスすることにより、前記端末装置送信データに含まれる前記電話番号と同じ電話番号を含み、かつ、前記第１の時刻より後であり前記第２の時刻より前である音声着信時刻を含む音声関連情報を抽出し、当該音声関連情報に対応する音声情報を取得し、当該音声情報と前記データ情報とを対応付けて利用データ格納手段に格納するステップとを有することを特徴とする方法により解決できる。なお、データ利用サーバとして例えばＷｅｂサーバを使用できる。
【００１１】
また、本発明は、データ情報を取得してデータ通信経路を介して送信する機能と音声通信経路を介して音声情報の送信を行う機能とを有する端末装置から受信する音声情報を蓄積する機能を有する音声蓄積サーバと、前記端末装置からデータ情報を受信して格納する機能を有するデータ利用サーバとを備え、前記データ情報と前記音声情報とを結びつける機能を有するシステムであって、前記音声蓄積サーバは、前記端末装置と呼接続を行い、前記端末装置から受信する音声情報を音声情報格納手段に格納するとともに、前記端末装置の電話番号と音声着信時刻とを前記音声情報と対応付けて音声関連情報として音声関連情報格納手段に格納する手段を有し、前記データ利用サーバは、前記データ情報と、前記音声情報が前記端末装置から送信される時刻より前の時刻である第１の時刻と、前記呼接続が終了した時刻より後の時刻である第２の時刻と、前記端末装置の電話番号とを含む端末装置送信データを前記端末装置から受信し、端末装置送信データ格納手段に格納する手段と、前記音声蓄積サーバにアクセスすることにより、前記端末装置送信データに含まれる前記電話番号と同じ電話番号を含み、かつ、前記第１の時刻より後であり前記第２の時刻より前である音声着信時刻を含む音声関連情報を抽出し、当該音声関連情報に対応する音声情報を取得し、当該音声情報と前記データ情報とを対応付けて利用データ格納手段に格納する手段とを有する、ことを特徴とするシステムとして構成することもできる。
【発明の効果】
【００１２】
本発明によれば、携帯電話機から音声通信経路を経由して音声蓄積サーバに蓄積された音声情報と、当該携帯電話機からデータ通信経路を経由してデータ利用サーバに蓄積されたデータ情報とを結びつけるための技術を、既存の音声蓄積サーバ及び携帯電話機に対して大きな機能追加等を施すことなく実現することが可能となる。
【発明を実施するための最良の形態】
【００１３】
以下、図面を参照して本発明の実施の形態について説明する。以下の実施の形態では、携帯電話機から画像情報（写真）、テキスト情報、及びＧＰＳ情報（これらをデータ情報と呼ぶ）をＷｅｂサーバに送るとともに、音声を音声蓄積サーバに送信し、Ｗｅｂサーバが音声情報とデータ情報との結びつけを行い、Ｗｅｂサーバにアクセスした端末に対してＧＰＳ情報に基づく位置情報を地図上にマッピングした画面を表示し、端末のユーザは地図上の当該位置をクリックすることにより、写真やテキスト情報を音声を聞きながら参照することができるサービスを前提としている。また、携帯電話機の時刻と音声蓄積サーバの時刻とはある程度正確に一致しているものとする。
【００１４】
（システム構成）
図１に本発明の実施の形態におけるシステム構成を示す。図１に示すように、本実施の形態におけるシステムは、携帯電話機１０、音声蓄積サーバ２０、及びＷｅｂサーバ３０を有している。
【００１５】
携帯電話機１０は携帯網の音声通信経路４０を介して音声蓄積サーバ２０と呼接続を行って、音声通信経路４０により音声を音声蓄積サーバ２０に送信する。また、携帯電話機１０は携帯網のデータ通信経路５０を介してＷｅｂサーバ３０にデータ情報を送信する。
【００１６】
携帯電話機１０は市販されている一般的なものであり、ＧＰＳ受信部１１、カメラ１２、文字入力部１３、音声入力部１４、データ格納部１５、データ送受信部１６、音声送受信部１７、及びアンテナ１８を有する。ＧＰＳ受信部１１はＧＰＳ衛星からＧＰＳ情報を受信し、カメラ１２は写真を撮影して画像情報を取得し、文字入力部１３はユーザ操作に基づきテキスト情報を取得し、それぞれデータ格納部１５に記録する。そして、データ格納部１５に格納されたデータ情報は、データ送受信部１６によりデータ通信経路５０を介してＷｅｂサーバ３０に送信される。
【００１７】
また、音声入力部１４はユーザの発話による音声を取得し、音声送受信部１７は取得された音声を音声通信経路４０を介して音声蓄積サーバ２０に送信する。また、音声送受信部１７は呼接続等の電話機能を有している。
【００１８】
携帯電話機１０には更にデータ情報入力・送信のためのアプリケーションプログラム（以下、単にアプリケーションと呼ぶ）を実行するための機能部（ＣＰＵ、メモリ等）が備えられており、このアプリケーションを実行することにより、データ情報の入力や送信を行うためのデータ情報入力送信部が生成される。更に携帯電話機１０は画面表示を行うための図示しない表示部を有している。
【００１９】
音声蓄積サーバ２０は、携帯電話機１０から受信する音声を音声情報として格納する音声情報格納部２１を有している。また、音声蓄積サーバ２０は、当該音声情報に関連付けて音声関連情報（発信者電話番号と音声着信時刻）を格納する音声関連情報格納部２２を有している。
【００２０】
Ｗｅｂサーバ３０は、携帯電話機１０から受信したデータ情報と結び付けるべき音声情報を音声蓄積サーバ２０から取得し、当該データ情報と音声情報とを格納する利用データ格納部３１を有している。また、Ｗｅｂサーバ３０は、地図情報を格納する地図情報格納部３２を有している。なお、地図情報は必要に応じて外部の地図情報サーバから取得するようにしてもよい。更に、Ｗｅｂサーバ３０は、利用データ格納部３１に格納されたデータと地図情報格納部３２に格納された地図情報を用いてユーザに対してサービスを提供する機能を有している。
【００２１】
（システムの動作）
次に、本実施の形態におけるシステムの動作を図２のフローチャートを参照して説明する。
【００２２】
まず、ユーザによる操作に基づき携帯電話機１０はアプリケーションを起動し、起動したアプリケーションにより生成されたデータ情報入力送信部がアプリケーション起動時の時刻（アプリケーション起動時刻という）をデータ格納部１５に保存する（ステップＭ１）。
【００２３】
データ情報入力送信部は、携帯電話機１０の表示部に、ユーザがデータ情報を入力することをサポートするための画面を表示し、ユーザはその画面に示された情報に従って、写真撮影、テキスト入力、ＧＰＳ情報取得のための操作を行う。これらの操作により得られた画像情報、テキスト情報、及びＧＰＳ情報はデータ情報入力送信部によりデータ格納部１５に格納される（ステップＭ２）。
【００２４】
上記画面には音声蓄積サーバ２０に発呼するためのボタンが表示されており、ユーザがそのボタンを押し下げる（クリックする）ことにより、データ情報入力送信部は音声蓄積サーバ２０への発呼処理を行う（ステップＭ３）。その後アプリケーションの実行は一時中断される。つまり、アプリケーションを用いたデータの入力等を行うことができなくなる。また、アプリケーションは、音声蓄積サーバ２０に発呼する前の時点ではデータ情報の送信を行うことができないように構成されていてもよい。
【００２５】
音声蓄積サーバ２０への呼接続が完了すると、携帯電話機１０のユーザは音声蓄積サーバ２０から流れるガイダンス等に従って、ステップ２で入力したデータ情報に関係する内容の発話を行い、発話した音声は音声通信経路４０を介して音声蓄積サーバ２０に送信される（ステップＭ４）。
【００２６】
一方、ステップＶ１において携帯電話機１０と呼接続された音声蓄積サーバ２０は、発信者電話番号（携帯電話機１０の電話番号）と音声着信時刻とを音声関連情報として音声関連情報格納部２２に蓄積する（ステップＶ２）。なお、発信者電話番号は、携帯網における発信者電話番号通知機能を用いて通知するようにしてもよいし、携帯電話機１０が通知してもよい。また、音声着信時刻は音声録音が開始されたときに、音声蓄積サーバ２０が取得する時刻である。
【００２７】
音声蓄積サーバ２０は、携帯電話機１０から送信された音声を音声情報格納部２１に格納（録音）する（ステップＶ３）。なお、音声関連情報格納部２２に格納される発信者電話番号及び音声着信時刻とからなる音声関連情報と、音声情報格納部２１に格納される音声情報とは関連付けられている。例えば、音声関連情報に音声情報の識別情報（ファイル名等）を含ませることによりこの関連付けを行うことができる。
【００２８】
さて、携帯電話機１０側では、音声の入力が終了すると呼の切断（呼接続の終了）が行われ、携帯電話機１０における通話機能が終了し、その後アプリケーションが再起動（再実行）され、データ情報入力送信部が動作する（ステップＭ５）。
【００２９】
データ情報入力送信部は表示部にデータ送信ボタンを含む画面を表示する。ユーザが当該画面に表示されたデータ送信ボタンを押し下げる（クリックする）ことにより、データ情報入力送信部はその押し下げの時刻（データ送信時刻と呼ぶ）をデータ格納部１５に保存する（ステップＭ６）。更に、データ情報入力送信部は、ステップＭ２で入力・保存されたデータ情報と、アプリケーション起動時刻と、データ送信時刻と、携帯電話機１０の電話番号とをＷｅｂサーバ３０にデータ通信経路５０を介して送信する（ステップＭ７）。
【００３０】
Ｗｅｂサーバ３０は、携帯電話機１０から送信されたデータ情報と、アプリケーション起動時刻と、データ送信時刻と、携帯電話機１０の電話番号と（これらをまとめて携帯電話機送信データと呼ぶ）を受信し、Ｗｅｂサーバ３０の一次データ格納部（ＲＡＭ等）に保存する（ステップＷ１）。
【００３１】
そして、Ｗｅｂサーバ３０は音声蓄積サーバ２０における音声関連情報格納部２２を参照し、ステップＷ１で受信した携帯電話機送信データに含まれる発信者電話番号と同じ発信者電話番号を持ち、かつ、音声着信時刻がアプリケーション起動時刻とデータ送信時刻との間に存在する音声関連情報を抽出する（ステップＷ２）。そして、Ｗｅｂサーバ３０は、当該音声関連情報に対応する音声情報を取得し、ステップＷ１で受信したデータ情報とを一体として利用データ格納部３１に格納する（ステップＷ３）。ステップＷ２の処理で抽出した音声関連情報に対応する音声情報とステップＷ１で受信したデータ情報とを一体と見なしてよい理由を次に説明する。
【００３２】
図２に示すフローチャートに沿ってデータ、音声の送信及び格納を行う場合の処理を時系列で示すと図３に示すようになる。
【００３３】
つまり、まずアプリケーションの起動がなされ（アプリケーション起動時刻：Ｔ１）、データ入力・編集の後、音声蓄積サーバへの発呼が行われ、音声録音が開始される（音声着信時刻：Ｔ２）。そして、音声の録音が終了した後、通話機能の終了に伴いアプリケーションが再実行され、送信ボタンの押し下げによりデータ情報の送信が開始され（データ送信時刻：Ｔ３）、データ送信が終了する。
【００３４】
アプリケーションの起動がされなければ音声蓄積サーバ２０への発呼はなされないので、必ずＴ１＜Ｔ２となる。また、音声の録音が終了した後でなければデータ送信を行うことはないので、必ずＴ２＜Ｔ３となる。従って、常にＴ１＜Ｔ２＜Ｔ３が成り立つ。また、データ入力・編集、及び音声蓄積サーバ２０への発呼は同一アプリケーションを用いて連続して行われるので、Ｔ１とＴ３との間に同じユーザの他のデータ情報に関連する音声の録音が行われることはない。
【００３５】
よって、携帯電話機送信データに含まれる発信者電話番号と同じ発信者電話番号を持ち、かつ、音声着信時刻Ｔ２がアプリケーション起動時刻Ｔ１とデータ送信時刻Ｔ３との間に存在する音声関連情報に対応する音声情報は、携帯電話機送信データに含まれるデータ情報と一体のものとして扱うことができる。
【００３６】
なお、Ｔ１は、音声着信時刻Ｔ２より前の時刻であればよく必ずしもアプリケーション起動時刻である必要はない。また、Ｔ３は、音声着信時刻Ｔ２より後の時刻であればよく必ずしもデータ送信時刻（送信ボタンを押した時刻）である必要はない。また、Ｔ２は、Ｔ１とＴ３の間の時刻であればよく必ずしも音声の録音を開始した時刻である必要はない。例えば音声の録音の途中の時刻や、音声の録音が終了した時刻でもよい。
【００３７】
図２におけるステップＷ３の後の処理の一例を次に説明する。Ｗｅｂサーバ３０は、利用データ格納部３１に格納されたデータ情報に含まれるＧＰＳ情報に基づき、ＧＰＳ情報が示す位置を含む地図情報を取得し、その位置を示す画像を含み、その位置をクリックしたときに写真及びテキスト情報を表示するとともに、音声を出力するようにしたＷｅｂページを作成し、ユーザ識別情報（ユーザＩＤ、電話番号等）と対応付けて利用データ格納部３１に格納する。そして、Ｗｅｂサーバ３０は、ユーザ端末からのアクセスに応じて当該Ｗｅｂページを当該ユーザ端末に送信する。ユーザ端末には、データ情報と関連付けられた位置を示す画像を含む地図画像が表示され（図４（ａ））、当該位置を示す画像で示された位置をクリックすることにより、写真とテキスト情報が表示され（図４（ｂ）、音声を聞くことができる。
【００３８】
（各装置の詳細構成）
次に、上記の動作を行う各装置の機能構成についてより詳細に説明する。
【００３９】
図５に、アプリケーションが実行されているときにおける携帯電話機１０のデータ情報入力送信部の機能構成を示す。図５に示すようにデータ情報入力送信部は、時刻取得部１、データ情報入力・編集部３、発呼部５、及びデータ情報送信処理部７を有している。
【００４０】
時刻取得部１は、アプリケーションが起動したときと送信ボタンの押し下げがなされたときに携帯電話機１０が備える時計機能部から時刻を取得し、当該時刻をデータ格納部１５に記録する。データ情報入力・編集部３は、写真撮影により得られた画像を取得してデータ格納部１５に記録する機能、テキスト入力画面を表示して、入力されたテキストをデータ格納部１５に記録する機能、ＧＰＳ受信部１１で受信したＧＰＳ情報をデータ格納部１５に記録する機能等を有している。なお、上記の時刻情報、画像情報、テキスト情報、ＧＰＳ情報は互いに関連付けられてデータ格納部１５に記録される。
【００４１】
発呼部７は、ユーザからの操作に基づき、音声蓄積サーバ２０に対して呼接続を行うための発呼を行う。また、データ情報送信処理部５は、送信ボタンの押し下げに応じて時刻情報とデータ情報に発信者電話番号を付加した情報をデータ通信経路５０を経由してＷｅｂサーバ３０に送信するための機能を有している。
【００４２】
図６は、音声蓄積サーバ２０の機能構成図である。音声蓄積サーバ２０は、電話機能部２３、音声蓄積処理部２４、Ｗｅｂサーバ連携処理部２５、音声関連情報格納部２２、及び音声情報格納部２１を有している。
【００４３】
電話機能部２３は、音声通信経路４０を通じて他の装置と呼接続を行い、音声の送受信を行うための機能部である。音声蓄積処理部２４は、音声関連情報格納部２２に、音声着信時刻、発信者電話番号、及び音声識別情報を互いに対応付けて格納するための処理部である。また、音声蓄積処理部２４は、電話機能部２３から受信した音声を音声情報として音声情報格納部２１に格納するための処理を行う。
【００４４】
Ｗｅｂサーバ連携処理部２５は、Ｗｅｂサーバ３０からのアクセスを受けてＷｅｂサーバ３０に音声関連情報格納部２２の検索を行わせたり、音声関連情報や音声情報をＷｅｂサーバに送信する機能を有している。
【００４５】
なお、音声蓄積処理部２４とＷｅｂサーバ連携処理部２５はそれぞれ音声蓄積のためのプログラム、Ｗｅｂサーバ連携処理のためのプログラムを音声蓄積サーバ２０上で実行することにより実現可能である。
【００４６】
図７は、Ｗｅｂサーバ３０の機能構成図である。Ｗｅｂサーバ３０は、データ通信機能部３３、Ｗｅｂデータ処理部３４、音声蓄積サーバ連携処理部３５、一次データ格納部３６、利用データ格納部３１、地図情報格納部３２を有している。
【００４７】
データ通信機能部３３は、データ通信経路５０を介して他の装置とデータ通信を行うための機能部である。Ｗｅｂデータ処理部３４は、携帯電話機１０から携帯電話機送信データを受信して一次データ格納部３６に格納する機能、携帯電話機１０から受信したデータ情報と、音声蓄積サーバ連携処理部３５を介して取得した、前記データ情報と一体となるべき音声情報とを利用データ格納部３１に格納する機能、利用データ格納部３１に格納されたデータを利用して図４（ａ）、（ｂ）に示したようなサービスを提供する機能等を有している。
【００４８】
また、音声蓄積サーバ連携処理部３５は、Ｗｅｂデータ処理部３４からアプリケーション起動時刻、データ送信時刻、発信者電話番号を受け取り、音声蓄積サーバ２０にアクセスし、アプリケーション起動時刻、データ送信時刻、発信者電話番号を用いて音声関連情報格納部２２を検索し、当該発信者電話番号と同じ発信者電話番号を持ち、かつ、音声着信時刻がアプリケーション起動時刻とデータ送信時刻との間に存在する音声関連情報を抽出し、その音声関連情報に含まれる音声識別情報を用いて、音声情報格納部２１から当該音声情報を取得し、Ｗｅｂデータ処理部３４に渡す機能を有している。
【００４９】
なお、音声蓄積サーバ連携処理部３５は、発信者電話番号が一致する音声関連情報を全て取得し、Ｗｅｂデータ処理部３４がそれらの音声関連情報を一次データ格納部３６に格納し、Ｗｅｂデータ処理部３４がアプリケーション起動時刻とデータ送信時刻とを用いて、一次データ格納部３６に格納された音声関連情報の中から目的とするデータ情報に対応する音声関連情報を抽出することとしてもよい。この場合、Ｗｅｂデータ処理部３４は、抽出された音声関連情報から音声情報の識別情報を取得し、その識別情報を用いることにより音声蓄積サーバ連携処理部３５を介して音声蓄積サーバ３０から音声情報を取得する。
【００５０】
Ｗｅｂデータ処理部３４と音声蓄積サーバ連携処理部３５はそれぞれＷｅｂデータ処理のためのプログラム、音声蓄積サーバ連携処理のためのプログラムをＷｅｂサーバ３０上で実行することにより実現可能である。
【００５１】
図８に、利用データ格納部３１に格納されるデータの一例を示す。図８に示す例では、画像ファイル、音声ファイル、テキスト情報、緯度経度情報（ＧＰＳ情報）、発信者情報（ＩＤ等）等が塊毎に格納されている。
【００５２】
本実施の形態で説明した技術を用いることにより、例えば、写真をＷｅｂサーバに送って、更に音声で写真の内容を補足するようなサービスを容易に提供できる。また、データ情報にＧＰＳ情報を含ませ、上述したような地図へのマッピングを行うことにより、どこから電話しているのか説明が不要な留守番電話機能を実現できる。また、本実施の形態における技術は特別な装置がなくても市販の携帯電話機で実現できるので、一般市民から情報を収集して生きた情報によるハザードマップ作成等に応用範囲を広げることも可能である。
【００５３】
本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において、種々変更・応用が可能である。
【図面の簡単な説明】
【００５４】
【図１】本発明の実施の形態におけるシステム構成図である。
【図２】本発明の実施の形態におけるシステムの動作を示すフローチャートである。
【図３】処理の流れを時系列で示した図である。
【図４】提供されるサービスの一例を説明するための図である。
【図５】携帯電話機１０のデータ情報入力送信部の機能構成図である。
【図６】音声蓄積サーバ２０の機能構成図である。
【図７】Ｗｅｂサーバ３０の機能構成図である。
【図８】利用データ格納部３１に格納されるデータの一例を示す図である。
【符号の説明】
【００５５】
１０ 携帯電話機
１１ ＧＰＳ受信部
１２ カメラ
１３ 文字入力部
１４ 音声入力部
１５ データ格納部
１６ データ送受信部
１７ 音声送受信部
１８ アンテナ
２０ 音声蓄積サーバ
２１ 音声情報格納部
２２ 音声関連情報格納部
２３ 電話機能部
２４ 音声蓄積処理部
２５ Ｗｅｂサーバ連携処理部
３０ Ｗｅｂサーバ
３１ 利用データ格納部
３２ 地図情報格納部
３３ データ通信機能部
３４ Ｗｅｂデータ処理部
３５ 音声蓄積サーバ連携処理部
３６ 一次データ格納部
４０ 音声通信経路
５０ データ通信経路
【特許請求の範囲】
【請求項１】
データ情報を取得してデータ通信経路を介して送信する機能と音声通信経路を介して音声情報の送信を行う機能とを有する端末装置と、当該端末装置から受信する音声情報を蓄積する機能を有する音声蓄積サーバと、前記端末装置からデータ情報を受信して格納する機能を有するデータ利用サーバとを備えたシステムにおいて、前記データ情報と前記音声情報とを結びつける方法であって、
前記端末装置が、第１の時刻を取得して格納手段に格納するステップと、
前記端末装置が、利用者の操作に基づき前記データ情報を取得して前記格納手段に格納するステップと、
前記端末装置が、前記音声蓄積サーバと呼接続を行い、利用者の発話による音声情報を前記音声蓄積サーバに送信するステップと、
前記音声蓄積サーバが、前記端末装置から受信した音声情報を音声情報格納手段に格納するとともに、前記端末装置の電話番号と音声着信時刻とを前記音声情報と対応付けて音声関連情報として音声関連情報格納手段に格納するステップと、
前記端末装置が、前記音声蓄積サーバとの呼接続が終了した後、前記データ情報と、前記第１の時刻と、前記呼接続が終了した時刻より後の時刻である第２の時刻と、前記端末装置の電話番号とを端末装置送信データとして前記データ利用サーバに送信するステップと、
前記データ利用サーバが、前記端末装置送信データを受信して端末装置送信データ格納手段に格納するステップと、
前記データ利用サーバが、前記音声蓄積サーバにアクセスすることにより、前記端末装置送信データに含まれる前記電話番号と同じ電話番号を含み、かつ、前記第１の時刻より後であり前記第２の時刻より前である音声着信時刻を含む音声関連情報を抽出し、当該音声関連情報に対応する音声情報を取得し、当該音声情報と前記データ情報とを対応付けて利用データ格納手段に格納するステップと
を有することを特徴とする方法。
【請求項２】
データ情報を取得してデータ通信経路を介して送信する機能と音声通信経路を介して音声情報の送信を行う機能とを有する端末装置から受信する音声情報を蓄積する機能を有する音声蓄積サーバと、前記端末装置からデータ情報を受信して格納する機能を有するデータ利用サーバとを備え、前記データ情報と前記音声情報とを結びつける機能を有するシステムであって、
前記音声蓄積サーバは、前記端末装置と呼接続を行い、前記端末装置から受信する音声情報を音声情報格納手段に格納するとともに、前記端末装置の電話番号と音声着信時刻とを前記音声情報と対応付けて音声関連情報として音声関連情報格納手段に格納する手段を有し、
前記データ利用サーバは、前記データ情報と、前記音声情報が前記端末装置から送信される時刻より前の時刻である第１の時刻と、前記呼接続が終了した時刻より後の時刻である第２の時刻と、前記端末装置の電話番号とを含む端末装置送信データを前記端末装置から受信し、端末装置送信データ格納手段に格納する手段と、
前記音声蓄積サーバにアクセスすることにより、前記端末装置送信データに含まれる前記電話番号と同じ電話番号を含み、かつ、前記第１の時刻より後であり前記第２の時刻より前である音声着信時刻を含む音声関連情報を抽出し、当該音声関連情報に対応する音声情報を取得し、当該音声情報と前記データ情報とを対応付けて利用データ格納手段に格納する手段とを有する
ことを特徴とするシステム。
【請求項１】
データ情報を取得してデータ通信経路を介して送信する機能と音声通信経路を介して音声情報の送信を行う機能とを有する端末装置と、当該端末装置から受信する音声情報を蓄積する機能を有する音声蓄積サーバと、前記端末装置からデータ情報を受信して格納する機能を有するデータ利用サーバとを備えたシステムにおいて、前記データ情報と前記音声情報とを結びつける方法であって、
前記端末装置が、第１の時刻を取得して格納手段に格納するステップと、
前記端末装置が、利用者の操作に基づき前記データ情報を取得して前記格納手段に格納するステップと、
前記端末装置が、前記音声蓄積サーバと呼接続を行い、利用者の発話による音声情報を前記音声蓄積サーバに送信するステップと、
前記音声蓄積サーバが、前記端末装置から受信した音声情報を音声情報格納手段に格納するとともに、前記端末装置の電話番号と音声着信時刻とを前記音声情報と対応付けて音声関連情報として音声関連情報格納手段に格納するステップと、
前記端末装置が、前記音声蓄積サーバとの呼接続が終了した後、前記データ情報と、前記第１の時刻と、前記呼接続が終了した時刻より後の時刻である第２の時刻と、前記端末装置の電話番号とを端末装置送信データとして前記データ利用サーバに送信するステップと、
前記データ利用サーバが、前記端末装置送信データを受信して端末装置送信データ格納手段に格納するステップと、
前記データ利用サーバが、前記音声蓄積サーバにアクセスすることにより、前記端末装置送信データに含まれる前記電話番号と同じ電話番号を含み、かつ、前記第１の時刻より後であり前記第２の時刻より前である音声着信時刻を含む音声関連情報を抽出し、当該音声関連情報に対応する音声情報を取得し、当該音声情報と前記データ情報とを対応付けて利用データ格納手段に格納するステップと
を有することを特徴とする方法。
【請求項２】
データ情報を取得してデータ通信経路を介して送信する機能と音声通信経路を介して音声情報の送信を行う機能とを有する端末装置から受信する音声情報を蓄積する機能を有する音声蓄積サーバと、前記端末装置からデータ情報を受信して格納する機能を有するデータ利用サーバとを備え、前記データ情報と前記音声情報とを結びつける機能を有するシステムであって、
前記音声蓄積サーバは、前記端末装置と呼接続を行い、前記端末装置から受信する音声情報を音声情報格納手段に格納するとともに、前記端末装置の電話番号と音声着信時刻とを前記音声情報と対応付けて音声関連情報として音声関連情報格納手段に格納する手段を有し、
前記データ利用サーバは、前記データ情報と、前記音声情報が前記端末装置から送信される時刻より前の時刻である第１の時刻と、前記呼接続が終了した時刻より後の時刻である第２の時刻と、前記端末装置の電話番号とを含む端末装置送信データを前記端末装置から受信し、端末装置送信データ格納手段に格納する手段と、
前記音声蓄積サーバにアクセスすることにより、前記端末装置送信データに含まれる前記電話番号と同じ電話番号を含み、かつ、前記第１の時刻より後であり前記第２の時刻より前である音声着信時刻を含む音声関連情報を抽出し、当該音声関連情報に対応する音声情報を取得し、当該音声情報と前記データ情報とを対応付けて利用データ格納手段に格納する手段とを有する
ことを特徴とするシステム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２００８−１０４０８０（Ｐ２００８−１０４０８０Ａ）
【公開日】平成２０年５月１日（２００８．５．１）
【国際特許分類】
【出願番号】特願２００６−２８６５１９（Ｐ２００６−２８６５１９）
【出願日】平成１８年１０月２０日（２００６．１０．２０）
【出願人】（０００１０２７１７）エヌ・ティ・ティ・ソフトウェア株式会社 (43)
【Ｆターム（参考）】
【公開日】平成２０年５月１日（２００８．５．１）
【国際特許分類】
【出願日】平成１８年１０月２０日（２００６．１０．２０）
【出願人】（０００１０２７１７）エヌ・ティ・ティ・ソフトウェア株式会社 (43)
【Ｆターム（参考）】
[ Back to top ]