説明

音像定位制御システム、コミュニケーション用サーバ、多地点接続装置、及び音像定位制御方法

【課題】利用者間のコミュニケーション量に基づき関係性の強さを判断し、自動的に音像定位を変化させる。
【解決手段】利用者端末20は、データ、送信元・送信先利用者端末の識別子をコミュニケーション用サーバ10に送信するコミュニケーション部21と、音声データを多地点接続装置30に送信する音声送信部22と、多地点接続装置30から受信した音声データに基づきサラウンド音声を再生する音声再生部23とを備える。コミュニケーション用サーバ10は、2つの利用者端末の識別子に重みを対応付けた関係グラフ13と、重みを制御する関係グラフ管理部14とを備える。多地点接続装置30は、音声データを受信する音声受信部31と、関係グラフ13の重みの大きさに応じて音像定位を決定する音像定位管理部32と、決定された音像定位に基づき音声データ音像定位処理を施し、利用者端末20に送信する音像定位処理部33とを備える。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、本発明は、音声会議やテレビ会議(ビデオ会議)を多地点で利用する場合に、利用者端末が出力させる音声の音像定位を適応的に制御する音像定位制御システム、コミュニケーション用サーバ、多地点接続装置、及び音像定位制御方法に関するものである。
【背景技術】
【0002】
従来、3拠点以上で多地点接続装置(MCU:Multipoint Control Unit)を用いて音声会議やテレビ会議を行う場合、各拠点の音声を同じ音像定位で他の拠点で再生する方法、一拠点からの音声のみを他の拠点で再生する方法、無音状態から有音状態を感知した拠点に発言権を与える方法などがあった。また、音像定位を利用した臨場感を生じさせる技術も知られている(例えば、特許文献1参照)。また、インターネット回線を利用し、複数の利用者が参加可能であり、資料共有機能等を備えるweb会議システムも知られている(例えば、非特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開平1−280982号公報
【非特許文献】
【0004】
【非特許文献1】“meeting plaza”[online]、NTTアイティ株式会社、[2011年6月22日検索]、インターネット〈URL:http://www.meetingplaza.com/index-j.html〉
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかし、一部又は全員が拠点を別にして行う在宅勤務や遠隔学習では、できるだけ職場と同じように、話し合いたい人には近づいてその人とだけ会話できる一方で、職場の他のメンバー間の会話も聞くことができることが望ましい。ところが、既存の多地点接続装置を用いた場合は、職場や他の在宅勤務者の通話が常に同じ音量で聞こえる、職場の音声だけが聞こえ他の在宅勤務者の声が聞こえない、発言があった拠点のみの音声が聞こえる、といった課題があった。また、仮想空間において、音像定位を用いる臨場感再現技術では、利用者は自らの仮想空間上の位置を操作し、学習や業務上コミュニケーションが必要な人物の近くに赴く必要があった。
【0006】
本発明の目的は、上記問題を解決するため、利用者間のコミュニケーション量に基づいて利用者間の関係性の強さ(コミュニケーションの重要度)を判断し、自動的に音像定位を変化させることにある。
【課題を解決するための手段】
【0007】
上記課題を解決するため、本発明に係る音像定位制御システムは、利用者端末と、コミュニケーション用サーバと、多地点接続装置とを備え、利用者端末が出力させる音声の音像定位を適応的に制御する音像定位制御システムであって、前記利用者端末は、データファイル又はインスタントメッセージ、該データファイル又はインスタントメッセージの送信元利用者端末の識別子、及び該データファイル又はインスタントメッセージの送信先利用者端末の識別子を前記コミュニケーション用サーバに送信するコミュニケーション部と、音声データを前記多地点接続装置に送信する音声送信部と、前記多地点接続装置から受信した音像定位処理された音声データに基づきサラウンド音声を再生する音声再生部と、を備え、前記コミュニケーション用サーバは、前記利用者端末から受信した前記送信元利用者端末の識別子及び前記送信先利用者端末の識別子のうちの2つの識別子である第1利用者端末識別子及び第2利用者端末識別子の各組み合わせに、重みを対応付けたテーブルである関係グラフと、前記第1利用者端末識別子及び第2利用者端末識別子を前記関係グラフに格納し、第1利用者端末識別子を有する利用者端末と第2利用者端末識別子を有する利用者端末との間で前記データファイル又はインスタントメッセージのやり取りが発生した場合には、該第1利用者端末識別子及び第2利用者端末識別子に対応付けられた重みにデータファイル用又はインスタントメッセージ用の加算値を加える関係グラフ管理部と、を備え、前記多地点接続装置は、前記音声送信部から前記音声データを受信する音声受信部と、前記関係グラフの重みの大きさに応じて適応的に音像定位を決定する音像定位管理部と、前記音声受信部にて受信した音声データに対し、前記音像定位管理部により決定された音像定位に基づいて音像定位処理を施し、音像定位処理された音声データを、当該多地点接続装置に接続された利用者端末の前記音声再生部に送信する音像定位処理部と、を備えることを特徴とする。
【0008】
また、上記課題を解決するため、本発明に係るコミュニケーション用サーバは、利用者端末と、コミュニケーション用サーバと、多地点接続装置とを備える音像定位制御システムにおけるコミュニケーション用サーバであって、前記利用者端末から受信した、データファイル又はインスタントメッセージの送信元利用者端末の識別子及び送信先利用者端末の識別子のうちの2つの識別子である第1利用者端末識別子及び第2利用者端末識別子と、該第1利用者端末識別子及び第2利用者端末識別子の組み合わせに、重みを対応付けたテーブルである関係グラフと、前記第1利用者端末識別子を有する利用者端末と前記第2利用者端末識別子を有する利用者端末との間で前記データファイル又はインスタントメッセージのやり取りが発生した場合には、該第1利用者端末識別子及び第2利用者端末識別子に対応付けられた重みに所定の加算値を加える関係グラフ管理部と、を備えることを特徴とする。
【0009】
また、上記課題を解決するため、本発明に係る多地点接続装置は、利用者端末と、コミュニケーション用サーバと、多地点接続装置とを備える音像定位制御システムにおける多地点接続装置であって、前記利用者端末から前記音声データを受信する音声受信部と、前記利用者端末から送信される、データファイル又はインスタントメッセージの送信元利用者端末の識別子及び送信先利用者端末の識別子のうちの2つの識別子である第1利用者端末識別子及び第2利用者端末識別子に対応付けられた重みの大きさに応じて適応的に音像定位を決定する音像定位管理部と、前記音声受信部にて受信した音声データに対し、前記音像定位管理部により決定された音像定位に基づいて音像定位処理を施し、音像定位処理された音声データを、当該多地点接続装置に接続された利用者端末に送信する音像定位処理部と、を備えることを特徴とする。
【0010】
また、上記課題を解決するため、本発明に係る音像定位制御方法は、利用者端末と、コミュニケーション用サーバと、多地点接続装置とを備える音像定位制御システムにて、利用者端末が出力させる音声の音像定位を適応的に制御する音像定位制御方法であって、前記利用者端末により、データファイル又はインスタントメッセージ、該データファイル又はインスタントメッセージの送信元利用者端末の識別子、及び該データファイル又はインスタントメッセージの送信先利用者端末の識別子を前記コミュニケーション用サーバに送信するステップと、前記コミュニケーション用サーバにより、前記利用者端末から受信した前記送信元利用者端末の識別子及び前記送信先利用者端末の識別子のうちの2つの識別子である第1利用者端末識別子及び第2利用者端末識別子の各組み合わせに、重みを対応付けた関係グラフを記憶するステップと、前記コミュニケーション用サーバにより、前記第1利用者端末識別子及び第2利用者端末識別子を前記関係グラフに格納し、第1利用者端末識別子を有する利用者端末と第2利用者端末識別子を有する利用者端末との間で前記データファイル又はインスタントメッセージのやり取りが発生した場合には、該第1利用者端末識別子及び第2利用者端末識別子に対応付けられた重みにデータファイル又はインスタントメッセージ用の加算値を加えるステップと、前記利用者端末により、音声データを前記多地点接続装置に送信するステップと、前記多地点接続装置により、前記音声データを受信するステップと、前記多地点接続装置により、前記関係グラフの重みの大きさに応じて適応的に音像定位を決定するステップと、前記多地点接続装置により、前記音声受信部にて受信した音声データに対し、前記音像定位管理部により決定された音像定位に基づいて音像定位処理を施し、音像定位処理された音声データを、当該多地点接続装置に接続された利用者端末に送信するステップと、前記利用者端末により、前記多地点接続装置から受信した前記音像定位処理された音声データに基づきサラウンド音声を再生するステップと、を含むことを特徴とする。
【発明の効果】
【0011】
本発明によれば、ある利用者に対する他の利用者の音像定位及び音量を、利用者間のコミュニケーション量に応じて自動的に変化させることができ、在宅勤務や遠隔学習において、あたかも同一の場所で一緒に働いたり、学習したりしているかの様な仮想的な空間を構築することができるようになる。具体的には、利用者間のコミュニケーション量に基づき、関係性の強い相手については音像定位を前方(正面)として音量を上げることにより聞き取りやすくすることができ、関係性の弱い相手については音像定位を左右や後方として音量を下げることで、ある程度は会話の内容を把握することができるようになる。これらの音像定位の変化により、利用者にとって重要な会話は聞き取りやすく、そうでない会話はそれなりに聞くことができるようになる。
【図面の簡単な説明】
【0012】
【図1】本発明による第1の実施形態の音像定位システムの構成を示すブロック図である。
【図2】本発明による第1の実施形態の音像定位システムにおける音像定位の第1の例を示す図である。
【図3】本発明による第1の実施形態の音像定位システムにおける音像定位の第1の変化例を示す図である。
【図4】本発明による第1の実施形態の音像定位システムにおける音像定位の決定動作を示すフローチャートである。
【図5】本発明による第1の実施形態の音像定位システムにおける音像定位の第2の例を示す図である。
【図6】本発明による第2の実施形態の音像定位システムにおける音像定位の第2の変化例を示す図である。
【図7】本発明による第1の実施形態の音像定位システムの主要な動作を示すフローチャートである。
【図8】本発明の概略を説明する図である。
【図9】本発明による第2の実施形態の音像定位システムの構成を示すブロック図である。
【図10】本発明による第3の実施形態の音像定位システムの構成を示すブロック図である。
【発明を実施するための形態】
【0013】
本発明では、利用者間の情報のやりとりの頻度や種類などから、利用者間の関係性の強さ(コミュニケーションの重要度)を関係グラフの重みとして導出し、導出した利用者間の関係性の強さに応じてリアルタイムでサラウンドの音像定位を変化させ、利用者にとって関係性の強い人(重要な人)の音声は目の前方に設置されたスピーカで大きな音で出力し、利用者にとって比較的関係性の弱い人の音声は後方や左右に設置されたスピーカから小さな音で出力する。これにより、図8に示すように、本人と関係性の強いcさんは前方の近い位置に存在し、本人と関係性が弱くなるほど、本人の左側、右側、後方などの遠い位置に存在するかのような仮想的な環境を構築する。なお、本発明は、資料共有機能やインスタントメッセージ表示機能等を有する遠隔コラボレーション用アプリケーション(非特許文献2参照)を利用可能である。
【0014】
以下、本発明の実施形態について、図面を参照して詳細に説明する。
【0015】
(第1の実施形態)
図1は、第1の実施形態の音像定位システムの構成を示すブロック図である。図1に示すように、音像定位システム1は、コミュニケーション用サーバ10と、利用者端末20と、多地点接続装置30とを備える。コミュニケーション用サーバ10は、資料共有管理部11と、インスタントメッセージ管理部12と、関係グラフ13と、関係グラフ管理部14とを備える。利用者端末20は、コミュニケーション部21と、音声送信部22と、音声再生部23とを備え、利用者端末20には、周辺機器(ディスプレイ、キーボード、マウスなど)24とマイク25と、サラウンドスピーカー26とが接続される。多地点接続装置30は、音声受信部31と、音像定位処理部33と、音像定位管理部32とを備える。なお、複数の利用者端末20をコミュニケーション用サーバ10及び多地点接続装置30に接続可能であり、図1では代表して1つの利用者端末20の構成を示している。
【0016】
[利用者端末の構成]
コミュニケーション部21は、利用者の指示に従い、データファイル、該データファイルの送信元利用者端末(当該利用者端末20)の識別子、及び利用者が指定した該データファイルの送信先利用者端末の識別子をコミュニケーション用サーバ10の資料共有管理部11に送信する。データファイルは、送信先利用者端末からアクセスできる任意の資料である。なお、利用者端末の識別子に利用者のユーザ名を含めてもよい。
【0017】
コミュニケーション部21は、コミュニケーション用サーバ10の資料共有管理部11からデータファイル及び送信元利用者端末の識別子を受信すると、受信したデータファイルについて当該データファイルを取り扱う既存のアプリケーション・ソフトウェアを介して周辺機器(ディスプレイ)24に表示させる。さらに、送信元利用者端末の識別子に基づく利用者への通知、例えば、「利用者端末a@ntt.co.jpからの資料を表示します。」や「○○さんからの資料です。」といったメッセージを周辺機器(ディスプレイ)24に表示させることにより、利用者にどの端末(又は利用者)から送信されたデータファイルかを示すことができる。
【0018】
また、コミュニケーション部21は、利用者の指示に従い、インスタントメッセージ(IM:Instant Messaging)、該インスタントメッセージの送信元利用者端末の識別子、及び利用者が指定した該インスタントメッセージの送信先利用者端末の識別子をインスタントメッセージ管理部12に送信する。
【0019】
コミュニケーション部21は、コミュニケーション用サーバ10のインスタントメッセージ管理部12からインスタントメッセージ及び送信元利用者端末の識別子を受信すると、受信したインスタントメッセージを周辺機器(ディスプレイ)24に表示させる。さらに、送信元利用者端末の識別子を周辺機器(ディスプレイ)24に表示させることにより、利用者にどの端末(又は利用者)から送信されたインスタントメッセージかを示すことができる。
【0020】
なお、コミュニケーション部21は、資料共有機能、インスタントメッセージ機能を持つ、既存の遠隔コラボレーション用アプリケーションのクライアント部分により実現可能である。
【0021】
音声送信部22は、マイク25から入力される音声を符号化し、符号化した音声データを送信元利用者端末の識別子とともに、多地点接続装置30の音声受信部31に送信する。音声の符号化には、既存技術である、PCM、AD−PCM、LD−CELP等を利用する。
【0022】
音声再生部23は、多地点接続装置30の音像定位処理部33から受信した音像定位処理された音声データに基づき、利用者が音像定位を感じられるように、複数のサラウンドスピーカー26を介してサラウンド音声を再生する。なお、サラウンドスピーカー26は、サラウンド機能付きヘッドフォンを含むものとする。
【0023】
[コミュニケーション用サーバの構成]
資料共有管理部11は、利用者端末20のコミュニケーション部21から、送信元利用者端末の識別子、送信先利用者端末の識別子、及びデータファイルを受信する。資料共有管理部11は、データファイルを受信すると、受信したデータファイル、及び送信元利用者端末の識別子(受信した際の送信元)を、送信先利用者端末の識別子を有する利用者端末に送信する。そして、資料共有管理部11は、データファイルを利用者端末20に送信すると、送信元利用者端末の識別子、送信先利用者端末の識別子、及び現在時刻を関係グラフ管理部14に出力する。
【0024】
なお、資料共有管理部11は、既存の遠隔コラボレーション用アプリケーションのサーバ部分(資料共有機能部分)により実現可能である。
【0025】
インスタントメッセージ管理部12は、利用者端末20のコミュニケーション部21から、インスタントメッセージ、送信元利用者端末の識別子、及び送信先利用者端末の識別子を受信する。インスタントメッセージ管理部12は、インスタントメッセージを受信すると、インスタントメッセージ、及び送信元利用者端末の識別子(受信した際の送信元)を、送信先利用者端末の識別子を有する利用者端末20のコミュニケーション部21に送信する。そして、インスタントメッセージ管理部12は、インスタントメッセージを利用者端末20に送信すると、送信元利用者端末の識別子、送信先利用者端末の識別子、及び現在時刻を関係グラフ管理部14に送信する。
【0026】
なお、インスタントメッセージ管理部12は、既存の遠隔コラボレーション用アプリケーションのサーバ部分(インスタントメッセージ管理機能部分)により実現可能である。
【0027】
関係グラフ13は、第1利用者端末識別子及び第2利用者端末識別子の各組み合わせに、重み及び音像定位を対応付けたテーブルである。ここで、第1利用者端末識別子、第2利用者端末識別子とは、関係グラフ管理部14が資料共有管理部11、及びインスタントメッセージ管理部12から受信した送信元利用者端末の識別子及び送信先利用者端末の識別子のうちの2つの識別子を表すものであり、関係グラフ13では2つの識別子の各組み合わせについて、重み及び音像定位が対応付けられる。なお、本発明では、無向グラフ、すなわち両者の間の重み付けは1つだけであるとしている。例えば、利用者端末X→利用者端末Yの重み付けを50、利用者端末Y→利用者端末Xの重み付けを100のように2つあるとはせず、利用者端末X,Yの重み付けは75の1つであるとしている。ゆえに、第1利用者端末識別子、第2利用者端末識別子を用いて2つの重み付けを1つにしている。
【0028】
重みの初期値は、所定の一定値としてもよいし、公知のX.500等に代表されるディレクトリシステムなどの木構造に基づきその距離を重みに変換した値や、公知のソーシャルグラフを用いて、当該利用者端末の識別子同士のグラフの重さとしてもよい。重みの初期値を所定の一定値としない場合には、関係グラフ13に重みの初期値も格納する。音像定位は、後述するように現在の重みの値に応じて変化するものである。表1に、重みの初期値も含む場合の関係グラフ13の例を示す。以下の説明では、重みが初期値を指す場合には「重みの初期値」と記し、現在の重みを指す場合には単に「重み」と記して両者を区別する。重みは、後述する音像定位管理及び音像定位処理に関係し、利用者間の直近のコミュニケーション量を示す指標として用いられる。
【0029】
【表1】

【0030】
関係グラフ管理部14は、資料共有管理部11から、送信元利用者端末の識別子、送信先利用者端末の識別子、及び現在時刻を受信し、受信した送信元利用者端末の識別子及び送信先利用者端末の識別子のうちの2つの組み合わせのうち、関係グラフ13に未登録のものについては、第1利用者端末識別子、第2利用者端末識別子として、関係グラフ13に格納する。
【0031】
関係グラフ管理部14は、データファイルのやり取りが発生した場合は利用者間の関係性が強いと判断し、関係グラフ13の重みに資料共有用(データファイル用)の加算値を加える。例えば、第1利用者端末識別子を有する利用者端末20と第2利用者端末識別子を有する利用者端末20との間でデータファイルのやり取りが発生した場合には、1回のやり取りにつき、重みに30を加算する。
【0032】
また、関係グラフ管理部14は、インスタントメッセージ管理部12から、送信元利用者端末の識別子、送信先利用者端末の識別子、及び現在時刻を受信し、受信した利用者端末の識別子の2つの組み合わせのうち、関係グラフ13に未登録のものについては、第1利用者端末識別子、第2利用者端末識別子として、関係グラフ13に格納する。
【0033】
関係グラフ管理部14は、インスタントメッセージのやり取りが発生した場合は利用者間の関係性が強いと判断し、関係グラフ13の重みにインスタントメッセージ用の加算値を加える。例えば、第1利用者端末識別子を有する利用者端末20と第2利用者端末識別子を有する利用者端末20の間でインスタントメッセージのやり取りが発生した場合には、1回のやり取りにつき、重みに10を加算する。
【0034】
また、関係グラフ管理部14は、所定の時間(例えば、30分)ごとに、関係グラフ13における全重みについて、所定の減算値を減ずる。ただし、重みの初期値を下回らないものとする。例えば、1日経過するごとに、重みを2減じ、重みの初期値に達した場合には減算を行わないようにする。なお、データファイル用の加算値、インスタントメッセージ用の加算値、及び減算値は、実験等により適宜最適な値を設定することができる。
【0035】
関係グラフ管理部14は、関係グラフ13の重みに変更が生じた場合、すなわち重みに加算値を加えるか減算値を減じた場合には、その変更が生じた重みに対応付けられた第1利用者端末識別子及び第2利用者端末識別子を、多地点接続装置30の音像定位管理部32に送信する。
【0036】
[多地点接続装置の構成]
音声受信部31は、利用者端末20の音声送信部22から音声データ及び送信元利用者端末の識別子を受信し、受信した音声データ及び送信元利用者端末の識別子を音像定位処理部33に出力する。
【0037】
音像定位管理部32は、関係グラフ13の重みの大きさに応じて適応的に音像定位を決定する。具体的には、音像定位管理部32は、コミュニケーション用サーバ10の関係グラフ管理部14から、関係グラフ13の変更が生じた重みに対応付けられた第1利用者端末識別子及び第2利用者端末識別子を受信する。そして、関係グラフ13を参照して受信した第1利用者端末識別子及び第2利用者端末識別子に対応付けられた音像定位を取得し、重みに基づいて適応的に音像定位を決定する。音像定位管理部32は、決定した音像定位を示す音像定位情報を音像定位処理部33に出力する。また、音像定位管理部32は、決定した音像定位が関係グラフ13から取得した音像定位から変更があった場合には、関係グラフ13の音像定位を、決定した音像定位に更新する。
【0038】
音像定位管理部32は、例えば図2に示すように、利用者の位置に対して後方の位置A、左側の位置B、前方の位置C、右側の位置Dのいずれかに音像定位させる。図3は、音像定位の変化を示す図である。音像定位管理部32は、重みwを第1閾値w1及び第2閾値w2と比較することにより音像定位を決定する。例えば、第1利用者端末識別子及び第2利用者端末識別子における音像定位が位置Aであった場合、重みwが第1閾値w1を超えていたときには、音像定位を位置Bに変更する。
【0039】
図4は、音像定位管理部32の音像定位の決定動作の一例を示すフローチャートである。まず、音像定位管理部32は、関係グラフ13から取得した音像定位が位置A〜位置Dのいずれかであるかを判定する(ステップS101〜ステップS103)。音像定位管理部32は、ステップS101にて音像定位が位置Aであると判定した場合には、重みwが第1閾値w1を超えるか否かを判定する(ステップS104)。音像定位管理部32は、ステップS104にて重みwが第1閾値w1を超えると判定した場合には音像定位を位置Aから位置Bに変更し(ステップS105)、ステップS104にて重みwが第1閾値w1以下であると判定した場合には音像定位を位置Aのまま維持する。
【0040】
音像定位管理部32は、ステップS102にて音像定位が位置Bであると判定した場合には、重みwが第2閾値w2を超えるか否かを判定し(ステップS106)、ステップS106にて重みwが第2閾値w2を超えると判定した場合には音像定位を位置Bから位置Cに変更し(ステップS107)、ステップS106にて重みwが第2閾値w2以下であると判定した場合には音像定位を位置Bのまま維持する。
【0041】
音像定位管理部32は、ステップS103にて音像定位が位置Cであると判定した場合には、重みwが第2閾値w2以下であるか否かを判定し(ステップS108)、ステップS108にて重みwが第2閾値w2以下であると判定した場合には音像定位を位置Cから位置Dに変更し(ステップS109)、ステップS108にて重みwが第2閾値w2を超えると判定した場合には音像定位を位置Cのまま維持する。
【0042】
音像定位管理部32は、ステップS104にて音像定位が位置Dであると判定した場合には、重みwが第1閾値w1以下であるか否かを判定し(ステップS110)、ステップS110にて重みwが第1閾値w1以下であると判定した場合には音像定位を位置Dから位置Aに変更し(ステップS111)、ステップS110にて重みwが第1閾値w1を超えると判定した場合には音像定位を位置Dのまま維持する。
【0043】
なお、図4に示す例では、重みwの値により音像定位を右回り方向のみに移動させているが、左回り方向のみに移動させてもよいのは勿論であり、また、重みwが第1閾値w1以下の場合には位置Aに、重みwが第1閾値w1を超え、且つ第2閾値w2以下である場合には位置B又は位置Dに、重みwが第2閾値w2を超える場合には位置Cとするようにしてもよい。
【0044】
また、図2〜図4では、音像定位させる位置が位置A〜位置Dの4種類の場合を例に説明したが、音像定位させる位置は2種類以上であればよい。例えば、図5に示すように、音像定位させる位置を6種類(位置A〜位置F)としてもよく、音像定位の変化を例を図6に示す。この場合、音像定位管理部32は、重みwを第1閾値w1、第2閾値w2、及び第3閾値w3と比較することにより、位置A〜位置Fのいずれかに音像定位することができる。
【0045】
音像定位処理部33は、音声受信部31から取得した音声データに対し、音像定位管理部32により決定された音像定位に基づいて音像定位処理を施し、音像定位処理された音声データを、多地点接続装置30に接続され会議に参加している利用者端末20の音声再生部23に送信する。
【0046】
ここで、音像定位処理とは、既存のサラウンド技術を用い、1つの単一音源である音声データに対し、あたかも図2に示す様な聴覚効果を起こしていると視聴者が判断されるように、音声データを加工し出力する処理のことをいう。例えば、1つのマイク25から取得した音声を、5.1チャンネルなどの多チャンネルのサラウンドプロセッサを介して、前後左右の希望する場所に音像定位させる。また、音声データに対して音像定位処理を施すとは、音像定位ごとに所定の減衰値を設定し、音量がC>B、又はC>Aなどとなるように音声データに基づき音像定位処理を施すことである。なお、所定の減衰値については、一番コミュニケーション量が多い位置Cからの音声が最も聴きやすく、位置Aからの音声は注意して聞けばその内容がかろうじて分かる程度の音量となるように、実験等により適宜最適な値を設定することができる。この値は主観的に定めてもよい。
【0047】
[音像定位システムの動作]
次に、音像定位システム1の動作について説明する。図7は、本発明による第1の実施形態の音像定位システム1の主要な動作を示すフローチャートである。ここでは、利用者端末20−1が利用者端末20−2に対してデータファイル及びインスタントメッセージを送信するものとする。すなわち、データファイル及びインスタントメッセージのやり取りについては、利用者端末20−1が送信元の利用者端末となり、利用者端末20−2が送信先の利用者端末となる。
【0048】
ステップS201では、利用者端末20−1は、コミュニケーション部21により、データファイル、送信元利用者端末の識別子(利用者端末20−1の識別子)、及び送信先利用者端末の識別子(利用者端末20−2の識別子)をコミュニケーション用サーバ10に送信する。ステップS202では、コミュニケーション用サーバ10は、資料共有管理部11により、利用者端末20−1から受信したデータファイル、及び送信元利用者端末の識別子(利用者端末20−1の識別子)を、送信先利用者端末の識別子を有する利用者端末20−2に送信する。ステップS203では、利用者端末20−2は、コミュニケーション用サーバ10から受信したデータファイルを周辺機器(ディスプレイ)24に表示させる。
【0049】
ステップS204では、利用者端末20−1は、コミュニケーション部21により、インスタントメッセージ、送信元利用者端末の識別子(利用者端末20−1の識別子)、及び送信先利用者端末の識別子(利用者端末20−2の識別子)をコミュニケーション用サーバ10に送信する。ステップS205では、コミュニケーション用サーバ10は、資料共有管理部11により、利用者端末20−1から受信したデータファイル、及び送信元利用者端末の識別子(利用者端末20−1の識別子)を、送信先利用者端末の識別子を有する利用者端末20−2に送信する。ステップS206では、利用者端末20−2は、コミュニケーション用サーバ10から受信したインスタントメッセージを周辺機器(ディスプレイ)24に表示させる。
【0050】
ステップS207では、コミュニケーション用サーバ10は、関係グラフ管理部14により、関係グラフ13を管理する。
【0051】
ステップS208では、利用者端末20−1は、音声送信部22により、音声データ及び送信元利用者端末の識別子(利用者端末20−1の識別子)を、多地点接続装置30に送信する。ステップS209では、利用者端末20−2は、音声送信部22により、音声データ及び送信元利用者端末の識別子(利用者端末20−2の識別子)を、多地点接続装置30に送信する。
【0052】
ステップS210では、コミュニケーション用サーバ10は、関係グラフ管理部14により、関係グラフ13の重みに変更が生じた場合には、その変更が生じた重みに対応付けられた第1利用者端末識別子及び第2利用者端末識別子を、多地点接続装置30に送信する。図7に示す例では、利用者端末20−1と利用者端末20−2との間のデータファイル及びインスタントメッセージのやり取りにより両者の重みに変更が生じているため、利用者端末20−1の識別子及び利用者端末20−2の識別子を多地点接続装置30に送信する。
【0053】
ステップS211では、多地点接続装置30は、音像定位管理部32により音像定位を決定し、音像定位処理部33により音像定位処理を行う。ステップS212では、多地点接続装置30は、音像定位処理部33により、音像定位処理された音声データを利用者端末20−1の音声再生部23に送信する。ステップS213では、多地点接続装置30は、音像定位処理部33により、音像定位処理された音声データを利用者端末20−2の音声再生部23に送信する。ステップS214では、利用者端末20−1は、音声再生部23により音声を再生する。ステップS215では、利用者端末20−2は、音声再生部23により音声を再生する。
【0054】
第1の実施形態の音像定位システム1によれば、コミュニケーション用サーバ10が第1利用者端末識別子及び第2利用者端末識別子の各組み合わせに、重み及び音像定位を対応付けたテーブルである関係グラフ13を備え、関係グラフ管理部14により関係グラフ13を管理し重みを制御し、多地点接続装置30が音像定位管理部32により関係グラフ13の重みの大きさに応じて適応的に音像定位を決定し、音像定位処理部33により音像定位管理部32にて決定された音像定位に基づいて音像定位処理を施すことにより、仮想空間上における、ある利用者に対する他の利用者に対する音像定位及び音量を、直近の資料共有数又はインスタントメッセージ数に応じて自動的に変化させることができるようになる。
【0055】
(第2の実施形態)
次に、本発明による第2の実施形態の音像定位システムについて説明する。図9は、第2の実施形態の音像定位システムの構成を示すブロック図である。第2の実施形態の音像定位システム2は、第1の実施形態の音像定位システム1(図1参照)と比較して、コミュニケーション用サーバ10が更にチャット管理部15を備える点で相違する。第2の実施形態の音像定位システム2では、資料共有、インスタントメッセージに加えて、チャットでのコミュニケーションを関係グラフ13の重みの調整に使用する。なお、第1の実施形態と同じ構成要素には同一の参照番号を付して説明を省略する。
【0056】
コミュニケーション部21は、利用者の指示に従い、チャットメッセージを送信元利用者端末の識別子、及び利用者が指定したチャットメッセージの送信先であるチャットルームの識別子を、コミュニケーション用サーバ10のチャット管理部15に送信する。なお、チャットルームの識別子にチャットルームの名称を含めてもよい。
【0057】
コミュニケーション部21は、チャット管理部15からチャットメッセージ、送信元利用者端末の識別子、及びチャットルームの識別子を受信すると、受信したチャットメッセージ、送信元利用者端末の識別子、及び送信先のチャットルームの識別子を周辺機器(ディスプレイ)24に表示させる。
【0058】
チャット管理部15は、利用者端末20のコミュニケーション部21から、チャットメッセージ、送信元利用者端末の識別子、及び送信先のチャットルームの識別子を受信する。チャット管理部15は、チャットメッセージを受信すると、チャットメッセージ、送信元利用者端末の識別子(受信した際の送信元)、及びチャットルームの識別子を、受信したチャットルームの識別子が示すチャットルームに接続している全ての利用者端末20のコミュニケーション部21に送信する。そして、チャット管理部15は、チャットメッセージを利用者端末20に送信すると、関係グラフ管理部14に対し、送信元利用者端末の識別子、送信先利用者端末の識別子、チャットルームの識別子、及び現在時刻を関係グラフ管理部14に送信する。
【0059】
なお、チャット管理部15は、遠隔コラボレーション用アプリケーションのサーバ部分(チャット管理機能部分)により実現可能である。
【0060】
関係グラフ管理部14は、チャット管理部15から受信した送信元利用者端末の識別子、チャットルームの識別子、及び現在時刻(受信時刻)を、チャット受信履歴に格納する。チャット受信履歴は、チャットルームの識別子、チャットメッセージの送信元利用者端末の識別子、及び受信時刻を対応付けたテーブルである。表2に、チャット受信履歴の例を示す。
【0061】
【表2】

【0062】
関係グラフ管理部14は、チャット受信履歴から、チャットルームの識別子が同一であり、且つ、チャットメッセージの受信時刻の差が所定の時間(同一話題と想定される時間)内である送信元利用者端末の識別子を参照し、そのうちの2つの識別子の組み合わせを第1利用者端末識別子及び第2利用者端末識別子とし、関係グラフ13に未登録のものについて格納する。なお、関係グラフ管理部14は、チャット受信履歴のデータうち、所定の時間(チャット受信履歴保存期間)が過ぎたものを削除する。
【0063】
また、チャットは、相手を特定してチャットメッセージの書き込みを行うものではないが、関係グラフ管理部14は、同一のチャットルームに所定の時間内にチャットメッセージの書き込みを行った利用者は利用者間の関係性が強いと判断し、関係グラフ13の重みに、チャット用の加算値を加える。例えば、第1利用者端末識別子を有する利用者端末20と第2利用者端末識別子を有する利用者端末20との間で、所定の時間内に同一のチャットルームでチャットメッセージの書き込みが発生した場合には、所定の時間内のチャットのやり取りにつき、重みに5を加算する。なお、所定の時間、チャット用の加算値は、実験等により適宜最適な値を設定することができる。
【0064】
第2の実施形態の音像定位システム2によれば、仮想空間上における、ある利用者に対する他の利用者に対する音像定位及び音量を、直近の資料共有数、インスタントメッセージ数に加え、所定時間内のチャットの書き込み数に応じて自動的に変化させることができるようになる。
【0065】
(第3の実施形態)
次に、本発明による第3の実施形態の音像定位システムについて説明する。図10は、第3の実施形態の音像定位システムの構成を示すブロック図である。第3の実施形態の音像定位システム3は、第2の実施形態の音像定位システム2(図9参照)と比較して、関係グラフ管理部14が、音声を送信している利用者端末の識別子を音声受信部31から取得して管理する点が相違する。なお、第2の実施形態と同じ構成要素には同一の参照番号を付して説明を省略する。
【0066】
音声受信部31は、利用者端末20の音声送信部22から、所定の閾値を超える音声レベルで所定の閾値を超える時間の音声データを受信した場合、音声データの送信元利用者端末の識別子、及び現在時刻をコミュニケーション用サーバ10の関係グラフ管理部14に送信する。なお、音声レベルが所定の閾値を超えるか否かの判定は、当該音声が発話か雑音かを判別するために行われるものであり、例えば無音検知技術を利用でき、閾値は実験等により利用者の発話があると認められる最低の音声レベルをとする。また、音声時間が所定の閾値を超えるか否かの判定は、当該音声が返事等の短い発話か雑音かを判別するために行われるものであり、例えば発話検知を利用でき、閾値は実験等により利用者の発話があると認められる最低の音声時間をとする。
【0067】
関係グラフ管理部14は、多地点接続装置30の音声受信部31から受信した、送信元利用者端末の識別子を、受信時刻(現在時刻)とともに音声受信履歴に格納する。表3に、音声受信履歴の例を示す。
【0068】
【表3】

【0069】
関係グラフ管理部14は、音声受信履歴から、音声データの受信時刻の差が所定の時間(同一会話と想定される時間)内である送信元利用者端末の識別子を参照し、そのうちの2つの識別子の組み合わせを第1利用者端末識別子及び第2利用者端末識別子とし、関係グラフ13に未登録のものについて格納する。なお、関係グラフ管理部14は、音声受信履歴のデータうち、所定の時間(音声受信履歴保存期間)が過ぎたものを削除する。
【0070】
また、音声通話は相手を特定して行うものではないが、関係グラフ管理部14は、所定の時間内に会議に参加している利用者は利用者間の関係性が強いと判断し、関係グラフ13の重みに、音声通話用の加算値を加える。例えば、第1利用者端末識別子を有する利用者端末20と第2利用者端末識別子を有する利用者端末20の間で、所定の時間内に音声通話が発生した場合には、所定の時間内の音声通話のやり取りにつき、重みに5を加算する。なお、所定の時間、音声通話の加算値は、実験等により適宜最適な値を設定することができる。
【0071】
第3の実施形態の音像定位システム3によれば、仮想空間上における、ある利用者に対する他の利用者に対する音像定位及び音量を、直近の資料共有数、インスタントメッセージ数、チャットのメッセージ数に加え、音声通話の発話数に応じて自動的に変化させることができるようになる。
【0072】
上述の各実施形態は、個々に代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、上述の各実施形態では、音像定位システムはデータファイル及びインスタントメッセージの双方を送受信可能なものとして説明したが、コミュニケーション用サーバ10は資料共有管理部11及びインスタントメッセージ管理部12のいずれか一方のみを備え、データファイル及びインスタントメッセージのいずれか一方のみの送受信を可能とするものであってもよい。
【符号の説明】
【0073】
1,2,3 音像定位システム
10 コミュニケーション用サーバ
11 資料共有管理部
12 インスタントメッセージ管理部
13 関係グラフ
14 関係グラフ管理部
15 チャット管理部
20 利用者端末
21 コミュニケーション部
22 音声送信部
23 音声再生部
24 周辺機器
25 マイク
26 サラウンドスピーカー
30 多地点接続装置
31 音声受信部
32 音像定位管理部
33 音像定位処理部

【特許請求の範囲】
【請求項1】
利用者端末と、コミュニケーション用サーバと、多地点接続装置とを備え、利用者端末が出力させる音声の音像定位を適応的に制御する音像定位制御システムであって、
前記利用者端末は、
データファイル又はインスタントメッセージ、該データファイル又はインスタントメッセージの送信元利用者端末の識別子、及び該データファイル又はインスタントメッセージの送信先利用者端末の識別子を前記コミュニケーション用サーバに送信するコミュニケーション部と、
音声データを前記多地点接続装置に送信する音声送信部と、
前記多地点接続装置から受信した音像定位処理された音声データに基づきサラウンド音声を再生する音声再生部と、を備え、
前記コミュニケーション用サーバは、
前記利用者端末から受信した前記送信元利用者端末の識別子及び前記送信先利用者端末の識別子のうちの2つの識別子である第1利用者端末識別子及び第2利用者端末識別子の各組み合わせに、重みを対応付けたテーブルである関係グラフと、
前記第1利用者端末識別子及び第2利用者端末識別子を前記関係グラフに格納し、第1利用者端末識別子を有する利用者端末と第2利用者端末識別子を有する利用者端末との間で前記データファイル又はインスタントメッセージのやり取りが発生した場合には、該第1利用者端末識別子及び第2利用者端末識別子に対応付けられた重みにデータファイル用又はインスタントメッセージ用の加算値を加える関係グラフ管理部と、を備え、
前記多地点接続装置は、
前記音声送信部から前記音声データを受信する音声受信部と、
前記関係グラフの重みの大きさに応じて適応的に音像定位を決定する音像定位管理部と、
前記音声受信部にて受信した音声データに対し、前記音像定位管理部により決定された音像定位に基づいて音像定位処理を施し、音像定位処理された音声データを、当該多地点接続装置に接続された利用者端末の前記音声再生部に送信する音像定位処理部と、を備えることを特徴とする音像定位制御システム。
【請求項2】
前記コミュニケーション部は、チャットメッセージ、該チャットメッセージの送信元利用者端末の識別子、及び該チャットメッセージの送信先のチャットルームの識別子を前記コミュニケーション用サーバに送信し、
前記関係グラフ管理部は、前記チャットルームの識別子が同一であり、且つ、前記チャットメッセージの受信時刻の差が所定の時間内である前記チャットメッセージの送信元利用者端末の識別子のうち、2つの識別子の組み合わせを第1利用者端末識別子及び第2利用者端末識別子として前記関係グラフに格納するとともに、第1利用者端末識別子を有する利用者端末と第2利用者端末識別子を有する利用者端末との間で、所定の時間内に同一のチャットルームに対する前記チャットメッセージの送信が発生した場合には、該第1利用者端末識別子及び第2利用者端末識別子に対応付けられた前記重みにチャット用の加算値を加えることを特徴とする、請求項1に記載の音像定位制御システム。
【請求項3】
前記音声受信部は、前記音声送信部から音声データを受信した場合、該音声データの送信元利用者端末の識別子を前記関係グラフ管理部に送信し、
前記関係グラフ管理部は、前記音声データの受信時刻の差が所定の時間内である前記音声データの送信元利用者端末の識別子のうち、2つの識別子の組み合わせを第1利用者端末識別子及び第2利用者端末識別子として前記関係グラフに格納するとともに、第1利用者端末識別子を有する利用者端末と第2利用者端末識別子を有する利用者端末との間で、所定の時間内に前記音声データの送信が発生した場合には、該第1利用者端末識別子及び第2利用者端末識別子に対応付けられた前記重みに音声通話用の加算値を加えることを特徴とする、請求項1又は2に記載の音像定位制御システム。
【請求項4】
利用者端末と、コミュニケーション用サーバと、多地点接続装置とを備える音像定位制御システムにおけるコミュニケーション用サーバであって、
前記利用者端末から受信したデータファイル又はインスタントメッセージの送信元利用者端末の識別子及び送信先利用者端末の識別子のうちの2つの識別子である第1利用者端末識別子及び第2利用者端末識別子の各組み合わせに、重みを対応付けたテーブルである関係グラフと、
前記第1利用者端末識別子を有する利用者端末と前記第2利用者端末識別子を有する利用者端末との間で前記データファイル又はインスタントメッセージのやり取りが発生した場合には、該第1利用者端末識別子及び第2利用者端末識別子に対応付けられた重みに所定の加算値を加える関係グラフ管理部と、
を備えることを特徴とするコミュニケーション用サーバ。
【請求項5】
利用者端末と、コミュニケーション用サーバと、多地点接続装置とを備える音像定位制御システムにおける多地点接続装置であって、
前記利用者端末から前記音声データを受信する音声受信部と、
前記利用者端末から送信される、データファイル又はインスタントメッセージの送信元利用者端末の識別子及び送信先利用者端末の識別子のうちの2つの識別子である第1利用者端末識別子及び第2利用者端末識別子に対応付けられた重みの大きさに応じて適応的に音像定位を決定する音像定位管理部と、
前記音声受信部にて受信した音声データに対し、前記音像定位管理部により決定された音像定位に基づいて音像定位処理を施し、音像定位処理された音声データを、当該多地点接続装置に接続された利用者端末に送信する音像定位処理部と、
を備えることを特徴とする多地点接続装置。
【請求項6】
利用者端末と、コミュニケーション用サーバと、多地点接続装置とを備える音像定位制御システムにて、利用者端末が出力させる音声の音像定位を適応的に制御する音像定位制御方法であって、
前記利用者端末により、データファイル又はインスタントメッセージ、該データファイル又はインスタントメッセージの送信元利用者端末の識別子、及び該データファイル又はインスタントメッセージの送信先利用者端末の識別子を前記コミュニケーション用サーバに送信するステップと、
前記コミュニケーション用サーバにより、前記利用者端末から受信した前記送信元利用者端末の識別子及び前記送信先利用者端末の識別子のうちの2つの識別子である第1利用者端末識別子及び第2利用者端末識別子の各組み合わせに、重みを対応付けた関係グラフを記憶するステップと、
前記コミュニケーション用サーバにより、前記第1利用者端末識別子及び第2利用者端末識別子を前記関係グラフに格納し、第1利用者端末識別子を有する利用者端末と第2利用者端末識別子を有する利用者端末との間で前記データファイル又はインスタントメッセージのやり取りが発生した場合には、該第1利用者端末識別子及び第2利用者端末識別子に対応付けられた重みにデータファイル又はインスタントメッセージ用の加算値を加えるステップと、
前記利用者端末により、音声データを前記多地点接続装置に送信するステップと、
前記多地点接続装置により、前記音声データを受信するステップと、
前記多地点接続装置により、前記関係グラフの重みの大きさに応じて適応的に音像定位を決定するステップと、
前記多地点接続装置により、前記音声受信部にて受信した音声データに対し、前記音像定位管理部により決定された音像定位に基づいて音像定位処理を施し、音像定位処理された音声データを、当該多地点接続装置に接続された利用者端末に送信するステップと、
前記利用者端末により、前記多地点接続装置から受信した前記音像定位処理された音声データに基づきサラウンド音声を再生するステップと、
を含むことを特徴とする音像定位制御方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate


【公開番号】特開2013−17027(P2013−17027A)
【公開日】平成25年1月24日(2013.1.24)
【国際特許分類】
【出願番号】特願2011−148304(P2011−148304)
【出願日】平成23年7月4日(2011.7.4)
【出願人】(000004226)日本電信電話株式会社 (13,992)
【Fターム(参考)】