会議システム、画像表示装置、及び画像音声処理方法
【課題】利便性の向上が図れる会議システムを提供する。
【解決手段】会議システム１は、各端末装置２が扱う各画像を合成した合成画像を画像表示装置３に表示させる。端末装置２は、合成画像における、当該端末装置２が扱う画像と他の端末装置２が扱う画像との表示状態の入力を受け付ける入力受付手段と、マイクロフォンにて集音された音声に関する音声情報、表示状態に関する表示情報、及び当該端末装置２が扱う画像に関する画像情報を画像表示装置３に送信する送信制御手段とを備える。画像表示装置３は、音声情報、表示情報、及び画像情報を受信する受信手段と、表示情報に基づいて、合成画像を生成し、当該合成画像を表示手段に表示させる第１制御手段と、表示情報に基づいて、各マイクロフォンにて集音された各音声の合成音声を生成し、当該合成音声をスピーカーに出力させる第２制御手段とを備える。
【解決手段】会議システム１は、各端末装置２が扱う各画像を合成した合成画像を画像表示装置３に表示させる。端末装置２は、合成画像における、当該端末装置２が扱う画像と他の端末装置２が扱う画像との表示状態の入力を受け付ける入力受付手段と、マイクロフォンにて集音された音声に関する音声情報、表示状態に関する表示情報、及び当該端末装置２が扱う画像に関する画像情報を画像表示装置３に送信する送信制御手段とを備える。画像表示装置３は、音声情報、表示情報、及び画像情報を受信する受信手段と、表示情報に基づいて、合成画像を生成し、当該合成画像を表示手段に表示させる第１制御手段と、表示情報に基づいて、各マイクロフォンにて集音された各音声の合成音声を生成し、当該合成音声をスピーカーに出力させる第２制御手段とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、会議システム、画像表示装置、及び画像音声処理方法に関する。
【背景技術】
【０００２】
従来、会議を行う際に利用される会議システムとして、会議の各参加者の利用に供される各端末の各表示画面をスクリーン上に同時に表示（分割表示）する構成が知られている（例えば、特許文献１参照）。
特許文献１に記載の会議システムは、会議の各参加者の利用に供される複数のコンピューター（端末）と、会議の司会者の利用に供される司会者コンピューター（サーバー）と、プロジェクターとがネットワークにより接続された構成を有する。
サーバーは、ネットワークを介して各端末が扱う各画像データ（各端末の各表示画面に関する画像データ）を受信した後、当該各画像データに基づく各画像を合成した合成画像（分割表示画面）を生成し、当該合成画像に関する合成画像データをプロジェクターに送信する。
そして、プロジェクターは、ネットワークを介して合成画像データを受信し、当該合成画像データに基づく合成画像をスクリーン上に表示する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−１９３５２１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、会議の場では、スクリーン上の合成画像を参照しながら、主に説明を行う参加者（合成画像に含まれる自身が作成した資料（自身が利用する端末装置が扱う画像）に基づいて説明を行う参加者（以下、主発言者））が存在するものである。
しかしながら、特許文献１に記載の会議システムでは、各参加者の資料（各端末装置が扱う各画像）がスクリーン上に分割表示されるため、他の参加者は、主発言者がスクリーン上に表示された各画像のうち、どの画像に基づいて説明を行っているか判断し難い。
また、主発言者が説明を行っている際に、他の参加者の一部が会話等をしていた場合には、主発言者の声が聞き取り難いものとなる。
以上のことから、特許文献１に記載の会議システムでは、利便性の向上が図り難い、という問題がある。
【０００５】
本発明の目的は、利便性の向上が図れる会議システム、画像表示装置、及び画像音声処理方法を提供することにある。
【課題を解決するための手段】
【０００６】
本発明の会議システムは、複数の端末装置と、前記複数の端末装置と通信可能に接続された画像表示装置とを備え、前記複数の端末装置が扱う各画像を合成した合成画像を前記画像表示装置に表示させる会議システムであって、前記端末装置は、周囲の音を集音する音声収集手段と、前記合成画像における、当該端末装置が扱う画像と、他の前記端末装置が扱う画像との表示状態の入力を受け付ける入力受付手段と、前記音声収集手段にて集音された音声に関する音声情報、前記表示状態に関する表示情報、及び当該端末装置が扱う画像に関する画像情報を前記画像表示装置に送信する送信制御手段とを備え、前記画像表示装置は、画像を表示する表示手段と、前記音声情報、前記表示情報、及び前記画像情報を受信する受信手段と、前記表示情報に基づいて、前記複数の端末装置からの各前記画像情報に基づく各画像を合成して前記合成画像を生成し、生成した前記合成画像を前記表示手段に表示させる第１制御手段と、音声を出力する音声出力手段と、前記表示情報に基づいて、前記複数の端末装置からの各前記音声情報に基づく各音声を合成して合成音声を生成し、生成した前記合成音声を前記音声出力手段に出力させる第２制御手段とを備えることを特徴とする。
【０００７】
本発明では、会議システムは、上述したように構成された複数の端末装置及び画像表示装置を備える。このため、以下に示すように、各端末装置が扱う各画像を画像表示装置に表示させるとともに、各端末装置のマイクロフォン等の各音声収集手段にて集音された各音声を画像表示装置に出力させることができる。
例えば、参加者の一人が自身の利用する端末装置の入力手段により、自身が利用する端末装置が扱う画像と、他の端末装置が扱う画像との表示状態を入力すると、当該端末装置の入力受付手段が当該表示状態の入力を受け付ける（入力受付ステップ）。
ここで、表示状態とは、例えば、合成画像（分割表示画面）において、各端末装置が扱う各画像の表示位置や、表示サイズ等を意味するものである。
そして、複数の端末装置の各送信制御手段は、端末装置毎に設けられたマイクロフォン等の各音声収集手段から出力された音声情報、及び自身の端末装置が扱う画像に関する画像情報の他、表示状態に関する表示情報（表示状態を受け付けた端末装置のみが送信）を画像表示装置に送信する（送信ステップ）。
【０００８】
一方、画像表示装置において、受信手段は、各端末装置から送信された音声情報、表示情報、及び画像情報を受信する（受信ステップ）。
また、第１制御手段は、表示情報（各画像の表示位置や表示サイズ等）に基づいて、各端末装置からの各画像情報に基づく各画像を合成し、合成画像を表示手段に表示させる（第１制御ステップ）。
さらに、第２制御手段は、表示情報に基づいて、各端末装置からの各音声情報に基づく各音声を合成し、合成音声をスピーカー等の音声出力手段に出力させる（第２制御ステップ）。
例えば、第１，第２制御手段は、表示情報が「複数の端末装置が扱う各画像のうち第１，第２端末装置が扱う２つの画像を左右に分割表示し、主発言者の利用に供される第１端末装置が扱う画像の表示位置及び表示サイズを「左側」及び「大」とし、他の参加者の利用に供される第２端末装置が扱う画像の表示位置及び表示サイズを「右側」及び「小」とする」旨の情報であった場合には、以下に示すように、合成画像及び合成音声を生成する。
【０００９】
すなわち、第１制御手段は、上記表示情報に基づいて、第１端末装置から送信された画像情報に基づく画像（主発言者の資料等）を左側に大きく、第２端末装置から送信された画像（他の参加者の資料等）を右側に小さくした合成画像を生成する。
また、第２制御手段は、表示情報に基づいて、第１端末装置から送信された音声情報に基づく音声（主発言者の声）の出力レベルを増加させ、第２端末装置から送信された音声情報に基づく音声（他の参加者の声）の出力レベルを低下させ、当該調整された各音声を合成して合成音声を生成する。
【００１０】
以上のことから、端末装置を利用して表示状態を適宜、入力することで、主発言者の資料（主発言者の利用に供される端末装置が扱う画像）を合成画像（分割表示画面）中の任意の表示位置や、任意の表示サイズ等に設定できる。このため、他の参加者に主発言者がどの画像に基づいて説明を行っているかを容易に判断させることができる。
また、各参加者の声を各マイクロフォン等にて集音し、上述したように主発言者の声を他の参加者の声に対して強調した合成音声を生成及び出力できるので、主発言者が説明を行っている際に、他の参加者の一部が会話等をしていた場合であっても、主発言者の声（スピーカー等を介した音声）を聞き取りやすいものとすることができる。
したがって、利便性の向上が図れる。
また、合成画像及び合成音声の生成を画像表示装置自身が実行するため、従来のようなサーバーを必要とせず、会議システムの構成を簡素化できる。
【００１１】
本発明の会議システムは、複数の端末装置と、画像表示装置と、前記複数の端末装置及び前記画像表示装置と通信可能に接続された情報処理装置とを備え、前記複数の端末装置が扱う各画像を合成した合成画像を前記画像表示装置に表示させる会議システムであって、前記端末装置は、周囲の音を集音する音声収集手段と、前記合成画像における、当該前記端末装置が扱う画像と、他の前記端末装置が扱う画像との表示状態の入力を受け付ける入力受付手段と、前記音声収集手段にて集音された音声に関する音声情報、前記表示状態に関する表示情報、及び当該端末装置が扱う画像に関する画像情報を前記情報処理装置に送信する送信制御手段とを備え、前記情報処理装置は、前記表示情報に基づいて、前記複数の端末装置からの各前記画像情報に基づく各画像を合成して前記合成画像を生成する第１制御手段と、前記表示情報に基づいて、前記複数の端末装置からの各前記音声情報に基づく各音声を合成して合成音声を生成する第２制御手段と、前記通信路を介して、前記合成画像に関する合成画像情報、及び前記合成音声に関する合成音声情報を前記画像表示装置に送信する第３制御手段とを備え、前記画像表示装置は、前記情報処理装置からの前記合成画像情報に基づく前記合成画像を表示する表示手段と、前記情報処理装置からの前記合成音声情報に基づく前記合成音声を出力する音声出力手段とを備えることを特徴とする。
【００１２】
本発明では、会議システムは、上述したように構成された複数の端末装置、画像表示装置、及び情報処理装置を備える。
言い換えれば、本発明の会議システムは、情報処理装置を備えない上述した会議システムにおいて、画像表示装置の機能の一部（合成画像及び合成音声を生成する機能）を省略し、情報処理装置に当該機能の一部を設けている。
したがって、情報処理装置を備えない上述した会議システムと同様の効果を享受できる。
また、合成画像及び合成音声の生成を画像表示装置ではなく、情報処理装置で実行するため、画像表示装置に合成画像及び合成音声を生成する機能を別途、設ける必要がなく、汎用の画像表示装置を利用した会議システムを構築できる。
【００１３】
本発明の会議システムでは、前記表示状態は、前記複数の端末装置が扱う各画像の表示サイズを含むものであり、前記第２制御手段は、前記各画像の表示サイズに基づいて、前記各画像に対応した前記各音声の出力レベルを調整し、前記合成音声を生成することが好ましい。
本発明では、表示状態が上述した表示サイズを含むものであるので、当該表示サイズに基づいて第１，第２制御手段が合成画像及び合成音声を生成すれば、主発言者の資料（主発言者の利用に供される端末装置が扱う画像）や声を他の参加者の資料や声に対して強調できる。
したがって、主発言者の資料や声を視聴し易いものとなり、利便性の向上が図れる。
【００１４】
本発明の画像表示装置は、複数の端末装置と通信可能に接続され、前記複数の端末装置が扱う各画像が合成された合成画像を表示する画像表示装置であって、当該画像表示装置は、画像を表示する表示手段と、前記複数の端末装置のそれぞれにおいて集音された音声に関する音声情報、前記合成画像における、前記複数の端末装置のそれぞれが扱う画像の表示状態に関する表示情報、及び前記複数の端末装置のそれぞれが扱う画像情報を受信する受信手段と、前記表示情報に基づいて、前記複数の端末装置からの各前記画像情報に基づく各画像を合成して前記合成画像を生成し、生成した前記合成画像を前記表示手段に表示させる第１制御手段と、音声を出力する音声出力手段と、前記表示情報に基づいて、前記複数の端末装置からの各前記音声情報に基づく各音声を合成して合成音声を生成し、生成した前記合成音声を前記音声出力手段に出力させる第２制御手段とを備えることを特徴とする。
本発明の画像表示装置は、上述した会議システムに利用されるものであるので、上述した会議システムと同様の作用及び効果を享受できる。
【００１５】
本発明の画像音声処理方法は、複数の端末装置と、前記複数の端末装置と通信可能に接続された画像表示装置とを備え、前記複数の端末装置が扱う各画像を合成した合成画像を前記画像表示装置に表示させる会議システムを利用した画像音声処理方法であって、前記端末装置が、前記合成画像における、当該端末装置が扱う画像と、他の前記端末装置が扱う画像との表示状態の入力を受け付ける入力受付ステップと、前記端末装置が、音声収集手段にて集音された音声に関する音声情報、前記表示状態に関する表示情報、及び当該端末装置が扱う画像に関する画像情報を前記画像表示装置に送信する送信制御ステップと、前記画像表示装置が、前記音声情報、前記表示情報、及び前記画像情報を受信する受信ステップと、前記画像表示装置が、前記表示情報に基づいて、前記複数の端末装置からの各前記画像情報に基づく各画像を合成して前記合成画像を生成し、生成した前記合成画像を表示する第１制御ステップと、前記画像表示装置が、前記表示情報に基づいて、前記複数の端末装置からの各前記音声情報に基づく各音声を合成して合成音声を生成し、生成した前記合成音声を出力する第２制御ステップと、を含むことを特徴とする。
本発明の画像音声処理方法は、上述した会議システムを利用した方法であるので、上述した会議システムと同様の作用及び効果を享受できる。
【００１６】
本発明の画像音声処理方法は、複数の端末装置と通信可能に接続され、前記複数の端末装置が扱う各画像が合成された合成画像を表示する画像表示装置の画像音声処理方法であって、前記複数の端末装置のそれぞれにおいて集音された音声に関する音声情報、前記合成画像における、前記複数の端末装置のそれぞれが扱う画像の表示状態に関する表示情報、及び前記複数の端末装置のそれぞれが扱う画像情報を受信する受信ステップと、前記表示情報に基づいて、前記複数の端末装置からの各前記画像情報に基づく各画像を合成して前記合成画像を生成し、生成した前記合成画像を表示する第１制御ステップと、前記表示情報に基づいて、前記複数の端末装置からの各前記音声情報に基づく各音声を合成して合成音声を生成し、生成した前記合成音声を出力する第２制御ステップと、を含むことを特徴とする。
本発明の画像音声処理方法は、上述した画像表示装置にて実施される方法であるので、上述した画像表示装置と同様の作用及び効果を享受できる。
【図面の簡単な説明】
【００１７】
【図１】第１実施形態における会議システムを示すブロック図。
【図２】第１実施形態における端末装置の構成を示すブロック図。
【図３】第１実施形態におけるプロジェクターの構成を示すブロック図。
【図４】第１実施形態における音声処理手段の構成を示すブロック図。
【図５】第１実施形態における画像音声処理方法を説明するフローチャート。
【図６】第１実施形態における設定ウィンドウの一例を示す図。
【図７】第２実施形態における会議システムを示すブロック図。
【図８】第２実施形態におけるプロジェクターの構成を示すブロック図。
【図９】第２実施形態におけるサーバー装置の構成を示すブロック図。
【図１０】第２実施形態における画像音声処理方法を説明するフローチャート。
【発明を実施するための形態】
【００１８】
[第１実施形態]
以下、本発明の第１実施形態を図面に基づいて説明する。
〔会議システムの構成〕
図１は、会議システム１を示すブロック図である。
会議システム１は、会議を行う際に利用されるシステムであり、会議の各参加者の利用に供される各端末の各表示画面をスクリーン上に同時に表示（分割表示）する。
この会議システム１は、複数の端末装置２と画像表示装置としてのプロジェクター３とが所定の通信路を介して接続された構成を有する。
【００１９】
なお、本実施形態では、説明の便宜上、図１に示すように、端末装置２を４つ（第１〜第４端末装置２Ａ〜２Ｄ）としているが、その数は、４つに限らず、その他の数としても構わない。
また、本実施形態では、図１に示すように、前記通信路として、ローカルエリアネットワークＬＡＮ（以下、ネットワークＬＡＮ）を採用しているが、これに限らず、使用環境や求められる通信速度等に応じて、その他の通信路を採用しても構わない。また、会議システム１において採用される通信方法は、有線通信であってもよく、無線通信であってもよい。
【００２０】
〔端末装置の構成〕
図２は、端末装置２の構成を示すブロック図である。
端末装置２は、会議の各参加者（本実施形態では４名）の利用に供されるパーソナルコンピューターで構成されている。
なお、本実施形態における各端末装置２Ａ〜２Ｄは、同一の構成を有する。
この端末装置２は、図２に示すように、ハードディスク等のメモリー２２、及び当該メモリー２２に記憶されたプログラムを実行するＣＰＵ(Central Processing Unit)２１の他、ネットワークインターフェース（ネットワークI/F）２３と、入力手段２４と、画像処理手段２５と、ＶＲＡＭ（Video Random Access Memory）２６と、ディスプレイ２７と、音声収集手段としてのマイクロフォン２８と、音声処理手段２９等を備える。
【００２１】
ネットワークインターフェース２３は、ネットワークＬＡＮに接続するためのインターフェースである。
入力手段２４は、マウスやキーボード等で構成され、参加者による操作に応じた操作信号を出力する。
画像処理手段２５は、例えばＧＰＵ（Graphics Processing Unit）等で構成され、ＣＰＵ２１による制御の下、ＶＲＡＭ２６をバッファとして使用して、ディスプレイ２７に表示すべき画像を表示する。
マイクロフォン２８は、端末装置２の周囲の音（特に、端末装置２を利用する参加者の声）を集音し、音声信号を出力する。
音声処理手段２９は、マイクロフォン２８から出力されたアナログの音声信号をデジタルの音声データ（音声情報）に変換する。
【００２２】
ＣＰＵ２１は、メモリー２２に記憶されたプログラムを実行することで、図２に示すように、入力受付手段２１１、ＧＵＩ(Graphical User Interface)制御手段２１２、及び送信制御手段としての通信制御手段２１３等として機能する。
入力受付手段２１１は、入力手段２４からの操作信号に基づいて、参加者による入力手段２４への操作を認識する。
ＧＵＩ制御手段２１２は、画像処理手段２５の動作を制御し、ディスプレイ２７に後述する設定ウィンドウＷを表示させる。
通信制御手段２１３は、ネットワークＬＡＮを介したプロジェクター３との接続を確立するとともに、ネットワークＬＡＮを介してプロジェクター３との間で情報を送受信する。
例えば、通信制御手段２１３は、上述した音声データ、入力受付手段２１１にて認識した情報（以下、表示データ（表示情報））、及び端末装置２が扱う画像データ（ディスプレイ２７に表示されている画像（設定ウィンドウＷを除く）に関する画像データ（ＶＲＡＭ２６に記憶された画像データ））等をプロジェクター３に送信する。
【００２３】
〔プロジェクターの構成〕
図３は、プロジェクター３の構成を示すブロック図である。
プロジェクター３は、画像を投射してスクリーン上に投影画像を表示する。
このプロジェクター３は、図３に示すように、ＲＯＭ(Read Only Memory)やＲＡＭ(Random Access Memory)等を含んで構成されるメモリー３２、及び当該メモリー３２に記憶されたプログラムを実行するＣＰＵ３１の他、ネットワークインターフェース（ネットワークI/F）３３と、画像処理手段３４と、ＶＲＡＭ３５と、表示手段としての画像投射手段３６と、音声処理手段３７と、音声出力手段としてのスピーカー３８等を備える。
【００２４】
ネットワークインターフェース３３は、ネットワークＬＡＮに接続するためのインターフェースである。
画像処理手段３４は、例えばＧＰＵ等で構成され、ＣＰＵ３１による制御の下、ＶＲＡＭ３５をバッファとして使用して、画像投射手段３６に画像を投射させる。
画像投射手段３６は、種々の一般的なプロジェクターで使用される光学系で構成され、光源装置と、光源装置から出射された光束を変調する液晶パネル等の光変調装置と、光変調装置にて変調された光束（画像）を投射する投射レンズ等で構成されている。
【００２５】
図４は、音声処理手段３７の構成を示すブロック図である。
音声処理手段３７は、ＣＰＵ３１による制御の下、各端末装置２から送信された各音声データに基づいて、各端末装置２の各マイクロフォン２８にて収集された各参加者の声を合成し、当該合成した合成音声を、スピーカー３８を介して出力させる。
この音声処理手段３７は、図４に示すように、複数の音声増幅部３７１と、音声合成部３７２等を備える。
なお、本実施形態では、会議システム１に用いられる端末装置２の数を４つとしたため、音声増幅部３７１も４つ（第１〜第４音声増幅部３７１Ａ〜３７１Ｄ）としているが、その数は、４つに限らず、端末装置２に応じた数だけ設ければよい。
【００２６】
音声増幅部３７１は、アンプ等を備えて構成され、各端末装置２のうち、対象となる端末装置２から送信された音声データをアナログの音声信号に変換し、ＣＰＵ３１の制御の下、変換した音声信号の信号レベル（音声の出力レベル）を調整する（種々の増幅度で増幅する）。
なお、第１〜第４音声増幅部３７１Ａ〜３７１Ｄは、第１〜第４端末装置２Ａ〜２Ｄにそれぞれ対応する。
音声合成部３７２は、各音声増幅部３７１にて増幅度が調整された各音声信号を合成して合成音声信号を生成し、当該合成音声信号に基づく合成音声を、スピーカー３８を介して出力させる。
【００２７】
ＣＰＵ３１は、メモリー３２に記憶されたプログラムを実行することで、図３に示すように、受信手段としての通信制御手段３１１、第１制御手段３１２、及び第２制御手段３１３等として機能する。
通信制御手段２１３は、ネットワークＬＡＮを介した各端末装置２との接続を確立するとともに、ネットワークＬＡＮを介して各端末装置２との間で情報を送受信する。
【００２８】
第１制御手段３１２は、端末装置２から送信された表示データに基づいて、画像処理手段３４の動作を制御し、各端末装置２からの各画像データに基づく各画像を合成し、当該合成画像をスクリーン上に表示させる。
第２制御手段３１３は、端末装置２から送信された表示データに基づいて、音声処理手段３７の動作を制御し、各端末装置２からの各音声データに基づく各音声を合成し、当該合成音声をスピーカー３８から出力させる。
【００２９】
〔会議システムの動作〕
次に、上述した会議システム１の動作（画像音声処理方法）について説明する。
図５は、画像音声処理方法を説明するフローチャートである。
なお、以下では、説明の便宜上、端末装置２とプロジェクター３とのネットワークＬＡＮを介した接続が既に確立されているものとする。
また、以下では、説明の便宜上、ネットワークＬＡＮを介してプロジェクター３と接続が確立されている各端末装置２を第１，第２端末装置２Ａ，２Ｂとし、第３，第４端末装置２Ｃ，２Ｄについては接続が確立されていないものとする。
すなわち、会議システム１を利用した会議への参加者は、第１端末装置２Ａを利用する第１参加者と、第２端末装置２Ｂを利用する第２参加者の２名とする。
【００３０】
図６は、設定ウィンドウＷの一例を示す図である。
例えば、第１参加者が第１端末装置２Ａの入力手段２４により「設定ウィンドウＷを表示させる」旨の入力操作を実施すると、入力受付手段２１１は、当該入力操作を認識する（ステップＳ１０１）。
ステップＳ１０１の後、ＧＵＩ制御手段２１２は、画像処理手段２５の動作を制御し、ディスプレイ２７に図６に示す設定ウィンドウＷを表示させる（ステップＳ１０２）。
【００３１】
設定ウィンドウＷは、図６に示すように、第１〜第３ウィンドウＷ１〜Ｗ３を備える。
第１ウィンドウＷ１は、会議システム１を利用する全参加者に対して、当該参加者を認識させる領域である。
なお、当該参加者については、各端末装置２とプロジェクター３とのネットワークＬＡＮを介した接続が確立された際に、接続確立済みの各端末装置２（本実施形態では第１，第２端末装置２Ａ，２Ｂ）に関する情報がプロジェクター３から当該各端末装置２に送信される。そして、各端末装置２（各ＣＰＵ２１）は、当該送信された情報（接続確立済みの各端末装置２に関する情報）により、当該端末装置２に対して予め設定された各参加者を認識し、第１ウィンドウＷ１に当該各参加者に関する参加者画像を表示する。例えば、本実施形態では、第１端末装置２Ａは、プロジェクター３から送信された情報に基づき、第２端末装置２Ｂとプロジェクター３との接続が確立済みであることを把握するとともに、第２端末装置２Ｂに対して設定された参加者を認識する。
本実施形態では、上述したように、各参加者が第１，第２参加者の２名であるため、第１ウィンドウＷ１には、第１参加者に応じた第１参加者画像ＦＰ１、及び第２参加者に応じた第２参加者画像ＦＰ２が表示される。
【００３２】
第２ウィンドウＷ２は、プロジェクター３に表示させる合成画像において、各端末装置２が扱う画像の表示数を選択させる領域である。
具体的に、第２ウィンドウＷ２には、図６に示すように、第１〜第３選択画像ＦＣ１〜ＦＣ３が表示されている。
第１選択画像ＦＣ１は、接続確立済みの各端末装置２のうち、いずれかの端末装置２が扱う画像のみを全画面で表示させる旨（表示数が１）を選択させる画像である。
第２選択画像ＦＣ２は、接続確立済みの各端末装置２のうち、２つの端末装置２が扱う各画像を左右に２画面で表示させる旨（表示数が２）を選択させる画像である。
第３選択画像ＦＣ３は、接続確立済みの各端末装置２のうち、４つの端末装置２が扱う各画像を上下左右に４画面で表示させる旨（表示数が４）を選択させる画像である。
【００３３】
第３ウィンドウＷ３は、プロジェクター３に表示させる合成画像において、接続確立済みの各端末装置２が扱う各画像の表示位置及び表示サイズを選択させる領域である。
例えば、第１参加者による入力手段２４への操作（マウス操作）により、第２選択画像ＦＣ２が選択された場合には、図６に示すように、第３ウィンドウＷ３には、プロジェクター３が表示する２画面に相当する２つの領域Ａｒ１，Ａｒ２が表示される。
なお、具体的な図示は省略したが、第１選択画像ＦＣ１が選択された場合には、第３ウィンドウＷ３には、プロジェクター３が表示する１画面に相当する１つの領域のみが表示される。また、第３選択画像ＦＣ３が選択された場合には、第３ウィンドウＷ３には、プロジェクター３が表示する４画面に相当する４つの領域が表示される。
【００３４】
そして、第１参加者は、接続確立済みの各端末装置２が扱う各画像の表示位置を選択する際には、入力手段２４を操作し、第１ウィンドウＷ１に表示された各参加者画像のうちいずれかの参加者画像を第３ウィンドウＷ３に表示された各領域のうちいずれかの領域にドラッグアンドドロップする。
例えば、図６（Ａ）に示す例では、第３ウィンドウＷ３における左側の領域Ａｒ１に第１参加者画像ＦＰ１がドラッグアンドドロップされ、右側の領域Ａｒ２に第２参加者画像ＦＰ２がドラッグアンドドロップされた状態を示している。
このように表示位置を選択することで、第１端末装置２Ａが扱う画像（以下の説明では、「第１の画像」とも称する）を左側に表示し、第２端末装置２Ｂが扱う画像（以下の説明では、「第２の画像」とも称する）を右側に表示する旨を指示することとなる。
【００３５】
また、第１参加者は、接続確立済みの各端末装置２が扱う各画像の表示サイズを選択する際には、入力手段２４を操作し、第３ウィンドウＷ３に表示された各領域のうちいずれかの領域の端縁にカーソル（図示略）を合わせ、当該領域の大きさを変えるようにドラッグアンドドロップする。
例えば、図６（Ｂ）に示す例では、上記操作により第３ウィンドウＷ３における左側の領域Ａｒ１が大きくされ、当該操作に伴い右側の領域Ａｒ２が小さくなった状態を示している。
このように表示サイズを選択することで、第１端末装置２Ａが扱う画像（第１参加者（主発言者）の資料等）を大きく表示し、第２端末装置２Ｂが扱う画像（他の参加者の資料等）を小さく表示する旨を指示することとなる。
【００３６】
ステップＳ１０２の後、第１参加者により上述したように入力手段２４が操作された場合には、入力受付手段２１１は、プロジェクター３に表示させる合成画像において、接続確立済みの各端末装置２が扱う各画像の表示状態（表示数、表示位置、表示サイズ）の入力を受け付ける（ステップＳ１０３：入力受付ステップ）。
そして、入力受付手段２１１は、表示状態（表示数、表示位置、表示サイズ）に関する表示データをメモリー２２に記憶させる。
例えば、図６（Ｂ）に示す表示状態が入力された場合には、入力受付手段２１１は、表示数を「２」とし、第１端末装置２Ａが扱う画像の表示位置を「左側」とし、第２端末装置２Ｂが扱う画像の表示位置を「右側」とし、第１，第２端末装置２Ａ，２Ｂが扱う各画像の表示サイズ（比率）を「Ａ：Ｂ」とする旨の表示データをメモリー２２に記憶させる。
本実施形態では、「Ａ」はプロジェクター３に表示させる合成画像における第１の画像の比率を、「Ｂ」は第２の画像の比率を表すものとする。この比率は、第１，第２の画像の幅、高さ、または対角線の長さの比率や、面積の比率等を採用することができる。また、表示サイズに関する表示データは、第１，第２の画像の表示サイズを表す情報であれば、比率以外の情報であってもよい。例えば、表示サイズに関する表示データは、第１，第２の画像の幅、高さ、対角線の長さや、面積等を表す情報であってもよく、これらの差を表す情報であってもよい。
【００３７】
ステップＳ１０３の後、第１参加者が第１端末装置２Ａの入力手段２４により「入力した表示状態で合成画像をプロジェクター３に表示させる」旨の入力操作を実施すると、入力受付手段２１１は、当該入力操作を認識する。
そして、通信制御手段２１３は、メモリー２２に記憶された表示データを、ネットワークＬＡＮを介してプロジェクター３に送信する（ステップＳ１０４：送信制御ステップ）。
また、ＣＰＵ２１は、画像処理手段２５の動作を制御し、設定ウィンドウＷの表示を止め、通常の画像をディスプレイ２７に表示させる。
【００３８】
ステップＳ１０４の後、プロジェクター３の通信制御手段３１１は、ネットワークＬＡＮを介して、第１端末装置２Ａから表示データを受信する（ステップＳ１０５：受信ステップ）。
そして、ＣＰＵ３１は、受信した表示データをメモリー３２に記憶させる。
ステップＳ１０５の後、通信制御手段３１１は、ネットワークＬＡＮを介して、第１，第２端末装置２Ａ，２Ｂに対して、画像データ及び音声データの送信要求を行う（ステップＳ１０６）。
【００３９】
ステップＳ１０６の後、第１，第２端末装置２Ａ，２Ｂの各通信制御手段２１３は、プロジェクター３からデータ送信要求を受信（ステップＳ１０７，Ｓ１０８）すると、ネットワークＬＡＮを介してプロジェクター３に対して画像データ及び音声データを送信する（ステップＳ１０９，Ｓ１１０：送信制御ステップ）。
ここで、画像データは、第１，第２端末装置２Ａ，２Ｂにおいて、現時点で各ディスプレイ２７に表示されている画像（表示画面）に関する画像データであり、具体的には、現時点で各ＶＲＡＭ２６に記憶されている画像データである。
また、音声データは、第１，第２端末装置２Ａ，２Ｂにおいて、現時点で第１，第２参加者の声が各マイクロフォン２８にて集音され、各マイクロフォン２８からの音声信号が各音声処理手段２９にて変換された音声データである。
【００４０】
ステップＳ１０９，Ｓ１１０の後、プロジェクター３の通信制御手段３１１は、ネットワークＬＡＮを介して、第１，第２端末装置２Ａ，２Ｂから画像データ及び音声データを受信する（ステップＳ１１１：受信ステップ）。
そして、ＣＰＵ３１は、端末装置２を識別する識別情報（ＩＰアドレス等）にて送信元（端末装置２）を特定し、受信した画像データ及び音声データを当該送信元の端末装置２に関連付けてメモリー２２に記憶させる。
なお、以下では、メモリー２２に記憶された画像データ及び音声データのうち、送信元が第１端末装置２Ａであるデータを第１画像データ及び第１音声データと記載し、送信元が第２端末装置２Ｂであるデータを第２画像データ及び第２音声データと記載する。
【００４１】
ステップＳ１１１の後、第１制御手段３１２は、メモリー２２に記憶された表示データに基づいて、画像処理手段３４の動作を制御し、合成画像を生成させ（ステップＳ１１２）、当該合成画像をスクリーン上に表示させる（ステップＳ１１３：第１制御ステップ）。
例えば、ステップＳ１０３において図６（Ｂ）に示す表示状態が入力された場合には、第１制御手段３１２は、表示データに基づいて、以下に示すような合成画像を生成及び表示させる。
すなわち、第１制御手段３１２は、表示データ（表示数、表示位置）に基づいて、第１画像データに基づく画像（第１の画像）の表示位置を「左側」、第２画像データに基づく画像（第２の画像）の表示位置を「右側」とする。
また、第１制御手段３１２は、第１，第２の画像の表示サイズを表示データに基づく比率とした合成画像（第１の画像（主発言者（第１参加者）の資料等）が第２の画像（他の参加者（第２参加者）よりも大きい合成画像）を生成させ（当該合成画像に関する合成画像データをＶＲＡＭ３５上に生成させ）、スクリーン上に当該合成画像を表示させる。
【００４２】
また、ステップＳ１１１の後（図５では説明の便宜上、ステップＳ１１２，Ｓ１１３の後の処理としている）、第２制御手段３１３は、メモリー２２に記憶された表示データに基づいて、音声処理手段３７の動作を制御し、合成音声を生成させ（ステップＳ１１４）、当該合成音声をスピーカー３８から出力させる（ステップＳ１１５：第２制御ステップ）。
例えば、ステップＳ１０３において図６（Ｂ）に示す表示状態が入力された場合には、第２制御手段３１３は、表示データに基づいて、以下に示すような合成音声を生成させる。
すなわち、第２制御手段３１３は、表示データ（各画像の表示サイズの比率）に基づいて、第１音声増幅部３７１Ａに第１音声データを処理させ、当該第１音声データを変換した後の音声信号を増幅させる。本実施形態では、第１，第２の画像が合成画像に含まれており、第１の画像の方が第２の画像よりも大きい。このため、第２制御手段３１３は、第１音声増幅部３７１Ａにデフォルト値よりも大きい増幅度で音声信号を増幅させる。
また、第２制御手段３１３は、表示データ（各画像の表示サイズの比率）に基づいて、第２音声増幅部３７１Ｂに第２音声データを処理させ、当該第２音声データを変換した後の音声信号を増幅させる。本実施形態では、第１，第２の画像が合成画像に含まれており、第２の画像の方が第１の画像よりも小さい。このため、第２制御手段３１３は、第２音声増幅部３７１Ｂにデフォルト値よりも小さい増幅度で音声信号を増幅させる。換言すると、第２制御手段３１３は、合成画像において第１の画像が他の画像よりも大きく表示されるほど、第１の画像に対応する音声を他の画像に対応する音声よりも大きくする。
【００４３】
そして、音声合成部３７２は、第１，第２音声増幅部３７１Ａ，３７１Ｂにて増幅された各音声信号を合成して合成音声信号を生成し、当該合成音声信号に基づく合成音声を、スピーカー３８を介して出力させる。
すなわち、ステップＳ１０３において図６（Ｂ）に示す表示状態が入力された場合には、第２制御手段３１３は、主発言者（第１参加者）の声を他の参加者（第２参加者）の声に対して強調した合成音声を生成及び出力させる。
以降、ステップＳ１０９〜Ｓ１１５が順次、繰り返し実行され、現時点での第１，第２端末装置２Ａ，２Ｂの各表示画面が合成画像としてスクリーンに表示され、現時点での第１，第２端末装置２Ａ，２Ｂの各マイクロフォン２８に集音された各参加者の声が合成音声としてスピーカー３８から出力されることとなる。
【００４４】
上述した第１実施形態によれば、以下の効果がある。
本実施形態では、会議システム１は、複数の端末装置２及びプロジェクター３を備えるので、端末装置２を利用して表示状態を適宜、入力することで、主発言者の資料（主発言者の利用に供される端末装置２が扱う画像）を合成画像（分割表示画面）中の任意の表示位置や、任意の表示サイズ等に設定できる。このため、他の参加者に主発言者がどの画像に基づいて説明を行っているかを容易に判断させることができる。
また、各参加者の声を各マイクロフォン２８にて集音し、主発言者の声を他の参加者の声に対して強調した合成音声を生成及び出力できるので、主発言者が説明を行っている際に、他の参加者の一部が会話等をしていた場合であっても、主発言者の声を聞き取りやすいものとすることができる。
したがって、利便性の向上が図れる。
また、合成画像及び合成音声の生成をプロジェクター３自身が実行するため、従来のようなサーバーを必要とせず、会議システム１の構成を簡素化できる。
【００４５】
さらに、表示状態が上述した表示サイズを含むものであるので、当該表示サイズに基づいて第１，第２制御手段３１２，３１３が合成画像及び合成音声を生成すれば、主発言者の資料（主発言者の利用に供される端末装置２が扱う画像）や声を他の参加者の資料や声に対して強調できる。
したがって、主発言者の資料や声を視聴し易いものとなり、利便性の向上が図れる。
【００４６】
[第２実施形態]
次に、本発明の第２実施形態を図面に基づいて説明する。
以下の説明では、前記第１実施形態と同様の構成及び同一部材には同一の符号を付して、その詳細な説明は省略または簡略化する。
図７は、第２実施形態における会議システム１を示すブロック図である。
図８は、第２実施形態におけるプロジェクター３の構成を示すブロック図である。
図９は、第２実施形態におけるサーバー装置４の構成を示すブロック図である。
本実施形態では、前記第１実施形態に対して、図７ないし図９に示すように、会議システム１の構成として端末装置２及びプロジェクター３の他、サーバー装置４を追加した点、及びプロジェクター３におけるＣＰＵ３１の一部の機能を省略し、当該一部の機能をサーバー装置４のＣＰＵ４１に追加した点が異なるのみである。
【００４７】
サーバー装置４は、端末装置２と同様のパーソナルコンピューターで構成されており、図９に示すように、ＣＰＵ４１、メモリー４２、ネットワークインターフェース（ネットワークI/F）４３、入力手段４４、画像処理手段４５、ＶＲＡＭ４６、ディスプレイ４７、及び音声処理手段４８を備える。
ＣＰＵ４１は、メモリー４２に記憶されたプログラムを実行することで、図９に示すように、第３制御手段としての通信制御手段４１１、前記第１実施形態で説明したプロジェクター３（ＣＰＵ３１）における第１，第２制御手段３１２，３１３と同様の第１，第２制御手段４１２，４１３等として機能する。
音声処理手段４８は、前記第１実施形態で説明したプロジェクター３の音声処理手段３７と同様の構成を有するものである。
【００４８】
次に、第２実施形態における画像音声処理方法について説明する。
図１０は、第２実施形態における画像音声処理方法を説明するフローチャートである。
なお、以下では、説明の便宜上、端末装置２とサーバー装置４とのネットワークＬＡＮを介した接続、及びプロジェクター３とサーバー装置４とのネットワークＬＡＮを介した接続が既に確立されているものとする。
また、以下では、前記第１実施形態と同様に、ネットワークＬＡＮを介してサーバー装置４と接続が確立されている各端末装置２を第１，第２端末装置２Ａ，２Ｂとする。
【００４９】
本実施形態の画像音声処理方法では、上述したようにプロジェクター３（ＣＰＵ３１）の一部の機能をサーバー装置４（ＣＰＵ４１）に持たせたことに伴い、前記第１実施形態で説明したプロジェクター３（ＣＰＵ３１）が実行していた処理の一部をサーバー装置４（ＣＰＵ４１）が実行することとなる。
すなわち、サーバー装置４（ＣＰＵ４１）は、図１０に示すように、前記第１実施形態でプロジェクター３（ＣＰＵ３１）が実行していたステップＳ１０５，Ｓ１０６，Ｓ１１１，Ｓ１１２，Ｓ１１４を実行することとなる。
【００５０】
なお、本実施形態において、ステップＳ１１２では、第１制御手段４１２による制御の下、画像処理手段４５が合成画像データを生成する。また、ステップＳ１１４では、第２制御手段４１３による制御の下、音声処理手段４８が合成音声信号を生成し、当該合成音声信号（アナログ）をデジタルデータ（合成音声データ）に変換する。
また、各端末装置２は、ステップＳ１０４，Ｓ１０７〜Ｓ１１０を実行する際の送受信の相手がサーバー装置４となる。
【００５１】
そして、サーバー装置４の通信制御手段４１１は、ステップＳ１１２，Ｓ１１４において生成された合成画像データ及び合成音声データを、ネットワークＬＡＮを介して、プロジェクター３に送信する（ステップＳ２０１）。
一方、プロジェクター３の通信制御手段３１１は、ネットワークＬＡＮを介して、サーバー装置４からの合成画像データ及び合成音声データを受信する（ステップＳ２０２）。
そして、ＣＰＵ３１は、当該合成画像データをＶＲＡＭ３５上に記憶させ、当該合成画像データに基づく合成画像をスクリーン上に表示させる（ステップＳ２０３）とともに、当該合成音声データを音声処理手段３７Ａにてアナログの合成音声信号に変換させ、当該合成音声信号に基づく合成音声をスピーカー３８から出力させる（ステップＳ２０４）。
【００５２】
上述した第２実施形態によれば、前記第１実施形態と同様の効果の他、以下の効果がある。
本実施形態では、合成画像及び合成音声の生成をプロジェクター３ではなく、サーバー装置４で実行するため、プロジェクター３に合成画像及び合成音声を生成する機能を別途、設ける必要がなく、汎用のプロジェクター３を利用した会議システム１を構築できる。
【００５３】
なお、本発明は前述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
前記各実施形態では、ステップＳ１０１〜Ｓ１０４を第１端末装置２Ａが実行していたが、第１参加者以外の参加者が他の端末装置２の入力手段２４を操作すれば、他の端末装置２がステップＳ１０１〜Ｓ１０４を実行するものである。
前記各実施形態では、表示サイズを大きくする画像に対応する音声を他の画像に対応する音声に対して強調させていたが、これに限らず、所定の表示位置に位置付ける画像に対応する音声を他の画像に対応する音声に対して強調させるように構成しても構わない。
【００５４】
前記第２実施形態では、ステップＳ１０１〜Ｓ１０３を実行する機能（入力受付手段２１１及びＧＵＩ制御手段２１２）を端末装置２に持たせていたが、これに限らず、サーバー装置４に当該機能を持たせても構わない。
前記各実施形態では、本発明に係る画像表示装置としてプロジェクター３を採用していたが、これに限らず、液晶ディスプレイ、プラズマテレビ、有機ＥＬ（Electro Luminescence）等を採用しても構わない。
【００５５】
前記各実施形態では、第１音声増幅部３７１Ａの増幅度をデフォルト値よりも大きく、第２音声増幅部３７１Ｂの増幅度をデフォルト値よりも小さくしているが、一方の増幅度はデフォルト値のままで、他方の増幅度を大きくする（または、小さくする）ことで音量に差をつけてもよい。
前記各実施形態では、音量の調整をプロジェクター３またはサーバー装置４で実施していたが、これに限らず、音量の調整までを各端末装置２で行い、音量が調整済みの音声をプロジェクター３やサーバー装置４が合成する構成を採用しても構わない。
【産業上の利用可能性】
【００５６】
本発明は、プロジェクター等の画像表示装置を用いて会議を行う会議システムに利用できる。
【符号の説明】
【００５７】
１・・・会議システム、２・・・端末装置、３・・・プロジェクター、４・・・サーバー装置、２８・・・マイクロフォン（音声収集手段）、３６・・・画像投射手段（表示手段）、３８・・・スピーカー（音声出力手段）、２１１・・・入力受付手段、２１３・・・通信制御手段（送信制御手段）、３１２，４１２・・・第１制御手段、３１３，４１３・・・第２制御手段、４１１・・・通信制御手段（第３制御手段）、ＬＡＮ・・・ネットワーク（通信路）、Ｓ１０３・・・入力受付ステップ、Ｓ１０４，Ｓ１０９，Ｓ１１０・・・送信制御ステップ、Ｓ１０５，Ｓ１１１・・・受信ステップ、Ｓ１１３・・・第１制御ステップ、Ｓ１１５・・・第２制御ステップ。
【技術分野】
【０００１】
本発明は、会議システム、画像表示装置、及び画像音声処理方法に関する。
【背景技術】
【０００２】
従来、会議を行う際に利用される会議システムとして、会議の各参加者の利用に供される各端末の各表示画面をスクリーン上に同時に表示（分割表示）する構成が知られている（例えば、特許文献１参照）。
特許文献１に記載の会議システムは、会議の各参加者の利用に供される複数のコンピューター（端末）と、会議の司会者の利用に供される司会者コンピューター（サーバー）と、プロジェクターとがネットワークにより接続された構成を有する。
サーバーは、ネットワークを介して各端末が扱う各画像データ（各端末の各表示画面に関する画像データ）を受信した後、当該各画像データに基づく各画像を合成した合成画像（分割表示画面）を生成し、当該合成画像に関する合成画像データをプロジェクターに送信する。
そして、プロジェクターは、ネットワークを介して合成画像データを受信し、当該合成画像データに基づく合成画像をスクリーン上に表示する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−１９３５２１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、会議の場では、スクリーン上の合成画像を参照しながら、主に説明を行う参加者（合成画像に含まれる自身が作成した資料（自身が利用する端末装置が扱う画像）に基づいて説明を行う参加者（以下、主発言者））が存在するものである。
しかしながら、特許文献１に記載の会議システムでは、各参加者の資料（各端末装置が扱う各画像）がスクリーン上に分割表示されるため、他の参加者は、主発言者がスクリーン上に表示された各画像のうち、どの画像に基づいて説明を行っているか判断し難い。
また、主発言者が説明を行っている際に、他の参加者の一部が会話等をしていた場合には、主発言者の声が聞き取り難いものとなる。
以上のことから、特許文献１に記載の会議システムでは、利便性の向上が図り難い、という問題がある。
【０００５】
本発明の目的は、利便性の向上が図れる会議システム、画像表示装置、及び画像音声処理方法を提供することにある。
【課題を解決するための手段】
【０００６】
本発明の会議システムは、複数の端末装置と、前記複数の端末装置と通信可能に接続された画像表示装置とを備え、前記複数の端末装置が扱う各画像を合成した合成画像を前記画像表示装置に表示させる会議システムであって、前記端末装置は、周囲の音を集音する音声収集手段と、前記合成画像における、当該端末装置が扱う画像と、他の前記端末装置が扱う画像との表示状態の入力を受け付ける入力受付手段と、前記音声収集手段にて集音された音声に関する音声情報、前記表示状態に関する表示情報、及び当該端末装置が扱う画像に関する画像情報を前記画像表示装置に送信する送信制御手段とを備え、前記画像表示装置は、画像を表示する表示手段と、前記音声情報、前記表示情報、及び前記画像情報を受信する受信手段と、前記表示情報に基づいて、前記複数の端末装置からの各前記画像情報に基づく各画像を合成して前記合成画像を生成し、生成した前記合成画像を前記表示手段に表示させる第１制御手段と、音声を出力する音声出力手段と、前記表示情報に基づいて、前記複数の端末装置からの各前記音声情報に基づく各音声を合成して合成音声を生成し、生成した前記合成音声を前記音声出力手段に出力させる第２制御手段とを備えることを特徴とする。
【０００７】
本発明では、会議システムは、上述したように構成された複数の端末装置及び画像表示装置を備える。このため、以下に示すように、各端末装置が扱う各画像を画像表示装置に表示させるとともに、各端末装置のマイクロフォン等の各音声収集手段にて集音された各音声を画像表示装置に出力させることができる。
例えば、参加者の一人が自身の利用する端末装置の入力手段により、自身が利用する端末装置が扱う画像と、他の端末装置が扱う画像との表示状態を入力すると、当該端末装置の入力受付手段が当該表示状態の入力を受け付ける（入力受付ステップ）。
ここで、表示状態とは、例えば、合成画像（分割表示画面）において、各端末装置が扱う各画像の表示位置や、表示サイズ等を意味するものである。
そして、複数の端末装置の各送信制御手段は、端末装置毎に設けられたマイクロフォン等の各音声収集手段から出力された音声情報、及び自身の端末装置が扱う画像に関する画像情報の他、表示状態に関する表示情報（表示状態を受け付けた端末装置のみが送信）を画像表示装置に送信する（送信ステップ）。
【０００８】
一方、画像表示装置において、受信手段は、各端末装置から送信された音声情報、表示情報、及び画像情報を受信する（受信ステップ）。
また、第１制御手段は、表示情報（各画像の表示位置や表示サイズ等）に基づいて、各端末装置からの各画像情報に基づく各画像を合成し、合成画像を表示手段に表示させる（第１制御ステップ）。
さらに、第２制御手段は、表示情報に基づいて、各端末装置からの各音声情報に基づく各音声を合成し、合成音声をスピーカー等の音声出力手段に出力させる（第２制御ステップ）。
例えば、第１，第２制御手段は、表示情報が「複数の端末装置が扱う各画像のうち第１，第２端末装置が扱う２つの画像を左右に分割表示し、主発言者の利用に供される第１端末装置が扱う画像の表示位置及び表示サイズを「左側」及び「大」とし、他の参加者の利用に供される第２端末装置が扱う画像の表示位置及び表示サイズを「右側」及び「小」とする」旨の情報であった場合には、以下に示すように、合成画像及び合成音声を生成する。
【０００９】
すなわち、第１制御手段は、上記表示情報に基づいて、第１端末装置から送信された画像情報に基づく画像（主発言者の資料等）を左側に大きく、第２端末装置から送信された画像（他の参加者の資料等）を右側に小さくした合成画像を生成する。
また、第２制御手段は、表示情報に基づいて、第１端末装置から送信された音声情報に基づく音声（主発言者の声）の出力レベルを増加させ、第２端末装置から送信された音声情報に基づく音声（他の参加者の声）の出力レベルを低下させ、当該調整された各音声を合成して合成音声を生成する。
【００１０】
以上のことから、端末装置を利用して表示状態を適宜、入力することで、主発言者の資料（主発言者の利用に供される端末装置が扱う画像）を合成画像（分割表示画面）中の任意の表示位置や、任意の表示サイズ等に設定できる。このため、他の参加者に主発言者がどの画像に基づいて説明を行っているかを容易に判断させることができる。
また、各参加者の声を各マイクロフォン等にて集音し、上述したように主発言者の声を他の参加者の声に対して強調した合成音声を生成及び出力できるので、主発言者が説明を行っている際に、他の参加者の一部が会話等をしていた場合であっても、主発言者の声（スピーカー等を介した音声）を聞き取りやすいものとすることができる。
したがって、利便性の向上が図れる。
また、合成画像及び合成音声の生成を画像表示装置自身が実行するため、従来のようなサーバーを必要とせず、会議システムの構成を簡素化できる。
【００１１】
本発明の会議システムは、複数の端末装置と、画像表示装置と、前記複数の端末装置及び前記画像表示装置と通信可能に接続された情報処理装置とを備え、前記複数の端末装置が扱う各画像を合成した合成画像を前記画像表示装置に表示させる会議システムであって、前記端末装置は、周囲の音を集音する音声収集手段と、前記合成画像における、当該前記端末装置が扱う画像と、他の前記端末装置が扱う画像との表示状態の入力を受け付ける入力受付手段と、前記音声収集手段にて集音された音声に関する音声情報、前記表示状態に関する表示情報、及び当該端末装置が扱う画像に関する画像情報を前記情報処理装置に送信する送信制御手段とを備え、前記情報処理装置は、前記表示情報に基づいて、前記複数の端末装置からの各前記画像情報に基づく各画像を合成して前記合成画像を生成する第１制御手段と、前記表示情報に基づいて、前記複数の端末装置からの各前記音声情報に基づく各音声を合成して合成音声を生成する第２制御手段と、前記通信路を介して、前記合成画像に関する合成画像情報、及び前記合成音声に関する合成音声情報を前記画像表示装置に送信する第３制御手段とを備え、前記画像表示装置は、前記情報処理装置からの前記合成画像情報に基づく前記合成画像を表示する表示手段と、前記情報処理装置からの前記合成音声情報に基づく前記合成音声を出力する音声出力手段とを備えることを特徴とする。
【００１２】
本発明では、会議システムは、上述したように構成された複数の端末装置、画像表示装置、及び情報処理装置を備える。
言い換えれば、本発明の会議システムは、情報処理装置を備えない上述した会議システムにおいて、画像表示装置の機能の一部（合成画像及び合成音声を生成する機能）を省略し、情報処理装置に当該機能の一部を設けている。
したがって、情報処理装置を備えない上述した会議システムと同様の効果を享受できる。
また、合成画像及び合成音声の生成を画像表示装置ではなく、情報処理装置で実行するため、画像表示装置に合成画像及び合成音声を生成する機能を別途、設ける必要がなく、汎用の画像表示装置を利用した会議システムを構築できる。
【００１３】
本発明の会議システムでは、前記表示状態は、前記複数の端末装置が扱う各画像の表示サイズを含むものであり、前記第２制御手段は、前記各画像の表示サイズに基づいて、前記各画像に対応した前記各音声の出力レベルを調整し、前記合成音声を生成することが好ましい。
本発明では、表示状態が上述した表示サイズを含むものであるので、当該表示サイズに基づいて第１，第２制御手段が合成画像及び合成音声を生成すれば、主発言者の資料（主発言者の利用に供される端末装置が扱う画像）や声を他の参加者の資料や声に対して強調できる。
したがって、主発言者の資料や声を視聴し易いものとなり、利便性の向上が図れる。
【００１４】
本発明の画像表示装置は、複数の端末装置と通信可能に接続され、前記複数の端末装置が扱う各画像が合成された合成画像を表示する画像表示装置であって、当該画像表示装置は、画像を表示する表示手段と、前記複数の端末装置のそれぞれにおいて集音された音声に関する音声情報、前記合成画像における、前記複数の端末装置のそれぞれが扱う画像の表示状態に関する表示情報、及び前記複数の端末装置のそれぞれが扱う画像情報を受信する受信手段と、前記表示情報に基づいて、前記複数の端末装置からの各前記画像情報に基づく各画像を合成して前記合成画像を生成し、生成した前記合成画像を前記表示手段に表示させる第１制御手段と、音声を出力する音声出力手段と、前記表示情報に基づいて、前記複数の端末装置からの各前記音声情報に基づく各音声を合成して合成音声を生成し、生成した前記合成音声を前記音声出力手段に出力させる第２制御手段とを備えることを特徴とする。
本発明の画像表示装置は、上述した会議システムに利用されるものであるので、上述した会議システムと同様の作用及び効果を享受できる。
【００１５】
本発明の画像音声処理方法は、複数の端末装置と、前記複数の端末装置と通信可能に接続された画像表示装置とを備え、前記複数の端末装置が扱う各画像を合成した合成画像を前記画像表示装置に表示させる会議システムを利用した画像音声処理方法であって、前記端末装置が、前記合成画像における、当該端末装置が扱う画像と、他の前記端末装置が扱う画像との表示状態の入力を受け付ける入力受付ステップと、前記端末装置が、音声収集手段にて集音された音声に関する音声情報、前記表示状態に関する表示情報、及び当該端末装置が扱う画像に関する画像情報を前記画像表示装置に送信する送信制御ステップと、前記画像表示装置が、前記音声情報、前記表示情報、及び前記画像情報を受信する受信ステップと、前記画像表示装置が、前記表示情報に基づいて、前記複数の端末装置からの各前記画像情報に基づく各画像を合成して前記合成画像を生成し、生成した前記合成画像を表示する第１制御ステップと、前記画像表示装置が、前記表示情報に基づいて、前記複数の端末装置からの各前記音声情報に基づく各音声を合成して合成音声を生成し、生成した前記合成音声を出力する第２制御ステップと、を含むことを特徴とする。
本発明の画像音声処理方法は、上述した会議システムを利用した方法であるので、上述した会議システムと同様の作用及び効果を享受できる。
【００１６】
本発明の画像音声処理方法は、複数の端末装置と通信可能に接続され、前記複数の端末装置が扱う各画像が合成された合成画像を表示する画像表示装置の画像音声処理方法であって、前記複数の端末装置のそれぞれにおいて集音された音声に関する音声情報、前記合成画像における、前記複数の端末装置のそれぞれが扱う画像の表示状態に関する表示情報、及び前記複数の端末装置のそれぞれが扱う画像情報を受信する受信ステップと、前記表示情報に基づいて、前記複数の端末装置からの各前記画像情報に基づく各画像を合成して前記合成画像を生成し、生成した前記合成画像を表示する第１制御ステップと、前記表示情報に基づいて、前記複数の端末装置からの各前記音声情報に基づく各音声を合成して合成音声を生成し、生成した前記合成音声を出力する第２制御ステップと、を含むことを特徴とする。
本発明の画像音声処理方法は、上述した画像表示装置にて実施される方法であるので、上述した画像表示装置と同様の作用及び効果を享受できる。
【図面の簡単な説明】
【００１７】
【図１】第１実施形態における会議システムを示すブロック図。
【図２】第１実施形態における端末装置の構成を示すブロック図。
【図３】第１実施形態におけるプロジェクターの構成を示すブロック図。
【図４】第１実施形態における音声処理手段の構成を示すブロック図。
【図５】第１実施形態における画像音声処理方法を説明するフローチャート。
【図６】第１実施形態における設定ウィンドウの一例を示す図。
【図７】第２実施形態における会議システムを示すブロック図。
【図８】第２実施形態におけるプロジェクターの構成を示すブロック図。
【図９】第２実施形態におけるサーバー装置の構成を示すブロック図。
【図１０】第２実施形態における画像音声処理方法を説明するフローチャート。
【発明を実施するための形態】
【００１８】
[第１実施形態]
以下、本発明の第１実施形態を図面に基づいて説明する。
〔会議システムの構成〕
図１は、会議システム１を示すブロック図である。
会議システム１は、会議を行う際に利用されるシステムであり、会議の各参加者の利用に供される各端末の各表示画面をスクリーン上に同時に表示（分割表示）する。
この会議システム１は、複数の端末装置２と画像表示装置としてのプロジェクター３とが所定の通信路を介して接続された構成を有する。
【００１９】
なお、本実施形態では、説明の便宜上、図１に示すように、端末装置２を４つ（第１〜第４端末装置２Ａ〜２Ｄ）としているが、その数は、４つに限らず、その他の数としても構わない。
また、本実施形態では、図１に示すように、前記通信路として、ローカルエリアネットワークＬＡＮ（以下、ネットワークＬＡＮ）を採用しているが、これに限らず、使用環境や求められる通信速度等に応じて、その他の通信路を採用しても構わない。また、会議システム１において採用される通信方法は、有線通信であってもよく、無線通信であってもよい。
【００２０】
〔端末装置の構成〕
図２は、端末装置２の構成を示すブロック図である。
端末装置２は、会議の各参加者（本実施形態では４名）の利用に供されるパーソナルコンピューターで構成されている。
なお、本実施形態における各端末装置２Ａ〜２Ｄは、同一の構成を有する。
この端末装置２は、図２に示すように、ハードディスク等のメモリー２２、及び当該メモリー２２に記憶されたプログラムを実行するＣＰＵ(Central Processing Unit)２１の他、ネットワークインターフェース（ネットワークI/F）２３と、入力手段２４と、画像処理手段２５と、ＶＲＡＭ（Video Random Access Memory）２６と、ディスプレイ２７と、音声収集手段としてのマイクロフォン２８と、音声処理手段２９等を備える。
【００２１】
ネットワークインターフェース２３は、ネットワークＬＡＮに接続するためのインターフェースである。
入力手段２４は、マウスやキーボード等で構成され、参加者による操作に応じた操作信号を出力する。
画像処理手段２５は、例えばＧＰＵ（Graphics Processing Unit）等で構成され、ＣＰＵ２１による制御の下、ＶＲＡＭ２６をバッファとして使用して、ディスプレイ２７に表示すべき画像を表示する。
マイクロフォン２８は、端末装置２の周囲の音（特に、端末装置２を利用する参加者の声）を集音し、音声信号を出力する。
音声処理手段２９は、マイクロフォン２８から出力されたアナログの音声信号をデジタルの音声データ（音声情報）に変換する。
【００２２】
ＣＰＵ２１は、メモリー２２に記憶されたプログラムを実行することで、図２に示すように、入力受付手段２１１、ＧＵＩ(Graphical User Interface)制御手段２１２、及び送信制御手段としての通信制御手段２１３等として機能する。
入力受付手段２１１は、入力手段２４からの操作信号に基づいて、参加者による入力手段２４への操作を認識する。
ＧＵＩ制御手段２１２は、画像処理手段２５の動作を制御し、ディスプレイ２７に後述する設定ウィンドウＷを表示させる。
通信制御手段２１３は、ネットワークＬＡＮを介したプロジェクター３との接続を確立するとともに、ネットワークＬＡＮを介してプロジェクター３との間で情報を送受信する。
例えば、通信制御手段２１３は、上述した音声データ、入力受付手段２１１にて認識した情報（以下、表示データ（表示情報））、及び端末装置２が扱う画像データ（ディスプレイ２７に表示されている画像（設定ウィンドウＷを除く）に関する画像データ（ＶＲＡＭ２６に記憶された画像データ））等をプロジェクター３に送信する。
【００２３】
〔プロジェクターの構成〕
図３は、プロジェクター３の構成を示すブロック図である。
プロジェクター３は、画像を投射してスクリーン上に投影画像を表示する。
このプロジェクター３は、図３に示すように、ＲＯＭ(Read Only Memory)やＲＡＭ(Random Access Memory)等を含んで構成されるメモリー３２、及び当該メモリー３２に記憶されたプログラムを実行するＣＰＵ３１の他、ネットワークインターフェース（ネットワークI/F）３３と、画像処理手段３４と、ＶＲＡＭ３５と、表示手段としての画像投射手段３６と、音声処理手段３７と、音声出力手段としてのスピーカー３８等を備える。
【００２４】
ネットワークインターフェース３３は、ネットワークＬＡＮに接続するためのインターフェースである。
画像処理手段３４は、例えばＧＰＵ等で構成され、ＣＰＵ３１による制御の下、ＶＲＡＭ３５をバッファとして使用して、画像投射手段３６に画像を投射させる。
画像投射手段３６は、種々の一般的なプロジェクターで使用される光学系で構成され、光源装置と、光源装置から出射された光束を変調する液晶パネル等の光変調装置と、光変調装置にて変調された光束（画像）を投射する投射レンズ等で構成されている。
【００２５】
図４は、音声処理手段３７の構成を示すブロック図である。
音声処理手段３７は、ＣＰＵ３１による制御の下、各端末装置２から送信された各音声データに基づいて、各端末装置２の各マイクロフォン２８にて収集された各参加者の声を合成し、当該合成した合成音声を、スピーカー３８を介して出力させる。
この音声処理手段３７は、図４に示すように、複数の音声増幅部３７１と、音声合成部３７２等を備える。
なお、本実施形態では、会議システム１に用いられる端末装置２の数を４つとしたため、音声増幅部３７１も４つ（第１〜第４音声増幅部３７１Ａ〜３７１Ｄ）としているが、その数は、４つに限らず、端末装置２に応じた数だけ設ければよい。
【００２６】
音声増幅部３７１は、アンプ等を備えて構成され、各端末装置２のうち、対象となる端末装置２から送信された音声データをアナログの音声信号に変換し、ＣＰＵ３１の制御の下、変換した音声信号の信号レベル（音声の出力レベル）を調整する（種々の増幅度で増幅する）。
なお、第１〜第４音声増幅部３７１Ａ〜３７１Ｄは、第１〜第４端末装置２Ａ〜２Ｄにそれぞれ対応する。
音声合成部３７２は、各音声増幅部３７１にて増幅度が調整された各音声信号を合成して合成音声信号を生成し、当該合成音声信号に基づく合成音声を、スピーカー３８を介して出力させる。
【００２７】
ＣＰＵ３１は、メモリー３２に記憶されたプログラムを実行することで、図３に示すように、受信手段としての通信制御手段３１１、第１制御手段３１２、及び第２制御手段３１３等として機能する。
通信制御手段２１３は、ネットワークＬＡＮを介した各端末装置２との接続を確立するとともに、ネットワークＬＡＮを介して各端末装置２との間で情報を送受信する。
【００２８】
第１制御手段３１２は、端末装置２から送信された表示データに基づいて、画像処理手段３４の動作を制御し、各端末装置２からの各画像データに基づく各画像を合成し、当該合成画像をスクリーン上に表示させる。
第２制御手段３１３は、端末装置２から送信された表示データに基づいて、音声処理手段３７の動作を制御し、各端末装置２からの各音声データに基づく各音声を合成し、当該合成音声をスピーカー３８から出力させる。
【００２９】
〔会議システムの動作〕
次に、上述した会議システム１の動作（画像音声処理方法）について説明する。
図５は、画像音声処理方法を説明するフローチャートである。
なお、以下では、説明の便宜上、端末装置２とプロジェクター３とのネットワークＬＡＮを介した接続が既に確立されているものとする。
また、以下では、説明の便宜上、ネットワークＬＡＮを介してプロジェクター３と接続が確立されている各端末装置２を第１，第２端末装置２Ａ，２Ｂとし、第３，第４端末装置２Ｃ，２Ｄについては接続が確立されていないものとする。
すなわち、会議システム１を利用した会議への参加者は、第１端末装置２Ａを利用する第１参加者と、第２端末装置２Ｂを利用する第２参加者の２名とする。
【００３０】
図６は、設定ウィンドウＷの一例を示す図である。
例えば、第１参加者が第１端末装置２Ａの入力手段２４により「設定ウィンドウＷを表示させる」旨の入力操作を実施すると、入力受付手段２１１は、当該入力操作を認識する（ステップＳ１０１）。
ステップＳ１０１の後、ＧＵＩ制御手段２１２は、画像処理手段２５の動作を制御し、ディスプレイ２７に図６に示す設定ウィンドウＷを表示させる（ステップＳ１０２）。
【００３１】
設定ウィンドウＷは、図６に示すように、第１〜第３ウィンドウＷ１〜Ｗ３を備える。
第１ウィンドウＷ１は、会議システム１を利用する全参加者に対して、当該参加者を認識させる領域である。
なお、当該参加者については、各端末装置２とプロジェクター３とのネットワークＬＡＮを介した接続が確立された際に、接続確立済みの各端末装置２（本実施形態では第１，第２端末装置２Ａ，２Ｂ）に関する情報がプロジェクター３から当該各端末装置２に送信される。そして、各端末装置２（各ＣＰＵ２１）は、当該送信された情報（接続確立済みの各端末装置２に関する情報）により、当該端末装置２に対して予め設定された各参加者を認識し、第１ウィンドウＷ１に当該各参加者に関する参加者画像を表示する。例えば、本実施形態では、第１端末装置２Ａは、プロジェクター３から送信された情報に基づき、第２端末装置２Ｂとプロジェクター３との接続が確立済みであることを把握するとともに、第２端末装置２Ｂに対して設定された参加者を認識する。
本実施形態では、上述したように、各参加者が第１，第２参加者の２名であるため、第１ウィンドウＷ１には、第１参加者に応じた第１参加者画像ＦＰ１、及び第２参加者に応じた第２参加者画像ＦＰ２が表示される。
【００３２】
第２ウィンドウＷ２は、プロジェクター３に表示させる合成画像において、各端末装置２が扱う画像の表示数を選択させる領域である。
具体的に、第２ウィンドウＷ２には、図６に示すように、第１〜第３選択画像ＦＣ１〜ＦＣ３が表示されている。
第１選択画像ＦＣ１は、接続確立済みの各端末装置２のうち、いずれかの端末装置２が扱う画像のみを全画面で表示させる旨（表示数が１）を選択させる画像である。
第２選択画像ＦＣ２は、接続確立済みの各端末装置２のうち、２つの端末装置２が扱う各画像を左右に２画面で表示させる旨（表示数が２）を選択させる画像である。
第３選択画像ＦＣ３は、接続確立済みの各端末装置２のうち、４つの端末装置２が扱う各画像を上下左右に４画面で表示させる旨（表示数が４）を選択させる画像である。
【００３３】
第３ウィンドウＷ３は、プロジェクター３に表示させる合成画像において、接続確立済みの各端末装置２が扱う各画像の表示位置及び表示サイズを選択させる領域である。
例えば、第１参加者による入力手段２４への操作（マウス操作）により、第２選択画像ＦＣ２が選択された場合には、図６に示すように、第３ウィンドウＷ３には、プロジェクター３が表示する２画面に相当する２つの領域Ａｒ１，Ａｒ２が表示される。
なお、具体的な図示は省略したが、第１選択画像ＦＣ１が選択された場合には、第３ウィンドウＷ３には、プロジェクター３が表示する１画面に相当する１つの領域のみが表示される。また、第３選択画像ＦＣ３が選択された場合には、第３ウィンドウＷ３には、プロジェクター３が表示する４画面に相当する４つの領域が表示される。
【００３４】
そして、第１参加者は、接続確立済みの各端末装置２が扱う各画像の表示位置を選択する際には、入力手段２４を操作し、第１ウィンドウＷ１に表示された各参加者画像のうちいずれかの参加者画像を第３ウィンドウＷ３に表示された各領域のうちいずれかの領域にドラッグアンドドロップする。
例えば、図６（Ａ）に示す例では、第３ウィンドウＷ３における左側の領域Ａｒ１に第１参加者画像ＦＰ１がドラッグアンドドロップされ、右側の領域Ａｒ２に第２参加者画像ＦＰ２がドラッグアンドドロップされた状態を示している。
このように表示位置を選択することで、第１端末装置２Ａが扱う画像（以下の説明では、「第１の画像」とも称する）を左側に表示し、第２端末装置２Ｂが扱う画像（以下の説明では、「第２の画像」とも称する）を右側に表示する旨を指示することとなる。
【００３５】
また、第１参加者は、接続確立済みの各端末装置２が扱う各画像の表示サイズを選択する際には、入力手段２４を操作し、第３ウィンドウＷ３に表示された各領域のうちいずれかの領域の端縁にカーソル（図示略）を合わせ、当該領域の大きさを変えるようにドラッグアンドドロップする。
例えば、図６（Ｂ）に示す例では、上記操作により第３ウィンドウＷ３における左側の領域Ａｒ１が大きくされ、当該操作に伴い右側の領域Ａｒ２が小さくなった状態を示している。
このように表示サイズを選択することで、第１端末装置２Ａが扱う画像（第１参加者（主発言者）の資料等）を大きく表示し、第２端末装置２Ｂが扱う画像（他の参加者の資料等）を小さく表示する旨を指示することとなる。
【００３６】
ステップＳ１０２の後、第１参加者により上述したように入力手段２４が操作された場合には、入力受付手段２１１は、プロジェクター３に表示させる合成画像において、接続確立済みの各端末装置２が扱う各画像の表示状態（表示数、表示位置、表示サイズ）の入力を受け付ける（ステップＳ１０３：入力受付ステップ）。
そして、入力受付手段２１１は、表示状態（表示数、表示位置、表示サイズ）に関する表示データをメモリー２２に記憶させる。
例えば、図６（Ｂ）に示す表示状態が入力された場合には、入力受付手段２１１は、表示数を「２」とし、第１端末装置２Ａが扱う画像の表示位置を「左側」とし、第２端末装置２Ｂが扱う画像の表示位置を「右側」とし、第１，第２端末装置２Ａ，２Ｂが扱う各画像の表示サイズ（比率）を「Ａ：Ｂ」とする旨の表示データをメモリー２２に記憶させる。
本実施形態では、「Ａ」はプロジェクター３に表示させる合成画像における第１の画像の比率を、「Ｂ」は第２の画像の比率を表すものとする。この比率は、第１，第２の画像の幅、高さ、または対角線の長さの比率や、面積の比率等を採用することができる。また、表示サイズに関する表示データは、第１，第２の画像の表示サイズを表す情報であれば、比率以外の情報であってもよい。例えば、表示サイズに関する表示データは、第１，第２の画像の幅、高さ、対角線の長さや、面積等を表す情報であってもよく、これらの差を表す情報であってもよい。
【００３７】
ステップＳ１０３の後、第１参加者が第１端末装置２Ａの入力手段２４により「入力した表示状態で合成画像をプロジェクター３に表示させる」旨の入力操作を実施すると、入力受付手段２１１は、当該入力操作を認識する。
そして、通信制御手段２１３は、メモリー２２に記憶された表示データを、ネットワークＬＡＮを介してプロジェクター３に送信する（ステップＳ１０４：送信制御ステップ）。
また、ＣＰＵ２１は、画像処理手段２５の動作を制御し、設定ウィンドウＷの表示を止め、通常の画像をディスプレイ２７に表示させる。
【００３８】
ステップＳ１０４の後、プロジェクター３の通信制御手段３１１は、ネットワークＬＡＮを介して、第１端末装置２Ａから表示データを受信する（ステップＳ１０５：受信ステップ）。
そして、ＣＰＵ３１は、受信した表示データをメモリー３２に記憶させる。
ステップＳ１０５の後、通信制御手段３１１は、ネットワークＬＡＮを介して、第１，第２端末装置２Ａ，２Ｂに対して、画像データ及び音声データの送信要求を行う（ステップＳ１０６）。
【００３９】
ステップＳ１０６の後、第１，第２端末装置２Ａ，２Ｂの各通信制御手段２１３は、プロジェクター３からデータ送信要求を受信（ステップＳ１０７，Ｓ１０８）すると、ネットワークＬＡＮを介してプロジェクター３に対して画像データ及び音声データを送信する（ステップＳ１０９，Ｓ１１０：送信制御ステップ）。
ここで、画像データは、第１，第２端末装置２Ａ，２Ｂにおいて、現時点で各ディスプレイ２７に表示されている画像（表示画面）に関する画像データであり、具体的には、現時点で各ＶＲＡＭ２６に記憶されている画像データである。
また、音声データは、第１，第２端末装置２Ａ，２Ｂにおいて、現時点で第１，第２参加者の声が各マイクロフォン２８にて集音され、各マイクロフォン２８からの音声信号が各音声処理手段２９にて変換された音声データである。
【００４０】
ステップＳ１０９，Ｓ１１０の後、プロジェクター３の通信制御手段３１１は、ネットワークＬＡＮを介して、第１，第２端末装置２Ａ，２Ｂから画像データ及び音声データを受信する（ステップＳ１１１：受信ステップ）。
そして、ＣＰＵ３１は、端末装置２を識別する識別情報（ＩＰアドレス等）にて送信元（端末装置２）を特定し、受信した画像データ及び音声データを当該送信元の端末装置２に関連付けてメモリー２２に記憶させる。
なお、以下では、メモリー２２に記憶された画像データ及び音声データのうち、送信元が第１端末装置２Ａであるデータを第１画像データ及び第１音声データと記載し、送信元が第２端末装置２Ｂであるデータを第２画像データ及び第２音声データと記載する。
【００４１】
ステップＳ１１１の後、第１制御手段３１２は、メモリー２２に記憶された表示データに基づいて、画像処理手段３４の動作を制御し、合成画像を生成させ（ステップＳ１１２）、当該合成画像をスクリーン上に表示させる（ステップＳ１１３：第１制御ステップ）。
例えば、ステップＳ１０３において図６（Ｂ）に示す表示状態が入力された場合には、第１制御手段３１２は、表示データに基づいて、以下に示すような合成画像を生成及び表示させる。
すなわち、第１制御手段３１２は、表示データ（表示数、表示位置）に基づいて、第１画像データに基づく画像（第１の画像）の表示位置を「左側」、第２画像データに基づく画像（第２の画像）の表示位置を「右側」とする。
また、第１制御手段３１２は、第１，第２の画像の表示サイズを表示データに基づく比率とした合成画像（第１の画像（主発言者（第１参加者）の資料等）が第２の画像（他の参加者（第２参加者）よりも大きい合成画像）を生成させ（当該合成画像に関する合成画像データをＶＲＡＭ３５上に生成させ）、スクリーン上に当該合成画像を表示させる。
【００４２】
また、ステップＳ１１１の後（図５では説明の便宜上、ステップＳ１１２，Ｓ１１３の後の処理としている）、第２制御手段３１３は、メモリー２２に記憶された表示データに基づいて、音声処理手段３７の動作を制御し、合成音声を生成させ（ステップＳ１１４）、当該合成音声をスピーカー３８から出力させる（ステップＳ１１５：第２制御ステップ）。
例えば、ステップＳ１０３において図６（Ｂ）に示す表示状態が入力された場合には、第２制御手段３１３は、表示データに基づいて、以下に示すような合成音声を生成させる。
すなわち、第２制御手段３１３は、表示データ（各画像の表示サイズの比率）に基づいて、第１音声増幅部３７１Ａに第１音声データを処理させ、当該第１音声データを変換した後の音声信号を増幅させる。本実施形態では、第１，第２の画像が合成画像に含まれており、第１の画像の方が第２の画像よりも大きい。このため、第２制御手段３１３は、第１音声増幅部３７１Ａにデフォルト値よりも大きい増幅度で音声信号を増幅させる。
また、第２制御手段３１３は、表示データ（各画像の表示サイズの比率）に基づいて、第２音声増幅部３７１Ｂに第２音声データを処理させ、当該第２音声データを変換した後の音声信号を増幅させる。本実施形態では、第１，第２の画像が合成画像に含まれており、第２の画像の方が第１の画像よりも小さい。このため、第２制御手段３１３は、第２音声増幅部３７１Ｂにデフォルト値よりも小さい増幅度で音声信号を増幅させる。換言すると、第２制御手段３１３は、合成画像において第１の画像が他の画像よりも大きく表示されるほど、第１の画像に対応する音声を他の画像に対応する音声よりも大きくする。
【００４３】
そして、音声合成部３７２は、第１，第２音声増幅部３７１Ａ，３７１Ｂにて増幅された各音声信号を合成して合成音声信号を生成し、当該合成音声信号に基づく合成音声を、スピーカー３８を介して出力させる。
すなわち、ステップＳ１０３において図６（Ｂ）に示す表示状態が入力された場合には、第２制御手段３１３は、主発言者（第１参加者）の声を他の参加者（第２参加者）の声に対して強調した合成音声を生成及び出力させる。
以降、ステップＳ１０９〜Ｓ１１５が順次、繰り返し実行され、現時点での第１，第２端末装置２Ａ，２Ｂの各表示画面が合成画像としてスクリーンに表示され、現時点での第１，第２端末装置２Ａ，２Ｂの各マイクロフォン２８に集音された各参加者の声が合成音声としてスピーカー３８から出力されることとなる。
【００４４】
上述した第１実施形態によれば、以下の効果がある。
本実施形態では、会議システム１は、複数の端末装置２及びプロジェクター３を備えるので、端末装置２を利用して表示状態を適宜、入力することで、主発言者の資料（主発言者の利用に供される端末装置２が扱う画像）を合成画像（分割表示画面）中の任意の表示位置や、任意の表示サイズ等に設定できる。このため、他の参加者に主発言者がどの画像に基づいて説明を行っているかを容易に判断させることができる。
また、各参加者の声を各マイクロフォン２８にて集音し、主発言者の声を他の参加者の声に対して強調した合成音声を生成及び出力できるので、主発言者が説明を行っている際に、他の参加者の一部が会話等をしていた場合であっても、主発言者の声を聞き取りやすいものとすることができる。
したがって、利便性の向上が図れる。
また、合成画像及び合成音声の生成をプロジェクター３自身が実行するため、従来のようなサーバーを必要とせず、会議システム１の構成を簡素化できる。
【００４５】
さらに、表示状態が上述した表示サイズを含むものであるので、当該表示サイズに基づいて第１，第２制御手段３１２，３１３が合成画像及び合成音声を生成すれば、主発言者の資料（主発言者の利用に供される端末装置２が扱う画像）や声を他の参加者の資料や声に対して強調できる。
したがって、主発言者の資料や声を視聴し易いものとなり、利便性の向上が図れる。
【００４６】
[第２実施形態]
次に、本発明の第２実施形態を図面に基づいて説明する。
以下の説明では、前記第１実施形態と同様の構成及び同一部材には同一の符号を付して、その詳細な説明は省略または簡略化する。
図７は、第２実施形態における会議システム１を示すブロック図である。
図８は、第２実施形態におけるプロジェクター３の構成を示すブロック図である。
図９は、第２実施形態におけるサーバー装置４の構成を示すブロック図である。
本実施形態では、前記第１実施形態に対して、図７ないし図９に示すように、会議システム１の構成として端末装置２及びプロジェクター３の他、サーバー装置４を追加した点、及びプロジェクター３におけるＣＰＵ３１の一部の機能を省略し、当該一部の機能をサーバー装置４のＣＰＵ４１に追加した点が異なるのみである。
【００４７】
サーバー装置４は、端末装置２と同様のパーソナルコンピューターで構成されており、図９に示すように、ＣＰＵ４１、メモリー４２、ネットワークインターフェース（ネットワークI/F）４３、入力手段４４、画像処理手段４５、ＶＲＡＭ４６、ディスプレイ４７、及び音声処理手段４８を備える。
ＣＰＵ４１は、メモリー４２に記憶されたプログラムを実行することで、図９に示すように、第３制御手段としての通信制御手段４１１、前記第１実施形態で説明したプロジェクター３（ＣＰＵ３１）における第１，第２制御手段３１２，３１３と同様の第１，第２制御手段４１２，４１３等として機能する。
音声処理手段４８は、前記第１実施形態で説明したプロジェクター３の音声処理手段３７と同様の構成を有するものである。
【００４８】
次に、第２実施形態における画像音声処理方法について説明する。
図１０は、第２実施形態における画像音声処理方法を説明するフローチャートである。
なお、以下では、説明の便宜上、端末装置２とサーバー装置４とのネットワークＬＡＮを介した接続、及びプロジェクター３とサーバー装置４とのネットワークＬＡＮを介した接続が既に確立されているものとする。
また、以下では、前記第１実施形態と同様に、ネットワークＬＡＮを介してサーバー装置４と接続が確立されている各端末装置２を第１，第２端末装置２Ａ，２Ｂとする。
【００４９】
本実施形態の画像音声処理方法では、上述したようにプロジェクター３（ＣＰＵ３１）の一部の機能をサーバー装置４（ＣＰＵ４１）に持たせたことに伴い、前記第１実施形態で説明したプロジェクター３（ＣＰＵ３１）が実行していた処理の一部をサーバー装置４（ＣＰＵ４１）が実行することとなる。
すなわち、サーバー装置４（ＣＰＵ４１）は、図１０に示すように、前記第１実施形態でプロジェクター３（ＣＰＵ３１）が実行していたステップＳ１０５，Ｓ１０６，Ｓ１１１，Ｓ１１２，Ｓ１１４を実行することとなる。
【００５０】
なお、本実施形態において、ステップＳ１１２では、第１制御手段４１２による制御の下、画像処理手段４５が合成画像データを生成する。また、ステップＳ１１４では、第２制御手段４１３による制御の下、音声処理手段４８が合成音声信号を生成し、当該合成音声信号（アナログ）をデジタルデータ（合成音声データ）に変換する。
また、各端末装置２は、ステップＳ１０４，Ｓ１０７〜Ｓ１１０を実行する際の送受信の相手がサーバー装置４となる。
【００５１】
そして、サーバー装置４の通信制御手段４１１は、ステップＳ１１２，Ｓ１１４において生成された合成画像データ及び合成音声データを、ネットワークＬＡＮを介して、プロジェクター３に送信する（ステップＳ２０１）。
一方、プロジェクター３の通信制御手段３１１は、ネットワークＬＡＮを介して、サーバー装置４からの合成画像データ及び合成音声データを受信する（ステップＳ２０２）。
そして、ＣＰＵ３１は、当該合成画像データをＶＲＡＭ３５上に記憶させ、当該合成画像データに基づく合成画像をスクリーン上に表示させる（ステップＳ２０３）とともに、当該合成音声データを音声処理手段３７Ａにてアナログの合成音声信号に変換させ、当該合成音声信号に基づく合成音声をスピーカー３８から出力させる（ステップＳ２０４）。
【００５２】
上述した第２実施形態によれば、前記第１実施形態と同様の効果の他、以下の効果がある。
本実施形態では、合成画像及び合成音声の生成をプロジェクター３ではなく、サーバー装置４で実行するため、プロジェクター３に合成画像及び合成音声を生成する機能を別途、設ける必要がなく、汎用のプロジェクター３を利用した会議システム１を構築できる。
【００５３】
なお、本発明は前述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
前記各実施形態では、ステップＳ１０１〜Ｓ１０４を第１端末装置２Ａが実行していたが、第１参加者以外の参加者が他の端末装置２の入力手段２４を操作すれば、他の端末装置２がステップＳ１０１〜Ｓ１０４を実行するものである。
前記各実施形態では、表示サイズを大きくする画像に対応する音声を他の画像に対応する音声に対して強調させていたが、これに限らず、所定の表示位置に位置付ける画像に対応する音声を他の画像に対応する音声に対して強調させるように構成しても構わない。
【００５４】
前記第２実施形態では、ステップＳ１０１〜Ｓ１０３を実行する機能（入力受付手段２１１及びＧＵＩ制御手段２１２）を端末装置２に持たせていたが、これに限らず、サーバー装置４に当該機能を持たせても構わない。
前記各実施形態では、本発明に係る画像表示装置としてプロジェクター３を採用していたが、これに限らず、液晶ディスプレイ、プラズマテレビ、有機ＥＬ（Electro Luminescence）等を採用しても構わない。
【００５５】
前記各実施形態では、第１音声増幅部３７１Ａの増幅度をデフォルト値よりも大きく、第２音声増幅部３７１Ｂの増幅度をデフォルト値よりも小さくしているが、一方の増幅度はデフォルト値のままで、他方の増幅度を大きくする（または、小さくする）ことで音量に差をつけてもよい。
前記各実施形態では、音量の調整をプロジェクター３またはサーバー装置４で実施していたが、これに限らず、音量の調整までを各端末装置２で行い、音量が調整済みの音声をプロジェクター３やサーバー装置４が合成する構成を採用しても構わない。
【産業上の利用可能性】
【００５６】
本発明は、プロジェクター等の画像表示装置を用いて会議を行う会議システムに利用できる。
【符号の説明】
【００５７】
１・・・会議システム、２・・・端末装置、３・・・プロジェクター、４・・・サーバー装置、２８・・・マイクロフォン（音声収集手段）、３６・・・画像投射手段（表示手段）、３８・・・スピーカー（音声出力手段）、２１１・・・入力受付手段、２１３・・・通信制御手段（送信制御手段）、３１２，４１２・・・第１制御手段、３１３，４１３・・・第２制御手段、４１１・・・通信制御手段（第３制御手段）、ＬＡＮ・・・ネットワーク（通信路）、Ｓ１０３・・・入力受付ステップ、Ｓ１０４，Ｓ１０９，Ｓ１１０・・・送信制御ステップ、Ｓ１０５，Ｓ１１１・・・受信ステップ、Ｓ１１３・・・第１制御ステップ、Ｓ１１５・・・第２制御ステップ。
【特許請求の範囲】
【請求項１】
複数の端末装置と、前記複数の端末装置と通信可能に接続された画像表示装置とを備え、前記複数の端末装置が扱う各画像を合成した合成画像を前記画像表示装置に表示させる会議システムであって、
前記端末装置は、
周囲の音を集音する音声収集手段と、
前記合成画像における、当該端末装置が扱う画像と、他の前記端末装置が扱う画像との表示状態の入力を受け付ける入力受付手段と、
前記音声収集手段にて集音された音声に関する音声情報、前記表示状態に関する表示情報、及び当該端末装置が扱う画像に関する画像情報を前記画像表示装置に送信する送信制御手段とを備え、
前記画像表示装置は、
画像を表示する表示手段と、
前記音声情報、前記表示情報、及び前記画像情報を受信する受信手段と、
前記表示情報に基づいて、前記複数の端末装置からの各前記画像情報に基づく各画像を合成して前記合成画像を生成し、生成した前記合成画像を前記表示手段に表示させる第１制御手段と、
音声を出力する音声出力手段と、
前記表示情報に基づいて、前記複数の端末装置からの各前記音声情報に基づく各音声を合成して合成音声を生成し、生成した前記合成音声を前記音声出力手段に出力させる第２制御手段とを備える
ことを特徴とする会議システム。
【請求項２】
複数の端末装置と、画像表示装置と、前記複数の端末装置及び前記画像表示装置と通信可能に接続された情報処理装置とを備え、前記複数の端末装置が扱う各画像を合成した合成画像を前記画像表示装置に表示させる会議システムであって、
前記端末装置は、
周囲の音を集音する音声収集手段と、
前記合成画像における、当該前記端末装置が扱う画像と、他の前記端末装置が扱う画像との表示状態の入力を受け付ける入力受付手段と、
前記音声収集手段にて集音された音声に関する音声情報、前記表示状態に関する表示情報、及び当該端末装置が扱う画像に関する画像情報を前記情報処理装置に送信する送信制御手段とを備え、
前記情報処理装置は、
前記表示情報に基づいて、前記複数の端末装置からの各前記画像情報に基づく各画像を合成して前記合成画像を生成する第１制御手段と、
前記表示情報に基づいて、前記複数の端末装置からの各前記音声情報に基づく各音声を合成して合成音声を生成する第２制御手段と、
前記通信路を介して、前記合成画像に関する合成画像情報、及び前記合成音声に関する合成音声情報を前記画像表示装置に送信する第３制御手段とを備え、
前記画像表示装置は、
前記情報処理装置からの前記合成画像情報に基づく前記合成画像を表示する表示手段と、
前記情報処理装置からの前記合成音声情報に基づく前記合成音声を出力する音声出力手段とを備える
ことを特徴とする会議システム。
【請求項３】
請求項１または請求項２に記載の会議システムにおいて、
前記表示状態は、
前記複数の端末装置が扱う各画像の表示サイズを含むものであり、
前記第２制御手段は、
前記各画像の表示サイズに基づいて、前記各画像に対応した前記各音声の出力レベルを調整し、前記合成音声を生成する
ことを特徴とする会議システム。
【請求項４】
複数の端末装置と通信可能に接続され、前記複数の端末装置が扱う各画像が合成された合成画像を表示する画像表示装置であって、
当該画像表示装置は、
画像を表示する表示手段と、
前記複数の端末装置のそれぞれにおいて集音された音声に関する音声情報、前記合成画像における、前記複数の端末装置のそれぞれが扱う画像の表示状態に関する表示情報、及び前記複数の端末装置のそれぞれが扱う画像情報を受信する受信手段と、
前記表示情報に基づいて、前記複数の端末装置からの各前記画像情報に基づく各画像を合成して前記合成画像を生成し、生成した前記合成画像を前記表示手段に表示させる第１制御手段と、
音声を出力する音声出力手段と、
前記表示情報に基づいて、前記複数の端末装置からの各前記音声情報に基づく各音声を合成して合成音声を生成し、生成した前記合成音声を前記音声出力手段に出力させる第２制御手段とを備える
ことを特徴とする画像表示装置。
【請求項５】
複数の端末装置と、前記複数の端末装置と通信可能に接続された画像表示装置とを備え、前記複数の端末装置が扱う各画像を合成した合成画像を前記画像表示装置に表示させる会議システムを利用した画像音声処理方法であって、
前記端末装置が、前記合成画像における、当該端末装置が扱う画像と、他の前記端末装置が扱う画像との表示状態の入力を受け付ける入力受付ステップと、
前記端末装置が、音声収集手段にて集音された音声に関する音声情報、前記表示状態に関する表示情報、及び当該端末装置が扱う画像に関する画像情報を前記画像表示装置に送信する送信制御ステップと、
前記画像表示装置が、前記音声情報、前記表示情報、及び前記画像情報を受信する受信ステップと、
前記画像表示装置が、前記表示情報に基づいて、前記複数の端末装置からの各前記画像情報に基づく各画像を合成して前記合成画像を生成し、生成した前記合成画像を表示する第１制御ステップと、
前記画像表示装置が、前記表示情報に基づいて、前記複数の端末装置からの各前記音声情報に基づく各音声を合成して合成音声を生成し、生成した前記合成音声を出力する第２制御ステップと、
を含むことを特徴とする画像音声処理方法。
【請求項６】
複数の端末装置と通信可能に接続され、前記複数の端末装置が扱う各画像が合成された合成画像を表示する画像表示装置の画像音声処理方法であって、
前記複数の端末装置のそれぞれにおいて集音された音声に関する音声情報、前記合成画像における、前記複数の端末装置のそれぞれが扱う画像の表示状態に関する表示情報、及び前記複数の端末装置のそれぞれが扱う画像情報を受信する受信ステップと、
前記表示情報に基づいて、前記複数の端末装置からの各前記画像情報に基づく各画像を合成して前記合成画像を生成し、生成した前記合成画像を表示する第１制御ステップと、
前記表示情報に基づいて、前記複数の端末装置からの各前記音声情報に基づく各音声を合成して合成音声を生成し、生成した前記合成音声を出力する第２制御ステップと、
を含むことを特徴とする画像音声処理方法。
【請求項１】
複数の端末装置と、前記複数の端末装置と通信可能に接続された画像表示装置とを備え、前記複数の端末装置が扱う各画像を合成した合成画像を前記画像表示装置に表示させる会議システムであって、
前記端末装置は、
周囲の音を集音する音声収集手段と、
前記合成画像における、当該端末装置が扱う画像と、他の前記端末装置が扱う画像との表示状態の入力を受け付ける入力受付手段と、
前記音声収集手段にて集音された音声に関する音声情報、前記表示状態に関する表示情報、及び当該端末装置が扱う画像に関する画像情報を前記画像表示装置に送信する送信制御手段とを備え、
前記画像表示装置は、
画像を表示する表示手段と、
前記音声情報、前記表示情報、及び前記画像情報を受信する受信手段と、
前記表示情報に基づいて、前記複数の端末装置からの各前記画像情報に基づく各画像を合成して前記合成画像を生成し、生成した前記合成画像を前記表示手段に表示させる第１制御手段と、
音声を出力する音声出力手段と、
前記表示情報に基づいて、前記複数の端末装置からの各前記音声情報に基づく各音声を合成して合成音声を生成し、生成した前記合成音声を前記音声出力手段に出力させる第２制御手段とを備える
ことを特徴とする会議システム。
【請求項２】
複数の端末装置と、画像表示装置と、前記複数の端末装置及び前記画像表示装置と通信可能に接続された情報処理装置とを備え、前記複数の端末装置が扱う各画像を合成した合成画像を前記画像表示装置に表示させる会議システムであって、
前記端末装置は、
周囲の音を集音する音声収集手段と、
前記合成画像における、当該前記端末装置が扱う画像と、他の前記端末装置が扱う画像との表示状態の入力を受け付ける入力受付手段と、
前記音声収集手段にて集音された音声に関する音声情報、前記表示状態に関する表示情報、及び当該端末装置が扱う画像に関する画像情報を前記情報処理装置に送信する送信制御手段とを備え、
前記情報処理装置は、
前記表示情報に基づいて、前記複数の端末装置からの各前記画像情報に基づく各画像を合成して前記合成画像を生成する第１制御手段と、
前記表示情報に基づいて、前記複数の端末装置からの各前記音声情報に基づく各音声を合成して合成音声を生成する第２制御手段と、
前記通信路を介して、前記合成画像に関する合成画像情報、及び前記合成音声に関する合成音声情報を前記画像表示装置に送信する第３制御手段とを備え、
前記画像表示装置は、
前記情報処理装置からの前記合成画像情報に基づく前記合成画像を表示する表示手段と、
前記情報処理装置からの前記合成音声情報に基づく前記合成音声を出力する音声出力手段とを備える
ことを特徴とする会議システム。
【請求項３】
請求項１または請求項２に記載の会議システムにおいて、
前記表示状態は、
前記複数の端末装置が扱う各画像の表示サイズを含むものであり、
前記第２制御手段は、
前記各画像の表示サイズに基づいて、前記各画像に対応した前記各音声の出力レベルを調整し、前記合成音声を生成する
ことを特徴とする会議システム。
【請求項４】
複数の端末装置と通信可能に接続され、前記複数の端末装置が扱う各画像が合成された合成画像を表示する画像表示装置であって、
当該画像表示装置は、
画像を表示する表示手段と、
前記複数の端末装置のそれぞれにおいて集音された音声に関する音声情報、前記合成画像における、前記複数の端末装置のそれぞれが扱う画像の表示状態に関する表示情報、及び前記複数の端末装置のそれぞれが扱う画像情報を受信する受信手段と、
前記表示情報に基づいて、前記複数の端末装置からの各前記画像情報に基づく各画像を合成して前記合成画像を生成し、生成した前記合成画像を前記表示手段に表示させる第１制御手段と、
音声を出力する音声出力手段と、
前記表示情報に基づいて、前記複数の端末装置からの各前記音声情報に基づく各音声を合成して合成音声を生成し、生成した前記合成音声を前記音声出力手段に出力させる第２制御手段とを備える
ことを特徴とする画像表示装置。
【請求項５】
複数の端末装置と、前記複数の端末装置と通信可能に接続された画像表示装置とを備え、前記複数の端末装置が扱う各画像を合成した合成画像を前記画像表示装置に表示させる会議システムを利用した画像音声処理方法であって、
前記端末装置が、前記合成画像における、当該端末装置が扱う画像と、他の前記端末装置が扱う画像との表示状態の入力を受け付ける入力受付ステップと、
前記端末装置が、音声収集手段にて集音された音声に関する音声情報、前記表示状態に関する表示情報、及び当該端末装置が扱う画像に関する画像情報を前記画像表示装置に送信する送信制御ステップと、
前記画像表示装置が、前記音声情報、前記表示情報、及び前記画像情報を受信する受信ステップと、
前記画像表示装置が、前記表示情報に基づいて、前記複数の端末装置からの各前記画像情報に基づく各画像を合成して前記合成画像を生成し、生成した前記合成画像を表示する第１制御ステップと、
前記画像表示装置が、前記表示情報に基づいて、前記複数の端末装置からの各前記音声情報に基づく各音声を合成して合成音声を生成し、生成した前記合成音声を出力する第２制御ステップと、
を含むことを特徴とする画像音声処理方法。
【請求項６】
複数の端末装置と通信可能に接続され、前記複数の端末装置が扱う各画像が合成された合成画像を表示する画像表示装置の画像音声処理方法であって、
前記複数の端末装置のそれぞれにおいて集音された音声に関する音声情報、前記合成画像における、前記複数の端末装置のそれぞれが扱う画像の表示状態に関する表示情報、及び前記複数の端末装置のそれぞれが扱う画像情報を受信する受信ステップと、
前記表示情報に基づいて、前記複数の端末装置からの各前記画像情報に基づく各画像を合成して前記合成画像を生成し、生成した前記合成画像を表示する第１制御ステップと、
前記表示情報に基づいて、前記複数の端末装置からの各前記音声情報に基づく各音声を合成して合成音声を生成し、生成した前記合成音声を出力する第２制御ステップと、
を含むことを特徴とする画像音声処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１３−８２１０（Ｐ２０１３−８２１０Ａ）
【公開日】平成２５年１月１０日（２０１３．１．１０）
【国際特許分類】
【出願番号】特願２０１１−１４０６２７（Ｐ２０１１−１４０６２７）
【出願日】平成２３年６月２４日（２０１１．６．２４）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【公開日】平成２５年１月１０日（２０１３．１．１０）
【国際特許分類】
【出願日】平成２３年６月２４日（２０１１．６．２４）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
[ Back to top ]