プロジェクター、会議システム、音源方向決定方法およびカメラ制御方法
【課題】 より簡易にマイクからの音声情報を用いて話者の方向を決定することが可能なプロジェクター等を提供すること。
【解決手段】 プロジェクター１００が、音声を入力して音声情報を生成する４つのマイク１１０−１〜１１０−４と、前記音声情報に基づき、前記音声の音源（参加者３０−１〜３０−３）の方向を決定する音源方向決定部を含み、４つのマイク１１０−１〜１１０−４がプロジェクター１００の外部または内部の前記音源の方向を決定可能な位置に配置される。
【解決手段】 プロジェクター１００が、音声を入力して音声情報を生成する４つのマイク１１０−１〜１１０−４と、前記音声情報に基づき、前記音声の音源（参加者３０−１〜３０−３）の方向を決定する音源方向決定部を含み、４つのマイク１１０−１〜１１０−４がプロジェクター１００の外部または内部の前記音源の方向を決定可能な位置に配置される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、プロジェクター、会議システム、音源方向決定方法およびカメラ制御方法に関する。
【背景技術】
【０００２】
例えば、特開平６−３５１０１５号公報では、カメラスタンドに設置された３つのマイクからの音声情報を用いて話者の方向を決定し、カメラおよび高指向性集音マイクを当該方向に向けるように制御する撮像システムが記載されている。
【特許文献１】特開平６−３５１０１５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、特開平６−３５１０１５号公報に記載されたシステムは、大型のものになり、持ち運びが不便である。また、システムを小型化するために、カメラにマイクを内蔵する手法も考えられるが、この手法の場合、カメラ自体が大きくなってしまう。
【０００４】
本発明の第１の目的は、より簡易にマイクからの音声情報を用いて話者の方向を決定することが可能なプロジェクターおよび音源決定方法を提供することにある。また、本発明の第２の目的は、より簡易にマイクからの音声情報を用いて話者の方向を決定して当該方向に応じてカメラを制御することが可能なプロジェクター、会議システムおよびカメラ制御方法を提供することにある。
【課題を解決するための手段】
【０００５】
上記課題を解決するため、本発明に係るプロジェクターは、音声を入力して音声情報を生成する少なくとも１つのマイクと、前記音声情報に基づき、前記音声の音源の方向を決定する音源方向決定部と、を含むプロジェクターであって、前記少なくとも１つのマイクは、前記音源の方向を決定可能な位置に配置されていることを特徴とする。
【０００６】
本発明によれば、プロジェクターは、プロジェクターの有するマイクからの音声情報に基づいて音源の方向を決定することができるため、より簡易にマイクからの音声情報を用いて話者の方向を決定することができる。
【０００７】
また、前記プロジェクターは、前記音声情報と、前記音源方向決定部による決定とに基づき、前記音源を示す音源データを生成するデータ生成部を含んでもよい。
【０００８】
これによれば、プロジェクターは、音源と当該音源の音声を関連付けることにより、例えば、誰による音声であるかを容易に決定することができる。
【０００９】
また、前記プロジェクターは、外部のカメラと有線または無線で接続可能であって、前記カメラによる撮像情報を入力する投写側入力部と、前記カメラを制御する制御情報を前記カメラに出力する投写側出力部と、を含んでもよい。
【００１０】
これによれば、プロジェクターは、より簡易にマイクからの音声情報を用いて話者の方向を決定するとともに、カメラを制御することができる。
【００１１】
また、前記プロジェクターは、前記撮像情報に基づく画像を生成する画像生成部と、前記画像を投写する投写部と、を含んでもよい。
【００１２】
これによれば、プロジェクターは、音源の方向にある対象の撮像画像を投写することができるため、例えば、話者の撮像画像等を投写することができる。
【００１３】
また、前記プロジェクターは、前記撮像情報と、前記音声情報とを、ネットワークを介して表示装置へ向け送信する通信部を含んでもよい。
【００１４】
これによれば、プロジェクターは、例えば、遠隔地の表示装置で話者の撮像画像を表示させ、話者の音声を出力させることができる。
【００１５】
また、前記プロジェクターは、前記音声情報に基づく出力音声を出力する音声出力部を含んでもよい。
【００１６】
これによれば、プロジェクターは、例えば、話者の撮像画像を表示しつつ、話者の音声を出力することができる。
【００１７】
また、本発明に係る会議システムは、プロジェクターと、カメラとを有する会議システムであって、前記プロジェクターは、音声を入力して第１の音声情報を生成する少なくとも１つのマイクと、前記第１の音声情報に基づき、音源の方向を決定する音源方向決定部と、当該方向に応じて前記音源を前記カメラが撮像するように前記カメラを制御する制御情報を生成する制御情報生成部と、当該制御情報を前記カメラに出力する投写側出力部と、前記カメラによる第１の撮像情報を入力する投写側入力部と、前記第１の撮像情報と、前記第１の音声情報とを、ネットワークを介して表示装置へ向け送信するとともに、前記表示装置から第２の撮像情報と、第２の音声情報とを受信する通信部と、前記第１の撮像情報および前記第２の撮像情報の少なくとも一方に基づく画像を生成する画像生成部と、前記画像を投写する投写部と、前記第１の音声情報および前記第２の音声情報の少なくとも一方に基づく出力音声を生成する音声生成部と、前記出力音声を出力する音声出力部と、を含み、前記カメラは、前記制御情報を入力する撮像側入力部と、前記第１の撮像情報を生成する撮像部と、前記制御情報に基づき、前記撮像部を制御する撮像制御部と、前記第１の撮像情報を前記プロジェクターに出力する撮像側出力部と、を含むことを特徴とする。
【００１８】
本発明によれば、プロジェクターは、より簡易にマイクからの音声情報を用いて話者の方向を決定して当該方向に応じてカメラを制御することができる。これにより、プロジェクターは、より簡易に会議システムとして機能することができる。
【００１９】
また、本発明に係る音源方向決定方法は、プロジェクターの内部または外部に配置された少なくとも１つのマイクで音声を入力して音声情報を生成し、前記プロジェクターの有する音源方向決定部が、前記音声情報に基づき、前記音声の音源の方向を決定することを特徴とする。
【００２０】
本発明によれば、プロジェクターは、より簡易にマイクからの音声情報を用いて話者の方向を決定することができる。
【００２１】
また、本発明に係るカメラ制御方法は、外部のカメラと有線または無線で接続可能なプロジェクターによるカメラ制御方法であって、プロジェクターの内部または外部に配置された少なくとも１つのマイクで音声を入力して音声情報を生成し、前記プロジェクターの有する音源方向決定部が、前記音声情報に基づき、前記音声の音源の方向を決定し、前記プロジェクターの有する制御部が、決定された前記音源の方向に応じて前記音源を前記カメラが撮像するように前記カメラを制御することを特徴とする。
【００２２】
本発明によれば、プロジェクターは、より簡易にマイクからの音声情報を用いて話者の方向を決定して当該方向に応じてカメラを制御することができる。
【発明を実施するための最良の形態】
【００２３】
以下、本発明をプロジェクターに適用した実施例について、図面を参照しつつ説明する。なお、以下に示す実施例は、特許請求の範囲に記載された発明の内容を何ら限定するものではない。また、以下の実施例に示す構成のすべてが、特許請求の範囲に記載された発明の解決手段として必須であるとは限らない。
【００２４】
（第１の実施例）
図１は、第１の実施例における投写状況を示す図である。例えば、会議室で、３人の参加者３０−１〜３０−３がテーブル１０を囲んで座って会議を行うものとする。テーブル１０には、プロジェクター１００が設置され、プロジェクター１００は、スクリーン２０に画像を投写する。なお、参加者３０−１はプロジェクター１００の左側に座り、参加者３０−２はプロジェクター１００の右側に座り、参加者３０−３はプロジェクター１００の後ろ側に座っている。
【００２５】
プロジェクター１００には、４隅にマイク１１０−１〜１１０−４が設けられ、プロジェクター１００は、各マイク１１０からの音声情報に基づいて話者の位置を決定する機能を有する。
【００２６】
次に、このような機能を有するプロジェクター１００の機能ブロックについて説明する。図２は、第１の実施例におけるプロジェクター１００の機能ブロック図である。プロジェクター１００は、参加者３０の音声を入力して音声情報を生成するマイク１１０と、音声情報に基づき、音声の音源（参加者３０）の方向を決定する音源方向決定部１２０と、種々のデータを生成するデータ生成部１３０と、種々のデータを記憶する記憶部１４０と、操作部１８０と、音声生成部１８２と、音声出力部１８８と、画像生成部１９０と、投写部１９８を含んで構成されている。
【００２７】
また、記憶部１４０は、音声情報を示す音声データ１４２、音源等を示す音源データ１４４、ユーザー名等を示すユーザーデータ１４６等を記憶している。ここで、音源データ１４４とユーザーデータ１４６についてより詳細に説明する。
【００２８】
図３は、第１の実施例における音源データ１４４とユーザーデータ１４６の一例を示す図である。音源データ１４４の項目としては、例えば、プロジェクター１００の正面を基準とした位置を示す「音源位置」、録音開始からの経過時間を示す「経過時間」等が該当する。また、ユーザーデータ１４６の項目としては、例えば、プロジェクター１００の正面を基準とした位置を示す「位置」、参加者３０の名前を示す「ユーザー名」、ユーザー（参加者３０）の顔画像を示す「画像」等が該当する。
【００２９】
なお、これらの各部の機能をプロジェクター１００に実装するためのハードウェアは以下のものであってもよい。例えば、音源方向決定部１２０、データ生成部１３０はＣＰＵ等、記憶部１４０はＲＡＭ等、操作部１８０はボタン、リモコン（リモートコントローラ）等、音声生成部１８２は音声生成回路等、音声出力部１８８はアンプ、スピーカ等、画像生成部１９０は画像生成回路等、投写部１９８はランプ、液晶パネル、液晶駆動回路、レンズ等であってもよい。
【００３０】
次に、音源方向決定部１２０等を用いたプロジェクター１００における音声処理手順について説明する。図４は、第１の実施例における処理手順を示すフローチャートである。会議の開始後、プロジェクター１００は画像を投写する。各マイク１１０は音声を入力し、音源方向決定部１２０は各マイク１１０からの音声情報を入力する（ステップＳ１）。
【００３１】
音源方向決定部１２０は、音声情報に基づき、音声が途切れたかどうかを判定し（ステップＳ２）、音声が途切れていないと判定した場合は音源が変わったかどうかを判定する（ステップＳ３）。音声が途切れた場合または音源が変わった場合、音源方向決定部１２０は、音声情報に基づき、音源の方向を決定する（ステップＳ４）。
【００３２】
具体的には、例えば、音源方向決定部１２０は、４つのマイク１１０−１〜１１０−４からの４つの音声情報で示される音声の大きさを比較し、最も大きな音声が入力された方向を音源の方向として決定する。例えば、音源方向決定部１２０は、マイク１１０−１、１１０−２から入力された音声の大きさがほぼ同じでマイク１１０−３、１１０−４から入力された音声よりも大きい場合、音源の方向を左と決定する。
【００３３】
また、例えば、音源方向決定部１２０は、マイク１１０−３、１１０−４から入力された音声の大きさがほぼ同じでマイク１１０−１、１１０−２から入力された音声よりも大きい場合、音源の方向を右と決定する。また、例えば、音源方向決定部１２０は、マイク１１０−１、１１０−４から入力された音声の大きさがほぼ同じでマイク１１０−２、１１０−３から入力された音声よりも大きい場合、音源の方向を後ろと決定する。
【００３４】
データ生成部１３０は、音源方向決定部１２０による決定に応じて記憶部１４０に音源データ１４４を生成する（ステップＳ５）。例えば、データ生成部１３０は、内部のタイマで画像投写開始時からの経過時間をカウントし、音源方向決定部１２０によって決定された音源位置と、カウントした経過時間を音源データ１４４の一部として記憶部１４０に記憶していく。
【００３５】
なお、データ生成部１３０は、例えば、電源ボタン操作を示す情報、リモコンの再生ボタン操作を示す情報等に基づき、画像投写開始時を決定してもよい。例えば、この場合、これらのボタン操作時が画像投写開始時になる。また、データ生成部１３０は、マイク１１０からの音声情報を音声データ１４２として記憶部１４０に記憶していく。
【００３６】
音声生成部１８２は、例えば、リモコンのリプレイ操作を示す情報等に基づき、会議状況の再生指示があったかどうかを判定する（ステップＳ６）。例えば、リモコンのリプレイ操作があった場合、会議状況の再生指示があったことになる。
【００３７】
会議状況の再生指示があった場合、音声生成部１８２は、音声データ１４２に基づき、音声を生成し、音声出力部１８８は当該音声を出力する（ステップＳ７）。また、会議状況の再生指示があった場合、画像生成部１９０は、音源データ１４４と、ユーザーデータ１４６に基づき、会議状況を示す画像を生成し、投写部１９８は当該画像を投写する（ステップＳ８）。
【００３８】
具体的には、例えば、画像生成部１９０は、ＣＰＵのタイマ値を参照して経過時間を決定し、当該経過時間が該当する音源データ１４４の経過時間を決定し、決定した音源データ１４４の経過時間が該当する音源位置を決定し、ユーザーデータ１４６を参照して当該音源位置の画像データを用いて話者を示す画像を生成してもよい。
【００３９】
プロジェクター１００は、終了操作（例えば、電源オフ操作等）があったかどうかを判定し（ステップＳ９）、終了操作があった場合は一連の処理（ステップＳ１〜Ｓ９）を終了し、終了操作がなかった場合は当該一連の処理を続行する。
【００４０】
以上のように、本実施例によれば、プロジェクター１００は、プロジェクター１００の有するマイク１１０からの音声情報に基づいて音源の方向を決定することができるため、より簡易にマイク１１０からの音声情報を用いて話者の方向を決定することができる。
【００４１】
また、本実施例によれば、プロジェクター１００は、データ生成部１３０によって音源データ１４４を生成することにより、音源と当該音源の音声を関連付けることができるため、誰による音声であるかを容易に決定することができる。これにより、例えば、プロジェクター１００は、話者ごとに音声を出力したりすることができる。
【００４２】
また、本実施例によれば、プロジェクター１００は、データ生成部１３０によってユーザーデータ１４６を生成することにより、音源の位置とユーザーを関連付けることができるため、例えば、話者の音声出力と話者の画像表示を同期させたり、音声認識を行って話者名と話者の音声を文字列化した議事録を作成したりすることができる。
【００４３】
また、本実施例によれば、プロジェクター１００は、音声データ１４２、経過時間ごとの音源位置を示すデータ、各参加者３０の画像データ等を記憶しておくことにより、会議状況の再生指示に応じて音声を出力し、話者の顔画像を投写することができる。
【００４４】
（第２の実施例）
次に、外部のカメラと接続して話者を撮像して話者を示す画像を投写するプロジェクターについて説明する。図５は、第２の実施例における投写状況を示す図である。
【００４５】
プロジェクター１０１は、外部のカメラ２００と有線または無線で接続可能に形成されている。カメラ２００は、いわゆるネットワークカメラ、ウェブカメラ等であり、少なくとも水平方向に回転可能に形成されている。ここでは、プロジェクター１０１とカメラ２００がＵＳＢケーブルを介して接続されるものとする。
【００４６】
図６は、第２の実施例におけるカメラ２００とプロジェクター１０１の機能ブロック図である。カメラ２００は、参加者３０を撮像して撮像画像を示す撮像情報を生成する撮像部２１０と、ＵＳＢインターフェイス部２６０と、制御情報に応じて撮像部２１０を制御する撮像制御部２２０を含んで構成されている。なお、ＵＳＢインターフェイス部２６０は、撮像情報をプロジェクター１０１に出力する撮像側出力部として機能するともに、プロジェクター１０１から制御情報を入力する撮像側入力部として機能する。
【００４７】
また、プロジェクター１０１は、第１の実施例のプロジェクター１００と同様の構成であるが、制御情報生成部１５０と、ＵＳＢインターフェイス部１６０を有し、データ生成部１３０、記憶部１４０、操作部１８０を有しておらず、音源方向決定部１２１が制御情報生成部１５０に音源方向を伝達し、音声生成部１８３が音声情報に基づく音声を生成し、画像生成部１９１が撮像情報に基づく画像を生成する点でプロジェクター１００と相違している。なお、ＵＳＢインターフェイス部１６０は、カメラ２００から撮像情報を入力する投写側入力部として機能するとともに、カメラ２００に制御情報を出力する投写側出力部として機能する。
【００４８】
プロジェクター１０１のハードウェア構成はプロジェクター１００と同様であり、例えば、制御情報生成部１５０はＣＰＵ等であってもよい。また、撮像部２１０はＣＣＤカメラ、ＣＭＯＳカメラ等および回転機構等、撮像制御部２２０はＣＰＵ等であってもよい。
【００４９】
次に、音源方向決定部１２１等を用いたプロジェクター１０１における音声処理手順について説明する。図７は、第２の実施例における処理手順を示すフローチャートである。会議の開始後、プロジェクター１０１は画像を投写する。各マイク１１０は音声を入力し、音源方向決定部１２１および音声生成部１８３は各マイク１１０からの音声情報を入力する（ステップＳ１１）。
【００５０】
音源方向決定部１２１は、音声情報に基づき、音源の方向を決定する（ステップＳ１２）。なお、実際の処理は第１の実施例のステップＳ２〜Ｓ４の処理と同様である。
【００５１】
制御情報生成部１５０は、音源方向決定部１２１の決定に応じて制御情報を生成する（ステップＳ１３）。具体的には、例えば、音源が左に決定された場合、制御情報生成部１５０は、カメラ２００の撮像方向を左に向ける制御情報を生成する。なお、この場合、カメラ２００の初期状態の撮像方向をプロジェクター１０１の正面方向に向けておけば、プロジェクター１０１はカメラ２００の撮像方向を制御しやすい。
【００５２】
プロジェクター１００のＵＳＢインターフェイス部１６０は、制御情報を、ＵＳＢケーブルを介してカメラ２００に出力する（ステップＳ１４）。
【００５３】
カメラ２００のＵＳＢインターフェイス部２６０は、プロジェクター１００から制御情報を入力する。撮像制御部２２０は、制御情報に基づき、撮像部２１０を水平方向に回転させて音源を撮像させる。撮像部２１０は、音源である参加者３０を撮像して撮像画像を示す撮像情報を生成する（ステップＰ１）。
【００５４】
ＵＳＢインターフェイス部２６０は、撮像情報を、ＵＳＢケーブルを介してプロジェクター１０１に出力する（ステップＰ２）。
【００５５】
ＵＳＢインターフェイス部１６０は、撮像情報をカメラ２００から入力する（ステップＳ１５）。音声生成部１８３は、マイク１１０からの音声情報に基づき、音声を生成し、音声出力部１８８は、当該音声を出力する（ステップＳ１６）。画像生成部１９１は、カメラ２００からの撮像情報に基づき、撮像画像を生成し、投写部１９８は、当該撮像画像を投写する（ステップＳ１７）。
【００５６】
プロジェクター１０１は、終了操作があったかどうかを判定し（ステップＳ１８）、終了操作があった場合は一連の処理（ステップＳ１１〜Ｓ１８）を終了し、終了操作がなかった場合は当該一連の処理を続行する。
【００５７】
以上のように、本実施例によれば、プロジェクター１０１が音声入力、カメラ２００の制御等を行うことにより、汎用的なカメラ２００を適用することができる。すなわち、カメラ２００のメーカーやサイズは任意である。
【００５８】
また、本実施例によれば、プロジェクター１０１は、より簡易にマイク１１０からの音声情報を用いて話者の方向を決定することができる上、当該方向に応じてカメラ２００を制御することができる。これにより、プロジェクター１０１は、音源の方向にいる参加者３０の撮像画像を投写することができる。
【００５９】
また、本実施例によれば、プロジェクター１０１は、話者である参加者３０の撮像画像を投写しつつ、当該参加者３０の音声を出力することができる。これにより、参加者３０は、発言ごとに話者の方向を見ることなく、常にスクリーン２０を見ながら会議を行うことができるため、より効果的に会議を行うことができる。
【００６０】
（第３の実施例）
次に、第２の実施例のプロジェクター１０１と同様のプロジェクターに表示装置（ここではプロジェクター）との通信機能を追加し、４つのマイク１１０を１つのステレオマイクに変更し、ネットワーク会議を行う実施例について説明する。図８は、第３の実施例における投写状況を示す図である。
【００６１】
会議室４０−１にはプロジェクター１０２−１が配置され、会議室４０−２にはプロジェクター１０２−２が配置されている。プロジェクター１０２−１とプロジェクター１０２−２はＬＡＮで接続されており、相互に情報を送受信することができるように形成されている。また、プロジェクター１０２−１にはカメラ２００−１がＵＳＢケーブルで接続され、プロジェクター１０２−２にはカメラ２００−２がＵＳＢケーブルで接続されている。
【００６２】
図９は、第３の実施例におけるプロジェクター１０２の機能ブロック図である。プロジェクター１０２は、第２の実施例のプロジェクター１０１と同様の構成であるが、通信部１７０を有し、マイク１１１がステレオマイクであり、音声生成部１８４が音声情報を通信部１７０に出力し、画像生成部１９２が画像情報を通信部１７０に出力する点でプロジェクター１０１と相違している。通信部１７０は、例えば、ＬＡＮカード等であり、無線通信機能または有線通信機能を有する。
【００６３】
次に、これらの各部を用いたプロジェクター１０２における音声処理手順について説明する。図１０は、第３の実施例における処理手順を示すフローチャートである。ネットワーク会議の開始後、プロジェクター１０２は画像を投写する。マイク１１１は音声を入力し、音源方向決定部１２１および音声生成部１８４はマイク１１１からの音声情報を入力する（ステップＳ２１）。
【００６４】
なお、マイク１１１は、ステレオマイクであるため、少なくとも２方向の指向性を有し、各方向の音声を示す音声情報を生成することが可能である。音源方向決定部１２１は、音声情報で示されるマイク１１１で検出可能な各方向の音量等に基づき、音源の方向を決定する（ステップＳ２２）。
【００６５】
制御情報生成部１５０は、音源方向決定部１２１の決定に応じて制御情報を生成し（ステップＳ２３）、ＵＳＢインターフェイス部１６０は当該制御情報をカメラ２００に出力する（ステップＳ２４）。カメラ２００での処理は第２の実施例と同様のため、説明を省略する。
【００６６】
ＵＳＢインターフェイス部１６０は、撮像情報をカメラ２００から入力する（ステップＳ２５）。通信部１７０は、音声生成部１８４からの参加者３０の音声を示す音声情報と、画像生成部１９２からの参加者３０の撮像画像を示す撮像情報を他のプロジェクター１０２へ向け送信する（ステップＳ２６）。
【００６７】
また、同様に、通信部１７０は、参加者３０の撮像画像を示す撮像情報、参加者３０の音声を示す音声情報を他のプロジェクター１０２から受信する（ステップＳ２７）。
【００６８】
音声生成部１８３は、マイク１１１からの音声情報（第１の音声情報）と、通信部１７０からの音声情報（第２の音声情報）に基づき、発言中の参加者３０の音声を生成し、音声出力部１８８は、当該音声を出力する（ステップＳ２８）。また、画像生成部１９２は、ＵＳＢインターフェイス部１６０からの撮像情報（第１の撮像情報）と、通信部１７０からの撮像情報（第２の撮像情報）に基づき、発言中の参加者３０の撮像画像を生成し、投写部１９８は当該撮像画像を投写する（ステップＳ２９）。
【００６９】
プロジェクター１０２は、終了操作があったかどうかを判定し（ステップＳ３０）、終了操作があった場合は一連の処理（ステップＳ２１〜Ｓ３０）を終了し、終了操作がなかった場合は当該一連の処理を続行する。
【００７０】
以上のように、本実施例によれば、プロジェクター１０２は、より簡易にマイク１１１からの音声情報を用いて話者の方向を決定して当該方向に応じてカメラ２００を制御することができる。これにより、プロジェクター１０２は、より簡易に会議システムとして機能することができる。
【００７１】
また、本実施例によれば、プロジェクター１０２は、ステレオ音声の音声情報を送受信することにより、より臨場感のある会議システムを実現することができる。
【００７２】
（その他の実施例）
なお、本発明の適用は上述した実施例に限定されず、種々の変形が可能である。例えば、音源方向決定部１２０、１２１が音源の方向を決定したり、データ生成部１３０が音源データを生成したりする条件として、一定時間（例えば、３秒、５秒等）以上連続して音声が入力されたという条件、音源の方向が一定時間以上変化しなかったという条件等が採用されてもよい。
【００７３】
これによれば、プロジェクター１００〜１０２は、発言以外の音声（例えば、物音、相づち等）に対する処理を実行せず、発言に対してのみ処理を実行することができるため、より正確に音源の方向を決定したり、カメラ２００を音源の方向に向けたりすることができる。
【００７４】
また、マイク１１０、１１１の位置は、上述したプロジェクター１００、１０１の４隅やプロジェクター１０２の後部には限定されず、音源の方向を決定可能な位置であればどこでもよい。また、マイク１１０、１１１の個数は１個や４個には限定されず、２個、３個、５個以上であってもよい。例えば、参加者３０が左右１人ずつである場合、マイク１１０はプロジェクター１００〜１０２の左右に１つずつ配置されてもよい。
【００７５】
また、例えば、第３の実施例のプロジェクター１０２の通信対象となる装置は、プロジェクター１０２には限定されず、例えば、テレビ、通信会議システム等であってもよい。
【００７６】
また、第１〜第３の実施例の構成は適宜組合せられてもよい。例えば、プロジェクター１０１、１０２がデータ生成部１３０、音声データ１４２、音源データ１４４等を用いてもよい。また、プロジェクター１０１、１０２は、データ生成部１３０を用いてカメラ２００からの撮像情報を撮像データとして内部の記憶部に記憶してもよい。
【００７７】
例えば、プロジェクター１０１、１０２は、音声データ１４２、経過時間ごとの音源位置を示すデータ、話者の撮像データ等を記憶しておくことにより、会議状況の再生指示に応じて音声を出力し、話者の撮像画像を投写したり、話者を指定した再生指示に応じて当該話者の音声を出力し、当該話者の撮像画像を投写したりすることができる。
【００７８】
また、プロジェクター１００〜１０２は、液晶プロジェクター（透過型、ＬＣＯＳ等の反射型）には限定されず、例えば、ＤＭＤ(Digital Micromirror Device)を用いたプロジェクター等であってもよい。なお、ＤＭＤは米国テキサス・インスツルメンツ社の商標である。また、プロジェクター１００〜１０２の機能を複数の装置（例えば、ＰＣとプロジェクター等）に分散して実装してもよい。
【図面の簡単な説明】
【００７９】
【図１】第１の実施例における投写状況を示す図である。
【図２】第１の実施例におけるプロジェクターの機能ブロック図である。
【図３】第１の実施例における音源データとユーザーデータの一例を示す図である。
【図４】第１の実施例における処理手順を示すフローチャートである。
【図５】第２の実施例における投写状況を示す図である。
【図６】第２の実施例におけるカメラとプロジェクターの機能ブロック図である。
【図７】第２の実施例における処理手順を示すフローチャートである。
【図８】第３の実施例における投写状況を示す図である。
【図９】第３の実施例におけるプロジェクターの機能ブロック図である。
【図１０】第３の実施例における処理手順を示すフローチャートである。
【符号の説明】
【００８０】
１０ テーブル、２０ スクリーン、３０ 参加者、４０ 会議室、１００〜１０２ プロジェクター、１１０、１１１ マイク、１２０、１２１ 音源方向決定部、１３０ データ生成部、１４０ 記憶部、１４２ 音声データ、１４４ 音源データ、１４６ ユーザーデータ、１５０ 制御情報生成部、１６０、２６０ ＵＳＢインターフェイス部、１７０ 通信部、１８０ 操作部、１８２〜１８４ 音声生成部、１８８ 音声出力部、１９０〜１９２ 画像生成部、１９８ 投写部、２００ カメラ、２１０ 撮像部、２２０ 撮像制御部
【技術分野】
【０００１】
本発明は、プロジェクター、会議システム、音源方向決定方法およびカメラ制御方法に関する。
【背景技術】
【０００２】
例えば、特開平６−３５１０１５号公報では、カメラスタンドに設置された３つのマイクからの音声情報を用いて話者の方向を決定し、カメラおよび高指向性集音マイクを当該方向に向けるように制御する撮像システムが記載されている。
【特許文献１】特開平６−３５１０１５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、特開平６−３５１０１５号公報に記載されたシステムは、大型のものになり、持ち運びが不便である。また、システムを小型化するために、カメラにマイクを内蔵する手法も考えられるが、この手法の場合、カメラ自体が大きくなってしまう。
【０００４】
本発明の第１の目的は、より簡易にマイクからの音声情報を用いて話者の方向を決定することが可能なプロジェクターおよび音源決定方法を提供することにある。また、本発明の第２の目的は、より簡易にマイクからの音声情報を用いて話者の方向を決定して当該方向に応じてカメラを制御することが可能なプロジェクター、会議システムおよびカメラ制御方法を提供することにある。
【課題を解決するための手段】
【０００５】
上記課題を解決するため、本発明に係るプロジェクターは、音声を入力して音声情報を生成する少なくとも１つのマイクと、前記音声情報に基づき、前記音声の音源の方向を決定する音源方向決定部と、を含むプロジェクターであって、前記少なくとも１つのマイクは、前記音源の方向を決定可能な位置に配置されていることを特徴とする。
【０００６】
本発明によれば、プロジェクターは、プロジェクターの有するマイクからの音声情報に基づいて音源の方向を決定することができるため、より簡易にマイクからの音声情報を用いて話者の方向を決定することができる。
【０００７】
また、前記プロジェクターは、前記音声情報と、前記音源方向決定部による決定とに基づき、前記音源を示す音源データを生成するデータ生成部を含んでもよい。
【０００８】
これによれば、プロジェクターは、音源と当該音源の音声を関連付けることにより、例えば、誰による音声であるかを容易に決定することができる。
【０００９】
また、前記プロジェクターは、外部のカメラと有線または無線で接続可能であって、前記カメラによる撮像情報を入力する投写側入力部と、前記カメラを制御する制御情報を前記カメラに出力する投写側出力部と、を含んでもよい。
【００１０】
これによれば、プロジェクターは、より簡易にマイクからの音声情報を用いて話者の方向を決定するとともに、カメラを制御することができる。
【００１１】
また、前記プロジェクターは、前記撮像情報に基づく画像を生成する画像生成部と、前記画像を投写する投写部と、を含んでもよい。
【００１２】
これによれば、プロジェクターは、音源の方向にある対象の撮像画像を投写することができるため、例えば、話者の撮像画像等を投写することができる。
【００１３】
また、前記プロジェクターは、前記撮像情報と、前記音声情報とを、ネットワークを介して表示装置へ向け送信する通信部を含んでもよい。
【００１４】
これによれば、プロジェクターは、例えば、遠隔地の表示装置で話者の撮像画像を表示させ、話者の音声を出力させることができる。
【００１５】
また、前記プロジェクターは、前記音声情報に基づく出力音声を出力する音声出力部を含んでもよい。
【００１６】
これによれば、プロジェクターは、例えば、話者の撮像画像を表示しつつ、話者の音声を出力することができる。
【００１７】
また、本発明に係る会議システムは、プロジェクターと、カメラとを有する会議システムであって、前記プロジェクターは、音声を入力して第１の音声情報を生成する少なくとも１つのマイクと、前記第１の音声情報に基づき、音源の方向を決定する音源方向決定部と、当該方向に応じて前記音源を前記カメラが撮像するように前記カメラを制御する制御情報を生成する制御情報生成部と、当該制御情報を前記カメラに出力する投写側出力部と、前記カメラによる第１の撮像情報を入力する投写側入力部と、前記第１の撮像情報と、前記第１の音声情報とを、ネットワークを介して表示装置へ向け送信するとともに、前記表示装置から第２の撮像情報と、第２の音声情報とを受信する通信部と、前記第１の撮像情報および前記第２の撮像情報の少なくとも一方に基づく画像を生成する画像生成部と、前記画像を投写する投写部と、前記第１の音声情報および前記第２の音声情報の少なくとも一方に基づく出力音声を生成する音声生成部と、前記出力音声を出力する音声出力部と、を含み、前記カメラは、前記制御情報を入力する撮像側入力部と、前記第１の撮像情報を生成する撮像部と、前記制御情報に基づき、前記撮像部を制御する撮像制御部と、前記第１の撮像情報を前記プロジェクターに出力する撮像側出力部と、を含むことを特徴とする。
【００１８】
本発明によれば、プロジェクターは、より簡易にマイクからの音声情報を用いて話者の方向を決定して当該方向に応じてカメラを制御することができる。これにより、プロジェクターは、より簡易に会議システムとして機能することができる。
【００１９】
また、本発明に係る音源方向決定方法は、プロジェクターの内部または外部に配置された少なくとも１つのマイクで音声を入力して音声情報を生成し、前記プロジェクターの有する音源方向決定部が、前記音声情報に基づき、前記音声の音源の方向を決定することを特徴とする。
【００２０】
本発明によれば、プロジェクターは、より簡易にマイクからの音声情報を用いて話者の方向を決定することができる。
【００２１】
また、本発明に係るカメラ制御方法は、外部のカメラと有線または無線で接続可能なプロジェクターによるカメラ制御方法であって、プロジェクターの内部または外部に配置された少なくとも１つのマイクで音声を入力して音声情報を生成し、前記プロジェクターの有する音源方向決定部が、前記音声情報に基づき、前記音声の音源の方向を決定し、前記プロジェクターの有する制御部が、決定された前記音源の方向に応じて前記音源を前記カメラが撮像するように前記カメラを制御することを特徴とする。
【００２２】
本発明によれば、プロジェクターは、より簡易にマイクからの音声情報を用いて話者の方向を決定して当該方向に応じてカメラを制御することができる。
【発明を実施するための最良の形態】
【００２３】
以下、本発明をプロジェクターに適用した実施例について、図面を参照しつつ説明する。なお、以下に示す実施例は、特許請求の範囲に記載された発明の内容を何ら限定するものではない。また、以下の実施例に示す構成のすべてが、特許請求の範囲に記載された発明の解決手段として必須であるとは限らない。
【００２４】
（第１の実施例）
図１は、第１の実施例における投写状況を示す図である。例えば、会議室で、３人の参加者３０−１〜３０−３がテーブル１０を囲んで座って会議を行うものとする。テーブル１０には、プロジェクター１００が設置され、プロジェクター１００は、スクリーン２０に画像を投写する。なお、参加者３０−１はプロジェクター１００の左側に座り、参加者３０−２はプロジェクター１００の右側に座り、参加者３０−３はプロジェクター１００の後ろ側に座っている。
【００２５】
プロジェクター１００には、４隅にマイク１１０−１〜１１０−４が設けられ、プロジェクター１００は、各マイク１１０からの音声情報に基づいて話者の位置を決定する機能を有する。
【００２６】
次に、このような機能を有するプロジェクター１００の機能ブロックについて説明する。図２は、第１の実施例におけるプロジェクター１００の機能ブロック図である。プロジェクター１００は、参加者３０の音声を入力して音声情報を生成するマイク１１０と、音声情報に基づき、音声の音源（参加者３０）の方向を決定する音源方向決定部１２０と、種々のデータを生成するデータ生成部１３０と、種々のデータを記憶する記憶部１４０と、操作部１８０と、音声生成部１８２と、音声出力部１８８と、画像生成部１９０と、投写部１９８を含んで構成されている。
【００２７】
また、記憶部１４０は、音声情報を示す音声データ１４２、音源等を示す音源データ１４４、ユーザー名等を示すユーザーデータ１４６等を記憶している。ここで、音源データ１４４とユーザーデータ１４６についてより詳細に説明する。
【００２８】
図３は、第１の実施例における音源データ１４４とユーザーデータ１４６の一例を示す図である。音源データ１４４の項目としては、例えば、プロジェクター１００の正面を基準とした位置を示す「音源位置」、録音開始からの経過時間を示す「経過時間」等が該当する。また、ユーザーデータ１４６の項目としては、例えば、プロジェクター１００の正面を基準とした位置を示す「位置」、参加者３０の名前を示す「ユーザー名」、ユーザー（参加者３０）の顔画像を示す「画像」等が該当する。
【００２９】
なお、これらの各部の機能をプロジェクター１００に実装するためのハードウェアは以下のものであってもよい。例えば、音源方向決定部１２０、データ生成部１３０はＣＰＵ等、記憶部１４０はＲＡＭ等、操作部１８０はボタン、リモコン（リモートコントローラ）等、音声生成部１８２は音声生成回路等、音声出力部１８８はアンプ、スピーカ等、画像生成部１９０は画像生成回路等、投写部１９８はランプ、液晶パネル、液晶駆動回路、レンズ等であってもよい。
【００３０】
次に、音源方向決定部１２０等を用いたプロジェクター１００における音声処理手順について説明する。図４は、第１の実施例における処理手順を示すフローチャートである。会議の開始後、プロジェクター１００は画像を投写する。各マイク１１０は音声を入力し、音源方向決定部１２０は各マイク１１０からの音声情報を入力する（ステップＳ１）。
【００３１】
音源方向決定部１２０は、音声情報に基づき、音声が途切れたかどうかを判定し（ステップＳ２）、音声が途切れていないと判定した場合は音源が変わったかどうかを判定する（ステップＳ３）。音声が途切れた場合または音源が変わった場合、音源方向決定部１２０は、音声情報に基づき、音源の方向を決定する（ステップＳ４）。
【００３２】
具体的には、例えば、音源方向決定部１２０は、４つのマイク１１０−１〜１１０−４からの４つの音声情報で示される音声の大きさを比較し、最も大きな音声が入力された方向を音源の方向として決定する。例えば、音源方向決定部１２０は、マイク１１０−１、１１０−２から入力された音声の大きさがほぼ同じでマイク１１０−３、１１０−４から入力された音声よりも大きい場合、音源の方向を左と決定する。
【００３３】
また、例えば、音源方向決定部１２０は、マイク１１０−３、１１０−４から入力された音声の大きさがほぼ同じでマイク１１０−１、１１０−２から入力された音声よりも大きい場合、音源の方向を右と決定する。また、例えば、音源方向決定部１２０は、マイク１１０−１、１１０−４から入力された音声の大きさがほぼ同じでマイク１１０−２、１１０−３から入力された音声よりも大きい場合、音源の方向を後ろと決定する。
【００３４】
データ生成部１３０は、音源方向決定部１２０による決定に応じて記憶部１４０に音源データ１４４を生成する（ステップＳ５）。例えば、データ生成部１３０は、内部のタイマで画像投写開始時からの経過時間をカウントし、音源方向決定部１２０によって決定された音源位置と、カウントした経過時間を音源データ１４４の一部として記憶部１４０に記憶していく。
【００３５】
なお、データ生成部１３０は、例えば、電源ボタン操作を示す情報、リモコンの再生ボタン操作を示す情報等に基づき、画像投写開始時を決定してもよい。例えば、この場合、これらのボタン操作時が画像投写開始時になる。また、データ生成部１３０は、マイク１１０からの音声情報を音声データ１４２として記憶部１４０に記憶していく。
【００３６】
音声生成部１８２は、例えば、リモコンのリプレイ操作を示す情報等に基づき、会議状況の再生指示があったかどうかを判定する（ステップＳ６）。例えば、リモコンのリプレイ操作があった場合、会議状況の再生指示があったことになる。
【００３７】
会議状況の再生指示があった場合、音声生成部１８２は、音声データ１４２に基づき、音声を生成し、音声出力部１８８は当該音声を出力する（ステップＳ７）。また、会議状況の再生指示があった場合、画像生成部１９０は、音源データ１４４と、ユーザーデータ１４６に基づき、会議状況を示す画像を生成し、投写部１９８は当該画像を投写する（ステップＳ８）。
【００３８】
具体的には、例えば、画像生成部１９０は、ＣＰＵのタイマ値を参照して経過時間を決定し、当該経過時間が該当する音源データ１４４の経過時間を決定し、決定した音源データ１４４の経過時間が該当する音源位置を決定し、ユーザーデータ１４６を参照して当該音源位置の画像データを用いて話者を示す画像を生成してもよい。
【００３９】
プロジェクター１００は、終了操作（例えば、電源オフ操作等）があったかどうかを判定し（ステップＳ９）、終了操作があった場合は一連の処理（ステップＳ１〜Ｓ９）を終了し、終了操作がなかった場合は当該一連の処理を続行する。
【００４０】
以上のように、本実施例によれば、プロジェクター１００は、プロジェクター１００の有するマイク１１０からの音声情報に基づいて音源の方向を決定することができるため、より簡易にマイク１１０からの音声情報を用いて話者の方向を決定することができる。
【００４１】
また、本実施例によれば、プロジェクター１００は、データ生成部１３０によって音源データ１４４を生成することにより、音源と当該音源の音声を関連付けることができるため、誰による音声であるかを容易に決定することができる。これにより、例えば、プロジェクター１００は、話者ごとに音声を出力したりすることができる。
【００４２】
また、本実施例によれば、プロジェクター１００は、データ生成部１３０によってユーザーデータ１４６を生成することにより、音源の位置とユーザーを関連付けることができるため、例えば、話者の音声出力と話者の画像表示を同期させたり、音声認識を行って話者名と話者の音声を文字列化した議事録を作成したりすることができる。
【００４３】
また、本実施例によれば、プロジェクター１００は、音声データ１４２、経過時間ごとの音源位置を示すデータ、各参加者３０の画像データ等を記憶しておくことにより、会議状況の再生指示に応じて音声を出力し、話者の顔画像を投写することができる。
【００４４】
（第２の実施例）
次に、外部のカメラと接続して話者を撮像して話者を示す画像を投写するプロジェクターについて説明する。図５は、第２の実施例における投写状況を示す図である。
【００４５】
プロジェクター１０１は、外部のカメラ２００と有線または無線で接続可能に形成されている。カメラ２００は、いわゆるネットワークカメラ、ウェブカメラ等であり、少なくとも水平方向に回転可能に形成されている。ここでは、プロジェクター１０１とカメラ２００がＵＳＢケーブルを介して接続されるものとする。
【００４６】
図６は、第２の実施例におけるカメラ２００とプロジェクター１０１の機能ブロック図である。カメラ２００は、参加者３０を撮像して撮像画像を示す撮像情報を生成する撮像部２１０と、ＵＳＢインターフェイス部２６０と、制御情報に応じて撮像部２１０を制御する撮像制御部２２０を含んで構成されている。なお、ＵＳＢインターフェイス部２６０は、撮像情報をプロジェクター１０１に出力する撮像側出力部として機能するともに、プロジェクター１０１から制御情報を入力する撮像側入力部として機能する。
【００４７】
また、プロジェクター１０１は、第１の実施例のプロジェクター１００と同様の構成であるが、制御情報生成部１５０と、ＵＳＢインターフェイス部１６０を有し、データ生成部１３０、記憶部１４０、操作部１８０を有しておらず、音源方向決定部１２１が制御情報生成部１５０に音源方向を伝達し、音声生成部１８３が音声情報に基づく音声を生成し、画像生成部１９１が撮像情報に基づく画像を生成する点でプロジェクター１００と相違している。なお、ＵＳＢインターフェイス部１６０は、カメラ２００から撮像情報を入力する投写側入力部として機能するとともに、カメラ２００に制御情報を出力する投写側出力部として機能する。
【００４８】
プロジェクター１０１のハードウェア構成はプロジェクター１００と同様であり、例えば、制御情報生成部１５０はＣＰＵ等であってもよい。また、撮像部２１０はＣＣＤカメラ、ＣＭＯＳカメラ等および回転機構等、撮像制御部２２０はＣＰＵ等であってもよい。
【００４９】
次に、音源方向決定部１２１等を用いたプロジェクター１０１における音声処理手順について説明する。図７は、第２の実施例における処理手順を示すフローチャートである。会議の開始後、プロジェクター１０１は画像を投写する。各マイク１１０は音声を入力し、音源方向決定部１２１および音声生成部１８３は各マイク１１０からの音声情報を入力する（ステップＳ１１）。
【００５０】
音源方向決定部１２１は、音声情報に基づき、音源の方向を決定する（ステップＳ１２）。なお、実際の処理は第１の実施例のステップＳ２〜Ｓ４の処理と同様である。
【００５１】
制御情報生成部１５０は、音源方向決定部１２１の決定に応じて制御情報を生成する（ステップＳ１３）。具体的には、例えば、音源が左に決定された場合、制御情報生成部１５０は、カメラ２００の撮像方向を左に向ける制御情報を生成する。なお、この場合、カメラ２００の初期状態の撮像方向をプロジェクター１０１の正面方向に向けておけば、プロジェクター１０１はカメラ２００の撮像方向を制御しやすい。
【００５２】
プロジェクター１００のＵＳＢインターフェイス部１６０は、制御情報を、ＵＳＢケーブルを介してカメラ２００に出力する（ステップＳ１４）。
【００５３】
カメラ２００のＵＳＢインターフェイス部２６０は、プロジェクター１００から制御情報を入力する。撮像制御部２２０は、制御情報に基づき、撮像部２１０を水平方向に回転させて音源を撮像させる。撮像部２１０は、音源である参加者３０を撮像して撮像画像を示す撮像情報を生成する（ステップＰ１）。
【００５４】
ＵＳＢインターフェイス部２６０は、撮像情報を、ＵＳＢケーブルを介してプロジェクター１０１に出力する（ステップＰ２）。
【００５５】
ＵＳＢインターフェイス部１６０は、撮像情報をカメラ２００から入力する（ステップＳ１５）。音声生成部１８３は、マイク１１０からの音声情報に基づき、音声を生成し、音声出力部１８８は、当該音声を出力する（ステップＳ１６）。画像生成部１９１は、カメラ２００からの撮像情報に基づき、撮像画像を生成し、投写部１９８は、当該撮像画像を投写する（ステップＳ１７）。
【００５６】
プロジェクター１０１は、終了操作があったかどうかを判定し（ステップＳ１８）、終了操作があった場合は一連の処理（ステップＳ１１〜Ｓ１８）を終了し、終了操作がなかった場合は当該一連の処理を続行する。
【００５７】
以上のように、本実施例によれば、プロジェクター１０１が音声入力、カメラ２００の制御等を行うことにより、汎用的なカメラ２００を適用することができる。すなわち、カメラ２００のメーカーやサイズは任意である。
【００５８】
また、本実施例によれば、プロジェクター１０１は、より簡易にマイク１１０からの音声情報を用いて話者の方向を決定することができる上、当該方向に応じてカメラ２００を制御することができる。これにより、プロジェクター１０１は、音源の方向にいる参加者３０の撮像画像を投写することができる。
【００５９】
また、本実施例によれば、プロジェクター１０１は、話者である参加者３０の撮像画像を投写しつつ、当該参加者３０の音声を出力することができる。これにより、参加者３０は、発言ごとに話者の方向を見ることなく、常にスクリーン２０を見ながら会議を行うことができるため、より効果的に会議を行うことができる。
【００６０】
（第３の実施例）
次に、第２の実施例のプロジェクター１０１と同様のプロジェクターに表示装置（ここではプロジェクター）との通信機能を追加し、４つのマイク１１０を１つのステレオマイクに変更し、ネットワーク会議を行う実施例について説明する。図８は、第３の実施例における投写状況を示す図である。
【００６１】
会議室４０−１にはプロジェクター１０２−１が配置され、会議室４０−２にはプロジェクター１０２−２が配置されている。プロジェクター１０２−１とプロジェクター１０２−２はＬＡＮで接続されており、相互に情報を送受信することができるように形成されている。また、プロジェクター１０２−１にはカメラ２００−１がＵＳＢケーブルで接続され、プロジェクター１０２−２にはカメラ２００−２がＵＳＢケーブルで接続されている。
【００６２】
図９は、第３の実施例におけるプロジェクター１０２の機能ブロック図である。プロジェクター１０２は、第２の実施例のプロジェクター１０１と同様の構成であるが、通信部１７０を有し、マイク１１１がステレオマイクであり、音声生成部１８４が音声情報を通信部１７０に出力し、画像生成部１９２が画像情報を通信部１７０に出力する点でプロジェクター１０１と相違している。通信部１７０は、例えば、ＬＡＮカード等であり、無線通信機能または有線通信機能を有する。
【００６３】
次に、これらの各部を用いたプロジェクター１０２における音声処理手順について説明する。図１０は、第３の実施例における処理手順を示すフローチャートである。ネットワーク会議の開始後、プロジェクター１０２は画像を投写する。マイク１１１は音声を入力し、音源方向決定部１２１および音声生成部１８４はマイク１１１からの音声情報を入力する（ステップＳ２１）。
【００６４】
なお、マイク１１１は、ステレオマイクであるため、少なくとも２方向の指向性を有し、各方向の音声を示す音声情報を生成することが可能である。音源方向決定部１２１は、音声情報で示されるマイク１１１で検出可能な各方向の音量等に基づき、音源の方向を決定する（ステップＳ２２）。
【００６５】
制御情報生成部１５０は、音源方向決定部１２１の決定に応じて制御情報を生成し（ステップＳ２３）、ＵＳＢインターフェイス部１６０は当該制御情報をカメラ２００に出力する（ステップＳ２４）。カメラ２００での処理は第２の実施例と同様のため、説明を省略する。
【００６６】
ＵＳＢインターフェイス部１６０は、撮像情報をカメラ２００から入力する（ステップＳ２５）。通信部１７０は、音声生成部１８４からの参加者３０の音声を示す音声情報と、画像生成部１９２からの参加者３０の撮像画像を示す撮像情報を他のプロジェクター１０２へ向け送信する（ステップＳ２６）。
【００６７】
また、同様に、通信部１７０は、参加者３０の撮像画像を示す撮像情報、参加者３０の音声を示す音声情報を他のプロジェクター１０２から受信する（ステップＳ２７）。
【００６８】
音声生成部１８３は、マイク１１１からの音声情報（第１の音声情報）と、通信部１７０からの音声情報（第２の音声情報）に基づき、発言中の参加者３０の音声を生成し、音声出力部１８８は、当該音声を出力する（ステップＳ２８）。また、画像生成部１９２は、ＵＳＢインターフェイス部１６０からの撮像情報（第１の撮像情報）と、通信部１７０からの撮像情報（第２の撮像情報）に基づき、発言中の参加者３０の撮像画像を生成し、投写部１９８は当該撮像画像を投写する（ステップＳ２９）。
【００６９】
プロジェクター１０２は、終了操作があったかどうかを判定し（ステップＳ３０）、終了操作があった場合は一連の処理（ステップＳ２１〜Ｓ３０）を終了し、終了操作がなかった場合は当該一連の処理を続行する。
【００７０】
以上のように、本実施例によれば、プロジェクター１０２は、より簡易にマイク１１１からの音声情報を用いて話者の方向を決定して当該方向に応じてカメラ２００を制御することができる。これにより、プロジェクター１０２は、より簡易に会議システムとして機能することができる。
【００７１】
また、本実施例によれば、プロジェクター１０２は、ステレオ音声の音声情報を送受信することにより、より臨場感のある会議システムを実現することができる。
【００７２】
（その他の実施例）
なお、本発明の適用は上述した実施例に限定されず、種々の変形が可能である。例えば、音源方向決定部１２０、１２１が音源の方向を決定したり、データ生成部１３０が音源データを生成したりする条件として、一定時間（例えば、３秒、５秒等）以上連続して音声が入力されたという条件、音源の方向が一定時間以上変化しなかったという条件等が採用されてもよい。
【００７３】
これによれば、プロジェクター１００〜１０２は、発言以外の音声（例えば、物音、相づち等）に対する処理を実行せず、発言に対してのみ処理を実行することができるため、より正確に音源の方向を決定したり、カメラ２００を音源の方向に向けたりすることができる。
【００７４】
また、マイク１１０、１１１の位置は、上述したプロジェクター１００、１０１の４隅やプロジェクター１０２の後部には限定されず、音源の方向を決定可能な位置であればどこでもよい。また、マイク１１０、１１１の個数は１個や４個には限定されず、２個、３個、５個以上であってもよい。例えば、参加者３０が左右１人ずつである場合、マイク１１０はプロジェクター１００〜１０２の左右に１つずつ配置されてもよい。
【００７５】
また、例えば、第３の実施例のプロジェクター１０２の通信対象となる装置は、プロジェクター１０２には限定されず、例えば、テレビ、通信会議システム等であってもよい。
【００７６】
また、第１〜第３の実施例の構成は適宜組合せられてもよい。例えば、プロジェクター１０１、１０２がデータ生成部１３０、音声データ１４２、音源データ１４４等を用いてもよい。また、プロジェクター１０１、１０２は、データ生成部１３０を用いてカメラ２００からの撮像情報を撮像データとして内部の記憶部に記憶してもよい。
【００７７】
例えば、プロジェクター１０１、１０２は、音声データ１４２、経過時間ごとの音源位置を示すデータ、話者の撮像データ等を記憶しておくことにより、会議状況の再生指示に応じて音声を出力し、話者の撮像画像を投写したり、話者を指定した再生指示に応じて当該話者の音声を出力し、当該話者の撮像画像を投写したりすることができる。
【００７８】
また、プロジェクター１００〜１０２は、液晶プロジェクター（透過型、ＬＣＯＳ等の反射型）には限定されず、例えば、ＤＭＤ(Digital Micromirror Device)を用いたプロジェクター等であってもよい。なお、ＤＭＤは米国テキサス・インスツルメンツ社の商標である。また、プロジェクター１００〜１０２の機能を複数の装置（例えば、ＰＣとプロジェクター等）に分散して実装してもよい。
【図面の簡単な説明】
【００７９】
【図１】第１の実施例における投写状況を示す図である。
【図２】第１の実施例におけるプロジェクターの機能ブロック図である。
【図３】第１の実施例における音源データとユーザーデータの一例を示す図である。
【図４】第１の実施例における処理手順を示すフローチャートである。
【図５】第２の実施例における投写状況を示す図である。
【図６】第２の実施例におけるカメラとプロジェクターの機能ブロック図である。
【図７】第２の実施例における処理手順を示すフローチャートである。
【図８】第３の実施例における投写状況を示す図である。
【図９】第３の実施例におけるプロジェクターの機能ブロック図である。
【図１０】第３の実施例における処理手順を示すフローチャートである。
【符号の説明】
【００８０】
１０ テーブル、２０ スクリーン、３０ 参加者、４０ 会議室、１００〜１０２ プロジェクター、１１０、１１１ マイク、１２０、１２１ 音源方向決定部、１３０ データ生成部、１４０ 記憶部、１４２ 音声データ、１４４ 音源データ、１４６ ユーザーデータ、１５０ 制御情報生成部、１６０、２６０ ＵＳＢインターフェイス部、１７０ 通信部、１８０ 操作部、１８２〜１８４ 音声生成部、１８８ 音声出力部、１９０〜１９２ 画像生成部、１９８ 投写部、２００ カメラ、２１０ 撮像部、２２０ 撮像制御部
【特許請求の範囲】
【請求項１】
音声を入力して音声情報を生成する少なくとも１つのマイクと、
前記音声情報に基づき、前記音声の音源の方向を決定する音源方向決定部と、
を含むプロジェクターであって、
前記少なくとも１つのマイクは、前記音源の方向を決定可能な位置に配置されている、
プロジェクター。
【請求項２】
請求項１に記載のプロジェクターにおいて、
前記音声情報と、前記音源方向決定部による決定とに基づき、前記音源を示す音源データを生成するデータ生成部を含む、
プロジェクター。
【請求項３】
請求項１、２のいずれかに記載のプロジェクターにおいて、
前記プロジェクターは、外部のカメラと有線または無線で接続可能であって、
前記カメラによる撮像情報を入力する投写側入力部と、
前記カメラを制御する制御情報を前記カメラに出力する投写側出力部と、
を含む、
プロジェクター。
【請求項４】
請求項３に記載のプロジェクターにおいて、
前記撮像情報に基づく画像を生成する画像生成部と、
前記画像を投写する投写部と、
を含む、
プロジェクター。
【請求項５】
請求項３、４のいずれかに記載のプロジェクターにおいて、
前記撮像情報と、前記音声情報とを、ネットワークを介して表示装置へ向け送信する通信部を含む、
プロジェクター。
【請求項６】
請求項１〜５のいずれかに記載のプロジェクターにおいて、
前記音声情報に基づく出力音声を出力する音声出力部を含む、
プロジェクター。
【請求項７】
プロジェクターと、カメラとを有する会議システムであって、
前記プロジェクターは、
音声を入力して第１の音声情報を生成する少なくとも１つのマイクと、
前記第１の音声情報に基づき、音源の方向を決定する音源方向決定部と、
当該方向に応じて前記音源を前記カメラが撮像するように前記カメラを制御する制御情報を生成する制御情報生成部と、
当該制御情報を前記カメラに出力する投写側出力部と、
前記カメラによる第１の撮像情報を入力する投写側入力部と、
前記第１の撮像情報と、前記第１の音声情報とを、ネットワークを介して表示装置へ向け送信するとともに、前記表示装置から第２の撮像情報と、第２の音声情報とを受信する通信部と、
前記第１の撮像情報および前記第２の撮像情報の少なくとも一方に基づく画像を生成する画像生成部と、
前記画像を投写する投写部と、
前記第１の音声情報および前記第２の音声情報の少なくとも一方に基づく出力音声を生成する音声生成部と、
前記出力音声を出力する音声出力部と、
を含み、
前記カメラは、
前記制御情報を入力する撮像側入力部と、
前記第１の撮像情報を生成する撮像部と、
前記制御情報に基づき、前記撮像部を制御する撮像制御部と、
前記第１の撮像情報を前記プロジェクターに出力する撮像側出力部と、
を含む、
会議システム。
【請求項８】
プロジェクターの内部または外部に配置された少なくとも１つのマイクで音声を入力して音声情報を生成し、
前記プロジェクターの有する音源方向決定部が、前記音声情報に基づき、前記音声の音源の方向を決定する、
音源方向決定方法。
【請求項９】
外部のカメラと有線または無線で接続可能なプロジェクターによるカメラ制御方法であって、
プロジェクターの内部または外部に配置された少なくとも１つのマイクで音声を入力して音声情報を生成し、
前記プロジェクターの有する音源方向決定部が、前記音声情報に基づき、前記音声の音源の方向を決定し、
前記プロジェクターの有する制御部が、決定された前記音源の方向に応じて前記音源を前記カメラが撮像するように前記カメラを制御する、
カメラ制御方法。
【請求項１】
音声を入力して音声情報を生成する少なくとも１つのマイクと、
前記音声情報に基づき、前記音声の音源の方向を決定する音源方向決定部と、
を含むプロジェクターであって、
前記少なくとも１つのマイクは、前記音源の方向を決定可能な位置に配置されている、
プロジェクター。
【請求項２】
請求項１に記載のプロジェクターにおいて、
前記音声情報と、前記音源方向決定部による決定とに基づき、前記音源を示す音源データを生成するデータ生成部を含む、
プロジェクター。
【請求項３】
請求項１、２のいずれかに記載のプロジェクターにおいて、
前記プロジェクターは、外部のカメラと有線または無線で接続可能であって、
前記カメラによる撮像情報を入力する投写側入力部と、
前記カメラを制御する制御情報を前記カメラに出力する投写側出力部と、
を含む、
プロジェクター。
【請求項４】
請求項３に記載のプロジェクターにおいて、
前記撮像情報に基づく画像を生成する画像生成部と、
前記画像を投写する投写部と、
を含む、
プロジェクター。
【請求項５】
請求項３、４のいずれかに記載のプロジェクターにおいて、
前記撮像情報と、前記音声情報とを、ネットワークを介して表示装置へ向け送信する通信部を含む、
プロジェクター。
【請求項６】
請求項１〜５のいずれかに記載のプロジェクターにおいて、
前記音声情報に基づく出力音声を出力する音声出力部を含む、
プロジェクター。
【請求項７】
プロジェクターと、カメラとを有する会議システムであって、
前記プロジェクターは、
音声を入力して第１の音声情報を生成する少なくとも１つのマイクと、
前記第１の音声情報に基づき、音源の方向を決定する音源方向決定部と、
当該方向に応じて前記音源を前記カメラが撮像するように前記カメラを制御する制御情報を生成する制御情報生成部と、
当該制御情報を前記カメラに出力する投写側出力部と、
前記カメラによる第１の撮像情報を入力する投写側入力部と、
前記第１の撮像情報と、前記第１の音声情報とを、ネットワークを介して表示装置へ向け送信するとともに、前記表示装置から第２の撮像情報と、第２の音声情報とを受信する通信部と、
前記第１の撮像情報および前記第２の撮像情報の少なくとも一方に基づく画像を生成する画像生成部と、
前記画像を投写する投写部と、
前記第１の音声情報および前記第２の音声情報の少なくとも一方に基づく出力音声を生成する音声生成部と、
前記出力音声を出力する音声出力部と、
を含み、
前記カメラは、
前記制御情報を入力する撮像側入力部と、
前記第１の撮像情報を生成する撮像部と、
前記制御情報に基づき、前記撮像部を制御する撮像制御部と、
前記第１の撮像情報を前記プロジェクターに出力する撮像側出力部と、
を含む、
会議システム。
【請求項８】
プロジェクターの内部または外部に配置された少なくとも１つのマイクで音声を入力して音声情報を生成し、
前記プロジェクターの有する音源方向決定部が、前記音声情報に基づき、前記音声の音源の方向を決定する、
音源方向決定方法。
【請求項９】
外部のカメラと有線または無線で接続可能なプロジェクターによるカメラ制御方法であって、
プロジェクターの内部または外部に配置された少なくとも１つのマイクで音声を入力して音声情報を生成し、
前記プロジェクターの有する音源方向決定部が、前記音声情報に基づき、前記音声の音源の方向を決定し、
前記プロジェクターの有する制御部が、決定された前記音源の方向に応じて前記音源を前記カメラが撮像するように前記カメラを制御する、
カメラ制御方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１０−８５６８８（Ｐ２０１０−８５６８８Ａ）
【公開日】平成２２年４月１５日（２０１０．４．１５）
【国際特許分類】
【出願番号】特願２００８−２５４３５３（Ｐ２００８−２５４３５３）
【出願日】平成２０年９月３０日（２００８．９．３０）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
【公開日】平成２２年４月１５日（２０１０．４．１５）
【国際特許分類】
【出願日】平成２０年９月３０日（２００８．９．３０）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
[ Back to top ]