オーディオエンハンス型装置
【課題】 コンピュータ及び出力装置を備えた、オーディオを向上させるシステムを提供する。
【解決手段】 コンピュータは、コンピュータに対するユーザの位置を決定するよう構成されたセンサを備えている。又、センサは、コンピュータの環境に対応する環境データを収集するようにも構成される。又、コンピュータは、センサと通信するプロセッサであって、ユーザの位置及び環境データを処理しそしてオーディオ出力又はビデオ出力の少なくとも一方を調整するように構成されたプロセッサも備えている。出力装置は、プロセッサと通信し、そしてオーディオ出力又はビデオ出力の少なくとも一方を出力するように構成される。
【解決手段】 コンピュータは、コンピュータに対するユーザの位置を決定するよう構成されたセンサを備えている。又、センサは、コンピュータの環境に対応する環境データを収集するようにも構成される。又、コンピュータは、センサと通信するプロセッサであって、ユーザの位置及び環境データを処理しそしてオーディオ出力又はビデオ出力の少なくとも一方を調整するように構成されたプロセッサも備えている。出力装置は、プロセッサと通信し、そしてオーディオ出力又はビデオ出力の少なくとも一方を出力するように構成される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般的に、電子装置に係り、より詳細には、電子装置のオーディオ出力に係る。
【背景技術】
【０００２】
コンピュータ、移動電話、オーディオプレーヤ、ラップトップ、タブレットコンピュータ、テレビジョン、等の電子装置（以下「電子装置」）は、典型的に、一体化されたオーディオ出力装置（例えば、スピーカ）を有するか、又はオーディオ出力装置と通信できるようにされる。更に、多くの電子装置は、ビジュアル又はビデオ出力装置も備え、或いはビデオディスプレイ装置と通信する。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
多くのオーディオ／ビジュアル出力装置は、環境、周囲、状況、番組及び／又は環境に対しオーディオ出力を調整できる場合には、改良されたオーディオ又はビデオ出力を得ることができる。しかしながら、多くのオーディオ及びビデオ出力装置は、特定出力を変化させるためにユーザ入力又は相互作用を必要とするか、或いは可変出力設定を有していない。これらの場合には、オーディオ及び／又はビデオ出力が、特定の環境、番組、状況、等に対し最良品質の音響又は画像を形成し又は出力することができない。
【課題を解決するための手段】
【０００４】
本開示の一例は、コンピューティング装置からオーディオを出力するための方法の形態をとる。この方法は、センサによってユーザを検出することを含む。ユーザが検出されると、プロセスは、ユーザがオーディオ出力装置の現在オーディオ出力に対して最適な範囲であるかどうか決定する。ユーザが最適な範囲内でない場合には、プロセッサがオーディオ出力を変更する。更に、センサは、ユーザがコンピューティング装置を向いているかどうかも決定する。ユーザの向きに基づき、プロセッサは、オーディオ装置を調整する。
【０００５】
本開示の他の例は、コンピュータのオーディオを向上（エンハンス）させるための方法の形態をとる。この方法は、コンピュータに対するユーザの位置をセンサにより決定することを含む。ユーザの位置が決定されると、センサは、コンピュータの環境に対応する環境データを収集する。次いで、プロセッサは、環境データのオーディオビジュアル設定ビュー及びユーザの位置を調整する。
【０００６】
本開示の更に別の例は、コンピュータ及び出力装置を備えた、オーディオを向上させるシステムの形態をとる。コンピュータは、コンピュータに対するユーザの位置を決定するように構成されたセンサを備えている。又、センサは、コンピュータの環境に対応する環境データを収集するようにも構成される。又、コンピュータは、センサと通信するプロセッサであって、ユーザの位置及び環境データを処理しそしてオーディオ出力又はビデオ出力の少なくとも一方を調整するように構成されたプロセッサも備えている。出力装置は、プロセッサと通信し、そしてオーディオ出力又はビデオ出力の少なくとも一方を出力するように構成される。
【図面の簡単な説明】
【０００７】
【図１Ａ】オーディオ出力を向上させるシステムを示す図である。
【図１Ｂ】図１Ａのシステムのコンピュータのブロック図である。
【図１Ｃ】コンピュータがネットワークを経て第２のコンピュータと通信するところを示す図である。
【図２】選択オーディオ及びビデオ処理経路が示された図１Ａのシステムのブロック図である。
【図３】ユーザ場所及び位置に基づいてオーディオ出力を調整するための規範的な方法を示すフローチャートである。
【図４】オーディオ及び／又はビデオ出力を向上させるための規範的な方法を示すフローチャートである。
【図５Ａ】複数の人のビデオ会議を表示するコンピュータの図である。
【図５Ｂ】図５Ａのコンピュータに表示されたユーザを第２のコンピュータで捕獲したところを示す上面図である。
【図５Ｃ】個人Ａ及び個人Ｂのオーディオ及びビデオが向上された図５Ａのコンピュータを示す図である。
【図６】図５Ａ−５Ｃに示すビデオ会議セッション中に特定の個人のオーディオ及び／又はビデオを向上されための規範的な方法を示すフローチャートである。
【図７Ａ】インスタントメッセージング、ボイス、又は複数のインスタンスを実行及び表示するビデオチャットプログラムを伴うコンピュータの図である。
【図７Ｂ】図７Ａの複数のオーディオ／ビデオインスタンスに対応するオーディオＡ、Ｂ、Ｃ、Ｄに対するオーディオ方向の図である。
【図８】特定のオーディオ／ビデオインスタンスのオーディオを指向するための規範的な方法を示すフローチャートである。
【発明を実施するための形態】
【０００８】
概略
ここに述べる幾つかの実施形態では、この開示は、電子装置からのオーディオ出力を、１つ以上の基準、例えば、アクティブなアプリケーション、ユーザ相互作用、及び環境パラメータに基づいて向上させるための方法の形態をとる。又、この方法は、（もしあっても）著しいアクティブなユーザ相互作用を伴わずにユーザ入力を与えることを含む。換言すれば、このシステムは、ユーザがユーザ入力を物理的に又は故意にシステムに入力する必要がないように、ユーザ入力を補間するのにセンサ及び画像形成装置に依存する。これは、ユーザから直接アクティブな入力を要求せずにオーディオ出力を向上させるように、オーディオ出力装置が異なるユーザパラメータに対して動的に調整を行えるようにする。
【０００９】
１つの実施形態において、このシステムは、ビデオ会議又はチャットに対しオーディオ出力を向上させることができる。あるユーザは、ビデオ会議を使用して、人々のグループと会話をすることができる。例えば、旅行中の親が、子供や配偶者を含む全家族とビデオ会議をすることができる。人々のグループでは、ある人々は、コンピュータの近くに又はコンピュータから離れて位置してもよい。更に、一度に複数の異なる人々が話をしてもよい。ビデオ会議の間に、受信端のユーザは、特に、一度に複数の人々が話をする場合に各人が何と言っているか決定することが困難である。
【００１０】
このシステムは、異なるユーザの画像を捕獲し（例えば、ビデオカメラを経て）そして受信側ユーザは、特定ユーザの音声を向上させることができる。例えば、受信側ユーザは、この実施形態で焦点を当てようとする特定のユーザの画像をタップし（さもなければ、ユーザを選択又は指示し）、そしてこのシステムは、音声をデジタルで向上させると共に、マイクロホンをユーザに向けて、ユーザの音声入力を良好に捕獲する。１つの例において、このシステムは、ディスプレイスクリーンの周囲に離間された複数のマイクロホンを有するコンピュータを備え、そして特定のマイクロホンは、ターンオン／オフされると共に、望ましいオーディオ信号を最良に捕獲するために回転される。
【００１１】
同様に、このシステムは、マイクロホンを指向し、オーディオを向上させ、及び／又は話をしている個人にビデオ画像の焦点を合わせる。口追跡又はスピーチ認識を使用して、話をしている特定のユーザにオーディオ及び／又はビデオの焦点を合わせる。これは、オーディオデータストリームを受け取るユーザが、ユーザの話（例えば、システムの送信側ユーザ）を良く聞きとれるようにする。従って、ユーザの音声又はビデオ画像の一方又は両方の向上特徴は、自動的であってもよいし（例えば、口追跡又はスピーチ認識に基づく）、或いはユーザ入力に基づくものでもよい（例えば、ユーザは、ユーザ又は焦点エリアを選択できる）。
【００１２】
出力オーディオの音質は、環境に少なくとも一部分依存する。例えば、エコー打ち消しが望ましく、及び／又は部屋のサイズ及び音響によって影響を受ける。出力オーディオの音質に影響する２つのファクタは、部屋の大きさ及び反響の質を含む。１つの実施形態では、このシステムは、オーディオ出力装置に対するユーザの場所、オーディオ出力装置に対するユーザの位置（例えば、頭を正面に向けた又はそむけた）、及び環境入力（部屋のサイズ、部屋の反響、温度、等）に基づきオーディオ出力を調整するように構成される。ユーザの入力は、室内の自分の場所、オーディオ出力装置に向いているかどうか、等を含む。更に、このシステムは、ユーザ及び環境入力に基づくだけでなく、コンピュータ又はオーディオ出力装置が動作している現在アプリケーションにも基づいて、オーディオ出力を変化させる。例えば、アプリケーションが電話コールである場合には、音楽プレーヤアプリケーションと比較して応答が変化される。
【００１３】
種々の実施形態において、このシステムは、ビデオ、オーディオ、及び環境センサを含む。例えば、画像センサ（例えば、カメラ）、奥行きセンサ（超音波、赤外線、高周波、等）、等が使用される。更に、望ましい出力は、コンピュータに対するユーザの場所に基づいて変化され、例えば、ユーザが広い部屋の中でコンピュータから離れている場合・対・ユーザが小さな部屋の中でコンピュータに接近している場合、に基づいて変化される。例えば、ある物体がユーザから離れて位置されてビデオに存在する場合には、特定の物体（又はユーザ）の出力オーディオは、物体が離れているかのようにユーザに音を発するように変化される。この具現化では、ユーザの全オーディオ／ビジュアル経験を向上させるために遠フィールド画像のローカルオーディオに奥行きが与えられる。
【００１４】
更に別の実施形態では、このシステムは、ユーザに基づいて出力オーディオを調整するように構成される。男性、女性及び子供は、全て、異なる聴力スペクトルを有し、一般的に、女性は、男性よりも聴力が優れ、そして子供は、大人の男女より聴力が優れている。このシステムは、スピーチ又は顔認識或いは他の性別識別技術を利用して、出力オーディオを特定のユーザに基づいて変化させる。
【００１５】
規範的なシステム
規範的な実施形態において、本開示は、ユーザのオーディオ経験を向上させるシステムの形態である。図１Ａは、向上したオーディオを与える規範的なシステム１００のブロック図である。このシステム１００は、コンピュータ１０２又は他の電子装置及びオーディオ出力装置１０６、１１０（これは、コンピュータ１０２と一体的であるか、それとは個別であるか、又はその両方の組合せである）を備えている。コンピュータ１０２は、処理能力をもつ実質的に任意の形式の電子装置であり、ラップトップ、タブレット、スマートホン、オーディオプレーヤ、及びテレビジョンを含むが、これに限定されない。この実施形態では、コンピュータ１０２は、外部オーディオ出力装置１１０及び一体化されたオーディオ出力装置１０６と通信する。しかしながら、ある例において、システム１００は、単一のオーディオ出力装置１０６、１１０を含んでもよいし、又は複数の他のオーディオ出力装置（例えば、サラウンドサウンド５スピーカシステム）を含んでもよいことに注意されたい。オーディオ出力装置１０６、１１０は、スピーカ、スピーカのセット、ヘッドホン、又は電子信号に応答してサウンドを発生できる他の装置である。
【００１６】
オーディオ装置１０６、１１０は、コンピュータ１０２の上及び／又はコンピュータ１０２の周囲の実質的にどこにでも配置することができる。オーディオ装置１０６、１１０の形式、電力及び構造は、コンピュータ１０２から発生されるオーディオの音質に影響すると共に、最良のサウンドを発生するのに必要な種々のソフトウェア交換にも影響する。
【００１７】
図１Ｂは、規範的なコンピュータ１０２のブロック図である。コンピュータ１０２は、プロセッサ１１８、ネットワーク／通信インターフェイス１２０、入力／出力インターフェイス１２６、ビデオ入力／出力インターフェイス１２８、センサ１２４、メモリ１３０、オーディオ入力／出力インターフェイス１３２、ビデオセンサ１３４、及び／又はマイクロホン１３６を備えている。コンピュータ１０２の種々のコンポーネントは、システムバス１２２（又は複数のシステムバス）を経て電子的に一緒に接続される。種々のコンポーネントは、いずれも、省略及び／又は結合されてもよいことに注意されたい。例えば、ビデオ入力／出力インターフェイス１２８は、オーディオ入力／出力インターフェイス１３２及び汎用入力／出力インターフェイス１２６の一方又は両方と結合されてもよい。更に、コンピュータ１０２は、図示されていない付加的なローカル又はリモートコンポーネントを含み、そして図２は、例示に過ぎない。
【００１８】
プロセッサ１１８は、コンピュータ１０２及びそのコンポーネントの動作を制御する。プロセッサ１１８は、実質的に、受信及び／又は送信インストラクションを処理することのできる電子装置である。例えば、プロセッサ１１８は、マイクロプロセッサ又はマイクロコンピュータである。
【００１９】
ネットワーク／通信インターフェイス１２０は、種々の電気信号を受信及び送信する。例えば、ネットワーク／通信インターフェイス１２０は、コンピュータ１０２をネットワークに接続して、ネットワークを経て他のコンピュータ又は電子装置との間で信号を送信及び受信するのに使用される。又、ネットワーク／通信インターフェイス１２０は、ワイヤレス又はワイヤード接続（インターネット、ＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｅｔｈｅｒｎｅｔ（登録商標）、ＵＳＢ、及びＦｉｒｅｗｉｒｅを含むが、これらに限定されない）を経て電子信号を送信及び送出するのにも使用される。
【００２０】
メモリ１３０は、コンピュータ１０２により使用される電子データを記憶する。例えば、メモリ１３０は、これに限定されないが、オーディオファイル、ビデオファイル、ドキュメントファイル、及びデータファイルを含む任意の形式のコンテンツを含む電子データを記憶する。記憶データは、コンピュータの１つ以上の種々のアプリケーション及び／又はオペレーションに対応する。メモリ１３０は、一般的に、これに限定されないが、不揮発性記憶装置、磁気記憶媒体、光学記憶媒体、磁気光学記憶媒体、電気的記憶媒体、リードオンリメモリ、ランダムアクセスメモリ、消去可能なプログラマブルメモリ、及びフラッシュメモリを含む任意のフォーマットである。又、メモリ１３０は、コンピュータ１０２に対してローカル位置に及び／又はそこからリモート位置に設けられてもよい。
【００２１】
種々の入力／出力インターフェイス１２６、１２８、１３２は、入力／出力装置との間の通信を与える。例えば、オーディオ入力／出力インターフェイス１３２は、オーディオ装置１０６、１１０へ入力を与え、及びそこから出力を受け取る。同様に、ビデオ入力／出力インターフェイス１２８は、ディスプレイ装置（例えば、コンピュータモニタ、ディスプレイスクリーン又はテレビジョン）へ入力及び出力を与える。更に、汎用入力／出力インターフェイス１２６、１２８、１３２は、コントロールボタン、スイッチ、等から入力を受け取る。ある実施形態では、入力インターフェイスが結合されてもよい。例えば、入力／出力インターフェイス１２６、１２８、１３２は、（例えば、キーボード、タッチ感知面、マウス、聴覚入力又は他の装置を経て）ユーザ、コンピュータ１０２のコントロールボタン（例えば、電源ボタン、ボリュームボタン）、等からデータを受け取る。更に、入力／出力インターフェイス１１２は、例えば、ユニバーサルシリアルバス（ＵＳＢ）又は他のビデオ／オーディオ／データ入力のような外部装置へデータを送信し／そこからデータを受信する。
【００２２】
図１Ｃにおいて明らかなように、ある場合には、コンピュータ１０２は、ネットワーク１３８を経て第２のコンピュータ１０３と通信する。更に、図１Ｃに示すように、ある場合には、コンピュータ１０２は、ネットワーク１４０を経て別の又は第２のコンピュータ１０３（又はサーバー）に接続される。例えば、コンピュータ１０２は、会議又はチャットアプリケーションのために第２のコンピュータ１０３に接続される。更に、コンピュータ１０２は、第２のコンピュータ１０３からストリーミングオーディオ及び／又はビデオを受信する。
【００２３】
ネットワーク１３８は、第１のコンピュータ１０２と第２のコンピュータ１０３との間に電子的な通信を与える。ネットワーク１３８は、実質上、任意の形式の電子通信メカニズム／経路でよく、そしてワイヤレスでも、ワイヤードでも、又はそれらの組み合わせでもよい。ネットワーク１３８は、インターネット、イーサネット（登録商標）、ユニバーサルシリアルバス（ＵＳＢ）ケーブル、又は無線信号（例えば、ＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標））を含む。
【００２４】
マイクロホン１３６は、コンピュータ１０２に一体化されてもよいし、又は個別に取り付けられてプロセッサ１１８と通信してもよい。マイクロホン１３６は、音響又は電気的送信器であり、オーディオ入力を受信して、そのオーディオに対応する電気的出力を発生するように構成される。複数のマイクロホン１３６がコンピュータ１０２に合体されてもよいし、さもなければ、それと通信するようにされてもよい。例えば、ある具現化において、コンピュータ１０２の周囲の種々の場所に配置された複数のマイクロホンのマイクロホンアレイが設けられる。
【００２５】
ビデオセンサ１３４は、ビデオ又は画像捕獲装置（１つ又は複数）である。ビデオセンサ１３４は、コンピュータ１０２に一体化（例えば、コンピュータ１０２のエンクロージャーに接続）されてもよく、及び／又はコンピュータ１０２の外部にあってそれと通信されてもよい。ビデオセンサ１３４は、ビデオ会議／チャットのような種々のアプリケーションに使用されるビデオ及びスチール画像を捕獲するのに使用できるものである。
【００２６】
図２は、入力から出力への規範的なオーディオ／ビデオ処理経路を示すシステム１００のブロック図である。図１Ａ、１Ｂ及び２を参照すれば、システム１００は、オーディオ及びビデオ出力を向上させ調整するために種々のセンサ間で通信を行う。ビデオセンサ１３４は、プロセッサ１１８にビデオ入力を与え、雑多なセンサ１２４は、プロセッサ１１８にユーザ及び環境データを与え、そしてオーディオ入力１３２は、プロセッサ１１８に入力オーディオを与える。プロセッサ１１８は、種々の入力の処理と、ビデオ及びオーディオ出力の調整とを別々に又は一緒に行って、スピーカ１１０及び／又はディスプレイ１０４に与える。
【００２７】
一例において、ビデオセンサ１３４、センサ１２４、及びオーディオ入力１３２は、ユーザ及び／又はコンピュータ１０２の環境（例えば、部屋、周囲）に関する画像データを与える。プロセッサ１１８は、次いで、スピーカ１１０に送られるオーディオ出力特性を向上又は変更させ、向上したオーディオ経験を与えることができる。オーディオ出力がユーザに音を発する仕方は、ユーザがオーディオ出力装置に対してどこに位置するか、及び部屋又は環境の特性に依存し、又はそれによって影響される。オーディオ特性又は設定が変更されない場合、第１の部屋に特定のサウンドを生じさせるオーディオ信号は、第２の部屋には著しく異なる音を発生させる。例えば、第１の部屋が第２の部屋より小さいか、又は第１の部屋がカーペットで第２の部屋が木製フローリングの場合に、そうである。
【００２８】
それ故、ビデオ及び画像入力並びにオーディオ入力１３２（例えば、エコー特性、コンピュータ１０２に対するユーザの位置、コンピュータ１０２に対するユーザの方向）を受信した後に、オーディオ及びビデオ出力を、プロセッサ１１８により向上させることができる。これは、コンピュータ１０２が、ユーザ及び／又は環境を最良に受け容れるようにオーディオ及び／又はビデオを調整できるようにする。
【００２９】
図２において明らかなように、プロセッサ１１８は、個別の処理ユニット、例えば、画像処理ユニット１４２、ユーザ／環境インターフェイス処理ユニット１４４、オーディオ処理ユニット１４６、及び出力処理ユニット１４５を備えている。これらの処理ユニット１４２、１４４、１４５、１４６は、プロセッサ１１８に一体化されてもよいし、個別の装置であってもよい。各処理ユニット１４２、１４４、１４５、１４６は、センサから出力を受け取り、及びセンサ入力を調整するために特定のセンサと通信することができる。例えば、オーディオ処理ユニット１４６は、話をしている特定のユーザにマイクロホン１３６を向け又は操向してユーザの音声を良好に捕獲する。同様に、画像処理ユニット１４２は、ビデオセンサ１３４を特定のユーザに焦点を合わせ又はズーミングすることができる。更に別の例では、ユーザ／インターフェイス処理ユニット１４４は、付加的な環境／ユーザデータを収集するように特定のセンサ１２４を指向する。更に、出力処理ユニット１４５は、オーディオ信号を後処理し（例えば、ノイズ周波数を減少し、特定の周波数を向上させ、等）、オーディオレベルのエラーを修正し、大きさを特定レベルに調整し（例えば、オーディオ信号をイコライズし）、エコー打ち消しを行い、ピークフィルタリングを行い、等々を行うための周波数フィルタを含む。
【００３０】
ユーザの場所及び位置に基づくオーディオ出力の調整
図３は、ユーザ場所及び位置に基づいてオーディオ出力を調整するための規範的な方法２００を示すフローチャートである。この方法２００は、動作２０２で始まり、コンピュータ１０２は、ユーザ（１人又は複数）を検出する。コンピュータ１０２は、センサ１２４を使用して、動きを捕獲するか、ビデオセンサ１３４を使用して、画像を捕獲しそして分析する（例えば、顔認識）か、或いはオーディオセンサ１３２を使用してユーザによるノイズを捕獲する。
【００３１】
ユーザが検出されると、方法２００は、動作２０４へ進み、コンピュータ１０２は、現在のオーディオ出力設定及びスピーカ１１０の配置に基づきユーザが最適な範囲内にいるかどうか決定する。例えば、コンピュータ１０２は、種々のセンサを使用してユーザの場所を決定する。コンピュータ１０２は、同じセンサ及び方法を使用して、ユーザの存在を検出し、コンピュータ１０２及び／又はスピーカ１１０に対するユーザの場所を決定する。ユーザの場所の検出は、推定又は単一入力であり、例えば、コンピュータは、ユーザがコンピュータ１０２の真ん前にいないことを単純に検出するか、或いは検出がより詳細に行われて、コンピュータ１０２は、より進歩した感知技術を使用して、コンピュータ１０２に対するユーザのおおよその場所を決定する。
【００３２】
ユーザの場所が決定されると、コンピュータ１０２は、ユーザの場所を現在のオーディオ出力設定と比較し、ユーザの位置に基づいてオーディオが最適な範囲内にあるかどうか決定する。一例として、ユーザがコンピュータ１０２から数ヤード離れて位置し、そしてユーザがスピーカ１１０又はコンピュータ１０２の真ん前にいるかのようにオーディオが出力される構成である場合には、オーディオを調整する必要がある。オーディオは、ボリュームが増加されるか、外部スピーカ１１０がターンオンされるか、内部スピーカ１０６がターンオフされるか、サラウンドサウンドが「スクリーンチャンネル」設定からサラウンドサウンドフォーマットにスイッチされるか、或いはサラウンドサウンドチャンネルが内部スピーカから外部スピーカ、並びに左サラウンドチャンネル及び右サラウンドチャンネルに再指向されるように、ユーザに対して調整される。他方、オーディオが既に調整されているか、又は距離設定で構成された場合には、オーディオは、ユーザの場所に基づいて調整される必要はない。
【００３３】
ユーザの場所に最も適するようにするためオーディオを調整する必要がある場合には、方法２００は、動作２０６へ進む。動作２０６は、ユーザの場所に基づいてオーディオを調整する。ユーザがコンピュータ１０２又はスピーカ１０６、１１０から離れて位置する場合には、コンピュータ１０２は、外部スピーカ１１０をアクチベートし、そして内部スピーカ１０６をターンオフする。例えば、外部スピーカ１１０は、サラウンドサウンドスピーカアレイの一部分を形成し、それ故、内部コンピュータスピーカ１０６に比して良好な「部屋」サウンド経験を与えることができる。同様に、ユーザがコンピュータ１０２の真ん前にいる場合には、コンピュータ１０２は、内部スピーカ１０６がアクチベートされるようにオーディオを調整する。
【００３４】
更に、コンピュータ１０２は、これに限定されないが、ボリューム、低音、高音、周波数帯域レベルを含む種々のオーディオ設定を調整する。［［発明者−調整できる他の特性があるか？］］これは、スピーカ１０６、１１０の単一セットしかなくても、及び／又はスピーカ１０６、１１０が調整されなくても、オーディオ信号を調整できるようにする。
【００３５】
オーディオがユーザの場所に基づき調整されると、又は設定されたオーディオ範囲内にユーザが既にいるために動作２０４においてオーディオを調整する必要がない場合には、方法２００は、動作２０８へ進む。動作２０８において、この実施形態は、ユーザがコンピュータ１０２に向けられたかどうか決定する。これは、ユーザがコンピュータ１０２から離れた距離に位置する場合に、ユーザがコンピュータ１０２に向いているかどうか決定することが（パワフルなセンサなしに）困難であるような任意な動作である。しかしながら、他の実施形態では、ユーザがコンピュータ１０２に比較的接近しているか、又はシステム１００が適当なセンサを含む場合に、コンピュータ１０２は、コンピュータ１０２に対するユーザの各方向を決定する。又、ある実施形態では、スピーカ１０６、１１０に対するユーザの方向を決定できることに注意されたい。これは、スピーカ１０６、１１０にセンサを含ませるか、又はコンピュータ１０２に対するユーザの方向を、コンピュータ１０２に対するスピーカ１０６、１１０の場所と比較することで、行われる。
【００３６】
動作２０８において、コンピュータ１０２は、ビデオセンサ１３４を経てユーザの画像を捕獲し、さもなければ、それを与える。画像処理ユニット１４６は、ユーザの目の凝視を追跡する凝視追跡、顔認識、又は他の同様の方法を使用して、コンピュータ１０２に対するユーザの頭の方向を決定する。コンピュータ１０２に対するユーザの方向が決定されると、方法２００は、動作２１０へ進む。
【００３７】
動作２１０は、ユーザの新たな場所を受け容れるようにオーディオ出力装置、及び任意であるが、ユーザ入力装置を調整する。例えば、コンピュータ１０２は、ユーザの方向を良好に受け容れるようにスピーカ１０６、１１０及び／又はオーディオ信号を変化させる。更に、ユーザが（例えば、電話コール、ビデオチャット、口述のために）マイクロホン１３６を使用する場合には、コンピュータ１０２は、ユーザの口の方向に向けてマイクロホン１３６を操向する。動作２１０の後に、コンピュータ１０２は、オーディオ信号をスピーカ１０６、１１０に与える。
【００３８】
ユーザ又は番組に基づく向上
他の実施形態では、システム１００は、ユーザ及び番組の好みに基づきオーディオ及び／又はビデオ出力を向上させるのに使用される。図４は、オーディオ及び／又はビデオ出力を向上させるための規範的な方法３００のフローチャートである。この方法３００は、動作３０２で開始し、そしてコンピュータ１０２は、コンピュータ１０２を使用する特定ユーザを決定する。動作３０２は、ユーザがユーザ名及び／又はパスワードを入れる開始時に決定される。それとは別に又はそれに加えて、コンピュータ１０２は、例えば、デフォールトユーザ、セキュリティシステム、顔認識、等の別の仕方で、装置を使用するユーザを決定する。ユーザが決定された後、方法３００は、動作３０４へ進み、ユーザ（又はコンピュータ１０２）は、特定のアプリケーションを起動する。このアプリケーションは、ビデオ会議／チャットプログラム、音楽プレーヤ、ビデオプレーヤ、等である。このアプリケーションは、オーディオ及び／又はビデオ／画像の観点を含む。
【００３９】
アプリケーションが起動された後、又はアプリケーションが起動されている間に、方法３００は、動作３０６へ進む。この動作３０６は、コンピュータ１０２、スピーカ１０６、１１０及び／又はディスプレイ装置１０４のオーディオ及び／又はビデオ設定が特定のアプリケーションに対して構成されたかどうか決定する。例えば、コンピュータ１０２、及びスピーカ１０６、１１０のオーディオ設定は、音楽を再生するように構成され、一方、起動されるアプリケーションは、ビデオ会議又は遠隔会議プログラムである。この例では、オーディオ及びスピーカ１０６、１１０は、音楽の周波数又は他の特性ではなく、ボイス周波数を良好に受け容れるように調整される。例えば、ボイス周波数は、一般的に、高く且つ大きな範囲を含む音楽周波数に比して、低く且つ小さな範囲を有する。それ故、オーディオがほとんど人々の話である場合に、オーディオは、ボイス周波数の小さな範囲を向上させるように、バンドパスフィルタを通して処理される。同様に、オーディオが音楽である場合には、オーディオは、フィルタリングされないか、又は全ての周波数範囲を出力できるようにノイズフィルタを含む。
【００４０】
動作３０６において、オーディオ或いはビデオ設定又は出力装置（スピーカ１０６、１１０、ディスプレイ１０４）を調整する必要があるとコンピュータ１０２が決定する場合には、方法３００は、動作３０８へ進む。この動作３０８は、相対的な出力信号、設定、及び／又は出力装置を、特定のアプリケーションに良好に相関させるように調整する。
【００４１】
オーディオ及び／又はビデオが特定のアプリケーションに対して構成されると、方法３００は、動作３１０へ進む。この動作３１０は、ユーザが以前に好みを記憶したかどうか決定する。コンピュータ１０２は、動作３０２においてコンピュータ１０２を使用すると決定された特定のユーザによって以前に調整された設定を記憶する。コンピュータ１０２は、選択アプリケーション（又は全てのアプリケーション）に対して特定のユーザにより調整された設定を自動的に記憶する。又は、ユーザは、特定アプリケーションに対して、又は一般的にはユーザがいつコンピュータ１０２を使用するかに対して、入力設定を能動的に調整してもよい。
【００４２】
コンピュータ１０２がユーザの好みに関する情報を以前に記憶した場合には、方法３００は、動作３１２へ進む。この動作３１２は、ユーザの特定の好みを起動する。動作３１２は、選択出力装置（例えば、外部スピーカ１１０）をアクチベートし、ボリューム、最低音、高音又は周波数レベルを調整することを含む。ユーザの好みを受け容れるように特定の装置及び設定を自動的に調整することにより、コンピュータ１０２は、ユーザの希望に基づいてオーディオ及び／又はビデオ出力を自動的に向上させることができる。又、ユーザの好みは、一般的にはオーディオ／ビデオ出力設定に基づき、又は特定のアプリケーションに対するものであることに注意されたい。例えば、あるユーザは、遠隔会議又はビデオ会議が著しく低いボリュームであり且つ内部スピーカ１０６しか使用しないことを好むが、音楽アプリケーションを利用するときには、ユーザは、ボリュームが大きく且つ外部スピーカ１１０及び一体化スピーカ１０６を使用することを好む。
【００４３】
更に、ユーザの好みは、複数の個別のアプリケーションがいつ同時に起動されるかについての設定を含むことに注意されたい。複数の個別のアプリケーションは、ユーザがいつ音楽プレーヤ及びビデオチャットアプリケーションを使用するかを含み、そして各アプリケーションとは個々に異なる変更された設定を含む。
【００４４】
ユーザの好みがアクチベートされるか、又は以前に記憶／セーブされたユーザの好みがないとき、方法３００は、動作３１４へ進む。動作３１４は、コンピュータ１０２に対するユーザの距離、位置及び／又は場所を決定する。これは、図２に示す方法２００と同様である。例えば、コンピュータ１０２は、ビデオセンサ１３４を使用して、ユーザの画像を捕獲し、及び／又はユーザの動きを追跡する。凝視追跡機能を使用して、ビデオ画像を処理し、ユーザの凝視方向、即ち、ユーザが見ようとしている方向を決定する。同様に、コンピュータ１０２は、赤外線、熱、温度、超音波、又は動きセンサのような他のセンサ１２４を使用して、ユーザのおおよその場所を決定する。
【００４５】
コンピュータ１０２からユーザの位置、距離及び／又は場所が決定されると、方法３００は、動作３１６へ進む。動作３１６は、コンピュータ１０２に対するユーザの距離、場所及び／又は位置に基づき、オーディオ及び／又はビデオ出力をいつ調整する必要があるか決定する。コンピュータ１０２は、ユーザの位置情報を現在オーディオ及び／又はビデオ設定と比較して、良好な出力を与えるためにオーディオ及び／又はビデオ設定及び／又は装置を調整するかどうか調べる。設定及び／又は装置情報は、特定の範囲の場所、位置及び／又は距離に対してメモリ１３０に記憶される。又は、設定及び装置は、フィードバックループ又は他のアクティブな調整メカニズムに基づいて動的に調整されてもよい。
【００４６】
動作３１６において、オーディオ及び／又はビデオ出力をユーザの位置に基づいて調整すべき場合には、方法３００は、動作３１８へ進む。この動作３１８は、ユーザの特定の場所及び／又はアプリケーションに対して最良の出力を与える設定を受け容れるようにオーディオ及び／又はビデオの出力を調整する。例えば、ユーザの手をコンピュータ１０２から離れる（ひいては、内部スピーカ１０６から離れる）ように回転した場合に、ユーザの位置及び距離を受け容れるようにオーディオ経験が向上されるようオーディオを調整することができる。同様に、ユーザがコンピュータ１０２から離れるように位置される場合には、異なる出力プロフィールを有するようにオーディオ出力を調整し、及び／又はビデオ出力表示を拡大することができる。
【００４７】
オーディオ出力は、複数の異なる方法を通して調整することができる。オーディオ出力信号は、出力される前に、後処理される。例えば、オーディオは、特定の周波数を向上させ又は減少するためにフィルタリングされてもよく、異なるチャンネル信号（例えば、サラウンドサウンドチャンネル）を含んでもよく、異なる最低音又は高音を含んでもよく、等々である。同様に、オーディオが入力されるときにオーディオ調整が行われてもよい。例えば、マイクロホン１３６は、ビーム操向を通して入力ソースに向けられてもよく、又、マイクロホン１３６は、特定のユーザボイス周波数に対して高い感度を有してもよく、話をしているユーザに向けられない他のマイクロホン１３６又はオーディオ入力センサ１３２がターンオフされるか下げられてもよく、等々である。
【００４８】
オーディオ及び／又はビデオ出力並びに装置が調整されると、方法３００は、動作３１４へ戻る。方法３００が動作３１４へ戻ると、オーディオ及び／又はビデオ出力並びに装置は、ユーザが自分の位置、場所、及び／又はコンピュータ１０２からの距離を変更する場合に、動的に調整される。それ故、オーディオ及び／又はビデオ出力は、ユーザが動きまわるときに自動的に調整され、ユーザに基づいて得られる最良のオーディオ及び／又はビデオ出力を与えることができる。
【００４９】
動作３１６において、オーディオ及び／又はビデオ出力がユーザの位置に基づいて既に調整された場合には、方法３００は、動作３２０へ進み、環境データが収集される。例えば、センサ１３４、ビデオセンサ１３４、及び／又はオーディオ入力１３２を使用するコンピュータ１０２は、コンピュータ１０２を取り巻く環境の特性を収集する。この環境特性は、コンピュータ１０２が位置する部屋／空間の推定サイズ、グローバルポジショニング情報、温度、湿度、反響の質、大きな物体までの距離、等の情報を含む。
【００５０】
一例において、コンピュータ１０２は、（オーディオ入力／出力１３２、又はスピーカ１０６、１１０を経て）音を放射し、そして音及びそれにより生じるエコー（もしあれば）は、マイクロホン１３２及び／又は他のセンサ１３４により感知される。反響オーディオサウンドの感知されたエコー応答及び他の特性は、部屋のサイズ、部屋の反響性、又は他の同様の特性に関する情報を与える。
【００５１】
別の例では、グローバルポジショニング情報又は信号強度分析のような情報を使用して、コンピュータ１０２の場所を決定することができる。この場所は、ユーザのオフィス、家、屋外の場所、等であると決定される（例えば、ユーザ、マッピング又は他の参照情報でプログラムされることにより）。
【００５２】
環境データが収集されると、方法３００は動作３２２へ進み、コンピュータ１０２は、オーディオ及び／又はビデオ出力が特定の環境に対してセットされるかどうか決定する。例えば、コンピュータ１０２の位置がユーザのオフィスであると決定された場合には、オーディオ及び／又はビデオ設定は、低いボリュームとなるように調整される。ユーザは、オフィスにいるときに比して、家では、より高いボリュームでオーディオを再生することを望む。同様に、オフィスにおける一般的な部屋のサイズは、ユーザの家でオーディオを再生するためにコンピュータ１０２が使用される場合より小さい（例えば、ユーザの特定のオフィス）。更に、ある場合に、コンピュータ１０２の場所に基づき、オーディオ及び／又はビデオは、例えば、オフィス又は教室では、ミュートされるか又は再生が防止される。
【００５３】
別の例では、スピーカ１０６、１１０のオーディオ出力設定は、コンピュータ１０２の部屋の反響の質又はサイズを考慮するように調整することが必要である。これは、エコーを除去し、反響し得る周波数を減少するためのオーディオのフィルタリング、又はオーディオの他の後処理を含む。同様に、室内の周囲光の量、例えば、ディスプレイスクリーン又はビデオ信号の輝度の増減に基づいてビデオの画質を調整する必要がある。
【００５４】
動作３２２において、特定の環境に対してオーディオ及び／又はビデオ設定を調整する必要があるとコンピュータ１０２が決定する場合には、この方法は、動作３２４へ進む。動作３２４において、コンピュータは、スピーカ１０６、１１０及び／又はディスプレイスクリーン１０４から、考えられる最良のサウンド及び／又は画像を出力するように当該設定を調整する。動作３２４は、特定の設定（例えば、輝度、コントラスト、高音、最低音、ボリューム）を増加／減少すること、出力信号を特定の仕方で変化させること（例えば、ある周波数を減少し又は向上させるために信号をフィルタリングすること）、出力信号を別の信号と合成すること、或いはオーディオ又はビデオの一方又は両方の出力を調整する他の形式のメカニズムを伴う。
【００５５】
オーディオ及び／又はビデオが調整されると、方法３００は、動作３２０に戻る。このように、コンピュータ１０２は、オーディオ及び／又はビデオの調整と調整との間に環境の状態が変化した場合に環境データを収集し続ける。同様に、動作３２０へ戻ることにより、変更されたオーディオ及び／又はビデオ設定は、特定の環境に対して充分であることが検証される。これは、設定を調整して再テスト（及び必要に応じて再調整）できるようなフィードバックループを与える。
【００５６】
動作３２２の後に、特定の環境に対してオーディオ及び／又はビデオ設定が充分であるとコンピュータ１０２が決定する場合には、方法３００は、動作３２６へ進む。コンピュータ１０２は、出力装置（例えば、テレビジョン、又はスピーカ１０６、１１０）へオーディオ及び／又はビデオを提示又は転送する。
【００５７】
コンピュータ１０２がオーディオ及び／又はビデオを提示するとき、方法３００は動作３２８へ続く。この動作３２８において、コンピュータ１０２は、動きが検出されるかどうか監視する（センサ１３４を経て）。例えば、センサ１３４は、ユーザが自分の位置を変化させる場合に追跡する動き検出器又は他の移動感知装置を含む。同様に、センサ１３４は、ユーザがコンピュータ１０２を持ち運ぶか又は移動するかをコンピュータ１０２が決定するように、コンピュータ１０２が移動するかどうかを決定する加速度計も含む。
【００５８】
動作３２８において、動きが検出されない場合には、方法３００は動作３２６へ戻る。しかしながら、動作３２８において、動きが検出された場合には、方法３００は動作３１４へ戻る。それ故、オーディオ及び／又はビデオが提示されている間にユーザ及び／又はコンピュータ１０２が移動する場合には、コンピュータ１０２は、オーディオ及び／又はビデオ設定が、更新された環境及びユーザの位置に対して充分にセットされたかどうか更に決定する。それ故、コンピュータ１０２は、オーディオ及びビデオ再生の設定を動的に調整することができる。これは、コンピュータ１０２がオーディオ及び／又はビデオを調整し続けて、オーディオ及び／又はビデオを最良の（又は望ましい）設定で提示できるようにする。
【００５９】
ビデオ会議
他の例では、システム１００は、エンハンス（向上）型で且つユーザ調整可能なビデオ会議システムを提供するのに使用される。図５Ａは、複数人ビデオ会議を表示するコンピュータ１０２の一例である。明らかなように、ディスプレイ１０４は、個人Ａ、個人Ｂ、個人Ｃ、及び個人Ｄの画像を含む。個人は、より多くても少なくてもよく、又、システムは、人を伴わずに（例えば、監視システムとして）使用されてもよいことに注意されたい。図５Ｂは、各個人Ａ−Ｄの位置に対するコンピュータ１０２の上面図である。図５Ｂに示すように、各個人Ａ−Ｄは、コンピュータ１０２に対して異なる場所に位置する。
【００６０】
各個人Ａ−Ｄは、異なる場所に且つコンピュータ１０２から変化する距離に位置するので、図５Ａのコンピュータ１０２における各個人Ａ−Ｄの表示も、同様に、個人Ａ−Ｄを、彼等が実際にそうであるように、即ち異なる場所に表示する。更に、マイクロホン１３６も、個人Ａ−Ｄのボイス及び他のサウンドを、コンピュータ１０２に対する個人の位置に基づいてピックアップする。それ故、個人Ａ及びＢは、図５Ａの個人Ｃに比して小さく示され、そして個人Ａ及びＢからのサウンドも、一般的に、個人Ｃからのサウンドより静かなものとして出力される。しかしながら、ある場合には、ビデオ会議を見ているユーザは、個人Ａ及びＢをより良好に又は大きく聞き及び／又は見ることを希望する。例えば、個人Ａ及びＢが瞬間的に話をし、そしてユーザは、出力サウンドを彼等のボイスに焦点を当てることを希望する。
【００６１】
図５Ｃは、個人Ａ及びＢのオーディオ及びビデオを向上させた図５Ａのコンピュータ１０２を示す。図５Ｃにおいて明らかなように、個人Ａ及びＢの画像が拡大され、個人Ｃの画像とほぼ等しいサイズにされている。同様に、図５Ｃには示されていないが、各個人Ａ及びＢからのオーディオも向上される。更に、個人Ａ及び個人Ｂを更に大きく向上させるために、非向上の個人Ｃ及びＤを最小にし又は隠してもよい。又は、個人Ｃ及びＤをほぼ同じままとし、個人Ａ及びＢが個人Ｃ及びＤとほぼ同じサイズになるようにしてもよい。更に、個人Ａ及び個人Ｂの向上は、彼等の画像だけでなく、他の設定も含んでもよい。例えば、各個人が個別のチャットウインドウにある場合には、話をしている個人（例えば、個人Ａ又は個人Ｂ）のウインドウが向上され、例えば、チャットウインドウがカラーを変化させ、境界を含み、又は境界を変更し、ウインドウが拡大され、ディスプレイの前方へ引っ張られ、等々である。
【００６２】
図６は、図５Ａ−５Ｃに示すビデオ会議セッション中に特定の個人のオーディオ及び／又はビデオを向上させるための規範的方法を示すフローチャートである。この方法４００は、動作４０２で始まり、コンピュータ１０２は、特定のビデオ会議セッションに関連した複数のユーザ又は人がいるかどうか決定する。コンピュータ１０２は、ユーザが人数を入力できるようにするためのオプションをユーザに提示し、又はコンピュータ１０２は、顔認識、音声認識、全会議セッション又はディスプレイコンピュータ、等によりユーザの数を決定する。ビデオ会議セッションに参加している個人又はユーザは、個別（例えば、各々が個別のコンピュータ）であるか、集合的（例えば、コンピュータ当たり複数のユーザ）であるか、又は個別及び集合的の組合せ（例えば、あるユーザは個別、あるユーザは集合的）であるか決定されることに注意されたい。
【００６３】
一例において、図５Ａ−５Ｃに示すように、コンピュータ１０２は、４人の個人（個人Ａ−Ｄ）がいるが、各個人Ａ−Ｄは、単一のコンピュータ１０２の前にいることを決定する。コンピュータ１０２は、顔認識、音声認識、及び他の種々のセンサを使用して、コンピュータ１０２の前にいる個人の人数を決定する。しかしながら、他の場合には、個人Ａ−Ｄの各々が個別のコンピュータの前にいるが、コンピュータ１０２のディスプレイ上で一緒にグループ編成され、ビデオ会議の単一インターフェイスを提示することができる。
【００６４】
方法２００は、ユーザの人数を決定すると、動作４０４へ進む。この動作４０４は、話をしているユーザがもしいれば、どのユーザ（ユーザの人数のうちの）であるか決定する。コンピュータ１０２は、ユーザが話をしているかどうか、音声認識、オーディオセンサ、画像データ、等で決定する。話をしているユーザが決定されると、方法４００は、動作４０６へ進み、コンピュータ１０２は、オーディオ入力センサ（マイクロホン）のようなセンサを、話をしているユーザへ向け又は操向する。例えば、オーディオ入力センサが、話をしているユーザに向けて回転されるか、又は指向性マイクロホンが、話をしているユーザに向けてアクチベートされ又は操向される。
【００６５】
オーディオ入力センサが、話をしているユーザへ操向されるか、又は向けられた後に、方法４００は、動作４０８へ進む。この動作４０８は、ユーザ（又はコンピュータ１０２）が、話をしているユーザに焦点を合わせるために出力ビデオを向上させることを望むかどうか決定する。例えば、話をしているユーザが決定された後、コンピュータ１０２は、話をしているユーザのビデオ画像に焦点を合わせたいかどうかについてのオプションを、見ているユーザに提示する。或いは又、コンピュータ１０２は、話をしているユーザの出力を自動的に向上させてもよく、これは、ビデオ会議アプリケーションの設定である。
【００６６】
動作４０８において、話をしているユーザのビデオ出力を向上させるべき場合に、方法４００は、動作４１０へ進み、そして話をしているユーザにズームインするか又は焦点を合わせるようにビデオ出力及び／又はビデオ入力（例えば、ビデオセンサ１３４）を向上させることができる。例えば、図５Ｃに示すように、個人Ａ及びＢが個人Ｃよりスクリーンに接近して見えるように、個人Ａ及び個人Ｂの出力ビデオを向上させることができる。
【００６７】
動作４１０の後に、又は動作４０８において、話をしているユーザに出力ビデオの焦点が合わせられない場合には、方法４００は、動作４１２へ進む。この動作４１２は、話をしているユーザがディスプレイ１０４の中央部からオフセットして位置しているかどうか決定する。例えば、コンピュータ１０２は、顔認識、音声認識、等を使用して、話をしているユーザがディスプレイ１０４上のどこに位置するか決定する。例えば、コンピュータ１０２は、個人Ａが話をしていること、及びその個人がディスプレイ１０４においてスクリーンの右側に表示されることを決定する。しかしながら、動作４１２において、個人Ｃが話をしているユーザである場合には、コンピュータ１０２は、話をしているユーザが実質的にディスプレイ１０４の中央部に位置することを決定する。
【００６８】
動作４１２において、話をしているユーザがディスプレイ１０４の中央部からオフセットして位置している場合には、方法４００は、動作４１４へ進む。この動作４１４は、話をしているユーザの音声が、話をしているユーザが表示されるディスプレイ１０４の側部に向けて傾くようにビデオ会議のオーディオ出力を向上させる。例えば、図５Ｃに示す構成では、オーディオ出力装置１０６、１１０は、話をしているユーザの場所、即ちディスプレイスクリーン１０４の右側から到来するようにオーディオサウンドを生じさせるようセットされる。このように、視聴し／見ているユーザは、話をしているユーザが表示された場所からそのユーザの音声を聞くことができる。
【００６９】
場所を伴う対応オーディオ
他の実施形態では、システム１００は、ビデオ会議ウインドウ又はインスタンスの場所に基づいてオーディオ出力を変更するように構成される。図７Ａは、インスタントメッセージング、ボイス又はビデオチャットプログラムの実行を伴うコンピュータ１０２を示す。例えば、コンピュータ１０２は、アップル社によるｉＣＨＡＴ又はＦａｃｅｔｉｍｅのようなプログラムを実行する。ディスプレイは、複数のチャットインスタンス４３０、４３２、４３４、４３６を含み、各ウインドウは、それ自身のオーディオ、各々、オーディオＡ、オーディオＢ、オーディオＣ、及びオーディオＤを含む。更に、各チャットインスタンスは、ビデオ画像又は写真のような対応画像を含む。
【００７０】
図８は、チャットインスタンスの場所に対応する場所から発生するかのように音を発する出力として特定チャットインスタンスのオーディオを指向するための規範的な方法５００を示すフローチャートである。この方法５００は、動作５０２で始まり、コンピュータ１０２は、２つ以上のチャットインスタンスがあるかどうか決定する。例えば、コンピュータ１０２は、異なるチャットインスタンスに対応する複数のオーディオインスタンスがあるかどうか決定する。２つ以上のオーディオインスタンスもチャットインスタンスもない場合には、方法５００は、動作５１２へ進み、これについては、以下に詳細に述べる。
【００７１】
動作５０２において、２つ以上のオーディオインスタンス又はチャットインスタンスがある場合には、方法５００は、動作５０４へ進む。この動作５０４は、チャットインスタンスがディスプレイ１０４上の異なる場所に配置されるかどうか決定する。例えば、チャットインスタンスは、互いに上にオーバーレイされ、最小化され、又は（図７Ａに示すように）ディスプレイスクリーン１０４上の種々の場所に分散されてもよい。動作５０４において、チャットインスタンスがディスプレイ１０４上の異なる位置に配置されたとコンピュータ１０２が決定した場合には、方法５００は、動作５０６へ進む。
【００７２】
動作５０６は、ユーザが話をしていること、又はどのインスタンスがオーディオ出力を有するか決定する。例えば、コンピュータ１０２は、オーディオＡ、オーディオＢ、オーディオＣ、又はオーディオＤが現在サウンドを発生しているかどうか決定し、これは、ユーザが話をしているか、さもなければ、視聴ユーザへ伝達するサウンドを発しているかどうかに相関している。動作５０６で、現在出力を有するオーディオが決定されると、方法５００は、動作５０８へ進む。この動作５０８は、出力オーディオの場所を決定し、即ちどのチャットインスタンス（及びその場所）が各オーディオに相関するか決定する。例えば、オーディオＡが現在出力を有する場合には、コンピュータ１０２は、チャットインスタンス４３０の場所（ディスプレイ１０４に対する）を決定する。
【００７３】
動作５０８の後、方法５００は、動作５１０へ進み、コンピュータ１０２は、スピーカ１０６、１１０又は他の出力装置からのオーディオ出力を、チャットインスタンスの場所から出るように（又は出るよう見えるように）変更する。例えば、図７Ａに示すように、オーディオＡが出力を有する場合には、スピーカ１１０は、オーディオＡのオーディオがチャットインスタンスのエリアから指向されて見えるように変更される。図７Ｂは、チャットインスタンス４３０、４３２、４３４、４３６に各々対応するオーディオＡ−Ｄのオーディオ方向を示す。図７Ｂにおいて明らかなように、オーディオは、ディスプレイ１０４上のチャットインスタンスの場所に相関する仕方でユーザに向けられる。これは、ユーザが、オーディオＡ−Ｄからのいずれのオーディオも、それらがチャットインスタンスの場所から出力されたかのように聞こえるようにする。これは、ビデオ会議又はビデオチャットアプリケーションにおいてユーザにより現実的なチャット経験を与える。更に、指向性オーディオも、チャットセッション中にユーザのオーディオ経験を向上させる。
【００７４】
動作５１０の後、又は動作５０４の後、方法５００は、動作５１２へ進む。動作５１２は、現在オーディオが終了したかどうか、例えば、特定の個人が話し終えたかどうか決定する。コンピュータ１０２は、チャットがビデオ映像を含む場合には顔認識によってこれを決定するか、或いはオーディオ処理、スピーチ認識、又は他の処理技術によって行う。特定チャットインスタンスのオーディオが終了しない場合には、方法５００は、動作５１４へ進み、コンピュータ１０２は、選択時間中、待機又は休止となる。他方、選択されたチャットインスタンスのオーディオが終了した場合には、方法５００は、動作５１６へ進む。この動作５１６は、チャットインスタンスの１つに対しアクティブな新たなオーディオがあるかどうか決定する。新たなオーディオがある場合には、方法５００は動作５０４へ戻る。しかしながら、別のオーディオがない場合には、方法５００は終了となる。
【００７５】
結論
以上の説明は、広く適用することができる。実施形態の説明は、単なる例示に過ぎず、請求項を含む本開示の範囲がこれらの例に限定されることを示唆するものではない。
【符号の説明】
【００７６】
１００：システム
１０２：コンピュータ
１０６、１１０：オーディオ出力装置
１１８：プロセッサ
１２０：ネットワーク／通信インターフェイス
１２２：システムバス
１２４：センサ
１２６：入力／出力インターフェイス
１２８：ビデオ入力／出力インターフェイス
１３０：メモリ
１３２：オーディオ入力／出力インターフェイス
１３４：ビデオセンサ
１３６：マイクロホン
１３８：ネットワーク
１４２：画像処理ユニット
１４４：ユーザ／環境インターフェイス処理ユニット
１４５：出力処理ユニット
１４６：オーディオ処理ユニット
【技術分野】
【０００１】
本発明は、一般的に、電子装置に係り、より詳細には、電子装置のオーディオ出力に係る。
【背景技術】
【０００２】
コンピュータ、移動電話、オーディオプレーヤ、ラップトップ、タブレットコンピュータ、テレビジョン、等の電子装置（以下「電子装置」）は、典型的に、一体化されたオーディオ出力装置（例えば、スピーカ）を有するか、又はオーディオ出力装置と通信できるようにされる。更に、多くの電子装置は、ビジュアル又はビデオ出力装置も備え、或いはビデオディスプレイ装置と通信する。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
多くのオーディオ／ビジュアル出力装置は、環境、周囲、状況、番組及び／又は環境に対しオーディオ出力を調整できる場合には、改良されたオーディオ又はビデオ出力を得ることができる。しかしながら、多くのオーディオ及びビデオ出力装置は、特定出力を変化させるためにユーザ入力又は相互作用を必要とするか、或いは可変出力設定を有していない。これらの場合には、オーディオ及び／又はビデオ出力が、特定の環境、番組、状況、等に対し最良品質の音響又は画像を形成し又は出力することができない。
【課題を解決するための手段】
【０００４】
本開示の一例は、コンピューティング装置からオーディオを出力するための方法の形態をとる。この方法は、センサによってユーザを検出することを含む。ユーザが検出されると、プロセスは、ユーザがオーディオ出力装置の現在オーディオ出力に対して最適な範囲であるかどうか決定する。ユーザが最適な範囲内でない場合には、プロセッサがオーディオ出力を変更する。更に、センサは、ユーザがコンピューティング装置を向いているかどうかも決定する。ユーザの向きに基づき、プロセッサは、オーディオ装置を調整する。
【０００５】
本開示の他の例は、コンピュータのオーディオを向上（エンハンス）させるための方法の形態をとる。この方法は、コンピュータに対するユーザの位置をセンサにより決定することを含む。ユーザの位置が決定されると、センサは、コンピュータの環境に対応する環境データを収集する。次いで、プロセッサは、環境データのオーディオビジュアル設定ビュー及びユーザの位置を調整する。
【０００６】
本開示の更に別の例は、コンピュータ及び出力装置を備えた、オーディオを向上させるシステムの形態をとる。コンピュータは、コンピュータに対するユーザの位置を決定するように構成されたセンサを備えている。又、センサは、コンピュータの環境に対応する環境データを収集するようにも構成される。又、コンピュータは、センサと通信するプロセッサであって、ユーザの位置及び環境データを処理しそしてオーディオ出力又はビデオ出力の少なくとも一方を調整するように構成されたプロセッサも備えている。出力装置は、プロセッサと通信し、そしてオーディオ出力又はビデオ出力の少なくとも一方を出力するように構成される。
【図面の簡単な説明】
【０００７】
【図１Ａ】オーディオ出力を向上させるシステムを示す図である。
【図１Ｂ】図１Ａのシステムのコンピュータのブロック図である。
【図１Ｃ】コンピュータがネットワークを経て第２のコンピュータと通信するところを示す図である。
【図２】選択オーディオ及びビデオ処理経路が示された図１Ａのシステムのブロック図である。
【図３】ユーザ場所及び位置に基づいてオーディオ出力を調整するための規範的な方法を示すフローチャートである。
【図４】オーディオ及び／又はビデオ出力を向上させるための規範的な方法を示すフローチャートである。
【図５Ａ】複数の人のビデオ会議を表示するコンピュータの図である。
【図５Ｂ】図５Ａのコンピュータに表示されたユーザを第２のコンピュータで捕獲したところを示す上面図である。
【図５Ｃ】個人Ａ及び個人Ｂのオーディオ及びビデオが向上された図５Ａのコンピュータを示す図である。
【図６】図５Ａ−５Ｃに示すビデオ会議セッション中に特定の個人のオーディオ及び／又はビデオを向上されための規範的な方法を示すフローチャートである。
【図７Ａ】インスタントメッセージング、ボイス、又は複数のインスタンスを実行及び表示するビデオチャットプログラムを伴うコンピュータの図である。
【図７Ｂ】図７Ａの複数のオーディオ／ビデオインスタンスに対応するオーディオＡ、Ｂ、Ｃ、Ｄに対するオーディオ方向の図である。
【図８】特定のオーディオ／ビデオインスタンスのオーディオを指向するための規範的な方法を示すフローチャートである。
【発明を実施するための形態】
【０００８】
概略
ここに述べる幾つかの実施形態では、この開示は、電子装置からのオーディオ出力を、１つ以上の基準、例えば、アクティブなアプリケーション、ユーザ相互作用、及び環境パラメータに基づいて向上させるための方法の形態をとる。又、この方法は、（もしあっても）著しいアクティブなユーザ相互作用を伴わずにユーザ入力を与えることを含む。換言すれば、このシステムは、ユーザがユーザ入力を物理的に又は故意にシステムに入力する必要がないように、ユーザ入力を補間するのにセンサ及び画像形成装置に依存する。これは、ユーザから直接アクティブな入力を要求せずにオーディオ出力を向上させるように、オーディオ出力装置が異なるユーザパラメータに対して動的に調整を行えるようにする。
【０００９】
１つの実施形態において、このシステムは、ビデオ会議又はチャットに対しオーディオ出力を向上させることができる。あるユーザは、ビデオ会議を使用して、人々のグループと会話をすることができる。例えば、旅行中の親が、子供や配偶者を含む全家族とビデオ会議をすることができる。人々のグループでは、ある人々は、コンピュータの近くに又はコンピュータから離れて位置してもよい。更に、一度に複数の異なる人々が話をしてもよい。ビデオ会議の間に、受信端のユーザは、特に、一度に複数の人々が話をする場合に各人が何と言っているか決定することが困難である。
【００１０】
このシステムは、異なるユーザの画像を捕獲し（例えば、ビデオカメラを経て）そして受信側ユーザは、特定ユーザの音声を向上させることができる。例えば、受信側ユーザは、この実施形態で焦点を当てようとする特定のユーザの画像をタップし（さもなければ、ユーザを選択又は指示し）、そしてこのシステムは、音声をデジタルで向上させると共に、マイクロホンをユーザに向けて、ユーザの音声入力を良好に捕獲する。１つの例において、このシステムは、ディスプレイスクリーンの周囲に離間された複数のマイクロホンを有するコンピュータを備え、そして特定のマイクロホンは、ターンオン／オフされると共に、望ましいオーディオ信号を最良に捕獲するために回転される。
【００１１】
同様に、このシステムは、マイクロホンを指向し、オーディオを向上させ、及び／又は話をしている個人にビデオ画像の焦点を合わせる。口追跡又はスピーチ認識を使用して、話をしている特定のユーザにオーディオ及び／又はビデオの焦点を合わせる。これは、オーディオデータストリームを受け取るユーザが、ユーザの話（例えば、システムの送信側ユーザ）を良く聞きとれるようにする。従って、ユーザの音声又はビデオ画像の一方又は両方の向上特徴は、自動的であってもよいし（例えば、口追跡又はスピーチ認識に基づく）、或いはユーザ入力に基づくものでもよい（例えば、ユーザは、ユーザ又は焦点エリアを選択できる）。
【００１２】
出力オーディオの音質は、環境に少なくとも一部分依存する。例えば、エコー打ち消しが望ましく、及び／又は部屋のサイズ及び音響によって影響を受ける。出力オーディオの音質に影響する２つのファクタは、部屋の大きさ及び反響の質を含む。１つの実施形態では、このシステムは、オーディオ出力装置に対するユーザの場所、オーディオ出力装置に対するユーザの位置（例えば、頭を正面に向けた又はそむけた）、及び環境入力（部屋のサイズ、部屋の反響、温度、等）に基づきオーディオ出力を調整するように構成される。ユーザの入力は、室内の自分の場所、オーディオ出力装置に向いているかどうか、等を含む。更に、このシステムは、ユーザ及び環境入力に基づくだけでなく、コンピュータ又はオーディオ出力装置が動作している現在アプリケーションにも基づいて、オーディオ出力を変化させる。例えば、アプリケーションが電話コールである場合には、音楽プレーヤアプリケーションと比較して応答が変化される。
【００１３】
種々の実施形態において、このシステムは、ビデオ、オーディオ、及び環境センサを含む。例えば、画像センサ（例えば、カメラ）、奥行きセンサ（超音波、赤外線、高周波、等）、等が使用される。更に、望ましい出力は、コンピュータに対するユーザの場所に基づいて変化され、例えば、ユーザが広い部屋の中でコンピュータから離れている場合・対・ユーザが小さな部屋の中でコンピュータに接近している場合、に基づいて変化される。例えば、ある物体がユーザから離れて位置されてビデオに存在する場合には、特定の物体（又はユーザ）の出力オーディオは、物体が離れているかのようにユーザに音を発するように変化される。この具現化では、ユーザの全オーディオ／ビジュアル経験を向上させるために遠フィールド画像のローカルオーディオに奥行きが与えられる。
【００１４】
更に別の実施形態では、このシステムは、ユーザに基づいて出力オーディオを調整するように構成される。男性、女性及び子供は、全て、異なる聴力スペクトルを有し、一般的に、女性は、男性よりも聴力が優れ、そして子供は、大人の男女より聴力が優れている。このシステムは、スピーチ又は顔認識或いは他の性別識別技術を利用して、出力オーディオを特定のユーザに基づいて変化させる。
【００１５】
規範的なシステム
規範的な実施形態において、本開示は、ユーザのオーディオ経験を向上させるシステムの形態である。図１Ａは、向上したオーディオを与える規範的なシステム１００のブロック図である。このシステム１００は、コンピュータ１０２又は他の電子装置及びオーディオ出力装置１０６、１１０（これは、コンピュータ１０２と一体的であるか、それとは個別であるか、又はその両方の組合せである）を備えている。コンピュータ１０２は、処理能力をもつ実質的に任意の形式の電子装置であり、ラップトップ、タブレット、スマートホン、オーディオプレーヤ、及びテレビジョンを含むが、これに限定されない。この実施形態では、コンピュータ１０２は、外部オーディオ出力装置１１０及び一体化されたオーディオ出力装置１０６と通信する。しかしながら、ある例において、システム１００は、単一のオーディオ出力装置１０６、１１０を含んでもよいし、又は複数の他のオーディオ出力装置（例えば、サラウンドサウンド５スピーカシステム）を含んでもよいことに注意されたい。オーディオ出力装置１０６、１１０は、スピーカ、スピーカのセット、ヘッドホン、又は電子信号に応答してサウンドを発生できる他の装置である。
【００１６】
オーディオ装置１０６、１１０は、コンピュータ１０２の上及び／又はコンピュータ１０２の周囲の実質的にどこにでも配置することができる。オーディオ装置１０６、１１０の形式、電力及び構造は、コンピュータ１０２から発生されるオーディオの音質に影響すると共に、最良のサウンドを発生するのに必要な種々のソフトウェア交換にも影響する。
【００１７】
図１Ｂは、規範的なコンピュータ１０２のブロック図である。コンピュータ１０２は、プロセッサ１１８、ネットワーク／通信インターフェイス１２０、入力／出力インターフェイス１２６、ビデオ入力／出力インターフェイス１２８、センサ１２４、メモリ１３０、オーディオ入力／出力インターフェイス１３２、ビデオセンサ１３４、及び／又はマイクロホン１３６を備えている。コンピュータ１０２の種々のコンポーネントは、システムバス１２２（又は複数のシステムバス）を経て電子的に一緒に接続される。種々のコンポーネントは、いずれも、省略及び／又は結合されてもよいことに注意されたい。例えば、ビデオ入力／出力インターフェイス１２８は、オーディオ入力／出力インターフェイス１３２及び汎用入力／出力インターフェイス１２６の一方又は両方と結合されてもよい。更に、コンピュータ１０２は、図示されていない付加的なローカル又はリモートコンポーネントを含み、そして図２は、例示に過ぎない。
【００１８】
プロセッサ１１８は、コンピュータ１０２及びそのコンポーネントの動作を制御する。プロセッサ１１８は、実質的に、受信及び／又は送信インストラクションを処理することのできる電子装置である。例えば、プロセッサ１１８は、マイクロプロセッサ又はマイクロコンピュータである。
【００１９】
ネットワーク／通信インターフェイス１２０は、種々の電気信号を受信及び送信する。例えば、ネットワーク／通信インターフェイス１２０は、コンピュータ１０２をネットワークに接続して、ネットワークを経て他のコンピュータ又は電子装置との間で信号を送信及び受信するのに使用される。又、ネットワーク／通信インターフェイス１２０は、ワイヤレス又はワイヤード接続（インターネット、ＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｅｔｈｅｒｎｅｔ（登録商標）、ＵＳＢ、及びＦｉｒｅｗｉｒｅを含むが、これらに限定されない）を経て電子信号を送信及び送出するのにも使用される。
【００２０】
メモリ１３０は、コンピュータ１０２により使用される電子データを記憶する。例えば、メモリ１３０は、これに限定されないが、オーディオファイル、ビデオファイル、ドキュメントファイル、及びデータファイルを含む任意の形式のコンテンツを含む電子データを記憶する。記憶データは、コンピュータの１つ以上の種々のアプリケーション及び／又はオペレーションに対応する。メモリ１３０は、一般的に、これに限定されないが、不揮発性記憶装置、磁気記憶媒体、光学記憶媒体、磁気光学記憶媒体、電気的記憶媒体、リードオンリメモリ、ランダムアクセスメモリ、消去可能なプログラマブルメモリ、及びフラッシュメモリを含む任意のフォーマットである。又、メモリ１３０は、コンピュータ１０２に対してローカル位置に及び／又はそこからリモート位置に設けられてもよい。
【００２１】
種々の入力／出力インターフェイス１２６、１２８、１３２は、入力／出力装置との間の通信を与える。例えば、オーディオ入力／出力インターフェイス１３２は、オーディオ装置１０６、１１０へ入力を与え、及びそこから出力を受け取る。同様に、ビデオ入力／出力インターフェイス１２８は、ディスプレイ装置（例えば、コンピュータモニタ、ディスプレイスクリーン又はテレビジョン）へ入力及び出力を与える。更に、汎用入力／出力インターフェイス１２６、１２８、１３２は、コントロールボタン、スイッチ、等から入力を受け取る。ある実施形態では、入力インターフェイスが結合されてもよい。例えば、入力／出力インターフェイス１２６、１２８、１３２は、（例えば、キーボード、タッチ感知面、マウス、聴覚入力又は他の装置を経て）ユーザ、コンピュータ１０２のコントロールボタン（例えば、電源ボタン、ボリュームボタン）、等からデータを受け取る。更に、入力／出力インターフェイス１１２は、例えば、ユニバーサルシリアルバス（ＵＳＢ）又は他のビデオ／オーディオ／データ入力のような外部装置へデータを送信し／そこからデータを受信する。
【００２２】
図１Ｃにおいて明らかなように、ある場合には、コンピュータ１０２は、ネットワーク１３８を経て第２のコンピュータ１０３と通信する。更に、図１Ｃに示すように、ある場合には、コンピュータ１０２は、ネットワーク１４０を経て別の又は第２のコンピュータ１０３（又はサーバー）に接続される。例えば、コンピュータ１０２は、会議又はチャットアプリケーションのために第２のコンピュータ１０３に接続される。更に、コンピュータ１０２は、第２のコンピュータ１０３からストリーミングオーディオ及び／又はビデオを受信する。
【００２３】
ネットワーク１３８は、第１のコンピュータ１０２と第２のコンピュータ１０３との間に電子的な通信を与える。ネットワーク１３８は、実質上、任意の形式の電子通信メカニズム／経路でよく、そしてワイヤレスでも、ワイヤードでも、又はそれらの組み合わせでもよい。ネットワーク１３８は、インターネット、イーサネット（登録商標）、ユニバーサルシリアルバス（ＵＳＢ）ケーブル、又は無線信号（例えば、ＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標））を含む。
【００２４】
マイクロホン１３６は、コンピュータ１０２に一体化されてもよいし、又は個別に取り付けられてプロセッサ１１８と通信してもよい。マイクロホン１３６は、音響又は電気的送信器であり、オーディオ入力を受信して、そのオーディオに対応する電気的出力を発生するように構成される。複数のマイクロホン１３６がコンピュータ１０２に合体されてもよいし、さもなければ、それと通信するようにされてもよい。例えば、ある具現化において、コンピュータ１０２の周囲の種々の場所に配置された複数のマイクロホンのマイクロホンアレイが設けられる。
【００２５】
ビデオセンサ１３４は、ビデオ又は画像捕獲装置（１つ又は複数）である。ビデオセンサ１３４は、コンピュータ１０２に一体化（例えば、コンピュータ１０２のエンクロージャーに接続）されてもよく、及び／又はコンピュータ１０２の外部にあってそれと通信されてもよい。ビデオセンサ１３４は、ビデオ会議／チャットのような種々のアプリケーションに使用されるビデオ及びスチール画像を捕獲するのに使用できるものである。
【００２６】
図２は、入力から出力への規範的なオーディオ／ビデオ処理経路を示すシステム１００のブロック図である。図１Ａ、１Ｂ及び２を参照すれば、システム１００は、オーディオ及びビデオ出力を向上させ調整するために種々のセンサ間で通信を行う。ビデオセンサ１３４は、プロセッサ１１８にビデオ入力を与え、雑多なセンサ１２４は、プロセッサ１１８にユーザ及び環境データを与え、そしてオーディオ入力１３２は、プロセッサ１１８に入力オーディオを与える。プロセッサ１１８は、種々の入力の処理と、ビデオ及びオーディオ出力の調整とを別々に又は一緒に行って、スピーカ１１０及び／又はディスプレイ１０４に与える。
【００２７】
一例において、ビデオセンサ１３４、センサ１２４、及びオーディオ入力１３２は、ユーザ及び／又はコンピュータ１０２の環境（例えば、部屋、周囲）に関する画像データを与える。プロセッサ１１８は、次いで、スピーカ１１０に送られるオーディオ出力特性を向上又は変更させ、向上したオーディオ経験を与えることができる。オーディオ出力がユーザに音を発する仕方は、ユーザがオーディオ出力装置に対してどこに位置するか、及び部屋又は環境の特性に依存し、又はそれによって影響される。オーディオ特性又は設定が変更されない場合、第１の部屋に特定のサウンドを生じさせるオーディオ信号は、第２の部屋には著しく異なる音を発生させる。例えば、第１の部屋が第２の部屋より小さいか、又は第１の部屋がカーペットで第２の部屋が木製フローリングの場合に、そうである。
【００２８】
それ故、ビデオ及び画像入力並びにオーディオ入力１３２（例えば、エコー特性、コンピュータ１０２に対するユーザの位置、コンピュータ１０２に対するユーザの方向）を受信した後に、オーディオ及びビデオ出力を、プロセッサ１１８により向上させることができる。これは、コンピュータ１０２が、ユーザ及び／又は環境を最良に受け容れるようにオーディオ及び／又はビデオを調整できるようにする。
【００２９】
図２において明らかなように、プロセッサ１１８は、個別の処理ユニット、例えば、画像処理ユニット１４２、ユーザ／環境インターフェイス処理ユニット１４４、オーディオ処理ユニット１４６、及び出力処理ユニット１４５を備えている。これらの処理ユニット１４２、１４４、１４５、１４６は、プロセッサ１１８に一体化されてもよいし、個別の装置であってもよい。各処理ユニット１４２、１４４、１４５、１４６は、センサから出力を受け取り、及びセンサ入力を調整するために特定のセンサと通信することができる。例えば、オーディオ処理ユニット１４６は、話をしている特定のユーザにマイクロホン１３６を向け又は操向してユーザの音声を良好に捕獲する。同様に、画像処理ユニット１４２は、ビデオセンサ１３４を特定のユーザに焦点を合わせ又はズーミングすることができる。更に別の例では、ユーザ／インターフェイス処理ユニット１４４は、付加的な環境／ユーザデータを収集するように特定のセンサ１２４を指向する。更に、出力処理ユニット１４５は、オーディオ信号を後処理し（例えば、ノイズ周波数を減少し、特定の周波数を向上させ、等）、オーディオレベルのエラーを修正し、大きさを特定レベルに調整し（例えば、オーディオ信号をイコライズし）、エコー打ち消しを行い、ピークフィルタリングを行い、等々を行うための周波数フィルタを含む。
【００３０】
ユーザの場所及び位置に基づくオーディオ出力の調整
図３は、ユーザ場所及び位置に基づいてオーディオ出力を調整するための規範的な方法２００を示すフローチャートである。この方法２００は、動作２０２で始まり、コンピュータ１０２は、ユーザ（１人又は複数）を検出する。コンピュータ１０２は、センサ１２４を使用して、動きを捕獲するか、ビデオセンサ１３４を使用して、画像を捕獲しそして分析する（例えば、顔認識）か、或いはオーディオセンサ１３２を使用してユーザによるノイズを捕獲する。
【００３１】
ユーザが検出されると、方法２００は、動作２０４へ進み、コンピュータ１０２は、現在のオーディオ出力設定及びスピーカ１１０の配置に基づきユーザが最適な範囲内にいるかどうか決定する。例えば、コンピュータ１０２は、種々のセンサを使用してユーザの場所を決定する。コンピュータ１０２は、同じセンサ及び方法を使用して、ユーザの存在を検出し、コンピュータ１０２及び／又はスピーカ１１０に対するユーザの場所を決定する。ユーザの場所の検出は、推定又は単一入力であり、例えば、コンピュータは、ユーザがコンピュータ１０２の真ん前にいないことを単純に検出するか、或いは検出がより詳細に行われて、コンピュータ１０２は、より進歩した感知技術を使用して、コンピュータ１０２に対するユーザのおおよその場所を決定する。
【００３２】
ユーザの場所が決定されると、コンピュータ１０２は、ユーザの場所を現在のオーディオ出力設定と比較し、ユーザの位置に基づいてオーディオが最適な範囲内にあるかどうか決定する。一例として、ユーザがコンピュータ１０２から数ヤード離れて位置し、そしてユーザがスピーカ１１０又はコンピュータ１０２の真ん前にいるかのようにオーディオが出力される構成である場合には、オーディオを調整する必要がある。オーディオは、ボリュームが増加されるか、外部スピーカ１１０がターンオンされるか、内部スピーカ１０６がターンオフされるか、サラウンドサウンドが「スクリーンチャンネル」設定からサラウンドサウンドフォーマットにスイッチされるか、或いはサラウンドサウンドチャンネルが内部スピーカから外部スピーカ、並びに左サラウンドチャンネル及び右サラウンドチャンネルに再指向されるように、ユーザに対して調整される。他方、オーディオが既に調整されているか、又は距離設定で構成された場合には、オーディオは、ユーザの場所に基づいて調整される必要はない。
【００３３】
ユーザの場所に最も適するようにするためオーディオを調整する必要がある場合には、方法２００は、動作２０６へ進む。動作２０６は、ユーザの場所に基づいてオーディオを調整する。ユーザがコンピュータ１０２又はスピーカ１０６、１１０から離れて位置する場合には、コンピュータ１０２は、外部スピーカ１１０をアクチベートし、そして内部スピーカ１０６をターンオフする。例えば、外部スピーカ１１０は、サラウンドサウンドスピーカアレイの一部分を形成し、それ故、内部コンピュータスピーカ１０６に比して良好な「部屋」サウンド経験を与えることができる。同様に、ユーザがコンピュータ１０２の真ん前にいる場合には、コンピュータ１０２は、内部スピーカ１０６がアクチベートされるようにオーディオを調整する。
【００３４】
更に、コンピュータ１０２は、これに限定されないが、ボリューム、低音、高音、周波数帯域レベルを含む種々のオーディオ設定を調整する。［［発明者−調整できる他の特性があるか？］］これは、スピーカ１０６、１１０の単一セットしかなくても、及び／又はスピーカ１０６、１１０が調整されなくても、オーディオ信号を調整できるようにする。
【００３５】
オーディオがユーザの場所に基づき調整されると、又は設定されたオーディオ範囲内にユーザが既にいるために動作２０４においてオーディオを調整する必要がない場合には、方法２００は、動作２０８へ進む。動作２０８において、この実施形態は、ユーザがコンピュータ１０２に向けられたかどうか決定する。これは、ユーザがコンピュータ１０２から離れた距離に位置する場合に、ユーザがコンピュータ１０２に向いているかどうか決定することが（パワフルなセンサなしに）困難であるような任意な動作である。しかしながら、他の実施形態では、ユーザがコンピュータ１０２に比較的接近しているか、又はシステム１００が適当なセンサを含む場合に、コンピュータ１０２は、コンピュータ１０２に対するユーザの各方向を決定する。又、ある実施形態では、スピーカ１０６、１１０に対するユーザの方向を決定できることに注意されたい。これは、スピーカ１０６、１１０にセンサを含ませるか、又はコンピュータ１０２に対するユーザの方向を、コンピュータ１０２に対するスピーカ１０６、１１０の場所と比較することで、行われる。
【００３６】
動作２０８において、コンピュータ１０２は、ビデオセンサ１３４を経てユーザの画像を捕獲し、さもなければ、それを与える。画像処理ユニット１４６は、ユーザの目の凝視を追跡する凝視追跡、顔認識、又は他の同様の方法を使用して、コンピュータ１０２に対するユーザの頭の方向を決定する。コンピュータ１０２に対するユーザの方向が決定されると、方法２００は、動作２１０へ進む。
【００３７】
動作２１０は、ユーザの新たな場所を受け容れるようにオーディオ出力装置、及び任意であるが、ユーザ入力装置を調整する。例えば、コンピュータ１０２は、ユーザの方向を良好に受け容れるようにスピーカ１０６、１１０及び／又はオーディオ信号を変化させる。更に、ユーザが（例えば、電話コール、ビデオチャット、口述のために）マイクロホン１３６を使用する場合には、コンピュータ１０２は、ユーザの口の方向に向けてマイクロホン１３６を操向する。動作２１０の後に、コンピュータ１０２は、オーディオ信号をスピーカ１０６、１１０に与える。
【００３８】
ユーザ又は番組に基づく向上
他の実施形態では、システム１００は、ユーザ及び番組の好みに基づきオーディオ及び／又はビデオ出力を向上させるのに使用される。図４は、オーディオ及び／又はビデオ出力を向上させるための規範的な方法３００のフローチャートである。この方法３００は、動作３０２で開始し、そしてコンピュータ１０２は、コンピュータ１０２を使用する特定ユーザを決定する。動作３０２は、ユーザがユーザ名及び／又はパスワードを入れる開始時に決定される。それとは別に又はそれに加えて、コンピュータ１０２は、例えば、デフォールトユーザ、セキュリティシステム、顔認識、等の別の仕方で、装置を使用するユーザを決定する。ユーザが決定された後、方法３００は、動作３０４へ進み、ユーザ（又はコンピュータ１０２）は、特定のアプリケーションを起動する。このアプリケーションは、ビデオ会議／チャットプログラム、音楽プレーヤ、ビデオプレーヤ、等である。このアプリケーションは、オーディオ及び／又はビデオ／画像の観点を含む。
【００３９】
アプリケーションが起動された後、又はアプリケーションが起動されている間に、方法３００は、動作３０６へ進む。この動作３０６は、コンピュータ１０２、スピーカ１０６、１１０及び／又はディスプレイ装置１０４のオーディオ及び／又はビデオ設定が特定のアプリケーションに対して構成されたかどうか決定する。例えば、コンピュータ１０２、及びスピーカ１０６、１１０のオーディオ設定は、音楽を再生するように構成され、一方、起動されるアプリケーションは、ビデオ会議又は遠隔会議プログラムである。この例では、オーディオ及びスピーカ１０６、１１０は、音楽の周波数又は他の特性ではなく、ボイス周波数を良好に受け容れるように調整される。例えば、ボイス周波数は、一般的に、高く且つ大きな範囲を含む音楽周波数に比して、低く且つ小さな範囲を有する。それ故、オーディオがほとんど人々の話である場合に、オーディオは、ボイス周波数の小さな範囲を向上させるように、バンドパスフィルタを通して処理される。同様に、オーディオが音楽である場合には、オーディオは、フィルタリングされないか、又は全ての周波数範囲を出力できるようにノイズフィルタを含む。
【００４０】
動作３０６において、オーディオ或いはビデオ設定又は出力装置（スピーカ１０６、１１０、ディスプレイ１０４）を調整する必要があるとコンピュータ１０２が決定する場合には、方法３００は、動作３０８へ進む。この動作３０８は、相対的な出力信号、設定、及び／又は出力装置を、特定のアプリケーションに良好に相関させるように調整する。
【００４１】
オーディオ及び／又はビデオが特定のアプリケーションに対して構成されると、方法３００は、動作３１０へ進む。この動作３１０は、ユーザが以前に好みを記憶したかどうか決定する。コンピュータ１０２は、動作３０２においてコンピュータ１０２を使用すると決定された特定のユーザによって以前に調整された設定を記憶する。コンピュータ１０２は、選択アプリケーション（又は全てのアプリケーション）に対して特定のユーザにより調整された設定を自動的に記憶する。又は、ユーザは、特定アプリケーションに対して、又は一般的にはユーザがいつコンピュータ１０２を使用するかに対して、入力設定を能動的に調整してもよい。
【００４２】
コンピュータ１０２がユーザの好みに関する情報を以前に記憶した場合には、方法３００は、動作３１２へ進む。この動作３１２は、ユーザの特定の好みを起動する。動作３１２は、選択出力装置（例えば、外部スピーカ１１０）をアクチベートし、ボリューム、最低音、高音又は周波数レベルを調整することを含む。ユーザの好みを受け容れるように特定の装置及び設定を自動的に調整することにより、コンピュータ１０２は、ユーザの希望に基づいてオーディオ及び／又はビデオ出力を自動的に向上させることができる。又、ユーザの好みは、一般的にはオーディオ／ビデオ出力設定に基づき、又は特定のアプリケーションに対するものであることに注意されたい。例えば、あるユーザは、遠隔会議又はビデオ会議が著しく低いボリュームであり且つ内部スピーカ１０６しか使用しないことを好むが、音楽アプリケーションを利用するときには、ユーザは、ボリュームが大きく且つ外部スピーカ１１０及び一体化スピーカ１０６を使用することを好む。
【００４３】
更に、ユーザの好みは、複数の個別のアプリケーションがいつ同時に起動されるかについての設定を含むことに注意されたい。複数の個別のアプリケーションは、ユーザがいつ音楽プレーヤ及びビデオチャットアプリケーションを使用するかを含み、そして各アプリケーションとは個々に異なる変更された設定を含む。
【００４４】
ユーザの好みがアクチベートされるか、又は以前に記憶／セーブされたユーザの好みがないとき、方法３００は、動作３１４へ進む。動作３１４は、コンピュータ１０２に対するユーザの距離、位置及び／又は場所を決定する。これは、図２に示す方法２００と同様である。例えば、コンピュータ１０２は、ビデオセンサ１３４を使用して、ユーザの画像を捕獲し、及び／又はユーザの動きを追跡する。凝視追跡機能を使用して、ビデオ画像を処理し、ユーザの凝視方向、即ち、ユーザが見ようとしている方向を決定する。同様に、コンピュータ１０２は、赤外線、熱、温度、超音波、又は動きセンサのような他のセンサ１２４を使用して、ユーザのおおよその場所を決定する。
【００４５】
コンピュータ１０２からユーザの位置、距離及び／又は場所が決定されると、方法３００は、動作３１６へ進む。動作３１６は、コンピュータ１０２に対するユーザの距離、場所及び／又は位置に基づき、オーディオ及び／又はビデオ出力をいつ調整する必要があるか決定する。コンピュータ１０２は、ユーザの位置情報を現在オーディオ及び／又はビデオ設定と比較して、良好な出力を与えるためにオーディオ及び／又はビデオ設定及び／又は装置を調整するかどうか調べる。設定及び／又は装置情報は、特定の範囲の場所、位置及び／又は距離に対してメモリ１３０に記憶される。又は、設定及び装置は、フィードバックループ又は他のアクティブな調整メカニズムに基づいて動的に調整されてもよい。
【００４６】
動作３１６において、オーディオ及び／又はビデオ出力をユーザの位置に基づいて調整すべき場合には、方法３００は、動作３１８へ進む。この動作３１８は、ユーザの特定の場所及び／又はアプリケーションに対して最良の出力を与える設定を受け容れるようにオーディオ及び／又はビデオの出力を調整する。例えば、ユーザの手をコンピュータ１０２から離れる（ひいては、内部スピーカ１０６から離れる）ように回転した場合に、ユーザの位置及び距離を受け容れるようにオーディオ経験が向上されるようオーディオを調整することができる。同様に、ユーザがコンピュータ１０２から離れるように位置される場合には、異なる出力プロフィールを有するようにオーディオ出力を調整し、及び／又はビデオ出力表示を拡大することができる。
【００４７】
オーディオ出力は、複数の異なる方法を通して調整することができる。オーディオ出力信号は、出力される前に、後処理される。例えば、オーディオは、特定の周波数を向上させ又は減少するためにフィルタリングされてもよく、異なるチャンネル信号（例えば、サラウンドサウンドチャンネル）を含んでもよく、異なる最低音又は高音を含んでもよく、等々である。同様に、オーディオが入力されるときにオーディオ調整が行われてもよい。例えば、マイクロホン１３６は、ビーム操向を通して入力ソースに向けられてもよく、又、マイクロホン１３６は、特定のユーザボイス周波数に対して高い感度を有してもよく、話をしているユーザに向けられない他のマイクロホン１３６又はオーディオ入力センサ１３２がターンオフされるか下げられてもよく、等々である。
【００４８】
オーディオ及び／又はビデオ出力並びに装置が調整されると、方法３００は、動作３１４へ戻る。方法３００が動作３１４へ戻ると、オーディオ及び／又はビデオ出力並びに装置は、ユーザが自分の位置、場所、及び／又はコンピュータ１０２からの距離を変更する場合に、動的に調整される。それ故、オーディオ及び／又はビデオ出力は、ユーザが動きまわるときに自動的に調整され、ユーザに基づいて得られる最良のオーディオ及び／又はビデオ出力を与えることができる。
【００４９】
動作３１６において、オーディオ及び／又はビデオ出力がユーザの位置に基づいて既に調整された場合には、方法３００は、動作３２０へ進み、環境データが収集される。例えば、センサ１３４、ビデオセンサ１３４、及び／又はオーディオ入力１３２を使用するコンピュータ１０２は、コンピュータ１０２を取り巻く環境の特性を収集する。この環境特性は、コンピュータ１０２が位置する部屋／空間の推定サイズ、グローバルポジショニング情報、温度、湿度、反響の質、大きな物体までの距離、等の情報を含む。
【００５０】
一例において、コンピュータ１０２は、（オーディオ入力／出力１３２、又はスピーカ１０６、１１０を経て）音を放射し、そして音及びそれにより生じるエコー（もしあれば）は、マイクロホン１３２及び／又は他のセンサ１３４により感知される。反響オーディオサウンドの感知されたエコー応答及び他の特性は、部屋のサイズ、部屋の反響性、又は他の同様の特性に関する情報を与える。
【００５１】
別の例では、グローバルポジショニング情報又は信号強度分析のような情報を使用して、コンピュータ１０２の場所を決定することができる。この場所は、ユーザのオフィス、家、屋外の場所、等であると決定される（例えば、ユーザ、マッピング又は他の参照情報でプログラムされることにより）。
【００５２】
環境データが収集されると、方法３００は動作３２２へ進み、コンピュータ１０２は、オーディオ及び／又はビデオ出力が特定の環境に対してセットされるかどうか決定する。例えば、コンピュータ１０２の位置がユーザのオフィスであると決定された場合には、オーディオ及び／又はビデオ設定は、低いボリュームとなるように調整される。ユーザは、オフィスにいるときに比して、家では、より高いボリュームでオーディオを再生することを望む。同様に、オフィスにおける一般的な部屋のサイズは、ユーザの家でオーディオを再生するためにコンピュータ１０２が使用される場合より小さい（例えば、ユーザの特定のオフィス）。更に、ある場合に、コンピュータ１０２の場所に基づき、オーディオ及び／又はビデオは、例えば、オフィス又は教室では、ミュートされるか又は再生が防止される。
【００５３】
別の例では、スピーカ１０６、１１０のオーディオ出力設定は、コンピュータ１０２の部屋の反響の質又はサイズを考慮するように調整することが必要である。これは、エコーを除去し、反響し得る周波数を減少するためのオーディオのフィルタリング、又はオーディオの他の後処理を含む。同様に、室内の周囲光の量、例えば、ディスプレイスクリーン又はビデオ信号の輝度の増減に基づいてビデオの画質を調整する必要がある。
【００５４】
動作３２２において、特定の環境に対してオーディオ及び／又はビデオ設定を調整する必要があるとコンピュータ１０２が決定する場合には、この方法は、動作３２４へ進む。動作３２４において、コンピュータは、スピーカ１０６、１１０及び／又はディスプレイスクリーン１０４から、考えられる最良のサウンド及び／又は画像を出力するように当該設定を調整する。動作３２４は、特定の設定（例えば、輝度、コントラスト、高音、最低音、ボリューム）を増加／減少すること、出力信号を特定の仕方で変化させること（例えば、ある周波数を減少し又は向上させるために信号をフィルタリングすること）、出力信号を別の信号と合成すること、或いはオーディオ又はビデオの一方又は両方の出力を調整する他の形式のメカニズムを伴う。
【００５５】
オーディオ及び／又はビデオが調整されると、方法３００は、動作３２０に戻る。このように、コンピュータ１０２は、オーディオ及び／又はビデオの調整と調整との間に環境の状態が変化した場合に環境データを収集し続ける。同様に、動作３２０へ戻ることにより、変更されたオーディオ及び／又はビデオ設定は、特定の環境に対して充分であることが検証される。これは、設定を調整して再テスト（及び必要に応じて再調整）できるようなフィードバックループを与える。
【００５６】
動作３２２の後に、特定の環境に対してオーディオ及び／又はビデオ設定が充分であるとコンピュータ１０２が決定する場合には、方法３００は、動作３２６へ進む。コンピュータ１０２は、出力装置（例えば、テレビジョン、又はスピーカ１０６、１１０）へオーディオ及び／又はビデオを提示又は転送する。
【００５７】
コンピュータ１０２がオーディオ及び／又はビデオを提示するとき、方法３００は動作３２８へ続く。この動作３２８において、コンピュータ１０２は、動きが検出されるかどうか監視する（センサ１３４を経て）。例えば、センサ１３４は、ユーザが自分の位置を変化させる場合に追跡する動き検出器又は他の移動感知装置を含む。同様に、センサ１３４は、ユーザがコンピュータ１０２を持ち運ぶか又は移動するかをコンピュータ１０２が決定するように、コンピュータ１０２が移動するかどうかを決定する加速度計も含む。
【００５８】
動作３２８において、動きが検出されない場合には、方法３００は動作３２６へ戻る。しかしながら、動作３２８において、動きが検出された場合には、方法３００は動作３１４へ戻る。それ故、オーディオ及び／又はビデオが提示されている間にユーザ及び／又はコンピュータ１０２が移動する場合には、コンピュータ１０２は、オーディオ及び／又はビデオ設定が、更新された環境及びユーザの位置に対して充分にセットされたかどうか更に決定する。それ故、コンピュータ１０２は、オーディオ及びビデオ再生の設定を動的に調整することができる。これは、コンピュータ１０２がオーディオ及び／又はビデオを調整し続けて、オーディオ及び／又はビデオを最良の（又は望ましい）設定で提示できるようにする。
【００５９】
ビデオ会議
他の例では、システム１００は、エンハンス（向上）型で且つユーザ調整可能なビデオ会議システムを提供するのに使用される。図５Ａは、複数人ビデオ会議を表示するコンピュータ１０２の一例である。明らかなように、ディスプレイ１０４は、個人Ａ、個人Ｂ、個人Ｃ、及び個人Ｄの画像を含む。個人は、より多くても少なくてもよく、又、システムは、人を伴わずに（例えば、監視システムとして）使用されてもよいことに注意されたい。図５Ｂは、各個人Ａ−Ｄの位置に対するコンピュータ１０２の上面図である。図５Ｂに示すように、各個人Ａ−Ｄは、コンピュータ１０２に対して異なる場所に位置する。
【００６０】
各個人Ａ−Ｄは、異なる場所に且つコンピュータ１０２から変化する距離に位置するので、図５Ａのコンピュータ１０２における各個人Ａ−Ｄの表示も、同様に、個人Ａ−Ｄを、彼等が実際にそうであるように、即ち異なる場所に表示する。更に、マイクロホン１３６も、個人Ａ−Ｄのボイス及び他のサウンドを、コンピュータ１０２に対する個人の位置に基づいてピックアップする。それ故、個人Ａ及びＢは、図５Ａの個人Ｃに比して小さく示され、そして個人Ａ及びＢからのサウンドも、一般的に、個人Ｃからのサウンドより静かなものとして出力される。しかしながら、ある場合には、ビデオ会議を見ているユーザは、個人Ａ及びＢをより良好に又は大きく聞き及び／又は見ることを希望する。例えば、個人Ａ及びＢが瞬間的に話をし、そしてユーザは、出力サウンドを彼等のボイスに焦点を当てることを希望する。
【００６１】
図５Ｃは、個人Ａ及びＢのオーディオ及びビデオを向上させた図５Ａのコンピュータ１０２を示す。図５Ｃにおいて明らかなように、個人Ａ及びＢの画像が拡大され、個人Ｃの画像とほぼ等しいサイズにされている。同様に、図５Ｃには示されていないが、各個人Ａ及びＢからのオーディオも向上される。更に、個人Ａ及び個人Ｂを更に大きく向上させるために、非向上の個人Ｃ及びＤを最小にし又は隠してもよい。又は、個人Ｃ及びＤをほぼ同じままとし、個人Ａ及びＢが個人Ｃ及びＤとほぼ同じサイズになるようにしてもよい。更に、個人Ａ及び個人Ｂの向上は、彼等の画像だけでなく、他の設定も含んでもよい。例えば、各個人が個別のチャットウインドウにある場合には、話をしている個人（例えば、個人Ａ又は個人Ｂ）のウインドウが向上され、例えば、チャットウインドウがカラーを変化させ、境界を含み、又は境界を変更し、ウインドウが拡大され、ディスプレイの前方へ引っ張られ、等々である。
【００６２】
図６は、図５Ａ−５Ｃに示すビデオ会議セッション中に特定の個人のオーディオ及び／又はビデオを向上させるための規範的方法を示すフローチャートである。この方法４００は、動作４０２で始まり、コンピュータ１０２は、特定のビデオ会議セッションに関連した複数のユーザ又は人がいるかどうか決定する。コンピュータ１０２は、ユーザが人数を入力できるようにするためのオプションをユーザに提示し、又はコンピュータ１０２は、顔認識、音声認識、全会議セッション又はディスプレイコンピュータ、等によりユーザの数を決定する。ビデオ会議セッションに参加している個人又はユーザは、個別（例えば、各々が個別のコンピュータ）であるか、集合的（例えば、コンピュータ当たり複数のユーザ）であるか、又は個別及び集合的の組合せ（例えば、あるユーザは個別、あるユーザは集合的）であるか決定されることに注意されたい。
【００６３】
一例において、図５Ａ−５Ｃに示すように、コンピュータ１０２は、４人の個人（個人Ａ−Ｄ）がいるが、各個人Ａ−Ｄは、単一のコンピュータ１０２の前にいることを決定する。コンピュータ１０２は、顔認識、音声認識、及び他の種々のセンサを使用して、コンピュータ１０２の前にいる個人の人数を決定する。しかしながら、他の場合には、個人Ａ−Ｄの各々が個別のコンピュータの前にいるが、コンピュータ１０２のディスプレイ上で一緒にグループ編成され、ビデオ会議の単一インターフェイスを提示することができる。
【００６４】
方法２００は、ユーザの人数を決定すると、動作４０４へ進む。この動作４０４は、話をしているユーザがもしいれば、どのユーザ（ユーザの人数のうちの）であるか決定する。コンピュータ１０２は、ユーザが話をしているかどうか、音声認識、オーディオセンサ、画像データ、等で決定する。話をしているユーザが決定されると、方法４００は、動作４０６へ進み、コンピュータ１０２は、オーディオ入力センサ（マイクロホン）のようなセンサを、話をしているユーザへ向け又は操向する。例えば、オーディオ入力センサが、話をしているユーザに向けて回転されるか、又は指向性マイクロホンが、話をしているユーザに向けてアクチベートされ又は操向される。
【００６５】
オーディオ入力センサが、話をしているユーザへ操向されるか、又は向けられた後に、方法４００は、動作４０８へ進む。この動作４０８は、ユーザ（又はコンピュータ１０２）が、話をしているユーザに焦点を合わせるために出力ビデオを向上させることを望むかどうか決定する。例えば、話をしているユーザが決定された後、コンピュータ１０２は、話をしているユーザのビデオ画像に焦点を合わせたいかどうかについてのオプションを、見ているユーザに提示する。或いは又、コンピュータ１０２は、話をしているユーザの出力を自動的に向上させてもよく、これは、ビデオ会議アプリケーションの設定である。
【００６６】
動作４０８において、話をしているユーザのビデオ出力を向上させるべき場合に、方法４００は、動作４１０へ進み、そして話をしているユーザにズームインするか又は焦点を合わせるようにビデオ出力及び／又はビデオ入力（例えば、ビデオセンサ１３４）を向上させることができる。例えば、図５Ｃに示すように、個人Ａ及びＢが個人Ｃよりスクリーンに接近して見えるように、個人Ａ及び個人Ｂの出力ビデオを向上させることができる。
【００６７】
動作４１０の後に、又は動作４０８において、話をしているユーザに出力ビデオの焦点が合わせられない場合には、方法４００は、動作４１２へ進む。この動作４１２は、話をしているユーザがディスプレイ１０４の中央部からオフセットして位置しているかどうか決定する。例えば、コンピュータ１０２は、顔認識、音声認識、等を使用して、話をしているユーザがディスプレイ１０４上のどこに位置するか決定する。例えば、コンピュータ１０２は、個人Ａが話をしていること、及びその個人がディスプレイ１０４においてスクリーンの右側に表示されることを決定する。しかしながら、動作４１２において、個人Ｃが話をしているユーザである場合には、コンピュータ１０２は、話をしているユーザが実質的にディスプレイ１０４の中央部に位置することを決定する。
【００６８】
動作４１２において、話をしているユーザがディスプレイ１０４の中央部からオフセットして位置している場合には、方法４００は、動作４１４へ進む。この動作４１４は、話をしているユーザの音声が、話をしているユーザが表示されるディスプレイ１０４の側部に向けて傾くようにビデオ会議のオーディオ出力を向上させる。例えば、図５Ｃに示す構成では、オーディオ出力装置１０６、１１０は、話をしているユーザの場所、即ちディスプレイスクリーン１０４の右側から到来するようにオーディオサウンドを生じさせるようセットされる。このように、視聴し／見ているユーザは、話をしているユーザが表示された場所からそのユーザの音声を聞くことができる。
【００６９】
場所を伴う対応オーディオ
他の実施形態では、システム１００は、ビデオ会議ウインドウ又はインスタンスの場所に基づいてオーディオ出力を変更するように構成される。図７Ａは、インスタントメッセージング、ボイス又はビデオチャットプログラムの実行を伴うコンピュータ１０２を示す。例えば、コンピュータ１０２は、アップル社によるｉＣＨＡＴ又はＦａｃｅｔｉｍｅのようなプログラムを実行する。ディスプレイは、複数のチャットインスタンス４３０、４３２、４３４、４３６を含み、各ウインドウは、それ自身のオーディオ、各々、オーディオＡ、オーディオＢ、オーディオＣ、及びオーディオＤを含む。更に、各チャットインスタンスは、ビデオ画像又は写真のような対応画像を含む。
【００７０】
図８は、チャットインスタンスの場所に対応する場所から発生するかのように音を発する出力として特定チャットインスタンスのオーディオを指向するための規範的な方法５００を示すフローチャートである。この方法５００は、動作５０２で始まり、コンピュータ１０２は、２つ以上のチャットインスタンスがあるかどうか決定する。例えば、コンピュータ１０２は、異なるチャットインスタンスに対応する複数のオーディオインスタンスがあるかどうか決定する。２つ以上のオーディオインスタンスもチャットインスタンスもない場合には、方法５００は、動作５１２へ進み、これについては、以下に詳細に述べる。
【００７１】
動作５０２において、２つ以上のオーディオインスタンス又はチャットインスタンスがある場合には、方法５００は、動作５０４へ進む。この動作５０４は、チャットインスタンスがディスプレイ１０４上の異なる場所に配置されるかどうか決定する。例えば、チャットインスタンスは、互いに上にオーバーレイされ、最小化され、又は（図７Ａに示すように）ディスプレイスクリーン１０４上の種々の場所に分散されてもよい。動作５０４において、チャットインスタンスがディスプレイ１０４上の異なる位置に配置されたとコンピュータ１０２が決定した場合には、方法５００は、動作５０６へ進む。
【００７２】
動作５０６は、ユーザが話をしていること、又はどのインスタンスがオーディオ出力を有するか決定する。例えば、コンピュータ１０２は、オーディオＡ、オーディオＢ、オーディオＣ、又はオーディオＤが現在サウンドを発生しているかどうか決定し、これは、ユーザが話をしているか、さもなければ、視聴ユーザへ伝達するサウンドを発しているかどうかに相関している。動作５０６で、現在出力を有するオーディオが決定されると、方法５００は、動作５０８へ進む。この動作５０８は、出力オーディオの場所を決定し、即ちどのチャットインスタンス（及びその場所）が各オーディオに相関するか決定する。例えば、オーディオＡが現在出力を有する場合には、コンピュータ１０２は、チャットインスタンス４３０の場所（ディスプレイ１０４に対する）を決定する。
【００７３】
動作５０８の後、方法５００は、動作５１０へ進み、コンピュータ１０２は、スピーカ１０６、１１０又は他の出力装置からのオーディオ出力を、チャットインスタンスの場所から出るように（又は出るよう見えるように）変更する。例えば、図７Ａに示すように、オーディオＡが出力を有する場合には、スピーカ１１０は、オーディオＡのオーディオがチャットインスタンスのエリアから指向されて見えるように変更される。図７Ｂは、チャットインスタンス４３０、４３２、４３４、４３６に各々対応するオーディオＡ−Ｄのオーディオ方向を示す。図７Ｂにおいて明らかなように、オーディオは、ディスプレイ１０４上のチャットインスタンスの場所に相関する仕方でユーザに向けられる。これは、ユーザが、オーディオＡ−Ｄからのいずれのオーディオも、それらがチャットインスタンスの場所から出力されたかのように聞こえるようにする。これは、ビデオ会議又はビデオチャットアプリケーションにおいてユーザにより現実的なチャット経験を与える。更に、指向性オーディオも、チャットセッション中にユーザのオーディオ経験を向上させる。
【００７４】
動作５１０の後、又は動作５０４の後、方法５００は、動作５１２へ進む。動作５１２は、現在オーディオが終了したかどうか、例えば、特定の個人が話し終えたかどうか決定する。コンピュータ１０２は、チャットがビデオ映像を含む場合には顔認識によってこれを決定するか、或いはオーディオ処理、スピーチ認識、又は他の処理技術によって行う。特定チャットインスタンスのオーディオが終了しない場合には、方法５００は、動作５１４へ進み、コンピュータ１０２は、選択時間中、待機又は休止となる。他方、選択されたチャットインスタンスのオーディオが終了した場合には、方法５００は、動作５１６へ進む。この動作５１６は、チャットインスタンスの１つに対しアクティブな新たなオーディオがあるかどうか決定する。新たなオーディオがある場合には、方法５００は動作５０４へ戻る。しかしながら、別のオーディオがない場合には、方法５００は終了となる。
【００７５】
結論
以上の説明は、広く適用することができる。実施形態の説明は、単なる例示に過ぎず、請求項を含む本開示の範囲がこれらの例に限定されることを示唆するものではない。
【符号の説明】
【００７６】
１００：システム
１０２：コンピュータ
１０６、１１０：オーディオ出力装置
１１８：プロセッサ
１２０：ネットワーク／通信インターフェイス
１２２：システムバス
１２４：センサ
１２６：入力／出力インターフェイス
１２８：ビデオ入力／出力インターフェイス
１３０：メモリ
１３２：オーディオ入力／出力インターフェイス
１３４：ビデオセンサ
１３６：マイクロホン
１３８：ネットワーク
１４２：画像処理ユニット
１４４：ユーザ／環境インターフェイス処理ユニット
１４５：出力処理ユニット
１４６：オーディオ処理ユニット
【特許請求の範囲】
【請求項１】
コンピューティング装置からオーディオを出力する方法において、
センサによりユーザを検出する段階と、
オーディオ出力装置の現在オーディオ出力に対して最適な範囲にユーザがいるかどうかプロセッサにより決定する段階と、
ユーザが最適な範囲内にいない場合には、前記オーディオ出力を変更する段階と、
ユーザが前記コンピューティング装置に向いているかどうか前記センサにより決定する段階と、
ユーザの方向に基づいてオーディオ装置を調整する段階と、
を備えた方法。
【請求項２】
第１センサはユーザの存在を決定し、第２センサはユーザの方向を決定する、請求項１に記載の方法。
【請求項３】
前記第１センサは動きセンサであり、前記第２センサはカメラである、請求項２に記載の方法。
【請求項４】
前記オーディオ出力装置は、第１スピーカ及び第２スピーカを含む、請求項１に記載の方法。
【請求項５】
オーディオ装置を調整する前記段階は、ボリュームの調整、サウンド位置の調整、出力装置のアクチベーション及びデアクチベーション、又は周波数のフィルタリングの少なくとも１つを含む、請求項１に記載の方法。
【請求項６】
コンピュータのためのオーディオを向上させる方法において、
コンピュータのアプリケーションを起動する段階と、
コンピュータに対するユーザの位置をセンサにより決定する段階と、
コンピュータの環境に対応する環境データをセンサにより収集する段階と、
前記環境データ及びユーザの位置に鑑みオーディオビジュアル設定をプロセッサにより調整する段階と、
を備えた方法。
【請求項７】
前記オーディオビジュアル設定が前記ユーザの位置に対して最適であるかどうか決定する段階と、
前記オーディオビジュアル設定が最適でない場合には、前記ユーザの位置に基づき前記オーディオビジュアル設定を最適となるように調整する段階と、
を更に備えた請求項６に記載の方法。
【請求項８】
前記センサは、第１センサ及び第２センサを含む、請求項６に記載の方法。
【請求項９】
前記第１センサはユーザ位置を検出し、前記第２センサは環境データを収集する、請求項８に記載の方法。
【請求項１０】
前記環境データは、コンピュータの位置の推定サイズ、グローバルポジショニングデータ、温度、湿度、コンピュータの位置の反響の質、又はコンピュータから大きな物体までの距離、のうちの少なくとも１つを含む、請求項６に記載の方法。
【請求項１１】
前記オーディオビジュアル設定は、オーディオ出力及びビデオ出力の少なくとも１つを含む、請求項６に記載の方法。
【請求項１２】
前記オーディオビジュアル設定は、オーディオ出力又はビデオ出力の１つのみを含む、請求項６に記載の方法。
【請求項１３】
ユーザが移動したかどうかを動きセンサにより決定する段階を更に備えた、請求項６に記載の方法。
【請求項１４】
オーディオを向上させるシステムにおいて、
コンピュータであって、
このコンピュータに対するユーザの位置を決定し、そしてこのコンピュータの環境に対応する環境データを収集するように構成されたセンサ、及び
前記センサと通信し、そして前記ユーザの位置及び環境データを処理して、オーディオ出力又はビデオ出力の少なくとも一方を調整するように構成されたプロセッサ、
を含むコンピュータと、
前記プロセッサと通信し、そして前記オーディオ出力又はビデオ出力の少なくとも一方を出力するように構成された出力装置と、
を備えたシステム。
【請求項１５】
前記環境データは、環境の反響の質、又はおおよその大きさのうちの少なくとも１つを含む、請求項１４に記載のシステム。
【請求項１６】
前記環境データは、反響の質、及びおおよその大きさの両方を含む、請求項１４に記載のシステム。
【請求項１７】
前記出力装置は、コンピュータの外部にある、請求項１４に記載のシステム。
【請求項１８】
前記プロセッサは、更に、
前記ユーザの位置に対してオーディオビジュアル設定が最適であるかどうか決定し、
オーディオビジュアル設定が最適でない場合には、前記ユーザの位置に基づきオーディオビジュアル設定を最適となるよう調整する、
ように構成された請求項１４に記載のシステム。
【請求項１９】
前記オーディオビジュアル設定は、オーディオ設定及びビデオ設定の少なくとも一方を含む、請求項１８に記載のシステム。
【請求項２０】
前記出力装置は、スピーカである、請求項１４に記載のシステム。
【請求項１】
コンピューティング装置からオーディオを出力する方法において、
センサによりユーザを検出する段階と、
オーディオ出力装置の現在オーディオ出力に対して最適な範囲にユーザがいるかどうかプロセッサにより決定する段階と、
ユーザが最適な範囲内にいない場合には、前記オーディオ出力を変更する段階と、
ユーザが前記コンピューティング装置に向いているかどうか前記センサにより決定する段階と、
ユーザの方向に基づいてオーディオ装置を調整する段階と、
を備えた方法。
【請求項２】
第１センサはユーザの存在を決定し、第２センサはユーザの方向を決定する、請求項１に記載の方法。
【請求項３】
前記第１センサは動きセンサであり、前記第２センサはカメラである、請求項２に記載の方法。
【請求項４】
前記オーディオ出力装置は、第１スピーカ及び第２スピーカを含む、請求項１に記載の方法。
【請求項５】
オーディオ装置を調整する前記段階は、ボリュームの調整、サウンド位置の調整、出力装置のアクチベーション及びデアクチベーション、又は周波数のフィルタリングの少なくとも１つを含む、請求項１に記載の方法。
【請求項６】
コンピュータのためのオーディオを向上させる方法において、
コンピュータのアプリケーションを起動する段階と、
コンピュータに対するユーザの位置をセンサにより決定する段階と、
コンピュータの環境に対応する環境データをセンサにより収集する段階と、
前記環境データ及びユーザの位置に鑑みオーディオビジュアル設定をプロセッサにより調整する段階と、
を備えた方法。
【請求項７】
前記オーディオビジュアル設定が前記ユーザの位置に対して最適であるかどうか決定する段階と、
前記オーディオビジュアル設定が最適でない場合には、前記ユーザの位置に基づき前記オーディオビジュアル設定を最適となるように調整する段階と、
を更に備えた請求項６に記載の方法。
【請求項８】
前記センサは、第１センサ及び第２センサを含む、請求項６に記載の方法。
【請求項９】
前記第１センサはユーザ位置を検出し、前記第２センサは環境データを収集する、請求項８に記載の方法。
【請求項１０】
前記環境データは、コンピュータの位置の推定サイズ、グローバルポジショニングデータ、温度、湿度、コンピュータの位置の反響の質、又はコンピュータから大きな物体までの距離、のうちの少なくとも１つを含む、請求項６に記載の方法。
【請求項１１】
前記オーディオビジュアル設定は、オーディオ出力及びビデオ出力の少なくとも１つを含む、請求項６に記載の方法。
【請求項１２】
前記オーディオビジュアル設定は、オーディオ出力又はビデオ出力の１つのみを含む、請求項６に記載の方法。
【請求項１３】
ユーザが移動したかどうかを動きセンサにより決定する段階を更に備えた、請求項６に記載の方法。
【請求項１４】
オーディオを向上させるシステムにおいて、
コンピュータであって、
このコンピュータに対するユーザの位置を決定し、そしてこのコンピュータの環境に対応する環境データを収集するように構成されたセンサ、及び
前記センサと通信し、そして前記ユーザの位置及び環境データを処理して、オーディオ出力又はビデオ出力の少なくとも一方を調整するように構成されたプロセッサ、
を含むコンピュータと、
前記プロセッサと通信し、そして前記オーディオ出力又はビデオ出力の少なくとも一方を出力するように構成された出力装置と、
を備えたシステム。
【請求項１５】
前記環境データは、環境の反響の質、又はおおよその大きさのうちの少なくとも１つを含む、請求項１４に記載のシステム。
【請求項１６】
前記環境データは、反響の質、及びおおよその大きさの両方を含む、請求項１４に記載のシステム。
【請求項１７】
前記出力装置は、コンピュータの外部にある、請求項１４に記載のシステム。
【請求項１８】
前記プロセッサは、更に、
前記ユーザの位置に対してオーディオビジュアル設定が最適であるかどうか決定し、
オーディオビジュアル設定が最適でない場合には、前記ユーザの位置に基づきオーディオビジュアル設定を最適となるよう調整する、
ように構成された請求項１４に記載のシステム。
【請求項１９】
前記オーディオビジュアル設定は、オーディオ設定及びビデオ設定の少なくとも一方を含む、請求項１８に記載のシステム。
【請求項２０】
前記出力装置は、スピーカである、請求項１４に記載のシステム。
【図１Ａ】
【図１Ｂ】
【図１Ｃ】
【図２】
【図３】
【図４】
【図５Ａ】
【図５Ｂ】
【図５Ｃ】
【図６】
【図７Ａ】
【図７Ｂ】
【図８】
【図１Ｂ】
【図１Ｃ】
【図２】
【図３】
【図４】
【図５Ａ】
【図５Ｂ】
【図５Ｃ】
【図６】
【図７Ａ】
【図７Ｂ】
【図８】
【公開番号】特開２０１３−４８４１２（Ｐ２０１３−４８４１２Ａ）
【公開日】平成２５年３月７日（２０１３．３．７）
【国際特許分類】
【外国語出願】
【出願番号】特願２０１２−１７９９４４（Ｐ２０１２−１７９９４４）
【出願日】平成２４年７月２７日（２０１２．７．２７）
【出願人】（５０３２６０９１８）アップル インコーポレイテッド (568)
【Ｆターム（参考）】
【公開日】平成２５年３月７日（２０１３．３．７）
【国際特許分類】
【出願番号】特願２０１２−１７９９４４（Ｐ２０１２−１７９９４４）
【出願日】平成２４年７月２７日（２０１２．７．２７）
【出願人】（５０３２６０９１８）アップル インコーポレイテッド (568)
【Ｆターム（参考）】
[ Back to top ]