情報処理装置
【課題】 話者を自動で検知して映像を切り替えるＴＶ会議システムでは、話者が変わるたびにパン・チルトの動作が起こり、見ている側に不快な印象を与える。また自動で検知した方向に話者がいない場合、不要な映像が表示されることがある。
【解決手段】 話者の音声の発生方向を検知する手段と、検知した方向にカメラの撮像方向を変更する手段と、撮像された画像内に人物が含まれるか否かを判定する手段と、撮像方向変更および人物判定中には、撮像方向変更前の静止画像の映像を送信し、人物判定に失敗した場合には撮像方向変更前の撮像方向に戻し、成功した場合はそのままの撮像方向でリアルタイムの映像の送信を開始する手段を設ける。
【解決手段】 話者の音声の発生方向を検知する手段と、検知した方向にカメラの撮像方向を変更する手段と、撮像された画像内に人物が含まれるか否かを判定する手段と、撮像方向変更および人物判定中には、撮像方向変更前の静止画像の映像を送信し、人物判定に失敗した場合には撮像方向変更前の撮像方向に戻し、成功した場合はそのままの撮像方向でリアルタイムの映像の送信を開始する手段を設ける。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像方向変更制御が可能な撮像装置で撮像した映像を送信する情報処理装置に関する。
【背景技術】
【０００２】
動画として映像を撮影する時の心得として、ズームアップしたままの高速パン・チルトは避けるとか、途中で方向のぶれるパン・チルトは避けるといったカメラワークの原則がある。これは映像を見ていて気持ち悪くなるというビデオ酔いを避けるためである。特許文献１は、撮像装置に加速度センサを設け、高速なパン・チルトを検知した時には、移動中の映像を映さないようにその直前の静止画像などに切り替えるようにしている。
【０００３】
また、ネットワークを介して映像を送受信するＴＶ会議システムでは、送信する映像の負荷が問題となる。特許文献２では、パン・チルト中の不要な映像を送信しないようにしている。
【０００４】
一方、臨場感や映像の理解しやすさを求めるために、動的に話者をズームアップして表示するＴＶ会議システムがある。特許文献３は、話者の音声方向を検知してカメラをパン・チルトし、その画像から顔を検知してズームするというカメラワークを自動で行うものである。これは、頻繁なカメラの画角移動をさけるために音声が一定時間以上継続した場合に話者検知を行うという条件をつけている。
【０００５】
特許文献４は、話者の音声方向を検知してカメラをパン・チルトし、その画像から顔を検知してズームするが、顔を検知しなかった場合には、次の音声の継続時間を短くして不要な画像の表示時間を短くするものである。
【０００６】
特許文献５は、複数のカメラで撮像したパノラマ画像から、音源方向の画像を切り出し、動的に映像の切り替えを行うものである。
【特許文献１】特開２００５−３０３４９２号公報
【特許文献２】特開平１０−１３６２４６号公報
【特許文献３】特開２００４−１９３６６１号公報
【特許文献４】特開２００７−５３５１３号公報
【特許文献５】特開２００７−１２４１４０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
高速なパン・チルトや途中で方向のずれるパン・チルト・ズームは、それを見ているユーザに不快感を与える。特許文献１、特許文献２は、それを避けるために撮像方向変更中の映像を映さない。しかし、この撮像方向変更はカメラの操作者の意図を持って行うものであり、移動後の映像は無条件に表示される。
【０００８】
一方、ＴＶ会議などで使われる話者自動検知カメラにおいては、自動で、パン・チルト・ズームが行われる。特許文献３、特許文献４は、パン・チルト・ズームを行うカメラが撮像し送信している画面から顔検知を行うため、撮像方向変更のパン・チルトと顔検知後のズームの動きが送信される。これが頻繁に起こると見る側が不快に感じるため、音声検知による撮像方向変更を行うまでに一定時間カメラをホールドするという機能を持たせている。特許文献３では、撮像方向変更後に顔が検知されない場合には音声検知を繰り返すことによって、何もない画像を映す時間を短縮している。特許文献４では、撮像方向変更後に顔が検知されない場合にはホールド時間を短くすることによって何もない画像を映す時間を短縮している。これらはパン・チルト・ズーム中の映像や、顔判定に失敗した場合の不要な画面を映すことが避けられない。
【０００９】
特許文献５は、パノラマ画面から必要な画面を切り取るため、パン・チルト・ズームという動作中の映像を映さないが、パノラマ画面を作成するためカメラが多くなるという問題がある。また、できるだけ広角のカメラを用い台数を減らそうとするとズーム時の画像が粗くなるという欠点がある。
【課題を解決するための手段】
【００１０】
上記問題を解決するため、本発明に係る情報処理装置は、取得した音声の発生方向を検知する検知手段と、前記検知手段で検知した方向に撮像装置の撮像方向を変更する撮像方向変更手段と、前記撮像装置により撮像された画像内に人物が含まれるか否かを判定する判定手段と、前記撮像方向変更手段による撮像装置の撮像方向変更開始に伴って記憶手段に記憶されている画像を送信し、該変更後に前記判定手段により人物が含まれると判定された場合に前記カメラによる取得映像の送信を開始し、前記判定手段により人物が含まれないと判定された場合に前記撮像方向変更前の方向にカメラの撮像方向を変更し、該変更後に該カメラによる取得映像の送信を開始するよう制御する制御手段とを備えたことを特徴とする。
【００１１】
また本発明に係る情報処理装置は、取得した音声の発生方向を検知する検知手段と、前記検知手段で検知した方向に撮像装置の撮像方向を変更する第１の撮像方向変更手段と、前記撮像装置により撮像された画像内に人物が含まれるか否かを判定する判定手段と、前記判定手段により人物が含まれないと判定された場合に前記第１の撮像方向変更手段による撮像方向変更前の方向に撮像装置の撮像方向を変更する第２の撮像方向変更手段と、前記撮像装置で取得した画像を他の情報処理装置に送信する送信手段とを備え、前記送信手段は、前記第２の撮像方向変更手段による撮像方向変更の開始に伴って、記憶手段に記憶されている画像を前記他の情報処理装置が表示するよう制御する制御信号を送信し、前記第２の撮像方向変更手段による撮像方向変更終了後に、該送信手段で送信する画像を前記他の情報処理装置が表示するよう制御する制御信号を送信することを特徴とする。
【００１２】
また本発明に係る情報処理装置は、取得した音声の発生方向を検知する検知手段と、前記検知手段で検知した方向に撮像装置の撮像方向を変更する撮像方向変更手段と、前記撮像装置により撮像された画像内に人物が含まれるか否かを判定する判定手段と、複数台の撮像装置のうちの１つの撮像装置で撮像している映像を送信する送信手段と、前記検知手段で音声方向を検知した際に、前記映像送信手段による送信映像を撮像している撮像装置以外の撮像装置の撮影方向を該検知した方向に変更し、該撮像装置による撮像映像について前記判定手段により人物が含まれているか否かを判定し、人物が含まれていると判定した場合に、該撮像装置による撮像映像に送信映像を切り替える制御手段とを備えたことを特徴とする。
【発明の効果】
【００１３】
上記構成により、音声方向検知および人物判定時のパン・チルト・ズームの映像を相手側に見せないことで不快感を軽減し、不要な画面を提示することを防ぐことが可能となる。
【発明を実施するための最良の形態】
【００１４】
以下、図面を参照しながら本発明の好適な実施例について説明していく。ただし、この実施の形態に記載されている構成要素はあくまでも例示であり、本発明の範囲をそれらのみに限定する趣旨のものではない。
【実施例１】
【００１５】
図１は、本発明の実施例１に係る情報処理装置のブロック図である。
１０１は、マイクを複数配置したマイクアレイである。１０２は、マイクアレイからの音声入力を行う音声入力部である。１０３は、カメラの画角を変更するためのパン・チルト・ズーム制御部である。１０４は、映像を入力するための撮像部である。１０５は、取得した音声を処理するための音声処理部である。１０６は、音声の発生方向を検知するための音声方向検知部である。１０８は、画像内に人物が含まれるか否を判定する人物判定部である。１０９は、画像処理を行う画像処理部である。１１０は、音声信号と映像信号の通信を制御するための通信制御部である。１１１は、音声信号と映像信号の通信を行う通信部である。
【００１６】
図２は本発明の実施例１の処理の流れを示すフローチャートである。ＴＶ会議の例では、会議を開始して終了するまで、撮像した映像を送信し続ける。その間に、図２のフローチャートの処理を繰り返し行い、話者の切り替わりを検知した時にカメラの送信映像を切り替える。
【００１７】
スタートの段階から映像は常時送信されているものとする。まず、Ｓ２０１で音声方向検知を行う。ここで音声を検知したらＳ２０２へ進む。Ｓ２０２では、検知した音声の方向がカメラの撮像方向変更の必要なものか判断する。同じ人が話している場合や、現在の映像内に入っている人が話している場合には、撮像方向変更は必要ないとしてエンドへ進み終了する。撮像方向変更が必要な場合には、Ｓ２０３に進み、撮像方向変更開始に伴って、送信する映像をあらかじめ記憶されている画像のものに切り替える。切り替えられた映像は、例えば撮像方向変更直前の静止画となる。次にＳ２０４へ進み、Ｓ２０１で検知された方向へカメラをパン・チルトさせ撮像方向変更を行う。Ｓ２０５では撮像方向変更後の映像について人物が写っているかどうか人物判定を行う。人物判定は、人の顔を判定する顔判定でもよいし、頭や胴体などを判定する人判定でもより。なお、この判定に使用されている映像は送信されていない。Ｓ２０６では、人物判定結果から人物がいるかどうかの判定を行う。人物が写っていると判定された場合には、Ｓ２０７で取得映像の送信を開始する。この時、静止画から撮像方向変更が変わった状態で動画に切り替わる。Ｓ２０６で人物がいないと判定された場合には、カメラを撮像方向変更前の撮像方向に戻し、Ｓ２０７で映像の送信を開始する。この時には、静止画から動画に戻るが撮像方向の切り替えは行われない。
【００１８】
図３、図４は、実施例１のカメラ動作の例である。図３は、人物判定に成功した場合の例である。３０１は、３０２は音声を検知した時のカメラの撮像方向を示す図である。３０３は従来例での映像の時間的変化を示し、３０４は本実施例での映像の時間的変化を示す。３０１の状態では、カメラが左側の人を映している。３０２で右側の人からの音声を検知した場合、カメラはａからｂへ撮像方向を変更する。３０３の従来例では、移動中の映像も表示するが、３０４の本提案では途中の映像が直前の静止画で表示され、撮像方向変更後に動画に切り替わる。
【００１９】
図４は、人物判定に失敗した場合の例である。４０１、４０２は音声を検知した時のカメラの撮像方向変更を示す図である。４０３は従来例での映像の変化を示し、４０４は本実施例での映像の変化を示す。４０１の状態では、カメラが左側の人を映している。４０２で右側の音声を検知した場合、カメラはａからｂへ撮像方向を変更する。４０３の従来例では、撮像方向変更中の映像と撮像方向変更後の人物判定失敗後の映像を送信する。４０４の本提案では途中の映像が直前の静止画で表示され、ａからｂへ撮像方向を変更するが、そこに人物はいないのでもとのａと同じ撮像方向ｃに戻る。ａからｃまでの撮像方向変更中は静止画が表示されてその後に動画に切り替わるので、カメラが動いている間と人物判定に失敗した時の映像は表示されない。
【００２０】
上記構成により、音声方向検知および人物判定時のパン・チルト・ズームの映像を相手側に見せないことで不快感を軽減し、不要な画面を提示することを防ぐことが可能となる。また画面の切り替わりがパン・チルト・ズームでなく、カットインになることで、画面切り替え時にユーザに与える不快な印象が軽減されるため、短い時間での画面切り替えも許容できようになり、短い発話の話者の映像も挿入可能になる。
【実施例２】
【００２１】
実施例２のブロック図は図１と同じであるが、１０６の音声方向検知部は、複数の方向を候補として提示するものとする。
【００２２】
図５は本発明の実施例２の処理の流れを示すフローチャートである。ＴＶ会議の例では、会議を開始して終了するまで、撮像した映像を送信し続ける。その間に、図５のフローチャートの処理を繰り返し行い、話者の切り替わりを検知した時にカメラの送信映像を切り替える。
【００２３】
スタートの段階から映像は常時送信されているものとする。まず、Ｓ５０１で音声方向検知を行う。結果として複数の候補を優先順位付けしてリストアップする。ここで最低一つの候補があればＳ５０２へ進む。Ｓ５０２では、送信映像をあらかじめ記憶されている画像、例えばその時点での静止画像に切り替える。これ以後はＳ５０９まで、静止画像が送信される。Ｓ５０３では、複数ある候補から優先順位が上位の候補を順に選択する。Ｓ５０４では、選択される候補があるかどうか判定する。候補が残っていない場合にはＳ５１０に進み、撮像方向をフローチャートが開始する前の位置に戻し、Ｓ５０９に進んで映像の送信を切り替え、動画の送信を開始して終了する。音声方向の候補がある場合には、Ｓ５０５でその方向が撮像方向変更を必要なものであるか判定する。必要のない場合にはＳ５０９へ進み、動画の送信を開始して終了する。Ｓ５０５で撮像方向変更が必要と判定された場合、Ｓ５０６で撮像方向変更を行う。Ｓ５０７で変更先の映像に人物がいるかどうか人物判定を行う。撮像方向変更中の映像や人物判定に使用される映像は送信されない。Ｓ５０８で人物判定結果から人物がいるかどうかの判定を行う。人物が写っていると判定された場合には、Ｓ５０９へ進み、動画の送信を開始して終了する。人物がいないと判定された場合には、Ｓ５０３へ戻り、次の音声方向の候補に対して処理を繰り返す。
【００２４】
なおこの処理では、音声方向の候補が出た時点で送信映像を切り替えるため、同じ人が話している場合にも、静止画へ切り替わる場面が出てくる。これを回避するには、Ｓ５０２のステップを、Ｓ５０６の前へ移動し、終了直前のＳ５０９の前に、映像切り替えの有無を判断するステップを入れ、映像が切り替えられていた場合にのみＳ５０９のステップを実行するようにすればよい。
【実施例３】
【００２５】
図６は、本発明の実施例３のブロック図である。６０１は、マイクを複数配置したマイクアレイである。６０２は、マイクアレイからの音声入力を行う音声入力部である。６０３は、カメラの画角を変更するためのパン・チルト・ズーム制御部である。６０４は、映像を入力するための撮像部である。６０５は、通信部を介して受信した音声を出力する音声出力部である。６０６は、通信部を介して受信した映像を表示する映像表示部である。６０７は、取得した音声を処理するための音声処理部である。６０８は、音声の発生方向を検知するための音声方向検知部である。６０９は、画像内に人物が含まれるか否を判定する人物判定部である。６１０は、画像処理を行う画像処理部である。６１１は、音声信号と映像信号の通信を制御し、受信した映像の表示を制御する通信制御部である。６１２は、音声信号と映像信号の通信を行う通信部である。
【００２６】
実施例１、２は、映像を送信する側で表示すべき映像を制御しているが、実施例３は、表示を制御するための制御信号と映像を送信することで、受信側で表示しない映像の制御を行うものである。
【００２７】
図７は本発明の実施例３の処理の流れを示すフローチャートである。表示を制御する制御信号を送信する時の送信側の処理を示す。ＴＶ会議の例では、会議を開始して終了するまで、撮像した映像を送信し続ける。その間に、図７のフローチャートの処理を繰り返し行い、話者の切り替わりを検知した時に受信側で映像表示を切り替えるように制御信号を送信する。
【００２８】
スタートの段階から映像は常時送信されているものとする。まず、Ｓ７０１で音声方向検知を行う。ここで、音声を検知したらＳ７０２へ進む。Ｓ７０２では、検知した音声の方向がカメラの撮像方向変更の必要なものか判断する。同じ人が話している場合や、現在の映像内に入っている人が話している場合には、撮像方向変更は必要ないとしてエンドへ進み終了する。撮像方向変更が必要な場合には、Ｓ７０３に進み、受信側で受信映像の表示をあらかじめ記憶されている画像、例えば撮像方向変更直前の静止画に変更する制御信号を送信する。次にＳ７０４へ進み、Ｓ７０１で検知された方向へカメラをパン・チルトさせ撮像方向変更を行う。
【００２９】
Ｓ７０５では撮像方向変更終了後の映像について人物が写っているかどうか人物判定を行う。Ｓ７０６では、人物判定結果から映像内に人物がいるかどうかの判定を行う。人物が写っていると判定された場合には、Ｓ７０７で、受信側で受信映像の表示を動画に変更する制御信号を送信する。この時、受信側では静止画から撮像方向が変わった状態で動画に切り替わって表示される。Ｓ７０６で人物がいないと判定された場合には、Ｓ７０８でカメラを撮像方向変更前の撮像方向に戻し、Ｓ７０７で、受信側で受信映像の表示を動画に変更する制御信号を送信する。この時には、受信側では静止画から動画に戻るが撮像方向の切り替えは行われない状態で表示される。
【実施例４】
【００３０】
図８は、本発明の実施例４のブロック図である。８０１は、マイクを複数配置したマイクアレイである。８０２は、撮像するためのカメラであり、ここでは８０２ａ，８０２ｂの２台がある。８０３は、マイクアレイからの音声入力を行う音声入力部である。８０４は、カメラの撮像方向を変更するためのパン・チルト・ズーム制御部である。８０５は、映像を入力するための撮像部である。ここではカメラ２台に対して８０５ａ，８０５ｂがある。８０６は、取得した音声を処理するための音声処理部である。８０７は、音声の発生方向を検知するための音声方向検知部である。８０８は、撮像映像などの画像内に人物が含まれるか否を判定する人物判定部である。８０９は、画像処理を行う画像処理部である。８１０は、音声信号と映像信号の通信を制御するための通信制御部である。８１１は、音声信号と映像信号の通信を行う通信部である。
【００３１】
実施例１，２，３では、カメラが１台のため、撮像方向変更中は静止画像を表示することになるが、実施例４はカメラを２台用意して、送信用映像を撮像するカメラと話者検知用映像を撮像するカメラを切り替えながら使用することで、撮像方向変更中も動画を表示することが可能となる。
【００３２】
図９は本発明の実施例４のフローチャートである。ＴＶ会議の例では、会議を開始して終了するまで、撮像した映像を送信し続ける。その間に、図９のフローチャートの処理を繰り返し行い、話者の切り替わりを検知した場合に映像送信用のカメラの切り替えを行うものである。
【００３３】
スタートの段階から映像は常時送信されているものとする。まず、Ｓ９０１で音声方向検知を行う。ここで音声を検知したらＳ９０２へ進む。Ｓ９０２では、検知した音声の方向がカメラの撮像方向変更の必要なものか判断する。同じ人が話している場合や、現在の映像内に入っている人が話している場合には、撮像方向変更は必要ないとしてエンドへ進み終了する。撮像方向変更が必要な場合には、Ｓ９０３に進み、撮像方向変更用のカメラを選択する。現在送信されている映像を撮像しているカメラが８０２ａならば、使用されていないカメラ８０２ｂが撮像方向変更用のカメラとして選択される。次にＳ９０４へ進み、Ｓ９０１で検知された方向へカメラ８０２ｂをパン・チルトさせ撮像方向変更を行う。この時、送信用の映像は８０２ａで撮像されているので、動画が送信されている。Ｓ９０５では８０２ｂの撮像方向変更後の映像について人物が写っているかどうか人物判定を行う。Ｓ９０６では、人物判定結果から映像内に人物がいるかどうかの判定を行う。人物が写っていると判定された場合には、Ｓ９０７で８０２ａの撮像画像の送信を停止し、８０２ｂを映像送信用のカメラとして８０２ｂの映像の送信を開始する。Ｓ９０６で人物がいないと判定された場合には、撮像方向変更用のカメラ８０２ｂを解除する。８０２ｂはそのままの撮像方向で放置してもよいし、８０２ａと同じ撮像方向にあわせてもよい。この場合には、送信用の映像は８０２ａで撮像されたものを継続して使用し画角や映像の切り替えは行わない。
【００３４】
このように、最低２台のカメラを使用する場合、話者を探している間、直前の発話者の映像が静止画ではなく動画として表示できる。複数台カメラのパノラマ映像からの画面切り出しでなく、ズームが行えるカメラによる構成なので、少ない台数で精細な映像が送信可能である。
【実施例５】
【００３５】
実施例１、２、３、４のフローチャートでは、音声検知処理と撮像方向変更・人物判定処理を順次行っているが、これを別のプロセスに分離し並列に走らせてもよい。（１）音声検知処理は（２）撮像方向変更・人判定処理のトリガーとする。（２）の撮像方向変更・人判定処理中に、（１）の音声検知処理で検知した検知音声が途絶えた場合や別方向からの音を検知した場合、割り込み処理として（１）の撮像方向変更・人判定処理を中止し、元の画角に戻す。こうすれば、短い発言を話し終わった人に対してカメラが向くのを防げる。
【実施例６】
【００３６】
実施例１、２、３では、人物判定した後に撮像方向変更を行っていないが、人物判定後に人物がいた場合に人物や顔の位置や大きさが適切になるようにパン・チルト・ズームの撮像方向変更を行ってもよい。この場合にも、撮像方向変更中は撮像方向変更前の映像を送信し、撮像方向変更後に現在の映像の送信を再開する。
【実施例７】
【００３７】
実施例１、２、３では、撮像方向変更中には、撮像方向変更直前の映像を送信するようにしているが、直前の映像は、一コマでも、ある一定時間のものでもよい。一コマの場合には静止画像の表示になる。一定時間の映像の場合は動画の繰り返しとしてもよいし、送信速度を遅らせてスローで表示してもよい。
【実施例８】
【００３８】
映像送信中に無音区間を検知した場合、その間の映像をバッファに溜めておき、撮像方向を必要とする音声を検知した場合に、その無音区間の映像を直前の映像としてもよい。また、無音区間を検知した時点で、無音区間の映像がスローになるよう送信映像を調整し、撮像方向変更と人物判定の間、無音区間の映像を引き伸ばして表示するようにしてもよい。
【実施例９】
【００３９】
記憶手段に記憶されてる画像は、そのカメラで撮像されたもの以外に、あらかじめ用意している画像、例えば一面黒い画面などでもよい。
【実施例１０】
【００４０】
撮像方向変更中や人物判定中には、話者検知中である旨の文字列やマークを送信映像に重ねるようにしてもよい。
【実施例１１】
【００４１】
人物判定に失敗した場合、撮像方向変更前の撮像方向に戻すのではなく、ズームアウトして全景を映してもよい。
【実施例１２】
【００４２】
人物判定手段は、動物やロボットなどの被写体となりうるものの画像認識手段と置き換えてもよい。
【００４３】
なお、本発明の目的は次のようにしても達成される。即ち、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行する。このようにしても目的が達成されることは言うまでもない。
【００４４】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶したコンピュータ読取可能な記憶媒体は本発明を構成することになる。
【００４５】
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。
【００４６】
また、本発明に係る実施の形態は、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現される場合に限られない。例えば、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００４７】
さらに、本発明に係る実施形態の機能は次のようにしても実現される。即ち、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれる。そして、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行う。この処理により前述した実施形態の機能が実現されることは言うまでもない。
【図面の簡単な説明】
【００４８】
【図１】本発明の実施例１のブロック図である。
【図２】本発明の実施例１のフローチャートである。
【図３】本発明の実施例１のカメラ動作例である。
【図４】本発明の実施例１のカメラ動作例である。
【図５】本発明の実施例２のフローチャートである。
【図６】本発明の実施例３のブロック図である。
【図７】本発明の実施例３のフローチャートである。
【図８】本発明の実施例４のブロック図である。
【図９】本発明の実施例４のフローチャートである。
【符号の説明】
【００４９】
１０１ マイクを複数配置したマイクアレイ
１０２ マイクアレイからの音声入力を行う音声入力部
１０３ カメラの画角を変更するためのパン・チルト・ズーム制御部
１０４ 映像を入力するための撮像部
１０５ 取得した音声を処理するための音声処理部
１０６ 音声の発生方向を検知するための音声方向検地部
１０８ 画像内に人物が含まれるか否を判定する人物判定部
１０９ 画像処理を行う画像処理部
１１０ 音声信号と映像信号の通信を制御するための通信制御部
１１１ 音声信号と映像信号の通信を行う通信部
【技術分野】
【０００１】
本発明は、撮像方向変更制御が可能な撮像装置で撮像した映像を送信する情報処理装置に関する。
【背景技術】
【０００２】
動画として映像を撮影する時の心得として、ズームアップしたままの高速パン・チルトは避けるとか、途中で方向のぶれるパン・チルトは避けるといったカメラワークの原則がある。これは映像を見ていて気持ち悪くなるというビデオ酔いを避けるためである。特許文献１は、撮像装置に加速度センサを設け、高速なパン・チルトを検知した時には、移動中の映像を映さないようにその直前の静止画像などに切り替えるようにしている。
【０００３】
また、ネットワークを介して映像を送受信するＴＶ会議システムでは、送信する映像の負荷が問題となる。特許文献２では、パン・チルト中の不要な映像を送信しないようにしている。
【０００４】
一方、臨場感や映像の理解しやすさを求めるために、動的に話者をズームアップして表示するＴＶ会議システムがある。特許文献３は、話者の音声方向を検知してカメラをパン・チルトし、その画像から顔を検知してズームするというカメラワークを自動で行うものである。これは、頻繁なカメラの画角移動をさけるために音声が一定時間以上継続した場合に話者検知を行うという条件をつけている。
【０００５】
特許文献４は、話者の音声方向を検知してカメラをパン・チルトし、その画像から顔を検知してズームするが、顔を検知しなかった場合には、次の音声の継続時間を短くして不要な画像の表示時間を短くするものである。
【０００６】
特許文献５は、複数のカメラで撮像したパノラマ画像から、音源方向の画像を切り出し、動的に映像の切り替えを行うものである。
【特許文献１】特開２００５−３０３４９２号公報
【特許文献２】特開平１０−１３６２４６号公報
【特許文献３】特開２００４−１９３６６１号公報
【特許文献４】特開２００７−５３５１３号公報
【特許文献５】特開２００７−１２４１４０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
高速なパン・チルトや途中で方向のずれるパン・チルト・ズームは、それを見ているユーザに不快感を与える。特許文献１、特許文献２は、それを避けるために撮像方向変更中の映像を映さない。しかし、この撮像方向変更はカメラの操作者の意図を持って行うものであり、移動後の映像は無条件に表示される。
【０００８】
一方、ＴＶ会議などで使われる話者自動検知カメラにおいては、自動で、パン・チルト・ズームが行われる。特許文献３、特許文献４は、パン・チルト・ズームを行うカメラが撮像し送信している画面から顔検知を行うため、撮像方向変更のパン・チルトと顔検知後のズームの動きが送信される。これが頻繁に起こると見る側が不快に感じるため、音声検知による撮像方向変更を行うまでに一定時間カメラをホールドするという機能を持たせている。特許文献３では、撮像方向変更後に顔が検知されない場合には音声検知を繰り返すことによって、何もない画像を映す時間を短縮している。特許文献４では、撮像方向変更後に顔が検知されない場合にはホールド時間を短くすることによって何もない画像を映す時間を短縮している。これらはパン・チルト・ズーム中の映像や、顔判定に失敗した場合の不要な画面を映すことが避けられない。
【０００９】
特許文献５は、パノラマ画面から必要な画面を切り取るため、パン・チルト・ズームという動作中の映像を映さないが、パノラマ画面を作成するためカメラが多くなるという問題がある。また、できるだけ広角のカメラを用い台数を減らそうとするとズーム時の画像が粗くなるという欠点がある。
【課題を解決するための手段】
【００１０】
上記問題を解決するため、本発明に係る情報処理装置は、取得した音声の発生方向を検知する検知手段と、前記検知手段で検知した方向に撮像装置の撮像方向を変更する撮像方向変更手段と、前記撮像装置により撮像された画像内に人物が含まれるか否かを判定する判定手段と、前記撮像方向変更手段による撮像装置の撮像方向変更開始に伴って記憶手段に記憶されている画像を送信し、該変更後に前記判定手段により人物が含まれると判定された場合に前記カメラによる取得映像の送信を開始し、前記判定手段により人物が含まれないと判定された場合に前記撮像方向変更前の方向にカメラの撮像方向を変更し、該変更後に該カメラによる取得映像の送信を開始するよう制御する制御手段とを備えたことを特徴とする。
【００１１】
また本発明に係る情報処理装置は、取得した音声の発生方向を検知する検知手段と、前記検知手段で検知した方向に撮像装置の撮像方向を変更する第１の撮像方向変更手段と、前記撮像装置により撮像された画像内に人物が含まれるか否かを判定する判定手段と、前記判定手段により人物が含まれないと判定された場合に前記第１の撮像方向変更手段による撮像方向変更前の方向に撮像装置の撮像方向を変更する第２の撮像方向変更手段と、前記撮像装置で取得した画像を他の情報処理装置に送信する送信手段とを備え、前記送信手段は、前記第２の撮像方向変更手段による撮像方向変更の開始に伴って、記憶手段に記憶されている画像を前記他の情報処理装置が表示するよう制御する制御信号を送信し、前記第２の撮像方向変更手段による撮像方向変更終了後に、該送信手段で送信する画像を前記他の情報処理装置が表示するよう制御する制御信号を送信することを特徴とする。
【００１２】
また本発明に係る情報処理装置は、取得した音声の発生方向を検知する検知手段と、前記検知手段で検知した方向に撮像装置の撮像方向を変更する撮像方向変更手段と、前記撮像装置により撮像された画像内に人物が含まれるか否かを判定する判定手段と、複数台の撮像装置のうちの１つの撮像装置で撮像している映像を送信する送信手段と、前記検知手段で音声方向を検知した際に、前記映像送信手段による送信映像を撮像している撮像装置以外の撮像装置の撮影方向を該検知した方向に変更し、該撮像装置による撮像映像について前記判定手段により人物が含まれているか否かを判定し、人物が含まれていると判定した場合に、該撮像装置による撮像映像に送信映像を切り替える制御手段とを備えたことを特徴とする。
【発明の効果】
【００１３】
上記構成により、音声方向検知および人物判定時のパン・チルト・ズームの映像を相手側に見せないことで不快感を軽減し、不要な画面を提示することを防ぐことが可能となる。
【発明を実施するための最良の形態】
【００１４】
以下、図面を参照しながら本発明の好適な実施例について説明していく。ただし、この実施の形態に記載されている構成要素はあくまでも例示であり、本発明の範囲をそれらのみに限定する趣旨のものではない。
【実施例１】
【００１５】
図１は、本発明の実施例１に係る情報処理装置のブロック図である。
１０１は、マイクを複数配置したマイクアレイである。１０２は、マイクアレイからの音声入力を行う音声入力部である。１０３は、カメラの画角を変更するためのパン・チルト・ズーム制御部である。１０４は、映像を入力するための撮像部である。１０５は、取得した音声を処理するための音声処理部である。１０６は、音声の発生方向を検知するための音声方向検知部である。１０８は、画像内に人物が含まれるか否を判定する人物判定部である。１０９は、画像処理を行う画像処理部である。１１０は、音声信号と映像信号の通信を制御するための通信制御部である。１１１は、音声信号と映像信号の通信を行う通信部である。
【００１６】
図２は本発明の実施例１の処理の流れを示すフローチャートである。ＴＶ会議の例では、会議を開始して終了するまで、撮像した映像を送信し続ける。その間に、図２のフローチャートの処理を繰り返し行い、話者の切り替わりを検知した時にカメラの送信映像を切り替える。
【００１７】
スタートの段階から映像は常時送信されているものとする。まず、Ｓ２０１で音声方向検知を行う。ここで音声を検知したらＳ２０２へ進む。Ｓ２０２では、検知した音声の方向がカメラの撮像方向変更の必要なものか判断する。同じ人が話している場合や、現在の映像内に入っている人が話している場合には、撮像方向変更は必要ないとしてエンドへ進み終了する。撮像方向変更が必要な場合には、Ｓ２０３に進み、撮像方向変更開始に伴って、送信する映像をあらかじめ記憶されている画像のものに切り替える。切り替えられた映像は、例えば撮像方向変更直前の静止画となる。次にＳ２０４へ進み、Ｓ２０１で検知された方向へカメラをパン・チルトさせ撮像方向変更を行う。Ｓ２０５では撮像方向変更後の映像について人物が写っているかどうか人物判定を行う。人物判定は、人の顔を判定する顔判定でもよいし、頭や胴体などを判定する人判定でもより。なお、この判定に使用されている映像は送信されていない。Ｓ２０６では、人物判定結果から人物がいるかどうかの判定を行う。人物が写っていると判定された場合には、Ｓ２０７で取得映像の送信を開始する。この時、静止画から撮像方向変更が変わった状態で動画に切り替わる。Ｓ２０６で人物がいないと判定された場合には、カメラを撮像方向変更前の撮像方向に戻し、Ｓ２０７で映像の送信を開始する。この時には、静止画から動画に戻るが撮像方向の切り替えは行われない。
【００１８】
図３、図４は、実施例１のカメラ動作の例である。図３は、人物判定に成功した場合の例である。３０１は、３０２は音声を検知した時のカメラの撮像方向を示す図である。３０３は従来例での映像の時間的変化を示し、３０４は本実施例での映像の時間的変化を示す。３０１の状態では、カメラが左側の人を映している。３０２で右側の人からの音声を検知した場合、カメラはａからｂへ撮像方向を変更する。３０３の従来例では、移動中の映像も表示するが、３０４の本提案では途中の映像が直前の静止画で表示され、撮像方向変更後に動画に切り替わる。
【００１９】
図４は、人物判定に失敗した場合の例である。４０１、４０２は音声を検知した時のカメラの撮像方向変更を示す図である。４０３は従来例での映像の変化を示し、４０４は本実施例での映像の変化を示す。４０１の状態では、カメラが左側の人を映している。４０２で右側の音声を検知した場合、カメラはａからｂへ撮像方向を変更する。４０３の従来例では、撮像方向変更中の映像と撮像方向変更後の人物判定失敗後の映像を送信する。４０４の本提案では途中の映像が直前の静止画で表示され、ａからｂへ撮像方向を変更するが、そこに人物はいないのでもとのａと同じ撮像方向ｃに戻る。ａからｃまでの撮像方向変更中は静止画が表示されてその後に動画に切り替わるので、カメラが動いている間と人物判定に失敗した時の映像は表示されない。
【００２０】
上記構成により、音声方向検知および人物判定時のパン・チルト・ズームの映像を相手側に見せないことで不快感を軽減し、不要な画面を提示することを防ぐことが可能となる。また画面の切り替わりがパン・チルト・ズームでなく、カットインになることで、画面切り替え時にユーザに与える不快な印象が軽減されるため、短い時間での画面切り替えも許容できようになり、短い発話の話者の映像も挿入可能になる。
【実施例２】
【００２１】
実施例２のブロック図は図１と同じであるが、１０６の音声方向検知部は、複数の方向を候補として提示するものとする。
【００２２】
図５は本発明の実施例２の処理の流れを示すフローチャートである。ＴＶ会議の例では、会議を開始して終了するまで、撮像した映像を送信し続ける。その間に、図５のフローチャートの処理を繰り返し行い、話者の切り替わりを検知した時にカメラの送信映像を切り替える。
【００２３】
スタートの段階から映像は常時送信されているものとする。まず、Ｓ５０１で音声方向検知を行う。結果として複数の候補を優先順位付けしてリストアップする。ここで最低一つの候補があればＳ５０２へ進む。Ｓ５０２では、送信映像をあらかじめ記憶されている画像、例えばその時点での静止画像に切り替える。これ以後はＳ５０９まで、静止画像が送信される。Ｓ５０３では、複数ある候補から優先順位が上位の候補を順に選択する。Ｓ５０４では、選択される候補があるかどうか判定する。候補が残っていない場合にはＳ５１０に進み、撮像方向をフローチャートが開始する前の位置に戻し、Ｓ５０９に進んで映像の送信を切り替え、動画の送信を開始して終了する。音声方向の候補がある場合には、Ｓ５０５でその方向が撮像方向変更を必要なものであるか判定する。必要のない場合にはＳ５０９へ進み、動画の送信を開始して終了する。Ｓ５０５で撮像方向変更が必要と判定された場合、Ｓ５０６で撮像方向変更を行う。Ｓ５０７で変更先の映像に人物がいるかどうか人物判定を行う。撮像方向変更中の映像や人物判定に使用される映像は送信されない。Ｓ５０８で人物判定結果から人物がいるかどうかの判定を行う。人物が写っていると判定された場合には、Ｓ５０９へ進み、動画の送信を開始して終了する。人物がいないと判定された場合には、Ｓ５０３へ戻り、次の音声方向の候補に対して処理を繰り返す。
【００２４】
なおこの処理では、音声方向の候補が出た時点で送信映像を切り替えるため、同じ人が話している場合にも、静止画へ切り替わる場面が出てくる。これを回避するには、Ｓ５０２のステップを、Ｓ５０６の前へ移動し、終了直前のＳ５０９の前に、映像切り替えの有無を判断するステップを入れ、映像が切り替えられていた場合にのみＳ５０９のステップを実行するようにすればよい。
【実施例３】
【００２５】
図６は、本発明の実施例３のブロック図である。６０１は、マイクを複数配置したマイクアレイである。６０２は、マイクアレイからの音声入力を行う音声入力部である。６０３は、カメラの画角を変更するためのパン・チルト・ズーム制御部である。６０４は、映像を入力するための撮像部である。６０５は、通信部を介して受信した音声を出力する音声出力部である。６０６は、通信部を介して受信した映像を表示する映像表示部である。６０７は、取得した音声を処理するための音声処理部である。６０８は、音声の発生方向を検知するための音声方向検知部である。６０９は、画像内に人物が含まれるか否を判定する人物判定部である。６１０は、画像処理を行う画像処理部である。６１１は、音声信号と映像信号の通信を制御し、受信した映像の表示を制御する通信制御部である。６１２は、音声信号と映像信号の通信を行う通信部である。
【００２６】
実施例１、２は、映像を送信する側で表示すべき映像を制御しているが、実施例３は、表示を制御するための制御信号と映像を送信することで、受信側で表示しない映像の制御を行うものである。
【００２７】
図７は本発明の実施例３の処理の流れを示すフローチャートである。表示を制御する制御信号を送信する時の送信側の処理を示す。ＴＶ会議の例では、会議を開始して終了するまで、撮像した映像を送信し続ける。その間に、図７のフローチャートの処理を繰り返し行い、話者の切り替わりを検知した時に受信側で映像表示を切り替えるように制御信号を送信する。
【００２８】
スタートの段階から映像は常時送信されているものとする。まず、Ｓ７０１で音声方向検知を行う。ここで、音声を検知したらＳ７０２へ進む。Ｓ７０２では、検知した音声の方向がカメラの撮像方向変更の必要なものか判断する。同じ人が話している場合や、現在の映像内に入っている人が話している場合には、撮像方向変更は必要ないとしてエンドへ進み終了する。撮像方向変更が必要な場合には、Ｓ７０３に進み、受信側で受信映像の表示をあらかじめ記憶されている画像、例えば撮像方向変更直前の静止画に変更する制御信号を送信する。次にＳ７０４へ進み、Ｓ７０１で検知された方向へカメラをパン・チルトさせ撮像方向変更を行う。
【００２９】
Ｓ７０５では撮像方向変更終了後の映像について人物が写っているかどうか人物判定を行う。Ｓ７０６では、人物判定結果から映像内に人物がいるかどうかの判定を行う。人物が写っていると判定された場合には、Ｓ７０７で、受信側で受信映像の表示を動画に変更する制御信号を送信する。この時、受信側では静止画から撮像方向が変わった状態で動画に切り替わって表示される。Ｓ７０６で人物がいないと判定された場合には、Ｓ７０８でカメラを撮像方向変更前の撮像方向に戻し、Ｓ７０７で、受信側で受信映像の表示を動画に変更する制御信号を送信する。この時には、受信側では静止画から動画に戻るが撮像方向の切り替えは行われない状態で表示される。
【実施例４】
【００３０】
図８は、本発明の実施例４のブロック図である。８０１は、マイクを複数配置したマイクアレイである。８０２は、撮像するためのカメラであり、ここでは８０２ａ，８０２ｂの２台がある。８０３は、マイクアレイからの音声入力を行う音声入力部である。８０４は、カメラの撮像方向を変更するためのパン・チルト・ズーム制御部である。８０５は、映像を入力するための撮像部である。ここではカメラ２台に対して８０５ａ，８０５ｂがある。８０６は、取得した音声を処理するための音声処理部である。８０７は、音声の発生方向を検知するための音声方向検知部である。８０８は、撮像映像などの画像内に人物が含まれるか否を判定する人物判定部である。８０９は、画像処理を行う画像処理部である。８１０は、音声信号と映像信号の通信を制御するための通信制御部である。８１１は、音声信号と映像信号の通信を行う通信部である。
【００３１】
実施例１，２，３では、カメラが１台のため、撮像方向変更中は静止画像を表示することになるが、実施例４はカメラを２台用意して、送信用映像を撮像するカメラと話者検知用映像を撮像するカメラを切り替えながら使用することで、撮像方向変更中も動画を表示することが可能となる。
【００３２】
図９は本発明の実施例４のフローチャートである。ＴＶ会議の例では、会議を開始して終了するまで、撮像した映像を送信し続ける。その間に、図９のフローチャートの処理を繰り返し行い、話者の切り替わりを検知した場合に映像送信用のカメラの切り替えを行うものである。
【００３３】
スタートの段階から映像は常時送信されているものとする。まず、Ｓ９０１で音声方向検知を行う。ここで音声を検知したらＳ９０２へ進む。Ｓ９０２では、検知した音声の方向がカメラの撮像方向変更の必要なものか判断する。同じ人が話している場合や、現在の映像内に入っている人が話している場合には、撮像方向変更は必要ないとしてエンドへ進み終了する。撮像方向変更が必要な場合には、Ｓ９０３に進み、撮像方向変更用のカメラを選択する。現在送信されている映像を撮像しているカメラが８０２ａならば、使用されていないカメラ８０２ｂが撮像方向変更用のカメラとして選択される。次にＳ９０４へ進み、Ｓ９０１で検知された方向へカメラ８０２ｂをパン・チルトさせ撮像方向変更を行う。この時、送信用の映像は８０２ａで撮像されているので、動画が送信されている。Ｓ９０５では８０２ｂの撮像方向変更後の映像について人物が写っているかどうか人物判定を行う。Ｓ９０６では、人物判定結果から映像内に人物がいるかどうかの判定を行う。人物が写っていると判定された場合には、Ｓ９０７で８０２ａの撮像画像の送信を停止し、８０２ｂを映像送信用のカメラとして８０２ｂの映像の送信を開始する。Ｓ９０６で人物がいないと判定された場合には、撮像方向変更用のカメラ８０２ｂを解除する。８０２ｂはそのままの撮像方向で放置してもよいし、８０２ａと同じ撮像方向にあわせてもよい。この場合には、送信用の映像は８０２ａで撮像されたものを継続して使用し画角や映像の切り替えは行わない。
【００３４】
このように、最低２台のカメラを使用する場合、話者を探している間、直前の発話者の映像が静止画ではなく動画として表示できる。複数台カメラのパノラマ映像からの画面切り出しでなく、ズームが行えるカメラによる構成なので、少ない台数で精細な映像が送信可能である。
【実施例５】
【００３５】
実施例１、２、３、４のフローチャートでは、音声検知処理と撮像方向変更・人物判定処理を順次行っているが、これを別のプロセスに分離し並列に走らせてもよい。（１）音声検知処理は（２）撮像方向変更・人判定処理のトリガーとする。（２）の撮像方向変更・人判定処理中に、（１）の音声検知処理で検知した検知音声が途絶えた場合や別方向からの音を検知した場合、割り込み処理として（１）の撮像方向変更・人判定処理を中止し、元の画角に戻す。こうすれば、短い発言を話し終わった人に対してカメラが向くのを防げる。
【実施例６】
【００３６】
実施例１、２、３では、人物判定した後に撮像方向変更を行っていないが、人物判定後に人物がいた場合に人物や顔の位置や大きさが適切になるようにパン・チルト・ズームの撮像方向変更を行ってもよい。この場合にも、撮像方向変更中は撮像方向変更前の映像を送信し、撮像方向変更後に現在の映像の送信を再開する。
【実施例７】
【００３７】
実施例１、２、３では、撮像方向変更中には、撮像方向変更直前の映像を送信するようにしているが、直前の映像は、一コマでも、ある一定時間のものでもよい。一コマの場合には静止画像の表示になる。一定時間の映像の場合は動画の繰り返しとしてもよいし、送信速度を遅らせてスローで表示してもよい。
【実施例８】
【００３８】
映像送信中に無音区間を検知した場合、その間の映像をバッファに溜めておき、撮像方向を必要とする音声を検知した場合に、その無音区間の映像を直前の映像としてもよい。また、無音区間を検知した時点で、無音区間の映像がスローになるよう送信映像を調整し、撮像方向変更と人物判定の間、無音区間の映像を引き伸ばして表示するようにしてもよい。
【実施例９】
【００３９】
記憶手段に記憶されてる画像は、そのカメラで撮像されたもの以外に、あらかじめ用意している画像、例えば一面黒い画面などでもよい。
【実施例１０】
【００４０】
撮像方向変更中や人物判定中には、話者検知中である旨の文字列やマークを送信映像に重ねるようにしてもよい。
【実施例１１】
【００４１】
人物判定に失敗した場合、撮像方向変更前の撮像方向に戻すのではなく、ズームアウトして全景を映してもよい。
【実施例１２】
【００４２】
人物判定手段は、動物やロボットなどの被写体となりうるものの画像認識手段と置き換えてもよい。
【００４３】
なお、本発明の目的は次のようにしても達成される。即ち、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行する。このようにしても目的が達成されることは言うまでもない。
【００４４】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶したコンピュータ読取可能な記憶媒体は本発明を構成することになる。
【００４５】
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。
【００４６】
また、本発明に係る実施の形態は、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現される場合に限られない。例えば、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００４７】
さらに、本発明に係る実施形態の機能は次のようにしても実現される。即ち、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれる。そして、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行う。この処理により前述した実施形態の機能が実現されることは言うまでもない。
【図面の簡単な説明】
【００４８】
【図１】本発明の実施例１のブロック図である。
【図２】本発明の実施例１のフローチャートである。
【図３】本発明の実施例１のカメラ動作例である。
【図４】本発明の実施例１のカメラ動作例である。
【図５】本発明の実施例２のフローチャートである。
【図６】本発明の実施例３のブロック図である。
【図７】本発明の実施例３のフローチャートである。
【図８】本発明の実施例４のブロック図である。
【図９】本発明の実施例４のフローチャートである。
【符号の説明】
【００４９】
１０１ マイクを複数配置したマイクアレイ
１０２ マイクアレイからの音声入力を行う音声入力部
１０３ カメラの画角を変更するためのパン・チルト・ズーム制御部
１０４ 映像を入力するための撮像部
１０５ 取得した音声を処理するための音声処理部
１０６ 音声の発生方向を検知するための音声方向検地部
１０８ 画像内に人物が含まれるか否を判定する人物判定部
１０９ 画像処理を行う画像処理部
１１０ 音声信号と映像信号の通信を制御するための通信制御部
１１１ 音声信号と映像信号の通信を行う通信部
【特許請求の範囲】
【請求項１】
取得した音声の発生方向を検知する検知手段と、
前記検知手段で検知した方向に撮像装置の撮像方向を変更する撮像方向変更手段と、
前記撮像装置により撮像された画像内に人物が含まれるか否かを判定する判定手段と、
前記撮像方向変更手段による撮像装置の撮像方向変更開始に伴って記憶手段に記憶されている画像を送信し、該変更後に前記判定手段により人物が含まれると判定された場合に前記カメラによる取得映像の送信を開始し、前記判定手段により人物が含まれないと判定された場合に前記撮像方向変更前の方向にカメラの撮像方向を変更し、該変更後に該カメラによる取得映像の送信を開始するよう制御する制御手段とを備えたことを特徴とする情報処理装置。
【請求項２】
前記検知手段は優先順位を持つ複数の候補を検知することが可能であり、前記撮像方向変更手段による優先順位が上位の候補への撮像方向変更後の人物判定に失敗した場合に、次の優先順位の候補の方向に撮像方向を変更して人物判定を繰り返すことを特徴とする請求項１記載の情報処理装置。
【請求項３】
前記制御手段が、前記撮像方向変更手段による撮像装置の撮像方向変更開始に伴って送信する画像は、撮像方向変更前に該カメラで撮像した画像であることを特徴とする請求項１記載の情報処理装置。
【請求項４】
取得した音声の発生方向を検知する検知手段と、
前記検知手段で検知した方向に撮像装置の撮像方向を変更する第１の撮像方向変更手段と、
前記撮像装置により撮像された画像内に人物が含まれるか否かを判定する判定手段と、
前記判定手段により人物が含まれないと判定された場合に前記第１の撮像方向変更手段による撮像方向変更前の方向に撮像装置の撮像方向を変更する第２の撮像方向変更手段と、
前記撮像装置で取得した画像を他の情報処理装置に送信する送信手段とを備え、
前記送信手段は、前記第２の撮像方向変更手段による撮像方向変更の開始に伴って、記憶手段に記憶されている画像を前記他の情報処理装置が表示するよう制御する制御信号を送信し、前記第２の撮像方向変更手段による撮像方向変更終了後に、該送信手段で送信する画像を前記他の情報処理装置が表示するよう制御する制御信号を送信することを特徴とする情報処理装置。
【請求項５】
前記送信手段が、前記撮像方向変更手段による撮像方向変更の開始に伴って送信する制御信号は、該撮像方向変更よりも前に送信した画像を前記他の情報処理装置が表示するよう制御する制御信号であることを特徴とする請求項４記載の情報処理装置。
【請求項６】
取得した音声の発生方向を検知する検知手段と、
前記検知手段で検知した方向に撮像装置の撮像方向を変更する撮像方向変更手段と、
前記撮像装置により撮像された画像内に人物が含まれるか否かを判定する判定手段と、
複数台の撮像装置のうちの１つの撮像装置で撮像している映像を送信する送信手段と、
前記検知手段で音声方向を検知した際に、前記映像送信手段による送信映像を撮像している撮像装置以外の撮像装置の撮像方向を該検知した方向に変更し、該撮像装置による撮像映像について前記判定手段により人物が含まれているか否かを判定し、人物が含まれていると判定した場合に、該撮像装置による撮像映像に送信映像を切り替える制御手段とを備えたことを特徴とする情報処理装置。
【請求項７】
前記検知手段により検知した音声が継続しているか否かを判定する継続判定手段と、
前記撮像方向変更及び前記人物判定が終了するまでに検知音声が終了した場合に、撮像方向変更前の撮像方向に撮像装置の撮像方向を変更し、該撮像方向変更後に映像の送信を開始するよう制御する撮像装置制御手段とを更に備えることを特徴とする請求項１乃至６のいずれか１項に記載の情報処理装置。
【請求項８】
取得した音声の発生方向を検知する検知工程と、
前記検知工程で検知した方向に撮像装置の撮像方向を変更する撮像方向変更工程と、
前記撮像装置により撮像された画像内に人物が含まれるか否かを判定する判定工程と、
前記撮像方向変更工程による撮像装置の撮像方向変更開始に伴って記憶工程に記憶されている画像を送信し、該変更後に前記判定工程により人物が含まれると判定された場合に前記カメラによる取得映像の送信を開始し、前記判定工程により人物が含まれないと判定された場合に前記撮像方向変更前の方向にカメラの撮像方向を変更し、該変更後に該カメラによる取得映像の送信を開始するよう制御する制御工程とを備えたことを特徴とする情報処理方法。
【請求項９】
取得した音声の発生方向を検知する検知工程と、
前記検知工程で検知した方向に撮像装置の撮像方向を変更する第１の撮像方向変更工程と、
前記撮像装置により撮像された画像内に人物が含まれるか否かを判定する判定工程と、
前記判定工程により人物が含まれないと判定された場合に前記第１の撮像方向変更工程による撮像方向変更前の方向に撮像装置の撮像方向を変更する第２の撮像方向変更工程と、
前記撮像装置で取得した画像を他の情報処理装置に送信する送信工程とを備え、
前記送信工程は、前記第２の撮像方向変更工程による撮像方向変更の開始に伴って、記憶工程に記憶されている画像を前記他の情報処理装置が表示するよう制御する制御信号を送信し、前記第２の撮像方向変更工程による撮像方向変更終了後に、該送信工程で送信する画像を前記他の情報処理装置が表示するよう制御する制御信号を送信することを特徴とする情報処理方法。
【請求項１０】
取得した音声の発生方向を検知する検知工程と、
前記検知工程で検知した方向に撮像装置の撮像方向を変更する撮像方向変更工程と、
前記撮像装置により撮像された画像内に人物が含まれるか否かを判定する判定工程と、
複数台の撮像装置のうちの１つの撮像装置で撮像している映像を送信する送信工程と、
前記検知工程で音声方向を検知した際に、前記映像送信工程による送信映像を撮像している撮像装置以外の撮像装置の撮像方向を該検知した方向に変更し、該撮像装置による撮像映像について前記判定工程により人物が含まれているか否かを判定し、人物が含まれていると判定した場合に、該撮像装置による撮像映像に送信映像を切り替える制御工程とを備えたことを特徴とする情報処理方法。
【請求項１１】
請求項８乃至１０のいずれかに記載の情報処理方法をコンピュータに実行させるためのプログラム。
【請求項１２】
請求項１１に記載のプログラムを格納したコンピュータ読取可能な記憶媒体。
【請求項１】
取得した音声の発生方向を検知する検知手段と、
前記検知手段で検知した方向に撮像装置の撮像方向を変更する撮像方向変更手段と、
前記撮像装置により撮像された画像内に人物が含まれるか否かを判定する判定手段と、
前記撮像方向変更手段による撮像装置の撮像方向変更開始に伴って記憶手段に記憶されている画像を送信し、該変更後に前記判定手段により人物が含まれると判定された場合に前記カメラによる取得映像の送信を開始し、前記判定手段により人物が含まれないと判定された場合に前記撮像方向変更前の方向にカメラの撮像方向を変更し、該変更後に該カメラによる取得映像の送信を開始するよう制御する制御手段とを備えたことを特徴とする情報処理装置。
【請求項２】
前記検知手段は優先順位を持つ複数の候補を検知することが可能であり、前記撮像方向変更手段による優先順位が上位の候補への撮像方向変更後の人物判定に失敗した場合に、次の優先順位の候補の方向に撮像方向を変更して人物判定を繰り返すことを特徴とする請求項１記載の情報処理装置。
【請求項３】
前記制御手段が、前記撮像方向変更手段による撮像装置の撮像方向変更開始に伴って送信する画像は、撮像方向変更前に該カメラで撮像した画像であることを特徴とする請求項１記載の情報処理装置。
【請求項４】
取得した音声の発生方向を検知する検知手段と、
前記検知手段で検知した方向に撮像装置の撮像方向を変更する第１の撮像方向変更手段と、
前記撮像装置により撮像された画像内に人物が含まれるか否かを判定する判定手段と、
前記判定手段により人物が含まれないと判定された場合に前記第１の撮像方向変更手段による撮像方向変更前の方向に撮像装置の撮像方向を変更する第２の撮像方向変更手段と、
前記撮像装置で取得した画像を他の情報処理装置に送信する送信手段とを備え、
前記送信手段は、前記第２の撮像方向変更手段による撮像方向変更の開始に伴って、記憶手段に記憶されている画像を前記他の情報処理装置が表示するよう制御する制御信号を送信し、前記第２の撮像方向変更手段による撮像方向変更終了後に、該送信手段で送信する画像を前記他の情報処理装置が表示するよう制御する制御信号を送信することを特徴とする情報処理装置。
【請求項５】
前記送信手段が、前記撮像方向変更手段による撮像方向変更の開始に伴って送信する制御信号は、該撮像方向変更よりも前に送信した画像を前記他の情報処理装置が表示するよう制御する制御信号であることを特徴とする請求項４記載の情報処理装置。
【請求項６】
取得した音声の発生方向を検知する検知手段と、
前記検知手段で検知した方向に撮像装置の撮像方向を変更する撮像方向変更手段と、
前記撮像装置により撮像された画像内に人物が含まれるか否かを判定する判定手段と、
複数台の撮像装置のうちの１つの撮像装置で撮像している映像を送信する送信手段と、
前記検知手段で音声方向を検知した際に、前記映像送信手段による送信映像を撮像している撮像装置以外の撮像装置の撮像方向を該検知した方向に変更し、該撮像装置による撮像映像について前記判定手段により人物が含まれているか否かを判定し、人物が含まれていると判定した場合に、該撮像装置による撮像映像に送信映像を切り替える制御手段とを備えたことを特徴とする情報処理装置。
【請求項７】
前記検知手段により検知した音声が継続しているか否かを判定する継続判定手段と、
前記撮像方向変更及び前記人物判定が終了するまでに検知音声が終了した場合に、撮像方向変更前の撮像方向に撮像装置の撮像方向を変更し、該撮像方向変更後に映像の送信を開始するよう制御する撮像装置制御手段とを更に備えることを特徴とする請求項１乃至６のいずれか１項に記載の情報処理装置。
【請求項８】
取得した音声の発生方向を検知する検知工程と、
前記検知工程で検知した方向に撮像装置の撮像方向を変更する撮像方向変更工程と、
前記撮像装置により撮像された画像内に人物が含まれるか否かを判定する判定工程と、
前記撮像方向変更工程による撮像装置の撮像方向変更開始に伴って記憶工程に記憶されている画像を送信し、該変更後に前記判定工程により人物が含まれると判定された場合に前記カメラによる取得映像の送信を開始し、前記判定工程により人物が含まれないと判定された場合に前記撮像方向変更前の方向にカメラの撮像方向を変更し、該変更後に該カメラによる取得映像の送信を開始するよう制御する制御工程とを備えたことを特徴とする情報処理方法。
【請求項９】
取得した音声の発生方向を検知する検知工程と、
前記検知工程で検知した方向に撮像装置の撮像方向を変更する第１の撮像方向変更工程と、
前記撮像装置により撮像された画像内に人物が含まれるか否かを判定する判定工程と、
前記判定工程により人物が含まれないと判定された場合に前記第１の撮像方向変更工程による撮像方向変更前の方向に撮像装置の撮像方向を変更する第２の撮像方向変更工程と、
前記撮像装置で取得した画像を他の情報処理装置に送信する送信工程とを備え、
前記送信工程は、前記第２の撮像方向変更工程による撮像方向変更の開始に伴って、記憶工程に記憶されている画像を前記他の情報処理装置が表示するよう制御する制御信号を送信し、前記第２の撮像方向変更工程による撮像方向変更終了後に、該送信工程で送信する画像を前記他の情報処理装置が表示するよう制御する制御信号を送信することを特徴とする情報処理方法。
【請求項１０】
取得した音声の発生方向を検知する検知工程と、
前記検知工程で検知した方向に撮像装置の撮像方向を変更する撮像方向変更工程と、
前記撮像装置により撮像された画像内に人物が含まれるか否かを判定する判定工程と、
複数台の撮像装置のうちの１つの撮像装置で撮像している映像を送信する送信工程と、
前記検知工程で音声方向を検知した際に、前記映像送信工程による送信映像を撮像している撮像装置以外の撮像装置の撮像方向を該検知した方向に変更し、該撮像装置による撮像映像について前記判定工程により人物が含まれているか否かを判定し、人物が含まれていると判定した場合に、該撮像装置による撮像映像に送信映像を切り替える制御工程とを備えたことを特徴とする情報処理方法。
【請求項１１】
請求項８乃至１０のいずれかに記載の情報処理方法をコンピュータに実行させるためのプログラム。
【請求項１２】
請求項１１に記載のプログラムを格納したコンピュータ読取可能な記憶媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２００９−１２４３８８（Ｐ２００９−１２４３８８Ａ）
【公開日】平成２１年６月４日（２００９．６．４）
【国際特許分類】
【出願番号】特願２００７−２９５５９２（Ｐ２００７−２９５５９２）
【出願日】平成１９年１１月１４日（２００７．１１．１４）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２１年６月４日（２００９．６．４）
【国際特許分類】
【出願日】平成１９年１１月１４日（２００７．１１．１４）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]