会議システム、情報処理装置、及び情報処理方法
【課題】会議システムにて、画像認識による動作解析に基づき画像データ及び音声データの送受信を制御し、他の会議参加者への不快感、違和感を抑制することができる会議システム、情報処理装置、及び情報処理方法を提供する。
【解決手段】会議サーバ装置３は、各端末装置１，１，…のカメラ１５にて撮像された画像を受信し、受信した画像に対して画像認識処理を行ない、画像認識結果から不適切な動作を検出し、不適切な動作を検出した場合、不適切な動作が映る画像が他の端末装置１，１，…にて確認できないよう、送信を停止するか、一部加工するなどの制御を行なう。
【解決手段】会議サーバ装置３は、各端末装置１，１，…のカメラ１５にて撮像された画像を受信し、受信した画像に対して画像認識処理を行ない、画像認識結果から不適切な動作を検出し、不適切な動作を検出した場合、不適切な動作が映る画像が他の端末装置１，１，…にて確認できないよう、送信を停止するか、一部加工するなどの制御を行なう。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の情報処理装置間でカメラによって撮像された画像又はマイクロフォンにて集音された音声を送信しあい、遠隔にあっても会議参加者間での会議を実現できる会議システムに関する。特に、会議参加者の動作を検出し、検出した参加者の動作の状態に応じて画像又は音声の送受信を制御し、他の会議参加者への不快感、違和感を抑制することができる会議システム、情報処理装置及び情報処理方法に関する。
【背景技術】
【０００２】
通信技術、画像処理技術等の発展に伴い、遠隔の二拠点又は三拠点以上の複数拠点に夫々設置された複数の情報処理装置間でネットワークを介して会議ができるテレビ会議システムが実現されている。大容量データの送受信が可能であることから、端末装置にて集音される音声のデータを他の端末装置へ送信して複数の端末装置にて発言者の発言を共有するのみならず、各端末装置にて会議参加者を撮影し、撮影した映像データを他の端末装置へ送信することによって、表情、身振り等を交えた会議が実現できる会議システム（所謂Ｗｅｂ会議システム）が実用化されている。
【０００３】
従来の会議システムでは、各情報処理装置が電話番号又はＩＰ（Internet Protocol）アドレスを指定して他の情報処理装置と直接的に接続を確立し、２つの情報処理装置が１対１で音声データ及び画像データを交換することで実現されてきた。３つ以上の情報処理装置間での会議システムを実現する場合には、１台の情報処理装置を親機とし、他の複数の情報処理装置を子機として、複数の子機が夫々親機との接続を確立し、親機が子機間のデータ交換を中継する。
【０００４】
より多くの拠点間での会議システムを実現するためには、複数の情報処理装置をＭＣＵ（Multipoint Control Unit：多地点接続装置）へ、スター型に接続し、情報処理装置間のデータ交換をＭＣＵが中継する構成がある。ＭＣＵを用いた会議システムでは、会議システムに参加することが可能な情報処理装置（拠点）の数は、ＭＣＵの性能、即ち接続できる情報処理装置の数（例えば通信ポートの数）に依存する。
【０００５】
また、多くの拠点間での会議システムを実現するためには、ＬＡＮ（Local Area Network）又はインターネット等の通信網を介し、会議参加者が使用する情報処理装置がクライアント装置としてサーバ装置と接続する構成にて、サーバ装置でデータ交換を中継する構成もある。このようなサーバ・クライアントシステムの構成では、サーバ装置の処理能力及びネットワークの通信速度（使用可能帯域幅）の制限があるものの、ＭＣＵを用いた構成と比較して、会議システムに参加する拠点数（情報処理装置の数）を容易に増減させることができる等の利点がある。
【０００６】
このように、ＭＣＵを利用する構成でも、サーバ・クライアントシステムの構成でも、各情報処理装置を会議参加者が一人一人（又は少数人で）利用して会議を実現することができる。このとき、各情報処理装置には、共有画面を表示する液晶パネル、有機ＥＬパネル等を利用したディスプレイ、装置を使用する会議参加者を撮影するカメラ、装置を使用する会議参加者の発言を集音するマイクロフォン及び音声を出力するスピーカ等が備えられる。そして情報処理装置は、撮影した映像（画像）のデータ及び集音した音声のデータをＭＣＵ又はサーバ装置を介して送受信する。これにより、会議参加者同士の発言、表情、身振り等を共有して会議を行なうことができる。
【０００７】
特許文献１には、音声及び画像を交換する会議システムを利用し、異なる文化圏の会議参加者間で会議を実施する場合に、各会議参加者の身振りを、三次元アバター等を用いた動画像にて表現する構成とし、ある文化圏における会議参加者の身振りが、他の文化圏でも社会的に適切と捉えられるように一部変更する発明が開示されている。
【０００８】
特許文献２には、会議システムにて、会議参加者による発言を音声認識によって認識し、文字情報に変換して共通画面に表示する際、文字情報から不要な語句を削除して表示する発明が開示されている。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２００９−７７３８０号公報
【特許文献２】特開平１０−３０１９２７号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
遠隔地にいながら、複数拠点間で相手の画像を確認しつつ会議を実現できる会議システム及びその周辺技術により、文化及び言語が異なる人々の間でのコミュニケーション向上に大きな役割を果たしている。逆に、会議参加者の画像を送受信する会議システムでは、会議参加者の動作がリアルタイムで他の会議参加者へ伝わる。これにより、他の媒体を介したコミュニケーションでは存在しなかった様々な問題及び懸念が発生する場合がある。
【００１１】
例えば、複数の拠点間で会議参加者の映像を送受信する会議システムでは、会議参加者の映像信号をリアルタイムに他の拠点へ送信する。この場合、会議参加者の非言語的な動作、表情が重要となる。特に、会議参加者が多様な文化及び言語を背景にする場合には問題となるときがある。その場に適切な動作、言語であるか否かの適切性は当然、文化が異なれば大きく異なる。ある文化では適切とされ、許容される動作であっても、別の文化では不適切とされ、許容されない動作と受け取られる場合が多く、誤解を招く原因となる。
【００１２】
国際的なやり取りが行なわれるビジネスの場では、会議システムを利用する場合の会議参加者の動作の適切性が重要となる。動作によっては、言語のみのコミュニケーションよりも信頼を築くことが可能である。適切なタイミングでの適度な凝視（gaze）、適切な身振り及び表情によって信頼を表すことができ、取引の成否を左右する。逆に、不適切なタイミングでの不適切な身振りは、無意識で行なっていたとしても大きく信頼を損ねる場合がある。
【００１３】
会議参加者は、異文化における適切な動作を予備知識として学ぶことは可能であるが、パターン化されない動作でも適切性を維持することは非常に困難である。また、会議参加者が、参加する可能性がある全ての会議の他の会議参加者の文化における習慣及び伝統の違いを全て予備知識として持つことは非現実的である。
【００１４】
更に、会議参加者が無意識に行なってしまう癖であって他の会議参加者を不快にさせる可能性のある動作を事前に矯正することも非現実的である。
【００１５】
特許文献１に開示されている技術を用いることにより、会議システムにて他の会議参加者に、文化的又は社会的に不適切な動作と受け取られる身振りが一の会議参加者が行なった場合であっても、アバターを利用して他の身振りに代替されるか、又は会議参加者の画像以外の画像、例えば会議資料等の共有画面へ切り替えられる。これにより、他の会議参加者を不快にさせることを回避することができる。
【００１６】
しかしながら、特許文献１に開示されている技術では、不適切な動作か否かを判断するために、会議参加者を撮影した画像データを取得し、文化モデルデータに従って動作解析を行なう必要がある。特許文献１には、動作解析にはモーションセンサ若しくは加速度センサから得られるデータ、又は音声からの情報を利用することも可能とされているが、実際の解析対象、それらの情報を利用した解析についての例は記載されていない。また、特許文献１に開示されている技術では、文化モデルデータに従った動作解析が行なわれるが、多様な文化に対応させるためには各文化の膨大な量の文化モデルデータを予めデータベース化しておく必要があり、解析処理の負荷もその分膨大となり、現実的でない。
【００１７】
また、特許文献２に開示されている技術を用い、会議参加者の発言内容から、不適切と受け取られる語句を削除してから共通画面へ表示することも可能である。またこれにより、会議参加者が共通画面を見やすくなると共に、文字情報に既に変換されることから議事録の作成が容易となる。
【００１８】
しかしながら、特許文献２に開示されている技術では、不適切と受け取られる情報を表示する文字情報から削除することはできるものの、音声及びその発言中の映像は既に共有されていて他の会議参加者へ伝達されている。したがって、発言者以外の他の会議参加者へ不快感、違和感を与えることを回避することはできない。
【００１９】
本発明は斯かる事情に鑑みてなされたものであり、会議システムにて、画像認識による動作解析に基づき画像データ及び音声データの送受信を制御し、他の会議参加者への不快感、違和感を抑制することができる会議システム、該会議システムを制御する情報処理装置及び情報処理方法を提供することを目的とする。
【課題を解決するための手段】
【００２０】
本発明に係る会議システムは、撮像装置又は集音装置と、前記撮像装置からの画像又は前記集音装置からの音声を取得する手段と、取得した画像又は音声を送受信する送受信手段を備える第１情報処理装置を複数と、複数の第１情報処理装置に通信媒体を介して接続し、各第１情報処理装置で送受信される画像又は音声を中継する第２情報処理装置とを含み、複数の第１情報処理装置間で共通の画像又は音声を表示又は出力させて情報を共有させ、会議を実現させる会議システムにおいて、第１情報処理装置にて取得された画像に映る人物の動作を認識する認識手段と、該認識手段による認識結果に基づき、不適切な動作の有無を検出する検出手段と、該検出手段の検出結果に応じて、前記第１情報処理装置からの画像若しくは音声の受信、若しくは他の第１情報処理装置への送信の可否、送信レートの増減、又は前記画像の一部への加工を制御する送信制御手段とを備えることを特徴とする。
【００２１】
本発明に係る会議システムは、前記送信制御手段は、前記検出手段が不適切な動作を検出した場合、前記不適切な動作が検出された第１情報処理装置からの画像若しくは音声の受信、若しくは他の第１情報処理装置への送信を禁止するか、送信レートを低減するか、又は前記画像の一部への加工を行なうようにしてあることを特徴とする。
【００２２】
本発明に係る会議システムは、前記検出手段が不適切な動作を検出した後の前記動作の継続時間を計測する手段と、前記継続時間が所定時間以上であるか否かを判断する判断手段とを備え、前記送信制御手段は、前記判断手段が所定時間以上であると判断した場合に、前記不適切な動作が検出された第１情報処理装置からの画像若しくは音声の受信、若しくは前記画像若しくは音声の他の第１情報処理装置への送信を禁止するか、送信レートを低減するか、又は前記画像の一部への加工を行なうようにしてあることを特徴とする。
【００２３】
本発明に係る会議システムは、不適切な動作として予め登録してある画像認識結果の一覧であるテーブルを備え、前記検出手段は、前記認識手段による認識結果が前記テーブルに含まれる認識結果と対応するか否かによって不適切な動作の有無を検出するようにしてあることを特徴とする。
【００２４】
本発明に係る会議システムは、前記検出手段が、不適切な音声又は発声を伴う動作を検出した場合、前記不適切な動作が検出された第１情報処理装置からの画像若しくは音声の受信、若しくは前記画像若しくは音声の他の第１情報処理装置への送信を禁止するようにしてあることを特徴とする。
【００２５】
本発明に係る会議システムは、前記送信制御手段は、不適切な動作が検出された第１情報処理装置からの画像の内、前記不適切な動作に対応する画像の一部の上に他の画像を重畳させる加工を行なうことを特徴とする。
【００２６】
本発明に係る会議システムは、前記認識手段及び検出手段は、第２情報処理装置が備えることを特徴とする。
【００２７】
本発明に係る会議システムは、前記検出手段が不適切な動作を検出した場合、不適切な動作が検出された第１情報処理装置の撮像装置の撮像方向又は集音装置の集音方向の変更を指示する手段を備えることを特徴とする。
【００２８】
本発明に係る情報処理装置は、他の複数の装置と通信媒体を介して接続し、各装置と画像又は音声を送受信する手段を備える情報処理装置において、受信した画像に映る人物の動作を認識する手段と、認識した結果に基づき、不適切な動作の有無を検出する手段と、検出した結果に応じて、前記他の装置からの画像若しくは音声の受信、若しくは、前記画像若しくは音声の他の装置への送信の可否、送信レートの増減、又は前記画像の一部への加工を制御する手段とを備えることを特徴とする。
【００２９】
本発明に係る情報処理方法は、撮像装置又は集音装置と、前記撮像装置からの画像又は前記集音装置からの音声を取得する手段と、取得した画像又は音声を送受信する送受信手段を備える第１情報処理装置を複数と、複数の第１情報処理装置に通信媒体を介して接続し、各第１情報処理装置で送受信される画像又は音声を中継する第２情報処理装置とを含むシステムにて、第１情報処理装置との画像又は音声の送受信を制御する情報処理方法において、第１情報処理装置にて取得された画像に映る人物の動作を認識し、認識した結果に基づき、不適切な動作の有無を検出し、検出した結果に応じて、前記第１情報処理装置からの画像若しくは音声の受信、若しくは前記画像若しくは音声の他の第１情報処理装置への送信の可否、送信レートの増減、又は前記画像の一部への加工を制御することを特徴とする。
【００３０】
本発明では、会議参加者が使用する第１情報処理装置にて撮像された画像、即ち会議参加者を撮像するはずの画像に、不適切な動作が映っているか否かが画像認識により検出され、検出結果に応じて、取得された画像又音声の送受信の可否、送信レートの増減、又は画像の一部に加工がされる等の制御が行なわれる。
【００３１】
本発明では、具体的には、会議参加者を撮像するはずの画像から不適切な動作が検出された場合に、第１情報処理装置からの画像又は音声の他の第１情報処理装置への送信が禁止されるか、又は送信するとしても送信レートが低減されてコマ落ち状態となるか、又は、画面の一部が加工される。または、第１情報処理装置からの画像又は音声の第２情報処理装置での受信が禁止される。これにより、不適切な動作が映っている画像を他の第１情報処理装置にて観ることが不可能となるか、又は鮮明に確認することが困難となるか、又は一部が隠ぺいされて観ることが不可能となる。
【００３２】
本発明では、所定時間以上継続して不適切な動作が検出された場合に、送受信が禁止されて観ることが不可能となるか、送信レートが低減されてコマ落ちとなるか、又は一部が加工されて隠ぺいされ、観ることが不可能となる。継続時間が所定時間以上か否かを監視することにより、一回のみの検出で送信が制限されるよりも、会議の進行を円滑にする。また、所定時間が経過するまでに不適切な動作を行なった人物に警告を与える猶予ができる。
【００３３】
本発明では、不適切な動作として予め登録してある画像認識結果のテーブルとの比較参照に基づき、不適切な動作が検出される。予め定義をしておくことにより、画像認識に基づく不適切な動作の検出処理の負荷を軽減することが可能である。またテーブルとしておくことにより、不適切な動作の検出処理の内容を改定せずとも、テーブルを適宜更新することにより、不適切な動作として検出される内容を変更することが容易となる。
なお、不適切な動作として例えば、「電話、居眠り、雑談、喧嘩、泣く、大笑い、離席、よそ見、喫煙、食事、舌を出す」等が挙げられ、これらの動作に対応する画像認識結果との比較結果を行なう。それらの動作を行なう会議参加者の画像又は音声を会議システムから排除することが可能となる。
【００３４】
本発明では、音声認識によらず、音声又は発声を伴う不適切な動作を口元の開閉動作等に基づき画像認識によって検出するので、不適切な音声又は発言が他の会議参加者へ伝達される前に検出し、会議システムから排除することが可能となる。
音声又は発声を伴う不適切な動作とは例えば、電話、雑談、喧嘩、泣く、又は大笑い等の動作であり、これらの場合、実際に不適切な発言がなされる前に口元の動き、手若しくは腕の動きを合わせた画像認識によって検出できる可能性がある。
【００３５】
本発明では、不適切な動作が検出された場合に、不適切な動作が映る画像の一部への加工として他の画像が重畳され、他の会議参加者の目に触れない。重畳される他の画像とは、白若しくは黒等の一色塗りの画像、又はモザイク画像等でよい。
【００３６】
本発明では、画像認識手段及び不適切な動作の検出は、第１情報処理装置からの画像を一極的に受信する第２情報処理装置にて行なわれる。これにより、各第１情報処理装置における処理の負荷を軽減でき、画像認識又は動作の検出等の特定の機能を有していない第１情報処理装置を用い、他の会議参加者を不快にさせない会議システムを実現できる。
【００３７】
本発明では、不適切な動作が検出された場合に、当該不適切な動作を行なう会議参加者を撮像しないように、又は当該会議参加者からの音声を集音しないように制御することによって、他の会議参加者を不快と感じさせる画像又は音声が第２情報処理装置から他の第１情報処理装置へ送信されることを回避できる。
【発明の効果】
【００３８】
本発明による場合、第１情報処理装置を操作する会議参加者による不適切な動作が、画像認識による認識結果から検出され、動作状態に応じて、会議システムを実現するための会議参加者を撮像した撮像画像又は会議参加者の発声を集音した集音音声の送受信が制御される。
【００３９】
これにより、ある特定の第１情報処理装置を操作する会議参加者の動作状態が例えば、「電話、居眠り、雑談、喧嘩、泣く、大笑い、離席、よそ見、喫煙、食事、舌を出す」である場合に、画像若しくは音声、又は両方の送受信を禁止（停止）するか、他の画像を重畳する等の加工が行なわれ、他の会議参加者へ与える可能性がある不快感、違和感を抑制し、快適な会議システムを実現できる。
【００４０】
また、他の会議参加者へ不快感、違和感を与える可能性がある撮像画像又は集音音声の送受信を停止する等の制御によって、画像又は音声による通信負荷の増大及び会議システムにて画像又は音声の送受信を中継するサーバ装置（第２情報処理装置）の処理負荷を抑制することが可能である。
【図面の簡単な説明】
【００４１】
【図１】実施の形態１の会議システムの構成を示す構成図である。
【図２】実施の形態１の会議システムを構成する端末装置の内部構成を示すブロック図である。
【図３】実施の形態１の会議システムを構成する会議サーバ装置の内部構成を示すブロック図である。
【図４】実施の形態１の会議システムにて実現される画像及び音声の送受信を模式的に示す模式図である。
【図５】会議サーバ装置の記憶部に記憶されてある画像認識用テーブルの内容例を示す説明図である。
【図６】動作検出テーブルの内容例を示す説明図である。
【図７】実施の形態１の会議サーバ装置における画像及び音声の送受信処理及び不適切な動作の検出処理手順の一例を示すフローチャートである。
【図８】本実施の形態１における会議システムにて、不適切な動作が検出された場合になされる送信制御の例を示す説明図である。
【図９】実施の形態２の会議システムを構成する端末装置の内部構成を示すブロック図である。
【図１０】実施の形態２の会議サーバ装置における画像及び音声の送受信処理及び不適切な動作の検出処理手順の一例を示すフローチャートである。
【発明を実施するための形態】
【００４２】
以下本発明をその実施の形態を示す図面に基づき具体的に説明する。
【００４３】
（実施の形態１）
図１は、実施の形態１の会議システムの構成を示す構成図である。会議システムは、会議参加者が夫々用いる端末装置１，１，…と、端末装置１，１，…が接続されるネットワーク２と、端末装置１，１，…間での画像（映像）及び音声の送受信及び共有を実現する会議サーバ装置３とを含んで構成される。
【００４４】
ネットワーク２は、会議が行なわれる組織の組織内ＬＡＮでもよいし、インターネット等の公衆通信網でもよい。ネットワーク２はアクセスポイント２１を複数含み、端末装置１，１，…が無線通信によってサーバ装置１と通信できるようにしてある。
【００４５】
このように構成される会議システムでは、端末装置１，１，…が会議サーバ装置３との接続の認証を受け、認証された端末装置１，１，…が会議サーバ装置３から共有の画像（映像）及び音声の情報を送受信し、受信した画像（映像）及び音声を出力することにより、他の端末装置１，１，…と画像（映像）及び音声を共有し、ネットワークを介した会議を実現する。
【００４６】
なお、会議サーバ装置３は、複数の異なる会議１及び会議２を並列的に実現させることができる。会議サーバ装置３は、端末装置１，１，…を夫々グループ会議１及び会議２に対応付けて認識し、各グループ内で端末装置１，１，…間の画像（映像）及び音声の中継を夫々で独立に行なうことが可能である。
【００４７】
図２は、実施の形態１の会議システムを構成する端末装置１の内部構成を示すブロック図である。
【００４８】
端末装置１は、制御部１００と、一時記憶部１０１と、記憶部１０２と、入力処理部１０３と、表示処理部１０４と、映像処理部１０５と、入力音声処理部１０６と、出力音声処理部１０７と、通信処理部１０８と、符号化・復号処理部１０９とを備える。端末装置１は更に、内蔵又は外部接続により、タブレット１３と、ディスプレイ１４と、カメラ１５と、マイクロフォン（図中及び以下、マイクという）１６と、スピーカ１７と、無線通信部１８とを備える。
【００４９】
制御部１００は、ＣＰＵ又はＭＰＵ等の演算処理装置を用い、記憶部１０２に記憶されている会議端末用のプログラムを一時記憶部１０１に読み出して実行することにより、会議システム専用端末を本発明に係る情報処理装置として動作させる。
【００５０】
一時記憶部１０１にはＳＲＡＭ又はＤＲＡＭ等のＲＡＭを用いる。一時記憶部１０１には、上述のように読み出されるプログラムが記憶されると共に、制御部１００の処理によって発生する情報が記憶される。
【００５１】
記憶部１０２には、ＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）又はフラッシュメモリ等の不揮発性メモリを用いる。記憶部１０２には、会議端末用のプログラム及び制御部１００が制御時に参照する条件例えば後述の検出された値に対する閾値等の条件等、端末装置１の機能を実現するためのプログラム及びデータが予め記憶されている。他に、端末装置１における他のアプリケーションソフトウェアプログラムが記憶されていてもよい。記憶部１０２にはハードディスク又はＳＳＤ等の外部装置を用いてもよい。
【００５２】
入力処理部１０３には、ディスプレイ１４上に内蔵され、端末用ペン４による文字入力又は図形入力のための操作を受け付けるタブレット１３が接続されている。入力処理部１０３は、端末装置１の会議参加者の操作により入力されるボタン（クリックボタン）の押下情報、ディスプレイに表示中の画面内における位置を示す座標情報等の情報を受け付け、入力操作の有無及び入力操作の内容を判断して制御部１００へ通知する。なお、入力処理部１０３には図示しないマウス、又はキーボード等のポインティングデバイス（入力装置）が接続されており、それらのポインティングデバイスにて受け付けた操作に応じた信号を入力してもよい。
【００５３】
表示処理部１０４には、液晶パネル、又は有機ＥＬ等を用いるタッチパネル型のディスプレイ１４が接続されている。制御部１００は、表示処理部１０４を介し、ディスプレイ１４に会議端末用のアプリケーション画面を出力し、アプリケーション画面内に共有させる画像（映像）を表示させる。共有させる画像には、後述するように会議サーバ装置３から受信した他の端末装置１，１，…から送信された画像も含まれる。会議サーバ装置３から送信される画像が、Ｈ．２６１、Ｈ．２６３、Ｈ．２６４、ＭＰＥＧ等の規格にて符号化されている場合、制御部１００は画像を復号してから表示処理部１０４に出力する。
【００５４】
映像処理部１０５には、ビデオカードを用いる。映像処理部１０５は、端末装置１が備えるカメラ１５に接続され、カメラ１５の動作の制御を行なうと共に、カメラ１１５にて撮像された映像データを取得する。カメラ１５は、端末装置１の筐体に設けられたディスプレイ１４の上方に、ユーザの顔又は上半身を撮像する方向へ向けて搭載されている。カメラ１５は、１秒間に数十回又は数百回等の頻度で撮像し、それらの画像信号を連続して映像データとして映像処理部１０５へ出力する。映像処理部１０５は、カメラ１５から取得した映像データを、Ｈ．２６１、Ｈ．２６３、Ｈ．２６４、ＭＰＥＧ等の映像規格のデータへ変換（符号化）する処理を行なってもよい。
【００５５】
入力音声処理部１０６は、端末装置１が備えるマイク１６に接続され、マイク１６によって集音された音声をサンプリングしてデジタル音声データへ変換し、制御部１００へ出力するＡ／Ｄ変換機能を有する。入力音声処理部１０６は、集音された音声の信号レベルの調整及び帯域制限等の処理を行なうミキサ、及び、エコー部分を除去するエコーキャンセラを内蔵していてもよい。なお、入力音声処理部１０６は、集音音声をＧ．７１１、Ｇ．７２２、Ｇ．７２８、Ｇ．７２９又はＭＰＥＧＡｕｄｉｏ等の規格の音声データへ符号化する処理を行なってもよい。
【００５６】
出力音声処理部１０７は、端末装置１が備えるスピーカ１７に接続される。出力音声処理部１０７は、制御部１００から音声データが与えられた場合に、音声としてスピーカ１７から出力させるようにＤ／Ａ変換機能を有する。なお、会議サーバ装置３から送信される音声データがＧ．７１１、Ｇ．７２２、Ｇ．７２８、Ｇ．７２９又はＭＰＥＧＡｕｄｉｏ等の規格により符号化されている場合は、制御部１００は音声データを復号してからスピーカ１７へ出力する。
【００５７】
通信処理部１０８は、端末装置１のネットワーク２を介した通信を実現させる。通信処理部１０８は無線通信部１８と接続されており、アクセスポイント２１を介して会議サーバ装置３又は他の端末装置１との無線通信を実現する。通信処理部１０８は詳細には、送受信される情報のパケット化、パケットからの情報の読み取り等を行なう。制御部１００は、通信処理部１０８により画像（映像）及び音声のデータの送受信を行なうことができる。なお、通信プロトコルは、後述する会議サーバ装置３の通信処理部３７における通信プロトコルに対応する。
【００５８】
符号化・復号処理部１０９は、エンコーダ・デコーダチップを用い、Ｈ．２６１、Ｈ．２６３、Ｈ．２６４又はＭＰＥＧ等の規格に基づく映像（画像）の符号化・復号処理、及び、Ｇ．７１１、Ｇ．７２２、Ｇ．７２８、Ｇ．７２９又はＭＰＥＧＡｕｄｉｏ等の規格に基づく音声の符号化・復号処理を実現する。制御部１００は、会議サーバ装置３から符号化された映像、音声、又は多重化された映像のデータを受信した場合、符号化・復号処理部１０９へ与えて復号する。なお映像（画像）及び音声の規格は上述の例以外のものであってもよい。
【００５９】
なお実施の形態１では、端末装置１はタッチパネル型のディスプレイ１４を搭載した専用端末を用いる構成とした。しかしながら、これに限らずデスクトップ型のディスプレイが別に接続されるパーソナルコンピュータに、カメラ及びスピーカを接続して構成されてもよい。更には、汎用的なディスプレイにカメラ、スピーカ及びネットワークカードを接続し、後述するような制御部１００の機能を実現する装置を接続する構成でも実現できる。会議システムは、構成が様々に異なる端末装置１を含んでもよい。
【００６０】
図３は、実施の形態１の会議システムを構成する会議サーバ装置３の内部構成を示すブロック図である。
【００６１】
会議サーバ装置３は、サーバコンピュータを用い、制御部３０と、一時記憶部３１と、記憶部３２と、符号化・復号処理部３３と、画像処理部３４と、音声処理部３５と、画像認識部３６と、通信処理部３７と、ネットワークＩ／Ｆ部３８とを備える。
【００６２】
制御部３０にはＣＰＵ（Central Processing Unit）又はＭＰＵ（Micro Processing Unit）等の演算処理装置を用い、記憶部３２に記憶されている会議サーバ用プログラム３Ｐを一時記憶部３１に読み出して実行することにより、サーバコンピュータを、本実施の形態１における会議サーバ装置３として動作させる。
【００６３】
一時記憶部３１にはＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）等のＲＡＭを用いて、上述のように読み出される会議サーバ用プログラム３Ｐが一時的に読み出されると共に、制御部３０の処理によって発生する情報が一時的に記憶される。
【００６４】
記憶部３２には、ハードディスク又はＳＳＤ（Solid State Drive）等の外部記憶装置を用いる。記憶部３２には、上述の会議サーバ用プログラム３Ｐが記憶されている。また記憶部３２には、会議参加者が用いる端末装置１，１，…の認証を行なうための認証データが記憶されている。会議サーバ装置３の記憶部３２には、端末装置１，１，…で共有するためのドキュメントデータ等を含む会議情報ＤＢ３２１が記憶されている。ドキュメントデータは、テキストデータ、写真データ、図データ等であり、フォーマットは問わない。更に記憶部３２には、後述にて詳細を説明する画像認識用テーブル３２２、及び動作検出テーブル３２３が記憶されており、制御部３０及び他の構成部から参照可能である。
【００６５】
符号化・復号処理部３３は、エンコーダ・デコーダチップを用い、Ｈ．２６１、Ｈ．２６３、Ｈ．２６４又はＭＰＥＧ（Moving Picture Experts Group）等の規格に基づく画像（映像）の符号化を行なう画像符号化部、及び符号化された画像を復号する符号処理部を含む。端末装置１，１，…から送信される画像が符号化されている場合には、制御部３０は符号化・復号処理部３３にて復号して画像処理部３４へ与え、画像処理部３４にて合成される画像を符号化・復号処理部３３へ与えて符号化してから通信処理部３７により端末装置１，１，…へ送信する。また符号化・復号処理部３３は、Ｇ．７１１、Ｇ．７２２、Ｇ．７２８、Ｇ．７２９又はＭＰＥＧＡｕｄｉｏ等の規格に基づく音声の符号化を行なう音声符号化部、及び符号化された音声を復号する音声復号処理部を含む。端末装置１，１，…から送信される音声が符号化されている場合には、制御部３０は符号化・復号処理部３３にて復号して音声処理部３５へ与え、音声処理部３５にて合成される音声を符号化・復号処理部３３へ与えて符号化してから通信処理部３７により端末装置１，１，…へ送信する。なお符号化・復号処理部３３は、画像と音声とを夫々符号化するのみならず、画像と音声とを時間同期させ、多重化する処理を行なって出力するようにしてもよい。
【００６６】
画像処理部３４は、制御部３０からの指示により、複数の端末装置１，１，…から夫々送信された複数の画像データに基づき画像を合成する処理を実現する。画像処理部３４は他に、記憶部３２の会議情報ＤＢに含まれる共有ドキュメントの内、各端末装置１，１，…にて表示対象となるドキュメントデータを受け付け、該ドキュメントデータを画像に変換して出力する機能を有する。また、画像処理部３４は、画像の拡大縮小、エッジ強調又は色調整等の各種画像処理を行なうことが可能である。
【００６７】
音声処理部３５は、制御部３０からの指示により、複数の端末装置１，１，…から夫々送信された複数の音声データに基づき音声を合成する処理を実現する。音声処理部３５は他に、ノイズ除去又は音量調整等の各種音声処理を行なうことが可能である。
【００６８】
画像認識部３６は、制御部３０から与えられた画像から人物の顔（輪郭）、手・腕を認識する処理、更に顔の中の口、目、及び眉毛等を認識する処理を行なう。また画像認識部３６は、特定の物（例えば食器、タバコ、電話機）等を認識し、認識結果を出力する。具体的には、認識した輪郭、口、目などの有無、座標等の情報を出力する。画像認識部３６は、制御部３０から時系列で与えられる複数の画像内で認識した顔、手・腕、口、目、眉毛、その他の特定の物の画像内での位置の変化を認識する。画像認識部３６は、画像内の人物の顔の口、目、眉毛の位置によって人物の表情を分類し、笑顔、怒り顔、又は泣き顔等として分類結果を出力する機能を有してもよい。
【００６９】
通信処理部３７は、会議サーバ装置３のネットワーク２を介した通信を実現させる。通信処理部３７は、ネットワーク２に接続されたネットワークカードを用いたネットワークＩ／Ｆ部３８と接続されており、ネットワーク２を介して端末装置１，１，…との間の画像又は音声を送受信するときのパケット化、パケットからの情報の読み取りを行なう。制御部３０は、通信処理部３７により画像（映像）及び音声の送受信を行なうことができる。実施の形態１の会議システムを実現するために、通信処理部３７による画像、音声を送受信するための通信プロトコルは、Ｈ．３２３、ＳＩＰ（Session Initiation Protocol）、又はＨＴＴＰ（Hypertext Transfer Protocol ）等のプロトコルを用いればよい。通信プロトコルはこれらに限られない。なお、ネットワークＩ／Ｆ部３８はアンテナを含み、通信処理部３７は無線通信を行なうように構成されてもよい。
【００７０】
図４は、実施の形態１の会議システムにて実現される画像及び音声の送受信を模式的に示す模式図である。上述のように構成される会議システムでは基本的に、図４に示すように、端末装置１，１，…にて夫々、制御部１００の制御により、カメラ１５にて撮像される会議参加者の顔又は上半身の映像（又は静止画像）データを通信処理部１０８及び無線通信部１８を介して会議サーバ装置３へ送信し続ける。
【００７１】
会議サーバ装置３では、各端末装置１，１，…にて撮像及び集音されて送信される画像データ及び音声データを受信した場合、画像データと音声データとに分離して夫々符号化・復号処理部３３へ与え、夫々復号する。そして制御部３０は、図４に示すように、復号後の複数の端末装置１，１，…からの画像（映像）が、並べて表示されるように画像処理部３４にて合成すべく画像処理部３４へ指示する。制御部３０は、復号後の複数の端末装置１，１，…からの音声が重ね合わされるように音声処理部３５へ指示する。制御部３０は、合成後の画像及び音声を符号化・復号処理部３３へ与え、符号化又は多重化し、通信処理部３７を介して各端末装置１，１，…へ送信する。
【００７２】
各端末装置１，１，…では、会議サーバ装置３から送信される合成された画像及び音声を符号化・復号処理部１０９にて復号して表示処理部１０４及び出力音声処理部１０７へ夫々与え、各端末装置１，１，…を使用する会議参加者の顔又は上半身を映した画像が並べて表示される。これにより、各端末装置１，１，…を用いる会議参加者は、他の会議参加者の表情、身振りを確認しながら自身を含む会議参加者の発言を聴くことが可能となる。
【００７３】
ただし、実施の形態１における会議システムでは、いずれかの端末装置１から送信された画像に映っている会議参加者の動作が不適切である場合、当該端末装置１からの会議参加者の顔又は上半身の映像を撮像した画像及び会議参加者から発せられる音声の他の端末装置１への送信を禁止する。
【００７４】
会議参加者による不適切な動作の検出は、当該会議参加者が使用する端末装置１からの画像を受信した会議サーバ装置３にて行われる。以下、会議サーバ装置３における不適切な動作の検出処理について詳細を説明する。
【００７５】
会議サーバ装置３にて会議参加者の不適切な動作を検出するために、記憶部３２には画像認識用テーブル３２２と、動作検出テーブル３２３とが記憶されてある。
【００７６】
図５は、会議サーバ装置３の記憶部３２に記憶されてある画像認識用テーブル３２２の内容例を示す説明図である。画像認識用テーブル３２２は、不適切な動作の内容別に付されている番号、各動作の内容、及び認識パターンを含む。
【００７７】
図５に示す例では、不適切な動作として「電話、居眠り、雑談、喧嘩、泣く、大笑い、離席、よそ見、喫煙、食事、舌を出す」の動作が挙げられている。例えば、会議中の不適切な動作としての「電話」は、手・腕を耳付近に近づけ、口が動いている動作により判別が可能であると考えられる。したがって、「１：電話」の画像認識における認識パターンとして、体に対する腕の位置（腕の上がり・下がり）、複数の画像内に亘って口の開閉が有ること、又は電話機と認識される画像が有ること等が予め登録されてある。
「居眠り」は、両目が閉じて傾いている等の状況が考えられる。したがって、「２：居眠り」については、顔の向き（下向き、顔中心線の所定角度以上の傾き）、両目が閉じているか否か、又は頭（顔）の周期的な動きが有ること等が予め登録されてある。
「泣く」という不適切な動作は、画像から、顔を下に向けているか、手で目を押さえている状態であるか、又は泣き顔の表情から判別が可能と考えられる。したがって「３：泣く」については、顔の向きが下向きであること、体に対する手・腕の位置が顔を覆う位置にあること、又は泣き顔が認識されること等が予め登録されてある。
「大笑い」という不適切な動作は、口が大きく開いて笑っているという状況が考えられる。したがって「４：大笑い」については、認識される口の大きさが所定の大きさ以上か、又は顔に対する割合が所定値以上か、且つ笑顔が認識されたか等が予め登録されてある。
「離席」についてはそもそも人物が認識されない状況であるので、「５：離席」については顔（人物）が認識できない場合というパターンが予め登録されてある。
「よそ見」という動作は、画面を見ずに別の方向を向いている状態である。したがって、「６：よそ見」については顔の向きが所定の向き以外であること、又は所定の向きから大きく傾いていること等が予め登録されてある。
「喫煙」という動作は、手でタバコを支えているか、口でタバコを咥えているか、口元にタバコを持っている動作を繰り返しているかによって判別可能である。したがって「７：喫煙」については、タバコの画像が認識されること、手が口元に有ること、又は手の口元への動きが繰り返されていること等がパターンとして予め登録されてある。
「食事」という動作は、箸又はフォーク等の食器を手で持ち口元へ持っていく動作、又は口元が閉じられたまま動いている等の状況によって判別可能である。また、ガムを噛むことも食事という不適切な動作に含むとすると、この場合も口が閉じられたま動いている状況等によって判別可能である。したがって「８：食事」については、食器の画像が認識されること、手・腕の口元への動きがあること、又は口元が閉じた状態で繰り返し動いていること等のパターンが予め登録されてある。
「舌を出す」という動作は、口元から舌が出ている状態であるので、「９：舌を出す」については、口元付近に舌の画像が認識されるか等のパターンが予め登録されてある。
「喧嘩」は複数人がつかみあう等の状況であるので、「１０：喧嘩」については、複数の人物が認識されること、且つ、複数人人物が絡み合っていると判断できること、又は人物の表情として怒った顔が認識されること等のパターンが予め登録されてある。
「雑談」は複数人が会議の議題と別の話をしている状況であり、例えば隣り合う２人が向き合っており、口が動いている状態などが考えられる。そこで「１１：雑談」については、複数の人物が認識されること、且つ、複数の人物同士の顔の向きが向き合っていること等のパターンが予め登録されてある。
【００７８】
会議サーバ装置３の制御部３０は、１つの端末装置１から送信された画像を画像認識部３６に与え、人物の顔、手・腕、及び顔等などの認識結果を得る。なお不適切な動作には、１画像のみでは認識できないものも含まれるので、制御部３０は、例えば０．３秒等の所定時間分の複数の画像を与えて認識結果を得る。制御部３０は、得られた認識結果と、画像認識用テーブル３２２に記憶されている不適切動作夫々の認識パターンとを比較し、不適切な動作夫々の有無を判定する。このように、制御部３０が不適切な動作夫々の有無の判定に基づき不適切な動作を検出できる。新たに不適切な動作を加える場合、又は削除する場合には、画像認識用テーブル３２２の動作内容を新たに加えるか、削除するか、又は各動作についての判定の有効（許可）／無効（不許可）を設定しておけばよい。画像認識用テーブル３２２の内容を改変することにより、不適切な動作の検出の詳細を適宜変更することが容易となる。勿論、画像認識用テーブル３２２が無い構成であっても、会議サーバ用のプログラム３Ｐを変更することにより適宜、検出する不適切な動作の内容の詳細を変更することができる。
【００７９】
図６は、動作検出テーブル３２３の内容例を示す説明図である。動作検出テーブル３２３は、制御部３０が各端末１について画像認識用テーブル３２２に含まれる不適切な動作夫々に対して判定した結果を保有する情報である。動作検出テーブル３２３は、記憶部３２ではなく、一時記憶部３１に記憶される構成であってもよい。動作検出テーブル３２３は、画像の送信元の端末装置を識別する識別番号、不適切な動作の番号、判定結果、及び継続時間を含む。端末装置を識別する情報は番号に限らない。不適切な動作の番号とは、画像認識用テーブル３２２にて予め登録されている動作内容に割り振られた番号に対応する。図６における継続時間は判定結果「１：有」が続く回数である。実測された秒数であってもよい。
【００８０】
図６には、会議サーバ装置３の制御部３０が、「００１」の識別番号が付された端末装置１からの画像に基づく不適切な動作が検出されたか否かの判定結果が示されている。制御部３０は、「００１」の識別番号が付された端末装置１から得られた画像に基づき、番号１〜１１の不適切な動作夫々について検出されたか否かの判定結果を動作検出テーブル３２３に記憶している。図６の例では、「００１」の識別番号が付された端末装置１から得られた画像に基づき、番号４の不適切な動作「大笑い」が検出され、継続時間が「０００５」となっている。
【００８１】
会議サーバ装置３の制御部３０は、定期的に送信される端末装置１，１，…からの画像に対する動作検出を、画像を受信する都度、又は複数回受信する毎に行なう。制御部３０は、不適切な動作夫々について動作検出を行ない、前回の判定結果が「０：無」であって今回の判定結果が「１：有」である場合、判定結果「１」を動作検出テーブル３２３に保存し、タイマー値を「０００１」と保存する。制御部３０は、前回の判定結果が「１：有」であって今回の判定結果も「１：有」である場合、判定結果「１」を保存し、タイマー値を１、又は秒数分加算する。制御部３０は、前回の判定結果が「１：有」であって今回の判定結果が「０：無」である場合、判定結果「０」を保存し、タイマー値を「０」にクリアする。
【００８２】
このようにして、動作検出テーブル３２３には、各端末装置１，１，…からの画像に基づく不適切な動作の検出結果が逐次更新される。なお、動作検出テーブル３２３は、１つの端末装置１から不適切な動作が検出された場合のみ、保存、更新される。
【００８３】
上述のように構成される会議システムにて、端末装置１，１，…から画像及び音声が送信され、会議サーバ装置３にてこれを受信して各端末装置１，１，…へ共有画像及び音声として送信する過程にて行なわれる不適切な動作の検出処理過程について、以下、フローチャートを参照して説明する。
【００８４】
図７は、実施の形態１の会議サーバ装置３における画像及び音声の送受信処理及び不適切な動作の検出処理手順の一例を示すフローチャートである。なお、以下に示す処理は、１つの端末装置１に対する処理である。会議を構成する複数の端末装置について、以下の処理が夫々独立して並列的に行なわれてもよいし、又は、以下に示す各ステップにて全ての端末装置に対する処理が行なわれてもよい。
【００８５】
会議サーバ装置３の制御部３０は、端末装置１からの会議参加申請に対して認証を行なって会議を開始すると、まず不適切な動作の継続時間を計測するためにタイマーをスタートさせる（ステップＳ１）。制御部３０は、端末装置１から画像及び音声のデータを受信する（ステップＳ２）。このとき制御部３０は、画像及び音声が符号化されている場合には符号化・復号処理部３３へ与えて復号してから以下の処理を行なう。
【００８６】
制御部３０は、ステップＳ２にて受信した画像を画像認識部３６に与え、認識処理を行なう（ステップＳ３）。制御部３０は、画像認識部３６から得られる認識結果と画像認識用テーブル３２２とを比較して不適切な動作の有無を判定して検出する（ステップＳ４）。
【００８７】
制御部３０は、不適切な動作有、即ち不適切な動作を検出した場合（Ｓ４：ＹＥＳ）、動作有と判定された不適切な動作の番号と、動作検出テーブル３２３にて前回、判定結果が「１：有」とされた不適切な動作の番号とが１つ以上一致するか否かを判断する（ステップＳ５）。
【００８８】
制御部３０は、１つ以上一致すると判断した場合（Ｓ５：ＹＥＳ）、一致する不適切な動作の継続時間を１つ、又は経過時間分だけ加算し、一致しない不適切な動作については新たに判定結果を「１：有」とするように動作検出テーブル３２３を更新する（ステップＳ６）。そして制御部３０は、一致する番号の不適切な動作の継続時間が所定時間を経過しているか否かを判断する（ステップＳ７）。具体的には、一致する番号の不適切な動作に対するタイマー値が所定数より１以上大きいか否かを判断する。制御部３０は、所定時間を経過していると判断した場合（Ｓ７：ＹＥＳ）、画像の送信元の端末装置１からの画像の他の端末装置１への送信を制限する制御を行なう（ステップＳ８）。このとき、タイマーによる時間計測は継続されている。
【００８９】
ステップＳ８は詳細には、以下のような処理を行なう。１つの方法として制御部３０は、不適切な動作が行なわれた端末装置１から受信した画像を画像処理部３４へは与えず、他の端末装置１，１，…への送信を停止する。他の方法として制御部３０は、不適切な動作が検出された画像内の対応位置に、白塗り若しくは黒塗りの画像を重畳するか、又はモザイク画像を重畳してから画像処理部３４へ与え、他の端末装置１からの画像と合成させる。他の方法として制御部３０は、不適切な動作が行なわれ端末装置１からの画像の受信を停止するようにしてもよい。更に他の方法として制御部３０は、不適切な動作が行なわれた端末装置１からの音声の受信も停止するようにしてもよい。また制御部３０は、不適切な動作が行なわれた端末装置１からの画像の他の端末装置１，１，…への送信をコマ落ちに、即ちレート（品質）を低減するようにしてもよい。
【００９０】
またステップＳ８における制御部３０の詳細な処理は、検出された不適切な動作の内容に応じて変更してもよい。例えば、制御部３０は、「電話」「居眠り」「雑談」「喧嘩」「泣く」「大笑い」「離席」「よそ見」「喫煙」「食事」「舌を出す」の不適切な動作が検出された場合には、不適切な動作が検出された端末装置１からの「画像」の他の端末装置１，１，…への送信を停止するか、画像内の該当部分に白塗り画像を重畳するか、画像の送信レートを低減する。制御部３０は、「喫煙」「食事」「舌を出す」の口元の動きに関する不適切な動作が検出された場合には、口元に白塗り画像（又は他の画像）を重畳するようにしてもよい。制御部３０は、「電話」「雑談」「喧嘩」「泣く」「大笑い」などの不適切な音声又は発声を伴う動作が検出された場合には、不適切な動作が検出された端末装置１からの「音声」の他の端末装置１，１，…への送信を停止する。
【００９１】
なお、画像の送信停止と音声の送信停止とを組み合わせた送信制御の具体的内容は、「不適切な動作」毎に、記憶部３２に予め記憶しておくようにしてもよい。画像認識用テーブル３２２の不適切な動作夫々の番号に対応付けて、送信制御の内容を設定して記憶しておく。例えば「１：電話」に対応付けて「画像：停止／音声：停止」、「２：居眠り」に対応付けて「画像：停止／音声：送信継続」、又は「１０：喧嘩」に対応付けて「画像：白塗り重畳／音声：停止」などと記憶しておく。また、複数人物が映る場合には不適切な動作が検出された箇所について白塗り画像を重畳すると記憶しておく。このように記憶部３２にて送信制御の具体的な設定を記憶しておくことで、記憶部３２内の設定内容を変更することによって適した処理を行なうように適宜変更できる。
【００９２】
次に制御部３０は、会議システムにおける会議が終了したか否かを判断する（ステップＳ９）。制御部３０は、終了していないと判断した場合は（Ｓ９：ＮＯ）、処理をステップＳ２へ戻して継続し、終了したと判断した場合は（Ｓ９：ＹＥＳ）、処理を終了する。
【００９３】
制御部３０は、ステップＳ４にて不適切な動作無、即ち不適切な動作を検出していない場合（Ｓ４：ＮＯ）、動作検出テーブル３２３の全ての判定結果を「０：無」として初期化し（ステップＳ１０）、処理をステップＳ９へ進める。
【００９４】
制御部３０は、動作有と判定された不適切な動作の番号と、動作検出テーブル３２３にて前回判定結果が「１：有」とされた不適切な動作の番号とが全く一致しない判断した場合（Ｓ５：ＮＯ）、動作検出テーブル３２３を更新し（ステップＳ１１）、処理を終了する。このとき、前回判定結果が「１：有」とされた不適切な動作については、継続時間は「０」にクリアされ、判定結果は「０：無」と保存される。今回の判定結果が「１：有」とされた不適切な動作については「１：有」と保存され、継続時間が保存される。
【００９５】
制御部３０は、ステップＳ７にて所定時間を経過していないと判断した場合（Ｓ７：ＮＯ）、処理をステップＳ９へ進める。
【００９６】
なおステップＳ７にて、所定時間が経過しているか否かは全ての不適切な動作に対して画一的に判断したが、検出された不適切な動作の内容毎に異なる所定時間に対して判断するようにしてもよい。このように不適切な動作の内容毎に異なる所定時間については、画像認識用テーブル３２２の不適切な動作夫々の番号に対応付けて夫々設定して記憶部３２に記憶しておけばよい。
【００９７】
図８は、本実施の形態１における会議システムにて、不適切な動作が検出された場合になされる送信制御の例を示す説明図である。図８は、不適切な動作が検出された端末装置１とは異なる端末装置１のディスプレイ１４にて確認できる画像を示している。
【００９８】
図８に示す例では上段に、送信制限の制御が行なわれる前の画像の内容が示されている。上段の画像からは、３人の人物が認識される。制御部３０は、当該画像を画像処理部３４へ与えて３つの人物についての顔（輪郭）、口、目、手・腕の位置等の情報を得、画像認識用テーブル３２２の認識パターンと比較する。図８の上段の画像では、３人の人物の内、最も左側に映る人物の顔の向きが、図中手前から奥への方向を撮像方向とするカメラ１５の撮像方向とは異なる向きであると判断できる。制御部３０は、顔の向きは「正面」及び所定の傾き以内であるべきところ、最も左側に映る人物の顔の向きが所定の傾き以上であるので「よそ見」、また認識された手・腕の位置が耳の高さに有り、且つ認識された口が開閉していることから「電話」と不適切な動作を検出する。この場合制御部３０は、不適切な動作が検出された画像内の位置に基づき、これらの動作が映らないように、一部に白塗り画像を重畳する。これにより、図８の下段に示すように、よそ見をしている人物が隠ぺいされた画像が確認できる。複数の人物が映る画像が端末装置１から送信される場合は、このように、画像の一部を他の画像で重畳する等の加工を行なう。これにより同一の画像に映る他の会議参加者の参加を妨げることはない。
【００９９】
会議サーバ装置３の制御部３０は、ステップＳ８にて、不適切な動作が検出された端末装置１からの画像又は音声の送信を停止する場合、送信を停止する旨のメッセージを当該端末装置１へ送信してもよい。このとき制御部３０は、所定時間が経過する前に、不適切な動作が検出された端末装置１へ警告表示又はアラーム音を出力するように指示を行ない、不適切な動作を行なっている会議参加者へ注意を促すようにしてもよい。これにより、会議の進行を円滑にすることができる。また、制御部３０は、不適切な動作が検出された端末装置からの画像の送信を停止する旨のメッセージを他の端末装置１，１，…へ送信してもよい。これにより、他の端末装置１を使用する会議参加者が状況を把握して会議システムの進行を継続させることができる。
【０１００】
以上のよう構成により、ある特定の端末装置１を使用する会議参加者の動作状態が例えば不適切（電話、居眠り、雑談、喧嘩、泣く、大笑い、離席、よそ見、喫煙、食事、舌を出す等）である場合に、当該動作を映す画像又は動作に伴う音声が他の会議参加者へ伝達することを回避される。不適切な動作が映る画像は、他の端末装置１，１，…への送信が禁止されるか、又は他の端末装置１，１，…へ送信されるとしても送信レートが低減されてコマ落ち状態となるか、又は、画面の一部が加工される。これにより、不適切な動作が映っている画像を他の端末装置１，１，…にて観なくとも済むか、ことが不可能となるか、又は鮮明に確認することが困難となるか、又は一部が隠ぺいされて観ることできなくなる。これにより、他の会議参加者の不快感、違和感を抑制し、快適な会議システムを実現できる。また、不適切な動作を撮像した画像、及び集音した音声のデータの送信が制限されることにより、不要なデータが送受信されることを回避することができ、ネットワーク２の通信負荷を軽減することができる。
【０１０１】
なお、実施の形態１では不適切な動作を「画像認識」によって検出する構成とした。つまり、音声認識によらず、音声又は発声を伴う不適切な動作を口元の開閉動作等に基づき画像認識によって検出する。音声又は発声を伴う不適切な動作とは例えば、電話、雑談、喧嘩、泣く、又は大笑い等の動作であり、これらの場合、実際に不適切な発言がなされる前に口元の動き、又はて若しくは腕の動きを合わせた画像認識によって検出できる可能性がある。したがって、画像認識により、不適切な音声又は発言が実際に発せられる前に、不適切な動作を検出することが可能である。
【０１０２】
実施の形態１では、制御部３０は、所定時間以上継続して不適切な動作が検出された場合に、他の端末装置１，１，…へ送信をしないように制御する構成とした。これにより、一回のみ不適切な動作が検出された場合に、直ぐに送信が停止され、突然に画像がぶつ切りになるよりも、会議の進行を円滑にする。また、所定時間が経過するまでに不適切な動作を行なった人物に警告を与える猶予ができるので、不要に会議への参加を制限して円滑な会議を妨げる可能性を低減することができる。ただし、本発明はこれに限らず、継続時間が所定時間以上であるか否かの判断（Ｓ７）を省略し、直ちに送信を制限する制御を行なう構成としてもよい。いずれの構成とするかは、所定時間を０とするか否かを会議の管理者が設定できるようにしておけば適宜変更可能である。
【０１０３】
（実施の形態２）
実施の形態２では、不適切な動作が検出された端末装置でのカメラの撮像方向又はマイクの集音方向を変更する制御により、他の会議参加者に不快感を覚えさせる画像又は音声の送信を回避する。
【０１０４】
実施の形態２における会議システムは、会議参加者が夫々用いる端末装置５，５，…と、端末装置５，５，…が接続されるネットワーク２と、端末装置５，５，…間での画像（映像）及び音声の送受信及び共有を実現する会議サーバ装置３とを含んで構成される。つまり、端末装置５を含むことが実施の形態１と異なり、他の構成は実施の形態１の構成と同様である。したがって、以下の説明では実施の形態１の構成と共通する装置及び内部構成については同一の符号を付して詳細な説明を省略する。
【０１０５】
端末装置５は、実施の形態１における端末装置１同様、タブレット内蔵ディスプレイを搭載した会議システム専用端末を用い、外観も同様である。
【０１０６】
図９は、実施の形態２の会議システムを構成する端末装置５の内部構成を示すブロック図である。
【０１０７】
端末装置５は、制御部５００と、一時記憶部５０１と、記憶部５０２と、入力処理部５０３と、表示処理部５０４と、映像処理部５０５と、入力音声処理部５０６と、出力音声処理部５０７と、通信処理部５０８と、符号化・復号処理部５０９とを備える。端末装置５は更に、内蔵又は外部接続により、タブレット５３と、ディスプレイ５４と、カメラ５５と、マイク５６と、スピーカ５７と、無線通信部５８とに加え、駆動部５９を備える。
【０１０８】
端末装置５が備える各構成部の内、駆動部５９の構成以外は、実施の形態１における各構成部と同様である。したがって、それらの詳細な説明は省略する。
【０１０９】
駆動部５９は、会議サーバ装置３からの指示に基づく制御部５００からの制御信号により、カメラ５５の撮像方向を変更することが可能である。実施の形態２におけるカメラ５５は、端末装置５の筐体内部にて動かされること可能に支持されている。駆動部５９は、筐体内部におけるカメラ５５の支持部に、接するように配置され、ステッピングモータ等の機構を含んで制御部５００からの制御信号に従ってカメラ５５の支持部の向きを変更して撮像方向を変更する。
【０１１０】
制御部５００は、記憶部５０２に記憶してある会議端末用プログラムを読み出して実行することにより、会議開始時には端末装置５を使用する会議参加者へ向けて撮像している。そして、制御部５００は、会議サーバ装置３から撮像方向を変更する指示を受信した場合、会議参加者が映らないようにカメラ５５の撮像方向を変更させる。
【０１１１】
図１０は、実施の形態２の会議サーバ装置における画像及び音声の送受信処理及び不適切な動作の検出処理手順の一例を示すフローチャートである。なお、以下に示す処理手順の内、実施の形態１の図７に示した処理手順と共通する手順には同一のステップ番号を付して詳細な説明を省略する。
【０１１２】
制御部３０は、所定時間を経過していると判断した場合（Ｓ７：ＹＥＳ）、画像の送信元の端末装置１へ、カメラ５５の撮像方向を変更する指示を送信し（ステップＳ２０）、ステップＳ９へ処理を進める。即ち、実施の形態１におけるステップＳ８の代替として、ステップＳ２０が行なわれる。
【０１１３】
これにより、端末装置５の制御部５００は、カメラ５５の撮像方向を、端末装置５を使用する会議参加者を撮像することで会議の場に相応しくない映像を映さないように、駆動部５９へ制御信号を与えて調整し、集音方向を変更する処理も行なう。
【０１１４】
このような構成により、会議参加者によって不適切な動作が検出された端末装置５では、他の会議参加者を不快にさせる可能性が有る画像及び音声を会議サーバ装置３へ届かないようにすることができ、快適な会議システムを実現することができる。
【０１１５】
実施の形態２では、端末装置５の制御部５００は、会議参加者の不適切な操作状態を検出した場合、カメラ５５の撮像方向を変更させる制御を行なう構成とした。しかしながら本発明はこれに限らず、指向性の高いマイク５６を用い、入力音声処理部５０６にてマイク５６の集音方向を変えるか、又は、特定の方向（右、左など）からの音声を事後的に除去するかの処理を行なってもよい。これにより、他の会議参加者を不快にするような音声が会議サーバ装置３を介して他の端末装置１，１，…へ送信されることを回避することができる。
【０１１６】
また、会議サーバ装置３の制御部３０は、撮像方向及び集音方向を変更させる指示を送信する構成とした。しかしながら本発明はこれに限らず、制御部３０が、不適切な動作が検出された端末装置５へ、撮像及び集音の停止並びに画像及び音声のデータの送信の禁止の指示を送信する構成としてもよい。不快感、違和感を抑制するのみならず、他の端末装置５，５，…へ送信しない画像及び音声のデータがそもそもネットワーク２へ送出されないようにすることができる。これにより、画像又は音声による通信負荷の増大及び会議システムにて画像又は音声の送受信を中継する会議サーバ装置３の処理負荷を抑制することも可能である。更に、端末装置１からの送信を制御、即ち会議サーバ装置３での当該端末装置１からの受信を停止するのみならず、会議サーバ装置３は、不適切な動作が検出された端末装置５からの画像の送信データ量を低減する構成としてもよい。具体的には、制御部３０は、端末装置５へ映像処理部５０５により取得される画像の内の一部を送信するように指示する。これにより制御部５００は、送信する画像のデータをコマ落ちに、即ちレートを低減する。又は、制御部３０は、端末装置１へ映像処理部５０５からカメラ５５による撮像レートを低減させるようにしてもよいし、入力音声処理部５０６におけるサンプリングレートを低減させて音声のデータのデータ量を低減するようにしてもよい。これにより、不適切な動作を撮像した画像、及び集音した音声のデータの会議サーバ装置３への送信が制限されることにより、不要なデータが送受信されることを回避することができ、ネットワーク２の通信負荷増大を軽減することができる。
【０１１７】
実施の形態１及び実施の形態２では、会議サーバ装置３が、端末装置１（５），１（５），…から受信した画像に対して画像認識を行なう画像認識部３６を備える構成とした。画像認識用テーブル３２２に予め登録されてある不適切な動作のパターンを一元化できる。しかしながら、画像認識処理及び不適切な動作の検出を行なう主体は、会議サーバ装置３に限らない。会議サーバ装置３の制御部３０の負荷を軽減するため、他の装置で行なっても良いし、各端末装置１（５），１（５），…で行なう構成としてもよい。端末装置１（５），１（５），…にて行なう場合、各装置画像認識処理が必要となるので各端末装置１（５），１（５），…の処理負荷が重くなる。一方で、不適切な動作が検出された端末装置１（５）からは会議サーバ装置３への画像及び音声の送信の停止、即ち会議サーバ装置３にて当該端末装置１からの画像及び音声の受信を禁止する等の制御が可能となり、ネットワーク２における通信負荷を軽減できるなどの効果がある。
【０１１８】
なお、開示された実施の形態は、全ての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上述の説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内での全ての変更が含まれることが意図される。
【符号の説明】
【０１１９】
１ 端末装置（第１情報処理装置）
１００ 制御部
１０５ 映像処理部（取得する手段）
１０６ 音声処理部（取得する手段）
１０８ 通信処理部（送信手段、送受信手段）
１５ カメラ（撮像装置）
１６ マイク（集音装置）
２ ネットワーク
３ 会議サーバ装置（第２情報処理装置、情報処理装置）
３０ 制御部（認識手段、検出手段、送信制御手段）
３１ 一時記憶部
３２ 記憶部
３２２ 画像認識用テーブル
３６ 画像認識部（認識手段）
３７ 通信処理部
【技術分野】
【０００１】
本発明は、複数の情報処理装置間でカメラによって撮像された画像又はマイクロフォンにて集音された音声を送信しあい、遠隔にあっても会議参加者間での会議を実現できる会議システムに関する。特に、会議参加者の動作を検出し、検出した参加者の動作の状態に応じて画像又は音声の送受信を制御し、他の会議参加者への不快感、違和感を抑制することができる会議システム、情報処理装置及び情報処理方法に関する。
【背景技術】
【０００２】
通信技術、画像処理技術等の発展に伴い、遠隔の二拠点又は三拠点以上の複数拠点に夫々設置された複数の情報処理装置間でネットワークを介して会議ができるテレビ会議システムが実現されている。大容量データの送受信が可能であることから、端末装置にて集音される音声のデータを他の端末装置へ送信して複数の端末装置にて発言者の発言を共有するのみならず、各端末装置にて会議参加者を撮影し、撮影した映像データを他の端末装置へ送信することによって、表情、身振り等を交えた会議が実現できる会議システム（所謂Ｗｅｂ会議システム）が実用化されている。
【０００３】
従来の会議システムでは、各情報処理装置が電話番号又はＩＰ（Internet Protocol）アドレスを指定して他の情報処理装置と直接的に接続を確立し、２つの情報処理装置が１対１で音声データ及び画像データを交換することで実現されてきた。３つ以上の情報処理装置間での会議システムを実現する場合には、１台の情報処理装置を親機とし、他の複数の情報処理装置を子機として、複数の子機が夫々親機との接続を確立し、親機が子機間のデータ交換を中継する。
【０００４】
より多くの拠点間での会議システムを実現するためには、複数の情報処理装置をＭＣＵ（Multipoint Control Unit：多地点接続装置）へ、スター型に接続し、情報処理装置間のデータ交換をＭＣＵが中継する構成がある。ＭＣＵを用いた会議システムでは、会議システムに参加することが可能な情報処理装置（拠点）の数は、ＭＣＵの性能、即ち接続できる情報処理装置の数（例えば通信ポートの数）に依存する。
【０００５】
また、多くの拠点間での会議システムを実現するためには、ＬＡＮ（Local Area Network）又はインターネット等の通信網を介し、会議参加者が使用する情報処理装置がクライアント装置としてサーバ装置と接続する構成にて、サーバ装置でデータ交換を中継する構成もある。このようなサーバ・クライアントシステムの構成では、サーバ装置の処理能力及びネットワークの通信速度（使用可能帯域幅）の制限があるものの、ＭＣＵを用いた構成と比較して、会議システムに参加する拠点数（情報処理装置の数）を容易に増減させることができる等の利点がある。
【０００６】
このように、ＭＣＵを利用する構成でも、サーバ・クライアントシステムの構成でも、各情報処理装置を会議参加者が一人一人（又は少数人で）利用して会議を実現することができる。このとき、各情報処理装置には、共有画面を表示する液晶パネル、有機ＥＬパネル等を利用したディスプレイ、装置を使用する会議参加者を撮影するカメラ、装置を使用する会議参加者の発言を集音するマイクロフォン及び音声を出力するスピーカ等が備えられる。そして情報処理装置は、撮影した映像（画像）のデータ及び集音した音声のデータをＭＣＵ又はサーバ装置を介して送受信する。これにより、会議参加者同士の発言、表情、身振り等を共有して会議を行なうことができる。
【０００７】
特許文献１には、音声及び画像を交換する会議システムを利用し、異なる文化圏の会議参加者間で会議を実施する場合に、各会議参加者の身振りを、三次元アバター等を用いた動画像にて表現する構成とし、ある文化圏における会議参加者の身振りが、他の文化圏でも社会的に適切と捉えられるように一部変更する発明が開示されている。
【０００８】
特許文献２には、会議システムにて、会議参加者による発言を音声認識によって認識し、文字情報に変換して共通画面に表示する際、文字情報から不要な語句を削除して表示する発明が開示されている。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２００９−７７３８０号公報
【特許文献２】特開平１０−３０１９２７号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
遠隔地にいながら、複数拠点間で相手の画像を確認しつつ会議を実現できる会議システム及びその周辺技術により、文化及び言語が異なる人々の間でのコミュニケーション向上に大きな役割を果たしている。逆に、会議参加者の画像を送受信する会議システムでは、会議参加者の動作がリアルタイムで他の会議参加者へ伝わる。これにより、他の媒体を介したコミュニケーションでは存在しなかった様々な問題及び懸念が発生する場合がある。
【００１１】
例えば、複数の拠点間で会議参加者の映像を送受信する会議システムでは、会議参加者の映像信号をリアルタイムに他の拠点へ送信する。この場合、会議参加者の非言語的な動作、表情が重要となる。特に、会議参加者が多様な文化及び言語を背景にする場合には問題となるときがある。その場に適切な動作、言語であるか否かの適切性は当然、文化が異なれば大きく異なる。ある文化では適切とされ、許容される動作であっても、別の文化では不適切とされ、許容されない動作と受け取られる場合が多く、誤解を招く原因となる。
【００１２】
国際的なやり取りが行なわれるビジネスの場では、会議システムを利用する場合の会議参加者の動作の適切性が重要となる。動作によっては、言語のみのコミュニケーションよりも信頼を築くことが可能である。適切なタイミングでの適度な凝視（gaze）、適切な身振り及び表情によって信頼を表すことができ、取引の成否を左右する。逆に、不適切なタイミングでの不適切な身振りは、無意識で行なっていたとしても大きく信頼を損ねる場合がある。
【００１３】
会議参加者は、異文化における適切な動作を予備知識として学ぶことは可能であるが、パターン化されない動作でも適切性を維持することは非常に困難である。また、会議参加者が、参加する可能性がある全ての会議の他の会議参加者の文化における習慣及び伝統の違いを全て予備知識として持つことは非現実的である。
【００１４】
更に、会議参加者が無意識に行なってしまう癖であって他の会議参加者を不快にさせる可能性のある動作を事前に矯正することも非現実的である。
【００１５】
特許文献１に開示されている技術を用いることにより、会議システムにて他の会議参加者に、文化的又は社会的に不適切な動作と受け取られる身振りが一の会議参加者が行なった場合であっても、アバターを利用して他の身振りに代替されるか、又は会議参加者の画像以外の画像、例えば会議資料等の共有画面へ切り替えられる。これにより、他の会議参加者を不快にさせることを回避することができる。
【００１６】
しかしながら、特許文献１に開示されている技術では、不適切な動作か否かを判断するために、会議参加者を撮影した画像データを取得し、文化モデルデータに従って動作解析を行なう必要がある。特許文献１には、動作解析にはモーションセンサ若しくは加速度センサから得られるデータ、又は音声からの情報を利用することも可能とされているが、実際の解析対象、それらの情報を利用した解析についての例は記載されていない。また、特許文献１に開示されている技術では、文化モデルデータに従った動作解析が行なわれるが、多様な文化に対応させるためには各文化の膨大な量の文化モデルデータを予めデータベース化しておく必要があり、解析処理の負荷もその分膨大となり、現実的でない。
【００１７】
また、特許文献２に開示されている技術を用い、会議参加者の発言内容から、不適切と受け取られる語句を削除してから共通画面へ表示することも可能である。またこれにより、会議参加者が共通画面を見やすくなると共に、文字情報に既に変換されることから議事録の作成が容易となる。
【００１８】
しかしながら、特許文献２に開示されている技術では、不適切と受け取られる情報を表示する文字情報から削除することはできるものの、音声及びその発言中の映像は既に共有されていて他の会議参加者へ伝達されている。したがって、発言者以外の他の会議参加者へ不快感、違和感を与えることを回避することはできない。
【００１９】
本発明は斯かる事情に鑑みてなされたものであり、会議システムにて、画像認識による動作解析に基づき画像データ及び音声データの送受信を制御し、他の会議参加者への不快感、違和感を抑制することができる会議システム、該会議システムを制御する情報処理装置及び情報処理方法を提供することを目的とする。
【課題を解決するための手段】
【００２０】
本発明に係る会議システムは、撮像装置又は集音装置と、前記撮像装置からの画像又は前記集音装置からの音声を取得する手段と、取得した画像又は音声を送受信する送受信手段を備える第１情報処理装置を複数と、複数の第１情報処理装置に通信媒体を介して接続し、各第１情報処理装置で送受信される画像又は音声を中継する第２情報処理装置とを含み、複数の第１情報処理装置間で共通の画像又は音声を表示又は出力させて情報を共有させ、会議を実現させる会議システムにおいて、第１情報処理装置にて取得された画像に映る人物の動作を認識する認識手段と、該認識手段による認識結果に基づき、不適切な動作の有無を検出する検出手段と、該検出手段の検出結果に応じて、前記第１情報処理装置からの画像若しくは音声の受信、若しくは他の第１情報処理装置への送信の可否、送信レートの増減、又は前記画像の一部への加工を制御する送信制御手段とを備えることを特徴とする。
【００２１】
本発明に係る会議システムは、前記送信制御手段は、前記検出手段が不適切な動作を検出した場合、前記不適切な動作が検出された第１情報処理装置からの画像若しくは音声の受信、若しくは他の第１情報処理装置への送信を禁止するか、送信レートを低減するか、又は前記画像の一部への加工を行なうようにしてあることを特徴とする。
【００２２】
本発明に係る会議システムは、前記検出手段が不適切な動作を検出した後の前記動作の継続時間を計測する手段と、前記継続時間が所定時間以上であるか否かを判断する判断手段とを備え、前記送信制御手段は、前記判断手段が所定時間以上であると判断した場合に、前記不適切な動作が検出された第１情報処理装置からの画像若しくは音声の受信、若しくは前記画像若しくは音声の他の第１情報処理装置への送信を禁止するか、送信レートを低減するか、又は前記画像の一部への加工を行なうようにしてあることを特徴とする。
【００２３】
本発明に係る会議システムは、不適切な動作として予め登録してある画像認識結果の一覧であるテーブルを備え、前記検出手段は、前記認識手段による認識結果が前記テーブルに含まれる認識結果と対応するか否かによって不適切な動作の有無を検出するようにしてあることを特徴とする。
【００２４】
本発明に係る会議システムは、前記検出手段が、不適切な音声又は発声を伴う動作を検出した場合、前記不適切な動作が検出された第１情報処理装置からの画像若しくは音声の受信、若しくは前記画像若しくは音声の他の第１情報処理装置への送信を禁止するようにしてあることを特徴とする。
【００２５】
本発明に係る会議システムは、前記送信制御手段は、不適切な動作が検出された第１情報処理装置からの画像の内、前記不適切な動作に対応する画像の一部の上に他の画像を重畳させる加工を行なうことを特徴とする。
【００２６】
本発明に係る会議システムは、前記認識手段及び検出手段は、第２情報処理装置が備えることを特徴とする。
【００２７】
本発明に係る会議システムは、前記検出手段が不適切な動作を検出した場合、不適切な動作が検出された第１情報処理装置の撮像装置の撮像方向又は集音装置の集音方向の変更を指示する手段を備えることを特徴とする。
【００２８】
本発明に係る情報処理装置は、他の複数の装置と通信媒体を介して接続し、各装置と画像又は音声を送受信する手段を備える情報処理装置において、受信した画像に映る人物の動作を認識する手段と、認識した結果に基づき、不適切な動作の有無を検出する手段と、検出した結果に応じて、前記他の装置からの画像若しくは音声の受信、若しくは、前記画像若しくは音声の他の装置への送信の可否、送信レートの増減、又は前記画像の一部への加工を制御する手段とを備えることを特徴とする。
【００２９】
本発明に係る情報処理方法は、撮像装置又は集音装置と、前記撮像装置からの画像又は前記集音装置からの音声を取得する手段と、取得した画像又は音声を送受信する送受信手段を備える第１情報処理装置を複数と、複数の第１情報処理装置に通信媒体を介して接続し、各第１情報処理装置で送受信される画像又は音声を中継する第２情報処理装置とを含むシステムにて、第１情報処理装置との画像又は音声の送受信を制御する情報処理方法において、第１情報処理装置にて取得された画像に映る人物の動作を認識し、認識した結果に基づき、不適切な動作の有無を検出し、検出した結果に応じて、前記第１情報処理装置からの画像若しくは音声の受信、若しくは前記画像若しくは音声の他の第１情報処理装置への送信の可否、送信レートの増減、又は前記画像の一部への加工を制御することを特徴とする。
【００３０】
本発明では、会議参加者が使用する第１情報処理装置にて撮像された画像、即ち会議参加者を撮像するはずの画像に、不適切な動作が映っているか否かが画像認識により検出され、検出結果に応じて、取得された画像又音声の送受信の可否、送信レートの増減、又は画像の一部に加工がされる等の制御が行なわれる。
【００３１】
本発明では、具体的には、会議参加者を撮像するはずの画像から不適切な動作が検出された場合に、第１情報処理装置からの画像又は音声の他の第１情報処理装置への送信が禁止されるか、又は送信するとしても送信レートが低減されてコマ落ち状態となるか、又は、画面の一部が加工される。または、第１情報処理装置からの画像又は音声の第２情報処理装置での受信が禁止される。これにより、不適切な動作が映っている画像を他の第１情報処理装置にて観ることが不可能となるか、又は鮮明に確認することが困難となるか、又は一部が隠ぺいされて観ることが不可能となる。
【００３２】
本発明では、所定時間以上継続して不適切な動作が検出された場合に、送受信が禁止されて観ることが不可能となるか、送信レートが低減されてコマ落ちとなるか、又は一部が加工されて隠ぺいされ、観ることが不可能となる。継続時間が所定時間以上か否かを監視することにより、一回のみの検出で送信が制限されるよりも、会議の進行を円滑にする。また、所定時間が経過するまでに不適切な動作を行なった人物に警告を与える猶予ができる。
【００３３】
本発明では、不適切な動作として予め登録してある画像認識結果のテーブルとの比較参照に基づき、不適切な動作が検出される。予め定義をしておくことにより、画像認識に基づく不適切な動作の検出処理の負荷を軽減することが可能である。またテーブルとしておくことにより、不適切な動作の検出処理の内容を改定せずとも、テーブルを適宜更新することにより、不適切な動作として検出される内容を変更することが容易となる。
なお、不適切な動作として例えば、「電話、居眠り、雑談、喧嘩、泣く、大笑い、離席、よそ見、喫煙、食事、舌を出す」等が挙げられ、これらの動作に対応する画像認識結果との比較結果を行なう。それらの動作を行なう会議参加者の画像又は音声を会議システムから排除することが可能となる。
【００３４】
本発明では、音声認識によらず、音声又は発声を伴う不適切な動作を口元の開閉動作等に基づき画像認識によって検出するので、不適切な音声又は発言が他の会議参加者へ伝達される前に検出し、会議システムから排除することが可能となる。
音声又は発声を伴う不適切な動作とは例えば、電話、雑談、喧嘩、泣く、又は大笑い等の動作であり、これらの場合、実際に不適切な発言がなされる前に口元の動き、手若しくは腕の動きを合わせた画像認識によって検出できる可能性がある。
【００３５】
本発明では、不適切な動作が検出された場合に、不適切な動作が映る画像の一部への加工として他の画像が重畳され、他の会議参加者の目に触れない。重畳される他の画像とは、白若しくは黒等の一色塗りの画像、又はモザイク画像等でよい。
【００３６】
本発明では、画像認識手段及び不適切な動作の検出は、第１情報処理装置からの画像を一極的に受信する第２情報処理装置にて行なわれる。これにより、各第１情報処理装置における処理の負荷を軽減でき、画像認識又は動作の検出等の特定の機能を有していない第１情報処理装置を用い、他の会議参加者を不快にさせない会議システムを実現できる。
【００３７】
本発明では、不適切な動作が検出された場合に、当該不適切な動作を行なう会議参加者を撮像しないように、又は当該会議参加者からの音声を集音しないように制御することによって、他の会議参加者を不快と感じさせる画像又は音声が第２情報処理装置から他の第１情報処理装置へ送信されることを回避できる。
【発明の効果】
【００３８】
本発明による場合、第１情報処理装置を操作する会議参加者による不適切な動作が、画像認識による認識結果から検出され、動作状態に応じて、会議システムを実現するための会議参加者を撮像した撮像画像又は会議参加者の発声を集音した集音音声の送受信が制御される。
【００３９】
これにより、ある特定の第１情報処理装置を操作する会議参加者の動作状態が例えば、「電話、居眠り、雑談、喧嘩、泣く、大笑い、離席、よそ見、喫煙、食事、舌を出す」である場合に、画像若しくは音声、又は両方の送受信を禁止（停止）するか、他の画像を重畳する等の加工が行なわれ、他の会議参加者へ与える可能性がある不快感、違和感を抑制し、快適な会議システムを実現できる。
【００４０】
また、他の会議参加者へ不快感、違和感を与える可能性がある撮像画像又は集音音声の送受信を停止する等の制御によって、画像又は音声による通信負荷の増大及び会議システムにて画像又は音声の送受信を中継するサーバ装置（第２情報処理装置）の処理負荷を抑制することが可能である。
【図面の簡単な説明】
【００４１】
【図１】実施の形態１の会議システムの構成を示す構成図である。
【図２】実施の形態１の会議システムを構成する端末装置の内部構成を示すブロック図である。
【図３】実施の形態１の会議システムを構成する会議サーバ装置の内部構成を示すブロック図である。
【図４】実施の形態１の会議システムにて実現される画像及び音声の送受信を模式的に示す模式図である。
【図５】会議サーバ装置の記憶部に記憶されてある画像認識用テーブルの内容例を示す説明図である。
【図６】動作検出テーブルの内容例を示す説明図である。
【図７】実施の形態１の会議サーバ装置における画像及び音声の送受信処理及び不適切な動作の検出処理手順の一例を示すフローチャートである。
【図８】本実施の形態１における会議システムにて、不適切な動作が検出された場合になされる送信制御の例を示す説明図である。
【図９】実施の形態２の会議システムを構成する端末装置の内部構成を示すブロック図である。
【図１０】実施の形態２の会議サーバ装置における画像及び音声の送受信処理及び不適切な動作の検出処理手順の一例を示すフローチャートである。
【発明を実施するための形態】
【００４２】
以下本発明をその実施の形態を示す図面に基づき具体的に説明する。
【００４３】
（実施の形態１）
図１は、実施の形態１の会議システムの構成を示す構成図である。会議システムは、会議参加者が夫々用いる端末装置１，１，…と、端末装置１，１，…が接続されるネットワーク２と、端末装置１，１，…間での画像（映像）及び音声の送受信及び共有を実現する会議サーバ装置３とを含んで構成される。
【００４４】
ネットワーク２は、会議が行なわれる組織の組織内ＬＡＮでもよいし、インターネット等の公衆通信網でもよい。ネットワーク２はアクセスポイント２１を複数含み、端末装置１，１，…が無線通信によってサーバ装置１と通信できるようにしてある。
【００４５】
このように構成される会議システムでは、端末装置１，１，…が会議サーバ装置３との接続の認証を受け、認証された端末装置１，１，…が会議サーバ装置３から共有の画像（映像）及び音声の情報を送受信し、受信した画像（映像）及び音声を出力することにより、他の端末装置１，１，…と画像（映像）及び音声を共有し、ネットワークを介した会議を実現する。
【００４６】
なお、会議サーバ装置３は、複数の異なる会議１及び会議２を並列的に実現させることができる。会議サーバ装置３は、端末装置１，１，…を夫々グループ会議１及び会議２に対応付けて認識し、各グループ内で端末装置１，１，…間の画像（映像）及び音声の中継を夫々で独立に行なうことが可能である。
【００４７】
図２は、実施の形態１の会議システムを構成する端末装置１の内部構成を示すブロック図である。
【００４８】
端末装置１は、制御部１００と、一時記憶部１０１と、記憶部１０２と、入力処理部１０３と、表示処理部１０４と、映像処理部１０５と、入力音声処理部１０６と、出力音声処理部１０７と、通信処理部１０８と、符号化・復号処理部１０９とを備える。端末装置１は更に、内蔵又は外部接続により、タブレット１３と、ディスプレイ１４と、カメラ１５と、マイクロフォン（図中及び以下、マイクという）１６と、スピーカ１７と、無線通信部１８とを備える。
【００４９】
制御部１００は、ＣＰＵ又はＭＰＵ等の演算処理装置を用い、記憶部１０２に記憶されている会議端末用のプログラムを一時記憶部１０１に読み出して実行することにより、会議システム専用端末を本発明に係る情報処理装置として動作させる。
【００５０】
一時記憶部１０１にはＳＲＡＭ又はＤＲＡＭ等のＲＡＭを用いる。一時記憶部１０１には、上述のように読み出されるプログラムが記憶されると共に、制御部１００の処理によって発生する情報が記憶される。
【００５１】
記憶部１０２には、ＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）又はフラッシュメモリ等の不揮発性メモリを用いる。記憶部１０２には、会議端末用のプログラム及び制御部１００が制御時に参照する条件例えば後述の検出された値に対する閾値等の条件等、端末装置１の機能を実現するためのプログラム及びデータが予め記憶されている。他に、端末装置１における他のアプリケーションソフトウェアプログラムが記憶されていてもよい。記憶部１０２にはハードディスク又はＳＳＤ等の外部装置を用いてもよい。
【００５２】
入力処理部１０３には、ディスプレイ１４上に内蔵され、端末用ペン４による文字入力又は図形入力のための操作を受け付けるタブレット１３が接続されている。入力処理部１０３は、端末装置１の会議参加者の操作により入力されるボタン（クリックボタン）の押下情報、ディスプレイに表示中の画面内における位置を示す座標情報等の情報を受け付け、入力操作の有無及び入力操作の内容を判断して制御部１００へ通知する。なお、入力処理部１０３には図示しないマウス、又はキーボード等のポインティングデバイス（入力装置）が接続されており、それらのポインティングデバイスにて受け付けた操作に応じた信号を入力してもよい。
【００５３】
表示処理部１０４には、液晶パネル、又は有機ＥＬ等を用いるタッチパネル型のディスプレイ１４が接続されている。制御部１００は、表示処理部１０４を介し、ディスプレイ１４に会議端末用のアプリケーション画面を出力し、アプリケーション画面内に共有させる画像（映像）を表示させる。共有させる画像には、後述するように会議サーバ装置３から受信した他の端末装置１，１，…から送信された画像も含まれる。会議サーバ装置３から送信される画像が、Ｈ．２６１、Ｈ．２６３、Ｈ．２６４、ＭＰＥＧ等の規格にて符号化されている場合、制御部１００は画像を復号してから表示処理部１０４に出力する。
【００５４】
映像処理部１０５には、ビデオカードを用いる。映像処理部１０５は、端末装置１が備えるカメラ１５に接続され、カメラ１５の動作の制御を行なうと共に、カメラ１１５にて撮像された映像データを取得する。カメラ１５は、端末装置１の筐体に設けられたディスプレイ１４の上方に、ユーザの顔又は上半身を撮像する方向へ向けて搭載されている。カメラ１５は、１秒間に数十回又は数百回等の頻度で撮像し、それらの画像信号を連続して映像データとして映像処理部１０５へ出力する。映像処理部１０５は、カメラ１５から取得した映像データを、Ｈ．２６１、Ｈ．２６３、Ｈ．２６４、ＭＰＥＧ等の映像規格のデータへ変換（符号化）する処理を行なってもよい。
【００５５】
入力音声処理部１０６は、端末装置１が備えるマイク１６に接続され、マイク１６によって集音された音声をサンプリングしてデジタル音声データへ変換し、制御部１００へ出力するＡ／Ｄ変換機能を有する。入力音声処理部１０６は、集音された音声の信号レベルの調整及び帯域制限等の処理を行なうミキサ、及び、エコー部分を除去するエコーキャンセラを内蔵していてもよい。なお、入力音声処理部１０６は、集音音声をＧ．７１１、Ｇ．７２２、Ｇ．７２８、Ｇ．７２９又はＭＰＥＧＡｕｄｉｏ等の規格の音声データへ符号化する処理を行なってもよい。
【００５６】
出力音声処理部１０７は、端末装置１が備えるスピーカ１７に接続される。出力音声処理部１０７は、制御部１００から音声データが与えられた場合に、音声としてスピーカ１７から出力させるようにＤ／Ａ変換機能を有する。なお、会議サーバ装置３から送信される音声データがＧ．７１１、Ｇ．７２２、Ｇ．７２８、Ｇ．７２９又はＭＰＥＧＡｕｄｉｏ等の規格により符号化されている場合は、制御部１００は音声データを復号してからスピーカ１７へ出力する。
【００５７】
通信処理部１０８は、端末装置１のネットワーク２を介した通信を実現させる。通信処理部１０８は無線通信部１８と接続されており、アクセスポイント２１を介して会議サーバ装置３又は他の端末装置１との無線通信を実現する。通信処理部１０８は詳細には、送受信される情報のパケット化、パケットからの情報の読み取り等を行なう。制御部１００は、通信処理部１０８により画像（映像）及び音声のデータの送受信を行なうことができる。なお、通信プロトコルは、後述する会議サーバ装置３の通信処理部３７における通信プロトコルに対応する。
【００５８】
符号化・復号処理部１０９は、エンコーダ・デコーダチップを用い、Ｈ．２６１、Ｈ．２６３、Ｈ．２６４又はＭＰＥＧ等の規格に基づく映像（画像）の符号化・復号処理、及び、Ｇ．７１１、Ｇ．７２２、Ｇ．７２８、Ｇ．７２９又はＭＰＥＧＡｕｄｉｏ等の規格に基づく音声の符号化・復号処理を実現する。制御部１００は、会議サーバ装置３から符号化された映像、音声、又は多重化された映像のデータを受信した場合、符号化・復号処理部１０９へ与えて復号する。なお映像（画像）及び音声の規格は上述の例以外のものであってもよい。
【００５９】
なお実施の形態１では、端末装置１はタッチパネル型のディスプレイ１４を搭載した専用端末を用いる構成とした。しかしながら、これに限らずデスクトップ型のディスプレイが別に接続されるパーソナルコンピュータに、カメラ及びスピーカを接続して構成されてもよい。更には、汎用的なディスプレイにカメラ、スピーカ及びネットワークカードを接続し、後述するような制御部１００の機能を実現する装置を接続する構成でも実現できる。会議システムは、構成が様々に異なる端末装置１を含んでもよい。
【００６０】
図３は、実施の形態１の会議システムを構成する会議サーバ装置３の内部構成を示すブロック図である。
【００６１】
会議サーバ装置３は、サーバコンピュータを用い、制御部３０と、一時記憶部３１と、記憶部３２と、符号化・復号処理部３３と、画像処理部３４と、音声処理部３５と、画像認識部３６と、通信処理部３７と、ネットワークＩ／Ｆ部３８とを備える。
【００６２】
制御部３０にはＣＰＵ（Central Processing Unit）又はＭＰＵ（Micro Processing Unit）等の演算処理装置を用い、記憶部３２に記憶されている会議サーバ用プログラム３Ｐを一時記憶部３１に読み出して実行することにより、サーバコンピュータを、本実施の形態１における会議サーバ装置３として動作させる。
【００６３】
一時記憶部３１にはＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）等のＲＡＭを用いて、上述のように読み出される会議サーバ用プログラム３Ｐが一時的に読み出されると共に、制御部３０の処理によって発生する情報が一時的に記憶される。
【００６４】
記憶部３２には、ハードディスク又はＳＳＤ（Solid State Drive）等の外部記憶装置を用いる。記憶部３２には、上述の会議サーバ用プログラム３Ｐが記憶されている。また記憶部３２には、会議参加者が用いる端末装置１，１，…の認証を行なうための認証データが記憶されている。会議サーバ装置３の記憶部３２には、端末装置１，１，…で共有するためのドキュメントデータ等を含む会議情報ＤＢ３２１が記憶されている。ドキュメントデータは、テキストデータ、写真データ、図データ等であり、フォーマットは問わない。更に記憶部３２には、後述にて詳細を説明する画像認識用テーブル３２２、及び動作検出テーブル３２３が記憶されており、制御部３０及び他の構成部から参照可能である。
【００６５】
符号化・復号処理部３３は、エンコーダ・デコーダチップを用い、Ｈ．２６１、Ｈ．２６３、Ｈ．２６４又はＭＰＥＧ（Moving Picture Experts Group）等の規格に基づく画像（映像）の符号化を行なう画像符号化部、及び符号化された画像を復号する符号処理部を含む。端末装置１，１，…から送信される画像が符号化されている場合には、制御部３０は符号化・復号処理部３３にて復号して画像処理部３４へ与え、画像処理部３４にて合成される画像を符号化・復号処理部３３へ与えて符号化してから通信処理部３７により端末装置１，１，…へ送信する。また符号化・復号処理部３３は、Ｇ．７１１、Ｇ．７２２、Ｇ．７２８、Ｇ．７２９又はＭＰＥＧＡｕｄｉｏ等の規格に基づく音声の符号化を行なう音声符号化部、及び符号化された音声を復号する音声復号処理部を含む。端末装置１，１，…から送信される音声が符号化されている場合には、制御部３０は符号化・復号処理部３３にて復号して音声処理部３５へ与え、音声処理部３５にて合成される音声を符号化・復号処理部３３へ与えて符号化してから通信処理部３７により端末装置１，１，…へ送信する。なお符号化・復号処理部３３は、画像と音声とを夫々符号化するのみならず、画像と音声とを時間同期させ、多重化する処理を行なって出力するようにしてもよい。
【００６６】
画像処理部３４は、制御部３０からの指示により、複数の端末装置１，１，…から夫々送信された複数の画像データに基づき画像を合成する処理を実現する。画像処理部３４は他に、記憶部３２の会議情報ＤＢに含まれる共有ドキュメントの内、各端末装置１，１，…にて表示対象となるドキュメントデータを受け付け、該ドキュメントデータを画像に変換して出力する機能を有する。また、画像処理部３４は、画像の拡大縮小、エッジ強調又は色調整等の各種画像処理を行なうことが可能である。
【００６７】
音声処理部３５は、制御部３０からの指示により、複数の端末装置１，１，…から夫々送信された複数の音声データに基づき音声を合成する処理を実現する。音声処理部３５は他に、ノイズ除去又は音量調整等の各種音声処理を行なうことが可能である。
【００６８】
画像認識部３６は、制御部３０から与えられた画像から人物の顔（輪郭）、手・腕を認識する処理、更に顔の中の口、目、及び眉毛等を認識する処理を行なう。また画像認識部３６は、特定の物（例えば食器、タバコ、電話機）等を認識し、認識結果を出力する。具体的には、認識した輪郭、口、目などの有無、座標等の情報を出力する。画像認識部３６は、制御部３０から時系列で与えられる複数の画像内で認識した顔、手・腕、口、目、眉毛、その他の特定の物の画像内での位置の変化を認識する。画像認識部３６は、画像内の人物の顔の口、目、眉毛の位置によって人物の表情を分類し、笑顔、怒り顔、又は泣き顔等として分類結果を出力する機能を有してもよい。
【００６９】
通信処理部３７は、会議サーバ装置３のネットワーク２を介した通信を実現させる。通信処理部３７は、ネットワーク２に接続されたネットワークカードを用いたネットワークＩ／Ｆ部３８と接続されており、ネットワーク２を介して端末装置１，１，…との間の画像又は音声を送受信するときのパケット化、パケットからの情報の読み取りを行なう。制御部３０は、通信処理部３７により画像（映像）及び音声の送受信を行なうことができる。実施の形態１の会議システムを実現するために、通信処理部３７による画像、音声を送受信するための通信プロトコルは、Ｈ．３２３、ＳＩＰ（Session Initiation Protocol）、又はＨＴＴＰ（Hypertext Transfer Protocol ）等のプロトコルを用いればよい。通信プロトコルはこれらに限られない。なお、ネットワークＩ／Ｆ部３８はアンテナを含み、通信処理部３７は無線通信を行なうように構成されてもよい。
【００７０】
図４は、実施の形態１の会議システムにて実現される画像及び音声の送受信を模式的に示す模式図である。上述のように構成される会議システムでは基本的に、図４に示すように、端末装置１，１，…にて夫々、制御部１００の制御により、カメラ１５にて撮像される会議参加者の顔又は上半身の映像（又は静止画像）データを通信処理部１０８及び無線通信部１８を介して会議サーバ装置３へ送信し続ける。
【００７１】
会議サーバ装置３では、各端末装置１，１，…にて撮像及び集音されて送信される画像データ及び音声データを受信した場合、画像データと音声データとに分離して夫々符号化・復号処理部３３へ与え、夫々復号する。そして制御部３０は、図４に示すように、復号後の複数の端末装置１，１，…からの画像（映像）が、並べて表示されるように画像処理部３４にて合成すべく画像処理部３４へ指示する。制御部３０は、復号後の複数の端末装置１，１，…からの音声が重ね合わされるように音声処理部３５へ指示する。制御部３０は、合成後の画像及び音声を符号化・復号処理部３３へ与え、符号化又は多重化し、通信処理部３７を介して各端末装置１，１，…へ送信する。
【００７２】
各端末装置１，１，…では、会議サーバ装置３から送信される合成された画像及び音声を符号化・復号処理部１０９にて復号して表示処理部１０４及び出力音声処理部１０７へ夫々与え、各端末装置１，１，…を使用する会議参加者の顔又は上半身を映した画像が並べて表示される。これにより、各端末装置１，１，…を用いる会議参加者は、他の会議参加者の表情、身振りを確認しながら自身を含む会議参加者の発言を聴くことが可能となる。
【００７３】
ただし、実施の形態１における会議システムでは、いずれかの端末装置１から送信された画像に映っている会議参加者の動作が不適切である場合、当該端末装置１からの会議参加者の顔又は上半身の映像を撮像した画像及び会議参加者から発せられる音声の他の端末装置１への送信を禁止する。
【００７４】
会議参加者による不適切な動作の検出は、当該会議参加者が使用する端末装置１からの画像を受信した会議サーバ装置３にて行われる。以下、会議サーバ装置３における不適切な動作の検出処理について詳細を説明する。
【００７５】
会議サーバ装置３にて会議参加者の不適切な動作を検出するために、記憶部３２には画像認識用テーブル３２２と、動作検出テーブル３２３とが記憶されてある。
【００７６】
図５は、会議サーバ装置３の記憶部３２に記憶されてある画像認識用テーブル３２２の内容例を示す説明図である。画像認識用テーブル３２２は、不適切な動作の内容別に付されている番号、各動作の内容、及び認識パターンを含む。
【００７７】
図５に示す例では、不適切な動作として「電話、居眠り、雑談、喧嘩、泣く、大笑い、離席、よそ見、喫煙、食事、舌を出す」の動作が挙げられている。例えば、会議中の不適切な動作としての「電話」は、手・腕を耳付近に近づけ、口が動いている動作により判別が可能であると考えられる。したがって、「１：電話」の画像認識における認識パターンとして、体に対する腕の位置（腕の上がり・下がり）、複数の画像内に亘って口の開閉が有ること、又は電話機と認識される画像が有ること等が予め登録されてある。
「居眠り」は、両目が閉じて傾いている等の状況が考えられる。したがって、「２：居眠り」については、顔の向き（下向き、顔中心線の所定角度以上の傾き）、両目が閉じているか否か、又は頭（顔）の周期的な動きが有ること等が予め登録されてある。
「泣く」という不適切な動作は、画像から、顔を下に向けているか、手で目を押さえている状態であるか、又は泣き顔の表情から判別が可能と考えられる。したがって「３：泣く」については、顔の向きが下向きであること、体に対する手・腕の位置が顔を覆う位置にあること、又は泣き顔が認識されること等が予め登録されてある。
「大笑い」という不適切な動作は、口が大きく開いて笑っているという状況が考えられる。したがって「４：大笑い」については、認識される口の大きさが所定の大きさ以上か、又は顔に対する割合が所定値以上か、且つ笑顔が認識されたか等が予め登録されてある。
「離席」についてはそもそも人物が認識されない状況であるので、「５：離席」については顔（人物）が認識できない場合というパターンが予め登録されてある。
「よそ見」という動作は、画面を見ずに別の方向を向いている状態である。したがって、「６：よそ見」については顔の向きが所定の向き以外であること、又は所定の向きから大きく傾いていること等が予め登録されてある。
「喫煙」という動作は、手でタバコを支えているか、口でタバコを咥えているか、口元にタバコを持っている動作を繰り返しているかによって判別可能である。したがって「７：喫煙」については、タバコの画像が認識されること、手が口元に有ること、又は手の口元への動きが繰り返されていること等がパターンとして予め登録されてある。
「食事」という動作は、箸又はフォーク等の食器を手で持ち口元へ持っていく動作、又は口元が閉じられたまま動いている等の状況によって判別可能である。また、ガムを噛むことも食事という不適切な動作に含むとすると、この場合も口が閉じられたま動いている状況等によって判別可能である。したがって「８：食事」については、食器の画像が認識されること、手・腕の口元への動きがあること、又は口元が閉じた状態で繰り返し動いていること等のパターンが予め登録されてある。
「舌を出す」という動作は、口元から舌が出ている状態であるので、「９：舌を出す」については、口元付近に舌の画像が認識されるか等のパターンが予め登録されてある。
「喧嘩」は複数人がつかみあう等の状況であるので、「１０：喧嘩」については、複数の人物が認識されること、且つ、複数人人物が絡み合っていると判断できること、又は人物の表情として怒った顔が認識されること等のパターンが予め登録されてある。
「雑談」は複数人が会議の議題と別の話をしている状況であり、例えば隣り合う２人が向き合っており、口が動いている状態などが考えられる。そこで「１１：雑談」については、複数の人物が認識されること、且つ、複数の人物同士の顔の向きが向き合っていること等のパターンが予め登録されてある。
【００７８】
会議サーバ装置３の制御部３０は、１つの端末装置１から送信された画像を画像認識部３６に与え、人物の顔、手・腕、及び顔等などの認識結果を得る。なお不適切な動作には、１画像のみでは認識できないものも含まれるので、制御部３０は、例えば０．３秒等の所定時間分の複数の画像を与えて認識結果を得る。制御部３０は、得られた認識結果と、画像認識用テーブル３２２に記憶されている不適切動作夫々の認識パターンとを比較し、不適切な動作夫々の有無を判定する。このように、制御部３０が不適切な動作夫々の有無の判定に基づき不適切な動作を検出できる。新たに不適切な動作を加える場合、又は削除する場合には、画像認識用テーブル３２２の動作内容を新たに加えるか、削除するか、又は各動作についての判定の有効（許可）／無効（不許可）を設定しておけばよい。画像認識用テーブル３２２の内容を改変することにより、不適切な動作の検出の詳細を適宜変更することが容易となる。勿論、画像認識用テーブル３２２が無い構成であっても、会議サーバ用のプログラム３Ｐを変更することにより適宜、検出する不適切な動作の内容の詳細を変更することができる。
【００７９】
図６は、動作検出テーブル３２３の内容例を示す説明図である。動作検出テーブル３２３は、制御部３０が各端末１について画像認識用テーブル３２２に含まれる不適切な動作夫々に対して判定した結果を保有する情報である。動作検出テーブル３２３は、記憶部３２ではなく、一時記憶部３１に記憶される構成であってもよい。動作検出テーブル３２３は、画像の送信元の端末装置を識別する識別番号、不適切な動作の番号、判定結果、及び継続時間を含む。端末装置を識別する情報は番号に限らない。不適切な動作の番号とは、画像認識用テーブル３２２にて予め登録されている動作内容に割り振られた番号に対応する。図６における継続時間は判定結果「１：有」が続く回数である。実測された秒数であってもよい。
【００８０】
図６には、会議サーバ装置３の制御部３０が、「００１」の識別番号が付された端末装置１からの画像に基づく不適切な動作が検出されたか否かの判定結果が示されている。制御部３０は、「００１」の識別番号が付された端末装置１から得られた画像に基づき、番号１〜１１の不適切な動作夫々について検出されたか否かの判定結果を動作検出テーブル３２３に記憶している。図６の例では、「００１」の識別番号が付された端末装置１から得られた画像に基づき、番号４の不適切な動作「大笑い」が検出され、継続時間が「０００５」となっている。
【００８１】
会議サーバ装置３の制御部３０は、定期的に送信される端末装置１，１，…からの画像に対する動作検出を、画像を受信する都度、又は複数回受信する毎に行なう。制御部３０は、不適切な動作夫々について動作検出を行ない、前回の判定結果が「０：無」であって今回の判定結果が「１：有」である場合、判定結果「１」を動作検出テーブル３２３に保存し、タイマー値を「０００１」と保存する。制御部３０は、前回の判定結果が「１：有」であって今回の判定結果も「１：有」である場合、判定結果「１」を保存し、タイマー値を１、又は秒数分加算する。制御部３０は、前回の判定結果が「１：有」であって今回の判定結果が「０：無」である場合、判定結果「０」を保存し、タイマー値を「０」にクリアする。
【００８２】
このようにして、動作検出テーブル３２３には、各端末装置１，１，…からの画像に基づく不適切な動作の検出結果が逐次更新される。なお、動作検出テーブル３２３は、１つの端末装置１から不適切な動作が検出された場合のみ、保存、更新される。
【００８３】
上述のように構成される会議システムにて、端末装置１，１，…から画像及び音声が送信され、会議サーバ装置３にてこれを受信して各端末装置１，１，…へ共有画像及び音声として送信する過程にて行なわれる不適切な動作の検出処理過程について、以下、フローチャートを参照して説明する。
【００８４】
図７は、実施の形態１の会議サーバ装置３における画像及び音声の送受信処理及び不適切な動作の検出処理手順の一例を示すフローチャートである。なお、以下に示す処理は、１つの端末装置１に対する処理である。会議を構成する複数の端末装置について、以下の処理が夫々独立して並列的に行なわれてもよいし、又は、以下に示す各ステップにて全ての端末装置に対する処理が行なわれてもよい。
【００８５】
会議サーバ装置３の制御部３０は、端末装置１からの会議参加申請に対して認証を行なって会議を開始すると、まず不適切な動作の継続時間を計測するためにタイマーをスタートさせる（ステップＳ１）。制御部３０は、端末装置１から画像及び音声のデータを受信する（ステップＳ２）。このとき制御部３０は、画像及び音声が符号化されている場合には符号化・復号処理部３３へ与えて復号してから以下の処理を行なう。
【００８６】
制御部３０は、ステップＳ２にて受信した画像を画像認識部３６に与え、認識処理を行なう（ステップＳ３）。制御部３０は、画像認識部３６から得られる認識結果と画像認識用テーブル３２２とを比較して不適切な動作の有無を判定して検出する（ステップＳ４）。
【００８７】
制御部３０は、不適切な動作有、即ち不適切な動作を検出した場合（Ｓ４：ＹＥＳ）、動作有と判定された不適切な動作の番号と、動作検出テーブル３２３にて前回、判定結果が「１：有」とされた不適切な動作の番号とが１つ以上一致するか否かを判断する（ステップＳ５）。
【００８８】
制御部３０は、１つ以上一致すると判断した場合（Ｓ５：ＹＥＳ）、一致する不適切な動作の継続時間を１つ、又は経過時間分だけ加算し、一致しない不適切な動作については新たに判定結果を「１：有」とするように動作検出テーブル３２３を更新する（ステップＳ６）。そして制御部３０は、一致する番号の不適切な動作の継続時間が所定時間を経過しているか否かを判断する（ステップＳ７）。具体的には、一致する番号の不適切な動作に対するタイマー値が所定数より１以上大きいか否かを判断する。制御部３０は、所定時間を経過していると判断した場合（Ｓ７：ＹＥＳ）、画像の送信元の端末装置１からの画像の他の端末装置１への送信を制限する制御を行なう（ステップＳ８）。このとき、タイマーによる時間計測は継続されている。
【００８９】
ステップＳ８は詳細には、以下のような処理を行なう。１つの方法として制御部３０は、不適切な動作が行なわれた端末装置１から受信した画像を画像処理部３４へは与えず、他の端末装置１，１，…への送信を停止する。他の方法として制御部３０は、不適切な動作が検出された画像内の対応位置に、白塗り若しくは黒塗りの画像を重畳するか、又はモザイク画像を重畳してから画像処理部３４へ与え、他の端末装置１からの画像と合成させる。他の方法として制御部３０は、不適切な動作が行なわれ端末装置１からの画像の受信を停止するようにしてもよい。更に他の方法として制御部３０は、不適切な動作が行なわれた端末装置１からの音声の受信も停止するようにしてもよい。また制御部３０は、不適切な動作が行なわれた端末装置１からの画像の他の端末装置１，１，…への送信をコマ落ちに、即ちレート（品質）を低減するようにしてもよい。
【００９０】
またステップＳ８における制御部３０の詳細な処理は、検出された不適切な動作の内容に応じて変更してもよい。例えば、制御部３０は、「電話」「居眠り」「雑談」「喧嘩」「泣く」「大笑い」「離席」「よそ見」「喫煙」「食事」「舌を出す」の不適切な動作が検出された場合には、不適切な動作が検出された端末装置１からの「画像」の他の端末装置１，１，…への送信を停止するか、画像内の該当部分に白塗り画像を重畳するか、画像の送信レートを低減する。制御部３０は、「喫煙」「食事」「舌を出す」の口元の動きに関する不適切な動作が検出された場合には、口元に白塗り画像（又は他の画像）を重畳するようにしてもよい。制御部３０は、「電話」「雑談」「喧嘩」「泣く」「大笑い」などの不適切な音声又は発声を伴う動作が検出された場合には、不適切な動作が検出された端末装置１からの「音声」の他の端末装置１，１，…への送信を停止する。
【００９１】
なお、画像の送信停止と音声の送信停止とを組み合わせた送信制御の具体的内容は、「不適切な動作」毎に、記憶部３２に予め記憶しておくようにしてもよい。画像認識用テーブル３２２の不適切な動作夫々の番号に対応付けて、送信制御の内容を設定して記憶しておく。例えば「１：電話」に対応付けて「画像：停止／音声：停止」、「２：居眠り」に対応付けて「画像：停止／音声：送信継続」、又は「１０：喧嘩」に対応付けて「画像：白塗り重畳／音声：停止」などと記憶しておく。また、複数人物が映る場合には不適切な動作が検出された箇所について白塗り画像を重畳すると記憶しておく。このように記憶部３２にて送信制御の具体的な設定を記憶しておくことで、記憶部３２内の設定内容を変更することによって適した処理を行なうように適宜変更できる。
【００９２】
次に制御部３０は、会議システムにおける会議が終了したか否かを判断する（ステップＳ９）。制御部３０は、終了していないと判断した場合は（Ｓ９：ＮＯ）、処理をステップＳ２へ戻して継続し、終了したと判断した場合は（Ｓ９：ＹＥＳ）、処理を終了する。
【００９３】
制御部３０は、ステップＳ４にて不適切な動作無、即ち不適切な動作を検出していない場合（Ｓ４：ＮＯ）、動作検出テーブル３２３の全ての判定結果を「０：無」として初期化し（ステップＳ１０）、処理をステップＳ９へ進める。
【００９４】
制御部３０は、動作有と判定された不適切な動作の番号と、動作検出テーブル３２３にて前回判定結果が「１：有」とされた不適切な動作の番号とが全く一致しない判断した場合（Ｓ５：ＮＯ）、動作検出テーブル３２３を更新し（ステップＳ１１）、処理を終了する。このとき、前回判定結果が「１：有」とされた不適切な動作については、継続時間は「０」にクリアされ、判定結果は「０：無」と保存される。今回の判定結果が「１：有」とされた不適切な動作については「１：有」と保存され、継続時間が保存される。
【００９５】
制御部３０は、ステップＳ７にて所定時間を経過していないと判断した場合（Ｓ７：ＮＯ）、処理をステップＳ９へ進める。
【００９６】
なおステップＳ７にて、所定時間が経過しているか否かは全ての不適切な動作に対して画一的に判断したが、検出された不適切な動作の内容毎に異なる所定時間に対して判断するようにしてもよい。このように不適切な動作の内容毎に異なる所定時間については、画像認識用テーブル３２２の不適切な動作夫々の番号に対応付けて夫々設定して記憶部３２に記憶しておけばよい。
【００９７】
図８は、本実施の形態１における会議システムにて、不適切な動作が検出された場合になされる送信制御の例を示す説明図である。図８は、不適切な動作が検出された端末装置１とは異なる端末装置１のディスプレイ１４にて確認できる画像を示している。
【００９８】
図８に示す例では上段に、送信制限の制御が行なわれる前の画像の内容が示されている。上段の画像からは、３人の人物が認識される。制御部３０は、当該画像を画像処理部３４へ与えて３つの人物についての顔（輪郭）、口、目、手・腕の位置等の情報を得、画像認識用テーブル３２２の認識パターンと比較する。図８の上段の画像では、３人の人物の内、最も左側に映る人物の顔の向きが、図中手前から奥への方向を撮像方向とするカメラ１５の撮像方向とは異なる向きであると判断できる。制御部３０は、顔の向きは「正面」及び所定の傾き以内であるべきところ、最も左側に映る人物の顔の向きが所定の傾き以上であるので「よそ見」、また認識された手・腕の位置が耳の高さに有り、且つ認識された口が開閉していることから「電話」と不適切な動作を検出する。この場合制御部３０は、不適切な動作が検出された画像内の位置に基づき、これらの動作が映らないように、一部に白塗り画像を重畳する。これにより、図８の下段に示すように、よそ見をしている人物が隠ぺいされた画像が確認できる。複数の人物が映る画像が端末装置１から送信される場合は、このように、画像の一部を他の画像で重畳する等の加工を行なう。これにより同一の画像に映る他の会議参加者の参加を妨げることはない。
【００９９】
会議サーバ装置３の制御部３０は、ステップＳ８にて、不適切な動作が検出された端末装置１からの画像又は音声の送信を停止する場合、送信を停止する旨のメッセージを当該端末装置１へ送信してもよい。このとき制御部３０は、所定時間が経過する前に、不適切な動作が検出された端末装置１へ警告表示又はアラーム音を出力するように指示を行ない、不適切な動作を行なっている会議参加者へ注意を促すようにしてもよい。これにより、会議の進行を円滑にすることができる。また、制御部３０は、不適切な動作が検出された端末装置からの画像の送信を停止する旨のメッセージを他の端末装置１，１，…へ送信してもよい。これにより、他の端末装置１を使用する会議参加者が状況を把握して会議システムの進行を継続させることができる。
【０１００】
以上のよう構成により、ある特定の端末装置１を使用する会議参加者の動作状態が例えば不適切（電話、居眠り、雑談、喧嘩、泣く、大笑い、離席、よそ見、喫煙、食事、舌を出す等）である場合に、当該動作を映す画像又は動作に伴う音声が他の会議参加者へ伝達することを回避される。不適切な動作が映る画像は、他の端末装置１，１，…への送信が禁止されるか、又は他の端末装置１，１，…へ送信されるとしても送信レートが低減されてコマ落ち状態となるか、又は、画面の一部が加工される。これにより、不適切な動作が映っている画像を他の端末装置１，１，…にて観なくとも済むか、ことが不可能となるか、又は鮮明に確認することが困難となるか、又は一部が隠ぺいされて観ることできなくなる。これにより、他の会議参加者の不快感、違和感を抑制し、快適な会議システムを実現できる。また、不適切な動作を撮像した画像、及び集音した音声のデータの送信が制限されることにより、不要なデータが送受信されることを回避することができ、ネットワーク２の通信負荷を軽減することができる。
【０１０１】
なお、実施の形態１では不適切な動作を「画像認識」によって検出する構成とした。つまり、音声認識によらず、音声又は発声を伴う不適切な動作を口元の開閉動作等に基づき画像認識によって検出する。音声又は発声を伴う不適切な動作とは例えば、電話、雑談、喧嘩、泣く、又は大笑い等の動作であり、これらの場合、実際に不適切な発言がなされる前に口元の動き、又はて若しくは腕の動きを合わせた画像認識によって検出できる可能性がある。したがって、画像認識により、不適切な音声又は発言が実際に発せられる前に、不適切な動作を検出することが可能である。
【０１０２】
実施の形態１では、制御部３０は、所定時間以上継続して不適切な動作が検出された場合に、他の端末装置１，１，…へ送信をしないように制御する構成とした。これにより、一回のみ不適切な動作が検出された場合に、直ぐに送信が停止され、突然に画像がぶつ切りになるよりも、会議の進行を円滑にする。また、所定時間が経過するまでに不適切な動作を行なった人物に警告を与える猶予ができるので、不要に会議への参加を制限して円滑な会議を妨げる可能性を低減することができる。ただし、本発明はこれに限らず、継続時間が所定時間以上であるか否かの判断（Ｓ７）を省略し、直ちに送信を制限する制御を行なう構成としてもよい。いずれの構成とするかは、所定時間を０とするか否かを会議の管理者が設定できるようにしておけば適宜変更可能である。
【０１０３】
（実施の形態２）
実施の形態２では、不適切な動作が検出された端末装置でのカメラの撮像方向又はマイクの集音方向を変更する制御により、他の会議参加者に不快感を覚えさせる画像又は音声の送信を回避する。
【０１０４】
実施の形態２における会議システムは、会議参加者が夫々用いる端末装置５，５，…と、端末装置５，５，…が接続されるネットワーク２と、端末装置５，５，…間での画像（映像）及び音声の送受信及び共有を実現する会議サーバ装置３とを含んで構成される。つまり、端末装置５を含むことが実施の形態１と異なり、他の構成は実施の形態１の構成と同様である。したがって、以下の説明では実施の形態１の構成と共通する装置及び内部構成については同一の符号を付して詳細な説明を省略する。
【０１０５】
端末装置５は、実施の形態１における端末装置１同様、タブレット内蔵ディスプレイを搭載した会議システム専用端末を用い、外観も同様である。
【０１０６】
図９は、実施の形態２の会議システムを構成する端末装置５の内部構成を示すブロック図である。
【０１０７】
端末装置５は、制御部５００と、一時記憶部５０１と、記憶部５０２と、入力処理部５０３と、表示処理部５０４と、映像処理部５０５と、入力音声処理部５０６と、出力音声処理部５０７と、通信処理部５０８と、符号化・復号処理部５０９とを備える。端末装置５は更に、内蔵又は外部接続により、タブレット５３と、ディスプレイ５４と、カメラ５５と、マイク５６と、スピーカ５７と、無線通信部５８とに加え、駆動部５９を備える。
【０１０８】
端末装置５が備える各構成部の内、駆動部５９の構成以外は、実施の形態１における各構成部と同様である。したがって、それらの詳細な説明は省略する。
【０１０９】
駆動部５９は、会議サーバ装置３からの指示に基づく制御部５００からの制御信号により、カメラ５５の撮像方向を変更することが可能である。実施の形態２におけるカメラ５５は、端末装置５の筐体内部にて動かされること可能に支持されている。駆動部５９は、筐体内部におけるカメラ５５の支持部に、接するように配置され、ステッピングモータ等の機構を含んで制御部５００からの制御信号に従ってカメラ５５の支持部の向きを変更して撮像方向を変更する。
【０１１０】
制御部５００は、記憶部５０２に記憶してある会議端末用プログラムを読み出して実行することにより、会議開始時には端末装置５を使用する会議参加者へ向けて撮像している。そして、制御部５００は、会議サーバ装置３から撮像方向を変更する指示を受信した場合、会議参加者が映らないようにカメラ５５の撮像方向を変更させる。
【０１１１】
図１０は、実施の形態２の会議サーバ装置における画像及び音声の送受信処理及び不適切な動作の検出処理手順の一例を示すフローチャートである。なお、以下に示す処理手順の内、実施の形態１の図７に示した処理手順と共通する手順には同一のステップ番号を付して詳細な説明を省略する。
【０１１２】
制御部３０は、所定時間を経過していると判断した場合（Ｓ７：ＹＥＳ）、画像の送信元の端末装置１へ、カメラ５５の撮像方向を変更する指示を送信し（ステップＳ２０）、ステップＳ９へ処理を進める。即ち、実施の形態１におけるステップＳ８の代替として、ステップＳ２０が行なわれる。
【０１１３】
これにより、端末装置５の制御部５００は、カメラ５５の撮像方向を、端末装置５を使用する会議参加者を撮像することで会議の場に相応しくない映像を映さないように、駆動部５９へ制御信号を与えて調整し、集音方向を変更する処理も行なう。
【０１１４】
このような構成により、会議参加者によって不適切な動作が検出された端末装置５では、他の会議参加者を不快にさせる可能性が有る画像及び音声を会議サーバ装置３へ届かないようにすることができ、快適な会議システムを実現することができる。
【０１１５】
実施の形態２では、端末装置５の制御部５００は、会議参加者の不適切な操作状態を検出した場合、カメラ５５の撮像方向を変更させる制御を行なう構成とした。しかしながら本発明はこれに限らず、指向性の高いマイク５６を用い、入力音声処理部５０６にてマイク５６の集音方向を変えるか、又は、特定の方向（右、左など）からの音声を事後的に除去するかの処理を行なってもよい。これにより、他の会議参加者を不快にするような音声が会議サーバ装置３を介して他の端末装置１，１，…へ送信されることを回避することができる。
【０１１６】
また、会議サーバ装置３の制御部３０は、撮像方向及び集音方向を変更させる指示を送信する構成とした。しかしながら本発明はこれに限らず、制御部３０が、不適切な動作が検出された端末装置５へ、撮像及び集音の停止並びに画像及び音声のデータの送信の禁止の指示を送信する構成としてもよい。不快感、違和感を抑制するのみならず、他の端末装置５，５，…へ送信しない画像及び音声のデータがそもそもネットワーク２へ送出されないようにすることができる。これにより、画像又は音声による通信負荷の増大及び会議システムにて画像又は音声の送受信を中継する会議サーバ装置３の処理負荷を抑制することも可能である。更に、端末装置１からの送信を制御、即ち会議サーバ装置３での当該端末装置１からの受信を停止するのみならず、会議サーバ装置３は、不適切な動作が検出された端末装置５からの画像の送信データ量を低減する構成としてもよい。具体的には、制御部３０は、端末装置５へ映像処理部５０５により取得される画像の内の一部を送信するように指示する。これにより制御部５００は、送信する画像のデータをコマ落ちに、即ちレートを低減する。又は、制御部３０は、端末装置１へ映像処理部５０５からカメラ５５による撮像レートを低減させるようにしてもよいし、入力音声処理部５０６におけるサンプリングレートを低減させて音声のデータのデータ量を低減するようにしてもよい。これにより、不適切な動作を撮像した画像、及び集音した音声のデータの会議サーバ装置３への送信が制限されることにより、不要なデータが送受信されることを回避することができ、ネットワーク２の通信負荷増大を軽減することができる。
【０１１７】
実施の形態１及び実施の形態２では、会議サーバ装置３が、端末装置１（５），１（５），…から受信した画像に対して画像認識を行なう画像認識部３６を備える構成とした。画像認識用テーブル３２２に予め登録されてある不適切な動作のパターンを一元化できる。しかしながら、画像認識処理及び不適切な動作の検出を行なう主体は、会議サーバ装置３に限らない。会議サーバ装置３の制御部３０の負荷を軽減するため、他の装置で行なっても良いし、各端末装置１（５），１（５），…で行なう構成としてもよい。端末装置１（５），１（５），…にて行なう場合、各装置画像認識処理が必要となるので各端末装置１（５），１（５），…の処理負荷が重くなる。一方で、不適切な動作が検出された端末装置１（５）からは会議サーバ装置３への画像及び音声の送信の停止、即ち会議サーバ装置３にて当該端末装置１からの画像及び音声の受信を禁止する等の制御が可能となり、ネットワーク２における通信負荷を軽減できるなどの効果がある。
【０１１８】
なお、開示された実施の形態は、全ての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上述の説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内での全ての変更が含まれることが意図される。
【符号の説明】
【０１１９】
１ 端末装置（第１情報処理装置）
１００ 制御部
１０５ 映像処理部（取得する手段）
１０６ 音声処理部（取得する手段）
１０８ 通信処理部（送信手段、送受信手段）
１５ カメラ（撮像装置）
１６ マイク（集音装置）
２ ネットワーク
３ 会議サーバ装置（第２情報処理装置、情報処理装置）
３０ 制御部（認識手段、検出手段、送信制御手段）
３１ 一時記憶部
３２ 記憶部
３２２ 画像認識用テーブル
３６ 画像認識部（認識手段）
３７ 通信処理部
【特許請求の範囲】
【請求項１】
撮像装置又は集音装置と、前記撮像装置からの画像又は前記集音装置からの音声を取得する手段と、取得した画像又は音声を送受信する送受信手段を備える第１情報処理装置を複数と、複数の第１情報処理装置に通信媒体を介して接続し、各第１情報処理装置で送受信される画像又は音声を中継する第２情報処理装置とを含み、複数の第１情報処理装置間で共通の画像又は音声を表示又は出力させて情報を共有させ、会議を実現させる会議システムにおいて、
第１情報処理装置にて取得された画像に映る人物の動作を認識する認識手段と、
該認識手段による認識結果に基づき、不適切な動作の有無を検出する検出手段と、
該検出手段の検出結果に応じて、前記第１情報処理装置からの画像若しくは音声の受信、若しくは他の第１情報処理装置への送信の可否、送信レートの増減、又は前記画像の一部への加工を制御する送信制御手段と
を備えることを特徴とする会議システム。
【請求項２】
前記送信制御手段は、
前記検出手段が不適切な動作を検出した場合、前記不適切な動作が検出された第１情報処理装置からの画像若しくは音声の受信、若しくは他の第１情報処理装置への送信を禁止するか、送信レートを低減するか、又は前記画像の一部への加工を行なうようにしてあること
を特徴とする請求項１に記載の会議システム。
【請求項３】
前記検出手段が不適切な動作を検出した後の前記動作の継続時間を計測する手段と、
前記継続時間が所定時間以上であるか否かを判断する判断手段と
を備え、
前記送信制御手段は、前記判断手段が所定時間以上であると判断した場合に、前記不適切な動作が検出された第１情報処理装置からの画像若しくは音声の受信、若しくは前記画像若しくは音声の他の第１情報処理装置への送信を禁止するか、送信レートを低減するか、又は前記画像の一部への加工を行なうようにしてあること
を特徴とする請求項１に記載の会議システム。
【請求項４】
不適切な動作として予め登録してある画像認識結果の一覧であるテーブルを備え、
前記検出手段は、前記認識手段による認識結果が前記テーブルに含まれる認識結果と対応するか否かによって不適切な動作の有無を検出するようにしてあること
を特徴とする請求項１に記載の会議システム。
【請求項５】
前記検出手段が、不適切な音声又は発声を伴う動作を検出した場合、前記不適切な動作が検出された第１情報処理装置からの画像若しくは音声の受信、若しくは前記画像若しくは音声の他の第１情報処理装置への送信を禁止するようにしてあること
を特徴とする請求項１に記載の会議システム。
【請求項６】
前記送信制御手段は、不適切な動作が検出された第１情報処理装置からの画像の内、前記不適切な動作に対応する画像の一部の上に他の画像を重畳させる加工を行なうこと
を特徴とする請求項１に記載の会議システム。
【請求項７】
前記認識手段及び検出手段は、第２情報処理装置が備えること
を特徴とする請求項１に記載の会議システム。
【請求項８】
前記検出手段が不適切な動作を検出した場合、不適切な動作が検出された第１情報処理装置の撮像装置の撮像方向又は集音装置の集音方向の変更を指示する手段
を備えることを特徴とする請求項１に記載の会議システム。
【請求項９】
他の複数の装置と通信媒体を介して接続し、各装置と画像又は音声を送受信する手段を備える情報処理装置において、
受信した画像に映る人物の動作を認識する手段と、
認識した結果に基づき、不適切な動作の有無を検出する手段と、
検出した結果に応じて、前記他の装置からの画像若しくは音声の受信、若しくは、前記画像若しくは音声の他の装置への送信の可否、送信レートの増減、又は前記画像の一部への加工を制御する手段と
を備えることを特徴とする情報処理装置。
【請求項１０】
撮像装置又は集音装置と、前記撮像装置からの画像又は前記集音装置からの音声を取得する手段と、取得した画像又は音声を送受信する送受信手段を備える第１情報処理装置を複数と、複数の第１情報処理装置に通信媒体を介して接続し、各第１情報処理装置で送受信される画像又は音声を中継する第２情報処理装置とを含むシステムにて、第１情報処理装置との画像又は音声の送受信を制御する情報処理方法において、
第１情報処理装置にて取得された画像に映る人物の動作を認識し、
認識した結果に基づき、不適切な動作の有無を検出し、
検出した結果に応じて、前記第１情報処理装置からの画像若しくは音声の受信、若しくは前記画像若しくは音声の他の第１情報処理装置への送信の可否、送信レートの増減、又は前記画像の一部への加工を制御する
ことを特徴とする情報処理方法。
【請求項１】
撮像装置又は集音装置と、前記撮像装置からの画像又は前記集音装置からの音声を取得する手段と、取得した画像又は音声を送受信する送受信手段を備える第１情報処理装置を複数と、複数の第１情報処理装置に通信媒体を介して接続し、各第１情報処理装置で送受信される画像又は音声を中継する第２情報処理装置とを含み、複数の第１情報処理装置間で共通の画像又は音声を表示又は出力させて情報を共有させ、会議を実現させる会議システムにおいて、
第１情報処理装置にて取得された画像に映る人物の動作を認識する認識手段と、
該認識手段による認識結果に基づき、不適切な動作の有無を検出する検出手段と、
該検出手段の検出結果に応じて、前記第１情報処理装置からの画像若しくは音声の受信、若しくは他の第１情報処理装置への送信の可否、送信レートの増減、又は前記画像の一部への加工を制御する送信制御手段と
を備えることを特徴とする会議システム。
【請求項２】
前記送信制御手段は、
前記検出手段が不適切な動作を検出した場合、前記不適切な動作が検出された第１情報処理装置からの画像若しくは音声の受信、若しくは他の第１情報処理装置への送信を禁止するか、送信レートを低減するか、又は前記画像の一部への加工を行なうようにしてあること
を特徴とする請求項１に記載の会議システム。
【請求項３】
前記検出手段が不適切な動作を検出した後の前記動作の継続時間を計測する手段と、
前記継続時間が所定時間以上であるか否かを判断する判断手段と
を備え、
前記送信制御手段は、前記判断手段が所定時間以上であると判断した場合に、前記不適切な動作が検出された第１情報処理装置からの画像若しくは音声の受信、若しくは前記画像若しくは音声の他の第１情報処理装置への送信を禁止するか、送信レートを低減するか、又は前記画像の一部への加工を行なうようにしてあること
を特徴とする請求項１に記載の会議システム。
【請求項４】
不適切な動作として予め登録してある画像認識結果の一覧であるテーブルを備え、
前記検出手段は、前記認識手段による認識結果が前記テーブルに含まれる認識結果と対応するか否かによって不適切な動作の有無を検出するようにしてあること
を特徴とする請求項１に記載の会議システム。
【請求項５】
前記検出手段が、不適切な音声又は発声を伴う動作を検出した場合、前記不適切な動作が検出された第１情報処理装置からの画像若しくは音声の受信、若しくは前記画像若しくは音声の他の第１情報処理装置への送信を禁止するようにしてあること
を特徴とする請求項１に記載の会議システム。
【請求項６】
前記送信制御手段は、不適切な動作が検出された第１情報処理装置からの画像の内、前記不適切な動作に対応する画像の一部の上に他の画像を重畳させる加工を行なうこと
を特徴とする請求項１に記載の会議システム。
【請求項７】
前記認識手段及び検出手段は、第２情報処理装置が備えること
を特徴とする請求項１に記載の会議システム。
【請求項８】
前記検出手段が不適切な動作を検出した場合、不適切な動作が検出された第１情報処理装置の撮像装置の撮像方向又は集音装置の集音方向の変更を指示する手段
を備えることを特徴とする請求項１に記載の会議システム。
【請求項９】
他の複数の装置と通信媒体を介して接続し、各装置と画像又は音声を送受信する手段を備える情報処理装置において、
受信した画像に映る人物の動作を認識する手段と、
認識した結果に基づき、不適切な動作の有無を検出する手段と、
検出した結果に応じて、前記他の装置からの画像若しくは音声の受信、若しくは、前記画像若しくは音声の他の装置への送信の可否、送信レートの増減、又は前記画像の一部への加工を制御する手段と
を備えることを特徴とする情報処理装置。
【請求項１０】
撮像装置又は集音装置と、前記撮像装置からの画像又は前記集音装置からの音声を取得する手段と、取得した画像又は音声を送受信する送受信手段を備える第１情報処理装置を複数と、複数の第１情報処理装置に通信媒体を介して接続し、各第１情報処理装置で送受信される画像又は音声を中継する第２情報処理装置とを含むシステムにて、第１情報処理装置との画像又は音声の送受信を制御する情報処理方法において、
第１情報処理装置にて取得された画像に映る人物の動作を認識し、
認識した結果に基づき、不適切な動作の有無を検出し、
検出した結果に応じて、前記第１情報処理装置からの画像若しくは音声の受信、若しくは前記画像若しくは音声の他の第１情報処理装置への送信の可否、送信レートの増減、又は前記画像の一部への加工を制御する
ことを特徴とする情報処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１２−５４８９７（Ｐ２０１２−５４８９７Ａ）
【公開日】平成２４年３月１５日（２０１２．３．１５）
【国際特許分類】
【出願番号】特願２０１０−１９８０９８（Ｐ２０１０−１９８０９８）
【出願日】平成２２年９月３日（２０１０．９．３）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
【公開日】平成２４年３月１５日（２０１２．３．１５）
【国際特許分類】
【出願日】平成２２年９月３日（２０１０．９．３）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
[ Back to top ]