情報処理装置、その動作方法及びプログラム
【課題】 遠隔会議システムにおいて、高精細に出力されたくない画像も高精細な画像として出力される場合がある。そこで、本発明は、高精細に出力されたくない画像の出力を制限することを目的とする。
【解決手段】 撮像された画像を取得し、前記画像に含まれる注目領域と、該注目領域以外の領域を判定し、前記注目領域の大きさが閾値以上であるか否か判断し、前記注目領域の大きさが閾値未満であるときには、前記注目領域及び前記注目領域以外の領域に対して前記画像を出力し、前記注目領域の大きさが閾値以上であるときには、前記注目領域に対して出力する画像を変更すると共に、前記注目領域以外の領域には取得された前記画像を出力する。
【解決手段】 撮像された画像を取得し、前記画像に含まれる注目領域と、該注目領域以外の領域を判定し、前記注目領域の大きさが閾値以上であるか否か判断し、前記注目領域の大きさが閾値未満であるときには、前記注目領域及び前記注目領域以外の領域に対して前記画像を出力し、前記注目領域の大きさが閾値以上であるときには、前記注目領域に対して出力する画像を変更すると共に、前記注目領域以外の領域には取得された前記画像を出力する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像された画像に含まれる注目領域の出力を制御する技術に関する。
【背景技術】
【０００２】
近年、コンピュータを活用した遠隔会議システムには、ネットワークカメラを用いて遠隔地の相手と画像を配信する機能が備えられている。また、単に遠隔地に画像を配信するだけではなく、注目領域を拡大表示する技術が存在する。
【０００３】
また、近年のネットワークカメラ等の撮像装置は、非常に高精細であり、被写体の細部まで鮮明に撮像することができる。従って、遠隔会議システムにおいては、より臨場感が高まることを目的として、高精細な画像を互いに配信することを目指している。
【０００４】
しかしながら、臨場感が高まることと引き換えに、高精細に配信されたくない画像も高精細な画像として配信されるという問題が発生している。
【０００５】
特許文献１には、例えば、人の顔等の高精細で撮像されることが好ましくない領域について、顔領域のみを高解像度で撮像せず、低解像度で撮像する技術が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００４−２２８８０８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、例えば遠隔会議システムにおいては、撮像された画像が遠隔地の相手に配信され、当該遠隔地の相手の制御により自由にズームされる。
【０００８】
従って、配信先において、高精細に出力されたくない画像も高精細な画像として出力される場合がある。
【０００９】
一方で、臨場感の追求という面では、人の顔等が一時的にズームされる場合等の場合を除いて、人の顔等の画像を配信することは有効である。
【００１０】
本発明は上記の課題を解決するために、高精細に配信されたくない画像について、当該画像として認識された領域の大きさに基づいて、当該画像を抽象化するか否か切替える技術を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記の課題を解決するために、本発明の情報処理装置は、撮像された画像を取得する取得手段と、前記画像に含まれる注目領域と、該注目領域以外の領域を判定する判定手段と、前記注目領域の大きさが閾値以上であるか否か判断する判断手段と、前記注目領域の大きさが閾値未満であると判断された場合、前記注目領域及び前記注目領域以外の領域に対して前記画像を出力し、前記注目領域の大きさが閾値以上であると判断された場合、前記注目領域に対して出力する画像を変更すると共に、前記注目領域以外の領域には取得された画像を出力する制御手段とを有する。
【発明の効果】
【００１２】
本発明よれば、高精細に配信されたくない画像については、当該画像を抽象化することが可能となる。
【図面の簡単な説明】
【００１３】
【図１】本発明の遠隔会議システムの構成を示す図
【図２】撮像装置の構成を示す図
【図３】撮像装置の動作の流れを説明するフローチャート
【図４】プライバシー制限設定のテーブルを示す図
【図５】本実施形態の動作の流れを示すフローチャート
【図６】顔領域の画像の画素数が閾値以上となった場合の処理の一例を示す図
【発明を実施するための形態】
【００１４】
（第１の実施形態）
以下、本発明にかかる表示方法の第１の実施形態について図面を参照しながら説明する。
【００１５】
第１の実施形態は、遠隔会議の参加者の各々が、自分の判断基準でプライバシー制限設定を行い、当該設定に基づいて撮像装置による映像配信の情報制限が行われる動作を詳細に説明するものである。尚、本実施例において、配信される映像は動画像とする。
【００１６】
本実施形態においてプライバシー制限設定とは、遠隔会議の参加者が自分の顔をどの程度高精細に遠隔地の相手に配信することを許可するか、を決定するための設定とする。
【００１７】
図１は、本発明の遠隔会議システムの構成を示す図である。ここでは２地点で遠隔会議を行う例を示す。１０１および１１１は端末装置である。端末装置には、遠隔会議を行うためのアプリケーションが実装されているものとする。また、１０２，および１１２は撮像装置である。撮像装置１０２、１１２は、端末装置からアクセス可能で、例えば遠隔地の撮像装置１０２による配信映像を端末装置１１１で表示することができる。１２１〜１２６は遠隔会議の参加者である。ここでは、各地点に３名の参加者がいるものとする。
【００１８】
端末装置１０１、１１１および撮像装置１０２、１１２は、ＬＡＮあるいはＷＡＮによるＩＰネットワーク網を介して接続されている。
撮像装置および端末装置のより詳細な動作については後述する。
【００１９】
図２（Ａ）は、撮像装置１０２、１１２の構成を示す機能ブロック図である。
撮像装置は、それぞれ撮像部２０１、記憶部２０２、制御部２０３、受信部２０４、送信部２０５を備える。
【００２０】
撮像部２０１は、カメラ部及びエンコード部より構成され、制御部２０３の指示に基づいて撮像を行い、所定の映像フォーマットにエンコードし、エンコードされた映像データを制御部２０３に出力する。
【００２１】
記憶部２０２は、ＲＡＭ等で構成され、撮像装置の設定情報を記憶する。記憶部２０２に記憶された各参加者のプライバシー設定情報等の書き込み、または読み出しは、制御部２０３からの要求に従って実行される。
【００２２】
制御部２０３は、ＣＰＵ、ＲＯＭ、ＲＡＭ等によって構成され、受信部２０４から送られる指示に基づいて、各参加者のプライバシーに関する設定を行う。また制御部２０３は、映像セッション開始要求を受付け処理するものであり、撮像部２０１から出力された映像データの送信を送信部２０５に指示するものである。
【００２３】
受信部２０４は、入力Ｉ／Ｆ等で構成され、参加者からの指示信号を受信するとともに、映像セッション制御信号を受信し制御部２０３に送るものである。
送信部２０５は、出力Ｉ／Ｆ等で構成され、指定された端末装置に映像データを送信するものである。
【００２４】
図３は、撮像装置の動作の流れを示すフローチャートである。
ステップＳ３０１において、撮像装置は電源を入れると動作を開始し、撮像機能及びネットワーク機能の初期化を行う。
ステップＳ３０２からステップＳ３１０は、受信部２０４が信号を受信すると実行する処理である。
ステップＳ３０２において、制御部２０３は、受信部２０４が受信した信号がプライバシー制限設定の指示信号であるか否か判断し、プライバシー制限設定の指示信号であると判断された場合、ステップＳ３０４処理を実行する。
一方、プライバシー制限設定の指示信号でないと判断された場合、ステップＳ３０５の処理を実行する。
ステップＳ３０３において、制御部２０３は、指示信号の送信元の認証を行う。
【００２５】
次に、ステップＳ３０４において、制御部２０３は、指示信号に従って、プライバシー制限設定の更新を行う。尚、ステップＳ３０４において、更新されたプライバシー制限設定の情報は、記憶部２０２に保持される。
【００２６】
一方、ステップＳ３０５において、制御部２０３は、受信部２０４が受信した信号が映像配信要求の信号であるか否か判断し、映像配信要求の信号であると判断された場合、ステップＳ３０６の処理を実行する。
【００２７】
一方、映像配信要求の信号でないと判断された場合、ステップＳ３１１の処理を実行する。
ステップＳ３０６において、制御部２０３は、撮像部２０１から取得された画像と予め記憶部２０３に記憶された撮像者の顔画像をもとに顔認識を行う。
次に、ステップＳ３０７において、制御部２０３は、記憶部２０２が保持するプライバシー設定の情報を参照する。
【００２８】
そして、例えばプライバシー設定の情報に含まれる後述の顔領域占有率が閾値以上であるか否か判断し、閾値以上であると判断された場合、映像に対して、情報制御処理としてステップＳ３０９の処理を実行する。
【００２９】
一方、情報制限処理が必要でないと判断された場合、ステップＳ３１０の処理を実行する。
ステップＳ３０９において、制御部２０３は、撮像部２０１から取得された画像の顔領域に対して解像度を制限する処理もしくは加工する処理等を行う。また、撮像部２０１から取得された画像の顔領域以外の領域に対しては、前述の解像度を制限する処理もしくは加工する処理等は行わない。
【００３０】
次に、ステップＳ３１０において、制御部２０３は、送信部２０５に対して、映像配信要求元すなわち配信先へ画像データを送信させる。
従って、映像の情報制限処理が必要とされない状態であれば、映像配信要求元には撮像された画像データが配信をされる。なお、画像の解像度は参加者が決定することが可能である。
【００３１】
一方、ステップＳ３１１において、制御部２０３は、受信部２０４が受信した信号が映像の配信を中止する要求（切断要求）を示す信号であるか否か判断し、切断要求であると判断した場合には、ステップＳ３１２の処理を実行する。
【００３２】
一方、切断要求でないと判断した場合には、制御部２０３は、次に受信部２０４が信号を受信するまで待機する。
ステップＳ３１２において、制御部２０３は、撮像部２０１に対して撮像の処理を停止させるとともに、送信部２０５からの映像の送信を終了させる。
図４はプライバシー制限設定の例を示す図である。
プライバシー制限設定の項目としては、顔領域占有率、処理、顔領域最大解像度、顔認識用画像、置換用画像がある。
【００３３】
顔領域占有率は、配信画面に対する顔領域の占有率の閾値を指す項目である。処理は、情報制限時の処理を示す項目である。顔領域最大解像度は、処理の項目において、解像度調整が選択された場合に、顔領域に適用する最大の解像度を示す項目である。顔認識画像は、参加者の顔情報を示す項目である。置換用画像は、置換する画像を示す項目である。
【００３４】
なお、図４は、撮像解像度が６４０＊４８０のときプライバシー制限設定の項目であり、これらの項目は撮像解像度に応じて切り替えることが可能である。
これは、撮像解像度が小さいとき、顔領域が大きく撮像されても、高精細な顔の画像が配信されることはなく、配信先で映像を引きのばしても、荒い画面が出力されるからである。
【００３５】
また、顔認識用画像の項目に示された参加者の顔情報は、参加者を撮像した際にどの参加者であるか判別するための必要な情報である。尚、顔認識機能は、周知の技術であり、顔領域と顔領域以外の領域とを判定すると共に、顔認識用画像との類似度から個人認識機能をいう。
【００３６】
従って、この顔認識機能を用いると、顔領域の面積と、配信画面の面積の比から配信画面に対する顔領域の占有率が計算可能となる。
【００３７】
そして、配信画面に対する顔領域の占有率が、予め設定された閾値以上である場合には、顔領域に対して、画像の解像度を制限する処理、画像を加工する処理、画像を変更する処理等の制限処理を行う。
【００３８】
尚、配信画面に対する顔領域の占有率の閾値は、参加者毎に予め設定することができる。
これによると、各々の参加者が異なる基準で映像の配信を制限することが可能となる。
【００３９】
また、プライバシー制限設定の項目の１つである処理の項目については、顔領域の画像を予め設定した解像度で配信する、顔領域に、ぼかし、モザイク等のエフェクトをかける、顔領域を予め設定された静止画像に置換する等から選択される。
【００４０】
図２（Ｂ）は本実施例における端末装置１０１、１１１のハードウェア構成図である。
端末装置はＣＰＵ２２１、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２２２、ＲＯＭ２２３、ＨＤＤ２２４を備える。また端末装置は、ネットワークＩ／Ｆ２２５、入力機器Ｉ／Ｆ２２６、ディスプレイＩ／Ｆ２２７、キーボード２２８、マウス２２９、ディスプレイ２３０を具備している。また、各要素は、システムバス２３１に接続されている。
【００４１】
ＣＰＵ２２１は端末装置全体の制御に加え、ＲＯＭ２２３等に格納された遠隔会議を実現するプログラムをＲＡＭ２２２に展開して所定の処理を行う。
ＲＡＭ２２２はＣＰＵ２２１における処理に必要な作業領域を提供する。
ＲＯＭ２２３はＣＰＵ２２１の処理に必要なプログラムやデータ等を格納する。尚、遠隔会議を実現するプログラムや、プログラムに従って動作する際に必要なユーザデータベース情報や装置情報等のデータは、ＨＤＤ２２４に格納してもよい。
ネットワークＩ／Ｆ２２５は、ネットワーク２３２に接続され、信号の入出力等の通信制御を行う。
【００４２】
入力機器Ｉ／Ｆ２２６は、端末装置が具備するキーボード２２８、マウス２２９、または、ペン入力装置等からの入力を処理するものである。
ディスプレイＩ／Ｆ２２７は、ディスプレイ２３０に表示する画像を示す信号を出力する。
【００４３】
尚、本実施形態において、撮像装置はネットワークカメラであり、図１のようにＩＰネットワークを介して端末装置と接続されるが、例えば端末装置が撮像装置Ｉ／Ｆを備え、撮像装置と端末装置とが直接接続される構成であってもよい。
【００４４】
図２（Ｃ）は、端末装置１０１、１１１の構成を示す機能ブロック図である。
端末装置は、記憶部２５１、情報管理部２５２、制御部２５３、受信部２５４、送信部２５５から構成され、撮像装置との連携によって遠隔会議のシステムを実現する。
【００４５】
記憶部２５１は、ＲＡＭ等で構成され、各々の参加者に対して設定されたプライバシー制限設定の情報等の装置情報を保持する。
情報管理部２５２はＣＰＵ等で構成され、記憶部２５１に対して、撮像装置１０２、１１２の情報の書き込み、読み出しを行う。
【００４６】
また、情報管理部２５２は、制御部２５３からの要求に従って動作する。
制御部２５３は、情報管理部２５２の動作を制御する。記憶部２５１から読み出した撮像装置の情報を送信部２５５に出力する。
【００４７】
送信部２５５は、制御部２５３から出力された信号に従い、指定された遠隔地の端末装置に情報を送信するものである。受信手段２５４は、遠隔地の端末装置あるいは撮像装置から出力された映像信号を受信する。
【００４８】
図５は、端末装置と撮像装置における動作の流れを示すフローチャートである。
ここで、図１に示すように、Ａ地点には参加者１２１、１２２、１２３が、Ｂ地点には参加者１２４、１２５、１２６がいるものとする。
当該端末装置を利用した遠隔会議システムでは、各々の参加者が、撮像装置の撮像解像度に応じて、プライバシー制限設定を行うことが可能となっている。
【００４９】
まず、ステップＳ５０１において、制御部２５３は、配信画面に対して顔領域が占める割合についての閾値の設定を行う。具体的には、端末装置において、各々の参加者が閾値を設定し、設定された閾値の情報を含む図４のテーブルが情報管理部２５２を介して制御部２５３に読み込まれる。尚、閾値の設定は遠隔会議の開始前でも開始後でも行うことができるものとする。
【００５０】
次に、ステップＳ５０２において、撮像装置は、遠隔地の端末装置からの映像配信要求を受け付ける。
次に、ステップＳ５０３において、撮像装置は、撮像を開始する。
次に、ステップＳ５０４において、撮像されている参加者の顔領域の認識し、さらに予め設定された参加者の顔画像と、撮像された顔領域から顔認識による参加者特定を行う。このとき参加者が複数いる場合には、複数の顔領域を認識する。
【００５１】
次に、ステップＳ５０５において、撮像装置の制御部２０３は、顔領域を認識すると、プライバシー制限設定の情報を参照する。ここでは、例えば参加者１２１が撮像され、顔認識の処理により参加者１２１であることを特定すると、参加者１２１に対して設定されたプライバシー制限設定の情報を参照する。
次に、ステップＳ５０６において、制御部２０３は、認識された顔領域の占有率が、予め設定されたプライバシー制限設定の情報に含まれる顔領域占有率の閾値以上であるか否か判断する。
【００５２】
認識された顔領域の占有率が顔領域占有率の閾値以上となる場合、ステップＳ５０７において、前述した解像度の調整や画像の加工等の処理を実行する。
本実施形態において、図４のプライバシー制限設定の情報を参照すると、参加者１２１に対して、顔領域占有率の閾値は５０％と設定されている。すなわち、配信画面に対して撮像されている顔領域の割合が５０％以上となるときに、当該顔領域の画像を変更することを示す。尚、参加者１２１に対しては、処理の項目が解像度調節となっており、顔領域解像度が１６０＊１２０とすることが設定されている。
【００５３】
そこで、参加者１２１の顔領域については、顔領域以外の領域よりも低精細となる１６０＊１２０の解像度で撮像した画像に相当する画像に変更する。これによって、参加者１２１の顔領域の画像は高精細に配信されなくなる。
【００５４】
一方、認識された顔領域の占有率が顔領域占有率の閾値未満となる場合、ステップＳ５０２のからの処理を繰り返す。
ステップＳ５０８においては、配信先の端末装置の制御部２５３は、ディスプレイ２３０に画像が配信させる。
【００５５】
尚、上述のように、認識された顔領域の占有率が顔領域占有率の閾値未満となる場合、ステップＳ５０２のからの処理を繰り返すことによって、刻々と変化する状況に応じて、映像の配信を制限することが可能である。
【００５６】
すわなち、遠隔地の参加者が配信された画像を拡大する指示信号を入力した場合や、撮像状態を変化させる指示信号を入力した場合、参加者と撮像装置との距離が近づいた場合に、配信画面に対して顔領域が占める割合は大きくなる。
そこで、予め設定された閾値によっては配信映像の制限が必要となる。
【００５７】
また、撮像装置の撮像解像度が６４０＊４８０ではなく、３２０＊２４０であった場合、既に撮像解像度６４０＊４８０の条件で設定した顔領域の占有率については、自動的に適切な数値が適用される。すなわち、撮像解像度６４０＊４８０において、顔領域占有率の閾値を５０％と設定していた場合に、撮像解像度を３２０＊２４０に変更すると、顔領域占有率の閾値の設定は、１００％となる。
【００５８】
尚、本実施形態では各々の参加者のプライバシー制限設定の情報は撮像装置が記憶しているとしてが、端末装置がこれを記憶し、撮像装置に映像配信の指示を行う形式でもよい。さらに、本実施形態では撮像装置と端末装置を区別して構成したが、たとえば端末装置が撮像機能を有する形態でもよい。
【００５９】
また、本実施形態では映像配信以前に撮像内容に含まれる顔領域の画像の解像度を変更する処理、顔領域の画像に加工を施す処理、顔領域の画像を異なる画像に置換する処理等を行っているが、配信映像の受信側である端末装置で実行する構成でもよい。
【００６０】
尚、本実施形態においては、注目領域を顔領域として、注目領域以外の領域を顔領域以外の領域としたが、例えば、注目領域を予め設定された形状と認識された領域として、注目領域以外の領域を予め設定された形状と認識されなかった領域としてもよい。また、注目領域を予め設定された１または複数の色彩と認識された領域として、注目領域以外の領域を予め設定された１または複数の色彩と認識されなかった領域としてもよい。
【００６１】
（第２の実施形態）
第２の実施形態は、第１の実施形態において、撮像内容が所定の基準を満たしたときに、当該基準をトリガーとして配信映像を制御するものである。
【００６２】
第２の実施形態においては、顔領域の画像の画素数が予め設定された閾値以上となった場合に、顔領域の画像の解像度を変更する処理、顔領域の画像に加工を施す処理、顔領域の画像を異なる画像に置換する処理等を行う。
【００６３】
以下、図６を用いて説明する。６０１から６１１は顔領域とする。本実施形態においては、当該顔領域の大きさが閾値以上となった場合（例えば、６０６、６１０とする。）、上述の処理の少なくとも１つによって顔領域の画像６０６、６１０は、異なる画像６０９、６１１に変更される。
【００６４】
また、各参加者によるプライバシー制限設定を行わず、予め設定された１つの閾値を用いると、閾値以上となった場合に即座に顔領域の映像の配信を制限する情報処理が可能となる。
【００６５】
（その他の実施形態）
また、本発明の目的は、以下の処理を実行することによって達成される。
即ち、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出す処理である。
【００６６】
この場合、記憶媒体から読み出されたプログラムコード自体が上述した実施の形態の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。
【技術分野】
【０００１】
本発明は、撮像された画像に含まれる注目領域の出力を制御する技術に関する。
【背景技術】
【０００２】
近年、コンピュータを活用した遠隔会議システムには、ネットワークカメラを用いて遠隔地の相手と画像を配信する機能が備えられている。また、単に遠隔地に画像を配信するだけではなく、注目領域を拡大表示する技術が存在する。
【０００３】
また、近年のネットワークカメラ等の撮像装置は、非常に高精細であり、被写体の細部まで鮮明に撮像することができる。従って、遠隔会議システムにおいては、より臨場感が高まることを目的として、高精細な画像を互いに配信することを目指している。
【０００４】
しかしながら、臨場感が高まることと引き換えに、高精細に配信されたくない画像も高精細な画像として配信されるという問題が発生している。
【０００５】
特許文献１には、例えば、人の顔等の高精細で撮像されることが好ましくない領域について、顔領域のみを高解像度で撮像せず、低解像度で撮像する技術が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００４−２２８８０８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、例えば遠隔会議システムにおいては、撮像された画像が遠隔地の相手に配信され、当該遠隔地の相手の制御により自由にズームされる。
【０００８】
従って、配信先において、高精細に出力されたくない画像も高精細な画像として出力される場合がある。
【０００９】
一方で、臨場感の追求という面では、人の顔等が一時的にズームされる場合等の場合を除いて、人の顔等の画像を配信することは有効である。
【００１０】
本発明は上記の課題を解決するために、高精細に配信されたくない画像について、当該画像として認識された領域の大きさに基づいて、当該画像を抽象化するか否か切替える技術を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記の課題を解決するために、本発明の情報処理装置は、撮像された画像を取得する取得手段と、前記画像に含まれる注目領域と、該注目領域以外の領域を判定する判定手段と、前記注目領域の大きさが閾値以上であるか否か判断する判断手段と、前記注目領域の大きさが閾値未満であると判断された場合、前記注目領域及び前記注目領域以外の領域に対して前記画像を出力し、前記注目領域の大きさが閾値以上であると判断された場合、前記注目領域に対して出力する画像を変更すると共に、前記注目領域以外の領域には取得された画像を出力する制御手段とを有する。
【発明の効果】
【００１２】
本発明よれば、高精細に配信されたくない画像については、当該画像を抽象化することが可能となる。
【図面の簡単な説明】
【００１３】
【図１】本発明の遠隔会議システムの構成を示す図
【図２】撮像装置の構成を示す図
【図３】撮像装置の動作の流れを説明するフローチャート
【図４】プライバシー制限設定のテーブルを示す図
【図５】本実施形態の動作の流れを示すフローチャート
【図６】顔領域の画像の画素数が閾値以上となった場合の処理の一例を示す図
【発明を実施するための形態】
【００１４】
（第１の実施形態）
以下、本発明にかかる表示方法の第１の実施形態について図面を参照しながら説明する。
【００１５】
第１の実施形態は、遠隔会議の参加者の各々が、自分の判断基準でプライバシー制限設定を行い、当該設定に基づいて撮像装置による映像配信の情報制限が行われる動作を詳細に説明するものである。尚、本実施例において、配信される映像は動画像とする。
【００１６】
本実施形態においてプライバシー制限設定とは、遠隔会議の参加者が自分の顔をどの程度高精細に遠隔地の相手に配信することを許可するか、を決定するための設定とする。
【００１７】
図１は、本発明の遠隔会議システムの構成を示す図である。ここでは２地点で遠隔会議を行う例を示す。１０１および１１１は端末装置である。端末装置には、遠隔会議を行うためのアプリケーションが実装されているものとする。また、１０２，および１１２は撮像装置である。撮像装置１０２、１１２は、端末装置からアクセス可能で、例えば遠隔地の撮像装置１０２による配信映像を端末装置１１１で表示することができる。１２１〜１２６は遠隔会議の参加者である。ここでは、各地点に３名の参加者がいるものとする。
【００１８】
端末装置１０１、１１１および撮像装置１０２、１１２は、ＬＡＮあるいはＷＡＮによるＩＰネットワーク網を介して接続されている。
撮像装置および端末装置のより詳細な動作については後述する。
【００１９】
図２（Ａ）は、撮像装置１０２、１１２の構成を示す機能ブロック図である。
撮像装置は、それぞれ撮像部２０１、記憶部２０２、制御部２０３、受信部２０４、送信部２０５を備える。
【００２０】
撮像部２０１は、カメラ部及びエンコード部より構成され、制御部２０３の指示に基づいて撮像を行い、所定の映像フォーマットにエンコードし、エンコードされた映像データを制御部２０３に出力する。
【００２１】
記憶部２０２は、ＲＡＭ等で構成され、撮像装置の設定情報を記憶する。記憶部２０２に記憶された各参加者のプライバシー設定情報等の書き込み、または読み出しは、制御部２０３からの要求に従って実行される。
【００２２】
制御部２０３は、ＣＰＵ、ＲＯＭ、ＲＡＭ等によって構成され、受信部２０４から送られる指示に基づいて、各参加者のプライバシーに関する設定を行う。また制御部２０３は、映像セッション開始要求を受付け処理するものであり、撮像部２０１から出力された映像データの送信を送信部２０５に指示するものである。
【００２３】
受信部２０４は、入力Ｉ／Ｆ等で構成され、参加者からの指示信号を受信するとともに、映像セッション制御信号を受信し制御部２０３に送るものである。
送信部２０５は、出力Ｉ／Ｆ等で構成され、指定された端末装置に映像データを送信するものである。
【００２４】
図３は、撮像装置の動作の流れを示すフローチャートである。
ステップＳ３０１において、撮像装置は電源を入れると動作を開始し、撮像機能及びネットワーク機能の初期化を行う。
ステップＳ３０２からステップＳ３１０は、受信部２０４が信号を受信すると実行する処理である。
ステップＳ３０２において、制御部２０３は、受信部２０４が受信した信号がプライバシー制限設定の指示信号であるか否か判断し、プライバシー制限設定の指示信号であると判断された場合、ステップＳ３０４処理を実行する。
一方、プライバシー制限設定の指示信号でないと判断された場合、ステップＳ３０５の処理を実行する。
ステップＳ３０３において、制御部２０３は、指示信号の送信元の認証を行う。
【００２５】
次に、ステップＳ３０４において、制御部２０３は、指示信号に従って、プライバシー制限設定の更新を行う。尚、ステップＳ３０４において、更新されたプライバシー制限設定の情報は、記憶部２０２に保持される。
【００２６】
一方、ステップＳ３０５において、制御部２０３は、受信部２０４が受信した信号が映像配信要求の信号であるか否か判断し、映像配信要求の信号であると判断された場合、ステップＳ３０６の処理を実行する。
【００２７】
一方、映像配信要求の信号でないと判断された場合、ステップＳ３１１の処理を実行する。
ステップＳ３０６において、制御部２０３は、撮像部２０１から取得された画像と予め記憶部２０３に記憶された撮像者の顔画像をもとに顔認識を行う。
次に、ステップＳ３０７において、制御部２０３は、記憶部２０２が保持するプライバシー設定の情報を参照する。
【００２８】
そして、例えばプライバシー設定の情報に含まれる後述の顔領域占有率が閾値以上であるか否か判断し、閾値以上であると判断された場合、映像に対して、情報制御処理としてステップＳ３０９の処理を実行する。
【００２９】
一方、情報制限処理が必要でないと判断された場合、ステップＳ３１０の処理を実行する。
ステップＳ３０９において、制御部２０３は、撮像部２０１から取得された画像の顔領域に対して解像度を制限する処理もしくは加工する処理等を行う。また、撮像部２０１から取得された画像の顔領域以外の領域に対しては、前述の解像度を制限する処理もしくは加工する処理等は行わない。
【００３０】
次に、ステップＳ３１０において、制御部２０３は、送信部２０５に対して、映像配信要求元すなわち配信先へ画像データを送信させる。
従って、映像の情報制限処理が必要とされない状態であれば、映像配信要求元には撮像された画像データが配信をされる。なお、画像の解像度は参加者が決定することが可能である。
【００３１】
一方、ステップＳ３１１において、制御部２０３は、受信部２０４が受信した信号が映像の配信を中止する要求（切断要求）を示す信号であるか否か判断し、切断要求であると判断した場合には、ステップＳ３１２の処理を実行する。
【００３２】
一方、切断要求でないと判断した場合には、制御部２０３は、次に受信部２０４が信号を受信するまで待機する。
ステップＳ３１２において、制御部２０３は、撮像部２０１に対して撮像の処理を停止させるとともに、送信部２０５からの映像の送信を終了させる。
図４はプライバシー制限設定の例を示す図である。
プライバシー制限設定の項目としては、顔領域占有率、処理、顔領域最大解像度、顔認識用画像、置換用画像がある。
【００３３】
顔領域占有率は、配信画面に対する顔領域の占有率の閾値を指す項目である。処理は、情報制限時の処理を示す項目である。顔領域最大解像度は、処理の項目において、解像度調整が選択された場合に、顔領域に適用する最大の解像度を示す項目である。顔認識画像は、参加者の顔情報を示す項目である。置換用画像は、置換する画像を示す項目である。
【００３４】
なお、図４は、撮像解像度が６４０＊４８０のときプライバシー制限設定の項目であり、これらの項目は撮像解像度に応じて切り替えることが可能である。
これは、撮像解像度が小さいとき、顔領域が大きく撮像されても、高精細な顔の画像が配信されることはなく、配信先で映像を引きのばしても、荒い画面が出力されるからである。
【００３５】
また、顔認識用画像の項目に示された参加者の顔情報は、参加者を撮像した際にどの参加者であるか判別するための必要な情報である。尚、顔認識機能は、周知の技術であり、顔領域と顔領域以外の領域とを判定すると共に、顔認識用画像との類似度から個人認識機能をいう。
【００３６】
従って、この顔認識機能を用いると、顔領域の面積と、配信画面の面積の比から配信画面に対する顔領域の占有率が計算可能となる。
【００３７】
そして、配信画面に対する顔領域の占有率が、予め設定された閾値以上である場合には、顔領域に対して、画像の解像度を制限する処理、画像を加工する処理、画像を変更する処理等の制限処理を行う。
【００３８】
尚、配信画面に対する顔領域の占有率の閾値は、参加者毎に予め設定することができる。
これによると、各々の参加者が異なる基準で映像の配信を制限することが可能となる。
【００３９】
また、プライバシー制限設定の項目の１つである処理の項目については、顔領域の画像を予め設定した解像度で配信する、顔領域に、ぼかし、モザイク等のエフェクトをかける、顔領域を予め設定された静止画像に置換する等から選択される。
【００４０】
図２（Ｂ）は本実施例における端末装置１０１、１１１のハードウェア構成図である。
端末装置はＣＰＵ２２１、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２２２、ＲＯＭ２２３、ＨＤＤ２２４を備える。また端末装置は、ネットワークＩ／Ｆ２２５、入力機器Ｉ／Ｆ２２６、ディスプレイＩ／Ｆ２２７、キーボード２２８、マウス２２９、ディスプレイ２３０を具備している。また、各要素は、システムバス２３１に接続されている。
【００４１】
ＣＰＵ２２１は端末装置全体の制御に加え、ＲＯＭ２２３等に格納された遠隔会議を実現するプログラムをＲＡＭ２２２に展開して所定の処理を行う。
ＲＡＭ２２２はＣＰＵ２２１における処理に必要な作業領域を提供する。
ＲＯＭ２２３はＣＰＵ２２１の処理に必要なプログラムやデータ等を格納する。尚、遠隔会議を実現するプログラムや、プログラムに従って動作する際に必要なユーザデータベース情報や装置情報等のデータは、ＨＤＤ２２４に格納してもよい。
ネットワークＩ／Ｆ２２５は、ネットワーク２３２に接続され、信号の入出力等の通信制御を行う。
【００４２】
入力機器Ｉ／Ｆ２２６は、端末装置が具備するキーボード２２８、マウス２２９、または、ペン入力装置等からの入力を処理するものである。
ディスプレイＩ／Ｆ２２７は、ディスプレイ２３０に表示する画像を示す信号を出力する。
【００４３】
尚、本実施形態において、撮像装置はネットワークカメラであり、図１のようにＩＰネットワークを介して端末装置と接続されるが、例えば端末装置が撮像装置Ｉ／Ｆを備え、撮像装置と端末装置とが直接接続される構成であってもよい。
【００４４】
図２（Ｃ）は、端末装置１０１、１１１の構成を示す機能ブロック図である。
端末装置は、記憶部２５１、情報管理部２５２、制御部２５３、受信部２５４、送信部２５５から構成され、撮像装置との連携によって遠隔会議のシステムを実現する。
【００４５】
記憶部２５１は、ＲＡＭ等で構成され、各々の参加者に対して設定されたプライバシー制限設定の情報等の装置情報を保持する。
情報管理部２５２はＣＰＵ等で構成され、記憶部２５１に対して、撮像装置１０２、１１２の情報の書き込み、読み出しを行う。
【００４６】
また、情報管理部２５２は、制御部２５３からの要求に従って動作する。
制御部２５３は、情報管理部２５２の動作を制御する。記憶部２５１から読み出した撮像装置の情報を送信部２５５に出力する。
【００４７】
送信部２５５は、制御部２５３から出力された信号に従い、指定された遠隔地の端末装置に情報を送信するものである。受信手段２５４は、遠隔地の端末装置あるいは撮像装置から出力された映像信号を受信する。
【００４８】
図５は、端末装置と撮像装置における動作の流れを示すフローチャートである。
ここで、図１に示すように、Ａ地点には参加者１２１、１２２、１２３が、Ｂ地点には参加者１２４、１２５、１２６がいるものとする。
当該端末装置を利用した遠隔会議システムでは、各々の参加者が、撮像装置の撮像解像度に応じて、プライバシー制限設定を行うことが可能となっている。
【００４９】
まず、ステップＳ５０１において、制御部２５３は、配信画面に対して顔領域が占める割合についての閾値の設定を行う。具体的には、端末装置において、各々の参加者が閾値を設定し、設定された閾値の情報を含む図４のテーブルが情報管理部２５２を介して制御部２５３に読み込まれる。尚、閾値の設定は遠隔会議の開始前でも開始後でも行うことができるものとする。
【００５０】
次に、ステップＳ５０２において、撮像装置は、遠隔地の端末装置からの映像配信要求を受け付ける。
次に、ステップＳ５０３において、撮像装置は、撮像を開始する。
次に、ステップＳ５０４において、撮像されている参加者の顔領域の認識し、さらに予め設定された参加者の顔画像と、撮像された顔領域から顔認識による参加者特定を行う。このとき参加者が複数いる場合には、複数の顔領域を認識する。
【００５１】
次に、ステップＳ５０５において、撮像装置の制御部２０３は、顔領域を認識すると、プライバシー制限設定の情報を参照する。ここでは、例えば参加者１２１が撮像され、顔認識の処理により参加者１２１であることを特定すると、参加者１２１に対して設定されたプライバシー制限設定の情報を参照する。
次に、ステップＳ５０６において、制御部２０３は、認識された顔領域の占有率が、予め設定されたプライバシー制限設定の情報に含まれる顔領域占有率の閾値以上であるか否か判断する。
【００５２】
認識された顔領域の占有率が顔領域占有率の閾値以上となる場合、ステップＳ５０７において、前述した解像度の調整や画像の加工等の処理を実行する。
本実施形態において、図４のプライバシー制限設定の情報を参照すると、参加者１２１に対して、顔領域占有率の閾値は５０％と設定されている。すなわち、配信画面に対して撮像されている顔領域の割合が５０％以上となるときに、当該顔領域の画像を変更することを示す。尚、参加者１２１に対しては、処理の項目が解像度調節となっており、顔領域解像度が１６０＊１２０とすることが設定されている。
【００５３】
そこで、参加者１２１の顔領域については、顔領域以外の領域よりも低精細となる１６０＊１２０の解像度で撮像した画像に相当する画像に変更する。これによって、参加者１２１の顔領域の画像は高精細に配信されなくなる。
【００５４】
一方、認識された顔領域の占有率が顔領域占有率の閾値未満となる場合、ステップＳ５０２のからの処理を繰り返す。
ステップＳ５０８においては、配信先の端末装置の制御部２５３は、ディスプレイ２３０に画像が配信させる。
【００５５】
尚、上述のように、認識された顔領域の占有率が顔領域占有率の閾値未満となる場合、ステップＳ５０２のからの処理を繰り返すことによって、刻々と変化する状況に応じて、映像の配信を制限することが可能である。
【００５６】
すわなち、遠隔地の参加者が配信された画像を拡大する指示信号を入力した場合や、撮像状態を変化させる指示信号を入力した場合、参加者と撮像装置との距離が近づいた場合に、配信画面に対して顔領域が占める割合は大きくなる。
そこで、予め設定された閾値によっては配信映像の制限が必要となる。
【００５７】
また、撮像装置の撮像解像度が６４０＊４８０ではなく、３２０＊２４０であった場合、既に撮像解像度６４０＊４８０の条件で設定した顔領域の占有率については、自動的に適切な数値が適用される。すなわち、撮像解像度６４０＊４８０において、顔領域占有率の閾値を５０％と設定していた場合に、撮像解像度を３２０＊２４０に変更すると、顔領域占有率の閾値の設定は、１００％となる。
【００５８】
尚、本実施形態では各々の参加者のプライバシー制限設定の情報は撮像装置が記憶しているとしてが、端末装置がこれを記憶し、撮像装置に映像配信の指示を行う形式でもよい。さらに、本実施形態では撮像装置と端末装置を区別して構成したが、たとえば端末装置が撮像機能を有する形態でもよい。
【００５９】
また、本実施形態では映像配信以前に撮像内容に含まれる顔領域の画像の解像度を変更する処理、顔領域の画像に加工を施す処理、顔領域の画像を異なる画像に置換する処理等を行っているが、配信映像の受信側である端末装置で実行する構成でもよい。
【００６０】
尚、本実施形態においては、注目領域を顔領域として、注目領域以外の領域を顔領域以外の領域としたが、例えば、注目領域を予め設定された形状と認識された領域として、注目領域以外の領域を予め設定された形状と認識されなかった領域としてもよい。また、注目領域を予め設定された１または複数の色彩と認識された領域として、注目領域以外の領域を予め設定された１または複数の色彩と認識されなかった領域としてもよい。
【００６１】
（第２の実施形態）
第２の実施形態は、第１の実施形態において、撮像内容が所定の基準を満たしたときに、当該基準をトリガーとして配信映像を制御するものである。
【００６２】
第２の実施形態においては、顔領域の画像の画素数が予め設定された閾値以上となった場合に、顔領域の画像の解像度を変更する処理、顔領域の画像に加工を施す処理、顔領域の画像を異なる画像に置換する処理等を行う。
【００６３】
以下、図６を用いて説明する。６０１から６１１は顔領域とする。本実施形態においては、当該顔領域の大きさが閾値以上となった場合（例えば、６０６、６１０とする。）、上述の処理の少なくとも１つによって顔領域の画像６０６、６１０は、異なる画像６０９、６１１に変更される。
【００６４】
また、各参加者によるプライバシー制限設定を行わず、予め設定された１つの閾値を用いると、閾値以上となった場合に即座に顔領域の映像の配信を制限する情報処理が可能となる。
【００６５】
（その他の実施形態）
また、本発明の目的は、以下の処理を実行することによって達成される。
即ち、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出す処理である。
【００６６】
この場合、記憶媒体から読み出されたプログラムコード自体が上述した実施の形態の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。
【特許請求の範囲】
【請求項１】
撮像された画像を取得する取得手段と、
前記画像に含まれる注目領域と、該注目領域以外の領域を判定する判定手段と、
前記注目領域の大きさが閾値以上であるか否か判断する判断手段と、
前記注目領域の大きさが閾値未満であると判断された場合、前記注目領域及び前記注目領域以外の領域に対して前記画像を出力し、
前記注目領域の大きさが閾値以上であると判断された場合、前記注目領域に対して出力する画像を変更すると共に、前記注目領域以外の領域には取得された画像を出力する制御手段とを有する情報処理装置。
【請求項２】
前記注目領域がない場合、前記制御手段は、前記取得された画像を出力することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記注目領域の大きさが閾値以上であると判断された場合、前記注目領域に対して出力する画像を前記取得された画像を低精細とした画像に変更することを特徴とする請求項１に記載の情報処理装置。
【請求項４】
前記撮像された画像が動画像であり、前記注目領域の大きさが閾値以上であると判断された場合、前記注目領域に対して出力する画像を静止画像に変更することを特徴とする請求項１に記載の情報処理装置。
【請求項５】
前記閾値とは、前記撮像された画像の大きさに対する前記注目領域の大きさを示す予め設定された値であることを特徴とする請求項１乃至請求項４のいずれか１項に記載の情報処理装置。
【請求項６】
前記取得手段は、ネットワークを介して配信された画像を取得することを特徴とする請求項１乃至請求項５のいずれか１項に記載の情報処理装置。
【請求項７】
撮像された画像の出力を制御する情報処理装置の動作方法であって、
撮像された画像を取得する取得工程と、
前記画像に含まれる注目領域と、該注目領域以外の領域を判定する判定工程と、
前記注目領域の大きさが閾値以上であるか否か判断する判断工程と、
前記注目領域の大きさが閾値未満であると判断された場合、前記注目領域及び前記注目領域以外の領域に対して前記画像を出力し、
前記注目領域の大きさが閾値以上であると判断された場合、前記注目領域に対して出力する画像を変更すると共に、前記注目領域以外の領域には取得された画像を出力する制御工程とを有する動作方法。
【請求項８】
前記請求項７に記載の動作方法をコンピュータに実行させるプログラム。
【請求項１】
撮像された画像を取得する取得手段と、
前記画像に含まれる注目領域と、該注目領域以外の領域を判定する判定手段と、
前記注目領域の大きさが閾値以上であるか否か判断する判断手段と、
前記注目領域の大きさが閾値未満であると判断された場合、前記注目領域及び前記注目領域以外の領域に対して前記画像を出力し、
前記注目領域の大きさが閾値以上であると判断された場合、前記注目領域に対して出力する画像を変更すると共に、前記注目領域以外の領域には取得された画像を出力する制御手段とを有する情報処理装置。
【請求項２】
前記注目領域がない場合、前記制御手段は、前記取得された画像を出力することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記注目領域の大きさが閾値以上であると判断された場合、前記注目領域に対して出力する画像を前記取得された画像を低精細とした画像に変更することを特徴とする請求項１に記載の情報処理装置。
【請求項４】
前記撮像された画像が動画像であり、前記注目領域の大きさが閾値以上であると判断された場合、前記注目領域に対して出力する画像を静止画像に変更することを特徴とする請求項１に記載の情報処理装置。
【請求項５】
前記閾値とは、前記撮像された画像の大きさに対する前記注目領域の大きさを示す予め設定された値であることを特徴とする請求項１乃至請求項４のいずれか１項に記載の情報処理装置。
【請求項６】
前記取得手段は、ネットワークを介して配信された画像を取得することを特徴とする請求項１乃至請求項５のいずれか１項に記載の情報処理装置。
【請求項７】
撮像された画像の出力を制御する情報処理装置の動作方法であって、
撮像された画像を取得する取得工程と、
前記画像に含まれる注目領域と、該注目領域以外の領域を判定する判定工程と、
前記注目領域の大きさが閾値以上であるか否か判断する判断工程と、
前記注目領域の大きさが閾値未満であると判断された場合、前記注目領域及び前記注目領域以外の領域に対して前記画像を出力し、
前記注目領域の大きさが閾値以上であると判断された場合、前記注目領域に対して出力する画像を変更すると共に、前記注目領域以外の領域には取得された画像を出力する制御工程とを有する動作方法。
【請求項８】
前記請求項７に記載の動作方法をコンピュータに実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１０−２６３４２２（Ｐ２０１０−２６３４２２Ａ）
【公開日】平成２２年１１月１８日（２０１０．１１．１８）
【国際特許分類】
【出願番号】特願２００９−１１２７８７（Ｐ２００９−１１２７８７）
【出願日】平成２１年５月７日（２００９．５．７）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２２年１１月１８日（２０１０．１１．１８）
【国際特許分類】
【出願日】平成２１年５月７日（２００９．５．７）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]