画像処理装置、カメラ装置、通信システム、画像処理方法、およびプログラム
【課題】コスト増を招くことなく、処理や制御のおける遅延時間を短縮でき、リアルタイム性の向上を図れ、また、画像が流出したとしても真にプライバシーを保護できる画像処理装置、カメラ装置、通信システム、画像処理方法、およびプログラムを提供する。
【解決手段】マイクロコンピュータ１９の制御の下、撮像した画像を元に顔検出器１７にて顔を検出し、出力処理部１８において、検出した顔、またはその背景の画像に対しモザイク・ぼかし・塗り潰し等のプライバシーマスク処理を施すことによりプライバシーを保護する機能を有する。
【解決手段】マイクロコンピュータ１９の制御の下、撮像した画像を元に顔検出器１７にて顔を検出し、出力処理部１８において、検出した顔、またはその背景の画像に対しモザイク・ぼかし・塗り潰し等のプライバシーマスク処理を施すことによりプライバシーを保護する機能を有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像された画像から顔を検出する機能を有し、画像を用いる通信に適用可能な画像処理装置、カメラ装置、通信システム、画像処理方法、およびプログラムに関するものである。
【背景技術】
【０００２】
撮像素子（イメージングセンサ）により撮像した画像から被写体の顔を検出する顔検出器を備えたカメラ装置が実用に供されている。
【０００３】
また、画像を用いた通信としては、テレビジョン(以下、テレビ)電話、テレビ会議システム、ビデオメール、ビデオチャット等、種々の形態のもが実用に供されている。
これらのいずれにおいても、被写体の顔およびその背景を撮像し、その撮像画像を通信先に送信するように構成される。
【０００４】
また、特許文献１には、公衆網を経由して多地点の間で映像データを交換するためのシステムであって、多地点に存在する有限個の通信装置と、有限個の通信装置の各々の間での映像データの交換を中継する通信制御装置を有し、有限個の通信装置の間に閉じて映像データが交換される通信システム等が提案されている。
【特許文献１】特許３８３８５０６号
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、テレビ電話、テレビ会議、ビデオチャット等は、被写体が自分である場合、自分の顔を捉えた画像データが何ら処理されることなく通信相手に送信されて通信相手のディスプレイに表示されてしまう。
このため、自分の顔を通信相手に見られたくないことを希望する利用者にとっては、プライバシーを保護することができず、利用者に精神的な苦痛を与えていた。
【０００６】
また、このような装置を家庭やオフィスで用いる際に、家庭あるいはオフィス内の様子を送信したくない場合においても、自分の姿と共に通信相手に知られてしまい、プライバシー保護やオフィス内の機密を保護するという点で具合が悪いという問題があった。
【０００７】
また、特許文献１における通信装置（図１等）において、画像入力手段がカメラであった場合、撮像した画像を領域抽出手段により顔を検出することになるが、まず検出対象とする画像をキャプチャする必要がありそのための遅延が生じる。
また、画像から顔を検出する機能は一般的に処理に時間が掛かるため、その遅延時間も生じる。
また、顔検出した結果を元にメタデータとして加工し、その画像と共に送信データ処理を経て通信手段にて通信経路に送信するが、メタデータに加工する分、遅延時間が生じる。
以上のことから、特許文献１に開示された技術では、通信装置での処理による遅延時間が多大になり、かつ、通信装置の負荷は多大になる。
【０００８】
また、以上の処理を動画(３０ｆｐｓ等)に対応し、かつ高画素の画像に対応するとなると、通信装置での処理による遅延時間や、負荷はいっそう膨大になる。
なお、この負荷を軽減するために高性能な通信装置を用いた場合、遅延時間や負荷は軽減できるが、システム的なコストが増大する。
また、以上の処理では画像をキャプチャするメモリを遅延時間分用意しなければならず、一般的に画像メモリは大容量となるため、システム的なコストが増大する。
また、以上を鑑みると、最悪、動画のフレームレートが低下し、かつリアルタイム性が損なわれ、視認に耐えなくなる可能性があり、実用的でなくなる可能性がある。
【０００９】
また、カメラで撮像したそのままの画像（いわゆるプライバシーマスク処理を施していない画像）が、通信装置、または通信経路中で、一時的にせよ何らかの記録手段に保存することになるが、この画像が悪意のあるユーザーにより盗み出されたり、またはネットワークからのハッキング行為により流出する可能性もあり、この観点でみた場合、真にプライバシーを保護できていない。
【００１０】
一方、多地点における複数ユーザーが、画像による通信を行う通信方法として、集中制御装置を用いたテレビ会議システムがある。
しかし、このような多地点におけるテレビ会議システムにおいて、プライバシーを保護する技術を適用する場合、プライバシー保護のために背景を除去若しくは顔領域を加工すると、会議に参加する全てのメンバーに対して、一様に背景を除去若しくは顔領域を加工した映像が送信されることになる。
【００１１】
また、多地点における複数ユーザーが、画像による通信を行うシステムには、ＷＥＢにおけるビデオチャットの様に不特定の利用者が参加する形態があるが、このような場合、背景を除去若しくは顔領域を加工した映像を通信相手に応じて制御したいという要求がある。たとえば、特定の画像通信端末の利用者に対しては顔を見せてもよいが、それ以外の利用者には顔を見せたくないという場合が考えられる。
【００１２】
同様に、ビジネス用途における多地点間のテレビ会議システムにおいても、社内の利用者と社外の利用者が混在する場合、社内の利用者には背景まで見せてもよいが社外の利用者には背景を除去して通信するということが考えられる。
【００１３】
特許文献１における通信システム(図１６等)通信システムにおいて、通信制御装置がメタデータからプライバシーマスク処理を施す場合、まずパケット化された画像データ1枚分全てを受信しなければならず、そのための通信遅延が生じる。
次に取得した画像データは一般的に圧縮（ｍｐｅｇ、ｊｐｅｇ等）されており、それを元の画像に復元しなければプライバシーマスク処理を施すことができず、さらにプライバシーマスク処理を施した後は、同様の画像圧縮処理を行わなければならず、そのための処理遅延が生じる。
次に、プライバシーマスク処理を施し圧縮した画像データは、同様にパケット化し、画像データ1枚分全てを送信しなければならず、そのための通信遅延が生じる。
以上のことから、通信制御装置での処理による遅延時間が多大になり、かつ、通信制御装置の負荷は多大になる。
【００１４】
また、以上の処理を動画(３０ｆｐｓ等)に対応し、かつ高画素の画像に対応し、かつ複数のユーザーからの通信に対応するとなると、通信制御装置での処理による遅延時間や、負荷はいっそう膨大になる。
なお、この負荷を軽減するために高性能な通信制御装置を用いた場合、遅延時間や負荷は軽減できるが、システム的なコストが増大する。
また、画像データの圧縮方式は一般的に多岐に渡り、かつ対応可能なその方式はユーザーやＷＥＢサイトに依存するため、それらを包含した通信制御装置をサポートすることは、運営面においてもメンテナンスなど、コストが増大する。
【００１５】
また、通信制御装置において、プライバシーマスク処理を施していない画像、および顔にプライバシーマスク処理を施した画像、および背景にプライバシーマスク処理を施し画像など、オリジナルの画像と画素数で同容量（ファイル容量でほぼ同等）の画像データを何種類分も処理し、送信しなければならない場合がある。
この場合、通信トラフィック量が多大になることは明白であり、かつ以上を鑑みると、最悪、動画のフレームレートが低下し、かつリアルタイム性が損なわれ、視認に耐えなくなる可能性があり、実用的でなくなる可能性がある。
【００１６】
また、特許文献１における通信システム(図１８等)において、通信装置Ａから通信制御装置を経て通信網に接続した場合、ここで言う通信制御装置はいわゆる通信サーバーに相当するものであり、一般的に高価である。
このような高価な機器を全てのユーザーが購入することは極めて難しい。
また、一般的に通信サーバーを設置するには高度な技術が必要であり、一般的なユーザーが設置し稼動させることは困難である。
【００１７】
また、ある一定ユーザー数の割合にて、通信制御装置を設置することも考えられるが、上記と同様に通信サーバーは一般的に高価であり、それを何台も設置するのはコストが増大し、かつ稼動させるとなると運営面においてもメンテナンスなど、コストが増大する。
【００１８】
本発明は、コスト増を招くことなく、処理や制御のおける遅延時間を短縮でき、リアルタイム性の向上を図れ、また、画像が流出したとしても真にプライバシーを保護できる画像処理装置、カメラ装置、通信システム、画像処理方法、およびプログラムを提供することにある。
【課題を解決するための手段】
【００１９】
本発明の第１の観点の画像処理装置は、撮像した画像を元に顔を検出する顔検出器と、
上記顔検出器で検出した顔またはその背景の画像に対してプライバシー保護のためのプライバシーマスク処理を施す機能を有する出力処理部と、を有し、上記出力処理部は、上記プライバシーマスク処理されたまたはプライバシーマスク処理がされていない、上記顔検出器で検出した顔とその背景の画像を別々に出力する機能を含む。
【００２０】
好適には、上記出力処理部は、検出した顔の領域を切り出した画像と、その背景の画像とに分離し、分離した画像を別々に出力可能である。
【００２１】
好適には、上記出力処理部は、プライバシーマスク処理を施した領域を切り出した画像、およびその背景の画像を、それぞれ別の画像として出力可能である。
【００２２】
好適には、上記出力処理部は、画像における顔を検出した領域情報、またはプライバシーマスク処理を施した領域情報、またはプライバシーマスクを施していない領域情報を、該当する画像と同期して出力可能である。
【００２３】
好適には、上記出力処理部は、切り出された領域を任意の色に塗りつぶすことが可能で、画像における顔を検出した領域情報、またはプライバシーマスク処理を施した領域情報、またはプライバシーマスクを施していない領域情報、または背景の画像における塗りつぶした領域情報を、該当する画像と同期して出力可能である。
【００２４】
本発明の第２の観点のカメラ装置は、撮像素子と、上記撮像素子に被写体像を結像する光学系と、上記撮像素子で撮像した画像に画像処理を施す画像処理装置と、を有し、上記画像処理装置は、撮像した画像を元に顔を検出する顔検出器と、上記顔検出器で検出した顔またはその背景の画像に対してプライバシー保護のためのプライバシーマスク処理を施す機能を有する出力処理部と、を有し、上記出力処理部は、上記プライバシーマスク処理されたまたはプライバシーマスク処理がされていない、上記顔検出器で検出した顔とその背景の画像を別々に出力する機能を含む。
【００２５】
本発明の第３の観点の通信システムは、カメラ装置と、当該カメラ装置で撮像された画像データを送信する送信装置を含む送信系と、通信経路を介して上記送信系から送信された画像データを受信する受信装置を含む受信系と、を有し、上記送信系において、上記カメラ装置は、撮像素子と、上記撮像素子に被写体像を結像する光学系と、上記撮像素子で撮像した画像に画像処理を施す画像処理装置と、を有し、上記画像処理装置は、撮像した画像を元に顔を検出する顔検出器と、上記顔検出器で検出した顔またはその背景の画像に対してプライバシー保護のためのプライバシーマスク処理を施す機能を有する出力処理部と、を有し、上記出力処理部は、上記プライバシーマスク処理されたまたはプライバシーマスク処理がされていない、検出した顔の領域を切り出した画像と、その背景の画像とに分離し、分離した画像を別々に出力可能であり、プライバシーマスク処理を施した領域を切り出した画像、およびその背景の画像を、それぞれ別の画像として出力可能であり、画像における顔を検出した領域情報、またはプライバシーマスク処理を施した領域情報、またはプライバシーマスクを施していない領域情報を、該当する画像と同期して出力可能であり、上記送信装置は、少なくとも顔と同じタイミングで撮像し分離した背景の画像を送信し、上記受信系の受信装置は、少なくとも上記送信された背景の画像を受信する。
【００２６】
好適には、上記送信系の送信装置は、同じタイミングで撮像し分離した背景の画像と、その領域情報と、切り出した顔の画像を送信し、上記受信系の受信装置は、上記送信された背景の画像と、その領域情報と、切り出した画像を受信し、領域情報を基に背景の画像に、上記切り出した画像を合成することで、１枚の画像を作り出す。
【００２７】
好適には、上記受信系の受信装置は、上記送信された背景の画像と、その領域情報を受信し、領域情報を基に背景の画像にアバターを合成することで、１枚の画像を作り出す。
【００２８】
好適には、上記カメラ装置の出力処理部は、切り出された領域を任意の色に塗りつぶすことが可能で、上記送信装置は、上記背景の画像を送信し、上記受信系の受信装置は、上記送信された背景の画像を受信し、検出された当該背景の画像から切り出した画像の領域情報を基に背景の画像にアバターを合成するとで、１枚の画像を作り出す。
【００２９】
好適には、上記通信経路における所定の機器において、上記送信系の送信装置から送信された画像に対して所定の画像を合成して、受信装置に送信し、上記受信系の受信装置は、上記通信経路の所定の機器で合成された画像を受信する。
【００３０】
好適には、通信経路における所定の機器にて、上記領域情報を基に、プライバシーを保護する画像を受信装置に送信し、上記受信系の受信装置は、プライバシーマスク処理を施していない画像に合成、またはブレンド処理し、１枚の画像を作り出す。
【００３１】
好適には、通信経路における所定の機器にて、上記領域情報を基に、上記アバターの画像を受信装置に送信する。
【００３２】
好適には、通信経路における所定の機器にて、背景の画像から切り出した画像の領域を検出し、当該検出結果を基にアバターの画像を受信装置に送信する。
【００３３】
本発明の第４の観点は、少なくとも顔検出器で検出した顔の画像およびその背景の画像を出力する処理を行う画像処理方法であって、上記顔検出器で撮像した画像を元に顔を検出するステップと、上記検出した顔またはその背景の画像に対してプライバシー保護のためのプライバシーマスク処理を施すステップと、上記プライバシーマスク処理されたまたはプライバシーマスク処理がされていない、上記検出した顔とその背景の画像を別々に出力するステップとを有する。
【００３４】
本発明の第５の観点は、少なくとも顔検出機能において検出した顔の画像およびその背景の画像を出力する処理を行う画像処理であって、撮像した画像を元に顔を検出する処理と、検出した顔またはその背景の画像に対してプライバシー保護のためのプライバシーマスク処理を施す処理と、上記プライバシーマスク処理されたまたはプライバシーマスク処理がされていない、上記検出した顔とその背景の画像を別々に出力する処理とをコンピュータに実行させるプログラムである。
【００３５】
本発明によれば、撮像した画像を元に顔検出器にて顔を検出し、検出した顔、またはその背景の画像に対しモザイク・ぼかし・塗り潰し等のプライバシーマスク処理を施す。
そして、検出した顔、およびその背景の画像を別々に出力し、かつ背景に対する検出した顔の領域を出力する。
【発明の効果】
【００３６】
本発明によれば、コスト増を招くことなく、コスト増を招くことなく、処理や制御のおける遅延時間を短縮でき、リアルタイム性の向上を図れる。
また、画像が流出したとしても真にプライバシーを保護することができる。
【発明を実施するための最良の形態】
【００３７】
以下、本発明の実施形態を図面に関連付けて説明する。
【００３８】
図１は、本発明の実施形態に係る画像処理装置を採用したカメラ装置の構成例を示すブロック図である。
【００３９】
本実施形態に係るカメラ装置１０は、図１に示すように、光学系１１、撮像素子（イメージングセンサ）１２、カメラ信号処理部１３、画像メモリ１４、縮小回路１５、顔検出用画像メモリ１６、顔検出器１７、出力処理部１８、および制御部としてのマイクロコンピュータ（マイコン）１９を有する。
【００４０】
本実施形態に係るカメラ装置１０は、マイクロコンピュータ１９の制御の下、撮像した画像を元に顔検出器１７にて顔を検出し、出力処理部１８において、検出した顔、またはその背景の画像に対しモザイク・ぼかし・塗り潰し等のプライバシーマスク処理を施すことによりプライバシーを保護する機能を備え、かつ検出した顔、およびその背景の画像を別々に出力でき、かつ背景に対する検出した顔の領域を出力することが可能な装置として構成されている。
【００４１】
カメラ装置１０は、検出した顔の領域を切り出した画像と、その背景（本実施形態においては、切り出された領域は任意の単色に塗り潰すことが可能）の画像とに分離し、それらを別々に出力することが可能に構成される。
無論、上記を分離せず別々に出力しないことも可能である。ここで言う別々に出力するは、別系統の出力でもよく、時分割に出力してもよい。
【００４２】
カメラ装置１０は、モザイク・ぼかし・塗り潰し等のプライバシーマスク処理を施した領域を切り出した画像、およびその背景（本実施形態においては、切り出された領域は任意の単色に塗り潰すことが可能）の画像を、それぞれ別の画像として出力することが可能に構成される。
無論、この場合も、上記を分離せず別々に出力しないことも可能である。ここで言うそれぞれの画像は、別系統の出力でもよく、時分割に出力してもよい。
【００４３】
カメラ装置１０は、画像における顔を検出した領域情報、またはプライバシーマスク処理を施した領域情報、またはプライバシーマスクを施していない領域情報（背景にプライバシーマスク処理を施した場合）、または、背景の画像における塗り潰した領域情報を、その画像に同期して出力することが可能に構成される。
ここで言う出力は、カメラ装置内の制御レジスタを外部から読み出してもよく、画像出力とは別の系から出力してもよく、デジタル画像データである場合、その領域情報をメタデータとして画像中に埋め込んでもよい。
また、この場合も上述したと同様に、画像を分離する/しないにかかわらない。
【００４４】
以下、本実施形態に係るカメラ装置１０の具体的な構成および機能について説明する。
【００４５】
光学系１１は、たとえばレンズ１１１を含み、レンズ１１１を通した被写体像を撮像素子１２の撮像面に結像させる。
【００４６】
撮像素子１２は、たとえばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｙｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）デバイスであるイメージングセンサにより構成される。
撮像素子１２は、半導体基板上にマトリクス状に配列した光センサにより光学系１１による被写体像を検出して信号電荷を生成し、同信号電荷を垂直信号線や水平信号線を介して読み出して被写体のデジタル画像信号をカメラ信号処理部１３に出力する。
【００４７】
カメラ信号処理部１３は、カラー補間、ホワイトバランス、ＹＣｂＣｒ変換処理、圧縮、ファイリング等の処理を施した画像（以降、元画像という）ＩＭＯＲとして、画像メモリ１４、および縮小回路１５に出力する。
【００４８】
画像メモリ１４には、元画像が格納される。
画像メモリ１４に格納される元画像は、出力処理部１８において元画像は画像メモリに格納され、プライバシーマスク処理、画像切り出し（分離）、フォーマット変換等を経て外部に出力される。
なお、元画像を格納する画像メモリ１４はプライバシーマスク処理、画像切り出し（分離）、フォーマット変換等を時分割に複数回処理するためのものであり、必ずしも必要な訳ではない。
ここでは、あくまで例として示している。
【００４９】
縮小回路１５は、カメラ信号処理部１３による元画像ＩＭＯＲ（における全領域、または分割し切り出した領域を任意の縮小率にて縮小したり、分割し単に切り出した画像を顔検出用画像メモリ１６に格納する。
縮小回路１５は、たとえばマイクロコンピュータ１９により設定される画像の分割、切り出し領域の設定情報や縮小率の情報を用いて、元画像ＩＭＯＲの全画像領域を分割（4/9/16/25/36分割等）し、その分割した画像をそれぞれ時分割に顔検出器１７に与える。
なお、このとき、縮小後の画像サイズは顔検出器１７が処理可能なサイズである。
【００５０】
顔検出器１７は、マイクロコンピュータ１９により設定される検出する顔サイズや領域などの情報を用いて、画像メモリ１７２内に格納された画像を元に顔を検出する。
顔検出器１７における検出位置や顔サイズなどの検出結果はマイクロコンピュータに与えられる。
なお、顔検出器１７はソフトウェア、ハードウェアどちらで実装してもよく、アルゴリズムや回路構成などは公知・既存のものでよい。
【００５１】
出力処理部１８は、歪み補正回路１４から出力された、元画像に歪み補正、切り出し、合成等が施された画像データにガンマ処理、マスク処理、フォーマット変換等を施して外部に出力する。
【００５２】
図１の出力処理部１８は、プライバシーマスク処理部１８１、画像切り出し部１８２、およびフォーマット変換部１８３を有する。
【００５３】
プライバシーマスク処理部１８１は、顔検出結果に基づくマイクロコンピュータ１９の制御の下、画像メモリ１４に格納された元画像の検出された顔、またはその背景の画像に対しモザイク・ぼかし・塗り潰し等のプライバシーマスク処理を施す。
【００５４】
画像切り出し部１８２は、マイクロコンピュータ１９の制御の下、たとえば検出した顔の領域を切り出した画像、その背景の画像、モザイク・ぼかし・塗り潰し等のプライバシーマスク処理を施した領域を切り出した画像、その背景の画像を切り出ししてフォーマット変換部１８３に出力する。
【００５５】
フォーマット変換部１８３は、画像切り出し部１８２による切り出し画像に対してフォーマット変換処理を施し、その画像を領域情報と共に同期して出力する。
領域情報としては、画像における顔を検出した領域情報、またはプライバシーマスク処理を施した領域情報、またはプライバシーマスクを施していない領域情報（背景にプライバシーマスク処理を施した場合）、または、背景の画像における塗り潰した領域情報が含まれる。
【００５６】
なお、プライバシーマスク処理はソフトウェア、ハードウェアどちらで実装してもよく、アルゴリズムや回路構成などは公知・既存のものでよい。
また、ここではプライバシーマスク処理部１８１の出力を２系統、および切り出し部１８２、およびフォーマット変換部１８３の出力を４系統としたが、系統数は何系統でもよく、また、それらを時分割に出力するような構成や制御をしてもよい。
【００５７】
マイクロコンピュータ１９は、縮小回路１５における画像の分割、切り出し領域の設定や縮小率の設定を行い、画像の分割、切り出し処理や縮小処理を制御する機能を有する。
マイクロコンピュータ１９は、顔検出器１７における検出する顔サイズや領域などの設定を行い、顔検出処理を制御する機能を有し、位置や顔サイズなどの検出結果を取得する。
【００５８】
マイクロコンピュータ１９は、顔検出器１７への制御を行い、顔の検出結果、すなわち元画像における顔を検出した領域を取得し、その結果を元にプライバシーマスク処理部１８１への制御を行い、場合によっては画像切り出し部１８２においてその画像を切り出し、または抜き出し（分離）し、それらの画像を別系統として出力するための制御を行う。
【００５９】
なお、本実施形態においては、元画像における顔を検出した領域、またはプライバシーマスク処理を施した領域、または抜き出した領域において、マイクロコンピュータ１９との外部ＩＦ（インターフェース）にて出力することとしている。
ただし、この構成に限ることなく、別途出力を設けそこから画像データに同期して出力してもよく、またフォーマット変換部において画像データ内にメタデータとして、その情報を埋め込んでもよい。
【００６０】
以下、本実施形態に係る撮像した画像に対するプライバシーマスク処理、画像切り出し、抜き出し処理、領域情報、利用形態等について、より具体的に説明する。
【００６１】
まず、プライバシーマスク処理について図２に関連付けて説明する。
【００６２】
＜プライバシーマスク処理＞
図２（Ａ）〜（Ｍ）は、元画像およびプライバシーマスク処理を施す画像の例を示す図である。
【００６３】
図２においては、図２（Ａ）が元画像を示し、元画像において１つの顔を検出し、その領域にプライバシーマスク処理を施している例を示している。
図２（Ｂ）は顔にモザイク処理を施した例を、図２（Ｃ）は顔の背景にモザイク処理を施した例を、図２（Ｄ）は顔および背景の全てにモザイク処理を施した例を、図２（Ｅ）は顔にぼかし処理を施した例を、図２(Ｆ)は顔の背景にぼかし処理を施した例を、図２（Ｇ）は顔および背景の全てにぼかし処理を施した例を、図２（Ｈ）は顔に単色の塗り潰し処理を施した例を、図２（Ｉ）は顔の背景に単色の塗り潰し処理を施した例を、図２（Ｊ）は顔および背景の全てに単色の塗り潰し処理を施した例を、図２（Ｋ）は顔にブレンド処理を施した例を、図２（Ｌ）は顔の背景にブレンド処理を施した例を、図２（Ｍ）は顔および背景の全てにブレンド処理を施した例を、それぞれ示している。
【００６４】
本実施形態のプライバシーマスク処理部１８１は、図２（Ａ）〜（Ｍ）に示すように、元画像ＩＭＯＲにおける顔を検出した領域、またはその背景の領域に対しプライバシーを保護するための画像処理（モザイク、ぼかし、塗り潰し、ブレンド（透過）処理等）を行う。
【００６５】
なお、図２の例では、元画像において１つの顔を検出し、その領域にプライバシーマスク処理を施しているが、プライバシーマスク処理を施す領域数は何個でもよく（複数の顔が検出された場合は複数の領域に対応してもよい）、その領域に対しプライバシーマスク処理を施さなくてもよく、元画像ＩＭＯＲの全てに対しプライバシーマスク処理を施してもよい。
【００６６】
また、図２ではプライバシーマスク処理を施す領域を、検出した顔とほぼ等しい大きさの四角形としたが、その形は円でも楕円でもよく、大きさも任意でよい。
また、モザイクの幅や、ぼかしの度合い、塗りつぶしの色、ブレンドの色や透過率は任意でよく、かつこれらを組み合わせてもよい。
【００６７】
次に、画像の切り出し、抜き出し処理について、図３〜図５に関連付けて説明する。
【００６８】
＜画像切り出し・抜き出し処理＞
図３は、本実施形態の画像切り出し部の第１の動作例を模式的に示す図である。
図４は、本実施形態の画像切り出し部の第２の動作例を模式的に示す図である。
図５は、本実施形態の画像切り出し部の第３の動作例を模式的に示す図である。
【００６９】
画像切り出し部はプライバシーマスク処理部から入力される画像に対し、任意の領域を切り出したり、または抜き出したり（分離）する。
なお、切り出す領域、または抜き出す領域は、元画像において顔を検出した領域、またはプライバシーマスク処理を施した領域でなくてもよく、大きさも任意でよく、切り出す領域数は何個でもよく（複数の領域に対応してもよい）、その領域を切り出し、または抜き出さなくてもよい。
また、領域の形は一般的な画像処理の都合上、四角形が望ましいが、処理が可能であれば任意である。
【００７０】
図３は、プライバシーマスク処理部１８１にて、元画像ＩＭＯＲにおいて顔を検出した領域に対しモザイクを施した後、画像切り出し部１８２では何もせず出力している例である。
【００７１】
また、図４は、プライバシーマスク処理部１８１の出力ＯＴ１は何の処理もせず、出力ＯＴ２は元画像ＩＭＯＲにおける全ての領域に対しモザイクを施し、その後、画像切り出し部１８２では元画像ＩＭＯＲにおいて顔を検出した領域に対しそれぞれの画像を切り出し、および抜き出した後、出力している例である。
なお、抜き出した領域は任意の色に塗り潰される。
【００７２】
また、図５は、プライバシーマスク処理部１８１では何の処理も行わず、画像切り出し部１８２では元画像において顔を検出した領域を抜き出した後、出力している例である。
なお、抜き出した領域は任意の色に塗り潰される。
【００７３】
＜領域情報＞
領域情報とは、元画像における顔を検出した領域、またはプライバシーマスク処理を施した領域、または抜き出した領域を示すための情報で、元画像における水平開始位置とその幅、および垂直開始位置とその幅、または水平開始位置とその終了位置、および垂直開始位置とその終了位置等を示している。
なお、出力する領域情報は以下で説明する利用形態により任意である。
【００７４】
次に、上記構成を有するカメラ装置１０の利用形態について説明する。
【００７５】
＜カメラ装置の利用形態＞
本実施形態に係るカメラ装置１０は、カメラ装置１０を用いテレビ電話、テレビ会議、ビデオチャット等において、プライバシーを保護する場合、主に３つの利用形態を挙げることができる。
【００７６】
＜第１の利用形態＞
第１の利用形態は、全ての受信装置に対し送信者のプライバシーを保護する利用形態である。
これは図３の例のように、カメラ装置１０自体からプライバシーマスク処理を施した画像を出力させ、その画像をそれぞれの受信装置に向け送信し、受信装置は単にその画像を受信し表示する。
なお、このとき、領域情報も同時に送信してもよい。
【００７７】
＜第２の利用形態＞
図６は、本実施形態に係るカメラ装置の第２の利用形態の通信システムの構成例を示す図である。
【００７８】
本通信システム１００は、送信系２００と、受信系３００とがネットワーク４００を介して通信可能に構成されている。
送信系２００は、本実施形態に係るカメラ装置１０と、カメラ装置１０の出力をネットワーク４００に対して送信する送信装置２１０を含んで構成される。
受信系３００は、受信装置３１０、３２０，３３０，３４０を有し、各受信装置３１０〜３４０は、それぞれ画像合成機能を有する合成処理部３１１，３２１，３３１，３４１を含んで構成される。
【００７９】
送信系２００の送信装置２１０は、同じタイミングで撮像し分離した背景の画像ＩＭ２，ＩＭ４と、その領域情報ＡＩ２，ＡＩ４と、切り出した画像ＩＭ１，ＩＭ３を、受信系３００の受信装置３１０，３２０，３３０，３４０に向け送信する。
【００８０】
図６の例では、切り出し画像ＩＭ１はプライバシーマスク処理が施されていない顔の画像であり、切り出し画像ＩＭ３はプライバシーマスク処理としてモザイク処理が施された顔の画像である。
また、背景画像ＩＭ２は、顔の切り出し画像ＩＭ１を抜き出した画像であり、背景画像ＩＭ４は顔の切り出し画像ＩＭ３を抜き出した画像である。
【００８１】
受信装置３１０，３２０，３３０，３４０は、その背景の画像ＩＭ２，ＩＭ４と、その領域情報ＡＲ２，ＡＲ４と、切り出した画像ＩＭ１，ＩＭ３を受信し、領域情報を基に背景の画像に切り出した画像を合成処理部３１１，３２１，３３１，３４１で合成することで、１枚の画像を作り出す。
【００８２】
図６の例では、受信装置３１０で切り出し画像ＩＭ１と背景画像ＩＭ２が受信される。そして、合成処理部３１１で合成処理が行われ、プライバシーマスク処理なしの画像が生成される（復元される）。
受信装置３２０で切り出し画像ＩＭ３と背景画像ＩＭ２が受信される。そして、合成処理部３２１で合成処理が行われ、顔のみにモザイク処理が施された画像が生成される(復元される)。
受信装置３３０で切り出し画像ＩＭ１と背景画像ＩＭ４が受信される。そして、合成処理部３３１で合成処理が行われ、背景にモザイク処理が施された画像が生成される(復元される)。
受信装置３４０で切り出し画像ＩＭ３と背景画像ＩＭ４が受信される。そして、合成処理部３４１で合成処理が行われ、顔および背景の全てにモザイク処理が施された画像が生成される(復元される)。
【００８３】
このように本通信システム１００は、真のプライバシーの保護を可能にすることが可能に構成されている。
背景の画像とその領域情報は画像データにメタデータとして埋め込んでもよい。
なお、本実施形態においては、背景の画像、切り出した画像、およびプライバシーマスク処理を施していない画像、プライバシーマスク処理を施した画像は、それぞれ別の通信データとなる。
ここで言う通信システムは、図６に示すように、ネットワーク４００も含み、上記の通信データは既存の通信プロトコルに準拠してもよく、上記の画像データは既存の画像（圧縮）フォーマットでもよい。
【００８４】
このように、第２の利用形態は、任意の受信装置に対しては送信者のプライバシーを保護せず、任意の受信装置に対しては送信者のプライバシーを保護する、というような利用形態である。
これは図４のように、カメラ装置１０からプライバシーマスク処理を施していない切り出し画像、およびプライバシーマスク処理を施していない抜き出し画像とその領域情報、およびカメラからプライバシーマスク処理を施した切り出し画像、およびプライバシーマスク処理を施した抜き出し画像とその領域情報を出力させる。
そして、図６のように、それらの画像および領域情報をそれぞれの受信装置３１０〜３４０に向け送信し、受信装置３１０〜３４０は、受信した抜き出し画像とその領域情報、および切り出した画像を受信し、領域情報を基に背景の画像に切り出した画像を合成し、表示する。
これにより、受信系３００において、単に受信した切り出した画像と、抜き出し画像を合成するだけで、任意の受信装置毎に、送信者の意図したそれぞれのプライバシーの保護ができることになる。
【００８５】
なお、ここでは例として送信する画像データを４種類としたが、用途によって種類数は任意である。
たとえば受信装置３１０，３２０とだけ通信を行っている場合、図６の画像データＩＭ１，ＩＭ２，ＩＭ３の３種類でよい。
また、送信装置から送信する画像データは、それぞれの受信装置に対しそれぞれ送信するのではなく、一般的に通信制御装置（通信サーバー）にて複数の受信装置に同報（ブロードキャスト）通信できるため、受信装置が何台であろうと、送信装置は必要種類数の画像データを１回分、送信すればよいことは言うまでもない。
【００８６】
＜第３の利用形態＞
図７は、本実施形態に係るカメラ装置の第３の利用形態の通信システムの構成例を示す図である。
【００８７】
第３の利用形態においては、送信装置２１０は撮像した背景の画像（この場合、切り出した領域は任意の単色に塗り潰される）ＩＭ２を受信装置３１０等に向け送信し、受信装置３１０等はその背景の画像を受信し、その背景の画像から切り出した画像の領域を検出し、それを元に背景の画像にアバター（アニメーションキャラクタ）ＡＮＭを合成処理部３１１等で合成することで、１枚の画像を作り出す。
本例では、領域情報や切り出した画像を通信しない。
また、上述したと同様に、通信システム１００Ａはネットワーク４００も含み、上記の通信データは既存の通信プロトコルに準拠してもよく、上記の画像データは既存の画像（圧縮）フォーマットでもよい。
なお、アバターＡＮＭを用いることをプライバシーの保護と捕らえてもよく、アミューズメントと捕らえてもよい。
【００８８】
このように、第３の利用形態としては、全ての受信装置に対し、送信者をアバターとすることにより、送信者のプライバシーを保護する利用形態である。
これは図５のように、カメラ装置１０から顔を検出した領域を抜き出した画像とその領域情報を出力させ、図７のように、その画像および領域情報をそれぞれの受信装置に向け送信し、受信装置は、受信した抜き出し画像とその領域情報を基に背景の画像にアバターＡＮＭの画像を合成し、表示する。
なお、カメラ装置１０から顔を検出した領域を抜き出した画像のみを出力させ（領域情報を使わず）、その画像のみをそれぞれの受信装置に向け送信し、受信装置は、受信した抜き出し画像における抜き出した領域を、クロマキー（特定の色を検出する技術）等により検出し、それを元に背景の画像にアバター合成し、表示してもよい。
なお、クロマキーにより抜き出し領域を検出するアルゴリズムや回路構成などは任意である。
【００８９】
＜利用形態の応用＞
以上の利用形態は組み合わせて利用してもよい。
たとえば、第１の利用形態において、領域情報を送信し、ある受信装置はそのまま表示し、ある受信装置は領域情報を基にアバターにする、等が考えられる。
また、先にも述べたが、切り出す画像の数や、抜き出された領域の数は任意である。
なお、この場合、送信する画像の種類や数が多くなることや、合成する画像の数が多くなることは言うまでもない。
【００９０】
次に、画像の合成方法について述べる。
【００９１】
＜画像の合成方法＞
図８は、画像の合成方法を説明するための第１図である。
図９は、画像の合成方法を説明するための第２図である。
図１０は、画像の合成方法を説明するための第３図である。
【００９２】
第２および第３の利用形態において、切り出した画像と、抜き出した画像を合成するには、図８のように抜き出した画像に対し、領域情報から得られる水平開始位置や垂直開始位置等を元に、切り出した画像を上書きすればよい。
ただし、通信により切り出した画像と、抜き出し画像を圧縮し、復元した結果、上記の方法ではそれぞれの画像の境界が目立ってしまう可能性がある。
このような場合、図９のように切り出す画像に任意の幅のマージン（余白）を設けて切り出し、合成時にその幅の領域を、抜き出し画像とブレンド（透過）処理すればよい。
なお、ブレンド（透過）処理のアルゴリズムや回路構成などは任意である。
【００９３】
また、この時、領域情報は、送受信装置ともあらかじめ決められた任意の幅のマージンを設けていることを、既知として処理してもよいし、送信装置から別途、幅のマージン情報を受信装置に向け、送信してもよく、メタデータとして画像データに埋め込んでもよい。
【００９４】
また、第３の利用形態において、アバターの画像と、抜き出し画像を合成するには、図１０のように切り出した領域を包含する様な大きさのアバターの画像を、領域情報から得られる水平開始位置や垂直開始位置等を元に、アバターの画像の余白の領域は上書きせず、アバターの画像のキャラクタの領域は上書きすればよい。
なお、アバターの画像にα値（透過率）を設け、ブレンド（透過）処理してもよい。たとえば、余白の領域はαを１００％とし、キャラクタの領域はαを０％とすればよい。
【００９５】
＜画像を合成する機器について＞
上述の利用形態においては、例として画像を合成する機器を受信装置としたが、通信経路におけるいずれかの機器（送信装置、パーソナルコンピュータ（ＰＣ）、通信制御装置（通信サーバー）、ＷＥＢサーバー等含む）にて画像（第３の利用形態の場合はアバター）を合成してもよい。
【００９６】
＜アバターの画像について＞
図１１にＷＥＢサーバーが、領域情報を基にアバターの画像を、受信装置に送信する例を示す図である。
【００９７】
第３の利用形態において、例としてアバターの画像は受信装置が用意し、それを合成するとしたが、通信経路におけるいずれかの機器（送信装置、パーソナルコンピュータ（ＰＣ）、通信制御装置（通信サーバー）、ＷＥＢサーバー等含む）が、領域情報ＡＩを元に、アバターの画像を受信装置に送信し、受信装置はそれらの画像を合成してもよい。
すなわち、たとえば図１１に示すように、ＷＥＢサーバー５００が、領域情報ＡＩを元にアバターＡＮＭの画像を、受信装置に送信することも可能である。
【００９８】
以上説明したように、本実施形態によれば、以下の効果を得ることができる。
カメラ装置自体がプライバシーを保護した画像を出力するため、たとえ通信システム内に記録装置があったとしても、保存される（一時的含む）画像は、プライバシーマスクを施した画像となるため、悪意のあるユーザーによる画像データの盗み出しや、ネットワークからのハッキング行為にて、画像が流出したとしても、真にプライバシーを保護できる。
【００９９】
カメラ装置自体から様々な種類の画像、およびその領域情報を出力するため、送信装置における顔検出機能が不要になり、システムコストを大幅に削減でき、および処理や制御における負荷を軽減でき、処理や制御における遅延時間を大幅に短縮できるため、リアルタイム性が向上する。
【０１００】
カメラ装置自体から切り出した画像、および抜き出した画像とその領域情報を、送信装置から送信し、受信装置にて、それらを合成することにより、プライバシーマスク処理を施した画像を表示する場合、通信制御装置（通信サーバー）がプライバシーマスク処理を施す機能が不要になり、かつ場合によっては複数種類のプライバシーマスク処理を施した画像をそれぞれの受信装置に対し、送信する必要もなくなり、システムコストを大幅に削減でき、および処理や制御における負荷を軽減でき、処理や制御における遅延時間を大幅に短縮できるため、リアルタイム性が向上する。
なお、本発明では上記の場合、通信制御装置（通信サーバー）は、単にパケットをルーティング、または同報（ブロードキャスト）するのみでよいため、負荷や遅延は従来の通信制御装置と変わらない。
また、画像を復元する必要がないので、様々な圧縮方式をサポートする必要もない。
【０１０１】
カメラ装置自体から様々な種類の画像、およびその領域情報を出力させ、それらを送信装置から送信した場合、それぞれの受信装置は単に受信した画像を合成するだけで、受信者に応じた、送信者における様々なプライバシーの保護を簡易に実現できる。
【０１０２】
カメラ装置自体から切り出した画像、および抜き出した画像を、送信装置から送信し場合、まず切り出した画像の画素数は少なくなるため、画像データの容量は小さくなり、かつ抜き出した画像は圧縮する際、一般的に画像中に単色の無地の領域があると圧縮効率が向上するため、結果、画像データの容量は小さくなる。
そのため、通信制御装置（通信サーバー）からプライバシーマスク処理を施したほぼ同容量の画像データを受信装置に送信する場合に比べ、大幅に通信トラフィックが低減するため、リアルタイム性が向上する。
【０１０３】
また、カメラ装置自体から抜き出した画像、およびその領域情報を出力し、アバターで表示させる場合、上述したと同様に、大幅に通信トラフィックが低減するため、リアルタイム性が向上する。
【０１０４】
また、領域情報を基にＷＥＢサーバーからアバターの画像を受信装置に送信するような用途も、リアルタイム性も犠牲にせず、簡易に実現できる。
なお、この場合、受信装置内にアバターの画像を用意する必要がなくなる。
【０１０５】
以上のことから、プライバシーを保護し、かつそれぞれの受信者に対し送信者が意図した様々なプライバシーの保護が可能になり、かつ送受信装置、パーソナルコンピュータ（ＰＣ）、通信制御装置：通信サーバー、ＷＥＢサーバー等含む通信システムの負荷が少なく、通信トラフィックも少なく、リアルタイム性の高い、通信システムを簡易に実現でき、そのコストも大幅に削減できる。
【０１０６】
なお、本発明は、基本的に、一般的なＤＳＣや監視カメラなど、光学ズームの有無や固定焦点等に関わらず、カメラ全般を対象とすることが可能であることはもとより、広角撮像が可能なカメラに対しても、適用可能である。
【０１０７】
なお、以上詳細に説明した方法は、上記手順に応じたプログラムとして形成し、ＣＰＵ等のコンピュータで実行するように構成することも可能である。
また、このようなプログラムは、半導体メモリ、磁気ディスク、光ディスク、フロッピー（登録商標）ディスク等の記録媒体、この記録媒体をセットしたコンピュータによりアクセスし上記プログラムを実行するように構成可能である。
【図面の簡単な説明】
【０１０８】
【図１】本発明の実施形態に係る画像処理装置を採用したカメラ装置の構成例を示すブロック図である。
【図２】元画像およびプライバシーマスク処理を施す画像の例を示す図である。
【図３】本実施形態の画像切り出し部の第１の動作例を模式的に示す図である。
【図４】本実施形態の画像切り出し部の第２の動作例を模式的に示す図である。
【図５】本実施形態の画像切り出し部の第３の動作例を模式的に示す図である。
【図６】本実施形態に係るカメラ装置の第２の利用形態の通信システムの構成例を示す図である。
【図７】本実施形態に係るカメラ装置の第３の利用形態の通信システムの構成例を示す図である。
【図８】画像の合成方法を説明するための第１図である。
【図９】画像の合成方法を説明するための第２図である。
【図１０】画像の合成方法を説明するための第３図である。
【図１１】ＷＥＢサーバーが、領域情報を基にアバターの画像を、受信装置に送信する例を示す図である。
【符号の説明】
【０１０９】
１０・・・カメラ装置、１１・・・光学系、１１１・・・レンズ、１２・・・撮像素子、１３・・・カメラ信号処理部、１４・・・画像メモリ、１５・・・縮小回路、１６・・・顔検出用画像メモリ、１７・・・顔検出器、１８・・・出力処理部、１８１・・・プライバシーマスク処理部、１８２・・・画像切り出し部、１８３・・・フォーマット変換部、１９・・・マイクロコンピュータ（マイコン）、１００，１００Ａ，１００Ｂ・・・通信システム、２００・・・送信系、３００・・・受信系、４００・・・ネットワーク、５００・・・ＷＥＢサーバー。
【技術分野】
【０００１】
本発明は、撮像された画像から顔を検出する機能を有し、画像を用いる通信に適用可能な画像処理装置、カメラ装置、通信システム、画像処理方法、およびプログラムに関するものである。
【背景技術】
【０００２】
撮像素子（イメージングセンサ）により撮像した画像から被写体の顔を検出する顔検出器を備えたカメラ装置が実用に供されている。
【０００３】
また、画像を用いた通信としては、テレビジョン(以下、テレビ)電話、テレビ会議システム、ビデオメール、ビデオチャット等、種々の形態のもが実用に供されている。
これらのいずれにおいても、被写体の顔およびその背景を撮像し、その撮像画像を通信先に送信するように構成される。
【０００４】
また、特許文献１には、公衆網を経由して多地点の間で映像データを交換するためのシステムであって、多地点に存在する有限個の通信装置と、有限個の通信装置の各々の間での映像データの交換を中継する通信制御装置を有し、有限個の通信装置の間に閉じて映像データが交換される通信システム等が提案されている。
【特許文献１】特許３８３８５０６号
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、テレビ電話、テレビ会議、ビデオチャット等は、被写体が自分である場合、自分の顔を捉えた画像データが何ら処理されることなく通信相手に送信されて通信相手のディスプレイに表示されてしまう。
このため、自分の顔を通信相手に見られたくないことを希望する利用者にとっては、プライバシーを保護することができず、利用者に精神的な苦痛を与えていた。
【０００６】
また、このような装置を家庭やオフィスで用いる際に、家庭あるいはオフィス内の様子を送信したくない場合においても、自分の姿と共に通信相手に知られてしまい、プライバシー保護やオフィス内の機密を保護するという点で具合が悪いという問題があった。
【０００７】
また、特許文献１における通信装置（図１等）において、画像入力手段がカメラであった場合、撮像した画像を領域抽出手段により顔を検出することになるが、まず検出対象とする画像をキャプチャする必要がありそのための遅延が生じる。
また、画像から顔を検出する機能は一般的に処理に時間が掛かるため、その遅延時間も生じる。
また、顔検出した結果を元にメタデータとして加工し、その画像と共に送信データ処理を経て通信手段にて通信経路に送信するが、メタデータに加工する分、遅延時間が生じる。
以上のことから、特許文献１に開示された技術では、通信装置での処理による遅延時間が多大になり、かつ、通信装置の負荷は多大になる。
【０００８】
また、以上の処理を動画(３０ｆｐｓ等)に対応し、かつ高画素の画像に対応するとなると、通信装置での処理による遅延時間や、負荷はいっそう膨大になる。
なお、この負荷を軽減するために高性能な通信装置を用いた場合、遅延時間や負荷は軽減できるが、システム的なコストが増大する。
また、以上の処理では画像をキャプチャするメモリを遅延時間分用意しなければならず、一般的に画像メモリは大容量となるため、システム的なコストが増大する。
また、以上を鑑みると、最悪、動画のフレームレートが低下し、かつリアルタイム性が損なわれ、視認に耐えなくなる可能性があり、実用的でなくなる可能性がある。
【０００９】
また、カメラで撮像したそのままの画像（いわゆるプライバシーマスク処理を施していない画像）が、通信装置、または通信経路中で、一時的にせよ何らかの記録手段に保存することになるが、この画像が悪意のあるユーザーにより盗み出されたり、またはネットワークからのハッキング行為により流出する可能性もあり、この観点でみた場合、真にプライバシーを保護できていない。
【００１０】
一方、多地点における複数ユーザーが、画像による通信を行う通信方法として、集中制御装置を用いたテレビ会議システムがある。
しかし、このような多地点におけるテレビ会議システムにおいて、プライバシーを保護する技術を適用する場合、プライバシー保護のために背景を除去若しくは顔領域を加工すると、会議に参加する全てのメンバーに対して、一様に背景を除去若しくは顔領域を加工した映像が送信されることになる。
【００１１】
また、多地点における複数ユーザーが、画像による通信を行うシステムには、ＷＥＢにおけるビデオチャットの様に不特定の利用者が参加する形態があるが、このような場合、背景を除去若しくは顔領域を加工した映像を通信相手に応じて制御したいという要求がある。たとえば、特定の画像通信端末の利用者に対しては顔を見せてもよいが、それ以外の利用者には顔を見せたくないという場合が考えられる。
【００１２】
同様に、ビジネス用途における多地点間のテレビ会議システムにおいても、社内の利用者と社外の利用者が混在する場合、社内の利用者には背景まで見せてもよいが社外の利用者には背景を除去して通信するということが考えられる。
【００１３】
特許文献１における通信システム(図１６等)通信システムにおいて、通信制御装置がメタデータからプライバシーマスク処理を施す場合、まずパケット化された画像データ1枚分全てを受信しなければならず、そのための通信遅延が生じる。
次に取得した画像データは一般的に圧縮（ｍｐｅｇ、ｊｐｅｇ等）されており、それを元の画像に復元しなければプライバシーマスク処理を施すことができず、さらにプライバシーマスク処理を施した後は、同様の画像圧縮処理を行わなければならず、そのための処理遅延が生じる。
次に、プライバシーマスク処理を施し圧縮した画像データは、同様にパケット化し、画像データ1枚分全てを送信しなければならず、そのための通信遅延が生じる。
以上のことから、通信制御装置での処理による遅延時間が多大になり、かつ、通信制御装置の負荷は多大になる。
【００１４】
また、以上の処理を動画(３０ｆｐｓ等)に対応し、かつ高画素の画像に対応し、かつ複数のユーザーからの通信に対応するとなると、通信制御装置での処理による遅延時間や、負荷はいっそう膨大になる。
なお、この負荷を軽減するために高性能な通信制御装置を用いた場合、遅延時間や負荷は軽減できるが、システム的なコストが増大する。
また、画像データの圧縮方式は一般的に多岐に渡り、かつ対応可能なその方式はユーザーやＷＥＢサイトに依存するため、それらを包含した通信制御装置をサポートすることは、運営面においてもメンテナンスなど、コストが増大する。
【００１５】
また、通信制御装置において、プライバシーマスク処理を施していない画像、および顔にプライバシーマスク処理を施した画像、および背景にプライバシーマスク処理を施し画像など、オリジナルの画像と画素数で同容量（ファイル容量でほぼ同等）の画像データを何種類分も処理し、送信しなければならない場合がある。
この場合、通信トラフィック量が多大になることは明白であり、かつ以上を鑑みると、最悪、動画のフレームレートが低下し、かつリアルタイム性が損なわれ、視認に耐えなくなる可能性があり、実用的でなくなる可能性がある。
【００１６】
また、特許文献１における通信システム(図１８等)において、通信装置Ａから通信制御装置を経て通信網に接続した場合、ここで言う通信制御装置はいわゆる通信サーバーに相当するものであり、一般的に高価である。
このような高価な機器を全てのユーザーが購入することは極めて難しい。
また、一般的に通信サーバーを設置するには高度な技術が必要であり、一般的なユーザーが設置し稼動させることは困難である。
【００１７】
また、ある一定ユーザー数の割合にて、通信制御装置を設置することも考えられるが、上記と同様に通信サーバーは一般的に高価であり、それを何台も設置するのはコストが増大し、かつ稼動させるとなると運営面においてもメンテナンスなど、コストが増大する。
【００１８】
本発明は、コスト増を招くことなく、処理や制御のおける遅延時間を短縮でき、リアルタイム性の向上を図れ、また、画像が流出したとしても真にプライバシーを保護できる画像処理装置、カメラ装置、通信システム、画像処理方法、およびプログラムを提供することにある。
【課題を解決するための手段】
【００１９】
本発明の第１の観点の画像処理装置は、撮像した画像を元に顔を検出する顔検出器と、
上記顔検出器で検出した顔またはその背景の画像に対してプライバシー保護のためのプライバシーマスク処理を施す機能を有する出力処理部と、を有し、上記出力処理部は、上記プライバシーマスク処理されたまたはプライバシーマスク処理がされていない、上記顔検出器で検出した顔とその背景の画像を別々に出力する機能を含む。
【００２０】
好適には、上記出力処理部は、検出した顔の領域を切り出した画像と、その背景の画像とに分離し、分離した画像を別々に出力可能である。
【００２１】
好適には、上記出力処理部は、プライバシーマスク処理を施した領域を切り出した画像、およびその背景の画像を、それぞれ別の画像として出力可能である。
【００２２】
好適には、上記出力処理部は、画像における顔を検出した領域情報、またはプライバシーマスク処理を施した領域情報、またはプライバシーマスクを施していない領域情報を、該当する画像と同期して出力可能である。
【００２３】
好適には、上記出力処理部は、切り出された領域を任意の色に塗りつぶすことが可能で、画像における顔を検出した領域情報、またはプライバシーマスク処理を施した領域情報、またはプライバシーマスクを施していない領域情報、または背景の画像における塗りつぶした領域情報を、該当する画像と同期して出力可能である。
【００２４】
本発明の第２の観点のカメラ装置は、撮像素子と、上記撮像素子に被写体像を結像する光学系と、上記撮像素子で撮像した画像に画像処理を施す画像処理装置と、を有し、上記画像処理装置は、撮像した画像を元に顔を検出する顔検出器と、上記顔検出器で検出した顔またはその背景の画像に対してプライバシー保護のためのプライバシーマスク処理を施す機能を有する出力処理部と、を有し、上記出力処理部は、上記プライバシーマスク処理されたまたはプライバシーマスク処理がされていない、上記顔検出器で検出した顔とその背景の画像を別々に出力する機能を含む。
【００２５】
本発明の第３の観点の通信システムは、カメラ装置と、当該カメラ装置で撮像された画像データを送信する送信装置を含む送信系と、通信経路を介して上記送信系から送信された画像データを受信する受信装置を含む受信系と、を有し、上記送信系において、上記カメラ装置は、撮像素子と、上記撮像素子に被写体像を結像する光学系と、上記撮像素子で撮像した画像に画像処理を施す画像処理装置と、を有し、上記画像処理装置は、撮像した画像を元に顔を検出する顔検出器と、上記顔検出器で検出した顔またはその背景の画像に対してプライバシー保護のためのプライバシーマスク処理を施す機能を有する出力処理部と、を有し、上記出力処理部は、上記プライバシーマスク処理されたまたはプライバシーマスク処理がされていない、検出した顔の領域を切り出した画像と、その背景の画像とに分離し、分離した画像を別々に出力可能であり、プライバシーマスク処理を施した領域を切り出した画像、およびその背景の画像を、それぞれ別の画像として出力可能であり、画像における顔を検出した領域情報、またはプライバシーマスク処理を施した領域情報、またはプライバシーマスクを施していない領域情報を、該当する画像と同期して出力可能であり、上記送信装置は、少なくとも顔と同じタイミングで撮像し分離した背景の画像を送信し、上記受信系の受信装置は、少なくとも上記送信された背景の画像を受信する。
【００２６】
好適には、上記送信系の送信装置は、同じタイミングで撮像し分離した背景の画像と、その領域情報と、切り出した顔の画像を送信し、上記受信系の受信装置は、上記送信された背景の画像と、その領域情報と、切り出した画像を受信し、領域情報を基に背景の画像に、上記切り出した画像を合成することで、１枚の画像を作り出す。
【００２７】
好適には、上記受信系の受信装置は、上記送信された背景の画像と、その領域情報を受信し、領域情報を基に背景の画像にアバターを合成することで、１枚の画像を作り出す。
【００２８】
好適には、上記カメラ装置の出力処理部は、切り出された領域を任意の色に塗りつぶすことが可能で、上記送信装置は、上記背景の画像を送信し、上記受信系の受信装置は、上記送信された背景の画像を受信し、検出された当該背景の画像から切り出した画像の領域情報を基に背景の画像にアバターを合成するとで、１枚の画像を作り出す。
【００２９】
好適には、上記通信経路における所定の機器において、上記送信系の送信装置から送信された画像に対して所定の画像を合成して、受信装置に送信し、上記受信系の受信装置は、上記通信経路の所定の機器で合成された画像を受信する。
【００３０】
好適には、通信経路における所定の機器にて、上記領域情報を基に、プライバシーを保護する画像を受信装置に送信し、上記受信系の受信装置は、プライバシーマスク処理を施していない画像に合成、またはブレンド処理し、１枚の画像を作り出す。
【００３１】
好適には、通信経路における所定の機器にて、上記領域情報を基に、上記アバターの画像を受信装置に送信する。
【００３２】
好適には、通信経路における所定の機器にて、背景の画像から切り出した画像の領域を検出し、当該検出結果を基にアバターの画像を受信装置に送信する。
【００３３】
本発明の第４の観点は、少なくとも顔検出器で検出した顔の画像およびその背景の画像を出力する処理を行う画像処理方法であって、上記顔検出器で撮像した画像を元に顔を検出するステップと、上記検出した顔またはその背景の画像に対してプライバシー保護のためのプライバシーマスク処理を施すステップと、上記プライバシーマスク処理されたまたはプライバシーマスク処理がされていない、上記検出した顔とその背景の画像を別々に出力するステップとを有する。
【００３４】
本発明の第５の観点は、少なくとも顔検出機能において検出した顔の画像およびその背景の画像を出力する処理を行う画像処理であって、撮像した画像を元に顔を検出する処理と、検出した顔またはその背景の画像に対してプライバシー保護のためのプライバシーマスク処理を施す処理と、上記プライバシーマスク処理されたまたはプライバシーマスク処理がされていない、上記検出した顔とその背景の画像を別々に出力する処理とをコンピュータに実行させるプログラムである。
【００３５】
本発明によれば、撮像した画像を元に顔検出器にて顔を検出し、検出した顔、またはその背景の画像に対しモザイク・ぼかし・塗り潰し等のプライバシーマスク処理を施す。
そして、検出した顔、およびその背景の画像を別々に出力し、かつ背景に対する検出した顔の領域を出力する。
【発明の効果】
【００３６】
本発明によれば、コスト増を招くことなく、コスト増を招くことなく、処理や制御のおける遅延時間を短縮でき、リアルタイム性の向上を図れる。
また、画像が流出したとしても真にプライバシーを保護することができる。
【発明を実施するための最良の形態】
【００３７】
以下、本発明の実施形態を図面に関連付けて説明する。
【００３８】
図１は、本発明の実施形態に係る画像処理装置を採用したカメラ装置の構成例を示すブロック図である。
【００３９】
本実施形態に係るカメラ装置１０は、図１に示すように、光学系１１、撮像素子（イメージングセンサ）１２、カメラ信号処理部１３、画像メモリ１４、縮小回路１５、顔検出用画像メモリ１６、顔検出器１７、出力処理部１８、および制御部としてのマイクロコンピュータ（マイコン）１９を有する。
【００４０】
本実施形態に係るカメラ装置１０は、マイクロコンピュータ１９の制御の下、撮像した画像を元に顔検出器１７にて顔を検出し、出力処理部１８において、検出した顔、またはその背景の画像に対しモザイク・ぼかし・塗り潰し等のプライバシーマスク処理を施すことによりプライバシーを保護する機能を備え、かつ検出した顔、およびその背景の画像を別々に出力でき、かつ背景に対する検出した顔の領域を出力することが可能な装置として構成されている。
【００４１】
カメラ装置１０は、検出した顔の領域を切り出した画像と、その背景（本実施形態においては、切り出された領域は任意の単色に塗り潰すことが可能）の画像とに分離し、それらを別々に出力することが可能に構成される。
無論、上記を分離せず別々に出力しないことも可能である。ここで言う別々に出力するは、別系統の出力でもよく、時分割に出力してもよい。
【００４２】
カメラ装置１０は、モザイク・ぼかし・塗り潰し等のプライバシーマスク処理を施した領域を切り出した画像、およびその背景（本実施形態においては、切り出された領域は任意の単色に塗り潰すことが可能）の画像を、それぞれ別の画像として出力することが可能に構成される。
無論、この場合も、上記を分離せず別々に出力しないことも可能である。ここで言うそれぞれの画像は、別系統の出力でもよく、時分割に出力してもよい。
【００４３】
カメラ装置１０は、画像における顔を検出した領域情報、またはプライバシーマスク処理を施した領域情報、またはプライバシーマスクを施していない領域情報（背景にプライバシーマスク処理を施した場合）、または、背景の画像における塗り潰した領域情報を、その画像に同期して出力することが可能に構成される。
ここで言う出力は、カメラ装置内の制御レジスタを外部から読み出してもよく、画像出力とは別の系から出力してもよく、デジタル画像データである場合、その領域情報をメタデータとして画像中に埋め込んでもよい。
また、この場合も上述したと同様に、画像を分離する/しないにかかわらない。
【００４４】
以下、本実施形態に係るカメラ装置１０の具体的な構成および機能について説明する。
【００４５】
光学系１１は、たとえばレンズ１１１を含み、レンズ１１１を通した被写体像を撮像素子１２の撮像面に結像させる。
【００４６】
撮像素子１２は、たとえばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｙｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）デバイスであるイメージングセンサにより構成される。
撮像素子１２は、半導体基板上にマトリクス状に配列した光センサにより光学系１１による被写体像を検出して信号電荷を生成し、同信号電荷を垂直信号線や水平信号線を介して読み出して被写体のデジタル画像信号をカメラ信号処理部１３に出力する。
【００４７】
カメラ信号処理部１３は、カラー補間、ホワイトバランス、ＹＣｂＣｒ変換処理、圧縮、ファイリング等の処理を施した画像（以降、元画像という）ＩＭＯＲとして、画像メモリ１４、および縮小回路１５に出力する。
【００４８】
画像メモリ１４には、元画像が格納される。
画像メモリ１４に格納される元画像は、出力処理部１８において元画像は画像メモリに格納され、プライバシーマスク処理、画像切り出し（分離）、フォーマット変換等を経て外部に出力される。
なお、元画像を格納する画像メモリ１４はプライバシーマスク処理、画像切り出し（分離）、フォーマット変換等を時分割に複数回処理するためのものであり、必ずしも必要な訳ではない。
ここでは、あくまで例として示している。
【００４９】
縮小回路１５は、カメラ信号処理部１３による元画像ＩＭＯＲ（における全領域、または分割し切り出した領域を任意の縮小率にて縮小したり、分割し単に切り出した画像を顔検出用画像メモリ１６に格納する。
縮小回路１５は、たとえばマイクロコンピュータ１９により設定される画像の分割、切り出し領域の設定情報や縮小率の情報を用いて、元画像ＩＭＯＲの全画像領域を分割（4/9/16/25/36分割等）し、その分割した画像をそれぞれ時分割に顔検出器１７に与える。
なお、このとき、縮小後の画像サイズは顔検出器１７が処理可能なサイズである。
【００５０】
顔検出器１７は、マイクロコンピュータ１９により設定される検出する顔サイズや領域などの情報を用いて、画像メモリ１７２内に格納された画像を元に顔を検出する。
顔検出器１７における検出位置や顔サイズなどの検出結果はマイクロコンピュータに与えられる。
なお、顔検出器１７はソフトウェア、ハードウェアどちらで実装してもよく、アルゴリズムや回路構成などは公知・既存のものでよい。
【００５１】
出力処理部１８は、歪み補正回路１４から出力された、元画像に歪み補正、切り出し、合成等が施された画像データにガンマ処理、マスク処理、フォーマット変換等を施して外部に出力する。
【００５２】
図１の出力処理部１８は、プライバシーマスク処理部１８１、画像切り出し部１８２、およびフォーマット変換部１８３を有する。
【００５３】
プライバシーマスク処理部１８１は、顔検出結果に基づくマイクロコンピュータ１９の制御の下、画像メモリ１４に格納された元画像の検出された顔、またはその背景の画像に対しモザイク・ぼかし・塗り潰し等のプライバシーマスク処理を施す。
【００５４】
画像切り出し部１８２は、マイクロコンピュータ１９の制御の下、たとえば検出した顔の領域を切り出した画像、その背景の画像、モザイク・ぼかし・塗り潰し等のプライバシーマスク処理を施した領域を切り出した画像、その背景の画像を切り出ししてフォーマット変換部１８３に出力する。
【００５５】
フォーマット変換部１８３は、画像切り出し部１８２による切り出し画像に対してフォーマット変換処理を施し、その画像を領域情報と共に同期して出力する。
領域情報としては、画像における顔を検出した領域情報、またはプライバシーマスク処理を施した領域情報、またはプライバシーマスクを施していない領域情報（背景にプライバシーマスク処理を施した場合）、または、背景の画像における塗り潰した領域情報が含まれる。
【００５６】
なお、プライバシーマスク処理はソフトウェア、ハードウェアどちらで実装してもよく、アルゴリズムや回路構成などは公知・既存のものでよい。
また、ここではプライバシーマスク処理部１８１の出力を２系統、および切り出し部１８２、およびフォーマット変換部１８３の出力を４系統としたが、系統数は何系統でもよく、また、それらを時分割に出力するような構成や制御をしてもよい。
【００５７】
マイクロコンピュータ１９は、縮小回路１５における画像の分割、切り出し領域の設定や縮小率の設定を行い、画像の分割、切り出し処理や縮小処理を制御する機能を有する。
マイクロコンピュータ１９は、顔検出器１７における検出する顔サイズや領域などの設定を行い、顔検出処理を制御する機能を有し、位置や顔サイズなどの検出結果を取得する。
【００５８】
マイクロコンピュータ１９は、顔検出器１７への制御を行い、顔の検出結果、すなわち元画像における顔を検出した領域を取得し、その結果を元にプライバシーマスク処理部１８１への制御を行い、場合によっては画像切り出し部１８２においてその画像を切り出し、または抜き出し（分離）し、それらの画像を別系統として出力するための制御を行う。
【００５９】
なお、本実施形態においては、元画像における顔を検出した領域、またはプライバシーマスク処理を施した領域、または抜き出した領域において、マイクロコンピュータ１９との外部ＩＦ（インターフェース）にて出力することとしている。
ただし、この構成に限ることなく、別途出力を設けそこから画像データに同期して出力してもよく、またフォーマット変換部において画像データ内にメタデータとして、その情報を埋め込んでもよい。
【００６０】
以下、本実施形態に係る撮像した画像に対するプライバシーマスク処理、画像切り出し、抜き出し処理、領域情報、利用形態等について、より具体的に説明する。
【００６１】
まず、プライバシーマスク処理について図２に関連付けて説明する。
【００６２】
＜プライバシーマスク処理＞
図２（Ａ）〜（Ｍ）は、元画像およびプライバシーマスク処理を施す画像の例を示す図である。
【００６３】
図２においては、図２（Ａ）が元画像を示し、元画像において１つの顔を検出し、その領域にプライバシーマスク処理を施している例を示している。
図２（Ｂ）は顔にモザイク処理を施した例を、図２（Ｃ）は顔の背景にモザイク処理を施した例を、図２（Ｄ）は顔および背景の全てにモザイク処理を施した例を、図２（Ｅ）は顔にぼかし処理を施した例を、図２(Ｆ)は顔の背景にぼかし処理を施した例を、図２（Ｇ）は顔および背景の全てにぼかし処理を施した例を、図２（Ｈ）は顔に単色の塗り潰し処理を施した例を、図２（Ｉ）は顔の背景に単色の塗り潰し処理を施した例を、図２（Ｊ）は顔および背景の全てに単色の塗り潰し処理を施した例を、図２（Ｋ）は顔にブレンド処理を施した例を、図２（Ｌ）は顔の背景にブレンド処理を施した例を、図２（Ｍ）は顔および背景の全てにブレンド処理を施した例を、それぞれ示している。
【００６４】
本実施形態のプライバシーマスク処理部１８１は、図２（Ａ）〜（Ｍ）に示すように、元画像ＩＭＯＲにおける顔を検出した領域、またはその背景の領域に対しプライバシーを保護するための画像処理（モザイク、ぼかし、塗り潰し、ブレンド（透過）処理等）を行う。
【００６５】
なお、図２の例では、元画像において１つの顔を検出し、その領域にプライバシーマスク処理を施しているが、プライバシーマスク処理を施す領域数は何個でもよく（複数の顔が検出された場合は複数の領域に対応してもよい）、その領域に対しプライバシーマスク処理を施さなくてもよく、元画像ＩＭＯＲの全てに対しプライバシーマスク処理を施してもよい。
【００６６】
また、図２ではプライバシーマスク処理を施す領域を、検出した顔とほぼ等しい大きさの四角形としたが、その形は円でも楕円でもよく、大きさも任意でよい。
また、モザイクの幅や、ぼかしの度合い、塗りつぶしの色、ブレンドの色や透過率は任意でよく、かつこれらを組み合わせてもよい。
【００６７】
次に、画像の切り出し、抜き出し処理について、図３〜図５に関連付けて説明する。
【００６８】
＜画像切り出し・抜き出し処理＞
図３は、本実施形態の画像切り出し部の第１の動作例を模式的に示す図である。
図４は、本実施形態の画像切り出し部の第２の動作例を模式的に示す図である。
図５は、本実施形態の画像切り出し部の第３の動作例を模式的に示す図である。
【００６９】
画像切り出し部はプライバシーマスク処理部から入力される画像に対し、任意の領域を切り出したり、または抜き出したり（分離）する。
なお、切り出す領域、または抜き出す領域は、元画像において顔を検出した領域、またはプライバシーマスク処理を施した領域でなくてもよく、大きさも任意でよく、切り出す領域数は何個でもよく（複数の領域に対応してもよい）、その領域を切り出し、または抜き出さなくてもよい。
また、領域の形は一般的な画像処理の都合上、四角形が望ましいが、処理が可能であれば任意である。
【００７０】
図３は、プライバシーマスク処理部１８１にて、元画像ＩＭＯＲにおいて顔を検出した領域に対しモザイクを施した後、画像切り出し部１８２では何もせず出力している例である。
【００７１】
また、図４は、プライバシーマスク処理部１８１の出力ＯＴ１は何の処理もせず、出力ＯＴ２は元画像ＩＭＯＲにおける全ての領域に対しモザイクを施し、その後、画像切り出し部１８２では元画像ＩＭＯＲにおいて顔を検出した領域に対しそれぞれの画像を切り出し、および抜き出した後、出力している例である。
なお、抜き出した領域は任意の色に塗り潰される。
【００７２】
また、図５は、プライバシーマスク処理部１８１では何の処理も行わず、画像切り出し部１８２では元画像において顔を検出した領域を抜き出した後、出力している例である。
なお、抜き出した領域は任意の色に塗り潰される。
【００７３】
＜領域情報＞
領域情報とは、元画像における顔を検出した領域、またはプライバシーマスク処理を施した領域、または抜き出した領域を示すための情報で、元画像における水平開始位置とその幅、および垂直開始位置とその幅、または水平開始位置とその終了位置、および垂直開始位置とその終了位置等を示している。
なお、出力する領域情報は以下で説明する利用形態により任意である。
【００７４】
次に、上記構成を有するカメラ装置１０の利用形態について説明する。
【００７５】
＜カメラ装置の利用形態＞
本実施形態に係るカメラ装置１０は、カメラ装置１０を用いテレビ電話、テレビ会議、ビデオチャット等において、プライバシーを保護する場合、主に３つの利用形態を挙げることができる。
【００７６】
＜第１の利用形態＞
第１の利用形態は、全ての受信装置に対し送信者のプライバシーを保護する利用形態である。
これは図３の例のように、カメラ装置１０自体からプライバシーマスク処理を施した画像を出力させ、その画像をそれぞれの受信装置に向け送信し、受信装置は単にその画像を受信し表示する。
なお、このとき、領域情報も同時に送信してもよい。
【００７７】
＜第２の利用形態＞
図６は、本実施形態に係るカメラ装置の第２の利用形態の通信システムの構成例を示す図である。
【００７８】
本通信システム１００は、送信系２００と、受信系３００とがネットワーク４００を介して通信可能に構成されている。
送信系２００は、本実施形態に係るカメラ装置１０と、カメラ装置１０の出力をネットワーク４００に対して送信する送信装置２１０を含んで構成される。
受信系３００は、受信装置３１０、３２０，３３０，３４０を有し、各受信装置３１０〜３４０は、それぞれ画像合成機能を有する合成処理部３１１，３２１，３３１，３４１を含んで構成される。
【００７９】
送信系２００の送信装置２１０は、同じタイミングで撮像し分離した背景の画像ＩＭ２，ＩＭ４と、その領域情報ＡＩ２，ＡＩ４と、切り出した画像ＩＭ１，ＩＭ３を、受信系３００の受信装置３１０，３２０，３３０，３４０に向け送信する。
【００８０】
図６の例では、切り出し画像ＩＭ１はプライバシーマスク処理が施されていない顔の画像であり、切り出し画像ＩＭ３はプライバシーマスク処理としてモザイク処理が施された顔の画像である。
また、背景画像ＩＭ２は、顔の切り出し画像ＩＭ１を抜き出した画像であり、背景画像ＩＭ４は顔の切り出し画像ＩＭ３を抜き出した画像である。
【００８１】
受信装置３１０，３２０，３３０，３４０は、その背景の画像ＩＭ２，ＩＭ４と、その領域情報ＡＲ２，ＡＲ４と、切り出した画像ＩＭ１，ＩＭ３を受信し、領域情報を基に背景の画像に切り出した画像を合成処理部３１１，３２１，３３１，３４１で合成することで、１枚の画像を作り出す。
【００８２】
図６の例では、受信装置３１０で切り出し画像ＩＭ１と背景画像ＩＭ２が受信される。そして、合成処理部３１１で合成処理が行われ、プライバシーマスク処理なしの画像が生成される（復元される）。
受信装置３２０で切り出し画像ＩＭ３と背景画像ＩＭ２が受信される。そして、合成処理部３２１で合成処理が行われ、顔のみにモザイク処理が施された画像が生成される(復元される)。
受信装置３３０で切り出し画像ＩＭ１と背景画像ＩＭ４が受信される。そして、合成処理部３３１で合成処理が行われ、背景にモザイク処理が施された画像が生成される(復元される)。
受信装置３４０で切り出し画像ＩＭ３と背景画像ＩＭ４が受信される。そして、合成処理部３４１で合成処理が行われ、顔および背景の全てにモザイク処理が施された画像が生成される(復元される)。
【００８３】
このように本通信システム１００は、真のプライバシーの保護を可能にすることが可能に構成されている。
背景の画像とその領域情報は画像データにメタデータとして埋め込んでもよい。
なお、本実施形態においては、背景の画像、切り出した画像、およびプライバシーマスク処理を施していない画像、プライバシーマスク処理を施した画像は、それぞれ別の通信データとなる。
ここで言う通信システムは、図６に示すように、ネットワーク４００も含み、上記の通信データは既存の通信プロトコルに準拠してもよく、上記の画像データは既存の画像（圧縮）フォーマットでもよい。
【００８４】
このように、第２の利用形態は、任意の受信装置に対しては送信者のプライバシーを保護せず、任意の受信装置に対しては送信者のプライバシーを保護する、というような利用形態である。
これは図４のように、カメラ装置１０からプライバシーマスク処理を施していない切り出し画像、およびプライバシーマスク処理を施していない抜き出し画像とその領域情報、およびカメラからプライバシーマスク処理を施した切り出し画像、およびプライバシーマスク処理を施した抜き出し画像とその領域情報を出力させる。
そして、図６のように、それらの画像および領域情報をそれぞれの受信装置３１０〜３４０に向け送信し、受信装置３１０〜３４０は、受信した抜き出し画像とその領域情報、および切り出した画像を受信し、領域情報を基に背景の画像に切り出した画像を合成し、表示する。
これにより、受信系３００において、単に受信した切り出した画像と、抜き出し画像を合成するだけで、任意の受信装置毎に、送信者の意図したそれぞれのプライバシーの保護ができることになる。
【００８５】
なお、ここでは例として送信する画像データを４種類としたが、用途によって種類数は任意である。
たとえば受信装置３１０，３２０とだけ通信を行っている場合、図６の画像データＩＭ１，ＩＭ２，ＩＭ３の３種類でよい。
また、送信装置から送信する画像データは、それぞれの受信装置に対しそれぞれ送信するのではなく、一般的に通信制御装置（通信サーバー）にて複数の受信装置に同報（ブロードキャスト）通信できるため、受信装置が何台であろうと、送信装置は必要種類数の画像データを１回分、送信すればよいことは言うまでもない。
【００８６】
＜第３の利用形態＞
図７は、本実施形態に係るカメラ装置の第３の利用形態の通信システムの構成例を示す図である。
【００８７】
第３の利用形態においては、送信装置２１０は撮像した背景の画像（この場合、切り出した領域は任意の単色に塗り潰される）ＩＭ２を受信装置３１０等に向け送信し、受信装置３１０等はその背景の画像を受信し、その背景の画像から切り出した画像の領域を検出し、それを元に背景の画像にアバター（アニメーションキャラクタ）ＡＮＭを合成処理部３１１等で合成することで、１枚の画像を作り出す。
本例では、領域情報や切り出した画像を通信しない。
また、上述したと同様に、通信システム１００Ａはネットワーク４００も含み、上記の通信データは既存の通信プロトコルに準拠してもよく、上記の画像データは既存の画像（圧縮）フォーマットでもよい。
なお、アバターＡＮＭを用いることをプライバシーの保護と捕らえてもよく、アミューズメントと捕らえてもよい。
【００８８】
このように、第３の利用形態としては、全ての受信装置に対し、送信者をアバターとすることにより、送信者のプライバシーを保護する利用形態である。
これは図５のように、カメラ装置１０から顔を検出した領域を抜き出した画像とその領域情報を出力させ、図７のように、その画像および領域情報をそれぞれの受信装置に向け送信し、受信装置は、受信した抜き出し画像とその領域情報を基に背景の画像にアバターＡＮＭの画像を合成し、表示する。
なお、カメラ装置１０から顔を検出した領域を抜き出した画像のみを出力させ（領域情報を使わず）、その画像のみをそれぞれの受信装置に向け送信し、受信装置は、受信した抜き出し画像における抜き出した領域を、クロマキー（特定の色を検出する技術）等により検出し、それを元に背景の画像にアバター合成し、表示してもよい。
なお、クロマキーにより抜き出し領域を検出するアルゴリズムや回路構成などは任意である。
【００８９】
＜利用形態の応用＞
以上の利用形態は組み合わせて利用してもよい。
たとえば、第１の利用形態において、領域情報を送信し、ある受信装置はそのまま表示し、ある受信装置は領域情報を基にアバターにする、等が考えられる。
また、先にも述べたが、切り出す画像の数や、抜き出された領域の数は任意である。
なお、この場合、送信する画像の種類や数が多くなることや、合成する画像の数が多くなることは言うまでもない。
【００９０】
次に、画像の合成方法について述べる。
【００９１】
＜画像の合成方法＞
図８は、画像の合成方法を説明するための第１図である。
図９は、画像の合成方法を説明するための第２図である。
図１０は、画像の合成方法を説明するための第３図である。
【００９２】
第２および第３の利用形態において、切り出した画像と、抜き出した画像を合成するには、図８のように抜き出した画像に対し、領域情報から得られる水平開始位置や垂直開始位置等を元に、切り出した画像を上書きすればよい。
ただし、通信により切り出した画像と、抜き出し画像を圧縮し、復元した結果、上記の方法ではそれぞれの画像の境界が目立ってしまう可能性がある。
このような場合、図９のように切り出す画像に任意の幅のマージン（余白）を設けて切り出し、合成時にその幅の領域を、抜き出し画像とブレンド（透過）処理すればよい。
なお、ブレンド（透過）処理のアルゴリズムや回路構成などは任意である。
【００９３】
また、この時、領域情報は、送受信装置ともあらかじめ決められた任意の幅のマージンを設けていることを、既知として処理してもよいし、送信装置から別途、幅のマージン情報を受信装置に向け、送信してもよく、メタデータとして画像データに埋め込んでもよい。
【００９４】
また、第３の利用形態において、アバターの画像と、抜き出し画像を合成するには、図１０のように切り出した領域を包含する様な大きさのアバターの画像を、領域情報から得られる水平開始位置や垂直開始位置等を元に、アバターの画像の余白の領域は上書きせず、アバターの画像のキャラクタの領域は上書きすればよい。
なお、アバターの画像にα値（透過率）を設け、ブレンド（透過）処理してもよい。たとえば、余白の領域はαを１００％とし、キャラクタの領域はαを０％とすればよい。
【００９５】
＜画像を合成する機器について＞
上述の利用形態においては、例として画像を合成する機器を受信装置としたが、通信経路におけるいずれかの機器（送信装置、パーソナルコンピュータ（ＰＣ）、通信制御装置（通信サーバー）、ＷＥＢサーバー等含む）にて画像（第３の利用形態の場合はアバター）を合成してもよい。
【００９６】
＜アバターの画像について＞
図１１にＷＥＢサーバーが、領域情報を基にアバターの画像を、受信装置に送信する例を示す図である。
【００９７】
第３の利用形態において、例としてアバターの画像は受信装置が用意し、それを合成するとしたが、通信経路におけるいずれかの機器（送信装置、パーソナルコンピュータ（ＰＣ）、通信制御装置（通信サーバー）、ＷＥＢサーバー等含む）が、領域情報ＡＩを元に、アバターの画像を受信装置に送信し、受信装置はそれらの画像を合成してもよい。
すなわち、たとえば図１１に示すように、ＷＥＢサーバー５００が、領域情報ＡＩを元にアバターＡＮＭの画像を、受信装置に送信することも可能である。
【００９８】
以上説明したように、本実施形態によれば、以下の効果を得ることができる。
カメラ装置自体がプライバシーを保護した画像を出力するため、たとえ通信システム内に記録装置があったとしても、保存される（一時的含む）画像は、プライバシーマスクを施した画像となるため、悪意のあるユーザーによる画像データの盗み出しや、ネットワークからのハッキング行為にて、画像が流出したとしても、真にプライバシーを保護できる。
【００９９】
カメラ装置自体から様々な種類の画像、およびその領域情報を出力するため、送信装置における顔検出機能が不要になり、システムコストを大幅に削減でき、および処理や制御における負荷を軽減でき、処理や制御における遅延時間を大幅に短縮できるため、リアルタイム性が向上する。
【０１００】
カメラ装置自体から切り出した画像、および抜き出した画像とその領域情報を、送信装置から送信し、受信装置にて、それらを合成することにより、プライバシーマスク処理を施した画像を表示する場合、通信制御装置（通信サーバー）がプライバシーマスク処理を施す機能が不要になり、かつ場合によっては複数種類のプライバシーマスク処理を施した画像をそれぞれの受信装置に対し、送信する必要もなくなり、システムコストを大幅に削減でき、および処理や制御における負荷を軽減でき、処理や制御における遅延時間を大幅に短縮できるため、リアルタイム性が向上する。
なお、本発明では上記の場合、通信制御装置（通信サーバー）は、単にパケットをルーティング、または同報（ブロードキャスト）するのみでよいため、負荷や遅延は従来の通信制御装置と変わらない。
また、画像を復元する必要がないので、様々な圧縮方式をサポートする必要もない。
【０１０１】
カメラ装置自体から様々な種類の画像、およびその領域情報を出力させ、それらを送信装置から送信した場合、それぞれの受信装置は単に受信した画像を合成するだけで、受信者に応じた、送信者における様々なプライバシーの保護を簡易に実現できる。
【０１０２】
カメラ装置自体から切り出した画像、および抜き出した画像を、送信装置から送信し場合、まず切り出した画像の画素数は少なくなるため、画像データの容量は小さくなり、かつ抜き出した画像は圧縮する際、一般的に画像中に単色の無地の領域があると圧縮効率が向上するため、結果、画像データの容量は小さくなる。
そのため、通信制御装置（通信サーバー）からプライバシーマスク処理を施したほぼ同容量の画像データを受信装置に送信する場合に比べ、大幅に通信トラフィックが低減するため、リアルタイム性が向上する。
【０１０３】
また、カメラ装置自体から抜き出した画像、およびその領域情報を出力し、アバターで表示させる場合、上述したと同様に、大幅に通信トラフィックが低減するため、リアルタイム性が向上する。
【０１０４】
また、領域情報を基にＷＥＢサーバーからアバターの画像を受信装置に送信するような用途も、リアルタイム性も犠牲にせず、簡易に実現できる。
なお、この場合、受信装置内にアバターの画像を用意する必要がなくなる。
【０１０５】
以上のことから、プライバシーを保護し、かつそれぞれの受信者に対し送信者が意図した様々なプライバシーの保護が可能になり、かつ送受信装置、パーソナルコンピュータ（ＰＣ）、通信制御装置：通信サーバー、ＷＥＢサーバー等含む通信システムの負荷が少なく、通信トラフィックも少なく、リアルタイム性の高い、通信システムを簡易に実現でき、そのコストも大幅に削減できる。
【０１０６】
なお、本発明は、基本的に、一般的なＤＳＣや監視カメラなど、光学ズームの有無や固定焦点等に関わらず、カメラ全般を対象とすることが可能であることはもとより、広角撮像が可能なカメラに対しても、適用可能である。
【０１０７】
なお、以上詳細に説明した方法は、上記手順に応じたプログラムとして形成し、ＣＰＵ等のコンピュータで実行するように構成することも可能である。
また、このようなプログラムは、半導体メモリ、磁気ディスク、光ディスク、フロッピー（登録商標）ディスク等の記録媒体、この記録媒体をセットしたコンピュータによりアクセスし上記プログラムを実行するように構成可能である。
【図面の簡単な説明】
【０１０８】
【図１】本発明の実施形態に係る画像処理装置を採用したカメラ装置の構成例を示すブロック図である。
【図２】元画像およびプライバシーマスク処理を施す画像の例を示す図である。
【図３】本実施形態の画像切り出し部の第１の動作例を模式的に示す図である。
【図４】本実施形態の画像切り出し部の第２の動作例を模式的に示す図である。
【図５】本実施形態の画像切り出し部の第３の動作例を模式的に示す図である。
【図６】本実施形態に係るカメラ装置の第２の利用形態の通信システムの構成例を示す図である。
【図７】本実施形態に係るカメラ装置の第３の利用形態の通信システムの構成例を示す図である。
【図８】画像の合成方法を説明するための第１図である。
【図９】画像の合成方法を説明するための第２図である。
【図１０】画像の合成方法を説明するための第３図である。
【図１１】ＷＥＢサーバーが、領域情報を基にアバターの画像を、受信装置に送信する例を示す図である。
【符号の説明】
【０１０９】
１０・・・カメラ装置、１１・・・光学系、１１１・・・レンズ、１２・・・撮像素子、１３・・・カメラ信号処理部、１４・・・画像メモリ、１５・・・縮小回路、１６・・・顔検出用画像メモリ、１７・・・顔検出器、１８・・・出力処理部、１８１・・・プライバシーマスク処理部、１８２・・・画像切り出し部、１８３・・・フォーマット変換部、１９・・・マイクロコンピュータ（マイコン）、１００，１００Ａ，１００Ｂ・・・通信システム、２００・・・送信系、３００・・・受信系、４００・・・ネットワーク、５００・・・ＷＥＢサーバー。
【特許請求の範囲】
【請求項１】
撮像した画像を元に顔を検出する顔検出器と、
上記顔検出器で検出した顔またはその背景の画像に対してプライバシー保護のためのプライバシーマスク処理を施す機能を有する出力処理部と、を有し、
上記出力処理部は、
上記プライバシーマスク処理されたまたはプライバシーマスク処理がされていない、上記顔検出器で検出した顔とその背景の画像を別々に出力する機能を含む
画像処理装置。
【請求項２】
上記出力処理部は、
検出した顔の領域を切り出した画像と、その背景の画像とに分離し、分離した画像を別々に出力可能である
請求項１記載の画像処理装置。
【請求項３】
上記出力処理部は、
プライバシーマスク処理を施した領域を切り出した画像、およびその背景の画像を、それぞれ別の画像として出力可能である
請求項１記載の画像処理装置。
【請求項４】
上記出力処理部は、
画像における顔を検出した領域情報、またはプライバシーマスク処理を施した領域情報、またはプライバシーマスクを施していない領域情報を、該当する画像と同期して出力可能である
請求項１記載の画像処理装置。
【請求項５】
上記出力処理部は、
切り出された領域を任意の色に塗りつぶすことが可能で、
画像における顔を検出した領域情報、またはプライバシーマスク処理を施した領域情報、またはプライバシーマスクを施していない領域情報、または背景の画像における塗りつぶした領域情報を、該当する画像と同期して出力可能である
請求項２記載の画像処理装置。
【請求項６】
撮像素子と、
上記撮像素子に被写体像を結像する光学系と、
上記撮像素子で撮像した画像に画像処理を施す画像処理装置と、を有し、
上記画像処理装置は、
撮像した画像を元に顔を検出する顔検出器と、
上記顔検出器で検出した顔またはその背景の画像に対してプライバシー保護のためのプライバシーマスク処理を施す機能を有する出力処理部と、を有し、
上記出力処理部は、
上記プライバシーマスク処理されたまたはプライバシーマスク処理がされていない、上記顔検出器で検出した顔とその背景の画像を別々に出力する機能を含む
カメラ装置。
【請求項７】
上記出力処理部は、
検出した顔の領域を切り出した画像と、その背景の画像とに分離し、分離した画像を別々に出力可能である
請求項６記載のカメラ装置。
【請求項８】
上記出力処理部は、
プライバシーマスク処理を施した領域を切り出した画像、およびその背景の画像を、それぞれ別の画像として出力可能である
請求項６記載のカメラ装置。
【請求項９】
上記出力処理部は、
画像における顔を検出した領域情報、またはプライバシーマスク処理を施した領域情報、またはプライバシーマスクを施していない領域情報を、該当する画像と同期して出力可能である
請求項６記載のカメラ装置。
【請求項１０】
上記出力処理部は、
切り出された領域を任意の色に塗りつぶすことが可能で、
画像における顔を検出した領域情報、またはプライバシーマスク処理を施した領域情報、またはプライバシーマスクを施していない領域情報、または背景の画像における塗りつぶした領域情報を、該当する画像と同期して出力可能である
請求項７記載のカメラ装置。
【請求項１１】
カメラ装置と、当該カメラ装置で撮像された画像データを送信する送信装置を含む送信系と、
通信経路を介して上記送信系から送信された画像データを受信する受信装置を含む受信系と、を有し、
上記送信系において、
上記カメラ装置は、
撮像素子と、
上記撮像素子に被写体像を結像する光学系と、
上記撮像素子で撮像した画像に画像処理を施す画像処理装置と、を有し、
上記画像処理装置は、
撮像した画像を元に顔を検出する顔検出器と、
上記顔検出器で検出した顔またはその背景の画像に対してプライバシー保護のためのプライバシーマスク処理を施す機能を有する出力処理部と、を有し、
上記出力処理部は、
上記プライバシーマスク処理されたまたはプライバシーマスク処理がされていない、検出した顔の領域を切り出した画像と、その背景の画像とに分離し、分離した画像を別々に出力可能であり、
プライバシーマスク処理を施した領域を切り出した画像、およびその背景の画像を、それぞれ別の画像として出力可能であり、
画像における顔を検出した領域情報、またはプライバシーマスク処理を施した領域情報、またはプライバシーマスクを施していない領域情報を、該当する画像と同期して出力可能であり、
上記送信装置は、
少なくとも顔と同じタイミングで撮像し分離した背景の画像を送信し、
上記受信系の受信装置は、
少なくとも上記送信された背景の画像を受信する
通信システム。
【請求項１２】
上記送信系の送信装置は、
同じタイミングで撮像し分離した背景の画像と、その領域情報と、切り出した顔の画像を送信し、
上記受信系の受信装置は、
上記送信された背景の画像と、その領域情報と、切り出した画像を受信し、領域情報を基に背景の画像に、上記切り出した画像を合成することで、１枚の画像を作り出す
請求項１１記載の通信システム。
【請求項１３】
上記受信系の受信装置は、
上記送信された背景の画像と、その領域情報を受信し、領域情報を基に背景の画像にアバターを合成することで、１枚の画像を作り出す
請求項１１記載の通信システム。
【請求項１４】
上記カメラ装置の出力処理部は、
切り出された領域を任意の色に塗りつぶすことが可能で、
上記送信装置は、
上記背景の画像を送信し、
上記受信系の受信装置は、
上記送信された背景の画像を受信し、検出された当該背景の画像から切り出した画像の領域情報を基に背景の画像にアバターを合成するとで、１枚の画像を作り出す
請求項１１記載の通信システム。
【請求項１５】
上記通信経路における所定の機器において、上記送信系の送信装置から送信された画像に対して所定の画像を合成して、受信装置に送信し、
上記受信系の受信装置は、
上記通信経路の所定の機器で合成された画像を受信する
請求項１１記載の通信システム。
【請求項１６】
通信経路における所定の機器にて、上記領域情報を基に、プライバシーを保護する画像を受信装置に送信し、
上記受信系の受信装置は、
プライバシーマスク処理を施していない画像に合成、またはブレンド処理し、１枚の画像を作り出す
請求項１２記載の通信システム。
【請求項１７】
通信経路における所定の機器にて、上記領域情報を基に、上記アバターの画像を受信装置に送信する
請求項１３記載の通信システム。
【請求項１８】
通信経路における所定の機器にて、背景の画像から切り出した画像の領域を検出し、当該検出結果を基にアバターの画像を受信装置に送信する
請求項１４記載の通信システム。
【請求項１９】
少なくとも顔検出器で検出した顔の画像およびその背景の画像を出力する処理を行う画像処理方法であって、
上記顔検出器で撮像した画像を元に顔を検出するステップと、
上記検出した顔またはその背景の画像に対してプライバシー保護のためのプライバシーマスク処理を施すステップと、
上記プライバシーマスク処理されたまたはプライバシーマスク処理がされていない、上記検出した顔とその背景の画像を別々に出力するステップと
を有する画像処理方法。
【請求項２０】
少なくとも顔検出機能において検出した顔の画像およびその背景の画像を出力する処理を行う画像処理であって、
撮像した画像を元に顔を検出する処理と、
検出した顔またはその背景の画像に対してプライバシー保護のためのプライバシーマスク処理を施す処理と、
上記プライバシーマスク処理されたまたはプライバシーマスク処理がされていない、上記検出した顔とその背景の画像を別々に出力する処理と
をコンピュータに実行させるプログラム。
【請求項１】
撮像した画像を元に顔を検出する顔検出器と、
上記顔検出器で検出した顔またはその背景の画像に対してプライバシー保護のためのプライバシーマスク処理を施す機能を有する出力処理部と、を有し、
上記出力処理部は、
上記プライバシーマスク処理されたまたはプライバシーマスク処理がされていない、上記顔検出器で検出した顔とその背景の画像を別々に出力する機能を含む
画像処理装置。
【請求項２】
上記出力処理部は、
検出した顔の領域を切り出した画像と、その背景の画像とに分離し、分離した画像を別々に出力可能である
請求項１記載の画像処理装置。
【請求項３】
上記出力処理部は、
プライバシーマスク処理を施した領域を切り出した画像、およびその背景の画像を、それぞれ別の画像として出力可能である
請求項１記載の画像処理装置。
【請求項４】
上記出力処理部は、
画像における顔を検出した領域情報、またはプライバシーマスク処理を施した領域情報、またはプライバシーマスクを施していない領域情報を、該当する画像と同期して出力可能である
請求項１記載の画像処理装置。
【請求項５】
上記出力処理部は、
切り出された領域を任意の色に塗りつぶすことが可能で、
画像における顔を検出した領域情報、またはプライバシーマスク処理を施した領域情報、またはプライバシーマスクを施していない領域情報、または背景の画像における塗りつぶした領域情報を、該当する画像と同期して出力可能である
請求項２記載の画像処理装置。
【請求項６】
撮像素子と、
上記撮像素子に被写体像を結像する光学系と、
上記撮像素子で撮像した画像に画像処理を施す画像処理装置と、を有し、
上記画像処理装置は、
撮像した画像を元に顔を検出する顔検出器と、
上記顔検出器で検出した顔またはその背景の画像に対してプライバシー保護のためのプライバシーマスク処理を施す機能を有する出力処理部と、を有し、
上記出力処理部は、
上記プライバシーマスク処理されたまたはプライバシーマスク処理がされていない、上記顔検出器で検出した顔とその背景の画像を別々に出力する機能を含む
カメラ装置。
【請求項７】
上記出力処理部は、
検出した顔の領域を切り出した画像と、その背景の画像とに分離し、分離した画像を別々に出力可能である
請求項６記載のカメラ装置。
【請求項８】
上記出力処理部は、
プライバシーマスク処理を施した領域を切り出した画像、およびその背景の画像を、それぞれ別の画像として出力可能である
請求項６記載のカメラ装置。
【請求項９】
上記出力処理部は、
画像における顔を検出した領域情報、またはプライバシーマスク処理を施した領域情報、またはプライバシーマスクを施していない領域情報を、該当する画像と同期して出力可能である
請求項６記載のカメラ装置。
【請求項１０】
上記出力処理部は、
切り出された領域を任意の色に塗りつぶすことが可能で、
画像における顔を検出した領域情報、またはプライバシーマスク処理を施した領域情報、またはプライバシーマスクを施していない領域情報、または背景の画像における塗りつぶした領域情報を、該当する画像と同期して出力可能である
請求項７記載のカメラ装置。
【請求項１１】
カメラ装置と、当該カメラ装置で撮像された画像データを送信する送信装置を含む送信系と、
通信経路を介して上記送信系から送信された画像データを受信する受信装置を含む受信系と、を有し、
上記送信系において、
上記カメラ装置は、
撮像素子と、
上記撮像素子に被写体像を結像する光学系と、
上記撮像素子で撮像した画像に画像処理を施す画像処理装置と、を有し、
上記画像処理装置は、
撮像した画像を元に顔を検出する顔検出器と、
上記顔検出器で検出した顔またはその背景の画像に対してプライバシー保護のためのプライバシーマスク処理を施す機能を有する出力処理部と、を有し、
上記出力処理部は、
上記プライバシーマスク処理されたまたはプライバシーマスク処理がされていない、検出した顔の領域を切り出した画像と、その背景の画像とに分離し、分離した画像を別々に出力可能であり、
プライバシーマスク処理を施した領域を切り出した画像、およびその背景の画像を、それぞれ別の画像として出力可能であり、
画像における顔を検出した領域情報、またはプライバシーマスク処理を施した領域情報、またはプライバシーマスクを施していない領域情報を、該当する画像と同期して出力可能であり、
上記送信装置は、
少なくとも顔と同じタイミングで撮像し分離した背景の画像を送信し、
上記受信系の受信装置は、
少なくとも上記送信された背景の画像を受信する
通信システム。
【請求項１２】
上記送信系の送信装置は、
同じタイミングで撮像し分離した背景の画像と、その領域情報と、切り出した顔の画像を送信し、
上記受信系の受信装置は、
上記送信された背景の画像と、その領域情報と、切り出した画像を受信し、領域情報を基に背景の画像に、上記切り出した画像を合成することで、１枚の画像を作り出す
請求項１１記載の通信システム。
【請求項１３】
上記受信系の受信装置は、
上記送信された背景の画像と、その領域情報を受信し、領域情報を基に背景の画像にアバターを合成することで、１枚の画像を作り出す
請求項１１記載の通信システム。
【請求項１４】
上記カメラ装置の出力処理部は、
切り出された領域を任意の色に塗りつぶすことが可能で、
上記送信装置は、
上記背景の画像を送信し、
上記受信系の受信装置は、
上記送信された背景の画像を受信し、検出された当該背景の画像から切り出した画像の領域情報を基に背景の画像にアバターを合成するとで、１枚の画像を作り出す
請求項１１記載の通信システム。
【請求項１５】
上記通信経路における所定の機器において、上記送信系の送信装置から送信された画像に対して所定の画像を合成して、受信装置に送信し、
上記受信系の受信装置は、
上記通信経路の所定の機器で合成された画像を受信する
請求項１１記載の通信システム。
【請求項１６】
通信経路における所定の機器にて、上記領域情報を基に、プライバシーを保護する画像を受信装置に送信し、
上記受信系の受信装置は、
プライバシーマスク処理を施していない画像に合成、またはブレンド処理し、１枚の画像を作り出す
請求項１２記載の通信システム。
【請求項１７】
通信経路における所定の機器にて、上記領域情報を基に、上記アバターの画像を受信装置に送信する
請求項１３記載の通信システム。
【請求項１８】
通信経路における所定の機器にて、背景の画像から切り出した画像の領域を検出し、当該検出結果を基にアバターの画像を受信装置に送信する
請求項１４記載の通信システム。
【請求項１９】
少なくとも顔検出器で検出した顔の画像およびその背景の画像を出力する処理を行う画像処理方法であって、
上記顔検出器で撮像した画像を元に顔を検出するステップと、
上記検出した顔またはその背景の画像に対してプライバシー保護のためのプライバシーマスク処理を施すステップと、
上記プライバシーマスク処理されたまたはプライバシーマスク処理がされていない、上記検出した顔とその背景の画像を別々に出力するステップと
を有する画像処理方法。
【請求項２０】
少なくとも顔検出機能において検出した顔の画像およびその背景の画像を出力する処理を行う画像処理であって、
撮像した画像を元に顔を検出する処理と、
検出した顔またはその背景の画像に対してプライバシー保護のためのプライバシーマスク処理を施す処理と、
上記プライバシーマスク処理されたまたはプライバシーマスク処理がされていない、上記検出した顔とその背景の画像を別々に出力する処理と
をコンピュータに実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２００９−１９４６８７（Ｐ２００９−１９４６８７Ａ）
【公開日】平成２１年８月２７日（２００９．８．２７）
【国際特許分類】
【出願番号】特願２００８−３４２９５（Ｐ２００８−３４２９５）
【出願日】平成２０年２月１５日（２００８．２．１５）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２１年８月２７日（２００９．８．２７）
【国際特許分類】
【出願日】平成２０年２月１５日（２００８．２．１５）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]