説明

画像処理装置及び画像処理方法

【課題】遠隔地でも容易にマスク処理を実行する。
【解決手段】端末装置100からの要求に応じてマスク用ID及び該マスク用IDを2次元に符号化した2次元コードを生成するサーバ処理部240と、サーバ処理部240により生成されたマスク用ID及び2次元コードを端末装置100に送信するサーバ通信部250と、端末装置100に表示された映像を撮像するカメラ290と、カメラ290により撮像された映像に付加される前記2次元コードを認識する画像認識部210と、画像認識部210により認識された2次元コードに基づき前記映像のマスク位置を判定し、該マスク位置に前記マスク用IDに応じたマスク処理を実行する画像処理部220とを有するサーバ装置200が提供される。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置及び画像処理方法に関し、特に、マスク処理を行う画像処理装置及び画像処理方法に関する。
【背景技術】
【0002】
俯瞰映像を用いて、遠隔地にいる人と俯瞰映像元にいる人との間で空間を共有するシステムが開発されている。かかるシステムでは、2箇所のオフィスにそれぞれそのオフィスを俯瞰する映像を撮影するカメラと、そのカメラからの映像を双方向配信する映像配信装置と、相手方から配信された映像を表示する端末とから構成されている。
【0003】
このシステムでは、相手のオフィスの人物は写ってもよいが、PC(Personal Computer)のモニタに表示されている内容は遠方の人には見られたくない場合がある。この場合、見られたくない情報部分に画像処理でマスクを掛けることが行われている。
【0004】
近年、個人情報の保護のために、プライバシーマスクという機能が重要視されている(例えば、非特許文献1参照)。非特許文献1は、プライバシーマスクを設定するための機器毎の説明書である。プライバシーマスクは、監視カメラの映像等において、写っては困る部分にかけられる。しかしながら、非特許文献1では、GUI等を用いて画像上に手動で矩形領域の位置を設定することにより、プライバシーマスクをかける領域を設定するため煩雑であり、プライバシーマスクを設定する人に多くの負担を掛けてしまう。
【0005】
そこで、カメラからの映像とデータベースに登録されている画像とを比較照合し、一致する部分に対してマスク処理を行うことにより、写っては困る部分にマスク処理を施す技術も提案されている(例えば、特許文献1参照)。
【先行技術文献】
【非特許文献】
【0006】
【非特許文献1】日立監視用カラービデオカメラ VK−C876取り扱い説明書
【特許文献】
【0007】
【特許文献1】特開2008−84410号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
しかしながら、特許文献1では、上記比較照合のために予めデータベースに登録されている人物の顔とカメラからの映像を比較し、データベースに登録されている人物のみにマスクを掛ける処理を行う。この処理では、同じ形状をしている、又は別々の物体を識別することは困難であり、必ずしも自動化された精度良好なマスク処理が実現されているとはいえない。
【0009】
上記課題に対して、本発明の目的とするところは、遠隔地でも容易にマスク処理を実行することが可能な、新規かつ改良された画像処理装置及び画像処理方法を提供することにある。
【課題を解決するための手段】
【0010】
上記課題を解決するために、本発明のある観点によれば、端末装置からの要求に応じてマスク用ID及び該マスク用IDを2次元に符号化した2次元コードを生成するサーバ処理部と、前記サーバ処理部により生成されたマスク用ID及び2次元コードを前記端末装置に送信するサーバ通信部と、前記端末装置に表示された映像を撮像する撮像部と、
前記撮像部により撮像された映像に付加された前記2次元コードを認識する画像認識部と、前記画像認識部により認識された2次元コードに基づき前記映像のマスク位置を判定し、該マスク位置に前記マスク用IDに応じたマスク処理を実行する画像処理部と、を備えることを特徴とする画像処理装置が提供される。
【0011】
かかる構成によれば、撮像部により端末装置に表示された映像が撮像され、画像認識部により撮像された映像に付加される2次元コードが認識され、認識された2次元コードに基づき、画像処理部により前記映像のマスク位置が判定され、該マスク位置にマスク処理が施される。これにより、端末装置側に表示された映像上の2次元コードを撮像部で取り入れ、前記2次元コードの位置に応じてマスク位置を判定し、該マスク位置に前記マスク用IDに応じたマスク処理を行うことができる。このため、遠隔地でも容易にマスク処理を実行することができる。
【0012】
前記画像認識部により前記2次元コードが1つ認識された場合、前記画像処理部は、前記画像認識部により認識された2次元コードの位置及び大きさに基づき前記映像のマスク位置を判定し、該マスク位置にマスク処理を実行してもよい。
【0013】
前記画像認識部により前記2次元コードが複数認識された場合、前記画像処理部は、前記画像認識部により認識された2次元コードの配置に基づき前記映像のマスク位置を判定し、該マスク位置にマスク処理を実行してもよい。
【0014】
前記サーバ処理部は、マスク用IDとして一時的に使用する一時ID及び該一時IDを2次元に符号化した2次元コードを生成し、サーバ通信部は、前記サーバ処理部により生成された一時及び2次元コードを前記端末装置に送信し、前記画像認識部は、前記撮像部により撮像された映像に付加された前記2次元コードを認識し、前記サーバ処理部は、前記一時IDに応じたマスク用IDを生成し、前記画像処理部は、前記認識された2次元コードに基づき前記映像のマスク位置を判定し、該マスク位置に前記マスク用IDに応じたマスク処理を実行してもよい。
【0015】
前記端末処理部は、前記撮像部と前記端末装置に表示された映像との間に遮蔽物が入っていると判断した場合には、前記遮蔽物が入っている部分をマスク除外領域と判断し、該マスク除外領域に対してマスク処理を行わないようにしてもよい。
【0016】
前記画像処理部は、前記映像が属する属性に応じてマスク処理を実行するかを決定してもよい。
【0017】
前記画像処理部は、前記映像を起動するアプリケーションの種類に応じてマスクの有無を決定してもよい。
【0018】
前記サーバ通信部は、前記生成されたマスク用IDをマスクID(TID)として前記端末装置に保持させ、前記画像処理部は、前記マスク処理後、前記端末装置にマスク完了通知とマスクID(SID)としてのマスク用IDとを送信することにより、前記保持されたマスクID(TID)と前記送信されたマスクID(SID)とに基づき前記端末装置に認証処理を行わせ、前記認証処理が成功した場合、マスク処理後の映像を前記端末装置に送信してもよい。
【0019】
また、上記課題を解決するために、本発明の別の観点によれば、端末装置からの要求に応じてマスク用ID及び該マスク用IDを2次元に符号化した2次元コードを生成するステップと、前記生成されたマスク用ID及び2次元コードを前記端末装置に送信するステップと、前記端末装置に表示された映像を撮像するステップと、前記撮像された映像に付加された前記2次元コードを認識するステップと、前記認識された2次元コードに基づき前記映像のマスク位置を判定し、該マスク位置に前記マスク用IDに応じたマスク処理を実行するステップと、を含むことを特徴とする画像処理方法が提供される。
【0020】
前記生成されたマスク用IDをマスクID(TID)として前記端末装置に保持させるステップと、前記マスク処理後、前記端末装置にマスク完了通知とマスクID(SID)としてのマスク用IDとを送信することにより、前記保持されたマスクID(TID)と前記送信されたマスクID(SID)とに基づき前記端末装置に認証処理を行わせるステップと、前記端末装置によって認証された場合、マスク処理後の映像を前記端末装置に送信するステップと、を含んでもよい。
【発明の効果】
【0021】
以上説明したように本発明によれば、遠隔地でも容易にマスク処理を実行することができ、セキュリティを向上させることができる。
【図面の簡単な説明】
【0022】
【図1】本発明の第1及び第3実施形態に係る画像処理システムの全体構成図である。
【図2】第1実施形態に係る画像処理システムの動作を示したフローチャートである。
【図3】第1実施形態に係るマスク情報保持部の一例を示した図である。
【図4】本発明の第2実施形態に係る画像処理システムの全体構成図である。
【図5】第2実施形態に係る画像処理システムの動作を示したフローチャートである。
【図6】第2実施形態に係る一時ID情報保持部の一例を示した図である。
【図7】第3実施形態に係る画像処理システムの動作を示したフローチャートである。
【図8】第3実施形態に係るマスク情報保持部の一例を示した図である。
【図9】第1〜第3実施形態に係る表示用の2次元コードの一例を示した図である。
【図10】第1〜第3実施形態に係る表示用の2次元コードの他例を示した図である。
【発明を実施するための形態】
【0023】
以下に添付図面を参照しながら、本発明の実施形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0024】
<第1実施形態>
[画像処理システムの構成]
まず、本発明の第1実施形態に係る画像処理システムの全体構成について図1を参照しながら説明する。画像処理システム10は、端末装置100及びサーバ装置200を有する。
【0025】
端末装置100は、被俯瞰地点に設けられ、個人がオフィス等で業務を行うときに使用される。端末装置100は、文書等を表示するためのモニタ190と接続されている。
【0026】
サーバ装置200は、端末装置100と同様に被俯瞰地点に設けられ、画像のマスク処理を行う。サーバ装置200は、端末装置100に表示された映像を撮像するカメラ290と接続されている。具体的には、カメラ290は、オフィス等の俯瞰映像を撮影し、撮影した映像をサーバ装置200に送る。
【0027】
カメラ290は、端末装置100に表示された映像を撮像する撮像部の一例であり、撮像部は、たとえば赤外線を用いて映像を取得する等、カメラ290以外の手段を用いて画像を取り込んでもよい。サーバ装置200は、画像処理装置の一例であり、画像処理装置は必ずしも被俯瞰地点に設けられていなくてもよい。
【0028】
端末装置100とサーバ装置200とはネットワーク400により接続されている。サーバ装置200と遠隔地に配置された画像受信装置300もネットワーク400により接続されている。サーバ装置200は、カメラ290で撮影した映像の所望の位置にマスク処理を行い、遠隔地の画像受信装置300に処理後の画像を送る。
【0029】
[端末装置及びサーバ装置の機能構成]
次に、端末装置100及びサーバ装置200の機能構成についてそれぞれ説明する。端末装置100は、マスクID保持部110、端末処理部120及び端末通信部130を有する。マスクID保持部110は、サーバ装置200から送られたマスクIDを保持する。以下、マスクID保持部110に保持されたマスクIDをマスクID(TID)と称呼する。端末処理部120は、端末装置100にてアプリケーション毎に各種処理を実行する。端末通信部130は、ネットワーク400を介してサーバ装置200と通信する。
【0030】
サーバ装置200は、画像認識部210、画像処理部220、マスク情報保持部230、サーバ処理部240及びサーバ通信部250を有する。画像認識部210は、カメラ290により写し出された映像に付加される2次元コードを認識する。2次元コードは、モニタ190に表示される映像に含まれ、マスクを掛ける領域を定めるために使われる。
【0031】
画像処理部220は、カメラ290からの入力映像に対してマスク処理を行う。より具体的には、画像処理部220は、画像認識部210により認識された2次元コードに基づき映像のマスク位置を判定し、判定されたマスク位置にマスクをかける。
【0032】
マスク情報保持部230は、マスクをかける領域に関連する情報を保持する。マスク情報保持部230の構成を図3に示す。マスク情報保持部230は、マスクID232とマスク領域位置234と端末アドレス236とを格納している。端末アドレス236は、設定条件(2次元コード)付きのマスク処理要求を送信した端末装置のアドレスである。
【0033】
サーバ処理部240は、各種の計算及び処理を行う。たとえば、サーバ処理部240は、端末装置100からの要求に応じてマスクID及び該マスクIDを2次元に符号化した2次元コードを生成する。サーバ処理部240にて生成されたマスクIDは、マスク情報保持部230のマスクID232に格納される。
【0034】
サーバ通信部250は、サーバ処理部240により生成されたマスク用ID及び2次元コードを端末装置100に送信する。なお、マスク用IDは、マスクID、一時IDの上位概念である。
【0035】
[画像処理システムの動作]
次に、本実施形態に係る端末装置100及びサーバ装置200の動作について図2を参照しながら説明する。なお、端末装置100及びサーバ装置200間の通信は、端末通信部130とサーバ通信部250との間で行われるが、ここではその部分の説明を省略する。
【0036】
(マスク設定主処理1)
自分の端末装置100のモニタ190に対してプライバシーマスクをかけたいと考える端末装置100の使用者は、端末装置100を操作することにより端末装置100にプライバシーマスクをかけることを要求する。端末処理部120は、使用者の前記要求に応じて、サーバ処理部240に対して設定権要求を送信する(ST1)。
【0037】
サーバ処理部240は、これに応じてマスクID及び該マスク用IDを2次元に符号化した表示用の2次元コードを生成し、サーバ側のマスクID(SID)としてサーバ側のマスク情報保持部230に保持する(ST2、図3参照)。
【0038】
次に、サーバ処理部240は、2次元コードの表示データとマスクIDを端末処理部120に送信する(ST3)。さらに、サーバ処理部240は、画像認識部210に対してマスクIDによる表示データの認識要求を依頼する(ST4)。
【0039】
端末処理部120は、受信したマスクIDを端末側のマスクID(TID)として端末側のマスクID保持部110に保持し(ST5)、端末処理部120は、2次元コードの表示データをモニタ190に表示する(ST6)。2次元コードの表示データをモニタ190に表示した例を図9及び図10に示す。図9は、2次元コードの表示データをモニタ画面いっぱいに拡大して表示したものであり、図10は、2次元コードの表示データをモニタ190の四隅にそれぞれ1個ずつ表示したものである。
【0040】
どちらの方法でもモニタ190の矩形領域がどこにあるかを映像上で確認できるようになっている。認識された矩形領域の映像がマスク領域である。図9の場合には、1つの2次元コードがモニタ190の縁(矩形)と一致し、1つの2次元コードでマスク領域を画定する。図10の場合には、四隅に配置された2次元コードに基づき画定される領域がモニタ190の縁(矩形領域)と一致し、4つの2次元コードでマスク領域を画定する。
【0041】
マスク領域を表現する他の例としては、四隅の座標以外に、もとの2次元コードの(もしくはその組)を空間上で回転・拡大縮小、並行移動して、映像に貼り付けた変形操作と考え、その回転角度、拡大縮小率、図形の中心の映像上の位置座標からマスク領域を画定する方法が挙げられる。この場合、2次元コードをどのように3次元空間上で回転、縮小拡大、平行移動して表示された形になったのかの情報を予め持っている必要がある。
【0042】
再び図2に戻り、画像認識部210は、ST4のマスクIDによる認識要求を受けて、カメラ映像中から表示データ(2次元コード)を認識する(ST7)。画像認識部210では、表示データを2次元コードとして認識すると、その認識した2次元コードが画面上に占めている領域の座標および2次元コードに含まれているマスクIDを出力する。これらの情報は、マスク情報保持部230のマスクID232及びマスク領域位置234に保持される。
【0043】
認識されたマスクIDに対応する欄をマスク情報保持部230から見つけ、そのマスクIDの欄のマスク領域位置に認識された画像の領域に、カメラ映像上座標がどこになるかを識別するための領域の位置座標を格納する。
【0044】
画像認識部210で2次元コードの表示データが認識された場合、画像認識部210は、画像処理部220にマスク表示依頼を送信する(ST8)。マスクの表示領域は、認識された表示データの表示領域とする。具体的には、画像認識部210により2次元コードが1つ認識された場合(図9)、画像処理部220は、画像認識部210により認識された2次元コードの位置に基づき2次元コードの領域自身を映像のマスク位置と判定し、該マスク位置にマスクをかける(ST9)。このとき、端末側で2次元コードを拡大したり縮小したりして表示させることにより、2次元コードの表示位置が同じでも2次元コードの大きさによってマスク領域を拡大・縮小するように設定することも可能である。
【0045】
画像認識部210により2次元コードが4つ認識された場合(図10)、画像処理部220は、画像認識部210により認識された2次元コードの配置に基づき2次元コードを四隅に配置した領域を映像のマスク位置と判定し、該マスク位置にマスクをかける(ST9)。
【0046】
マスク表示後、画像処理部220は、画像認識部210にマスク表示完了を通知する(S10)。マスク表示完了を受け取った画像認識部210は、サーバ処理部240に対してマーカ認識完了通知とマスクID(SID)を送る(S11)。サーバ処理部240は、端末処理部120に対してマーカ認識完了通知とマスクID(SID)を送る(S12)。
【0047】
端末処理部120は、マーカ認識完了通知(マスク完了通知)とともに送られたマスクID(SID)と、すでにマスクID保持部110に保持されたマスクID(TID)とを比較し、一致することを確認する(S13:認証処理)。マスクIDが一致しない場合には、問題があるためエラーとする。
【0048】
S13の認証処理では、端末処理部120は、次のようにサーバ側のマスクID(SID)と端末側のマスクID(TID)との比較一致処理を実行する。なお、マスクID(TID)は、現在表示している2次元コードの情報である。端末処理部120は、マスクID保持部110に保持されたマスクID(TID)に含まれないマスクID(SID)がサーバ側から送信された場合、誤認識として認証処理に失敗したと判断する。送信されてきたすべてのマスクID(SID)に対して、対応するマスクID(TID)がマスクID保持部110に格納されている必要がある。
【0049】
また、マスクID保持部110に格納されているマスクID(TID)のうち、マスクID(SID)が送られてこなかったものがある場合には、格納されているマスクID(TID)が1つの場合には全く認証できなかったことになるため、端末処理部120は認証処理に失敗したと判断する。
【0050】
表示している複数の2次元コードで囲んだ矩形領域を認識しようとしている場合には、4個のマスクID(TID)を同じものにしている場合、サーバ側で4個の2次元コードが囲む領域が特定できた場合に1個のマスクID(SID)を端末側に送るから、2次元コードが1個の場合と同じ認証処理となる。
【0051】
マスクID(TID)が複数の場合であって、表示している複数の2次元コードで囲んだ矩形領域を認識しようとしている場合には、2次元コードが囲んでいるのが矩形領域という前提があるため、少なくとも矩形領域が判別できる2次元コードの組(対角線上にある2次元コード)がマスクID(SID)として送られてくる必要がある。これに加えて、マスクID(TID)として保持していないマスクID(SID)が送られてこないことも必要条件となる。例えば、画面上に4個の2次元コードがあって、それぞれのマスクID(TID)を、左上を1、右上を2、左下を3、右下を4とした場合には、1と3に対するマスクID(SID)が送られてくると、対角線上にある2次元コードなので、もとの形状がわかると考え、認証処理成功と判断される。
【0052】
(マスク設定後処理1)
保持しているマスクID(TID)と送られてきたマスクID(SID)とが一致し、認証が成立した場合、端末処理部120は、マスク処理認識済み画像要求をマスクIDとともに画像処理部220に送る(S14)。画像処理部220は、これに応じてマスクIDにより識別される、マスク処理済み画像を端末処理部120に送信する(S15)。その後、端末処理部120は、受信されたマスク処理済み画像を表示し、マスク表示の確認処理を行う(S16)。
【0053】
マスク表示の確認処理は、ユーザに対して、画像処理済み画像を提示し、期待するマスク処理がなされていることを確認してもらうものである。なお、本実施形態には記載しないが、ユーザインターフェースを通じて認識を行えばよい。
【0054】
以上に説明したように、本実施形態によれば、2次元コードは、端末装置側で映像に付加される。よって、プライバシーマスクの領域の形状をGUI(Graphical User Interface)等を用いて使用者が設定する必要がないため、マスク処理の煩雑さを低減することができる。これにより、遠隔地でも容易にマスク処理を実行することができ、セキュリティを向上させることができる。また、多くの利用者で共通の形状であるモニタに対して使用者毎にプライバシーマスクをかけることができる。
【0055】
マスクIDを2次元コードに符号化するのは、同時に複数の端末利用者が各々自分の端末装置のモニタにプライバシーマスクを設定することができるようにするためである。例えば、使用者A,Bが、端末装置TA,TBをそれぞれ使用すると仮定する。マスクIDが2次元コードに符号化されている場合、以下のように動作する。
【0056】
俯瞰カメラ上には、端末装置TA,TBが写っている。使用者Aがプライバシーマスク設定のための操作をして、端末装置TAがマスクID(TID)としてTIDAを取得し、2次元コードとしてCAを取得したとする。端末装置TAのアドレスはADRAである。
【0057】
同時に使用者Bがプライバシーマスク設定のための操作をして、端末装置TBがマスクID(TID)としてTIDBを取得し、2次元コードとしてCBを取得したとする。端末装置TBのアドレスはADRBである。
【0058】
この場合、俯瞰カメラの映像には2個の2次元コードCA、CBが表示されている。2次元コードCAの認識結果から、2次元コードCAの映像上の位置座標及びマスクIDとしてのTIDAを取得する。同様に、2次元コードCBの認識結果から、2次元コードCBの映像上の位置座標及びマスクIDとしてのTIDBを取得する。
【0059】
サーバ装置200では、マスク情報保持部230(もしくは一時ID情報保持部260)に保持されている端末アドレスに基づき、TIDA及びTIDBのそれぞれが、どのID(SID)に等しいかを検出することができる。その結果、TIDAはSIDAと等しく、TIDBはSIDBと等しかったとする。マスク情報保持部230において、SIDAは端末アドレスADRAと紐づけられ、SIDBは端末アドレスADRBと紐づけられている。これにより、それぞれの端末装置A,Bに表示された2次元コードに対応するアドレスを同時に求めることができる。そのため、マーカ認識完了通知も同時に送信することができる。
【0060】
これに対して、マスクIDを2次元コードに符号化しない場合には、複数の端末装置からのマスク設定の要求に対して、1つの端末装置からの要求に対する一連の処理が終わるまでは、他の端末装置からの要求に答えることができない。一連の処理は、計算機の自動的な処理以外に端末の使用者による確認処理が必要なため、時間がかかる。そのため、マスクIDを2次元コードに符号化しない場合には、マスクIDを2次元コードに符号化した場合に比べて、複数の端末装置からのマスク設定要求から上記一連の処理の完了までに多くの時間を費やしてしまう。本実施形態では、マスクIDを2次元コードに符号化するため、このような時間のロスは生じない。
【0061】
なお、マスクIDは、プライバシーマスクの解除等をプライバシーマスク毎に個別に行うために必要である。つまり、サーバ装置側でマスクIDが生成されると、端末装置側ではそのマスクIDを記憶しておく。その端末装置に記憶されているプライバシーマスクを解除したいときには、記憶しているマスクIDをサーバ装置に送信する。サーバ装置側では、送信されたマスクIDに対応したプライバシーマスクを解除することができる。解除以外にも、プライバシーマスク毎に個別の操作を行う場合にも、このマスクIDを使用することができる。例えば、マスクの色を個別に変更するというような操作を実現することができる。
【0062】
なお、本実施形態に係るマスクIDは、端末装置からの要求に応じて生成されるマスク用IDの一例である。
【0063】
<第2実施形態>
以上のように、第1実施形態では、マスクIDを2次元コードに符号化した。しかし、2次元コードに符号化できる情報量には制限がある。より詳しく説明すると、第1実施形態では、2次元コードは、マスクIDを2次元に符号化したものであり、符号化できる情報量については特に制限を設けていない。しかし、マスクIDは、2次元コードに符号化された状態で映像に付与される。このため、本実施形態で管理できる、2次元コードに符号化可能なマスクIDの個数(すなわち、マスクIDの最大個数)は、1つの映像中に同時に写り、処理可能な2次元コードの個数に制限されてしまう。
【0064】
第2実施形態では、このような制限にもかかわらず、マスクIDと後述する一時IDという2つのIDを使い分けることにより、多くのマスクIDを管理することができる。すなわち、マスクIDのID数が非常に多くなった場合であっても、画像認識後にマスクIDが取得できた段階でマスクIDに置き換えるための一時IDを用いて第1実施形態と同様の処理を実施することができる。例えば、マスクIDのID数が多くてマスクIDを2次元コードに符号化できない場合でも、一時IDを導入することにより第1実施形態と同様の処理を実施することができる。以下、第2実施形態について詳しく説明する。
【0065】
[端末装置及びサーバ装置の機能構成]
第2実施形態に係る端末装置100及びサーバ装置200の機能構成について図4を参照しながら説明する。第2実施形態では、第1実施形態より2次元コードに含める情報量が少ない点が特徴である。第2実施形態では、2ビットの情報をコード化できるものとする。
【0066】
第2実施形態では、図4に示したように、端末装置100は、第1実施形態の機能構成に加えて一時ID保持部140を有し、サーバ装置200は、第1実施形態の機能構成に加えて一時ID保持部260を有する。
【0067】
図6は、一時ID情報保持部260の内部構成を示す。2次元コードに符号化できる情報量を2ビットとしたことから、一時IDは、0,1,2,3の4通りの値をとる。つまり、サーバ装置200側で同時に設定可能なマスクIDは4個になることを意味している。
【0068】
[画像処理システムの動作]
本実施形態に係る画像処理システム10の動作について図5を参照しながら説明する。図5に示したマスク設定主処理2は、第1実施形態の図2に示したマスク設定主処理1(ST1〜ST13)のすべてのステップに出てくる一時IDは第1実施形態にて記載したマスクIDと同じ機能を有し、動作上はまったく変わらない。さらに、図5のマスク設定後処理2は、図2のマスク設定後処理1の部分を変更したものである。
【0069】
以下、動作について説明する。前述したように、マスク設定主処理2の部分については、第1実施形態のマスク設定主処理1のマスクIDを一時IDに置き換えたものであって、動作上は全く変わらないため、説明を省略する。ただし、一時IDは、一時ID情報保持部260に保持されている。
【0070】
マスク設定後処理2の部分について説明する。マスク設定主処理2では、一時IDの一致確認(ST513)で一時IDが一致していることの認証確認がなされた一時IDを用いて、端末処理部120から画像処理部220へマスク処理済画像要求及び一時IDが送信される(ST514)。これを受け取った画像処理部220は、マスク処理を行ったマスク処理済画像をサーバ処理部240に送信する(ST515)。サーバ処理部240では、一時IDに応じたマスクIDを生成し、マスク情報保持部230に保持する。同時に一時ID情報保持部260に保持されている一時IDを削除する(ST516)。このとき、対応する一時IDを保持する一時ID情報を一時ID情報保持部260からコピーしてマスク情報保持部230に保持する。コピーする項目は、マスク領域位置264と端末アドレス266に関する情報である。
【0071】
次に、サーバ処理部240は、マスク処理済画像とマスクIDを端末処理部120に送信する(ST517)。端末処理部120では、マスク表示確認処理を行い、正しくマスクが表示されたことを確認後、一時ID保持部140に記憶されている一時IDを削除する(ST518)。マスク表示確認処理は、マスク設定後処理1で実施したものと同じである。
【0072】
マスクが正しく表示されたことを確認すると、端末処理部120は、確認完了をサーバ処理部240に通知する(ST519)。
【0073】
以上に説明したように、本実施形態によれば、第1実施形態と同様に、プライバシーマスクの領域の形状をGUI(Graphical User Interface)等を用いて使用者が設定する必要がないため、マスク処理の煩雑さを低減することができる。特に、本実施形態によれば、マスク設定主処理2では一時IDを用い、マスクIDは使用されない。このため、マスクIDは2次元コードに符号化する必要がない。よって、第2実施形態では、マスクIDにコード化できる情報量による制限を受けない。マスクIDの情報量は、一時ID情報保持部260の容量及びサーバ処理部240と端末処理部120との通信速度や通信容量に応じて設計可能である。例えば、一時ID情報保持部260の容量を10ビットとすると、1024個のIDをつくることができる。近年の情報機器の容量からすると十分に小さい値であり、また、LAN(Local Area Network)によるネットワークの容量も100MBPS程度は普通であるため、1つのID当たり8ビットというのは十分に小さい値と言え問題とならない。結果として、第2実施形態では、2次元コードに付加することができる情報量が少ない場合でも、多数のマスクIDでプライバシーマスクを管理することができるようになる。
【0074】
なお、本実施形態に係る一時IDは、マスク用IDとして一時的に使用されるIDである。
【0075】
<第3実施形態>
[画像処理システムの構成]
次に、本発明の第3実施形態に係る画像処理システム10について説明する。第3実施形態では、モニタ190とカメラ290との間に遮蔽物が入った場合に、その遮蔽物にはプライバシーマスク処理を行わず、遮蔽されないでカメラ290に写っている部分についてはプライバシーマスク処理を行う点が特徴である。
【0076】
第3実施形態では、図8に示したように、マスク情報保持部230が、マスクID232、マスク領域位置234、端末アドレス236の各項目に加えて、変換係数238を記憶する点が第1実施形態と異なる。
【0077】
[画像処理システムの動作]
本実施形態に係る画像処理システム10の動作について図7を参照しながら説明する。図2のST1〜ST16のすべてのステップは、第1実施形態と同じであるため、その部分の説明は省略する。ST16までの処理が終わった時点で、サーバ装置200では、必要な領域にプライバシーマスクが設定された状態となっており、端末装置100にはマスクIDが保持されている状態となっている。図7に示したように、端末処理部120は、隠れ処理依頼をマスクIDとともにサーバ処理部240に送る(ST700)。ここで、隠れ処理とは、モニタ190とカメラ290との間に遮蔽物が入った場合に、その遮蔽物にはプライバシーマスク処理を行わず、遮蔽されないでカメラ290に写っている部分については、プライバシーマスク処理を行うものである。
【0078】
サーバ処理部240では、変換係数を計算する(ST701)。サーバ処理部240では、マスクIDに対応した領域の認識結果から、元のマスクの形状をどのように射影変換するとカメラ290で撮影された画像のように変形されるかを計算する。マスク形状は長方形であって、これを3次元空間で回転・縮小拡大したものがカメラ290に写って受信画像になっている。つまり、端末側のモニタ190に送った表示データを射影変換したものがカメラ290での撮影画像になる。このため、この射影変換の変換係数を求めることになる。これは、ARマーカ等を認識する技術として既知のものである。
【0079】
端末処理部120では、モニタ画面イメージを、マスクIDとともに画像認識部220に送信する(ST702)。画像認識部220では、ST701で求めたマスクIDに対応する変換係数で、モニタ画面イメージを射影変換し、その画像と、カメラ290からの入力画像のうち元のマスク領域に相当する部分を画素毎に比較する。比較して、大きく異なる部分については、カメラ290とモニタ190との間に遮蔽物が入っている部分と判断し、その部分をマスク除外領域として計算する(ST703)。画像認識部210は、計算されたマスク除外領域を画像処理部220に送る(ST704)。
【0080】
画像処理部220は、設定されたマスク領域及びマスク除外領域に従ってマスク表示を行う(ST705)。つまり、画像処理部220は、その遮蔽物(マスク除外領域)にはプライバシーマスク処理を行わず、遮蔽されないでカメラ290に写っている部分については、プライバシーマスク処理を行う。ST702〜ST705の処理は、別途手順中止の指示がくるまで繰り返される。
【0081】
以上に説明したように、本実施形態によれば、第1実施形態と同様に、プライバシーマスクの領域の形状をGUI(Graphical User Interface)等を用いて使用者が設定する必要がないため、マスク処理の煩雑さを低減することができる。特に、本実施形態によれば、モニタ190とカメラ290との間に遮蔽物が部分的又は全体的に入った場合、その遮蔽物のある部分についてはマスクをかけることなく、モニタ画面の部分にだけマスクをかけることができる。これによって映像の意図しない部分にマスクをかけることを回避することができる。
【0082】
以上に説明したように、第1〜第3実施形態によれば、端末装置側に表示された映像上の2次元コードをカメラで取り入れ、2次元コードの位置に応じてマスク位置を判定してマスク処理を行うため、容易に遠隔地でもマスク処理を実行することができる。
【0083】
なお、上記第1〜第3実施形態において、各部への指令は、専用の制御デバイスあるいはプログラムを実行するCPU(図示せず)により実行される。次に説明する文字等入力処理を実行するためのプログラムは、図示しないROMや不揮発性メモリに予め記憶されていて、CPUが、これらのメモリから各プログラムを読み出し実行することにより、端末処理部120、サーバ処理部240、画像認識部210、画像処理部220の各機能が実現される。
【0084】
上記第1〜第3の実施形態において、各部の動作は互いに関連しており、互いの関連を考慮しながら、一連の動作及び一連の処理として置き換えることができる。これにより、画像処理装置の実施形態を、画像処理方法の実施形態とすることができる。
【0085】
これにより、端末装置からの要求に応じて2次元コードを生成するステップと、前記生成された2次元コードを前記端末装置に送信するステップと、前記端末装置に表示された映像を撮像するステップと、前記撮像された映像に付加される前記2次元コードを認識するステップと、前記認識された2次元コードに基づき前記映像のマスク位置を判定し、該マスク位置にマスク処理を実行するステップと、を含むことを特徴とする画像処理方法を提供することができる。
【0086】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【0087】
例えば、上記実施形態では、一つのカメラを例示したが、本発明はかかる例に限定されない。例えば、すべての実施形態において、複数のカメラがサーバ装置に繋がっていてもよい。その場合、マスク領域に関する情報を格納している領域を拡張して、どのカメラの映像であるかをマスクID毎や一時ID毎に格納するようにしてもよい。
【0088】
また、すべての実施形態において、2次元コードは時間方向に変化されることにより情報量を増やすことも可能である。すなわち、表示する2次元コードを複数送り、一定時間周期でモニタ上に表示することにより、多くの情報量をコード化するものである。この場合、全体での認識時間が長くなる。
【0089】
また、すべての実施形態において、マスク領域を決定するに際し、モニタ190の矩形領域すべてをマスク領域としなくてもよく、たとえば、モニタ190の右側の二隅にそれぞれ2次元コードが表示されている場合には、モニタ190の右半分をマスク領域と認識する等いろいろな方法を用いることができる。
【0090】
また、すべての実施形態において、2次元コードによって情報をコード化するのではなく、すかし技術等をつかってもよい。透かし技術を使うことにより、視覚的には2次元コードが表示されていない状態であっても、映像に含まれるコードをカメラで認識できる状態となる。
【0091】
また、すべての実施形態において、画像処理部は、モニタに写し出された映像が属する属性に応じてマスク処理を実行するか否かを決定してもよい。例えば、映像が属する属性がワードファイル文書の場合にはマスク処理を実行し、メール文書の場合にはマスク処理を実行しないようにしてもよい。
【0092】
また、すべての実施形態において、画像処理部は、映像を起動するアプリケーションの種類に応じてマスクの有無を決定するようにしてもよい。
【符号の説明】
【0093】
10 画像処理システム
100 端末装置
110 マスクID保持部
120 端末処理部
130 端末通信部
140 一時ID保持部
200 サーバ装置
210 画像認識部
220 画像処理部
230 マスク情報保持部
240 サーバ処理部
250 サーバ通信部
260 一時ID情報保持部
300 画像受信装置

【特許請求の範囲】
【請求項1】
端末装置からの要求に応じてマスク用ID及び該マスク用IDを2次元に符号化した2次元コードを生成するサーバ処理部と、
前記サーバ処理部により生成されたマスク用ID及び2次元コードを前記端末装置に送信するサーバ通信部と、
前記端末装置に表示された映像を撮像する撮像部と、
前記撮像部により撮像された映像に付加された前記2次元コードを認識する画像認識部と、
前記画像認識部により認識された2次元コードに基づき前記映像のマスク位置を判定し、該マスク位置に前記マスク用IDに応じたマスク処理を実行する画像処理部と、
を備えることを特徴とする画像処理装置。
【請求項2】
前記画像認識部により前記2次元コードが1つ認識された場合、前記画像処理部は、前記画像認識部により認識された2次元コードの位置及び大きさに基づき前記映像のマスク位置を判定し、該マスク位置にマスク処理を実行することを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記画像認識部により前記2次元コードが複数認識された場合、前記画像処理部は、前記画像認識部により認識された2次元コードの配置に基づき前記映像のマスク位置を判定し、該マスク位置にマスク処理を実行することを特徴とする請求項1に記載の画像処理装置。
【請求項4】
前記サーバ処理部は、マスク用IDとして一時的に使用する一時ID及び該一時IDを2次元に符号化した2次元コードを生成し、
サーバ通信部は、前記サーバ処理部により生成された一時ID及び2次元コードを前記端末装置に送信し、
前記画像認識部は、前記撮像部により撮像された映像に付加された前記2次元コードを認識し、
前記サーバ処理部は、前記一時IDに応じたマスク用IDを生成し、
前記画像処理部は、前記認識された2次元コードに基づき前記映像のマスク位置を判定し、該マスク位置に前記マスク用IDに応じたマスク処理を実行することを特徴とする請求項1〜3のいずれか一項に記載の画像処理装置。
【請求項5】
前記端末処理部は、前記撮像部と前記端末装置に表示された映像との間に遮蔽物が入っていると判断した場合には、前記遮蔽物が入っている部分をマスク除外領域と判断し、該マスク除外領域に対してマスク処理を行わないことを特徴とする請求項1〜4のいずれか一項に記載の画像処理装置。
【請求項6】
前記画像処理部は、前記映像が属する属性に応じてマスク処理を実行するかを決定することを特徴とする請求項1〜5のいずれか一項に記載の画像処理装置。
【請求項7】
前記画像処理部は、前記映像を起動するアプリケーションの種類に応じてマスクの有無を決定することを特徴とする請求項1〜6のいずれか一項に記載の画像処理装置。
【請求項8】
前記サーバ通信部は、前記生成されたマスク用IDをマスクID(TID)として前記端末装置に保持させ、
前記画像処理部は、
前記マスク処理後、前記端末装置にマスク完了通知とマスクID(SID)としてのマスク用IDとを送信することにより、前記保持されたマスクID(TID)と前記送信されたマスクID(SID)とに基づき前記端末装置に認証処理を行わせ、
前記認証処理が成功した場合、マスク処理後の映像を前記端末装置に送信することを特徴とする請求項1〜7のいずれか一項に記載の画像処理装置。
【請求項9】
端末装置からの要求に応じてマスク用ID及び該マスク用IDを2次元に符号化した2次元コードを生成するステップと、
前記生成されたマスク用ID及び2次元コードを前記端末装置に送信するステップと、
前記端末装置に表示された映像を撮像するステップと、
前記撮像された映像に付加された前記2次元コードを認識するステップと、
前記認識された2次元コードに基づき前記映像のマスク位置を判定し、該マスク位置に前記マスク用IDに応じたマスク処理を実行するステップと、
を含むことを特徴とする画像処理方法。
【請求項10】
前記生成されたマスク用IDをマスクID(TID)として前記端末装置に保持させるステップと、
前記マスク処理後、前記端末装置にマスク完了通知とマスクID(SID)としてのマスク用IDとを送信することにより、前記保持されたマスクID(TID)と前記送信されたマスクID(SID)とに基づき前記端末装置に認証処理を行わせるステップと、
前記端末装置によって認証された場合、マスク処理後の映像を前記端末装置に送信するステップと、を含むことを特徴とする請求項9に記載の画像処理方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate


【公開番号】特開2011−238107(P2011−238107A)
【公開日】平成23年11月24日(2011.11.24)
【国際特許分類】
【出願番号】特願2010−110173(P2010−110173)
【出願日】平成22年5月12日(2010.5.12)
【国等の委託研究の成果に係る記載事項】(出願人による申告)国等の委託研究の成果に係る特許出願(平成21年度独立行政法人情報通信研究機構「高度通信・放送研究開発委託研究/革新的な三次元映像技術による超臨場感コミュニケーション技術の研究開発」、産業技術力強化法第19条の適用を受ける特許出願)
【出願人】(000000295)沖電気工業株式会社 (6,645)
【Fターム(参考)】