画像処理装置及び画像処理方法
【課題】最新の背景画像を生成することを目的とする。
【解決手段】画像を入力する画像入力手段と、画像入力手段で入力された入力画像の部分領域と、部分領域に対応する記憶装置に記憶されている背景画像の部分領域と、の差分をとり、差分に基づき、入力画像の部分領域ごとに動体領域か背景領域かを判定する領域判定手段と、領域判定手段で背景領域と判定された入力画像の部分領域と、部分領域に対応する背景画像の部分領域と、を合成し、背景画像を更新する更新手段と、を有することによって課題を解決する。
【解決手段】画像を入力する画像入力手段と、画像入力手段で入力された入力画像の部分領域と、部分領域に対応する記憶装置に記憶されている背景画像の部分領域と、の差分をとり、差分に基づき、入力画像の部分領域ごとに動体領域か背景領域かを判定する領域判定手段と、領域判定手段で背景領域と判定された入力画像の部分領域と、部分領域に対応する背景画像の部分領域と、を合成し、背景画像を更新する更新手段と、を有することによって課題を解決する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
ＴＶ会議において、ホワイトボードの画像の様に人物像よりも重要度の高い画像を優先して表示するために、人物部を消したいという要望がある。このような、ホワイトボードのような背景画像に対し前景である人物部を消し背景画像のみを生成する技術として、特許文献１で開示されている技術が適用可能である。特許文献１では、複数の画像データから背景のみの画像を生成する手法を提案している。
【０００３】
【特許文献１】特開２００５−２０２７０６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ホワイトボード画像の場合、常にホワイトボードに描かれている最新の情報を表示することが重要であり、最新の背景画像を生成する必要がある。上述した従来の技術では選択する基準画像によっては、また、背景として置換するための画像の検索次第では、常に最新の背景画像が生成されるとは限らない。
【０００５】
本発明はこのような問題点に鑑みなされたもので、最新の背景画像を生成することを目的とする。
【課題を解決するための手段】
【０００６】
そこで、本発明は、画像を入力する画像入力手段と、前記画像入力手段で入力された入力画像の部分領域と、前記部分領域に対応する記憶装置に記憶されている背景画像の部分領域と、の差分をとり、前記差分に基づき、前記入力画像の部分領域ごとに動体領域か背景領域かを判定する領域判定手段と、前記領域判定手段で背景領域と判定された前記入力画像の部分領域と、前記部分領域に対応する前記背景画像の部分領域と、を合成し、前記背景画像を更新する更新手段と、を有することを特徴とする。
【０００７】
係る構成とすることにより、入力画像が入力されるごとに、最新の背景画像を生成することができる。
【０００８】
また、本発明は、画像処理方法としてもよい。
【発明の効果】
【０００９】
本発明によれば、最新の背景画像を生成することができる。
【発明を実施するための最良の形態】
【００１０】
以下、本発明の実施形態について図面に基づいて説明する。
【００１１】
＜第一の実施形態＞
図１は、第一の実施形態のテレビ会議システムのシステム構成の一例を示す図である。本実施形態のテレビ会議システムは、撮像部１０１と、画像処理装置１００（送信部１１１を含む画像処理装置１００）と、表示側と、がネットワーク等を介して接続されている。なお、図１では、送信部１１１は、画像処理装置１００の外側に描かれているが、画像処理装置１００の内部に送信部１１１が存在してもよい。本実施形態では、説明の簡略化のため、送信部１１１は、画像処理装置１００の内部構成であるものとして説明を行う。
【００１２】
ここで、表示側は、表示部１１３と、受信部１１２と、を含む。受信部１１２は、画像処理装置１００から送信される背景画像や合成画像等を受信する。表示部１１３は、受信部１１２が受信した背景画像や合成画像等を表示する。なお、表示側は、例えば、コンピュータ等で構成されているものとする。
撮像部１０１は、不図示のホワイトボード方向に向け設置されており、フレーム内にホワイトボード全景、ホワイトボード領域内が映るように撮影範囲が調整されているものとする。
【００１３】
画像処理装置１００は、画像入力部１０２と背景設定部１０３と記憶装置の一例である背景画像記憶部１０４と領域分割部１０５とＤＣＴ変換部１０６と差分算出部１０７と領域判定部１０８と背景画像更新部１０９と合成部１１０と送信部１１１とを含む。なお、本実施形態では、これらの構成はハードウェアとして画像処理装置に実装されているものとして説明を行うが、ＣＰＵ等で実行されるソフトウェア（プログラム）として画像処理装置に実装されていてもよい。この場合、ＣＰＵがＲＯＭ又はＨＤＤ等の記憶装置に記憶されているプログラムを実行することにより、図１に示される画像処理装置１００の機能（背景画像記憶部１０４を除く）及び後述するフローチャート等が実現される。
【００１４】
画像入力部１０２は、撮像部１０１で撮影された画像を撮像部１０１より受け取り、入力する。背景画像記憶部１０４は、背景のみの画像を保存する。背景設定部１０３背景の初期設定を行う。領域分割部１０５は、入力画像と背景画像記憶部１０４の背景画像をブロック単位の領域ごとに分割する。ＤＣＴ変換部１０６は、入力画像と背景画像記憶部１０４の背景画像とのそれぞれの分割された領域（部分領域）にＤＣＴ変換を行い、前記領域を空間周波数成分に分解する。
差分算出部１０７は、入力画像の領域の空間周波数成分と、対応する背景画像の領域の空間周波数成分との差分をとる。領域判定部１０８は、前記差分に基づき、前記差分をとった領域が動体（動体領域）か背景（背景領域）かを判定する。背景画像更新部１０９は、領域判定部１０８において背景領域と判断された領域を背景画像記憶部１０４に保存されている背景画像の対応する領域とを予め定められた又は設定された比率（合成比率）で合成する。更に合成部１１０は、更新された背景画像と入力画像とを予め定められた又は設定された比率（合成比率）で合成する。
【００１５】
以上のように構成された画像処理装置１００の動作を以下で説明する。なお、テレビ会議中にホワイトボードを使用して説明を行う場合を例に説明を行う。図２は、第一の実施形態における画像処理装置の処理の一例を示すフローチャートである。
背景設定部１０３は、説明者の操作を受け付け、前記操作に応じて、初期背景画像設定モードになったことを検知する（Ｓ１０１）。初期背景設定モードでは、背景設定部１０３は、撮像部１０１で撮影されたホワイトボードのみの画像を、撮像部１０１より受け取り、背景画像記憶部１０４に人物等の動体が存在しない初期背景画像として記憶する（Ｓ１０２）。図３は、初期背景画像の一例を示す図である。初期背景画像は、図３に示されるように、ホワイトボードのみフレームに納めた画像である。背景設定部１０３は、初期背景設定モードのときに、画像入力部１０２より入力された画像を初期背景画像として背景画像記憶部１０４に記憶するようにしてもよい。また、背景設定部１０３は、初期背景設定モードのときに、画像入力部１０２より入力された連続する数フレーム分の平均画像又は画素ごとの中央値を格納したメディアン画像を初期背景画像として背景画像記憶部１０４に記憶するようにしてもよい。
【００１６】
背景設定部１０３によって、背景画像記憶部１０４に初期背景画像が記憶されると、画像処理装置１００は、自動的にホワイトボード説明モードに切り換わる。このホワイトボード説明モードは、ホワイトボードの前に人物が立ち、説明を始めた場合に対応するモードである。以下、人物のように画像内における動きのあるものを動体と呼ぶ。
ここで、画像処理装置１００は、動作モードがホワイトボード説明モードか否かを判定する（Ｓ１０３）。画像処理装置１００は、動作モードがホワイトボード説明モードの場合、Ｓ１０４に進み、動作モードがホワイトボード説明モードではない場合、ステップＳ１０２の処理に戻る。
【００１７】
ホワイトボード説明モードに切り換わると、まず画像入力部１０２から図４に示す様なホワイトボードと人物とが同一フレーム内に収められた画像が入力される。図４は、ホワイトボードと人物とが同一フレーム内に収められた画像の一例を示す図である。
領域分割部１０５は、画像入力部１０２から入力された動体が映りこんだ画像と、背景画像記憶部１０４に格納されている背景画像と、をブロック単位の領域ごとに分割する（Ｓ１０４）。領域分割部１０５は、領域をＮ×Ｎ画素のブロック単位で分割（典型的には８×８画素のブロック単位で分割）する。
【００１８】
その後、ＤＣＴ変換部１０６は、入力画像、背景画像それぞれから、分割された領域の同一位置にある領域を選択抽出し、ＤＣＴ変換を行う（Ｓ１０５）。ここで、ＤＣＴ変換とは、ＪＰＥＧ等の画像符号化で用いられる離散コサイン変換を指し、離散信号を周波数領域へ変換するものである。ＤＣＴ変換を行うことで、領域を空間周波数成分に分解し、各周波数の成分を係数として得ることができる。
次に差分算出部１０７は、ＤＣＴ変換が行われた入力画像の領域と背景画像の領域との差分を計算（算出）する（Ｓ１０６）。領域に対してＤＣＴ変換を行うことで画素情報は各周波数の係数として得られ、係数ごとに差分をとることで各周波数成分の差分をとることと等価となる。
【００１９】
領域判定部１０８は、差分算出部１０７が得た領域ごとの差分情報を基に、人物が映りこんでいるために背景画像と差分が生じている動体領域か、それ以外の背景領域かの判定を行う（Ｓ１０７）。判定処理は、領域単位の差分情報と、領域判定部１０８に予め設定されている判定パラメータと、の演算によって行う。このような判定パラメータは、サポートベクターマシーン等の機械学習によって求めることができる。つまり、ブロック単位のＤＣＴ変換後の値を一つの特徴量とする画素数分（Ｍとする）の特徴ベクトルｘ（Ｍ次元行ベクトル）を、サポートベクターマシーン等によって求めることができる。領域判定部１０８に設定された動体判定パラメータをａ（Ｍ次元列ベクトル）及びｂとするとき、領域判定部１０８は、以下の（式１）により判定を行う。
ａ・ｘ−ｂ （式１）
【００２０】
即ち、領域判定部１０８は、（式１）の値が正の場合は、動体領域、それ以外はその他の背景領域と判定する。なお、（式１）は線形サポートベクターマシーンにより学習を行った場合であり、カーネル演算を行う非線形サポートベクターマシーンを用いるようにしてもよい。また、他の学習方式を用いてもよい。また、学習には、撮像部１０１を設置した際に撮像部１０１の画像から予め人物による動体に対応するＤＣＴ変換データとそれ以外の線画や背景に対応するＤＣＴ変換データとを複数用意し、オブジェクト判定パラメータを求めるようにする。
Ｓ１０８において、領域判定部１０８は、判定の結果、判定対象の領域が背景の場合、Ｓ１０９に進み、判定対象の領域が動体の場合、Ｓ１１０に進む。
以上により、線画領域も背景画像として判定することができ、動体領域と線画領域とを区別することができる。
【００２１】
背景画像更新部１０９は、領域判定部１０８で判定された情報を基に、領域判定部１０８によって背景領域と判定された入力画像の領域と、背景画像記憶部１０４に格納されている背景画像の同一位置の領域と、の合成を行う（Ｓ１０９）。背景画像更新部１０９が、動体領域と判定された領域は合成を行わず、背景領域と判定された領域のみ、背景画像記憶部１０４の背景画像の対応する領域と合成する。このことで、背景画像記憶部１０４に記憶されている背景画像に動体が映りこむことは無く、常に背景のみの画像を維持することができる。また、背景画像更新部１０９は、入力画像の背景領域と背景画像記憶部１０４の背景画像の同一位置の領域とを例えば予め設定された比率で合成する。例えば背景画像更新部１０９は、
入力画像：背景画像＝α：１−α （式２）
（０≦α≦１）
の比率で合成を行うとする。
【００２２】
ここで合成とは、入力画像と背景画像記憶部１０４の背景画像との同一画素位置の画素値を所定の比率で足し合わせ、得られた値を新たな背景画像の同一画素位置の画素値とすることである。従って、新たな背景画像の画素値は、α×入力画像の画素値＋（１−α）背景画像の画素値で得られる。αを大きく設定することで背景画像に対し入力画像の比率が大きくなり入力画像の反映度が高くなり、αを小さく設定することで背景画像に対し入力画像の比率が小さくなり入力画像の反映度が低くなる。従って、例えば操作者が画像処理装置の操作パネル等を操作し、比率αを調整し、入力（又は設定）することで、更新の反映度を所望の状態に調節することが可能となる。背景画像更新部１０９は、背景領域と判定された全ての画素に関して合成を行った後、背景画像記憶部１０４の背景画像の同一位置の領域に合成後の背景領域の画素値を記憶させる。
【００２３】
Ｓ１１０において、例えば、背景画像更新部１０９は、入力画像全ての領域に対して上述したＳ１０５からの処理を実行したか否かを判定する。背景画像更新部１０９は、入力画像全ての領域に対して上述したＳ１０５からの処理を実行したと判定した場合、Ｓ１１１に進み、入力画像全ての領域に対して上述したＳ１０５からの処理を実行していないと判定した場合、処理をＳ１０５に戻す。そして、Ｓ１０５において、ＤＣＴ変換部１０６は、次の処理対象の領域を選択抽出し、ＤＣＴ変換を行う。
入力画像の全ての背景領域に対して上記の画像合成に係る処理を行い、背景画像記憶部１０４の背景画像に記憶させることで、背景画像を最新の背景画像に更新することができる。
【００２４】
次に、背景画像記憶部１０４に格納されている更新された最新の背景画像を表示側へ送信する前に、合成部１１０は、前記最新の背景画像と入力画像とを例えば予め定められた又は設定された比率で合成する（Ｓ１１１）。最新の背景画像を入力画像と合成することで、動体領域を浮かび上がらせる効果がある。例えば合成部１１０は、
入力画像：背景画像＝β：１−β （式３）
（０≦β≦１）
の比率で合成を行うとする。
【００２５】
また合成部１１０は、背景画像更新部１０９が行った処理と同様に、入力画像と背景画像記憶部１０４の最新の背景画像との同一画素位置の画素値を所定の（又は設定された）比率で足し合わせ、得られた値を新たな画像の同一画素位置の画素値とするものとする。βの値を調整することで動体領域を消す、半透明にする等、任意に調整可能である。例えば、操作者がβ＝０と設定することで、入力画像の画素値は一切反映されず、合成の結果、生成される画像は最新の背景画像と等しく、最新の背景画像を表示側に送信することと等価となる（図５ａ）。ここで、図５は、表示側に送信される画像の例を示す図である。
また、例えば、操作者がβ＝１と設定することで、背景画像の画素値は一切反映されず、生成される画像は入力画像のままであり、入力画像をそのまま表示側に送信することと等価である（図５ｂ）。また、例えば、操作者が０＜β＜１の範囲で値を設定することで、入力画像の画素値が反映され、生成される画像に動体、つまり例えば人物等が半透明となって映りこむ（図５ｃ）。
【００２６】
このようにβの値を調整することで、背景のみの画像、入力画像そのままの画像動体領域が半透明の画像のように、表示画像の形態を任意に調整できる。なお、本実施形態では入力画像と背景画像とを合成するような構成にしたが、単に入力画像と背景画像とを切り替えて表示したい場合等には、合成部の代わりに表示する画像を切替えるような手段を画像処理装置又は表示側に設けてもよい。
送信部１１１は、合成部１１０で生成された画像を表示側へ送信する（Ｓ１０９）。表示側では、受信部１１２が、合成画像又は例えば最新の背景画像を受信する。そして、表示部１１３が、受信部１１２で受信された画像を表示する。
画像処理装置１００は、以上の処理を、撮像部１０１で撮影された画像フレームごとに行う。
【００２７】
＜第二の実施形態＞
図６は、第二の実施形態のテレビ会議システムのシステム構成の一例を示す図である。本実施形態のテレビ会議システムは、上述した第一の実施形態と同様、撮像部１０１と、画像処理装置１００（送信部１１１を含む画像処理装置１００）と、表示側と、がネットワーク等を介して接続されている。
ホワイトボード上に線画が書き足された場合、表示側では書き足された情報を早急に見たい要望があり、逆に線画が消去された場合は、書き足されたときに比べ消去された情報をしばらくの間残しておきたいという要望がある。何故なら、しばらくの間消去した線画を残しておくことで視認性の向上が見込まれるからである。
以下、上述した実施形態と異なる点について説明を行う。
【００２８】
上述した実施形態の画像処理装置１００に比べて本実施形態の画像処理装置１００には、ハードウェア構成として、輝度変化判定部１１４と、更新比率調整部１１５と、が更に含まれている。なお、上述したように、これらの機能は、ＣＰＵ等で実行されるソフトウェア（プログラム）として画像処理装置に実装されていてもよい。
輝度変化判定部１１４は、入力画像と背景画像記憶部１０４に記憶されている背景画像との輝度の変化を判定（又は検出）する。更新比率調整部１１５は、輝度変化判定部１１４の判定結果を基に、背景画像更新部１０９のパラメータを調整する。
【００２９】
図７は、第二の実施形態における画像処理装置の処理の一例を示すフローチャートである。
Ｓ２０１からＳ２０８までの処理は、第一の実施形態の図２のＳ１０１からＳ１０８までの処理と同様であるため、本実施形態では説明を省略する。
動体領域か背景領域かの判定が行われた後、輝度変化判定部１１４は、背景領域と判定された入力画像の処理対象の領域と、背景画像記憶部１０４に格納されている背景画像の同一位置の領域と、を比較することで輝度の変化を判定（検出）する（Ｓ２０９）。例えば、輝度変化判定部１１４は、入力画像、背景画像それぞれの領域中の同一画素位置の画素の輝度の差分をとることによって、輝度の変化を判定する。輝度変化判定部１１４は、背景画像に対し入力画像の輝度が暗く変化した場合、ホワイトボードに線画が書き足された領域であると判断し、輝度が明るく変化した場合、ホワイトボード上の線画が消された領域と判断する。
【００３０】
更新比率調整部１１５は輝度変化判定部１１４から輝度変化の情報（判定結果）を取得し背景画像に対し入力画像の輝度が暗く変化していた場合、入力画像の背景領域と背景画像記憶部１０４の背景画像の対応領域との更新比率αを自動でα１に調整する（Ｓ２１０）。一方、更新比率調整部１１５は、背景画像に対し入力画像の輝度が明るく変化していた場合、ホワイトボード上の線画が消されたと判断し、前記更新比率αをα２に自動で調整する（Ｓ２１０）。このとき更新比率調整部１１５は、
α１＞α２ （式４）
と設定することで、線画が書き足された場合、線画を早く背景画像に反映するようにすることができると共に、線画が逆に消された場合、ゆっくりと消去された線画を更新するようにすることができる。
【００３１】
背景画像更新部１０９は領域判定部１０８で判定された情報及びを更新比率調整部１１５で調整された更新比率を基に入力画像の領域判定部１０８によって判定された領域を背景画像記憶部１０４に格納されている背景画像の同一位置領域と合成する（Ｓ２１１）。
以下、Ｓ２１２からＳ２１４までの処理は、第一の実施形態の図２のＳ１１０からＳ１１２までの処理と同様であるため、本実施形態では説明を省略する。
【００３２】
＜その他の実施形態＞
また、本発明の目的は、以下のようにすることによって達成される。即ち、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（又は記録媒体）を、システム或いは装置に供給する。そして、そのシステム或いは装置の中央演算処理手段（ＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行する。この場合、記憶媒体から読み出されたプログラムコード自体が上述した実施形態の機能を実現することになり、そのプログラムコードを記録した記憶媒体は本発明を構成することになる。
【００３３】
また、システム或いは装置の前記中央演算処理手段が読み出したプログラムコードを実行することにより、そのプログラムコードの指示に基づき、システム或いは装置上で稼働しているオペレーティングシステム（ＯＳ）等が実際の処理の一部又は全部を行う。その処理によって上述した実施形態の機能が実現される場合も含まれる。
【００３４】
更に、記憶媒体から読み出されたプログラムコードが、前記システム或いは装置に挿入された機能拡張カードや、接続された機能拡張ユニットに備わるメモリに書込まれたとする。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行い、その処理によって上述した実施形態の機能が実現される場合も含まれる。
【００３５】
本発明を前記記憶媒体に適用する場合、その記憶媒体（コンピュータ読み取り可能な記憶媒体）には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
【００３６】
以上、上述した各実施形態によれば、入力画像が入力されるごとに、最新の背景画像を生成することができる。
【００３７】
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【図面の簡単な説明】
【００３８】
【図１】第一の実施形態のテレビ会議システムのシステム構成の一例を示す図である。
【図２】第一の実施形態における画像処理装置の処理の一例を示すフローチャートである。
【図３】初期背景画像の一例を示す図である。
【図４】ホワイトボードと人物とが同一フレーム内に収められた画像の一例を示す図である。
【図５】表示側に送信される画像の例を示す図である。
【図６】第二の実施形態のテレビ会議システムのシステム構成の一例を示す図である。
【図７】第二の実施形態における画像処理装置の処理の一例を示すフローチャートである。
【符号の説明】
【００３９】
１００ 画像処理装置
１０１ 撮像部
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
ＴＶ会議において、ホワイトボードの画像の様に人物像よりも重要度の高い画像を優先して表示するために、人物部を消したいという要望がある。このような、ホワイトボードのような背景画像に対し前景である人物部を消し背景画像のみを生成する技術として、特許文献１で開示されている技術が適用可能である。特許文献１では、複数の画像データから背景のみの画像を生成する手法を提案している。
【０００３】
【特許文献１】特開２００５−２０２７０６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ホワイトボード画像の場合、常にホワイトボードに描かれている最新の情報を表示することが重要であり、最新の背景画像を生成する必要がある。上述した従来の技術では選択する基準画像によっては、また、背景として置換するための画像の検索次第では、常に最新の背景画像が生成されるとは限らない。
【０００５】
本発明はこのような問題点に鑑みなされたもので、最新の背景画像を生成することを目的とする。
【課題を解決するための手段】
【０００６】
そこで、本発明は、画像を入力する画像入力手段と、前記画像入力手段で入力された入力画像の部分領域と、前記部分領域に対応する記憶装置に記憶されている背景画像の部分領域と、の差分をとり、前記差分に基づき、前記入力画像の部分領域ごとに動体領域か背景領域かを判定する領域判定手段と、前記領域判定手段で背景領域と判定された前記入力画像の部分領域と、前記部分領域に対応する前記背景画像の部分領域と、を合成し、前記背景画像を更新する更新手段と、を有することを特徴とする。
【０００７】
係る構成とすることにより、入力画像が入力されるごとに、最新の背景画像を生成することができる。
【０００８】
また、本発明は、画像処理方法としてもよい。
【発明の効果】
【０００９】
本発明によれば、最新の背景画像を生成することができる。
【発明を実施するための最良の形態】
【００１０】
以下、本発明の実施形態について図面に基づいて説明する。
【００１１】
＜第一の実施形態＞
図１は、第一の実施形態のテレビ会議システムのシステム構成の一例を示す図である。本実施形態のテレビ会議システムは、撮像部１０１と、画像処理装置１００（送信部１１１を含む画像処理装置１００）と、表示側と、がネットワーク等を介して接続されている。なお、図１では、送信部１１１は、画像処理装置１００の外側に描かれているが、画像処理装置１００の内部に送信部１１１が存在してもよい。本実施形態では、説明の簡略化のため、送信部１１１は、画像処理装置１００の内部構成であるものとして説明を行う。
【００１２】
ここで、表示側は、表示部１１３と、受信部１１２と、を含む。受信部１１２は、画像処理装置１００から送信される背景画像や合成画像等を受信する。表示部１１３は、受信部１１２が受信した背景画像や合成画像等を表示する。なお、表示側は、例えば、コンピュータ等で構成されているものとする。
撮像部１０１は、不図示のホワイトボード方向に向け設置されており、フレーム内にホワイトボード全景、ホワイトボード領域内が映るように撮影範囲が調整されているものとする。
【００１３】
画像処理装置１００は、画像入力部１０２と背景設定部１０３と記憶装置の一例である背景画像記憶部１０４と領域分割部１０５とＤＣＴ変換部１０６と差分算出部１０７と領域判定部１０８と背景画像更新部１０９と合成部１１０と送信部１１１とを含む。なお、本実施形態では、これらの構成はハードウェアとして画像処理装置に実装されているものとして説明を行うが、ＣＰＵ等で実行されるソフトウェア（プログラム）として画像処理装置に実装されていてもよい。この場合、ＣＰＵがＲＯＭ又はＨＤＤ等の記憶装置に記憶されているプログラムを実行することにより、図１に示される画像処理装置１００の機能（背景画像記憶部１０４を除く）及び後述するフローチャート等が実現される。
【００１４】
画像入力部１０２は、撮像部１０１で撮影された画像を撮像部１０１より受け取り、入力する。背景画像記憶部１０４は、背景のみの画像を保存する。背景設定部１０３背景の初期設定を行う。領域分割部１０５は、入力画像と背景画像記憶部１０４の背景画像をブロック単位の領域ごとに分割する。ＤＣＴ変換部１０６は、入力画像と背景画像記憶部１０４の背景画像とのそれぞれの分割された領域（部分領域）にＤＣＴ変換を行い、前記領域を空間周波数成分に分解する。
差分算出部１０７は、入力画像の領域の空間周波数成分と、対応する背景画像の領域の空間周波数成分との差分をとる。領域判定部１０８は、前記差分に基づき、前記差分をとった領域が動体（動体領域）か背景（背景領域）かを判定する。背景画像更新部１０９は、領域判定部１０８において背景領域と判断された領域を背景画像記憶部１０４に保存されている背景画像の対応する領域とを予め定められた又は設定された比率（合成比率）で合成する。更に合成部１１０は、更新された背景画像と入力画像とを予め定められた又は設定された比率（合成比率）で合成する。
【００１５】
以上のように構成された画像処理装置１００の動作を以下で説明する。なお、テレビ会議中にホワイトボードを使用して説明を行う場合を例に説明を行う。図２は、第一の実施形態における画像処理装置の処理の一例を示すフローチャートである。
背景設定部１０３は、説明者の操作を受け付け、前記操作に応じて、初期背景画像設定モードになったことを検知する（Ｓ１０１）。初期背景設定モードでは、背景設定部１０３は、撮像部１０１で撮影されたホワイトボードのみの画像を、撮像部１０１より受け取り、背景画像記憶部１０４に人物等の動体が存在しない初期背景画像として記憶する（Ｓ１０２）。図３は、初期背景画像の一例を示す図である。初期背景画像は、図３に示されるように、ホワイトボードのみフレームに納めた画像である。背景設定部１０３は、初期背景設定モードのときに、画像入力部１０２より入力された画像を初期背景画像として背景画像記憶部１０４に記憶するようにしてもよい。また、背景設定部１０３は、初期背景設定モードのときに、画像入力部１０２より入力された連続する数フレーム分の平均画像又は画素ごとの中央値を格納したメディアン画像を初期背景画像として背景画像記憶部１０４に記憶するようにしてもよい。
【００１６】
背景設定部１０３によって、背景画像記憶部１０４に初期背景画像が記憶されると、画像処理装置１００は、自動的にホワイトボード説明モードに切り換わる。このホワイトボード説明モードは、ホワイトボードの前に人物が立ち、説明を始めた場合に対応するモードである。以下、人物のように画像内における動きのあるものを動体と呼ぶ。
ここで、画像処理装置１００は、動作モードがホワイトボード説明モードか否かを判定する（Ｓ１０３）。画像処理装置１００は、動作モードがホワイトボード説明モードの場合、Ｓ１０４に進み、動作モードがホワイトボード説明モードではない場合、ステップＳ１０２の処理に戻る。
【００１７】
ホワイトボード説明モードに切り換わると、まず画像入力部１０２から図４に示す様なホワイトボードと人物とが同一フレーム内に収められた画像が入力される。図４は、ホワイトボードと人物とが同一フレーム内に収められた画像の一例を示す図である。
領域分割部１０５は、画像入力部１０２から入力された動体が映りこんだ画像と、背景画像記憶部１０４に格納されている背景画像と、をブロック単位の領域ごとに分割する（Ｓ１０４）。領域分割部１０５は、領域をＮ×Ｎ画素のブロック単位で分割（典型的には８×８画素のブロック単位で分割）する。
【００１８】
その後、ＤＣＴ変換部１０６は、入力画像、背景画像それぞれから、分割された領域の同一位置にある領域を選択抽出し、ＤＣＴ変換を行う（Ｓ１０５）。ここで、ＤＣＴ変換とは、ＪＰＥＧ等の画像符号化で用いられる離散コサイン変換を指し、離散信号を周波数領域へ変換するものである。ＤＣＴ変換を行うことで、領域を空間周波数成分に分解し、各周波数の成分を係数として得ることができる。
次に差分算出部１０７は、ＤＣＴ変換が行われた入力画像の領域と背景画像の領域との差分を計算（算出）する（Ｓ１０６）。領域に対してＤＣＴ変換を行うことで画素情報は各周波数の係数として得られ、係数ごとに差分をとることで各周波数成分の差分をとることと等価となる。
【００１９】
領域判定部１０８は、差分算出部１０７が得た領域ごとの差分情報を基に、人物が映りこんでいるために背景画像と差分が生じている動体領域か、それ以外の背景領域かの判定を行う（Ｓ１０７）。判定処理は、領域単位の差分情報と、領域判定部１０８に予め設定されている判定パラメータと、の演算によって行う。このような判定パラメータは、サポートベクターマシーン等の機械学習によって求めることができる。つまり、ブロック単位のＤＣＴ変換後の値を一つの特徴量とする画素数分（Ｍとする）の特徴ベクトルｘ（Ｍ次元行ベクトル）を、サポートベクターマシーン等によって求めることができる。領域判定部１０８に設定された動体判定パラメータをａ（Ｍ次元列ベクトル）及びｂとするとき、領域判定部１０８は、以下の（式１）により判定を行う。
ａ・ｘ−ｂ （式１）
【００２０】
即ち、領域判定部１０８は、（式１）の値が正の場合は、動体領域、それ以外はその他の背景領域と判定する。なお、（式１）は線形サポートベクターマシーンにより学習を行った場合であり、カーネル演算を行う非線形サポートベクターマシーンを用いるようにしてもよい。また、他の学習方式を用いてもよい。また、学習には、撮像部１０１を設置した際に撮像部１０１の画像から予め人物による動体に対応するＤＣＴ変換データとそれ以外の線画や背景に対応するＤＣＴ変換データとを複数用意し、オブジェクト判定パラメータを求めるようにする。
Ｓ１０８において、領域判定部１０８は、判定の結果、判定対象の領域が背景の場合、Ｓ１０９に進み、判定対象の領域が動体の場合、Ｓ１１０に進む。
以上により、線画領域も背景画像として判定することができ、動体領域と線画領域とを区別することができる。
【００２１】
背景画像更新部１０９は、領域判定部１０８で判定された情報を基に、領域判定部１０８によって背景領域と判定された入力画像の領域と、背景画像記憶部１０４に格納されている背景画像の同一位置の領域と、の合成を行う（Ｓ１０９）。背景画像更新部１０９が、動体領域と判定された領域は合成を行わず、背景領域と判定された領域のみ、背景画像記憶部１０４の背景画像の対応する領域と合成する。このことで、背景画像記憶部１０４に記憶されている背景画像に動体が映りこむことは無く、常に背景のみの画像を維持することができる。また、背景画像更新部１０９は、入力画像の背景領域と背景画像記憶部１０４の背景画像の同一位置の領域とを例えば予め設定された比率で合成する。例えば背景画像更新部１０９は、
入力画像：背景画像＝α：１−α （式２）
（０≦α≦１）
の比率で合成を行うとする。
【００２２】
ここで合成とは、入力画像と背景画像記憶部１０４の背景画像との同一画素位置の画素値を所定の比率で足し合わせ、得られた値を新たな背景画像の同一画素位置の画素値とすることである。従って、新たな背景画像の画素値は、α×入力画像の画素値＋（１−α）背景画像の画素値で得られる。αを大きく設定することで背景画像に対し入力画像の比率が大きくなり入力画像の反映度が高くなり、αを小さく設定することで背景画像に対し入力画像の比率が小さくなり入力画像の反映度が低くなる。従って、例えば操作者が画像処理装置の操作パネル等を操作し、比率αを調整し、入力（又は設定）することで、更新の反映度を所望の状態に調節することが可能となる。背景画像更新部１０９は、背景領域と判定された全ての画素に関して合成を行った後、背景画像記憶部１０４の背景画像の同一位置の領域に合成後の背景領域の画素値を記憶させる。
【００２３】
Ｓ１１０において、例えば、背景画像更新部１０９は、入力画像全ての領域に対して上述したＳ１０５からの処理を実行したか否かを判定する。背景画像更新部１０９は、入力画像全ての領域に対して上述したＳ１０５からの処理を実行したと判定した場合、Ｓ１１１に進み、入力画像全ての領域に対して上述したＳ１０５からの処理を実行していないと判定した場合、処理をＳ１０５に戻す。そして、Ｓ１０５において、ＤＣＴ変換部１０６は、次の処理対象の領域を選択抽出し、ＤＣＴ変換を行う。
入力画像の全ての背景領域に対して上記の画像合成に係る処理を行い、背景画像記憶部１０４の背景画像に記憶させることで、背景画像を最新の背景画像に更新することができる。
【００２４】
次に、背景画像記憶部１０４に格納されている更新された最新の背景画像を表示側へ送信する前に、合成部１１０は、前記最新の背景画像と入力画像とを例えば予め定められた又は設定された比率で合成する（Ｓ１１１）。最新の背景画像を入力画像と合成することで、動体領域を浮かび上がらせる効果がある。例えば合成部１１０は、
入力画像：背景画像＝β：１−β （式３）
（０≦β≦１）
の比率で合成を行うとする。
【００２５】
また合成部１１０は、背景画像更新部１０９が行った処理と同様に、入力画像と背景画像記憶部１０４の最新の背景画像との同一画素位置の画素値を所定の（又は設定された）比率で足し合わせ、得られた値を新たな画像の同一画素位置の画素値とするものとする。βの値を調整することで動体領域を消す、半透明にする等、任意に調整可能である。例えば、操作者がβ＝０と設定することで、入力画像の画素値は一切反映されず、合成の結果、生成される画像は最新の背景画像と等しく、最新の背景画像を表示側に送信することと等価となる（図５ａ）。ここで、図５は、表示側に送信される画像の例を示す図である。
また、例えば、操作者がβ＝１と設定することで、背景画像の画素値は一切反映されず、生成される画像は入力画像のままであり、入力画像をそのまま表示側に送信することと等価である（図５ｂ）。また、例えば、操作者が０＜β＜１の範囲で値を設定することで、入力画像の画素値が反映され、生成される画像に動体、つまり例えば人物等が半透明となって映りこむ（図５ｃ）。
【００２６】
このようにβの値を調整することで、背景のみの画像、入力画像そのままの画像動体領域が半透明の画像のように、表示画像の形態を任意に調整できる。なお、本実施形態では入力画像と背景画像とを合成するような構成にしたが、単に入力画像と背景画像とを切り替えて表示したい場合等には、合成部の代わりに表示する画像を切替えるような手段を画像処理装置又は表示側に設けてもよい。
送信部１１１は、合成部１１０で生成された画像を表示側へ送信する（Ｓ１０９）。表示側では、受信部１１２が、合成画像又は例えば最新の背景画像を受信する。そして、表示部１１３が、受信部１１２で受信された画像を表示する。
画像処理装置１００は、以上の処理を、撮像部１０１で撮影された画像フレームごとに行う。
【００２７】
＜第二の実施形態＞
図６は、第二の実施形態のテレビ会議システムのシステム構成の一例を示す図である。本実施形態のテレビ会議システムは、上述した第一の実施形態と同様、撮像部１０１と、画像処理装置１００（送信部１１１を含む画像処理装置１００）と、表示側と、がネットワーク等を介して接続されている。
ホワイトボード上に線画が書き足された場合、表示側では書き足された情報を早急に見たい要望があり、逆に線画が消去された場合は、書き足されたときに比べ消去された情報をしばらくの間残しておきたいという要望がある。何故なら、しばらくの間消去した線画を残しておくことで視認性の向上が見込まれるからである。
以下、上述した実施形態と異なる点について説明を行う。
【００２８】
上述した実施形態の画像処理装置１００に比べて本実施形態の画像処理装置１００には、ハードウェア構成として、輝度変化判定部１１４と、更新比率調整部１１５と、が更に含まれている。なお、上述したように、これらの機能は、ＣＰＵ等で実行されるソフトウェア（プログラム）として画像処理装置に実装されていてもよい。
輝度変化判定部１１４は、入力画像と背景画像記憶部１０４に記憶されている背景画像との輝度の変化を判定（又は検出）する。更新比率調整部１１５は、輝度変化判定部１１４の判定結果を基に、背景画像更新部１０９のパラメータを調整する。
【００２９】
図７は、第二の実施形態における画像処理装置の処理の一例を示すフローチャートである。
Ｓ２０１からＳ２０８までの処理は、第一の実施形態の図２のＳ１０１からＳ１０８までの処理と同様であるため、本実施形態では説明を省略する。
動体領域か背景領域かの判定が行われた後、輝度変化判定部１１４は、背景領域と判定された入力画像の処理対象の領域と、背景画像記憶部１０４に格納されている背景画像の同一位置の領域と、を比較することで輝度の変化を判定（検出）する（Ｓ２０９）。例えば、輝度変化判定部１１４は、入力画像、背景画像それぞれの領域中の同一画素位置の画素の輝度の差分をとることによって、輝度の変化を判定する。輝度変化判定部１１４は、背景画像に対し入力画像の輝度が暗く変化した場合、ホワイトボードに線画が書き足された領域であると判断し、輝度が明るく変化した場合、ホワイトボード上の線画が消された領域と判断する。
【００３０】
更新比率調整部１１５は輝度変化判定部１１４から輝度変化の情報（判定結果）を取得し背景画像に対し入力画像の輝度が暗く変化していた場合、入力画像の背景領域と背景画像記憶部１０４の背景画像の対応領域との更新比率αを自動でα１に調整する（Ｓ２１０）。一方、更新比率調整部１１５は、背景画像に対し入力画像の輝度が明るく変化していた場合、ホワイトボード上の線画が消されたと判断し、前記更新比率αをα２に自動で調整する（Ｓ２１０）。このとき更新比率調整部１１５は、
α１＞α２ （式４）
と設定することで、線画が書き足された場合、線画を早く背景画像に反映するようにすることができると共に、線画が逆に消された場合、ゆっくりと消去された線画を更新するようにすることができる。
【００３１】
背景画像更新部１０９は領域判定部１０８で判定された情報及びを更新比率調整部１１５で調整された更新比率を基に入力画像の領域判定部１０８によって判定された領域を背景画像記憶部１０４に格納されている背景画像の同一位置領域と合成する（Ｓ２１１）。
以下、Ｓ２１２からＳ２１４までの処理は、第一の実施形態の図２のＳ１１０からＳ１１２までの処理と同様であるため、本実施形態では説明を省略する。
【００３２】
＜その他の実施形態＞
また、本発明の目的は、以下のようにすることによって達成される。即ち、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（又は記録媒体）を、システム或いは装置に供給する。そして、そのシステム或いは装置の中央演算処理手段（ＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行する。この場合、記憶媒体から読み出されたプログラムコード自体が上述した実施形態の機能を実現することになり、そのプログラムコードを記録した記憶媒体は本発明を構成することになる。
【００３３】
また、システム或いは装置の前記中央演算処理手段が読み出したプログラムコードを実行することにより、そのプログラムコードの指示に基づき、システム或いは装置上で稼働しているオペレーティングシステム（ＯＳ）等が実際の処理の一部又は全部を行う。その処理によって上述した実施形態の機能が実現される場合も含まれる。
【００３４】
更に、記憶媒体から読み出されたプログラムコードが、前記システム或いは装置に挿入された機能拡張カードや、接続された機能拡張ユニットに備わるメモリに書込まれたとする。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行い、その処理によって上述した実施形態の機能が実現される場合も含まれる。
【００３５】
本発明を前記記憶媒体に適用する場合、その記憶媒体（コンピュータ読み取り可能な記憶媒体）には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
【００３６】
以上、上述した各実施形態によれば、入力画像が入力されるごとに、最新の背景画像を生成することができる。
【００３７】
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【図面の簡単な説明】
【００３８】
【図１】第一の実施形態のテレビ会議システムのシステム構成の一例を示す図である。
【図２】第一の実施形態における画像処理装置の処理の一例を示すフローチャートである。
【図３】初期背景画像の一例を示す図である。
【図４】ホワイトボードと人物とが同一フレーム内に収められた画像の一例を示す図である。
【図５】表示側に送信される画像の例を示す図である。
【図６】第二の実施形態のテレビ会議システムのシステム構成の一例を示す図である。
【図７】第二の実施形態における画像処理装置の処理の一例を示すフローチャートである。
【符号の説明】
【００３９】
１００ 画像処理装置
１０１ 撮像部
【特許請求の範囲】
【請求項１】
画像を入力する画像入力手段と、
前記画像入力手段で入力された入力画像の部分領域と、前記部分領域に対応する記憶装置に記憶されている背景画像の部分領域と、の差分をとり、前記差分に基づき、前記入力画像の部分領域ごとに動体領域か背景領域かを判定する領域判定手段と、
前記領域判定手段で背景領域と判定された前記入力画像の部分領域と、前記部分領域に対応する前記背景画像の部分領域と、を合成し、前記背景画像を更新する更新手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記入力画像と、前記更新手段で更新された前記背景画像と、を合成する画像合成手段を更に有することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像合成手段での前記合成により生成された合成画像を送信する送信手段を更に有することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記領域判定手段は、前記入力画像と前記背景画像との各部分領域を空間周波数成分に変換し、前記入力画像の部分領域の空間周波数成分と、前記部分領域に対応する前記背景画像の部分領域の空間周波数成分と、の差分をとり、前記差分に基づき、前記入力画像の部分領域ごとに動体領域か背景領域かを判定することを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
【請求項５】
前記画像入力手段は、撮像手段で撮像された画像を前記撮像手段より受け取り、入力することを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
【請求項６】
撮像手段で撮像されたホワイトボードのみの画像を前記撮像手段より受け取り、初期背景画像として前記記憶装置に記憶する背景画像設定手段を更に有することを特徴とする請求項１乃至５の何れか１項に記載の画像処理装置。
【請求項７】
前記更新手段は、前記領域判定手段で背景領域と判定された前記入力画像の部分領域と、前記部分領域に対応する前記背景画像の部分領域と、を設定された合成比率で合成し、前記背景画像を更新することを特徴とする請求項１乃至６の何れか１項に記載の画像処理装置。
【請求項８】
前記領域判定手段で背景領域と判定された前記入力画像の部分領域と、前記部分領域に対応する前記背景画像の部分領域と、を比較して輝度の変化を判定する輝度変化判定手段と、
前記輝度変化判定で判定された前記輝度の変化に基づいて、前記合成比率を設定する設定手段と、
を更に有することを特徴とする請求項７に記載の画像処理装置。
【請求項９】
画像処理装置における画像処理方法であって、
画像を入力する画像入力ステップと、
前記画像入力ステップで入力された入力画像の部分領域と、前記部分領域に対応する記憶装置に記憶されている背景画像の部分領域と、の差分をとり、前記差分に基づき、前記入力画像の部分領域ごとに動体領域か背景領域かを判定する領域判定ステップと、
前記領域判定ステップで背景領域と判定された前記入力画像の部分領域と、前記部分領域に対応する前記背景画像の部分領域と、を合成し、前記背景画像を更新する更新ステップと、
を有することを特徴とする画像処理方法。
【請求項１０】
前記入力画像と、前記更新ステップで更新された前記背景画像と、を合成する画像合成ステップを更に有することを特徴とする請求項９に記載の画像処理方法。
【請求項１１】
前記画像合成ステップでの前記合成により生成された合成画像を送信する送信ステップを更に有することを特徴とする請求項１０に記載の画像処理方法。
【請求項１２】
前記領域判定ステップでは、前記入力画像と前記背景画像との各部分領域を空間周波数成分に変換し、前記入力画像の部分領域の空間周波数成分と、前記部分領域に対応する前記背景画像の部分領域の空間周波数成分と、の差分をとり、前記差分に基づき、前記入力画像の部分領域ごとに動体領域か背景領域かを判定することを特徴とする請求項９乃至１１の何れか１項に記載の画像処理方法。
【請求項１３】
前記画像入力ステップでは、撮像手段で撮像された画像を前記撮像手段より受け取り、入力することを特徴とする請求項９乃至１２の何れか１項に記載の画像処理方法。
【請求項１４】
撮像手段で撮像されたホワイトボードのみの画像を前記撮像手段より受け取り、初期背景画像として前記記憶装置に記憶する背景画像設定ステップを更に有することを特徴とする請求項９乃至１３の何れか１項に記載の画像処理方法。
【請求項１５】
前記更新ステップでは、前記領域判定ステップで背景領域と判定された前記入力画像の部分領域と、前記部分領域に対応する前記背景画像の部分領域と、を設定された合成比率で合成し、前記背景画像を更新することを特徴とする請求項９乃至１４の何れか１項に記載の画像処理方法。
【請求項１６】
前記領域判定ステップで背景領域と判定された前記入力画像の部分領域と、前記部分領域に対応する前記背景画像の部分領域と、を比較して輝度の変化を判定する輝度変化判定ステップと、
前記輝度変化判定で判定された前記輝度の変化に基づいて、前記合成比率を設定する設定ステップと、
を更に有することを特徴とする請求項１５に記載の画像処理方法。
【請求項１】
画像を入力する画像入力手段と、
前記画像入力手段で入力された入力画像の部分領域と、前記部分領域に対応する記憶装置に記憶されている背景画像の部分領域と、の差分をとり、前記差分に基づき、前記入力画像の部分領域ごとに動体領域か背景領域かを判定する領域判定手段と、
前記領域判定手段で背景領域と判定された前記入力画像の部分領域と、前記部分領域に対応する前記背景画像の部分領域と、を合成し、前記背景画像を更新する更新手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記入力画像と、前記更新手段で更新された前記背景画像と、を合成する画像合成手段を更に有することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像合成手段での前記合成により生成された合成画像を送信する送信手段を更に有することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記領域判定手段は、前記入力画像と前記背景画像との各部分領域を空間周波数成分に変換し、前記入力画像の部分領域の空間周波数成分と、前記部分領域に対応する前記背景画像の部分領域の空間周波数成分と、の差分をとり、前記差分に基づき、前記入力画像の部分領域ごとに動体領域か背景領域かを判定することを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
【請求項５】
前記画像入力手段は、撮像手段で撮像された画像を前記撮像手段より受け取り、入力することを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
【請求項６】
撮像手段で撮像されたホワイトボードのみの画像を前記撮像手段より受け取り、初期背景画像として前記記憶装置に記憶する背景画像設定手段を更に有することを特徴とする請求項１乃至５の何れか１項に記載の画像処理装置。
【請求項７】
前記更新手段は、前記領域判定手段で背景領域と判定された前記入力画像の部分領域と、前記部分領域に対応する前記背景画像の部分領域と、を設定された合成比率で合成し、前記背景画像を更新することを特徴とする請求項１乃至６の何れか１項に記載の画像処理装置。
【請求項８】
前記領域判定手段で背景領域と判定された前記入力画像の部分領域と、前記部分領域に対応する前記背景画像の部分領域と、を比較して輝度の変化を判定する輝度変化判定手段と、
前記輝度変化判定で判定された前記輝度の変化に基づいて、前記合成比率を設定する設定手段と、
を更に有することを特徴とする請求項７に記載の画像処理装置。
【請求項９】
画像処理装置における画像処理方法であって、
画像を入力する画像入力ステップと、
前記画像入力ステップで入力された入力画像の部分領域と、前記部分領域に対応する記憶装置に記憶されている背景画像の部分領域と、の差分をとり、前記差分に基づき、前記入力画像の部分領域ごとに動体領域か背景領域かを判定する領域判定ステップと、
前記領域判定ステップで背景領域と判定された前記入力画像の部分領域と、前記部分領域に対応する前記背景画像の部分領域と、を合成し、前記背景画像を更新する更新ステップと、
を有することを特徴とする画像処理方法。
【請求項１０】
前記入力画像と、前記更新ステップで更新された前記背景画像と、を合成する画像合成ステップを更に有することを特徴とする請求項９に記載の画像処理方法。
【請求項１１】
前記画像合成ステップでの前記合成により生成された合成画像を送信する送信ステップを更に有することを特徴とする請求項１０に記載の画像処理方法。
【請求項１２】
前記領域判定ステップでは、前記入力画像と前記背景画像との各部分領域を空間周波数成分に変換し、前記入力画像の部分領域の空間周波数成分と、前記部分領域に対応する前記背景画像の部分領域の空間周波数成分と、の差分をとり、前記差分に基づき、前記入力画像の部分領域ごとに動体領域か背景領域かを判定することを特徴とする請求項９乃至１１の何れか１項に記載の画像処理方法。
【請求項１３】
前記画像入力ステップでは、撮像手段で撮像された画像を前記撮像手段より受け取り、入力することを特徴とする請求項９乃至１２の何れか１項に記載の画像処理方法。
【請求項１４】
撮像手段で撮像されたホワイトボードのみの画像を前記撮像手段より受け取り、初期背景画像として前記記憶装置に記憶する背景画像設定ステップを更に有することを特徴とする請求項９乃至１３の何れか１項に記載の画像処理方法。
【請求項１５】
前記更新ステップでは、前記領域判定ステップで背景領域と判定された前記入力画像の部分領域と、前記部分領域に対応する前記背景画像の部分領域と、を設定された合成比率で合成し、前記背景画像を更新することを特徴とする請求項９乃至１４の何れか１項に記載の画像処理方法。
【請求項１６】
前記領域判定ステップで背景領域と判定された前記入力画像の部分領域と、前記部分領域に対応する前記背景画像の部分領域と、を比較して輝度の変化を判定する輝度変化判定ステップと、
前記輝度変化判定で判定された前記輝度の変化に基づいて、前記合成比率を設定する設定ステップと、
を更に有することを特徴とする請求項１５に記載の画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１０−９２２２４（Ｐ２０１０−９２２２４Ａ）
【公開日】平成２２年４月２２日（２０１０．４．２２）
【国際特許分類】
【出願番号】特願２００８−２６０８９７（Ｐ２００８−２６０８９７）
【出願日】平成２０年１０月７日（２００８．１０．７）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２２年４月２２日（２０１０．４．２２）
【国際特許分類】
【出願日】平成２０年１０月７日（２００８．１０．７）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]