人物抽出方法、その装置、そのプログラム、および、そのプログラムを記録した記録媒体
【課題】効率的に混合画像から人物を抽出できる人物抽出システムの提供。
【解決手段】人物抽出装置１００Ａは、背景画像および混合画像をそれぞれ複数のブロック構成画素から構成される複数のブロックに分割して、各ブロック構成画素の表色値の代表値を演算して、この代表値をブロック中央画素に設定した代表値背景画像および代表値混合画像を生成する。代表値背景画像および代表値混合画像をブロックごとに比較し、代表値の差分が所定値以上の場合にブロック中央画素を人物画像ブロックとして「１」に設定し、所定値未満の場合に背景画像ブロックとして「０」に設定した背景差分二値化画像を生成する。背景差分二値化画像における「１」のブロック中央画素を混合画像の色に設定し、「０」のブロック中央画素を所定の色に設定することにより、混合画像から人物を抽出したブロックフィルタ処理カラー画像を生成する。
【解決手段】人物抽出装置１００Ａは、背景画像および混合画像をそれぞれ複数のブロック構成画素から構成される複数のブロックに分割して、各ブロック構成画素の表色値の代表値を演算して、この代表値をブロック中央画素に設定した代表値背景画像および代表値混合画像を生成する。代表値背景画像および代表値混合画像をブロックごとに比較し、代表値の差分が所定値以上の場合にブロック中央画素を人物画像ブロックとして「１」に設定し、所定値未満の場合に背景画像ブロックとして「０」に設定した背景差分二値化画像を生成する。背景差分二値化画像における「１」のブロック中央画素を混合画像の色に設定し、「０」のブロック中央画素を所定の色に設定することにより、混合画像から人物を抽出したブロックフィルタ処理カラー画像を生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラ付きインターホン、テレビ会議システム、テレビ電話などに用いられ、特に撮影画面に基づく背景差分法により人物抽出や人物の顔抽出を実施する人物抽出方法、その装置、そのプログラム、および、そのプログラムを記録した記録媒体に関する。
【背景技術】
【０００２】
従来、カメラ付きインターホン、テレビ会議システム、テレビ電話では、撮影された画像から人物抽出または人物の顔抽出を実施することにより、不要な背景画像を省いて伝送したり、表示したりする手法が検討されている。背景差分やフレーム間差分を用いて人物抽出する場合、背景がノイズとして出力されたり、抽出した人物の画像が虫食い状態になったりすることがある。そこで、人物のみをきれいに抽出する方法が検討されている（例えば、特許文献１参照）。
【０００３】
この特許文献１に記載のものは、人物および背景が撮像されている混合画像から画素単位での背景差分法により人物画像を抽出後、多数決フィルタ処理、ブロック化処理を施すことにより背景のノイズ除去、人物の虫食いの除去をする構成が採られている。
【０００４】
【特許文献１】特開２００１−１４４７４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、インターホンのカメラの場合、背景が屋外の道路や道路を隔てた他の家になっている場合がある。また、屋外に設置されたカメラでは、カメラ自体が風により揺れることもある。そのため、人物画像を撮影する直前に背景画像を撮影したとしても、背景画像がある程度変化することがある。このような場合、特許文献１のような構成のように、混合画像と背景画像における画素単位での差分に基づき人物画像を抽出後、後処理として各種信号処理を実施する方法では、効率的に人物抽出を行うことが困難となるおそれがある。
【０００６】
本発明は、効率的に混合画像から人物を抽出可能な人物抽出方法、その装置、そのプログラム、および、そのプログラムを記録した記録媒体を提供することを１つの目的とする。
【課題を解決するための手段】
【０００７】
請求項１に記載の発明は、所定の背景が撮影されている背景画像を複数の画素からなるブロックに分割し、各ブロックの色を所定の表色系で表す値の代表値を演算し、各ブロックの代表値から構成される代表値背景画像を生成するとともに、前記背景画像の背景および人物が撮影されている混合画像を前記複数の画素からなるブロックに分割し、各ブロックの前記代表値を演算し、各ブロックの代表値から構成される代表値混合画像を生成するブロック代表値画像生成ステップと、前記代表値背景画像および前記代表値混合画像をブロックごとに比較し、前記代表値の差が所定値以上の前記ブロックを人物画像ブロックとして第１の値に設定し、前記所定値未満の前記ブロックを背景画像ブロックとして第２の値に設定することにより、背景差分二値化画像を生成する背景差分二値化画像生成ステップと、前記背景差分二値化画像の前記第１の値に設定された画素を前記混合画像の色に設定し、前記第２の値に設定された画素を所定の色に設定することにより、ブロックフィルタ処理画像を生成するブロックフィルタ処理画像生成ステップと、を実施することを特徴とする人物抽出方法である。
【０００８】
請求項５に記載の発明は、所定の背景が撮影されている背景画像を複数の画素からなるブロックに分割し、各ブロックの色を所定の表色系で表す値の代表値を演算し、各ブロックの代表値から構成される代表値背景画像を生成するとともに、前記背景画像の背景および人物が撮影されている混合画像を前記複数の画素からなるブロックに分割し、各ブロックの前記代表値を演算し、各ブロックの代表値から構成される代表値混合画像を生成するブロック代表値画像生成手段と、前記代表値背景画像および前記代表値混合画像をブロックごとに比較し、前記代表値の差が所定値以上の前記ブロックを人物画像ブロックとして第１の値に設定し、前記所定値未満の前記ブロックを背景画像ブロックとして第２の値に設定することにより、背景差分二値化画像を生成する背景差分二値化画像生成手段と、前記背景差分二値化画像の前記第１の値に設定された画素を前記混合画像の色に設定し、前記第２の値に設定された画素を所定の色に設定することにより、ブロックフィルタ処理画像を生成するブロックフィルタ処理画像生成手段と、を具備したことを特徴とした人物抽出装置である。
【０００９】
請求項７に記載の発明は、請求項１ないし請求項４のいずれかに記載の人物抽出方法を演算手段に実行させることを特徴とした人物抽出プログラムである。
【００１０】
請求項８に記載の発明は、請求項７に記載の人物抽出プログラムが演算手段にて読取可能に記録されたことを特徴とした人物抽出プログラムを記録した記録媒体である。
【発明を実施するための最良の形態】
【００１１】
［第１実施形態］
以下、本発明に係る第１実施形態を図面に基づいて説明する。
この第１実施形態および後述する第２〜第５実施形態では、本発明の人物抽出装置を備えた人物抽出システムであって、背景が撮影された背景画像と、背景および人物が撮影された混合画像と、に基づいて、混合画像の人物を抽出する構成を例示して説明する。
なお、背景画像および混合画像としては、静止画、動画のいずれを対象としてもよい。また、カラー、白黒のいずれを対象としてもよい。
【００１２】
〔人物抽出システムの構成〕
まず、人物抽出システムの構成について、図面に基づいて説明する。
図１は、人物抽出システムの概略構成を示すブロック図である。図２は、背景画像および混合画像における有効領域およびブロックを示す模式図である。図３は、背景差分二値化画像を示す模式図である。図４は、孤立点除去処理を説明するための図であり、（Ａ），（Ｂ），（Ｃ），（Ｄ）は孤立点を除去する場合を表し、（Ｅ），（Ｆ）は孤立点を除去しない場合を表す。図５は、ブロックフィルタ処理カラー画像を示す模式図である。図６は、Ｘ方向へのエッジ検出処理を説明するための図であり、（Ａ）はエッジであると判断される場合を表し、（Ｂ）はエッジでないと判断される場合を表す。図７は、Ｙ方向へのエッジ検出処理を説明するための図であり、（Ａ）はエッジであると判断される場合を表し、（Ｂ）はエッジでないと判断される場合を表す。図８は、出力画像を示す模式図である。
【００１３】
図１において、１Ａは人物抽出システムであり、背景画像と、混合画像と、に基づいて、混合画像の人物を抽出する。
そして、人物抽出システム１Ａは、撮影手段１０と、表示手段２０Ａと、人物抽出装置１００Ａと、などを備えている。
【００１４】
撮影手段１０は、例えばいわゆるインターホンのカメラであり、人物抽出装置１００Ａに接続されるとともに屋外に設置されている。
この撮影手段１０は、人物抽出装置１００Ａの制御により、背景画像や混合画像を適宜撮影して、人物抽出装置１００Ａへ送信する。
【００１５】
表示手段２０Ａは、例えばインターホンのモニタであり、人物抽出装置１００Ａに接続されるとともに例えば屋内に設置されている。
この表示手段２０Ａは、人物抽出装置１００Ａの制御により、混合画像から抽出された人物などを適宜表示させる。
【００１６】
人物抽出装置１００Ａは、画像メモリ１１０と、演算手段としての制御部１２０Ａと、などを備えている。
【００１７】
画像メモリ１１０は、制御部１２０Ａに接続されている。この画像メモリ１１０は、制御部１２０Ａの制御により各種画像を適宜読み出し可能に記憶する。
【００１８】
制御部１２０Ａは、各種プログラムにより構成され、撮影制御手段１２１と、ブロック代表値画像生成手段１２２Ａと、背景差分二値化画像生成手段１２３Ａと、孤立点除去手段１２４と、ブロックフィルタ処理画像生成手段としてのブロックフィルタ処理カラー画像生成手段１２５Ａと、エッジ検出処理二値化画像生成手段１２６と、出力画像生成手段としても機能する画像出力制御手段１２７Ａと、などを備えている。
【００１９】
撮影制御手段１２１は、撮影手段１０を制御して背景画像や混合画像を撮影させる。具体的には、図２に示すように、Ｘ方向およびＹ方向にそれぞれ２０個ずつ並設された４００個の画素Ｇ(X,Y)（X＝１〜２０、Y＝１〜２０）から構成される背景画像や混合画像を撮影させる。そして、この撮影させた背景画像や混合画像を取得して、画像メモリ１１０に記憶させる。
【００２０】
ブロック代表値画像生成手段１２２Ａは、背景画像および混合画像に基づいて、代表値背景画像および代表値混合画像をブロック代表値画像として生成する。
具体的には、ブロック代表値画像生成手段１２２Ａは、図２に示すような画素Ｇ(X,Y)から構成される背景画像および混合画像において、画素Ｇ(3,3)、画素Ｇ(3,18)、画素Ｇ(18,18)、および、画素Ｇ(18,3)を四隅とする２５６個の画素Ｇ(I,J)（I＝３〜１８、J＝３〜１８）から構成される有効領域Ｕを認識する。さらに、この有効領域Ｕを、有効領域Ｕに含まれる画素Ｇ(I,J)（以下、ブロック中央画素Ｇと適宜称す）と、このブロック中央画素Ｇ周辺の画素Ｇ(X,Y)と、から構成される複数のブロックＣ(I,J)（以下、ブロックＣと適宜称す）に分割する。具体的には、有効領域Ｕを、画素Ｇ(I-2,J-2)、画素Ｇ(I-2,J+2)、画素Ｇ(I+2,J+2)、および、画素Ｇ(I+2,J-2)を四隅とする２５個の画素Ｇ(X,Y)（以下、ブロック構成画素Ｇと適宜称す）から構成される２５６個のブロックＣに分割する。つまり、Ｘ方向に５個、Ｙ方向に５個のブロック構成画素Ｇから構成されるブロックサイズが「５×５」のブロックＣに分割する。
また、ブロック代表値画像生成手段１２２Ａは、背景画像の各ブロックＣにおける２５個のブロック構成画素Ｇの色を所定の表色系で表す値（以下、表色値と称す）の代表値を演算する。そして、この演算した代表値をブロック中央画素Ｇに設定した代表値背景画像を生成して、画像メモリ１１０に適宜記憶させる。
ここで、所定の表色系としては、ＲＧＢ表色系やＸＹＺ表色系などのＣＩＥ（国際照明委員会）表色系、マンセル表色系などが例示できる。また、代表値としては、平均値、中間値などが例示できる。
さらに、ブロック代表値画像生成手段１２２Ａは、混合画像についても、各ブロックＣにおけるブロック構成画素Ｇの代表値を演算し、この演算した代表値をブロック中央画素Ｇに設定した代表値混合画像を画像メモリ１１０に適宜記憶させる。
【００２１】
背景差分二値化画像生成手段１２３Ａは、図３に示すような背景差分二値化画像Ｐhを生成する。
具体的には、背景差分二値化画像生成手段１２３Ａは、代表値背景画像および代表値混合画像を取得して、比較対象のブロックＣの代表値の差分が所定値以上であると判断した場合、すなわち代表値背景画像および代表値混合画像のブロックＣにおける代表値の差分が大きい場合、代表値混合画像のブロックＣが背景ではなく人物を表す人物画像ブロックであると認識する。そして、ブロック中央画素Ｇを、第１の値としての「１」に設定する。また、代表値の差分が所定値未満であると判断した場合、すなわち代表値背景画像および代表値混合画像のブロックＣにおける代表値の差分が小さい場合、代表値混合画像のブロックＣが背景を表す背景画像ブロックであると認識して、ブロック中央画素Ｇを、第２の値としての「０」に設定する。
そして、背景差分二値化画像生成手段１２３Ａは、１フレーム分のブロックＣについて上述した処理を実施して、ブロック中央画素Ｇが「１」または「０」に設定された背景差分二値化画像Ｐhを生成して、画像メモリ１１０に適宜記憶させる。
【００２２】
孤立点除去手段１２４は、背景画像や混合画像におけるノイズなどにより背景差分二値化画像Ｐhに発生した孤立点を除去する。
具体的には、孤立点除去手段１２４は、背景差分二値化画像Ｐhを取得して、処理対象のブロック中央画素Ｇが「０」であり、かつ、「０」のブロック中央画素ＧがＸ方向またはＹ方向に連続する数がＭ（Ｍは自然数）以下であると判断した場合、この処理対象のブロック中央画素Ｇが孤立点であると認識する。そして、このブロック中央画素Ｇの設定を「０」から「１」に変更する。また、処理対象のブロック中央画素Ｇが「１」であり、かつ、「１」のブロック中央画素ＧがＸ方向またはＹ方向に連続する数がＮ（Ｎは自然数）以下であると判断した場合、この処理対象のブロック中央画素Ｇが孤立点であると認識して、設定を「１」から「０」に変更する。
例えば、Ｍが「２」に設定されている構成において、図４（Ａ），（Ｂ），（Ｃ），（Ｄ）に示すようなブロック中央画素Ｇの設定の場合、「０」が連続する数が「２」または「１」なので、孤立点を除去する処理として、ブロック中央画素Ｇの設定を「０」から「１」に変更する処理を実施する。また、図４（Ｅ），（Ｆ）に示すようなブロック中央画素Ｇの設定の場合、「０」が連続する数が「３」なので、孤立点でないと判断して、孤立点を除去しない。
そして、孤立点除去手段１２４は、１フレーム分のブロック中央画素Ｇについて上述した処理を実施して、孤立点が適宜除去された背景差分二値化画像Ｐhを画像メモリ１１０に適宜記憶させる。
なお、ＭおよびＮの値としては、「２」以外の値であってもよい。また、ＭおよびＮの値は、同じであってもよいし、異なっていてもよい。
【００２３】
ブロックフィルタ処理カラー画像生成手段１２５Ａは、図５に示すようなブロックフィルタ処理画像としてのブロックフィルタ処理カラー画像Ｐf1を生成する。
具体的には、ブロックフィルタ処理カラー画像生成手段１２５Ａは、孤立点除去手段１２４により孤立点除去がされた背景差分二値化画像Ｐhを取得して、処理対象のブロック中央画素Ｇが「１」であると判断した場合、このブロック中央画素Ｇを混合画像における対応するブロック中央画素Ｇの色に設定する。また、処理対象のブロック中央画素Ｇが「０」であると判断した場合、所定の色としての白色に設定する。
そして、ブロックフィルタ処理カラー画像生成手段１２５Ａは、１フレーム分のブロック中央画素Ｇについて上述した処理を実施して、ブロック中央画素Ｇが混合画像の色、または、白色に設定されたブロックフィルタ処理カラー画像Ｐf1を画像メモリ１１０に適宜記憶させる。
【００２４】
エッジ検出処理二値化画像生成手段１２６は、背景差分二値化画像Ｐhにおける人物および背景のエッジを検出して、Ｘ方向二値化画像およびＹ方向二値化画像を生成し、これらに基づいて、エッジを設定したエッジ検出処理二値化画像を生成する。
具体的には、エッジ検出処理二値化画像生成手段１２６は、背景差分二値化画像Ｐhを取得して、処理対象のブロック中央画素Ｇ(I,J)が「１」であり、かつ、このブロック中央画素Ｇ(I,J)のＸ方向に隣り合う画素Ｇ(I-1,J)，Ｇ(I+1,J)の設定が異なっているか否かを判断する。そして、この条件を満たす場合、ブロック中央画素Ｇ(I,J)がエッジであると判断して、「１」に設定する。また、条件を満たさない場合、ブロック中央画素Ｇ(I,J)がエッジでないと判断して、「０」に設定する。例えば、図６（Ａ）に示すような場合、ブロック中央画素Ｇ(I,J)がエッジであると判断して、「１」に設定し、図６（Ｂ）に示すような場合、ブロック中央画素Ｇ(I,J)がエッジでないと判断して「０」に設定する。
そして、ブロック中央画素Ｇが「１」、または、「０」に設定されたＸ方向二値化画像を生成する。
【００２５】
さらに、エッジ検出処理二値化画像生成手段１２６は、処理対象のブロック中央画素Ｇ(I,J)が「１」であり、かつ、Ｙ方向に隣り合う画素Ｇ(I,J-1)，Ｇ(I,J+1)の設定が異なっているか否かを判断する。そして、この条件を満たす場合、ブロック中央画素Ｇ(I,J)がエッジであると判断して、「１」に設定する。また、上記条件を満たさない場合、ブロック中央画素Ｇ(I,J)がエッジでないと判断して、「０」に設定する。例えば、図７（Ａ）に示すような場合、ブロック中央画素Ｇ(I,J)がエッジであると判断して「１」に設定し、図７（Ｂ）に示すような場合、ブロック中央画素Ｇ(I,J)がエッジでないと判断して「０」に設定する。
そして、ブロック中央画素Ｇが「１」、または、「０」に設定されたＹ方向二値化画像を生成する。
【００２６】
そして、エッジ検出処理二値化画像生成手段１２６は、Ｘ方向二値化画像およびＹ方向二値化画像の論理和を取り、エッジ検出処理二値化画像を生成する。すなわち、人物のエッジに対応するブロック中央画素Ｇが「１」に設定され、エッジ以外に対応するブロック中央画素Ｇが全て「０」に設定されたエッジ検出処理二値化画像を生成して、画像メモリ１１０に適宜記憶させる。
【００２７】
画像出力制御手段１２７Ａは、図８に示すような出力画像Ｐr1を生成して、表示手段２０Ａで表示させる。
具体的には、画像出力制御手段１２７Ａは、混合画像と、ブロックフィルタ処理カラー画像Ｐf1と、エッジ検出処理二値化画像と、を取得する。そして、ブロックフィルタ処理カラー画像Ｐf1およびエッジ検出処理二値化画像における互いに対応する処理対象のブロック中央画素Ｇを比較して、このブロック中央画素Ｇが非エッジであり（エッジでなく）、かつ、ブロックフィルタ処理カラー画像Ｐf1で「０」に設定されているか否かを判断する。そして、この条件を満たす場合、このブロック中央画素Ｇが背景であると判断して、このブロック中央画素Ｇを所望の背景色に設定する。また、上記条件を満たさない場合、非エッジであり、かつ、ブロックフィルタ処理カラー画像Ｐf1で「１」に設定されているか否かを判断する。そして、この条件を満たす場合、このブロック中央画素Ｇが人物であると判断して、混合画素の色に設定する。一方、上記条件を満たさない場合、エッジであり、かつ、ブロックフィルタ処理カラー画像Ｐf1で「１」に設定されているか否かを判断する。そして、この条件を満たす場合、このブロック中央画素Ｇがエッジであると判断して、ブロックフィルタ処理カラー画像Ｐf1の色に設定する。ここでは、白色に設定する。
そして、画像出力制御手段１２７Ａは、図８に示すような間隔が広い右下がりの複数の斜線で表されるブロック中央画素Ｇ(3,3)などが所望の背景色に、間隔が狭い左下がりの複数の斜線で表されるブロック中央画素Ｇ(5,3)などが混合画像の色に、斜線がない状態で表されるブロック中央画素Ｇ(4,3)などが白色に、それぞれ設定された出力画像Ｐr1を表示手段２０Ａで表示させる。
【００２８】
〔人物抽出システムの動作〕
まず、人物抽出システムの動作について、図面に基づいて説明する。
図９は、人物抽出処理を示すフローチャートである。図１０は、ブロック代表値画像生成処理を示すフローチャートである。図１１は、背景差分二値化画像生成処理を示すフローチャートである。図１２は、孤立点除去処理を示すフローチャートである。図１３は、ブロックフィルタ処理カラー画像生成処理を示すフローチャートである。図１４は、エッジ検出処理二値化画像生成処理を示すフローチャートである。図１５は、画像出力制御処理を示すフローチャートである。
【００２９】
まず、人物抽出システム１Ａは、図９に示すように、ブロック代表値画像生成ステップとしてのブロック代表値画像生成処理を実施する（ステップＳ１）。そして、このステップＳ１で生成された代表値背景画像および代表値混合画像に基づいて、背景差分二値化画像生成ステップとしての背景差分二値化画像生成処理を実施する（ステップＳ２）。
この後、このステップＳ２で生成された背景差分二値化画像Ｐhに対して孤立点除去処理を実施して（ステップＳ３）、孤立点が除去された背景差分二値化画像Ｐhに基づいて、ブロックフィルタ処理画像生成ステップとしてのブロックフィルタ処理カラー画像生成処理を実施する（ステップＳ４）。さらに、ステップＳ２で生成された背景差分二値化画像Ｐhに基づいて、エッジ検出処理二値化画像生成ステップとしてのエッジ検出処理二値化画像生成処理を実施する（ステップＳ５）。そして、このステップＳ５で生成されたエッジ検出処理二値化画像と、ステップＳ１で生成された混合画像と、ステップＳ４で生成されたブロックフィルタ処理カラー画像Ｐf1と、に基づいて、出力画像Ｐr1を生成して表示させる出力画像生成ステップとしての画像出力制御処理を実施する（ステップＳ６）。
【００３０】
ここで、ステップＳ１におけるブロック代表値画像生成処理では、人物抽出システム１Ａの人物抽出装置１００Ａは、図１０に示すように、所定のタイミングで撮影手段１０を制御して背景画像を生成する（ステップＳ１１）。そして、この背景画像の各ブロックＣの代表値を演算し（ステップＳ１２）、この代表値に基づく代表値背景画像を生成する（ステップＳ１３）。さらに、人物抽出装置１００Ａは、人物が撮影手段１０の前に位置する状態で撮影手段１０を制御して混合画像を生成する（ステップＳ１４）。そして、この混合画像の各ブロックＣの代表値を演算し（ステップＳ１５）、この代表値に基づく代表値混合画像を生成する（ステップＳ１６）。
【００３１】
また、ステップＳ２における背景差分二値化画像生成処理では、人物抽出装置１００Ａは、図１１に示すように、代表値背景画像および代表値混合画像における比較対象のブロックＣの代表値を比較して（ステップＳ２１）、代表値の差分が所定値以上か否かを判断する（ステップＳ２２）。このステップＳ２２において、所定値以上であると判断した場合、背景差分二値化画像Ｐhのブロック中央画素Ｇを「１」に設定し（ステップＳ２３）、所定値未満であると判断した場合、ブロック中央画素Ｇを「０」に設定する（ステップＳ２４）。そして、１フレーム分の処理が終了したか否かを判断し（ステップＳ２５）、終了したと判断した場合、処理を終了し、終了していないと判断した場合、ステップＳ２１に戻る。
【００３２】
さらに、ステップＳ３における孤立点除去処理では、人物抽出装置１００Ａは、図１２に示すように、背景差分二値化画像Ｐhにおける処理対象のブロック中央画素Ｇが「０」か否かを判断する（ステップＳ３１）。このステップＳ３１において、「０」であると判断した場合、「０」のブロック中央画素ＧがＸ方向またはＹ方向に連続する数がＭ以下か否かを判断する（ステップＳ３２）。そして、ステップＳ３２において、Ｍ以下であると判断した場合、ブロック中央画素Ｇを「０」から「１」に変更する（ステップＳ３３）。さらに、このステップＳ３３を実施した場合、または、ステップＳ３２においてＭ以下でないと判断した場合、１フレーム分の処理が終了したか否かを判断し（ステップＳ３４）、終了したと判断した場合、処理を終了し、終了していないと判断した場合、ステップＳ３１に戻る。
また、ステップＳ３１において、「１」であると判断した場合、「１」のブロック中央画素ＧがＸ方向またはＹ方向に連続する数がＮ以下か否かを判断する（ステップＳ３５）。このステップＳ３５において、Ｎ以下でないと判断した場合、ステップＳ３４の処理を実施し、Ｎ以下であると判断した場合、ブロック中央画素Ｇを「１」から「０」に変更して（ステップＳ３６）、ステップＳ３４の処理をする。
【００３３】
また、ステップＳ４におけるブロックフィルタ処理カラー画像生成処理では、人物抽出装置１００Ａは、図１３に示すように、背景差分二値化画像Ｐhにおける処理対象のブロック中央画素Ｇが「１」か否かを判断する（ステップＳ４１）。このステップＳ４１において、「１」であると判断した場合、ブロックフィルタ処理カラー画像Ｐf1のブロック中央画素Ｇを混合画像の色に設定し（ステップＳ４２）、「０」であると判断した場合、ブロック中央画素Ｇを白色に設定する（ステップＳ４３）。そして、１フレーム分の処理が終了したか否かを判断し（ステップＳ４４）、終了したと判断した場合、処理を終了し、終了していないと判断した場合、ステップＳ４１に戻る。
【００３４】
さらに、ステップＳ５におけるエッジ検出処理二値化画像生成処理では、人物抽出装置１００Ａは、図１４に示すように、背景差分二値化画像Ｐhにおける処理対象のブロック中央画素Ｇ(I,J)と、Ｘ方向に隣り合う画素Ｇ(I-1,J)，Ｇ(I+1,J)と、の値を比較して（ステップＳ５１）、ブロック中央画素Ｇ(I,J)が「１」であり、かつ、画素Ｇ(I-1,J)，Ｇ(I+1,J)の値が異なるか否かを判断する（ステップＳ５２）。このステップＳ５２において、条件を満たすと判断した場合、Ｘ方向二値化画像のブロック中央画素Ｇを「１」に設定し（ステップＳ５３）、条件を満たさないと判断した場合、「０」に設定する（ステップＳ５４）。この後、１フレーム分の処理が終了したか否かを判断し（ステップＳ５５）、終了していないと判断した場合、ステップＳ５１に戻る。
一方、ステップＳ５５において、終了したと判断した場合、ブロック中央画素Ｇ(I,J)と、Ｙ方向に隣り合う画素Ｇ(I,J-1)，Ｇ(I,J+1)と、の値を比較して（ステップＳ５６）、ブロック中央画素Ｇ(I,J)が「１」であり、かつ、画素Ｇ(I,J-1)，Ｇ(I,J+1)の値が異なるか否かを判断する（ステップＳ５７）。このステップＳ５７において、条件を満たすと判断した場合、Ｙ方向二値化画像のブロック中央画素Ｇを「１」に設定し（ステップＳ５８）、条件を満たさないと判断した場合、「０」に設定する（ステップＳ５９）。この後、１フレーム分の処理が終了したか否かを判断し（ステップＳ６０）、終了していないと判断した場合、ステップＳ５６に戻り、終了したと判断した場合、Ｘ方向二値化画像およびＹ方向二値化画像に基づいて、エッジ検出処理二値化画像を生成する（ステップＳ６１）。
【００３５】
また、ステップＳ６における画像出力制御処理では、人物抽出装置１００Ａは、図１５に示すように、エッジ検出処理二値化画像およびブロックフィルタ処理カラー画像Ｐf1における処理対象のブロック中央画素Ｇを比較して（ステップＳ７１）、このブロック中央画素Ｇが非エッジであり、かつ、ブロックフィルタ処理カラー画像Ｐf1で「０」に設定されているか否かを判断する（ステップＳ７２）。このステップＳ７２において、条件を満たしていると判断した場合、出力画像Ｐr1のブロック中央画素Ｇを所望の背景色に設定する（ステップＳ７３）。また、ステップＳ７２において、条件を満たさない場合、非エッジであり、かつ、ブロックフィルタ処理カラー画像Ｐf1で「１」に設定されているか否かを判断する（ステップＳ７４）。
そして、ステップＳ７４において、条件を満たす場合、ブロック中央画素Ｇを混合画素の色に設定する（ステップＳ７５）。一方、ステップＳ７４において、条件を満たさない場合、エッジであり、かつ、ブロックフィルタ処理カラー画像Ｐf1で「１」に設定されているか否かを判断する（ステップＳ７６）。このステップＳ７６において、条件を満たす場合、ブロック中央画素Ｇをブロックフィルタ処理カラー画像Ｐf1の色、すなわち白色に設定する（ステップＳ７７）。
そして、ステップＳ７３またはステップＳ７５の処理の後、あるいは、ステップＳ７６において条件を満たしていないと判断した場合、１フレーム分の処理が終了したか否かを判断し（ステップＳ７８）、終了していないと判断した場合、ステップＳ７１に戻り、終了したと判断した場合、出力画像Ｐr1を表示手段２０Ａで出力させる（ステップＳ７９）。
【００３６】
〔第１実施形態の作用効果〕
上述したように、上記第１実施形態では、人物抽出装置１００Ａにて、背景画像および混合画像をそれぞれ複数のブロック構成画素Ｇから構成される複数のブロックＣに分割する。そして、各ブロック構成画素Ｇの表色値の代表値を演算して、この代表値をブロック中央画素Ｇに設定した代表値背景画像および代表値混合画像を生成する。この後、代表値背景画像および代表値混合画像をブロックＣごとに比較し、代表値の差分が所定値以上の場合にブロック中央画素Ｇを人物画像ブロックとして「１」に設定し、所定値未満の場合に背景画像ブロックとして「０」に設定した背景差分二値化画像Ｐhを生成する。そして、背景差分二値化画像Ｐhにおける「１」のブロック中央画素Ｇを混合画像の色に設定し、「０」のブロック中央画素Ｇを所定の色に設定することにより、混合画像から人物を抽出したブロックフィルタ処理カラー画像Ｐf1を生成する。
このため、複数のブロック構成画素Ｇから構成されるブロックＣ単位で、背景画像および混合画像における表色値の代表値を比較するので、撮影手段１０や背景となる樹木などが風で揺れたりすることなどにより画素Ｇ(X,Y)単位で背景画像が変化してしまったとしても、この画素Ｇ(X,Y)単位での変化の影響を除去した状態で、効率的に混合画像から人物を抽出できる。
【００３７】
さらに、背景差分二値化画像Ｐhにおける人物および背景のエッジを検出して、所定のブロック中央画素Ｇがエッジまたは非エッジである旨を示すエッジ検出処理二値化画像を生成する。そして、このエッジ検出処理二値化画像のエッジと判定されたブロック中央画素Ｇをブロックフィルタ処理カラー画像Ｐf1の色である白色に設定し、非エッジと判定されたブロック中央画素Ｇを混合画像の色に設定し、非エッジと判定されたブロック中央画素Ｇを所定の背景色に設定することにより、出力画像Ｐr1を生成して表示させる。
このため、白色でいわゆる縁取りされた状態で効率的に抽出された人物を、出力画像Ｐr1により表示させることができる。
【００３８】
そして、背景画像や混合画像におけるノイズなどにより、背景差分二値化画像Ｐhに発生した孤立点を除去している。
このため、効率的に、かつ、適切に混合画像から人物を抽出することができる。
【００３９】
［第２実施形態］
次に、本発明に係る第２実施形態を図面に基づいて説明する。
なお、第１実施形態と同一の構成については、同一符号を付し説明を適宜省略する。また、人物抽出システムの動作については、説明を省略する。
【００４０】
〔人物抽出システムの構成〕
まず、人物抽出システムの構成について、図面に基づいて説明する。
図１６は、人物抽出システムの概略構成を示すブロック図である。図１７は、合成画像を示す模式図である。
【００４１】
図１６において、１Ｂは人物抽出システムであり、この人物抽出システム１Ｂは、撮影手段１０と、他画像出力手段３０と、表示手段２０Ｂと、人物抽出装置１００Ｂと、などを備えている。
【００４２】
他画像出力手段３０は、例えばいわゆるテレビチューナであり、人物抽出装置１００Ｂに接続されている。
この他画像出力手段３０は、放送波などの無線媒体やケーブルなどの有線媒体を介して配信される画像（以下、他画像と称す）を受信して、人物抽出装置１００Ｂへ出力する。
【００４３】
表示手段２０Ｂは、例えばテレビジョン装置のモニタであり、人物抽出装置１００Ｂに接続されるとともに屋内に設置されている。
この表示手段２０Ｂは、人物抽出装置１００Ｂの制御により、図１７に示すように、混合画像から抽出された人物を表す出力画像Ｐr2と、他画像出力手段３０で受信された他画像Ｐtと、が合成された合成画像Ｐg1などを適宜表示させる。
【００４４】
人物抽出装置１００Ｂは、制御部１２０Ｂのみが第１実施形態の人物抽出装置１００Ａと異なる構成を有している。また、制御部１２０Ｂは、第１実施形態の制御部１２０Ａと同様の構成を有し、画像出力制御手段１２７Ａの代わりに画像出力制御手段１２７Ｂを備えている。
【００４５】
画像出力制御手段１２７Ｂは、合成画像Ｐg1を生成して、表示手段２０Ｂで表示させる。
具体的には、画像出力制御手段１２７Ｂは、ブロックフィルタ処理カラー画像Ｐf1およびエッジ検出処理二値化画像の互いに対応するブロック中央画素Ｇが背景であると判断した場合、出力画像Ｐr2のブロック中央画素Ｇを他画像Ｐtの色に設定する。さらに、人物と判断されたブロック中央画素Ｇを混合画像の色に、エッジと判断されたブロック中央画素Ｇをブロックフィルタ処理カラー画像Ｐf1の色である白色に、それぞれ設定した出力画像Ｐr2を生成する。そして、テレビジョン放送の一場面である他画像Ｐtの一部に出力画像Ｐr2を合成した合成画像Ｐg1を表示手段２０Ｂで表示させる。すなわち、他画像Ｐtにいわゆる白色の縁領域Ｗで縁取りされた人物Ｈが合成された合成画像Ｐg1を表示させる。
【００４６】
〔第２実施形態の作用効果〕
上述したように、上記第２実施形態では、上記第１実施形態と同様の作用効果に加え、以下のような作用効果を奏することができる。
【００４７】
すなわち、人物抽出装置１００Ｂにて、ブロックフィルタ処理カラー画像Ｐf1およびエッジ検出処理二値化画像に基づいて、背景であると判断されたブロック中央画素Ｇを他画像Ｐtの色に、人物であると判断されたものを混合画像の色に、エッジと判断されたものを白色に、それぞれ設定した出力画像Ｐr2を生成する。そして、テレビジョン放送の一場面である他画像Ｐtの一部に出力画像Ｐr2を合成した合成画像Ｐg1を表示させる。
このため、例えばテレビジョン放送の視聴中であっても、利用者をその場から離れさせることなく訪問者の顔を認識させることができ、利便性を向上できる。
【００４８】
［第３実施形態］
次に、本発明に係る第３実施形態を図面に基づいて説明する。
なお、第１，第２実施形態と同一の構成については、同一符号を付し説明を適宜省略する。また、人物抽出システムの動作については、説明を省略する。
【００４９】
〔人物抽出システムの構成〕
まず、人物抽出システムの構成について、図面に基づいて説明する。
図１８は、人物抽出システムの概略構成を示すブロック図である。図１９は、合成画像を示す模式図である。
【００５０】
図１８において、１Ｃは人物抽出システムであり、この人物抽出システム１Ｃは、撮影手段１０と、他画像出力手段３０と、表示手段２０Ｂと、人物抽出装置１００Ｃと、などを備えている。
【００５１】
人物抽出装置１００Ｃは、制御部１２０Ｃのみが第２実施形態の人物抽出装置１００Ｂと異なる構成を有している。また、制御部１２０Ｃは、第２実施形態の制御部１２０Ｂと同様の構成を有し、ブロックフィルタ処理カラー画像生成手段１２５Ａおよび画像出力制御手段１２７Ｂの代わりに、ブロックフィルタ処理カラー画像生成手段１２５Ｃおよび画像出力制御手段１２７Ｃを備えているとともに、エッジ検出処理二値化画像生成手段１２６を備えていない。
【００５２】
ブロックフィルタ処理カラー画像生成手段１２５Ｃは、図１９に示すようなブロックフィルタ処理カラー画像Ｐf2を生成する。
具体的には、ブロックフィルタ処理カラー画像生成手段１２５Ｃは、孤立点除去手段１２４により孤立点除去がされた背景差分二値化画像Ｐhにおける処理対象のブロック中央画素Ｇが「０」か否かを判断する。そして、「０」であり背景であると判断した場合、ブロックフィルタ処理カラー画像Ｐf2のブロック中央画素Ｇを他画像Ｐtの色に設定し、「１」であり人物であると判断した場合、混合画像の色に設定して、ブロックフィルタ処理カラー画像Ｐf2を生成する。
【００５３】
画像出力制御手段１２７Ｃは、図１９に示すような合成画像Ｐg2を生成して、表示手段２０Ｂで表示させる。
具体的には、画像出力制御手段１２７Ｃは、ブロックフィルタ処理カラー画像Ｐf2を取得して、他画像Ｐtの一部に合成した合成画像Ｐg2を表示手段２０Ｂで表示させる。すなわち、他画像Ｐtに縁領域Ｗで縁取りがされていない人物Ｈが合成された合成画像Ｐg2を表示させる。
【００５４】
〔第３実施形態の作用効果〕
上述したように、上記第３実施形態では、上記第１，第２実施形態と同様の作用効果に加え、以下のような作用効果を奏することができる。
【００５５】
すなわち、人物抽出装置１００Ｃにて、背景差分二値化画像Ｐhにおいて、背景であると判断されたブロック中央画素Ｇを他画像Ｐtの色に、人物であると判断されたものを混合画像の色に、それぞれ設定したブロックフィルタ処理カラー画像Ｐf2を生成する。そして、他画像Ｐtの一部にブロックフィルタ処理カラー画像Ｐf2を合成した合成画像Ｐg2を表示させる。
このため、エッジ検出処理二値化画像生成手段１２６を設けなくても、例えばテレビジョン放送視聴中の利用者をその場から離れさせることなく訪問者の顔を認識させることができる。したがって、構成の簡略化を図りつつ、利便性を向上できる。
【００５６】
［第４実施形態］
次に、本発明に係る第４実施形態を図面に基づいて説明する。
なお、第１〜第３実施形態と同一の構成については、同一符号を付し説明を適宜省略する。また、人物抽出システムの動作については、説明を省略する。
【００５７】
〔人物抽出システムの構成〕
まず、人物抽出システムの構成について、図１に基づいて説明する。
【００５８】
図１において、人物抽出システム１Ｄは、人物抽出装置１００Ｄのみが第１実施形態の人物抽出システム１Ａと異なる構成を有している。また、人物抽出装置１００Ｄは、制御部１２０Ｄのみが第１実施形態の人物抽出装置１００Ａと異なる構成を有している。さらに、制御部１２０Ｄは、第１実施形態の制御部１２０Ａと同様の構成を有し、ブロック代表値画像生成手段１２２Ａ、背景差分二値化画像生成手段１２３Ａ、および、ブロックフィルタ処理カラー画像生成手段１２５Ａの代わりに、ブロック代表値画像生成手段１２２Ｄ、背景差分二値化画像生成手段１２３Ｄ、および、ブロックフィルタ処理カラー画像生成手段１２５Ｄを備えている。
【００５９】
ブロック代表値画像生成手段１２２Ｄは、背景画像および混合画像において、第１実施形態のブロック代表値画像生成手段１２２Ａと同様の処理により、ブロックサイズが「５×５」のブロックＣに分割し、各ブロックＣの代表値に基づいて、代表値背景画像および代表値混合画像を生成する。さらに、例えば画素Ｇ(I-2,J-2)、画素Ｇ(I-2,J+1)、画素Ｇ(I+1,J+1)、および、画素Ｇ(I+1,J-2)を四隅とする１６個のブロック構成画素Ｇから構成されるブロックサイズが「４×４」のブロックＣ、画素Ｇ(I-1,J-1)、画素Ｇ(I-1,J+1)、画素Ｇ(I+1,J+1)、および、画素Ｇ(I+1,J-1)を四隅とする９個のブロック構成画素Ｇから構成されるブロックサイズが「３×３」のブロックＣに分割し、それぞれに対応する代表値背景画像および代表値混合画像を生成する。
【００６０】
背景差分二値化画像生成手段１２３Ｄは、ブロックサイズが「３×３」、「４×４」、および、「５×５」のブロックＣに基づいて、それぞれに対応する背景差分二値化画像Ｐhを生成する。ここで、ブロックＣのブロックサイズが異なるため、各背景差分二値化画像Ｐhは、「１」に設定されたブロックＣ、すなわち人物画像ブロックの数や範囲あるいは位置が適宜異なることとなる。
【００６１】
ブロックフィルタ処理カラー画像生成手段１２５Ｄは、各ブロックサイズに対応する背景差分二値化画像Ｐhから、あらかじめ設定された人物画像ブロックの数や範囲あるいは位置と同一、あるいは、ほぼ等しいものを選択する。そして、この選択したブロックサイズに対応する背景差分二値化画像Ｐhに基づいて、ブロックフィルタ処理カラー画像Ｐf1を生成して、画像メモリ１１０に適宜記憶させる。
このブロックフィルタ処理カラー画像Ｐf1に基づいて、出力画像Ｐr1が表示手段２０Ａで表示される。
【００６２】
〔第４実施形態の作用効果〕
上述したように、上記第４実施形態では、上記第１実施形態と同様の作用効果に加え、以下のような作用効果を奏することができる。
【００６３】
すなわち、人物抽出装置１００Ｄにて、ブロックサイズが異なる複数の代表値背景画像、代表値混合画像、および、背景差分二値化画像Ｐhを生成する。そして、これら各ブロックサイズの背景差分二値化画像Ｐhから、あらかじめ設定された人物画像ブロックの数や範囲あるいは位置と同一、あるいは、ほぼ等しいものを選択し、この選択した背景差分二値化画像Ｐhに基づく出力画像Ｐr1を表示させる。
このため、例えば撮影手段１０や背景となる樹木などが風で揺れたりしている場合には、大きいブロックサイズの背景差分二値化画像Ｐhを選択することにより、ある程度の動きをブロックＣ単位で吸収することができ、背景画像ブロックの抽出を容易にできる。したがって、撮影手段１０の設置環境に対応したブロックサイズの背景差分二値化画像Ｐhに基づいて、人物を高精度に抽出できる。
【００６４】
［第５実施形態］
次に、本発明に係る第５実施形態を図面に基づいて説明する。
なお、第１〜第４実施形態と同一の構成については、同一符号を付し説明を適宜省略する。また、人物抽出システムの動作については、説明を省略する。
【００６５】
〔人物抽出システムの構成〕
まず、人物抽出システムの構成について、図１に基づいて説明する。
【００６６】
図１において、人物抽出システム１Ｅは、人物抽出装置１００Ｅのみが第１実施形態の人物抽出システム１Ａと異なる構成を有している。また、人物抽出装置１００Ｅは、制御部１２０Ｅのみが第１実施形態の人物抽出装置１００Ａと異なる構成を有している。さらに、制御部１２０Ｅは、第１実施形態の制御部１２０Ａと同様の構成を有し、背景差分二値化画像生成手段１２３Ａの代わりに、背景差分二値化画像生成手段１２３Ｅを備えている。
【００６７】
背景差分二値化画像生成手段１２３Ｅは、代表値背景画像および代表値混合画像における比較対象のブロックＣの代表値を比較する。そして、この代表値の差分が第１所定値未満であると判断した場合、代表値混合画像のブロックＣが背景画像ブロックであると認識して、ブロック中央画素Ｇを「０」に設定する。また、代表値の差分が第１所定値よりも大きい第２所定値以上であると判断した場合、代表値混合画像のブロックＣが人物画像ブロックであると認識して、ブロック中央画素Ｇを「１」に設定する。さらに、代表値の差分が第１所定値以上であり、かつ、第２所定値未満であると判断した場合、代表値混合画像のブロックＣの代表値で表される色が肌色か否かを判断する。そして、肌色であると判断した場合、人物画像ブロックであると認識して、ブロック中央画素Ｇを「１」に設定し、肌色でないと判断した場合、背景画像ブロックであると認識して、「０」に設定する。そして、人物画像ブロックおよび背景画像ブロックで構成される背景差分二値化画像Ｐhを生成する。
【００６８】
〔第５実施形態の作用効果〕
上述したように、上記第５実施形態では、上記第１実施形態と同様の作用効果に加え、以下のような作用効果を奏することができる。
【００６９】
すなわち、人物抽出装置１００Ｅにて、代表値背景画像および代表値混合画像におけるブロックＣの代表値の差分が第１所定値以上であり、かつ、第２所定値未満であると判断した場合、代表値混合画像のブロックＣの代表値で表される色が肌色か否かに基づいて、背景画像ブロックまたは人物画像ブロックである旨を判断する。
このため、代表値の差分に基づき人物画像ブロックであるか否かの判定が困難な場合であっても、そのブロックＣにおける実際の色を検出することにより、人物をさらに高精度に抽出できる。
【００７０】
［実施形態の変形］
なお、本発明は、上述した一実施形態に限定されるものではなく、本発明の目的を達成できる範囲で以下に示される変形をも含むものである。
【００７１】
すなわち、第１〜第５実施形態において、エッジ検出処理二値化画像生成手段１２６および画像出力制御手段１２７Ａ，１２７Ｂ，１２７Ｃを設けない構成としてもよい。さらには、撮影制御手段１２１、孤立点除去手段１２４を設けない構成としてもよい。
【００７２】
そして、第２実施形態における他画像Ｐtに対する出力画像Ｐr2の大きさあるいは位置や、第３実施形態における他画像Ｐtに対するブロックフィルタ処理カラー画像Ｐf2の大きさあるいは位置を、適宜変更可能な構成としてもよいし、あらかじめ所定の状態に設定した構成としてもよい。
【００７３】
さらに、第１〜第５実施形態において、ブロックＣを構成するブロック構成画素Ｇの表色値の平均値や中間値を代表値としたが、ブロック構成画素Ｇのうちの代表画素Ｇ、例えばブロック中央画素Ｇの表色値を、そのままブロックＣの代表値として適用してもよい。
【００７４】
また、第２，第３実施形態において、撮影手段１０をテレビ会議システムの参加者を撮影するカメラとするとともに、他画像出力手段３０を会議資料を撮影するカメラとし、表示手段２０Ｂで主に会議資料を表示するとともに、その一部に参加者の顔を合成して表示させる構成としてもよい。
さらに、本発明の人物抽出装置を、テレビ電話に適用してもよい。
【００７５】
また、上述した各機能をプログラムとして構築したが、例えば回路基板などのハードウェアあるいは１つのＩＣ（Integrated Circuit）などの素子にて構成するなどしてもよく、いずれの形態としても利用できる。なお、プログラムや別途記録媒体から読み取らせる構成とすることにより、上述したように取扱が容易で、利用の拡大が容易に図れる。
【００７６】
その他、本発明の実施の際の具体的な構造および手順は、本発明の目的を達成できる範囲で他の構造などに適宜変更できる。
【００７７】
［実施形態の効果］
上述したように、上記実施形態では、人物抽出装置１００Ａにて、背景画像および混合画像をそれぞれ複数のブロック構成画素Ｇから構成される複数のブロックＣに分割する。そして、各ブロック構成画素Ｇの表色値の代表値を演算して、この代表値をブロック中央画素Ｇに設定した代表値背景画像および代表値混合画像を生成する。この後、代表値背景画像および代表値混合画像をブロックＣごとに比較し、代表値の差分が所定値以上の場合にブロック中央画素Ｇを人物画像ブロックとして「１」に設定し、所定値未満の場合に背景画像ブロックとして「０」に設定した背景差分二値化画像Ｐhを生成する。そして、背景差分二値化画像Ｐhにおける「１」のブロック中央画素Ｇを混合画像の色に設定し、「０」のブロック中央画素Ｇを所定の色に設定することにより、混合画像から人物を抽出したブロックフィルタ処理カラー画像Ｐf1を生成する。
このため、複数のブロック構成画素Ｇから構成されるブロックＣ単位で、背景画像および混合画像における表色値の代表値を比較するので、撮影手段１０が風で揺れたりすることなどにより画素Ｇ(X,Y)単位で背景画像が変化してしまったとしても、この画素Ｇ(X,Y)単位での変化の影響を除去した状態で、効率的に混合画像から人物を抽出できる。
【図面の簡単な説明】
【００７８】
【図１】本発明の第１，第４，第５実施形態に係る人物抽出システムの概略構成を示すブロック図である。
【図２】本発明の第１〜第５実施形態に係る背景画像および混合画像における有効領域およびブロックを示す模式図である。
【図３】前記第１〜第５実施形態における背景差分二値化画像を示す模式図である。
【図４】前記第１〜第５実施形態における孤立点除去処理を説明するための図であり、（Ａ），（Ｂ），（Ｃ），（Ｄ）は孤立点を除去する場合を表し、（Ｅ），（Ｆ）は孤立点を除去しない場合を表す。
【図５】前記第１，第２，第４，第５実施形態におけるブロックフィルタ処理カラー画像を示す模式図である。
【図６】前記第１〜第５実施形態におけるＸ方向へのエッジ検出処理を説明するための図であり、（Ａ）はエッジであると判断される場合を表し、（Ｂ）はエッジでないと判断される場合を表す。
【図７】前記第１〜第５実施形態におけるＹ方向へのエッジ検出処理を説明するための図であり、（Ａ）はエッジであると判断される場合を表し、（Ｂ）はエッジでないと判断される場合を表す。
【図８】前記第１，第４，第５実施形態における出力画像を示す模式図である。
【図９】前記第１，第２，第４，第５実施形態における人物抽出処理を示すフローチャートである。
【図１０】前記第１〜第３，第５実施形態におけるブロック代表値画像生成処理を示すフローチャートである。
【図１１】前記第１，第２実施形態における背景差分二値化画像生成処理を示すフローチャートである。
【図１２】前記第１〜第５実施形態における孤立点除去処理を示すフローチャートである。
【図１３】前記第１，第２，第４，第５実施形態におけるブロックフィルタ処理カラー画像生成処理を示すフローチャートである。
【図１４】前記第１，第２，第４，第５実施形態におけるエッジ検出処理二値化画像生成処理を示すフローチャートである。
【図１５】前記第１，第５実施形態における画像出力制御処理を示すフローチャートである。
【図１６】前記第２実施形態における人物抽出システムの概略構成を示すブロック図である。
【図１７】前記第２実施形態における合成画像を示す模式図である。
【図１８】前記第３実施形態における人物抽出システムの概略構成を示すブロック図である。
【図１９】前記第３実施形態における合成画像を示す模式図である。
【符号の説明】
【００７９】
１００Ａ，１００Ｂ，１００Ｃ，１００Ｄ，１００Ｅ…人物抽出装置
１２０Ａ，１２０Ｂ，１２０Ｃ，１２０Ｄ，１２０Ｅ…演算手段としての制御部
１２２Ａ，１２２Ｄ…ブロック代表値画像生成手段
１２３Ａ，１２３Ｄ，１２３Ｅ…背景差分二値化画像生成手段
１２５Ａ，１２５Ｃ，１２５Ｄ…ブロックフィルタ処理画像生成手段としてのブロックフィルタ処理カラー画像生成手段
１２６…エッジ検出処理二値化画像生成手段
１２７Ａ，１２７Ｂ，１２７Ｃ…出力画像生成手段としても機能する画像出力制御手段
Ｃ…ブロック
Ｇ…画素
Ｐh…背景差分二値化画像
Ｐf1，Ｐf2…ブロックフィルタ処理画像としてのブロックフィルタ処理カラー画像
Ｐr1，Ｐr2…出力画像
【技術分野】
【０００１】
本発明は、カメラ付きインターホン、テレビ会議システム、テレビ電話などに用いられ、特に撮影画面に基づく背景差分法により人物抽出や人物の顔抽出を実施する人物抽出方法、その装置、そのプログラム、および、そのプログラムを記録した記録媒体に関する。
【背景技術】
【０００２】
従来、カメラ付きインターホン、テレビ会議システム、テレビ電話では、撮影された画像から人物抽出または人物の顔抽出を実施することにより、不要な背景画像を省いて伝送したり、表示したりする手法が検討されている。背景差分やフレーム間差分を用いて人物抽出する場合、背景がノイズとして出力されたり、抽出した人物の画像が虫食い状態になったりすることがある。そこで、人物のみをきれいに抽出する方法が検討されている（例えば、特許文献１参照）。
【０００３】
この特許文献１に記載のものは、人物および背景が撮像されている混合画像から画素単位での背景差分法により人物画像を抽出後、多数決フィルタ処理、ブロック化処理を施すことにより背景のノイズ除去、人物の虫食いの除去をする構成が採られている。
【０００４】
【特許文献１】特開２００１−１４４７４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、インターホンのカメラの場合、背景が屋外の道路や道路を隔てた他の家になっている場合がある。また、屋外に設置されたカメラでは、カメラ自体が風により揺れることもある。そのため、人物画像を撮影する直前に背景画像を撮影したとしても、背景画像がある程度変化することがある。このような場合、特許文献１のような構成のように、混合画像と背景画像における画素単位での差分に基づき人物画像を抽出後、後処理として各種信号処理を実施する方法では、効率的に人物抽出を行うことが困難となるおそれがある。
【０００６】
本発明は、効率的に混合画像から人物を抽出可能な人物抽出方法、その装置、そのプログラム、および、そのプログラムを記録した記録媒体を提供することを１つの目的とする。
【課題を解決するための手段】
【０００７】
請求項１に記載の発明は、所定の背景が撮影されている背景画像を複数の画素からなるブロックに分割し、各ブロックの色を所定の表色系で表す値の代表値を演算し、各ブロックの代表値から構成される代表値背景画像を生成するとともに、前記背景画像の背景および人物が撮影されている混合画像を前記複数の画素からなるブロックに分割し、各ブロックの前記代表値を演算し、各ブロックの代表値から構成される代表値混合画像を生成するブロック代表値画像生成ステップと、前記代表値背景画像および前記代表値混合画像をブロックごとに比較し、前記代表値の差が所定値以上の前記ブロックを人物画像ブロックとして第１の値に設定し、前記所定値未満の前記ブロックを背景画像ブロックとして第２の値に設定することにより、背景差分二値化画像を生成する背景差分二値化画像生成ステップと、前記背景差分二値化画像の前記第１の値に設定された画素を前記混合画像の色に設定し、前記第２の値に設定された画素を所定の色に設定することにより、ブロックフィルタ処理画像を生成するブロックフィルタ処理画像生成ステップと、を実施することを特徴とする人物抽出方法である。
【０００８】
請求項５に記載の発明は、所定の背景が撮影されている背景画像を複数の画素からなるブロックに分割し、各ブロックの色を所定の表色系で表す値の代表値を演算し、各ブロックの代表値から構成される代表値背景画像を生成するとともに、前記背景画像の背景および人物が撮影されている混合画像を前記複数の画素からなるブロックに分割し、各ブロックの前記代表値を演算し、各ブロックの代表値から構成される代表値混合画像を生成するブロック代表値画像生成手段と、前記代表値背景画像および前記代表値混合画像をブロックごとに比較し、前記代表値の差が所定値以上の前記ブロックを人物画像ブロックとして第１の値に設定し、前記所定値未満の前記ブロックを背景画像ブロックとして第２の値に設定することにより、背景差分二値化画像を生成する背景差分二値化画像生成手段と、前記背景差分二値化画像の前記第１の値に設定された画素を前記混合画像の色に設定し、前記第２の値に設定された画素を所定の色に設定することにより、ブロックフィルタ処理画像を生成するブロックフィルタ処理画像生成手段と、を具備したことを特徴とした人物抽出装置である。
【０００９】
請求項７に記載の発明は、請求項１ないし請求項４のいずれかに記載の人物抽出方法を演算手段に実行させることを特徴とした人物抽出プログラムである。
【００１０】
請求項８に記載の発明は、請求項７に記載の人物抽出プログラムが演算手段にて読取可能に記録されたことを特徴とした人物抽出プログラムを記録した記録媒体である。
【発明を実施するための最良の形態】
【００１１】
［第１実施形態］
以下、本発明に係る第１実施形態を図面に基づいて説明する。
この第１実施形態および後述する第２〜第５実施形態では、本発明の人物抽出装置を備えた人物抽出システムであって、背景が撮影された背景画像と、背景および人物が撮影された混合画像と、に基づいて、混合画像の人物を抽出する構成を例示して説明する。
なお、背景画像および混合画像としては、静止画、動画のいずれを対象としてもよい。また、カラー、白黒のいずれを対象としてもよい。
【００１２】
〔人物抽出システムの構成〕
まず、人物抽出システムの構成について、図面に基づいて説明する。
図１は、人物抽出システムの概略構成を示すブロック図である。図２は、背景画像および混合画像における有効領域およびブロックを示す模式図である。図３は、背景差分二値化画像を示す模式図である。図４は、孤立点除去処理を説明するための図であり、（Ａ），（Ｂ），（Ｃ），（Ｄ）は孤立点を除去する場合を表し、（Ｅ），（Ｆ）は孤立点を除去しない場合を表す。図５は、ブロックフィルタ処理カラー画像を示す模式図である。図６は、Ｘ方向へのエッジ検出処理を説明するための図であり、（Ａ）はエッジであると判断される場合を表し、（Ｂ）はエッジでないと判断される場合を表す。図７は、Ｙ方向へのエッジ検出処理を説明するための図であり、（Ａ）はエッジであると判断される場合を表し、（Ｂ）はエッジでないと判断される場合を表す。図８は、出力画像を示す模式図である。
【００１３】
図１において、１Ａは人物抽出システムであり、背景画像と、混合画像と、に基づいて、混合画像の人物を抽出する。
そして、人物抽出システム１Ａは、撮影手段１０と、表示手段２０Ａと、人物抽出装置１００Ａと、などを備えている。
【００１４】
撮影手段１０は、例えばいわゆるインターホンのカメラであり、人物抽出装置１００Ａに接続されるとともに屋外に設置されている。
この撮影手段１０は、人物抽出装置１００Ａの制御により、背景画像や混合画像を適宜撮影して、人物抽出装置１００Ａへ送信する。
【００１５】
表示手段２０Ａは、例えばインターホンのモニタであり、人物抽出装置１００Ａに接続されるとともに例えば屋内に設置されている。
この表示手段２０Ａは、人物抽出装置１００Ａの制御により、混合画像から抽出された人物などを適宜表示させる。
【００１６】
人物抽出装置１００Ａは、画像メモリ１１０と、演算手段としての制御部１２０Ａと、などを備えている。
【００１７】
画像メモリ１１０は、制御部１２０Ａに接続されている。この画像メモリ１１０は、制御部１２０Ａの制御により各種画像を適宜読み出し可能に記憶する。
【００１８】
制御部１２０Ａは、各種プログラムにより構成され、撮影制御手段１２１と、ブロック代表値画像生成手段１２２Ａと、背景差分二値化画像生成手段１２３Ａと、孤立点除去手段１２４と、ブロックフィルタ処理画像生成手段としてのブロックフィルタ処理カラー画像生成手段１２５Ａと、エッジ検出処理二値化画像生成手段１２６と、出力画像生成手段としても機能する画像出力制御手段１２７Ａと、などを備えている。
【００１９】
撮影制御手段１２１は、撮影手段１０を制御して背景画像や混合画像を撮影させる。具体的には、図２に示すように、Ｘ方向およびＹ方向にそれぞれ２０個ずつ並設された４００個の画素Ｇ(X,Y)（X＝１〜２０、Y＝１〜２０）から構成される背景画像や混合画像を撮影させる。そして、この撮影させた背景画像や混合画像を取得して、画像メモリ１１０に記憶させる。
【００２０】
ブロック代表値画像生成手段１２２Ａは、背景画像および混合画像に基づいて、代表値背景画像および代表値混合画像をブロック代表値画像として生成する。
具体的には、ブロック代表値画像生成手段１２２Ａは、図２に示すような画素Ｇ(X,Y)から構成される背景画像および混合画像において、画素Ｇ(3,3)、画素Ｇ(3,18)、画素Ｇ(18,18)、および、画素Ｇ(18,3)を四隅とする２５６個の画素Ｇ(I,J)（I＝３〜１８、J＝３〜１８）から構成される有効領域Ｕを認識する。さらに、この有効領域Ｕを、有効領域Ｕに含まれる画素Ｇ(I,J)（以下、ブロック中央画素Ｇと適宜称す）と、このブロック中央画素Ｇ周辺の画素Ｇ(X,Y)と、から構成される複数のブロックＣ(I,J)（以下、ブロックＣと適宜称す）に分割する。具体的には、有効領域Ｕを、画素Ｇ(I-2,J-2)、画素Ｇ(I-2,J+2)、画素Ｇ(I+2,J+2)、および、画素Ｇ(I+2,J-2)を四隅とする２５個の画素Ｇ(X,Y)（以下、ブロック構成画素Ｇと適宜称す）から構成される２５６個のブロックＣに分割する。つまり、Ｘ方向に５個、Ｙ方向に５個のブロック構成画素Ｇから構成されるブロックサイズが「５×５」のブロックＣに分割する。
また、ブロック代表値画像生成手段１２２Ａは、背景画像の各ブロックＣにおける２５個のブロック構成画素Ｇの色を所定の表色系で表す値（以下、表色値と称す）の代表値を演算する。そして、この演算した代表値をブロック中央画素Ｇに設定した代表値背景画像を生成して、画像メモリ１１０に適宜記憶させる。
ここで、所定の表色系としては、ＲＧＢ表色系やＸＹＺ表色系などのＣＩＥ（国際照明委員会）表色系、マンセル表色系などが例示できる。また、代表値としては、平均値、中間値などが例示できる。
さらに、ブロック代表値画像生成手段１２２Ａは、混合画像についても、各ブロックＣにおけるブロック構成画素Ｇの代表値を演算し、この演算した代表値をブロック中央画素Ｇに設定した代表値混合画像を画像メモリ１１０に適宜記憶させる。
【００２１】
背景差分二値化画像生成手段１２３Ａは、図３に示すような背景差分二値化画像Ｐhを生成する。
具体的には、背景差分二値化画像生成手段１２３Ａは、代表値背景画像および代表値混合画像を取得して、比較対象のブロックＣの代表値の差分が所定値以上であると判断した場合、すなわち代表値背景画像および代表値混合画像のブロックＣにおける代表値の差分が大きい場合、代表値混合画像のブロックＣが背景ではなく人物を表す人物画像ブロックであると認識する。そして、ブロック中央画素Ｇを、第１の値としての「１」に設定する。また、代表値の差分が所定値未満であると判断した場合、すなわち代表値背景画像および代表値混合画像のブロックＣにおける代表値の差分が小さい場合、代表値混合画像のブロックＣが背景を表す背景画像ブロックであると認識して、ブロック中央画素Ｇを、第２の値としての「０」に設定する。
そして、背景差分二値化画像生成手段１２３Ａは、１フレーム分のブロックＣについて上述した処理を実施して、ブロック中央画素Ｇが「１」または「０」に設定された背景差分二値化画像Ｐhを生成して、画像メモリ１１０に適宜記憶させる。
【００２２】
孤立点除去手段１２４は、背景画像や混合画像におけるノイズなどにより背景差分二値化画像Ｐhに発生した孤立点を除去する。
具体的には、孤立点除去手段１２４は、背景差分二値化画像Ｐhを取得して、処理対象のブロック中央画素Ｇが「０」であり、かつ、「０」のブロック中央画素ＧがＸ方向またはＹ方向に連続する数がＭ（Ｍは自然数）以下であると判断した場合、この処理対象のブロック中央画素Ｇが孤立点であると認識する。そして、このブロック中央画素Ｇの設定を「０」から「１」に変更する。また、処理対象のブロック中央画素Ｇが「１」であり、かつ、「１」のブロック中央画素ＧがＸ方向またはＹ方向に連続する数がＮ（Ｎは自然数）以下であると判断した場合、この処理対象のブロック中央画素Ｇが孤立点であると認識して、設定を「１」から「０」に変更する。
例えば、Ｍが「２」に設定されている構成において、図４（Ａ），（Ｂ），（Ｃ），（Ｄ）に示すようなブロック中央画素Ｇの設定の場合、「０」が連続する数が「２」または「１」なので、孤立点を除去する処理として、ブロック中央画素Ｇの設定を「０」から「１」に変更する処理を実施する。また、図４（Ｅ），（Ｆ）に示すようなブロック中央画素Ｇの設定の場合、「０」が連続する数が「３」なので、孤立点でないと判断して、孤立点を除去しない。
そして、孤立点除去手段１２４は、１フレーム分のブロック中央画素Ｇについて上述した処理を実施して、孤立点が適宜除去された背景差分二値化画像Ｐhを画像メモリ１１０に適宜記憶させる。
なお、ＭおよびＮの値としては、「２」以外の値であってもよい。また、ＭおよびＮの値は、同じであってもよいし、異なっていてもよい。
【００２３】
ブロックフィルタ処理カラー画像生成手段１２５Ａは、図５に示すようなブロックフィルタ処理画像としてのブロックフィルタ処理カラー画像Ｐf1を生成する。
具体的には、ブロックフィルタ処理カラー画像生成手段１２５Ａは、孤立点除去手段１２４により孤立点除去がされた背景差分二値化画像Ｐhを取得して、処理対象のブロック中央画素Ｇが「１」であると判断した場合、このブロック中央画素Ｇを混合画像における対応するブロック中央画素Ｇの色に設定する。また、処理対象のブロック中央画素Ｇが「０」であると判断した場合、所定の色としての白色に設定する。
そして、ブロックフィルタ処理カラー画像生成手段１２５Ａは、１フレーム分のブロック中央画素Ｇについて上述した処理を実施して、ブロック中央画素Ｇが混合画像の色、または、白色に設定されたブロックフィルタ処理カラー画像Ｐf1を画像メモリ１１０に適宜記憶させる。
【００２４】
エッジ検出処理二値化画像生成手段１２６は、背景差分二値化画像Ｐhにおける人物および背景のエッジを検出して、Ｘ方向二値化画像およびＹ方向二値化画像を生成し、これらに基づいて、エッジを設定したエッジ検出処理二値化画像を生成する。
具体的には、エッジ検出処理二値化画像生成手段１２６は、背景差分二値化画像Ｐhを取得して、処理対象のブロック中央画素Ｇ(I,J)が「１」であり、かつ、このブロック中央画素Ｇ(I,J)のＸ方向に隣り合う画素Ｇ(I-1,J)，Ｇ(I+1,J)の設定が異なっているか否かを判断する。そして、この条件を満たす場合、ブロック中央画素Ｇ(I,J)がエッジであると判断して、「１」に設定する。また、条件を満たさない場合、ブロック中央画素Ｇ(I,J)がエッジでないと判断して、「０」に設定する。例えば、図６（Ａ）に示すような場合、ブロック中央画素Ｇ(I,J)がエッジであると判断して、「１」に設定し、図６（Ｂ）に示すような場合、ブロック中央画素Ｇ(I,J)がエッジでないと判断して「０」に設定する。
そして、ブロック中央画素Ｇが「１」、または、「０」に設定されたＸ方向二値化画像を生成する。
【００２５】
さらに、エッジ検出処理二値化画像生成手段１２６は、処理対象のブロック中央画素Ｇ(I,J)が「１」であり、かつ、Ｙ方向に隣り合う画素Ｇ(I,J-1)，Ｇ(I,J+1)の設定が異なっているか否かを判断する。そして、この条件を満たす場合、ブロック中央画素Ｇ(I,J)がエッジであると判断して、「１」に設定する。また、上記条件を満たさない場合、ブロック中央画素Ｇ(I,J)がエッジでないと判断して、「０」に設定する。例えば、図７（Ａ）に示すような場合、ブロック中央画素Ｇ(I,J)がエッジであると判断して「１」に設定し、図７（Ｂ）に示すような場合、ブロック中央画素Ｇ(I,J)がエッジでないと判断して「０」に設定する。
そして、ブロック中央画素Ｇが「１」、または、「０」に設定されたＹ方向二値化画像を生成する。
【００２６】
そして、エッジ検出処理二値化画像生成手段１２６は、Ｘ方向二値化画像およびＹ方向二値化画像の論理和を取り、エッジ検出処理二値化画像を生成する。すなわち、人物のエッジに対応するブロック中央画素Ｇが「１」に設定され、エッジ以外に対応するブロック中央画素Ｇが全て「０」に設定されたエッジ検出処理二値化画像を生成して、画像メモリ１１０に適宜記憶させる。
【００２７】
画像出力制御手段１２７Ａは、図８に示すような出力画像Ｐr1を生成して、表示手段２０Ａで表示させる。
具体的には、画像出力制御手段１２７Ａは、混合画像と、ブロックフィルタ処理カラー画像Ｐf1と、エッジ検出処理二値化画像と、を取得する。そして、ブロックフィルタ処理カラー画像Ｐf1およびエッジ検出処理二値化画像における互いに対応する処理対象のブロック中央画素Ｇを比較して、このブロック中央画素Ｇが非エッジであり（エッジでなく）、かつ、ブロックフィルタ処理カラー画像Ｐf1で「０」に設定されているか否かを判断する。そして、この条件を満たす場合、このブロック中央画素Ｇが背景であると判断して、このブロック中央画素Ｇを所望の背景色に設定する。また、上記条件を満たさない場合、非エッジであり、かつ、ブロックフィルタ処理カラー画像Ｐf1で「１」に設定されているか否かを判断する。そして、この条件を満たす場合、このブロック中央画素Ｇが人物であると判断して、混合画素の色に設定する。一方、上記条件を満たさない場合、エッジであり、かつ、ブロックフィルタ処理カラー画像Ｐf1で「１」に設定されているか否かを判断する。そして、この条件を満たす場合、このブロック中央画素Ｇがエッジであると判断して、ブロックフィルタ処理カラー画像Ｐf1の色に設定する。ここでは、白色に設定する。
そして、画像出力制御手段１２７Ａは、図８に示すような間隔が広い右下がりの複数の斜線で表されるブロック中央画素Ｇ(3,3)などが所望の背景色に、間隔が狭い左下がりの複数の斜線で表されるブロック中央画素Ｇ(5,3)などが混合画像の色に、斜線がない状態で表されるブロック中央画素Ｇ(4,3)などが白色に、それぞれ設定された出力画像Ｐr1を表示手段２０Ａで表示させる。
【００２８】
〔人物抽出システムの動作〕
まず、人物抽出システムの動作について、図面に基づいて説明する。
図９は、人物抽出処理を示すフローチャートである。図１０は、ブロック代表値画像生成処理を示すフローチャートである。図１１は、背景差分二値化画像生成処理を示すフローチャートである。図１２は、孤立点除去処理を示すフローチャートである。図１３は、ブロックフィルタ処理カラー画像生成処理を示すフローチャートである。図１４は、エッジ検出処理二値化画像生成処理を示すフローチャートである。図１５は、画像出力制御処理を示すフローチャートである。
【００２９】
まず、人物抽出システム１Ａは、図９に示すように、ブロック代表値画像生成ステップとしてのブロック代表値画像生成処理を実施する（ステップＳ１）。そして、このステップＳ１で生成された代表値背景画像および代表値混合画像に基づいて、背景差分二値化画像生成ステップとしての背景差分二値化画像生成処理を実施する（ステップＳ２）。
この後、このステップＳ２で生成された背景差分二値化画像Ｐhに対して孤立点除去処理を実施して（ステップＳ３）、孤立点が除去された背景差分二値化画像Ｐhに基づいて、ブロックフィルタ処理画像生成ステップとしてのブロックフィルタ処理カラー画像生成処理を実施する（ステップＳ４）。さらに、ステップＳ２で生成された背景差分二値化画像Ｐhに基づいて、エッジ検出処理二値化画像生成ステップとしてのエッジ検出処理二値化画像生成処理を実施する（ステップＳ５）。そして、このステップＳ５で生成されたエッジ検出処理二値化画像と、ステップＳ１で生成された混合画像と、ステップＳ４で生成されたブロックフィルタ処理カラー画像Ｐf1と、に基づいて、出力画像Ｐr1を生成して表示させる出力画像生成ステップとしての画像出力制御処理を実施する（ステップＳ６）。
【００３０】
ここで、ステップＳ１におけるブロック代表値画像生成処理では、人物抽出システム１Ａの人物抽出装置１００Ａは、図１０に示すように、所定のタイミングで撮影手段１０を制御して背景画像を生成する（ステップＳ１１）。そして、この背景画像の各ブロックＣの代表値を演算し（ステップＳ１２）、この代表値に基づく代表値背景画像を生成する（ステップＳ１３）。さらに、人物抽出装置１００Ａは、人物が撮影手段１０の前に位置する状態で撮影手段１０を制御して混合画像を生成する（ステップＳ１４）。そして、この混合画像の各ブロックＣの代表値を演算し（ステップＳ１５）、この代表値に基づく代表値混合画像を生成する（ステップＳ１６）。
【００３１】
また、ステップＳ２における背景差分二値化画像生成処理では、人物抽出装置１００Ａは、図１１に示すように、代表値背景画像および代表値混合画像における比較対象のブロックＣの代表値を比較して（ステップＳ２１）、代表値の差分が所定値以上か否かを判断する（ステップＳ２２）。このステップＳ２２において、所定値以上であると判断した場合、背景差分二値化画像Ｐhのブロック中央画素Ｇを「１」に設定し（ステップＳ２３）、所定値未満であると判断した場合、ブロック中央画素Ｇを「０」に設定する（ステップＳ２４）。そして、１フレーム分の処理が終了したか否かを判断し（ステップＳ２５）、終了したと判断した場合、処理を終了し、終了していないと判断した場合、ステップＳ２１に戻る。
【００３２】
さらに、ステップＳ３における孤立点除去処理では、人物抽出装置１００Ａは、図１２に示すように、背景差分二値化画像Ｐhにおける処理対象のブロック中央画素Ｇが「０」か否かを判断する（ステップＳ３１）。このステップＳ３１において、「０」であると判断した場合、「０」のブロック中央画素ＧがＸ方向またはＹ方向に連続する数がＭ以下か否かを判断する（ステップＳ３２）。そして、ステップＳ３２において、Ｍ以下であると判断した場合、ブロック中央画素Ｇを「０」から「１」に変更する（ステップＳ３３）。さらに、このステップＳ３３を実施した場合、または、ステップＳ３２においてＭ以下でないと判断した場合、１フレーム分の処理が終了したか否かを判断し（ステップＳ３４）、終了したと判断した場合、処理を終了し、終了していないと判断した場合、ステップＳ３１に戻る。
また、ステップＳ３１において、「１」であると判断した場合、「１」のブロック中央画素ＧがＸ方向またはＹ方向に連続する数がＮ以下か否かを判断する（ステップＳ３５）。このステップＳ３５において、Ｎ以下でないと判断した場合、ステップＳ３４の処理を実施し、Ｎ以下であると判断した場合、ブロック中央画素Ｇを「１」から「０」に変更して（ステップＳ３６）、ステップＳ３４の処理をする。
【００３３】
また、ステップＳ４におけるブロックフィルタ処理カラー画像生成処理では、人物抽出装置１００Ａは、図１３に示すように、背景差分二値化画像Ｐhにおける処理対象のブロック中央画素Ｇが「１」か否かを判断する（ステップＳ４１）。このステップＳ４１において、「１」であると判断した場合、ブロックフィルタ処理カラー画像Ｐf1のブロック中央画素Ｇを混合画像の色に設定し（ステップＳ４２）、「０」であると判断した場合、ブロック中央画素Ｇを白色に設定する（ステップＳ４３）。そして、１フレーム分の処理が終了したか否かを判断し（ステップＳ４４）、終了したと判断した場合、処理を終了し、終了していないと判断した場合、ステップＳ４１に戻る。
【００３４】
さらに、ステップＳ５におけるエッジ検出処理二値化画像生成処理では、人物抽出装置１００Ａは、図１４に示すように、背景差分二値化画像Ｐhにおける処理対象のブロック中央画素Ｇ(I,J)と、Ｘ方向に隣り合う画素Ｇ(I-1,J)，Ｇ(I+1,J)と、の値を比較して（ステップＳ５１）、ブロック中央画素Ｇ(I,J)が「１」であり、かつ、画素Ｇ(I-1,J)，Ｇ(I+1,J)の値が異なるか否かを判断する（ステップＳ５２）。このステップＳ５２において、条件を満たすと判断した場合、Ｘ方向二値化画像のブロック中央画素Ｇを「１」に設定し（ステップＳ５３）、条件を満たさないと判断した場合、「０」に設定する（ステップＳ５４）。この後、１フレーム分の処理が終了したか否かを判断し（ステップＳ５５）、終了していないと判断した場合、ステップＳ５１に戻る。
一方、ステップＳ５５において、終了したと判断した場合、ブロック中央画素Ｇ(I,J)と、Ｙ方向に隣り合う画素Ｇ(I,J-1)，Ｇ(I,J+1)と、の値を比較して（ステップＳ５６）、ブロック中央画素Ｇ(I,J)が「１」であり、かつ、画素Ｇ(I,J-1)，Ｇ(I,J+1)の値が異なるか否かを判断する（ステップＳ５７）。このステップＳ５７において、条件を満たすと判断した場合、Ｙ方向二値化画像のブロック中央画素Ｇを「１」に設定し（ステップＳ５８）、条件を満たさないと判断した場合、「０」に設定する（ステップＳ５９）。この後、１フレーム分の処理が終了したか否かを判断し（ステップＳ６０）、終了していないと判断した場合、ステップＳ５６に戻り、終了したと判断した場合、Ｘ方向二値化画像およびＹ方向二値化画像に基づいて、エッジ検出処理二値化画像を生成する（ステップＳ６１）。
【００３５】
また、ステップＳ６における画像出力制御処理では、人物抽出装置１００Ａは、図１５に示すように、エッジ検出処理二値化画像およびブロックフィルタ処理カラー画像Ｐf1における処理対象のブロック中央画素Ｇを比較して（ステップＳ７１）、このブロック中央画素Ｇが非エッジであり、かつ、ブロックフィルタ処理カラー画像Ｐf1で「０」に設定されているか否かを判断する（ステップＳ７２）。このステップＳ７２において、条件を満たしていると判断した場合、出力画像Ｐr1のブロック中央画素Ｇを所望の背景色に設定する（ステップＳ７３）。また、ステップＳ７２において、条件を満たさない場合、非エッジであり、かつ、ブロックフィルタ処理カラー画像Ｐf1で「１」に設定されているか否かを判断する（ステップＳ７４）。
そして、ステップＳ７４において、条件を満たす場合、ブロック中央画素Ｇを混合画素の色に設定する（ステップＳ７５）。一方、ステップＳ７４において、条件を満たさない場合、エッジであり、かつ、ブロックフィルタ処理カラー画像Ｐf1で「１」に設定されているか否かを判断する（ステップＳ７６）。このステップＳ７６において、条件を満たす場合、ブロック中央画素Ｇをブロックフィルタ処理カラー画像Ｐf1の色、すなわち白色に設定する（ステップＳ７７）。
そして、ステップＳ７３またはステップＳ７５の処理の後、あるいは、ステップＳ７６において条件を満たしていないと判断した場合、１フレーム分の処理が終了したか否かを判断し（ステップＳ７８）、終了していないと判断した場合、ステップＳ７１に戻り、終了したと判断した場合、出力画像Ｐr1を表示手段２０Ａで出力させる（ステップＳ７９）。
【００３６】
〔第１実施形態の作用効果〕
上述したように、上記第１実施形態では、人物抽出装置１００Ａにて、背景画像および混合画像をそれぞれ複数のブロック構成画素Ｇから構成される複数のブロックＣに分割する。そして、各ブロック構成画素Ｇの表色値の代表値を演算して、この代表値をブロック中央画素Ｇに設定した代表値背景画像および代表値混合画像を生成する。この後、代表値背景画像および代表値混合画像をブロックＣごとに比較し、代表値の差分が所定値以上の場合にブロック中央画素Ｇを人物画像ブロックとして「１」に設定し、所定値未満の場合に背景画像ブロックとして「０」に設定した背景差分二値化画像Ｐhを生成する。そして、背景差分二値化画像Ｐhにおける「１」のブロック中央画素Ｇを混合画像の色に設定し、「０」のブロック中央画素Ｇを所定の色に設定することにより、混合画像から人物を抽出したブロックフィルタ処理カラー画像Ｐf1を生成する。
このため、複数のブロック構成画素Ｇから構成されるブロックＣ単位で、背景画像および混合画像における表色値の代表値を比較するので、撮影手段１０や背景となる樹木などが風で揺れたりすることなどにより画素Ｇ(X,Y)単位で背景画像が変化してしまったとしても、この画素Ｇ(X,Y)単位での変化の影響を除去した状態で、効率的に混合画像から人物を抽出できる。
【００３７】
さらに、背景差分二値化画像Ｐhにおける人物および背景のエッジを検出して、所定のブロック中央画素Ｇがエッジまたは非エッジである旨を示すエッジ検出処理二値化画像を生成する。そして、このエッジ検出処理二値化画像のエッジと判定されたブロック中央画素Ｇをブロックフィルタ処理カラー画像Ｐf1の色である白色に設定し、非エッジと判定されたブロック中央画素Ｇを混合画像の色に設定し、非エッジと判定されたブロック中央画素Ｇを所定の背景色に設定することにより、出力画像Ｐr1を生成して表示させる。
このため、白色でいわゆる縁取りされた状態で効率的に抽出された人物を、出力画像Ｐr1により表示させることができる。
【００３８】
そして、背景画像や混合画像におけるノイズなどにより、背景差分二値化画像Ｐhに発生した孤立点を除去している。
このため、効率的に、かつ、適切に混合画像から人物を抽出することができる。
【００３９】
［第２実施形態］
次に、本発明に係る第２実施形態を図面に基づいて説明する。
なお、第１実施形態と同一の構成については、同一符号を付し説明を適宜省略する。また、人物抽出システムの動作については、説明を省略する。
【００４０】
〔人物抽出システムの構成〕
まず、人物抽出システムの構成について、図面に基づいて説明する。
図１６は、人物抽出システムの概略構成を示すブロック図である。図１７は、合成画像を示す模式図である。
【００４１】
図１６において、１Ｂは人物抽出システムであり、この人物抽出システム１Ｂは、撮影手段１０と、他画像出力手段３０と、表示手段２０Ｂと、人物抽出装置１００Ｂと、などを備えている。
【００４２】
他画像出力手段３０は、例えばいわゆるテレビチューナであり、人物抽出装置１００Ｂに接続されている。
この他画像出力手段３０は、放送波などの無線媒体やケーブルなどの有線媒体を介して配信される画像（以下、他画像と称す）を受信して、人物抽出装置１００Ｂへ出力する。
【００４３】
表示手段２０Ｂは、例えばテレビジョン装置のモニタであり、人物抽出装置１００Ｂに接続されるとともに屋内に設置されている。
この表示手段２０Ｂは、人物抽出装置１００Ｂの制御により、図１７に示すように、混合画像から抽出された人物を表す出力画像Ｐr2と、他画像出力手段３０で受信された他画像Ｐtと、が合成された合成画像Ｐg1などを適宜表示させる。
【００４４】
人物抽出装置１００Ｂは、制御部１２０Ｂのみが第１実施形態の人物抽出装置１００Ａと異なる構成を有している。また、制御部１２０Ｂは、第１実施形態の制御部１２０Ａと同様の構成を有し、画像出力制御手段１２７Ａの代わりに画像出力制御手段１２７Ｂを備えている。
【００４５】
画像出力制御手段１２７Ｂは、合成画像Ｐg1を生成して、表示手段２０Ｂで表示させる。
具体的には、画像出力制御手段１２７Ｂは、ブロックフィルタ処理カラー画像Ｐf1およびエッジ検出処理二値化画像の互いに対応するブロック中央画素Ｇが背景であると判断した場合、出力画像Ｐr2のブロック中央画素Ｇを他画像Ｐtの色に設定する。さらに、人物と判断されたブロック中央画素Ｇを混合画像の色に、エッジと判断されたブロック中央画素Ｇをブロックフィルタ処理カラー画像Ｐf1の色である白色に、それぞれ設定した出力画像Ｐr2を生成する。そして、テレビジョン放送の一場面である他画像Ｐtの一部に出力画像Ｐr2を合成した合成画像Ｐg1を表示手段２０Ｂで表示させる。すなわち、他画像Ｐtにいわゆる白色の縁領域Ｗで縁取りされた人物Ｈが合成された合成画像Ｐg1を表示させる。
【００４６】
〔第２実施形態の作用効果〕
上述したように、上記第２実施形態では、上記第１実施形態と同様の作用効果に加え、以下のような作用効果を奏することができる。
【００４７】
すなわち、人物抽出装置１００Ｂにて、ブロックフィルタ処理カラー画像Ｐf1およびエッジ検出処理二値化画像に基づいて、背景であると判断されたブロック中央画素Ｇを他画像Ｐtの色に、人物であると判断されたものを混合画像の色に、エッジと判断されたものを白色に、それぞれ設定した出力画像Ｐr2を生成する。そして、テレビジョン放送の一場面である他画像Ｐtの一部に出力画像Ｐr2を合成した合成画像Ｐg1を表示させる。
このため、例えばテレビジョン放送の視聴中であっても、利用者をその場から離れさせることなく訪問者の顔を認識させることができ、利便性を向上できる。
【００４８】
［第３実施形態］
次に、本発明に係る第３実施形態を図面に基づいて説明する。
なお、第１，第２実施形態と同一の構成については、同一符号を付し説明を適宜省略する。また、人物抽出システムの動作については、説明を省略する。
【００４９】
〔人物抽出システムの構成〕
まず、人物抽出システムの構成について、図面に基づいて説明する。
図１８は、人物抽出システムの概略構成を示すブロック図である。図１９は、合成画像を示す模式図である。
【００５０】
図１８において、１Ｃは人物抽出システムであり、この人物抽出システム１Ｃは、撮影手段１０と、他画像出力手段３０と、表示手段２０Ｂと、人物抽出装置１００Ｃと、などを備えている。
【００５１】
人物抽出装置１００Ｃは、制御部１２０Ｃのみが第２実施形態の人物抽出装置１００Ｂと異なる構成を有している。また、制御部１２０Ｃは、第２実施形態の制御部１２０Ｂと同様の構成を有し、ブロックフィルタ処理カラー画像生成手段１２５Ａおよび画像出力制御手段１２７Ｂの代わりに、ブロックフィルタ処理カラー画像生成手段１２５Ｃおよび画像出力制御手段１２７Ｃを備えているとともに、エッジ検出処理二値化画像生成手段１２６を備えていない。
【００５２】
ブロックフィルタ処理カラー画像生成手段１２５Ｃは、図１９に示すようなブロックフィルタ処理カラー画像Ｐf2を生成する。
具体的には、ブロックフィルタ処理カラー画像生成手段１２５Ｃは、孤立点除去手段１２４により孤立点除去がされた背景差分二値化画像Ｐhにおける処理対象のブロック中央画素Ｇが「０」か否かを判断する。そして、「０」であり背景であると判断した場合、ブロックフィルタ処理カラー画像Ｐf2のブロック中央画素Ｇを他画像Ｐtの色に設定し、「１」であり人物であると判断した場合、混合画像の色に設定して、ブロックフィルタ処理カラー画像Ｐf2を生成する。
【００５３】
画像出力制御手段１２７Ｃは、図１９に示すような合成画像Ｐg2を生成して、表示手段２０Ｂで表示させる。
具体的には、画像出力制御手段１２７Ｃは、ブロックフィルタ処理カラー画像Ｐf2を取得して、他画像Ｐtの一部に合成した合成画像Ｐg2を表示手段２０Ｂで表示させる。すなわち、他画像Ｐtに縁領域Ｗで縁取りがされていない人物Ｈが合成された合成画像Ｐg2を表示させる。
【００５４】
〔第３実施形態の作用効果〕
上述したように、上記第３実施形態では、上記第１，第２実施形態と同様の作用効果に加え、以下のような作用効果を奏することができる。
【００５５】
すなわち、人物抽出装置１００Ｃにて、背景差分二値化画像Ｐhにおいて、背景であると判断されたブロック中央画素Ｇを他画像Ｐtの色に、人物であると判断されたものを混合画像の色に、それぞれ設定したブロックフィルタ処理カラー画像Ｐf2を生成する。そして、他画像Ｐtの一部にブロックフィルタ処理カラー画像Ｐf2を合成した合成画像Ｐg2を表示させる。
このため、エッジ検出処理二値化画像生成手段１２６を設けなくても、例えばテレビジョン放送視聴中の利用者をその場から離れさせることなく訪問者の顔を認識させることができる。したがって、構成の簡略化を図りつつ、利便性を向上できる。
【００５６】
［第４実施形態］
次に、本発明に係る第４実施形態を図面に基づいて説明する。
なお、第１〜第３実施形態と同一の構成については、同一符号を付し説明を適宜省略する。また、人物抽出システムの動作については、説明を省略する。
【００５７】
〔人物抽出システムの構成〕
まず、人物抽出システムの構成について、図１に基づいて説明する。
【００５８】
図１において、人物抽出システム１Ｄは、人物抽出装置１００Ｄのみが第１実施形態の人物抽出システム１Ａと異なる構成を有している。また、人物抽出装置１００Ｄは、制御部１２０Ｄのみが第１実施形態の人物抽出装置１００Ａと異なる構成を有している。さらに、制御部１２０Ｄは、第１実施形態の制御部１２０Ａと同様の構成を有し、ブロック代表値画像生成手段１２２Ａ、背景差分二値化画像生成手段１２３Ａ、および、ブロックフィルタ処理カラー画像生成手段１２５Ａの代わりに、ブロック代表値画像生成手段１２２Ｄ、背景差分二値化画像生成手段１２３Ｄ、および、ブロックフィルタ処理カラー画像生成手段１２５Ｄを備えている。
【００５９】
ブロック代表値画像生成手段１２２Ｄは、背景画像および混合画像において、第１実施形態のブロック代表値画像生成手段１２２Ａと同様の処理により、ブロックサイズが「５×５」のブロックＣに分割し、各ブロックＣの代表値に基づいて、代表値背景画像および代表値混合画像を生成する。さらに、例えば画素Ｇ(I-2,J-2)、画素Ｇ(I-2,J+1)、画素Ｇ(I+1,J+1)、および、画素Ｇ(I+1,J-2)を四隅とする１６個のブロック構成画素Ｇから構成されるブロックサイズが「４×４」のブロックＣ、画素Ｇ(I-1,J-1)、画素Ｇ(I-1,J+1)、画素Ｇ(I+1,J+1)、および、画素Ｇ(I+1,J-1)を四隅とする９個のブロック構成画素Ｇから構成されるブロックサイズが「３×３」のブロックＣに分割し、それぞれに対応する代表値背景画像および代表値混合画像を生成する。
【００６０】
背景差分二値化画像生成手段１２３Ｄは、ブロックサイズが「３×３」、「４×４」、および、「５×５」のブロックＣに基づいて、それぞれに対応する背景差分二値化画像Ｐhを生成する。ここで、ブロックＣのブロックサイズが異なるため、各背景差分二値化画像Ｐhは、「１」に設定されたブロックＣ、すなわち人物画像ブロックの数や範囲あるいは位置が適宜異なることとなる。
【００６１】
ブロックフィルタ処理カラー画像生成手段１２５Ｄは、各ブロックサイズに対応する背景差分二値化画像Ｐhから、あらかじめ設定された人物画像ブロックの数や範囲あるいは位置と同一、あるいは、ほぼ等しいものを選択する。そして、この選択したブロックサイズに対応する背景差分二値化画像Ｐhに基づいて、ブロックフィルタ処理カラー画像Ｐf1を生成して、画像メモリ１１０に適宜記憶させる。
このブロックフィルタ処理カラー画像Ｐf1に基づいて、出力画像Ｐr1が表示手段２０Ａで表示される。
【００６２】
〔第４実施形態の作用効果〕
上述したように、上記第４実施形態では、上記第１実施形態と同様の作用効果に加え、以下のような作用効果を奏することができる。
【００６３】
すなわち、人物抽出装置１００Ｄにて、ブロックサイズが異なる複数の代表値背景画像、代表値混合画像、および、背景差分二値化画像Ｐhを生成する。そして、これら各ブロックサイズの背景差分二値化画像Ｐhから、あらかじめ設定された人物画像ブロックの数や範囲あるいは位置と同一、あるいは、ほぼ等しいものを選択し、この選択した背景差分二値化画像Ｐhに基づく出力画像Ｐr1を表示させる。
このため、例えば撮影手段１０や背景となる樹木などが風で揺れたりしている場合には、大きいブロックサイズの背景差分二値化画像Ｐhを選択することにより、ある程度の動きをブロックＣ単位で吸収することができ、背景画像ブロックの抽出を容易にできる。したがって、撮影手段１０の設置環境に対応したブロックサイズの背景差分二値化画像Ｐhに基づいて、人物を高精度に抽出できる。
【００６４】
［第５実施形態］
次に、本発明に係る第５実施形態を図面に基づいて説明する。
なお、第１〜第４実施形態と同一の構成については、同一符号を付し説明を適宜省略する。また、人物抽出システムの動作については、説明を省略する。
【００６５】
〔人物抽出システムの構成〕
まず、人物抽出システムの構成について、図１に基づいて説明する。
【００６６】
図１において、人物抽出システム１Ｅは、人物抽出装置１００Ｅのみが第１実施形態の人物抽出システム１Ａと異なる構成を有している。また、人物抽出装置１００Ｅは、制御部１２０Ｅのみが第１実施形態の人物抽出装置１００Ａと異なる構成を有している。さらに、制御部１２０Ｅは、第１実施形態の制御部１２０Ａと同様の構成を有し、背景差分二値化画像生成手段１２３Ａの代わりに、背景差分二値化画像生成手段１２３Ｅを備えている。
【００６７】
背景差分二値化画像生成手段１２３Ｅは、代表値背景画像および代表値混合画像における比較対象のブロックＣの代表値を比較する。そして、この代表値の差分が第１所定値未満であると判断した場合、代表値混合画像のブロックＣが背景画像ブロックであると認識して、ブロック中央画素Ｇを「０」に設定する。また、代表値の差分が第１所定値よりも大きい第２所定値以上であると判断した場合、代表値混合画像のブロックＣが人物画像ブロックであると認識して、ブロック中央画素Ｇを「１」に設定する。さらに、代表値の差分が第１所定値以上であり、かつ、第２所定値未満であると判断した場合、代表値混合画像のブロックＣの代表値で表される色が肌色か否かを判断する。そして、肌色であると判断した場合、人物画像ブロックであると認識して、ブロック中央画素Ｇを「１」に設定し、肌色でないと判断した場合、背景画像ブロックであると認識して、「０」に設定する。そして、人物画像ブロックおよび背景画像ブロックで構成される背景差分二値化画像Ｐhを生成する。
【００６８】
〔第５実施形態の作用効果〕
上述したように、上記第５実施形態では、上記第１実施形態と同様の作用効果に加え、以下のような作用効果を奏することができる。
【００６９】
すなわち、人物抽出装置１００Ｅにて、代表値背景画像および代表値混合画像におけるブロックＣの代表値の差分が第１所定値以上であり、かつ、第２所定値未満であると判断した場合、代表値混合画像のブロックＣの代表値で表される色が肌色か否かに基づいて、背景画像ブロックまたは人物画像ブロックである旨を判断する。
このため、代表値の差分に基づき人物画像ブロックであるか否かの判定が困難な場合であっても、そのブロックＣにおける実際の色を検出することにより、人物をさらに高精度に抽出できる。
【００７０】
［実施形態の変形］
なお、本発明は、上述した一実施形態に限定されるものではなく、本発明の目的を達成できる範囲で以下に示される変形をも含むものである。
【００７１】
すなわち、第１〜第５実施形態において、エッジ検出処理二値化画像生成手段１２６および画像出力制御手段１２７Ａ，１２７Ｂ，１２７Ｃを設けない構成としてもよい。さらには、撮影制御手段１２１、孤立点除去手段１２４を設けない構成としてもよい。
【００７２】
そして、第２実施形態における他画像Ｐtに対する出力画像Ｐr2の大きさあるいは位置や、第３実施形態における他画像Ｐtに対するブロックフィルタ処理カラー画像Ｐf2の大きさあるいは位置を、適宜変更可能な構成としてもよいし、あらかじめ所定の状態に設定した構成としてもよい。
【００７３】
さらに、第１〜第５実施形態において、ブロックＣを構成するブロック構成画素Ｇの表色値の平均値や中間値を代表値としたが、ブロック構成画素Ｇのうちの代表画素Ｇ、例えばブロック中央画素Ｇの表色値を、そのままブロックＣの代表値として適用してもよい。
【００７４】
また、第２，第３実施形態において、撮影手段１０をテレビ会議システムの参加者を撮影するカメラとするとともに、他画像出力手段３０を会議資料を撮影するカメラとし、表示手段２０Ｂで主に会議資料を表示するとともに、その一部に参加者の顔を合成して表示させる構成としてもよい。
さらに、本発明の人物抽出装置を、テレビ電話に適用してもよい。
【００７５】
また、上述した各機能をプログラムとして構築したが、例えば回路基板などのハードウェアあるいは１つのＩＣ（Integrated Circuit）などの素子にて構成するなどしてもよく、いずれの形態としても利用できる。なお、プログラムや別途記録媒体から読み取らせる構成とすることにより、上述したように取扱が容易で、利用の拡大が容易に図れる。
【００７６】
その他、本発明の実施の際の具体的な構造および手順は、本発明の目的を達成できる範囲で他の構造などに適宜変更できる。
【００７７】
［実施形態の効果］
上述したように、上記実施形態では、人物抽出装置１００Ａにて、背景画像および混合画像をそれぞれ複数のブロック構成画素Ｇから構成される複数のブロックＣに分割する。そして、各ブロック構成画素Ｇの表色値の代表値を演算して、この代表値をブロック中央画素Ｇに設定した代表値背景画像および代表値混合画像を生成する。この後、代表値背景画像および代表値混合画像をブロックＣごとに比較し、代表値の差分が所定値以上の場合にブロック中央画素Ｇを人物画像ブロックとして「１」に設定し、所定値未満の場合に背景画像ブロックとして「０」に設定した背景差分二値化画像Ｐhを生成する。そして、背景差分二値化画像Ｐhにおける「１」のブロック中央画素Ｇを混合画像の色に設定し、「０」のブロック中央画素Ｇを所定の色に設定することにより、混合画像から人物を抽出したブロックフィルタ処理カラー画像Ｐf1を生成する。
このため、複数のブロック構成画素Ｇから構成されるブロックＣ単位で、背景画像および混合画像における表色値の代表値を比較するので、撮影手段１０が風で揺れたりすることなどにより画素Ｇ(X,Y)単位で背景画像が変化してしまったとしても、この画素Ｇ(X,Y)単位での変化の影響を除去した状態で、効率的に混合画像から人物を抽出できる。
【図面の簡単な説明】
【００７８】
【図１】本発明の第１，第４，第５実施形態に係る人物抽出システムの概略構成を示すブロック図である。
【図２】本発明の第１〜第５実施形態に係る背景画像および混合画像における有効領域およびブロックを示す模式図である。
【図３】前記第１〜第５実施形態における背景差分二値化画像を示す模式図である。
【図４】前記第１〜第５実施形態における孤立点除去処理を説明するための図であり、（Ａ），（Ｂ），（Ｃ），（Ｄ）は孤立点を除去する場合を表し、（Ｅ），（Ｆ）は孤立点を除去しない場合を表す。
【図５】前記第１，第２，第４，第５実施形態におけるブロックフィルタ処理カラー画像を示す模式図である。
【図６】前記第１〜第５実施形態におけるＸ方向へのエッジ検出処理を説明するための図であり、（Ａ）はエッジであると判断される場合を表し、（Ｂ）はエッジでないと判断される場合を表す。
【図７】前記第１〜第５実施形態におけるＹ方向へのエッジ検出処理を説明するための図であり、（Ａ）はエッジであると判断される場合を表し、（Ｂ）はエッジでないと判断される場合を表す。
【図８】前記第１，第４，第５実施形態における出力画像を示す模式図である。
【図９】前記第１，第２，第４，第５実施形態における人物抽出処理を示すフローチャートである。
【図１０】前記第１〜第３，第５実施形態におけるブロック代表値画像生成処理を示すフローチャートである。
【図１１】前記第１，第２実施形態における背景差分二値化画像生成処理を示すフローチャートである。
【図１２】前記第１〜第５実施形態における孤立点除去処理を示すフローチャートである。
【図１３】前記第１，第２，第４，第５実施形態におけるブロックフィルタ処理カラー画像生成処理を示すフローチャートである。
【図１４】前記第１，第２，第４，第５実施形態におけるエッジ検出処理二値化画像生成処理を示すフローチャートである。
【図１５】前記第１，第５実施形態における画像出力制御処理を示すフローチャートである。
【図１６】前記第２実施形態における人物抽出システムの概略構成を示すブロック図である。
【図１７】前記第２実施形態における合成画像を示す模式図である。
【図１８】前記第３実施形態における人物抽出システムの概略構成を示すブロック図である。
【図１９】前記第３実施形態における合成画像を示す模式図である。
【符号の説明】
【００７９】
１００Ａ，１００Ｂ，１００Ｃ，１００Ｄ，１００Ｅ…人物抽出装置
１２０Ａ，１２０Ｂ，１２０Ｃ，１２０Ｄ，１２０Ｅ…演算手段としての制御部
１２２Ａ，１２２Ｄ…ブロック代表値画像生成手段
１２３Ａ，１２３Ｄ，１２３Ｅ…背景差分二値化画像生成手段
１２５Ａ，１２５Ｃ，１２５Ｄ…ブロックフィルタ処理画像生成手段としてのブロックフィルタ処理カラー画像生成手段
１２６…エッジ検出処理二値化画像生成手段
１２７Ａ，１２７Ｂ，１２７Ｃ…出力画像生成手段としても機能する画像出力制御手段
Ｃ…ブロック
Ｇ…画素
Ｐh…背景差分二値化画像
Ｐf1，Ｐf2…ブロックフィルタ処理画像としてのブロックフィルタ処理カラー画像
Ｐr1，Ｐr2…出力画像
【特許請求の範囲】
【請求項１】
所定の背景が撮影されている背景画像を複数の画素からなるブロックに分割し、各ブロックの色を所定の表色系で表す値の代表値を演算し、各ブロックの代表値から構成される代表値背景画像を生成するとともに、前記背景画像の背景および人物が撮影されている混合画像を前記複数の画素からなるブロックに分割し、各ブロックの前記代表値を演算し、各ブロックの代表値から構成される代表値混合画像を生成するブロック代表値画像生成ステップと、
前記代表値背景画像および前記代表値混合画像をブロックごとに比較し、前記代表値の差が所定値以上の前記ブロックを人物画像ブロックとして第１の値に設定し、前記所定値未満の前記ブロックを背景画像ブロックとして第２の値に設定することにより、背景差分二値化画像を生成する背景差分二値化画像生成ステップと、
前記背景差分二値化画像の前記第１の値に設定された画素を前記混合画像の色に設定し、前記第２の値に設定された画素を所定の色に設定することにより、ブロックフィルタ処理画像を生成するブロックフィルタ処理画像生成ステップと、
を実施することを特徴とする人物抽出方法。
【請求項２】
請求項１に記載の人物抽出方法であって、
前記背景差分二値化画像における背景および人物のエッジを検出し、所定の画素がエッジまたは非エッジである旨を示すエッジ検出処理二値化画像を生成するエッジ検出処理二値化生成画像ステップと、
前記エッジ検出処理二値化画像のエッジと判定された画素を前記ブロックフィルタ処理画像の色に設定し、非エッジと判定された前記第１の値からなる画素を前記混合画像の色に設定し、非エッジと判定された前記第２の値からなる画素を所定の背景色に設定することにより、出力画像を生成する出力画像生成ステップと、
を実施することを特徴とする人物抽出方法。
【請求項３】
請求項１または請求項２に記載の人物抽出方法であって、
前記背景差分二値化画像生成ステップでは、前記ブロックの前記代表値で表される色または前記ブロックにおける代表画素の色を検出し、その色に基づいて、前記ブロックを前記第１の値または前記第２の値に設定することにより前記背景差分二値化画像を生成する
ことを特徴とする人物抽出方法。
【請求項４】
請求項１ないし請求項３のいずれかに記載の人物抽出方法であって、
前記ブロック代表値画像生成ステップおよび前記背景差分二値化画像生成ステップでは、前記ブロックのサイズが異なる複数の前記代表値背景画像、前記代表値混合画像、および、前記背景差分二値化画像を生成し、
前記ブロックフィルタ処理画像生成ステップでは、前記第１の値のブロックがあらかじめ設定された範囲内に位置するブロックサイズ、または、前記第１の値のブロックが前記範囲に最も近いブロックサイズの前記背景差分二値化画像を選択して、この背景差分二値化画像に基づく処理を実施する
ことを特徴とする人物抽出方法。
【請求項５】
所定の背景が撮影されている背景画像を複数の画素からなるブロックに分割し、各ブロックの色を所定の表色系で表す値の代表値を演算し、各ブロックの代表値から構成される代表値背景画像を生成するとともに、前記背景画像の背景および人物が撮影されている混合画像を前記複数の画素からなるブロックに分割し、各ブロックの前記代表値を演算し、各ブロックの代表値から構成される代表値混合画像を生成するブロック代表値画像生成手段と、
前記代表値背景画像および前記代表値混合画像をブロックごとに比較し、前記代表値の差が所定値以上の前記ブロックを人物画像ブロックとして第１の値に設定し、前記所定値未満の前記ブロックを背景画像ブロックとして第２の値に設定することにより、背景差分二値化画像を生成する背景差分二値化画像生成手段と、
前記背景差分二値化画像の前記第１の値に設定された画素を前記混合画像の色に設定し、前記第２の値に設定された画素を所定の色に設定することにより、ブロックフィルタ処理画像を生成するブロックフィルタ処理画像生成手段と、
を具備したことを特徴とした人物抽出装置。
【請求項６】
請求項５に記載の人物抽出装置であって、
前記背景差分二値化画像における背景および人物のエッジを検出し、所定の画素がエッジまたは非エッジである旨を示すエッジ検出処理二値化画像を生成するエッジ検出処理二値化生成画像手段と、
前記エッジ検出処理二値化画像のエッジと判定された画素を前記ブロックフィルタ処理画像の色に設定し、非エッジと判定された前記第１の値からなる画素を前記混合画像の色に設定し、非エッジと判定された前記第２の値からなる画素を所定の背景色に設定することにより、出力画像を生成する出力画像生成手段と、
を具備したことを特徴とした人物抽出装置。
【請求項７】
請求項１ないし請求項４のいずれかに記載の人物抽出方法を演算手段に実行させる
ことを特徴とした人物抽出プログラム。
【請求項８】
請求項７に記載の人物抽出プログラムが演算手段にて読取可能に記録された
ことを特徴とした人物抽出プログラムを記録した記録媒体。
【請求項１】
所定の背景が撮影されている背景画像を複数の画素からなるブロックに分割し、各ブロックの色を所定の表色系で表す値の代表値を演算し、各ブロックの代表値から構成される代表値背景画像を生成するとともに、前記背景画像の背景および人物が撮影されている混合画像を前記複数の画素からなるブロックに分割し、各ブロックの前記代表値を演算し、各ブロックの代表値から構成される代表値混合画像を生成するブロック代表値画像生成ステップと、
前記代表値背景画像および前記代表値混合画像をブロックごとに比較し、前記代表値の差が所定値以上の前記ブロックを人物画像ブロックとして第１の値に設定し、前記所定値未満の前記ブロックを背景画像ブロックとして第２の値に設定することにより、背景差分二値化画像を生成する背景差分二値化画像生成ステップと、
前記背景差分二値化画像の前記第１の値に設定された画素を前記混合画像の色に設定し、前記第２の値に設定された画素を所定の色に設定することにより、ブロックフィルタ処理画像を生成するブロックフィルタ処理画像生成ステップと、
を実施することを特徴とする人物抽出方法。
【請求項２】
請求項１に記載の人物抽出方法であって、
前記背景差分二値化画像における背景および人物のエッジを検出し、所定の画素がエッジまたは非エッジである旨を示すエッジ検出処理二値化画像を生成するエッジ検出処理二値化生成画像ステップと、
前記エッジ検出処理二値化画像のエッジと判定された画素を前記ブロックフィルタ処理画像の色に設定し、非エッジと判定された前記第１の値からなる画素を前記混合画像の色に設定し、非エッジと判定された前記第２の値からなる画素を所定の背景色に設定することにより、出力画像を生成する出力画像生成ステップと、
を実施することを特徴とする人物抽出方法。
【請求項３】
請求項１または請求項２に記載の人物抽出方法であって、
前記背景差分二値化画像生成ステップでは、前記ブロックの前記代表値で表される色または前記ブロックにおける代表画素の色を検出し、その色に基づいて、前記ブロックを前記第１の値または前記第２の値に設定することにより前記背景差分二値化画像を生成する
ことを特徴とする人物抽出方法。
【請求項４】
請求項１ないし請求項３のいずれかに記載の人物抽出方法であって、
前記ブロック代表値画像生成ステップおよび前記背景差分二値化画像生成ステップでは、前記ブロックのサイズが異なる複数の前記代表値背景画像、前記代表値混合画像、および、前記背景差分二値化画像を生成し、
前記ブロックフィルタ処理画像生成ステップでは、前記第１の値のブロックがあらかじめ設定された範囲内に位置するブロックサイズ、または、前記第１の値のブロックが前記範囲に最も近いブロックサイズの前記背景差分二値化画像を選択して、この背景差分二値化画像に基づく処理を実施する
ことを特徴とする人物抽出方法。
【請求項５】
所定の背景が撮影されている背景画像を複数の画素からなるブロックに分割し、各ブロックの色を所定の表色系で表す値の代表値を演算し、各ブロックの代表値から構成される代表値背景画像を生成するとともに、前記背景画像の背景および人物が撮影されている混合画像を前記複数の画素からなるブロックに分割し、各ブロックの前記代表値を演算し、各ブロックの代表値から構成される代表値混合画像を生成するブロック代表値画像生成手段と、
前記代表値背景画像および前記代表値混合画像をブロックごとに比較し、前記代表値の差が所定値以上の前記ブロックを人物画像ブロックとして第１の値に設定し、前記所定値未満の前記ブロックを背景画像ブロックとして第２の値に設定することにより、背景差分二値化画像を生成する背景差分二値化画像生成手段と、
前記背景差分二値化画像の前記第１の値に設定された画素を前記混合画像の色に設定し、前記第２の値に設定された画素を所定の色に設定することにより、ブロックフィルタ処理画像を生成するブロックフィルタ処理画像生成手段と、
を具備したことを特徴とした人物抽出装置。
【請求項６】
請求項５に記載の人物抽出装置であって、
前記背景差分二値化画像における背景および人物のエッジを検出し、所定の画素がエッジまたは非エッジである旨を示すエッジ検出処理二値化画像を生成するエッジ検出処理二値化生成画像手段と、
前記エッジ検出処理二値化画像のエッジと判定された画素を前記ブロックフィルタ処理画像の色に設定し、非エッジと判定された前記第１の値からなる画素を前記混合画像の色に設定し、非エッジと判定された前記第２の値からなる画素を所定の背景色に設定することにより、出力画像を生成する出力画像生成手段と、
を具備したことを特徴とした人物抽出装置。
【請求項７】
請求項１ないし請求項４のいずれかに記載の人物抽出方法を演算手段に実行させる
ことを特徴とした人物抽出プログラム。
【請求項８】
請求項７に記載の人物抽出プログラムが演算手段にて読取可能に記録された
ことを特徴とした人物抽出プログラムを記録した記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【公開番号】特開２００８−２５０３６６（Ｐ２００８−２５０３６６Ａ）
【公開日】平成２０年１０月１６日（２００８．１０．１６）
【国際特許分類】
【出願番号】特願２００７−８７１２６（Ｐ２００７−８７１２６）
【出願日】平成１９年３月２９日（２００７．３．２９）
【出願人】（０００００５０１６）パイオニア株式会社 (3,620)
【Ｆターム（参考）】
【公開日】平成２０年１０月１６日（２００８．１０．１６）
【国際特許分類】
【出願日】平成１９年３月２９日（２００７．３．２９）
【出願人】（０００００５０１６）パイオニア株式会社 (3,620)
【Ｆターム（参考）】
[ Back to top ]