画像処理装置、画像表示システム、画像抽出装置
【課題】背景が特定し難く、背景情報が容易に変動する環境にあっても、確実かつ簡素な方法で抽出対象を抽出することができる画像処理装置を提供する。
【解決手段】本発明の画像処理装置２は、赤外ＬＥＤ６と、赤外ＣＣＤカメラ７と、可視ＣＣＤカメラ８と、赤外画像と可視画像とに基づいて画像処理を行う画像処理部と、を備え、画像処理部が、赤外光照射時赤外画像と赤外光非照射時赤外画像との差分画像を作成する差分画像作成部と、差分画像に閾値処理を施して第１のマスクパターンを作成する第１のマスクパターン作成部と、赤外光照射時赤外画像と赤外光非照射時赤外画像との比較により動き画像を検出する動き画像検出部と、第１のマスクパターンから前記動き画像検出部により検出された動き画像領域を消去することにより作成された第２のマスクパターンを作成する第２マスクパターン作成部と、可視画像と第２のマスクパターンとを合成する合成画像作成部と、を備えている。
【解決手段】本発明の画像処理装置２は、赤外ＬＥＤ６と、赤外ＣＣＤカメラ７と、可視ＣＣＤカメラ８と、赤外画像と可視画像とに基づいて画像処理を行う画像処理部と、を備え、画像処理部が、赤外光照射時赤外画像と赤外光非照射時赤外画像との差分画像を作成する差分画像作成部と、差分画像に閾値処理を施して第１のマスクパターンを作成する第１のマスクパターン作成部と、赤外光照射時赤外画像と赤外光非照射時赤外画像との比較により動き画像を検出する動き画像検出部と、第１のマスクパターンから前記動き画像検出部により検出された動き画像領域を消去することにより作成された第２のマスクパターンを作成する第２マスクパターン作成部と、可視画像と第２のマスクパターンとを合成する合成画像作成部と、を備えている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像表示システム、画像抽出装置に関する。
【背景技術】
【０００２】
近年、ネットワークを用いた通信環境の充実により、ネットワーク経由でのリアルタイムなテレビ会議システムが普及しつつある。このようなテレビ会議システムでは、最大限の臨場感を出すため、プライベートな環境を相手に見せないようにするため、伝送データ量を削減するため、等の理由により、対象となる人物のみを切り出した映像を伝送する方式が考えられている。これを実現するために様々な手法が提案されている。
【０００３】
例えば、クロマキーや背景差分を利用した技術が従来から知られている。ところが、クロマキーを用いた手法では、青色等の均一な色を持った専用の背景（壁）を準備しなければならず、非常に不便である。また、背景差分を用いた手法では、例えばオフィス等の環境において背景の中で対象となる人物以外の人物が動いた場合、その人物の動きを検出してしまう等の問題がある。
【０００４】
そこで、上記の問題を解決する手法として、赤外光を用いた手法が提案されている。
特許文献１に示す例は、赤外光源と、ハーフミラーを介して直交配置された第１，第２のカメラと、第１のカメラの入射側に配置された赤外透過フィルターと、第２のカメラの入射側に配置された赤外カットフィルターと、を備えた画像生成装置である。この装置においては、被写体を抽出するためのマスク画像となる第１の画像を赤外光によって取得する一方、背景と被写体とを含む第２の画像を可視光によって取得し、これら画像に基づいて被写体のみを背景から抽出した画像を得ることができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平１１−７３４９１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、赤外光を用いた上記の手法にも問題があった。特許文献１の装置では、背景の中に光源と同一波長の強い赤外光が含まれると、被写体と背景とを確実に分離できないという問題があり、さらに、赤外光を含む自然光を強く反射する物体が背景で動いている場合、前記物体を容易に認識してしまい、被写体と背景との確実な分離はさらに困難なものとなる。
【０００７】
本発明は、上記の課題を解決するためになされたものであって、背景が特定し難く、背景情報が容易に変動する環境にあっても、確実かつ簡素な方法で抽出対象を抽出することができる画像処理装置、画像表示システム、画像抽出装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記の目的を達成するために、本発明の画像処理装置は、抽出対象に向けて赤外光を照射する赤外光源と、赤外光による画像を撮像する赤外撮像手段と、可視光による画像を撮像する可視撮像手段と、前記赤外撮像手段が取得した赤外画像と前記可視撮像手段が取得した可視画像とに基づいて画像処理を行う画像処理手段と、を備え、前記画像処理手段が、前記赤外光源から前記抽出対象に向けて前記赤外光が照射されている期間に取得した赤外光照射時赤外画像と、前記赤外光が照射されていない期間に取得した赤外光非照射時赤外画像と、の差分を取ることにより差分画像を作成する差分画像作成部と、前記差分画像に閾値処理を施すことにより第１のマスクパターンを作成する第１のマスクパターン作成部と、前記赤外光照射時赤外画像と、前記赤外光非照射時赤外画像との比較により動きのある動き画像領域を検出する動き画像検出部と、前記第１のマスクパターンから前記動き画像領域を消去した第２のマスクパターンを作成する第２のマスクパターン作成部と、前記可視画像と前記第２のマスクパターンとを合成することにより抽出対象画像を含む合成画像を作成する合成画像作成部と、を備えたことを特徴とする。
【０００９】
本発明の画像処理装置は赤外光源と赤外撮像手段とを備えており、赤外撮像手段は赤外光源から抽出対象に向けて赤外光が照射されていない期間に赤外光非照射時赤外画像を取得する一方、赤外光が照射されている期間に赤外光照射時赤外画像を取得する。このとき、赤外光源に対して相対的に近い位置に存在する抽出対象からの赤外反射光は強く、離れた位置に存在する物体からの赤外反射光は弱いため、赤外光の反射強度により赤外光源から物体までの距離の類推が可能となり、その結果、抽出対象と背景との分離が可能になる。また、赤外光照射時赤外画像と赤外光非照射時赤外画像とを比較すると、反射強度の強い抽出対象の部分が大きく異なり、反射強度の弱い背景の部分はほとんど変わらないものとなる。さらに、背景に強い赤外光の部分が含まれていたとしても、その部分は赤外光照射時赤外画像と赤外光非照射時赤外画像とで変化しない。
【００１０】
そして、画像処理手段の差分画像作成部は、赤外光照射時赤外画像と赤外光非照射時赤外画像との差分を取り、差分画像を作成する。すると、赤外光照射時赤外画像と赤外光非照射時赤外画像とで抽出対象の部分が大きく異なり、背景の部分はほとんど変わらないため、差分を取った後は抽出対象の部分だけが赤外画像として残り、背景の部分が消去された状態の差分画像が得られる。
【００１１】
そして、第１のマスクパターン作成部は、差分画像作成部が作成した差分画像に閾値処理を施すことにより第１のマスクパターンを作成する。ここでは、例えば差分画像を構成する各画素の輝度値に着目し、輝度値が所定の閾値未満である画素（背景部分を構成する画素に対応）を黒表示とし、輝度値が所定の閾値以上である画素（抽出対象部分を構成する画素に対応）を白表示とするといった２値化を行い、黒表示の画素で構成される第１のマスクパターンを作成する。
【００１２】
そして、動き画像検出部は、赤外光非照射時赤外画像と赤外光照射時赤外画像の比較において動きのあった画像を検出し、動き画像を作成する。すると、赤外光非照射時赤外画像と赤外光照射時赤外画像の間で滑らかに動きのあった部位のみ検出され、前記２画像間で動きのなかった部位や、赤外光非照射時のみ突然消滅する部位は検出されない。すなわち、背景において、自然光に含まれる赤外光を反射しつつ、滑らかに移動する物体のみを検出した画像が得られる。
【００１３】
そして、第２のマスクパターン作成部は、第１のマスクパターンから上記動き画像検出部により検出された動き画像のみ消去することにより、第２のマスクパターンが得られる。
【００１４】
そして、合成画像作成部は、可視撮像手段が取得した可視画像と上記の第２のマスクパターンとを合成することにより、可視画像からなる抽出対象画像を含み、背景部分が消去された状態の合成画像を作成する。
【００１５】
従来の技術では、例えば背景に光源と同一波長の強い赤外光が含まれると、抽出対象と背景とを確実に分離できないという問題があった。これに対して、本発明の画像処理装置では、赤外光照射時赤外画像と赤外光非照射時赤外画像とから差分画像を作成し、差分画像からマスクパターンを作成するという手法を用いるため、赤外光の強度や閾値処理の閾値を適切に設定することにより、新たに設けた赤外光源からの赤外反射光強度が十分に強い抽出対象と、新たに設けた赤外光源からの赤外反射光強度が十分に弱い背景とを確実に分離することができる。また、自然光に含まれる赤外光を強く反射する物体が背景で移動している場合でも、動き画像検出により前記移動物体を判別することが可能なため、自然光に含まれる赤外光を強く反射する移動物体と、新たに設けた赤外光源からの赤外光のみを強く反射する移動物体とを明確に区別することが可能である。これにより、抽出対象のみを確実に抽出可能となる。このように、本発明の画像処理装置によれば、背景が特定し難く、背景情報が容易に変動する環境にあっても、確実かつ簡素な方法で抽出対象が抽出され、背景部分が消去された合成画像を作成することができる。
【００１６】
本発明の画像処理装置において、前記赤外撮像手段の画像取得周期が前記可視撮像手段の画像取得周期の１／ｎ倍（ｎ：２以上の整数）であり、前記可視撮像手段の１回の画像取得周期の中で前記赤外光源をｎ回点灯または消灯させることが望ましい。
例えば赤外撮像手段の画像取得周期を可視撮像手段の画像取得周期の１／２とし、可視撮像手段の１回の画像取得周期の中で赤外光源を２回点灯または消灯させる構成とすれば、たとえ背景に光源と同一波長の強い赤外光が含まれる場合でも、任意の１画像取得周期内に取得された可視画像に対して抽出対象のみを確実に抽出することができる。
また本発明において、赤外撮像手段の画像取得周期の絶対値（時間）は特に限定されることはなく、長くても良い。しかしながら、赤外撮像手段の画像取得周期の絶対値（時間）が長すぎると、例えば背景に光源と同一波長の強い赤外光が含まれるときに背景となる物体が大きく動いた場合など、抽出対象以外の変化した部分も抽出してしまう虞がある。その点で、赤外撮像手段の画像取得周期は短い方が望ましい。
【００１７】
本発明の画像処理装置において、前記赤外光源の点灯、消灯の時期は、消灯から開始していることが望ましい。
この構成によれば、前記第１のマスクパターン作成の段階において出現する動き画像領域と、前記動き画像検出部において検出された動き画像領域とを、可視画像取得時の第１フレームにおいても正確に抽出し、正確に一致させることが可能であり、前記第２のマスクパターン作成時に正確に動き画像を消去可能である。
【００１８】
本発明の画像処理装置において、前記赤外画像撮像手段および前記可視撮像手段を、ハーフミラーで分離して同軸上に配置された赤外撮像素子と可視撮像素子とで構成することができる。
この構成によれば、赤外画像専用の撮像素子と可視画像専用の撮像素子とを別個に用意すれば良いため、各撮像素子の全ての画素を赤外画像、可視画像のいずれか一方の画像専用に用いることができる。これにより、各撮像素子により得られる画像の解像度を高めることができる。
【００１９】
本発明の画像表示システムは、前記本発明の画像処理装置と、前記画像処理装置によって得られた抽出画像を表示する表示装置と、を備えたことを特徴とする。
本発明の画像表示システムによれば、前記本発明の画像処理装置を備えたことにより、背景が容易に変動する状況であっても、確実かつ簡素な方法で背景部分が消去された合成画像を作成でき、テレビ会議システム等に用いて好適な画像表示システムを構築することができる。
【００２０】
本発明の画像抽出装置は、抽出対象に向けて赤外光を照射する赤外光源と、赤外光による画像を撮像する赤外撮像手段と、前記赤外撮像手段が取得した赤外画像に基づいて画像処理を行う画像処理手段と、を備え、前記画像処理手段が、前記赤外光源から前記抽出対象に向けて前記赤外光が照射された期間に取得した赤外光照射時赤外画像と、前記赤外光が照射されていない期間に取得した赤外光非照射時赤外画像と、の差分を取ることにより作成した差分画像に対し、さらに閾値処理を施すことにより差分マスク画像を作成する差分マスク画像作成部と、前記赤外光照射時赤外画像と、前記赤外光非照射時赤外画像との比較により動きのある動き画像領域を検出する動き画像検出部と、前記差分マスク画像から前記動き画像領域を消去してなる抽出画像を作成する抽出画像作成部と、を備えることを特徴とする。
本発明の画像抽出装置によれば、上記本発明の画像処理装置と同様、背景が容易に変動する状況であっても、確実かつ簡素な方法で抽出対象のみを抽出することができる。
【図面の簡単な説明】
【００２１】
【図１】本発明の第１実施形態の画像表示システムの概略構成図である。
【図２】本画像表示システムの制御装置の構成を示すブロック図である。
【図３】本画像表示システムの画像処理の手順を示すフローチャートである。
【図４】各撮像素子と赤外光源の動作を示すタイミングチャートである。
【図５】画像処理の各工程における画像の例を示す図である。
【図６】動き画像検出の動作を示す図である。
【発明を実施するための形態】
【００２２】
［第１実施形態］
以下、本発明の第１実施形態について、図１〜図５を用いて説明する。
本実施形態の画像表示システムは、例えば相手方の画像をスクリーンに表示して会議を行う際に用いるテレビ会議システム等に用いて好適なシステムの構成例である。
【００２３】
本実施形態の画像表示システム１は、図１に示すように、使用者Ａ（抽出対象）と背景Ｂの画像を撮像して画像処理を行う画像処理装置２と、相手方の画像を表示するためのプロジェクター３（表示装置）およびスクリーン４を備えている。本実施形態では、相手方も同一の画像表示システム１を有しており、使用者Ａの画像は相手方の画像表示システム１のプロジェクター３に伝送され、表示されるものとする。なお、表示装置としては、プロジェクター３に限らず、例えばテレビジョン、パーソナルコンピューターのディスプレイ等、いかなる表示装置を用いても良い。また、画像を相手方に伝送する手段についても、一般的に用いられている種々の手段を用いることができる。
【００２４】
画像処理装置２は、赤外ＬＥＤ（Light Emitting Diode）６（赤外光源）と、赤外ＣＣＤ（Charge Coupled Device）カメラ７（赤外撮像手段）と、可視ＣＣＤカメラ８（可視撮像手段）と、制御装置９と、を備えている。赤外ＬＥＤ６は、使用者Ａに向けて赤外光を照射するためのものである。赤外ＣＣＤカメラ７は、赤外光による画像を撮像するものであり、可視ＣＣＤカメラ８は、可視光による画像を撮像するものである。制御装置９は、赤外ＬＥＤ６の駆動を制御するとともに、後述の画像処理部を含み、画像処理を行うものである。赤外ＣＣＤカメラ７と可視ＣＣＤカメラ８とはハーフミラー５を介して同軸上に配置されている。
【００２５】
制御装置９は、図２に示すように、赤外ＬＥＤ駆動部１１と、同期信号生成部１２と、画像処理部１３（画像処理手段）と、を備えている。赤外ＬＥＤ駆動部１１は、赤外ＬＥＤ６を駆動する際の駆動信号を生成し、その駆動信号を赤外ＬＥＤ６に向けて出力する機能を有する。同期信号生成部１２は、赤外ＬＥＤ６と赤外ＣＣＤカメラ７、可視ＣＣＤカメラ８の相互の動作を同期させる同期信号を生成し、これらに向けて出力する機能を有する。画像処理部１３は、赤外ＣＣＤカメラ７が取得した赤外画像と可視ＣＣＤカメラ８が取得した可視画像とに基づいて画像処理を行うものである。
【００２６】
画像処理部１３は、赤外ＣＣＤカメラ７、可視ＣＣＤカメラ８の各々に対応した画像取得部１５，１６と、第１マスクパターン作成部１７と、動き画像検出部１８と、第２マスクパターン作成部１９と、合成画像作成部２２と、を備えている。画像取得部１５，１６は、赤外ＣＣＤカメラ７、可視ＣＣＤカメラ８から得られた画像データを読み出す機能を有しており、読み出した画像データを記憶するメモリーを含んでいる。差分マスク画像作成部としての第１マスクパターン作成部１７は、赤外光照射時の赤外画像と赤外光非照射時の赤外画像との差分により差分マスク画像としての第１のマスクパターンを作成する機能を有する。動き画像検出部１８は、赤外光非照射時の赤外画像と赤外光照射時の赤外画像の比較において、動きのあった領域（動き画像領域）を検出する機能を有する。第２マスクパターン作成部１９は、第１マスクパターン作成部１７が作成した第１のマスクパターンから動き画像検出部１８が作成した動き画像領域を消去した抽出画像としての第２のマスクパターンを作成する機能を有する。合成画像作成部２２は、第２マスクパターン作成部１９が作成した第２のマスクパターンと可視画像とを合成し、合成画像を作成する機能を有する。
【００２７】
さらに、第１マスクパターン作成部１７は、差分画像作成部２０と閾値処理部２１を備えている。差分画像作成部２０は、赤外光照射時の赤外画像と赤外光非照射時の赤外画像との差分画像を作成する機能を有する。閾値処理部２１は、差分画像作成部２０が作成した差分画像に閾値処理を施す機能を有する。
【００２８】
以下、制御装置９の動作を、図３のフローチャートに沿って説明する。
なお、以下の図５（ａ）〜（ｈ）に示す画像例は、本発明者が本実施形態と同等のシステムを用いて実際に取得した画像を基にわかり易く作成し直したものである。
本実施形態において、可視ＣＣＤカメラ８が得た画像データは画像取得部１６によって読み出され、画像取得部１６は、例えば６０Ｈｚの周波数、１／６０秒の画像取得周期で可視画像を取得する（図３のステップＳ１）。
【００２９】
図５（ａ）は、可視ＣＣＤカメラ８から得られた可視画像の一例である。この可視画像は実際にはフルカラーで表現されており、抽出対象である使用者Ａの画像の後に背景Ｂが写り込んでいるのがわかる。
【００３０】
一方、赤外ＣＣＤカメラ７が得た画像データは画像取得部１５によって読み出され、画像取得部１５は、１２０Ｈｚの周波数、１／１２０秒の画像取得周期で画像を取得する。すなわち、赤外ＣＣＤカメラ７側の画像取得部１５は、可視ＣＣＤカメラ８側の画像取得部１６の２倍の周波数、１／２の画像取得周期で画像を取得する。また、赤外ＣＣＤカメラ７が赤外画像を取得する間、赤外ＬＥＤ６には赤外ＬＥＤ駆動部１１から駆動信号が入力され、赤外ＬＥＤ６は、１２０Ｈｚの周波数で点灯、または消灯を交互に繰り返す。ここで、赤外ＬＥＤの１周期とは、１回の点灯または１回の消灯、のいずれかが行われる時間を指すこととする。
【００３１】
このとき、図２に示す同期信号生成部１２から出力された同期信号を受けて、図４に示すように、可視ＣＣＤカメラ８による可視画像取得、赤外ＣＣＤカメラ７による赤外画像取得、赤外ＬＥＤ６の発光動作が所定のタイミングで同期して実行される。すなわち、赤外ＬＥＤ６が１２０Ｈｚの周波数で消灯、または点灯を交互に繰り返しているので、赤外ＬＥＤ６が消灯し、使用者Ａに赤外光が照射されていない期間に同期して、赤外ＣＣＤカメラ７の画像取得部１５が赤外画像を取得する（図３のステップＳ２）。
【００３２】
図５（ｂ）は、赤外ＬＥＤ６の消灯時に赤外ＣＣＤカメラ７から得られた赤外画像の一例である。図から判るように、赤外光消灯時でも、背景の中にも強い赤外光の部分が含まれている。
【００３３】
続いて、赤外ＬＥＤ６が点灯し、使用者Ａに赤外光が照射されている期間に同期して、赤外ＣＣＤカメラ７の画像取得部１５が赤外画像を取得する（図３のステップＳ３）。
なお、以下では説明の便宜上、赤外光が照射されていない期間の赤外画像を「第１の赤外画像（赤外光非照射時赤外画像）」と称し、赤外光が照射されている期間の赤外画像を「第２の赤外画像（赤外光照射時赤外画像）」と称する。このようにして、可視ＣＣＤカメラ８の画像取得部１６が可視画像を１回取得する期間（以下、フレーム期間ともいう）内に、赤外ＬＥＤ６が１回ずつ消灯または点灯し、赤外ＣＣＤカメラ７の画像取得部１５が第１の赤外画像と第２の赤外画像とを１回ずつ取得する。後述するように、ここで得られた第１の赤外画像、第２の赤外画像は、可視ＣＣＤカメラ８の１フレーム期間におけるマスクパターンを作成するのに用いられる。
【００３４】
図５（ｃ）は、赤外ＬＥＤ６から赤外光が照射された状態で赤外ＣＣＤカメラ７から得られた第２の赤外画像の一例である。図から判るように、使用者Ａからの反射のみならず、背景の中にも強い赤外光の部分が含まれているため、赤外光照射時に赤外画像を単純に取得しただけでは対象物の抽出は困難である。また図５（ｃ）で強い反射強度に表現されている顔の表面や服の部分は図５（ｂ）では弱い反射強度を示しているが、背景の部分のうち、動きのない部分は図５（ｂ）の状態から変化していない。
【００３５】
次に、差分画像作成部２０が、上記の第２の赤外画像と第１の赤外画像との差分を取り、差分画像を作成する（図３のステップＳ４）。
【００３６】
図５（ｄ）は、図５（ｃ）に示す第２の赤外画像と図５（ｂ）に示す第１の赤外画像の２枚の赤外画像から得られた差分画像の一例である。主に使用者Ａの顔や身体の正面部分が強い反射強度に、その周辺が中間の反射強度に、それ以外の部分が弱い反射強度に表現されている。また、背景Ｂのうち、動きのない部分は黒色１色で塗りつぶされた状態となり、使用者Ａの後に写り込んでいた背景Ｂは強い赤外光が見られた部分を含めて消えている。
【００３７】
赤外ＬＥＤ６と赤外ＣＣＤカメラ７は抽出対象を抽出するために用いているが、自然界には太陽光などの赤外光を含む光が存在するため、赤外ＬＥＤ６から赤外光を照射しただけでは抽出対象を抽出することは不可能である。そこで、赤外光を照射していない期間にも赤外ＣＣＤカメラ７で赤外画像を取得し、赤外光を照射した期間の赤外画像との差分を取れば、図５（ｄ）に示したように、赤外光の反射強度が強い部分を持つ背景を含む画像から、赤外光の反射光強度が強い抽出対象を、動きのある背景を除いて分離することができる。
【００３８】
次に、閾値処理部２１は、差分画像作成部２０が作成した差分画像に閾値処理を施すことにより第１のマスクパターンを作成する（図３のステップＳ５）。具体的には、例えば差分画像を構成する各画素の輝度値に着目し、輝度値が所定の閾値未満である画素（背景部分を構成する画素に対応）を黒表示とし、輝度値が所定の閾値以上である画素（抽出対象部分を構成する画素に対応）を白表示とするといった２値化を行い、黒表示の画素で構成される仮のマスクパターンＣを作成する。
【００３９】
図５（ｅ）は、図５（ｄ）の差分画像を閾値処理して得られた仮のマスクパターンＣの一例である。本実施形態の場合、背景の部分に加えて髪の毛の部分も仮のマスクパターンＣの一部になっている。
【００４０】
次に、図５（ａ）に示す可視画像における輝度値の低い領域を抽出するなどの方法により髪の毛等の部分を類推した領域を仮のマスクパターンＣに追加し、さらにマスクパターン領域全体に対し膨張・収縮などの画像処理により適宜、形状を補正して、図５（ｆ）に示すように、第１のマスクパターンＤを得る。
【００４１】
次に、動き画像検出部１８は、第１の赤外画像と第２の赤外画像の比較において動きのあった動き画像領域のみを検出する動き画像検出を行う（図３のステップＳ６）。動き画像検出とは、動物体解析手法の一つであり、画像中の輝度情報から動きを解析し、速度ベクトルによって物体の運動を表す手法である。動き画像検出を行う方法としては、勾配法やブロックマッチング法などの方法がある。
【００４２】
図６を用いて、動き画像検出部１８の機能をより具体的に説明する。赤外ＣＣＤカメラ７の取得する隣接するフレーム間において図６（ａ）〜（ｅ）に示すような画像が取得されたとする。各フレーム間において赤外ＬＥＤ６が点滅するため、最終的に抽出したい対象領域ＯＢＪ１は、各フレーム間において、出現と消滅を繰り返す。また、自然光に含まれる赤外光を強く反射し、背景領域に存在し且つ動きのある最終的な非抽出領域であるＯＢＪ２は、毎フレームに出現し、且つ、フレーム毎に僅かにその位置を変化させている。
【００４３】
ここで、動き画像検出に用いられるアルゴリズムは、画像中の濃淡パターンが運動中に変化しないことを仮定しており、その変化しない濃淡パターンが次フレームにおいて、どこに移動したか、を解析するアルゴリズムである。よって、フレーム間において、僅かにその位置を変化させて移動していく移動物体ＯＢＪ２は、動き検出により図６（ａ）〜（ｅ）に斜線で示すとおり検出可能である。ただし、図６（ａ）においては初期フレームのため、ＯＢＪ２は動き画像として検出されていない。
【００４４】
これに対し、最終的な抽出対象であるＯＢＪ１は、フレーム間で出現と消滅を繰り返しており、フレーム間において運動が不連続となる。このことにより、例え位置が移動していたとしても、動き画像検出による推定が困難となり、動き検出による推定条件を満たさず、動きのある領域として検出されない。
【００４５】
また自然光に含まれる赤外光を強く反射し、背景領域に存在する最終的な非抽出領域であり、且つ移動を伴わない領域であるＯＢＪ３は、動きのある領域として検出されない。
【００４６】
これにより、動き画像検出部１８では、最終的にＯＢＪ２の領域のみが検出されることとなる。なお、動き画像検出により抽出された領域は、膨張・収縮などの画像処理を適宜行うことにより、より正確に動き領域を指定可能である。
【００４７】
図５に戻って、第１マスクパターン作成部１７により作成された第１のマスクパターンＤから、動き画像検出部１８により検出された動き領域を消去することにより、図５（ｇ）に示すとおり、第２のマスクパターンＥが得られる（図３のステップＳ７）。
【００４８】
ここで、赤外光照射時の第２の赤外画像と、赤外光非照射時の第１の赤外画像の差分は、図６（ｂ’）に示すとおりであり、図６（ｂ）において検出された動き画像の位置は、差分画像図６（ｂ’）において出現するＯＢＪ２の位置と一致している。赤外ＬＥＤ６の発光タイミングを、図４に示すとおり赤外ＣＣＤカメラ７の画像取得タイミングの後ろ側、即ち図４のＩＲ（ｔ）’、ＩＲ（ｔ＋１）’、・・・、の時期と同期をとることにより、差分画像図６（ｂ’）に出現するＯＢＪ２の位置と、図６の（ａ）、（ｂ）間で検出される動き画像ＯＢＪ２の位置を正確に一致させることが可能であり、即ち第２のマスクパターンＥを作成する段階において、可視画像の第１フレームにおいても動き画像を正確に消去可能となる。
【００４９】
次に、合成画像作成部２２は、可視ＣＣＤカメラ８が取得した可視画像と上記の第２のマスクパターンＥとを合成する。これにより、可視画像からなる抽出対象画像を含み、背景の部分が消去された状態の合成画像を作成し（図３のステップＳ８）、画像処理部１３から出力する（図３のステップＳ９）。
【００５０】
図５（ｈ）は、図５（ａ）の可視画像と図５（ｇ）のマスクパターンＥを合成して得られた抽出画像の一例である。抽出対象がフルカラーで表現され、背景の部分が黒で塗りつぶされた状態の合成画像が得られた。
【００５１】
本実施形態の画像表示システム１では、赤外光照射時の第２の赤外画像と赤外光非照射時の第１の赤外画像とから差分画像を作成し、差分画像からマスクパターンを作成するという手法を用いている。そのため、照射する赤外光の強度や閾値処理の閾値を適切に設定することにより、赤外反射光強度が十分に強い抽出対象と赤外反射光強度が十分に弱い背景とを確実に分離することができる。
【００５２】
また、動き画像検出部１８により、第１の赤外画像と第２の赤外画像の間で動きのあった領域を検出可能としている。本実施形態では赤外ＣＣＤカメラ７の画像取得周期を可視ＣＣＤカメラ８の画像取得周期の１／２とし、可視ＣＣＤカメラ８の１フレーム期間の中で赤外ＬＥＤ６を１回ずつ消灯または点灯させる構成とし、且つ赤外ＣＣＤカメラ７の２フレーム期間における動きを検出する動き画像検出部１８を設ける構成とした。そのため、たとえ背景に光源と同一波長の強い赤外光が含まれるときに背景となる物体が徐々に動いたとしても、その人物は動きのある領域として検出可能であり、その検出された人物の領域のみ消去することにより、任意の１フレーム期間内に取得された可視画像に対して抽出対象のみを確実に抽出することができる。
【００５３】
このように、本実施形態の画像表示システム１によれば、背景が特定し難く、背景情報が容易に変動する環境にあっても、確実かつ簡素な方法で抽出対象が抽出され、背景部分が消去された合成画像を作成することができる。
【００５４】
また、本実施形態では、同軸上に配置された赤外ＣＣＤカメラ７と可視ＣＣＤカメラ８とを用いており、赤外画像専用のＣＣＤカメラと可視画像専用のＣＣＤカメラとを別個に用意すれば良いため、赤外ＣＣＤカメラ７、可視ＣＣＤカメラ８の全ての撮像素子の画素を赤外画像、可視画像のいずれか一方の画像専用に用いることができる。これにより、赤外ＣＣＤカメラ７、可視ＣＣＤカメラ８により得られる画像の解像度を高めることができる。
【００５５】
なお、本実施形態において、使用者Ａ（抽出対象）の位置が奥行き方向に変化する場合には、赤外ＬＥＤ６からの赤外光の照射量を適宜変化させる、もしくは、第１のマスクパターンを作成する際の閾値の設定値を適宜変更する、などの方法を採れば良い。また、抽出する予定にない人物が背景に入り込んだ際にも、赤外光の照射量の設定、閾値の設定を最適化することにより、確実なマスク処理を行うことができる。本実施形態の画像表示システム１によれば、可視画像に対してはマスク処理を行っただけであるから、偽りのない自然な表情で使用者Ａの画像を伝送することができる。
【００５６】
なお、本発明の技術範囲は上記実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲において種々の変更を加えることが可能である。例えば第１実施形態では、可視ＣＣＤカメラ８と赤外ＣＣＤカメラ７を同軸上に配置した例を挙げたが、異なる光軸上に配置し、赤外ＣＣＤカメラ７で取得された画像から生成されたマスクパターンに空間変換を行うことにより、可視ＣＣＤカメラ８に適したマスクパターンを生成してもよい。
【００５７】
また、上記実施形態では、赤外ＣＣＤカメラ７の画像取得周期を可視ＣＣＤカメラ８の画像取得周期の１／２に設定し、可視ＣＣＤカメラ８の１フレーム期間内に第１、第２の赤外画像を取得する構成としたが、赤外ＣＣＤカメラ７の画像取得周期はこれに限定されるものではない。背景が変化する虞が少ない場合には、赤外ＣＣＤカメラ７の画像取得周期を可視ＣＣＤカメラ８の画像取得周期のｍ倍（ｍ：１以上の整数）に設定し、例えば可視ＣＣＤカメラ８の１０フレーム期間内に第１、第２の赤外画像を取得する構成としても良い。その場合、マスクパターンを作成するのに費やせる画像処理時間が長くて良いため、画像処理部の負荷を軽減することができる。
その他、各構成要素の配置、数等の具体的な構成は、上記実施形態に限らず、適宜変更が可能である。
また、上記実施形態では本発明の画像表示システムを例示したが、上記実施形態の画像表示システム１から可視ＣＣＤカメラ８、画像取得部１６、合成画像作成部２２を除く構成とすれば、差分画像と動き画像検出の合成より、これを抽出画像として出力する本発明の画像抽出装置を実現できる。この画像抽出装置は上で例示した画像表示システムの他、例えば画像認識システム、検査・計測システム等に利用することもできる。
【符号の説明】
【００５８】
１…画像表示システム、２…画像処理装置、３…プロジェクター（表示装置）、４…スクリーン、５…ハーフミラー、６…赤外ＬＥＤ（赤外光源）、７…赤外ＣＣＤカメラ（赤外撮像手段）、８…可視ＣＣＤカメラ（可視撮像手段）、１３…画像処理部（画像処理手段）、１７…第１マスクパターン作成部、１８…動き画像検出部、１９…第２マスクパターン作成部、２０…差分画像作成部、２１…閾値処理部、２２…合成画像作成部。
【技術分野】
【０００１】
本発明は、画像処理装置、画像表示システム、画像抽出装置に関する。
【背景技術】
【０００２】
近年、ネットワークを用いた通信環境の充実により、ネットワーク経由でのリアルタイムなテレビ会議システムが普及しつつある。このようなテレビ会議システムでは、最大限の臨場感を出すため、プライベートな環境を相手に見せないようにするため、伝送データ量を削減するため、等の理由により、対象となる人物のみを切り出した映像を伝送する方式が考えられている。これを実現するために様々な手法が提案されている。
【０００３】
例えば、クロマキーや背景差分を利用した技術が従来から知られている。ところが、クロマキーを用いた手法では、青色等の均一な色を持った専用の背景（壁）を準備しなければならず、非常に不便である。また、背景差分を用いた手法では、例えばオフィス等の環境において背景の中で対象となる人物以外の人物が動いた場合、その人物の動きを検出してしまう等の問題がある。
【０００４】
そこで、上記の問題を解決する手法として、赤外光を用いた手法が提案されている。
特許文献１に示す例は、赤外光源と、ハーフミラーを介して直交配置された第１，第２のカメラと、第１のカメラの入射側に配置された赤外透過フィルターと、第２のカメラの入射側に配置された赤外カットフィルターと、を備えた画像生成装置である。この装置においては、被写体を抽出するためのマスク画像となる第１の画像を赤外光によって取得する一方、背景と被写体とを含む第２の画像を可視光によって取得し、これら画像に基づいて被写体のみを背景から抽出した画像を得ることができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平１１−７３４９１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、赤外光を用いた上記の手法にも問題があった。特許文献１の装置では、背景の中に光源と同一波長の強い赤外光が含まれると、被写体と背景とを確実に分離できないという問題があり、さらに、赤外光を含む自然光を強く反射する物体が背景で動いている場合、前記物体を容易に認識してしまい、被写体と背景との確実な分離はさらに困難なものとなる。
【０００７】
本発明は、上記の課題を解決するためになされたものであって、背景が特定し難く、背景情報が容易に変動する環境にあっても、確実かつ簡素な方法で抽出対象を抽出することができる画像処理装置、画像表示システム、画像抽出装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記の目的を達成するために、本発明の画像処理装置は、抽出対象に向けて赤外光を照射する赤外光源と、赤外光による画像を撮像する赤外撮像手段と、可視光による画像を撮像する可視撮像手段と、前記赤外撮像手段が取得した赤外画像と前記可視撮像手段が取得した可視画像とに基づいて画像処理を行う画像処理手段と、を備え、前記画像処理手段が、前記赤外光源から前記抽出対象に向けて前記赤外光が照射されている期間に取得した赤外光照射時赤外画像と、前記赤外光が照射されていない期間に取得した赤外光非照射時赤外画像と、の差分を取ることにより差分画像を作成する差分画像作成部と、前記差分画像に閾値処理を施すことにより第１のマスクパターンを作成する第１のマスクパターン作成部と、前記赤外光照射時赤外画像と、前記赤外光非照射時赤外画像との比較により動きのある動き画像領域を検出する動き画像検出部と、前記第１のマスクパターンから前記動き画像領域を消去した第２のマスクパターンを作成する第２のマスクパターン作成部と、前記可視画像と前記第２のマスクパターンとを合成することにより抽出対象画像を含む合成画像を作成する合成画像作成部と、を備えたことを特徴とする。
【０００９】
本発明の画像処理装置は赤外光源と赤外撮像手段とを備えており、赤外撮像手段は赤外光源から抽出対象に向けて赤外光が照射されていない期間に赤外光非照射時赤外画像を取得する一方、赤外光が照射されている期間に赤外光照射時赤外画像を取得する。このとき、赤外光源に対して相対的に近い位置に存在する抽出対象からの赤外反射光は強く、離れた位置に存在する物体からの赤外反射光は弱いため、赤外光の反射強度により赤外光源から物体までの距離の類推が可能となり、その結果、抽出対象と背景との分離が可能になる。また、赤外光照射時赤外画像と赤外光非照射時赤外画像とを比較すると、反射強度の強い抽出対象の部分が大きく異なり、反射強度の弱い背景の部分はほとんど変わらないものとなる。さらに、背景に強い赤外光の部分が含まれていたとしても、その部分は赤外光照射時赤外画像と赤外光非照射時赤外画像とで変化しない。
【００１０】
そして、画像処理手段の差分画像作成部は、赤外光照射時赤外画像と赤外光非照射時赤外画像との差分を取り、差分画像を作成する。すると、赤外光照射時赤外画像と赤外光非照射時赤外画像とで抽出対象の部分が大きく異なり、背景の部分はほとんど変わらないため、差分を取った後は抽出対象の部分だけが赤外画像として残り、背景の部分が消去された状態の差分画像が得られる。
【００１１】
そして、第１のマスクパターン作成部は、差分画像作成部が作成した差分画像に閾値処理を施すことにより第１のマスクパターンを作成する。ここでは、例えば差分画像を構成する各画素の輝度値に着目し、輝度値が所定の閾値未満である画素（背景部分を構成する画素に対応）を黒表示とし、輝度値が所定の閾値以上である画素（抽出対象部分を構成する画素に対応）を白表示とするといった２値化を行い、黒表示の画素で構成される第１のマスクパターンを作成する。
【００１２】
そして、動き画像検出部は、赤外光非照射時赤外画像と赤外光照射時赤外画像の比較において動きのあった画像を検出し、動き画像を作成する。すると、赤外光非照射時赤外画像と赤外光照射時赤外画像の間で滑らかに動きのあった部位のみ検出され、前記２画像間で動きのなかった部位や、赤外光非照射時のみ突然消滅する部位は検出されない。すなわち、背景において、自然光に含まれる赤外光を反射しつつ、滑らかに移動する物体のみを検出した画像が得られる。
【００１３】
そして、第２のマスクパターン作成部は、第１のマスクパターンから上記動き画像検出部により検出された動き画像のみ消去することにより、第２のマスクパターンが得られる。
【００１４】
そして、合成画像作成部は、可視撮像手段が取得した可視画像と上記の第２のマスクパターンとを合成することにより、可視画像からなる抽出対象画像を含み、背景部分が消去された状態の合成画像を作成する。
【００１５】
従来の技術では、例えば背景に光源と同一波長の強い赤外光が含まれると、抽出対象と背景とを確実に分離できないという問題があった。これに対して、本発明の画像処理装置では、赤外光照射時赤外画像と赤外光非照射時赤外画像とから差分画像を作成し、差分画像からマスクパターンを作成するという手法を用いるため、赤外光の強度や閾値処理の閾値を適切に設定することにより、新たに設けた赤外光源からの赤外反射光強度が十分に強い抽出対象と、新たに設けた赤外光源からの赤外反射光強度が十分に弱い背景とを確実に分離することができる。また、自然光に含まれる赤外光を強く反射する物体が背景で移動している場合でも、動き画像検出により前記移動物体を判別することが可能なため、自然光に含まれる赤外光を強く反射する移動物体と、新たに設けた赤外光源からの赤外光のみを強く反射する移動物体とを明確に区別することが可能である。これにより、抽出対象のみを確実に抽出可能となる。このように、本発明の画像処理装置によれば、背景が特定し難く、背景情報が容易に変動する環境にあっても、確実かつ簡素な方法で抽出対象が抽出され、背景部分が消去された合成画像を作成することができる。
【００１６】
本発明の画像処理装置において、前記赤外撮像手段の画像取得周期が前記可視撮像手段の画像取得周期の１／ｎ倍（ｎ：２以上の整数）であり、前記可視撮像手段の１回の画像取得周期の中で前記赤外光源をｎ回点灯または消灯させることが望ましい。
例えば赤外撮像手段の画像取得周期を可視撮像手段の画像取得周期の１／２とし、可視撮像手段の１回の画像取得周期の中で赤外光源を２回点灯または消灯させる構成とすれば、たとえ背景に光源と同一波長の強い赤外光が含まれる場合でも、任意の１画像取得周期内に取得された可視画像に対して抽出対象のみを確実に抽出することができる。
また本発明において、赤外撮像手段の画像取得周期の絶対値（時間）は特に限定されることはなく、長くても良い。しかしながら、赤外撮像手段の画像取得周期の絶対値（時間）が長すぎると、例えば背景に光源と同一波長の強い赤外光が含まれるときに背景となる物体が大きく動いた場合など、抽出対象以外の変化した部分も抽出してしまう虞がある。その点で、赤外撮像手段の画像取得周期は短い方が望ましい。
【００１７】
本発明の画像処理装置において、前記赤外光源の点灯、消灯の時期は、消灯から開始していることが望ましい。
この構成によれば、前記第１のマスクパターン作成の段階において出現する動き画像領域と、前記動き画像検出部において検出された動き画像領域とを、可視画像取得時の第１フレームにおいても正確に抽出し、正確に一致させることが可能であり、前記第２のマスクパターン作成時に正確に動き画像を消去可能である。
【００１８】
本発明の画像処理装置において、前記赤外画像撮像手段および前記可視撮像手段を、ハーフミラーで分離して同軸上に配置された赤外撮像素子と可視撮像素子とで構成することができる。
この構成によれば、赤外画像専用の撮像素子と可視画像専用の撮像素子とを別個に用意すれば良いため、各撮像素子の全ての画素を赤外画像、可視画像のいずれか一方の画像専用に用いることができる。これにより、各撮像素子により得られる画像の解像度を高めることができる。
【００１９】
本発明の画像表示システムは、前記本発明の画像処理装置と、前記画像処理装置によって得られた抽出画像を表示する表示装置と、を備えたことを特徴とする。
本発明の画像表示システムによれば、前記本発明の画像処理装置を備えたことにより、背景が容易に変動する状況であっても、確実かつ簡素な方法で背景部分が消去された合成画像を作成でき、テレビ会議システム等に用いて好適な画像表示システムを構築することができる。
【００２０】
本発明の画像抽出装置は、抽出対象に向けて赤外光を照射する赤外光源と、赤外光による画像を撮像する赤外撮像手段と、前記赤外撮像手段が取得した赤外画像に基づいて画像処理を行う画像処理手段と、を備え、前記画像処理手段が、前記赤外光源から前記抽出対象に向けて前記赤外光が照射された期間に取得した赤外光照射時赤外画像と、前記赤外光が照射されていない期間に取得した赤外光非照射時赤外画像と、の差分を取ることにより作成した差分画像に対し、さらに閾値処理を施すことにより差分マスク画像を作成する差分マスク画像作成部と、前記赤外光照射時赤外画像と、前記赤外光非照射時赤外画像との比較により動きのある動き画像領域を検出する動き画像検出部と、前記差分マスク画像から前記動き画像領域を消去してなる抽出画像を作成する抽出画像作成部と、を備えることを特徴とする。
本発明の画像抽出装置によれば、上記本発明の画像処理装置と同様、背景が容易に変動する状況であっても、確実かつ簡素な方法で抽出対象のみを抽出することができる。
【図面の簡単な説明】
【００２１】
【図１】本発明の第１実施形態の画像表示システムの概略構成図である。
【図２】本画像表示システムの制御装置の構成を示すブロック図である。
【図３】本画像表示システムの画像処理の手順を示すフローチャートである。
【図４】各撮像素子と赤外光源の動作を示すタイミングチャートである。
【図５】画像処理の各工程における画像の例を示す図である。
【図６】動き画像検出の動作を示す図である。
【発明を実施するための形態】
【００２２】
［第１実施形態］
以下、本発明の第１実施形態について、図１〜図５を用いて説明する。
本実施形態の画像表示システムは、例えば相手方の画像をスクリーンに表示して会議を行う際に用いるテレビ会議システム等に用いて好適なシステムの構成例である。
【００２３】
本実施形態の画像表示システム１は、図１に示すように、使用者Ａ（抽出対象）と背景Ｂの画像を撮像して画像処理を行う画像処理装置２と、相手方の画像を表示するためのプロジェクター３（表示装置）およびスクリーン４を備えている。本実施形態では、相手方も同一の画像表示システム１を有しており、使用者Ａの画像は相手方の画像表示システム１のプロジェクター３に伝送され、表示されるものとする。なお、表示装置としては、プロジェクター３に限らず、例えばテレビジョン、パーソナルコンピューターのディスプレイ等、いかなる表示装置を用いても良い。また、画像を相手方に伝送する手段についても、一般的に用いられている種々の手段を用いることができる。
【００２４】
画像処理装置２は、赤外ＬＥＤ（Light Emitting Diode）６（赤外光源）と、赤外ＣＣＤ（Charge Coupled Device）カメラ７（赤外撮像手段）と、可視ＣＣＤカメラ８（可視撮像手段）と、制御装置９と、を備えている。赤外ＬＥＤ６は、使用者Ａに向けて赤外光を照射するためのものである。赤外ＣＣＤカメラ７は、赤外光による画像を撮像するものであり、可視ＣＣＤカメラ８は、可視光による画像を撮像するものである。制御装置９は、赤外ＬＥＤ６の駆動を制御するとともに、後述の画像処理部を含み、画像処理を行うものである。赤外ＣＣＤカメラ７と可視ＣＣＤカメラ８とはハーフミラー５を介して同軸上に配置されている。
【００２５】
制御装置９は、図２に示すように、赤外ＬＥＤ駆動部１１と、同期信号生成部１２と、画像処理部１３（画像処理手段）と、を備えている。赤外ＬＥＤ駆動部１１は、赤外ＬＥＤ６を駆動する際の駆動信号を生成し、その駆動信号を赤外ＬＥＤ６に向けて出力する機能を有する。同期信号生成部１２は、赤外ＬＥＤ６と赤外ＣＣＤカメラ７、可視ＣＣＤカメラ８の相互の動作を同期させる同期信号を生成し、これらに向けて出力する機能を有する。画像処理部１３は、赤外ＣＣＤカメラ７が取得した赤外画像と可視ＣＣＤカメラ８が取得した可視画像とに基づいて画像処理を行うものである。
【００２６】
画像処理部１３は、赤外ＣＣＤカメラ７、可視ＣＣＤカメラ８の各々に対応した画像取得部１５，１６と、第１マスクパターン作成部１７と、動き画像検出部１８と、第２マスクパターン作成部１９と、合成画像作成部２２と、を備えている。画像取得部１５，１６は、赤外ＣＣＤカメラ７、可視ＣＣＤカメラ８から得られた画像データを読み出す機能を有しており、読み出した画像データを記憶するメモリーを含んでいる。差分マスク画像作成部としての第１マスクパターン作成部１７は、赤外光照射時の赤外画像と赤外光非照射時の赤外画像との差分により差分マスク画像としての第１のマスクパターンを作成する機能を有する。動き画像検出部１８は、赤外光非照射時の赤外画像と赤外光照射時の赤外画像の比較において、動きのあった領域（動き画像領域）を検出する機能を有する。第２マスクパターン作成部１９は、第１マスクパターン作成部１７が作成した第１のマスクパターンから動き画像検出部１８が作成した動き画像領域を消去した抽出画像としての第２のマスクパターンを作成する機能を有する。合成画像作成部２２は、第２マスクパターン作成部１９が作成した第２のマスクパターンと可視画像とを合成し、合成画像を作成する機能を有する。
【００２７】
さらに、第１マスクパターン作成部１７は、差分画像作成部２０と閾値処理部２１を備えている。差分画像作成部２０は、赤外光照射時の赤外画像と赤外光非照射時の赤外画像との差分画像を作成する機能を有する。閾値処理部２１は、差分画像作成部２０が作成した差分画像に閾値処理を施す機能を有する。
【００２８】
以下、制御装置９の動作を、図３のフローチャートに沿って説明する。
なお、以下の図５（ａ）〜（ｈ）に示す画像例は、本発明者が本実施形態と同等のシステムを用いて実際に取得した画像を基にわかり易く作成し直したものである。
本実施形態において、可視ＣＣＤカメラ８が得た画像データは画像取得部１６によって読み出され、画像取得部１６は、例えば６０Ｈｚの周波数、１／６０秒の画像取得周期で可視画像を取得する（図３のステップＳ１）。
【００２９】
図５（ａ）は、可視ＣＣＤカメラ８から得られた可視画像の一例である。この可視画像は実際にはフルカラーで表現されており、抽出対象である使用者Ａの画像の後に背景Ｂが写り込んでいるのがわかる。
【００３０】
一方、赤外ＣＣＤカメラ７が得た画像データは画像取得部１５によって読み出され、画像取得部１５は、１２０Ｈｚの周波数、１／１２０秒の画像取得周期で画像を取得する。すなわち、赤外ＣＣＤカメラ７側の画像取得部１５は、可視ＣＣＤカメラ８側の画像取得部１６の２倍の周波数、１／２の画像取得周期で画像を取得する。また、赤外ＣＣＤカメラ７が赤外画像を取得する間、赤外ＬＥＤ６には赤外ＬＥＤ駆動部１１から駆動信号が入力され、赤外ＬＥＤ６は、１２０Ｈｚの周波数で点灯、または消灯を交互に繰り返す。ここで、赤外ＬＥＤの１周期とは、１回の点灯または１回の消灯、のいずれかが行われる時間を指すこととする。
【００３１】
このとき、図２に示す同期信号生成部１２から出力された同期信号を受けて、図４に示すように、可視ＣＣＤカメラ８による可視画像取得、赤外ＣＣＤカメラ７による赤外画像取得、赤外ＬＥＤ６の発光動作が所定のタイミングで同期して実行される。すなわち、赤外ＬＥＤ６が１２０Ｈｚの周波数で消灯、または点灯を交互に繰り返しているので、赤外ＬＥＤ６が消灯し、使用者Ａに赤外光が照射されていない期間に同期して、赤外ＣＣＤカメラ７の画像取得部１５が赤外画像を取得する（図３のステップＳ２）。
【００３２】
図５（ｂ）は、赤外ＬＥＤ６の消灯時に赤外ＣＣＤカメラ７から得られた赤外画像の一例である。図から判るように、赤外光消灯時でも、背景の中にも強い赤外光の部分が含まれている。
【００３３】
続いて、赤外ＬＥＤ６が点灯し、使用者Ａに赤外光が照射されている期間に同期して、赤外ＣＣＤカメラ７の画像取得部１５が赤外画像を取得する（図３のステップＳ３）。
なお、以下では説明の便宜上、赤外光が照射されていない期間の赤外画像を「第１の赤外画像（赤外光非照射時赤外画像）」と称し、赤外光が照射されている期間の赤外画像を「第２の赤外画像（赤外光照射時赤外画像）」と称する。このようにして、可視ＣＣＤカメラ８の画像取得部１６が可視画像を１回取得する期間（以下、フレーム期間ともいう）内に、赤外ＬＥＤ６が１回ずつ消灯または点灯し、赤外ＣＣＤカメラ７の画像取得部１５が第１の赤外画像と第２の赤外画像とを１回ずつ取得する。後述するように、ここで得られた第１の赤外画像、第２の赤外画像は、可視ＣＣＤカメラ８の１フレーム期間におけるマスクパターンを作成するのに用いられる。
【００３４】
図５（ｃ）は、赤外ＬＥＤ６から赤外光が照射された状態で赤外ＣＣＤカメラ７から得られた第２の赤外画像の一例である。図から判るように、使用者Ａからの反射のみならず、背景の中にも強い赤外光の部分が含まれているため、赤外光照射時に赤外画像を単純に取得しただけでは対象物の抽出は困難である。また図５（ｃ）で強い反射強度に表現されている顔の表面や服の部分は図５（ｂ）では弱い反射強度を示しているが、背景の部分のうち、動きのない部分は図５（ｂ）の状態から変化していない。
【００３５】
次に、差分画像作成部２０が、上記の第２の赤外画像と第１の赤外画像との差分を取り、差分画像を作成する（図３のステップＳ４）。
【００３６】
図５（ｄ）は、図５（ｃ）に示す第２の赤外画像と図５（ｂ）に示す第１の赤外画像の２枚の赤外画像から得られた差分画像の一例である。主に使用者Ａの顔や身体の正面部分が強い反射強度に、その周辺が中間の反射強度に、それ以外の部分が弱い反射強度に表現されている。また、背景Ｂのうち、動きのない部分は黒色１色で塗りつぶされた状態となり、使用者Ａの後に写り込んでいた背景Ｂは強い赤外光が見られた部分を含めて消えている。
【００３７】
赤外ＬＥＤ６と赤外ＣＣＤカメラ７は抽出対象を抽出するために用いているが、自然界には太陽光などの赤外光を含む光が存在するため、赤外ＬＥＤ６から赤外光を照射しただけでは抽出対象を抽出することは不可能である。そこで、赤外光を照射していない期間にも赤外ＣＣＤカメラ７で赤外画像を取得し、赤外光を照射した期間の赤外画像との差分を取れば、図５（ｄ）に示したように、赤外光の反射強度が強い部分を持つ背景を含む画像から、赤外光の反射光強度が強い抽出対象を、動きのある背景を除いて分離することができる。
【００３８】
次に、閾値処理部２１は、差分画像作成部２０が作成した差分画像に閾値処理を施すことにより第１のマスクパターンを作成する（図３のステップＳ５）。具体的には、例えば差分画像を構成する各画素の輝度値に着目し、輝度値が所定の閾値未満である画素（背景部分を構成する画素に対応）を黒表示とし、輝度値が所定の閾値以上である画素（抽出対象部分を構成する画素に対応）を白表示とするといった２値化を行い、黒表示の画素で構成される仮のマスクパターンＣを作成する。
【００３９】
図５（ｅ）は、図５（ｄ）の差分画像を閾値処理して得られた仮のマスクパターンＣの一例である。本実施形態の場合、背景の部分に加えて髪の毛の部分も仮のマスクパターンＣの一部になっている。
【００４０】
次に、図５（ａ）に示す可視画像における輝度値の低い領域を抽出するなどの方法により髪の毛等の部分を類推した領域を仮のマスクパターンＣに追加し、さらにマスクパターン領域全体に対し膨張・収縮などの画像処理により適宜、形状を補正して、図５（ｆ）に示すように、第１のマスクパターンＤを得る。
【００４１】
次に、動き画像検出部１８は、第１の赤外画像と第２の赤外画像の比較において動きのあった動き画像領域のみを検出する動き画像検出を行う（図３のステップＳ６）。動き画像検出とは、動物体解析手法の一つであり、画像中の輝度情報から動きを解析し、速度ベクトルによって物体の運動を表す手法である。動き画像検出を行う方法としては、勾配法やブロックマッチング法などの方法がある。
【００４２】
図６を用いて、動き画像検出部１８の機能をより具体的に説明する。赤外ＣＣＤカメラ７の取得する隣接するフレーム間において図６（ａ）〜（ｅ）に示すような画像が取得されたとする。各フレーム間において赤外ＬＥＤ６が点滅するため、最終的に抽出したい対象領域ＯＢＪ１は、各フレーム間において、出現と消滅を繰り返す。また、自然光に含まれる赤外光を強く反射し、背景領域に存在し且つ動きのある最終的な非抽出領域であるＯＢＪ２は、毎フレームに出現し、且つ、フレーム毎に僅かにその位置を変化させている。
【００４３】
ここで、動き画像検出に用いられるアルゴリズムは、画像中の濃淡パターンが運動中に変化しないことを仮定しており、その変化しない濃淡パターンが次フレームにおいて、どこに移動したか、を解析するアルゴリズムである。よって、フレーム間において、僅かにその位置を変化させて移動していく移動物体ＯＢＪ２は、動き検出により図６（ａ）〜（ｅ）に斜線で示すとおり検出可能である。ただし、図６（ａ）においては初期フレームのため、ＯＢＪ２は動き画像として検出されていない。
【００４４】
これに対し、最終的な抽出対象であるＯＢＪ１は、フレーム間で出現と消滅を繰り返しており、フレーム間において運動が不連続となる。このことにより、例え位置が移動していたとしても、動き画像検出による推定が困難となり、動き検出による推定条件を満たさず、動きのある領域として検出されない。
【００４５】
また自然光に含まれる赤外光を強く反射し、背景領域に存在する最終的な非抽出領域であり、且つ移動を伴わない領域であるＯＢＪ３は、動きのある領域として検出されない。
【００４６】
これにより、動き画像検出部１８では、最終的にＯＢＪ２の領域のみが検出されることとなる。なお、動き画像検出により抽出された領域は、膨張・収縮などの画像処理を適宜行うことにより、より正確に動き領域を指定可能である。
【００４７】
図５に戻って、第１マスクパターン作成部１７により作成された第１のマスクパターンＤから、動き画像検出部１８により検出された動き領域を消去することにより、図５（ｇ）に示すとおり、第２のマスクパターンＥが得られる（図３のステップＳ７）。
【００４８】
ここで、赤外光照射時の第２の赤外画像と、赤外光非照射時の第１の赤外画像の差分は、図６（ｂ’）に示すとおりであり、図６（ｂ）において検出された動き画像の位置は、差分画像図６（ｂ’）において出現するＯＢＪ２の位置と一致している。赤外ＬＥＤ６の発光タイミングを、図４に示すとおり赤外ＣＣＤカメラ７の画像取得タイミングの後ろ側、即ち図４のＩＲ（ｔ）’、ＩＲ（ｔ＋１）’、・・・、の時期と同期をとることにより、差分画像図６（ｂ’）に出現するＯＢＪ２の位置と、図６の（ａ）、（ｂ）間で検出される動き画像ＯＢＪ２の位置を正確に一致させることが可能であり、即ち第２のマスクパターンＥを作成する段階において、可視画像の第１フレームにおいても動き画像を正確に消去可能となる。
【００４９】
次に、合成画像作成部２２は、可視ＣＣＤカメラ８が取得した可視画像と上記の第２のマスクパターンＥとを合成する。これにより、可視画像からなる抽出対象画像を含み、背景の部分が消去された状態の合成画像を作成し（図３のステップＳ８）、画像処理部１３から出力する（図３のステップＳ９）。
【００５０】
図５（ｈ）は、図５（ａ）の可視画像と図５（ｇ）のマスクパターンＥを合成して得られた抽出画像の一例である。抽出対象がフルカラーで表現され、背景の部分が黒で塗りつぶされた状態の合成画像が得られた。
【００５１】
本実施形態の画像表示システム１では、赤外光照射時の第２の赤外画像と赤外光非照射時の第１の赤外画像とから差分画像を作成し、差分画像からマスクパターンを作成するという手法を用いている。そのため、照射する赤外光の強度や閾値処理の閾値を適切に設定することにより、赤外反射光強度が十分に強い抽出対象と赤外反射光強度が十分に弱い背景とを確実に分離することができる。
【００５２】
また、動き画像検出部１８により、第１の赤外画像と第２の赤外画像の間で動きのあった領域を検出可能としている。本実施形態では赤外ＣＣＤカメラ７の画像取得周期を可視ＣＣＤカメラ８の画像取得周期の１／２とし、可視ＣＣＤカメラ８の１フレーム期間の中で赤外ＬＥＤ６を１回ずつ消灯または点灯させる構成とし、且つ赤外ＣＣＤカメラ７の２フレーム期間における動きを検出する動き画像検出部１８を設ける構成とした。そのため、たとえ背景に光源と同一波長の強い赤外光が含まれるときに背景となる物体が徐々に動いたとしても、その人物は動きのある領域として検出可能であり、その検出された人物の領域のみ消去することにより、任意の１フレーム期間内に取得された可視画像に対して抽出対象のみを確実に抽出することができる。
【００５３】
このように、本実施形態の画像表示システム１によれば、背景が特定し難く、背景情報が容易に変動する環境にあっても、確実かつ簡素な方法で抽出対象が抽出され、背景部分が消去された合成画像を作成することができる。
【００５４】
また、本実施形態では、同軸上に配置された赤外ＣＣＤカメラ７と可視ＣＣＤカメラ８とを用いており、赤外画像専用のＣＣＤカメラと可視画像専用のＣＣＤカメラとを別個に用意すれば良いため、赤外ＣＣＤカメラ７、可視ＣＣＤカメラ８の全ての撮像素子の画素を赤外画像、可視画像のいずれか一方の画像専用に用いることができる。これにより、赤外ＣＣＤカメラ７、可視ＣＣＤカメラ８により得られる画像の解像度を高めることができる。
【００５５】
なお、本実施形態において、使用者Ａ（抽出対象）の位置が奥行き方向に変化する場合には、赤外ＬＥＤ６からの赤外光の照射量を適宜変化させる、もしくは、第１のマスクパターンを作成する際の閾値の設定値を適宜変更する、などの方法を採れば良い。また、抽出する予定にない人物が背景に入り込んだ際にも、赤外光の照射量の設定、閾値の設定を最適化することにより、確実なマスク処理を行うことができる。本実施形態の画像表示システム１によれば、可視画像に対してはマスク処理を行っただけであるから、偽りのない自然な表情で使用者Ａの画像を伝送することができる。
【００５６】
なお、本発明の技術範囲は上記実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲において種々の変更を加えることが可能である。例えば第１実施形態では、可視ＣＣＤカメラ８と赤外ＣＣＤカメラ７を同軸上に配置した例を挙げたが、異なる光軸上に配置し、赤外ＣＣＤカメラ７で取得された画像から生成されたマスクパターンに空間変換を行うことにより、可視ＣＣＤカメラ８に適したマスクパターンを生成してもよい。
【００５７】
また、上記実施形態では、赤外ＣＣＤカメラ７の画像取得周期を可視ＣＣＤカメラ８の画像取得周期の１／２に設定し、可視ＣＣＤカメラ８の１フレーム期間内に第１、第２の赤外画像を取得する構成としたが、赤外ＣＣＤカメラ７の画像取得周期はこれに限定されるものではない。背景が変化する虞が少ない場合には、赤外ＣＣＤカメラ７の画像取得周期を可視ＣＣＤカメラ８の画像取得周期のｍ倍（ｍ：１以上の整数）に設定し、例えば可視ＣＣＤカメラ８の１０フレーム期間内に第１、第２の赤外画像を取得する構成としても良い。その場合、マスクパターンを作成するのに費やせる画像処理時間が長くて良いため、画像処理部の負荷を軽減することができる。
その他、各構成要素の配置、数等の具体的な構成は、上記実施形態に限らず、適宜変更が可能である。
また、上記実施形態では本発明の画像表示システムを例示したが、上記実施形態の画像表示システム１から可視ＣＣＤカメラ８、画像取得部１６、合成画像作成部２２を除く構成とすれば、差分画像と動き画像検出の合成より、これを抽出画像として出力する本発明の画像抽出装置を実現できる。この画像抽出装置は上で例示した画像表示システムの他、例えば画像認識システム、検査・計測システム等に利用することもできる。
【符号の説明】
【００５８】
１…画像表示システム、２…画像処理装置、３…プロジェクター（表示装置）、４…スクリーン、５…ハーフミラー、６…赤外ＬＥＤ（赤外光源）、７…赤外ＣＣＤカメラ（赤外撮像手段）、８…可視ＣＣＤカメラ（可視撮像手段）、１３…画像処理部（画像処理手段）、１７…第１マスクパターン作成部、１８…動き画像検出部、１９…第２マスクパターン作成部、２０…差分画像作成部、２１…閾値処理部、２２…合成画像作成部。
【特許請求の範囲】
【請求項１】
抽出対象に向けて赤外光を照射する赤外光源と、
赤外光による画像を撮像する赤外撮像手段と、
可視光による画像を撮像する可視撮像手段と、
前記赤外撮像手段が取得した赤外画像と前記可視撮像手段が取得した可視画像とに基づいて画像処理を行う画像処理手段と、を備え、
前記画像処理手段が、前記赤外光源から前記抽出対象に向けて前記赤外光が照射されている期間に取得した赤外光照射時赤外画像と、前記赤外光が照射されていない期間に取得した赤外光非照射時赤外画像と、の差分を取ることにより差分画像を作成する差分画像作成部と、前記差分画像に閾値処理を施すことにより第１のマスクパターンを作成する第１のマスクパターン作成部と、
前記赤外光照射時赤外画像と、前記赤外光非照射時赤外画像との比較により動きのある動き画像領域を検出する動き画像検出部と、
前記第１のマスクパターンから前記動き画像領域を消去した第２のマスクパターンを作成する第２のマスクパターン作成部と、
前記可視画像と前記第２のマスクパターンとを合成することにより抽出対象画像を含む合成画像を作成する合成画像作成部と、を備えたことを特徴とする画像処理装置。
【請求項２】
前記赤外撮像手段の画像取得周期が前記可視撮像手段の画像取得周期の１／ｎ倍（ｎ：２以上の整数）であり、前記可視撮像手段の１回の画像取得周期の中で前記赤外光源をｎ回点灯または消灯させることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記赤外光源の点灯、消灯の時期が、消灯から開始することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記赤外画像撮像手段および前記可視撮像手段を、ハーフミラーで分離して同軸上に配置された赤外撮像素子と可視撮像素子とで構成することを特徴とする請求項１ないし３に記載の画像処理装置。
【請求項５】
請求項１ないし４のいずれか一項に記載の画像処理装置と、前記画像処理装置によって得られた抽出画像を表示する表示装置と、を備えたことを特徴とする画像表示システム。
【請求項６】
抽出対象に向けて赤外光を照射する赤外光源と、
赤外光による画像を撮像する赤外撮像手段と、
前記赤外撮像手段が取得した赤外画像に基づいて画像処理を行う画像処理手段と、
前記画像処理手段が、前記赤外光源から前記抽出対象に向けて前記赤外光が照射された期間に取得した赤外光照射時赤外画像と、前記赤外光が照射されていない期間に取得した赤外光非照射時赤外画像と、の差分を取ることにより作成した差分画像に対し、さらに閾値処理を施すことにより差分マスク画像を作成する差分マスク画像作成部と、
前記赤外光照射時赤外画像と、前記赤外光非照射時赤外画像との比較により動きのある動き画像領域を検出する動き画像検出部と、
前記差分マスク画像から前記動き画像領域を消去してなる抽出画像を作成する抽出画像作成部と、を備えることを特徴とする画像抽出装置。
【請求項１】
抽出対象に向けて赤外光を照射する赤外光源と、
赤外光による画像を撮像する赤外撮像手段と、
可視光による画像を撮像する可視撮像手段と、
前記赤外撮像手段が取得した赤外画像と前記可視撮像手段が取得した可視画像とに基づいて画像処理を行う画像処理手段と、を備え、
前記画像処理手段が、前記赤外光源から前記抽出対象に向けて前記赤外光が照射されている期間に取得した赤外光照射時赤外画像と、前記赤外光が照射されていない期間に取得した赤外光非照射時赤外画像と、の差分を取ることにより差分画像を作成する差分画像作成部と、前記差分画像に閾値処理を施すことにより第１のマスクパターンを作成する第１のマスクパターン作成部と、
前記赤外光照射時赤外画像と、前記赤外光非照射時赤外画像との比較により動きのある動き画像領域を検出する動き画像検出部と、
前記第１のマスクパターンから前記動き画像領域を消去した第２のマスクパターンを作成する第２のマスクパターン作成部と、
前記可視画像と前記第２のマスクパターンとを合成することにより抽出対象画像を含む合成画像を作成する合成画像作成部と、を備えたことを特徴とする画像処理装置。
【請求項２】
前記赤外撮像手段の画像取得周期が前記可視撮像手段の画像取得周期の１／ｎ倍（ｎ：２以上の整数）であり、前記可視撮像手段の１回の画像取得周期の中で前記赤外光源をｎ回点灯または消灯させることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記赤外光源の点灯、消灯の時期が、消灯から開始することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記赤外画像撮像手段および前記可視撮像手段を、ハーフミラーで分離して同軸上に配置された赤外撮像素子と可視撮像素子とで構成することを特徴とする請求項１ないし３に記載の画像処理装置。
【請求項５】
請求項１ないし４のいずれか一項に記載の画像処理装置と、前記画像処理装置によって得られた抽出画像を表示する表示装置と、を備えたことを特徴とする画像表示システム。
【請求項６】
抽出対象に向けて赤外光を照射する赤外光源と、
赤外光による画像を撮像する赤外撮像手段と、
前記赤外撮像手段が取得した赤外画像に基づいて画像処理を行う画像処理手段と、
前記画像処理手段が、前記赤外光源から前記抽出対象に向けて前記赤外光が照射された期間に取得した赤外光照射時赤外画像と、前記赤外光が照射されていない期間に取得した赤外光非照射時赤外画像と、の差分を取ることにより作成した差分画像に対し、さらに閾値処理を施すことにより差分マスク画像を作成する差分マスク画像作成部と、
前記赤外光照射時赤外画像と、前記赤外光非照射時赤外画像との比較により動きのある動き画像領域を検出する動き画像検出部と、
前記差分マスク画像から前記動き画像領域を消去してなる抽出画像を作成する抽出画像作成部と、を備えることを特徴とする画像抽出装置。
【図１】
【図２】
【図３】
【図４】
【図６】
【図５】
【図２】
【図３】
【図４】
【図６】
【図５】
【公開番号】特開２０１１−１８２０２６（Ｐ２０１１−１８２０２６Ａ）
【公開日】平成２３年９月１５日（２０１１．９．１５）
【国際特許分類】
【出願番号】特願２０１０−４１６９７（Ｐ２０１０−４１６９７）
【出願日】平成２２年２月２６日（２０１０．２．２６）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
【公開日】平成２３年９月１５日（２０１１．９．１５）
【国際特許分類】
【出願日】平成２２年２月２６日（２０１０．２．２６）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
[ Back to top ]