像分離装置
【課題】投影像の影響を受けた背景画面から投影像を除去して背景の像の画像データを取得したり、投影像のデータのみを再現することができる像分離装置を提供する。
【解決手段】投影手段１２は、画像の情報を複数の原色成分に分解して各原色成分を順次高速で周期的に背景画面に投影する。撮像手段１６は、前記投影の影響を受けた前記背景画面を含む像を各原色対応のセンサにより前記投影に同期して撮像する。演算処理手段１７は、前記投影手段１２と撮像手段１６において、予め定まる各原色に対する前記複数のセンサ間の相関関係関数を用いたアルゴリズムに基づいて、前記各原色対応の画像出力から当該原色成分とこの影響を受けた当該原色成分以外の１以上の原色の出力を演算処理することにより、前記投影の影響を受けていない背景画面のみの画像データまたは背景画面を含まない画像の情報データを得るように構成されている。
【解決手段】投影手段１２は、画像の情報を複数の原色成分に分解して各原色成分を順次高速で周期的に背景画面に投影する。撮像手段１６は、前記投影の影響を受けた前記背景画面を含む像を各原色対応のセンサにより前記投影に同期して撮像する。演算処理手段１７は、前記投影手段１２と撮像手段１６において、予め定まる各原色に対する前記複数のセンサ間の相関関係関数を用いたアルゴリズムに基づいて、前記各原色対応の画像出力から当該原色成分とこの影響を受けた当該原色成分以外の１以上の原色の出力を演算処理することにより、前記投影の影響を受けていない背景画面のみの画像データまたは背景画面を含まない画像の情報データを得るように構成されている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、投影画像の影響を受けた背景画面において、投影画像が無い状態と同等の背景画面の画像データを分離したり、投影画像のデータを合成画像から分離することができる像分離装置に関する。さらに、本発明は、重なり部分のない原色の投影や、重なりがなく正確に原色に対応する出力のみを取り出すセンサを用いることができない通常の環境においても、像分離を可能にする像分離装置に関する。
【背景技術】
【０００２】
背景と非背景（物体）とを分離するものとしてクロマキーシステムがあり、これは、背景に特定の色を使ったり背景の色を変化させて非背景（物体）を分離するものである。
特許文献１記載の発明（クロマキーシステム）は、背景の色を変化させて変化する色を背景と識別し、背景と非背景を分離することを開示している。
特許文献２記載の発明（物体画像切り出し方法、装置、システム及びそのプログラムを記録した媒体）は、２つの異なる背景色における物体の画像から切り出した物体領域（クロマキー物体領域切り出し）の論理和をとることで、物体画像の切り出しを行うことができることを開示している。
特許文献３記載の発明（像分離装置）は、プロジェクタ等により投影されている投影像を除去して投影像の無い場合の実像を得ることができることを開示しているが、投影像を完全に除去することができない。
【特許文献１】特許第３２４１３２７号公報
【特許文献２】特開２０００−１５２２７８号公報
【特許文献３】特開２００５−１８２４１３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
プロジェクタ等でＲＧＢ各色に色分解されて順次高速に投影された画像をプロジェクタの各色に同期する高速度カメラで撮像しても、プロジェクタやカメラのイメージセンサの色フィルタの分光特性が幅広く、ＲＧＢの各原色成分の分光特性がお互いに重なり合う部分が存在するためカメラのセンサには、Ｒ投影時にはＲ成分以外のＧＢ成分も撮像される。同様に、Ｇ投影時にはＧ成分以外のＲＢ成分も撮像され、Ｂ投影時にはＢ成分以外のＲＧ成分も撮像される。
このように、本来投影されている原色以外の原色成分がカメラに撮像されるため、単純な色の差分や合成のような方法では空間に投影された投影像を完全に除去することができない。
【０００４】
本発明者らは、本来投影されている原色以外の原色成分が存在することを前提とした色合成のアルゴリズムを開発し、この方法により空間に投影された投影像を除去することができる。更に、撮像画像から背景画像（撮像側から見た投影画像の無い背景像）を除去することで背景に投影された状態の画像のみを得ること（背景画像と投影画像を分離すること）ができるようにすることに着目した。
本発明の目的は、投影像の影響を受けた背景画面から投影像を完全に除去して、背景の像の画像データを取得したり、投影像のデータのみを再現することができる像分離装置を提供することにある。
【課題を解決するための手段】
【０００５】
前記目的を達成するために、本発明による請求項１記載の像分離装置は、
画像の情報を複数の原色成分に分解して各原色成分を順次高速で周期的に背景画面に投影する投影手段と、
前記投影の影響を受けた前記背景画面を含む像を各原色対応のセンサにより前記投影に同期して撮像する撮像手段と、
前記投影手段と撮像手段において、予め定まる各原色に対する前記複数のセンサ間の相関関係関数を用いたアルゴリズムに基づいて、
前記各原色対応の画像出力から当該原色成分とこの影響を受けた当該原色成分以外の１以上の原色成分の出力を演算処理することにより、前記投影の影響を受けていない背景画面のみの画像データまたは背景画面を含まない画像の情報データを得る演算処理手段から構成されている。
【０００６】
本発明による請求項２記載の像分離装置は、請求項１記載の像分離装置において、
前記投影手段により投影される画像の情報は動画を含み、前記撮像手段は、前記投影された画像の前景から撮像するように構成されている。
本発明による請求項３記載の像分離装置は、
請求項１または２記載の像分離装置において、前記アルゴリズムは、各原色対応の撮像画像に対して、当該原色成分以外の一つまたは二つの原色成分をそれぞれ用いて、空間に投影された画像を推定するものである。
【０００７】
本発明による請求項４記載の像分離装置は、請求項１、２または３記載の像分離装置において、前記アルゴリズムは、前記分離されるべき画像データを規定する前記相関関係関数が２次以上の積となり、かつ、影響が極めて小さい場合はその項の演算を省略した近似式を用いるものである。
【発明の効果】
【０００８】
本発明による像分離装置は、講演等においてプロジェクタ等により前景（非背景）側から講演者にも投影されるような場面や背景側からスクリーン等に投影されるような場面でも投影像の無い人物像を得ることができる。よって、投影像を除去した像により講演者のトラッキングが容易に行え、投影像を除去した講演者のみの像の記録も可能である。
また、プロジェクタで投影した画面に対してジェスチャ等でインタラクティブに操作するような場面でジェスチャを解析する際に投影像の影響（プロジェクタ等で投影されている投影像やその中の動画等の影響）を受けなくできる。
更に、物体に計測用画像を投影し、撮像画像から物体画像を除去することで物体に投影された計測用画像のみを得ることができるので、物体の表面色や背景等の影響を受けずに物体の形状を測定することができる。
【発明を実施するための最良の形態】
【０００９】
以下図面等を参照して本発明による像分離装置の実施形態をさらに詳しく説明する。
（第１の実施形態）
図１に本発明による像分離装置の第１の実施形態の概略構成を示し、図２に演算処理手段の概略構成を示す。図１において、投影手段であるプロジェクタ１２に投影したい画像である入力画像１１を入力する。プロジェクタとしては、例えば、単板デジタルミラー方式のＤＬＰプロジェクタが利用できる。プロジェクタ１２は、前景より空間に対して、複数の原色成分に分解して各原色成分を順次高速で周期的に投影する。以下、プロジェクタ１２がＲＧＢの各原色成分に分解して空間の前景より投影するものとして説明する。
【００１０】
投影手段であるプロジェクタ１２の各原色成分の色（ＲＧＢ各色）の投影に同期してプロジェクタ１２から同期信号が出力される。プロジェクタ１２の同期信号を基に演算処理手段１７で生成される撮像制御信号に応じて撮像手段であるカメラ１６で撮像する。カメラ１６は、プロジェクタ１２が投影する前景側から空間に向かって撮像するように設置される。このとき、カメラ１６から見た空間の像１５は、プロジェクタ１２からの投影がない前景より見た空間像１３の上にプロジェクタ１２より投影された投影画像１４が重なって混合された混合画像１５となる。空間の像は、プロジェクタ１２より投影された画像１４の下になるため前景から見た背景画像１３となる。カメラ１６で撮像した画像は、プロジェクタ１２からの各原色成分の色の投影の同期信号とともに演算処理手段１７に入力される。
【００１１】
演算処理手段１７においては、図２に示すように、同期制御部２６で入力された同期信号を基に図１のカメラ１６用の撮像制御信号、図２の入力処理Ｉ／Ｆ部２１用の画像入力制御信号及び演算処理部２４用の演算処理制御信号を生成する。入力処理Ｉ／Ｆ部２１では、撮像制御信号によりカメラ１６で撮像され、順次入力された各原色対応の画像データを同期制御部２６で生成された画像入力制御信号に応じて一旦画像メモリ用バス２２を介して画像メモリ２３に保管する。同図の演算処理部２４では、同期制御部２６で生成された演算処理制御信号に応じて画像メモリ用バス２２を介して画像メモリ２３より、当該原色成分とこの影響を受けた当該原色成分以外の１以上の原色成分を読み出し、このデータを用いて、空間に投影された投影像のみの当該原色成分とこの影響を受けた原色成分とを、本発明であるアルゴリズムを用いて演算処理部２４で求め、画像メモリ２３に保管する。
この結果を各原色に対応した撮像画像から減算し、投影画像の影響を受けていないと同等の背景画像を各原色ごとに演算処理部２４で求め、画像メモリ２３に保管する。更に、この結果を各原色に対応した撮像画像から減算し、空間に投影された投影像の各原色成分を演算処理部２４で求め、画像メモリ２３に保管する。この結果を各原色成分ごとに１周期分加算し、空間に投影された投影像（撮像画像から背景画像を除去した画像）を演算処理部２４で求め、画像メモリ２３に保管する。
【００１２】
各原色ごとに撮像された入力画像を画像メモリ２３より読み出し、１周期分加算し、目で見ていると同等の画像（通常の可視画像。ここでは通常画像ということにする。）を求め、画像メモリ２３に保管することもできる。演算の結果求められた通常画像、空間に投影された投影画像、投影画像の影響を受けていない背景画像（前景画像）は、操作子２５等の画像選択情報により選択されるかそれぞれ個別に、画像メモリ２３より読み出され同期制御部２６で生成された演算処理制御信号に同期して演算処理部２４より出力され、図１の出力手段１８に入力される。
【００１３】
出力手段１８は、入力された画像を利用する表示装置であり、入力された画像をディスプレイ等に表示する。出力手段として、入力された画像を記録する画像記録装置、入力された画像を用いて人物の追跡をするトラッキング装置、入力された画像から人物のジェスチャを解析するジェスチャ解析装置、入力された画像から物体の計測をする計測装置等を挙げることができる。
【００１４】
図１の演算処理手段１７における図２の演算処理部２４のアルゴリズムを以下で説明する。
まず、基本的な符号を定義する。
・原空間の像（投影機器から投影されていない景色）をカメラで撮像して得られる画像（背景画像）のＲＧＢ値を [Rs, Gs, Bs] とする。
・合成像（投影機器から投影された映像を含む景色）をカメラで撮像して得られる画像から空間の像（投影機器から投影された映像を含む景色）を取り除く処理をすると、投影機器から投影された画像だけが残る。この画像のＲＧＢ値を[Rp, Gp, Bp]とする。
・合成像（投影機器から投影された映像を含む景色）をカメラで撮像して得られる画像のＲＧＢ値を[(Rs+Rp), (Gs+Gp), (Bs+Bp)] とする。
【００１５】
［アルゴリズムの目的］
投影機器から映像が投影されている状況を撮像して、[(Rs+Rp), (Gs+Gp), (Bs+Bp)] を得ても、この画像からだけでは[Rs, Gs, Bs]と [Rp, Gp, Bp] をそれぞれ推定することはできない。プロジェクタ等でＲＧＢ各色に色分解されて順次高速に投影された画像をプロジェクタの各色に同期する高速度カメラで撮像しても、プロジェクタやカメラのイメージセンサの色フィルタの特性が幅広いためカメラのセンサには、Ｒ投影時にはＲ成分以外のＧＢ成分も撮像される。同様に、Ｇ投影時にはＧ成分以外のＲＢ成分も撮像され、Ｂ投影時にはＢ成分以外のＲＧ成分も撮像されるため、単純な色の差分や合成のような方法では [Rs, Gs, Bs] と [Rp, Gp, Bp] をそれぞれ推定することはできない。
本発明では、各原色対応の画像出力から当該原色成分と当該原色成分以外の１以上の原色成分とを用いて空間への投影時における未投影時と同等の空間像及び空間に投影された像をそれぞれ推定する根拠となるアルゴリズムが必要である。
【００１６】
［手法の定義］
Ｒ投影時のＧＢ成分情報を用い、同様に、Ｇ投影時のＲＢ成分情報を用い、Ｂ投影時のＲＧ成分情報を用いて [Rs, Gs, Bs] と [Rp, Gp, Bp] をそれぞれ推定可能にする。
手法１．各原色対応の撮像画像に対して、当該原色成分以外の一つの原色成分をそれぞれ用いて、空間に投影された（背景を除去した）画像を推定する方法を手法１とする。
手法２．各原色対応の撮像画像に対して、当該原色成分以外の二つの原色成分をそれぞれ用いて、空間に投影された（背景を除去した）画像を推定する方法を手法２とする。
手法３．前記手法１における演算式に対して近似式を用いる方法を手法３とする。
手法４．前記手法２における演算式に対して近似式を用いる方法を手法４とする。
［撮像手段のセンサ出力の定義］
Rr: 投影機器の出力した赤色の成分にカメラの赤色を感知するセンサの値をRrとする．
Gr: 投影機器の出力した赤色の成分にカメラの緑色を感知するセンサの値をGrとする．
Br: 投影機器の出力した赤色の成分にカメラの青色を感知するセンサの値をBrとする．
Rg: 投影機器の出力した緑色の成分にカメラの赤色を感知するセンサの値をRgとする．
Gg: 投影機器の出力した緑色の成分にカメラの緑色を感知するセンサの値をGgとする．
Bg: 投影機器の出力した緑色の成分にカメラの青色を感知するセンサの値をBgとする．
Rb: 投影機器の出力した青色の成分にカメラの赤色を感知するセンサの値をRbとする．
Gb: 投影機器の出力した青色の成分にカメラの緑色を感知するセンサの値をGbとする．
Bb: 投影機器の出力した青色の成分にカメラの青色を感知するセンサの値をBbとする．
【００１７】
投影機器から投影される映像は、赤色の成分のみの画像・緑色の成分のみの画像・青色の成分のみの画像の３種類である。この３種類の画像を繰り返し高速で投影させることで人間の目にカラー画像を見せる。
投影機器から投影された映像を含む景色をカメラで撮像し背景画像を取り除くと、
赤色の成分のみの画像投影時は [Rr, Gr, Br] であり、
緑色の成分のみの画像投影時は [Rg, Gg, Bg] であり、
青色の成分のみの画像投影時は [Rb, Gb, Bb] である。
投影された画像を含む撮像画像（合成像の画像）、[Rp, Gp, Bp]は以下の式で表すことができる。
[Rp, Gp, Bp] = [(Rr+Rg+Rb), (Gr+Gg+Gb), (Br+Bg+Bb)] ・・・式１
さらに、投影機器から投影された映像を含む景色をカメラで撮像すると、
１枚目の赤色の成分のみの画像投影時は
[R1,G1,B1] = [(Rs+Rr), (Gs+Gr), (Bs+Br)] ・・・・・・式２
２枚目の緑色の成分のみの画像投影時は
[R2,G2,B2] = [(Rs+Rg), (Gs+Gg), (Bs+Bg)] ・・・・・・式３
３枚目の青色の成分のみの画像投影時は
[R3,G3,B3] = [(Rs+Rb), (Gs+Gb), (Bs+Bb)] ・・・・・・式４
とそれぞれ表すことができる。
【００１８】
（手法１による像分離）当該原色成分と当該原色成分以外の内一つの原色成分とを用いる。
ＲＧＢ３色の画像データ３枚からそれぞれ１色分の画像を抽出し３色の画像を合成する手法による。この手法は、Ｒ投影時のＧＢ成分のどちらかからRpを、同様に、Ｇ投影時のＢＲ成分のどちらかからGpを、Ｂ投影時のＲＧ成分のどちらかからBpを推定する方法である。
ここで、各色が投影されている各色の画素について、以下の相関関係が成立する。このx, y, z は、プロジェクタとイメージセンサの色フィルタ特性に起因するものであり、投影手段と撮像手段の組が決まれば固有に決まるものであり、予め定められたものとすることができる。本発明においては、このx, y, z を相関関係関数と呼ぶ。
Br = x × Rr ・・・・・・式５
Rg = y × Gg ・・・・・・式６
Gb = z × Bb ・・・・・・式７
上式のBr, Rg, Gbを Gr, Bg, Rb に置き換えても、以下のアルゴリズムは成り立つ。
【００１９】
（手順１）予め定められたx, y, z を算定して、使用のために準備する。
（手順２）投影機器の投影色順と同期して３枚の映像を撮像する。
投影機器からＲ，Ｇ，Ｂの投影と同期して、投影画像を含む景色（合成像）をカメラで３枚撮像し格別の画像データを得る。
これらの画像は、[R1, G1, B1]，[R2 , G2, B2] ，[R3, G3, B3] であり、式２〜４ですでに示した。
（手順３）３枚の撮像画像を用いる演算より [Rs, Gs, Bs] を推定する。
ＲＧＢ各色に対して、３枚の画像のうちの当該投影色を含む２枚からなる組の一方より、以下の関係を求めることができる。
R1- R2 = Rr - Rg = u ・・・・・・式８
G2- G3 = Gg - Gb = v ・・・・・・式９
B3- B1 = Bb - Br = w ・・・・・・式１０
式５〜１０より、３元１次方程式の解より、以下の関係が得られる。
Rr = (u + yv + yzw) / (1 - xyz) ・・・・・・式１１
Br = x(u + yv + yzw) / (1 - xyz) ・・・・・・式１２
Rg = y(v + zw + xzu) / (1 - xyz) ・・・・・・式１３
Gg = (v + zw + xzu) / (1 - xyz) ・・・・・・式１４
Gb = z(w + xu + xyv) / (1 - xyz) ・・・・・・式１５
Bb = (w + xu + xyv) / (1 - xyz) ・・・・・・式１６
上記の式１１〜１６の関係式を計算することで、Rr, Br, Rg, Gg, Gb, Bbを得て、さらに式２〜４を用いて、
Rs = R2 - Rg = R1 - Rr
Gs = G3 - Gb = G2 - Gg
Bs = B1 - Br = B3 - Bb
から [Rs, Gs, Bs] （背景画像のみ）を得ることができる。
【００２０】
（手順４）空間に投影された画像を推定する。
手順３で得られた[Rs, Gs, Bs]と式２〜４とを用いて、撮像映像と以下の演算を施すことにより、空間に投影された画像を推定することができる。
[R1, G1, B1] - [Rs, Gs, Bs] = [Rr, Gr, Br]
[R2, G2, B2] - [Rs, Gs, Bs] = [Rg, Gg, Bg]
[R3, G3, B3] - [Rs, Gs, Bs] = [Rb, Gb, Bb]
上式で得られた Rr, Gg, Bb を使って１枚の画像を合成することで、空間に投影された推定画像のみ[Rr, Gg, Bb]を得る。
また、式１を用いて Rp, Gp, Bp を得ることで撮像画像から背景画像を除去した画像
[Rp, Gp, Bp]を得る。
この手法における演算要素は、加算器、乗算器、減算器及び除算器で構成できる。
【００２１】
（手法２による像分離）当該原色成分と当該原色成分以外の内二つの原色成分とを用いる。
ＲＧＢ３色の画像データ３枚からそれぞれ２色分の画像を抽出し３色の画像を合成する手法による。この手法は、Ｒ投影時のＧＢ成分の両方からRpを、同様に、Ｇ投影時のＢＲ成分の両方からGpを、Ｂ投影時のＲＧ成分の両方からBpを推定する方法である。
ここで、各色が投影されている各色の画素について、以下の相関関係が成立する。前述と同様、x1, x2, y1, y2, z1, z2は、プロジェクタとイメージセンサの色フィルタ特性に起因する組み合わせ固有のものであり、本発明においては相関関係関数と呼ぶ。
Gr = x1 × Rr ・・・・・・式１７
Br = x2 × Rr ・・・・・・式１８
Rg = y1 × Gg ・・・・・・式１９
Bg = y2 × Gg ・・・・・・式２０
Rb = z1 × Bb ・・・・・・式２１
Gb = z2 × Bb ・・・・・・式２２
【００２２】
（手順１）フィルタの特性より、x1, x2, y1, y2, z1, z2の値をあらかじめ求めて準備してあるものを用いる。
（手順２）投影機器の投影色順と同期して３枚の映像を撮像する。
投影機器からＲ，Ｇ，Ｂの投影と同期して、投影画像を含む景色をカメラで３枚撮像し得られた画像を得る。これらの画像は、[R1, G1, B1]，[R2, G2, B2]，[R3, G3, B3]であり、式２〜４ですでに示してある。
（手順３）３枚の撮像画像を用いる演算より、[Rs, Gs, Bs]を推定する。
ＲＧＢ各色に対して、３枚の画像のうちの当該投影色を含む２枚からなる二組より、以下の関係を求めることができる。
R1 - R2 = Rr - Rg = u1 ・・・・・・式２３
R1 - R3 = Rr - Rb = u2 ・・・・・・式２４
G2 - G1 = Gg - Gr = v1 ・・・・・・式２５
G2 - G3 = Gg - Gb = v2 ・・・・・・式２６
B3 - B1 = Bb - Br = w1 ・・・・・・式２７
B3 - B2 = Bb - Bg = w2 ・・・・・・式２８
式１７〜２２より、６元１次方程式の解より、以下の関係が得られる。
Rr = (y1v1 + u1) / (1 - x1y1) = (z1w1 + u2) / (1 - x2z1)・・・式２９
Gr = x1(y1v1 + u1) / (1 - x1y1) = x1(z1w1 + u2) / (1 - x2z1)・・・式３０
Br = x2(y1v1 + u1) / (1 - x1y1) = x2(z1w1 + u2) / (1 - x2z1)・・・式３１
Rg = y1(x1u1 + v1) / (1 - x1y1) = y1(z2w2 + v2) / (1 - y2z2)・・・式３２
Gg = (x1u1 + v1) / (1 - x1y1) = (z2w2 + v2) / (1 - y2z2)・・・式３３
Bg = y2(x1u1 + v1) / (1 - x1y1) = y2(z2w2 + v2) / (1 - y2z2)・・・式３４
Rb = z1(x2u2 + w1) / (1 - x2z1) = z1(y2v2 + w2) / (1 - y2z2)・・・式３５
Gb = z2(x2u2 + w1) / (1 - x2z1) = z2(y2v2 + w2) / (1 - y2z2)・・・式３６
Bb = (x2u2 + w1) / (1 - x2z1) = (y2v2 + w2) / (1 - y2z2)・・・式３７
上記の式２９〜３７の関係式を計算することで、Rr, Gr, Br, Rg, Gg, Bg, Rb, Gb, Bbを得て、さらに式２〜４を用いて、
[R1, G1, B1] - [Rr, Gr, Br] = [Rs, Gs, Bs]
[R2, G2, B2] - [Rg, Gg, Bg] = [Rs, Gs, Bs]
[R3, G3, B3] - [Rb, Gb, Bb] = [Rs, Gs, Bs]
から [Rs, Gs, Bs] （背景画像のみ）を得ることができる。
【００２３】
（手順４）空間に投影された画像を推定する。
手順３で得られた[Rs, Gs, Bs]と式２〜４とを用いて、撮像映像と以下の演算を施すことにより、空間に投影された画像を推定することができる。
[R1, G1, B1] - [Rs, Gs, Bs] = [Rr, Gr, Br]
[R2, G2, B2] - [Rs, Gs, Bs] = [Rg, Gg, Bg]
[R3, G3, B3] - [Rs, Gs, Bs] = [Rb, Gb, Bb]
上式で得られた Rr, Gg, Bb を使って１枚の画像を合成することで、空間に投影された推定画像のみ[Rr, Gg, Bb]を得る。
また、式１を用いて Rp, Gp, Bp を得ることで撮像画像から背景画像を除去した画像
[Rp, Gp, Bp]を得る。
この手法における演算要素は、加算器、乗算器、減算器及び除算器で構成できる。
【００２４】
（手法３による像分離）前記手法１の演算式に対して近似式を用いて像分離を行う。
前記手法１の手順３の式１１〜１６に対して近似式を用いて簡略に求める方法である。
近似式の求め方は、u ，v ，w ，x ，y ，z の各値とこれらを組み合わせた積項の値に応じて、無視できる積項を省略したりテーラー展開等の方法を用いて近似式を求めることができる。
例えば、x ，y ，z ＜＜１の場合、xy，xz，yz，xyz の積項は無視できるので式１１〜１６はそれぞれ以下の式のようになる。
Rr ≒ u + yv ・・・・・・式３８
Br ≒ xu ・・・・・・式３９
Rg ≒ yv ・・・・・・式４０
Gg ≒ v + zw ・・・・・・式４１
Gb ≒ zw ・・・・・・式４２
Bb ≒ w + xu ・・・・・・式４３
したがって、この手法においては、前記手法１の手順３の式１１〜１６が、上記の式３８〜４３に入れ替わる。上記の式３８〜４３の近似式を用いることにより、この手法における演算要素が加算器、乗算器及び減算器のみで構成できるようになる。また、計算式における項数と加減乗除の数が減るため、計算式に相当する回路規模も前記手法１よりも縮小できる。
【００２５】
（手法４による像分離）前記手法２の演算式に対して近似式を用いて像分離を行う。
前記手法２の手順３の式２９〜３７に対して近似式を用いて簡略に求める方法である。
近似式の求め方は、u1，u2，v1，v2，w1，w2，x1，x2，y1，y2，z1，z2の各値とこれらを組み合わせた積項の値に応じて、無視できる積項を省略したりテーラー展開等の方法を用いて近似式を求めることができる。
例えば、x1，x2，y1，y2，z1，z2＜＜１の場合、これらを組み合わせた２次以上の積項は無視できるので式２９〜３７はそれぞれ以下の式のようになる。
Rr ≒ y1v1 + u1 ≒ z1w1 + u2 ・・・・・・式４４
Gr ≒ x1u1 ≒ x1u2 ・・・・・・式４５
Br ≒ x2u1 ≒ x2u2 ・・・・・・式４６
Rg ≒ y1v1 ≒ y1v2 ・・・・・・式４７
Gg ≒ x1u1 + v1 ≒ z2w2 + v2 ・・・・・・式４８
Bg ≒ y2v1 ≒ y2v2 ・・・・・・式４９
Rb ≒ z1w1 ≒ z1w2 ・・・・・・式５０
Gb ≒ z2w1 ≒ z2w2 ・・・・・・式５１
Bb ≒ x2u2 + w1 ≒ y2v2 + w2 ・・・・・・式５２
したがって、この手法においては、前記手法２の手順３の式２９〜３７が、上記の式４４〜５２に入れ替わる。上記の式４４〜５２の近似式を用いることにより、この手法における演算要素が加算器、乗算器及び減算器のみで構成できるようになる。また、計算式における項数と加減乗除の数が減るため、計算式に相当する回路規模も前記手法２よりも縮小できる。
【００２６】
（第２の実施形態）
次に、空間の背景側から画像を投影し、前景側から撮像する第２の実施形態を図３を参照して説明する。
同図において、投影手段であるプロジェクタ３２に投影したい画像である入力画像３１を入力する。プロジェクタとしては、前述のように例えば、単板デジタルミラー方式のＤＬＰプロジェクタが利用できる。プロジェクタ３２は、背景側よりスクリーン３９に対して、複数の原色成分に分解して各原色成分を順次高速で周期的に投影する。前述同様に、プロジェクタ３２がＲＧＢの各原色成分に分解してスクリーンの背景側より投影するものとして説明する。
【００２７】
投影手段であるプロジェクタ３２の各原色成分の色（ＲＧＢ各色）の投影に同期してプロジェクタ３２から同期信号が出力される。プロジェクタ３２の同期信号を基に演算処理手段３７で生成される撮像制御信号に応じて撮像手段であるカメラ３６で撮像する。カメラ３６は、プロジェクタ３２がスクリーン３９に投影する背景側とは逆のスクリーンの前景側からスクリーン３９に向かって撮像するように設置される。このとき、カメラ３６から見た空間の像３５は、プロジェクタ３２からの投影がない前景より見た空間像３３の下にプロジェクタ３２より投影された投影画像３４が重なって混合された混合画像３５となる。空間の像は、プロジェクタ３２より投影された画像３４の上になるため前景から見た背景画像３３となる。カメラ３６で撮像した画像は、プロジェクタ３２からの各原色成分の色の投影の同期信号とともに演算処理手段３７に入力される。
【００２８】
演算処理手段３７は、既に示した図２における機能・動作と同じであり、演算処理手段３７の出力は、前述と同様に出力手段３８に入力される。また、演算処理手段３７における演算のアルゴリズムは、前述と同じである。
出力手段３８は、入力された画像を利用する表示装置であり、入力された画像をディスプレイ等に表示する。出力手段としては、前述同様の装置等を挙げることができる。
【００２９】
（本発明の像分離装置の利用例）
・プロジェクタ等により前景（非背景）側から講演者にも投影されるような場面や背景側からスクリーン等に投影されるような場面において、本装置の投影画像を除去した背景（前景）画像を使用し、投影像の影響を受けていない講演者のトラッキングを行うことができ、追跡した投影像の影響を受けていない講演者像の録画をすることができる。
・プロジェクタで投影した画面に対してジェスチャ等でインタラクティブに操作するような場面において、本装置の投影画像を除去した背景（前景）画像を使用し、投影像の影響（特に投影画像内の動画等の影響）を受けていない手等の操作状況のジェスチャを解析することができる。
・物体に計測用画像を投影し、物体の形状を測定（投影された計測用画像のみを得て計測）するような場面において、本装置の入力画像として格子点や格子線等のような計測用画像を用いることで、物体に投影された計測用画像のみを得ることができるので、物体の表面色や背景等の影響を受けない画像の解析により物体の形状を測定することができる。
【産業上の利用可能性】
【００３０】
本発明は、広く画像処理の分野で利用できる。すなわち、映画、その他の映像関連の著作物の作成の分野、会議や興行の分野における映像の表示に関連する像分離の要請に利用できる。投影機や撮像装置の製造の分野で前記像分離装置の製造に利用できる。
【図面の簡単な説明】
【００３１】
【図１】本発明による像分離装置の第１の実施形態の概略構成を示すブロック図である。
【図２】前記像分離装置の演算処理手段の概略構成を示すブロック図である。
【図３】本発明による像分離装置の第２の実施形態の概略構成を示すブロック図である。
【符号の説明】
【００３２】
１１，３１ 入力画像
１２，３２ プロジェクタ
１３，３３ 背景画像
１４，３４ 投影画像
１５，３５ 混合画像
１６，３６ カメラ
１７，３７ 演算処理手段
１８，３８ 出力手段
２１ 入力処理Ｉ／Ｆ部
２２ 画像メモリ用バス
２３ 画像メモリ
２４ 演算処理部
２５ 操作子
２６ 同期制御部
３９ スクリーン
【技術分野】
【０００１】
本発明は、投影画像の影響を受けた背景画面において、投影画像が無い状態と同等の背景画面の画像データを分離したり、投影画像のデータを合成画像から分離することができる像分離装置に関する。さらに、本発明は、重なり部分のない原色の投影や、重なりがなく正確に原色に対応する出力のみを取り出すセンサを用いることができない通常の環境においても、像分離を可能にする像分離装置に関する。
【背景技術】
【０００２】
背景と非背景（物体）とを分離するものとしてクロマキーシステムがあり、これは、背景に特定の色を使ったり背景の色を変化させて非背景（物体）を分離するものである。
特許文献１記載の発明（クロマキーシステム）は、背景の色を変化させて変化する色を背景と識別し、背景と非背景を分離することを開示している。
特許文献２記載の発明（物体画像切り出し方法、装置、システム及びそのプログラムを記録した媒体）は、２つの異なる背景色における物体の画像から切り出した物体領域（クロマキー物体領域切り出し）の論理和をとることで、物体画像の切り出しを行うことができることを開示している。
特許文献３記載の発明（像分離装置）は、プロジェクタ等により投影されている投影像を除去して投影像の無い場合の実像を得ることができることを開示しているが、投影像を完全に除去することができない。
【特許文献１】特許第３２４１３２７号公報
【特許文献２】特開２０００−１５２２７８号公報
【特許文献３】特開２００５−１８２４１３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
プロジェクタ等でＲＧＢ各色に色分解されて順次高速に投影された画像をプロジェクタの各色に同期する高速度カメラで撮像しても、プロジェクタやカメラのイメージセンサの色フィルタの分光特性が幅広く、ＲＧＢの各原色成分の分光特性がお互いに重なり合う部分が存在するためカメラのセンサには、Ｒ投影時にはＲ成分以外のＧＢ成分も撮像される。同様に、Ｇ投影時にはＧ成分以外のＲＢ成分も撮像され、Ｂ投影時にはＢ成分以外のＲＧ成分も撮像される。
このように、本来投影されている原色以外の原色成分がカメラに撮像されるため、単純な色の差分や合成のような方法では空間に投影された投影像を完全に除去することができない。
【０００４】
本発明者らは、本来投影されている原色以外の原色成分が存在することを前提とした色合成のアルゴリズムを開発し、この方法により空間に投影された投影像を除去することができる。更に、撮像画像から背景画像（撮像側から見た投影画像の無い背景像）を除去することで背景に投影された状態の画像のみを得ること（背景画像と投影画像を分離すること）ができるようにすることに着目した。
本発明の目的は、投影像の影響を受けた背景画面から投影像を完全に除去して、背景の像の画像データを取得したり、投影像のデータのみを再現することができる像分離装置を提供することにある。
【課題を解決するための手段】
【０００５】
前記目的を達成するために、本発明による請求項１記載の像分離装置は、
画像の情報を複数の原色成分に分解して各原色成分を順次高速で周期的に背景画面に投影する投影手段と、
前記投影の影響を受けた前記背景画面を含む像を各原色対応のセンサにより前記投影に同期して撮像する撮像手段と、
前記投影手段と撮像手段において、予め定まる各原色に対する前記複数のセンサ間の相関関係関数を用いたアルゴリズムに基づいて、
前記各原色対応の画像出力から当該原色成分とこの影響を受けた当該原色成分以外の１以上の原色成分の出力を演算処理することにより、前記投影の影響を受けていない背景画面のみの画像データまたは背景画面を含まない画像の情報データを得る演算処理手段から構成されている。
【０００６】
本発明による請求項２記載の像分離装置は、請求項１記載の像分離装置において、
前記投影手段により投影される画像の情報は動画を含み、前記撮像手段は、前記投影された画像の前景から撮像するように構成されている。
本発明による請求項３記載の像分離装置は、
請求項１または２記載の像分離装置において、前記アルゴリズムは、各原色対応の撮像画像に対して、当該原色成分以外の一つまたは二つの原色成分をそれぞれ用いて、空間に投影された画像を推定するものである。
【０００７】
本発明による請求項４記載の像分離装置は、請求項１、２または３記載の像分離装置において、前記アルゴリズムは、前記分離されるべき画像データを規定する前記相関関係関数が２次以上の積となり、かつ、影響が極めて小さい場合はその項の演算を省略した近似式を用いるものである。
【発明の効果】
【０００８】
本発明による像分離装置は、講演等においてプロジェクタ等により前景（非背景）側から講演者にも投影されるような場面や背景側からスクリーン等に投影されるような場面でも投影像の無い人物像を得ることができる。よって、投影像を除去した像により講演者のトラッキングが容易に行え、投影像を除去した講演者のみの像の記録も可能である。
また、プロジェクタで投影した画面に対してジェスチャ等でインタラクティブに操作するような場面でジェスチャを解析する際に投影像の影響（プロジェクタ等で投影されている投影像やその中の動画等の影響）を受けなくできる。
更に、物体に計測用画像を投影し、撮像画像から物体画像を除去することで物体に投影された計測用画像のみを得ることができるので、物体の表面色や背景等の影響を受けずに物体の形状を測定することができる。
【発明を実施するための最良の形態】
【０００９】
以下図面等を参照して本発明による像分離装置の実施形態をさらに詳しく説明する。
（第１の実施形態）
図１に本発明による像分離装置の第１の実施形態の概略構成を示し、図２に演算処理手段の概略構成を示す。図１において、投影手段であるプロジェクタ１２に投影したい画像である入力画像１１を入力する。プロジェクタとしては、例えば、単板デジタルミラー方式のＤＬＰプロジェクタが利用できる。プロジェクタ１２は、前景より空間に対して、複数の原色成分に分解して各原色成分を順次高速で周期的に投影する。以下、プロジェクタ１２がＲＧＢの各原色成分に分解して空間の前景より投影するものとして説明する。
【００１０】
投影手段であるプロジェクタ１２の各原色成分の色（ＲＧＢ各色）の投影に同期してプロジェクタ１２から同期信号が出力される。プロジェクタ１２の同期信号を基に演算処理手段１７で生成される撮像制御信号に応じて撮像手段であるカメラ１６で撮像する。カメラ１６は、プロジェクタ１２が投影する前景側から空間に向かって撮像するように設置される。このとき、カメラ１６から見た空間の像１５は、プロジェクタ１２からの投影がない前景より見た空間像１３の上にプロジェクタ１２より投影された投影画像１４が重なって混合された混合画像１５となる。空間の像は、プロジェクタ１２より投影された画像１４の下になるため前景から見た背景画像１３となる。カメラ１６で撮像した画像は、プロジェクタ１２からの各原色成分の色の投影の同期信号とともに演算処理手段１７に入力される。
【００１１】
演算処理手段１７においては、図２に示すように、同期制御部２６で入力された同期信号を基に図１のカメラ１６用の撮像制御信号、図２の入力処理Ｉ／Ｆ部２１用の画像入力制御信号及び演算処理部２４用の演算処理制御信号を生成する。入力処理Ｉ／Ｆ部２１では、撮像制御信号によりカメラ１６で撮像され、順次入力された各原色対応の画像データを同期制御部２６で生成された画像入力制御信号に応じて一旦画像メモリ用バス２２を介して画像メモリ２３に保管する。同図の演算処理部２４では、同期制御部２６で生成された演算処理制御信号に応じて画像メモリ用バス２２を介して画像メモリ２３より、当該原色成分とこの影響を受けた当該原色成分以外の１以上の原色成分を読み出し、このデータを用いて、空間に投影された投影像のみの当該原色成分とこの影響を受けた原色成分とを、本発明であるアルゴリズムを用いて演算処理部２４で求め、画像メモリ２３に保管する。
この結果を各原色に対応した撮像画像から減算し、投影画像の影響を受けていないと同等の背景画像を各原色ごとに演算処理部２４で求め、画像メモリ２３に保管する。更に、この結果を各原色に対応した撮像画像から減算し、空間に投影された投影像の各原色成分を演算処理部２４で求め、画像メモリ２３に保管する。この結果を各原色成分ごとに１周期分加算し、空間に投影された投影像（撮像画像から背景画像を除去した画像）を演算処理部２４で求め、画像メモリ２３に保管する。
【００１２】
各原色ごとに撮像された入力画像を画像メモリ２３より読み出し、１周期分加算し、目で見ていると同等の画像（通常の可視画像。ここでは通常画像ということにする。）を求め、画像メモリ２３に保管することもできる。演算の結果求められた通常画像、空間に投影された投影画像、投影画像の影響を受けていない背景画像（前景画像）は、操作子２５等の画像選択情報により選択されるかそれぞれ個別に、画像メモリ２３より読み出され同期制御部２６で生成された演算処理制御信号に同期して演算処理部２４より出力され、図１の出力手段１８に入力される。
【００１３】
出力手段１８は、入力された画像を利用する表示装置であり、入力された画像をディスプレイ等に表示する。出力手段として、入力された画像を記録する画像記録装置、入力された画像を用いて人物の追跡をするトラッキング装置、入力された画像から人物のジェスチャを解析するジェスチャ解析装置、入力された画像から物体の計測をする計測装置等を挙げることができる。
【００１４】
図１の演算処理手段１７における図２の演算処理部２４のアルゴリズムを以下で説明する。
まず、基本的な符号を定義する。
・原空間の像（投影機器から投影されていない景色）をカメラで撮像して得られる画像（背景画像）のＲＧＢ値を [Rs, Gs, Bs] とする。
・合成像（投影機器から投影された映像を含む景色）をカメラで撮像して得られる画像から空間の像（投影機器から投影された映像を含む景色）を取り除く処理をすると、投影機器から投影された画像だけが残る。この画像のＲＧＢ値を[Rp, Gp, Bp]とする。
・合成像（投影機器から投影された映像を含む景色）をカメラで撮像して得られる画像のＲＧＢ値を[(Rs+Rp), (Gs+Gp), (Bs+Bp)] とする。
【００１５】
［アルゴリズムの目的］
投影機器から映像が投影されている状況を撮像して、[(Rs+Rp), (Gs+Gp), (Bs+Bp)] を得ても、この画像からだけでは[Rs, Gs, Bs]と [Rp, Gp, Bp] をそれぞれ推定することはできない。プロジェクタ等でＲＧＢ各色に色分解されて順次高速に投影された画像をプロジェクタの各色に同期する高速度カメラで撮像しても、プロジェクタやカメラのイメージセンサの色フィルタの特性が幅広いためカメラのセンサには、Ｒ投影時にはＲ成分以外のＧＢ成分も撮像される。同様に、Ｇ投影時にはＧ成分以外のＲＢ成分も撮像され、Ｂ投影時にはＢ成分以外のＲＧ成分も撮像されるため、単純な色の差分や合成のような方法では [Rs, Gs, Bs] と [Rp, Gp, Bp] をそれぞれ推定することはできない。
本発明では、各原色対応の画像出力から当該原色成分と当該原色成分以外の１以上の原色成分とを用いて空間への投影時における未投影時と同等の空間像及び空間に投影された像をそれぞれ推定する根拠となるアルゴリズムが必要である。
【００１６】
［手法の定義］
Ｒ投影時のＧＢ成分情報を用い、同様に、Ｇ投影時のＲＢ成分情報を用い、Ｂ投影時のＲＧ成分情報を用いて [Rs, Gs, Bs] と [Rp, Gp, Bp] をそれぞれ推定可能にする。
手法１．各原色対応の撮像画像に対して、当該原色成分以外の一つの原色成分をそれぞれ用いて、空間に投影された（背景を除去した）画像を推定する方法を手法１とする。
手法２．各原色対応の撮像画像に対して、当該原色成分以外の二つの原色成分をそれぞれ用いて、空間に投影された（背景を除去した）画像を推定する方法を手法２とする。
手法３．前記手法１における演算式に対して近似式を用いる方法を手法３とする。
手法４．前記手法２における演算式に対して近似式を用いる方法を手法４とする。
［撮像手段のセンサ出力の定義］
Rr: 投影機器の出力した赤色の成分にカメラの赤色を感知するセンサの値をRrとする．
Gr: 投影機器の出力した赤色の成分にカメラの緑色を感知するセンサの値をGrとする．
Br: 投影機器の出力した赤色の成分にカメラの青色を感知するセンサの値をBrとする．
Rg: 投影機器の出力した緑色の成分にカメラの赤色を感知するセンサの値をRgとする．
Gg: 投影機器の出力した緑色の成分にカメラの緑色を感知するセンサの値をGgとする．
Bg: 投影機器の出力した緑色の成分にカメラの青色を感知するセンサの値をBgとする．
Rb: 投影機器の出力した青色の成分にカメラの赤色を感知するセンサの値をRbとする．
Gb: 投影機器の出力した青色の成分にカメラの緑色を感知するセンサの値をGbとする．
Bb: 投影機器の出力した青色の成分にカメラの青色を感知するセンサの値をBbとする．
【００１７】
投影機器から投影される映像は、赤色の成分のみの画像・緑色の成分のみの画像・青色の成分のみの画像の３種類である。この３種類の画像を繰り返し高速で投影させることで人間の目にカラー画像を見せる。
投影機器から投影された映像を含む景色をカメラで撮像し背景画像を取り除くと、
赤色の成分のみの画像投影時は [Rr, Gr, Br] であり、
緑色の成分のみの画像投影時は [Rg, Gg, Bg] であり、
青色の成分のみの画像投影時は [Rb, Gb, Bb] である。
投影された画像を含む撮像画像（合成像の画像）、[Rp, Gp, Bp]は以下の式で表すことができる。
[Rp, Gp, Bp] = [(Rr+Rg+Rb), (Gr+Gg+Gb), (Br+Bg+Bb)] ・・・式１
さらに、投影機器から投影された映像を含む景色をカメラで撮像すると、
１枚目の赤色の成分のみの画像投影時は
[R1,G1,B1] = [(Rs+Rr), (Gs+Gr), (Bs+Br)] ・・・・・・式２
２枚目の緑色の成分のみの画像投影時は
[R2,G2,B2] = [(Rs+Rg), (Gs+Gg), (Bs+Bg)] ・・・・・・式３
３枚目の青色の成分のみの画像投影時は
[R3,G3,B3] = [(Rs+Rb), (Gs+Gb), (Bs+Bb)] ・・・・・・式４
とそれぞれ表すことができる。
【００１８】
（手法１による像分離）当該原色成分と当該原色成分以外の内一つの原色成分とを用いる。
ＲＧＢ３色の画像データ３枚からそれぞれ１色分の画像を抽出し３色の画像を合成する手法による。この手法は、Ｒ投影時のＧＢ成分のどちらかからRpを、同様に、Ｇ投影時のＢＲ成分のどちらかからGpを、Ｂ投影時のＲＧ成分のどちらかからBpを推定する方法である。
ここで、各色が投影されている各色の画素について、以下の相関関係が成立する。このx, y, z は、プロジェクタとイメージセンサの色フィルタ特性に起因するものであり、投影手段と撮像手段の組が決まれば固有に決まるものであり、予め定められたものとすることができる。本発明においては、このx, y, z を相関関係関数と呼ぶ。
Br = x × Rr ・・・・・・式５
Rg = y × Gg ・・・・・・式６
Gb = z × Bb ・・・・・・式７
上式のBr, Rg, Gbを Gr, Bg, Rb に置き換えても、以下のアルゴリズムは成り立つ。
【００１９】
（手順１）予め定められたx, y, z を算定して、使用のために準備する。
（手順２）投影機器の投影色順と同期して３枚の映像を撮像する。
投影機器からＲ，Ｇ，Ｂの投影と同期して、投影画像を含む景色（合成像）をカメラで３枚撮像し格別の画像データを得る。
これらの画像は、[R1, G1, B1]，[R2 , G2, B2] ，[R3, G3, B3] であり、式２〜４ですでに示した。
（手順３）３枚の撮像画像を用いる演算より [Rs, Gs, Bs] を推定する。
ＲＧＢ各色に対して、３枚の画像のうちの当該投影色を含む２枚からなる組の一方より、以下の関係を求めることができる。
R1- R2 = Rr - Rg = u ・・・・・・式８
G2- G3 = Gg - Gb = v ・・・・・・式９
B3- B1 = Bb - Br = w ・・・・・・式１０
式５〜１０より、３元１次方程式の解より、以下の関係が得られる。
Rr = (u + yv + yzw) / (1 - xyz) ・・・・・・式１１
Br = x(u + yv + yzw) / (1 - xyz) ・・・・・・式１２
Rg = y(v + zw + xzu) / (1 - xyz) ・・・・・・式１３
Gg = (v + zw + xzu) / (1 - xyz) ・・・・・・式１４
Gb = z(w + xu + xyv) / (1 - xyz) ・・・・・・式１５
Bb = (w + xu + xyv) / (1 - xyz) ・・・・・・式１６
上記の式１１〜１６の関係式を計算することで、Rr, Br, Rg, Gg, Gb, Bbを得て、さらに式２〜４を用いて、
Rs = R2 - Rg = R1 - Rr
Gs = G3 - Gb = G2 - Gg
Bs = B1 - Br = B3 - Bb
から [Rs, Gs, Bs] （背景画像のみ）を得ることができる。
【００２０】
（手順４）空間に投影された画像を推定する。
手順３で得られた[Rs, Gs, Bs]と式２〜４とを用いて、撮像映像と以下の演算を施すことにより、空間に投影された画像を推定することができる。
[R1, G1, B1] - [Rs, Gs, Bs] = [Rr, Gr, Br]
[R2, G2, B2] - [Rs, Gs, Bs] = [Rg, Gg, Bg]
[R3, G3, B3] - [Rs, Gs, Bs] = [Rb, Gb, Bb]
上式で得られた Rr, Gg, Bb を使って１枚の画像を合成することで、空間に投影された推定画像のみ[Rr, Gg, Bb]を得る。
また、式１を用いて Rp, Gp, Bp を得ることで撮像画像から背景画像を除去した画像
[Rp, Gp, Bp]を得る。
この手法における演算要素は、加算器、乗算器、減算器及び除算器で構成できる。
【００２１】
（手法２による像分離）当該原色成分と当該原色成分以外の内二つの原色成分とを用いる。
ＲＧＢ３色の画像データ３枚からそれぞれ２色分の画像を抽出し３色の画像を合成する手法による。この手法は、Ｒ投影時のＧＢ成分の両方からRpを、同様に、Ｇ投影時のＢＲ成分の両方からGpを、Ｂ投影時のＲＧ成分の両方からBpを推定する方法である。
ここで、各色が投影されている各色の画素について、以下の相関関係が成立する。前述と同様、x1, x2, y1, y2, z1, z2は、プロジェクタとイメージセンサの色フィルタ特性に起因する組み合わせ固有のものであり、本発明においては相関関係関数と呼ぶ。
Gr = x1 × Rr ・・・・・・式１７
Br = x2 × Rr ・・・・・・式１８
Rg = y1 × Gg ・・・・・・式１９
Bg = y2 × Gg ・・・・・・式２０
Rb = z1 × Bb ・・・・・・式２１
Gb = z2 × Bb ・・・・・・式２２
【００２２】
（手順１）フィルタの特性より、x1, x2, y1, y2, z1, z2の値をあらかじめ求めて準備してあるものを用いる。
（手順２）投影機器の投影色順と同期して３枚の映像を撮像する。
投影機器からＲ，Ｇ，Ｂの投影と同期して、投影画像を含む景色をカメラで３枚撮像し得られた画像を得る。これらの画像は、[R1, G1, B1]，[R2, G2, B2]，[R3, G3, B3]であり、式２〜４ですでに示してある。
（手順３）３枚の撮像画像を用いる演算より、[Rs, Gs, Bs]を推定する。
ＲＧＢ各色に対して、３枚の画像のうちの当該投影色を含む２枚からなる二組より、以下の関係を求めることができる。
R1 - R2 = Rr - Rg = u1 ・・・・・・式２３
R1 - R3 = Rr - Rb = u2 ・・・・・・式２４
G2 - G1 = Gg - Gr = v1 ・・・・・・式２５
G2 - G3 = Gg - Gb = v2 ・・・・・・式２６
B3 - B1 = Bb - Br = w1 ・・・・・・式２７
B3 - B2 = Bb - Bg = w2 ・・・・・・式２８
式１７〜２２より、６元１次方程式の解より、以下の関係が得られる。
Rr = (y1v1 + u1) / (1 - x1y1) = (z1w1 + u2) / (1 - x2z1)・・・式２９
Gr = x1(y1v1 + u1) / (1 - x1y1) = x1(z1w1 + u2) / (1 - x2z1)・・・式３０
Br = x2(y1v1 + u1) / (1 - x1y1) = x2(z1w1 + u2) / (1 - x2z1)・・・式３１
Rg = y1(x1u1 + v1) / (1 - x1y1) = y1(z2w2 + v2) / (1 - y2z2)・・・式３２
Gg = (x1u1 + v1) / (1 - x1y1) = (z2w2 + v2) / (1 - y2z2)・・・式３３
Bg = y2(x1u1 + v1) / (1 - x1y1) = y2(z2w2 + v2) / (1 - y2z2)・・・式３４
Rb = z1(x2u2 + w1) / (1 - x2z1) = z1(y2v2 + w2) / (1 - y2z2)・・・式３５
Gb = z2(x2u2 + w1) / (1 - x2z1) = z2(y2v2 + w2) / (1 - y2z2)・・・式３６
Bb = (x2u2 + w1) / (1 - x2z1) = (y2v2 + w2) / (1 - y2z2)・・・式３７
上記の式２９〜３７の関係式を計算することで、Rr, Gr, Br, Rg, Gg, Bg, Rb, Gb, Bbを得て、さらに式２〜４を用いて、
[R1, G1, B1] - [Rr, Gr, Br] = [Rs, Gs, Bs]
[R2, G2, B2] - [Rg, Gg, Bg] = [Rs, Gs, Bs]
[R3, G3, B3] - [Rb, Gb, Bb] = [Rs, Gs, Bs]
から [Rs, Gs, Bs] （背景画像のみ）を得ることができる。
【００２３】
（手順４）空間に投影された画像を推定する。
手順３で得られた[Rs, Gs, Bs]と式２〜４とを用いて、撮像映像と以下の演算を施すことにより、空間に投影された画像を推定することができる。
[R1, G1, B1] - [Rs, Gs, Bs] = [Rr, Gr, Br]
[R2, G2, B2] - [Rs, Gs, Bs] = [Rg, Gg, Bg]
[R3, G3, B3] - [Rs, Gs, Bs] = [Rb, Gb, Bb]
上式で得られた Rr, Gg, Bb を使って１枚の画像を合成することで、空間に投影された推定画像のみ[Rr, Gg, Bb]を得る。
また、式１を用いて Rp, Gp, Bp を得ることで撮像画像から背景画像を除去した画像
[Rp, Gp, Bp]を得る。
この手法における演算要素は、加算器、乗算器、減算器及び除算器で構成できる。
【００２４】
（手法３による像分離）前記手法１の演算式に対して近似式を用いて像分離を行う。
前記手法１の手順３の式１１〜１６に対して近似式を用いて簡略に求める方法である。
近似式の求め方は、u ，v ，w ，x ，y ，z の各値とこれらを組み合わせた積項の値に応じて、無視できる積項を省略したりテーラー展開等の方法を用いて近似式を求めることができる。
例えば、x ，y ，z ＜＜１の場合、xy，xz，yz，xyz の積項は無視できるので式１１〜１６はそれぞれ以下の式のようになる。
Rr ≒ u + yv ・・・・・・式３８
Br ≒ xu ・・・・・・式３９
Rg ≒ yv ・・・・・・式４０
Gg ≒ v + zw ・・・・・・式４１
Gb ≒ zw ・・・・・・式４２
Bb ≒ w + xu ・・・・・・式４３
したがって、この手法においては、前記手法１の手順３の式１１〜１６が、上記の式３８〜４３に入れ替わる。上記の式３８〜４３の近似式を用いることにより、この手法における演算要素が加算器、乗算器及び減算器のみで構成できるようになる。また、計算式における項数と加減乗除の数が減るため、計算式に相当する回路規模も前記手法１よりも縮小できる。
【００２５】
（手法４による像分離）前記手法２の演算式に対して近似式を用いて像分離を行う。
前記手法２の手順３の式２９〜３７に対して近似式を用いて簡略に求める方法である。
近似式の求め方は、u1，u2，v1，v2，w1，w2，x1，x2，y1，y2，z1，z2の各値とこれらを組み合わせた積項の値に応じて、無視できる積項を省略したりテーラー展開等の方法を用いて近似式を求めることができる。
例えば、x1，x2，y1，y2，z1，z2＜＜１の場合、これらを組み合わせた２次以上の積項は無視できるので式２９〜３７はそれぞれ以下の式のようになる。
Rr ≒ y1v1 + u1 ≒ z1w1 + u2 ・・・・・・式４４
Gr ≒ x1u1 ≒ x1u2 ・・・・・・式４５
Br ≒ x2u1 ≒ x2u2 ・・・・・・式４６
Rg ≒ y1v1 ≒ y1v2 ・・・・・・式４７
Gg ≒ x1u1 + v1 ≒ z2w2 + v2 ・・・・・・式４８
Bg ≒ y2v1 ≒ y2v2 ・・・・・・式４９
Rb ≒ z1w1 ≒ z1w2 ・・・・・・式５０
Gb ≒ z2w1 ≒ z2w2 ・・・・・・式５１
Bb ≒ x2u2 + w1 ≒ y2v2 + w2 ・・・・・・式５２
したがって、この手法においては、前記手法２の手順３の式２９〜３７が、上記の式４４〜５２に入れ替わる。上記の式４４〜５２の近似式を用いることにより、この手法における演算要素が加算器、乗算器及び減算器のみで構成できるようになる。また、計算式における項数と加減乗除の数が減るため、計算式に相当する回路規模も前記手法２よりも縮小できる。
【００２６】
（第２の実施形態）
次に、空間の背景側から画像を投影し、前景側から撮像する第２の実施形態を図３を参照して説明する。
同図において、投影手段であるプロジェクタ３２に投影したい画像である入力画像３１を入力する。プロジェクタとしては、前述のように例えば、単板デジタルミラー方式のＤＬＰプロジェクタが利用できる。プロジェクタ３２は、背景側よりスクリーン３９に対して、複数の原色成分に分解して各原色成分を順次高速で周期的に投影する。前述同様に、プロジェクタ３２がＲＧＢの各原色成分に分解してスクリーンの背景側より投影するものとして説明する。
【００２７】
投影手段であるプロジェクタ３２の各原色成分の色（ＲＧＢ各色）の投影に同期してプロジェクタ３２から同期信号が出力される。プロジェクタ３２の同期信号を基に演算処理手段３７で生成される撮像制御信号に応じて撮像手段であるカメラ３６で撮像する。カメラ３６は、プロジェクタ３２がスクリーン３９に投影する背景側とは逆のスクリーンの前景側からスクリーン３９に向かって撮像するように設置される。このとき、カメラ３６から見た空間の像３５は、プロジェクタ３２からの投影がない前景より見た空間像３３の下にプロジェクタ３２より投影された投影画像３４が重なって混合された混合画像３５となる。空間の像は、プロジェクタ３２より投影された画像３４の上になるため前景から見た背景画像３３となる。カメラ３６で撮像した画像は、プロジェクタ３２からの各原色成分の色の投影の同期信号とともに演算処理手段３７に入力される。
【００２８】
演算処理手段３７は、既に示した図２における機能・動作と同じであり、演算処理手段３７の出力は、前述と同様に出力手段３８に入力される。また、演算処理手段３７における演算のアルゴリズムは、前述と同じである。
出力手段３８は、入力された画像を利用する表示装置であり、入力された画像をディスプレイ等に表示する。出力手段としては、前述同様の装置等を挙げることができる。
【００２９】
（本発明の像分離装置の利用例）
・プロジェクタ等により前景（非背景）側から講演者にも投影されるような場面や背景側からスクリーン等に投影されるような場面において、本装置の投影画像を除去した背景（前景）画像を使用し、投影像の影響を受けていない講演者のトラッキングを行うことができ、追跡した投影像の影響を受けていない講演者像の録画をすることができる。
・プロジェクタで投影した画面に対してジェスチャ等でインタラクティブに操作するような場面において、本装置の投影画像を除去した背景（前景）画像を使用し、投影像の影響（特に投影画像内の動画等の影響）を受けていない手等の操作状況のジェスチャを解析することができる。
・物体に計測用画像を投影し、物体の形状を測定（投影された計測用画像のみを得て計測）するような場面において、本装置の入力画像として格子点や格子線等のような計測用画像を用いることで、物体に投影された計測用画像のみを得ることができるので、物体の表面色や背景等の影響を受けない画像の解析により物体の形状を測定することができる。
【産業上の利用可能性】
【００３０】
本発明は、広く画像処理の分野で利用できる。すなわち、映画、その他の映像関連の著作物の作成の分野、会議や興行の分野における映像の表示に関連する像分離の要請に利用できる。投影機や撮像装置の製造の分野で前記像分離装置の製造に利用できる。
【図面の簡単な説明】
【００３１】
【図１】本発明による像分離装置の第１の実施形態の概略構成を示すブロック図である。
【図２】前記像分離装置の演算処理手段の概略構成を示すブロック図である。
【図３】本発明による像分離装置の第２の実施形態の概略構成を示すブロック図である。
【符号の説明】
【００３２】
１１，３１ 入力画像
１２，３２ プロジェクタ
１３，３３ 背景画像
１４，３４ 投影画像
１５，３５ 混合画像
１６，３６ カメラ
１７，３７ 演算処理手段
１８，３８ 出力手段
２１ 入力処理Ｉ／Ｆ部
２２ 画像メモリ用バス
２３ 画像メモリ
２４ 演算処理部
２５ 操作子
２６ 同期制御部
３９ スクリーン
【特許請求の範囲】
【請求項１】
画像の情報を複数の原色成分に分解して各原色成分を順次高速で周期的に背景画面に投影する投影手段と、
前記投影の影響を受けた前記背景画面を含む像を各原色対応のセンサにより前記投影に同期して撮像する撮像手段と、
前記投影手段と撮像手段において、予め定まる各原色に対する前記複数のセンサ間の相関関係関数を用いたアルゴリズムに基づいて、
前記各原色対応の画像出力から当該原色成分とこの影響を受けた当該原色成分以外の１以上の原色成分の出力を演算処理することにより、前記投影の影響を受けていない背景画面のみの画像データまたは背景画面を含まない画像の情報データを得る演算処理手段から構成した像分離装置。
【請求項２】
前記投影手段により投影される画像の情報は動画を含み、前記撮像手段は、前記投影された画像の前景から撮像するように構成した請求項１記載の像分離装置。
【請求項３】
前記アルゴリズムは、各原色対応の撮像画像に対して、当該原色成分以外の一つまたは二つの原色成分をそれぞれ用いて、空間に投影された画像を推定するものである請求項１または２記載の像分離装置。
【請求項４】
前記アルゴリズムは、前記分離されるべき画像データを規定する前記相関関係関数が２次以上の積となり、かつ、影響が極めて小さい場合はその項の演算を省略した近似式を用いた請求項１、２または３記載の像分離装置。
【請求項１】
画像の情報を複数の原色成分に分解して各原色成分を順次高速で周期的に背景画面に投影する投影手段と、
前記投影の影響を受けた前記背景画面を含む像を各原色対応のセンサにより前記投影に同期して撮像する撮像手段と、
前記投影手段と撮像手段において、予め定まる各原色に対する前記複数のセンサ間の相関関係関数を用いたアルゴリズムに基づいて、
前記各原色対応の画像出力から当該原色成分とこの影響を受けた当該原色成分以外の１以上の原色成分の出力を演算処理することにより、前記投影の影響を受けていない背景画面のみの画像データまたは背景画面を含まない画像の情報データを得る演算処理手段から構成した像分離装置。
【請求項２】
前記投影手段により投影される画像の情報は動画を含み、前記撮像手段は、前記投影された画像の前景から撮像するように構成した請求項１記載の像分離装置。
【請求項３】
前記アルゴリズムは、各原色対応の撮像画像に対して、当該原色成分以外の一つまたは二つの原色成分をそれぞれ用いて、空間に投影された画像を推定するものである請求項１または２記載の像分離装置。
【請求項４】
前記アルゴリズムは、前記分離されるべき画像データを規定する前記相関関係関数が２次以上の積となり、かつ、影響が極めて小さい場合はその項の演算を省略した近似式を用いた請求項１、２または３記載の像分離装置。
【図１】
【図２】
【図３】
【図２】
【図３】
【公開番号】特開２００７−２４３７０７（Ｐ２００７−２４３７０７Ａ）
【公開日】平成１９年９月２０日（２００７．９．２０）
【国際特許分類】
【出願番号】特願２００６−６４５４２（Ｐ２００６−６４５４２）
【出願日】平成１８年３月９日（２００６．３．９）
【出願人】（３０４０２３３１８）国立大学法人静岡大学 (416)
【Ｆターム（参考）】
【公開日】平成１９年９月２０日（２００７．９．２０）
【国際特許分類】
【出願日】平成１８年３月９日（２００６．３．９）
【出願人】（３０４０２３３１８）国立大学法人静岡大学 (416)
【Ｆターム（参考）】
[ Back to top ]