画像加工システム、光源、撮像装置、及び、画像加工プログラム
【課題】撮影場所を問わずに、撮影画像中の所望領域を切り出したり、撮影画像中の所望位置に他の画像を張り付けたりする等の加工処理を行うことができる汎用性に優れた画像加工システム、光源、撮像装置、及び、画像加工プログラムを提供する。
【解決手段】画像処理装置１は、所定のパターンで輝度が変動する発光部分画像又は発光領域画像を含む時間軸方向に並ぶ複数の画像信号を処理の対象とする光源制御１１及び画像検出部１２を備え、光源制御１１及び画像検出部１２は、前記複数の画像信号の時間軸方向の変動成分パターンマッチングを行うことにより前記発光部分画像又は発光領域画像を抽出する抽出手段と、該抽出された発光部分画像又は発光領域画像を用いて当該発光部分画像の位置に任意の画像の張り付け若しくは当該発光領域画像の切り出しを行う画像加工手段として機能する。
【解決手段】画像処理装置１は、所定のパターンで輝度が変動する発光部分画像又は発光領域画像を含む時間軸方向に並ぶ複数の画像信号を処理の対象とする光源制御１１及び画像検出部１２を備え、光源制御１１及び画像検出部１２は、前記複数の画像信号の時間軸方向の変動成分パターンマッチングを行うことにより前記発光部分画像又は発光領域画像を抽出する抽出手段と、該抽出された発光部分画像又は発光領域画像を用いて当該発光部分画像の位置に任意の画像の張り付け若しくは当該発光領域画像の切り出しを行う画像加工手段として機能する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像加工システム、光源、撮像装置、及び、画像加工プログラムに関し、詳しくは、撮影画像中の所望領域を切り出したり、撮影画像中の所望位置に他の画像を張り付けたりする等の加工処理を行う際に適用可能な画像加工システム、光源、撮像装置、及び、画像加工プログラムに関する。
【背景技術】
【０００２】
近年、ディジタル画像技術及びそれを用いた撮影装置の普及に伴って、様々な被写体のディジタル画像データを容易に生成できるようになってきた。かかる画像データは、ディジタル信号の特徴（特に加工容易性）から、画像の加工、例えば、撮影画像中の所望領域の切り出しや、撮影画像中の所望位置に他の画像を張り付けたりすることが可能であるため、従来より、以下のような画像処理が行われていた。
【０００３】
（１）専用の加工ツールを用いる方法
画像エディタなどと呼ばれるツールを用いて対象となる画像データを読み込み、所望の領域を人為的に指定して切り出す画像処理方法である。切り出した画像は別名の画像オブジェクトとして保存する。また、撮影画像中の所望位置に他の画像を張り付ける場合は、張り付け位置を同様に人為的に指定した上、その指定位置に、あらかじめ用意されていた張り付け画像の中から所望の張り付け画像を選択して張り付けるという手順を踏む。この方法の欠点は、専用の加工ツールを必要とする点、及び、画像加工用の処理装置（パーソナルコンピュータ等）を必要とする点にあり、結局、撮影現場でリアルタイムな加工を行うことができないという致命的な問題点がある。
【０００４】
（２）色分離による方法
特定の背景色を持った被写体の画像信号の分離技術である。クロマキー分離と呼ばれることもある。一般に青色背景で撮影された被写体の画像信号から青色部分を取り除き、被写体像だけを抽出する。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、上記（２）の方法は、撮影装置に上述の色分離処理機能を搭載しておくことにより、撮影現場でのリアルタイム性が得られるから、上記（１）の欠点を解消できるというメリットがあるものの、特定の背景色を必要とするために、もっぱらスタジオ等のように環境が整えられた特定の現場でしか利用することができず、撮影場所を問わずに汎用的に利用することができないという問題点があった。
【０００６】
本発明が解決しようとする課題は、撮影場所を問わずに、撮影画像中の所望領域を切り出したり、撮影画像中の所望位置に他の画像を張り付けたりする等の加工処理を行うことができる汎用性に優れた画像加工システム、光源、撮像装置、及び、画像加工プログラムを提供することにある。
【課題を解決するための手段】
【０００７】
請求項１記載の発明は、所定の変動パターンを設定する設定手段と、この設定手段によって設定された変動パターンに対応して点滅する光源と、この光源を含む画角、もしくは、この光源が発光することにより照射される画像領域を含む画角を撮像する撮像手段と、 この撮像手段によって撮像された画像を時系列的に処理することにより、前記画角に含まれる前記変動パターンによって輝度が変化する画像領域を抽出する抽出手段と、この抽出手段によって抽出された画像領域から前記変動パターンによって符号化された情報を検出する検出する検出手段と、この検出手段によって検出された情報に基づいて、前記撮像された画像を加工する加工手段と、この加工手段によって加工された結果を表示する表示手段と、を備えることを特徴とする。
【０００８】
請求項２記載の発明は、上記請求項１記載の発明において、前記変動パターンの設定を制御する制御手段を更に備えることを特徴とする。
【０００９】
請求項３記載の発明は、上記請求項１又は２記載の発明において、前記検出手段によって符号化された情報が少なくとも２種類検出されると、これらの情報の優先度を判断する判断手段を更に備え、前記加工手段は更にこの判断手段によって判断された優先度に基づいて前記撮像された画像を加工することを特徴とする。
【００１０】
請求項４記載の発明は、上記請求項１乃至３の何れか記載の発明において、前記加工手段は、前記検出手段によって検出された情報に基づいて、前記抽出された画像領域を切り出す切出手段を含むことを特徴とする。
【００１１】
請求項５記載の発明は、上記請求項１乃至３の何れか記載の発明において、前記加工手段は、前記検出手段によって検出された情報に基づいて、前記撮像された画像に含まれる前記光源対応する画像領域、もしくは、前記抽出された画像領域に任意の画像を合成する合成手段を含むことを特徴とする。
【００１２】
請求項６記載の発明は、撮像装置によって撮像される画角内に存在するか、若しくは、当該画角内を照射する光源であって、前記撮像装置によって撮像される画像の処理内容を所定の変動パターンにして設定する設定手段と、この設定手段によって設定された変動パターンに対応して点滅するよう制御する制御手段とを備えることを特徴とする。
【００１３】
請求項７記載の発明は、所定の変動パターンで点滅する光源を含む画角、もしくは、この光源が発光することにより照射される画像領域を含む画角を撮像する撮像手段と、この撮像手段によって撮像された画像を時系列的に処理することにより、前記画角に含まれる前記変動パターンによって輝度が変化する画像領域を抽出する抽出手段と、この抽出手段によって抽出された画像領域から前記変動パターンによって符号化された情報を検出する検出する検出手段と、この検出手段によって検出された情報に基づいて、前記撮像された画像を加工する加工手段と、この加工手段によって加工された結果を表示する表示手段と、を備えることを特徴とする。
【００１４】
請求項８記載の発明は、上記請求項７記載の発明において、前記検出手段によって符号化された情報が少なくとも２種類検出されると、これらの情報の優先度を判断する判断手段を更に備え、前記加工手段は更にこの判断手段によって判断された優先度に基づいて前記撮像された画像を加工することを特徴とする。
【００１５】
請求項９記載の発明は、上記請求項７又は８記載の発明において、前記加工手段は、前記検出手段によって検出された情報に基づいて、前記抽出された画像領域を切り出す切出手段を含むことを特徴とする。
【００１６】
請求項１０記載の発明は、上記請求項７又は８記載の発明において、前記加工手段は、前記検出手段によって検出された情報に基づいて、前記撮像された画像に含まれる前記光源対応する画像領域、もしくは、前記抽出された画像領域に任意の画像を合成する合成手段を含むことを特徴とする。
【００１７】
請求項１１記載の発明は、コンピュータを、撮像部に対し、所定の変動パターンで点滅する光源を含む画角、もしくは、この光源が発光することにより照射される画像領域を含む画角を撮像させる撮像手段、この撮像手段によって撮像された画像を時系列的に処理することにより、前記画角に含まれる前記変動パターンによって輝度が変化する画像領域を抽出する抽出手段、この抽出手段によって抽出された画像領域から前記変動パターンによって符号化された情報を検出する検出する検出手段、この検出手段によって検出された情報に基づいて、前記撮像された画像を加工する加工手段、この加工手段によって加工された結果を表示部に表示させる表示手段として機能させることを特徴とする。
【発明の効果】
【００１８】
本発明によれば、設定された所定の変動パターンに対応して点滅する光源、もしくは、この光源が発光することにより照射される画像領域を含む画角を撮像すると、この撮像された画像を時系列的に処理して、画角に含まれ、変動パターンによって輝度が変化する画像領域を抽出し、この抽出された画像領域から変動パターンによって符号化された情報を検出する検出し、検出された情報に基づいて、撮像された画像を加工して、この加工した結果を表示するので、撮影場所を問わずに、撮影画像中の所望領域を切り出したり、撮影画像中の所望位置に他の画像を張り付けたりする等の加工処理を行うことができる。
【発明を実施するための最良の形態】
【００１９】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
＜第１の実施の形態＞
図１は、第１の実施の形態の原理ブロック構成図である。この図において、１は画像処理装置、２は第１光源、３は第２光源、４は第３光源、５は撮影範囲、６は撮影装置（以下「カメラ」という。）、１１は光源制御部、１２は画像検出部、１３は検出領域形状認識処理部、１４はオブジェクト符号化処理部である。
【００２０】
撮影範囲５はカメラ６の撮影範囲であり、カメラ６は撮影範囲５内に存在する背景及び被写体（又は複数の被写体からなる被写体群）の像を撮影し、その撮影画像を所定のフレーム周期（例えば、毎秒数十フレーム）で生成出力する。
【００２１】
代表的に示す三つの光源（第１光源２、第２光源３及び第３光源４）は、所定のパターンないしは制御可能なパターンで輝度変化（たとえば点滅；以下点滅で代表する。）を繰り返すものであり、これらは、撮影範囲５の内部で自らが発光する“自発光型”と、当該撮影範囲５の内部に位置する被写体の任意部分又は任意領域に向けて撮影範囲５の外部から光線を照射する“外部照射型”とに分けることができる。以下、便宜上、第１光源２を自発光型、第２及び第３光源３、４を外部照射型として説明することにする。
【００２２】
図２は、特に限定しないが、自発光型光源と外部照射型光源の具体例である。この図において、ＬＥＤ（Light-Emitting Diode）や小型電球等の点光源３５は自らが発光する自発光型光源の一種であり、また、ＥＬ（Electro Luminescent）パネルやＣＲＴ（Cathode Ray Tube）あるいは反射制御型（反射板、印刷体メカ制御又はＬＣＤ：Liquid Crystal Display等）の面光源３６も、自らが発光する自発光型光源の一種である。一方、ビーム光線を照射するレーザポインタ３７は外部照射型光源の一種であり、また、懐中電灯３８も可視光線を照射できるから外部照射型光源の一種である。
【００２３】
したがって、第１光源２には図示の点光源３５又は面光源３６を使用することができ、また、第２及び第３光源３、４には図示のレーザポインタ３７又は懐中電灯３８を使用することができる。なお、レーザポインタ３７や懐中電灯３８を撮影範囲５の内部で用いることとし、その光線をカメラ６に向けて照射することにすれば、これらのレーザポインタ３７や懐中電灯３８も自発光型光源の一種になるから、これらも第１光源２に利用可能である。
【００２４】
カメラ６は、上述のとおり、撮影範囲５の被写体（又は複数の被写体からなる被写体群）の像を撮影し、その撮影画像を所定のフレーム周期（例えば、毎秒数十フレーム）で生成出力するが、第１光源２〜第３光源４が所定のパターンで点滅している場合、カメラ６は、被写体像の情報に加えて、第１光源２〜第３光源４による点滅光のパターン情報を内在するフレーム画像を生成出力する。
【００２５】
光源制御部１１及び画像検出部１２は、互いに駆動タイミングを制御し、第１光源２〜第３光源４のすべて又は一部の点滅パターンが外部制御可能である場合、そのパターン周期のコントロールを行い、且つ、カメラ６からのフレーム画像信号を受け取って、その画像信号中の部分的信号レベル（典型的には輝度レベル）の変動パターンに基づいて自発光型光源の発光位置および外部照射型光源による照射位置・照射領域を特定し、それらの特定情報と画像信号とを画像利用装置（図１では検出領域形状認識処理部１３）に出力する。
【００２６】
図１に示す原理的なブロック構成における画像処理装置１の使用法は、次のとおりである。すなわち、カメラ６の撮影範囲５に存在する被写体（又は被写体群）の任意位置に、自発光型光源である第１光源２を置き、および／または、当該被写体（又は被写体群）の任意領域に、外部照射型光源である第２光源３及び第３光源４（又はそのいずれか一方）からの光を照射するという使い方をするものである。
【００２７】
第１光源２の置き場所や第２光源３及び第３光源４からの光の照射範囲は、画像処理装置１の検出領域形状認識処理部１３が具備する機能に依存する。例えば、撮影画像中の所望領域の切り出し機能を具備していれば、第２光源３及び第３光源４からの光の照射範囲をその切り出し所望領域に合わせることができるし、撮影画像中の所望位置に他の画像を張り付ける機能を具備していれば、第１光源２の置き場所をその画像張り付け位置に合わせることができる。
【００２８】
図３は、撮影範囲５に四つの被写体が含まれる場合の使用例を示す図である。なお、図示の被写体画像はそれぞれ、床に置かれた球状物体５ａ、テレビ５ｂ、片腕を水平に伸ばした立姿人物５ｃ、及び、縦長箱状物体５ｄであるが、これらの被写体例は説明の便宜にすぎない。図３において、立姿人物５ｃの水平腕先には、輝点２ａが描かれている。この輝点２ａは、自発光型光源である第１光源２の発光によるものである。すなわち、図示の立姿人物５ｃの水平腕先には、例えば、図２の点光源３５又は面光源３６が握られているものとする。また、球状物体５ａの全体と立姿人物５ｃの上半身部分には、それぞれ異なる光が照射されており、これらの照射光領域３ｂ、４ｂは、外部照射型光源である第２光源３及び第３光源４の発光によるものである。すなわち、図示の球状物体５ａの全体と立姿人物５ｃの上半身部分には、例えば、図２のレーザポインタ３７又は懐中電灯３８からの照射光が当てられているものとする。
【００２９】
カメラ６は、撮影範囲５の被写体（又は複数の被写体からなる被写体群）の像を撮影し、その撮影画像を所定のフレーム周期（例えば、毎秒数十フレーム）で生成出力するが、その撮影画像には、球状物体５ａ、テレビ５ｂ、立姿人物５ｃ及び縦長箱状物体５ｄの各々の被写体像が含まれている。そして、この被写体像のうち球状物体５ａの像全体は照射光領域３ｂによって所定のパターンで輝度が変動すると共に、立姿人物５ｃの上半身像部分は照射光領域４ｂによって所定のパターンで輝度が変動し、さらに、立姿人物５ｃの水平腕先付近は輝点２ａによって所定のパターンで輝度が変動している。
【００３０】
画像検出部１２は、カメラ６からの画像信号を取り込み、光源制御部１１によって点滅制御されたその画像信号中の部分的信号レベル（典型的には輝度レベル）の変動パターンに基づいて自発光型光源（第１光源２）の発光位置（輝点２ａの位置）および外部照射型光源（第２光源３及び第３光源４）による照射位置・照射領域（照射光領域３ｂ及び４ｂの位置やその領域範囲）を特定し、それらの特定情報と画像信号とを後段に出力する。
【００３１】
ここで、画像処理装置１の主な機能は、例えば、撮影画像中の所望領域の切り出し機能を有するもの、又は、撮影画像中の所望位置に他の画像を張り付ける機能を有するもの（若しくはその両方の機能を有するもの）であり、出力された画像信号と特定情報とを受け取り、その特定情報に基づいて画像信号中から画像の切り出しを行うことができるものである。図３においては、効果付け処理装置１５及び表示装置１６は、画像検出部１２から出力された画像信号と特定情報とを受け取り、その特定情報に基づいて撮影画像中の所望位置に他の画像を張り付け、それを表示するという処理を行うことができるものである。
【００３２】
これらの処理によって得られる画像について、図３に示した撮影範囲５を例にして説明すると、まず、画像の切り出し処理では、撮影画像中の照射光領域３ｂ及び４ｂに含まれる部分画像が切り出されるので、図３の例では、球状物体５ａの全体像と立姿人物５ｃの上半身像が切り出され、図１のオブジェクト符号化部１４により、各々個別に利用可能な画像オブジェクトとしてデータ化することができる。一方、画像の張り付け処理では、撮影画像中の輝点２ａの位置（撮影領域５における画素座標）にあらかじめ用意された画像オブジェクトが張り付けられるので、例えば、図３の効果付け処理装置１５により、任意の画像オブジェクトを輝点２ａの位置に張り付け、それを表示装置１６に出力して表示することができる。
【００３３】
なお、張り付け処理における画像オブジェクトは、発明の原理上、どのようなものであっても構わないが、実用の観点からは元画像に所望の演出効果を付与できるものが好ましい。例えば、“熊のぬいぐるみ”（図１２参照）などの面白みのある画像オブジェクトを張り付けられるようにすれば、立姿人物５ｃにぬいぐるみを持たせたような仮想的な演出効果を与えることができる。
【００３４】
ちなみに、図３の右下に示す画像Ｇは、表示装置１６に出力された加工済画像の例であり、効果付け処理装置１５が画像の切り出し機能と画像の張り付け機能の双方を有している場合を想定したものである。画像Ｇは、第２光源３からの照射光領域３ｂによって切り出された球状物体像Ｇａと、第３光源４からの照射光領域４ｂによって切り出された上半身像Ｇｃと、さらに、第１光源２の輝点２ａの位置に張り付けられた画像オブジェクトＧｂとによって構成されている。
【００３５】
球状物体像Ｇａ及び上半身像Ｇｃは、それぞれ独立して利用可能な画像オブジェクトであるから、例えば、ＭＰＥＧ−４やＭＰＥＧ−７といった今日の高度なマルチメディア規格におけるオブジェクトベース符号化処理にも柔軟に対応できる上、さらに、任意の画像オブジェクトの張り付け加工を可能とするので、撮影現場で、例えば、図１２に示するように、熊のぬいぐるみを張り付けた加工画像を容易に生成することができる。
【００３６】
図４は、図１（又は図３）の画像処理装置１、第２光源３、第３光源４の具体的構成を示す図である。なお、撮影範囲５およびその範囲内に含まれる被写体（球状物体５ａ、テレビ５ｂ、立姿人物５ｃ及び縦長箱状物体５ｄ）並びに照射光領域（照射光領域３ｂ及び４ｂ）や輝点（輝点２ａ）は、図３における同一符号のものと同じものを表している。さらに、図４においては、第１光源を図示していないが、立姿人物５ｃの水平腕先の輝点２ａは第１光源の発光によるものであり、立姿人物５ｃは、図３における第１光源２と同じものを握っているものとする。
【００３７】
図４において、画像処理装置１は、ＣＰＵ１７、変動パターン／処理対応リスト格納部１５１、結果出力画像バッファ１５２、符号クロック部１１１、タイムスロットカウンタ部１８、第１相関処理部１２１、第２相関処理部１２２、リングバッファ１２３、デジタイズ部１２４、キャプチャフレームバッファ１２５、同期トリガ信号出力部１１２及び表示装置１６１などを備える。また、第３光源４は、同期トリガ信号取り出し部４１、発光部４２、変動パターンレジスタ４３、ビットクロック部４４及び符号クロック部４５などを備え、第２光源３も第３光源４と同様の構成要素を備える。
【００３８】
＜画像処理装置１の各構成要素の説明＞
ＣＰＵ１７は、プログラム制御により、画像処理装置１の全体動作を制御し、且つ、第２光源３や第３光源４などの点滅パターンの遠隔制御を行う。変動パターン／処理対応リスト格納部１５１は、変動パターン（各光源２〜４の点滅パターン）ごとにそのパターンと相関関係にある画像領域の処理内容を対応付けてリスト化して格納する機能を有する。これは、相異なる変動パターンを同時に弁別して検出できる本実施の形態において、それぞれの画像領域に、異なる画像処理効果を割り付けるために機能する。結果出力画像バッファ１５２は、ＣＰＵ１７が各変動パターンを検出し、この検出結果に基づく各画像領域における処理（切り出し、消去、置き換え等々）を全て行った結果を統合したものを格納する。
【００３９】
符号クロック部１１１は、変動パターンの全体位相を決定するクロックを発生する。このクロックは、各変動パターン系列の最初のタイミングを指定するものである。画像処理装置１の符号クロックのタイミングは、各光源装置２〜４の点滅パターンの点滅タイミングに比べて、図５（ｂ）（ｃ）に示すようにｔ時間だけやや遅れたものになっている。ｔの値は、画像取りこみが開始する前に照明の点滅遷移が終了しなくてはいけないので、例えば、光源の不安定時間を１ｍｓとすれば、１．５ｍｓ程度である。タイムスロットカウンタ部１８は、変動パターン内の変動タイミングを指定するクロックカウンタである。カメラ６と画像処理装置１とは、各照明のタイムスロットにおいて同期をとることができる構成であり、その周期は、図５（ｃ）に示すように、カメラ６のフレームレートに等しく、位相としては、光源装置に比べてｔ時間だけ遅れたタイミングとなっている。
【００４０】
第１相関処理部１２１は、相関値画像バッファ１２１ａ、２値画像バッファ１２１ｂ、正画像バッファ１２１ｃ、負画像バッファ１２１ｄ及び変動パターンレジスタ１２１ｅを備え、その機能として、撮像された画像を時系列的に変動パターンレジスタで示された点滅パターン処理し、画像内の相関の有無を判定した２値画像として得る。第２相関処理部１２２は、相関値画像バッファ１２２ａ、２値画像バッファ１２２ｂ、正画像バッファ１２２ｃ、負画像バッファ１２２ｄ及び変動パターンレジスタ１２２ｅを備え、第２の検出変動パターンに対して、第１相関処理部１２１と同様の処理を行う。リングバッファ１２３は、撮像される画像の時系列処理に対して、検出したい時間変動パターンごとの相関度を求めるため、過去ｎ枚分の画像を記憶する画像メモリである。いま、光源の変動パターンが、所定のパターンシンボル（たとえば、「１１１０１００」）と一致する輝度変動領域を検出したい場合は、このリングバッファ１２３に格納される画像の枚数は、そのパターンシンボルのシンボル数ｎ（ここではｎ＝７）に相当するｎ枚分である。
【００４１】
なお、パターン長を長くすればするほど（すなわち、シンボル数ｎを多くすればするほど）、自然界の輝度変動と偶然に一致する確率（＝誤検出確率）を飛躍的に低下させることが可能である。しかしながら、背景や周囲に非常に大きい輝度変動があったり、瞬間的な変位の大きい物体が撮像対象となる場合には、より強い照明（と高い検出スレッシュレベル）、または、より長い系列の変動パターンを必要とする。特にちらつく照明があったり、高速移動する物体が存在しない場合、５〜１０ビット（シンボル数ｎ＝５〜１０）の明滅を含む輝度変動照明の照射であれば、人間の肌程度の反射を持つ物体は、輝度の変動にして、５％程度以上の変動を与えることができれば、画像検出は可能である。
【００４２】
デジタイズ部１２４は、カメラ６から取り込んだ画像信号をディジタル画像データに変換する。キャプチャフレームバッファ１２５は、一フレーム分の画像データをバッファリングする。同期トリガ信号出力部１１２は、第２光源３や第３光源４などに対して発光同期用の同期信号を出力する。表示装置１６１は、結果出力された画像を表示する。
【００４３】
＜第３光源４の各構成要素の説明＞
同期トリガ信号取り出し部４１は、画像処理装置１から出力された同期信号を取り込み、符号クロック部４５に出力する。発光部４２は、変動パターンレジスタ４３に設定された変動パターンに対応した点滅パターンで発光し、その光を撮影範囲５の任意領域（図では立姿人物の上半身部分）に照射する。変動パターンレジスタ４３は、発光部４２の発光パターンデータを保持する。ビットクロック部４４は、変動パターンレジスタの、１タイムスロット（変動パターン符号の１ｂｉｔ分）のＯＮ／ＯＦＦタイミングを指定する。符号クロック部４５は、変動パターンレジスタの系列の最初のビットの出力タイミングを指定する。
【００４４】
図４に示す第２光源３及び第３光源４は、その発光の点滅パターンが外部から制御可能になっており、画像処理装置１は、いくつか用意された変動パターンの中から外乱等を考慮して適切なパターンを選択し、その選択パターンを第２光源３や第３光源４に設定する。このパターン設定のために、画像処理装置１と各光源２〜４の間は通信が可能となるように構成されており、例えば、図５（ａ）に示すように、画像処理装置１、第２光源３、及び、第３光源４との間が、コネクタ等でワイヤード接続され、あるいは無線等でワイヤレス接続されている。又は、図４に示すように、一つの光源（図４では第３光源４）を中継機として、画像処理装置１と他の光源（図４では第２光源３）との間が間接的に接続されるものであってもよい。
【００４５】
今、輝点２ａの変動パターンを便宜的に「変動パターン１」とし、且つ、画像処理装置１から第２光源３に対して、上記変動パターン１と異なる他の変動パターン（以下「変動パターン２」という）を設定したものと仮定する。説明を簡単化するために、変動パターン１を「１０００１０１」の繰り返し、変動パターン２を「１１１０１００」の繰り返しとし、光の点滅（オン／オフ）をパターンの“１”、“０”に対応させると、輝点２ａは「オン→オフ→オフ→オフ→オン→オフ→オン」を繰り返すこととなり、また、二つの照射光領域３ｂ、４ｂは「オン→オン→オン→オフ→オン→オフ→オフ」を繰り返すこととなる。
【００４６】
これらの発光パターンは、撮影範囲５の各被写体像とともにカメラ６によって撮影され、所定のフレーム周期で画像処理装置１に出力されると共に、デジタイズ部１２４によってディジタル化された１フレームごとの画像信号がキャプチャフレームバッファ１２５に１画面分展開された後、当該展開画面がリングバッファ１２３に送られ、バッファ０からバッファｎに順次格納されるようになっている。
【００４７】
図５（ｂ）は、撮像側（カメラ６側）のタイミングと光源側（例えば、第２光源３及び第３光源４）のタイミングの対比図であり、撮像側では所定の撮像側フレームクロックに同期した撮像側フレームサンプリングクロックにより、フレーム画像の取り込み（撮影）を行い、一方、光源側では光源側符号フレームクロックに同期した光源側符号出力ビットクロックにより、上述の変動パターン（「１１１０１００」）で発光部４２の点滅を行う。光源出力信号の立ち上がり及び立ち下がりのタイミングは、撮像側符号フレームクロックに対してある時間ｔだけ早くなっており、この時間ｔは、光源出力の動作遷移時間（図５（ｃ）の左下がりハッチング参照）や、撮像側のデータサンプル遅れを考慮した時間に設定されている。
【００４８】
図６は、リングバッファ１２３の画像格納状態を示す図であり、ここではリングバッファ１２３のバッファ数（ｎ）を便宜的に７個とし、各バッファを符号Ｂ０〜Ｂ６で表している。Ｂ０〜Ｂ６の左側に付した符号ｔ０〜ｔ６はそれぞれフレーム時間であり、時間ｔ０のフレーム画像がＢ０に格納されると、次の時間ｔ１のフレーム画像がＢ１に格納され、次の時間ｔ２のフレーム画像がＢ２に格納され、これを繰り返して、時間ｔ６のフレーム画像がＢ６に格納されると、これら７個のフレーム画像を用いて特有の変動パターンを抽出した後、再び、次の時間のフレームを最初のＢ０に格納する。
【００４９】
図６において、Ｂ０〜Ｂ６の格納画像を図示のとおりとすると、Ｂ０の格納画像に含まれる球状物体５ａの全体像と立姿人物５ｃの上半身像は、それぞれ照射光領域３ｂ及び４ｂによって明るくなっており、且つ、立姿人物５ｃの水平腕先付近も輝点２ａによって明るくなっている。同様に、Ｂ１〜Ｂ６についてみると、Ｂ１、Ｂ２及びＢ４でも球状物体５ａの全体像と立姿人物５ｃの上半身像はそれぞれ照射光領域３ｂ及び４ｂによって明るくなっており、一方、Ｂ３、Ｂ５及びＢ６では照射光領域３ｂ及び４ｂがないためにいずれも暗くなっている。また、輝点２ａはＢ４及びＢ６でも存在し、Ｂ１、Ｂ２、Ｂ３及びＢ５では存在しない。
【００５０】
したがって、図示の７個のフレーム画像は、球状物体５ａの全体像及び立姿人物５ｃの上半身像について、「オン→オン→オン→オフ→オン→オフ→オフ」の周期パターン、すなわち、「１１１０１００」の変動パターン２で点滅（輝度変動）する特異画像部分となり、且つ、立姿人物５ｃの水平腕先付近について、「オン→オフ→オフ→オフ→オン→オフ→オン」、すなわち、「１０００１０１」の変動パターン１で点滅する特異画像部分となる。このような特異画像部分は、変動パターンに対し相関度が低い外乱光、例えば、撮影範囲５のテレビ５ｂの輝度ちらつき（フリッカ）に伴う外乱光が含まれていたとしても、以下の理由から、両者を区別（弁別）して、特異画像部分の切り出しや、張り付け等を支障なく行うことができる。
【００５１】
その理由は、以下のように考えることができる。すなわち、今、Ｂ０〜Ｂ６の各格納画像における照射光領域３ｂ及び４ｂと輝点２ａについて、それらの代表座標点（たとえば、領域中央の座標点など）を選び出し、各代表座標点の輝度レベルの時間的変化を図７のとおりとする。図７において、ハッチング付き四角記号のグラフは輝点２ａ（第１光源領域）の輝度レベル変化を表し、三角記号のグラフは照射光領域３ｂ（第２光源領域；立姿人物５ｃへの照射領域）の輝度レベル変化を表し、×記号のグラフは照射光領域４ｂ（第３光源領域；球状物体５ａへの照射領域）の輝度レベル変化を表し、黒菱形記号のグラフは外乱光（テレビ５ｂのフリッカ点灯）の輝度レベル変化を表している。
【００５２】
これら四つのグラフのうち、外乱光の輝度レベル変化を表すグラフについて、その最大輝度レベルや輝度変化幅は、他のグラフよりも意図的に大きくされている。これは、次に述べる相関値算出手法を適用することにより、外乱光に影響されることなく、輝点２ａや照射光領域３ｂ及び４ｂの検出を支障なく行うことができることを強調するためである。
【００５３】
図８は、図７の四つのグラフにおける各フレーム時間ｔ０〜ｔ６ごとの輝度レベル実際値、及び、これらの実際値に、以下の理論に基づく算出式を適用して得られた相関値（パターン１とパターン２の各相関値）を示すリスト図である。このリスト図において、相関値は以下のように求める。上記の値の系列、つまりベクトル間の相関値の算出式は、一般には、相関値＝内積／ノルムで（０〜１の値として）定義される。したがって、相関値ｒは、符号ビット０を−１に対応させて、１，１，１，−１，１，−１，−１とし、ｔ０〜ｔ６も平均を０とするよう正規化して、次式（ア）として表される。
【００５４】
【数１】
【００５５】
なお、本発明のより望ましい形態は、上記式（ア）に従って、厳密な相関値計算を行う方法であるが、本実施の形態では、照明の変動パターンが点滅からなるバイナリ符号であることや、自然界に検出対象と相関度の高い急激なドットデータ変動の頻度が比較的少ないことから、上記式（ア）のような厳密な相関値計算を用いなくても、簡易的な相関度算出処理でも可能である。ちなみに、次式（イ）による方法は、検出スレッシュ設定が厳密な相関値計算よりやや煩雑になるが、通常の相関値計算にあるような、二乗や平方根などのコストのかかる演算を回避しつつ、検出性能を確保することが可能である。以後、この式による値も相関値と呼ぶ。値域は８ｂｉｔ輝度信号であれば、０〜２５５を取る。
【００５６】
相関値＝Σ１／Ｃ１−Σ０／Ｃ０ ・・・・（イ）
【００５７】
但し、Σ１はパターンの論理１に対応する輝度レベルの総和（すなわち、論理１シンボルの総和値）、Ｃ１はパターンの論理１の個数（すなわち、論理１シンボルの個数）、Σ０はパターンの論理０に対応する輝度レベルの総和（すなわち、論理０シンボルの総和値）、Ｃ０はパターンの論理０の個数（すなわち、論理０シンボルの個数）である。
【００５８】
今、パターン１は「１０００１０１」のパターンシンボルを持ち、パターン２は「１１１０１００」のパターンシンボルを持つから、これらパターンごとの式（イ）は、次式（イ−１、イ−２）のようになる。なお、以下において、相関値１はパターン１の相関値、相関値２はパターン２の相関値である。
【００５９】
相関値１＝（ｔ０＋ｔ４＋ｔ６）／３−（ｔ１＋ｔ２＋ｔ３＋ｔ５）／４
‥‥（イ−１）
相関値２＝（ｔ０＋ｔ１＋ｔ２＋ｔ４）／４−（ｔ３＋ｔ５＋ｔ６）／３
‥‥（イ−２）
【００６０】
図８において、ｔ０〜ｔ６のそれぞれで、外乱光の輝度レベルは“１３０”、“２４０”、“２００”、“１９０”、“２２０”、“１０８”、“１１９”となっており、第１光源領域の輝度レベルは“２００”、“６５”、“６０”、“６３”、“２０８”、“５８”、“１９８”となっている。同様に、第２光源領域の輝度レベルは“１２５”、“１２６”、“１２４”、“２９”、“１２４”、“２８”、“３０”、第３光源領域の輝度レベルは“１６５”、“１５５”、“１５２”、“７０”、“１５４”、“８０”、“７１”となっている。
【００６１】
以下、これらの実際値（輝度レベル）を、パターン１及びパターン２のそれぞれについて、上式（イ−１、イ−２）に当てはめた場合の、相関値１及び相関値２の算出方法を例示する。
【００６２】
はじめに、パターン１の相関値（相関値１）を算出する。すなわち、上式（イ−１）を用いて、外乱光、第１〜第３光源領域の各相関値（相関値１）を算出する。パターン１の論理１シンボルはｔ０、ｔ４、ｔ６の位置にあり、その個数（Ｃ１）は“３”である。また、パターン１の論理０シンボルはｔ１、ｔ２、ｔ３、ｔ５の位置にあり、その個数（Ｃ０）は“４”である。
【００６３】
したがって、パターン１の外乱光のΣ１は、ｔ０＋ｔ４＋ｔ６＝“１３０”＋“２２０”＋“１１９”＝“４６９”となり、Σ０は、ｔ１＋ｔ２＋ｔ３＋ｔ５＝“２４０”＋“２００”＋“１９０”＋“１０８”＝“７３８”となり、Ｃ１＝“３”、Ｃ０＝“４”であるから、パターン１の外乱光の相関値１は、上式（イ−１）より、“４６９”／“３”−“７３８”／“４”＝“−２８．１７”となる。
【００６４】
また、パターン１の第１光源領域のΣ１は、ｔ０＋ｔ４＋ｔ６＝“２００”＋“２０８”＋“１９８”＝“６０６”となり、Σ０は、ｔ１＋ｔ２＋ｔ３＋ｔ５＝“６５”＋“６０”＋“６３”＋“５８”＝“２４６”となり、Ｃ１＝“３”、Ｃ０＝“４”であるから、パターン１の第１光源領域の相関値１は、上式（イ−１）より、“６０６”／“３”−“２４６”／“４”＝“１４０．５０”となる。
【００６５】
また、パターン１の第２光源領域のΣ１は、ｔ０＋ｔ４＋ｔ６＝“１２５”＋“１２４”＋“３０”＝“２７９”となり、Σ０は、ｔ１＋ｔ２＋ｔ３＋ｔ５＝“１２６”＋“１２４”＋“２９”＋“２８”＝“３０７”となり、Ｃ１＝“３”、Ｃ０＝“４”であるから、パターン１の第２光源領域の相関値１は、上式（イ−１）より、“２７９”／“３”−“３０７”／“４”＝“１６．２５”となる。
【００６６】
また、パターン１の第３光源領域のΣ１は、ｔ０＋ｔ４＋ｔ６＝“１６５”＋“１５４”＋“７１”＝“３９０”となり、Σ０は、ｔ１＋ｔ２＋ｔ３＋ｔ５＝“１５５”＋“１５２”＋“７０”＋“８０”＝“４５７”となり、Ｃ１＝“３”、Ｃ０＝“４”であるから、パターン１の第３光源領域の相関値１は、上式（イ−１）より、“３９０”／“３”−“４５７”／“４”＝“１５．７５”となる。
【００６７】
次に、パターン２の相関値（相関値２）を算出する。すなわち、上式（イ−２）を用いて、外乱光、第１〜第３光源領域の各相関値（相関値２）を算出する。パターン２の論理１シンボルはｔ０、ｔ１、ｔ２、ｔ４の位置にあり、その個数（Ｃ１）は“４”である。また、パターン２の論理０シンボルはｔ３、ｔ５、ｔ６の位置にあり、その個数（Ｃ０）は“３”である。
【００６８】
したがって、パターン２の外乱光のΣ１は、ｔ０＋ｔ１＋ｔ２＋ｔ４＝“１３０”＋“２４０”＋“２００”＋“２２０”＝“７９０”となり、Σ０は、ｔ３＋ｔ５＋ｔ６＝“１９０”＋“１０８”＋“１１９”＝“４１７”となり、Ｃ１＝“４”、Ｃ０＝“３”であるから、パターン２の外乱光の相関値２は、上式（イ−２）より、“７９０”／“４”−“４１７”／“３”＝“５８，５０”となる。
【００６９】
また、パターン２の第１光源領域のΣ１は、ｔ０＋ｔ１＋ｔ２＋ｔ４＝“２００”＋“６５”＋“６０”＋“２０８”＝“５３３”となり、Σ０は、ｔ３＋ｔ５＋ｔ６＝“６３”＋“５８”＋“１９８”＝“３１９”となり、Ｃ１＝“４”、Ｃ０＝“３”であるから、パターン２の第１光源領域の相関値２は、上式（イ−２）より、“５３３”／“４”−“３１９”／“３”＝“２６．９２”となる。
【００７０】
また、パターン２の第２光源領域のΣ１は、ｔ０＋ｔ１＋ｔ２＋ｔ４＝“１２５”＋“１２６”＋“１２４”＋“１２４”＝“４９９”となり、Σ０は、ｔ３＋ｔ５＋ｔ６＝“２９”＋“２８”＋“３０”＝“８７”となり、Ｃ１＝“４”、Ｃ０＝“３”であるから、パターン２の第２光源領域の相関値２は、上式（イ−２）より、“４９９”／“４”−“８７”／“３”＝“９５．７５”となる。
【００７１】
また、パターン２の第３光源領域のΣ１は、ｔ０＋ｔ１＋ｔ２＋ｔ４＝“１６５”＋“１５５”＋“１５２”＋“１５４”＝“６２６”となり、Σ０は、ｔ３＋ｔ５＋ｔ６＝“７０”＋“８０”＋“７１”＝“２２１”となり、Ｃ１＝“４”、Ｃ０＝“３”であるから、パターン２の第３光源領域の相関値２は、上式（イ−２）より、“６２６”／“４”−“２２１”／“３”＝“８２．８３”となる。
【００７２】
以上の計算によって得られた各相関値（相関値１、相関値２）を比較すると、パターン１については輝点２ａ（第１光源領域）の相関値１（“１４０．５０”）が最大であり、パターン２については照射光領域３ｂ（第２光源領域）の相関値２（“９５．７５”）が最大であり、照射光領域４ｂ（第３光源領域）の相関値２（“８２．８３”）がその次につけている。
【００７３】
したがって、相関値判定用のスレッシュレベルを、例えば、“８０．００”とすると、パターン１については、その最大値を示した輝点２ａ（第１光源領域）の相関値１（“１４０．５０”）だけが抽出されることとなり、また、パターン２については、その最大値を示した照射光領域３ｂ（第２光源領域）の相関値２（“９５．７５”）と、次位の大きさを示した照射光領域４ｂ（第３光源領域）の相関値２（“８２．８３”）が抽出されることとなる。
【００７４】
その結果、外乱光が重畳されている場合であっても、当該外乱光に影響されることなく、輝点２ａや照射光領域３ｂ及び４ｂの検出を支障なく行うことができ、しかも、外乱光の最大輝度レベルや輝度変化幅が輝点２ａや照射光領域３ｂ及び４ｂのそれよりも大きい場合（図８のリスト図は敢えてそのようなレベル関係にしてある。）であっても、上記の検出動作、すなわち、輝点２ａや照射光領域３ｂ及び４ｂの検出を何ら支障なく行うことができる。
【００７５】
図９は、上記第１の実施の形態における画像処理装置１の処理フローを示す図である。同図において、まず、第２光源３や第３光源４（要すれば第１光源２にも）に所要の変動パターンのセット（設定）、当該変動パターンとの処理対応リストのセット（設定）、及び、各光源との同期合わせを行ったり等の初期化を実行する（ステップＳ１１）。次に、カメラ６からの画像信号取り込み（フレームキャプチャ）を待つ（ステップＳ１２）。画像取り込みが行われると、キャプチャフレームバッファ１２５にキャプチャされた画像信号に基づく画像データを、そのときのタイムスロットカウンタ部１８の値（Ｎ）に対応したバッファ（例えば、Ｎ＝０であればリングバッファ１２３のバッファ０）にコピーする（ステップＳ１３）。
【００７６】
次に、モジュロ演算を行って（タイムスロットは、変動パターンが、１１１０１００の長さＬ＝７ビットパターンで表される場合、Ｎ＝０〜６の値を周期的に取る必要があるため）、タイムスロットカウンタ部１８の値を更新し（ステップＳ１４）、各検出変動パターンごとに相関値画像算出や判定２値が像算出等の処理を行い（ステップＳ１５）、パターン１の変動領域が検出された場合（ステップＳ１６）は、変動パターン／処理対応リスト格納部１５１からパターン１用処理指示を取り出し、処理を実行して、結果出力画像バッファ１５２に書き込む（ステップＳ１７）。
【００７７】
変動パターン／処理対応リスト格納部１５１の格納内容が図１２のようなものである場合、上記処理により、変動パタン１により照射された領域（または直接発光領域）の左上座標に、格納されている合成用ＣＧ画像等が書き出される。図６に示した、光源と符号パターンの組み合わせの場合、変動パターン１を設定した第１光源の座標に合成用のＣＧ画像（アニメキャラクタや、小道具の画像その他）が上書きされる。また、パターン２の変動領域が検出された場合（ステップＳ１８）は、同様に、変動パターン／処理対応リスト格納部１５１からパターン２用処理指示を取り出し、処理を実行して、結果出力画像バッファ１５２に書き込む（ステップＳ１９）。
【００７８】
設定および、実使用の様子が、図１２、図６の場合、変動パターン２を設定された、第２、第３光源で照射された、中央の立姿人物の上半身（４ｂ）、および、左下のボール（３ｂ）のみが、切り出されることになる。なお、処理内容の指定により、立ち姿人物の切り出しを行う際、変動パターン１で行う、ＣＧ合成のほうが表示優先度が高いため、このパターン２で対応処理を行っても立ち姿人物の差し出した手が、パターン１で書きこみ合成した、ＣＧ等の上になってしまうことはない。
【００７９】
そして、変動パターン／処理対応リスト格納部１５１から、非検出領域対象処理を実行し（ステップＳ２０）、図６の設定例の場合は、非検出領域に対しては白となるので、図１２、図６の例では、白いバックの中でボールと立姿人物の上半身とが切り出され、あたかもその人物の右手に、合成したＣＧ画像の物体（熊のぬいぐるみ）を持っているような結果出力が得られる。
【００８０】
なお、図４の変動パターン処理結果リスト１５１により、まったく同一の変動照明を用いながら、処理結果はまったく違うものを得ることも可能である。
【００８１】
後は、この結果画像を出力（ステップＳ２１）した後、再びフレームキャプチャ（ステップＳ１２）以降を繰り返す。
【００８２】
図１０は、上記のステップＳ１５の具体的フローであり、このフローでは、変動パターン１の処理と変動パターン２の処理を同時並行的に実行する。すなわち、まず、リングバッファ１２３の各バッファ０〜ｎに含まれる画像信号の中で変動パターンの“１”に相当する部分の加算結果を求め、その加算画像数で割った画像を、正画像バッファ１２１ｃ（変動パターン２の処理フローでは正画像バッファ１２２ｃ）に格納する（ステップＳ１５ａ）。この処理の目的は、格納したバッファの画像系列の中で、輝度が高くなっているべきタイミング（＝照明点灯）での画像の輝度平均を算出することである。
【００８３】
次に、リングバッファ１２３の各バッファ０〜ｎに含まれる画像信号の中で変動パターンの“０”に相当する部分の加算結果を求め、その加算画像数で割った画像を、負画像バッファ１２１ｄ（変動パターン２の処理フローでは正画像バッファ１２２ｄ）に格納する（ステップＳ１５ｂ）。この処理の目的は、輝度が低くなっているべきタイミング（＝照明消灯）での各画像の輝度平均を算出することである。
【００８４】
次に、正画像バッファの格納画像と負画像バッファの格納画像との差分をとり、その差分画像を相関値画像バッファ１２１ａ（変動パターン２の処理フローでは相関値画像バッファ１２２ａ）に格納する（ステップＳ１５ｃ）。 そして、最後に、照明強度／拡散特性、検出物体の反射係数、背景環境の空間的、時間的変動度によって定める一定の値により、相関値画像バッファ１２１ａ（変動パターン２の処理フローでは正画像バッファ１２２ａ）に格納する（ステップＳ１５ｄ）。
【００８５】
図１１は、図１０動作フローの処理の動作概念図である。中央に示した一連の画像バッファを参照することで、変動パターン１、２それぞれの検出処理では、点灯タイミングに対応するビット「１」および消灯に対応するビット「０」に対応する画像群が加算・平均されそれらの差分画像を、該当パターンの相関画像として得られる様子を示している。
【００８６】
以上のことから、本実施の形態によれば、撮影場所を問わずに、撮影画像中の所望領域を切り出したり、撮影画像中の所望位置に他の画像を張り付けたりする等の加工処理を行うことができる汎用性に優れた画像処理方法及び画像処理装置を提供することができるうえ、とりわけ外乱光に晒される撮影現場であっても、その外乱光の影響を受けることなく、撮影範囲５の画像信号の中から輝点２ｂや照射光領域３ｂ及び４ｂの検出を行うことができ、所望領域の画像オブジェクト切り出しや、所望位置への画像オブジェクトの張り付け等を行うことができるという格別有益な効果が得られる。
【００８７】
また、輝点２ｂや照射光領域３ｂ及び４ｂの変動パターン（明滅パターン）と画像加工処理の内容とを対応付けしたデータ（変動パターン／処理対応リスト）を変動パターン／処理対応リスト格納部１５１に格納し、実際に検出された輝点２ｂや照射光領域３ｂ及び４ｂの変動パターンと変動パターン／処理対応リストとを照合して、そのリストから、実行すべき画像加工処理の種別（画像の張り付け又は切り出し）を取り出すようにしているため、いちいち、撮像側（カメラ６側）で画像加工の種別を指定する必要がなく、操作性の簡素化を図ることができる。
【００８８】
＜第２の実施の形態＞
次に、本発明の第２の実施の形態について説明する。
まず、前記第１の実施の形態では、式（イ）で示した簡略的な相関値評価式を用いることにより、検出すべきパターンについて、他の画像領域の輝度等の変動(＝外乱)の影響を受けることなく、目的とする信号領域だけを検出することができるとしている。
【００８９】
しかしながら、前記第１の実施の形態における簡略的な相関値評価式（式（イ））は、より巌しい環境条件の場合、たとえば、外乱光の変動成分に検出パターン変動の１タイムスロットにきわめて近い瞬間的変動が多発するような画像領域が含まれる場合において、「変動の大きな外乱信号に影響されない、したがって、誤検出しない」という性能を完全に満たすことが困難であるという欠点が予想される。
【００９０】
このような厳しい環境条件を想定した場合、前記第１の実施の形態では、（１）パターンのビット数を増やす、または、（２）照射や発光光源の輝度を上げて、より大きな変動を与えるようにし、図１０のステップＳ１５ｄにおける２値化画像取得のための判定スレッショルドを上げる(＝判定条件を厳しくする)という、いずれかの対策をとる必要があるが、（１）の場合、その対策は処理においてオーバヘッドの増加を招く欠点があり、また、（２）の場合、その対策は検出感度が低下する欠点がある。
【００９１】
そこで、第２の実施の形態では、相関値評価式に正規化処理を加えることにより、より簡便で、しかも、上記の厳しい環境条件を想定した場合においても、良好な特性の相関値取得を可能とすることができるように改良した場合について詳述するものである。
なお、第２の実施の形態のブロツク構成図等は、前記第１の実施の形態と同一であるため図示等を省略し、また、処理フロー等についても相関値に係わる部分が第２の実施の形態に特有の処理になっている以外はすべて同一であるから、これも図示等を省略する。
【００９２】
第２の実施の形態のポイントは、前記第１の実施の形態で示した簡略的な相関値評価式（式（イ））の代わりに、次式（ウ）を使用することにある。
【００９３】
相関値＝（〔前式（イ）〕／ΔＷ）×ｃｏｎｓｔ ・・・・（ウ）
ΔＷ＝ｍａｘ（t０・・・・t６）−ｍｉｎ（t０・・・・t６） ・・・・（エ）
【００９４】
但し、ｍａｘ（引数）は引数で与えられたデータの最大値を返すｍａｘ関数、ｍｉｎ（引数）は引数で与えられたデータの最小値を返すｍｉｎ関数である。なお、式（ウ）において、ｃｏｎｓｔは乗算係数（たとえば、ｃｏｎｓｔ＝“２５５”）である。ｃｏｎｓｔを乗じているのは、最大０〜１の値を扱いやすいドット信号輝度範囲０〜２５５の値域に変換するためのである。ｃｏｎｓｔの値は、対象とする値域によっては“２５５”以外になることはいうまでもない。
【００９５】
前記第１の実施の形態と同様に、パターン１のパターンシンボルは「１０００１０１」であり、パターン２のパターンシンボルは「１１１０１００」であるものとする。これらパターンごとの式（ウ）は、次式（ウ−１、ウ−２）のようになる。なお、以下において、相関値１はパターン１の相関値、相関値２はパターン２の相関値である。
【００９６】
相関値１＝（（（ｔ０＋ｔ４＋ｔ６）／３
−（ｔ１＋ｔ２＋ｔ３＋ｔ５）／４）／ΔＷ）×２５５
‥‥（ウ−１）
相関値２＝（（（ｔ０＋ｔ１＋ｔ２＋ｔ４）／４
−（ｔ３＋ｔ５＋ｔ６）／３）／ΔＷ）×２５５
‥‥（ウ−２）
【００９７】
図１３において、ｔ０〜ｔ６のそれぞれで、第１光源領域の輝度レベルは“２００”、“６５”、“６０”、“６３”、“２０８”、“５８”、“１９８”となっており、同様に、第２光源領域の輝度レベルは“１２５”、“１２６”、“１２４”、“２９”、“１２４”、“２８”、“３０”、第３光源領域の輝度レベルは“１６５”、“１５５”、“１５２”、“７０”、“１５４”、“８０”、“７１”となっている。
【００９８】
これら第１〜第３光源領域の輝度レベル値の例は、前記第１の実施の形態（図８）と同一であるが、外乱光の輝度レベルについては、上記の厳しい環境条件を想定した、たとえば、“２５０”、“２４０”、“２５５”、“１００”、“３０”、“８０”、“１１９”となっている点で相違する。なお、第２光源領域周縁とは、第２光源領域（立姿人物５ｃへの照射領域）のエッジ部分のことをいう。これは、このエッジ部分における第１の実施の形態の不都合を説明するために、敢えて追加したものである。
【００９９】
ここで、図１３の各代表座標点の輝度レベルの時間的変化を図１４のとおりとする。図１４において、ハッチング付き四角記号のグラフは輝点２ａ（第１光源領域）の輝度レベル変化を表し、三角記号のグラフは照射光領域３ｂ（第２光源領域；立姿人物５ｃへの照射領域）の輝度レベル変化を表し、×記号のグラフは照射光領域４ｂ（第３光源領域；球状物体５ａへの照射領域）の輝度レベル変化を表し、丸記号のグラフは照射光源領域４ｂのエッジ（第３光源領域周縁；立姿人物５ｃへの照射領域エッジ）の輝度レベル変化を表し、黒菱形記号のグラフは外乱光（テレビ５ｂのフリッカ点灯）の輝度レベル変化を表している。なお、立姿人物５ｃは黒色の服を着ているものとする。すなわち、第３光源領域周縁は、黒色服のエッジを表している。
【０１００】
図１３の例に、前記第１の実施の形態における式（イ）を適用した場合、以下に詳述するように、外乱光を確実に排除できず、さらに、第２光源領域周縁も抽出できないという不都合を生じるが、第２の実施の形態における式（ウ）を適用した場合、このような不都合を生じることがない。
【０１０１】
以下、図１３の例に、前記第１の実施の形態における式（イ）を適用した場合の相関値を、パターン１について「相関値１Ａ」、パターン２について「相関値２Ａ」ということとし、さらに、第２の実施の形態の式（ウ）を適用した場合の相関値を、パターン１については「相関値１Ｂ」といい、パターン２について「相関値２Ｂ」ということとして、それぞれの相関値（相関値１Ａ、２Ａ、１Ｂ、２Ｂ）の算出方法を例示する。
【０１０２】
同図において、相関値１Ａは式（イ）を適用して算出したパターン１の相関値、相関値２Ａは式（イ）を適用して算出したパターン２の相関値であり、これらの相関値１Ａ、２Ａは、前記第１の実施の形態における相関値に相当するものである。また、相関値１Ｂは式（ウ）を適用して算出したパターン１の相関値、相関値２Ｂは式（ウ）を適用して算出したパターン２の相関値であり、これらの相関値１Ｂ、２Ｂは第２の実施の形態に特有のものである。
【０１０３】
また、相関値１Ａ及び相関値２Ａの値は、外乱光と第２光源領域周縁を除き、前記第１の実施の形態における計算結果（図８参照）と同一である。すなわち、第１光源領域〜第３光源領域の相関値１Ａはそれぞれ“１４０．５０”、“１６．２５”、“１５．７５”、相関値２Ａはそれぞれ“２６．９２”、“９５．７５”、“８２．８３”であり、これらの値は、前記第１の実施の形態における計算結果（図８参照）と同一である。
【０１０４】
前記第１の実施の形態と相違する外乱光と第２光源領域周縁のそれぞれの相関値１Ａ及び相関値２Ａは、式（イ）を適用して、次のようにして求められる。すなわち、図１３において、ｔ０〜ｔ６のそれぞれで、外乱光の輝度レベルは“２５０”、“２４０”、“２５５”、“１００”、“３０”、“８０”、“１１９” であり、また、第２光源領域周縁の輝度レベルは“７０”、“６９”、“６９”、“２０”、“６８”、“２１”、“２０” である。
【０１０５】
パターン１の論理１シンボルはｔ０、ｔ４、ｔ６の位置にあり、その個数（Ｃ１）は“３”である。また、パターン１の論理０シンボルはｔ１、ｔ２、ｔ３、ｔ５の位置にあり、その個数（Ｃ０）は“４”である。したがって、パターン１の外乱光のΣ１は、ｔ０＋ｔ４＋ｔ６＝“２５０”＋“３０”＋“１１９”＝“３９９”となり、Σ０は、ｔ１＋ｔ２＋ｔ３＋ｔ５＝“２４０”＋“２５５”＋“１００”＋“８０”＝“６７５”となり、Ｃ１＝“３”、Ｃ０＝“４”であるから、パターン１の外乱光の相関値１Ａは、上式（イ−１）より、“３９９”／“３”−“６７５”／“４”＝“−３５．７５”となる。
【０１０６】
また、パターン１の第２光源領域周縁のΣ１は、ｔ０＋ｔ４＋ｔ６＝“７０”＋“６８”＋“２０”＝“１５８”となり、Σ０は、ｔ１＋ｔ２＋ｔ３＋ｔ５＝“６９”＋“６９”＋“２０”＋“２１”＝“１７９”となり、Ｃ１＝“３”、Ｃ０＝“４”であるから、パターン１の第２光源領域周縁の相関値１Ａは、上式（イ−１）より、“１５８”／“３”−“１７９”／“４”＝“７．９２”となる。
【０１０７】
パターン２の論理１シンボルはｔ０、ｔ１、ｔ２、ｔ４の位置にあり、その個数（Ｃ１）は“４”である。また、パターン２の論理０シンボルはｔ３、ｔ５、ｔ６の位置にあり、その個数（Ｃ０）は“３”である。したがって、パターン２の外乱光のΣ１は、ｔ０＋ｔ１＋ｔ２＋ｔ４＝“２５０”＋“２４０”＋“２５５”＋“３０”＝“７７５”となり、Σ０は、ｔ３＋ｔ５＋ｔ６＝“１００”＋“８０”＋“１１９”＝“２９９”となり、Ｃ１＝“４”、Ｃ０＝“３”であるから、パターン２の外乱光の相関値２Ａは、上式（イ−２）より、“７７５”／“４”−“２９９”／“３”＝“９４．０８”となる。
【０１０８】
また、パターン２の第２光源領域周縁のΣ１は、ｔ０＋ｔ１＋ｔ２＋ｔ４＝“７０”＋“６９”＋“６９”＋“６８”＝“２７６”となり、Σ０は、ｔ３＋ｔ５＋ｔ６＝“２０”＋“２１”＋“２０”＝“６１”となり、Ｃ１＝“４”、Ｃ０＝“３”であるから、パターン２の第２光源領域周縁の相関値２Ａは、上式（イ−２）より、“２７６”／“４”−“６１”／“３”＝“４８．６７”となる。
【０１０９】
次に、図１３の例に、第２の実施の形態における式（ウ）を適用して、パターン１の「相関値１Ｂ」とパターン２の「相関値２Ｂ」をすべて算出する。
まず、式（ウ）のΔＷ項を計算する。図１３において、ｔ０〜ｔ６のうち最大値を持つシンボルに着目すると、外乱光はｔ２の“２５５”、第１光源領域はｔ４の“２０８”、第２光源領域はｔ１の“１２６”、第３光源領域はｔ０の“１６５”、第２光源領域周縁はｔ０の“７０”である。また、ｔ０〜ｔ６のうち最小値を持つシンボルに着目すると、外乱光はｔ４の“３０”、第１光源領域はｔ５の“５８”、第２光源領域はｔ５の“２８”、第３光源領域はｔ３の“７０”、第２光源領域周縁はｔ３の“２０”である。
【０１１０】
したがって、外乱光のΔＷをΔＷ０、第１光源領域のΔＷをΔＷ１、第２光源領域のΔＷをΔＷ２、第３光源領域のΔＷをΔＷ３、及び、第２光源領域周縁のΔＷをΔＷ４と呼ぶことにすると、式（エ）より、ΔＷ０＝“２５５”−“３０”＝“２２５”、ΔＷ１＝“２０８”−“５８”＝“１５０”、ΔＷ２＝“１２６”−“２８”＝“９８”、ΔＷ３＝“１６５”−“７０”＝“９５”、ΔＷ４＝“７０”−“２０”＝“５０”となる。
【０１１１】
＜相関値１Ｂ＞
図１３の例におけるパターン１の相関値（相関値１Ｂ）は、式（ウ−１）より、相関値１ＡをΔＷで除算し、それにｃｏｎｓｔ＝“２５５”を乗じた値で与えられる。したがって、外乱光の相関値１Ａは“−３５．７５”、ΔＷ０は“２２５”であるから、“−４０．５２”が得られる。
【０１１２】
同様に、第１光源領域の相関値１Ａは“１４０．５０”、ΔＷ１は“１５０”であるから、“２３８．８５”が得られ、第２光源領域の相関値１Ａは“１６．２５”、ΔＷ２は“９８”であるから、“４２．２８”が得られる。また、第３光源領域の相関値１Ａは“１５．７５”、ΔＷ３は“９５”であるから、“４２．２８”が得られ、第２光源領域周縁の相関値１Ａは“７．９２”、ΔＷ４は“５０”であるから、“４０．３９”が得られる。
【０１１３】
＜相関値２Ｂ＞
図１３の例におけるパターン２の相関値（相関値２Ｂ）は、式（ウ−２）より、相関値２ＡをΔＷで除算し、それにｃｏｎｓｔ＝“２５５”を乗じた値で与えられる。したがって、外乱光の相関値２Ａは“９４．０８”、ΔＷ０は“２２５”であるから、“１０６．６３”が得られる。
【０１１４】
同様に、第１光源領域の相関値２Ａは“２６．９２”、ΔＷ１は“１５０”であるから、“４５．７６”が得られ、第２光源領域の相関値２Ａは“９５．７５”、ΔＷ２は“９８”であるから、“２４９．１５”が得られる。また、第３光源領域の相関値２Ａは“８２．８３”、ΔＷ３は“９５”であるから、“２２２．３４”が得られ、第２光源領域周縁の相関値２Ａは“４８．６７”、ΔＷ４は“５０”であるから、“２４８．２２”が得られる。
【０１１５】
＜各相関値の評価＞
さて、以上の計算により、図１３におけるすべての相関値（相関値１Ａ、２Ａ、１Ｂ、２Ｂ）が明らかになった。このうちの相関値１Ａ、２Ａについては、式（イ）を適用して求めたもの、すなわち、前記第１の実施の形態によるものである。
【０１１６】
不都合の実例は、図１３において、外乱光の相関値２Ａ（“９４．０８”）と第２光源領域周縁の相関値２Ａ（“４８．６７”）に見ることができる。
すなわち、外乱光の相関値２Ａは“９４．０８”という大きな値であるため、しきい値（たとえば、“８０．００”）を上回ってしまい分離することができないという不都合がある。また、第２光源領域周縁の相関値２Ａは“４８．６７”という小さな値であるため、しきい値（たとえば、“８０．００”）を下回ってしまい、抽出することができないという不都合がある。
【０１１７】
これに対して、式（ウ）を適用して求めた相関値、すなわち、第２の実施の形態によって求めた相関値１Ｂ及び２Ｂは、たとえば、外乱光の相関値２Ｂは“１０６．６３”、第２光源領域周縁の相関値２Ｂは“２４８．２２”であるため、適当なしきい値（たとえば、“２００．００”）を使用することにより、外乱光の相関値２Ｂ（“１０６．６３”）を除外することができ、且つ、第２光源領域周縁の相関値２Ｂ（“２４８．２２”）を抽出することができ、前記第１の実施の形態の不都合を解消することができる。
【０１１８】
以上、説明したとおり、第２の実施の形態にあっては、より巌しい環境条件の場合、たとえば、外乱の変動成分に検出パターン変動の１タイムスロットにきわめて近い瞬間的変動が多発するような画像領域が含まれる場合において、「変動の大きな外乱信号に影響されない、したがって、誤検出しない」という性能を完全に満たすことができるという格別のメリットが得られる。
【０１１９】
なお、第２の実施の形態の処理は、カメラノイズなどによるフレームごとのサンプリングレベル変動のような、微小な変動列が正規化処理により大きい値が乗じられる可能性があり、検出対象外となるべき点が、偶然大きな相関値を持ってしまうことがある。しかしながら、このような検出対象外の点は孤立して出現する特性があるので、対処方法として、図１０のステップＳ１５ｄの２値化の前に、メディアンフィルタを追加することで解消することができる。
【０１２０】
また、カメラ特性が悪い場合、あらかじめ正規化する前に、ある程度以下の第１方式相関値(たとえば、０〜２５５の値域において５以下)は、切リ捨てる処理を追加してもよい。
【０１２１】
また、前記第１の実施の形態では、信号強度はそれ自体が２値化判定スレッシュを決める重要な要因であり、たとえば、黒っぽいものについては、それに応じて（２値化判定スレッシュを）下げるなどの使用条件による適切な設定などが必要であった。しかしながら、第２の実施の形態によれば、判定スレッシュは変動の大きさによらず同一パターンであることを表すので、環境条件による得られるΔＷの大小に影響されないという利点を備えるので、正規化された２値化判定スレッショルドを設定することができる。
【０１２２】
このように、第２の実施の形態によれば、相関係数計算によって、より厳密に「パターンの類似度」だけを評価することができる。したがって、より、変動パターンに相似した外乱があっても、また、変動の小さい第２光源領域周辺のようなドットの値変動列であっても、良好な相関値評価を行うことができる。
【０１２３】
なお、以上の実施の形態では、複数フレームを使って画像を処理するため、検出対象が動いた場合にエッジ部分がずれることがあり、結果として、検出できるのは各フレームで重なっている領域のみになるという問題があるが、撮像素子のフレームレートを上げる等により、動きに伴う検出誤差を許容範囲に収めることが可能になる。
【０１２４】
また、検出対象が動く場合は、複数枚のフレームバッファ間の動きベクトルデータを算出し、フレーム間の動きベクトルを参照し、対応点群のセットを取り出すことで行うなどするとよい。
【０１２５】
以上、説明したとおり、第２の実施の形態によれば、前記第１の実施の形態と比較して、より近似したパターンの外乱、また、より弱い変動の目的パターンも良好に切り出すことができる。また、式（ア）のような厳密な相関値に比べて、遙かに処理負担を引き下げることができ、且つ、信号の有無を判定する処理において、使用条件や環境条件の影響を受けにくいものとすることができる。
【図面の簡単な説明】
【０１２６】
【図１】実施の形態の原理ブロック構成図である。
【図２】自発光型光源と外部照射型光源の具体例である。
【図３】撮影範囲５に四つの被写体が含まれる場合の使用例を示す図である。
【図４】画像処理装置１及び第１光源２〜第３光源４の具体的構成を示す図である。
【図５】画像処理装置１と各光源の間の通信構成図である。
【図６】リングバッファ１２３の画像格納状態を示す図である。
【図７】輝度レベルの時間的変化を示す図である。
【図８】各フレーム時間ｔ０〜ｔ６ごとの輝度レベル実際値及びこれらの実際値を適用して得られた相関値を示すリスト図である。
【図９】画像処理装置１の処理フローを示す図である。
【図１０】図９のステップＳ１５の具体的フローを示す図である。
【図１１】図１０のフローの動作概念図である。
【図１２】変動パターン／処理対応リストの一例を示す図である。
【図１３】各フレーム時間ｔ０〜ｔ６ごとの輝度レベル実際値及びこれらの実際値を適用して得られた相関値を示すリスト図である。
【図１４】輝度レベルの時間的変化を示す図である。
【符号の説明】
【０１２７】
Ｇａ 球状物体像
Ｇｂ 画像オブジェクト
Ｇｃ 上半身像
１ 画像処理装置
２ 第１光源
２ａ 輝点
３ 第２光源
３ｂ 照射光領域
４ 第３光源
４ｂ 照射光領域
５ 撮影範囲
５ａ 球状物体
５ｂ テレビ
５ｃ 立姿人物
６ カメラ
１１ 光源制御部
１２ 画像検出部
１３ 検出領域形状認識処理部
１４ オブジェクト符号化処理部
１５ 効果付け処理装置
１６ 表示装置
１７ ＣＰＵ
１８ タイムスロットカウンタ部
４１ 同期トリガ信号取出部
４３ 変動パターンレジスタ
１１１ 符号クロック部
１１２ 同期トリガ信号出力部
１２１ａ 相関値画像バッファ
１２１ｅ 変動パターンレジスタ
１２２ａ 相関値画像バッファ
１２２ｅ 変動パターンレジスタ
１２３ リングバッファ
１２５ キャプチャフレームバッファ
【技術分野】
【０００１】
本発明は、画像加工システム、光源、撮像装置、及び、画像加工プログラムに関し、詳しくは、撮影画像中の所望領域を切り出したり、撮影画像中の所望位置に他の画像を張り付けたりする等の加工処理を行う際に適用可能な画像加工システム、光源、撮像装置、及び、画像加工プログラムに関する。
【背景技術】
【０００２】
近年、ディジタル画像技術及びそれを用いた撮影装置の普及に伴って、様々な被写体のディジタル画像データを容易に生成できるようになってきた。かかる画像データは、ディジタル信号の特徴（特に加工容易性）から、画像の加工、例えば、撮影画像中の所望領域の切り出しや、撮影画像中の所望位置に他の画像を張り付けたりすることが可能であるため、従来より、以下のような画像処理が行われていた。
【０００３】
（１）専用の加工ツールを用いる方法
画像エディタなどと呼ばれるツールを用いて対象となる画像データを読み込み、所望の領域を人為的に指定して切り出す画像処理方法である。切り出した画像は別名の画像オブジェクトとして保存する。また、撮影画像中の所望位置に他の画像を張り付ける場合は、張り付け位置を同様に人為的に指定した上、その指定位置に、あらかじめ用意されていた張り付け画像の中から所望の張り付け画像を選択して張り付けるという手順を踏む。この方法の欠点は、専用の加工ツールを必要とする点、及び、画像加工用の処理装置（パーソナルコンピュータ等）を必要とする点にあり、結局、撮影現場でリアルタイムな加工を行うことができないという致命的な問題点がある。
【０００４】
（２）色分離による方法
特定の背景色を持った被写体の画像信号の分離技術である。クロマキー分離と呼ばれることもある。一般に青色背景で撮影された被写体の画像信号から青色部分を取り除き、被写体像だけを抽出する。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、上記（２）の方法は、撮影装置に上述の色分離処理機能を搭載しておくことにより、撮影現場でのリアルタイム性が得られるから、上記（１）の欠点を解消できるというメリットがあるものの、特定の背景色を必要とするために、もっぱらスタジオ等のように環境が整えられた特定の現場でしか利用することができず、撮影場所を問わずに汎用的に利用することができないという問題点があった。
【０００６】
本発明が解決しようとする課題は、撮影場所を問わずに、撮影画像中の所望領域を切り出したり、撮影画像中の所望位置に他の画像を張り付けたりする等の加工処理を行うことができる汎用性に優れた画像加工システム、光源、撮像装置、及び、画像加工プログラムを提供することにある。
【課題を解決するための手段】
【０００７】
請求項１記載の発明は、所定の変動パターンを設定する設定手段と、この設定手段によって設定された変動パターンに対応して点滅する光源と、この光源を含む画角、もしくは、この光源が発光することにより照射される画像領域を含む画角を撮像する撮像手段と、 この撮像手段によって撮像された画像を時系列的に処理することにより、前記画角に含まれる前記変動パターンによって輝度が変化する画像領域を抽出する抽出手段と、この抽出手段によって抽出された画像領域から前記変動パターンによって符号化された情報を検出する検出する検出手段と、この検出手段によって検出された情報に基づいて、前記撮像された画像を加工する加工手段と、この加工手段によって加工された結果を表示する表示手段と、を備えることを特徴とする。
【０００８】
請求項２記載の発明は、上記請求項１記載の発明において、前記変動パターンの設定を制御する制御手段を更に備えることを特徴とする。
【０００９】
請求項３記載の発明は、上記請求項１又は２記載の発明において、前記検出手段によって符号化された情報が少なくとも２種類検出されると、これらの情報の優先度を判断する判断手段を更に備え、前記加工手段は更にこの判断手段によって判断された優先度に基づいて前記撮像された画像を加工することを特徴とする。
【００１０】
請求項４記載の発明は、上記請求項１乃至３の何れか記載の発明において、前記加工手段は、前記検出手段によって検出された情報に基づいて、前記抽出された画像領域を切り出す切出手段を含むことを特徴とする。
【００１１】
請求項５記載の発明は、上記請求項１乃至３の何れか記載の発明において、前記加工手段は、前記検出手段によって検出された情報に基づいて、前記撮像された画像に含まれる前記光源対応する画像領域、もしくは、前記抽出された画像領域に任意の画像を合成する合成手段を含むことを特徴とする。
【００１２】
請求項６記載の発明は、撮像装置によって撮像される画角内に存在するか、若しくは、当該画角内を照射する光源であって、前記撮像装置によって撮像される画像の処理内容を所定の変動パターンにして設定する設定手段と、この設定手段によって設定された変動パターンに対応して点滅するよう制御する制御手段とを備えることを特徴とする。
【００１３】
請求項７記載の発明は、所定の変動パターンで点滅する光源を含む画角、もしくは、この光源が発光することにより照射される画像領域を含む画角を撮像する撮像手段と、この撮像手段によって撮像された画像を時系列的に処理することにより、前記画角に含まれる前記変動パターンによって輝度が変化する画像領域を抽出する抽出手段と、この抽出手段によって抽出された画像領域から前記変動パターンによって符号化された情報を検出する検出する検出手段と、この検出手段によって検出された情報に基づいて、前記撮像された画像を加工する加工手段と、この加工手段によって加工された結果を表示する表示手段と、を備えることを特徴とする。
【００１４】
請求項８記載の発明は、上記請求項７記載の発明において、前記検出手段によって符号化された情報が少なくとも２種類検出されると、これらの情報の優先度を判断する判断手段を更に備え、前記加工手段は更にこの判断手段によって判断された優先度に基づいて前記撮像された画像を加工することを特徴とする。
【００１５】
請求項９記載の発明は、上記請求項７又は８記載の発明において、前記加工手段は、前記検出手段によって検出された情報に基づいて、前記抽出された画像領域を切り出す切出手段を含むことを特徴とする。
【００１６】
請求項１０記載の発明は、上記請求項７又は８記載の発明において、前記加工手段は、前記検出手段によって検出された情報に基づいて、前記撮像された画像に含まれる前記光源対応する画像領域、もしくは、前記抽出された画像領域に任意の画像を合成する合成手段を含むことを特徴とする。
【００１７】
請求項１１記載の発明は、コンピュータを、撮像部に対し、所定の変動パターンで点滅する光源を含む画角、もしくは、この光源が発光することにより照射される画像領域を含む画角を撮像させる撮像手段、この撮像手段によって撮像された画像を時系列的に処理することにより、前記画角に含まれる前記変動パターンによって輝度が変化する画像領域を抽出する抽出手段、この抽出手段によって抽出された画像領域から前記変動パターンによって符号化された情報を検出する検出する検出手段、この検出手段によって検出された情報に基づいて、前記撮像された画像を加工する加工手段、この加工手段によって加工された結果を表示部に表示させる表示手段として機能させることを特徴とする。
【発明の効果】
【００１８】
本発明によれば、設定された所定の変動パターンに対応して点滅する光源、もしくは、この光源が発光することにより照射される画像領域を含む画角を撮像すると、この撮像された画像を時系列的に処理して、画角に含まれ、変動パターンによって輝度が変化する画像領域を抽出し、この抽出された画像領域から変動パターンによって符号化された情報を検出する検出し、検出された情報に基づいて、撮像された画像を加工して、この加工した結果を表示するので、撮影場所を問わずに、撮影画像中の所望領域を切り出したり、撮影画像中の所望位置に他の画像を張り付けたりする等の加工処理を行うことができる。
【発明を実施するための最良の形態】
【００１９】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
＜第１の実施の形態＞
図１は、第１の実施の形態の原理ブロック構成図である。この図において、１は画像処理装置、２は第１光源、３は第２光源、４は第３光源、５は撮影範囲、６は撮影装置（以下「カメラ」という。）、１１は光源制御部、１２は画像検出部、１３は検出領域形状認識処理部、１４はオブジェクト符号化処理部である。
【００２０】
撮影範囲５はカメラ６の撮影範囲であり、カメラ６は撮影範囲５内に存在する背景及び被写体（又は複数の被写体からなる被写体群）の像を撮影し、その撮影画像を所定のフレーム周期（例えば、毎秒数十フレーム）で生成出力する。
【００２１】
代表的に示す三つの光源（第１光源２、第２光源３及び第３光源４）は、所定のパターンないしは制御可能なパターンで輝度変化（たとえば点滅；以下点滅で代表する。）を繰り返すものであり、これらは、撮影範囲５の内部で自らが発光する“自発光型”と、当該撮影範囲５の内部に位置する被写体の任意部分又は任意領域に向けて撮影範囲５の外部から光線を照射する“外部照射型”とに分けることができる。以下、便宜上、第１光源２を自発光型、第２及び第３光源３、４を外部照射型として説明することにする。
【００２２】
図２は、特に限定しないが、自発光型光源と外部照射型光源の具体例である。この図において、ＬＥＤ（Light-Emitting Diode）や小型電球等の点光源３５は自らが発光する自発光型光源の一種であり、また、ＥＬ（Electro Luminescent）パネルやＣＲＴ（Cathode Ray Tube）あるいは反射制御型（反射板、印刷体メカ制御又はＬＣＤ：Liquid Crystal Display等）の面光源３６も、自らが発光する自発光型光源の一種である。一方、ビーム光線を照射するレーザポインタ３７は外部照射型光源の一種であり、また、懐中電灯３８も可視光線を照射できるから外部照射型光源の一種である。
【００２３】
したがって、第１光源２には図示の点光源３５又は面光源３６を使用することができ、また、第２及び第３光源３、４には図示のレーザポインタ３７又は懐中電灯３８を使用することができる。なお、レーザポインタ３７や懐中電灯３８を撮影範囲５の内部で用いることとし、その光線をカメラ６に向けて照射することにすれば、これらのレーザポインタ３７や懐中電灯３８も自発光型光源の一種になるから、これらも第１光源２に利用可能である。
【００２４】
カメラ６は、上述のとおり、撮影範囲５の被写体（又は複数の被写体からなる被写体群）の像を撮影し、その撮影画像を所定のフレーム周期（例えば、毎秒数十フレーム）で生成出力するが、第１光源２〜第３光源４が所定のパターンで点滅している場合、カメラ６は、被写体像の情報に加えて、第１光源２〜第３光源４による点滅光のパターン情報を内在するフレーム画像を生成出力する。
【００２５】
光源制御部１１及び画像検出部１２は、互いに駆動タイミングを制御し、第１光源２〜第３光源４のすべて又は一部の点滅パターンが外部制御可能である場合、そのパターン周期のコントロールを行い、且つ、カメラ６からのフレーム画像信号を受け取って、その画像信号中の部分的信号レベル（典型的には輝度レベル）の変動パターンに基づいて自発光型光源の発光位置および外部照射型光源による照射位置・照射領域を特定し、それらの特定情報と画像信号とを画像利用装置（図１では検出領域形状認識処理部１３）に出力する。
【００２６】
図１に示す原理的なブロック構成における画像処理装置１の使用法は、次のとおりである。すなわち、カメラ６の撮影範囲５に存在する被写体（又は被写体群）の任意位置に、自発光型光源である第１光源２を置き、および／または、当該被写体（又は被写体群）の任意領域に、外部照射型光源である第２光源３及び第３光源４（又はそのいずれか一方）からの光を照射するという使い方をするものである。
【００２７】
第１光源２の置き場所や第２光源３及び第３光源４からの光の照射範囲は、画像処理装置１の検出領域形状認識処理部１３が具備する機能に依存する。例えば、撮影画像中の所望領域の切り出し機能を具備していれば、第２光源３及び第３光源４からの光の照射範囲をその切り出し所望領域に合わせることができるし、撮影画像中の所望位置に他の画像を張り付ける機能を具備していれば、第１光源２の置き場所をその画像張り付け位置に合わせることができる。
【００２８】
図３は、撮影範囲５に四つの被写体が含まれる場合の使用例を示す図である。なお、図示の被写体画像はそれぞれ、床に置かれた球状物体５ａ、テレビ５ｂ、片腕を水平に伸ばした立姿人物５ｃ、及び、縦長箱状物体５ｄであるが、これらの被写体例は説明の便宜にすぎない。図３において、立姿人物５ｃの水平腕先には、輝点２ａが描かれている。この輝点２ａは、自発光型光源である第１光源２の発光によるものである。すなわち、図示の立姿人物５ｃの水平腕先には、例えば、図２の点光源３５又は面光源３６が握られているものとする。また、球状物体５ａの全体と立姿人物５ｃの上半身部分には、それぞれ異なる光が照射されており、これらの照射光領域３ｂ、４ｂは、外部照射型光源である第２光源３及び第３光源４の発光によるものである。すなわち、図示の球状物体５ａの全体と立姿人物５ｃの上半身部分には、例えば、図２のレーザポインタ３７又は懐中電灯３８からの照射光が当てられているものとする。
【００２９】
カメラ６は、撮影範囲５の被写体（又は複数の被写体からなる被写体群）の像を撮影し、その撮影画像を所定のフレーム周期（例えば、毎秒数十フレーム）で生成出力するが、その撮影画像には、球状物体５ａ、テレビ５ｂ、立姿人物５ｃ及び縦長箱状物体５ｄの各々の被写体像が含まれている。そして、この被写体像のうち球状物体５ａの像全体は照射光領域３ｂによって所定のパターンで輝度が変動すると共に、立姿人物５ｃの上半身像部分は照射光領域４ｂによって所定のパターンで輝度が変動し、さらに、立姿人物５ｃの水平腕先付近は輝点２ａによって所定のパターンで輝度が変動している。
【００３０】
画像検出部１２は、カメラ６からの画像信号を取り込み、光源制御部１１によって点滅制御されたその画像信号中の部分的信号レベル（典型的には輝度レベル）の変動パターンに基づいて自発光型光源（第１光源２）の発光位置（輝点２ａの位置）および外部照射型光源（第２光源３及び第３光源４）による照射位置・照射領域（照射光領域３ｂ及び４ｂの位置やその領域範囲）を特定し、それらの特定情報と画像信号とを後段に出力する。
【００３１】
ここで、画像処理装置１の主な機能は、例えば、撮影画像中の所望領域の切り出し機能を有するもの、又は、撮影画像中の所望位置に他の画像を張り付ける機能を有するもの（若しくはその両方の機能を有するもの）であり、出力された画像信号と特定情報とを受け取り、その特定情報に基づいて画像信号中から画像の切り出しを行うことができるものである。図３においては、効果付け処理装置１５及び表示装置１６は、画像検出部１２から出力された画像信号と特定情報とを受け取り、その特定情報に基づいて撮影画像中の所望位置に他の画像を張り付け、それを表示するという処理を行うことができるものである。
【００３２】
これらの処理によって得られる画像について、図３に示した撮影範囲５を例にして説明すると、まず、画像の切り出し処理では、撮影画像中の照射光領域３ｂ及び４ｂに含まれる部分画像が切り出されるので、図３の例では、球状物体５ａの全体像と立姿人物５ｃの上半身像が切り出され、図１のオブジェクト符号化部１４により、各々個別に利用可能な画像オブジェクトとしてデータ化することができる。一方、画像の張り付け処理では、撮影画像中の輝点２ａの位置（撮影領域５における画素座標）にあらかじめ用意された画像オブジェクトが張り付けられるので、例えば、図３の効果付け処理装置１５により、任意の画像オブジェクトを輝点２ａの位置に張り付け、それを表示装置１６に出力して表示することができる。
【００３３】
なお、張り付け処理における画像オブジェクトは、発明の原理上、どのようなものであっても構わないが、実用の観点からは元画像に所望の演出効果を付与できるものが好ましい。例えば、“熊のぬいぐるみ”（図１２参照）などの面白みのある画像オブジェクトを張り付けられるようにすれば、立姿人物５ｃにぬいぐるみを持たせたような仮想的な演出効果を与えることができる。
【００３４】
ちなみに、図３の右下に示す画像Ｇは、表示装置１６に出力された加工済画像の例であり、効果付け処理装置１５が画像の切り出し機能と画像の張り付け機能の双方を有している場合を想定したものである。画像Ｇは、第２光源３からの照射光領域３ｂによって切り出された球状物体像Ｇａと、第３光源４からの照射光領域４ｂによって切り出された上半身像Ｇｃと、さらに、第１光源２の輝点２ａの位置に張り付けられた画像オブジェクトＧｂとによって構成されている。
【００３５】
球状物体像Ｇａ及び上半身像Ｇｃは、それぞれ独立して利用可能な画像オブジェクトであるから、例えば、ＭＰＥＧ−４やＭＰＥＧ−７といった今日の高度なマルチメディア規格におけるオブジェクトベース符号化処理にも柔軟に対応できる上、さらに、任意の画像オブジェクトの張り付け加工を可能とするので、撮影現場で、例えば、図１２に示するように、熊のぬいぐるみを張り付けた加工画像を容易に生成することができる。
【００３６】
図４は、図１（又は図３）の画像処理装置１、第２光源３、第３光源４の具体的構成を示す図である。なお、撮影範囲５およびその範囲内に含まれる被写体（球状物体５ａ、テレビ５ｂ、立姿人物５ｃ及び縦長箱状物体５ｄ）並びに照射光領域（照射光領域３ｂ及び４ｂ）や輝点（輝点２ａ）は、図３における同一符号のものと同じものを表している。さらに、図４においては、第１光源を図示していないが、立姿人物５ｃの水平腕先の輝点２ａは第１光源の発光によるものであり、立姿人物５ｃは、図３における第１光源２と同じものを握っているものとする。
【００３７】
図４において、画像処理装置１は、ＣＰＵ１７、変動パターン／処理対応リスト格納部１５１、結果出力画像バッファ１５２、符号クロック部１１１、タイムスロットカウンタ部１８、第１相関処理部１２１、第２相関処理部１２２、リングバッファ１２３、デジタイズ部１２４、キャプチャフレームバッファ１２５、同期トリガ信号出力部１１２及び表示装置１６１などを備える。また、第３光源４は、同期トリガ信号取り出し部４１、発光部４２、変動パターンレジスタ４３、ビットクロック部４４及び符号クロック部４５などを備え、第２光源３も第３光源４と同様の構成要素を備える。
【００３８】
＜画像処理装置１の各構成要素の説明＞
ＣＰＵ１７は、プログラム制御により、画像処理装置１の全体動作を制御し、且つ、第２光源３や第３光源４などの点滅パターンの遠隔制御を行う。変動パターン／処理対応リスト格納部１５１は、変動パターン（各光源２〜４の点滅パターン）ごとにそのパターンと相関関係にある画像領域の処理内容を対応付けてリスト化して格納する機能を有する。これは、相異なる変動パターンを同時に弁別して検出できる本実施の形態において、それぞれの画像領域に、異なる画像処理効果を割り付けるために機能する。結果出力画像バッファ１５２は、ＣＰＵ１７が各変動パターンを検出し、この検出結果に基づく各画像領域における処理（切り出し、消去、置き換え等々）を全て行った結果を統合したものを格納する。
【００３９】
符号クロック部１１１は、変動パターンの全体位相を決定するクロックを発生する。このクロックは、各変動パターン系列の最初のタイミングを指定するものである。画像処理装置１の符号クロックのタイミングは、各光源装置２〜４の点滅パターンの点滅タイミングに比べて、図５（ｂ）（ｃ）に示すようにｔ時間だけやや遅れたものになっている。ｔの値は、画像取りこみが開始する前に照明の点滅遷移が終了しなくてはいけないので、例えば、光源の不安定時間を１ｍｓとすれば、１．５ｍｓ程度である。タイムスロットカウンタ部１８は、変動パターン内の変動タイミングを指定するクロックカウンタである。カメラ６と画像処理装置１とは、各照明のタイムスロットにおいて同期をとることができる構成であり、その周期は、図５（ｃ）に示すように、カメラ６のフレームレートに等しく、位相としては、光源装置に比べてｔ時間だけ遅れたタイミングとなっている。
【００４０】
第１相関処理部１２１は、相関値画像バッファ１２１ａ、２値画像バッファ１２１ｂ、正画像バッファ１２１ｃ、負画像バッファ１２１ｄ及び変動パターンレジスタ１２１ｅを備え、その機能として、撮像された画像を時系列的に変動パターンレジスタで示された点滅パターン処理し、画像内の相関の有無を判定した２値画像として得る。第２相関処理部１２２は、相関値画像バッファ１２２ａ、２値画像バッファ１２２ｂ、正画像バッファ１２２ｃ、負画像バッファ１２２ｄ及び変動パターンレジスタ１２２ｅを備え、第２の検出変動パターンに対して、第１相関処理部１２１と同様の処理を行う。リングバッファ１２３は、撮像される画像の時系列処理に対して、検出したい時間変動パターンごとの相関度を求めるため、過去ｎ枚分の画像を記憶する画像メモリである。いま、光源の変動パターンが、所定のパターンシンボル（たとえば、「１１１０１００」）と一致する輝度変動領域を検出したい場合は、このリングバッファ１２３に格納される画像の枚数は、そのパターンシンボルのシンボル数ｎ（ここではｎ＝７）に相当するｎ枚分である。
【００４１】
なお、パターン長を長くすればするほど（すなわち、シンボル数ｎを多くすればするほど）、自然界の輝度変動と偶然に一致する確率（＝誤検出確率）を飛躍的に低下させることが可能である。しかしながら、背景や周囲に非常に大きい輝度変動があったり、瞬間的な変位の大きい物体が撮像対象となる場合には、より強い照明（と高い検出スレッシュレベル）、または、より長い系列の変動パターンを必要とする。特にちらつく照明があったり、高速移動する物体が存在しない場合、５〜１０ビット（シンボル数ｎ＝５〜１０）の明滅を含む輝度変動照明の照射であれば、人間の肌程度の反射を持つ物体は、輝度の変動にして、５％程度以上の変動を与えることができれば、画像検出は可能である。
【００４２】
デジタイズ部１２４は、カメラ６から取り込んだ画像信号をディジタル画像データに変換する。キャプチャフレームバッファ１２５は、一フレーム分の画像データをバッファリングする。同期トリガ信号出力部１１２は、第２光源３や第３光源４などに対して発光同期用の同期信号を出力する。表示装置１６１は、結果出力された画像を表示する。
【００４３】
＜第３光源４の各構成要素の説明＞
同期トリガ信号取り出し部４１は、画像処理装置１から出力された同期信号を取り込み、符号クロック部４５に出力する。発光部４２は、変動パターンレジスタ４３に設定された変動パターンに対応した点滅パターンで発光し、その光を撮影範囲５の任意領域（図では立姿人物の上半身部分）に照射する。変動パターンレジスタ４３は、発光部４２の発光パターンデータを保持する。ビットクロック部４４は、変動パターンレジスタの、１タイムスロット（変動パターン符号の１ｂｉｔ分）のＯＮ／ＯＦＦタイミングを指定する。符号クロック部４５は、変動パターンレジスタの系列の最初のビットの出力タイミングを指定する。
【００４４】
図４に示す第２光源３及び第３光源４は、その発光の点滅パターンが外部から制御可能になっており、画像処理装置１は、いくつか用意された変動パターンの中から外乱等を考慮して適切なパターンを選択し、その選択パターンを第２光源３や第３光源４に設定する。このパターン設定のために、画像処理装置１と各光源２〜４の間は通信が可能となるように構成されており、例えば、図５（ａ）に示すように、画像処理装置１、第２光源３、及び、第３光源４との間が、コネクタ等でワイヤード接続され、あるいは無線等でワイヤレス接続されている。又は、図４に示すように、一つの光源（図４では第３光源４）を中継機として、画像処理装置１と他の光源（図４では第２光源３）との間が間接的に接続されるものであってもよい。
【００４５】
今、輝点２ａの変動パターンを便宜的に「変動パターン１」とし、且つ、画像処理装置１から第２光源３に対して、上記変動パターン１と異なる他の変動パターン（以下「変動パターン２」という）を設定したものと仮定する。説明を簡単化するために、変動パターン１を「１０００１０１」の繰り返し、変動パターン２を「１１１０１００」の繰り返しとし、光の点滅（オン／オフ）をパターンの“１”、“０”に対応させると、輝点２ａは「オン→オフ→オフ→オフ→オン→オフ→オン」を繰り返すこととなり、また、二つの照射光領域３ｂ、４ｂは「オン→オン→オン→オフ→オン→オフ→オフ」を繰り返すこととなる。
【００４６】
これらの発光パターンは、撮影範囲５の各被写体像とともにカメラ６によって撮影され、所定のフレーム周期で画像処理装置１に出力されると共に、デジタイズ部１２４によってディジタル化された１フレームごとの画像信号がキャプチャフレームバッファ１２５に１画面分展開された後、当該展開画面がリングバッファ１２３に送られ、バッファ０からバッファｎに順次格納されるようになっている。
【００４７】
図５（ｂ）は、撮像側（カメラ６側）のタイミングと光源側（例えば、第２光源３及び第３光源４）のタイミングの対比図であり、撮像側では所定の撮像側フレームクロックに同期した撮像側フレームサンプリングクロックにより、フレーム画像の取り込み（撮影）を行い、一方、光源側では光源側符号フレームクロックに同期した光源側符号出力ビットクロックにより、上述の変動パターン（「１１１０１００」）で発光部４２の点滅を行う。光源出力信号の立ち上がり及び立ち下がりのタイミングは、撮像側符号フレームクロックに対してある時間ｔだけ早くなっており、この時間ｔは、光源出力の動作遷移時間（図５（ｃ）の左下がりハッチング参照）や、撮像側のデータサンプル遅れを考慮した時間に設定されている。
【００４８】
図６は、リングバッファ１２３の画像格納状態を示す図であり、ここではリングバッファ１２３のバッファ数（ｎ）を便宜的に７個とし、各バッファを符号Ｂ０〜Ｂ６で表している。Ｂ０〜Ｂ６の左側に付した符号ｔ０〜ｔ６はそれぞれフレーム時間であり、時間ｔ０のフレーム画像がＢ０に格納されると、次の時間ｔ１のフレーム画像がＢ１に格納され、次の時間ｔ２のフレーム画像がＢ２に格納され、これを繰り返して、時間ｔ６のフレーム画像がＢ６に格納されると、これら７個のフレーム画像を用いて特有の変動パターンを抽出した後、再び、次の時間のフレームを最初のＢ０に格納する。
【００４９】
図６において、Ｂ０〜Ｂ６の格納画像を図示のとおりとすると、Ｂ０の格納画像に含まれる球状物体５ａの全体像と立姿人物５ｃの上半身像は、それぞれ照射光領域３ｂ及び４ｂによって明るくなっており、且つ、立姿人物５ｃの水平腕先付近も輝点２ａによって明るくなっている。同様に、Ｂ１〜Ｂ６についてみると、Ｂ１、Ｂ２及びＢ４でも球状物体５ａの全体像と立姿人物５ｃの上半身像はそれぞれ照射光領域３ｂ及び４ｂによって明るくなっており、一方、Ｂ３、Ｂ５及びＢ６では照射光領域３ｂ及び４ｂがないためにいずれも暗くなっている。また、輝点２ａはＢ４及びＢ６でも存在し、Ｂ１、Ｂ２、Ｂ３及びＢ５では存在しない。
【００５０】
したがって、図示の７個のフレーム画像は、球状物体５ａの全体像及び立姿人物５ｃの上半身像について、「オン→オン→オン→オフ→オン→オフ→オフ」の周期パターン、すなわち、「１１１０１００」の変動パターン２で点滅（輝度変動）する特異画像部分となり、且つ、立姿人物５ｃの水平腕先付近について、「オン→オフ→オフ→オフ→オン→オフ→オン」、すなわち、「１０００１０１」の変動パターン１で点滅する特異画像部分となる。このような特異画像部分は、変動パターンに対し相関度が低い外乱光、例えば、撮影範囲５のテレビ５ｂの輝度ちらつき（フリッカ）に伴う外乱光が含まれていたとしても、以下の理由から、両者を区別（弁別）して、特異画像部分の切り出しや、張り付け等を支障なく行うことができる。
【００５１】
その理由は、以下のように考えることができる。すなわち、今、Ｂ０〜Ｂ６の各格納画像における照射光領域３ｂ及び４ｂと輝点２ａについて、それらの代表座標点（たとえば、領域中央の座標点など）を選び出し、各代表座標点の輝度レベルの時間的変化を図７のとおりとする。図７において、ハッチング付き四角記号のグラフは輝点２ａ（第１光源領域）の輝度レベル変化を表し、三角記号のグラフは照射光領域３ｂ（第２光源領域；立姿人物５ｃへの照射領域）の輝度レベル変化を表し、×記号のグラフは照射光領域４ｂ（第３光源領域；球状物体５ａへの照射領域）の輝度レベル変化を表し、黒菱形記号のグラフは外乱光（テレビ５ｂのフリッカ点灯）の輝度レベル変化を表している。
【００５２】
これら四つのグラフのうち、外乱光の輝度レベル変化を表すグラフについて、その最大輝度レベルや輝度変化幅は、他のグラフよりも意図的に大きくされている。これは、次に述べる相関値算出手法を適用することにより、外乱光に影響されることなく、輝点２ａや照射光領域３ｂ及び４ｂの検出を支障なく行うことができることを強調するためである。
【００５３】
図８は、図７の四つのグラフにおける各フレーム時間ｔ０〜ｔ６ごとの輝度レベル実際値、及び、これらの実際値に、以下の理論に基づく算出式を適用して得られた相関値（パターン１とパターン２の各相関値）を示すリスト図である。このリスト図において、相関値は以下のように求める。上記の値の系列、つまりベクトル間の相関値の算出式は、一般には、相関値＝内積／ノルムで（０〜１の値として）定義される。したがって、相関値ｒは、符号ビット０を−１に対応させて、１，１，１，−１，１，−１，−１とし、ｔ０〜ｔ６も平均を０とするよう正規化して、次式（ア）として表される。
【００５４】
【数１】
【００５５】
なお、本発明のより望ましい形態は、上記式（ア）に従って、厳密な相関値計算を行う方法であるが、本実施の形態では、照明の変動パターンが点滅からなるバイナリ符号であることや、自然界に検出対象と相関度の高い急激なドットデータ変動の頻度が比較的少ないことから、上記式（ア）のような厳密な相関値計算を用いなくても、簡易的な相関度算出処理でも可能である。ちなみに、次式（イ）による方法は、検出スレッシュ設定が厳密な相関値計算よりやや煩雑になるが、通常の相関値計算にあるような、二乗や平方根などのコストのかかる演算を回避しつつ、検出性能を確保することが可能である。以後、この式による値も相関値と呼ぶ。値域は８ｂｉｔ輝度信号であれば、０〜２５５を取る。
【００５６】
相関値＝Σ１／Ｃ１−Σ０／Ｃ０ ・・・・（イ）
【００５７】
但し、Σ１はパターンの論理１に対応する輝度レベルの総和（すなわち、論理１シンボルの総和値）、Ｃ１はパターンの論理１の個数（すなわち、論理１シンボルの個数）、Σ０はパターンの論理０に対応する輝度レベルの総和（すなわち、論理０シンボルの総和値）、Ｃ０はパターンの論理０の個数（すなわち、論理０シンボルの個数）である。
【００５８】
今、パターン１は「１０００１０１」のパターンシンボルを持ち、パターン２は「１１１０１００」のパターンシンボルを持つから、これらパターンごとの式（イ）は、次式（イ−１、イ−２）のようになる。なお、以下において、相関値１はパターン１の相関値、相関値２はパターン２の相関値である。
【００５９】
相関値１＝（ｔ０＋ｔ４＋ｔ６）／３−（ｔ１＋ｔ２＋ｔ３＋ｔ５）／４
‥‥（イ−１）
相関値２＝（ｔ０＋ｔ１＋ｔ２＋ｔ４）／４−（ｔ３＋ｔ５＋ｔ６）／３
‥‥（イ−２）
【００６０】
図８において、ｔ０〜ｔ６のそれぞれで、外乱光の輝度レベルは“１３０”、“２４０”、“２００”、“１９０”、“２２０”、“１０８”、“１１９”となっており、第１光源領域の輝度レベルは“２００”、“６５”、“６０”、“６３”、“２０８”、“５８”、“１９８”となっている。同様に、第２光源領域の輝度レベルは“１２５”、“１２６”、“１２４”、“２９”、“１２４”、“２８”、“３０”、第３光源領域の輝度レベルは“１６５”、“１５５”、“１５２”、“７０”、“１５４”、“８０”、“７１”となっている。
【００６１】
以下、これらの実際値（輝度レベル）を、パターン１及びパターン２のそれぞれについて、上式（イ−１、イ−２）に当てはめた場合の、相関値１及び相関値２の算出方法を例示する。
【００６２】
はじめに、パターン１の相関値（相関値１）を算出する。すなわち、上式（イ−１）を用いて、外乱光、第１〜第３光源領域の各相関値（相関値１）を算出する。パターン１の論理１シンボルはｔ０、ｔ４、ｔ６の位置にあり、その個数（Ｃ１）は“３”である。また、パターン１の論理０シンボルはｔ１、ｔ２、ｔ３、ｔ５の位置にあり、その個数（Ｃ０）は“４”である。
【００６３】
したがって、パターン１の外乱光のΣ１は、ｔ０＋ｔ４＋ｔ６＝“１３０”＋“２２０”＋“１１９”＝“４６９”となり、Σ０は、ｔ１＋ｔ２＋ｔ３＋ｔ５＝“２４０”＋“２００”＋“１９０”＋“１０８”＝“７３８”となり、Ｃ１＝“３”、Ｃ０＝“４”であるから、パターン１の外乱光の相関値１は、上式（イ−１）より、“４６９”／“３”−“７３８”／“４”＝“−２８．１７”となる。
【００６４】
また、パターン１の第１光源領域のΣ１は、ｔ０＋ｔ４＋ｔ６＝“２００”＋“２０８”＋“１９８”＝“６０６”となり、Σ０は、ｔ１＋ｔ２＋ｔ３＋ｔ５＝“６５”＋“６０”＋“６３”＋“５８”＝“２４６”となり、Ｃ１＝“３”、Ｃ０＝“４”であるから、パターン１の第１光源領域の相関値１は、上式（イ−１）より、“６０６”／“３”−“２４６”／“４”＝“１４０．５０”となる。
【００６５】
また、パターン１の第２光源領域のΣ１は、ｔ０＋ｔ４＋ｔ６＝“１２５”＋“１２４”＋“３０”＝“２７９”となり、Σ０は、ｔ１＋ｔ２＋ｔ３＋ｔ５＝“１２６”＋“１２４”＋“２９”＋“２８”＝“３０７”となり、Ｃ１＝“３”、Ｃ０＝“４”であるから、パターン１の第２光源領域の相関値１は、上式（イ−１）より、“２７９”／“３”−“３０７”／“４”＝“１６．２５”となる。
【００６６】
また、パターン１の第３光源領域のΣ１は、ｔ０＋ｔ４＋ｔ６＝“１６５”＋“１５４”＋“７１”＝“３９０”となり、Σ０は、ｔ１＋ｔ２＋ｔ３＋ｔ５＝“１５５”＋“１５２”＋“７０”＋“８０”＝“４５７”となり、Ｃ１＝“３”、Ｃ０＝“４”であるから、パターン１の第３光源領域の相関値１は、上式（イ−１）より、“３９０”／“３”−“４５７”／“４”＝“１５．７５”となる。
【００６７】
次に、パターン２の相関値（相関値２）を算出する。すなわち、上式（イ−２）を用いて、外乱光、第１〜第３光源領域の各相関値（相関値２）を算出する。パターン２の論理１シンボルはｔ０、ｔ１、ｔ２、ｔ４の位置にあり、その個数（Ｃ１）は“４”である。また、パターン２の論理０シンボルはｔ３、ｔ５、ｔ６の位置にあり、その個数（Ｃ０）は“３”である。
【００６８】
したがって、パターン２の外乱光のΣ１は、ｔ０＋ｔ１＋ｔ２＋ｔ４＝“１３０”＋“２４０”＋“２００”＋“２２０”＝“７９０”となり、Σ０は、ｔ３＋ｔ５＋ｔ６＝“１９０”＋“１０８”＋“１１９”＝“４１７”となり、Ｃ１＝“４”、Ｃ０＝“３”であるから、パターン２の外乱光の相関値２は、上式（イ−２）より、“７９０”／“４”−“４１７”／“３”＝“５８，５０”となる。
【００６９】
また、パターン２の第１光源領域のΣ１は、ｔ０＋ｔ１＋ｔ２＋ｔ４＝“２００”＋“６５”＋“６０”＋“２０８”＝“５３３”となり、Σ０は、ｔ３＋ｔ５＋ｔ６＝“６３”＋“５８”＋“１９８”＝“３１９”となり、Ｃ１＝“４”、Ｃ０＝“３”であるから、パターン２の第１光源領域の相関値２は、上式（イ−２）より、“５３３”／“４”−“３１９”／“３”＝“２６．９２”となる。
【００７０】
また、パターン２の第２光源領域のΣ１は、ｔ０＋ｔ１＋ｔ２＋ｔ４＝“１２５”＋“１２６”＋“１２４”＋“１２４”＝“４９９”となり、Σ０は、ｔ３＋ｔ５＋ｔ６＝“２９”＋“２８”＋“３０”＝“８７”となり、Ｃ１＝“４”、Ｃ０＝“３”であるから、パターン２の第２光源領域の相関値２は、上式（イ−２）より、“４９９”／“４”−“８７”／“３”＝“９５．７５”となる。
【００７１】
また、パターン２の第３光源領域のΣ１は、ｔ０＋ｔ１＋ｔ２＋ｔ４＝“１６５”＋“１５５”＋“１５２”＋“１５４”＝“６２６”となり、Σ０は、ｔ３＋ｔ５＋ｔ６＝“７０”＋“８０”＋“７１”＝“２２１”となり、Ｃ１＝“４”、Ｃ０＝“３”であるから、パターン２の第３光源領域の相関値２は、上式（イ−２）より、“６２６”／“４”−“２２１”／“３”＝“８２．８３”となる。
【００７２】
以上の計算によって得られた各相関値（相関値１、相関値２）を比較すると、パターン１については輝点２ａ（第１光源領域）の相関値１（“１４０．５０”）が最大であり、パターン２については照射光領域３ｂ（第２光源領域）の相関値２（“９５．７５”）が最大であり、照射光領域４ｂ（第３光源領域）の相関値２（“８２．８３”）がその次につけている。
【００７３】
したがって、相関値判定用のスレッシュレベルを、例えば、“８０．００”とすると、パターン１については、その最大値を示した輝点２ａ（第１光源領域）の相関値１（“１４０．５０”）だけが抽出されることとなり、また、パターン２については、その最大値を示した照射光領域３ｂ（第２光源領域）の相関値２（“９５．７５”）と、次位の大きさを示した照射光領域４ｂ（第３光源領域）の相関値２（“８２．８３”）が抽出されることとなる。
【００７４】
その結果、外乱光が重畳されている場合であっても、当該外乱光に影響されることなく、輝点２ａや照射光領域３ｂ及び４ｂの検出を支障なく行うことができ、しかも、外乱光の最大輝度レベルや輝度変化幅が輝点２ａや照射光領域３ｂ及び４ｂのそれよりも大きい場合（図８のリスト図は敢えてそのようなレベル関係にしてある。）であっても、上記の検出動作、すなわち、輝点２ａや照射光領域３ｂ及び４ｂの検出を何ら支障なく行うことができる。
【００７５】
図９は、上記第１の実施の形態における画像処理装置１の処理フローを示す図である。同図において、まず、第２光源３や第３光源４（要すれば第１光源２にも）に所要の変動パターンのセット（設定）、当該変動パターンとの処理対応リストのセット（設定）、及び、各光源との同期合わせを行ったり等の初期化を実行する（ステップＳ１１）。次に、カメラ６からの画像信号取り込み（フレームキャプチャ）を待つ（ステップＳ１２）。画像取り込みが行われると、キャプチャフレームバッファ１２５にキャプチャされた画像信号に基づく画像データを、そのときのタイムスロットカウンタ部１８の値（Ｎ）に対応したバッファ（例えば、Ｎ＝０であればリングバッファ１２３のバッファ０）にコピーする（ステップＳ１３）。
【００７６】
次に、モジュロ演算を行って（タイムスロットは、変動パターンが、１１１０１００の長さＬ＝７ビットパターンで表される場合、Ｎ＝０〜６の値を周期的に取る必要があるため）、タイムスロットカウンタ部１８の値を更新し（ステップＳ１４）、各検出変動パターンごとに相関値画像算出や判定２値が像算出等の処理を行い（ステップＳ１５）、パターン１の変動領域が検出された場合（ステップＳ１６）は、変動パターン／処理対応リスト格納部１５１からパターン１用処理指示を取り出し、処理を実行して、結果出力画像バッファ１５２に書き込む（ステップＳ１７）。
【００７７】
変動パターン／処理対応リスト格納部１５１の格納内容が図１２のようなものである場合、上記処理により、変動パタン１により照射された領域（または直接発光領域）の左上座標に、格納されている合成用ＣＧ画像等が書き出される。図６に示した、光源と符号パターンの組み合わせの場合、変動パターン１を設定した第１光源の座標に合成用のＣＧ画像（アニメキャラクタや、小道具の画像その他）が上書きされる。また、パターン２の変動領域が検出された場合（ステップＳ１８）は、同様に、変動パターン／処理対応リスト格納部１５１からパターン２用処理指示を取り出し、処理を実行して、結果出力画像バッファ１５２に書き込む（ステップＳ１９）。
【００７８】
設定および、実使用の様子が、図１２、図６の場合、変動パターン２を設定された、第２、第３光源で照射された、中央の立姿人物の上半身（４ｂ）、および、左下のボール（３ｂ）のみが、切り出されることになる。なお、処理内容の指定により、立ち姿人物の切り出しを行う際、変動パターン１で行う、ＣＧ合成のほうが表示優先度が高いため、このパターン２で対応処理を行っても立ち姿人物の差し出した手が、パターン１で書きこみ合成した、ＣＧ等の上になってしまうことはない。
【００７９】
そして、変動パターン／処理対応リスト格納部１５１から、非検出領域対象処理を実行し（ステップＳ２０）、図６の設定例の場合は、非検出領域に対しては白となるので、図１２、図６の例では、白いバックの中でボールと立姿人物の上半身とが切り出され、あたかもその人物の右手に、合成したＣＧ画像の物体（熊のぬいぐるみ）を持っているような結果出力が得られる。
【００８０】
なお、図４の変動パターン処理結果リスト１５１により、まったく同一の変動照明を用いながら、処理結果はまったく違うものを得ることも可能である。
【００８１】
後は、この結果画像を出力（ステップＳ２１）した後、再びフレームキャプチャ（ステップＳ１２）以降を繰り返す。
【００８２】
図１０は、上記のステップＳ１５の具体的フローであり、このフローでは、変動パターン１の処理と変動パターン２の処理を同時並行的に実行する。すなわち、まず、リングバッファ１２３の各バッファ０〜ｎに含まれる画像信号の中で変動パターンの“１”に相当する部分の加算結果を求め、その加算画像数で割った画像を、正画像バッファ１２１ｃ（変動パターン２の処理フローでは正画像バッファ１２２ｃ）に格納する（ステップＳ１５ａ）。この処理の目的は、格納したバッファの画像系列の中で、輝度が高くなっているべきタイミング（＝照明点灯）での画像の輝度平均を算出することである。
【００８３】
次に、リングバッファ１２３の各バッファ０〜ｎに含まれる画像信号の中で変動パターンの“０”に相当する部分の加算結果を求め、その加算画像数で割った画像を、負画像バッファ１２１ｄ（変動パターン２の処理フローでは正画像バッファ１２２ｄ）に格納する（ステップＳ１５ｂ）。この処理の目的は、輝度が低くなっているべきタイミング（＝照明消灯）での各画像の輝度平均を算出することである。
【００８４】
次に、正画像バッファの格納画像と負画像バッファの格納画像との差分をとり、その差分画像を相関値画像バッファ１２１ａ（変動パターン２の処理フローでは相関値画像バッファ１２２ａ）に格納する（ステップＳ１５ｃ）。 そして、最後に、照明強度／拡散特性、検出物体の反射係数、背景環境の空間的、時間的変動度によって定める一定の値により、相関値画像バッファ１２１ａ（変動パターン２の処理フローでは正画像バッファ１２２ａ）に格納する（ステップＳ１５ｄ）。
【００８５】
図１１は、図１０動作フローの処理の動作概念図である。中央に示した一連の画像バッファを参照することで、変動パターン１、２それぞれの検出処理では、点灯タイミングに対応するビット「１」および消灯に対応するビット「０」に対応する画像群が加算・平均されそれらの差分画像を、該当パターンの相関画像として得られる様子を示している。
【００８６】
以上のことから、本実施の形態によれば、撮影場所を問わずに、撮影画像中の所望領域を切り出したり、撮影画像中の所望位置に他の画像を張り付けたりする等の加工処理を行うことができる汎用性に優れた画像処理方法及び画像処理装置を提供することができるうえ、とりわけ外乱光に晒される撮影現場であっても、その外乱光の影響を受けることなく、撮影範囲５の画像信号の中から輝点２ｂや照射光領域３ｂ及び４ｂの検出を行うことができ、所望領域の画像オブジェクト切り出しや、所望位置への画像オブジェクトの張り付け等を行うことができるという格別有益な効果が得られる。
【００８７】
また、輝点２ｂや照射光領域３ｂ及び４ｂの変動パターン（明滅パターン）と画像加工処理の内容とを対応付けしたデータ（変動パターン／処理対応リスト）を変動パターン／処理対応リスト格納部１５１に格納し、実際に検出された輝点２ｂや照射光領域３ｂ及び４ｂの変動パターンと変動パターン／処理対応リストとを照合して、そのリストから、実行すべき画像加工処理の種別（画像の張り付け又は切り出し）を取り出すようにしているため、いちいち、撮像側（カメラ６側）で画像加工の種別を指定する必要がなく、操作性の簡素化を図ることができる。
【００８８】
＜第２の実施の形態＞
次に、本発明の第２の実施の形態について説明する。
まず、前記第１の実施の形態では、式（イ）で示した簡略的な相関値評価式を用いることにより、検出すべきパターンについて、他の画像領域の輝度等の変動(＝外乱)の影響を受けることなく、目的とする信号領域だけを検出することができるとしている。
【００８９】
しかしながら、前記第１の実施の形態における簡略的な相関値評価式（式（イ））は、より巌しい環境条件の場合、たとえば、外乱光の変動成分に検出パターン変動の１タイムスロットにきわめて近い瞬間的変動が多発するような画像領域が含まれる場合において、「変動の大きな外乱信号に影響されない、したがって、誤検出しない」という性能を完全に満たすことが困難であるという欠点が予想される。
【００９０】
このような厳しい環境条件を想定した場合、前記第１の実施の形態では、（１）パターンのビット数を増やす、または、（２）照射や発光光源の輝度を上げて、より大きな変動を与えるようにし、図１０のステップＳ１５ｄにおける２値化画像取得のための判定スレッショルドを上げる(＝判定条件を厳しくする)という、いずれかの対策をとる必要があるが、（１）の場合、その対策は処理においてオーバヘッドの増加を招く欠点があり、また、（２）の場合、その対策は検出感度が低下する欠点がある。
【００９１】
そこで、第２の実施の形態では、相関値評価式に正規化処理を加えることにより、より簡便で、しかも、上記の厳しい環境条件を想定した場合においても、良好な特性の相関値取得を可能とすることができるように改良した場合について詳述するものである。
なお、第２の実施の形態のブロツク構成図等は、前記第１の実施の形態と同一であるため図示等を省略し、また、処理フロー等についても相関値に係わる部分が第２の実施の形態に特有の処理になっている以外はすべて同一であるから、これも図示等を省略する。
【００９２】
第２の実施の形態のポイントは、前記第１の実施の形態で示した簡略的な相関値評価式（式（イ））の代わりに、次式（ウ）を使用することにある。
【００９３】
相関値＝（〔前式（イ）〕／ΔＷ）×ｃｏｎｓｔ ・・・・（ウ）
ΔＷ＝ｍａｘ（t０・・・・t６）−ｍｉｎ（t０・・・・t６） ・・・・（エ）
【００９４】
但し、ｍａｘ（引数）は引数で与えられたデータの最大値を返すｍａｘ関数、ｍｉｎ（引数）は引数で与えられたデータの最小値を返すｍｉｎ関数である。なお、式（ウ）において、ｃｏｎｓｔは乗算係数（たとえば、ｃｏｎｓｔ＝“２５５”）である。ｃｏｎｓｔを乗じているのは、最大０〜１の値を扱いやすいドット信号輝度範囲０〜２５５の値域に変換するためのである。ｃｏｎｓｔの値は、対象とする値域によっては“２５５”以外になることはいうまでもない。
【００９５】
前記第１の実施の形態と同様に、パターン１のパターンシンボルは「１０００１０１」であり、パターン２のパターンシンボルは「１１１０１００」であるものとする。これらパターンごとの式（ウ）は、次式（ウ−１、ウ−２）のようになる。なお、以下において、相関値１はパターン１の相関値、相関値２はパターン２の相関値である。
【００９６】
相関値１＝（（（ｔ０＋ｔ４＋ｔ６）／３
−（ｔ１＋ｔ２＋ｔ３＋ｔ５）／４）／ΔＷ）×２５５
‥‥（ウ−１）
相関値２＝（（（ｔ０＋ｔ１＋ｔ２＋ｔ４）／４
−（ｔ３＋ｔ５＋ｔ６）／３）／ΔＷ）×２５５
‥‥（ウ−２）
【００９７】
図１３において、ｔ０〜ｔ６のそれぞれで、第１光源領域の輝度レベルは“２００”、“６５”、“６０”、“６３”、“２０８”、“５８”、“１９８”となっており、同様に、第２光源領域の輝度レベルは“１２５”、“１２６”、“１２４”、“２９”、“１２４”、“２８”、“３０”、第３光源領域の輝度レベルは“１６５”、“１５５”、“１５２”、“７０”、“１５４”、“８０”、“７１”となっている。
【００９８】
これら第１〜第３光源領域の輝度レベル値の例は、前記第１の実施の形態（図８）と同一であるが、外乱光の輝度レベルについては、上記の厳しい環境条件を想定した、たとえば、“２５０”、“２４０”、“２５５”、“１００”、“３０”、“８０”、“１１９”となっている点で相違する。なお、第２光源領域周縁とは、第２光源領域（立姿人物５ｃへの照射領域）のエッジ部分のことをいう。これは、このエッジ部分における第１の実施の形態の不都合を説明するために、敢えて追加したものである。
【００９９】
ここで、図１３の各代表座標点の輝度レベルの時間的変化を図１４のとおりとする。図１４において、ハッチング付き四角記号のグラフは輝点２ａ（第１光源領域）の輝度レベル変化を表し、三角記号のグラフは照射光領域３ｂ（第２光源領域；立姿人物５ｃへの照射領域）の輝度レベル変化を表し、×記号のグラフは照射光領域４ｂ（第３光源領域；球状物体５ａへの照射領域）の輝度レベル変化を表し、丸記号のグラフは照射光源領域４ｂのエッジ（第３光源領域周縁；立姿人物５ｃへの照射領域エッジ）の輝度レベル変化を表し、黒菱形記号のグラフは外乱光（テレビ５ｂのフリッカ点灯）の輝度レベル変化を表している。なお、立姿人物５ｃは黒色の服を着ているものとする。すなわち、第３光源領域周縁は、黒色服のエッジを表している。
【０１００】
図１３の例に、前記第１の実施の形態における式（イ）を適用した場合、以下に詳述するように、外乱光を確実に排除できず、さらに、第２光源領域周縁も抽出できないという不都合を生じるが、第２の実施の形態における式（ウ）を適用した場合、このような不都合を生じることがない。
【０１０１】
以下、図１３の例に、前記第１の実施の形態における式（イ）を適用した場合の相関値を、パターン１について「相関値１Ａ」、パターン２について「相関値２Ａ」ということとし、さらに、第２の実施の形態の式（ウ）を適用した場合の相関値を、パターン１については「相関値１Ｂ」といい、パターン２について「相関値２Ｂ」ということとして、それぞれの相関値（相関値１Ａ、２Ａ、１Ｂ、２Ｂ）の算出方法を例示する。
【０１０２】
同図において、相関値１Ａは式（イ）を適用して算出したパターン１の相関値、相関値２Ａは式（イ）を適用して算出したパターン２の相関値であり、これらの相関値１Ａ、２Ａは、前記第１の実施の形態における相関値に相当するものである。また、相関値１Ｂは式（ウ）を適用して算出したパターン１の相関値、相関値２Ｂは式（ウ）を適用して算出したパターン２の相関値であり、これらの相関値１Ｂ、２Ｂは第２の実施の形態に特有のものである。
【０１０３】
また、相関値１Ａ及び相関値２Ａの値は、外乱光と第２光源領域周縁を除き、前記第１の実施の形態における計算結果（図８参照）と同一である。すなわち、第１光源領域〜第３光源領域の相関値１Ａはそれぞれ“１４０．５０”、“１６．２５”、“１５．７５”、相関値２Ａはそれぞれ“２６．９２”、“９５．７５”、“８２．８３”であり、これらの値は、前記第１の実施の形態における計算結果（図８参照）と同一である。
【０１０４】
前記第１の実施の形態と相違する外乱光と第２光源領域周縁のそれぞれの相関値１Ａ及び相関値２Ａは、式（イ）を適用して、次のようにして求められる。すなわち、図１３において、ｔ０〜ｔ６のそれぞれで、外乱光の輝度レベルは“２５０”、“２４０”、“２５５”、“１００”、“３０”、“８０”、“１１９” であり、また、第２光源領域周縁の輝度レベルは“７０”、“６９”、“６９”、“２０”、“６８”、“２１”、“２０” である。
【０１０５】
パターン１の論理１シンボルはｔ０、ｔ４、ｔ６の位置にあり、その個数（Ｃ１）は“３”である。また、パターン１の論理０シンボルはｔ１、ｔ２、ｔ３、ｔ５の位置にあり、その個数（Ｃ０）は“４”である。したがって、パターン１の外乱光のΣ１は、ｔ０＋ｔ４＋ｔ６＝“２５０”＋“３０”＋“１１９”＝“３９９”となり、Σ０は、ｔ１＋ｔ２＋ｔ３＋ｔ５＝“２４０”＋“２５５”＋“１００”＋“８０”＝“６７５”となり、Ｃ１＝“３”、Ｃ０＝“４”であるから、パターン１の外乱光の相関値１Ａは、上式（イ−１）より、“３９９”／“３”−“６７５”／“４”＝“−３５．７５”となる。
【０１０６】
また、パターン１の第２光源領域周縁のΣ１は、ｔ０＋ｔ４＋ｔ６＝“７０”＋“６８”＋“２０”＝“１５８”となり、Σ０は、ｔ１＋ｔ２＋ｔ３＋ｔ５＝“６９”＋“６９”＋“２０”＋“２１”＝“１７９”となり、Ｃ１＝“３”、Ｃ０＝“４”であるから、パターン１の第２光源領域周縁の相関値１Ａは、上式（イ−１）より、“１５８”／“３”−“１７９”／“４”＝“７．９２”となる。
【０１０７】
パターン２の論理１シンボルはｔ０、ｔ１、ｔ２、ｔ４の位置にあり、その個数（Ｃ１）は“４”である。また、パターン２の論理０シンボルはｔ３、ｔ５、ｔ６の位置にあり、その個数（Ｃ０）は“３”である。したがって、パターン２の外乱光のΣ１は、ｔ０＋ｔ１＋ｔ２＋ｔ４＝“２５０”＋“２４０”＋“２５５”＋“３０”＝“７７５”となり、Σ０は、ｔ３＋ｔ５＋ｔ６＝“１００”＋“８０”＋“１１９”＝“２９９”となり、Ｃ１＝“４”、Ｃ０＝“３”であるから、パターン２の外乱光の相関値２Ａは、上式（イ−２）より、“７７５”／“４”−“２９９”／“３”＝“９４．０８”となる。
【０１０８】
また、パターン２の第２光源領域周縁のΣ１は、ｔ０＋ｔ１＋ｔ２＋ｔ４＝“７０”＋“６９”＋“６９”＋“６８”＝“２７６”となり、Σ０は、ｔ３＋ｔ５＋ｔ６＝“２０”＋“２１”＋“２０”＝“６１”となり、Ｃ１＝“４”、Ｃ０＝“３”であるから、パターン２の第２光源領域周縁の相関値２Ａは、上式（イ−２）より、“２７６”／“４”−“６１”／“３”＝“４８．６７”となる。
【０１０９】
次に、図１３の例に、第２の実施の形態における式（ウ）を適用して、パターン１の「相関値１Ｂ」とパターン２の「相関値２Ｂ」をすべて算出する。
まず、式（ウ）のΔＷ項を計算する。図１３において、ｔ０〜ｔ６のうち最大値を持つシンボルに着目すると、外乱光はｔ２の“２５５”、第１光源領域はｔ４の“２０８”、第２光源領域はｔ１の“１２６”、第３光源領域はｔ０の“１６５”、第２光源領域周縁はｔ０の“７０”である。また、ｔ０〜ｔ６のうち最小値を持つシンボルに着目すると、外乱光はｔ４の“３０”、第１光源領域はｔ５の“５８”、第２光源領域はｔ５の“２８”、第３光源領域はｔ３の“７０”、第２光源領域周縁はｔ３の“２０”である。
【０１１０】
したがって、外乱光のΔＷをΔＷ０、第１光源領域のΔＷをΔＷ１、第２光源領域のΔＷをΔＷ２、第３光源領域のΔＷをΔＷ３、及び、第２光源領域周縁のΔＷをΔＷ４と呼ぶことにすると、式（エ）より、ΔＷ０＝“２５５”−“３０”＝“２２５”、ΔＷ１＝“２０８”−“５８”＝“１５０”、ΔＷ２＝“１２６”−“２８”＝“９８”、ΔＷ３＝“１６５”−“７０”＝“９５”、ΔＷ４＝“７０”−“２０”＝“５０”となる。
【０１１１】
＜相関値１Ｂ＞
図１３の例におけるパターン１の相関値（相関値１Ｂ）は、式（ウ−１）より、相関値１ＡをΔＷで除算し、それにｃｏｎｓｔ＝“２５５”を乗じた値で与えられる。したがって、外乱光の相関値１Ａは“−３５．７５”、ΔＷ０は“２２５”であるから、“−４０．５２”が得られる。
【０１１２】
同様に、第１光源領域の相関値１Ａは“１４０．５０”、ΔＷ１は“１５０”であるから、“２３８．８５”が得られ、第２光源領域の相関値１Ａは“１６．２５”、ΔＷ２は“９８”であるから、“４２．２８”が得られる。また、第３光源領域の相関値１Ａは“１５．７５”、ΔＷ３は“９５”であるから、“４２．２８”が得られ、第２光源領域周縁の相関値１Ａは“７．９２”、ΔＷ４は“５０”であるから、“４０．３９”が得られる。
【０１１３】
＜相関値２Ｂ＞
図１３の例におけるパターン２の相関値（相関値２Ｂ）は、式（ウ−２）より、相関値２ＡをΔＷで除算し、それにｃｏｎｓｔ＝“２５５”を乗じた値で与えられる。したがって、外乱光の相関値２Ａは“９４．０８”、ΔＷ０は“２２５”であるから、“１０６．６３”が得られる。
【０１１４】
同様に、第１光源領域の相関値２Ａは“２６．９２”、ΔＷ１は“１５０”であるから、“４５．７６”が得られ、第２光源領域の相関値２Ａは“９５．７５”、ΔＷ２は“９８”であるから、“２４９．１５”が得られる。また、第３光源領域の相関値２Ａは“８２．８３”、ΔＷ３は“９５”であるから、“２２２．３４”が得られ、第２光源領域周縁の相関値２Ａは“４８．６７”、ΔＷ４は“５０”であるから、“２４８．２２”が得られる。
【０１１５】
＜各相関値の評価＞
さて、以上の計算により、図１３におけるすべての相関値（相関値１Ａ、２Ａ、１Ｂ、２Ｂ）が明らかになった。このうちの相関値１Ａ、２Ａについては、式（イ）を適用して求めたもの、すなわち、前記第１の実施の形態によるものである。
【０１１６】
不都合の実例は、図１３において、外乱光の相関値２Ａ（“９４．０８”）と第２光源領域周縁の相関値２Ａ（“４８．６７”）に見ることができる。
すなわち、外乱光の相関値２Ａは“９４．０８”という大きな値であるため、しきい値（たとえば、“８０．００”）を上回ってしまい分離することができないという不都合がある。また、第２光源領域周縁の相関値２Ａは“４８．６７”という小さな値であるため、しきい値（たとえば、“８０．００”）を下回ってしまい、抽出することができないという不都合がある。
【０１１７】
これに対して、式（ウ）を適用して求めた相関値、すなわち、第２の実施の形態によって求めた相関値１Ｂ及び２Ｂは、たとえば、外乱光の相関値２Ｂは“１０６．６３”、第２光源領域周縁の相関値２Ｂは“２４８．２２”であるため、適当なしきい値（たとえば、“２００．００”）を使用することにより、外乱光の相関値２Ｂ（“１０６．６３”）を除外することができ、且つ、第２光源領域周縁の相関値２Ｂ（“２４８．２２”）を抽出することができ、前記第１の実施の形態の不都合を解消することができる。
【０１１８】
以上、説明したとおり、第２の実施の形態にあっては、より巌しい環境条件の場合、たとえば、外乱の変動成分に検出パターン変動の１タイムスロットにきわめて近い瞬間的変動が多発するような画像領域が含まれる場合において、「変動の大きな外乱信号に影響されない、したがって、誤検出しない」という性能を完全に満たすことができるという格別のメリットが得られる。
【０１１９】
なお、第２の実施の形態の処理は、カメラノイズなどによるフレームごとのサンプリングレベル変動のような、微小な変動列が正規化処理により大きい値が乗じられる可能性があり、検出対象外となるべき点が、偶然大きな相関値を持ってしまうことがある。しかしながら、このような検出対象外の点は孤立して出現する特性があるので、対処方法として、図１０のステップＳ１５ｄの２値化の前に、メディアンフィルタを追加することで解消することができる。
【０１２０】
また、カメラ特性が悪い場合、あらかじめ正規化する前に、ある程度以下の第１方式相関値(たとえば、０〜２５５の値域において５以下)は、切リ捨てる処理を追加してもよい。
【０１２１】
また、前記第１の実施の形態では、信号強度はそれ自体が２値化判定スレッシュを決める重要な要因であり、たとえば、黒っぽいものについては、それに応じて（２値化判定スレッシュを）下げるなどの使用条件による適切な設定などが必要であった。しかしながら、第２の実施の形態によれば、判定スレッシュは変動の大きさによらず同一パターンであることを表すので、環境条件による得られるΔＷの大小に影響されないという利点を備えるので、正規化された２値化判定スレッショルドを設定することができる。
【０１２２】
このように、第２の実施の形態によれば、相関係数計算によって、より厳密に「パターンの類似度」だけを評価することができる。したがって、より、変動パターンに相似した外乱があっても、また、変動の小さい第２光源領域周辺のようなドットの値変動列であっても、良好な相関値評価を行うことができる。
【０１２３】
なお、以上の実施の形態では、複数フレームを使って画像を処理するため、検出対象が動いた場合にエッジ部分がずれることがあり、結果として、検出できるのは各フレームで重なっている領域のみになるという問題があるが、撮像素子のフレームレートを上げる等により、動きに伴う検出誤差を許容範囲に収めることが可能になる。
【０１２４】
また、検出対象が動く場合は、複数枚のフレームバッファ間の動きベクトルデータを算出し、フレーム間の動きベクトルを参照し、対応点群のセットを取り出すことで行うなどするとよい。
【０１２５】
以上、説明したとおり、第２の実施の形態によれば、前記第１の実施の形態と比較して、より近似したパターンの外乱、また、より弱い変動の目的パターンも良好に切り出すことができる。また、式（ア）のような厳密な相関値に比べて、遙かに処理負担を引き下げることができ、且つ、信号の有無を判定する処理において、使用条件や環境条件の影響を受けにくいものとすることができる。
【図面の簡単な説明】
【０１２６】
【図１】実施の形態の原理ブロック構成図である。
【図２】自発光型光源と外部照射型光源の具体例である。
【図３】撮影範囲５に四つの被写体が含まれる場合の使用例を示す図である。
【図４】画像処理装置１及び第１光源２〜第３光源４の具体的構成を示す図である。
【図５】画像処理装置１と各光源の間の通信構成図である。
【図６】リングバッファ１２３の画像格納状態を示す図である。
【図７】輝度レベルの時間的変化を示す図である。
【図８】各フレーム時間ｔ０〜ｔ６ごとの輝度レベル実際値及びこれらの実際値を適用して得られた相関値を示すリスト図である。
【図９】画像処理装置１の処理フローを示す図である。
【図１０】図９のステップＳ１５の具体的フローを示す図である。
【図１１】図１０のフローの動作概念図である。
【図１２】変動パターン／処理対応リストの一例を示す図である。
【図１３】各フレーム時間ｔ０〜ｔ６ごとの輝度レベル実際値及びこれらの実際値を適用して得られた相関値を示すリスト図である。
【図１４】輝度レベルの時間的変化を示す図である。
【符号の説明】
【０１２７】
Ｇａ 球状物体像
Ｇｂ 画像オブジェクト
Ｇｃ 上半身像
１ 画像処理装置
２ 第１光源
２ａ 輝点
３ 第２光源
３ｂ 照射光領域
４ 第３光源
４ｂ 照射光領域
５ 撮影範囲
５ａ 球状物体
５ｂ テレビ
５ｃ 立姿人物
６ カメラ
１１ 光源制御部
１２ 画像検出部
１３ 検出領域形状認識処理部
１４ オブジェクト符号化処理部
１５ 効果付け処理装置
１６ 表示装置
１７ ＣＰＵ
１８ タイムスロットカウンタ部
４１ 同期トリガ信号取出部
４３ 変動パターンレジスタ
１１１ 符号クロック部
１１２ 同期トリガ信号出力部
１２１ａ 相関値画像バッファ
１２１ｅ 変動パターンレジスタ
１２２ａ 相関値画像バッファ
１２２ｅ 変動パターンレジスタ
１２３ リングバッファ
１２５ キャプチャフレームバッファ
【特許請求の範囲】
【請求項１】
所定の変動パターンを設定する設定手段と、
この設定手段によって設定された変動パターンに対応して点滅する光源と、
この光源を含む画角、もしくは、この光源が発光することにより照射される画像領域を含む画角を撮像する撮像手段と、
この撮像手段によって撮像された画像を時系列的に処理することにより、前記画角に含まれる前記変動パターンによって輝度が変化する画像領域を抽出する抽出手段と、
この抽出手段によって抽出された画像領域から前記変動パターンによって符号化された情報を検出する検出する検出手段と、
この検出手段によって検出された情報に基づいて、前記撮像された画像を加工する加工手段と、
この加工手段によって加工された結果を表示する表示手段と、
を備えることを特徴とする画像加工システム。
【請求項２】
前記変動パターンの設定を制御する制御手段を更に備えることを特徴とする請求項１記載の画像加工システム。
【請求項３】
前記検出手段によって符号化された情報が少なくとも２種類検出されると、これらの情報の優先度を判断する判断手段を更に備え、
前記加工手段は更にこの判断手段によって判断された優先度に基づいて前記撮像された画像を加工することを特徴とする請求項１又は２記載の画像加工システム。
【請求項４】
前記加工手段は、前記検出手段によって検出された情報に基づいて、前記抽出された画像領域を切り出す切出手段を含むことを特徴とする請求項１乃至３の何れか記載の画像加工システム。
【請求項５】
前記加工手段は、前記検出手段によって検出された情報に基づいて、前記撮像された画像に含まれる前記光源対応する画像領域、もしくは、前記抽出された画像領域に任意の画像を合成する合成手段を含むことを特徴とする請求項１乃至３の何れか記載の画像加工システム。
【請求項６】
撮像装置によって撮像される画角内に存在するか、若しくは、当該画角内を照射する光源であって、
前記撮像装置によって撮像される画像の処理内容を所定の変動パターンにして設定する設定手段と、
この設定手段によって設定された変動パターンに対応して点滅するよう制御する制御手段と
を備えることを特徴とする光源。
【請求項７】
所定の変動パターンで点滅する光源を含む画角、もしくは、この光源が発光することにより照射される画像領域を含む画角を撮像する撮像手段と、
この撮像手段によって撮像された画像を時系列的に処理することにより、前記画角に含まれる前記変動パターンによって輝度が変化する画像領域を抽出する抽出手段と、
この抽出手段によって抽出された画像領域から前記変動パターンによって符号化された情報を検出する検出する検出手段と、
この検出手段によって検出された情報に基づいて、前記撮像された画像を加工する加工手段と、
この加工手段によって加工された結果を表示する表示手段と、
を備えることを特徴とする撮像装置。
【請求項８】
前記検出手段によって符号化された情報が少なくとも２種類検出されると、これらの情報の優先度を判断する判断手段を更に備え、
前記加工手段は更にこの判断手段によって判断された優先度に基づいて前記撮像された画像を加工することを特徴とする請求項７記載の撮像装置。
【請求項９】
前記加工手段は、前記検出手段によって検出された情報に基づいて、前記抽出された画像領域を切り出す切出手段を含むことを特徴とする請求項７又は８記載の撮像装置。
【請求項１０】
前記加工手段は、前記検出手段によって検出された情報に基づいて、前記撮像された画像に含まれる前記光源対応する画像領域、もしくは、前記抽出された画像領域に任意の画像を合成する合成手段を含むことを特徴とする請求項７又は８記載の撮像装置。
【請求項１１】
コンピュータを、
撮像部に対し、所定の変動パターンで点滅する光源を含む画角、もしくは、この光源が発光することにより照射される画像領域を含む画角を撮像させる撮像手段、
この撮像手段によって撮像された画像を時系列的に処理することにより、前記画角に含まれる前記変動パターンによって輝度が変化する画像領域を抽出する抽出手段、
この抽出手段によって抽出された画像領域から前記変動パターンによって符号化された情報を検出する検出する検出手段、
この検出手段によって検出された情報に基づいて、前記撮像された画像を加工する加工手段、
この加工手段によって加工された結果を表示部に表示させる表示手段
として機能させることを特徴とする画像加工プログラム。
【請求項１】
所定の変動パターンを設定する設定手段と、
この設定手段によって設定された変動パターンに対応して点滅する光源と、
この光源を含む画角、もしくは、この光源が発光することにより照射される画像領域を含む画角を撮像する撮像手段と、
この撮像手段によって撮像された画像を時系列的に処理することにより、前記画角に含まれる前記変動パターンによって輝度が変化する画像領域を抽出する抽出手段と、
この抽出手段によって抽出された画像領域から前記変動パターンによって符号化された情報を検出する検出する検出手段と、
この検出手段によって検出された情報に基づいて、前記撮像された画像を加工する加工手段と、
この加工手段によって加工された結果を表示する表示手段と、
を備えることを特徴とする画像加工システム。
【請求項２】
前記変動パターンの設定を制御する制御手段を更に備えることを特徴とする請求項１記載の画像加工システム。
【請求項３】
前記検出手段によって符号化された情報が少なくとも２種類検出されると、これらの情報の優先度を判断する判断手段を更に備え、
前記加工手段は更にこの判断手段によって判断された優先度に基づいて前記撮像された画像を加工することを特徴とする請求項１又は２記載の画像加工システム。
【請求項４】
前記加工手段は、前記検出手段によって検出された情報に基づいて、前記抽出された画像領域を切り出す切出手段を含むことを特徴とする請求項１乃至３の何れか記載の画像加工システム。
【請求項５】
前記加工手段は、前記検出手段によって検出された情報に基づいて、前記撮像された画像に含まれる前記光源対応する画像領域、もしくは、前記抽出された画像領域に任意の画像を合成する合成手段を含むことを特徴とする請求項１乃至３の何れか記載の画像加工システム。
【請求項６】
撮像装置によって撮像される画角内に存在するか、若しくは、当該画角内を照射する光源であって、
前記撮像装置によって撮像される画像の処理内容を所定の変動パターンにして設定する設定手段と、
この設定手段によって設定された変動パターンに対応して点滅するよう制御する制御手段と
を備えることを特徴とする光源。
【請求項７】
所定の変動パターンで点滅する光源を含む画角、もしくは、この光源が発光することにより照射される画像領域を含む画角を撮像する撮像手段と、
この撮像手段によって撮像された画像を時系列的に処理することにより、前記画角に含まれる前記変動パターンによって輝度が変化する画像領域を抽出する抽出手段と、
この抽出手段によって抽出された画像領域から前記変動パターンによって符号化された情報を検出する検出する検出手段と、
この検出手段によって検出された情報に基づいて、前記撮像された画像を加工する加工手段と、
この加工手段によって加工された結果を表示する表示手段と、
を備えることを特徴とする撮像装置。
【請求項８】
前記検出手段によって符号化された情報が少なくとも２種類検出されると、これらの情報の優先度を判断する判断手段を更に備え、
前記加工手段は更にこの判断手段によって判断された優先度に基づいて前記撮像された画像を加工することを特徴とする請求項７記載の撮像装置。
【請求項９】
前記加工手段は、前記検出手段によって検出された情報に基づいて、前記抽出された画像領域を切り出す切出手段を含むことを特徴とする請求項７又は８記載の撮像装置。
【請求項１０】
前記加工手段は、前記検出手段によって検出された情報に基づいて、前記撮像された画像に含まれる前記光源対応する画像領域、もしくは、前記抽出された画像領域に任意の画像を合成する合成手段を含むことを特徴とする請求項７又は８記載の撮像装置。
【請求項１１】
コンピュータを、
撮像部に対し、所定の変動パターンで点滅する光源を含む画角、もしくは、この光源が発光することにより照射される画像領域を含む画角を撮像させる撮像手段、
この撮像手段によって撮像された画像を時系列的に処理することにより、前記画角に含まれる前記変動パターンによって輝度が変化する画像領域を抽出する抽出手段、
この抽出手段によって抽出された画像領域から前記変動パターンによって符号化された情報を検出する検出する検出手段、
この検出手段によって検出された情報に基づいて、前記撮像された画像を加工する加工手段、
この加工手段によって加工された結果を表示部に表示させる表示手段
として機能させることを特徴とする画像加工プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２００７−１８９７３０（Ｐ２００７−１８９７３０Ａ）
【公開日】平成１９年７月２６日（２００７．７．２６）
【国際特許分類】
【出願番号】特願２００７−４８２２８（Ｐ２００７−４８２２８）
【出願日】平成１９年２月２８日（２００７．２．２８）
【分割の表示】特願２００１−２８６８９１（Ｐ２００１−２８６８９１）の分割
【原出願日】平成１３年９月２０日（２００１．９．２０）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
【公開日】平成１９年７月２６日（２００７．７．２６）
【国際特許分類】
【出願日】平成１９年２月２８日（２００７．２．２８）
【分割の表示】特願２００１−２８６８９１（Ｐ２００１−２８６８９１）の分割
【原出願日】平成１３年９月２０日（２００１．９．２０）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
[ Back to top ]