画像処理方法及び画像処理装置
本発明は有効又は無効な画素で構成された１個の画像中で重なり合う第１の画像オブジェクトから第２の線状画像オブジェクトを除去する画像処理技術である。そして、第２の線状画像オブジェクトから線分抽出を行う線分抽出ステップ、第１の画像オブジェクトから、第２の線状画像オブジェクトを除去する除去ステップ、該第１の画像オブジェクト上の該線分近傍領域を走査し、該走査対象画素を順に抽出する画素抽出ステップ、該抽出された走査対象画素が有効画素か否かを判定する有効画素判断ステップ、該有効画素判断ステップにおいて有効画素と判定された走査対象画素から直近の線分に向けた垂線を導出し、該垂線上の全ての画素を有効画素にする画素補完ステップの各ステップを含んでいる。
【発明の詳細な説明】
【技術分野】
本発明は、画像処理の方法及び装置に関するものであり、より詳しくは１個の画像中で重なり合う第１の画像オブジェクトから第２の線状画像オブジェクトを除去する方法及び装置に関するものである。
従来背景
近年、インターネットをはじめとする情報通信技術の進歩に伴い、さまざまな分野におけるデジタル映像情報、デジタル画像情報等のコンテンツが急速に増加している。
例えば、これらのコンテンツを効率よく、高精度に検索するためには、コンピュータによる映像・画像の分析が必要となるが、取り出した１枚の画像中に２つ以上のオブジェクトが重なり合って映し出される場合は少なくない。
目的とする１つのオブジェクトの動きを追跡し、分析する場合にはこのような重なり合いが障害となる。そこで、特に２値化された画像中において重なり合った２つのオブジェクトがある場合、それらを分離する技術が求められている。
このような技術は、特にＯＣＲ（光学的文字認識）の分野での研究が進められており、例えばＰＣＴ／ＵＳ９６／０４０３６号において開示されているように、重なった線が存在する場合における、連続した文字の画像またはその他のパターンの不明瞭な部分を復元するための方法及び装置が知られている。
該方法では、ピクセルで構成された画像における循環パターン、例えば文字の失われた部分を復元する方法として、循環パターンの失われた部分の近傍の有効なピクセルの値を求めるステップと、有効なピクセルの値、循環パターンで予め訓練した二重確率的有限状態機械に記憶されたデータの少なくとも一部を用いて循環パターンの失われた部分を含むピクセルに対する値を復元するステップとを提案している。
このような方法は、テキストなどの循環的に発現するパターンでは有効である反面、一般的な画像に用いることは難しい上、処理が複雑で映像のような高速で処理を必要とするコンテンツには不適当である。
すなわち、例えばグラウンドにラインが引かれ、さらにネットが配置された上でプレーヤーがスポーツを行っている映像の場合、プレーヤーとライン、プレーヤーとネットはほとんどの時間重なり合っていると考えられるが、プレーヤーの動きを分析するような場面においては、上記従来の方法を適用することは出来ない。また、プレーヤーは高速で移動するため、高速な処理を実現する必要がある。このような場合に有効に対応しうる技術が従来提供されていなかった。
【発明の開示】
本発明は、このような従来の背景から創出されたものであり、画像中に含まれる２つの重なり合うオブジェクトを高速に分離し抽出可能とする技術であり、特に１つのオブジェクトが線状の画像である場合に適している。以下に、順に開示する。
すなわち、有効又は無効な画素で構成された１個の画像中で重なり合う第１の画像オブジェクトから第２の線状画像オブジェクトを除去する画像処理方法であって、線分抽出手段により、第２の線状画像オブジェクトから線分抽出を行う線分抽出ステップ、線状画像除去手段により、第１の画像オブジェクトから、第２の線状画像オブジェクトを除去する除去ステップ、画像走査手段により、該第１の画像オブジェクト上の該線分近傍領域を走査し、該走査対象画素を順に抽出する画素抽出ステップ、有効画素判定手段により、該抽出された走査対象画素が有効画素か否かを判定する有効画素判断ステップ、画素補完手段により、該有効画素判断ステップにおいて有効画素と判定された走査対象画素から直近の線分に向けた垂線を導出し、該垂線上の全ての画素を有効画素にする画素補完ステップ、の各ステップを含む。
また、前記画像が、複数のフレームから構成された動画像における１フレームである構成でもよい。
あるいは、前記画像が、複数のフレームから構成された動画像における単数又は複数のフレームを所定の演算処理して得られる画像であってもよい。本構成において、前記演算処理が、動画像における任意の２フレーム間の差分を求める処理、又は動画像中の任意の１フレームにおける変化領域を求める処理のいずれかであってもよい。
さらに、この動画像中の任意の１フレームにおける変化領域を求める処理が、該１フレームの前後所定のフレームを抽出し、それぞれ該１フレームとの差分画像を取得すると共に、両差分画像のＡＮＤ演算を行う処理を用いてもよい。
以上の構成において、前記線分抽出ステップで、ハフ変換を用いて線分抽出を行うこともできる。
また、本発明は、有効又は無効な画素で構成された１個の画像中で重なり合う第１の画像オブジェクトから第２の線状画像オブジェクトを除去する次のような画像処理装置を提供することもできる。
すなわち、本装置は、第２の線状画像オブジェクトから線分抽出を行う線分抽出手段と、第１の画像オブジェクトから、第２の線状画像オブジェクトを除去する線状画像除去手段と、該第１の画像オブジェクト上の該線分近傍領域を走査し、該走査対象画素を順に抽出する画像走査手段と、該抽出された走査対象画素が有効画素か否かを判定する有効画素判定手段と、該有効画素判断ステップにおいて有効画素と判定された走査対象画素から直近の線分に向けた垂線を導出し、該垂線上の全ての画素を有効画素にする画素補完手段とを備えることを特徴とするものである。
上記の画像処理装置において、複数のフレームから構成された動画像から１フレームを抽出するフレーム抽出手段を備え、該フレーム抽出手段で抽出された１フレームを画像として用いることもできる。
さらに、前記画像処理装置が、複数のフレームから構成された動画像から単数又は複数のフレームを抽出するフレーム抽出手段と、抽出されたフレームを所定の演算処理するフレーム演算処理手段とを備え、その演算処理結果を前記画像として用いる構成でもよい。ここで、このフレーム演算処理手段が、動画像における任意の２フレーム間の差分を求める処理、又は動画像中の任意の１フレームにおける変化領域を求める処理のいずれかの処理を行う構成でもよい。
さらに、この動画像中の任意の１フレームにおける変化領域を求める処理が、該１フレームの前後所定のフレームを抽出し、それぞれ該１フレームとの差分画像を取得すると共に、両差分画像のＡＮＤ演算を行う処理を用いることもできる。
以上の画像処理装置において、線分抽出手段が、ハフ変換を用いて線分抽出を行う構成でもよい。
【図面の簡単な説明】
第１図は、本発明による画像処理方法の処理フローチャートである。
第２図は、本発明による画像処理装置の構成図である。
第３図は、第２オブジェクトの一例を示す説明図である。
第４図は、第１オブジェクトの一例を示す説明図である。
第５図は、第１オブジェクトが除去ステップで分断された状態を示す説明図である。
第６図は、テニスコートのコートモデルを示す説明図である。
第７図は、テニスコートのネットモデルを示す説明図である。
第８図は、２値画像Ｂｃ（ｔ）である。
第９図は、２値画像Ｂ１（ｔ）である。
第１０図は、２値画像Ｂ２（ｔ）である。
第１１図は、２値画像Ｂｄｉｆｆ（ｔ）である。
第１２図は、２値画像Ｂｌａｂｅｌ（ｔ）である。
第１３図は、２値画像Ｌ’ｃ（ｔ）である。
第１４図は、２値画像Ｌ’ｎ（ｔ）である。
第１５図は、Ｂ’ｄｉｆｆ（ｔ）から線分消去後の選手近傍の拡大図である。
第１６図は、Ｂ’ｌａｂｅｌ（ｔ）から線分消去後の選手近傍の拡大図である。
第１７図は、画素補完後のＢ’ｄｉｆｆ（ｔ）の選手近傍の拡大図である。
第１８図は、画素補完後のＢ’ｌａｂｅｌ（ｔ）の選手近傍の拡大図である。
第１９図は、選手領域の抽出を示す説明図である。
符号の指示部位は次の通りである。１０：線分抽出ステップ、１１：線分画像の除去ステップ、１２：線分近傍領域の走査ステップ、１３：走査対象画素が有効画素か否かの判定ステップ、１４：走査対象画素と線分の垂線導出処理、１５：垂線上の全ての点を有効画素に変換するステップ、３０：線状の第２オブジェクト、３１：第１オブジェクト、３２：走査対象画素。
発明を実施するための好ましい形態
本発明の好ましい実施方法を以下に、図面に示しながら説明する。なお、本発明の実施形態は以下に限定されず、適宜変更可能である。
第１図に本発明の画像処理方法のフローチャートを、第２図には本発明による画像処理装置（以下、本装置と呼ぶ。）の構成をそれぞれ示す。
本装置（１）は、公知のパーソナルコンピュータによって構成することができ、演算処理を司るＣＰＵ（２）と共にＲＡＭ／ＲＯＭのメモリ（３）、ハードディスク等の外部記憶装置（４）の他、キーボードやマウス等の入力装置（５）、表示出力を行うモニタ（６）等から構成されている。
本装置（１）においてはその他に、映像を入力するためのイメージキャプチャ手段（７）をＣＰＵ（２）に接続して、図示しないカメラや映像再生装置からの映像信号を外部記憶装置（４）に記録するようになっている。
映像信号がアナログ信号である場合には、イメージキャプチャ手段（７）にアナログ／デジタル変換機能を実装して、外部記憶装置（４）にはデジタルデータが記録される。
本発明の核心部分では、上記イメージキャプチャ手段（７）から得られ、外部記憶装置（７）に記録された画像に対して、第１図に示すような処理を行う。
まず、ＣＰＵ（２）の線分抽出部（２２）が、画像中の第２オブジェクト（３０）から線分を抽出するステップ（１０）を有する。画像から第２オブジェクトの領域を分離する方法は任意であるが、例えば線状画像が所定の形状である場合にはその形状を元に線分を抽出すればよい。
そして、線状画像除去部（２３）は、上記で得られた線分を拡大して線状の画像を少なくとも画像中の第１オブジェクト（３１）の含まれる部分から除去する。（線分画像の除去ステップ（１１））言うまでもなく画像全体から除去しても良い。除去された画像はメモリ（３）に格納することができる。
このように線分画像を除去した場合、第１オブジェクト（３１）に重なりあった線分画像（第２オブジェクト（３０））の部分が除去されるため、本来の第１オブジェクト上に帯状の無効画素部分が生じてしまう。
本発明では、これを有効に補完するため次のようなステップを備える。
便宜上、第３図に第２オブジェクト（３０）の一例を、第４図に第１オブジェクト（３１）の一例を、第５図には、第１オブジェクト（３１）が上記の除去ステップ（１１）で分断された状態をそれぞれ示す。各図中において「１」と記載された画素は有効画素であり、「０」は無効画素を示している。
第３図の左右方向に帯状に羅列した有効画素（４０）が線状画像である第２オブジェクト（３０）でありその他の領域は無効画素である。そして、線分抽出ステップ（１０）によって線分（４１）が抽出される。
一方、第１オブジェクト（３１）は第４図のように「１」で表示される画素多数（５０）・・の集合から構成されている。
実際の画像では上記第２オブジェクト（３０）と第１オブジェクト（３１）が重なり合っており、第２オブジェクト（３０）を除去すると、第５図のようになる。すなわち、第１オブジェクト（３１）の中に無効画素の帯（６０）が生じ、第１オブジェクト（３１）画像を分断してしまう。
これを補完する為、本発明では、ＣＰＵ（２）の画像走査部（２４）によって、線分（４１）近傍の画素を順に走査し、所定の閾値内のピクセルを抽出する。
このとき、線分画像の除去ステップ（１１）において前記線分（４１）を線幅３ピクセルに拡大した場合（第３図ないし５の場合）には、線分から２ピクセル離れた画素を抽出すればよい。抽出された走査対象画素（３２）も一時的にメモリ（３）に格納することができる。
また、図６に示すように、前記線分（４１）上の画素（４２）を順に走査し、その走査ごとに得られる画素（４２）の画面座標に、線幅の半分の大きさ（４３）に１を加えた値をｘ方向、ｙ方向それぞれの方向に加減した画面座標（４４）（４４）（４５）（４５）（この場合１つの画素（４２）に対して４種類）を求め、この画面座標の画素を走査対象画素（３２）としてもよい。
そして、有効画素判定部（２５）において、抽出された画素が有効画素か否かを判定する判定ステップ（１３）を処理する。
この結果、当該画素が有効画素（「１」の情報を有する）の場合には、画素補完部（２６）において、当該ピクセルと、線分（４１）との間に仮想的な垂線を導出するステップ（１４）と、該垂線上にある無効画素全てを有効画素に変換するステップ（１５）とを順に処理する。有効画素化する処理は各画素に割り当てられた「０」の情報を「１」に書き換えることによって可能である。
以上を具体的に示すと、第５図において線分（４１）から距離２ピクセルの画素（６１）から画素（６２）（６３）・・と順に走査する時、画素（６１）は無効画素であるから処理を進めない。そして、画素（６２）は有効画素であるから、垂線（６４）を算出して、その上にある画素（６５）（６６）を有効画素とする。明らかなように、これを繰り返すことによって第２オブジェクト（３０）の除去に伴って失われた画素を補完することができ、元の第１オブジェクト（３１）に極めて近い形状の画像を得ることができる。
本発明の要部は以上である。また、本技術の適用例として次のような構成を提供することができる。
すなわち、上記では１枚の画像を用いて処理の流れを示したが、本発明は特に時系列に複数のフレームから構成される映像を対象とするのに最適であり、その中の任意の１フレームをＣＰＵ（２）においてフレーム抽出部（２０）で適宜取り出すことができる。このように取り出された１フレームを上記の画像として処理することもできる。また、後述のように複数のフレームを取り出すこともできる。
さらに、ＣＰＵ（２）に取り出した画像を所定の方式で演算処理するフレーム演算処理部（２１）を設けても良い。これらは公知の画像処理技術により実現を図ることができるので、本発明ではその演算方法は任意に決めることができる。
次に、本発明の実施例としてテニスコート上で競技を行うプレイヤーの映像を例にとって説明する。テニスの映像を撮影した場合、プレーヤーはテニスコートに引かれたコートラインや、ネットラインなどの線状の画像と重なりあって映るため、プレイヤーの動きを抽出する際の障害になる。そこで、本技術によって高速かつ高精度に分離抽出する。
まず、第２オブジェクト（３０）として、コート・ネットラインを抽出する。このときテニスコートの仕様を利用する。第６図に示すようにコート特徴点Ｐｃ１，・・・，Ｐｃ１４、コートラインＬｃ１，・・・，Ｌｃ９を定義する。同様に、第７図に示すようなネット特徴点Ｐｎ１，・・・，Ｐｎ３、ネットラインＬｎ１，Ｌｎ２を定めてコートモデル、ネットモデルとして参照する。
各モデルの原点はコート中心に取り、座標軸を図中の通り定める。コートモデルはＸＹ平面上に、ネットモデルはＺＸ平面上に定義されている。
まずコートラインを抽出する。第６図におけるコートラインＬｃ１，・・・，Ｌｃ９はその両端のコート特徴点を検出することによって決定する。以下のステップからなる。
（ｉ）時刻ｔ＝０においては、初期特徴点Ｐｃ（０）を入力として与える。次に、Ｐｃ（０）で決まるコートラインＬｃ（０）について、各ラインをハフ平面に変換する。ハフ平面上における各ピーク点を中心に大きさｗｔｈ，ｗｒｏの検出窓Ｗｃ（０）を用意する。
（ｉｉ）時刻ｔ＝ｔにおいては、まず、原画像の２値化画像Ｂ（ｔ）とコートラインＬｃ（ｔ−１）の近傍領域とのＡＮＤをとり、コート近傍のみからなる２値画像（コートライン２値画像と呼ぶ）Ｂｃ（ｔ）を生成する。生成された画像を第８図に示す。本図に示したコートライン２値画像及び後述のネットライン２値画像が本発明に言う画像中の線状画像オブジェクトに相当する。
（ｉｉｉ）これを各ライン毎にハフ変換し、各検出用窓Ｗｃ（ｔ−１）で制限される範囲でピーク検出を行い、特徴点Ｐｃ（ｔ）を更新する。
（ｉｖ）再び、コートラインＬｃ（ｔ）をハフ変換し、検出窓Ｗｃ（ｔ）も更新する。ステップ（ｉｉ）に戻る。
ネットラインの抽出においてもｔ＝０での初期特徴点Ｐｎ（０）を入力として与え、ネットラインＬｎ（０）、検出窓Ｗｎ（０）を用意する。さらに、時刻ｔ＝ｔにおいては、原画増の２値化画像からコートライン２値画像を除いたＢ（ｔ）−Ｂｃ（ｔ）と、ネットラインＬｎ（ｔ−１）の近傍領域とのＡＮＤを取り、ネットライン２値画像Ｂｎ（ｔ）を生成する。Ｂｎ（ｔ）に対してハフ変換、検出窓範囲内でピーク検出を行い、特徴点Ｐｎ（ｔ）を更新する。
ここで、線分検出の手法として、上述したハフ変換と呼ばれるものが知られている（例えば米国特許第３０６９６５４号）他、このハフ変換のためのハードウェアとしては、恩田邦夫らによる「ＲＯＭを用いたＨｏｕｇｈ変換ハードウェア」（昭和６２年電子通信学会創立７０周年記念総合全国大会、Ｎｏ．１５８７）に示されるものがある。また、日本特許第２９３５８６３号や、日本特許公開平成６−２７４６１９号に開示されたものなどがある。なお、ハフ変換についても、日本特許第２６４６３６３号などのように、多様な改良が行われており、これらを任意に用いることができる。
本発明では、ＣＰＵ（２）における線分抽出部（２）においてこのようなハフ変換の演算処理を行っている。
また、線分の抽出には、この他に最小２乗法を用いた直線の近似方法など公知の様々な手法を用いることができる。また、本発明は線状画像であれば直線に限らず、円、円弧、多角形など、線状（帯状）のいかなるオブジェクトに対しても適用することができる。
次に、選手（第１オブジェクト）の抽出を行うため、次の各ステップを処理する。
（Ｉ）フレーム抽出部（２０）において、時刻ｔ＝ｔの基準フレームと、前後ｓ時間離れたフレームを抽出する。そして、その前後各フレームと基準フレームとの差分を求め、適当な閾値で２値画像Ｂ１（ｔ）、Ｂ２（ｔ）を作成する。該差分を求める演算は、ＣＰＵ（２）のフレーム演算処理部（２１）で行う。
閾値の決定方法としては、決まった固定値を閾値とする方法の他、大津の方法（平均クラス内分散を最小にすることにより閾値を決定する方法）やＫｉｔｔｌｅｒの方法（平均条件付きエントロピーを最小化することにより閾値を決定する方法）、領域分割法（画像をいくつかの小領域に分割し、各小領域ごとにその小領域の性質に最も適した閾値を決定する方法）など、任意の方法を用いることができる。
ここで得られた２値画像Ｂ１（ｔ）、Ｂ２（ｔ）をそれぞれ第９図及び第１０図に示す。
（ＩＩ）これら２つの差分画像のＡＮＤ演算を行った結果得られる２値画像をＢｄｉｆｆ（ｔ）とし、第１１図に示す。本ステップにより、最初の映像（動画像）中の１フレームにおける変化領域を求めることができる。これらはＣＰＵ（２）のフレーム演算処理部（２１）において演算処理することができる。
フレーム演算処理部（２１）の処理としては、上記の他、画像処理でしばしば用いられるようにフレーム抽出部（２０）で任意の２フレームを抽出し、その差分を求めて公知の処理を行わせてもよい。
（ＩＩＩ）選手ユニフォーム等の代表色に対応した色クラスタを予め用意し、時刻ｔ＝ｔにおける画像Ｉ（ｔ）の画素で、その色クラスタ内に含まれるものを有効画素「１」として２値画像Ｂｌａｂｅｌ（ｔ）とし、第１２図に示す。色クラスタ内に含まれる画素を抽出する方法は公知であり、得られた２値画像Ｂｌａｂｅｌ（ｔ）は映像中の単数のフレームをフレーム演算処理部（２１）において演算処理して得られた画像である。
（ＩＶ）コート・ネットラインＬｃ（ｔ）、Ｌｎ（ｔ）を拡大処理して得られる２値画像をＬ’ｃ（ｔ）、Ｌ’ｎ（ｔ）（それぞれ第１３図、第１４図に示す）とし、上記Ｂｄｉｆｆ（ｔ）、Ｂｌａｂｅｌ（ｔ）からこれらの領域を消去し、Ｂ’ｄｉｆｆ（ｔ）、Ｂ’ｌａｂｅｌ（ｔ）を得る。
消去後の選手近傍の拡大図をそれぞれ第１５図と第１６図に示す。前述したように、本発明では、この消去処理によって選手領域との重なり部分を除去したと考えられる領域について、Ｂ’ｄｉｆｆ（ｔ）、Ｂ’ｌａｂｅｌ（ｔ）上でＬ’ｃ（ｔ）、Ｌ’ｎ（ｔ）の近傍領域を走査し、Ｂ’ｄｉｆｆ（ｔ）、Ｂ’ｌａｂｅｌ（ｔ）上の各走査対象画素ｌｐが有効画素ならばｌｐからＬｃ（ｔ）あるいはＬｎ（ｔ）に下ろした垂線ｖＬの足までにあたる画素群ｌｐｖを有効画素とする。
本処理によって得られたＢ’ｄｉｆｆ（ｔ）、Ｂ’ｌａｂｅｌ（ｔ）の選手近傍の拡大図をそれぞれ第１７図と第１８図に示す。
（Ｖ）最後に、２つの画像のＯＲ演算を行い、２値画像Ｂｃａｎｄ（ｔ）とする。ここで、ＡＮＤではなくＯＲ演算をするのは、選手の手足などが動いている場合もなるべく安定にそれらの領域を抽出するためである。色ラベリング単体で選手領域を抽出すると、解像度が不足していたり選手ユニフォームが背景色と色差がほとんどない場合に、安定した抽出が困難になることがある。また、時間差分画像のみでは、選手の動きが遅い場合に検出漏れがしばしば発生してしまう。ここでは、時間差分画像によって動きの成分を補完しながら、より詳細な選手領域を安定に検出する為にＯＲ演算を行っている。
以上の結果、２値画像Ｂｃａｎｄ（ｔ）内で一定以上の面積を持つ領域を選手初期位置として、第１９図に示すように選手の抽出を行う。
なお、第１９図においては、ノイズ処理を行っており、本発明の実施においてはＣＰＵ（２）を用いて適宜このような画像処理を行うことができる。
以上説述したように、本発明によると、有効又は無効な画素で構成された１個の画像中で重なり合う第１の画像オブジェクトから第２の線状画像オブジェクトを除去する画像処理技術を提供することができる。上記方法は、演算処理がシンプルであり、映像のように多数のフレームを有し、１つのフレームについて高速に処理しなければならない場合に特に大きな効果を奏する。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【技術分野】
本発明は、画像処理の方法及び装置に関するものであり、より詳しくは１個の画像中で重なり合う第１の画像オブジェクトから第２の線状画像オブジェクトを除去する方法及び装置に関するものである。
従来背景
近年、インターネットをはじめとする情報通信技術の進歩に伴い、さまざまな分野におけるデジタル映像情報、デジタル画像情報等のコンテンツが急速に増加している。
例えば、これらのコンテンツを効率よく、高精度に検索するためには、コンピュータによる映像・画像の分析が必要となるが、取り出した１枚の画像中に２つ以上のオブジェクトが重なり合って映し出される場合は少なくない。
目的とする１つのオブジェクトの動きを追跡し、分析する場合にはこのような重なり合いが障害となる。そこで、特に２値化された画像中において重なり合った２つのオブジェクトがある場合、それらを分離する技術が求められている。
このような技術は、特にＯＣＲ（光学的文字認識）の分野での研究が進められており、例えばＰＣＴ／ＵＳ９６／０４０３６号において開示されているように、重なった線が存在する場合における、連続した文字の画像またはその他のパターンの不明瞭な部分を復元するための方法及び装置が知られている。
該方法では、ピクセルで構成された画像における循環パターン、例えば文字の失われた部分を復元する方法として、循環パターンの失われた部分の近傍の有効なピクセルの値を求めるステップと、有効なピクセルの値、循環パターンで予め訓練した二重確率的有限状態機械に記憶されたデータの少なくとも一部を用いて循環パターンの失われた部分を含むピクセルに対する値を復元するステップとを提案している。
このような方法は、テキストなどの循環的に発現するパターンでは有効である反面、一般的な画像に用いることは難しい上、処理が複雑で映像のような高速で処理を必要とするコンテンツには不適当である。
すなわち、例えばグラウンドにラインが引かれ、さらにネットが配置された上でプレーヤーがスポーツを行っている映像の場合、プレーヤーとライン、プレーヤーとネットはほとんどの時間重なり合っていると考えられるが、プレーヤーの動きを分析するような場面においては、上記従来の方法を適用することは出来ない。また、プレーヤーは高速で移動するため、高速な処理を実現する必要がある。このような場合に有効に対応しうる技術が従来提供されていなかった。
【発明の開示】
本発明は、このような従来の背景から創出されたものであり、画像中に含まれる２つの重なり合うオブジェクトを高速に分離し抽出可能とする技術であり、特に１つのオブジェクトが線状の画像である場合に適している。以下に、順に開示する。
すなわち、有効又は無効な画素で構成された１個の画像中で重なり合う第１の画像オブジェクトから第２の線状画像オブジェクトを除去する画像処理方法であって、線分抽出手段により、第２の線状画像オブジェクトから線分抽出を行う線分抽出ステップ、線状画像除去手段により、第１の画像オブジェクトから、第２の線状画像オブジェクトを除去する除去ステップ、画像走査手段により、該第１の画像オブジェクト上の該線分近傍領域を走査し、該走査対象画素を順に抽出する画素抽出ステップ、有効画素判定手段により、該抽出された走査対象画素が有効画素か否かを判定する有効画素判断ステップ、画素補完手段により、該有効画素判断ステップにおいて有効画素と判定された走査対象画素から直近の線分に向けた垂線を導出し、該垂線上の全ての画素を有効画素にする画素補完ステップ、の各ステップを含む。
また、前記画像が、複数のフレームから構成された動画像における１フレームである構成でもよい。
あるいは、前記画像が、複数のフレームから構成された動画像における単数又は複数のフレームを所定の演算処理して得られる画像であってもよい。本構成において、前記演算処理が、動画像における任意の２フレーム間の差分を求める処理、又は動画像中の任意の１フレームにおける変化領域を求める処理のいずれかであってもよい。
さらに、この動画像中の任意の１フレームにおける変化領域を求める処理が、該１フレームの前後所定のフレームを抽出し、それぞれ該１フレームとの差分画像を取得すると共に、両差分画像のＡＮＤ演算を行う処理を用いてもよい。
以上の構成において、前記線分抽出ステップで、ハフ変換を用いて線分抽出を行うこともできる。
また、本発明は、有効又は無効な画素で構成された１個の画像中で重なり合う第１の画像オブジェクトから第２の線状画像オブジェクトを除去する次のような画像処理装置を提供することもできる。
すなわち、本装置は、第２の線状画像オブジェクトから線分抽出を行う線分抽出手段と、第１の画像オブジェクトから、第２の線状画像オブジェクトを除去する線状画像除去手段と、該第１の画像オブジェクト上の該線分近傍領域を走査し、該走査対象画素を順に抽出する画像走査手段と、該抽出された走査対象画素が有効画素か否かを判定する有効画素判定手段と、該有効画素判断ステップにおいて有効画素と判定された走査対象画素から直近の線分に向けた垂線を導出し、該垂線上の全ての画素を有効画素にする画素補完手段とを備えることを特徴とするものである。
上記の画像処理装置において、複数のフレームから構成された動画像から１フレームを抽出するフレーム抽出手段を備え、該フレーム抽出手段で抽出された１フレームを画像として用いることもできる。
さらに、前記画像処理装置が、複数のフレームから構成された動画像から単数又は複数のフレームを抽出するフレーム抽出手段と、抽出されたフレームを所定の演算処理するフレーム演算処理手段とを備え、その演算処理結果を前記画像として用いる構成でもよい。ここで、このフレーム演算処理手段が、動画像における任意の２フレーム間の差分を求める処理、又は動画像中の任意の１フレームにおける変化領域を求める処理のいずれかの処理を行う構成でもよい。
さらに、この動画像中の任意の１フレームにおける変化領域を求める処理が、該１フレームの前後所定のフレームを抽出し、それぞれ該１フレームとの差分画像を取得すると共に、両差分画像のＡＮＤ演算を行う処理を用いることもできる。
以上の画像処理装置において、線分抽出手段が、ハフ変換を用いて線分抽出を行う構成でもよい。
【図面の簡単な説明】
第１図は、本発明による画像処理方法の処理フローチャートである。
第２図は、本発明による画像処理装置の構成図である。
第３図は、第２オブジェクトの一例を示す説明図である。
第４図は、第１オブジェクトの一例を示す説明図である。
第５図は、第１オブジェクトが除去ステップで分断された状態を示す説明図である。
第６図は、テニスコートのコートモデルを示す説明図である。
第７図は、テニスコートのネットモデルを示す説明図である。
第８図は、２値画像Ｂｃ（ｔ）である。
第９図は、２値画像Ｂ１（ｔ）である。
第１０図は、２値画像Ｂ２（ｔ）である。
第１１図は、２値画像Ｂｄｉｆｆ（ｔ）である。
第１２図は、２値画像Ｂｌａｂｅｌ（ｔ）である。
第１３図は、２値画像Ｌ’ｃ（ｔ）である。
第１４図は、２値画像Ｌ’ｎ（ｔ）である。
第１５図は、Ｂ’ｄｉｆｆ（ｔ）から線分消去後の選手近傍の拡大図である。
第１６図は、Ｂ’ｌａｂｅｌ（ｔ）から線分消去後の選手近傍の拡大図である。
第１７図は、画素補完後のＢ’ｄｉｆｆ（ｔ）の選手近傍の拡大図である。
第１８図は、画素補完後のＢ’ｌａｂｅｌ（ｔ）の選手近傍の拡大図である。
第１９図は、選手領域の抽出を示す説明図である。
符号の指示部位は次の通りである。１０：線分抽出ステップ、１１：線分画像の除去ステップ、１２：線分近傍領域の走査ステップ、１３：走査対象画素が有効画素か否かの判定ステップ、１４：走査対象画素と線分の垂線導出処理、１５：垂線上の全ての点を有効画素に変換するステップ、３０：線状の第２オブジェクト、３１：第１オブジェクト、３２：走査対象画素。
発明を実施するための好ましい形態
本発明の好ましい実施方法を以下に、図面に示しながら説明する。なお、本発明の実施形態は以下に限定されず、適宜変更可能である。
第１図に本発明の画像処理方法のフローチャートを、第２図には本発明による画像処理装置（以下、本装置と呼ぶ。）の構成をそれぞれ示す。
本装置（１）は、公知のパーソナルコンピュータによって構成することができ、演算処理を司るＣＰＵ（２）と共にＲＡＭ／ＲＯＭのメモリ（３）、ハードディスク等の外部記憶装置（４）の他、キーボードやマウス等の入力装置（５）、表示出力を行うモニタ（６）等から構成されている。
本装置（１）においてはその他に、映像を入力するためのイメージキャプチャ手段（７）をＣＰＵ（２）に接続して、図示しないカメラや映像再生装置からの映像信号を外部記憶装置（４）に記録するようになっている。
映像信号がアナログ信号である場合には、イメージキャプチャ手段（７）にアナログ／デジタル変換機能を実装して、外部記憶装置（４）にはデジタルデータが記録される。
本発明の核心部分では、上記イメージキャプチャ手段（７）から得られ、外部記憶装置（７）に記録された画像に対して、第１図に示すような処理を行う。
まず、ＣＰＵ（２）の線分抽出部（２２）が、画像中の第２オブジェクト（３０）から線分を抽出するステップ（１０）を有する。画像から第２オブジェクトの領域を分離する方法は任意であるが、例えば線状画像が所定の形状である場合にはその形状を元に線分を抽出すればよい。
そして、線状画像除去部（２３）は、上記で得られた線分を拡大して線状の画像を少なくとも画像中の第１オブジェクト（３１）の含まれる部分から除去する。（線分画像の除去ステップ（１１））言うまでもなく画像全体から除去しても良い。除去された画像はメモリ（３）に格納することができる。
このように線分画像を除去した場合、第１オブジェクト（３１）に重なりあった線分画像（第２オブジェクト（３０））の部分が除去されるため、本来の第１オブジェクト上に帯状の無効画素部分が生じてしまう。
本発明では、これを有効に補完するため次のようなステップを備える。
便宜上、第３図に第２オブジェクト（３０）の一例を、第４図に第１オブジェクト（３１）の一例を、第５図には、第１オブジェクト（３１）が上記の除去ステップ（１１）で分断された状態をそれぞれ示す。各図中において「１」と記載された画素は有効画素であり、「０」は無効画素を示している。
第３図の左右方向に帯状に羅列した有効画素（４０）が線状画像である第２オブジェクト（３０）でありその他の領域は無効画素である。そして、線分抽出ステップ（１０）によって線分（４１）が抽出される。
一方、第１オブジェクト（３１）は第４図のように「１」で表示される画素多数（５０）・・の集合から構成されている。
実際の画像では上記第２オブジェクト（３０）と第１オブジェクト（３１）が重なり合っており、第２オブジェクト（３０）を除去すると、第５図のようになる。すなわち、第１オブジェクト（３１）の中に無効画素の帯（６０）が生じ、第１オブジェクト（３１）画像を分断してしまう。
これを補完する為、本発明では、ＣＰＵ（２）の画像走査部（２４）によって、線分（４１）近傍の画素を順に走査し、所定の閾値内のピクセルを抽出する。
このとき、線分画像の除去ステップ（１１）において前記線分（４１）を線幅３ピクセルに拡大した場合（第３図ないし５の場合）には、線分から２ピクセル離れた画素を抽出すればよい。抽出された走査対象画素（３２）も一時的にメモリ（３）に格納することができる。
また、図６に示すように、前記線分（４１）上の画素（４２）を順に走査し、その走査ごとに得られる画素（４２）の画面座標に、線幅の半分の大きさ（４３）に１を加えた値をｘ方向、ｙ方向それぞれの方向に加減した画面座標（４４）（４４）（４５）（４５）（この場合１つの画素（４２）に対して４種類）を求め、この画面座標の画素を走査対象画素（３２）としてもよい。
そして、有効画素判定部（２５）において、抽出された画素が有効画素か否かを判定する判定ステップ（１３）を処理する。
この結果、当該画素が有効画素（「１」の情報を有する）の場合には、画素補完部（２６）において、当該ピクセルと、線分（４１）との間に仮想的な垂線を導出するステップ（１４）と、該垂線上にある無効画素全てを有効画素に変換するステップ（１５）とを順に処理する。有効画素化する処理は各画素に割り当てられた「０」の情報を「１」に書き換えることによって可能である。
以上を具体的に示すと、第５図において線分（４１）から距離２ピクセルの画素（６１）から画素（６２）（６３）・・と順に走査する時、画素（６１）は無効画素であるから処理を進めない。そして、画素（６２）は有効画素であるから、垂線（６４）を算出して、その上にある画素（６５）（６６）を有効画素とする。明らかなように、これを繰り返すことによって第２オブジェクト（３０）の除去に伴って失われた画素を補完することができ、元の第１オブジェクト（３１）に極めて近い形状の画像を得ることができる。
本発明の要部は以上である。また、本技術の適用例として次のような構成を提供することができる。
すなわち、上記では１枚の画像を用いて処理の流れを示したが、本発明は特に時系列に複数のフレームから構成される映像を対象とするのに最適であり、その中の任意の１フレームをＣＰＵ（２）においてフレーム抽出部（２０）で適宜取り出すことができる。このように取り出された１フレームを上記の画像として処理することもできる。また、後述のように複数のフレームを取り出すこともできる。
さらに、ＣＰＵ（２）に取り出した画像を所定の方式で演算処理するフレーム演算処理部（２１）を設けても良い。これらは公知の画像処理技術により実現を図ることができるので、本発明ではその演算方法は任意に決めることができる。
次に、本発明の実施例としてテニスコート上で競技を行うプレイヤーの映像を例にとって説明する。テニスの映像を撮影した場合、プレーヤーはテニスコートに引かれたコートラインや、ネットラインなどの線状の画像と重なりあって映るため、プレイヤーの動きを抽出する際の障害になる。そこで、本技術によって高速かつ高精度に分離抽出する。
まず、第２オブジェクト（３０）として、コート・ネットラインを抽出する。このときテニスコートの仕様を利用する。第６図に示すようにコート特徴点Ｐｃ１，・・・，Ｐｃ１４、コートラインＬｃ１，・・・，Ｌｃ９を定義する。同様に、第７図に示すようなネット特徴点Ｐｎ１，・・・，Ｐｎ３、ネットラインＬｎ１，Ｌｎ２を定めてコートモデル、ネットモデルとして参照する。
各モデルの原点はコート中心に取り、座標軸を図中の通り定める。コートモデルはＸＹ平面上に、ネットモデルはＺＸ平面上に定義されている。
まずコートラインを抽出する。第６図におけるコートラインＬｃ１，・・・，Ｌｃ９はその両端のコート特徴点を検出することによって決定する。以下のステップからなる。
（ｉ）時刻ｔ＝０においては、初期特徴点Ｐｃ（０）を入力として与える。次に、Ｐｃ（０）で決まるコートラインＬｃ（０）について、各ラインをハフ平面に変換する。ハフ平面上における各ピーク点を中心に大きさｗｔｈ，ｗｒｏの検出窓Ｗｃ（０）を用意する。
（ｉｉ）時刻ｔ＝ｔにおいては、まず、原画像の２値化画像Ｂ（ｔ）とコートラインＬｃ（ｔ−１）の近傍領域とのＡＮＤをとり、コート近傍のみからなる２値画像（コートライン２値画像と呼ぶ）Ｂｃ（ｔ）を生成する。生成された画像を第８図に示す。本図に示したコートライン２値画像及び後述のネットライン２値画像が本発明に言う画像中の線状画像オブジェクトに相当する。
（ｉｉｉ）これを各ライン毎にハフ変換し、各検出用窓Ｗｃ（ｔ−１）で制限される範囲でピーク検出を行い、特徴点Ｐｃ（ｔ）を更新する。
（ｉｖ）再び、コートラインＬｃ（ｔ）をハフ変換し、検出窓Ｗｃ（ｔ）も更新する。ステップ（ｉｉ）に戻る。
ネットラインの抽出においてもｔ＝０での初期特徴点Ｐｎ（０）を入力として与え、ネットラインＬｎ（０）、検出窓Ｗｎ（０）を用意する。さらに、時刻ｔ＝ｔにおいては、原画増の２値化画像からコートライン２値画像を除いたＢ（ｔ）−Ｂｃ（ｔ）と、ネットラインＬｎ（ｔ−１）の近傍領域とのＡＮＤを取り、ネットライン２値画像Ｂｎ（ｔ）を生成する。Ｂｎ（ｔ）に対してハフ変換、検出窓範囲内でピーク検出を行い、特徴点Ｐｎ（ｔ）を更新する。
ここで、線分検出の手法として、上述したハフ変換と呼ばれるものが知られている（例えば米国特許第３０６９６５４号）他、このハフ変換のためのハードウェアとしては、恩田邦夫らによる「ＲＯＭを用いたＨｏｕｇｈ変換ハードウェア」（昭和６２年電子通信学会創立７０周年記念総合全国大会、Ｎｏ．１５８７）に示されるものがある。また、日本特許第２９３５８６３号や、日本特許公開平成６−２７４６１９号に開示されたものなどがある。なお、ハフ変換についても、日本特許第２６４６３６３号などのように、多様な改良が行われており、これらを任意に用いることができる。
本発明では、ＣＰＵ（２）における線分抽出部（２）においてこのようなハフ変換の演算処理を行っている。
また、線分の抽出には、この他に最小２乗法を用いた直線の近似方法など公知の様々な手法を用いることができる。また、本発明は線状画像であれば直線に限らず、円、円弧、多角形など、線状（帯状）のいかなるオブジェクトに対しても適用することができる。
次に、選手（第１オブジェクト）の抽出を行うため、次の各ステップを処理する。
（Ｉ）フレーム抽出部（２０）において、時刻ｔ＝ｔの基準フレームと、前後ｓ時間離れたフレームを抽出する。そして、その前後各フレームと基準フレームとの差分を求め、適当な閾値で２値画像Ｂ１（ｔ）、Ｂ２（ｔ）を作成する。該差分を求める演算は、ＣＰＵ（２）のフレーム演算処理部（２１）で行う。
閾値の決定方法としては、決まった固定値を閾値とする方法の他、大津の方法（平均クラス内分散を最小にすることにより閾値を決定する方法）やＫｉｔｔｌｅｒの方法（平均条件付きエントロピーを最小化することにより閾値を決定する方法）、領域分割法（画像をいくつかの小領域に分割し、各小領域ごとにその小領域の性質に最も適した閾値を決定する方法）など、任意の方法を用いることができる。
ここで得られた２値画像Ｂ１（ｔ）、Ｂ２（ｔ）をそれぞれ第９図及び第１０図に示す。
（ＩＩ）これら２つの差分画像のＡＮＤ演算を行った結果得られる２値画像をＢｄｉｆｆ（ｔ）とし、第１１図に示す。本ステップにより、最初の映像（動画像）中の１フレームにおける変化領域を求めることができる。これらはＣＰＵ（２）のフレーム演算処理部（２１）において演算処理することができる。
フレーム演算処理部（２１）の処理としては、上記の他、画像処理でしばしば用いられるようにフレーム抽出部（２０）で任意の２フレームを抽出し、その差分を求めて公知の処理を行わせてもよい。
（ＩＩＩ）選手ユニフォーム等の代表色に対応した色クラスタを予め用意し、時刻ｔ＝ｔにおける画像Ｉ（ｔ）の画素で、その色クラスタ内に含まれるものを有効画素「１」として２値画像Ｂｌａｂｅｌ（ｔ）とし、第１２図に示す。色クラスタ内に含まれる画素を抽出する方法は公知であり、得られた２値画像Ｂｌａｂｅｌ（ｔ）は映像中の単数のフレームをフレーム演算処理部（２１）において演算処理して得られた画像である。
（ＩＶ）コート・ネットラインＬｃ（ｔ）、Ｌｎ（ｔ）を拡大処理して得られる２値画像をＬ’ｃ（ｔ）、Ｌ’ｎ（ｔ）（それぞれ第１３図、第１４図に示す）とし、上記Ｂｄｉｆｆ（ｔ）、Ｂｌａｂｅｌ（ｔ）からこれらの領域を消去し、Ｂ’ｄｉｆｆ（ｔ）、Ｂ’ｌａｂｅｌ（ｔ）を得る。
消去後の選手近傍の拡大図をそれぞれ第１５図と第１６図に示す。前述したように、本発明では、この消去処理によって選手領域との重なり部分を除去したと考えられる領域について、Ｂ’ｄｉｆｆ（ｔ）、Ｂ’ｌａｂｅｌ（ｔ）上でＬ’ｃ（ｔ）、Ｌ’ｎ（ｔ）の近傍領域を走査し、Ｂ’ｄｉｆｆ（ｔ）、Ｂ’ｌａｂｅｌ（ｔ）上の各走査対象画素ｌｐが有効画素ならばｌｐからＬｃ（ｔ）あるいはＬｎ（ｔ）に下ろした垂線ｖＬの足までにあたる画素群ｌｐｖを有効画素とする。
本処理によって得られたＢ’ｄｉｆｆ（ｔ）、Ｂ’ｌａｂｅｌ（ｔ）の選手近傍の拡大図をそれぞれ第１７図と第１８図に示す。
（Ｖ）最後に、２つの画像のＯＲ演算を行い、２値画像Ｂｃａｎｄ（ｔ）とする。ここで、ＡＮＤではなくＯＲ演算をするのは、選手の手足などが動いている場合もなるべく安定にそれらの領域を抽出するためである。色ラベリング単体で選手領域を抽出すると、解像度が不足していたり選手ユニフォームが背景色と色差がほとんどない場合に、安定した抽出が困難になることがある。また、時間差分画像のみでは、選手の動きが遅い場合に検出漏れがしばしば発生してしまう。ここでは、時間差分画像によって動きの成分を補完しながら、より詳細な選手領域を安定に検出する為にＯＲ演算を行っている。
以上の結果、２値画像Ｂｃａｎｄ（ｔ）内で一定以上の面積を持つ領域を選手初期位置として、第１９図に示すように選手の抽出を行う。
なお、第１９図においては、ノイズ処理を行っており、本発明の実施においてはＣＰＵ（２）を用いて適宜このような画像処理を行うことができる。
以上説述したように、本発明によると、有効又は無効な画素で構成された１個の画像中で重なり合う第１の画像オブジェクトから第２の線状画像オブジェクトを除去する画像処理技術を提供することができる。上記方法は、演算処理がシンプルであり、映像のように多数のフレームを有し、１つのフレームについて高速に処理しなければならない場合に特に大きな効果を奏する。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【特許請求の範囲】
【請求項１】
有効又は無効な画素で構成された１個の画像中で重なり合う第１の画像オブジェクトから第２の線状画像オブジェクトを除去する画像処理方法であって、
線分抽出手段により、第２の線状画像オブジェクトから線分抽出を行う線分抽出ステップ、
線状画像除去手段により、第１の画像オブジェクトから、第２の線状画像オブジェクトを除去する除去ステップ、
画像走査手段により、該第１の画像オブジェクト上の該線分近傍領域を走査し、該走査対象画素を順に抽出する画素抽出ステップ、
有効画素判定手段により、該抽出された走査対象画素が有効画素か否かを判定する有効画素判断ステップ、
画素補完手段により、該有効画素判断ステップにおいて有効画素と判定された走査対象画素から直近の線分に向けた垂線を導出し、該垂線上の全ての画素を有効画素にする画素補完ステップ、
の各ステップを含むことを特徴とする画像処理方法。
【請求項２】
前記画像が、複数のフレームから構成された動画像における１フレームである請求の範囲１に記載の画像処理方法。
【請求項３】
前記画像が、複数のフレームから構成された動画像における単数又は複数のフレームを所定の演算処理して得られる画像である請求の範囲１に記載の画像処理方法。
【請求項４】
前記演算処理が、動画像における任意の２フレーム間の差分を求める処理、又は動画像中の任意の１フレームにおける変化領域を求める処理のいずれかである請求の範囲３に記載の画像処理方法。
【請求項５】
前記動画像中の任意の１フレームにおける変化領域を求める処理が、該１フレームの前後所定のフレームを抽出し、それぞれ該１フレームとの差分画像を取得すると共に、両差分画像のＡＮＤ演算を行う処理である請求の範囲４に記載の画像処理方法。
【請求項６】
前記線分抽出ステップにおいて、ハフ変換を用いて線分抽出を行う請求の範囲１ないし５に記載の画像処理方法。
【請求項７】
有効又は無効な画素で構成された１個の画像中で重なり合う第１の画像オブジェクトから第２の線状画像オブジェクトを除去する画像処理装置であって、
第２の線状画像オブジェクトから線分抽出を行う線分抽出手段と、
第１の画像オブジェクトから、第２の線状画像オブジェクトを除去する線状画像除去手段と、
該第１の画像オブジェクト上の該線分近傍領域を走査し、該走査対象画素を順に抽出する画像走査手段と、
該抽出された走査対象画素が有効画素か否かを判定する有効画素判定手段と、
該有効画素判断ステップにおいて有効画素と判定された走査対象画素から直近の線分に向けた垂線を導出し、該垂線上の全ての画素を有効画素にする画素補完手段と
を備えたことを特徴とする画像処理装置。
【請求項８】
前記画像処理装置が、複数のフレームから構成された動画像から１フレームを抽出するフレーム抽出手段を備え、該フレーム抽出手段で抽出された１フレームを画像として用いる請求の範囲７に記載の画像処理装置。
【請求項９】
前記画像処理装置が、複数のフレームから構成された動画像から単数又は複数のフレームを抽出するフレーム抽出手段と、抽出されたフレームを所定の演算処理するフレーム演算処理手段とを備え、その演算処理結果を前記画像として用いる請求の範囲７に記載の画像処理装置。
【請求項１０】
前記フレーム演算処理手段が、動画像における任意の２フレーム間の差分を求める処理、又は動画像中の任意の１フレームにおける変化領域を求める処理のいずれかの処理を行う請求の範囲９に記載の画像処理装置。
【請求項１１】
前記フレーム演算処理手段において、前記動画像中の任意の１フレームにおける変化領域を求める処理が、該１フレームの前後所定のフレームを抽出し、それぞれ該１フレームとの差分画像を取得すると共に、両差分画像のＡＮＤ演算を行う処理である請求の範囲１０に記載の画像処理装置。
【請求項１２】
前記線分抽出手段が、ハフ変換を用いて線分抽出を行う請求の範囲７ないし１１に記載の画像処理装置。
【請求項１】
有効又は無効な画素で構成された１個の画像中で重なり合う第１の画像オブジェクトから第２の線状画像オブジェクトを除去する画像処理方法であって、
線分抽出手段により、第２の線状画像オブジェクトから線分抽出を行う線分抽出ステップ、
線状画像除去手段により、第１の画像オブジェクトから、第２の線状画像オブジェクトを除去する除去ステップ、
画像走査手段により、該第１の画像オブジェクト上の該線分近傍領域を走査し、該走査対象画素を順に抽出する画素抽出ステップ、
有効画素判定手段により、該抽出された走査対象画素が有効画素か否かを判定する有効画素判断ステップ、
画素補完手段により、該有効画素判断ステップにおいて有効画素と判定された走査対象画素から直近の線分に向けた垂線を導出し、該垂線上の全ての画素を有効画素にする画素補完ステップ、
の各ステップを含むことを特徴とする画像処理方法。
【請求項２】
前記画像が、複数のフレームから構成された動画像における１フレームである請求の範囲１に記載の画像処理方法。
【請求項３】
前記画像が、複数のフレームから構成された動画像における単数又は複数のフレームを所定の演算処理して得られる画像である請求の範囲１に記載の画像処理方法。
【請求項４】
前記演算処理が、動画像における任意の２フレーム間の差分を求める処理、又は動画像中の任意の１フレームにおける変化領域を求める処理のいずれかである請求の範囲３に記載の画像処理方法。
【請求項５】
前記動画像中の任意の１フレームにおける変化領域を求める処理が、該１フレームの前後所定のフレームを抽出し、それぞれ該１フレームとの差分画像を取得すると共に、両差分画像のＡＮＤ演算を行う処理である請求の範囲４に記載の画像処理方法。
【請求項６】
前記線分抽出ステップにおいて、ハフ変換を用いて線分抽出を行う請求の範囲１ないし５に記載の画像処理方法。
【請求項７】
有効又は無効な画素で構成された１個の画像中で重なり合う第１の画像オブジェクトから第２の線状画像オブジェクトを除去する画像処理装置であって、
第２の線状画像オブジェクトから線分抽出を行う線分抽出手段と、
第１の画像オブジェクトから、第２の線状画像オブジェクトを除去する線状画像除去手段と、
該第１の画像オブジェクト上の該線分近傍領域を走査し、該走査対象画素を順に抽出する画像走査手段と、
該抽出された走査対象画素が有効画素か否かを判定する有効画素判定手段と、
該有効画素判断ステップにおいて有効画素と判定された走査対象画素から直近の線分に向けた垂線を導出し、該垂線上の全ての画素を有効画素にする画素補完手段と
を備えたことを特徴とする画像処理装置。
【請求項８】
前記画像処理装置が、複数のフレームから構成された動画像から１フレームを抽出するフレーム抽出手段を備え、該フレーム抽出手段で抽出された１フレームを画像として用いる請求の範囲７に記載の画像処理装置。
【請求項９】
前記画像処理装置が、複数のフレームから構成された動画像から単数又は複数のフレームを抽出するフレーム抽出手段と、抽出されたフレームを所定の演算処理するフレーム演算処理手段とを備え、その演算処理結果を前記画像として用いる請求の範囲７に記載の画像処理装置。
【請求項１０】
前記フレーム演算処理手段が、動画像における任意の２フレーム間の差分を求める処理、又は動画像中の任意の１フレームにおける変化領域を求める処理のいずれかの処理を行う請求の範囲９に記載の画像処理装置。
【請求項１１】
前記フレーム演算処理手段において、前記動画像中の任意の１フレームにおける変化領域を求める処理が、該１フレームの前後所定のフレームを抽出し、それぞれ該１フレームとの差分画像を取得すると共に、両差分画像のＡＮＤ演算を行う処理である請求の範囲１０に記載の画像処理装置。
【請求項１２】
前記線分抽出手段が、ハフ変換を用いて線分抽出を行う請求の範囲７ないし１１に記載の画像処理装置。
【国際公開番号】ＷＯ２００４／０８８５８７
【国際公開日】平成１６年１０月１４日（２００４．１０．１４）
【発行日】平成１８年７月６日（２００６．７．６）
【国際特許分類】
【出願番号】特願２００４−５７０１３０（Ｐ２００４−５７０１３０）
【国際出願番号】ＰＣＴ／ＪＰ２００３／００３９８６
【国際出願日】平成１５年３月２８日（２００３．３．２８）
【出願人】（３０１０２２４７１）独立行政法人情報通信研究機構 (1,071)
【Ｆターム（参考）】
【国際公開日】平成１６年１０月１４日（２００４．１０．１４）
【発行日】平成１８年７月６日（２００６．７．６）
【国際特許分類】
【国際出願番号】ＰＣＴ／ＪＰ２００３／００３９８６
【国際出願日】平成１５年３月２８日（２００３．３．２８）
【出願人】（３０１０２２４７１）独立行政法人情報通信研究機構 (1,071)
【Ｆターム（参考）】
[ Back to top ]