説明

画像領域検出方法、該プログラム、及び該装置

【課題】四角形の第1の画像を撮像して得られた第2の画像であり、該第1の画像に対応する画像領域である四角形領域を含む該第2の画像から該四角形領域を検出する画像領域検出方法を提供する。
【解決手段】画像領域検出方法は、第2の画像の中心から所定の範囲に位置する複数の画素を開始点とし、各開始点から第2の画像の縁部に向かってエッジを検出し、第2の画像の上下左右の各方向に行われたエッジ検出線のうち、同一方向の各エッジ検出線から1つずつ取得した1組のエッジに基づいて辺を生成し、各方向で該生成した辺のうち、開始点に最も近い辺を辺の候補として検出し、検出された4つの辺の候補により形成される四角形に基づいて、辺が誤って検出された誤検出辺であるか否かを判定し、誤検出辺であれば、辺の候補の再検出を行うことにより、上記課題の解決を図る。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、所定のコードの埋め込まれた画像の印刷画像を画像入力装置より入力し,入力画像中からコードの埋め込まれた四角形領域を検出する画像領域検出方法に関する。
【背景技術】
【0002】
近年、デジタルデータや印刷画像などに対して見えないコードを埋め込む技術の開発が行われている。携帯電話のカメラやスキャナといった画像入力装置を用いて、所定のコード(以下、単に「コード」という)の埋め込まれた画像を撮影し、その入力画像中からコード情報を読み取るためには、入力画像内にてコードの埋め込まれた四角形領域の四隅座標を特定し、その四隅座標を基にデコードを行う。
【0003】
従来の四隅座標を特定する画像領域検出方法(例えば、特許文献1、特許文献2。)では、入力画像の外側を領域検出の開始座標とし、その開始座標から入力画像の内側に向かって、四角形領域の辺を検出し、四隅の座標を求めて領域検出を行う。
【特許文献1】特開2005−277732号公報
【特許文献2】特開2005−182164号公報
【発明の開示】
【発明が解決しようとする課題】
【0004】
従来の四角形領域の四隅を検出する技術では、入力画像の外側からその四角形領域の辺を探索していた。そのため、その四角形領域の外側に、該領域を囲む四角形がレイアウトされた場合、必ず外側の四角形を検出するため、本来検出すべき内側の四角形領域が検出できない問題があった。
【0005】
上記課題に鑑み、本発明は、所定の四角形領域を囲むように四角形がレイアウトされた場合でも、内側の正しい四角形領域を検出することができる画像領域検出方法を提供する。さらに、携帯端末のように処理能力の低い機器でも高速に四隅座標を検出することができる画像領域検出方法を提供する。
【課題を解決するための手段】
【0006】
本発明にかかる、四角形の第1の画像を撮像して得られた第2の画像であり、該第1の画像に対応する画像領域である四角形領域を含む該第2の画像から該四角形領域を検出する画像領域検出方法は、前記第2の画像の中心から所定の範囲に位置する複数の画素を開始点とし、該各開始点から該第2の画像の縁部に向かって一定方向に、隣接する画素間の画素値の差分が閾値を超えている場合に一方の画素を変化点として検出し、前記第2の画像の上下左右の各方向に行われた前記変化点検出による変化点検出線のうち、同一方向の前記各変化点検出線から1つずつ取得した変化点の組み合わせを1組の変化点とすると、各組の変化点に基づいて辺を生成し、各方向で該生成した辺のうち、前記開始点に最も近い辺を辺の候補として検出し、前記検出された4つの辺の候補により形成される四角形に基づいて、該辺が誤って検出された誤検出辺であるか否かを判定し、誤検出辺であれば、前記辺の候補の再検出を行うことを特徴とする。
【0007】
このように構成することにより、画像内の四角形領域の内側から変化点検出(エッジ検出)による辺検出を行うことができる。そのため、背景領域(四角形領域の外側の領域)に別途四角形がデザインされていても、正しい四角形領域を先に検出できるため、背景領域にある四角形を誤検出することがない。また、各方向に対して、複数ライン分のみエッジ検出を行うことで、エッジ検出を高速に行うことができる。
【0008】
前記画像領域検出方法において、前記辺の候補の再検出を行う場合、前記検出された4つの辺の候補により形成される四角形の形状の検証を行うことにより、該4辺中に前記誤検出辺があるか否かを判定し、該誤検出辺があれば誤検出辺の特定を行い、前記4辺により形成される四角形の四隅に関する特徴の検証を行うことにより、該4辺中に前記誤検出辺があるか否かを判定し、該誤検出辺があれば誤検出辺の特定を行うことを特徴とする。
【0009】
このように構成することにより、辺を検出する際には、検出した4辺によって形成される四角形の形状及び四隅の検証を行い、双方の検証にて正しいと判断された4辺に形成された領域を四角形領域とすることができる。
【0010】
前記画像領域検出方法において、前記辺の候補の再検出を行う場合、さらに、前記誤検出辺が特定された場合、該誤検出辺より前記第2の画像の縁部側にある直近の組の変化点に基づいて生成された辺を前記辺の候補として再検出することを特徴とする。
【0011】
このように構成することにより、辺の誤検出を特定した場合には、次の辺の候補を検出することができる。
前記画像領域検出方法は、さらに、前記誤検出辺がなければ、前記4つの辺により形成される四角形の四隅の座標を検出することを特徴とする。
【0012】
このように構成することにより、四角形領域を特定する辺が確定し、その確定した辺の交点を四角形の四隅の座標とするができる。
前記画像領域検出方法において、前記変化点の検出時に、同一の変化点検出線上において隣接する画素間の画素値の差分の算出をする場合、各画素のコンポーネント毎に所定の順序で該差分の算出を行うことを特徴とする。
【0013】
このように構成することにより、変化点検出処理の速度の向上、及び検出効率の向上を図ることができる。
前記画像領域検出方法において、前記4辺の候補の検出する場合、辺の候補は、前記各組の変化点に基づいて生成される近似直線であって、該近似直線が、該近似直線の生成元となった変化点から所定の誤差範囲内の距離にあり、かつ、前記開始点に最も近い近似直線であることを特徴とする。
【0014】
このように構成することにより、一直線上に並ぶ変化点(エッジ)の組み合わせが複数個あった場合でも、変化点検出結果から,四角形領域の辺の候補を絞ることができる。
前記画像領域検出方法において、前記四角形の形状の検証を行う場合、前記検出された4つの辺の候補により形成される四角形の内角の角度が所定の範囲内であるかに基づいて、前記4つの辺のいずれかに前記誤検出辺があるかを判定することを特徴とする。
【0015】
このように構成することにより、第1の画像を斜めから撮影して、第2の画像中の四角形領域が台形状になった場合でも、その四角形領域を形成する辺を検出することができる。
【0016】
前記画像領域検出方法において、前記四隅の特徴の検証を行う場合、前記4辺により形成される四角形の四隅に関する特徴は、該四隅の形態、又は前記第1の画像を特定するために前記四角形領域の四隅に付与された所定のマークであることを特徴とする。
【0017】
このように構成することにより、検出された4辺により形成させる四隅と、第1の画像に対応する四角形領域との四隅とが実際に一致しているか否かを確認できる。
本発明にかかる、四角形の第1の画像を撮像して得られた第2の画像であり、該第1の画像に対応する画像領域である四角形領域を含む該第2の画像から該四角形領域を検出する処理をコンピュータに実行させる画像領域検出プログラムは、前記第2の画像の中心から所定の範囲に位置する複数の画素を開始点とし、該各開始点から該第2の画像の縁部に向かって一定方向に、隣接する画素間の画素値の差分が閾値を超えている場合に一方の画素を変化点として検出する変化点検出処理と、前記第2の画像の上下左右の各方向に行われた前記変化点検出による変化点検出線のうち、同一方向の前記各変化点検出線から1つずつ取得した変化点の組み合わせを1組の変化点とすると、各組の変化点に基づいて辺を生成し、各方向で該生成した辺のうち、前記開始点に最も近い辺を辺の候補として検出する4辺候補検出処理と、前記検出された4つの辺の候補により形成される四角形に基づいて、該辺が誤って検出された誤検出辺であるか否かを判定し、誤検出辺であれば、前記辺の候補の再検出を行う辺再検出制御処理と、をコンピュータに実行させる。
【0018】
このように構成することにより、画像内の四角形領域の内側から変化点検出(エッジ検出)による辺検出を行うことができる。そのため、背景領域(四角形領域の外側の領域)に別途四角形がデザインされていても、正しい四角形領域を先に検出できるため、背景領域にある四角形を誤検出することがない。また、各方向に対して、複数ライン分のみエッジ検出を行うことで、エッジ検出を高速に行うことができる。
【0019】
本発明にかかる、四角形の第1の画像を撮像して得られた第2の画像であり、該第1の画像に対応する画像領域である四角形領域を含む該第2の画像から該四角形領域を検出する画像領域検出装置は、前記第2の画像の中心から所定の範囲に位置する複数の画素を開始点とし、該各開始点から該第2の画像の縁部に向かって一定方向に、隣接する画素間の画素値の差分が閾値を超えている場合に一方の画素を変化点として検出する変化点検出手段と、前記第2の画像の上下左右の各方向に行われた前記変化点検出による変化点検出線のうち、同一方向の前記各変化点検出線から1つずつ取得した変化点の組み合わせを1組の変化点とすると、各組の変化点に基づいて辺を生成し、各方向で該生成した辺のうち、前記開始点に最も近い辺を辺の候補として検出する4辺候補検出手段と、前記検出された4つの辺の候補により形成される四角形に基づいて、該辺が誤って検出された誤検出辺であるか否かを判定し、誤検出辺であれば、前記辺の候補の再検出を行う辺再検出制御手段と、を備えることを特徴とする。
【0020】
このように構成することにより、画像内の四角形領域の内側から変化点検出(エッジ検出)による辺検出を行うことができる。そのため、背景領域(四角形領域の外側の領域)に別途四角形がデザインされていても、正しい四角形領域を先に検出できるため、背景領域にある四角形を誤検出することがない。また、各方向に対して、複数ライン分のみエッジ検出を行うことで、エッジ検出を高速に行うことができる。
【発明の効果】
【0021】
本発明を用いることにより、所定の四角形領域を囲むように四角形がレイアウトされた場合でも、内側の正しい四角形領域を検出することができる。また、携帯端末のように処理能力の低い機器でも高速に四隅座標を検出することができる。
【発明を実施するための最良の形態】
【0022】
本発明では、入力画像中にある四角形領域の内側からその入力画像の縁部に向かって特定幅のラインに限定したエッジ検出結果を基に上下左右4辺の検出を行い、その検出した4辺によって作られる四角形の形状の検証、四隅の検証を行う。その結果、4辺中に誤検出辺があれば、該辺の外側に辺を再検出することで、高速に正しい矩形領域を検出できる。
【0023】
図1は、本発明にかかる画像領域検出プログラムの構成を示す。画像領域検出プログラム1は、四角形画像が撮像された画像からその四角形画像の領域を検出する。画像領域検出プログラムは、変化点検出処理(S1)、4辺候補検出処理(S2)、形状検証処理(S3)、四隅検証処理(S4)、辺再検出処理(S5)、再検出制御処理(S6)、四隅座標検出処理(S7)の工程からなる。
【0024】
変化点検出処理(S1)は、入力画像の中心座標から所定の範囲に位置する画素を開始点とし、入力画像の外側に向かって上下左右4方向に対して、画素値の変化が所定の条件を満たす変化点(エッジ)を検出する。
【0025】
また、変化点検出処理(S1)は、同じ検出位置において、予め決めておいた順序でコンポーネントを順に選択し、変化点が検出された時点で該検出位置における検出を終了することもできる。これにより、複数色のコンポーネント(画素を構成する色成分)を優先順位に基づいて、変化点が検出できるまで変化点検出処理が実行される。
【0026】
4辺候補検出処理(S2)は、変化点の検出結果に基づいて各方向で最も内側にある辺を独立に検出する。より具体的には、4辺候補検出処理(S2)は、変化点検出処理(S1)にて各方向で検出した変化点の組み合わせのうち、各変化点の座標からの距離が所定の誤差範囲内にある近似直線で、かつ変化点検出の開始点となる内側に最も近い近似直線を、四角形領域の辺の候補とする(すなわち、内側から複数個の変化点を組み合わせて辺を特定する)。これにより、四角形領域の内側から複数個の変化点を取得し、その取得した変化点の組み合わせにより辺を特定することができる。
【0027】
形状検証処理(S3)は、4辺候補検出処理(S2)で検出した4辺により形成される四角形の形状を検証する。さらに、形状検証処理(S3)は、その検証結果に基づいて、4辺中の誤検出辺の有無の判定と、誤検出辺があれば誤検出辺の特定を行う。より具体的には、形状検証処理(S3)は、4辺候補検出処理(S2)にて検出した上下左右4辺で隣接する2辺の交点により形成される角の位置、入力画像の中心側にある角の角度が所定の範囲内であるか否かに基づいて、その検出した4辺に誤検出辺があるか否かを決定する。これにより、四隅の角度により、誤検出辺を特定することができる。
【0028】
四隅検証処理(S4)は、検出した4辺により形成される四角形の各四隅について、隅らしさを検証する。さらに、四隅検証処理(S4)は、その検証結果に基づいて、4辺中の誤検出の有無の判定と、誤検出辺があれば誤検出辺の特定を行う。例えば、四隅検証処理(S4)は、四隅近辺に配置された四隅そのものもしくは別途画像のコーナーを特定するために付与されたマークの検出成功可否に基づいて、4辺に誤検出辺があるか否かを決定することができる。これにより、四隅の目印などの四隅らしさにより誤検出辺を特定することができる。
【0029】
辺再検出処理(S5)は、形状検証処理(S3)及び四隅検証処理(S4)による誤検出辺の特定結果と、前記変化点検出結果とに基づいて、誤検出辺の検出方向に対して、1つ外側の辺を新たに検出する。
【0030】
再検出制御処理(S6)は、検出された4つの辺の候補により形成される四角形に基づいて、該辺が誤って検出された誤検出辺であるか否かを判定し、誤検出辺であれば、前記辺の候補の再検出を行う。具体的には、形状検証処理(S3)及び四隅検証処理(S4)にて誤検出辺が検出されなくなるまで、形状検証処理(S3)、四隅検証処理(S4)、辺再検出処理(S5)を繰り返す制御を行う。
【0031】
四隅座標検出処理(S7)は、再検出制御処理(S6)を経て最終的に誤検出辺なしと判断された4辺を基に、四角形領域を検出する。
それでは、以下に本発明の原理について詳述する。
【0032】
図2は、本発明における、所定領域を検出対象とする画像の紙面レイアウト図である。該画像11は四角形領域12を持ち、その外側に所定幅の余白13があり、余白外側には背景領域14としてデザイン、レイアウトに制約のない紙面がある。
【0033】
図3は、本実施形態における撮影画像の一例を示す(画像の出典JIS X 9201 CMYK/SCID)。このレイアウトの紙面を撮影した入力画像11には、図3に示すように、領域検出対象となるべき四角形領域12と、その外側の余白13と、背景領域の一部14と、が写っている。このように背景領域14に四角形領域12を囲む四角形15がデザインされている場合には、従来、背景領域(符号15で示す四角形領域)を四角形領域と誤検出した。
【0034】
図4Aは、本発明の原理を説明するための図である。図4Bは、図4Aを簡略化した図である。図5は、辺の誤検出を説明するための図である。本発明では、図4A及び図4Bのように、四角形領域12の内側からエッジ検出による辺検出を行うため、背景領域14に四角形15がデザインされていても、正しい四角形領域12を先に検出できるため背景領域14にある四角形15を誤検出しない。
【0035】
また、四角形領域12の内側から外側に向かって辺を検出すると、図5に示すように、画像の模様に依っては、四角形領域の内側で辺を誤検出することがある。
したがって、辺を検出する際には、検出した4辺によってできる四角形の形状と、4辺によってできる四隅の検証を行う。そして、双方の検証にて正しい辺であると判断された場合、その4辺に形成された領域を暫定の四角形領域とする。もし、誤検出の辺が特定された場合には、該辺より入力画像の縁側にある次の辺候補を検出することにより、四角形領域を修正することができる。これにより、四角形領域の内側、四角形領域の外側の双方において、四角形領域を誤検出することなく、正しい四隅座標を検出できる。
【0036】
次に、再検出制御手段の構成要素である、変化点検出処理(S1)、形状検証処理(S3)、四隅検証処理(S4)、辺再検出処理(S5)について、さらに、より具体的に説明する。
【0037】
まず、変化点検出処理(S1)について説明する。上述のように、変化点検出処理(S1)では、エッジ検出を画像の内側から外側に向かって行う。変化点検出処理(S1)において、四角形領域4辺の画素値と余白画素値との間に一定量以上の差分があると想定すると、着目画素とその近傍画素との画素値の差分を求めるエッジ検出により、4辺の位置を特定できる。
【0038】
しかしながら、入力画像の全画素に対してエッジ検出を行うと、計算量が大きく、低速になる。従来技術では、入力画像外側から、少数のライン分のみエッジ検出を行っていた。そして、エッジを検出した場合、エッジ検出の探索方向を変え、エッジに沿ってさらにエッジ検出を行うことで辺を特定していた。この方式は、外側から内側に向かってエッジを探索した場合、4辺に到達するまでに、4辺以外でのエッジを検出する回数が少なければ高速である。しかし、四角形領域の内側から外側に向かってエッジ検出を行うと、四角形領域内部の模様をエッジとしてとってしまい、エッジ検出の回数が増えるため、低速となる。
【0039】
そこで、本発明では、四角形領域の内側から上下左右4方向に対してエッジ検出を行う場合、同一の探索方向のうち複数ライン分(例えば、5ライン分)のみについてエッジ検出を行うことで、エッジ検出を高速に行える。
【0040】
次に、4辺候補検出処理(S2)について説明する。四角形領域4辺は、余白との画素値の差分が一定量以上あるため、辺上のどの位置でエッジ検出を行ってもエッジが検出できる。したがって、前記の方法で4方向に各方向複数ライン分エッジ検出を行うと、各方向にある四角形領域の辺はいずれのライン上にもエッジとして存在する。
【0041】
そこで、複数ラインで検出した複数個のエッジを各ライン1個ずつ取り出したエッジの組み合わせのうち、座標がほぼ一直線上に並ぶエッジの組み合わせを入力画像の中央に近い方から選ぶようにする。そうすると、一直線上に並ぶエッジの組み合わせが複数個あった場合でもその中に正しい四角形領域4辺上のエッジの組み合わせが存在することになる。これにより、エッジ検出結果から、四角形領域の辺の候補を絞ることができる。
【0042】
次に、形状検証処理(S3)について説明する。S2で検出した4辺が正しければ、4辺によって形成される四隅のなす角度は、四角形画像をカメラで撮影した場合に想定される台形の歪みの範囲内にある。したがって、四隅のなす角度が許容範囲内であるかを検証し、許容範囲外である場合には最も誤検出している可能性の高い辺を特定する。
【0043】
具体的には、各辺の2個の隣接角の角度が2個とも許容範囲外の辺が1個ある場合には、該辺を誤検出辺と特定する。また、隣接角の角度が1個もしくは2個とも許容範囲外の辺が2個ある場合には、該2辺のうち、対辺との角度がより大きいほうの辺を誤検出辺と特定する。また、許容範囲外の角度が存在し、かつ前記2条件のどちらも満たさない場合には、四角形領域は入力画像に対して真っ直ぐに撮影されていると想定し、入力画像4辺との角度が最も大きい辺を誤検出辺と特定する。これにより、誤検出辺を正確に特定することで四角形領域の検出精度が向上する。
【0044】
次に、四隅検証処理(S4)について説明する。その検出した4辺によって形成される四隅に対して、四角形領域の四隅そのものの特徴量(各隅の形状等)、もしくは四隅近傍に付与されている四隅を示すマークの有無を検証する。誤検出辺が存在する場合には、該誤検出辺の隣接の隅は検証に失敗することになる。そこで、隣接の隅がいずれも検証に失敗する辺を誤検出辺と特定する。誤検出辺を正確に特定することにより、四角形領域の検出精度が向上する。
【0045】
次に、辺再検出処理(S5)について説明する。図5に示すように、T1,B1,L1,R1によってできる四角形領域がある。この四角形領域において、形状検証処理(S3)、四隅検証処理(S4)により誤検出辺R1が特定されると、誤検出辺の生成元になったエッジが検出されたエッジ検出ラインと同じ方向で、該後検出辺の次に、入力画像の内側にある辺R2を新たな辺候補とする。そうして、T1,B1,L1,R2による四角形領域を新たに検出する。これにより、検出すべき四角形領域の内側で四角形を誤検出することなく四隅座標が検出できる。
【0046】
以下では、本発明により、余白外側の背景領域に四角形が存在していてもそれを検出することなく、コードの埋め込まれた四角形領域を正しく領域検出する実施形態について説明する。
【0047】
図6は、本実施形態における最初に埋め込まれたコードのデコード処理の一実施例を示す。画像領域検出プログラムが記憶された記憶装置を有するコンピュータにおいて、CPU(中央処理演算装置)は、その画像領域検出プログラムを記憶装置より読み出して図6のフローを実行する。
【0048】
カメラやスキャナ等でコードの埋め込まれた画像を撮影することにより、電子的な画像データが生成される。画像取得処理(S11)では、その画像データを入力画像として取得する。
【0049】
次に、コード埋め込み領域検出処理(S12)では、後述するフローに従い入力画像中から所定のコードの埋め込まれた画像の四角形領域の四隅の座標を特定する。
それから、埋め込みコード読み取り処理(S13)では、その四隅の座標を基に、その四角形画像についての埋め込みコードを取り出す。
【0050】
次に、コード埋め込み領域検出処理(S12)の詳細なフロー(実施例1、実施例2)を、図7または図8を用いて説明する。
図7は、本実施形態(実施例1)におけるコード埋め込み領域検出処理(S12)のフローを示す。まず、S11で取得した画像データに対して、上下左右4方向に変化点検出(エッジ検出)を行う(S21)。その検出した変化点(エッジ)を基に4辺の候補を検出する(S22)。
【0051】
次に、再検出制御処理を行う(S23)。再検出制御処理(S23)では、S24〜S28の処理を制御している。再検出制御処理(S23)について、以下に詳述する。
まず、S22で検出した4辺候補によって構築される四角形について形状検証を行う(S24)。S24にて誤検出辺が特定された場合には(S25で「yes」へ進む)、辺の再検出を行い(S28)、再び形状検証(S24)を行う。S24にて、四角形の形状が正しく、誤検出辺が無いと判断されれば(S25で「no」へ進む)、四隅検証を行う(S26)。
【0052】
四隅検証(S26)にて、誤検出辺が特定されれば(S27で「yes」へ進む)、辺の再検出を行う(S28)。誤検出辺が無いと判断されるまでS24〜S27の処理を繰り返す。
【0053】
図8は、本実施形態(実施例2)におけるコード埋め込み領域検出処理(S12)のフローを示す。本フローは、図8のフローに、さらに、四隅座標(4辺交点)検出処理(S29)を加えたものである。S27において、誤検出辺が無いと判断されれば(S27で「no」へ進む)、その時点での四隅座標を埋め込み四角形領域の四隅座標と決定してもよい。
【0054】
次に、図7、図8のフロー内の各処理について説明する。
[4方向への変化点検出(S21)について]
図9は、本実施形態における変化点検出の一例を示す。四角形領域12の4辺と四角形領域外側の余白13との間に画素値の差が出ていることを利用し、探索位置にある画素(現在、エッジ検出を行っている位置にある画素)とその周辺画素との画素値の差分が所定の閾値を超えた場合に、その探索位置にある画素を変化点(エッジ)とする。図9において、エッジ検出ライン上にある「●」は、画素値が「暗→明」へと変化するエッジ(変化点)を示す。
【0055】
変化点検出(エッジ検出)は、四角形領域12の内側から入力画像11の縁側に向けて上下左右4方向行う。例えば、四角形領域12が入力画像11の中央の一定領域に必ず存在するとして、入力画像11の中央の一定領域を上下左右4方向についてのエッジ検出の開始座標とする。このようなエッジ検出を上下左右4方向に対して各方向複数ライン、例えば図9に示すように5ライン分行う。
【0056】
なお、エッジの検出個数を減らして以後の辺検出をより正確に行うために、エッジから画像外側に向けて入力画像11で想定される最低の余白13の幅分のエッジの無い平坦な画素のあるエッジ(すなわち、エッジが検出されて、そのエッジ後に探索位置にある画素とその周辺画素との画素値の差分がほとんどない領域が所定幅分存在したときのエッジ)のみを検出するようにしてもよい。
【0057】
図10は、本実施形態における変化点検出の他の実施例(3コンポーネントの場合)のフローを示す。この実施例によれば、変化点検出処理の速度の向上、及び検出効率の向上を図ることができる。
【0058】
各画素は、R(赤)、G(緑)、B(青)の3つの色成分(コンポーネント)から構成されている。そこで、同図のフローでは、コンポーネント毎に変化点(エッジ)を検出する。同図のフローを説明する都合上、例えば、右方向へのエッジ検出ラインにおいて、探索対象となる画素の座標をX1(x,y)とし、この座標に隣接する座標をX2(x−1,y)とする。
【0059】
まず、X1とX2のコンポーネント1についての変化点(エッジ)を検出する(S21−1)。変化点(エッジ)の検出は、上記と同様に、X1とX2の各画素のコンポーネント1の画素値の差分が所定の閾値を超えた場合に、その探索位置にある画素を変化点(エッジ)とする。
【0060】
S21−1で変化点が検出された場合、すなわち、X1とX2のコンポーネント1の画素値の差分が所定の閾値を超えた場合(S21−2で「yes」へ進む)、その変化点の位置を記録する(S21−9)。その後、S21−7の処理へ進む。
【0061】
S21−1で変化点が検出されない場合、すなわち、X1とX2のコンポーネント1の画素値の差分が所定の閾値を超えない場合(S21−2で「no」へ進む)、X1とX2のコンポーネント2についての変化点(エッジ)を検出する(S21−3)。
【0062】
S21−3で変化点が検出された場合、すなわち、X1とX2のコンポーネント2の画素値の差分が所定の閾値を超えた場合(S21−4で「yes」へ進む)、その変化点の位置を記録する(S21−9)。その後、S21−7の処理へ進む。
【0063】
S21−3で変化点が検出されない場合、すなわち、X1とX2のコンポーネント2の画素値の差分が所定の閾値を超えない場合(S21−4で「no」へ進む)、X1とX2のコンポーネント3についての変化点(エッジ)を検出する(S21−5)。
【0064】
S21−5で変化点が検出された場合、すなわち、X1とX2のコンポーネント3の画素値の差分が所定の閾値を超えた場合(S21−6で「yes」へ進む)、その変化点の位置を記録する(S21−9)。その後、S21−7の処理へ進む。
【0065】
S21−5で変化点が検出されない場合、すなわち、X1とX2のコンポーネント3の画素値の差分が所定の閾値を超えない場合(S21−6で「no」へ進む)、探索位置(すなわち、X1の位置)が入力画像11の端まで到達したかを判断する(S21−7)。
【0066】
S21−7で探索位置(すなわち、X1の位置)が入力画像11の端まで到達していない場合(S21−7で「no」へ進む)、探索位置X1をエッジ検出ラインに沿って1画素右方向に移動させて、X1(x+1,y)、X2(x,y)とする。この新しいX1、X2について、S21−1の処理を再び実行する。
【0067】
S21−7で探索位置(すなわち、X1の位置)が入力画像11の端まで到達すると(S21−7で「yes」へ進む)、本フローは終了する。
[4辺候補検出(S22)について]
図11は、本実施形態における辺検出の一例を示す。例えば右方向に対して行った5ラインでのエッジ検出座標は、四角形領域の辺部分では、図9にしめすように、辺に沿ってほぼ1直線上に並ぶはずである。
【0068】
よって、各方向の各エッジ検出ライン上で検出された変化点座標(エッジ座標)の組み合わせを選択し、その選択された組み合わせの変化点座標から、最小二乗法により近似線を算出し、その近似線と各変化点座標との距離が所定値以下となる近似線を辺の候補として検出する。
【0069】
例えば、図11のように、右辺の候補が複数存在する場合には、エッジ検出の開始座標に近い順に、R1、R2、R3として辺候補の優先順位を決定し、最初はR1を四角形領域の右辺として採用する。
【0070】
以上の手順を上下左右4方向行い、上下左右4辺を検出することにより、暫定の四角形領域が検出できる。この処理について図11、図12を用いて説明する。
図12は、本実施形態における4辺候補検出処理(S22)の詳細なフローを示す。図12において、上辺、下辺、左辺、右辺の各辺について、図13に示す辺候補検出を行う(S22−1,S22−2,S22−3,S22−4)。なお、S22−1,S22−2,S22−3,S22−4の処理順は、任意である。
【0071】
図13は、図12の各辺についての辺候補検出処理の詳細を示す。まず、各方向に対して検出した変化点座標の組み合わせの内、各エッジ検出ラインから最も内側(入力画像11の中央寄り)の変化点座標を取得して、それらの変化点座標の組み合わせを選択する(S22−n1)(n=1〜4)。
【0072】
次に、その選択した変化点座標の組み合わせを基に、最小二乗法を用いて近似直線を計算する(S22−n2)。
次に、各変化点座標と近似直線との距離が許容誤差の範囲内にあるか否かを判定する(S22−n3)。各変化点座標と近似直線との距離>許容誤差の場合(S22−n3で「no」へ進む)、当該変化点座標の組み合わせの次に内側の変化点座標の組み合わせを選択し(S22−n4)、S22−n2の処理を行う。なお、変化点座標の組み合わせを選択する場合には、例えば、その1セットの変化点座標のうち「変化点座標と近似直線との距離>許容誤差」に該当する変化点座標のみを、その変化点の次に内側にある同一エッジ検出ライン上の変化点座標に置き換えて新たな1セットの変化点座標としてもよいし(すなわち、点単位で置き換えて、新たな変化点の組み合わせを生成する)、その近似直線の基のなった1セットの変化点座標のそれぞれの変化点座標の次に内側にある同一エッジ検出ライン上の変化点座標の組み合わせを新たな1セットの変化点座標としてもよい(すなわち、現在選択されている組み合わせを組み合わせ単位で置き換えて、近似直線を生成する)。
【0073】
各変化点座標と近似直線との距離≦許容誤差の場合(S22−n3で「yes」へ進む)、その近似線を辺の候補として決定する(S22−n5)。
[形状検証(S24)について]
図14は、本実施形態における形状検証の一例を示す。形状検証処理(S24)では、まず暫定の四角形領域を構成している4辺T1,B1,L1,R1によってできる四隅の角度a,b,c,dを求める。
【0074】
カメラを使用した所定の撮影方法でコードの埋め込まれた画像を撮影した場合に、被写体に対するカメラの傾きによって生じるコードの埋め込まれた画像の四隅90度の角度の変化が、例えば80度から100度の間とする。このとき、検出辺の交点における角が80度から100度の範囲にある場合を形状検証に成功する四隅角度許容範囲とする。
【0075】
許容範囲外の角度が存在する場合には、角度検証失敗とし、該角の2個の隣接辺のどちらかが誤検出しているとする。
さらに、別の角について角度検証に失敗し、かつ両角に共通する隣接辺がある場合には該辺を誤検出辺と決定する。
【0076】
角度検証に失敗する角があり、かつ誤検出辺を1つに絞れない場合には、対辺との平行度、辺の入力画像との平行度によって最も誤検出の可能性の高い1辺を特定し、誤検出辺の再検出を行う。
【0077】
図14において、L1とT1のなす角a、L1とB1のなす角bの角度は四隅角度許容範囲であるため、角度検証に成功している。一方、T1とR1のなす角c、B1とR1のなす角dの角度は四隅角度許容範囲外であるため、隣接角の検証失敗によりR1は誤検出辺と特定される。この処理について、図15を用いて説明する。
【0078】
図15は、本実施形態における形状検証処理(S24)の詳細なフローを示す。まず、4辺により形成された四角形の四隅の角度が計算される(S24−1)。
次に、四隅の角度が全て許容範囲内であるか、あるいは1辺に隣接しない2角度が許容範囲外であるか(条件1−1)を判断する。条件1−1を満たす場合には(S24−2で「yes」へ進む)、誤検出なしと判断する(S24−6)。
【0079】
条件1−1を満たさない場合(S24−2で「no」へ進む)、1辺に隣接する2角度が許容範囲外であるか(条件1−2)を判断する。条件1−2を満たす場合には(S24−3で「yes」へ進む)、その1辺を誤検出辺と特定する(S24−7)。
【0080】
条件1−2を満たさない場合(S24−3で「no」へ進む)、1角の角度あるいは3角の角度が許容範囲外であるか(条件1−3)を判断する(S24−4)。条件1−3を満たす場合には(S24−4で「yes」へ進む)、対辺との角度計算により誤検出辺を特定する(S24−8)。すなわち、向き合う辺同士の平行度(向かい合う辺同士のなす角度が所定角度以上の場合)によって最も誤検出の可能性の高い1辺を特定する。
【0081】
条件1−3を満たさない場合(S24−4で「no」へ進む)、全角度が許容範囲外であるか(条件1−4)を判断する(S24−5)。条件1−4を満たす場合には(S24−5で「yes」へ進む)、入力画像との角度計算により誤検出辺を特定する(S24−9)。すなわち、四角領域の四隅を形成するそれぞれの辺と入力画像のフレームを形成する辺と平行度によって最も誤検出の可能性の高い1辺を特定する。
【0082】
条件1−4を満たさない場合(S24−5で「no」へ進む)、またはS24−6〜S24−9の処理が終了した場合、本フローは終了する。
[四隅検証(S26)について]
図16は、本実施形態における四隅検証の一例を示す。四隅検証を行うことにより、4辺のうち四角形領域12内部で誤検出された辺が存在し、かつ4辺によってできる四角形領域が形状検証にて正しいと判断され、誤検出辺が特定できない場合にも、誤検出辺を特定できる。
【0083】
四隅検証では、埋め込み領域四隅そのものの特徴量(例えば、その四隅の各角を形成しているL字状の形状パターン)もしくは四隅近傍に付与されたマークを検出する。
図17は、本実施形態における四隅近傍に付与されたマークの一例である。この十字マークのような特徴量の有無を四隅に関してパターンマッチング等の方法で検証する。特徴量が無い隅が存在する場合には、四隅検証失敗とし、2個の隣接辺のどちらかが誤検出しているとする。さらに別の隅について四隅検証に失敗し、かつ両隅に共通する隣接辺がある場合には該辺を誤検出辺と決定する。四隅検証に失敗する角があり、かつ誤検出辺を1つに絞れない場合には、形状検証と同様に、対辺との平行度、辺の入力画像との平行度によって最も誤検出の可能性の高い1辺を特定し、誤検出辺の再検出を行う。
【0084】
図18は、本実施形態における四隅検証処理(S26)の詳細なフローを示す。まず、4辺により形成された四角形の四隅の特徴量を検出する(S26−1)。この特徴量の検出とは、例えば、各隅の形状がL字であるかどうかを検出したり、四隅近傍に十字マーク等の所定のパターンのマークがあるかを検出したりする。
【0085】
次に、四隅全てについて特徴量の検出が成功したか、あるいは1辺に隣接しない2隅について特徴量の検出が失敗したか(条件2−1)を判断する。条件2−1を満たす場合には(S26−2で「yes」へ進む)、誤検出なしと判断する(S26−6)。
【0086】
条件2−1を満たさない場合(S26−2で「no」へ進む)、1辺に隣接する2隅について特徴量の検出が失敗したか(条件2−2)を判断する。条件2−2を満たす場合には(S26−3で「yes」へ進む)、その辺を誤検出辺と特定する(S24−7)。
【0087】
条件2−2を満たさない場合(S26−3で「no」へ進む)、1隅あるいは3隅について特徴量の検出が失敗したか(条件2−3)を判断する(S26−4)。条件2−3を満たす場合には(S26−4で「yes」へ進む)、対辺との角度計算により誤検出辺を特定する(S26−8)。すなわち、向き合う辺同士の平行度(向かい合う辺同士のなす角度が所定角度以上の場合)によって最も誤検出の可能性の高い1辺を特定する。
【0088】
条件2−3を満たさない場合(S26−4で「no」へ進む)、四隅全てについて特徴量の検出が失敗したか(条件2−4)を判断する(S26−5)。条件2−4を満たす場合には(S26−5で「yes」へ進む)、入力画像との角度計算により誤検出辺を特定する(S26−9)。すなわち、四角領域の四隅を形成するそれぞれの辺と入力画像のフレームを形成する辺と平行度によって最も誤検出の可能性の高い1辺を特定する。
【0089】
条件2−4を満たさない場合(S26−5で「no」へ進む)、またはS26−6〜S26−9の処理が終了した場合、本フローは終了する。
[辺再検出(S28)について]
図19は、本実施形態における辺再検出の一例を示す。同図に示すように、検出された4辺について、形状検証(S24)、四隅検証(S26)にて誤検出辺があると判断され、該誤検出辺R1が特定されると、誤検出辺R1より入力画像の縁側にある辺であって、このR1の次に辺検出により検出される辺R2を新たな辺として、暫定の四角形領域をT1,B1,L1,R2による四角形領域に修正する。
【0090】
図20は、本実施形態における辺再検出処理(S28)の詳細なフローを示す。まず、その誤検出辺の基となった変化点座標の組み合わせを記憶する(S28−1)。次に、各エッジ検出ラインからS28−1で記憶した変化点座標の次に内側にある変化点座標を取得し、それらの変化点座標の組み合わせを選択する(S28−2)。
【0091】
次に、その選択した変化点座標の組み合わせを基に、最小二乗法を用いて近似直線を計算する(S28−3)。
次に、各変化点座標と近似直線との距離が許容誤差の範囲内にあるか否かを判定する(S28−4)。各変化点座標と近似直線との距離>許容誤差の場合(S28−4で「no」へ進む)、当該変化点座標の組み合わせの次に内側にある変化点座標の組み合わせを選択し(S28−2)、S28−3の処理を行う。なお、変化点座標の組み合わせを選択する場合には、例えば、その1セットの変化点座標のうち「変化点座標と近似直線との距離>許容誤差」に該当する変化点座標を、その変化点の次に内側にある同一エッジ検出ライン上の変化点座標に置き換えて新たな1セットの変化点座標としてもよいし、その近似直線の基のなった1セットの変化点座標のそれぞれの変化点座標の次に内側にある同一エッジ検出ライン上の変化点座標の組み合わせを新たな1セットの変化点座標としてもよい。
【0092】
各変化点座標と近似直線との距離≦許容誤差の場合(S28−4で「yes」へ進む)、その近似線を辺の候補として決定する(S28−5)。
図21は、本実施形態における画像領域検出プログラムを実行するコンピュータのハードウェア環境の構成ブロック図である。同図においてコンピュータ20は、CPU22、リードオンリメモリ(ROM)23、ランダムアクセスメモリ(RAM)26、通信インターフェース(以下、インターフェースをI/Fという)24、記憶装置27、出力I/F21、入力I/F25、可搬型記憶媒体の読み取り装置28、およびこれらの全てが接続されたバス29、出力I/F21に接続している出力装置30、入力I/F25に接続している入力装置31によって構成されている。
【0093】
記憶装置27としてはハードディスク、磁気ディスク、フラッシュメモリなど様々な形式の記憶装置を使用することができる。このような記憶装置27、またはROM23には、上記の実施形態で用いたフローのプログラムが格納されている。また、記憶装置27には、上記の実施形態で用いた閾値、形状検出や特徴量検出のためのパターン等が格納されている。
【0094】
本実施形態にかかるプログラムは、プログラム提供者側からネットワーク32、および通信I/F24を介して、例えば記憶装置27に格納してもよい。また、このプログラムは、市販され、流通している可搬型記憶媒体に格納され、読み取り装置28にセットされて、CPU22によって実行してもよい。可搬型記憶媒体としてはCD−ROM、フレキシブルディスク、光ディスク、光磁気ディスク、ICカードなど様々な形式の記憶媒体を使用することができ、このような記憶媒体に格納されたプログラムが読み取り装置98によって読み取られる。
【0095】
また、入力装置31には、キーボード、マウス、または電子カメラ、マイク、スキャナ、センサ、タブレットなどを用いることが可能である。また、出力装置30には、ディスプレイ、プリンタ、スピーカなどを用いることが可能である。また、ネットワーク32は、インターネット、LAN、WAN、専用線、有線、無線、公衆回線等の通信網であってよい。
【0096】
本実施形態によれば、コードの埋め込まれた画像の画像領域検出方法に関して、従来技術では特定の背景領域のデザイン、レイアウトによって領域検出できない場合があった。しかしながら、本発明による画像領域検出方法によれば、背景領域のデザイン、レイアウトに依らないで正しく領域が検出できる利点があり、コード埋め込み画像入りの紙面のデザイン、レイアウトの自由度が向上する。また、計算量も少なく高速に領域検出できるため、PDA(Personal Digital Assistant)や携帯電話のように処理能力の低い機器にも搭載可能である。
【0097】
なお、本実施形態では、主として、コードの埋め込まれた第1の画像が撮像された第2の画像から第1の画像に対応する四角形領域を検出する場合を例にして説明した。しかしながら、上記「四隅検証(S26)について」でも説明したように、その例に限定されず、その第1の画像を検出する際に、四隅の特徴量で検出する場合には、第1の画像にコードが埋め込まれている必要はない。
なお、本発明は、以上に述べた実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の構成または態様を取ることができる。
【0098】
(付記1) 四角形の第1の画像を撮像して得られた第2の画像であり、該第1の画像に対応する画像領域である四角形領域を含む該第2の画像から該四角形領域を検出する画像領域検出方法であって、
前記第2の画像の中心から所定の範囲に位置する複数の画素を開始点とし、該各開始点から該第2の画像の縁部に向かって一定方向に、隣接する画素間の画素値の差分が閾値を超えている場合に一方の画素を変化点として検出し、
前記第2の画像の上下左右の各方向に行われた前記変化点検出による変化点検出線のうち、同一方向の前記各変化点検出線から1つずつ取得した変化点の組み合わせを1組の変化点とすると、各組の変化点に基づいて辺を生成し、各方向で該生成した辺のうち、前記開始点に最も近い辺を辺の候補として検出し、
前記検出された4つの辺の候補により形成される四角形に基づいて、該辺が誤って検出された誤検出辺であるか否かを判定し、誤検出辺であれば、前記辺の候補の再検出を行う、
ことを特徴とする画像領域検出方法。
【0099】
(付記2) 前記辺の候補の再検出を行う場合、
前記検出された4つの辺の候補により形成される四角形の形状の検証を行うことにより、該4辺中に前記誤検出辺があるか否かを判定し、該誤検出辺があれば誤検出辺の特定を行い、
前記4辺により形成される四角形の四隅に関する特徴の検証を行うことにより、該4辺中に前記誤検出辺があるか否かを判定し、該誤検出辺があれば誤検出辺の特定を行う、
ことを特徴とする付記1に記載の画像領域検出方法。
【0100】
(付記3) 前記辺の候補の再検出を行う場合、さらに、
前記誤検出辺が特定された場合、該誤検出辺より前記第2の画像の縁部側にある直近の組の変化点に基づいて生成された辺を前記辺の候補として再検出する
ことを特徴とする付記2に記載の画像領域検出方法。
【0101】
(付記4) 前記画像領域検出方法は、さらに、
前記誤検出辺がなければ、前記4つの辺により形成される四角形の四隅の座標を検出する
ことを特徴とする付記1に記載の画像領域検出方法。
【0102】
(付記5) 前記変化点の検出において、
同一の変化点検出線上において隣接する画素間の画素値の差分の算出をする場合、各画素のコンポーネント毎に所定の順序で該差分の算出を行う
ことを特徴とする付記1に記載の画像領域検出方法。
【0103】
(付記6) 前記4辺の候補の検出において、
辺の候補は、前記各組の変化点に基づいて生成される近似直線であって、該近似直線が、該近似直線の生成元となった変化点から所定の誤差範囲内の距離にあり、かつ、前記開始点に最も近い近似直線である
ことを特徴とする付記1に記載の画像領域検出方法。
【0104】
(付記7) 前記四角形の形状の検証において、
前記検出された4つの辺の候補により形成される四角形の内角の角度が所定の範囲内であるかに基づいて、前記4つの辺のいずれかに前記誤検出辺があるかを判定する
ことを特徴とする付記2に記載の画像領域検出方法。
【0105】
(付記8) 前記四隅の特徴の検証において、
前記4辺により形成される四角形の四隅に関する特徴は、該四隅の形態、又は前記第1の画像を特定するために前記四角形領域の四隅に付与された所定のマークである
ことを特徴とする付記2に記載の画像領域検出方法。
【0106】
(付記9) 四角形の第1の画像を撮像して得られた第2の画像であり、該第1の画像に対応する画像領域である四角形領域を含む該第2の画像から該四角形領域を検出する処理をコンピュータに実行させる画像領域検出プログラムであって、
前記第2の画像の中心から所定の範囲に位置する複数の画素を開始点とし、該各開始点から該第2の画像の縁部に向かって一定方向に、隣接する画素間の画素値の差分が閾値を超えている場合に一方の画素を変化点として検出する変化点検出処理と、
前記第2の画像の上下左右の各方向に行われた前記変化点検出による変化点検出線のうち、同一方向の前記各変化点検出線から1つずつ取得した変化点の組み合わせを1組の変化点とすると、各組の変化点に基づいて辺を生成し、各方向で該生成した辺のうち、前記開始点に最も近い辺を辺の候補として検出する4辺候補検出処理と、
前記検出された4つの辺の候補により形成される四角形に基づいて、該辺が誤って検出された誤検出辺であるか否かを判定し、誤検出辺であれば、前記辺の候補の再検出を行う辺再検出制御処理と、
をコンピュータに実行させる画像領域検出プログラム。
【0107】
(付記10) 前記辺再検出制御処理は、
前記検出された4つの辺の候補により形成される四角形の形状に基づいて、該4辺中に前記誤検出辺があるか否かを判定し、該誤検出辺があれば誤検出辺の特定を行う形状検証処理と、
前記4辺により形成される四角形の四隅に関する特徴に基づいて、該4辺中に前記誤検出辺があるか否かを判定し、該誤検出辺があれば誤検出辺の特定を行う四隅検証処理と、
をコンピュータに実行させる付記9に記載の画像領域検出プログラム。
【0108】
(付記11) 前記辺再検出制御処理は、さらに、
前記誤検出辺が特定された場合、該誤検出辺より前記第2の画像の縁部側にある直近の組の変化点に基づいて生成された辺を前記辺の候補として再検出する辺再検出処理
をコンピュータに実行させる付記10に記載の画像領域検出プログラム。
【0109】
(付記12) 前記画像領域検出プログラムは、さらに、
前記誤検出辺がなければ、前記4つの辺により形成される四角形の四隅の座標を検出する四隅座標検出処理
をコンピュータに実行させる付記9に記載の画像領域検出プログラム。
【0110】
(付記13) 前記変化点検出処理は、同一の変化点検出線上において隣接する画素間の画素値の差分の算出をする場合、各画素のコンポーネント毎に所定の順序で該差分の算出を行う
ことを特徴とする付記9に記載の画像領域検出プログラム。
【0111】
(付記14) 前記4辺候補検出処理において、辺の候補は、前記各組の変化点に基づいて生成される近似直線であって、該近似直線が、該近似直線の生成元となった変化点から所定の誤差範囲内の距離にあり、かつ、前記開始点に最も近い近似直線である
ことを特徴とする付記9に記載の画像領域検出プログラム。
【0112】
(付記15) 前記形状検証処理は、
前記検出された4つの辺の候補により形成される四角形の内角の角度が所定の範囲内であるかに基づいて、前記4つの辺のいずれかに前記誤検出辺があるかを判定する
ことを特徴とする付記10に記載の画像領域検出プログラム。
【0113】
(付記16) 前記四隅検証処理において、前記4辺により形成される四角形の四隅に関する特徴は、該四隅の形態、又は前記第1の画像を特定するために前記四角形領域の四隅に付与された所定のマークである
ことを特徴とする付記10に記載の画像領域検出プログラム。
【0114】
(付記17) 四角形の第1の画像を撮像して得られた第2の画像であり、該第1の画像に対応する画像領域である四角形領域を含む該第2の画像から該四角形領域を検出する画像領域検出装置であって、
前記第2の画像の中心から所定の範囲に位置する複数の画素を開始点とし、該各開始点から該第2の画像の縁部に向かって一定方向に、隣接する画素間の画素値の差分が閾値を超えている場合に一方の画素を変化点として検出する変化点検出手段と、
前記第2の画像の上下左右の各方向に行われた前記変化点検出による変化点検出線のうち、同一方向の前記各変化点検出線から1つずつ取得した変化点の組み合わせを1組の変化点とすると、各組の変化点に基づいて辺を生成し、各方向で該生成した辺のうち、前記開始点に最も近い辺を辺の候補として検出する4辺候補検出手段と、
前記検出された4つの辺の候補により形成される四角形に基づいて、該辺が誤って検出された誤検出辺であるか否かを判定し、誤検出辺であれば、前記辺の候補の再検出を行う辺再検出制御手段と、
を備えることを特徴とする画像領域検出装置。
【0115】
(付記18) 前記辺再検出制御手段は、
前記検出された4つの辺の候補により形成される四角形の形状に基づいて、該4辺中に前記誤検出辺があるか否かを判定し、該誤検出辺があれば誤検出辺の特定を行う形状検証手段と、
前記4辺により形成される四角形の四隅に関する特徴に基づいて、該4辺中に前記誤検出辺があるか否かを判定し、該誤検出辺があれば誤検出辺の特定を行う四隅検証手段と、
を備えることを特徴とする付記17に記載の画像領域検出装置。
【0116】
(付記19) 前記辺再検出制御手段は、さらに、
前記誤検出辺が特定された場合、該誤検出辺より前記第2の画像の縁部側にある直近の組の変化点に基づいて生成された辺を前記辺の候補として再検出する辺再検出手段
を備えることを特徴とする付記18に記載の画像領域検出装置。
【0117】
(付記20) 前記画像領域検出装置は、さらに、
前記誤検出辺がなければ、前記4つの辺により形成される四角形の四隅の座標を検出する四隅座標検出手段
を備えることを特徴とする付記17に記載の画像領域検出装置。
【図面の簡単な説明】
【0118】
【図1】本発明にかかる画像領域検出プログラムの構成を示す。
【図2】本発明における、所定領域を検出対象とする画像の紙面レイアウト図である。
【図3】本実施形態における撮影画像の一例を示す。
【図4A】本発明の原理を説明するための図である。
【図4B】図4Aを簡略化した図である。
【図5】本発明における辺の誤検出を説明するための図である。
【図6】本実施形態における最初に埋め込まれたコードのデコード処理の一実施例を示す。
【図7】本実施形態(実施例1)におけるコード埋め込み領域検出処理(S12)のフローを示す。
【図8】本実施形態(実施例2)におけるコード埋め込み領域検出処理(S12)のフローを示す。
【図9】本実施形態における変化点検出の一例を示す。
【図10】本実施形態における変化点検出の他の実施例(3コンポーネントの場合)のフローを示す。
【図11】本実施形態における辺検出の一例を示す。
【図12】本実施形態における4辺候補検出処理(S22)の詳細なフローを示す。
【図13】図12の各辺についての辺候補検出処理の詳細を示す。
【図14】本実施形態における形状検証の一例を示す。
【図15】本実施形態における形状検証処理(S24)の詳細なフローを示す。
【図16】本実施形態における四隅検証の一例を示す。
【図17】本実施形態における四隅近傍に付与されたマークの一例である。
【図18】本実施形態における四隅検証処理(S26)の詳細なフローを示す。
【図19】本実施形態における辺再検出の一例を示す。
【図20】本実施形態における辺再検出処理(S28)の詳細なフローを示す。
【図21】本実施形態における画像領域検出プログラムを実行するコンピュータのハードウェア環境の構成ブロック図である。
【符号の説明】
【0119】
S1 変化点検出処理
S2 4辺候補検出処理
S3 形状検証処理
S4 四隅検証処理
S5 辺再検出処理
S6 再検出制御処理
S7 四隅座標検出処理
11 入力画像
12 四角形領域
13 余白
14 背景領域

【特許請求の範囲】
【請求項1】
四角形の第1の画像を撮像して得られた第2の画像であり、該第1の画像に対応する画像領域である四角形領域を含む該第2の画像から該四角形領域を検出する画像領域検出方法であって、
前記第2の画像の中心から所定の範囲に位置する複数の画素を開始点とし、該各開始点から該第2の画像の縁部に向かって一定方向に、隣接する画素間の画素値の差分が閾値を超えている場合に一方の画素を変化点として検出し、
前記第2の画像の上下左右の各方向に行われた前記変化点検出による変化点検出線のうち、同一方向の前記各変化点検出線から1つずつ取得した変化点の組み合わせを1組の変化点とすると、各組の変化点に基づいて辺を生成し、各方向で該生成した辺のうち、前記開始点に最も近い辺を辺の候補として検出し、
前記検出された4つの辺の候補により形成される四角形に基づいて、該辺が誤って検出された誤検出辺であるか否かを判定し、誤検出辺であれば、前記辺の候補の再検出を行う、
ことを特徴とする画像領域検出方法。
【請求項2】
前記辺の候補の再検出を行う場合、
前記検出された4つの辺の候補により形成される四角形の形状の検証を行うことにより、該4辺中に前記誤検出辺があるか否かを判定し、該誤検出辺があれば誤検出辺の特定を行い、
前記4辺により形成される四角形の四隅に関する特徴の検証を行うことにより、該4辺中に前記誤検出辺があるか否かを判定し、該誤検出辺があれば誤検出辺の特定を行う、
ことを特徴とする請求項1に記載の画像領域検出方法。
【請求項3】
前記辺の候補の再検出を行う場合、さらに、
前記誤検出辺が特定された場合、該誤検出辺より前記第2の画像の縁部側にある直近の組の変化点に基づいて生成された辺を前記辺の候補として再検出する
ことを特徴とする請求項2に記載の画像領域検出方法。
【請求項4】
前記画像領域検出方法は、さらに、
前記誤検出辺がなければ、前記4つの辺により形成される四角形の四隅の座標を検出する
ことを特徴とする請求項1に記載の画像領域検出方法。
【請求項5】
前記変化点の検出において、
同一の変化点検出線上において隣接する画素間の画素値の差分の算出をする場合、各画素のコンポーネント毎に所定の順序で該差分の算出を行う
ことを特徴とする請求項1に記載の画像領域検出方法。
【請求項6】
前記4辺の候補の検出において、
辺の候補は、前記各組の変化点に基づいて生成される近似直線であって、該近似直線が、該近似直線の生成元となった変化点から所定の誤差範囲内の距離にあり、かつ、前記開始点に最も近い近似直線である
ことを特徴とする請求項1に記載の画像領域検出方法。
【請求項7】
前記四角形の形状の検証において、
前記検出された4つの辺の候補により形成される四角形の内角の角度が所定の範囲内であるかに基づいて、前記4つの辺のいずれかに前記誤検出辺があるかを判定する
ことを特徴とする請求項2に記載の画像領域検出方法。
【請求項8】
前記四隅の特徴の検証において、
前記4辺により形成される四角形の四隅に関する特徴は、該四隅の形態、又は前記第1の画像を特定するために前記四角形領域の四隅に付与された所定のマークである
ことを特徴とする請求項2に記載の画像領域検出方法。
【請求項9】
四角形の第1の画像を撮像して得られた第2の画像であり、該第1の画像に対応する画像領域である四角形領域を含む該第2の画像から該四角形領域を検出する処理をコンピュータに実行させる画像領域検出プログラムであって、
前記第2の画像の中心から所定の範囲に位置する複数の画素を開始点とし、該各開始点から該第2の画像の縁部に向かって一定方向に、隣接する画素間の画素値の差分が閾値を超えている場合に一方の画素を変化点として検出する変化点検出処理と、
前記第2の画像の上下左右の各方向に行われた前記変化点検出による変化点検出線のうち、同一方向の前記各変化点検出線から1つずつ取得した変化点の組み合わせを1組の変化点とすると、各組の変化点に基づいて辺を生成し、各方向で該生成した辺のうち、前記開始点に最も近い辺を辺の候補として検出する4辺候補検出処理と、
前記検出された4つの辺の候補により形成される四角形に基づいて、該辺が誤って検出された誤検出辺であるか否かを判定し、誤検出辺であれば、前記辺の候補の再検出を行う辺再検出制御処理と、
をコンピュータに実行させる画像領域検出プログラム。
【請求項10】
四角形の第1の画像を撮像して得られた第2の画像であり、該第1の画像に対応する画像領域である四角形領域を含む該第2の画像から該四角形領域を検出する画像領域検出装置であって、
前記第2の画像の中心から所定の範囲に位置する複数の画素を開始点とし、該各開始点から該第2の画像の縁部に向かって一定方向に、隣接する画素間の画素値の差分が閾値を超えている場合に一方の画素を変化点として検出する変化点検出手段と、
前記第2の画像の上下左右の各方向に行われた前記変化点検出による変化点検出線のうち、同一方向の前記各変化点検出線から1つずつ取得した変化点の組み合わせを1組の変化点とすると、各組の変化点に基づいて辺を生成し、各方向で該生成した辺のうち、前記開始点に最も近い辺を辺の候補として検出する4辺候補検出手段と、
前記検出された4つの辺の候補により形成される四角形に基づいて、該辺が誤って検出された誤検出辺であるか否かを判定し、誤検出辺であれば、前記辺の候補の再検出を行う辺再検出制御手段と、
を備えることを特徴とする画像領域検出装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4A】
image rotate

【図4B】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate

【図21】
image rotate


【公開番号】特開2008−84014(P2008−84014A)
【公開日】平成20年4月10日(2008.4.10)
【国際特許分類】
【出願番号】特願2006−263334(P2006−263334)
【出願日】平成18年9月27日(2006.9.27)
【出願人】(000005223)富士通株式会社 (25,993)
【Fターム(参考)】