コード領域を含む領域を特定する方法、コード領域を含む領域を特定するプログラム、コード領域を含む領域を特定する装置
【課題】 コード内容を識別せずに、コード領域を含む領域を特定する方法などを提供する。
【解決手段】 コード領域を含む領域を特定する方法は、明度が高い色と明度が高い色に比べて明度が低い色の２色でデータセルが表現されたコードを有するコード領域１０ａを含む撮影対象物を撮像する撮像工程と、撮像工程で得られた画像上で、コード領域１０ａの周囲に設けられ明度が低い色に比べて明度が高い色で構成された高明度領域１０ｂの外形を特定する第１探索工程と、コード領域の外形を特定する第２探索工程と、第１探索工程で特定された高明度領域１０ｂの外形に関する情報と、第２探索工程で特定されたコード領域１０ａの外形に関する情報のいずれかに基づいて、コード領域１０ａと高明度領域１０ｂを含む領域またはコード領域１０ａを特定する特定工程とを備える。
【解決手段】 コード領域を含む領域を特定する方法は、明度が高い色と明度が高い色に比べて明度が低い色の２色でデータセルが表現されたコードを有するコード領域１０ａを含む撮影対象物を撮像する撮像工程と、撮像工程で得られた画像上で、コード領域１０ａの周囲に設けられ明度が低い色に比べて明度が高い色で構成された高明度領域１０ｂの外形を特定する第１探索工程と、コード領域の外形を特定する第２探索工程と、第１探索工程で特定された高明度領域１０ｂの外形に関する情報と、第２探索工程で特定されたコード領域１０ａの外形に関する情報のいずれかに基づいて、コード領域１０ａと高明度領域１０ｂを含む領域またはコード領域１０ａを特定する特定工程とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、二次元画像コードなどを追尾するためのコード領域を含む領域を特定する方法等に関する。
【背景技術】
【０００２】
特許文献１のように、二次元画像コードなどの対象物を特定し、特定した情報に基づいて、合成画像を表示する装置が提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０００−８２１０７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、対象物を特定する際に、対象物の内容（コード内容など）を識別するシステムを使用すると、処理速度が遅くなる。
【０００５】
したがって本発明の目的は、コード内容を識別せずに、コード領域を含む領域を特定する方法などを提供することである。
【課題を解決するための手段】
【０００６】
本発明に係るコード領域を含む領域を特定する方法は、明度が高い色と明度が高い色に比べて明度が低い色の２色でデータセルが表現されたコードを有するコード領域を含む撮影対象物を撮像する撮像工程と、撮像工程で得られた画像上で、コード領域の周囲に設けられ明度が低い色に比べて明度が高い色で構成された高明度領域の外形を特定する第１探索工程と、コード領域の外形を特定する第２探索工程と、第１探索工程で特定された高明度領域の外形に関する情報と、第２探索工程で特定されたコード領域の外形に関する情報のいずれかに基づいて、コード領域と高明度領域を含む領域またはコード領域を特定する特定工程とを備える。
【０００７】
コード領域の外側の四角形の外形を探索する処理や、特定工程におけるコード領域と高明度領域を含む領域またはコード領域を特定する処理は、コード領域のコード内容まで識別する処理を必要としないため、かかる識別処理を必要とする場合に比べて、コード領域（またはコード領域と高明度領域を含む領域）を特定する処理を速く出来るメリットがある。
【０００８】
また、第１探索工程と第２探索工程を行うため、高明度領域の周囲に低明度領域が設けられている場合も、設けられていない場合も、コード領域の外側の四角形の外形を特定し、コード領域（またはコード領域と高明度領域を含む領域）を特定することが可能になる。
【０００９】
好ましくは、第１探索工程は、高明度領域の周りに設けられ、高明度領域を構成する色に比べて明度が低い色で構成される低明度領域と高明度領域の境界に形成される明度が高い色の四角形の外形を探索し、第２探索工程は、コード領域と高明度領域の境界に形成される明度が低い色の四角形の外形を探索する。
【００１０】
コード領域の周囲は、通常、白色などの明度が高い色の領域（高明度領域）が設けられる。但し、高明度領域の周囲に、黒色などの明度が低い領域（低明度領域）が設けられる場合もあるし、設けられない場合も考えられる。
【００１１】
高明度領域の周囲に低明度領域が設けられている場合には、高明度領域と低明度領域との境界が明確になっているので、第１探索工程で、コード領域の外側の四角形領域（高明度領域と低明度領域の境界）を特定することが可能になる。ただし、総ての高明度領域の周囲に低明度領域が設けられているとは限らないし、高明度領域と低明度領域の境界が矩形であるとも限らない。
【００１２】
コード領域と高明度領域との境界における低明度色で形成された四角形の直線は、低明度色だけで形成されたものだけでなく、低明度色の直線上に高明度色の点が混じっているものも含まれるため、高明度領域と低明度領域との境界における高明度色で形成された四角形の直線に比べると、探索精度が低くなる可能性があるが、コード領域の周囲は大抵の場合高明度領域が設けられているし、高明度領域の外形形状の制限が無いため、汎用性は高い。
【００１３】
また、好ましくは、第２探索工程は、第１探索工程で高明度領域の外形を特定出来なかった場合に行われる。
【００１４】
また、好ましくは、少なくとも、撮像工程、第１探索工程と第２探索工程の少なくとも一方は、一定時間ごとに繰り返し行われる。
【００１５】
撮像工程、第１探索工程と第２探索工程の少なくとも一方を、一定時間ごとに行うことにより、画像上におけるコード領域（またはコード領域と高明度領域を含む領域）の位置、大きさ、変形度合い、向きを特定し、コード領域（またはコード領域と高明度領域を含む領域）を追尾することが可能になる。
【００１６】
さらに好ましくは、特定工程で得られた情報に基づいて、撮像工程で得られた画像上に、立体画像を重畳する重畳工程を更に備える。
【００１７】
追尾出来れば、コード領域（またはコード領域と高明度領域を含む領域）の位置、大きさ、変形度合い、向きなどに関連して、撮像により得られ表示部に表示された撮影対象物の画像上に、画像処理部が、立体画像などを重畳することも可能になる（重畳工程）。特に、コード領域（またはコード領域と高明度領域を含む領域）の位置などに対応して、立体画像の位置、大きさ、変形度合い、向きなどを変化させて重畳することが可能になる。
【００１８】
また、好ましくは、撮像工程の前に、コード領域のコードを読み取りするコード読み取り工程を更に備え、特定工程におけるコード領域と高明度領域を含む領域またはコード領域の特定は、コード読み取り工程よりも解析処理の負荷が小さい。
【００１９】
また、好ましくは、コード領域と高明度領域を含む領域の特定は、撮像工程で得られた画像上におけるコード領域と高明度領域を含む領域の位置、大きさ、変形度合い、向きの少なくとも一つであり、コード領域の特定は、撮像工程で得られた画像上におけるコード領域の位置、大きさ、変形度合い、向きの少なくとも一つである。
【００２０】
本発明に係るコード領域を含む領域を特定するプログラムは、明度が高い色と明度が高い色に比べて明度が低い色の２色でデータセルが表現されたコードを有するコード領域を含む撮影対象物を撮像する撮像工程と、撮像工程で得られた画像上で、コード領域の周囲に設けられ明度が低い色に比べて明度が高い色で構成された高明度領域の外形を特定する第１探索工程と、コード領域の外形を特定する第２探索工程と、第１探索工程で特定された高明度領域の外形に関する情報と、第２探索工程で特定されたコード領域の外形に関する情報のいずれかに基づいて、コード領域と高明度領域を含む領域またはコード領域を特定する特定工程とを実行する。
【００２１】
本発明に係るコード領域を含む領域を特定する装置は、明度が高い色と明度が高い色に比べて明度が低い色の２色でデータセルが表現されたコードを有するコード領域を含む撮影対象物を撮像する撮像部と、撮像部で得られた画像上で、コード領域の周囲に設けられ明度が低い色に比べて明度が高い色で構成された高明度領域の外形を特定する第１探索工程と、コード領域の外形を特定する第２探索工程と、第１探索工程で特定された高明度領域の外形に関する情報と、第２探索工程で特定されたコード領域の外形に関する情報のいずれかに基づいて、コード領域と高明度領域を含む領域またはコード領域を特定する特定工程とを実行する画像処理部とを備える。
【００２２】
本発明に係るコード領域を含む領域を特定する方法は、輝度が高い色と輝度が高い色に比べて輝度が低い色の２色でデータセルが表現されたコードを有するコード領域を含む撮影対象物を撮像する撮像工程と、撮像工程で得られた画像上で、コード領域の周囲に設けられ輝度が低い色に比べて輝度が高い色で構成された高輝度領域の外形を特定する第１探索工程と、コード領域の外形を特定する第２探索工程と、第１探索工程で特定された高輝度領域の外形に関する情報と、第２探索工程で特定されたコード領域の外形に関する情報のいずれかに基づいて、コード領域と高明度領域を含む領域またはコード領域を特定する特定工程とを備える。
【００２３】
本発明に係るコード領域を含む領域を特定するプログラムは、輝度が高い色と輝度が高い色に比べて輝度が低い色の２色でデータセルが表現されたコードを有するコード領域を含む撮影対象物を撮像する撮像工程と、撮像工程で得られた画像上で、コード領域の周囲に設けられ輝度が低い色に比べて輝度が高い色で構成された高輝度領域の外形を特定する第１探索工程と、コード領域の外形を特定する第２探索工程と、第１探索工程で特定された高輝度領域の外形に関する情報と、第２探索工程で特定されたコード領域の外形に関する情報のいずれかに基づいて、コード領域と高明度領域を含む領域またはコード領域を特定する特定工程とを実行する。
【００２４】
本発明に係るコード領域を含む領域を特定する装置は、輝度が高い色と輝度が高い色に比べて輝度が低い色の２色でデータセルが表現されたコードを有するコード領域を含む撮影対象物を撮像する撮像部と、撮像部で得られた画像上で、コード領域の周囲に設けられ輝度が低い色に比べて輝度が高い色で構成された高輝度領域の外形を特定する第１探索工程と、コード領域の外形を特定する第２探索工程と、第１探索工程で特定された高輝度領域の外形に関する情報と、第２探索工程で特定されたコード領域の外形に関する情報のいずれかに基づいて、コード領域と高明度領域を含む領域またはコード領域を特定する特定工程とを実行する画像処理部とを備える。
【発明の効果】
【００２５】
以上のように本発明によれば、コード内容を識別せずに、コード領域を特定するコード領域特定方法などを提供することができる。
【図面の簡単な説明】
【００２６】
【図１】コード領域の周囲に高明度領域が設けられ、高明度領域の周囲に低明度領域が設けられた撮影対象物の構成図である。
【図２】コード領域の周囲に高明度領域が設けられ、高明度領域の周囲に低明度領域が設けられない撮影対象物の構成図である。
【図３】撮像装置の構成図である。
【図４】コード領域等を追尾する動作手順を示すフローチャートである。
【発明を実施するための形態】
【００２７】
以下、本実施形態におけるコード追尾システムの構成について、図を用いて説明する。本実施形態に係るコード追尾システムは、撮影対象物１０、撮像装置２０を備える（図１〜図３参照）。
【００２８】
撮影対象物１０は、ＱＲコード（登録商標）のように、明度が高い色（例えば白色）と明度が低い色（例えば黒色）の２色でデータセルが表現された二次元画像コードを示す領域（コード領域１０ａ）を含む印刷物であるが、二次元画像コードを示す領域（コード領域１０ａ）を含む画像がモニター上に表示された物であってもよい。なお、図１、図２に示される二次元画像コードは、二次元画像コードの具体的な図を表すために使用するが、コード内容は本実施形態と関係するものではない。
【００２９】
コード領域１０ａの周囲には、コード領域１０ａのデータセルを構成する２色のうち明度が低い方の色よりも明度が高い色（例えば白色）で構成され枠形状を有する高明度領域１０ｂが設けられ、高明度領域１０ｂの周囲には、高明度領域１０ｂを構成する色よりも明度が低い色（例えば黒色）で構成された低明度領域１０ｃが設けられる（図１参照）。
【００３０】
低明度領域１０ｃの外形は特に限定される形状はなく、矩形形状や円形形状など他の形状であってもよい。
【００３１】
高明度領域１０ｂの色と、コード領域１０ａのデータセルを構成する２色のうち明度が高い色とは、同じ色（例えば白色）であってもよいし、異なる色であってもよい。
【００３２】
低明度領域１０ｃの色と、コード領域１０ａのデータセルを構成する２色のうち明度が低い色とは、同じ色（例えば黒色）であってもよいし、異なる色であってもよい。
【００３３】
コード領域１０ａを含む撮影対象物１０は、高明度領域１０ｂと低明度領域１０ｃとの境界が明確になっている物（図１参照）もあれば、高明度領域１０ｂが枠形状でない場合や、低明度領域１０ｃが無い場合など、高明度領域１０ｂと低明度領域１０ｃとの境界が明確になっていない物（図２参照）も考えられる。
【００３４】
撮像装置（コード領域特定装置）２０は、例えば、カメラ付きの携帯電話などである（図３参照）。操作部２１は、テンキーなどの入力手段であるが、タッチパネルのように、操作部２１と表示部２４が一体となった形態であってもよい。記録部２２には、コード領域１０ａの位置などに対応して画面上に重畳する立体画像が記録されたり、コード領域１０ａ等を追尾するコード領域を含む領域を特定するプログラムがインストールされたりする。
【００３５】
画像処理部２３は、ＤＳＰなど、演算処理を行う装置で、撮像部２５で得られた画像信号の画像処理や、撮像部２５で得られた画像信号に基づく画像上のコード領域１０ａ（またはコード領域１０ａと高明度領域１０ｂを含む領域）の位置などの特定（第１探索工程、第２探索工程、特定工程）を行う。
【００３６】
表示部２４は、撮像部２５で得られた画像信号に基づく画像を表示し、画像処理部２３が画像上のコード領域１０ａ（またはコード領域１０ａと高明度領域１０ｂを含む領域）を特定した場合には、かかる画像の上に立体画像を重畳して表示する。撮像部２５は、撮影対象物１０を撮像するカメラである。制御部２９は、ＣＰＵなど、各部の制御を行う。
【００３７】
撮像装置２０は、撮影対象物１０を撮像し、撮像により得られた画像上のコード領域１０ａまたはコード領域１０ａと高明度領域１０ｂを含む領域を特定（コード領域１０ａまたはコード領域１０ａと高明度領域１０ｂを含む領域の位置、大きさ、変形度合い、向きを特定）する動作を一定時間（例えば、１／３０秒）ごとに行うことにより、コード領域１０ａまたはコード領域１０ａと高明度領域１０ｂを含む領域を追尾する。
【００３８】
コード領域１０ａまたはコード領域１０ａと高明度領域１０ｂを含む領域を追尾する動作手順について、図４のフローチャートを用いて、説明する。使用者が、撮像装置２０の操作部２１を操作し、コード領域１０ａ等を追尾する動作を開始させることにより、コード領域を含む領域を特定するプログラムが起動し、制御部２９が撮像部２５など各部を制御し、ステップＳ１１〜Ｓ１５の動作が、一定時間（例えば１／３０秒）ごとに行われる（撮像工程などが実行される）。
【００３９】
ステップＳ１１で、撮像部２５は、撮影対象部１０を撮像する（撮像工程）。撮像工程で得られた撮影対象物１０の画像は、画像処理部２３で画像処理が施され、表示部２４に表示される（ライブビュー表示）。
【００４０】
ステップ１２で、画像処理部２３は、前回のステップＳ１５の第２探索工程でコード領域１０ａの外形を特定出来たか否かを判断する。前回のステップＳ１５の第２探索工程でコード領域１０ａの外形を特定出来た場合には、コード領域１０ａを追尾するため、ステップＳ１５に進められる。前回のステップＳ１５の第２探索工程でコード領域１０ａの外形を特定出来なかった場合には、新しく高明度領域１０ｂの外形を探索するため、ステップＳ１３に進められる。前回のステップＳ１３の第１探索工程で、高明度色で構成された略正方形形状の枠（高明度領域１０ｂの外形）を特定出来た場合には、コード領域１０ａと高明度領域１０ｂを含む領域を追尾するため、ステップＳ１３に進められる。
【００４１】
ステップＳ１３で、画像処理部２３は、撮像工程で得られた撮影対象物１０の画像上に、高明度色で構成された直線で略正方形（又は略矩形）が形成されている領域があるか否かを判断する。すなわち、高明度色で構成された略正方形形状の枠（高明度領域１０ｂの外形）を探索する（第１探索工程）。
【００４２】
具体的には、第１探索工程では、高明度領域１０ｂと低明度領域１０ｃとの境界に形成される高明度色で形成された直線を探索する。なお、図２のように、高明度領域１０ｂが枠形状でない場合や、低明度領域１０ｃが無い場合には、高明度色で形成された直線を見つけることが出来ないため、高明度色で構成された略正方形形状の枠（高明度領域１０ｂの外形）を特定することは出来ない。
【００４３】
第１探索工程で、高明度色で構成された直線で略正方形（又は略矩形）が形成されている領域を特定出来た場合、ステップＳ１４で、画像処理部２３は、高明度色で構成された直線で略正方形（又は略矩形）が形成されている領域の内側領域（コード領域１０ａと高明度領域１０ｂを含む領域）を特定する（特定工程）。
【００４４】
ステップＳ１３の後に行われるステップＳ１４の特定工程では、表示部２４に表示された画像上におけるコード領域１０ａと高明度領域１０ｂを含む領域の位置、大きさ、変形度合い、向きを特定し、撮像装置２０と実際の撮影対象物１０のコード領域１０ａと高明度領域１０ｂを含む領域との位置関係を把握する。コード領域１０ａと高明度領域１０ｂを含む領域の変形度合いは、撮像装置２０と実際の撮影対象物１０との位置関係に起因するもので、コード領域１０ａと高明度領域１０ｂを含む領域の本来の形状（正方形若しくは矩形）に比べた変形度合いを示す。コード領域１０ａと高明度領域１０ｂを含む領域の向きは、コード領域１０ａと高明度領域１０ｂを含む領域の画像パターンにより、特定される。
【００４５】
なお、撮像装置２０と実際の撮影対象物１０上のコード領域１０ａと高明度領域１０ｂを含む領域との相対的な位置関係まで特定する必要はなく、表示部２４上に表示された画像上におけるコード領域１０ａと高明度領域１０ｂを含む領域の位置などを特定するだけで良い。
【００４６】
画像パターンは、コード領域１０ａに記載されたコード内容を読み取る必要はなく、コード領域１０ａと高明度領域１０ｂを含む領域の向きを特定するために、明度が高い色と明度が低い色の配列パターンを大まかに特定する。例えば、コード領域１０ａと高明度領域１０ｂを含む領域を１６分割（他の分割数でもよい）し、１６分割された領域ごとの明度を特定する。また、他の画像パターンのマッチング処理で、画像パターンを特定する形態であってもよい。このため、バーコードリーダーのように、コード領域１０ａに記載されたコード内容を読み取りする処理（後述するコード読み取り工程）に比べて早く処理を行うことが出来る。
【００４７】
第１探索工程で、高明度色で構成された直線で略正方形（又は略矩形）が形成されている領域を特定できなかった場合は、ステップＳ１５に進められる。ステップＳ１５で、画像処理部２３は、撮像工程で得られた撮影対象物１０の画像上に、低明度色で構成された直線で略正方形（又は略矩形）が形成されている領域があるか否かを判断する。すなわち、明度が高い色と明度が低い色の２色でデータセルが表現された二次元画像コード（コード領域１０ａ）の外形を探索する（第２探索工程）。
【００４８】
具体的には、第２探索工程では、コード領域１０ａと高明度領域１０ｂとの境界に形成される低明度色で形成された直線を探索する。
【００４９】
コード領域１０ａは、明度が高い色と明度が低い色の配列で構成されるため、コード領域１０ａと高明度領域１０ｂとの境界は、低明度色だけで構成されるとは限らず、低明度色と高明度色が入り交じっており、低明度色だけで形成された直線にならないことが考えられる。このため、かかる低明度色の直線の探索では、低明度色だけで形成された直線だけでなく、低明度色の直線上に高明度色の点が混じっているもの（低明度色の点が直線上に並んでいるもの）も含めて低明度色で形成された直線として探索する。
【００５０】
第２探索工程で、低明度色で構成された直線で略正方形（又は略矩形）が形成されている領域を特定出来た場合、ステップＳ１４で、画像処理部２３は、低明度色で構成された直線で略正方形（又は略矩形）が形成されている領域の内側領域（コード領域１０ａ）を特定する（特定工程）。
【００５１】
ステップＳ１５の後に行われるステップＳ１４の特定工程では、表示部２４に表示された画像上におけるコード領域１０ａの位置、大きさ、変形度合い、向きを特定し、撮像装置２０と実際の撮影対象物１０のコード領域１０ａとの位置関係を把握する。コード領域１０ａの変形度合いは、撮像装置２０と実際の撮影対象物１０との位置関係に起因するもので、画像上におけるコード領域１０ａの本来の形状（正方形若しくは矩形）に比べた変形度合いを示す。コード領域１０ａの向きは、コード領域１０ａの画像パターンにより、特定される。
【００５２】
なお、撮像装置２０と実際の撮影対象物１０上のコード領域１０ａとの相対的な位置関係まで特定する必要はなく、表示部２４上に表示された画像上におけるコード領域１０ａの位置などを特定するだけで良い。
【００５３】
画像パターンは、コード領域１０ａに記載されたコード内容を読み取る必要はなく、コード領域１０ａの向きを特定するために、明度が高い色と明度が低い色の配列パターンを大まかに特定する。例えば、コード領域１０ａを１６分割（他の分割数でもよい）し、１６分割された領域ごとの明度を特定する。また、他の画像パターンのマッチング処理で、画像パターンを特定する形態であってもよい。
【００５４】
第２探索工程で、低明度色で構成された直線で略正方形（又は略矩形）が形成されている領域を特定出来なかった場合、画像処理部２３は、手順を終了し、一定時間経過後に、ステップＳ１１に戻り、撮像工程等を行う。すなわち、第１探索工程と第２探索工程のいずれかで、コード領域１０ａの外側の四角形領域を探索し、いずれかの探索工程でかかる四角形領域が見つかった場合には、その内側にコード領域１０ａがあると判断して、特定工程を行い、かかる内側領域の画像パターン等を特定する。
【００５５】
撮像工程、第１探索工程と第２探索工程の少なくとも一方を、一定時間ごとに行うことにより、画像上におけるコード領域１０ａ（またはコード領域１０ａと高明度領域１０ｂを含む領域）の位置、大きさ、変形度合い、向きを特定し、コード領域１０ａ（またはコード領域１０ａと高明度領域１０ｂを含む領域）を追尾することが可能になる。第１探索工程で、コード領域１０ａと高明度領域１０ｂを含む領域が特定出来た場合には、引き続き高明度領域１０ｂの外形を探索し、コード領域１０ａと高明度領域１０ｂを含む領域を追尾する。第２探索工程で、コード領域１０ａを特定出来た場合には、引き続きコード領域１０ａの外形を探索し、コード領域１０ａを追尾する。
【００５６】
追尾出来れば、コード領域１０ａ（またはコード領域１０ａと高明度領域１０ｂを含む領域）の位置、大きさ、変形度合い、向きなどに関連して、撮像により得られ表示部２４に表示された撮影対象物１０の画像上に、画像処理部２３が、立体画像などを重畳することも可能になる（重畳工程）。特に、コード領域１０ａ（またはコード領域１０ａと高明度領域１０ｂを含む領域）の位置などに対応して、立体画像の位置、大きさ、変形度合い、向きなどを変化させて重畳することが可能になる。
【００５７】
立体画像は、撮像装置２０の記録部２２に予め記録しておいたものを使用する形態であってもよいし、第１探索工程や第２探索工程の為の撮像工程を行う前に、撮像部２５を使ってコード領域１０ａに含まれるＵＲＬ情報を読み取り（コード読み取り工程）、かかるＵＲＬ情報から立体画像に関連したコンテンツをダウンロードし記録部２２に記録したものを使用する形態であってもよい。なお、特定工程では、コードの内容まで読み取る必要はなく、コード領域１０ａ（またはコード領域１０ａと高明度領域１０ｂを含む領域）の向きなどが特定出来るだけで良いため。このため、コード領域１０ａ（またはコード領域１０ａと高明度領域１０ｂを含む領域）の画像パターンの特定は、コード読み取り工程よりも画像解析処理の負荷が小さいメリットがある。
【００５８】
コード領域１０ａの外側の四角形の外形（第１探索工程における高明度領域１０ｂと低明度領域１０ｃの境界にある高明度色で構成された四角形の外形、若しくは、第２探索工程におけるコード領域１０ａと高明度領域１０ｂの境界にある低明度色で構成された四角形の外形）を探索する処理や、特定工程におけるコード領域１０ａと高明度領域１０ｂを含む領域またはコード領域１０ａを特定する処理は、コード領域１０ａのコード内容まで識別する処理を必要としないため、かかる識別処理を必要とする場合に比べて、コード領域１０ａ（またはコード領域１０ａと高明度領域１０ｂを含む領域）を特定する処理を速く出来るメリットがある。
【００５９】
コード領域１０ａの周囲は、通常、白色などの明度が高い色の領域（高明度領域１０ｂ）が設けられる。但し、高明度領域１０ｂの周囲に、図１のように黒色などの明度が低い領域（低明度領域１０ｃ）が設けられる場合もあるし、図２のように設けられない場合も考えられる。
【００６０】
高明度領域１０ｂの周囲に低明度領域１０ｃが設けられている場合には、高明度領域１０ｂと低明度領域１０ｃとの境界が明確になっているので、第１探索工程で、コード領域１０ａの外側の四角形領域（高明度領域１０ｂと低明度領域１０ｃの境界）を特定することが可能になる。ただし、総ての高明度領域１０ｂの周囲に低明度領域１０ｃが設けられているとは限らないし、高明度領域１０ｂと低明度領域１０ｃの境界が矩形であるとも限らない。
【００６１】
高明度領域１０ｂの周囲に低明度領域１０ｃが設けられていない場合には、高明度領域１０ｂと低明度領域１０ｃとの境界が明確になっていないので、第１探索工程では、コード領域１０ａの外側の四角形領域（高明度領域１０ｂと低明度領域１０ｃの境界）を特定することは出来ない。
【００６２】
また、高明度領域１０ｂが枠形状でない（外形が矩形でない）場合にも、第１探索工程では、コード領域１０ａの外側の四角形領域（高明度領域１０ｂと低明度領域１０ｃの境界）を特定することは出来ない。
【００６３】
但し、いずれの場合も、第２探索工程で、コード領域１０ａの外側の四角形領域（コード領域１０ａと高明度領域１０ｂの境界）を特定することは出来る。
【００６４】
コード領域１０ａと高明度領域１０ｂとの境界における低明度色で形成された四角形の直線は、低明度色だけで形成されたものだけでなく、低明度色の直線上に高明度色の点が混じっているものも含まれるため、高明度領域１０ｂと低明度領域１０ｃとの境界における高明度色で形成された四角形の直線に比べると、探索精度が低くなる可能性があるが、コード領域１０ａの周囲は大抵の場合高明度領域１０ｂが設けられているし、高明度領域１０ｂの外形形状の制限が無いため、汎用性は高い。
【００６５】
このため、第１探索工程と第２探索工程を行う本実施形態では、高明度領域１０ｂの周囲に低明度領域１０ｃが設けられている場合も、設けられていない場合も、コード領域１０ａの外側の四角形の外形を特定し、コード領域１０ａ（またはコード領域１０ａと高明度領域１０ｂを含む領域）を追尾することが可能になる。
【００６６】
なお、本実施形態では、明度（ＲＧＢ各チャンネルの最大値）の違いで色領域を区別する形態を説明したが、輝度（ＲＧＢ値の加重平均）の違いで色領域を区別する形態であってもよい。この場合には、コード領域１０ａは、輝度が高い色と該輝度が高い色に比べて輝度が低い色の２色でデータセルが表現されたコードを有するものになり、高明度領域１０ｂが高輝度領域１０ｂに、低明度領域１０ｃが低輝度領域１０ｃになり、通常画像処理工程の中で算出される画素ごとの輝度信号に基づいて、第１探索工程や第２探索工程が行われる。
【００６７】
第１探索工程で、コード領域１０ａを含む高明度領域１０ｂの外形を探索した後、特定工程でコード領域１０ａと高明度領域１０ｂを含む領域を特定する形態に代え、さらに、内側にあるコード領域１０ａを探索した後に、特定工程でコード領域１０ａを特定する形態であってもよい。この場合には、１つ探索工程が増えるが、第１探索工程の後の特定工程でも第２探索工程の後の特定工程でも同じコード領域１０ａの追尾が出来るメリットがある。
【００６８】
また、第２探索工程で、コード領域１０ａの外形を探索した後、特定工程でコード領域１０ａを特定する形態に代え、特定工程でコード領域１０ａとその周りの一定範囲にある高明度領域１０ｂを含む領域を特定する形態であってもよい。この場合も、第１探索工程の後の特定工程でも第２探索工程の後の特定工程でもほぼ同じコード領域１０ａと高明度領域１０ｂを含む領域の追尾が出来るメリットがある。
【符号の説明】
【００６９】
１０ 撮影対象物
１０ａ コード領域
１０ｂ 高明度領域（高輝度領域）
１０ｃ 低明度領域（低輝度領域）
２０ 撮像装置
２１ 操作部
２２ 記録部
２３ 画像処理部
２４ 表示部
２５ 撮像部
２９ 制御部
【技術分野】
【０００１】
本発明は、二次元画像コードなどを追尾するためのコード領域を含む領域を特定する方法等に関する。
【背景技術】
【０００２】
特許文献１のように、二次元画像コードなどの対象物を特定し、特定した情報に基づいて、合成画像を表示する装置が提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０００−８２１０７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、対象物を特定する際に、対象物の内容（コード内容など）を識別するシステムを使用すると、処理速度が遅くなる。
【０００５】
したがって本発明の目的は、コード内容を識別せずに、コード領域を含む領域を特定する方法などを提供することである。
【課題を解決するための手段】
【０００６】
本発明に係るコード領域を含む領域を特定する方法は、明度が高い色と明度が高い色に比べて明度が低い色の２色でデータセルが表現されたコードを有するコード領域を含む撮影対象物を撮像する撮像工程と、撮像工程で得られた画像上で、コード領域の周囲に設けられ明度が低い色に比べて明度が高い色で構成された高明度領域の外形を特定する第１探索工程と、コード領域の外形を特定する第２探索工程と、第１探索工程で特定された高明度領域の外形に関する情報と、第２探索工程で特定されたコード領域の外形に関する情報のいずれかに基づいて、コード領域と高明度領域を含む領域またはコード領域を特定する特定工程とを備える。
【０００７】
コード領域の外側の四角形の外形を探索する処理や、特定工程におけるコード領域と高明度領域を含む領域またはコード領域を特定する処理は、コード領域のコード内容まで識別する処理を必要としないため、かかる識別処理を必要とする場合に比べて、コード領域（またはコード領域と高明度領域を含む領域）を特定する処理を速く出来るメリットがある。
【０００８】
また、第１探索工程と第２探索工程を行うため、高明度領域の周囲に低明度領域が設けられている場合も、設けられていない場合も、コード領域の外側の四角形の外形を特定し、コード領域（またはコード領域と高明度領域を含む領域）を特定することが可能になる。
【０００９】
好ましくは、第１探索工程は、高明度領域の周りに設けられ、高明度領域を構成する色に比べて明度が低い色で構成される低明度領域と高明度領域の境界に形成される明度が高い色の四角形の外形を探索し、第２探索工程は、コード領域と高明度領域の境界に形成される明度が低い色の四角形の外形を探索する。
【００１０】
コード領域の周囲は、通常、白色などの明度が高い色の領域（高明度領域）が設けられる。但し、高明度領域の周囲に、黒色などの明度が低い領域（低明度領域）が設けられる場合もあるし、設けられない場合も考えられる。
【００１１】
高明度領域の周囲に低明度領域が設けられている場合には、高明度領域と低明度領域との境界が明確になっているので、第１探索工程で、コード領域の外側の四角形領域（高明度領域と低明度領域の境界）を特定することが可能になる。ただし、総ての高明度領域の周囲に低明度領域が設けられているとは限らないし、高明度領域と低明度領域の境界が矩形であるとも限らない。
【００１２】
コード領域と高明度領域との境界における低明度色で形成された四角形の直線は、低明度色だけで形成されたものだけでなく、低明度色の直線上に高明度色の点が混じっているものも含まれるため、高明度領域と低明度領域との境界における高明度色で形成された四角形の直線に比べると、探索精度が低くなる可能性があるが、コード領域の周囲は大抵の場合高明度領域が設けられているし、高明度領域の外形形状の制限が無いため、汎用性は高い。
【００１３】
また、好ましくは、第２探索工程は、第１探索工程で高明度領域の外形を特定出来なかった場合に行われる。
【００１４】
また、好ましくは、少なくとも、撮像工程、第１探索工程と第２探索工程の少なくとも一方は、一定時間ごとに繰り返し行われる。
【００１５】
撮像工程、第１探索工程と第２探索工程の少なくとも一方を、一定時間ごとに行うことにより、画像上におけるコード領域（またはコード領域と高明度領域を含む領域）の位置、大きさ、変形度合い、向きを特定し、コード領域（またはコード領域と高明度領域を含む領域）を追尾することが可能になる。
【００１６】
さらに好ましくは、特定工程で得られた情報に基づいて、撮像工程で得られた画像上に、立体画像を重畳する重畳工程を更に備える。
【００１７】
追尾出来れば、コード領域（またはコード領域と高明度領域を含む領域）の位置、大きさ、変形度合い、向きなどに関連して、撮像により得られ表示部に表示された撮影対象物の画像上に、画像処理部が、立体画像などを重畳することも可能になる（重畳工程）。特に、コード領域（またはコード領域と高明度領域を含む領域）の位置などに対応して、立体画像の位置、大きさ、変形度合い、向きなどを変化させて重畳することが可能になる。
【００１８】
また、好ましくは、撮像工程の前に、コード領域のコードを読み取りするコード読み取り工程を更に備え、特定工程におけるコード領域と高明度領域を含む領域またはコード領域の特定は、コード読み取り工程よりも解析処理の負荷が小さい。
【００１９】
また、好ましくは、コード領域と高明度領域を含む領域の特定は、撮像工程で得られた画像上におけるコード領域と高明度領域を含む領域の位置、大きさ、変形度合い、向きの少なくとも一つであり、コード領域の特定は、撮像工程で得られた画像上におけるコード領域の位置、大きさ、変形度合い、向きの少なくとも一つである。
【００２０】
本発明に係るコード領域を含む領域を特定するプログラムは、明度が高い色と明度が高い色に比べて明度が低い色の２色でデータセルが表現されたコードを有するコード領域を含む撮影対象物を撮像する撮像工程と、撮像工程で得られた画像上で、コード領域の周囲に設けられ明度が低い色に比べて明度が高い色で構成された高明度領域の外形を特定する第１探索工程と、コード領域の外形を特定する第２探索工程と、第１探索工程で特定された高明度領域の外形に関する情報と、第２探索工程で特定されたコード領域の外形に関する情報のいずれかに基づいて、コード領域と高明度領域を含む領域またはコード領域を特定する特定工程とを実行する。
【００２１】
本発明に係るコード領域を含む領域を特定する装置は、明度が高い色と明度が高い色に比べて明度が低い色の２色でデータセルが表現されたコードを有するコード領域を含む撮影対象物を撮像する撮像部と、撮像部で得られた画像上で、コード領域の周囲に設けられ明度が低い色に比べて明度が高い色で構成された高明度領域の外形を特定する第１探索工程と、コード領域の外形を特定する第２探索工程と、第１探索工程で特定された高明度領域の外形に関する情報と、第２探索工程で特定されたコード領域の外形に関する情報のいずれかに基づいて、コード領域と高明度領域を含む領域またはコード領域を特定する特定工程とを実行する画像処理部とを備える。
【００２２】
本発明に係るコード領域を含む領域を特定する方法は、輝度が高い色と輝度が高い色に比べて輝度が低い色の２色でデータセルが表現されたコードを有するコード領域を含む撮影対象物を撮像する撮像工程と、撮像工程で得られた画像上で、コード領域の周囲に設けられ輝度が低い色に比べて輝度が高い色で構成された高輝度領域の外形を特定する第１探索工程と、コード領域の外形を特定する第２探索工程と、第１探索工程で特定された高輝度領域の外形に関する情報と、第２探索工程で特定されたコード領域の外形に関する情報のいずれかに基づいて、コード領域と高明度領域を含む領域またはコード領域を特定する特定工程とを備える。
【００２３】
本発明に係るコード領域を含む領域を特定するプログラムは、輝度が高い色と輝度が高い色に比べて輝度が低い色の２色でデータセルが表現されたコードを有するコード領域を含む撮影対象物を撮像する撮像工程と、撮像工程で得られた画像上で、コード領域の周囲に設けられ輝度が低い色に比べて輝度が高い色で構成された高輝度領域の外形を特定する第１探索工程と、コード領域の外形を特定する第２探索工程と、第１探索工程で特定された高輝度領域の外形に関する情報と、第２探索工程で特定されたコード領域の外形に関する情報のいずれかに基づいて、コード領域と高明度領域を含む領域またはコード領域を特定する特定工程とを実行する。
【００２４】
本発明に係るコード領域を含む領域を特定する装置は、輝度が高い色と輝度が高い色に比べて輝度が低い色の２色でデータセルが表現されたコードを有するコード領域を含む撮影対象物を撮像する撮像部と、撮像部で得られた画像上で、コード領域の周囲に設けられ輝度が低い色に比べて輝度が高い色で構成された高輝度領域の外形を特定する第１探索工程と、コード領域の外形を特定する第２探索工程と、第１探索工程で特定された高輝度領域の外形に関する情報と、第２探索工程で特定されたコード領域の外形に関する情報のいずれかに基づいて、コード領域と高明度領域を含む領域またはコード領域を特定する特定工程とを実行する画像処理部とを備える。
【発明の効果】
【００２５】
以上のように本発明によれば、コード内容を識別せずに、コード領域を特定するコード領域特定方法などを提供することができる。
【図面の簡単な説明】
【００２６】
【図１】コード領域の周囲に高明度領域が設けられ、高明度領域の周囲に低明度領域が設けられた撮影対象物の構成図である。
【図２】コード領域の周囲に高明度領域が設けられ、高明度領域の周囲に低明度領域が設けられない撮影対象物の構成図である。
【図３】撮像装置の構成図である。
【図４】コード領域等を追尾する動作手順を示すフローチャートである。
【発明を実施するための形態】
【００２７】
以下、本実施形態におけるコード追尾システムの構成について、図を用いて説明する。本実施形態に係るコード追尾システムは、撮影対象物１０、撮像装置２０を備える（図１〜図３参照）。
【００２８】
撮影対象物１０は、ＱＲコード（登録商標）のように、明度が高い色（例えば白色）と明度が低い色（例えば黒色）の２色でデータセルが表現された二次元画像コードを示す領域（コード領域１０ａ）を含む印刷物であるが、二次元画像コードを示す領域（コード領域１０ａ）を含む画像がモニター上に表示された物であってもよい。なお、図１、図２に示される二次元画像コードは、二次元画像コードの具体的な図を表すために使用するが、コード内容は本実施形態と関係するものではない。
【００２９】
コード領域１０ａの周囲には、コード領域１０ａのデータセルを構成する２色のうち明度が低い方の色よりも明度が高い色（例えば白色）で構成され枠形状を有する高明度領域１０ｂが設けられ、高明度領域１０ｂの周囲には、高明度領域１０ｂを構成する色よりも明度が低い色（例えば黒色）で構成された低明度領域１０ｃが設けられる（図１参照）。
【００３０】
低明度領域１０ｃの外形は特に限定される形状はなく、矩形形状や円形形状など他の形状であってもよい。
【００３１】
高明度領域１０ｂの色と、コード領域１０ａのデータセルを構成する２色のうち明度が高い色とは、同じ色（例えば白色）であってもよいし、異なる色であってもよい。
【００３２】
低明度領域１０ｃの色と、コード領域１０ａのデータセルを構成する２色のうち明度が低い色とは、同じ色（例えば黒色）であってもよいし、異なる色であってもよい。
【００３３】
コード領域１０ａを含む撮影対象物１０は、高明度領域１０ｂと低明度領域１０ｃとの境界が明確になっている物（図１参照）もあれば、高明度領域１０ｂが枠形状でない場合や、低明度領域１０ｃが無い場合など、高明度領域１０ｂと低明度領域１０ｃとの境界が明確になっていない物（図２参照）も考えられる。
【００３４】
撮像装置（コード領域特定装置）２０は、例えば、カメラ付きの携帯電話などである（図３参照）。操作部２１は、テンキーなどの入力手段であるが、タッチパネルのように、操作部２１と表示部２４が一体となった形態であってもよい。記録部２２には、コード領域１０ａの位置などに対応して画面上に重畳する立体画像が記録されたり、コード領域１０ａ等を追尾するコード領域を含む領域を特定するプログラムがインストールされたりする。
【００３５】
画像処理部２３は、ＤＳＰなど、演算処理を行う装置で、撮像部２５で得られた画像信号の画像処理や、撮像部２５で得られた画像信号に基づく画像上のコード領域１０ａ（またはコード領域１０ａと高明度領域１０ｂを含む領域）の位置などの特定（第１探索工程、第２探索工程、特定工程）を行う。
【００３６】
表示部２４は、撮像部２５で得られた画像信号に基づく画像を表示し、画像処理部２３が画像上のコード領域１０ａ（またはコード領域１０ａと高明度領域１０ｂを含む領域）を特定した場合には、かかる画像の上に立体画像を重畳して表示する。撮像部２５は、撮影対象物１０を撮像するカメラである。制御部２９は、ＣＰＵなど、各部の制御を行う。
【００３７】
撮像装置２０は、撮影対象物１０を撮像し、撮像により得られた画像上のコード領域１０ａまたはコード領域１０ａと高明度領域１０ｂを含む領域を特定（コード領域１０ａまたはコード領域１０ａと高明度領域１０ｂを含む領域の位置、大きさ、変形度合い、向きを特定）する動作を一定時間（例えば、１／３０秒）ごとに行うことにより、コード領域１０ａまたはコード領域１０ａと高明度領域１０ｂを含む領域を追尾する。
【００３８】
コード領域１０ａまたはコード領域１０ａと高明度領域１０ｂを含む領域を追尾する動作手順について、図４のフローチャートを用いて、説明する。使用者が、撮像装置２０の操作部２１を操作し、コード領域１０ａ等を追尾する動作を開始させることにより、コード領域を含む領域を特定するプログラムが起動し、制御部２９が撮像部２５など各部を制御し、ステップＳ１１〜Ｓ１５の動作が、一定時間（例えば１／３０秒）ごとに行われる（撮像工程などが実行される）。
【００３９】
ステップＳ１１で、撮像部２５は、撮影対象部１０を撮像する（撮像工程）。撮像工程で得られた撮影対象物１０の画像は、画像処理部２３で画像処理が施され、表示部２４に表示される（ライブビュー表示）。
【００４０】
ステップ１２で、画像処理部２３は、前回のステップＳ１５の第２探索工程でコード領域１０ａの外形を特定出来たか否かを判断する。前回のステップＳ１５の第２探索工程でコード領域１０ａの外形を特定出来た場合には、コード領域１０ａを追尾するため、ステップＳ１５に進められる。前回のステップＳ１５の第２探索工程でコード領域１０ａの外形を特定出来なかった場合には、新しく高明度領域１０ｂの外形を探索するため、ステップＳ１３に進められる。前回のステップＳ１３の第１探索工程で、高明度色で構成された略正方形形状の枠（高明度領域１０ｂの外形）を特定出来た場合には、コード領域１０ａと高明度領域１０ｂを含む領域を追尾するため、ステップＳ１３に進められる。
【００４１】
ステップＳ１３で、画像処理部２３は、撮像工程で得られた撮影対象物１０の画像上に、高明度色で構成された直線で略正方形（又は略矩形）が形成されている領域があるか否かを判断する。すなわち、高明度色で構成された略正方形形状の枠（高明度領域１０ｂの外形）を探索する（第１探索工程）。
【００４２】
具体的には、第１探索工程では、高明度領域１０ｂと低明度領域１０ｃとの境界に形成される高明度色で形成された直線を探索する。なお、図２のように、高明度領域１０ｂが枠形状でない場合や、低明度領域１０ｃが無い場合には、高明度色で形成された直線を見つけることが出来ないため、高明度色で構成された略正方形形状の枠（高明度領域１０ｂの外形）を特定することは出来ない。
【００４３】
第１探索工程で、高明度色で構成された直線で略正方形（又は略矩形）が形成されている領域を特定出来た場合、ステップＳ１４で、画像処理部２３は、高明度色で構成された直線で略正方形（又は略矩形）が形成されている領域の内側領域（コード領域１０ａと高明度領域１０ｂを含む領域）を特定する（特定工程）。
【００４４】
ステップＳ１３の後に行われるステップＳ１４の特定工程では、表示部２４に表示された画像上におけるコード領域１０ａと高明度領域１０ｂを含む領域の位置、大きさ、変形度合い、向きを特定し、撮像装置２０と実際の撮影対象物１０のコード領域１０ａと高明度領域１０ｂを含む領域との位置関係を把握する。コード領域１０ａと高明度領域１０ｂを含む領域の変形度合いは、撮像装置２０と実際の撮影対象物１０との位置関係に起因するもので、コード領域１０ａと高明度領域１０ｂを含む領域の本来の形状（正方形若しくは矩形）に比べた変形度合いを示す。コード領域１０ａと高明度領域１０ｂを含む領域の向きは、コード領域１０ａと高明度領域１０ｂを含む領域の画像パターンにより、特定される。
【００４５】
なお、撮像装置２０と実際の撮影対象物１０上のコード領域１０ａと高明度領域１０ｂを含む領域との相対的な位置関係まで特定する必要はなく、表示部２４上に表示された画像上におけるコード領域１０ａと高明度領域１０ｂを含む領域の位置などを特定するだけで良い。
【００４６】
画像パターンは、コード領域１０ａに記載されたコード内容を読み取る必要はなく、コード領域１０ａと高明度領域１０ｂを含む領域の向きを特定するために、明度が高い色と明度が低い色の配列パターンを大まかに特定する。例えば、コード領域１０ａと高明度領域１０ｂを含む領域を１６分割（他の分割数でもよい）し、１６分割された領域ごとの明度を特定する。また、他の画像パターンのマッチング処理で、画像パターンを特定する形態であってもよい。このため、バーコードリーダーのように、コード領域１０ａに記載されたコード内容を読み取りする処理（後述するコード読み取り工程）に比べて早く処理を行うことが出来る。
【００４７】
第１探索工程で、高明度色で構成された直線で略正方形（又は略矩形）が形成されている領域を特定できなかった場合は、ステップＳ１５に進められる。ステップＳ１５で、画像処理部２３は、撮像工程で得られた撮影対象物１０の画像上に、低明度色で構成された直線で略正方形（又は略矩形）が形成されている領域があるか否かを判断する。すなわち、明度が高い色と明度が低い色の２色でデータセルが表現された二次元画像コード（コード領域１０ａ）の外形を探索する（第２探索工程）。
【００４８】
具体的には、第２探索工程では、コード領域１０ａと高明度領域１０ｂとの境界に形成される低明度色で形成された直線を探索する。
【００４９】
コード領域１０ａは、明度が高い色と明度が低い色の配列で構成されるため、コード領域１０ａと高明度領域１０ｂとの境界は、低明度色だけで構成されるとは限らず、低明度色と高明度色が入り交じっており、低明度色だけで形成された直線にならないことが考えられる。このため、かかる低明度色の直線の探索では、低明度色だけで形成された直線だけでなく、低明度色の直線上に高明度色の点が混じっているもの（低明度色の点が直線上に並んでいるもの）も含めて低明度色で形成された直線として探索する。
【００５０】
第２探索工程で、低明度色で構成された直線で略正方形（又は略矩形）が形成されている領域を特定出来た場合、ステップＳ１４で、画像処理部２３は、低明度色で構成された直線で略正方形（又は略矩形）が形成されている領域の内側領域（コード領域１０ａ）を特定する（特定工程）。
【００５１】
ステップＳ１５の後に行われるステップＳ１４の特定工程では、表示部２４に表示された画像上におけるコード領域１０ａの位置、大きさ、変形度合い、向きを特定し、撮像装置２０と実際の撮影対象物１０のコード領域１０ａとの位置関係を把握する。コード領域１０ａの変形度合いは、撮像装置２０と実際の撮影対象物１０との位置関係に起因するもので、画像上におけるコード領域１０ａの本来の形状（正方形若しくは矩形）に比べた変形度合いを示す。コード領域１０ａの向きは、コード領域１０ａの画像パターンにより、特定される。
【００５２】
なお、撮像装置２０と実際の撮影対象物１０上のコード領域１０ａとの相対的な位置関係まで特定する必要はなく、表示部２４上に表示された画像上におけるコード領域１０ａの位置などを特定するだけで良い。
【００５３】
画像パターンは、コード領域１０ａに記載されたコード内容を読み取る必要はなく、コード領域１０ａの向きを特定するために、明度が高い色と明度が低い色の配列パターンを大まかに特定する。例えば、コード領域１０ａを１６分割（他の分割数でもよい）し、１６分割された領域ごとの明度を特定する。また、他の画像パターンのマッチング処理で、画像パターンを特定する形態であってもよい。
【００５４】
第２探索工程で、低明度色で構成された直線で略正方形（又は略矩形）が形成されている領域を特定出来なかった場合、画像処理部２３は、手順を終了し、一定時間経過後に、ステップＳ１１に戻り、撮像工程等を行う。すなわち、第１探索工程と第２探索工程のいずれかで、コード領域１０ａの外側の四角形領域を探索し、いずれかの探索工程でかかる四角形領域が見つかった場合には、その内側にコード領域１０ａがあると判断して、特定工程を行い、かかる内側領域の画像パターン等を特定する。
【００５５】
撮像工程、第１探索工程と第２探索工程の少なくとも一方を、一定時間ごとに行うことにより、画像上におけるコード領域１０ａ（またはコード領域１０ａと高明度領域１０ｂを含む領域）の位置、大きさ、変形度合い、向きを特定し、コード領域１０ａ（またはコード領域１０ａと高明度領域１０ｂを含む領域）を追尾することが可能になる。第１探索工程で、コード領域１０ａと高明度領域１０ｂを含む領域が特定出来た場合には、引き続き高明度領域１０ｂの外形を探索し、コード領域１０ａと高明度領域１０ｂを含む領域を追尾する。第２探索工程で、コード領域１０ａを特定出来た場合には、引き続きコード領域１０ａの外形を探索し、コード領域１０ａを追尾する。
【００５６】
追尾出来れば、コード領域１０ａ（またはコード領域１０ａと高明度領域１０ｂを含む領域）の位置、大きさ、変形度合い、向きなどに関連して、撮像により得られ表示部２４に表示された撮影対象物１０の画像上に、画像処理部２３が、立体画像などを重畳することも可能になる（重畳工程）。特に、コード領域１０ａ（またはコード領域１０ａと高明度領域１０ｂを含む領域）の位置などに対応して、立体画像の位置、大きさ、変形度合い、向きなどを変化させて重畳することが可能になる。
【００５７】
立体画像は、撮像装置２０の記録部２２に予め記録しておいたものを使用する形態であってもよいし、第１探索工程や第２探索工程の為の撮像工程を行う前に、撮像部２５を使ってコード領域１０ａに含まれるＵＲＬ情報を読み取り（コード読み取り工程）、かかるＵＲＬ情報から立体画像に関連したコンテンツをダウンロードし記録部２２に記録したものを使用する形態であってもよい。なお、特定工程では、コードの内容まで読み取る必要はなく、コード領域１０ａ（またはコード領域１０ａと高明度領域１０ｂを含む領域）の向きなどが特定出来るだけで良いため。このため、コード領域１０ａ（またはコード領域１０ａと高明度領域１０ｂを含む領域）の画像パターンの特定は、コード読み取り工程よりも画像解析処理の負荷が小さいメリットがある。
【００５８】
コード領域１０ａの外側の四角形の外形（第１探索工程における高明度領域１０ｂと低明度領域１０ｃの境界にある高明度色で構成された四角形の外形、若しくは、第２探索工程におけるコード領域１０ａと高明度領域１０ｂの境界にある低明度色で構成された四角形の外形）を探索する処理や、特定工程におけるコード領域１０ａと高明度領域１０ｂを含む領域またはコード領域１０ａを特定する処理は、コード領域１０ａのコード内容まで識別する処理を必要としないため、かかる識別処理を必要とする場合に比べて、コード領域１０ａ（またはコード領域１０ａと高明度領域１０ｂを含む領域）を特定する処理を速く出来るメリットがある。
【００５９】
コード領域１０ａの周囲は、通常、白色などの明度が高い色の領域（高明度領域１０ｂ）が設けられる。但し、高明度領域１０ｂの周囲に、図１のように黒色などの明度が低い領域（低明度領域１０ｃ）が設けられる場合もあるし、図２のように設けられない場合も考えられる。
【００６０】
高明度領域１０ｂの周囲に低明度領域１０ｃが設けられている場合には、高明度領域１０ｂと低明度領域１０ｃとの境界が明確になっているので、第１探索工程で、コード領域１０ａの外側の四角形領域（高明度領域１０ｂと低明度領域１０ｃの境界）を特定することが可能になる。ただし、総ての高明度領域１０ｂの周囲に低明度領域１０ｃが設けられているとは限らないし、高明度領域１０ｂと低明度領域１０ｃの境界が矩形であるとも限らない。
【００６１】
高明度領域１０ｂの周囲に低明度領域１０ｃが設けられていない場合には、高明度領域１０ｂと低明度領域１０ｃとの境界が明確になっていないので、第１探索工程では、コード領域１０ａの外側の四角形領域（高明度領域１０ｂと低明度領域１０ｃの境界）を特定することは出来ない。
【００６２】
また、高明度領域１０ｂが枠形状でない（外形が矩形でない）場合にも、第１探索工程では、コード領域１０ａの外側の四角形領域（高明度領域１０ｂと低明度領域１０ｃの境界）を特定することは出来ない。
【００６３】
但し、いずれの場合も、第２探索工程で、コード領域１０ａの外側の四角形領域（コード領域１０ａと高明度領域１０ｂの境界）を特定することは出来る。
【００６４】
コード領域１０ａと高明度領域１０ｂとの境界における低明度色で形成された四角形の直線は、低明度色だけで形成されたものだけでなく、低明度色の直線上に高明度色の点が混じっているものも含まれるため、高明度領域１０ｂと低明度領域１０ｃとの境界における高明度色で形成された四角形の直線に比べると、探索精度が低くなる可能性があるが、コード領域１０ａの周囲は大抵の場合高明度領域１０ｂが設けられているし、高明度領域１０ｂの外形形状の制限が無いため、汎用性は高い。
【００６５】
このため、第１探索工程と第２探索工程を行う本実施形態では、高明度領域１０ｂの周囲に低明度領域１０ｃが設けられている場合も、設けられていない場合も、コード領域１０ａの外側の四角形の外形を特定し、コード領域１０ａ（またはコード領域１０ａと高明度領域１０ｂを含む領域）を追尾することが可能になる。
【００６６】
なお、本実施形態では、明度（ＲＧＢ各チャンネルの最大値）の違いで色領域を区別する形態を説明したが、輝度（ＲＧＢ値の加重平均）の違いで色領域を区別する形態であってもよい。この場合には、コード領域１０ａは、輝度が高い色と該輝度が高い色に比べて輝度が低い色の２色でデータセルが表現されたコードを有するものになり、高明度領域１０ｂが高輝度領域１０ｂに、低明度領域１０ｃが低輝度領域１０ｃになり、通常画像処理工程の中で算出される画素ごとの輝度信号に基づいて、第１探索工程や第２探索工程が行われる。
【００６７】
第１探索工程で、コード領域１０ａを含む高明度領域１０ｂの外形を探索した後、特定工程でコード領域１０ａと高明度領域１０ｂを含む領域を特定する形態に代え、さらに、内側にあるコード領域１０ａを探索した後に、特定工程でコード領域１０ａを特定する形態であってもよい。この場合には、１つ探索工程が増えるが、第１探索工程の後の特定工程でも第２探索工程の後の特定工程でも同じコード領域１０ａの追尾が出来るメリットがある。
【００６８】
また、第２探索工程で、コード領域１０ａの外形を探索した後、特定工程でコード領域１０ａを特定する形態に代え、特定工程でコード領域１０ａとその周りの一定範囲にある高明度領域１０ｂを含む領域を特定する形態であってもよい。この場合も、第１探索工程の後の特定工程でも第２探索工程の後の特定工程でもほぼ同じコード領域１０ａと高明度領域１０ｂを含む領域の追尾が出来るメリットがある。
【符号の説明】
【００６９】
１０ 撮影対象物
１０ａ コード領域
１０ｂ 高明度領域（高輝度領域）
１０ｃ 低明度領域（低輝度領域）
２０ 撮像装置
２１ 操作部
２２ 記録部
２３ 画像処理部
２４ 表示部
２５ 撮像部
２９ 制御部
【特許請求の範囲】
【請求項１】
明度が高い色と前記明度が高い色に比べて明度が低い色の２色でデータセルが表現されたコードを有するコード領域を含む撮影対象物を撮像する撮像工程と、
前記撮像工程で得られた画像上で、前記コード領域の周囲に設けられ前記明度が低い色に比べて明度が高い色で構成された高明度領域の外形を特定する第１探索工程と、
前記コード領域の外形を特定する第２探索工程と、
前記第１探索工程で特定された高明度領域の外形に関する情報と、前記第２探索工程で特定された前記コード領域の外形に関する情報のいずれかに基づいて、前記コード領域と前記高明度領域を含む領域または前記コード領域を特定する特定工程とを備えることを特徴とするコード領域を含む領域を特定する方法。
【請求項２】
前記第１探索工程は、前記高明度領域の周りに設けられ、前記高明度領域を構成する色に比べて明度が低い色で構成される低明度領域と前記高明度領域の境界に形成される明度が高い色の四角形の外形を探索し、
前記第２探索工程は、前記コード領域と前記高明度領域の境界に形成される明度が低い色の四角形の外形を探索することを特徴とする請求項１に記載のコード領域を含む領域を特定する方法。
【請求項３】
前記第２探索工程は、前記第１探索工程で前記高明度領域の外形を特定出来なかった場合に行われることを特徴とする請求項１に記載のコード領域を含む領域を特定する方法。
【請求項４】
少なくとも、前記撮像工程、前記第１探索工程と前記第２探索工程の少なくとも一方は、一定時間ごとに繰り返し行われることを特徴とする請求項１に記載のコード領域を含む領域を特定する方法。
【請求項５】
前記特定工程で得られた情報に基づいて、前記撮像工程で得られた画像上に、立体画像を重畳する重畳工程を更に備えることを特徴とする請求項４に記載のコード領域を含む領域を特定する方法。
【請求項６】
前記撮像工程の前に、前記コード領域のコードを読み取りするコード読み取り工程を更に備え、
前記特定工程における前記コード領域と前記高明度領域を含む領域または前記コード領域の特定は、前記コード読み取り工程よりも画像解析処理の負荷が小さいことを特徴とする請求項１に記載のコード領域を含む領域を特定する方法。
【請求項７】
前記コード領域と前記高明度領域を含む領域の特定は、前記撮像工程で得られた画像上における前記コード領域と前記高明度領域を含む領域の位置、大きさ、変形度合い、向きの少なくとも一つであり、
前記コード領域の特定は、前記撮像工程で得られた画像上における前記コード領域の位置、大きさ、変形度合い、向きの少なくとも一つであることを特徴とする請求項１に記載のコード領域を含む領域を特定する方法。
【請求項８】
明度が高い色と前記明度が高い色に比べて明度が低い色の２色でデータセルが表現されたコードを有するコード領域を含む撮影対象物を撮像する撮像工程と、
前記撮像工程で得られた画像上で、前記コード領域の周囲に設けられ前記明度が低い色に比べて明度が高い色で構成された高明度領域の外形を特定する第１探索工程と、
前記コード領域の外形を特定する第２探索工程と、
前記第１探索工程で特定された高明度領域の外形に関する情報と、前記第２探索工程で特定された前記コード領域の外形に関する情報のいずれかに基づいて、前記コード領域と前記高明度領域を含む領域または前記コード領域を特定する特定工程とを実行することを特徴とするコード領域を含む領域を特定するプログラム。
【請求項９】
明度が高い色と前記明度が高い色に比べて明度が低い色の２色でデータセルが表現されたコードを有するコード領域を含む撮影対象物を撮像する撮像部と、
前記撮像部で得られた画像上で、前記コード領域の周囲に設けられ前記明度が低い色に比べて明度が高い色で構成された高明度領域の外形を特定する第１探索工程と、前記コード領域の外形を特定する第２探索工程と、前記第１探索工程で特定された高明度領域の外形に関する情報と、前記第２探索工程で特定された前記コード領域の外形に関する情報のいずれかに基づいて、前記コード領域と前記高明度領域を含む領域または前記コード領域を特定する特定工程とを実行する画像処理部とを備えることを特徴とするコード領域を含む領域を特定する装置。
【請求項１０】
輝度が高い色と前記輝度が高い色に比べて輝度が低い色の２色でデータセルが表現されたコードを有するコード領域を含む撮影対象物を撮像する撮像工程と、
前記撮像工程で得られた画像上で、前記コード領域の周囲に設けられ前記輝度が低い色に比べて輝度が高い色で構成された高輝度領域の外形を特定する第１探索工程と、
前記コード領域の外形を特定する第２探索工程と、
前記第１探索工程で特定された高輝度領域の外形に関する情報と、前記第２探索工程で特定された前記コード領域の外形に関する情報のいずれかに基づいて、前記コード領域と前記高明度領域を含む領域または前記コード領域を特定する特定工程とを備えることを特徴とするコード領域を含む領域を特定する方法。
【請求項１１】
輝度が高い色と前記輝度が高い色に比べて輝度が低い色の２色でデータセルが表現されたコードを有するコード領域を含む撮影対象物を撮像する撮像工程と、
前記撮像工程で得られた画像上で、前記コード領域の周囲に設けられ前記輝度が低い色に比べて輝度が高い色で構成された高輝度領域の外形を特定する第１探索工程と、
前記コード領域の外形を特定する第２探索工程と、
前記第１探索工程で特定された高輝度領域の外形に関する情報と、前記第２探索工程で特定された前記コード領域の外形に関する情報のいずれかに基づいて、前記コード領域と前記高明度領域を含む領域または前記コード領域を特定する特定工程とを実行することを特徴とするコード領域を含む領域を特定するプログラム。
【請求項１２】
輝度が高い色と前記輝度が高い色に比べて輝度が低い色の２色でデータセルが表現されたコードを有するコード領域を含む撮影対象物を撮像する撮像部と、
前記撮像部で得られた画像上で、前記コード領域の周囲に設けられ前記輝度が低い色に比べて輝度が高い色で構成された高輝度領域の外形を特定する第１探索工程と、前記コード領域の外形を特定する第２探索工程と、前記第１探索工程で特定された高輝度領域の外形に関する情報と、前記第２探索工程で特定された前記コード領域の外形に関する情報のいずれかに基づいて、前記コード領域と前記高明度領域を含む領域または前記コード領域を特定する特定工程とを実行する画像処理部とを備えることを特徴とするコード領域を含む領域を特定する装置。
【請求項１】
明度が高い色と前記明度が高い色に比べて明度が低い色の２色でデータセルが表現されたコードを有するコード領域を含む撮影対象物を撮像する撮像工程と、
前記撮像工程で得られた画像上で、前記コード領域の周囲に設けられ前記明度が低い色に比べて明度が高い色で構成された高明度領域の外形を特定する第１探索工程と、
前記コード領域の外形を特定する第２探索工程と、
前記第１探索工程で特定された高明度領域の外形に関する情報と、前記第２探索工程で特定された前記コード領域の外形に関する情報のいずれかに基づいて、前記コード領域と前記高明度領域を含む領域または前記コード領域を特定する特定工程とを備えることを特徴とするコード領域を含む領域を特定する方法。
【請求項２】
前記第１探索工程は、前記高明度領域の周りに設けられ、前記高明度領域を構成する色に比べて明度が低い色で構成される低明度領域と前記高明度領域の境界に形成される明度が高い色の四角形の外形を探索し、
前記第２探索工程は、前記コード領域と前記高明度領域の境界に形成される明度が低い色の四角形の外形を探索することを特徴とする請求項１に記載のコード領域を含む領域を特定する方法。
【請求項３】
前記第２探索工程は、前記第１探索工程で前記高明度領域の外形を特定出来なかった場合に行われることを特徴とする請求項１に記載のコード領域を含む領域を特定する方法。
【請求項４】
少なくとも、前記撮像工程、前記第１探索工程と前記第２探索工程の少なくとも一方は、一定時間ごとに繰り返し行われることを特徴とする請求項１に記載のコード領域を含む領域を特定する方法。
【請求項５】
前記特定工程で得られた情報に基づいて、前記撮像工程で得られた画像上に、立体画像を重畳する重畳工程を更に備えることを特徴とする請求項４に記載のコード領域を含む領域を特定する方法。
【請求項６】
前記撮像工程の前に、前記コード領域のコードを読み取りするコード読み取り工程を更に備え、
前記特定工程における前記コード領域と前記高明度領域を含む領域または前記コード領域の特定は、前記コード読み取り工程よりも画像解析処理の負荷が小さいことを特徴とする請求項１に記載のコード領域を含む領域を特定する方法。
【請求項７】
前記コード領域と前記高明度領域を含む領域の特定は、前記撮像工程で得られた画像上における前記コード領域と前記高明度領域を含む領域の位置、大きさ、変形度合い、向きの少なくとも一つであり、
前記コード領域の特定は、前記撮像工程で得られた画像上における前記コード領域の位置、大きさ、変形度合い、向きの少なくとも一つであることを特徴とする請求項１に記載のコード領域を含む領域を特定する方法。
【請求項８】
明度が高い色と前記明度が高い色に比べて明度が低い色の２色でデータセルが表現されたコードを有するコード領域を含む撮影対象物を撮像する撮像工程と、
前記撮像工程で得られた画像上で、前記コード領域の周囲に設けられ前記明度が低い色に比べて明度が高い色で構成された高明度領域の外形を特定する第１探索工程と、
前記コード領域の外形を特定する第２探索工程と、
前記第１探索工程で特定された高明度領域の外形に関する情報と、前記第２探索工程で特定された前記コード領域の外形に関する情報のいずれかに基づいて、前記コード領域と前記高明度領域を含む領域または前記コード領域を特定する特定工程とを実行することを特徴とするコード領域を含む領域を特定するプログラム。
【請求項９】
明度が高い色と前記明度が高い色に比べて明度が低い色の２色でデータセルが表現されたコードを有するコード領域を含む撮影対象物を撮像する撮像部と、
前記撮像部で得られた画像上で、前記コード領域の周囲に設けられ前記明度が低い色に比べて明度が高い色で構成された高明度領域の外形を特定する第１探索工程と、前記コード領域の外形を特定する第２探索工程と、前記第１探索工程で特定された高明度領域の外形に関する情報と、前記第２探索工程で特定された前記コード領域の外形に関する情報のいずれかに基づいて、前記コード領域と前記高明度領域を含む領域または前記コード領域を特定する特定工程とを実行する画像処理部とを備えることを特徴とするコード領域を含む領域を特定する装置。
【請求項１０】
輝度が高い色と前記輝度が高い色に比べて輝度が低い色の２色でデータセルが表現されたコードを有するコード領域を含む撮影対象物を撮像する撮像工程と、
前記撮像工程で得られた画像上で、前記コード領域の周囲に設けられ前記輝度が低い色に比べて輝度が高い色で構成された高輝度領域の外形を特定する第１探索工程と、
前記コード領域の外形を特定する第２探索工程と、
前記第１探索工程で特定された高輝度領域の外形に関する情報と、前記第２探索工程で特定された前記コード領域の外形に関する情報のいずれかに基づいて、前記コード領域と前記高明度領域を含む領域または前記コード領域を特定する特定工程とを備えることを特徴とするコード領域を含む領域を特定する方法。
【請求項１１】
輝度が高い色と前記輝度が高い色に比べて輝度が低い色の２色でデータセルが表現されたコードを有するコード領域を含む撮影対象物を撮像する撮像工程と、
前記撮像工程で得られた画像上で、前記コード領域の周囲に設けられ前記輝度が低い色に比べて輝度が高い色で構成された高輝度領域の外形を特定する第１探索工程と、
前記コード領域の外形を特定する第２探索工程と、
前記第１探索工程で特定された高輝度領域の外形に関する情報と、前記第２探索工程で特定された前記コード領域の外形に関する情報のいずれかに基づいて、前記コード領域と前記高明度領域を含む領域または前記コード領域を特定する特定工程とを実行することを特徴とするコード領域を含む領域を特定するプログラム。
【請求項１２】
輝度が高い色と前記輝度が高い色に比べて輝度が低い色の２色でデータセルが表現されたコードを有するコード領域を含む撮影対象物を撮像する撮像部と、
前記撮像部で得られた画像上で、前記コード領域の周囲に設けられ前記輝度が低い色に比べて輝度が高い色で構成された高輝度領域の外形を特定する第１探索工程と、前記コード領域の外形を特定する第２探索工程と、前記第１探索工程で特定された高輝度領域の外形に関する情報と、前記第２探索工程で特定された前記コード領域の外形に関する情報のいずれかに基づいて、前記コード領域と前記高明度領域を含む領域または前記コード領域を特定する特定工程とを実行する画像処理部とを備えることを特徴とするコード領域を含む領域を特定する装置。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公開番号】特開２０１２−１６４１０２（Ｐ２０１２−１６４１０２Ａ）
【公開日】平成２４年８月３０日（２０１２．８．３０）
【国際特許分類】
【出願番号】特願２０１１−２３５９３（Ｐ２０１１−２３５９３）
【出願日】平成２３年２月７日（２０１１．２．７）
【出願人】（５１１０３３０９２）株式会社デザイン百貨店 (3)
【Ｆターム（参考）】
【公開日】平成２４年８月３０日（２０１２．８．３０）
【国際特許分類】
【出願日】平成２３年２月７日（２０１１．２．７）
【出願人】（５１１０３３０９２）株式会社デザイン百貨店 (3)
【Ｆターム（参考）】
[ Back to top ]