説明

物体認識装置および物体認識方法

【課題】任意の色の物体を認識でき、認識対象物と背景が同系色であっても認識ができ、かつ処理速度が速い物体認識装置を提供する。
【解決手段】物体認識装置は、カラー画像の複数の色成分情報を抽出し、抽出された複数の色成分情報と、該色成分情報に対応する複数の閾値に基づいて、カラー画像から複数の2値化画像を生成し、生成された2値化画像に含まれる領域をカラー画像から抽出し、抽出された領域に基づいて、該領域における物体を認識する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、色情報を用いて、軽量高速に、カラー画像中の任意の色の物体を認識する認識装置および認識方法に関するものである。
【背景技術】
【0002】
特許文献1と非特許文献1は、カラー画像から標識および道路標識を認識する方法を開示している。これらは、色成分情報に基づいて認識を行うので処理速度が速い特徴を有している。しかしながら、認識対象の物体の色が、特許文献1では、赤・青・黄・白・黒と、非特許文献1では、赤・青・黄と予め決まっている。また、両方とも認識対象物と背景が同系色の場合、認識ができない。
【0003】
非特許文献2は、カラー画像から広告看板を認識する方法を開示している。これは、任意の色の物体を認識でき、認識対象物と背景が同系色であっても認識ができる。しかしながら、エッジに基づく局所不変特徴量を抽出して、広告看板を認識するので処理速度が遅い。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2004−213127号公報
【非特許文献】
【0005】
【非特許文献1】莫 舸舸、青木 由直「カラー画像における道路標識の認識」、電子情報通信学会論文誌.D-II2124-2135, 2004-12-01
【非特許文献2】市村 直幸「局所不変特徴量に基づく複数広告看板の認識」、情報処理学会研究報告.CVIM,2005,123-130,2005-11-17
【発明の概要】
【発明が解決しようとする課題】
【0006】
以上のように、従来技術の中には、
・処理速度が速い。
・任意の色の物体を認識できる。
・認識対象物と背景が同系色であっても認識ができる。
のすべての条件を満たす認識装置および認識方法は存在しなかった。
【0007】
したがって、本発明は、任意の色の物体を認識でき、認識対象物と背景が同系色であっても認識ができ、かつ処理速度が速い物体認識装置および物体認識方法を提供することを目的とする。
【課題を解決するための手段】
【0008】
上記目的を実現するため本発明による物体認識装置は、カラー画像から任意の物体を認識する物体認識装置であって、前記カラー画像の複数の色成分情報を抽出する抽出手段と、前記抽出手段によって抽出された複数の色成分情報と、該色成分情報に対応する複数の閾値に基づいて、前記カラー画像から複数の2値化画像を生成する生成手段と、前記生成手段により生成された2値化画像に含まれる領域を前記カラー画像から抽出する領域抽出手段と、前記領域抽出手段により抽出された領域に基づいて、該領域における物体を認識する認識手段とを備える。
【0009】
また、前記抽出手段は、前記カラー画像から色相・彩度・明度・輝度・色差(赤)・色差(青)の色成分情報を抽出する手段であることも好ましい。
【0010】
また、前記認識手段は、認識された物体の精度を確認し、一定以上の精度を持つ物体を認識した場合、物体認識をこれ以上行わないことも好ましい。
【0011】
また、前記認識手段は、前記領域の形状、および前記領域内の一定部分の図柄に基づいて領域の物体認識処理を行うことも好ましい。
【0012】
また、各種の画像パターンを記憶するパターン記憶部をさらに備え、前記認識手段は、前記パターン記憶部から取得するパターンの組み合わせに従って、認識する物体の種類を特定することも好ましい。
【0013】
また、前記認識手段は、前記抽出した領域内の予め決められた領域を使用して認識処理をすることも好ましい。
【0014】
また、前記認識手段は、前記抽出した領域内の重心を中心とする一定部分、または領域内の最も色情報のコントラストの高い一定領域を使用して認識処理することも好ましい。
【0015】
上記目的を実現するため本発明による物体認識方法は、カラー画像から任意の物体を認識する物体認識方法であって、前記カラー画像の複数の色成分情報を抽出する抽出ステップと、前記抽出ステップによって抽出された複数の色成分情報と、該色成分情報に対応する複数の閾値に基づいて、前記カラー画像から複数の2値化画像を生成する生成ステップと、前記生成ステップにより生成された2値化画像に含まれる領域を前記カラー画像から抽出する領域抽出ステップと、前記領域抽出ステップにより抽出された領域に基づいて、該領域における物体を認識する認識ステップとを含む。
【発明の効果】
【0016】
本発明に係る物体認識装置および物体認識方法を使用すれば、カラー画像より任意の色の物体を認識する際の認識性能を向上させることができる。また、本発明では色成分による絞り込み技術を利用して物体の抽出を行っているため、既存のエッジに基づく局所不変特徴量を利用したアルゴリズムを使用した場合と比較して解像度の低い原画像に対しても、認識精度を高く保ったまま軽量高速に認識処理を行うことができる。
【0017】
従って、スマートフォン等に比較して処理能力の低い、従来のフィーチャーフォンに対しても実装が可能である。その結果従来のフィーチャーフォンでも画像認識を利用した拡張現実アプリを楽しむことができるようになる。
【図面の簡単な説明】
【0018】
【図1】本発明の機能構成図を示す。
【図2】本発明の処理フローチャートを示す。
【図3】2値化画像からの領域抽出の例を示す。
【発明を実施するための形態】
【0019】
本発明を実施するための最良の実施形態について、以下では図面を用いて詳細に説明する。まず、図1を参照して、本実施形態における物体認識装置1の機能構成を説明する。図1に示すように物体認識装置1は、色空間変換部11、2値化画像生成部12、領域抽出部13、物体認識部14、カラー画像記憶部20、閾値データ記憶部21、パターン記憶部22を有する。物体認識装置1は、カラー画像から任意の看板やロゴといった物体を認識した場合に、その物体に関連する関連情報を使用者に提示する。
【0020】
色空間変換部11は、カラー画像記憶部20に格納されているカラー画像を入力し、色空間を変換する。例えば、RGBによるカラー画像を、HSV(Hue Saturation Value)変換、およびYCbCr(Luminance Chrominance-red Chrominance-blue)変換を用いて、色相・彩度・明度の各色成分情報を有するカラー画像、および輝度・色差の各色成分情報を有するカラー画像に変換する。
【0021】
2値化画像生成部12は、色空間変換部11で変換したカラー画像に対し、閾値データ記憶部21から取得した色成分情報に対応する閾値を用いて、カラー画像から2値化画像を生成する。
【0022】
領域抽出部13は、2値化画像生成部12で生成した2値化画像に対してラべリング処理を行い、2値化画像内の領域を抽出する。さらに、カラー画像の同位置から、物体認識用の領域を抽出する。
【0023】
物体認識部14は、領域抽出部13で取得した物体認識用の領域と、パターン記憶部22から取得したパターンとを比較して物体認識を行う。領域とパターンを比較する方法は、例えば相互相関係数や差分の2乗和や差分の絶対値和を用いたテンプレートマッチングであってもよい。
【0024】
カラー画像記憶部20は、デジタルカメラ、携帯電話のカメラ機能、CMOSカメラ等により撮影されたカラー画像を格納する。
【0025】
閾値データ記憶部21は、色空間変換部11により変換された色成分に対応する複数の閾値を格納する。閾値は、単一もしくは複数の色成分に対して設定される。
【0026】
パターン記憶部22は、各種の画像パターンを記憶する。例えば、看板、標識の画像パターンが記憶される。
【0027】
次に図2を参照して本実施形態における物体認識装置1の動作を説明する。
【0028】
ステップS1:物体認識装置1の色空間変換部11が、カラー画像をカラー画像記憶部20より取得する。
【0029】
ステップS2:次に、色空間変換部11は、取得したカラー画像の色空間を変換する。例えばRGBによるカラー画像を色相・彩度・明度、および輝度・色差(赤)・色差(青)の各色成分情報を有するカラー画像に変換する。
【0030】
ステップS3:次に2値化画像生成部12は、閾値データ記憶部21より、単一もしくは複数の色成分に対応する閾値を取得する。
【0031】
ステップS4:2値化画像生成部12は、色空間変換部11で色変換されたカラー画像に含まれる色成分情報に基づいて、閾値(例えばS(彩度)=90)と、カラー画像内の個々の画素値を比較して、その結果を0または1の画素値として2値化画像を生成する。図3(a)は、ここで生成される2値化画像の例を示す。複数の色成分に対する閾値(例えば、S(彩度)=90、V(明度)=50)の場合は、画素値の彩度と明度をそれぞれの閾値を比較して、その結果より2値化画像を生成する。
【0032】
なお。本判定で使用する閾値とは、色相・彩度・明度・輝度・色差(赤)・色差(青)の各色成分情報に対して0〜255の任意の画素値を設定した値であり、単一もしくは複数の色成分情報と組み合わせて設定する。
【0033】
ステップS5:領域抽出部13では、ステップS4において生成した2値化画像に対してラべリング処理を行い、領域を抽出する。図3(b)は、ラべリング処理および抽出された領域の例を示す。
【0034】
ステップS6:領域抽出部13は、ステップS1で取得したカラー画像から、ステップS5で抽出した領域と同位置にある領域を抽出する。
【0035】
ステップS7:次に、物体認識部14は、ステップS6で抽出した領域とパターン記憶部22から取得したパターンを比較して、物体認識を行う。ステップS7では、領域の形や、領域内の予め決められた部分の図柄に基づいて物体認識を行う。物体認識の方法は、例えば相互相関係数や差分の2乗和や差分の絶対値和を用いたテンプレートマッチングであってもよい。
【0036】
さらに、ステップS7では、領域内の予め決められた部分として、領域内の重心を中心とする一定部分や、領域内の最も色情報のコントラストの高い部分を使用することができる。
【0037】
さらに、ステップS7では、パターン記憶部22から取得するパターンの組み合わせに従って、認識対象とする物体の種類(例:銀行のロゴ、携帯キャリアのロゴ等)を特定することができる。
【0038】
ステップS8:全ての閾値での物体認識が終了したか否かを確認する。終了した場合、物体認識処理は終了する。終了しない場合、ステップS3に戻り、別な閾値を取得して、再度物体認識を行う。このように、本実施形態の物体認識装置1では、ステップS3からステップS7までの処理を、異なる閾値を用いて複数回実行する。これにより、カラー画像より、複数色の物体を抽出することができる。ここで、終了条件の例として、閾値の個数(=n)回実行された、またはステップS7で物体認識が一定の精度以上で行われた場合等がある。
【0039】
以上のように、本発明の物体認識装置1で、明度・輝度等の複数の色成分情報に対して、複数の閾値を用いることにより、任意の物体に対して照明状況が異なる場合でも安定して物体認識を行うことができる。特に、輝度・色差の色成分を用いているため、照明の影響を受けにくい。このため、従来技術では、照明の影響および光の角度により認識できない場合でも、本発明では、物体を安定して認識できる。
【0040】
また、カラー画像から特徴点を抽出することなく、色成分を用いて、認識処理を行っているため、高速に行うことが可能である。
【0041】
また、ステップS3において、認識対象とする領域の外枠部分と背景部分の境界値を閾値として設定された場合、前記領域を同系色の背景より抽出することができる。また、複数の色成分情報、および複数の閾値を用いているため、従来技術よりも認識精度を向上させることができる。
【0042】
なお、ステップS7は、単一もしくは複数の色成分情報に対して、複数の閾値で実行されるため、複数の物体が認識される場合がある。この場合、例えばテンプレートマッチングの有効度が一定水準以上または最も高い物体を、カラー画像中の物体と認識することもできる。
【0043】
また、以上述べた実施形態は全て本発明を例示的に示すものであって限定的に示すものではなく、本発明は他の種々の変形態様および変更態様で実施することができる。従って本発明の範囲は特許請求の範囲およびその均等範囲によってのみ規定されるものである。
【符号の説明】
【0044】
1 物体認識装置
11 色空間変換部
12 2値化画像生成部
13 領域抽出部
14 物体認識部
20 カラー画像記憶部
21 閾値データ記憶部
22 パターン記憶部

【特許請求の範囲】
【請求項1】
カラー画像から任意の物体を認識する物体認識装置であって、
前記カラー画像の複数の色成分情報を抽出する抽出手段と、
前記抽出手段によって抽出された複数の色成分情報と、該色成分情報に対応する複数の閾値に基づいて、前記カラー画像から複数の2値化画像を生成する生成手段と、
前記生成手段により生成された2値化画像に含まれる領域を前記カラー画像から抽出する領域抽出手段と、
前記領域抽出手段により抽出された領域に基づいて、該領域における物体を認識する認識手段と、
を備えることを特徴とする物体認識装置。
【請求項2】
前記抽出手段は、前記カラー画像から色相・彩度・明度・輝度・色差(赤)・色差(青)の色成分情報を抽出する手段であることを特徴とする請求項1に記載の物体認識装置。
【請求項3】
前記認識手段は、認識された物体の精度を確認し、一定以上の精度を持つ物体を認識した場合、物体認識をこれ以上行わないことを特徴とする請求項1または2に記載の物体認識装置。
【請求項4】
前記認識手段は、前記領域の形状、および前記領域内の一定部分の図柄に基づいて領域の物体認識処理を行うことを特徴とする請求項1から3のいずれか1項に記載の物体認識装置。
【請求項5】
各種の画像パターンを記憶するパターン記憶部をさらに備え、
前記認識手段は、前記パターン記憶部から取得するパターンの組み合わせに従って、認識する物体の種類を特定することを特徴とする請求項1から4のいずれか1項に記載の物体認識装置。
【請求項6】
前記認識手段は、前記抽出した領域内の予め決められた領域を使用して認識処理をすることを特徴とする請求項1から5のいずれか1項に記載の物体認識装置。
【請求項7】
前記認識手段は、前記抽出した領域内の重心を中心とする一定部分、または領域内の最も色情報のコントラストの高い一定領域を使用して認識処理することを特徴とする請求項1から6のいずれか1項に記載の物体認識装置。
【請求項8】
カラー画像から任意の物体を認識する物体認識方法であって、
前記カラー画像の複数の色成分情報を抽出する抽出ステップと、
前記抽出ステップによって抽出された複数の色成分情報と、該色成分情報に対応する複数の閾値に基づいて、前記カラー画像から複数の2値化画像を生成する生成ステップと、
前記生成ステップにより生成された2値化画像に含まれる領域を前記カラー画像から抽出する領域抽出ステップと、
前記領域抽出ステップにより抽出された領域に基づいて、該領域における物体を認識する認識ステップと、
を含むことを特徴とする物体認識方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate


【公開番号】特開2013−54547(P2013−54547A)
【公開日】平成25年3月21日(2013.3.21)
【国際特許分類】
【出願番号】特願2011−192470(P2011−192470)
【出願日】平成23年9月5日(2011.9.5)
【出願人】(000208891)KDDI株式会社 (2,700)
【Fターム(参考)】