画像検出装置、プログラムおよび記録媒体
【課題】 本発明の目的は、任意の色および任意の形状を有する対象を検出する画像検出装置を提供すること。
【解決手段】 本発明の入力画像501内の対象を検出する画像検出装置107は、対象データが対象を特定する情報と、使用色データと、代表色データと、クラスタ画像とを含むデータベース204と、入力画像501から代表色に同じ色を有する領域を代表色領域709として抽出する代表色領域抽出手段201と、代表色を有する領域とクラスタ画像306の枠との間の相対的な位置関係を用いて、代表色領域709から対象が存在する可能性のある候補領域903を求める候補領域抽出手段202と、クラスタ画像306と候補領域903とを照合し、その照合結果に基づいて、候補領域903を対象が存在する領域として検出する照合手段203とを備える。
【解決手段】 本発明の入力画像501内の対象を検出する画像検出装置107は、対象データが対象を特定する情報と、使用色データと、代表色データと、クラスタ画像とを含むデータベース204と、入力画像501から代表色に同じ色を有する領域を代表色領域709として抽出する代表色領域抽出手段201と、代表色を有する領域とクラスタ画像306の枠との間の相対的な位置関係を用いて、代表色領域709から対象が存在する可能性のある候補領域903を求める候補領域抽出手段202と、クラスタ画像306と候補領域903とを照合し、その照合結果に基づいて、候補領域903を対象が存在する領域として検出する照合手段203とを備える。
【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は画像検出装置に関し、より詳細には、移動体に搭載されたカメラ等で撮影されたカラー画像における看板・標識・信号機等の対象の位置を検出する画像検出装置、プログラムおよび記録媒体に関する。
【0002】
【従来の技術】従来、移動体に搭載されたカメラ等で撮影されたカラー画像における道路標識の位置を認識する装置として、特公平6−52554号公報に記載されたものが知られている。
【0003】特公平6−52554号公報に記載される画像認識装置は、移動体前方の風景を撮影するカラー撮影手段と、撮影したカラー画像から第1の色及び第2の色を有する画像を選択して2値データとして抽出する特徴抽出手段と、抽出された二値画像データを格納する画像メモリと、予め検出したい画像の第1の色を有する枠パターンと第2の色を有する文字形状パターンとを格納するリファレンス用メモリと、画像メモリに記憶された二値画像データとリファレンスメモリに格納された枠パターンとを比較して道路標識の枠の存在を認識する枠認識手段と、道路標識の枠内の文字形状パターンを認識する枠内パターン認識手段とを備える。
【0004】次に、上記の構成要素を備える従来の画像認識装置の動作を各工程について説明する。
【0005】図19は、従来技術の画像認識装置による画像認識を行う手順を示す。
【0006】ステップ1901:カラー撮影手段を用いて移動体前方の画像が取り込まれ、デジタル画像データに変換される。デジタル画像データの各画素は、色の3原色(赤、緑、青)を表すデジタルデータ(R、G、B)を有する。
【0007】ステップ1902:特徴抽出手段が、変換されたデジタル画像データから第1の色(標識の枠となる赤色)および第2の色(標識の文字部分となる青色)が強調されたデジタル二値画像データを抽出する。ステップ1901で変換されたデジタル画像データの各画素について、(R>G)and(R>B)ならば赤色の画素(B>R)and(B>G)ならば青色の画素の条件を満たす画素のみ(すなわち、赤色の画素および青色の画素)を抽出する。抽出された二値画像データは、画像メモリに格納される。
【0008】ステップ1903:枠認識手段が、リファレンス用メモリに予め記憶された標識の第1の色を有する枠パターンを表すリファレンスデータと、特徴抽出手段で得られ、画像メモリに格納された二値画像データとを走査線毎に比較する。
【0009】ステップ1904:抽出された二値画像データが、リファレンス用メモリに格納された枠パターンを表すリファレンスデータと一致するか否かを判定する。ステップ1904で、抽出された二値画像データがリファレンスデータと一致しないと判定された場合には、ステップ1901に戻り、次の画像の取り込みを行う。抽出された二値画像データがリファレンスデータと一致すると判定された場合には、ステップ1905に進む。
【0010】ステップ1905:枠内パターン認識手段が、抽出された二値画像データのうちステップ1904で検出された枠の内部にあたる部分をリファレンス用メモリに格納された文字形状パターンデータを用いて認識する。
【0011】ステップ1906:画像全体を表す二値画像データのうち枠内を表す二値画像データに一致する文字形状パターンデータがリファレンス用メモリ内に存在するか否かが判定される。ステップ1906で、枠内を表す二値画像データに一致する文字形状パターンがリファレンス用メモリ内に存在しないと判定された場合には、ステップ1901に戻り、次の画像の取り込みを行う。枠内を表す二値画像データに一致する文字形状パターンがリファレンス用メモリ内に存在すると判定された場合には、ステップ1907に進む。
【0012】ステップ1907:枠内を表す二値画像データに一致する文字形状パターンの内容を運転者に報知する。
【0013】
【発明が解決しようとする課題】しかしながら、従来技術では、次のような理由から道路標識以外の対象を検出することはできない。
【0014】(1)画素をR(赤)、G(緑)、B(青)の3値で表現し、その最大となる値の色を画素の色とするので、赤、緑、青以外の任意の色を有する対象を検出することは困難である。
【0015】(2)対象に枠が存在しない(または枠自体が「白」等の検出し難い色である)場合、枠認識手段は枠を認識することができず、第2の色を有する位置を特定することができない。
【0016】(3)第1の色および第2の色の2色を用いることに限定しており、ガソリンスタンドおよびコンビニエンスストア等、任意の色数を使用した看板の検出は考慮されていない。
【0017】また、従来技術では次のような理由から検出精度が向上しない可能性がある。
【0018】(1)枠認識手段は、リファレンス用メモリに格納された第1の色の枠パターンの大きさと異なる大きさの枠パターンを抽出することはできない。つまりスケールの変化に対応できない。
【0019】(2)枠と枠内の部分とを別々に認識しているため、両者の厳密な位置関係は考慮されておらず、認識性能のさらなる向上が期待される。
【0020】(3)地域等の環境変化を考慮していない。例えば、京都では景観を重視するために同じ店舗の看板であっても、その看板に使用されている色が他の地域の看板で使用されている色とは異なっているため、従来の画像認識装置を搭載した移動体が京都・大阪間を移動するような場合に、このような看板を検出できない。
【0021】さらに、従来技術では次のような理由から検出速度が向上しない可能性がある。
【0022】(1)枠認識手段は、第1の色に対応する枠パターンを検出する場合に、取り込んだ画像について走査線毎に全領域を逐次照合する必要があるため、多くの処理時間を要する。
【0023】(2)連続する入力画像から対象を検出する際、過去の入力画像の検出結果を考慮することなく、常に入力画像全体を処理する必要があるため、多くの処理時間を要する。
【0024】従って、本発明の目的は、任意の色および任意の形状を有する対象(例えば、道路標識以外にもコンビニエンスストアおよびガソリンスタンドの看板など)を検出することが可能な画像検出装置を提供することである。
【0025】本発明の別の目的は、検出する対象の撮影時の大きさおよび検出時の環境に対応した検出精度の向上した画像検出装置を提供することである。
【0026】本発明のさらに別の目的は、検出速度の向上した画像検出装置を提供することである。
【0027】
【課題を解決するための手段】本発明による入力画像内の対象を検出する画像検出装置は、少なくとも1つの対象データを格納するデータベースであって、前記少なくとも1つの対象データのそれぞれは、対象を特定する情報と、前記対象に使用されている複数の使用色を表す使用色データと、前記複数の使用色を代表する代表色を表す代表色データと、前記複数の使用色を有する複数の領域の配置を表すクラスタ画像とを含む、データベースと、前記入力画像と前記入力画像において検出すべき対象を特定する情報とを受け取り、前記データベースに格納されている前記少なくとも1つの対象データのうち、前記入力画像において検出すべき対象を特定する情報に対応する情報を有する対象データを特定し、前記入力画像から、前記特定された対象データに含まれる前記代表色データによって表される代表色に実質的に同じ色を有する少なくとも1つの領域を代表色領域として抽出する代表色領域抽出手段と、前記特定された対象データに含まれる前記クラスタ画像において前記代表色を有する領域と前記クラスタ画像の枠との間の相対的な位置関係を用いて、前記代表色領域抽出手段によって抽出された前記少なくとも1つの代表色領域から、前記対象が存在する可能性のある少なくとも1つの候補領域を求める候補領域抽出手段と、前記特定された対象データに含まれる前記クラスタ画像と前記候補領域抽出手段によって求められた前記少なくとも1つの候補領域のそれぞれとを照合し、その照合結果に基づいて、前記候補領域抽出手段によって求められた前記少なくとも1つの候補領域のうちの1つを前記対象が存在する領域として検出する照合手段とを備え、これにより上記目的が達成される。
【0028】前記少なくとも1つの代表色領域は、前記入力画像の各画素について、前記入力画像の各画素の色相と前記対象データに含まれる前記代表色との距離から求められる類似度と、前記入力画像の各画素の彩度、輝度、および彩度と輝度との積からなる群から選択される1つとの積が、所定の閾値よりも大きい領域であってもよい。
【0029】前記代表色は、前記複数の使用色のうち彩度が最も高い使用色であってもよい。
【0030】前記複数の使用色にはそれぞれ色番号が割り当てられており、前記クラスタ画像は、複数の画素を有しており、前記複数の画素のそれぞれは色番号によって表される画素値を有していてもよい。
【0031】前記複数の使用色が無彩色および非無彩色を含み、前記照合手段は、前記クラスタ画像と前記少なくとも1つの候補領域のうちの1つとの間の画像間距離に基づいて、前記少なくとも1つの候補領域のうちの1つを前記対象が存在する領域として検出し、前記画像間距離は、前記非無彩色の色数が第1の所定値よりも大きいか、または、前記非無彩色を有する領域数が第2の所定値よりも大きいかのいずれかである場合には、前記クラスタ画像における前記無彩色を有する領域の各画素と前記候補領域における対応する各画素との間の画素間距離に依存することなく決定され、前記画像間距離は、前記非無彩色の色数が前記第1の所定値以下であり、かつ、前記非無彩色を有する領域数が前記第2の所定値以下である場合には、前記クラスタ画像における前記無彩色を有する領域の各画素と前記候補領域における対応する各画素との間の画素間距離に依存して決定されてもよい。
【0032】前記複数の使用色が無彩色および非無彩色を含み、前記照合手段は、前記クラスタ画像と前記少なくとも1つの候補領域のうちの1つとの間の画像間距離に基づいて、前記少なくとも1つの候補領域のうちの1つを前記対象が存在する領域として検出し、前記画像間距離は、前記非無彩色の色数が第1の所定値以下であり、かつ、前記非無彩色を有する領域数が第2の所定値以下である場合には、前記クラスタ画像における前記無彩色を有する領域の各画素と前記候補領域における対応する各画素との間の画素間距離と、前記クラスタ画像における前記非無彩色を有する領域の各画素と前記候補領域における対応する各画素との間の画素間距離とによって決定され、前記クラスタ画像における前記無彩色を有する領域の各画素と前記候補領域における対応する各画素との間の画素間距離は、前記クラスタ画像における前記代表色を有する領域の平均輝度によって正規化された輝度と、前記候補領域における前記代表色領域の平均輝度によって正規化された輝度とに基づいて求められ、前記クラスタ画像における前記非無彩色を有する領域の各画素と前記候補領域における対応する各画素との間の画素間距離は、前記クラスタ画像の画素の色相と前記候補領域の各画素の色相とに基づいて求められてもよい。
【0033】前記候補領域抽出手段は、前記少なくとも1つの代表色領域のそれぞれについて、所定量だけ拡大または縮小の少なくともいずれか一方を行い、前記クラスタ画像における前記代表色を有する領域と前記クラスタ画像の枠との間の相対的な位置関係を用いて、拡大または縮小を行う前の代表色領域と前記拡大または縮小の少なくともいずれか一方を行った代表色領域のそれぞれから、前記対象が存在する可能性のある複数の候補領域を求め、前記照合手段は、前記少なくとも1つの代表色領域のそれぞれから得られた前記複数の候補領域について、前記複数の候補領域のそれぞれと前記クラスタ画像とを照合し、前記複数の候補領域のそれぞれと前記クラスタ画像との間の画像間距離が最小であり、かつ、所定の閾値よりも小さい候補領域を前記対象が存在する領域として検出してもよい。
【0034】前記画像検出装置は、前記照合手段によって検出された少なくとも2つの検出領域を時間と対応付けて格納する検出領域記憶手段と、前記入力画像の処理領域を特定する処理領域特定手段とをさらに備え、前記処理領域特定手段は、前記検出領域記憶手段に格納された少なくとも2つの検出領域のうち少なくとも2つの検出領域間の位置関係が所定の条件を満たすかどうかを判定し、前記位置関係が所定の条件を満たす場合には、前記少なくとも2つの検出領域のうち最新の時間と対応付けられた検出領域を含む前記検出領域の近傍を前記入力画像の処理領域として特定し、前記位置関係が所定の条件を満たさない場合には、前記入力画像全体を処理領域として特定してもよい。
【0035】前記データベースは、少なくとも1つの対象データ組を少なくとも1つの環境のそれぞれに対応付けて格納し、前記少なくとも1つの対象データ組のそれぞれが前記少なくとも1つの対象データを格納し、前記画像検出装置は、前記画像検出装置が設置された環境を測定し、その測定結果に基づいて、前記少なくとも1つの環境のうち前記画像検出装置が設置された環境に対応付けて格納された対象データ組を前記少なくとも1つの対象データ組から選択する環境測定手段をさらに備え、前記代表色抽出手段は、前記入力画像において検出すべき対象を特定する情報を受け取り、前記選択された対象データ組のうち、前記入力画像において検出すべき対象を特定する情報に対応する情報を有する対象データを特定してもよい。
【0036】前記少なくとも1つの代表色領域は、前記入力画像の各画素について、前記入力画像の各画素の色相と前記対象データに含まれる前記代表色との距離から求められる類似度と、前記入力画像の各画素の彩度、輝度、および彩度と輝度との積からなる群から、前記環境測定手段によって測定された環境に基づいて選択される1つとの積が、所定の閾値よりも大きい領域であってもよい。
【0037】本発明によるプログラムは、コンピュータを入力画像内の対象を検出する画像検出装置として機能させるためのプログラムであって、前記画像検出装置は、少なくとも1つの対象データを格納するデータベースであって、前記少なくとも1つの対象データのそれぞれは、対象を特定する情報と、前記対象に使用されている複数の使用色を表す使用色データと、前記複数の使用色を代表する代表色を表す代表色データと、前記複数の使用色を有する複数の領域の配置を表すクラスタ画像とを含む、データベースと、前記入力画像と前記入力画像において検出すべき対象を特定する情報とを受け取り、前記データベースに格納されている前記少なくとも1つの対象データのうち、前記入力画像において検出すべき対象を特定する情報に対応する情報を有する対象データを特定し、前記入力画像から、前記特定された対象データに含まれる前記代表色データによって表される代表色に実質的に同じ色を有する少なくとも1つの領域を代表色領域として抽出する代表色領域抽出手段と、前記特定された対象データに含まれる前記クラスタ画像において前記代表色を有する領域と前記クラスタ画像の枠との間の相対的な位置関係を用いて、前記代表色領域抽出手段によって抽出された前記少なくとも1つの代表色領域から、前記対象が存在する可能性のある少なくとも1つの候補領域を求める候補領域抽出手段と、前記特定された対象データに含まれる前記クラスタ画像と前記候補領域抽出手段によって求められた前記少なくとも1つの候補領域のそれぞれとを照合し、その照合結果に基づいて、前記候補領域抽出手段によって求められた前記少なくとも1つの候補領域のうちの1つを前記対象が存在する領域として検出する照合手段とを備え、これにより上記目的が達成される。
【0038】本発明による記録媒体は、コンピュータを入力画像内の対象を検出する画像検出装置として機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、前記画像検出装置は、少なくとも1つの対象データを格納するデータベースであって、前記少なくとも1つの対象データのそれぞれは、対象を特定する情報と、前記対象に使用されている複数の使用色を表す使用色データと、前記複数の使用色を代表する代表色を表す代表色データと、前記複数の使用色を有する複数の領域の配置を表すクラスタ画像とを含む、データベースと、前記入力画像と前記入力画像において検出すべき対象を特定する情報とを受け取り、前記データベースに格納されている前記少なくとも1つの対象データのうち、前記入力画像において検出すべき対象を特定する情報に対応する情報を有する対象データを特定し、前記入力画像から、前記特定された対象データに含まれる前記代表色データによって表される代表色に実質的に同じ色を有する少なくとも1つの領域を代表色領域として抽出する代表色領域抽出手段と、前記特定された対象データに含まれる前記クラスタ画像において前記代表色を有する領域と前記クラスタ画像の枠との間の相対的な位置関係を用いて、前記代表色領域抽出手段によって抽出された前記少なくとも1つの代表色領域から、前記対象が存在する可能性のある少なくとも1つの候補領域を求める候補領域抽出手段と、前記特定された対象データに含まれる前記クラスタ画像と前記候補領域抽出手段によって求められた前記少なくとも1つの候補領域のそれぞれとを照合し、その照合結果に基づいて、前記候補領域抽出手段によって求められた前記少なくとも1つの候補領域のうちの1つを前記対象が存在する領域として検出する照合手段とを備え、これにより上記目的が達成される。
【0039】以下、作用を説明する。
【0040】本発明による画像検出装置によれば、少なくとも1つの対象データを格納するデータベースが設けられている。少なくとも1つの対象データのそれぞれは、対象に使用されている複数の使用色を表す使用色データと、複数の使用色を代表する代表色を表す代表色データと、複数の使用色を有する複数の領域の配置を表すクラスタ画像とを含む。これにより、任意の色および任意の形状を有する対象を表す対象データをデータベースに格納することができる。その結果、任意の色および任意の形状を有する対象を検出することが可能になる。
【0041】また、本発明による画像検出装置によれば、代表色領域抽出手段により、入力画像における代表色領域の形状に関わらず、特定された対象データに含まれる代表色と実質的に同じ色を有する領域が代表色領域として入力画像から抽出され、候補領域抽出手段により、クラスタ画像において代表色を有する領域とクラスタ画像の枠との間の相対的な位置関係を用いることによって、クラスタ画像の大きさに関わらず対象の存在する可能性のある候補領域を絞りこむことができる。これにより、画像検出装置の処理速度を向上させることが可能になる。
【0042】さらに、本発明による画像検出装置によれば、照合手段により、使用色を有する領域の形状に加えて、使用色を有する領域の配置をも考慮して照合が行われる。これにより、各領域の形状のみを考慮して照合を行う場合に比べて、画像検出装置の検出精度を向上させることが可能になる。
【0043】
【発明の実施の形態】以下、本発明の実施の形態について、図1から図18及び図20を用いて説明する。
【0044】(実施の形態1)図1は、本発明による画像検出装置107を含む移動体101の構成の一例を示す。
【0045】移動体101は、画像検出装置107に加えて、画像入力装置102と、入力装置103と、スピーカー104と、表示装置105と、画像変換装置106と、検出結果処理装置108と、記憶装置109とを含む。ここで、移動体101とは、ユーザとともに他力または自力で移動することが可能な任意の物体をいう。移動体101は、例えば、自動車、バイクおよび自転車であり得る。また、ユーザ自身が画像検出装置等を持って移動する場合には、移動体はユーザであり得る。
【0046】画像入力装置102は、移動体101の前方を撮影するように配置されている。画像入力装置102は、例えば、車載カメラであるが、これに限定されない。画像入力装置102によって撮影された画像は、画像入力装置102から入力画像として出力される。入力画像は、RGB形式のデジタルデータである(すなわち、入力画像の各画素は、赤(R)を表すデジタル値と、緑(G)を表すデジタル値と、青(B)を表すデジタル値とを有している)。入力画像は、記憶装置109に格納される。記憶装置109は、任意の種類のメモリ(例えば、ハードディスクドライブ)であり得る。
【0047】画像変換装置106は、記憶装置109に格納された入力画像を読み出し、入力画像のデータ形式を変換する。変換後の入力画像は、HSV形式のデジタルデータである(すなわち、変換後の入力画像の各画素は、色相(H)を表すデジタル値(例えば、0度〜360度の範囲の値)と、彩度(S)を表すデジタル値(例えば、0〜1の範囲の値)と、輝度(V)を表すデジタル値(例えば、0〜255の範囲の値)とを有している)。変換後の入力画像は、記憶装置109に格納される。
【0048】入力装置103は、入力画像において検出すべき対象を指定するために使用される。検出すべき対象の例としては、コンビニエンスストア、ガソリンスタンド、道路交通標識、信号機などが挙げられる。入力装置103は、例えば、各対象がそれぞれ対応付けられたボタンを有していてもよいし、ユーザが検出すべき対象の名称をタイプすることを可能にするキーボードを有していてもよい。入力装置103は、ユーザによって発せられた音声(例えば、検出すべき対象の名称)に基づいてその対象を認識する音声認識手段を備えていてもよい。ここで、ユーザとは、移動体101を運転するドライバであってもよいし、移動体101の同乗者であってもよい。
【0049】入力装置103を用いて入力画像において検出すべき対象が指定されると、画像検出装置107は、記憶装置109に格納された入力画像(HSV形式のデジタルデータ)を読み出し、その入力画像内の対象を検出する。その検出方法の詳細は、図5を参照して後述される。画像検出装置107による検出結果(例えば、入力画像内の対象の位置を示す座標)は、検出結果処理装置108に出力される。
【0050】検出結果処理装置108は、画像検出装置107から出力された検出結果を処理することにより、スピーカー104に出力するための音声データおよび/または表示装置105に出力するための表示データを生成する。検出結果処理装置108によって生成された音声データは、スピーカー104に出力される。その結果、例えば、「対象が左斜め上にあります」などの音声がスピーカー104から出力される。これにより、ユーザは入力画像内の対象の位置を音声により認識することが可能になる。また、検出結果処理装置108によって生成された表示データは、表示装置105に出力される。その結果、例えば、対象が存在する領域が目立つ色(例えば、黄色)で表示装置105に表示される。これにより、ユーザは入力画像内の対象の位置を画像により認識することが可能になる。
【0051】図2は、本発明による画像検出装置107の構成の一例を示す。
【0052】画像検出装置107は、代表色領域抽出手段201と、候補領域抽出手段202と、照合手段203と、データベース204とを含む。
【0053】データベース204には、少なくとも1つの対象データが格納されている。データベース204に格納されている少なくとも1つの対象データのそれぞれは、検出すべき対象を表す。対象データは、対象を特定する情報(例えば、対象の名称)と、対象に使用されている複数の使用色を表す使用色データと、その複数の使用色を代表する代表色を表す代表色データと、その複数の使用色を有する複数の領域の配置を表すクラスタ画像とを含む。ここで、代表色は、複数の使用色から選択された1つの使用色である。
【0054】入力装置103を用いて入力画像において検出すべき対象が指定されると、その対象を特定する情報(例えば、対象の名称)が、代表色領域抽出手段201と、候補領域抽出手段202と、照合手段203とに入力される。
【0055】代表色領域抽出手段201は、代表色領域抽出手段201に入力された対象を特定する情報(例えば、対象の名称)をキーにしてデータベース204を検索し、データベース204に格納されている少なくとも1つの対象データのうち、代表色領域抽出手段201に入力された対象を特定する情報(例えば、対象の名称)に対応する情報を有する対象データを特定する。
【0056】さらに、代表色領域抽出手段201は、記憶装置109に格納された入力画像(HSV形式のデジタルデータ)を読み出し、その特定された対象データに含まれる代表色データをデータベース204から読み出し、その入力画像から、その代表色データによって表される代表色に実質的に同じ色を有する少なくとも1つの領域を代表色領域として抽出する。代表色領域抽出手段201によって抽出された少なくとも1つの代表色領域を表す代表色領域データは、候補領域抽出手段202に出力される。代表色領域データは、例えば、入力画像における代表色領域の位置を示す座標データである。
【0057】候補領域抽出手段202は、記憶装置109に格納された入力画像を読み出し、代表色領域抽出手段201に入力された対象を特定する情報(例えば、対象の名称)をキーにしてデータベース204を検索し、データベース204に格納されている少なくとも1つの対象データのうち、代表色領域抽出手段201に入力された対象を特定する情報(例えば、対象の名称)に対応する情報(例えば、対象の名称)を有する対象データを特定する。
【0058】さらに、候補領域抽出手段202は、代表色領域抽出手段201から代表色領域データを受け取り、その特定された対象データに含まれるクラスタ画像をデータベース204から読み出し、そのクラスタ画像において代表色を有する領域とそのクラスタ画像の枠との間の相対的な位置関係を用いて、代表色領域抽出手段201によって抽出された少なくとも1つの代表色領域から、対象が存在する可能性のある少なくとも1つの候補領域を求める。候補領域抽出手段202によって求められた少なくとも1つの候補領域を表す候補領域データは、照合手段203に出力される。候補領域データは、例えば、入力画像における候補領域の位置を示す座標データである。
【0059】照合手段203は、記憶装置109に格納された入力画像を読み出し、代表色領域抽出手段201に入力された対象を特定する情報(例えば、対象の名称)をキーにしてデータベース204を検索し、データベース204に格納されている少なくとも1つの対象データのうち、代表色領域抽出手段201に入力された対象を特定する情報(例えば、対象の名称)に対応する情報(例えば、対象の名称)を有する対象データを特定する。
【0060】さらに、照合手段203は、候補領域抽出手段202から候補領域データを受け取り、その特定された対象データに含まれるクラスタ画像をデータベース204から読み出し、そのクラスタ画像と候補領域抽出手段202によって求められた少なくとも1つの候補領域のそれぞれとを照合し、その照合結果に基づいて、候補領域抽出手段202によって求められた少なくとも1つの候補領域のうちの1つを対象が存在する領域として検出する。照合手段203によって検出された領域を表す検出領域データ(検出結果)は、画像検出装置107の外部に出力される。検出結果は、例えば、入力画像において検出された領域の位置を示す座標データである。
【0061】このように、本発明による画像検出装置107によれば、少なくとも1つの対象データを格納するデータベース204が設けられている。少なくとも1つの対象データのそれぞれは、対象に使用されている複数の使用色を表す使用色データと、複数の使用色を代表する代表色を表す代表色データと、複数の使用色を有する複数の領域の配置を表すクラスタ画像とを含む。これにより、任意の色および任意の形状を有する対象を表す対象データをデータベース204に格納することができる。その結果、任意の色および任意の形状を有する対象を検出することが可能になる。
【0062】また、本発明による画像検出装置107によれば、代表色領域抽出手段201により、入力画像において代表色領域の形状に関わらず、特定された対象データに含まれる代表色と実質的に同じ色を有する領域が代表色領域として入力画像から抽出され、候補領域抽出手段202により、クラスタ画像において代表色を有する領域とクラスタ画像の枠との間の相対的な位置関係を用いることによって、クラスタ画像の大きさに関わらず対象の存在する可能性のある候補領域を絞りこむことができる。これにより、画像検出装置107の処理速度を向上させることが可能になる。
【0063】さらに、本発明による画像検出装置107によれば、照合手段203により、使用色を有する領域の形状に加えて、使用色を有する領域の配置をも考慮して照合が行われる。これにより、各領域の形状のみを考慮して照合を行う場合に比べて、画像検出装置107の検出精度を向上させることが可能になる。
【0064】なお、図2に示される例では、代表色領域抽出手段201、候補領域抽出手段202および照合手段203のそれぞれがデータベース204を検索する構成としたが、画像検出装置107の構成はこれに限定されない。入力装置103を用いて入力画像において検出すべき対象が指定されると、その対象を特定する情報(例えば、対象の名称)をデータベース検索手段(図示せず)に入力するようにし、そのデータベース検索手段がデータベース204を検索してその検索結果を代表色領域抽出手段201、候補領域抽出手段202および照合手段203のそれぞれに提供する構成としてもよい。あるいは、代表色領域抽出手段201、候補領域抽出手段202および照合手段203のうちの1つが、データベース検索手段の機能を有するようにしてもよい。
【0065】また、図2に示される例では、データベース204は、記憶装置109(図1)とは別個に設けられているが、画像検出装置107の構成はこれに限定されない。データベース204が記憶装置109(図1)に含まれていてもよい。
【0066】図3は、対象画像301に基づいて対象データに含まれるクラスタ画像306を生成するプロセスを模式的に示す。対象画像301は、対象を撮影することによって得られる画像である。図3に示されるプロセスによって対象画像301に基づいてクラスタ画像306が生成される。生成されたクラスタ画像306は、対象データの一部としてデータベース204に格納される。
【0067】以下、図3を参照して、対象データに含まれる使用色データ、代表色データおよびクラスタ画像がどのように定義されるかを説明する。■使用色データ対象画像301に含まれる画素は、「無彩色」を有する画素と「非無彩色」を有する画素とに分類される。ここで、「無彩色」を有する画素とは、所定の閾値Ts(例えば、0.25)より低い彩度を有する画素をいう。「非無彩色」を有する画素とは、「無彩色」を有する画素以外の画素をいう。
【0068】図3に示される例では、対象画像301は、3つの異なる前景色を有する領域(四角、丸、三角)と背景色(白)を有する領域とを含む。3つの異なる前景色を有する領域(四角、丸、三角)に含まれる画素は、「非無彩色」を有する画素の例である。背景色(白)を有する領域に含まれる画素は、「無彩色」を有する画素の例である。なお、この例では、対象に使用される色数は3であるが、これに限定されない。対象に使用される色数は任意の数であり得る。
【0069】対象画像301に含まれる画素のうち、「非無彩色」を有する画素は、各画素が有する色相(H)を表す値に基づいて、少なくとも1つのクラスタに分類される。このような分類(クラスタリング)は、所定のクラスタリング手法に従って行われる。所定のクラスタリング手法の一例として、色数(図3に示される例では、3)を指定したK−means法が挙げられる。クラスタとは画素の集合をいう。
【0070】図3に示される色相の分布302における”クラスタ0”、”クラスタ1”および”クラスタ2”は、対象画像301に含まれる「非無彩色」を有する画素を分類した結果を示す。各クラスタは、そのクラスタに属する画素が有する色相の分布によって得られる平均303と分散304とを有している。また、最大距離305は、クラスタの中心(平均303)とそのクラスタに属する画素が有する色相(H)を表す値との距離のうち最大のものとして定義される。その距離としては、例えば、マハラノビス距離(「画像解析ハンドブック」東京大学出版会、p32)が使用され得る。マハラノビス距離の代わりに、ユークリッド距離を使用してもよい。
【0071】対象画像301に含まれる画素のうち、「無彩色」を有する画素は、少なくとも1つのクラスタに分類される。そのクラスタは、そのクラスタに属する画素の正規化輝度分布の平均303、分散304および最大距離305を有する。「無彩色」である画素の正規化輝度とは、その画素の輝度値を代表色を有する領域の平均輝度で除算した値である。
【0072】図3に示される正規化輝度の分布307における”クラスタ4”は、対象画像301に含まれる「無彩色」を有する画素を分類した結果を示す。正規化輝度の分布307は、候補領域とクラスタ画像とを照合する際に、無彩色領域の特徴量として用いられる。
【0073】対象に使用される1つの使用色は、1つのクラスタの平均303、分散304および最大距離305によって定義される。図3に示される例では、前景色の1つが”クラスタ0”の平均303、分散304および最大距離305によって定義され、前景色の他の1つが”クラスタ1”の平均303、分散304および最大距離305によって定義され、前景色の残りの1つが”クラスタ2”の平均303、分散304および最大距離305によって定義される。また、背景色(白)が”クラスタ4”の平均303、分散304および最大距離305によって定義される。
【0074】使用色データは、対象に使用される複数の使用色を表す。従って、使用色データは、使用色の組(すなわち、(平均303、分散304、最大距離305)の組)によって定義される。
【0075】なお、図3に示される例では、色相の分布302に現れる3つのクラスタのうち平均303が最も小さいクラスタから順に、クラスタ番号(色番号)0、1、2が割り当てられている。また、正規化輝度の分布307に現れるクラスタにクラスタ番号4(=非無彩色の色数+1)が割り当てられている。しかし、クラスタ番号の割り当て方法が図3に示される例に限定されるわけではない。クラスタ番号の割り当て方法は任意である。■代表色データ各クラスタについて、クラスタに属する画素の彩度の平均を求める。代表色は、対象に使用される複数の使用色のうち、その彩度の平均が最大となるクラスタに対応する使用色として定義される。あるいは、ユーザが手動で複数の使用色のうちの1つを代表色と指定してもよい。代表色データは、代表色を表す。■クラスタ画像クラスタ画像306は、対象画像301の各画素に各クラスタのクラスタ番号を割り当てることにより得られる。すなわち、クラスタ画像306は、画素値としてクラスタ番号0を有する画素からなる領域と、画素値としてクラスタ番号1を有する画素からなる領域と、画素値としてクラスタ番号2を有する画素からなる領域と、画素値としてクラスタ番号4を有する画素からなる領域とを含む。
【0076】図4は、複数の対象データ401a、401b、401c・・・がデータベース204に格納されている様子を模式的に示す。図4に示される例では、対象データ401aは、ガソリンスタンド(GS0)のモデルを表す。対象データ401aは、例えば、対象画像301(図3)に基づいて得られる。
【0077】対象データ401aは、対象の名称を表すデータとして”GS0”を含み、使用色を表すデータ(使用色データ)として”クラスタ0”、”クラスタ1”、”クラスタ2”、”クラスタ4”を含み、代表色を表すデータ(代表色データ)として”クラスタ2”を含み、使用色を有する領域の配置を表すデータとしてクラスタ画像を含む。
【0078】図5は、コンピュータを画像検出装置107として機能させるプログラムの手順を示す。このプログラムは、例えば、記録媒体に記録された形式でユーザに提供される。ユーザが所定の手順に従ってこのプログラムをコンピュータにインストールすることにより、このプログラムはコンピュータ内のメモリに格納される。コンピュータ内のプロセッサ(CPU)がこのプログラムを実行することにより、コンピュータを画像検出装置107として機能させることが可能になる。
【0079】なお、代表色領域抽出手段201(図2)の機能は、図5に示されるステップ601〜606に対応し、候補領域抽出手段202(図2)の機能は、図5に示されるステップ607に対応し、照合手段203(図2)の機能は、図5に示されるステップ608に対応する。
【0080】ここで、入力画像において検出すべき対象を特定する情報(例えば、ガソリンスタンドの名称)が画像検出装置107に入力されており、画像検出装置107が入力画像内に検出すべき対象(例えば、ガソリンスタンドの看板)が存在するか否かを判定する場合を仮定する。
【0081】図6Aは、画像検出装置107に入力される入力画像の一例として入力画像501を示す。入力画像501は、画像入力装置102によって撮影された画像(図1に示される移動体101の前方の画像)のデータ形式を画像変換装置106によって変換することによって得られる。画像入力装置102によって撮影された画像のデータ形式はRGB形式であり、入力画像501のデータ形式はHSV形式である。図6Aに示されるように、入力画像501は、ガソリンスタンドの看板の画像502を含む。ここで、入力画像501において検出すべき対象は、そのガソリンスタンドの看板であるとする。
【0082】以下、図5を参照して、上述したプログラムの各ステップを説明する。
【0083】ステップ601:代表色領域抽出手段201は、ガソリンスタンドの名称(GS0)に一致する名称を有する対象データ401a(図4)をデータベース204から読み出し、入力画像501から、対象データ401aに含まれる代表色データによって表される代表色に実質的に同じ色を有する代表色領域を抽出する際に必要とされるメモリ領域を記憶装置109内に確保する。そのメモリ領域は、後述するように、類似度画像、クラスタ画像および代表色画像を記憶装置109に格納するために使用される。
【0084】ステップ602:代表色領域抽出手段201は、入力画像501に基づいて類似度画像とクラスタ画像とを生成する。類似度画像は、入力画像501の各画素の色相が対象データ401aに含まれる使用色データによって表される使用色にどのくらい類似しているかを表す。クラスタ画像は、入力画像501の各画素が対象データ401aの無彩色を除くどの使用色に対応するかを示し、対応するクラスタの色番号によって表される画素値を有している。入力画像501に基づいて生成された類似度画像の各画素は、対象データ401aの無彩色を除く使用色との類似度のみを表し、その類似度は、各画素がどの使用色と類似しているかは表さない。従って、クラスタ画像を用いて、類似度画像の各画素が対象データ401aに含まれる使用色データによって表される使用色のどの色に属するかを対応付ける。
【0085】クラスタ画像は次のようにして求められる。3つの画素値(色相、彩度、輝度)のうち1つの画素値(色相)について、入力画像501の各画素と使用色データによって表される使用色のクラスタのうち、無彩色(実施の形態1ではクラスタ4)を除く各使用色のクラスタとの距離を求める。距離には上述したマハラノビス距離を用いる。入力画像501の各画素と使用色データによって表される各使用色のクラスタとの距離のうち、その距離が最小となるクラスタをその画素の属するクラスタとする。クラスタ画像の各画素には、入力画像501の対応する各画素が属するクラスタの色番号(0〜2のうちの何れか)が画素値として割り当てられる。
【0086】類似度画像は次のようにして求められる。類似度画像の各画素には、入力画像501の対応する各画素と各画素が属するクラスタとの距離と、各画素が属するクラスタの最大距離305(図3)とを用いて、次式で求まる類似度が、画素値として割り当てられる。
【0087】類似度=(最大距離−距離)/最大距離ここで、入力画像501の各画素について上式を用いて類似度を求めた場合に、その類似度が負となる画素がある場合には、その画素はどのクラスタにも属さないとして、クラスタ画像の対応する画素にはクラスタ番号3(非無彩色のクラスタの色番号は0〜2であるため、非無彩色の最大の色番号の次の値を用いる)が割り当てられ、類似度画像の対応する画素には類似度0が割り当てられる。入力画像501の対応する各画素について上式を用いて類似度を求め、各画素に得られた類似度(0〜1)を割り当てたデータを類似度画像としてステップ601で記憶装置109内に確保したメモリ領域に格納する。
【0088】図6Bは、代表色領域抽出手段201によって入力画像501から生成される無彩色を除く使用色についての類似度画像の一例として類似度画像503を示す。類似度画像503は、各画素と無彩色を除く使用色データによって表される3つの使用色(クラスタ番号0〜2)のいずれかとの類似度をハッチングパターンで表した画像である。例えば、ハッチングなし(白抜き)の領域504の各画素は、3つの使用色のいずれかとの類似度が非常に高いことを示し、ドットで示されている領域505の各画素は、3つの使用色のすべてとの類似度が低いことを示し、網掛けで示されている領域(背景)506の各画素は、3つの使用色のすべてとの類似度が負である(すなわち全く類似しない)ことを示す。
【0089】ステップ603:代表色領域抽出手段201は、ステップ602において生成された類似度画像503およびクラスタ画像と、入力画像501の彩度画像とに基づいて、代表色画像を生成する。代表色画像とは、入力画像501における代表色データによって表される代表色(実施の形態1ではクラスタ2)と実質的に同じ色を有する領域を含む領域とそれ以外の色を有する領域とを表す画像である。
【0090】代表色画像は次のようにして求められる。ステップ602で生成したクラスタ画像の画素値が代表色データによって表される代表色の色番号である画素について、ステップ602で生成した類似度画像503において対応する画素の画素値(類似度)に、入力画像501の彩度画像(入力画像501の各画素の3つの画素値のうち彩度のみを画像で表したもの)において対応する画素の画素値(彩度)を乗じる。
【0091】クラスタ画像の画素値が代表色データによって表される代表色の色番号以外(実施の形態1ではクラスタ0および1)、およびクラスタ番号3である画素に対応する代表色画像の画素には、画素値として0を割り当てる。
【0092】図7Aは、代表色領域抽出手段201によって入力画像501から生成される代表色についての類似度画像の一例として類似度画像701を示す。代表色についての類似度画像701において、ハッチングなし(白抜き)の領域705の各画素は、代表色との類似度が高いことを示し、斜線で示される領域706の各画素は、代表色との類似度が低いことを示し、網掛けで示される(背景)領域707の各画素は、代表色以外の色を有することを示す。
【0093】図7Bは、入力画像501の各画素を彩度で表した彩度画像の一例として彩度画像702を示す。彩度画像702は、上述したように入力画像501の各画素の3つの画素値のうち彩度のみで表した画像である。彩度画像702は、各画素の色に関わらず鮮やかな部分(彩度の高い部分)708が高輝度(すなわち白)で表されている。類似度画像701と彩度画像702とを対応する画素毎に乗じることによって代表色画像(図示せず)が得られる。このようにして得られた代表色画像の各画素は、0〜1の間の値を有する。
【0094】類似度画像701に彩度画像702を乗じる理由は、一般に、彩度の小さい画素は色相が安定せず、偶然に色相の類似度が高くなるのを抑えるためである。類似度に彩度(0〜1の実数)を乗じることで、彩度が低ければ(0に近ければ)類似度を0に抑えることができ、逆に彩度が高ければ(1に近ければ)類似度の値を保持することができる。このようにして得られた代表色画像をステップ601で記憶装置109内に確保したメモリ領域に格納する。
【0095】ステップ604:代表色領域抽出手段201は、ステップ603において生成された代表色画像(各画素は0〜1の値を有する)を2値化することにより、代表色と実質的に同じ色を有する代表色領域を代表色画像から抽出し、得られた代表色領域を囲う外接矩形を代表色外接領域として取得する。
【0096】本明細書中において、代表色領域には、入力画像501の画素の色相と代表色のクラスタとの距離に基づいて定められる類似度と、その画素の彩度との積が、閾値以上になる画素が含まれる。代表色領域は、代表色と実質的に同じ色を有している領域(代表色と実質的に同じ色を有している画素からなる領域)であるということができる。この例では、「代表色と実質的に同じ色を有している画素」とは、(その画素の代表色のクラスタとの類似度)×(その画素の彩度)が閾値以上であることを意味する。
【0097】2値化するために、判別分析法(大津の方法、「画像解析ハンドブック」東京大学出版会、p503)を用いた。2値化の閾値の決定には、ステップ603で生成された代表色画像のすべての画素を用いるのではなく、代表色データによって表される代表色のクラスタ番号(ここでは2)に対応する画素のみが用いられる。2値化によって得られた二値画像703(図7Cを参照して後述する)の代表色領域の輪郭線追跡(「画像解析ハンドブック」東京大学出版会、p579)を行うことで代表色外接領域を求める。
【0098】図7Cは、代表色領域抽出手段201によって入力画像501から生成される二値画像の一例として二値画像703を示す。二値画像703は、代表色領域709を白抜きで表し、それ以外(背景)は網掛けで表されている。実施の形態1において、二値画像703から得られた代表色領域709は3つ存在し、代表色領域709のそれぞれを外接矩形で囲んだ代表色外接領域704は、実施の形態1では3つ存在する。各代表色外接領域704は、二値画像703の左上を原点(0、0)として、水平方向の軸をx軸、垂直方向の軸をy軸とした場合に、左上の座標(dsx、dsy)と右下の座標(dex、dey)とからなる矩形領域で表される。当然のことながら、代表色領域709の領域数は任意である。
【0099】ステップ601〜604では、対象データ401aに含まれる使用色データによって表される使用色のうち非無彩色(実施の形態1ではクラスタ0〜2)についてのみ考慮しており、無彩色については考慮していないことに留意されたい。
【0100】ステップ605:代表色領域抽出手段201は、入力画像501の無彩色を有する領域の各画素にクラスタ番号を割り当てる。
【0101】入力画像501の画素が有する3つの画素値(彩度、色相、輝度)のうち1つの画素値である彩度が、所定の閾値Ts(例えば、0.25)よりも小さい画素について、クラスタ画像の対応する画素に画素値として4(=非無彩色の色数+1)が割り当てられる。この値4は、対象データ401aに含まれる使用色データによって表される使用色のうち非無彩色のクラスタ番号4と同じである。このように低彩度(無彩色)の領域の画素に対象データ401aのクラスタ番号と同じ番号を割り当てることによって、後述するステップ607においてクラスタ番号4の領域が「低彩度である」という特徴を用いて照合を行うことができる。
【0102】図7Dは、代表色領域抽出手段201によって入力画像501から生成されるクラスタ画像の一例としてクラスタ画像711を示す。クラスタ画像711は、ステップ602で行った非無彩色を有する画素へのクラスタ値の割り当てとステップ605で行った無彩色を有する画素へのクラスタ値の割り当てとの結果得られた画像である。入力画像501の対応する各画素にクラスタ番号を割り当てたデータをクラスタ画像としてステップ601で記憶装置109内に確保したメモリ領域に格納する。
【0103】ステップ606:代表色領域抽出手段201は、代表色外接領域の結合処理を行う。
【0104】図8は、分断された代表色外接領域を結合処理によって1つの代表色外接領域を生成するプロセスを模式的に示す。結合処理を行うことによって、図8のようにもともと1つであった代表色外接領域が複数に分断された場合に、1つの代表色外接領域にまとめることができる。分断された複数の代表色外接領域801が重複部分を持てば、重複した複数の代表色外接領域801について輪郭線追跡を行って外接矩形領域を求めることで新たな代表色外接領域802を得る。
【0105】結合処理を行う理由は2つある。第1は、ステップ604の2値化において、2値化の閾値が高めに設定された場合、同じ領域であるべきものが複数の領域に分割されてしまう問題を回避するためである。第2は、電柱および電線などの隠蔽(オクルージョン)により検出したい対象の代表色領域が複数に分断される問題を回避するためである。さらに、面積または長辺が予め定めた値より小さすぎるまたは大きすぎる代表色外接領域はノイズの可能性が高いので処理対象外とする。
【0106】ステップ601〜606から得られた代表色領域が少なくとも1つあれば、得られた代表色領域を表す代表色領域データを候補領域抽出手段202へ出力し、ステップ607へ進む。
【0107】ステップ607:候補領域抽出手段202は、ステップ601〜606において得られた代表色外接領域のそれぞれから候補領域を求める。候補領域とは、対象(実施の形態1ではガソリンスタンドの看板)が存在する可能性のある領域を指す。候補領域を求めるために、クラスタ画像306において代表色を有する代表色外接領域とクラスタ画像306の枠との間の相対的な位置関係を用いる。クラスタ画像306の代表色外接領域は、代表色領域を外接矩形で囲った領域である。
【0108】次に、候補領域の求め方を詳しく説明する。
【0109】図9は、代表色外接領域から候補領域を生成するプロセスを模式的に示す。図9に示すように、ステップ604と同様に、クラスタ画像306の代表色を有する領域を外接矩形で囲った代表色外接領域901を作成する。左上座標(0、0)および右下座標(mex、mey)は、クラスタ画像306の枠の座標を表している。クラスタ画像306の枠の水平方向の軸をx軸、垂直方向の軸をy軸とした場合に、代表色外接領域901は、左上の座標(mdsx、mdsy)と右下の座標(mdex、mdey)とからなる矩形領域で表される。クラスタ画像306に代表色外接領域が複数存在する場合には、例えば、その面積が最大の代表色外接領域を採用すればよい。しかしながら、この場合、複数の代表色外接領域のうちどれを採用するかは任意である。
【0110】このようにして得られたクラスタ画像306の代表色外接領域901の左上座標(mdsx、mdsy)と右下座標(mdex、mdey)と、ステップ604で生成された入力画像501の代表色外接領域704それぞれの左上座標(dsx、dsy)と右下座標(dex、dey)とを用いて、候補領域の左上座標と右下座標とを決定する。候補領域の左上座標と右上座標とはそれぞれ(dsx−zx×mdsx、dsy−zy×mdsy)および(dsx+zx×(mex−mdsx)、dsy+zy×(mey−mdsy))
となる。但し、zx=(dex−dsx+1)/(mdex−mdsx+1)および、zy=(dey−dsy+1)/(mdey−mdsy+1)である。zxは、クラスタ画像306の代表色外接領域901と入力画像の代表色外接領域704とのx軸方向の幅の比率である。一方zyは、クラスタ画像306の代表色外接領域901と入力画像の代表色外接領域704とのy軸方向の高さの比率である。
【0111】このように縦横別々の比率を用いるのは、2つの理由がある。第1の理由は、カメラで撮影された画像は使用するレンズの画角によって画像の周辺に歪みが発生し、撮影された画像の位置によっては縦(y軸方向の高さ)と横(x軸方向の幅)の伸縮の度合いが異なるからである。第2の理由は、看板がカメラに対して正面を向いていない場合、撮影した画像の高さと幅の比率がモデルと異なる可能性があるためである。縦および横の歪みの程度が同じ場合(すなわち、画像の中央から左右斜め上下)は、幅の比率、高さの比率が等しいと仮定でき、zxまたはzyのいずれか一方の値を用いてzx=zyとしてもよい。この場合、zxまたはzyのいずれか一方を選ぶ方法として、入力画像501の代表色外接領域704のy軸方向の高さがx軸方向の幅よりも長ければzyを採用し、逆にx軸方向の幅がy軸方向の高さよりも長ければzxを採用する。これは、検出する対象が電柱などで隠蔽されているときに有効である。
【0112】図10は、代表色外接領域から候補領域を生成する別のプロセスを模式的に示す。図10の入力画像1701は、検出したい対象のガソリンスタンドの看板502が電柱1702で隠蔽されている点以外は図6Aの入力画像501と同じである。入力画像1701中の代表色領域の一部分が電柱1702によって隠蔽されているため、このような入力画像1701についてステップ601〜606を行うと、図10に示されるように一部が欠けた状態の代表色外接領域1704が得られる。
【0113】この場合、代表色外接領域1704のx軸方向の幅からは本来の看板の大きさを正しく計算できないが、y軸方向の高さ(電柱1702によって分断されたx軸方向の幅よりも長い可能性が高い)を用いることで看板の大きさを正しく計算できる。図10の場合、入力画像1701から得られた代表色外接領域1704は、y軸方向の高さがx軸方向の幅よりも大きいので、zyが採用される。
【0114】zyを選択した場合の代表色外接領域1704から生成される第1の候補領域1703および第2の候補領域1705の左上座標および右下座標は、それぞれ、(dsx−zy×mdsx、dsy−zy×mdsy)および(dsx+zy×(mex−mdsx)、dsy+zy×(mey−mdsy))および、(dex−zy×mdex、dsy−zy×mdsy)および(dex+zy×(mex−mdex)、dsy+zy×(mey−mdsy))
となる。図10において第1の候補領域1703を実線で示し、第2の候補領域1705を点線で示す。逆に、看板の代表色外接領域が障害物によって横に分断された場合はzxが選ばれる。この場合の入力画像の代表色外接領域から生成される2つの候補領域(図示せず)の左上座標及び右下座標は、それぞれ(dsx−zx×mdsx、dsy−zx×mdsy)および(dsx+zx×(mex−mdsx)、dsy+zx×(mey−mdsy))、および、(dsx−zx×mdsx、dey−zx×mdey)および(dsx+zx×(mex−mdsx)、dey+zx×(mey−mdey))
となる。
【0115】1つの代表色外接領域1704から2つの候補領域を求める理由は、2つある。第1の理由は、入力画像の代表色外接領域となるべき領域のうちどの部分が隠蔽されているかわからないためである。従って、zyを選択した場合は、隠蔽された入力画像1701から生成された代表色外接領域1704の左辺および右辺をそれぞれ基準として候補領域が求められる。一方、zxを選択した場合は、隠蔽された入力画像1701から生成された代表色外接領域1704の上辺あるいは下辺を基準として候補領域が求められる。第2の理由は、代表色外接領域の基準にしているある1つの辺がノイズなどの影響で必ずしも真の代表色外接領域の辺に対応していない可能性があるので、代表色外接領域のもう一方の辺を基準とした候補領域を求めて、真の対象の領域が必ず含まれるようにすることを目的としているためである。
【0116】候補領域抽出手段202は、このようにして得られた候補領域903(図9)を表す候補領域データを照合手段203へ出力し、ステップ608へ進む。
【0117】以上のようにして、入力画像内の対象データの代表色を有する領域の形状に関わらず、代表色と実質的に同じ色を有する代表色領域が抽出される。また、クラスタ画像の代表色を有する領域とクラスタ画像の枠との間の相対的な位置関係を用いることによって、入力画像中の対象の大きさに関わらず、対象の存在する可能性のある候補領域を絞りこむことができる。
【0118】ステップ608:照合手段203は、ステップ607において求められた候補領域903のそれぞれとクラスタ画像306とを照合する。
【0119】ステップ601〜607では、対象データ401aに含まれる代表色データによって表される代表色に着目して、入力画像501の対象の存在する可能性のある領域を候補領域として絞りこんできた。次に、対象データ401aに含まれる使用色データ(実施の形態1ではクラスタ番号0〜2、4)とクラスタ画像306(図3)とを用いて、候補領域903が検出したい対象であるかどうかを決定する。
【0120】照合手段203は、ステップ607で生成された候補領域903のそれぞれについて、各候補領域903に対応するクラスタ画像711(図7D)内の画像とクラスタ画像306(図3)との間の画像間距離Dを後述の方法で計算し、得られた画像間距離Dが予め定めた閾値Tdよりも小さいものを対象が存在する領域として検出する。なお、閾値Tdよりも小さい複数の画像間距離Dが存在する場合には、それら複数の画像間距離Dのうち、最小の画像間距離Dとなる候補領域を対象が存在する領域として検出してもよい。照合を行う際に、各候補領域903とクラスタ画像306との大きさは必ずしも等しくないので、候補領域903またはクラスタ画像306のいずれか一方を基準として、大きさを正規化する。候補領域903を基準として正規化した場合には、正規化されたクラスタ画像306の画素数が、候補領域903の画素数に一致する。この場合、正規化されたクラスタ画像306の画素値が、正規化する前のクラスタ画像306の画素値となるように補間されている。クラスタ画像306を基準として正規化した場合も同様である。以下の説明で使用される候補領域903は、クラスタ画像306を基準として正規化したものとする。従って、正規化された候補領域903の画素数は、クラスタ画像306の画素数に一致する。当然のことながら、候補領域とクラスタ画像との大きさが等しい場合には、この処理は省略される。
【0121】図11は、クラスタ画像306と候補領域903との間の画像間距離Dを求める処理の手順を示す。画像間距離Dは、次式に示されるように、対応する画素(図11において、クラスタ画像306の画素をAとし、画素Aに対応する候補領域903の画素をBとする)についての画素間距離dをクラスタ画像306のすべての画素について加算(D’=Σd)し、比較した画素数(n)で除算することによって得られる。画素間距離dについては、後述する。
【0122】
D=D’/比較に用いた画素数n (式1)
ステップ1111:式1においてD’に0を代入し、nに0を代入する。
【0123】ステップ1112:クラスタ画像306の画素Aと、画素Aに対応する候補領域903の画素Bとを抽出する。
【0124】ステップ1113:クラスタ画像306中に照合する画素が残っているかどうかを判定する。クラスタ画像306中に照合すべき画素が残っていない場合には、ステップ1124に進む。クラスタ画像306中に照合すべき画素が残っている場合は、ステップ1114に進む。
【0125】ステップ1114:クラスタ画像306の画素Aは無彩色であるか否かを判定する。クラスタ画像306中の画素Aが無彩色である場合には、ステップ1115に進む。クラスタ画像306中の画像Aが非無彩色である場合には、ステップ1117に進む。
【0126】ステップ1115:クラスタ画像306の非無彩色の色数が第1の所定値よりも大きいか、またはクラスタ画像306の非無彩色の領域数が第2の所定値よりも大きいかのいずれかであるか否かを判定する。クラスタ画像306の非無彩色の色数が第1の所定値よりも大きいか、またはクラスタ画像306の非無彩色の領域数が第2の所定値よりも大きい場合には、クラスタ画像306の無彩色の画素と候補領域903の対応する画素との間の画素間距離dを求めることなく、ステップ1112に戻る。クラスタ画像306の非無彩色の色数が第1の所定値以下であり、かつクラスタ画像306の非無彩色の領域数が第2の所定値以下である場合には、クラスタ画像306の無彩色の画素と候補領域903の対応する画素との間の画素間距離dを求めるために、ステップ1116に進む。
【0127】ステップ1116:クラスタ画像306の画素Aのクラスタ番号と候補領域903の対応する画素Bのクラスタ番号とが一致するか否かを判定する。候補領域903の画素Bのクラスタ番号は、図7Dのクラスタ画像711から得られる。画素Aと画素Bとのクラスタ番号が一致する場合には、ステップ1118に進む。画素Aと画素Bとのクラスタ番号が一致しない場合には、ステップ1119に進む。
【0128】ステップ1118:D’をd0(A,B)だけ増加させる。ここで、d0(A,B)は、クラスタ画像306の無彩色領域についての画素Aと画素Bとの画素間距離である。
【0129】ステップ1119:D’を1だけ増加させる。画素Aと画素Bとの画素間距離dは、1である。
【0130】ステップ1120:nを1だけ増加させる。
【0131】ステップ1120まで終了すると、ステップ1112に戻ってループが繰り返される。
【0132】ステップ1117:クラスタ画像306の画素Aのクラスタ番号と候補領域903の対応する画素Bのクラスタ番号とが一致するか否かを判定する。ステップ1117は、ステップ1116と同様である。画素Aと画素Bとのクラスタ番号が一致する場合には、ステップ1121に進む。画素Aと画素Bとのクラスタ番号が一致しない場合には、ステップ1122に進む。
【0133】ステップ1121:D’をd1(A,B)だけ増加させる。ここで、d1(A,B)は、クラスタ画像306の非無彩色領域についての画素Aと画素Bとの画素間距離である。
【0134】ステップ1122:D’を1だけ増加させる。画素Aと画素Bとの画素間距離dは、1である。
【0135】ステップ1123:nを1だけ増加させる。ステップ1123はステップ1120と同様である。
【0136】ステップ1123まで終了すると、ステップ1112に戻ってループが繰り返される。ステップ1113において、クラスタ画像306中に照合すべき画素が残っていない場合には、ステップ1124に進む。
【0137】ステップ1124:式1に従って、画像間距離Dが求められる。
【0138】以上のステップ1111〜1124を行うことによって、画像間距離Dが求められる。ステップ1115において、クラスタ画像306の非無彩色の色数が第1の所定値よりも大きいか、またはクラスタ画像306の非無彩色の領域数が第2の所定値よりも大きい場合には、図11中点線で囲った領域1125のクラスタ画像306の無彩色の画素と候補領域903の対応する画素との間の画素間距離dを求めるステップを省略することができる。実施の形態1において、クラスタ画像の非無彩色の色数は、図4の対象データ401aから3(クラスタ0〜2)であり、クラスタ画像306の非無彩色の領域数は、3である。第1の所定値および第2の所定値とは、例えばそれぞれ1等であり得る。第1の所定値および第2の所定値は異なっていてもよい。
【0139】このように、クラスタ画像306の非無彩色の色数または非無彩色の領域数に基づいて、クラスタ画像306の無彩色の画素(無彩色領域)を考慮するか否かを制御することは有効である。クラスタ画像の無彩色の画素と候補領域の対応する画素との間の画素間距離dに依存することなく、クラスタ画像306と候補領域903との間の画像間距離Dを求めることは、真に無彩色な領域が、カメラの光学系および画像処理の影響等に起因した無彩色な領域の周りに存在する非無彩色のにじみによって、画像上では無彩色でなくなり、画像検出に悪影響をもたらすために有利である。一方、第1の所定値および第2の所定値がそれぞれ1の場合(例えば、対象画像が「日の丸」のような場合のクラスタ画像において、非無彩色(赤)の色数が1であり、非無彩色の領域数(赤色の領域)が1の場合)、無彩色領域を考慮することなく画像間距離Dを求めると、信号機の赤灯等の赤くて丸いもの全てが検出される可能性がある。このような場合には、無彩色領域の「低彩度である」という特徴を利用した照合を行うことによって、例えば日の丸等を正確に検出する。従って、画像検出装置107の検出精度を高めることができる。
【0140】次に、式1で用いた画素間距離dについて説明する。dの定義としては、クラスタ画像306の注目する画素Aが無彩色である場合と非無彩色である場合について、それぞれいくつか考えられる。画素Aが無彩色である場合と非無彩色である場合とについてそれぞれ別個に説明する。■画素Aが無彩色である場合(実施の形態1では画素Aがクラスタ番号4に割り当てられている場合)、画素Aと画素Bとの間の画素間距離d0(A,B)は、2つの方法のいずれかによって求められる。1.クラスタ画像306の画素Aのクラスタ番号と候補領域903の対応する画素Bのクラスタ番号とが一致した場合には、0をd0(A,B)に代入し、不一致である場合には、1をd0(A,B)に代入する。2.クラスタ画像306の画素Aのクラスタ番号と候補領域903の対応する画素Bのクラスタ番号とが一致した場合、候補領域903の画素Bの正規化輝度と正規化輝度分布307(図3のクラスタ4)との間の距離(正規化輝度間距離)をd0(A,B)に代入し、不一致であれば1をd0(A,B)に代入する。候補領域903の画素Bの正規化輝度は、入力画像の対応する画素Bの輝度値を候補領域903における代表色領域の平均輝度で除算した値である。正規化輝度間の距離とは、画素Bの正規化輝度と正規化輝度分布307との間のマハラノビス距離を正規化輝度分布307の最大距離305で除算した値である。正規化輝度間距離が1を越える場合には、d0(A,B)に1を代入する。
【0141】画像の輝度値は、その画像の撮影時の光源の条件の影響を受けやすい。光源の条件(例えば、光源の明るさ)が、対象画像の撮影時と入力画像の撮影時とで異なる場合には、対象画像中の代表色領域の平均輝度と、入力画像中の代表色領域の平均輝度とは、撮影時の条件の違いに応じた異なった値を示す。無彩色の画素の輝度値を代表色領域の平均輝度で正規化することによって、光源の条件の影響をキャンセルすることができる。
【0142】2つの方法のうちいずれの方法を採用してもよいが、2.の正規化輝度間の距離を用いる方法を採用すれば上述の理由から高精度な検出を達成することができる。■画素Aが非無彩色である場合(実施の形態1では画素Aがクラスタ番号0〜2に割り当てられている場合)、画素Aと画素Bとの間の距離d1(A,B)は3つの方法のいずれかによって求められる。3つの方法のうちいずれを採用してもよい。1.クラスタ画像306の画素Aのクラスタ番号と候補領域903の対応する画素Bのクラスタ番号とが一致した場合には、0をd1(A,B)に代入し、不一致である場合には、1をd1(A,B)に代入する。2.クラスタ画像306の画素Aのクラスタ番号と候補領域903の対応する画素Bのクラスタ番号とが一致した場合、候補領域903の画素Bに対応する図6Aの類似度画像503の対応する画素の画素値(類似度)を1から引いた値をd1(A,B)に代入し、不一致であれば1をd1(A,B)に代入する。3.クラスタ画像306の画素Aのクラスタ番号と候補領域903の対応する画素Bのクラスタ番号とが一致した場合、画素Aと画素Bとの色相値の差の絶対値をπで割った値をd1(A,B)に代入し、また不一致であれば1をd1(A,B)に代入する。
【0143】上記1.〜3.のいずれもクラスタ画像の各画素の色相と候補領域の各画素の色相に基づいて、各画素間距離が求められる。
【0144】なお、本発明の画像検出装置によれば、任意の標識および看板だけでなく、信号機を検出することも可能である。信号機に使用される色は赤、青、黄であり、それぞれが決まった配置関係をもっており、その形状も円形と決まっている。信号機の使用色の非無彩色は赤、青および黄である。上述したように、信号機を検出する際には、色相および彩度のみを用い、輝度は用いない。従って、どの色が点灯しているかを決定することができない。しかしながら、赤、青、黄の各色に属する画素の輝度値の平均を求め、その平均値が最も高い色が点灯していると特定することによって、現在の信号機の点灯している色を知ることができる。このように赤、青、黄の3色を用いることによって、1色のみを用いた検出時に生じる車のテールランプの赤と信号機の赤との誤検出を防ぐことが可能である。なお、信号機の場合、赤、青、黄と3色ではなく、赤と黄をまとめたものを1色(すなわち、1つのクラスタ値)として考え、これに青を考慮した2色を用いて検出してもよい。
【0145】なお、対象画像の対象データを求める際に、代表色は使用色のうち各使用色の平均彩度が最も高いもの1つとしたが、これに限るものではなく、複数でもよい。その場合は、例えば、平均彩度が高いものから順に選ぶものとする。また、対象データに含まれる使用色データの各色クラスタの最大距離305(図3)はクラスタとそのクラスタに属する画素値(色相)との距離の最大値としたが、これに限らずクラスタの分散304の平方根の2倍または3倍といった分散を基準とした値としてもよい。さらに、非無彩色の場合の最大距離305としてπを用いてもよい。
【0146】また、対象画像の対象データを求める際に、無彩色領域に1つのクラスタ値を割り当てたが、これに限るものではなく、無彩色領域も正規化輝度分布をクラスタリングして複数のクラスタ値を割り当ててもよい。これにより、輝度の異なる無彩色領域でパターンが構成されている場合に効率よく検出を行うことができる。
【0147】また、ステップ603で代表色画像を生成するために、類似度画像503の各画素値に彩度画像の対応する各画素値を乗じたが、夜間の画像等から発光する対象(ガソリンスタンドやコンビニエンスストア等の看板)を検出する場合には、類似度画像503の各画素値に輝度画像の対応する各画素値を乗じてもよいし、また類似度画像503の各画素値に輝度画像の対応する各画素値と彩度画像702の対応する各画素値とを乗じてもよい。輝度画像とは、入力画像501の各画素の3つの画素値のうち輝度のみで表された画像である。このように輝度を用いることで、夜間の画像のように類似度画像だけでは絞り込めない代表色領域を的確に絞り込むことができる。この場合にも、代表色領域は、代表色と実質的に同じ色を有している領域(代表色と実質的に同じ色を有している画素からなる領域)であるということができる。この例では、「代表色と実質的に同じ色を有している画素」とは、(その画素の代表色のクラスタとの類似度)×(その画素の輝度)または(その画素の代表色のクラスタとの類似度)×(その画素の彩度)×(その画素の輝度)が閾値以上であることを意味する。
【0148】また、ステップ604で代表色画像を二値化した画像から代表色領域を得て、その代表色領域について輪郭線追跡を行うことにより代表色外接領域704を求めていたが、図7Dのクラスタ画像711において代表色を表すクラスタ値(実施の形態1ではクラスタ番号2)を有し、かつ彩度画像702において彩度が0.25以上(非無彩色)である画素を有する領域を代表色領域として、その代表色領域について輪郭線追跡を行って代表色外接領域を求めてもよい。
【0149】さらに、ステップ606の代表色外接領域の結合処理において、各代表色外接領域を一定画素数(例えば1〜3画素)だけ上下左右に拡大し、拡大した代表色外接領域全体について結合を行って、次いで結合された代表色外接領域を一定画素数だけ上下左右に縮小したものを新たな代表色外接領域としてもよい。また、ステップ606の代表色外接領域の結合処理は必ずしも必要な処理ではなく、省略可能である。
【0150】また、道路標識のうちで行き先表示板などが、設置されている場所によってその形状がまちまちである場合には、代表色領域抽出手段201で得られた代表色外接領域704がそのまま行き先表示板の候補領域903となるため、代表色領域抽出手段201だけを用いて候補領域抽出手段202、照合手段203、およびデータベース204を使用しない使い方も有効である。
【0151】(実施の形態2)図12は、コンピュータを画像検出装置107(図2)として機能させる別のプログラムの手順を示す。なお、候補領域抽出手段202(図2)の機能は、図12に示されるステップ1007に対応し、照合手段203(図2)の機能は、図12に示されるステップ1008に対応する。図2に示されるステップ601〜606は、図6に示されるステップ601〜606と同一である。従って、ここでは説明を省略する。
【0152】以下、図12を参照して、上述したプログラムの各ステップを説明する。
【0153】ステップ1007:候補領域抽出手段202は、ステップ601〜ステップ606において得られた代表色外接領域のそれぞれから複数の候補領域を求める。
【0154】図13は、1つの代表色外接領域から複数の候補領域を生成するプロセスを模式的に示す。候補領域抽出手段202は、ステップ601〜ステップ606によって生成された代表色領域データを受け取り、代表色領域データによって表される代表色外接領域のそれぞれについて、上下左右へ一定画素(例えば、1画素)だけ拡大および縮小を行う。これにより、ステップ601〜ステップ606によって得られた代表色外接領域のそれぞれについて3つの代表色外接領域が生成される。ステップ601〜ステップ606によって得られた1つの代表色外接領域1101と、代表色外接領域1101を上下左右へ一定画素だけ拡大した代表色外接領域1102と、代表色外接領域1101を上下左右へ一定画素だけ縮小した代表色外接領域1103とを図13に示す。
【0155】次に、図5のステップ607と同様の手順で、各代表色外接領域から候補領域を求める。代表色外接領域1101に対する候補領域1104と、拡大された代表色外接領域1102に対する候補領域1106と、縮小された代表色外接領域1103に対する候補領域1105とを図13に示す。
【0156】候補領域抽出手段202は、このようにして得られた候補領域1104〜1106を表す候補領域データを照合手段へ出力し、ステップ1008に進む。
【0157】ステップ1008:照合手段203は、ステップ1007において求められた候補領域1104〜1106のそれぞれとクラスタ画像306とを照合する。候補領域1104〜1106のクラスタ画像それぞれとクラスタ画像306との間の画像間距離を実施の形態1と同様にして求める。得られた3つの画像間距離のうち最小の画像間距離が、予め定めた閾値Tdよりも小さい場合に、その最小の画像間距離を有する候補領域が対象の存在する領域として検出される。一方、3つの画像間距離のうち最小の画像間距離が閾値Tdよりも大きい場合には、照合手段203は、3つの候補領域すべてに対象は存在しないと判定する。
【0158】なお、ステップ1007では、ステップ601〜606によって得られた代表色外接領域を上下左右へ一定画素だけ拡大および縮小したが、拡大または縮小のいずれか一方のみを行ってもよい。また、拡大および/または縮小する画素数は1画素に限定するものではなく任意である。例えば、拡大および/または縮小する画素数は、カメラの性能(特に色のにじみ具合)に合わせて、2〜3画素でもよい。拡大および/または縮小それぞれの回数は1回ずつに限定するものではなく、任意である。
【0159】実施の形態2によれば、拡大および/または縮小した代表色外接領域から求めた候補領域も考慮することによって、カメラの光学系および画像処理等に起因した代表色外接領域の輪郭における色のにじみ、かすれ等によって真の候補領域の大きさが正しく求めることができない場合であっても、検出精度を低下させることなく対象を検出することができる。
【0160】(実施の形態3)図14は、本発明による画像検出装置1200の構成の一例を示す。
【0161】画像検出装置1200は、図2の画像検出装置107に含まれる代表色領域抽出手段201と、候補領域抽出手段202と、照合手段203と、データベース204とに加えて、処理領域特定手段1201と、検出領域記憶手段1202とをさらに備える。図14において、図2に示される構成要素と同一の構成要素には同一の参照番号を付し、その説明を省略する。
【0162】検出領域記憶手段1202は、照合手段203からの検出結果である検出領域を時間と対応付けた検出結果を格納する。検出領域記憶手段1202は、照合手段203の照合が終了すると、時間と対応付けた検出領域を自身に格納し、同時に自身に格納されている最も古い検出領域を消去する。検出領域を時間と対応付けるとは、入力画像を撮影した時間tと検出領域とを対応付けてもよいし、入力画像を入力し始めてからの入力画像の個数(フレーム数)と検出領域とを対応付けてもよい。検出領域記憶手段1202に格納される検出結果は、例えば、時間tに撮影された入力画像において検出された対象の存在する領域の位置を示す座標データである。
【0163】なお、以下の説明では、検出領域記憶手段1202は、最新の時間tに撮影された入力画像の検出領域と、時間2tに撮影された入力画像の検出領域と、時間3tに撮影された入力画像の検出領域との3つの検出領域を格納するように設定されているが、2つ以上の任意の検出領域を格納するように設定することができる。また、以下の説明では、検出領域記憶手段1202は、撮影時間t、2t、3tのように一定時間毎に連続して撮影された入力画像の検出領域を格納するが、任意の時間に撮影された複数の入力画像の検出領域を格納することもできる。
【0164】処理領域特定手段1201は、処理領域特定手段1201に画像入力装置102(図1)を介して入力画像が入力されると、検出領域記憶手段1202に格納されている検出結果を表す検出結果データを読み出し、その検出結果データすべてを用いて、検出結果データによって表される検出領域のうち少なくとも2つの検出領域間の位置関係が、所定の条件を満たすかどうかを判定する。少なくとも2つの検出領域間の位置関係が所定の条件を満たす場合には、処理領域特定手段1201は、少なくとも2つの検出領域のうち最新の時間に対応付けられた検出領域を含むその検出領域の近傍を入力画像の処理すべき領域(処理領域)として特定する。一方、少なくとも2つの検出領域間の位置関係が所定の条件を満たさない場合には、処理領域特定手段1201は、入力画像全体を処理領域として特定する。処理領域特定手段1201は、特定された処理領域を表す処理領域データを代表色領域抽出手段201に出力する。処理領域データは、例えば、入力画像における処理領域の位置を示す座標データである。
【0165】入力装置103(図1)を用いて入力画像において検出すべき対象を特定する情報(例えば、対象の名称)が、代表色領域抽出手段201と、候補領域抽出手段202と、照合手段203とに入力され、処理領域特定手段1201が特定した入力画像における処理領域を表す処理領域データが代表色領域抽出手段201に入力された以降の処理は、実施の形態1で説明したのと同様に行われる。
【0166】図15は、コンピュータを画像検出装置1200として機能させるプログラムの一部の手順を示す。
【0167】図16は、過去の検出結果に基づいて入力画像における処理領域を特定するプロセスを模式的に示す。図15および図16を参照して、処理領域特定手段1201の機能を説明する。
【0168】ステップ1301:処理領域特定手段1201は、検出領域記憶手段1202に格納されている3つの過去の検出領域を読み出す。それぞれの検出領域は、図16に示されるように、t秒前に撮影された入力画像において看板が存在する看板領域1401と、2t秒前に撮影された入力画像において看板が存在する看板領域1402と、3t秒前に撮影された入力画像において看板が存在する看板領域1403とである。
【0169】ステップ1302:処理領域特定手段1201は、読み出された過去の検出結果の看板領域1401〜1403のうち少なくとも2つが重複するかどうかを判定する。看板領域1401〜1403のうち少なくとも2つが重複すると判定されると、ステップ1303へ進む。看板領域1401〜1403のうちいずれも重複しないと判定されると、ステップ1305へ進む。図1616では、t秒前の看板領域1401と3t秒前の看板領域1403とが重複している。
【0170】なお、ステップ1302では、3つの看板領域のうち少なくとも2つの看板領域が重複するかどうかを判定するが、3つの看板領域のうち少なくとも2つの看板領域が近接するかどうかを判定してもよい。ここで近接する条件は、例えば、看板領域の中心間の距離が予め定めた値(看板領域の一辺の長さ等)よりも小さい等である。このようにステップ1302では、処理領域特定手段1201は、看板領域の位置関係(例えば、重複する領域の存在、中心間距離等)が任意の条件を満たすか否かを判定する。
【0171】以下の説明は、3つの看板領域のうち少なくとも2つの看板領域が重複するかどうかを判定した結果に基づいて行う。
【0172】ステップ1303:処理領域特定手段1201は、重複した看板領域のうち最新の検出領域を選択する。図16において、重複した看板領域1401と1403のうちt秒前に撮影された入力画像の看板領域1401を選択する。
【0173】ステップ1304:処理領域特定手段1201は、選択された過去の看板領域1401に基づいて現在の入力画像における処理領域1404(図16)を特定する。図16において、特定された処理領域1404は、選択された看板領域1401と、その看板領域1401を上下左右、右斜め上下および左斜め上下に平行移動させた領域とを含む。なお、処理領域を特定する方法は、これに限定されない。例えば、ステップ1303で選択された看板領域1401を一定画素だけ拡大した領域を処理領域としてもよい。
【0174】ステップ1305:処理領域特定手段1201は、ステップ1302で過去の検出結果の看板領域がいずれも重複しないと判定すると、現在の入力画像全体を処理領域とする。
【0175】ステップ1304またはステップ1305以降は、実施の形態1で図5を参照して説明したのと同様にして対象の検出が行われる。
【0176】実施の形態3によれば、検出領域記憶手段1202が、照合手段203による少なくとも2つの検出領域を時間と対応付けて格納し、処理領域特定手段1201が検出領域記憶手段1202に格納された検出領域に基づいて、現在の入力画像の処理領域を特定する。これにより、現在の入力画像から対象が存在する可能性のある領域を特定することができる。このようにして得られた処理領域を処理することによって、入力画像の全領域を処理する場合に比べて、処理時間の短縮化が図られ、処理速度を向上させることができる。
【0177】(実施の形態4)図17は、本発明による画像検出装置1500の構成の一例を示す。
【0178】画像検出装置1500は、図2の画像検出装置107に含まれる代表色領域抽出手段201と、候補領域抽出手段202と、照合手段203とに加えて、環境測定手段1501と、データベース1505とをさらに備える。図17において、図2に示される構成要素と同一の構成要素には同一の参照符号を付し、その説明を省略する。
【0179】データベース1505には、少なくとも1つの対象データ組を少なくとも1つの環境のそれぞれに対応付けて格納する。少なくとも1つの対象組のそれぞれが、少なくとも1つ対象データを格納する。対象データは、図4を参照して説明した401a、401b、401c、・・・等と同じである。環境とは、地域、季節、時間、方角および天候等の組み合わせである。地域は、例えば、京都、大都市(東京、大阪、名古屋等)、山中、都市近郊、海岸沿い、雪国等のようにGPS(Global Positioning System)データ(経度および緯度)によって予め区分けされている。時間は、朝、昼、夕、夜のように時計によって予め区分けされている。季節は、春、夏、秋および冬のようにカレンダーによって予め区分けされている。方角は、東、西、南および北のように方位計によって予め区分けされている。天候は、曇天、晴天または夜間の日照量の値によって予め区分けされている。
【0180】図18Aは、環境に対応付けられた対象データ組がデータベース1505に格納されている様子を模式的に示す。データベース1505において、行1801の環境は、地域が京都であり、季節が春、時間が朝、方角は北、天候は晴れである。行1801の環境に対応付けられた対象データには、対象データ組1805(看板Aの対象データA1、看板Bの対象データB1、・・・等)が含まれる。対象データ組1805は、例えば、図4のデータベース204に含まれる対象データに対応し、対象データA1、対象データB1、・・・は、それぞれ対象データ401a、401b、・・・である。行1802の環境は、地域が大阪である以外は行1801の環境と同じである。行1802の環境に対応付けられた対象データも、行1801の環境に対応付けられた対象データと同様に看板Aの対象データA3、看板Bの対象データB3、・・・等が含まれる。これは、地域によって看板の色使いが微妙に異なっている場合があるためである。例えば、京都では、歴史的な重要な寺院が多く存在し、景観を損ねないために、京都の看板は、他の地域の看板とは微妙に色使いが異なっている。
【0181】図18Bは、京都と大阪とにおける看板の例を模式的に示す。看板1803は、行1801の対象データA1を有する看板を示す。看板1804は、行1802の対象データA3を有する看板を示す。看板1803は京都に存在する看板であり、看板1804は大阪に存在する看板である。看板1803と看板1804とは、同じ看板Aであるが、看板に使用されている使用色が微妙に異なっているために、対象データは異なる。図18Bでは、色使いが異なっていることが分かるように、各看板の使用色を異なるハッチングパターンで示している。
【0182】環境測定手段1501は、画像検出装置1500が設置された環境(例えば、地域、季節、時間、方角および天候)を測定し、データベース1505を検索し、データベース1505に格納されている少なくとも1つの環境のそれぞれに対応付けられた少なくとも1つの対象データ組のうち、測定された環境(例えば、地域、季節、時間、方角および天候)に対応付けられた1つの対象データ組を選択する。
【0183】さらに、環境測定手段1501は、環境を測定するために、時計、カレンダー、GPS、方位計および日照計等の環境測定ツールを備えている。環境測定手段1501は、これらの環境測定ツールを用いて、時間、季節、地域、方角および天候等を測定し、各測定値を上述の区分けの境界値と比較し、どの区分けされた環境に当てはまるかを求める。これらの区分けされた環境を用いて、データベース1505から少なくとも1つの対象データを選択する。
【0184】環境測定手段1501は、例えば、ユーザが、図1の移動体101に画像検出装置1500を搭載して、雪国の冬の晴天の日に、日中北向きに走行している場合、少なくとも1つの対象データ組から図18Aの行1803の環境に対応付けられてデータベース1505に格納された対象データ組1806を選択する。次いで、代表色領域抽出手段201が、代表色領域抽出手段201に入力された対象を特定する情報(例えば、看板の名称A)をキーにして、選択された1つの対象データ組のうち代表色領域抽出手段201に入力された対象を特定する情報(例えば、看板の名称A)に対応する情報を有する対象データA8を特定する。対象データが特定された以降の処理は、その読み出された対象データに基づいて、代表色領域抽出手段201と、候補領域抽出手段202と、照合手段203とによって対象の検出が行われる。対象データが読み出された以降の処理は、実施の形態1で説明したのと同様に行われる。
【0185】実施の形態4によれば、データベース1505が少なくとも1つの環境のそれぞれに応じた少なくとも1つの対象データを格納しているので、環境(地域、季節、時間、方角および天候等)に応じた対象の検出が可能である。また、環境測定手段1501は、画像検出装置1500が設置されている環境を測定し、その環境に応じた1つの対象データ組をデータベース1505から選択するので、環境に依存することなく正確な検出を可能とする。
【0186】なお、環境として時間、季節、地域、方角、天候を用いたが、この一部のみを用いてもよい。
【0187】また、代表色領域抽出手段201のステップ603(図5)の代わりに、以下のステップを用いてもよい。すなわち、代表色領域抽出手段201は、環境測定手段1501で測定された日照量を用いて、代表色画像の求め方を制御を制御する。日照量が予め定めた閾値よりも小さい場合(例えば夜など)には、各画素の色相の類似度に入力画像の対応する画素の輝度(あるいは輝度×彩度)を乗じた値を代表色画像の画素値とし、日照量が予め定めた閾値よりも大きい場合(朝や昼)には、ステップ603と同様に色相の類似度に彩度を乗じた値を代表色画像の各画素値とする。
【0188】なお、図17に示される例では、図2に示される例と同様に代表色領域抽出手段201、候補領域抽出手段202および照合手段203のそれぞれがデータベース1505を検索する構成としたが、画像検出装置1500の構成はこれに限定されない。環境測定手段1501が、画像検出装置1500の設置されている環境を測定し、データベース1505を検索し、データベース1505に格納されている環境に対応付けられた少なくとも1つの対象データ組のうち、測定された環境に対応付けられた1つの対象データ組を選択し、かつ、入力装置103を用いて指定された入力画像において検出すべき対象を受け取り、データベース1505から選択された1つの対象データ組のうちその対象を特定する情報を有する唯一の対象データを選択し、その選択された唯一の対象データを代表色領域抽出手段201、候補領域抽出手段202および照合手段203のそれぞれに提供する構成としてもよい。
【0189】(実施の形態5)実施の形態1〜4で示した画像検出装置の構成を実現するための画像検出のプログラムをフレキシブルディスク等のデータ記録媒体に記録するようにすることにより、実施の形態1〜4で示した処理を独立したコンピュータシステムにおいて簡単に実施することが可能となる。
【0190】図20Aは、記録媒体の一例を示す図である。図20Aは、記録媒体の一例としてフレキシブルディスクFDの物理フォーマットを示す。図20AのフレキシブルディスクFDの表面には、同心円状に外周から内周に向かって複数のトラックTrが形成されている。各トラックTrは角度方向に16のセクタSeに分割されている。画像検出プログラムは、フレキシブルディスクFD上に割り当てられた各セクタSeに格納される。
【0191】図20Bは、フレキシブルディスクFDおよびフレキシブルディスク本体Fを示す。図20Bでは、図20AのフレキシブルディスクFDが、フレキシブルディスクのケースに収容されている様子を示している。
【0192】図20Cは、コンピュータシステムCsを用いて本発明を実現する構成を模式的に示す。コンピュータシステムCsは、図20Bのフレキシブルディスク本体Fに画像検出プログラムを記録させ、フレキシブルディスク本体Fに記録された画像検出プログラムを再生する。画像検出プログラムをフレキシブルディスクFDに記録するためには、コンピュータシステムCsから画像検出プログラムをフレキシブルディスクドライブFDDを介して読み出し、フレキシブルディスクFDに書き込む。また、フレキシブルディスクFDに記録された画像検出プログラムにより符号化または復号化装置をコンピュータシステムCs中に構築する場合は、フレキシブルディスクドライブFDDにより画像検出プログラムをフレキシブルディスクFDから読み出し、コンピュータシステムCsに転送する。
【0193】なお、データ記録媒体は、フレキシブルディスクに限定されない。データ記録媒体は、光ディスク、ICカード、ROMカセット、固体メモリ等プログラムを記録できる任意の記録媒体であり得る。
【0194】なお、実施の形態1〜4では、画像入力装置を用いて入力された画像からオンラインで検出を行う例を示したが、ハードディスク等の記録媒体に記録された画像から検出を行ってもよい。この場合、実施の形態4では、記録媒体に画像を記録する際に、環境測定手段1501で測定した測定データを付加することにより、オフラインで画像検出が可能となる。
【0195】
【発明の効果】本発明による画像検出装置によれば、少なくとも1つの対象データを格納するデータベースが設けられている。少なくとも1つの対象データのそれぞれは、対象に使用されている複数の使用色を表す使用色データと、複数の使用色を代表する代表色を表す代表色データと、複数の使用色を有する複数の領域の配置を表すクラスタ画像とを含む。これにより、任意の色および任意の形状を有する対象を表す対象データをデータベースに格納することができる。その結果、任意の色および任意の形状を有する対象を検出することが可能になる。
【0196】また、本発明による画像検出装置によれば、代表色領域抽出手段により、入力画像において代表色領域の形状に関わらず、特定された対象データに含まれる代表色と実質的に同じ色を有する領域が代表色領域として入力画像から抽出され、候補領域抽出手段により、クラスタ画像において代表色を有する領域とクラスタ画像の枠との間の相対的な位置関係を用いることによって、クラスタ画像の大きさに関わらず対象の存在する可能性のある候補領域を絞りこむことができる。これにより、画像検出装置の処理速度を向上させることが可能になる。
【0197】さらに、本発明による画像検出装置によれば、照合手段により、使用色を有する領域の形状に加えて、使用色を有する領域の配置をも考慮して照合が行われる。これにより、各領域の形状のみを考慮して照合を行う場合に比べて、画像検出装置の検出精度を向上させることが可能になる。
【図面の簡単な説明】
【図1】本発明による画像検出装置を含む移動体の構成の一例
【図2】本発明による画像検出装置の構成の一例
【図3】対象画像に基づいて対象データに含まれるクラスタ画像を生成するプロセスを模式的に示す図
【図4】複数の対象データがデータベースに格納されている様子を模式的に示す図
【図5】コンピュータを画像検出装置として機能させるプログラムの手順
【図6A】画像検出装置に入力される入力画像の一例
【図6B】代表色領域抽出手段によって入力画像から生成される無彩色を除く代表色についての類似度画像の一例
【図7A】代表色領域抽出手段によって入力画像から生成される代表色についての類似度画像の一例
【図7B】入力画像の各画素を彩度で表した彩度画像の一例
【図7C】代表色領域抽出手段によって入力画像から生成される二値画像の一例
【図7D】代表色領域抽出手段によって入力画像から生成されるクラスタ画像の一例
【図8】分断された代表色外接領域を結合処理によって1つの代表色外接領域を生成するプロセスを模式的に示す図
【図9】代表色外接領域から候補領域を生成するプロセスを模式的に示す図
【図10】代表色外接領域から候補領域を生成する別のプロセスを模式的に示す図
【図11】クラスタ画像と候補領域との間の画像間距離Dを求める処理の手順を示す図
【図12】コンピュータを画像検出装置として機能させる別のプログラムの手順を示す図
【図13】1つの代表色外接領域から複数の候補領域を生成するプロセスを模式的に示す図
【図14】本発明による画像検出装置の構成の一例
【図15】コンピュータを画像検出装置として機能させるプログラムの一部の手順を示す図
【図16】過去の検出結果に基づいて入力画像における処理領域を特定するプロセスを模式的に示す図
【図17】本発明による画像検出装置の構成の一例
【図18A】環境に対応付けられた対象データ組がデータベースに格納されている様子を模式的に示す図
【図18B】京都と大阪とにおける看板の例を模式的に示す図。
【図19】従来技術の画像認識装置による画像認識を行う手順を示す図
【図20A】記録媒体の一例を示す図
【図20B】フレキシブルディスクおよびフレキシブルディスク本体
【図20C】コンピュータシステムを用いて本発明を実現する構成を模式的に示す図
【符号の説明】
107 画像検出装置
201 代表色領域抽出手段
202 候補領域抽出手段
203 照合手段
204 データベース
【0001】
【発明の属する技術分野】本発明は画像検出装置に関し、より詳細には、移動体に搭載されたカメラ等で撮影されたカラー画像における看板・標識・信号機等の対象の位置を検出する画像検出装置、プログラムおよび記録媒体に関する。
【0002】
【従来の技術】従来、移動体に搭載されたカメラ等で撮影されたカラー画像における道路標識の位置を認識する装置として、特公平6−52554号公報に記載されたものが知られている。
【0003】特公平6−52554号公報に記載される画像認識装置は、移動体前方の風景を撮影するカラー撮影手段と、撮影したカラー画像から第1の色及び第2の色を有する画像を選択して2値データとして抽出する特徴抽出手段と、抽出された二値画像データを格納する画像メモリと、予め検出したい画像の第1の色を有する枠パターンと第2の色を有する文字形状パターンとを格納するリファレンス用メモリと、画像メモリに記憶された二値画像データとリファレンスメモリに格納された枠パターンとを比較して道路標識の枠の存在を認識する枠認識手段と、道路標識の枠内の文字形状パターンを認識する枠内パターン認識手段とを備える。
【0004】次に、上記の構成要素を備える従来の画像認識装置の動作を各工程について説明する。
【0005】図19は、従来技術の画像認識装置による画像認識を行う手順を示す。
【0006】ステップ1901:カラー撮影手段を用いて移動体前方の画像が取り込まれ、デジタル画像データに変換される。デジタル画像データの各画素は、色の3原色(赤、緑、青)を表すデジタルデータ(R、G、B)を有する。
【0007】ステップ1902:特徴抽出手段が、変換されたデジタル画像データから第1の色(標識の枠となる赤色)および第2の色(標識の文字部分となる青色)が強調されたデジタル二値画像データを抽出する。ステップ1901で変換されたデジタル画像データの各画素について、(R>G)and(R>B)ならば赤色の画素(B>R)and(B>G)ならば青色の画素の条件を満たす画素のみ(すなわち、赤色の画素および青色の画素)を抽出する。抽出された二値画像データは、画像メモリに格納される。
【0008】ステップ1903:枠認識手段が、リファレンス用メモリに予め記憶された標識の第1の色を有する枠パターンを表すリファレンスデータと、特徴抽出手段で得られ、画像メモリに格納された二値画像データとを走査線毎に比較する。
【0009】ステップ1904:抽出された二値画像データが、リファレンス用メモリに格納された枠パターンを表すリファレンスデータと一致するか否かを判定する。ステップ1904で、抽出された二値画像データがリファレンスデータと一致しないと判定された場合には、ステップ1901に戻り、次の画像の取り込みを行う。抽出された二値画像データがリファレンスデータと一致すると判定された場合には、ステップ1905に進む。
【0010】ステップ1905:枠内パターン認識手段が、抽出された二値画像データのうちステップ1904で検出された枠の内部にあたる部分をリファレンス用メモリに格納された文字形状パターンデータを用いて認識する。
【0011】ステップ1906:画像全体を表す二値画像データのうち枠内を表す二値画像データに一致する文字形状パターンデータがリファレンス用メモリ内に存在するか否かが判定される。ステップ1906で、枠内を表す二値画像データに一致する文字形状パターンがリファレンス用メモリ内に存在しないと判定された場合には、ステップ1901に戻り、次の画像の取り込みを行う。枠内を表す二値画像データに一致する文字形状パターンがリファレンス用メモリ内に存在すると判定された場合には、ステップ1907に進む。
【0012】ステップ1907:枠内を表す二値画像データに一致する文字形状パターンの内容を運転者に報知する。
【0013】
【発明が解決しようとする課題】しかしながら、従来技術では、次のような理由から道路標識以外の対象を検出することはできない。
【0014】(1)画素をR(赤)、G(緑)、B(青)の3値で表現し、その最大となる値の色を画素の色とするので、赤、緑、青以外の任意の色を有する対象を検出することは困難である。
【0015】(2)対象に枠が存在しない(または枠自体が「白」等の検出し難い色である)場合、枠認識手段は枠を認識することができず、第2の色を有する位置を特定することができない。
【0016】(3)第1の色および第2の色の2色を用いることに限定しており、ガソリンスタンドおよびコンビニエンスストア等、任意の色数を使用した看板の検出は考慮されていない。
【0017】また、従来技術では次のような理由から検出精度が向上しない可能性がある。
【0018】(1)枠認識手段は、リファレンス用メモリに格納された第1の色の枠パターンの大きさと異なる大きさの枠パターンを抽出することはできない。つまりスケールの変化に対応できない。
【0019】(2)枠と枠内の部分とを別々に認識しているため、両者の厳密な位置関係は考慮されておらず、認識性能のさらなる向上が期待される。
【0020】(3)地域等の環境変化を考慮していない。例えば、京都では景観を重視するために同じ店舗の看板であっても、その看板に使用されている色が他の地域の看板で使用されている色とは異なっているため、従来の画像認識装置を搭載した移動体が京都・大阪間を移動するような場合に、このような看板を検出できない。
【0021】さらに、従来技術では次のような理由から検出速度が向上しない可能性がある。
【0022】(1)枠認識手段は、第1の色に対応する枠パターンを検出する場合に、取り込んだ画像について走査線毎に全領域を逐次照合する必要があるため、多くの処理時間を要する。
【0023】(2)連続する入力画像から対象を検出する際、過去の入力画像の検出結果を考慮することなく、常に入力画像全体を処理する必要があるため、多くの処理時間を要する。
【0024】従って、本発明の目的は、任意の色および任意の形状を有する対象(例えば、道路標識以外にもコンビニエンスストアおよびガソリンスタンドの看板など)を検出することが可能な画像検出装置を提供することである。
【0025】本発明の別の目的は、検出する対象の撮影時の大きさおよび検出時の環境に対応した検出精度の向上した画像検出装置を提供することである。
【0026】本発明のさらに別の目的は、検出速度の向上した画像検出装置を提供することである。
【0027】
【課題を解決するための手段】本発明による入力画像内の対象を検出する画像検出装置は、少なくとも1つの対象データを格納するデータベースであって、前記少なくとも1つの対象データのそれぞれは、対象を特定する情報と、前記対象に使用されている複数の使用色を表す使用色データと、前記複数の使用色を代表する代表色を表す代表色データと、前記複数の使用色を有する複数の領域の配置を表すクラスタ画像とを含む、データベースと、前記入力画像と前記入力画像において検出すべき対象を特定する情報とを受け取り、前記データベースに格納されている前記少なくとも1つの対象データのうち、前記入力画像において検出すべき対象を特定する情報に対応する情報を有する対象データを特定し、前記入力画像から、前記特定された対象データに含まれる前記代表色データによって表される代表色に実質的に同じ色を有する少なくとも1つの領域を代表色領域として抽出する代表色領域抽出手段と、前記特定された対象データに含まれる前記クラスタ画像において前記代表色を有する領域と前記クラスタ画像の枠との間の相対的な位置関係を用いて、前記代表色領域抽出手段によって抽出された前記少なくとも1つの代表色領域から、前記対象が存在する可能性のある少なくとも1つの候補領域を求める候補領域抽出手段と、前記特定された対象データに含まれる前記クラスタ画像と前記候補領域抽出手段によって求められた前記少なくとも1つの候補領域のそれぞれとを照合し、その照合結果に基づいて、前記候補領域抽出手段によって求められた前記少なくとも1つの候補領域のうちの1つを前記対象が存在する領域として検出する照合手段とを備え、これにより上記目的が達成される。
【0028】前記少なくとも1つの代表色領域は、前記入力画像の各画素について、前記入力画像の各画素の色相と前記対象データに含まれる前記代表色との距離から求められる類似度と、前記入力画像の各画素の彩度、輝度、および彩度と輝度との積からなる群から選択される1つとの積が、所定の閾値よりも大きい領域であってもよい。
【0029】前記代表色は、前記複数の使用色のうち彩度が最も高い使用色であってもよい。
【0030】前記複数の使用色にはそれぞれ色番号が割り当てられており、前記クラスタ画像は、複数の画素を有しており、前記複数の画素のそれぞれは色番号によって表される画素値を有していてもよい。
【0031】前記複数の使用色が無彩色および非無彩色を含み、前記照合手段は、前記クラスタ画像と前記少なくとも1つの候補領域のうちの1つとの間の画像間距離に基づいて、前記少なくとも1つの候補領域のうちの1つを前記対象が存在する領域として検出し、前記画像間距離は、前記非無彩色の色数が第1の所定値よりも大きいか、または、前記非無彩色を有する領域数が第2の所定値よりも大きいかのいずれかである場合には、前記クラスタ画像における前記無彩色を有する領域の各画素と前記候補領域における対応する各画素との間の画素間距離に依存することなく決定され、前記画像間距離は、前記非無彩色の色数が前記第1の所定値以下であり、かつ、前記非無彩色を有する領域数が前記第2の所定値以下である場合には、前記クラスタ画像における前記無彩色を有する領域の各画素と前記候補領域における対応する各画素との間の画素間距離に依存して決定されてもよい。
【0032】前記複数の使用色が無彩色および非無彩色を含み、前記照合手段は、前記クラスタ画像と前記少なくとも1つの候補領域のうちの1つとの間の画像間距離に基づいて、前記少なくとも1つの候補領域のうちの1つを前記対象が存在する領域として検出し、前記画像間距離は、前記非無彩色の色数が第1の所定値以下であり、かつ、前記非無彩色を有する領域数が第2の所定値以下である場合には、前記クラスタ画像における前記無彩色を有する領域の各画素と前記候補領域における対応する各画素との間の画素間距離と、前記クラスタ画像における前記非無彩色を有する領域の各画素と前記候補領域における対応する各画素との間の画素間距離とによって決定され、前記クラスタ画像における前記無彩色を有する領域の各画素と前記候補領域における対応する各画素との間の画素間距離は、前記クラスタ画像における前記代表色を有する領域の平均輝度によって正規化された輝度と、前記候補領域における前記代表色領域の平均輝度によって正規化された輝度とに基づいて求められ、前記クラスタ画像における前記非無彩色を有する領域の各画素と前記候補領域における対応する各画素との間の画素間距離は、前記クラスタ画像の画素の色相と前記候補領域の各画素の色相とに基づいて求められてもよい。
【0033】前記候補領域抽出手段は、前記少なくとも1つの代表色領域のそれぞれについて、所定量だけ拡大または縮小の少なくともいずれか一方を行い、前記クラスタ画像における前記代表色を有する領域と前記クラスタ画像の枠との間の相対的な位置関係を用いて、拡大または縮小を行う前の代表色領域と前記拡大または縮小の少なくともいずれか一方を行った代表色領域のそれぞれから、前記対象が存在する可能性のある複数の候補領域を求め、前記照合手段は、前記少なくとも1つの代表色領域のそれぞれから得られた前記複数の候補領域について、前記複数の候補領域のそれぞれと前記クラスタ画像とを照合し、前記複数の候補領域のそれぞれと前記クラスタ画像との間の画像間距離が最小であり、かつ、所定の閾値よりも小さい候補領域を前記対象が存在する領域として検出してもよい。
【0034】前記画像検出装置は、前記照合手段によって検出された少なくとも2つの検出領域を時間と対応付けて格納する検出領域記憶手段と、前記入力画像の処理領域を特定する処理領域特定手段とをさらに備え、前記処理領域特定手段は、前記検出領域記憶手段に格納された少なくとも2つの検出領域のうち少なくとも2つの検出領域間の位置関係が所定の条件を満たすかどうかを判定し、前記位置関係が所定の条件を満たす場合には、前記少なくとも2つの検出領域のうち最新の時間と対応付けられた検出領域を含む前記検出領域の近傍を前記入力画像の処理領域として特定し、前記位置関係が所定の条件を満たさない場合には、前記入力画像全体を処理領域として特定してもよい。
【0035】前記データベースは、少なくとも1つの対象データ組を少なくとも1つの環境のそれぞれに対応付けて格納し、前記少なくとも1つの対象データ組のそれぞれが前記少なくとも1つの対象データを格納し、前記画像検出装置は、前記画像検出装置が設置された環境を測定し、その測定結果に基づいて、前記少なくとも1つの環境のうち前記画像検出装置が設置された環境に対応付けて格納された対象データ組を前記少なくとも1つの対象データ組から選択する環境測定手段をさらに備え、前記代表色抽出手段は、前記入力画像において検出すべき対象を特定する情報を受け取り、前記選択された対象データ組のうち、前記入力画像において検出すべき対象を特定する情報に対応する情報を有する対象データを特定してもよい。
【0036】前記少なくとも1つの代表色領域は、前記入力画像の各画素について、前記入力画像の各画素の色相と前記対象データに含まれる前記代表色との距離から求められる類似度と、前記入力画像の各画素の彩度、輝度、および彩度と輝度との積からなる群から、前記環境測定手段によって測定された環境に基づいて選択される1つとの積が、所定の閾値よりも大きい領域であってもよい。
【0037】本発明によるプログラムは、コンピュータを入力画像内の対象を検出する画像検出装置として機能させるためのプログラムであって、前記画像検出装置は、少なくとも1つの対象データを格納するデータベースであって、前記少なくとも1つの対象データのそれぞれは、対象を特定する情報と、前記対象に使用されている複数の使用色を表す使用色データと、前記複数の使用色を代表する代表色を表す代表色データと、前記複数の使用色を有する複数の領域の配置を表すクラスタ画像とを含む、データベースと、前記入力画像と前記入力画像において検出すべき対象を特定する情報とを受け取り、前記データベースに格納されている前記少なくとも1つの対象データのうち、前記入力画像において検出すべき対象を特定する情報に対応する情報を有する対象データを特定し、前記入力画像から、前記特定された対象データに含まれる前記代表色データによって表される代表色に実質的に同じ色を有する少なくとも1つの領域を代表色領域として抽出する代表色領域抽出手段と、前記特定された対象データに含まれる前記クラスタ画像において前記代表色を有する領域と前記クラスタ画像の枠との間の相対的な位置関係を用いて、前記代表色領域抽出手段によって抽出された前記少なくとも1つの代表色領域から、前記対象が存在する可能性のある少なくとも1つの候補領域を求める候補領域抽出手段と、前記特定された対象データに含まれる前記クラスタ画像と前記候補領域抽出手段によって求められた前記少なくとも1つの候補領域のそれぞれとを照合し、その照合結果に基づいて、前記候補領域抽出手段によって求められた前記少なくとも1つの候補領域のうちの1つを前記対象が存在する領域として検出する照合手段とを備え、これにより上記目的が達成される。
【0038】本発明による記録媒体は、コンピュータを入力画像内の対象を検出する画像検出装置として機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、前記画像検出装置は、少なくとも1つの対象データを格納するデータベースであって、前記少なくとも1つの対象データのそれぞれは、対象を特定する情報と、前記対象に使用されている複数の使用色を表す使用色データと、前記複数の使用色を代表する代表色を表す代表色データと、前記複数の使用色を有する複数の領域の配置を表すクラスタ画像とを含む、データベースと、前記入力画像と前記入力画像において検出すべき対象を特定する情報とを受け取り、前記データベースに格納されている前記少なくとも1つの対象データのうち、前記入力画像において検出すべき対象を特定する情報に対応する情報を有する対象データを特定し、前記入力画像から、前記特定された対象データに含まれる前記代表色データによって表される代表色に実質的に同じ色を有する少なくとも1つの領域を代表色領域として抽出する代表色領域抽出手段と、前記特定された対象データに含まれる前記クラスタ画像において前記代表色を有する領域と前記クラスタ画像の枠との間の相対的な位置関係を用いて、前記代表色領域抽出手段によって抽出された前記少なくとも1つの代表色領域から、前記対象が存在する可能性のある少なくとも1つの候補領域を求める候補領域抽出手段と、前記特定された対象データに含まれる前記クラスタ画像と前記候補領域抽出手段によって求められた前記少なくとも1つの候補領域のそれぞれとを照合し、その照合結果に基づいて、前記候補領域抽出手段によって求められた前記少なくとも1つの候補領域のうちの1つを前記対象が存在する領域として検出する照合手段とを備え、これにより上記目的が達成される。
【0039】以下、作用を説明する。
【0040】本発明による画像検出装置によれば、少なくとも1つの対象データを格納するデータベースが設けられている。少なくとも1つの対象データのそれぞれは、対象に使用されている複数の使用色を表す使用色データと、複数の使用色を代表する代表色を表す代表色データと、複数の使用色を有する複数の領域の配置を表すクラスタ画像とを含む。これにより、任意の色および任意の形状を有する対象を表す対象データをデータベースに格納することができる。その結果、任意の色および任意の形状を有する対象を検出することが可能になる。
【0041】また、本発明による画像検出装置によれば、代表色領域抽出手段により、入力画像における代表色領域の形状に関わらず、特定された対象データに含まれる代表色と実質的に同じ色を有する領域が代表色領域として入力画像から抽出され、候補領域抽出手段により、クラスタ画像において代表色を有する領域とクラスタ画像の枠との間の相対的な位置関係を用いることによって、クラスタ画像の大きさに関わらず対象の存在する可能性のある候補領域を絞りこむことができる。これにより、画像検出装置の処理速度を向上させることが可能になる。
【0042】さらに、本発明による画像検出装置によれば、照合手段により、使用色を有する領域の形状に加えて、使用色を有する領域の配置をも考慮して照合が行われる。これにより、各領域の形状のみを考慮して照合を行う場合に比べて、画像検出装置の検出精度を向上させることが可能になる。
【0043】
【発明の実施の形態】以下、本発明の実施の形態について、図1から図18及び図20を用いて説明する。
【0044】(実施の形態1)図1は、本発明による画像検出装置107を含む移動体101の構成の一例を示す。
【0045】移動体101は、画像検出装置107に加えて、画像入力装置102と、入力装置103と、スピーカー104と、表示装置105と、画像変換装置106と、検出結果処理装置108と、記憶装置109とを含む。ここで、移動体101とは、ユーザとともに他力または自力で移動することが可能な任意の物体をいう。移動体101は、例えば、自動車、バイクおよび自転車であり得る。また、ユーザ自身が画像検出装置等を持って移動する場合には、移動体はユーザであり得る。
【0046】画像入力装置102は、移動体101の前方を撮影するように配置されている。画像入力装置102は、例えば、車載カメラであるが、これに限定されない。画像入力装置102によって撮影された画像は、画像入力装置102から入力画像として出力される。入力画像は、RGB形式のデジタルデータである(すなわち、入力画像の各画素は、赤(R)を表すデジタル値と、緑(G)を表すデジタル値と、青(B)を表すデジタル値とを有している)。入力画像は、記憶装置109に格納される。記憶装置109は、任意の種類のメモリ(例えば、ハードディスクドライブ)であり得る。
【0047】画像変換装置106は、記憶装置109に格納された入力画像を読み出し、入力画像のデータ形式を変換する。変換後の入力画像は、HSV形式のデジタルデータである(すなわち、変換後の入力画像の各画素は、色相(H)を表すデジタル値(例えば、0度〜360度の範囲の値)と、彩度(S)を表すデジタル値(例えば、0〜1の範囲の値)と、輝度(V)を表すデジタル値(例えば、0〜255の範囲の値)とを有している)。変換後の入力画像は、記憶装置109に格納される。
【0048】入力装置103は、入力画像において検出すべき対象を指定するために使用される。検出すべき対象の例としては、コンビニエンスストア、ガソリンスタンド、道路交通標識、信号機などが挙げられる。入力装置103は、例えば、各対象がそれぞれ対応付けられたボタンを有していてもよいし、ユーザが検出すべき対象の名称をタイプすることを可能にするキーボードを有していてもよい。入力装置103は、ユーザによって発せられた音声(例えば、検出すべき対象の名称)に基づいてその対象を認識する音声認識手段を備えていてもよい。ここで、ユーザとは、移動体101を運転するドライバであってもよいし、移動体101の同乗者であってもよい。
【0049】入力装置103を用いて入力画像において検出すべき対象が指定されると、画像検出装置107は、記憶装置109に格納された入力画像(HSV形式のデジタルデータ)を読み出し、その入力画像内の対象を検出する。その検出方法の詳細は、図5を参照して後述される。画像検出装置107による検出結果(例えば、入力画像内の対象の位置を示す座標)は、検出結果処理装置108に出力される。
【0050】検出結果処理装置108は、画像検出装置107から出力された検出結果を処理することにより、スピーカー104に出力するための音声データおよび/または表示装置105に出力するための表示データを生成する。検出結果処理装置108によって生成された音声データは、スピーカー104に出力される。その結果、例えば、「対象が左斜め上にあります」などの音声がスピーカー104から出力される。これにより、ユーザは入力画像内の対象の位置を音声により認識することが可能になる。また、検出結果処理装置108によって生成された表示データは、表示装置105に出力される。その結果、例えば、対象が存在する領域が目立つ色(例えば、黄色)で表示装置105に表示される。これにより、ユーザは入力画像内の対象の位置を画像により認識することが可能になる。
【0051】図2は、本発明による画像検出装置107の構成の一例を示す。
【0052】画像検出装置107は、代表色領域抽出手段201と、候補領域抽出手段202と、照合手段203と、データベース204とを含む。
【0053】データベース204には、少なくとも1つの対象データが格納されている。データベース204に格納されている少なくとも1つの対象データのそれぞれは、検出すべき対象を表す。対象データは、対象を特定する情報(例えば、対象の名称)と、対象に使用されている複数の使用色を表す使用色データと、その複数の使用色を代表する代表色を表す代表色データと、その複数の使用色を有する複数の領域の配置を表すクラスタ画像とを含む。ここで、代表色は、複数の使用色から選択された1つの使用色である。
【0054】入力装置103を用いて入力画像において検出すべき対象が指定されると、その対象を特定する情報(例えば、対象の名称)が、代表色領域抽出手段201と、候補領域抽出手段202と、照合手段203とに入力される。
【0055】代表色領域抽出手段201は、代表色領域抽出手段201に入力された対象を特定する情報(例えば、対象の名称)をキーにしてデータベース204を検索し、データベース204に格納されている少なくとも1つの対象データのうち、代表色領域抽出手段201に入力された対象を特定する情報(例えば、対象の名称)に対応する情報を有する対象データを特定する。
【0056】さらに、代表色領域抽出手段201は、記憶装置109に格納された入力画像(HSV形式のデジタルデータ)を読み出し、その特定された対象データに含まれる代表色データをデータベース204から読み出し、その入力画像から、その代表色データによって表される代表色に実質的に同じ色を有する少なくとも1つの領域を代表色領域として抽出する。代表色領域抽出手段201によって抽出された少なくとも1つの代表色領域を表す代表色領域データは、候補領域抽出手段202に出力される。代表色領域データは、例えば、入力画像における代表色領域の位置を示す座標データである。
【0057】候補領域抽出手段202は、記憶装置109に格納された入力画像を読み出し、代表色領域抽出手段201に入力された対象を特定する情報(例えば、対象の名称)をキーにしてデータベース204を検索し、データベース204に格納されている少なくとも1つの対象データのうち、代表色領域抽出手段201に入力された対象を特定する情報(例えば、対象の名称)に対応する情報(例えば、対象の名称)を有する対象データを特定する。
【0058】さらに、候補領域抽出手段202は、代表色領域抽出手段201から代表色領域データを受け取り、その特定された対象データに含まれるクラスタ画像をデータベース204から読み出し、そのクラスタ画像において代表色を有する領域とそのクラスタ画像の枠との間の相対的な位置関係を用いて、代表色領域抽出手段201によって抽出された少なくとも1つの代表色領域から、対象が存在する可能性のある少なくとも1つの候補領域を求める。候補領域抽出手段202によって求められた少なくとも1つの候補領域を表す候補領域データは、照合手段203に出力される。候補領域データは、例えば、入力画像における候補領域の位置を示す座標データである。
【0059】照合手段203は、記憶装置109に格納された入力画像を読み出し、代表色領域抽出手段201に入力された対象を特定する情報(例えば、対象の名称)をキーにしてデータベース204を検索し、データベース204に格納されている少なくとも1つの対象データのうち、代表色領域抽出手段201に入力された対象を特定する情報(例えば、対象の名称)に対応する情報(例えば、対象の名称)を有する対象データを特定する。
【0060】さらに、照合手段203は、候補領域抽出手段202から候補領域データを受け取り、その特定された対象データに含まれるクラスタ画像をデータベース204から読み出し、そのクラスタ画像と候補領域抽出手段202によって求められた少なくとも1つの候補領域のそれぞれとを照合し、その照合結果に基づいて、候補領域抽出手段202によって求められた少なくとも1つの候補領域のうちの1つを対象が存在する領域として検出する。照合手段203によって検出された領域を表す検出領域データ(検出結果)は、画像検出装置107の外部に出力される。検出結果は、例えば、入力画像において検出された領域の位置を示す座標データである。
【0061】このように、本発明による画像検出装置107によれば、少なくとも1つの対象データを格納するデータベース204が設けられている。少なくとも1つの対象データのそれぞれは、対象に使用されている複数の使用色を表す使用色データと、複数の使用色を代表する代表色を表す代表色データと、複数の使用色を有する複数の領域の配置を表すクラスタ画像とを含む。これにより、任意の色および任意の形状を有する対象を表す対象データをデータベース204に格納することができる。その結果、任意の色および任意の形状を有する対象を検出することが可能になる。
【0062】また、本発明による画像検出装置107によれば、代表色領域抽出手段201により、入力画像において代表色領域の形状に関わらず、特定された対象データに含まれる代表色と実質的に同じ色を有する領域が代表色領域として入力画像から抽出され、候補領域抽出手段202により、クラスタ画像において代表色を有する領域とクラスタ画像の枠との間の相対的な位置関係を用いることによって、クラスタ画像の大きさに関わらず対象の存在する可能性のある候補領域を絞りこむことができる。これにより、画像検出装置107の処理速度を向上させることが可能になる。
【0063】さらに、本発明による画像検出装置107によれば、照合手段203により、使用色を有する領域の形状に加えて、使用色を有する領域の配置をも考慮して照合が行われる。これにより、各領域の形状のみを考慮して照合を行う場合に比べて、画像検出装置107の検出精度を向上させることが可能になる。
【0064】なお、図2に示される例では、代表色領域抽出手段201、候補領域抽出手段202および照合手段203のそれぞれがデータベース204を検索する構成としたが、画像検出装置107の構成はこれに限定されない。入力装置103を用いて入力画像において検出すべき対象が指定されると、その対象を特定する情報(例えば、対象の名称)をデータベース検索手段(図示せず)に入力するようにし、そのデータベース検索手段がデータベース204を検索してその検索結果を代表色領域抽出手段201、候補領域抽出手段202および照合手段203のそれぞれに提供する構成としてもよい。あるいは、代表色領域抽出手段201、候補領域抽出手段202および照合手段203のうちの1つが、データベース検索手段の機能を有するようにしてもよい。
【0065】また、図2に示される例では、データベース204は、記憶装置109(図1)とは別個に設けられているが、画像検出装置107の構成はこれに限定されない。データベース204が記憶装置109(図1)に含まれていてもよい。
【0066】図3は、対象画像301に基づいて対象データに含まれるクラスタ画像306を生成するプロセスを模式的に示す。対象画像301は、対象を撮影することによって得られる画像である。図3に示されるプロセスによって対象画像301に基づいてクラスタ画像306が生成される。生成されたクラスタ画像306は、対象データの一部としてデータベース204に格納される。
【0067】以下、図3を参照して、対象データに含まれる使用色データ、代表色データおよびクラスタ画像がどのように定義されるかを説明する。
【0068】図3に示される例では、対象画像301は、3つの異なる前景色を有する領域(四角、丸、三角)と背景色(白)を有する領域とを含む。3つの異なる前景色を有する領域(四角、丸、三角)に含まれる画素は、「非無彩色」を有する画素の例である。背景色(白)を有する領域に含まれる画素は、「無彩色」を有する画素の例である。なお、この例では、対象に使用される色数は3であるが、これに限定されない。対象に使用される色数は任意の数であり得る。
【0069】対象画像301に含まれる画素のうち、「非無彩色」を有する画素は、各画素が有する色相(H)を表す値に基づいて、少なくとも1つのクラスタに分類される。このような分類(クラスタリング)は、所定のクラスタリング手法に従って行われる。所定のクラスタリング手法の一例として、色数(図3に示される例では、3)を指定したK−means法が挙げられる。クラスタとは画素の集合をいう。
【0070】図3に示される色相の分布302における”クラスタ0”、”クラスタ1”および”クラスタ2”は、対象画像301に含まれる「非無彩色」を有する画素を分類した結果を示す。各クラスタは、そのクラスタに属する画素が有する色相の分布によって得られる平均303と分散304とを有している。また、最大距離305は、クラスタの中心(平均303)とそのクラスタに属する画素が有する色相(H)を表す値との距離のうち最大のものとして定義される。その距離としては、例えば、マハラノビス距離(「画像解析ハンドブック」東京大学出版会、p32)が使用され得る。マハラノビス距離の代わりに、ユークリッド距離を使用してもよい。
【0071】対象画像301に含まれる画素のうち、「無彩色」を有する画素は、少なくとも1つのクラスタに分類される。そのクラスタは、そのクラスタに属する画素の正規化輝度分布の平均303、分散304および最大距離305を有する。「無彩色」である画素の正規化輝度とは、その画素の輝度値を代表色を有する領域の平均輝度で除算した値である。
【0072】図3に示される正規化輝度の分布307における”クラスタ4”は、対象画像301に含まれる「無彩色」を有する画素を分類した結果を示す。正規化輝度の分布307は、候補領域とクラスタ画像とを照合する際に、無彩色領域の特徴量として用いられる。
【0073】対象に使用される1つの使用色は、1つのクラスタの平均303、分散304および最大距離305によって定義される。図3に示される例では、前景色の1つが”クラスタ0”の平均303、分散304および最大距離305によって定義され、前景色の他の1つが”クラスタ1”の平均303、分散304および最大距離305によって定義され、前景色の残りの1つが”クラスタ2”の平均303、分散304および最大距離305によって定義される。また、背景色(白)が”クラスタ4”の平均303、分散304および最大距離305によって定義される。
【0074】使用色データは、対象に使用される複数の使用色を表す。従って、使用色データは、使用色の組(すなわち、(平均303、分散304、最大距離305)の組)によって定義される。
【0075】なお、図3に示される例では、色相の分布302に現れる3つのクラスタのうち平均303が最も小さいクラスタから順に、クラスタ番号(色番号)0、1、2が割り当てられている。また、正規化輝度の分布307に現れるクラスタにクラスタ番号4(=非無彩色の色数+1)が割り当てられている。しかし、クラスタ番号の割り当て方法が図3に示される例に限定されるわけではない。クラスタ番号の割り当て方法は任意である。
【0076】図4は、複数の対象データ401a、401b、401c・・・がデータベース204に格納されている様子を模式的に示す。図4に示される例では、対象データ401aは、ガソリンスタンド(GS0)のモデルを表す。対象データ401aは、例えば、対象画像301(図3)に基づいて得られる。
【0077】対象データ401aは、対象の名称を表すデータとして”GS0”を含み、使用色を表すデータ(使用色データ)として”クラスタ0”、”クラスタ1”、”クラスタ2”、”クラスタ4”を含み、代表色を表すデータ(代表色データ)として”クラスタ2”を含み、使用色を有する領域の配置を表すデータとしてクラスタ画像を含む。
【0078】図5は、コンピュータを画像検出装置107として機能させるプログラムの手順を示す。このプログラムは、例えば、記録媒体に記録された形式でユーザに提供される。ユーザが所定の手順に従ってこのプログラムをコンピュータにインストールすることにより、このプログラムはコンピュータ内のメモリに格納される。コンピュータ内のプロセッサ(CPU)がこのプログラムを実行することにより、コンピュータを画像検出装置107として機能させることが可能になる。
【0079】なお、代表色領域抽出手段201(図2)の機能は、図5に示されるステップ601〜606に対応し、候補領域抽出手段202(図2)の機能は、図5に示されるステップ607に対応し、照合手段203(図2)の機能は、図5に示されるステップ608に対応する。
【0080】ここで、入力画像において検出すべき対象を特定する情報(例えば、ガソリンスタンドの名称)が画像検出装置107に入力されており、画像検出装置107が入力画像内に検出すべき対象(例えば、ガソリンスタンドの看板)が存在するか否かを判定する場合を仮定する。
【0081】図6Aは、画像検出装置107に入力される入力画像の一例として入力画像501を示す。入力画像501は、画像入力装置102によって撮影された画像(図1に示される移動体101の前方の画像)のデータ形式を画像変換装置106によって変換することによって得られる。画像入力装置102によって撮影された画像のデータ形式はRGB形式であり、入力画像501のデータ形式はHSV形式である。図6Aに示されるように、入力画像501は、ガソリンスタンドの看板の画像502を含む。ここで、入力画像501において検出すべき対象は、そのガソリンスタンドの看板であるとする。
【0082】以下、図5を参照して、上述したプログラムの各ステップを説明する。
【0083】ステップ601:代表色領域抽出手段201は、ガソリンスタンドの名称(GS0)に一致する名称を有する対象データ401a(図4)をデータベース204から読み出し、入力画像501から、対象データ401aに含まれる代表色データによって表される代表色に実質的に同じ色を有する代表色領域を抽出する際に必要とされるメモリ領域を記憶装置109内に確保する。そのメモリ領域は、後述するように、類似度画像、クラスタ画像および代表色画像を記憶装置109に格納するために使用される。
【0084】ステップ602:代表色領域抽出手段201は、入力画像501に基づいて類似度画像とクラスタ画像とを生成する。類似度画像は、入力画像501の各画素の色相が対象データ401aに含まれる使用色データによって表される使用色にどのくらい類似しているかを表す。クラスタ画像は、入力画像501の各画素が対象データ401aの無彩色を除くどの使用色に対応するかを示し、対応するクラスタの色番号によって表される画素値を有している。入力画像501に基づいて生成された類似度画像の各画素は、対象データ401aの無彩色を除く使用色との類似度のみを表し、その類似度は、各画素がどの使用色と類似しているかは表さない。従って、クラスタ画像を用いて、類似度画像の各画素が対象データ401aに含まれる使用色データによって表される使用色のどの色に属するかを対応付ける。
【0085】クラスタ画像は次のようにして求められる。3つの画素値(色相、彩度、輝度)のうち1つの画素値(色相)について、入力画像501の各画素と使用色データによって表される使用色のクラスタのうち、無彩色(実施の形態1ではクラスタ4)を除く各使用色のクラスタとの距離を求める。距離には上述したマハラノビス距離を用いる。入力画像501の各画素と使用色データによって表される各使用色のクラスタとの距離のうち、その距離が最小となるクラスタをその画素の属するクラスタとする。クラスタ画像の各画素には、入力画像501の対応する各画素が属するクラスタの色番号(0〜2のうちの何れか)が画素値として割り当てられる。
【0086】類似度画像は次のようにして求められる。類似度画像の各画素には、入力画像501の対応する各画素と各画素が属するクラスタとの距離と、各画素が属するクラスタの最大距離305(図3)とを用いて、次式で求まる類似度が、画素値として割り当てられる。
【0087】類似度=(最大距離−距離)/最大距離ここで、入力画像501の各画素について上式を用いて類似度を求めた場合に、その類似度が負となる画素がある場合には、その画素はどのクラスタにも属さないとして、クラスタ画像の対応する画素にはクラスタ番号3(非無彩色のクラスタの色番号は0〜2であるため、非無彩色の最大の色番号の次の値を用いる)が割り当てられ、類似度画像の対応する画素には類似度0が割り当てられる。入力画像501の対応する各画素について上式を用いて類似度を求め、各画素に得られた類似度(0〜1)を割り当てたデータを類似度画像としてステップ601で記憶装置109内に確保したメモリ領域に格納する。
【0088】図6Bは、代表色領域抽出手段201によって入力画像501から生成される無彩色を除く使用色についての類似度画像の一例として類似度画像503を示す。類似度画像503は、各画素と無彩色を除く使用色データによって表される3つの使用色(クラスタ番号0〜2)のいずれかとの類似度をハッチングパターンで表した画像である。例えば、ハッチングなし(白抜き)の領域504の各画素は、3つの使用色のいずれかとの類似度が非常に高いことを示し、ドットで示されている領域505の各画素は、3つの使用色のすべてとの類似度が低いことを示し、網掛けで示されている領域(背景)506の各画素は、3つの使用色のすべてとの類似度が負である(すなわち全く類似しない)ことを示す。
【0089】ステップ603:代表色領域抽出手段201は、ステップ602において生成された類似度画像503およびクラスタ画像と、入力画像501の彩度画像とに基づいて、代表色画像を生成する。代表色画像とは、入力画像501における代表色データによって表される代表色(実施の形態1ではクラスタ2)と実質的に同じ色を有する領域を含む領域とそれ以外の色を有する領域とを表す画像である。
【0090】代表色画像は次のようにして求められる。ステップ602で生成したクラスタ画像の画素値が代表色データによって表される代表色の色番号である画素について、ステップ602で生成した類似度画像503において対応する画素の画素値(類似度)に、入力画像501の彩度画像(入力画像501の各画素の3つの画素値のうち彩度のみを画像で表したもの)において対応する画素の画素値(彩度)を乗じる。
【0091】クラスタ画像の画素値が代表色データによって表される代表色の色番号以外(実施の形態1ではクラスタ0および1)、およびクラスタ番号3である画素に対応する代表色画像の画素には、画素値として0を割り当てる。
【0092】図7Aは、代表色領域抽出手段201によって入力画像501から生成される代表色についての類似度画像の一例として類似度画像701を示す。代表色についての類似度画像701において、ハッチングなし(白抜き)の領域705の各画素は、代表色との類似度が高いことを示し、斜線で示される領域706の各画素は、代表色との類似度が低いことを示し、網掛けで示される(背景)領域707の各画素は、代表色以外の色を有することを示す。
【0093】図7Bは、入力画像501の各画素を彩度で表した彩度画像の一例として彩度画像702を示す。彩度画像702は、上述したように入力画像501の各画素の3つの画素値のうち彩度のみで表した画像である。彩度画像702は、各画素の色に関わらず鮮やかな部分(彩度の高い部分)708が高輝度(すなわち白)で表されている。類似度画像701と彩度画像702とを対応する画素毎に乗じることによって代表色画像(図示せず)が得られる。このようにして得られた代表色画像の各画素は、0〜1の間の値を有する。
【0094】類似度画像701に彩度画像702を乗じる理由は、一般に、彩度の小さい画素は色相が安定せず、偶然に色相の類似度が高くなるのを抑えるためである。類似度に彩度(0〜1の実数)を乗じることで、彩度が低ければ(0に近ければ)類似度を0に抑えることができ、逆に彩度が高ければ(1に近ければ)類似度の値を保持することができる。このようにして得られた代表色画像をステップ601で記憶装置109内に確保したメモリ領域に格納する。
【0095】ステップ604:代表色領域抽出手段201は、ステップ603において生成された代表色画像(各画素は0〜1の値を有する)を2値化することにより、代表色と実質的に同じ色を有する代表色領域を代表色画像から抽出し、得られた代表色領域を囲う外接矩形を代表色外接領域として取得する。
【0096】本明細書中において、代表色領域には、入力画像501の画素の色相と代表色のクラスタとの距離に基づいて定められる類似度と、その画素の彩度との積が、閾値以上になる画素が含まれる。代表色領域は、代表色と実質的に同じ色を有している領域(代表色と実質的に同じ色を有している画素からなる領域)であるということができる。この例では、「代表色と実質的に同じ色を有している画素」とは、(その画素の代表色のクラスタとの類似度)×(その画素の彩度)が閾値以上であることを意味する。
【0097】2値化するために、判別分析法(大津の方法、「画像解析ハンドブック」東京大学出版会、p503)を用いた。2値化の閾値の決定には、ステップ603で生成された代表色画像のすべての画素を用いるのではなく、代表色データによって表される代表色のクラスタ番号(ここでは2)に対応する画素のみが用いられる。2値化によって得られた二値画像703(図7Cを参照して後述する)の代表色領域の輪郭線追跡(「画像解析ハンドブック」東京大学出版会、p579)を行うことで代表色外接領域を求める。
【0098】図7Cは、代表色領域抽出手段201によって入力画像501から生成される二値画像の一例として二値画像703を示す。二値画像703は、代表色領域709を白抜きで表し、それ以外(背景)は網掛けで表されている。実施の形態1において、二値画像703から得られた代表色領域709は3つ存在し、代表色領域709のそれぞれを外接矩形で囲んだ代表色外接領域704は、実施の形態1では3つ存在する。各代表色外接領域704は、二値画像703の左上を原点(0、0)として、水平方向の軸をx軸、垂直方向の軸をy軸とした場合に、左上の座標(dsx、dsy)と右下の座標(dex、dey)とからなる矩形領域で表される。当然のことながら、代表色領域709の領域数は任意である。
【0099】ステップ601〜604では、対象データ401aに含まれる使用色データによって表される使用色のうち非無彩色(実施の形態1ではクラスタ0〜2)についてのみ考慮しており、無彩色については考慮していないことに留意されたい。
【0100】ステップ605:代表色領域抽出手段201は、入力画像501の無彩色を有する領域の各画素にクラスタ番号を割り当てる。
【0101】入力画像501の画素が有する3つの画素値(彩度、色相、輝度)のうち1つの画素値である彩度が、所定の閾値Ts(例えば、0.25)よりも小さい画素について、クラスタ画像の対応する画素に画素値として4(=非無彩色の色数+1)が割り当てられる。この値4は、対象データ401aに含まれる使用色データによって表される使用色のうち非無彩色のクラスタ番号4と同じである。このように低彩度(無彩色)の領域の画素に対象データ401aのクラスタ番号と同じ番号を割り当てることによって、後述するステップ607においてクラスタ番号4の領域が「低彩度である」という特徴を用いて照合を行うことができる。
【0102】図7Dは、代表色領域抽出手段201によって入力画像501から生成されるクラスタ画像の一例としてクラスタ画像711を示す。クラスタ画像711は、ステップ602で行った非無彩色を有する画素へのクラスタ値の割り当てとステップ605で行った無彩色を有する画素へのクラスタ値の割り当てとの結果得られた画像である。入力画像501の対応する各画素にクラスタ番号を割り当てたデータをクラスタ画像としてステップ601で記憶装置109内に確保したメモリ領域に格納する。
【0103】ステップ606:代表色領域抽出手段201は、代表色外接領域の結合処理を行う。
【0104】図8は、分断された代表色外接領域を結合処理によって1つの代表色外接領域を生成するプロセスを模式的に示す。結合処理を行うことによって、図8のようにもともと1つであった代表色外接領域が複数に分断された場合に、1つの代表色外接領域にまとめることができる。分断された複数の代表色外接領域801が重複部分を持てば、重複した複数の代表色外接領域801について輪郭線追跡を行って外接矩形領域を求めることで新たな代表色外接領域802を得る。
【0105】結合処理を行う理由は2つある。第1は、ステップ604の2値化において、2値化の閾値が高めに設定された場合、同じ領域であるべきものが複数の領域に分割されてしまう問題を回避するためである。第2は、電柱および電線などの隠蔽(オクルージョン)により検出したい対象の代表色領域が複数に分断される問題を回避するためである。さらに、面積または長辺が予め定めた値より小さすぎるまたは大きすぎる代表色外接領域はノイズの可能性が高いので処理対象外とする。
【0106】ステップ601〜606から得られた代表色領域が少なくとも1つあれば、得られた代表色領域を表す代表色領域データを候補領域抽出手段202へ出力し、ステップ607へ進む。
【0107】ステップ607:候補領域抽出手段202は、ステップ601〜606において得られた代表色外接領域のそれぞれから候補領域を求める。候補領域とは、対象(実施の形態1ではガソリンスタンドの看板)が存在する可能性のある領域を指す。候補領域を求めるために、クラスタ画像306において代表色を有する代表色外接領域とクラスタ画像306の枠との間の相対的な位置関係を用いる。クラスタ画像306の代表色外接領域は、代表色領域を外接矩形で囲った領域である。
【0108】次に、候補領域の求め方を詳しく説明する。
【0109】図9は、代表色外接領域から候補領域を生成するプロセスを模式的に示す。図9に示すように、ステップ604と同様に、クラスタ画像306の代表色を有する領域を外接矩形で囲った代表色外接領域901を作成する。左上座標(0、0)および右下座標(mex、mey)は、クラスタ画像306の枠の座標を表している。クラスタ画像306の枠の水平方向の軸をx軸、垂直方向の軸をy軸とした場合に、代表色外接領域901は、左上の座標(mdsx、mdsy)と右下の座標(mdex、mdey)とからなる矩形領域で表される。クラスタ画像306に代表色外接領域が複数存在する場合には、例えば、その面積が最大の代表色外接領域を採用すればよい。しかしながら、この場合、複数の代表色外接領域のうちどれを採用するかは任意である。
【0110】このようにして得られたクラスタ画像306の代表色外接領域901の左上座標(mdsx、mdsy)と右下座標(mdex、mdey)と、ステップ604で生成された入力画像501の代表色外接領域704それぞれの左上座標(dsx、dsy)と右下座標(dex、dey)とを用いて、候補領域の左上座標と右下座標とを決定する。候補領域の左上座標と右上座標とはそれぞれ(dsx−zx×mdsx、dsy−zy×mdsy)および(dsx+zx×(mex−mdsx)、dsy+zy×(mey−mdsy))
となる。但し、zx=(dex−dsx+1)/(mdex−mdsx+1)および、zy=(dey−dsy+1)/(mdey−mdsy+1)である。zxは、クラスタ画像306の代表色外接領域901と入力画像の代表色外接領域704とのx軸方向の幅の比率である。一方zyは、クラスタ画像306の代表色外接領域901と入力画像の代表色外接領域704とのy軸方向の高さの比率である。
【0111】このように縦横別々の比率を用いるのは、2つの理由がある。第1の理由は、カメラで撮影された画像は使用するレンズの画角によって画像の周辺に歪みが発生し、撮影された画像の位置によっては縦(y軸方向の高さ)と横(x軸方向の幅)の伸縮の度合いが異なるからである。第2の理由は、看板がカメラに対して正面を向いていない場合、撮影した画像の高さと幅の比率がモデルと異なる可能性があるためである。縦および横の歪みの程度が同じ場合(すなわち、画像の中央から左右斜め上下)は、幅の比率、高さの比率が等しいと仮定でき、zxまたはzyのいずれか一方の値を用いてzx=zyとしてもよい。この場合、zxまたはzyのいずれか一方を選ぶ方法として、入力画像501の代表色外接領域704のy軸方向の高さがx軸方向の幅よりも長ければzyを採用し、逆にx軸方向の幅がy軸方向の高さよりも長ければzxを採用する。これは、検出する対象が電柱などで隠蔽されているときに有効である。
【0112】図10は、代表色外接領域から候補領域を生成する別のプロセスを模式的に示す。図10の入力画像1701は、検出したい対象のガソリンスタンドの看板502が電柱1702で隠蔽されている点以外は図6Aの入力画像501と同じである。入力画像1701中の代表色領域の一部分が電柱1702によって隠蔽されているため、このような入力画像1701についてステップ601〜606を行うと、図10に示されるように一部が欠けた状態の代表色外接領域1704が得られる。
【0113】この場合、代表色外接領域1704のx軸方向の幅からは本来の看板の大きさを正しく計算できないが、y軸方向の高さ(電柱1702によって分断されたx軸方向の幅よりも長い可能性が高い)を用いることで看板の大きさを正しく計算できる。図10の場合、入力画像1701から得られた代表色外接領域1704は、y軸方向の高さがx軸方向の幅よりも大きいので、zyが採用される。
【0114】zyを選択した場合の代表色外接領域1704から生成される第1の候補領域1703および第2の候補領域1705の左上座標および右下座標は、それぞれ、(dsx−zy×mdsx、dsy−zy×mdsy)および(dsx+zy×(mex−mdsx)、dsy+zy×(mey−mdsy))および、(dex−zy×mdex、dsy−zy×mdsy)および(dex+zy×(mex−mdex)、dsy+zy×(mey−mdsy))
となる。図10において第1の候補領域1703を実線で示し、第2の候補領域1705を点線で示す。逆に、看板の代表色外接領域が障害物によって横に分断された場合はzxが選ばれる。この場合の入力画像の代表色外接領域から生成される2つの候補領域(図示せず)の左上座標及び右下座標は、それぞれ(dsx−zx×mdsx、dsy−zx×mdsy)および(dsx+zx×(mex−mdsx)、dsy+zx×(mey−mdsy))、および、(dsx−zx×mdsx、dey−zx×mdey)および(dsx+zx×(mex−mdsx)、dey+zx×(mey−mdey))
となる。
【0115】1つの代表色外接領域1704から2つの候補領域を求める理由は、2つある。第1の理由は、入力画像の代表色外接領域となるべき領域のうちどの部分が隠蔽されているかわからないためである。従って、zyを選択した場合は、隠蔽された入力画像1701から生成された代表色外接領域1704の左辺および右辺をそれぞれ基準として候補領域が求められる。一方、zxを選択した場合は、隠蔽された入力画像1701から生成された代表色外接領域1704の上辺あるいは下辺を基準として候補領域が求められる。第2の理由は、代表色外接領域の基準にしているある1つの辺がノイズなどの影響で必ずしも真の代表色外接領域の辺に対応していない可能性があるので、代表色外接領域のもう一方の辺を基準とした候補領域を求めて、真の対象の領域が必ず含まれるようにすることを目的としているためである。
【0116】候補領域抽出手段202は、このようにして得られた候補領域903(図9)を表す候補領域データを照合手段203へ出力し、ステップ608へ進む。
【0117】以上のようにして、入力画像内の対象データの代表色を有する領域の形状に関わらず、代表色と実質的に同じ色を有する代表色領域が抽出される。また、クラスタ画像の代表色を有する領域とクラスタ画像の枠との間の相対的な位置関係を用いることによって、入力画像中の対象の大きさに関わらず、対象の存在する可能性のある候補領域を絞りこむことができる。
【0118】ステップ608:照合手段203は、ステップ607において求められた候補領域903のそれぞれとクラスタ画像306とを照合する。
【0119】ステップ601〜607では、対象データ401aに含まれる代表色データによって表される代表色に着目して、入力画像501の対象の存在する可能性のある領域を候補領域として絞りこんできた。次に、対象データ401aに含まれる使用色データ(実施の形態1ではクラスタ番号0〜2、4)とクラスタ画像306(図3)とを用いて、候補領域903が検出したい対象であるかどうかを決定する。
【0120】照合手段203は、ステップ607で生成された候補領域903のそれぞれについて、各候補領域903に対応するクラスタ画像711(図7D)内の画像とクラスタ画像306(図3)との間の画像間距離Dを後述の方法で計算し、得られた画像間距離Dが予め定めた閾値Tdよりも小さいものを対象が存在する領域として検出する。なお、閾値Tdよりも小さい複数の画像間距離Dが存在する場合には、それら複数の画像間距離Dのうち、最小の画像間距離Dとなる候補領域を対象が存在する領域として検出してもよい。照合を行う際に、各候補領域903とクラスタ画像306との大きさは必ずしも等しくないので、候補領域903またはクラスタ画像306のいずれか一方を基準として、大きさを正規化する。候補領域903を基準として正規化した場合には、正規化されたクラスタ画像306の画素数が、候補領域903の画素数に一致する。この場合、正規化されたクラスタ画像306の画素値が、正規化する前のクラスタ画像306の画素値となるように補間されている。クラスタ画像306を基準として正規化した場合も同様である。以下の説明で使用される候補領域903は、クラスタ画像306を基準として正規化したものとする。従って、正規化された候補領域903の画素数は、クラスタ画像306の画素数に一致する。当然のことながら、候補領域とクラスタ画像との大きさが等しい場合には、この処理は省略される。
【0121】図11は、クラスタ画像306と候補領域903との間の画像間距離Dを求める処理の手順を示す。画像間距離Dは、次式に示されるように、対応する画素(図11において、クラスタ画像306の画素をAとし、画素Aに対応する候補領域903の画素をBとする)についての画素間距離dをクラスタ画像306のすべての画素について加算(D’=Σd)し、比較した画素数(n)で除算することによって得られる。画素間距離dについては、後述する。
【0122】
D=D’/比較に用いた画素数n (式1)
ステップ1111:式1においてD’に0を代入し、nに0を代入する。
【0123】ステップ1112:クラスタ画像306の画素Aと、画素Aに対応する候補領域903の画素Bとを抽出する。
【0124】ステップ1113:クラスタ画像306中に照合する画素が残っているかどうかを判定する。クラスタ画像306中に照合すべき画素が残っていない場合には、ステップ1124に進む。クラスタ画像306中に照合すべき画素が残っている場合は、ステップ1114に進む。
【0125】ステップ1114:クラスタ画像306の画素Aは無彩色であるか否かを判定する。クラスタ画像306中の画素Aが無彩色である場合には、ステップ1115に進む。クラスタ画像306中の画像Aが非無彩色である場合には、ステップ1117に進む。
【0126】ステップ1115:クラスタ画像306の非無彩色の色数が第1の所定値よりも大きいか、またはクラスタ画像306の非無彩色の領域数が第2の所定値よりも大きいかのいずれかであるか否かを判定する。クラスタ画像306の非無彩色の色数が第1の所定値よりも大きいか、またはクラスタ画像306の非無彩色の領域数が第2の所定値よりも大きい場合には、クラスタ画像306の無彩色の画素と候補領域903の対応する画素との間の画素間距離dを求めることなく、ステップ1112に戻る。クラスタ画像306の非無彩色の色数が第1の所定値以下であり、かつクラスタ画像306の非無彩色の領域数が第2の所定値以下である場合には、クラスタ画像306の無彩色の画素と候補領域903の対応する画素との間の画素間距離dを求めるために、ステップ1116に進む。
【0127】ステップ1116:クラスタ画像306の画素Aのクラスタ番号と候補領域903の対応する画素Bのクラスタ番号とが一致するか否かを判定する。候補領域903の画素Bのクラスタ番号は、図7Dのクラスタ画像711から得られる。画素Aと画素Bとのクラスタ番号が一致する場合には、ステップ1118に進む。画素Aと画素Bとのクラスタ番号が一致しない場合には、ステップ1119に進む。
【0128】ステップ1118:D’をd0(A,B)だけ増加させる。ここで、d0(A,B)は、クラスタ画像306の無彩色領域についての画素Aと画素Bとの画素間距離である。
【0129】ステップ1119:D’を1だけ増加させる。画素Aと画素Bとの画素間距離dは、1である。
【0130】ステップ1120:nを1だけ増加させる。
【0131】ステップ1120まで終了すると、ステップ1112に戻ってループが繰り返される。
【0132】ステップ1117:クラスタ画像306の画素Aのクラスタ番号と候補領域903の対応する画素Bのクラスタ番号とが一致するか否かを判定する。ステップ1117は、ステップ1116と同様である。画素Aと画素Bとのクラスタ番号が一致する場合には、ステップ1121に進む。画素Aと画素Bとのクラスタ番号が一致しない場合には、ステップ1122に進む。
【0133】ステップ1121:D’をd1(A,B)だけ増加させる。ここで、d1(A,B)は、クラスタ画像306の非無彩色領域についての画素Aと画素Bとの画素間距離である。
【0134】ステップ1122:D’を1だけ増加させる。画素Aと画素Bとの画素間距離dは、1である。
【0135】ステップ1123:nを1だけ増加させる。ステップ1123はステップ1120と同様である。
【0136】ステップ1123まで終了すると、ステップ1112に戻ってループが繰り返される。ステップ1113において、クラスタ画像306中に照合すべき画素が残っていない場合には、ステップ1124に進む。
【0137】ステップ1124:式1に従って、画像間距離Dが求められる。
【0138】以上のステップ1111〜1124を行うことによって、画像間距離Dが求められる。ステップ1115において、クラスタ画像306の非無彩色の色数が第1の所定値よりも大きいか、またはクラスタ画像306の非無彩色の領域数が第2の所定値よりも大きい場合には、図11中点線で囲った領域1125のクラスタ画像306の無彩色の画素と候補領域903の対応する画素との間の画素間距離dを求めるステップを省略することができる。実施の形態1において、クラスタ画像の非無彩色の色数は、図4の対象データ401aから3(クラスタ0〜2)であり、クラスタ画像306の非無彩色の領域数は、3である。第1の所定値および第2の所定値とは、例えばそれぞれ1等であり得る。第1の所定値および第2の所定値は異なっていてもよい。
【0139】このように、クラスタ画像306の非無彩色の色数または非無彩色の領域数に基づいて、クラスタ画像306の無彩色の画素(無彩色領域)を考慮するか否かを制御することは有効である。クラスタ画像の無彩色の画素と候補領域の対応する画素との間の画素間距離dに依存することなく、クラスタ画像306と候補領域903との間の画像間距離Dを求めることは、真に無彩色な領域が、カメラの光学系および画像処理の影響等に起因した無彩色な領域の周りに存在する非無彩色のにじみによって、画像上では無彩色でなくなり、画像検出に悪影響をもたらすために有利である。一方、第1の所定値および第2の所定値がそれぞれ1の場合(例えば、対象画像が「日の丸」のような場合のクラスタ画像において、非無彩色(赤)の色数が1であり、非無彩色の領域数(赤色の領域)が1の場合)、無彩色領域を考慮することなく画像間距離Dを求めると、信号機の赤灯等の赤くて丸いもの全てが検出される可能性がある。このような場合には、無彩色領域の「低彩度である」という特徴を利用した照合を行うことによって、例えば日の丸等を正確に検出する。従って、画像検出装置107の検出精度を高めることができる。
【0140】次に、式1で用いた画素間距離dについて説明する。dの定義としては、クラスタ画像306の注目する画素Aが無彩色である場合と非無彩色である場合について、それぞれいくつか考えられる。画素Aが無彩色である場合と非無彩色である場合とについてそれぞれ別個に説明する。
【0141】画像の輝度値は、その画像の撮影時の光源の条件の影響を受けやすい。光源の条件(例えば、光源の明るさ)が、対象画像の撮影時と入力画像の撮影時とで異なる場合には、対象画像中の代表色領域の平均輝度と、入力画像中の代表色領域の平均輝度とは、撮影時の条件の違いに応じた異なった値を示す。無彩色の画素の輝度値を代表色領域の平均輝度で正規化することによって、光源の条件の影響をキャンセルすることができる。
【0142】2つの方法のうちいずれの方法を採用してもよいが、2.の正規化輝度間の距離を用いる方法を採用すれば上述の理由から高精度な検出を達成することができる。
【0143】上記1.〜3.のいずれもクラスタ画像の各画素の色相と候補領域の各画素の色相に基づいて、各画素間距離が求められる。
【0144】なお、本発明の画像検出装置によれば、任意の標識および看板だけでなく、信号機を検出することも可能である。信号機に使用される色は赤、青、黄であり、それぞれが決まった配置関係をもっており、その形状も円形と決まっている。信号機の使用色の非無彩色は赤、青および黄である。上述したように、信号機を検出する際には、色相および彩度のみを用い、輝度は用いない。従って、どの色が点灯しているかを決定することができない。しかしながら、赤、青、黄の各色に属する画素の輝度値の平均を求め、その平均値が最も高い色が点灯していると特定することによって、現在の信号機の点灯している色を知ることができる。このように赤、青、黄の3色を用いることによって、1色のみを用いた検出時に生じる車のテールランプの赤と信号機の赤との誤検出を防ぐことが可能である。なお、信号機の場合、赤、青、黄と3色ではなく、赤と黄をまとめたものを1色(すなわち、1つのクラスタ値)として考え、これに青を考慮した2色を用いて検出してもよい。
【0145】なお、対象画像の対象データを求める際に、代表色は使用色のうち各使用色の平均彩度が最も高いもの1つとしたが、これに限るものではなく、複数でもよい。その場合は、例えば、平均彩度が高いものから順に選ぶものとする。また、対象データに含まれる使用色データの各色クラスタの最大距離305(図3)はクラスタとそのクラスタに属する画素値(色相)との距離の最大値としたが、これに限らずクラスタの分散304の平方根の2倍または3倍といった分散を基準とした値としてもよい。さらに、非無彩色の場合の最大距離305としてπを用いてもよい。
【0146】また、対象画像の対象データを求める際に、無彩色領域に1つのクラスタ値を割り当てたが、これに限るものではなく、無彩色領域も正規化輝度分布をクラスタリングして複数のクラスタ値を割り当ててもよい。これにより、輝度の異なる無彩色領域でパターンが構成されている場合に効率よく検出を行うことができる。
【0147】また、ステップ603で代表色画像を生成するために、類似度画像503の各画素値に彩度画像の対応する各画素値を乗じたが、夜間の画像等から発光する対象(ガソリンスタンドやコンビニエンスストア等の看板)を検出する場合には、類似度画像503の各画素値に輝度画像の対応する各画素値を乗じてもよいし、また類似度画像503の各画素値に輝度画像の対応する各画素値と彩度画像702の対応する各画素値とを乗じてもよい。輝度画像とは、入力画像501の各画素の3つの画素値のうち輝度のみで表された画像である。このように輝度を用いることで、夜間の画像のように類似度画像だけでは絞り込めない代表色領域を的確に絞り込むことができる。この場合にも、代表色領域は、代表色と実質的に同じ色を有している領域(代表色と実質的に同じ色を有している画素からなる領域)であるということができる。この例では、「代表色と実質的に同じ色を有している画素」とは、(その画素の代表色のクラスタとの類似度)×(その画素の輝度)または(その画素の代表色のクラスタとの類似度)×(その画素の彩度)×(その画素の輝度)が閾値以上であることを意味する。
【0148】また、ステップ604で代表色画像を二値化した画像から代表色領域を得て、その代表色領域について輪郭線追跡を行うことにより代表色外接領域704を求めていたが、図7Dのクラスタ画像711において代表色を表すクラスタ値(実施の形態1ではクラスタ番号2)を有し、かつ彩度画像702において彩度が0.25以上(非無彩色)である画素を有する領域を代表色領域として、その代表色領域について輪郭線追跡を行って代表色外接領域を求めてもよい。
【0149】さらに、ステップ606の代表色外接領域の結合処理において、各代表色外接領域を一定画素数(例えば1〜3画素)だけ上下左右に拡大し、拡大した代表色外接領域全体について結合を行って、次いで結合された代表色外接領域を一定画素数だけ上下左右に縮小したものを新たな代表色外接領域としてもよい。また、ステップ606の代表色外接領域の結合処理は必ずしも必要な処理ではなく、省略可能である。
【0150】また、道路標識のうちで行き先表示板などが、設置されている場所によってその形状がまちまちである場合には、代表色領域抽出手段201で得られた代表色外接領域704がそのまま行き先表示板の候補領域903となるため、代表色領域抽出手段201だけを用いて候補領域抽出手段202、照合手段203、およびデータベース204を使用しない使い方も有効である。
【0151】(実施の形態2)図12は、コンピュータを画像検出装置107(図2)として機能させる別のプログラムの手順を示す。なお、候補領域抽出手段202(図2)の機能は、図12に示されるステップ1007に対応し、照合手段203(図2)の機能は、図12に示されるステップ1008に対応する。図2に示されるステップ601〜606は、図6に示されるステップ601〜606と同一である。従って、ここでは説明を省略する。
【0152】以下、図12を参照して、上述したプログラムの各ステップを説明する。
【0153】ステップ1007:候補領域抽出手段202は、ステップ601〜ステップ606において得られた代表色外接領域のそれぞれから複数の候補領域を求める。
【0154】図13は、1つの代表色外接領域から複数の候補領域を生成するプロセスを模式的に示す。候補領域抽出手段202は、ステップ601〜ステップ606によって生成された代表色領域データを受け取り、代表色領域データによって表される代表色外接領域のそれぞれについて、上下左右へ一定画素(例えば、1画素)だけ拡大および縮小を行う。これにより、ステップ601〜ステップ606によって得られた代表色外接領域のそれぞれについて3つの代表色外接領域が生成される。ステップ601〜ステップ606によって得られた1つの代表色外接領域1101と、代表色外接領域1101を上下左右へ一定画素だけ拡大した代表色外接領域1102と、代表色外接領域1101を上下左右へ一定画素だけ縮小した代表色外接領域1103とを図13に示す。
【0155】次に、図5のステップ607と同様の手順で、各代表色外接領域から候補領域を求める。代表色外接領域1101に対する候補領域1104と、拡大された代表色外接領域1102に対する候補領域1106と、縮小された代表色外接領域1103に対する候補領域1105とを図13に示す。
【0156】候補領域抽出手段202は、このようにして得られた候補領域1104〜1106を表す候補領域データを照合手段へ出力し、ステップ1008に進む。
【0157】ステップ1008:照合手段203は、ステップ1007において求められた候補領域1104〜1106のそれぞれとクラスタ画像306とを照合する。候補領域1104〜1106のクラスタ画像それぞれとクラスタ画像306との間の画像間距離を実施の形態1と同様にして求める。得られた3つの画像間距離のうち最小の画像間距離が、予め定めた閾値Tdよりも小さい場合に、その最小の画像間距離を有する候補領域が対象の存在する領域として検出される。一方、3つの画像間距離のうち最小の画像間距離が閾値Tdよりも大きい場合には、照合手段203は、3つの候補領域すべてに対象は存在しないと判定する。
【0158】なお、ステップ1007では、ステップ601〜606によって得られた代表色外接領域を上下左右へ一定画素だけ拡大および縮小したが、拡大または縮小のいずれか一方のみを行ってもよい。また、拡大および/または縮小する画素数は1画素に限定するものではなく任意である。例えば、拡大および/または縮小する画素数は、カメラの性能(特に色のにじみ具合)に合わせて、2〜3画素でもよい。拡大および/または縮小それぞれの回数は1回ずつに限定するものではなく、任意である。
【0159】実施の形態2によれば、拡大および/または縮小した代表色外接領域から求めた候補領域も考慮することによって、カメラの光学系および画像処理等に起因した代表色外接領域の輪郭における色のにじみ、かすれ等によって真の候補領域の大きさが正しく求めることができない場合であっても、検出精度を低下させることなく対象を検出することができる。
【0160】(実施の形態3)図14は、本発明による画像検出装置1200の構成の一例を示す。
【0161】画像検出装置1200は、図2の画像検出装置107に含まれる代表色領域抽出手段201と、候補領域抽出手段202と、照合手段203と、データベース204とに加えて、処理領域特定手段1201と、検出領域記憶手段1202とをさらに備える。図14において、図2に示される構成要素と同一の構成要素には同一の参照番号を付し、その説明を省略する。
【0162】検出領域記憶手段1202は、照合手段203からの検出結果である検出領域を時間と対応付けた検出結果を格納する。検出領域記憶手段1202は、照合手段203の照合が終了すると、時間と対応付けた検出領域を自身に格納し、同時に自身に格納されている最も古い検出領域を消去する。検出領域を時間と対応付けるとは、入力画像を撮影した時間tと検出領域とを対応付けてもよいし、入力画像を入力し始めてからの入力画像の個数(フレーム数)と検出領域とを対応付けてもよい。検出領域記憶手段1202に格納される検出結果は、例えば、時間tに撮影された入力画像において検出された対象の存在する領域の位置を示す座標データである。
【0163】なお、以下の説明では、検出領域記憶手段1202は、最新の時間tに撮影された入力画像の検出領域と、時間2tに撮影された入力画像の検出領域と、時間3tに撮影された入力画像の検出領域との3つの検出領域を格納するように設定されているが、2つ以上の任意の検出領域を格納するように設定することができる。また、以下の説明では、検出領域記憶手段1202は、撮影時間t、2t、3tのように一定時間毎に連続して撮影された入力画像の検出領域を格納するが、任意の時間に撮影された複数の入力画像の検出領域を格納することもできる。
【0164】処理領域特定手段1201は、処理領域特定手段1201に画像入力装置102(図1)を介して入力画像が入力されると、検出領域記憶手段1202に格納されている検出結果を表す検出結果データを読み出し、その検出結果データすべてを用いて、検出結果データによって表される検出領域のうち少なくとも2つの検出領域間の位置関係が、所定の条件を満たすかどうかを判定する。少なくとも2つの検出領域間の位置関係が所定の条件を満たす場合には、処理領域特定手段1201は、少なくとも2つの検出領域のうち最新の時間に対応付けられた検出領域を含むその検出領域の近傍を入力画像の処理すべき領域(処理領域)として特定する。一方、少なくとも2つの検出領域間の位置関係が所定の条件を満たさない場合には、処理領域特定手段1201は、入力画像全体を処理領域として特定する。処理領域特定手段1201は、特定された処理領域を表す処理領域データを代表色領域抽出手段201に出力する。処理領域データは、例えば、入力画像における処理領域の位置を示す座標データである。
【0165】入力装置103(図1)を用いて入力画像において検出すべき対象を特定する情報(例えば、対象の名称)が、代表色領域抽出手段201と、候補領域抽出手段202と、照合手段203とに入力され、処理領域特定手段1201が特定した入力画像における処理領域を表す処理領域データが代表色領域抽出手段201に入力された以降の処理は、実施の形態1で説明したのと同様に行われる。
【0166】図15は、コンピュータを画像検出装置1200として機能させるプログラムの一部の手順を示す。
【0167】図16は、過去の検出結果に基づいて入力画像における処理領域を特定するプロセスを模式的に示す。図15および図16を参照して、処理領域特定手段1201の機能を説明する。
【0168】ステップ1301:処理領域特定手段1201は、検出領域記憶手段1202に格納されている3つの過去の検出領域を読み出す。それぞれの検出領域は、図16に示されるように、t秒前に撮影された入力画像において看板が存在する看板領域1401と、2t秒前に撮影された入力画像において看板が存在する看板領域1402と、3t秒前に撮影された入力画像において看板が存在する看板領域1403とである。
【0169】ステップ1302:処理領域特定手段1201は、読み出された過去の検出結果の看板領域1401〜1403のうち少なくとも2つが重複するかどうかを判定する。看板領域1401〜1403のうち少なくとも2つが重複すると判定されると、ステップ1303へ進む。看板領域1401〜1403のうちいずれも重複しないと判定されると、ステップ1305へ進む。図1616では、t秒前の看板領域1401と3t秒前の看板領域1403とが重複している。
【0170】なお、ステップ1302では、3つの看板領域のうち少なくとも2つの看板領域が重複するかどうかを判定するが、3つの看板領域のうち少なくとも2つの看板領域が近接するかどうかを判定してもよい。ここで近接する条件は、例えば、看板領域の中心間の距離が予め定めた値(看板領域の一辺の長さ等)よりも小さい等である。このようにステップ1302では、処理領域特定手段1201は、看板領域の位置関係(例えば、重複する領域の存在、中心間距離等)が任意の条件を満たすか否かを判定する。
【0171】以下の説明は、3つの看板領域のうち少なくとも2つの看板領域が重複するかどうかを判定した結果に基づいて行う。
【0172】ステップ1303:処理領域特定手段1201は、重複した看板領域のうち最新の検出領域を選択する。図16において、重複した看板領域1401と1403のうちt秒前に撮影された入力画像の看板領域1401を選択する。
【0173】ステップ1304:処理領域特定手段1201は、選択された過去の看板領域1401に基づいて現在の入力画像における処理領域1404(図16)を特定する。図16において、特定された処理領域1404は、選択された看板領域1401と、その看板領域1401を上下左右、右斜め上下および左斜め上下に平行移動させた領域とを含む。なお、処理領域を特定する方法は、これに限定されない。例えば、ステップ1303で選択された看板領域1401を一定画素だけ拡大した領域を処理領域としてもよい。
【0174】ステップ1305:処理領域特定手段1201は、ステップ1302で過去の検出結果の看板領域がいずれも重複しないと判定すると、現在の入力画像全体を処理領域とする。
【0175】ステップ1304またはステップ1305以降は、実施の形態1で図5を参照して説明したのと同様にして対象の検出が行われる。
【0176】実施の形態3によれば、検出領域記憶手段1202が、照合手段203による少なくとも2つの検出領域を時間と対応付けて格納し、処理領域特定手段1201が検出領域記憶手段1202に格納された検出領域に基づいて、現在の入力画像の処理領域を特定する。これにより、現在の入力画像から対象が存在する可能性のある領域を特定することができる。このようにして得られた処理領域を処理することによって、入力画像の全領域を処理する場合に比べて、処理時間の短縮化が図られ、処理速度を向上させることができる。
【0177】(実施の形態4)図17は、本発明による画像検出装置1500の構成の一例を示す。
【0178】画像検出装置1500は、図2の画像検出装置107に含まれる代表色領域抽出手段201と、候補領域抽出手段202と、照合手段203とに加えて、環境測定手段1501と、データベース1505とをさらに備える。図17において、図2に示される構成要素と同一の構成要素には同一の参照符号を付し、その説明を省略する。
【0179】データベース1505には、少なくとも1つの対象データ組を少なくとも1つの環境のそれぞれに対応付けて格納する。少なくとも1つの対象組のそれぞれが、少なくとも1つ対象データを格納する。対象データは、図4を参照して説明した401a、401b、401c、・・・等と同じである。環境とは、地域、季節、時間、方角および天候等の組み合わせである。地域は、例えば、京都、大都市(東京、大阪、名古屋等)、山中、都市近郊、海岸沿い、雪国等のようにGPS(Global Positioning System)データ(経度および緯度)によって予め区分けされている。時間は、朝、昼、夕、夜のように時計によって予め区分けされている。季節は、春、夏、秋および冬のようにカレンダーによって予め区分けされている。方角は、東、西、南および北のように方位計によって予め区分けされている。天候は、曇天、晴天または夜間の日照量の値によって予め区分けされている。
【0180】図18Aは、環境に対応付けられた対象データ組がデータベース1505に格納されている様子を模式的に示す。データベース1505において、行1801の環境は、地域が京都であり、季節が春、時間が朝、方角は北、天候は晴れである。行1801の環境に対応付けられた対象データには、対象データ組1805(看板Aの対象データA1、看板Bの対象データB1、・・・等)が含まれる。対象データ組1805は、例えば、図4のデータベース204に含まれる対象データに対応し、対象データA1、対象データB1、・・・は、それぞれ対象データ401a、401b、・・・である。行1802の環境は、地域が大阪である以外は行1801の環境と同じである。行1802の環境に対応付けられた対象データも、行1801の環境に対応付けられた対象データと同様に看板Aの対象データA3、看板Bの対象データB3、・・・等が含まれる。これは、地域によって看板の色使いが微妙に異なっている場合があるためである。例えば、京都では、歴史的な重要な寺院が多く存在し、景観を損ねないために、京都の看板は、他の地域の看板とは微妙に色使いが異なっている。
【0181】図18Bは、京都と大阪とにおける看板の例を模式的に示す。看板1803は、行1801の対象データA1を有する看板を示す。看板1804は、行1802の対象データA3を有する看板を示す。看板1803は京都に存在する看板であり、看板1804は大阪に存在する看板である。看板1803と看板1804とは、同じ看板Aであるが、看板に使用されている使用色が微妙に異なっているために、対象データは異なる。図18Bでは、色使いが異なっていることが分かるように、各看板の使用色を異なるハッチングパターンで示している。
【0182】環境測定手段1501は、画像検出装置1500が設置された環境(例えば、地域、季節、時間、方角および天候)を測定し、データベース1505を検索し、データベース1505に格納されている少なくとも1つの環境のそれぞれに対応付けられた少なくとも1つの対象データ組のうち、測定された環境(例えば、地域、季節、時間、方角および天候)に対応付けられた1つの対象データ組を選択する。
【0183】さらに、環境測定手段1501は、環境を測定するために、時計、カレンダー、GPS、方位計および日照計等の環境測定ツールを備えている。環境測定手段1501は、これらの環境測定ツールを用いて、時間、季節、地域、方角および天候等を測定し、各測定値を上述の区分けの境界値と比較し、どの区分けされた環境に当てはまるかを求める。これらの区分けされた環境を用いて、データベース1505から少なくとも1つの対象データを選択する。
【0184】環境測定手段1501は、例えば、ユーザが、図1の移動体101に画像検出装置1500を搭載して、雪国の冬の晴天の日に、日中北向きに走行している場合、少なくとも1つの対象データ組から図18Aの行1803の環境に対応付けられてデータベース1505に格納された対象データ組1806を選択する。次いで、代表色領域抽出手段201が、代表色領域抽出手段201に入力された対象を特定する情報(例えば、看板の名称A)をキーにして、選択された1つの対象データ組のうち代表色領域抽出手段201に入力された対象を特定する情報(例えば、看板の名称A)に対応する情報を有する対象データA8を特定する。対象データが特定された以降の処理は、その読み出された対象データに基づいて、代表色領域抽出手段201と、候補領域抽出手段202と、照合手段203とによって対象の検出が行われる。対象データが読み出された以降の処理は、実施の形態1で説明したのと同様に行われる。
【0185】実施の形態4によれば、データベース1505が少なくとも1つの環境のそれぞれに応じた少なくとも1つの対象データを格納しているので、環境(地域、季節、時間、方角および天候等)に応じた対象の検出が可能である。また、環境測定手段1501は、画像検出装置1500が設置されている環境を測定し、その環境に応じた1つの対象データ組をデータベース1505から選択するので、環境に依存することなく正確な検出を可能とする。
【0186】なお、環境として時間、季節、地域、方角、天候を用いたが、この一部のみを用いてもよい。
【0187】また、代表色領域抽出手段201のステップ603(図5)の代わりに、以下のステップを用いてもよい。すなわち、代表色領域抽出手段201は、環境測定手段1501で測定された日照量を用いて、代表色画像の求め方を制御を制御する。日照量が予め定めた閾値よりも小さい場合(例えば夜など)には、各画素の色相の類似度に入力画像の対応する画素の輝度(あるいは輝度×彩度)を乗じた値を代表色画像の画素値とし、日照量が予め定めた閾値よりも大きい場合(朝や昼)には、ステップ603と同様に色相の類似度に彩度を乗じた値を代表色画像の各画素値とする。
【0188】なお、図17に示される例では、図2に示される例と同様に代表色領域抽出手段201、候補領域抽出手段202および照合手段203のそれぞれがデータベース1505を検索する構成としたが、画像検出装置1500の構成はこれに限定されない。環境測定手段1501が、画像検出装置1500の設置されている環境を測定し、データベース1505を検索し、データベース1505に格納されている環境に対応付けられた少なくとも1つの対象データ組のうち、測定された環境に対応付けられた1つの対象データ組を選択し、かつ、入力装置103を用いて指定された入力画像において検出すべき対象を受け取り、データベース1505から選択された1つの対象データ組のうちその対象を特定する情報を有する唯一の対象データを選択し、その選択された唯一の対象データを代表色領域抽出手段201、候補領域抽出手段202および照合手段203のそれぞれに提供する構成としてもよい。
【0189】(実施の形態5)実施の形態1〜4で示した画像検出装置の構成を実現するための画像検出のプログラムをフレキシブルディスク等のデータ記録媒体に記録するようにすることにより、実施の形態1〜4で示した処理を独立したコンピュータシステムにおいて簡単に実施することが可能となる。
【0190】図20Aは、記録媒体の一例を示す図である。図20Aは、記録媒体の一例としてフレキシブルディスクFDの物理フォーマットを示す。図20AのフレキシブルディスクFDの表面には、同心円状に外周から内周に向かって複数のトラックTrが形成されている。各トラックTrは角度方向に16のセクタSeに分割されている。画像検出プログラムは、フレキシブルディスクFD上に割り当てられた各セクタSeに格納される。
【0191】図20Bは、フレキシブルディスクFDおよびフレキシブルディスク本体Fを示す。図20Bでは、図20AのフレキシブルディスクFDが、フレキシブルディスクのケースに収容されている様子を示している。
【0192】図20Cは、コンピュータシステムCsを用いて本発明を実現する構成を模式的に示す。コンピュータシステムCsは、図20Bのフレキシブルディスク本体Fに画像検出プログラムを記録させ、フレキシブルディスク本体Fに記録された画像検出プログラムを再生する。画像検出プログラムをフレキシブルディスクFDに記録するためには、コンピュータシステムCsから画像検出プログラムをフレキシブルディスクドライブFDDを介して読み出し、フレキシブルディスクFDに書き込む。また、フレキシブルディスクFDに記録された画像検出プログラムにより符号化または復号化装置をコンピュータシステムCs中に構築する場合は、フレキシブルディスクドライブFDDにより画像検出プログラムをフレキシブルディスクFDから読み出し、コンピュータシステムCsに転送する。
【0193】なお、データ記録媒体は、フレキシブルディスクに限定されない。データ記録媒体は、光ディスク、ICカード、ROMカセット、固体メモリ等プログラムを記録できる任意の記録媒体であり得る。
【0194】なお、実施の形態1〜4では、画像入力装置を用いて入力された画像からオンラインで検出を行う例を示したが、ハードディスク等の記録媒体に記録された画像から検出を行ってもよい。この場合、実施の形態4では、記録媒体に画像を記録する際に、環境測定手段1501で測定した測定データを付加することにより、オフラインで画像検出が可能となる。
【0195】
【発明の効果】本発明による画像検出装置によれば、少なくとも1つの対象データを格納するデータベースが設けられている。少なくとも1つの対象データのそれぞれは、対象に使用されている複数の使用色を表す使用色データと、複数の使用色を代表する代表色を表す代表色データと、複数の使用色を有する複数の領域の配置を表すクラスタ画像とを含む。これにより、任意の色および任意の形状を有する対象を表す対象データをデータベースに格納することができる。その結果、任意の色および任意の形状を有する対象を検出することが可能になる。
【0196】また、本発明による画像検出装置によれば、代表色領域抽出手段により、入力画像において代表色領域の形状に関わらず、特定された対象データに含まれる代表色と実質的に同じ色を有する領域が代表色領域として入力画像から抽出され、候補領域抽出手段により、クラスタ画像において代表色を有する領域とクラスタ画像の枠との間の相対的な位置関係を用いることによって、クラスタ画像の大きさに関わらず対象の存在する可能性のある候補領域を絞りこむことができる。これにより、画像検出装置の処理速度を向上させることが可能になる。
【0197】さらに、本発明による画像検出装置によれば、照合手段により、使用色を有する領域の形状に加えて、使用色を有する領域の配置をも考慮して照合が行われる。これにより、各領域の形状のみを考慮して照合を行う場合に比べて、画像検出装置の検出精度を向上させることが可能になる。
【図面の簡単な説明】
【図1】本発明による画像検出装置を含む移動体の構成の一例
【図2】本発明による画像検出装置の構成の一例
【図3】対象画像に基づいて対象データに含まれるクラスタ画像を生成するプロセスを模式的に示す図
【図4】複数の対象データがデータベースに格納されている様子を模式的に示す図
【図5】コンピュータを画像検出装置として機能させるプログラムの手順
【図6A】画像検出装置に入力される入力画像の一例
【図6B】代表色領域抽出手段によって入力画像から生成される無彩色を除く代表色についての類似度画像の一例
【図7A】代表色領域抽出手段によって入力画像から生成される代表色についての類似度画像の一例
【図7B】入力画像の各画素を彩度で表した彩度画像の一例
【図7C】代表色領域抽出手段によって入力画像から生成される二値画像の一例
【図7D】代表色領域抽出手段によって入力画像から生成されるクラスタ画像の一例
【図8】分断された代表色外接領域を結合処理によって1つの代表色外接領域を生成するプロセスを模式的に示す図
【図9】代表色外接領域から候補領域を生成するプロセスを模式的に示す図
【図10】代表色外接領域から候補領域を生成する別のプロセスを模式的に示す図
【図11】クラスタ画像と候補領域との間の画像間距離Dを求める処理の手順を示す図
【図12】コンピュータを画像検出装置として機能させる別のプログラムの手順を示す図
【図13】1つの代表色外接領域から複数の候補領域を生成するプロセスを模式的に示す図
【図14】本発明による画像検出装置の構成の一例
【図15】コンピュータを画像検出装置として機能させるプログラムの一部の手順を示す図
【図16】過去の検出結果に基づいて入力画像における処理領域を特定するプロセスを模式的に示す図
【図17】本発明による画像検出装置の構成の一例
【図18A】環境に対応付けられた対象データ組がデータベースに格納されている様子を模式的に示す図
【図18B】京都と大阪とにおける看板の例を模式的に示す図。
【図19】従来技術の画像認識装置による画像認識を行う手順を示す図
【図20A】記録媒体の一例を示す図
【図20B】フレキシブルディスクおよびフレキシブルディスク本体
【図20C】コンピュータシステムを用いて本発明を実現する構成を模式的に示す図
【符号の説明】
107 画像検出装置
201 代表色領域抽出手段
202 候補領域抽出手段
203 照合手段
204 データベース
【特許請求の範囲】
【請求項1】 入力画像内の対象を検出する画像検出装置であって、少なくとも1つの対象データを格納するデータベースであって、前記少なくとも1つの対象データのそれぞれは、対象を特定する情報と、前記対象に使用されている複数の使用色を表す使用色データと、前記複数の使用色を代表する代表色を表す代表色データと、前記複数の使用色を有する複数の領域の配置を表すクラスタ画像とを含む、データベースと、前記入力画像と前記入力画像において検出すべき対象を特定する情報とを受け取り、前記データベースに格納されている前記少なくとも1つの対象データのうち、前記入力画像において検出すべき対象を特定する情報に対応する情報を有する対象データを特定し、前記入力画像から、前記特定された対象データに含まれる前記代表色データによって表される代表色に実質的に同じ色を有する少なくとも1つの領域を代表色領域として抽出する代表色領域抽出手段と、前記特定された対象データに含まれる前記クラスタ画像において前記代表色を有する領域と前記クラスタ画像の枠との間の相対的な位置関係を用いて、前記代表色領域抽出手段によって抽出された前記少なくとも1つの代表色領域から、前記対象が存在する可能性のある少なくとも1つの候補領域を求める候補領域抽出手段と、前記特定された対象データに含まれる前記クラスタ画像と前記候補領域抽出手段によって求められた前記少なくとも1つの候補領域のそれぞれとを照合し、その照合結果に基づいて、前記候補領域抽出手段によって求められた前記少なくとも1つの候補領域のうちの1つを前記対象が存在する領域として検出する照合手段とを備えた、画像検出装置。
【請求項2】 前記少なくとも1つの代表色領域は、前記入力画像の各画素について、前記入力画像の各画素の色相と前記対象データに含まれる前記代表色との距離から求められる類似度と、前記入力画像の各画素の彩度、輝度、および彩度と輝度との積からなる群から選択される1つとの積が、所定の閾値よりも大きい領域である、請求項1に記載の装置。
【請求項3】 前記代表色は、前記複数の使用色のうち彩度が最も高い使用色である、請求項1に記載の装置。
【請求項4】 前記複数の使用色にはそれぞれ色番号が割り当てられており、前記クラスタ画像は、複数の画素を有しており、前記複数の画素のそれぞれは色番号によって表される画素値を有している、請求項1に記載の装置。
【請求項5】 前記複数の使用色が無彩色および非無彩色を含み、前記照合手段は、前記クラスタ画像と前記少なくとも1つの候補領域のうちの1つとの間の画像間距離に基づいて、前記少なくとも1つの候補領域のうちの1つを前記対象が存在する領域として検出し、前記画像間距離は、前記非無彩色の色数が第1の所定値よりも大きいか、または、前記非無彩色を有する領域数が第2の所定値よりも大きいかのいずれかである場合には、前記クラスタ画像における前記無彩色を有する領域の各画素と前記候補領域における対応する各画素との間の画素間距離に依存することなく決定され、前記画像間距離は、前記非無彩色の色数が前記第1の所定値以下であり、かつ、前記非無彩色を有する領域数が前記第2の所定値以下である場合には、前記クラスタ画像における前記無彩色を有する領域の各画素と前記候補領域における対応する各画素との間の画素間距離に依存して決定される、請求項1に記載の画像検出装置。
【請求項6】 前記複数の使用色が無彩色および非無彩色を含み、前記照合手段は、前記クラスタ画像と前記少なくとも1つの候補領域のうちの1つとの間の画像間距離に基づいて、前記少なくとも1つの候補領域のうちの1つを前記対象が存在する領域として検出し、前記画像間距離は、前記非無彩色の色数が第1の所定値以下であり、かつ、前記非無彩色を有する領域数が第2の所定値以下である場合には、前記クラスタ画像における前記無彩色を有する領域の各画素と前記候補領域における対応する各画素との間の画素間距離と、前記クラスタ画像における前記非無彩色を有する領域の各画素と前記候補領域における対応する各画素との間の画素間距離とによって決定され、前記クラスタ画像における前記無彩色を有する領域の各画素と前記候補領域における対応する各画素との間の画素間距離は、前記クラスタ画像における前記代表色を有する領域の平均輝度によって正規化された輝度と、前記候補領域における前記代表色領域の平均輝度によって正規化された輝度とに基づいて求められ、前記クラスタ画像における前記非無彩色を有する領域の各画素と前記候補領域における対応する各画素との間の画素間距離は、前記クラスタ画像の画素の色相と前記候補領域の各画素の色相とに基づいて求められる、請求項1に記載の画像検出装置。
【請求項7】 前記候補領域抽出手段は、前記少なくとも1つの代表色領域のそれぞれについて、所定量だけ拡大または縮小の少なくともいずれか一方を行い、前記クラスタ画像における前記代表色を有する領域と前記クラスタ画像の枠との間の相対的な位置関係を用いて、拡大または縮小を行う前の代表色領域と前記拡大または縮小の少なくともいずれか一方を行った代表色領域のそれぞれから、前記対象が存在する可能性のある複数の候補領域を求め、前記照合手段は、前記少なくとも1つの代表色領域のそれぞれから得られた前記複数の候補領域について、前記複数の候補領域のそれぞれと前記クラスタ画像とを照合し、前記複数の候補領域のそれぞれと前記クラスタ画像との間の画像間距離が最小であり、かつ、所定の閾値よりも小さい候補領域を前記対象が存在する領域として検出する、請求項1に記載の画像検出装置。
【請求項8】 前記照合手段によって検出された少なくとも2つの検出領域を時間と対応付けて格納する検出領域記憶手段と、前記入力画像の処理領域を特定する処理領域特定手段とをさらに備え、前記処理領域特定手段は、前記検出領域記憶手段に格納された少なくとも2つの検出領域のうち少なくとも2つの検出領域間の位置関係が所定の条件を満たすかどうかを判定し、前記位置関係が所定の条件を満たす場合には、前記少なくとも2つの検出領域のうち最新の時間と対応付けられた検出領域を含む前記検出領域の近傍を前記入力画像の処理領域として特定し、前記位置関係が所定の条件を満たさない場合には、前記入力画像全体を処理領域として特定する、請求項1に記載の画像検出装置。
【請求項9】 前記データベースは、少なくとも1つの対象データ組を少なくとも1つの環境のそれぞれに対応付けて格納し、前記少なくとも1つの対象データ組のそれぞれが前記少なくとも1つの対象データを格納し、前記画像検出装置は、前記画像検出装置が設置された環境を測定し、その測定結果に基づいて、前記少なくとも1つの環境のうち前記画像検出装置が設置された環境に対応付けて格納された対象データ組を前記少なくとも1つの対象データ組から選択する環境測定手段をさらに備え、前記代表色抽出手段は、前記入力画像において検出すべき対象を特定する情報を受け取り、前記選択された対象データ組のうち、前記入力画像において検出すべき対象を特定する情報に対応する情報を有する対象データを特定する、請求項1に記載の画像検出装置。
【請求項10】 前記少なくとも1つの代表色領域は、前記入力画像の各画素について、前記入力画像の各画素の色相と前記対象データに含まれる前記代表色との距離から求められる類似度と、前記入力画像の各画素の彩度、輝度、および彩度と輝度との積からなる群から、前記環境測定手段によって測定された環境に基づいて選択される1つとの積が、所定の閾値よりも大きい領域である、請求項9に記載の装置。
【請求項11】 コンピュータを入力画像内の対象を検出する画像検出装置として機能させるためのプログラムであって、前記画像検出装置は、少なくとも1つの対象データを格納するデータベースであって、前記少なくとも1つの対象データのそれぞれは、対象を特定する情報と、前記対象に使用されている複数の使用色を表す使用色データと、前記複数の使用色を代表する代表色を表す代表色データと、前記複数の使用色を有する複数の領域の配置を表すクラスタ画像とを含む、データベースと、前記入力画像と前記入力画像において検出すべき対象を特定する情報とを受け取り、前記データベースに格納されている前記少なくとも1つの対象データのうち、前記入力画像において検出すべき対象を特定する情報に対応する情報を有する対象データを特定し、前記入力画像から、前記特定された対象データに含まれる前記代表色データによって表される代表色に実質的に同じ色を有する少なくとも1つの領域を代表色領域として抽出する代表色領域抽出手段と、前記特定された対象データに含まれる前記クラスタ画像において前記代表色を有する領域と前記クラスタ画像の枠との間の相対的な位置関係を用いて、前記代表色領域抽出手段によって抽出された前記少なくとも1つの代表色領域から、前記対象が存在する可能性のある少なくとも1つの候補領域を求める候補領域抽出手段と、前記特定された対象データに含まれる前記クラスタ画像と前記候補領域抽出手段によって求められた前記少なくとも1つの候補領域のそれぞれとを照合し、その照合結果に基づいて、前記候補領域抽出手段によって求められた前記少なくとも1つの候補領域のうちの1つを前記対象が存在する領域として検出する照合手段とを備えている、プログラム。
【請求項12】 コンピュータを入力画像内の対象を検出する画像検出装置として機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、前記画像検出装置は、少なくとも1つの対象データを格納するデータベースであって、前記少なくとも1つの対象データのそれぞれは、対象を特定する情報と、前記対象に使用されている複数の使用色を表す使用色データと、前記複数の使用色を代表する代表色を表す代表色データと、前記複数の使用色を有する複数の領域の配置を表すクラスタ画像とを含む、データベースと、前記入力画像と前記入力画像において検出すべき対象を特定する情報とを受け取り、前記データベースに格納されている前記少なくとも1つの対象データのうち、前記入力画像において検出すべき対象を特定する情報に対応する情報を有する対象データを特定し、前記入力画像から、前記特定された対象データに含まれる前記代表色データによって表される代表色に実質的に同じ色を有する少なくとも1つの領域を代表色領域として抽出する代表色領域抽出手段と、前記特定された対象データに含まれる前記クラスタ画像において前記代表色を有する領域と前記クラスタ画像の枠との間の相対的な位置関係を用いて、前記代表色領域抽出手段によって抽出された前記少なくとも1つの代表色領域から、前記対象が存在する可能性のある少なくとも1つの候補領域を求める候補領域抽出手段と、前記特定された対象データに含まれる前記クラスタ画像と前記候補領域抽出手段によって求められた前記少なくとも1つの候補領域のそれぞれとを照合し、その照合結果に基づいて、前記候補領域抽出手段によって求められた前記少なくとも1つの候補領域のうちの1つを前記対象が存在する領域として検出する照合手段とを備えている、記録媒体。
【請求項1】 入力画像内の対象を検出する画像検出装置であって、少なくとも1つの対象データを格納するデータベースであって、前記少なくとも1つの対象データのそれぞれは、対象を特定する情報と、前記対象に使用されている複数の使用色を表す使用色データと、前記複数の使用色を代表する代表色を表す代表色データと、前記複数の使用色を有する複数の領域の配置を表すクラスタ画像とを含む、データベースと、前記入力画像と前記入力画像において検出すべき対象を特定する情報とを受け取り、前記データベースに格納されている前記少なくとも1つの対象データのうち、前記入力画像において検出すべき対象を特定する情報に対応する情報を有する対象データを特定し、前記入力画像から、前記特定された対象データに含まれる前記代表色データによって表される代表色に実質的に同じ色を有する少なくとも1つの領域を代表色領域として抽出する代表色領域抽出手段と、前記特定された対象データに含まれる前記クラスタ画像において前記代表色を有する領域と前記クラスタ画像の枠との間の相対的な位置関係を用いて、前記代表色領域抽出手段によって抽出された前記少なくとも1つの代表色領域から、前記対象が存在する可能性のある少なくとも1つの候補領域を求める候補領域抽出手段と、前記特定された対象データに含まれる前記クラスタ画像と前記候補領域抽出手段によって求められた前記少なくとも1つの候補領域のそれぞれとを照合し、その照合結果に基づいて、前記候補領域抽出手段によって求められた前記少なくとも1つの候補領域のうちの1つを前記対象が存在する領域として検出する照合手段とを備えた、画像検出装置。
【請求項2】 前記少なくとも1つの代表色領域は、前記入力画像の各画素について、前記入力画像の各画素の色相と前記対象データに含まれる前記代表色との距離から求められる類似度と、前記入力画像の各画素の彩度、輝度、および彩度と輝度との積からなる群から選択される1つとの積が、所定の閾値よりも大きい領域である、請求項1に記載の装置。
【請求項3】 前記代表色は、前記複数の使用色のうち彩度が最も高い使用色である、請求項1に記載の装置。
【請求項4】 前記複数の使用色にはそれぞれ色番号が割り当てられており、前記クラスタ画像は、複数の画素を有しており、前記複数の画素のそれぞれは色番号によって表される画素値を有している、請求項1に記載の装置。
【請求項5】 前記複数の使用色が無彩色および非無彩色を含み、前記照合手段は、前記クラスタ画像と前記少なくとも1つの候補領域のうちの1つとの間の画像間距離に基づいて、前記少なくとも1つの候補領域のうちの1つを前記対象が存在する領域として検出し、前記画像間距離は、前記非無彩色の色数が第1の所定値よりも大きいか、または、前記非無彩色を有する領域数が第2の所定値よりも大きいかのいずれかである場合には、前記クラスタ画像における前記無彩色を有する領域の各画素と前記候補領域における対応する各画素との間の画素間距離に依存することなく決定され、前記画像間距離は、前記非無彩色の色数が前記第1の所定値以下であり、かつ、前記非無彩色を有する領域数が前記第2の所定値以下である場合には、前記クラスタ画像における前記無彩色を有する領域の各画素と前記候補領域における対応する各画素との間の画素間距離に依存して決定される、請求項1に記載の画像検出装置。
【請求項6】 前記複数の使用色が無彩色および非無彩色を含み、前記照合手段は、前記クラスタ画像と前記少なくとも1つの候補領域のうちの1つとの間の画像間距離に基づいて、前記少なくとも1つの候補領域のうちの1つを前記対象が存在する領域として検出し、前記画像間距離は、前記非無彩色の色数が第1の所定値以下であり、かつ、前記非無彩色を有する領域数が第2の所定値以下である場合には、前記クラスタ画像における前記無彩色を有する領域の各画素と前記候補領域における対応する各画素との間の画素間距離と、前記クラスタ画像における前記非無彩色を有する領域の各画素と前記候補領域における対応する各画素との間の画素間距離とによって決定され、前記クラスタ画像における前記無彩色を有する領域の各画素と前記候補領域における対応する各画素との間の画素間距離は、前記クラスタ画像における前記代表色を有する領域の平均輝度によって正規化された輝度と、前記候補領域における前記代表色領域の平均輝度によって正規化された輝度とに基づいて求められ、前記クラスタ画像における前記非無彩色を有する領域の各画素と前記候補領域における対応する各画素との間の画素間距離は、前記クラスタ画像の画素の色相と前記候補領域の各画素の色相とに基づいて求められる、請求項1に記載の画像検出装置。
【請求項7】 前記候補領域抽出手段は、前記少なくとも1つの代表色領域のそれぞれについて、所定量だけ拡大または縮小の少なくともいずれか一方を行い、前記クラスタ画像における前記代表色を有する領域と前記クラスタ画像の枠との間の相対的な位置関係を用いて、拡大または縮小を行う前の代表色領域と前記拡大または縮小の少なくともいずれか一方を行った代表色領域のそれぞれから、前記対象が存在する可能性のある複数の候補領域を求め、前記照合手段は、前記少なくとも1つの代表色領域のそれぞれから得られた前記複数の候補領域について、前記複数の候補領域のそれぞれと前記クラスタ画像とを照合し、前記複数の候補領域のそれぞれと前記クラスタ画像との間の画像間距離が最小であり、かつ、所定の閾値よりも小さい候補領域を前記対象が存在する領域として検出する、請求項1に記載の画像検出装置。
【請求項8】 前記照合手段によって検出された少なくとも2つの検出領域を時間と対応付けて格納する検出領域記憶手段と、前記入力画像の処理領域を特定する処理領域特定手段とをさらに備え、前記処理領域特定手段は、前記検出領域記憶手段に格納された少なくとも2つの検出領域のうち少なくとも2つの検出領域間の位置関係が所定の条件を満たすかどうかを判定し、前記位置関係が所定の条件を満たす場合には、前記少なくとも2つの検出領域のうち最新の時間と対応付けられた検出領域を含む前記検出領域の近傍を前記入力画像の処理領域として特定し、前記位置関係が所定の条件を満たさない場合には、前記入力画像全体を処理領域として特定する、請求項1に記載の画像検出装置。
【請求項9】 前記データベースは、少なくとも1つの対象データ組を少なくとも1つの環境のそれぞれに対応付けて格納し、前記少なくとも1つの対象データ組のそれぞれが前記少なくとも1つの対象データを格納し、前記画像検出装置は、前記画像検出装置が設置された環境を測定し、その測定結果に基づいて、前記少なくとも1つの環境のうち前記画像検出装置が設置された環境に対応付けて格納された対象データ組を前記少なくとも1つの対象データ組から選択する環境測定手段をさらに備え、前記代表色抽出手段は、前記入力画像において検出すべき対象を特定する情報を受け取り、前記選択された対象データ組のうち、前記入力画像において検出すべき対象を特定する情報に対応する情報を有する対象データを特定する、請求項1に記載の画像検出装置。
【請求項10】 前記少なくとも1つの代表色領域は、前記入力画像の各画素について、前記入力画像の各画素の色相と前記対象データに含まれる前記代表色との距離から求められる類似度と、前記入力画像の各画素の彩度、輝度、および彩度と輝度との積からなる群から、前記環境測定手段によって測定された環境に基づいて選択される1つとの積が、所定の閾値よりも大きい領域である、請求項9に記載の装置。
【請求項11】 コンピュータを入力画像内の対象を検出する画像検出装置として機能させるためのプログラムであって、前記画像検出装置は、少なくとも1つの対象データを格納するデータベースであって、前記少なくとも1つの対象データのそれぞれは、対象を特定する情報と、前記対象に使用されている複数の使用色を表す使用色データと、前記複数の使用色を代表する代表色を表す代表色データと、前記複数の使用色を有する複数の領域の配置を表すクラスタ画像とを含む、データベースと、前記入力画像と前記入力画像において検出すべき対象を特定する情報とを受け取り、前記データベースに格納されている前記少なくとも1つの対象データのうち、前記入力画像において検出すべき対象を特定する情報に対応する情報を有する対象データを特定し、前記入力画像から、前記特定された対象データに含まれる前記代表色データによって表される代表色に実質的に同じ色を有する少なくとも1つの領域を代表色領域として抽出する代表色領域抽出手段と、前記特定された対象データに含まれる前記クラスタ画像において前記代表色を有する領域と前記クラスタ画像の枠との間の相対的な位置関係を用いて、前記代表色領域抽出手段によって抽出された前記少なくとも1つの代表色領域から、前記対象が存在する可能性のある少なくとも1つの候補領域を求める候補領域抽出手段と、前記特定された対象データに含まれる前記クラスタ画像と前記候補領域抽出手段によって求められた前記少なくとも1つの候補領域のそれぞれとを照合し、その照合結果に基づいて、前記候補領域抽出手段によって求められた前記少なくとも1つの候補領域のうちの1つを前記対象が存在する領域として検出する照合手段とを備えている、プログラム。
【請求項12】 コンピュータを入力画像内の対象を検出する画像検出装置として機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、前記画像検出装置は、少なくとも1つの対象データを格納するデータベースであって、前記少なくとも1つの対象データのそれぞれは、対象を特定する情報と、前記対象に使用されている複数の使用色を表す使用色データと、前記複数の使用色を代表する代表色を表す代表色データと、前記複数の使用色を有する複数の領域の配置を表すクラスタ画像とを含む、データベースと、前記入力画像と前記入力画像において検出すべき対象を特定する情報とを受け取り、前記データベースに格納されている前記少なくとも1つの対象データのうち、前記入力画像において検出すべき対象を特定する情報に対応する情報を有する対象データを特定し、前記入力画像から、前記特定された対象データに含まれる前記代表色データによって表される代表色に実質的に同じ色を有する少なくとも1つの領域を代表色領域として抽出する代表色領域抽出手段と、前記特定された対象データに含まれる前記クラスタ画像において前記代表色を有する領域と前記クラスタ画像の枠との間の相対的な位置関係を用いて、前記代表色領域抽出手段によって抽出された前記少なくとも1つの代表色領域から、前記対象が存在する可能性のある少なくとも1つの候補領域を求める候補領域抽出手段と、前記特定された対象データに含まれる前記クラスタ画像と前記候補領域抽出手段によって求められた前記少なくとも1つの候補領域のそれぞれとを照合し、その照合結果に基づいて、前記候補領域抽出手段によって求められた前記少なくとも1つの候補領域のうちの1つを前記対象が存在する領域として検出する照合手段とを備えている、記録媒体。
【図1】
【図2】
【図3】
【図5】
【図6A】
【図4】
【図6B】
【図7A】
【図7B】
【図7C】
【図7D】
【図8】
【図9】
【図10】
【図13】
【図16】
【図11】
【図12】
【図14】
【図18B】
【図20A】
【図15】
【図17】
【図18A】
【図20B】
【図20C】
【図19】
【図2】
【図3】
【図5】
【図6A】
【図4】
【図6B】
【図7A】
【図7B】
【図7C】
【図7D】
【図8】
【図9】
【図10】
【図13】
【図16】
【図11】
【図12】
【図14】
【図18B】
【図20A】
【図15】
【図17】
【図18A】
【図20B】
【図20C】
【図19】
【公開番号】特開2002−259969(P2002−259969A)
【公開日】平成14年9月13日(2002.9.13)
【国際特許分類】
【出願番号】特願2001−356686(P2001−356686)
【出願日】平成13年11月21日(2001.11.21)
【出願人】(000005821)松下電器産業株式会社 (73,050)
【Fターム(参考)】
【公開日】平成14年9月13日(2002.9.13)
【国際特許分類】
【出願日】平成13年11月21日(2001.11.21)
【出願人】(000005821)松下電器産業株式会社 (73,050)
【Fターム(参考)】
[ Back to top ]