画像処理装置、画像処理方法及び画像処理プログラム
【課題】斜めから撮影された看板が写った画像から看板の画像領域を検出する。
【解決手段】画像中の画像領域の矩形度、該画像領域と該画像領域の周辺領域との色差、または該画像領域のエッジ比のうちいずれか１つまたは２つ以上の組に基づいて、画像から看板の画像を表す看板領域を選択する看板領域選択部２３を備える。
【解決手段】画像中の画像領域の矩形度、該画像領域と該画像領域の周辺領域との色差、または該画像領域のエッジ比のうちいずれか１つまたは２つ以上の組に基づいて、画像から看板の画像を表す看板領域を選択する看板領域選択部２３を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法及び画像処理プログラムに関する。
【背景技術】
【０００２】
画像又は映像の中からある特定の物体を認識する特定物体認識という技術分野において、ＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ、非特許文献１参照）又はＳＵＲＦ（Ｓｐｅｅｄｅｄ Ｕｐ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅｓ、非特許文献２参照）といった局所特徴量に基づく画像認識技術が知られている。このＳＩＦＴ又はＳＵＲＦを用いて、標識を認識する研究が行われている。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】Lowe, Distinctive Image Features from Scale-Invariant Keypoints：International Journal of Computer Vision, 60(2), 91-110, 2004
【非特許文献２】Bay et al., SURF: Speeded-Up Robust. Features：Proc. of the 9th European Conference on Computer Vision (ECCV), 1:404-417, May 2006
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、これらの技術は画像中から特定の形を高速に検出することができ、（撮影方向を軸とする）回転や大きさの変化にも強いといった特徴があるが、形に着目した特徴量を利用しているため、被写体が斜めを向くような角度から撮影することによって被写体の見え方（被写体の形）が変わってしまう条件下では、画像中から特定の形を検出する検出率が落ちてしまうという問題がある。
【０００５】
視点（カメラ位置）に対し高いところや低いところ、あるいは通路の脇に設置された看板又は標識は、その面の法線方向（正面）から撮影することが、不可能あるいは不便である。そのため、斜めから撮影された看板又は標識が写った画像から、正面より写した画像を得るために看板又は標識の画像領域を検出することが望まれる。
【０００６】
そこで本発明は、上記問題に鑑みてなされたものであり、斜めから撮影された看板が写った画像から看板の画像領域を検出することを可能とする技術を提供することを課題とする。
【課題を解決するための手段】
【０００７】
本発明は上記の課題を解決するためになされたものであり、本発明の一態様は、画像中の画像領域の矩形度、該画像領域と該画像領域の周辺領域との色差、または該画像領域のエッジ比のうちいずれか１つまたは２つ以上の組に基づいて、前記画像から看板の画像を表す看板領域を選択する看板領域選択部を備えることを特徴とする画像処理装置である。
【０００８】
また、本発明の一態様は、上記の画像処理装置において、前記看板領域選択部は、前記画像領域の前記矩形度、該画像領域と該画像領域の周辺領域との前記色差、および該画像領域の前記エッジ比に基づいて、前記画像から前記看板領域を選択することを特徴とする。
【０００９】
また、本発明の一態様は、上記の画像処理装置において、前記画像から四角形の画像領域を形成する四頂点を抽出する頂点抽出部と、前記看板領域に基づいて、前記頂点抽出部が抽出した四頂点から前記看板領域の四頂点を選出する頂点選出部と、を備えることを特徴とする。
【００１０】
また、本発明の一態様は、上記の画像処理装置において、前記頂点選出部により選出された前記看板領域の四頂点の座標に基づいて、前記看板領域の画像から看板の正面画像を生成する正面画像生成部を備えることを特徴とする。
【００１１】
また、本発明の一態様は、上記の画像処理装置において、前記看板領域選択部が選択した看板領域の特徴量に基づいて、前記看板が設置されている位置を示す位置情報を取得する属性取得部を備えることを特徴とする。
【００１２】
また、本発明の一態様は、画像処理装置が実行する画像処理方法であって、画像中の画像領域の矩形度、該画像領域と該画像領域の周辺領域との色差、または該画像領域のエッジ比のうちいずれか１つまたは２つ以上の組に基づいて、前記画像から看板の画像を表す看板領域を選択する看板領域選択手順を有することを特徴とする画像処理方法である。
【００１３】
また、本発明の一態様は、画像中の画像領域の矩形度、該画像領域と該画像領域の周辺領域との色差、または該画像領域のエッジ比のうちいずれか１つまたは２つ以上の組に基づいて、前記画像から看板の画像を表す看板領域を選択する看板領域選択ステップを実行させるための画像処理プログラムである。
【発明の効果】
【００１４】
本発明によれば、斜めから撮影された看板が写った画像から看板の画像領域を検出することができる。
【図面の簡単な説明】
【００１５】
【図１】第１の実施形態における画像処理装置のハードウェアの構成を示す概略ブロック図である。
【図２】第１の実施形態における制御部の論理的な構成を示す概略ブロック図である。
【図３】第１の実施形態における看板領域選択部の構成を示す概略ブロック図である。
【図４】記憶部に記憶されているセグメント画像テーブルＴ１の一例である。
【図５】正規化色差、正規化エッジ比、矩形度又はスコアを示したグラフの一例である。
【図６】第１の実施形態における頂点抽出部の構成を示す概略ブロック図である。
【図７】線分抽出部の処理を説明するための図である。
【図８】エッジ限定部の処理を説明するための図である。
【図９】記憶部に記憶されている線分テーブルＴ２の一例である。
【図１０】交点抽出部の処理を説明するための図である。
【図１１】記憶部に記憶されている交点テーブルＴ３の一例である。
【図１２】記憶部に記憶されている四角形テーブルＴ４の一例である。
【図１３】頂点選出部の処理を説明するための図である。
【図１４】第１の実施形態における正面画像生成部の概略ブロック図である。
【図１５】座標変換部の処理を説明するための図である。
【図１６】画素値生成部の処理を説明するための図である。
【図１７】第１の実施形態における属性取得部の構成を示す概略ブロック図である。
【図１８】記憶部に記憶されている看板画像ファイルテーブルＴ５の一例である。
【図１９】記憶部に記憶されている看板特徴量テーブルＴ６の一例である。
【図２０】記憶部に記憶されている看板属性テーブルＴ７の一例である。
【図２１】第１の実施形態における画像処理装置の処理の流れを示すフローチャートである。
【図２２】第２の実施形態における測位システムの概略ブロック図である。
【図２３】第２の実施形態における端末装置のハードウェア構成を示す概略ブロック図である。
【図２４】第２の実施形態における画像処理装置のハードウェア構成を示す概略ブロック図である。
【図２５】第２の実施形態における画像処理装置の制御部の論理的な構成を示す概略ブロック図である。
【図２６】第２の実施形態における地図画像記憶装置のハードウェア構成を示す概略ブロック図である。
【図２７】第２の実施形態における看板検索装置のハードウェア構成を示す概略ブロック図である。
【図２８】第２の実施形態における看板検索装置の制御部の論理的な構成を示す概略ブロック図である。
【発明を実施するための形態】
【００１６】
以下、本発明の実施形態について、図面を参照して詳細に説明する。本発明の各実施形態における看板は、長方形の形をした板に文字または図形が描かれて、見るものに対して何らかの情報を伝えるものである。従って、本発明の各実施形態における看板は、宣伝又は広告のために使われる板状の物体だけでなく、標識（例えば、道路標識）、設備または機器に付けられている銘板及び案内板を含むものとする。
【００１７】
＜第１の実施形態＞
図１は、第１の実施形態における画像処理装置１のハードウェアの構成を示す概略ブロック図である。画像処理装置１は、入力部１０と、制御部２０と、記憶部３０と、表示部４０とを備える。
入力部１０は、看板の撮影画像データ（以下、撮影画像データと称す）ＰＩの入力を受け付ける。入力部１０は、受け付けた撮影画像データＰＩを制御部２０に出力する。ここで、撮影画像データは、ある看板が斜めから撮影されることにより得られた画像データである。
【００１８】
制御部２０は、入力部１０から入力された撮影画像データＰＩに基づいて、看板の正面の画像である看板正面画像を生成し、生成した看板正面画像のデータ（以下、正面画像データと称す）ＦＩを記憶部３０に記憶させる。
そして、制御部２０は、生成した正面画像データＦＩが示す画像の特徴量に基づいて、看板が設定されている位置を示す位置情報Ｌを取得し、取得した位置情報Ｌを表示部４０に表示させる。
【００１９】
図２は、第１の実施形態における制御部２０の論理的な構成を示す概略ブロック図である。制御部２０は、ノイズ除去部２１と、領域分割部２２と、看板領域選択部２３と、頂点抽出部２４と、頂点選出部２５と、正面画像生成部２６と、属性取得部２７とを備える。
【００２０】
ノイズ除去部２１は、入力部１０から入力された撮影画像データＰＩに対して、一例としてＭｅｄｉａｎフィルタを施し、撮影画像データＰＩを平滑化した平滑化画像データを生成する。これにより、ノイズ除去部２１は、看板画像データＰＩを平滑化することにより看板画像データＰＩからノイズを除去することができる。ノイズ除去部２１は、生成した平滑化画像データを領域分割部２２と、頂点抽出部２４とへ出力する。
【００２１】
なお、本実施形態におけるノイズ除去部２１は、Ｍｅｄｉａｎフィルタを用いたが、これに限らず、フィルタはノイズを低減するフィルタであればよい。
【００２２】
領域分割部２２は、ノイズ除去部２１から入力された平滑化画像データを、ＭｅａｎＳｈｉｆｔ（平均値シフト）法を用いて、類似する色情報をもつ複数の画像領域（以下、セグメントと称する）に分割する。ここで、本実施形態において、画像の領域分割に用いるＭｅａｎＳｈｉｆｔ（平均値シフト）法は、Comaniciu, D. and Meer, P. (2002). Mean Shift: A Robust Approach Toward Feature Space Analysis. IEEE Transactions on Pattern Analysis and Machine Intelligence, 24(5):603-619に開示されている。
【００２３】
看板はおもに単色の文字、単色の背景で構成されるので、領域分割部２２は看板が撮影された撮影画像を色情報にもとづいて、複数のセグメントに分割（以後、セグメンテーションとも称す）する。
領域分割部２２は、分割したセグメントを示す分割セグメント情報を看板領域選択部２３に出力する。また、領域分割部２２は、分割したセグメントの画像のファイル（セグメント画像ファイル）を記憶部３０に記憶させる。
【００２４】
看板領域選択部２３は、領域分割部２２から入力された分割セグメント情報が示すセグメントの矩形度とエッジ比と色差とに基づいて、画像から看板の画像を表す看板領域を選択する。看板領域選択部２３は、選択した看板領域を示す看板領域情報を頂点選出部２５に出力する。
【００２５】
頂点抽出部２４は、ノイズ除去部２１から入力された平滑化画像データ画像から四角形の画像領域を形成する四頂点を抽出する。頂点抽出部２４は、抽出した四頂点を記憶部３０に記憶させる。
【００２６】
頂点選出部２５は、看板領域選択部２３から入力された看板領域情報が示す看板領域に基づいて、頂点抽出部２４が抽出した四頂点から看板領域の四頂点を選出する。頂点選出部２５は、選出した看板領域の四頂点の座標を正面画像生成部２６に出力する。
【００２７】
正面画像生成部２６は、頂点選出部２５により選出された看板領域の四頂点の座標に基づいて、看板領域の画像から看板の正面画像を生成する。
正面画像生成部２６は、生成した看板の正面画像を、正面看板画像ファイルとして記憶部３０に記憶させる。また、正面画像生成部２６は、生成した看板の正面画像データＦＩを属性取得部２７に出力する。
【００２８】
属性取得部２７は、正面画像生成部２６により入力された看板の正面画像データＦＩが示す看板領域の特徴量を算出し、算出した特徴量に基づいて、看板の属性を示す属性情報Ａを記憶部３０から取得する。属性取得部２７は、取得した属性情報Ａを表示部４０に表示させる。
【００２９】
図３は、第１の実施形態における看板領域選択部２３の構成を示す概略ブロック図である。看板領域選択部２３は、面積上位領域抽出部２３＿１と、色差算出部２３＿２と、エッジ比算出部２３＿３と、矩形度算出部２３＿４と、スコア算出部２３＿５と、スコア最大領域抽出部２３＿６とを備える。
【００３０】
面積上位領域抽出部２３＿１は、領域分割部２２から入力された分割セグメント情報を用いて各セグメントの面積を算出する。そして、面積上位領域抽出部２３＿１は、分割セグメント情報が示す分割セグメントのうちから、面積の大きい上位１０個のセグメント（以下、面積上位１０セグメントと称す）を抽出する。これにより、面積上位領域抽出部２３＿１は、分割された画像領域を、面積の大きい順に上位１０領域を抽出する。
【００３１】
なお、面積上位領域抽出部２３＿１は、セグメントを１０領域分抽出したが、これに限らず、９以下の領域でもよいし、１１以上の領域でもよい。
【００３２】
面積上位領域抽出部２３＿１は、抽出した面積上位１０セグメントに対して、セグメントの面積の大きい順にセグメントを識別するセグメントＩＤを振る。そして、面積上位領域抽出部２３＿１は、セグメントＩＤ、セグメント画像ファイルのファイル名、面積及びエッジのピクセル座標を関連付けて記憶部３０のセグメント画像テーブルＴ１に記憶させる。
面積上位領域抽出部２３＿１は、抽出した面積上位１０セグメントを色差算出部２３＿２と、エッジ比算出部２３＿３と、矩形度算出部２３＿４とへ出力する。
【００３３】
色差算出部２３＿２は、面積上位領域抽出部２３＿１から入力された面積上位１０セグメントに対して、各セグメントと当該セグメントの周辺領域との平均色差を算出する。具体的には、例えば、色差算出部２３＿２は、セグメントのエッジを構成する各ピクセルについて、上下左右４近傍のピクセルとのＬ＊ａ＊ｂ＊表色系における色差（Ｌ＊、ａ＊、ｂ＊成分それぞれの差分の二乗の和の平方根）をそれぞれ算出する。なお、Ｌ＊ａ＊ｂ＊表色系以外の表色系でもよい。
【００３４】
そして、色差算出部２３＿２は、算出した４つの値のうち最も大きいものをそのピクセルにおける色差とする。更に、色差算出部２３＿２は、セグメントエッジを構成する全てのピクセルにおける色差の平均値を平均色差として算出する。
ここで、平均色差は、看板内部の文字又は図形と、看板内部の背景部分とでは色差が大きいことに基づいて、数式化されたものである。
【００３５】
色差算出部２３＿２は、算出したセグメント毎の平均色差を、面積上位１０セグメント分の平均色差の最大値で正規化する。色差算出部２３＿２が面積上位１０セグメント分の平均色差の最大値を分母にして正規化するので、正規化後の平均色差の最大値は１である。
色差算出部２３＿２は、正規化後の平均色差を正規化色差Ｃとして、面積上位１０セグメント分の正規化色差Ｃをスコア算出部２３＿５に出力する。
【００３６】
エッジ比算出部２３＿３は、面積上位領域抽出部２３＿１から入力された面積上位１０セグメントに対して、セグメントの内側のエッジ長に対する該セグメントの外側のエッジ長の比（内側長さ／外側長さ）をエッジ比として算出する。ここで、セグメントの内側のエッジ長とは、セグメント内部に存在する内部セグメントの外縁のピクセル数である。また、セグメントの外側のエッジ長とは、セグメント全体の外縁のピクセル数である。すなわち、エッジ比は、セグメント内部に存在する内部セグメントの外縁のピクセル数に対するセグメント全体の外縁のピクセル数の比といえる。
ここで、看板内部には文字又は図形が存在し、内部セグメントの外縁は、その文字又は図形の輪郭となる。その文字又は図形の輪郭が通常入り組んでいるため、セグメントが看板領域の場合の該セグメントの内側のエッジ長は、面積が同一で輪郭が入り組んでいないセグメントのエッジ長よりも長くなる。エッジ比は、セグメントが看板領域の場合に、１に近くなることを利用して、数式化されたものである。
【００３７】
エッジ比算出部２３＿３は、算出した各エッジ比を、面積上位１０セグメント分のエッジ比の最大値で正規化する。エッジ比算出部２３＿３が面積上位１０セグメント分のエッジ比の最大値で正規化するので、正規化後のエッジ比の最大値は１である。
エッジ比算出部２３＿３は、正規化後のエッジ比を正規化エッジ比Ｅとして、面積上位１０セグメント分の正規化エッジ比Ｅをスコア算出部２３＿５に出力する。
【００３８】
矩形度算出部２３＿４は、面積上位領域抽出部２３＿１から入力された面積上位１０セグメントのそれぞれに対し、セグメントの垂直エッジピクセル数Ｎｖと、セグメントの水平エッジピクセル数Ｎｈと、セグメントを構成する画素数であるセグメントピクセル数Ｎｐとを算出する。ここで、セグメントピクセル数は、セグメントの面積を反映している。
【００３９】
矩形度算出部２３＿４は、算出したセグメントの垂直エッジピクセル数Ｎｖとセグメントの水平エッジピクセル数Ｎｈとセグメントピクセル数Ｎｐとに基づいて、面積上位１０セグメント分の矩形度Ｋを算出する。
具体的には、例えば、矩形度算出部２３＿４は、以下の式（１）に従って、矩形度Ｋを算出する。
【００４０】
Ｋ＝Ｎｖ×Ｎｈ／Ｎｐ …（１）
【００４１】
上式（１）の矩形度Ｋは、看板の外形は、長方形のものが多いので、セグメントの垂直エッジピクセル数と水平エッジピクセル数を掛け合わせたものを、セグメント内ピクセル数で除したものがほぼ１となることを利用して数式化されたものである。
矩形度算出部２３＿４は、算出した面積上位１０セグメント分の矩形度Ｋを、スコア算出部２３＿５に出力する。
【００４２】
スコア算出部２３＿５は、色差算出部２３＿２から入力された正規化色差Ｃと、エッジ比算出部２３＿３から入力された正規化エッジ比Ｅと、矩形度算出部２３＿４から入力された矩形度Ｋとに基づいて、面積上位１０セグメント分のスコアＳを算出する。
具体的には、例えば、スコア算出部２３＿５は、以下の式（２）に従って、スコアＳを算出する。
【００４３】
Ｓ＝Ｃ＋Ｋ−｜Ｅ−ｄ｜ …（２）
【００４４】
ここで、上式（２）の定数ｄ（例えば、０．６）は、正規化項である。
スコア算出部２３＿５は、算出した各スコアＳを、記憶部３０のセグメント画像テーブルＴ１内の該当するセグメントＩＤの箇所に追記する。
【００４５】
スコア最大領域抽出部２３＿６は、スコア算出部２３＿５から入力された面積上位１０セグメント分のスコアＳのうち、スコアＳが最大となるセグメントＩＤを記憶部３０に記憶されているセグメント画像テーブルＴ１から抽出する。
スコア最大領域抽出部２３＿６は、抽出したセグメントＩＤをスコア最大セグメントＩＤとして、頂点選出部２５に出力する。
【００４６】
図４は、記憶部３０に記憶されているセグメント画像テーブルＴ１の一例である。同図のセグメント画像テーブルＴ１には、セグメントＩＤ、セグメント画像ファイルのファイル名、セグメントの面積、スコアＳ及びエッジのピクセル座標の組が示されている。例えば、セグメントＩＤが１の場合、セグメント画像ファイルのファイル名は「ＥＤＧＥ００１．ＢＭＰ」で、面積が「２３５３ｐｉｘｅｌｓ」で、スコアＳが「１．５４」で、エッジのピクセル座標が「（１０，１４０），…，（５０，２００）」あることが示されている。
【００４７】
図５は、正規化色差、正規化エッジ比、矩形度又はスコアを示したグラフの一例である。縦軸は、正規化色差Ｃ、正規化エッジ比Ｅ、矩形度Ｋ又はスコアＳであり、横軸は、領域番号である。この例では、セグメントＩＤは、セグメントの面積の大きい順につけられている。すなわちセグメントＩＤが１のセグメントの面積が最も大きく、セグメントＩＤが１０のセグメントの面積が最も小さい。
【００４８】
同図において、正規化色差の折れ線Ｏ４１と、正規化エッジ比の折れ線Ｏ４２、矩形度の折れ線Ｏ４３、スコアの折れ線Ｏ４４とが示されている。同図では、スコアが最大となるセグメントＩＤが３であることが示されている。同図の例では、スコア最大領域抽出部２３＿６は、セグメントｉｄが３のセグメントを看板領域として抽出する。
【００４９】
＜頂点抽出部２４の処理の詳細＞
続いて、頂点抽出部２４の処理の詳細について説明する。図６は、第１の実施形態における頂点抽出部２４の構成を示す概略ブロック図である。
頂点抽出部２４は、線分抽出部２４＿１と、エッジ限定部２４＿２と、交点抽出部２４＿３と、四交点選出部２４＿４とを備える。
【００５０】
線分抽出部２４＿１は、ノイズ除去部２１から入力された平滑化画像データが示す平滑化画像から線分を抽出する。具体的には、例えば、線分抽出部２４＿１は、平滑化画像データが示す平滑化画像に対してＣａｎｎｙエッジ抽出を行い、エッジの点の座標を示すエッジデータを生成する。
【００５１】
線分抽出部２４＿１によるＣａｎｎｙエッジ抽出は、具体的には、例えば、以下の処理を行う。線分抽出部２４＿１は、平滑化画像データに対して、ガウシアンフィルタを施して平滑化する。次に、線分抽出部２４＿１は、ソーベルフィルタを用いてガウシアンフィルタ後の画像内のエッジ強度を算出する。また、エッジの勾配方向を４方向に振り分ける（量子化する）。
【００５２】
線分抽出部２４＿１は、算出された画素毎のエッジの強度と、エッジにおける量子化された勾配方向とに基づいて、エッジを細線化する。具体的には、線分抽出部２４＿１は、画素毎に、エッジの画素と、エッジの勾配方向の隣接画素２つとを比較し、最大でなければその画素値を０とする。
【００５３】
線分抽出部２４＿１は、画素毎に、２つの閾値（第１の閾値＞第２の閾値）に基づいて、画素毎にエッジであるか否か判定する。具体的には、線分抽出部２４＿１は、第１の閾値より大きいエッジ強度の画素と、第２の閾値以上第１の閾値以下のエッジ強度の画素のうちエッジに結合している画素とをエッジと判定する。また、線分抽出部２４＿１は、それ以外は、エッジでないと判定する。
【００５４】
そして、線分抽出部２４＿１は、生成したエッジデータに対して、Ｈｏｕｇｈ変換を行い、エッジ画像から線分を抽出する。線分抽出部２４＿１は、抽出した線分に対して線分を識別する線分ＩＤを割り振り、線分ＩＤと線分の始点と終点とを関連付けて記憶部３０の線分テーブルＴ２に記憶させる。
【００５５】
ここで、線分抽出部２４＿１によるＨｏｕｇｈ変換は、具体的には、例えば、以下の処理により行われる。まず、線分抽出部２４＿１は、ρ−θパラメータ空間を表す２次元配列Ｖを用意し、その値を全てに初期化する（処理１）。次に、線分抽出部２４＿１は、エッジデータが示すエッジの点の座標値を直線ρ＝ｘｃｏｓθ＋ｙｓｉｎθの変数ｘ、変数ｙに代入した式を変数ρと変数θに関する方程式とみなし、変数θを一定間隔Δθずつ増加させながら、その変数ρと変数θに関する方程式をみたす変数ρを算出する（処理２）。
【００５６】
次に、線分抽出部２４＿１は、２次元配列Ｖにおいて、算出したρとθの組を表す要素の数を１増加させる（処理３）。そして、線分抽出部２４＿１は、全てのエッジの点で上記処理２と処理３の処理を行った後に、２次元配列Ｖが極大となる要素が示す変数ρと変数θの組を１以上抽出する。このρとθの組毎に、変数ρと変数θを直線ρ＝ｘｃｏｓθ＋ｙｓｉｎθの式に代入することにより、線分の式を得る。
【００５７】
エッジ限定部２４＿２は、記憶部３０から看板領域のエッジのピクセル座標を読み出す。エッジ限定部２４＿２は、看板領域のエッジのピクセル座標に基づいて、線分抽出部２４＿１により抽出された線分のうち、看板領域として選ばれたスコア最大セグメントから予め決められた閾値距離以上の距離にある線分を除外する。
【００５８】
具体的には、例えば、エッジ限定部２４＿２は、記憶部３０の線分テーブルＴ２から各線分ｉｄに関連付けられた始点と終点とを読み出しては、以下の処理を行う。エッジ限定部２４＿２は、看板領域のエッジのピクセル座標から、看板領域の重心を算出する。そして、エッジ限定部２４＿２は、看板領域の重心と線分との距離を算出する。
【００５９】
そして、エッジ限定部２４＿２は、算出した距離が予め決められた閾値距離以上であれば、記憶部３０の線分テーブルＴ２内の線分ｉｄに関連付けられた線分が看板領域の近傍であるか否かを示す近傍判定を偽と追記する。一方、エッジ限定部２４＿２は、算出した距離が予め決められた閾値距離未満であれば、記憶部３０の線分テーブルＴ２内の線分ｉｄに関連付けられた近傍判定を真と追記する。エッジ限定部２４＿２は、上記処理を、線分抽出部２４＿１により抽出された線分の分だけ繰り返す。
エッジ限定部２４＿２は、閾値距離以上の距離にある線分を除外することにより限定された線分を示す限定線分情報を交点抽出部２４＿３に出力する。
【００６０】
交点抽出部２４＿３は、エッジ限定部２４＿２から入力された限定線分情報が示す限定された線分を直線化し、直線化した線分の交点を抽出する。交点抽出部２４＿３は、各交点に交点を識別する交点ＩＤを割り振り、交点ＩＤと交点を形成する２つの線分の線分ＩＤと交点の座標とを関連付けて記憶部３０の交点テーブルＴ３に記憶させる。
【００６１】
四交点選出部２４＿４は、記憶部３０の交点テーブルＴ３に記憶されている交点の４つの組み合わせのうち、当該組み合わせを構成する４つの交点を頂点とする四角形が有する内角がいずれも１８０度未満である組み合わせを選出する。
具体的には、例えば、四交点選出部２４＿４は、記憶部３０の交点テーブルＴ３に記憶されている交点の座標を４つ取得し、４つの交点を頂点とする四角形が有する内角を全て算出する。四交点選出部２４＿４は、その四角形が有する内角がいずれも１８０度未満である場合、四角形が有する内角がいずれも１８０度未満であるか否かを示す凸包判定フラグを真とし、上記以外の場合、凸包判定フラグを偽とする。
【００６２】
そして、四交点選出部２４＿４は、交点の４つの組み合わせ全てに四角形ＩＤを割り振り、四角形ＩＤと頂点座標列と、凸包判定フラグとを関連付けて記憶部３０の四角形テーブルＴ４に記憶させる。四交点選出部２４＿４は、上記処理を、交点の４つの組がとりうる全ての組み合わせ分、繰り返す。
【００６３】
図７は、線分抽出部２４＿１の処理を説明するための図である。同図において、線分抽出部２４＿１に入力される画像Ｇ８１の一例が示されている。また、画像Ｇ８１からエッジが抽出されたエッジ画像Ｇ８２が示されている。すなわち、エッジ画像Ｇ８２は、線分抽出部２４＿１により抽出されたエッジデータを画像として表示したものである。また、画像Ｇ８２から線分が抽出された線分抽出画像Ｇ８３が示されている。すなわち、線分抽出画像Ｇ８３は、線分抽出部２４＿１により抽出された線分を画像として表示したものである。
図７の例のように、線分抽出部２４＿１は、入力された画像からエッジを抽出し、エッジの点の座標を示すエッジデータから線分を抽出する。
【００６４】
図８は、エッジ限定部２４＿２の処理を説明するための図である。同図において、図７で示された線分抽出画像Ｇ８３と、看板領域のエッジのピクセル座標（２０，１００），…，（２００，４００）とが示されている。ここで、看板領域のエッジのピクセル座標は、ｉｊ座標系における座標である。また、同図において、線分が抽出された画像Ｇ８３から看板領域として選ばれたスコア最大セグメントから一定以上の距離にある線分が除外された線分限定画像Ｇ９１が示されている。
【００６５】
図８の例のように、エッジ限定部２４＿２は、看板領域のエッジのピクセル座標に基づいて、線分抽出画像Ｇ８３中に示された線分のうち、看板領域として選ばれたスコア最大セグメントから予め決められた閾値距離以上の距離にある線分を除外する。
【００６６】
図９は、記憶部３０に記憶されている線分テーブルＴ２の一例である。同図に線分テーブルＴ２において、線分ＩＤ、始点、終点、近傍判定の組が示されている。例えば、線分ｉｄが１の場合、始点が（４３，７４）で、終点が（１９４，５２３）で、近傍判定が「真」であることが示されている。すなわち、線分ｉｄが１の線分は、エッジ限定部２４＿２により限定された線分に含まれる。
【００６７】
図１０は、交点抽出部２４＿３の処理を説明するための図である。同図において、図８で示された線分限定画像Ｇ９１と、線分限定画像Ｇ９１中の線分が直線化された直線化画像Ｇ１１１と、直線化画像Ｇ１１１における直線の交点が抽出された交点抽出画像Ｇ１１２とが示されている。
図１０の例のように、交点抽出部２４＿３は、エッジ限定部２４＿２により限定された線分を直線化し、直線化した線分の交点を抽出する。
【００６８】
図１１は、記憶部３０に記憶されている交点テーブルＴ３の一例である。同図の交点テーブルＴ３において、交点ＩＤ、線分ＩＤ１、線分ＩＤ２の組が示されている。ここで、線分ＩＤ１は、交点ＩＤが示す交点を形成する二つの線分のうち、一つの線分を識別する線分ＩＤであり、線分ＩＤ２は、当該交点ＩＤが示す交点を形成する二つの線分のうち、もう一方の線分を識別する線分ＩＤである。例えば、交点ＩＤが１の場合、線分ＩＤ１が「１」で、線分ＩＤ２が「２」であることが示されている。
【００６９】
図１２は、記憶部３０に記憶されている四角形テーブルＴ４の一例である。同図の四角形テーブルＴ４において、四角形ＩＤ、頂点座標列、凸包判定フラグの組が示されている。例えば、四角形ＩＤが１の場合、「（１１，３９）、（５０２，６４）、（９８２，７６５）、（５４，８７４）」であり、凸包判定フラグが真であることが示されている。
ここで、頂点座標列は、四角形を構成する４つの頂点の座標の列である。また、凸包判定フラグが真である場合、対応する四角形が有する内角がいずれも１８０度未満であることを示し、凸包判定フラグが偽である場合、対応する四角形が有する内角のいずれかが１８０度以上であることを示している。
【００７０】
＜頂点選出部２５の処理の詳細＞
続いて、頂点選出部２５における処理の詳細について説明する。頂点選出部２５は、看板領域選択部２３のスコア最大領域抽出部２３＿６から入力されたスコア最大セグメントＩＤに関連付けられたエッジのピクセル座標を、記憶部３０のセグメント画像テーブルＴ１から読み出す。
【００７１】
頂点選出部２５は、記憶部３０に記憶されている四角形テーブルＴ４から、凸包判定フラグが真である頂点座標列を読み出す。
頂点選出部２５は、読み出した頂点座標列毎に、以下の処理を行う。頂点選出部２５は、その頂点座標列に含まれる４つの座標を頂点とする四角形のエッジが通るピクセルの座標を算出する。
【００７２】
頂点選出部２５は、算出したピクセルの座標と、スコア最大セグメントＩＤに関連付けられたエッジのピクセル座標とを比較し、重複する座標の数を計数する。
頂点選出部２５は、以上の処理を読み出した頂点座標列毎に行った後に、頂点選出部２５は、重複する座標の数が最大の場合の頂点座標列（四角形を構成する４つの頂点の座標の列）を抽出する。これにより、頂点選出部２５は、四つの頂点を抽出することができる。
【００７３】
図１３は、頂点選出部２５の処理を説明するための図である。同図において、選定した四角形１３１と、スコア最大セグメントのエッジ１３２とが示されている。ここで、選定した四角形１３１とは、凸包判定フラグが真である頂点座標列の各座標を頂点とする四角形のことである。
【００７４】
また同図において、一つの座標空間において、選定した四角形１３１とスコア最大セグメントのエッジ１３２とを重ねた図１３３とが示されている。そして、選定した四角形１３１とスコア最大セグメントのエッジ１３２とが重なるピクセルの数が一番多くなる四角形を構成する四頂点を選出することが示されている。
【００７５】
図１３の例において、頂点選出部２５は、選定した四角形１３１の外縁を構成するピクセルの座標群と、スコア最大セグメントのエッジ１３２の座標群との間で、重複する座標の数が最大の場合における四角形を抽出し、抽出した四角形の４つの頂点を選出する。
【００７６】
図１４は、第１の実施形態における正面画像生成部２６の概略ブロック図である。正面画像生成部２６は、座標変換部２６＿１と、画素値生成部２６＿２とを備える。
座標変換部２６＿１は、頂点選出部２５から入力された看板領域の四頂点の座標を、長方形を構成する四つの座標に座標変換する。座標変換部２６＿１は、座標変換したことにより得られた四つの座標を画素値生成部２６＿２に出力する。
【００７７】
画素値生成部２６＿２は、座標変換部２６＿１から入力された四つの座標に基づいて、看板領域の画素値から座標変換後の長方形内の画素値を生成する。具体的には、例えば、画素値生成部２６＿２は、看板領域を予め決められた分割方式（例えば、横×縦４×３）で、各分割領域に分割する。同様に、画素値生成部２６＿２は、座標変換後の長方形内を看板領域と同じ分割方式（例えば、４×３）で、各分割領域に分割する。そして、画素値生成部２６＿２は、看板領域の分割領域の色情報を、対応する長方形内の分割領域の色情報とする。
画素値生成部２６＿２は、座標変換後の長方形内の画素値を記憶部３０に記憶させる。
【００７８】
図１５は、座標変換部２６＿１の処理を説明するための図である。同図は、看板を撮像した際のカメラの位置原点（０，０，０）とするｘｙｚ座標系であり、平面（０，０，ｈ）は、カメラの撮像面である。頂点Ｐａ´、頂点Ｐｂ´、頂点Ｐｃ´及び頂点Ｐｄ´からなる長方形１５２は、看板の外縁をなす長方形である。平面（０，０，ｈ）において四角形１５１を構成する頂点Ｐａ、Ｐｂ、Ｐｃ及びＰｄが示されている。
【００７９】
頂点Ｐａ´、頂点Ｐｂ´、頂点Ｐｃ´及び頂点Ｐｄ´からなる長方形が、原点にあるカメラから撮像された場合、頂点Ｐａ´、頂点Ｐｂ´、頂点Ｐｃ´及び頂点Ｐｄ´からなる長方形は平面（０，０，ｈ）上に射影され、平面（０，０，ｈ）において、頂点Ｐａ、頂点Ｐｂ、頂点Ｐｃ及び頂点Ｐｄからなる四角形が形成される。
すなわち三次元空間中の頂点Ｐａ´、頂点Ｐｂ´、頂点Ｐｃ´及び頂点Ｐｄ´からなる長方形は、射影変換された結果、頂点Ｐａ、頂点Ｐｂ、頂点Ｐｃ及び頂点Ｐｄを頂点とする四角形に変換されたものとする。
【００８０】
図１５の例において、逆射影変換により、座標変換部２６＿１は、看板領域の外縁をなす四角形の四頂点（頂点Ｐａ、頂点Ｐｂ、頂点Ｐｃ及び頂点Ｐｄ）の座標から、内角がいずれも９０度である長方形の四頂点（頂点Ｐａ´、頂点Ｐｂ´、頂点Ｐｃ´及び頂点Ｐｄ´）の座標を算出する。
【００８１】
具体的には、例えば、座標変換部２６＿１は、以下の処理に従って、長方形の四頂点（頂点Ｐａ´、頂点Ｐｂ´、頂点Ｐｃ´及び頂点Ｐｄ´）の座標を算出する。
図１５において、頂点Ｐａ´、頂点Ｐｂ´、頂点Ｐｃ´及び頂点Ｐｄ´の座標と、頂点Ｐａ、頂点Ｐｂ、頂点Ｐｃ及び頂点Ｐｄの座標との関係をベクトル表記で表すと以下のように表される。
【００８２】
【数１】
【００８３】
ここで、Ｐａ´、Ｐａ、Ｐｂ´、Ｐｂ、Ｐｃ´、Ｐｃ、Ｐｄ´、Ｐｄはベクトルであり、ｖ１、ｖ２、ｖ３及びｖ４は係数である。ここで、四角形１５１を構成する頂点（Ｐａ、Ｐｂ、Ｐｃ及びＰｄ）の座標は既知であるから、座標変換部２６＿１は、係数ｖ１、ｖ２、ｖ３及びｖ４を算出し、係数ｖ１、ｖ２、ｖ３及びｖ４を用いて長方形１５２を構成する頂点（Ｐａ´、Ｐｂ´、Ｐｃ´及びＰｄ´）の座標を算出する。
【００８４】
このとき、四角形１５１の対角線の交点Ｐｏは、ベクトル表記で、以下の２つの式で表される。
【００８５】
【数２】
【００８６】
ここで、ｕ１及びｕ２は係数である。座標変換部２６＿１は、上式（９）と（１０）からｕ１及びｕ２を算出し、算出したｕ１又はｕ２を用いて四角形１５１の対角線の交点Ｐｏの座標を算出する。
射影変換前後で、四角形１５１の対角線の交点Ｐｏが一致するので、以下の式が導出される。
【００８７】
【数３】
【００８８】
ここで、式（９）に式（３）と式（４）が代入され、式（１０）に式（５）と式（６）が代入されると、以下のベクトル表現の式が導出される。
【００８９】
【数４】
【００９０】
式（１１）と式（１２）の関係は、平面（０，０，ｈ）上の点の関係である。そのため、式（１１）と式（１２）の関係のｚ成分についての関係式において、ｚ＝ｈであるから、以下の式が得られる。
【００９１】
【数５】
【００９２】
式（１１）と式（１３）より、係数ｖ１と係数ｖ２とが以下のように算出される。
【００９３】
【数６】
【００９４】
また、式（１２）と式（１４）より、係数ｖ３と係数ｖ４とが以下のように算出される。
【００９５】
【数７】
【００９６】
また、頂点Ｐａ´、四角形１５１の対角線の交点Ｐｏ及び頂点Ｐｂ´を頂点とする三角形は二等辺三角形であるから、交点Ｐｏから頂点Ｐａ´までの距離と、交点Ｐｏから頂点Ｐｂ´までの距離が等しいので、以下の式が導出される。
【００９７】
【数８】
【００９８】
座標変換部２６＿１は、式（１５）〜（１８）に従って、係数ｖ１、ｖ２、ｖ３及びｖ４を算出する。また、座標変換部２６＿１は、算出した係数ｖ１、ｖ２、ｖ３及びｖ４から、頂点Ｐａ´、頂点Ｐｂ´、頂点Ｐｃ´及び頂点Ｐｄ´の座標を算出する。また、座標変換部２６＿１は、式（１９）に従って、ｈを算出する。
なお、座標変換部２６＿１は、次の式（２０）に従って、ｈを算出してもよい。
【００９９】
【数９】
【０１００】
ここで、頂点Ｐｂ´から頂点Ｐａ´までの線分と、頂点Ｐｂ´から頂点Ｐｃ´までの線分とが成す角度が９０度であるので、頂点Ｐｂ´から頂点Ｐａ´までのベクトルと頂点Ｐｂ´から頂点Ｐｃ´までのベクトルの内積が０である。この内積が０であることをベクトル表記で表すと、上式（２０）が導出される。
【０１０１】
図１６は、画素値生成部２６＿２の処理を説明するための図である。同図において、頂点Ｐａ、Ｐｂ、Ｐｃ及びＰｄを頂点とする四角形１５１が、４×３の領域に分割されている。また、頂点Ｐａ´、Ｐｂ´、Ｐｃ´及びＰｄ´を頂点とする長方形１５２が、同様に４×３の領域に分割されている。四角形Ｒ１６２の領域Ｒ１６１は、４×３の領域に分割された分割領域のうちの一つの領域である。長方形１５２の領域Ｒ１６２に、４×３の領域に分割された分割領域のうちの一つの領域である。
【０１０２】
図１６の例において、画素値生成部２６＿２は、四角形１５１および長方形１５２を、それぞれ長辺を４分割、短辺を３分割した１２個の分割領域に分割する。そして、画素値生成部２６＿２は、長方形１５２の分割領域の色情報を、対応する四角形１５１の分割領域の色情報とする。例えば、画素値生成部２６＿２は、長方形１５２の領域Ｒ１６２の色情報を、四角形１５１の領域Ｒ１６１の色情報とする。これにより、画素値生成部２６＿２は、長方形内の色情報を生成する。
【０１０３】
図１７は、第１の実施形態における属性取得部２７の構成を示す概略ブロック図である。属性取得部２７は、特徴量算出部２７＿１と、特徴量照合部２７＿２と、属性読出部２７＿３とを備える。
【０１０４】
ここで、記憶部３０には、看板が撮像された看板画像ファイルと、看板を識別する看板ＩＤと看板画像ファイルの名前とが関連付けられた看板画像ファイルテーブルＴ５が記憶されている。また、記憶部３０には、看板ＩＤと看板の正面画像から抽出された特徴量とが関連付けられた看板特徴量テーブルＴ６が記憶されている。また、記憶部３０には、看板ＩＤとその看板の属性情報とが関連付けられた看板属性テーブルＴ７が記憶されている。
【０１０５】
特徴量算出部２７＿１は、正面画像生成部２６から入力された看板の正面画像データＦＩから特徴量を抽出する。具体的には、例えば、特徴量算出部２７＿１は、ＳＩＦＴを用いて、看板の正面画像データＦＩから特徴量を抽出する。
【０１０６】
例えば、特徴量算出部２７＿１は、特徴抽出にＤｏＧ（Ｄｉｆｆｅｒｅｎｃｅ ｏｆ Ｇａｕｓｓｉａｎ）を用いることで拡大縮小に不変な特徴点を抽出し、輝度勾配のヒストグラムを用いることで特徴点近傍の回転を求める。そして、特徴量算出部２７＿１は、特徴点の周辺を４×４のブロックに分割し、ブロックごとに８方向の勾配ヒストグラムを求め、１２８次元の特徴ベクトルを特徴量として算出する。
【０１０７】
なお、特徴量算出部２７＿１における特徴量の抽出に、ＳＩＦＴを用いたが、これに限らず、ＳＵＲＦを用いてもよい。
特徴量算出部２７＿１は、抽出した特徴量を正面看板画像特徴量として特徴量照合部２７＿２へ出力する。
【０１０８】
特徴量照合部２７＿２は、特徴量算出部２７＿１から入力された正面看板画像特徴量にマッチする特徴量を記憶部３０に記憶されている看板特徴量テーブルＴ６より検索し、マッチした特徴量に関連付けられた看板ＩＤを読み出す。特徴量照合部２７＿２は、読み出した看板ＩＤを属性読出部２７＿３に出力する。
【０１０９】
属性読出部２７＿３は、特徴量照合部２７＿２から入力された看板ＩＤに関連付けられた属性情報Ａを看板属性テーブルＴ７から読み出す。属性読出部２７＿３は、読み出した属性情報Ａを表示部４０に表示させる。
【０１１０】
図１８は、記憶部３０に記憶されている看板画像ファイルテーブルＴ５の一例である。同図の看板画像ファイルテーブルＴ５において、看板ＩＤ及び看板画像ファイルの名前の組が示されている。例えば、看板ＩＤが１の場合、看板画像ファイルの名前は「ＣＡＦＥ．ＢＭＰ」である。
【０１１１】
図１９は、記憶部３０に記憶されている看板特徴量テーブルＴ６の一例である。同図の看板特徴量テーブルＴ６において、看板ＩＤ及び看板の正面画像の特徴量の組が示されている。例えば、看板ＩＤが１の場合、看板の正面画像の特徴量は「Ｃ１，…，Ｃ１２８」である。ここで、看板の正面画像の特徴量は、１２８次元のベクトルを表すために、１２８個の成分から構成されている。
【０１１２】
図２０は、記憶部３０に記憶されている看板属性テーブルＴ７の一例である。同図の看板属性テーブルＴ７において、看板ＩＤ、看板場所、業種、店舗名の組が示されている。例えば、看板ＩＤが１の場合、看板場所は「北緯１１１度、東経２２１度」で、業種は「飲食店」であり、店舗名が「居酒屋ＸＸＸ」であることが示されている。ここで、看板場所は緯度と経度の組み合わせで表されている。
【０１１３】
図２１は、第１の実施形態における画像処理装置１の処理の流れを示すフローチャートである。まず、ノイズ除去部２１は、撮影画像データＰＩのノイズを除去した平滑化画像データを生成する（ステップＳ１０１）。次に、領域分割部２２は、平滑化画像データが示す画像を、複数の画像領域に分割する（ステップＳ１０２）。次に、看板領域選択部２３は、分割された複数の画像領域から看板領域を選択する（ステップＳ１０３）。
【０１１４】
次に、頂点抽出部２４は、平滑化画像データから看板領域の四つの頂点の候補を抽出する（ステップＳ１０４）。次に、頂点選出部２５は、四つの頂点の候補から看板領域の四つの頂点を選出する（ステップＳ１０５）。次に、正面画像生成部２６は、看板領域の画像を、その看板の正面画像へ変換する（ステップＳ１０６）。次に、属性取得部２７は、看板の正面画像に基づいて、看板の位置を取得する（ステップＳ１０７）。以上で、本フローチャートの処理を終了する。
【０１１５】
以上、本実施形態の画像処理装置１は、看板が撮像された画像を複数のセグメントに分割し、分割したセグメントの矩形度とエッジ比と色差とに基づいて、複数のセグメントから看板セグメントを選択する。
これにより、画像処理装置１は、セグメントのエッジだけでなくセグメントの矩形度と色差とを用いて、分割したセグメントをスコア化しているので、看板が斜めから撮影された画像から看板セグメントを正確に抽出することができる。
【０１１６】
また、画像処理装置１は、画像から線分を抽出し、線分を延長して直線化する。そして、直線化した線分の交点から看板領域の四つの頂点の候補を求める。そして、画像処理装置１は、選択した看板セグメントの情報を用いて、看板領域の四つの頂点の候補から、看板領域の四つの頂点を選択する。
これにより、画像処理装置１は、看板セグメントの情報を用いて多数存在する看板領域の四つの頂点の候補を絞り込むことができるので、短時間で看板領域の四つの頂点を抽出することができる。
【０１１７】
また、画像処理装置１は、抽出した看板領域の四つの頂点から構成される四角形の看板領域を、内角の全てが直角の長方形の画像に変換する。すなわち、画像処理装置１は、看板が長方形であることを利用して逆射影変換することにより、斜めから撮影された看板領域の画像から看板の正面画像を得ることができる。
【０１１８】
また、画像処理装置１は、得られた看板の正面画像の特徴量を算出し、算出した特徴量と予め記憶部３０に記憶されている看板の正面画像の特徴量とを照合することにより、看板の位置を抽出することができる。
これによれば、画像処理装置１は、看板の正面画像を得ることができたことで看板の正面画像の特徴量を算出できるので、予め記憶部３０に記憶されている特徴量との照合の精度を高めることができる。その結果、画像処理装置１は、看板の正しい位置を取得することができる。
【０１１９】
なお、本実施形態の看板領域選択部２３は、画像中の画像領域の矩形度、該画像領域と該画像領域の周辺領域との色差、および該画像領域のエッジ比に基づいて、画像から看板領域を選択したが、これに限ったものではない。
看板領域選択部２３は、画像中の画像領域の矩形度、該画像領域と該画像領域の周辺領域との色差、または該画像領域のエッジ比のうち少なくもいずれか１つに基づいて、前記画像から看板の画像を表す看板領域を選択してもよい。
その一例として、看板領域選択部２３は、矩形度だけに基づいて、看板セグメントを抽出してもよい。具体的には、例えば、画像処理装置１の看板領域選択部２３は、矩形度が予め決められた範囲（例えば、０．６から０．７）のセグメントを看板セグメントとして抽出してもよい。
【０１２０】
また、別の例として、看板領域選択部２３は、セグメントとそのセグメントの周辺領域との色差だけに基づいて、看板セグメントを抽出してもよい。具体的には、例えば、看板領域選択部２３は、正規化された色差が予め決められた範囲（例えば、０．７から０．８）のセグメントを看板セグメントとして抽出してもよい。
【０１２１】
また、看板領域選択部２３は、画像領域の矩形度、該画像領域と該領域の周辺領域の色差または該画像領域のエッジ比のうち２つ以上の組に基づいて、画像領域から看板領域を選択してもよい。
例えば、看板領域選択部２３は、セグメントの矩形度とそのセグメントとそのセグメントの周辺領域との色差とに基づいて、看板のセグメントを抽出してもよい。具体的には、例えば、看板領域選択部２３は、矩形度が予め決められた範囲（例えば、０．６から０．８）であって正規化色差が予め決められた閾値（例えば、０．７）以上であるセグメントを看板セグメントとして抽出してもよい。
【０１２２】
また、看板領域選択部２３は、セグメントの矩形度とそのセグメントのエッジ比とに基づいて、看板のセグメントを抽出してもよい。また、例えば、画像処理装置１の看板領域選択部２３は、矩形度が予め決められた範囲（例えば、０．６から０．８）であって正規化エッジ比が予め決められた閾値（例えば、０．６）以上であるセグメントを看板セグメントとして抽出してもよい。
【０１２３】
また、看板領域選択部２３は、セグメントとそのセグメントの周辺領域との色差とそのセグメントのエッジ比とに基づいて、看板セグメントを抽出してもよい。具体的には、例えば、看板領域選択部２３は、正規化された色差が予め決められた範囲（例えば、０．６から０．８）であって正規化エッジ比が予め決められた閾値（例えば、０．６）以上であるセグメントを看板セグメントとして抽出してもよい。
以上についてまとめると、看板領域選択部２３は、画像中の画像領域の矩形度、該画像領域と該画像領域の周辺領域との色差、または該画像領域のエッジ比のうちいずれか１つまたは２つ以上の組に基づいて、当該画像から看板の画像を表す看板領域を選択すればよい。
【０１２４】
なお、画像処理装置１は、一つの看板領域から看板の位置を特定したが、これに限らず、複数の看板領域を抽出した場合には、複数の看板領域に基づいて、看板の位置を特定してもよい。
【０１２５】
なお、画像処理装置１は、四角形の看板領域を抽出したが、これに限らず、四角形を除く多角形の看板領域を抽出してもよい。その場合、例えば、画像処理装置１は、以下のようにすればよい。頂点抽出部２４は、画像から多角形の画像領域を形成する全ての頂点を抽出する。そして、頂点選出部２５は、看板領域選択部２３により選択された看板領域に基づいて、頂点抽出部２４が抽出した全ての頂点から看板領域の全ての頂点を選出する。
そして、座標変換部２６＿１は、頂点選出部２５により選出された看板領域の全ての頂点の座標を、逆射影変換により、当該看板領域を正面から見た多角形の頂点座標に変換する。そして、画素値生成部２６＿２は、変換した後の頂点座標に基づいて、看板領域の画素値から看板領域を正面から見た多角形内の画素値を生成する。
【０１２６】
＜第１の実施形態の変形例１＞
続いて、第１の実施形態の変形例１について説明する。第１の実施形態の変形例１における画像処理装置１は、検索部２８を更に備える。属性情報取得部２７の属性読出部２７＿３は、看板ＩＤに対応する店舗名（例えば、「居酒屋ＸＸＸ」）を読み出す。
検索部２８は、読み出した店舗名（例えば、「居酒屋ＸＸＸ」）を検索キーにして、インターネットを介して外部データベースを検索し、その検索結果またはその店舗名の店舗が行っているクーポン情報を取得する。そして、検索部２８は、取得した検索結果またはクーポン情報を表示部４０に表示する。これにより、ユーザは、その店舗に関する情報またはその店舗クーポン情報を得ることができる。
【０１２７】
＜第１の実施形態の変形例２＞
続いて、第１の実施形態の変形例２について説明する。第１の実施形態の変形例１における画像処理装置１は、看板画像中の文字または図形を特定し、特定した文字または図形を検索キーとして外部データベースを検索することにより、看板の関連情報を取得する。
【０１２８】
第１の実施形態の変形例１における画像処理装置１は、検索部２８ｂと文字特定部２９とを更に備える。文字図形特定部２９は、正面画像生成部２６により得られた正面画像に対し、ＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅａｄｅｒ）により文字または図形を特定する。
具体的には、例えば、記憶部３０は、予め文字を表す文字画像と文字とが関連付けられた文字テーブル及び図形を表す図形画像と図形とが関連付けられた図形テーブルを記憶している。文字図形特定部２９は、看板画像からエッジで囲まれた画像領域を抽出する。そして、文字図形特定部２９は、抽出した画像領域と文字テーブルに記憶されている文字画像と照合し、画像領域の文字を特定する。文字を特定できなかった場合には、文字図形特定部２９は、抽出した画像領域と図形テーブルに記憶されている図形画像と照合し、画像領域の図形を特定する。
【０１２９】
そして、検索部２８ｂは、特定した文字または図形を検索キーにインターネットを介して、外部データベースを検索し、検索結果を取得する。具体的には、例えば、文字図形特定部２９が「ＸＸＸカフェ」という文字を抽出した場合、検索部２８ｂは、それを検索キーにインターネットを介して、外部データベースを検索し、その店舗に関する情報（口コミ等）を取得する。そして、検索部２８ｂは、取得した検索結果（例えば、その店舗に関する情報）を表示部４０に表示する。これにより、ユーザは、その店舗に関する情報を得ることができる。
【０１３０】
また、検索部２８ｂは、看板画像をキーとして、インターネットを介して外部のデータベース中からその看板画像に類似する類似画像を検索し、その検索によりヒットしたその看板の提供元の企業のホームページまたは私的に書いたブログ等のホームページを取得する。そして、検索部２８ｂは、取得したホームページを表示部４０に表示する。
【０１３１】
これにより、画像処理装置１は、記憶部３０の看板特徴量テーブルに該当の看板がなく、何の看板か分からない場合であっても、その検索によりヒットしたその看板の提供元の企業のホームページまたは私的に書いたブログ等のホームページを取得することができるので、ユーザは、ヒットしたＷｅｂページによりその看板の情報を取得することができる。
【０１３２】
なお、変形例２は、変形例１に記載の看板特徴量による看板の特定とは独立しているので、画像処理装置１は、変形例１における看板属性による情報取得と、変形例２を組み合せて使ってもよい。
【０１３３】
＜第２の実施形態＞
続いて、第２の実施形態について説明する。図２２は、第２の実施形態における測位システム２の概略ブロック図である。測位システム２は、画像処理装置１ｂと、端末装置１００と、地図画像記憶装置３００と、看板検索装置４００とを備える。
端末装置１００は、看板を撮像し、看板が撮像された撮影画像データＰＩを画像処理装置１ｂへ無線送信する。
【０１３４】
画像処理装置１ｂは、端末装置１００から受信した撮影画像データＰＩから看板正面画像のデータである正面画像データＦＩを生成し、生成した正面画像データＦＩを看板検索装置４００へ送信する。
地図画像記憶装置３００には、地図画像データＭＩが記憶されている。地図画像記憶装置３００は、看板検索装置４００から受信した位置情報Ｌを伴った地図画像データＭＩの要求Ｒに応じて、その位置情報Ｌが示す位置の地図画像データＭＩを看板検索装置４００へ送信する。
【０１３５】
看板検索装置４００は、画像処理装置１ｂから受信した正面画像データＦＩから、看板の位置を抽出する。そして、看板検索装置４００は、看板の位置における地図画像データＭＩを地図画像記憶装置３００から取得する。更に、看板検索装置４００は、取得した地図画像データＭＩを用いて、看板の位置を地図上に重畳した重畳画像データＴＩを生成し、生成した重畳画像データＴＩを端末装置１００に無線送信する。
【０１３６】
端末装置１００は、看板検索装置４００から受信した重畳画像データＴＩを表示する。これにより、端末装置１００は、看板の位置を地図上に重畳した画像を表示するので、端末装置１００のユーザは、看板の位置を知ることができる。
【０１３７】
図２３は、第２の実施形態における端末装置１００のハードウェア構成を示す概略ブロック図である。端末装置１００は、記憶部１０１と、入力部１０２と、制御部１０３と、撮像部１０４と、通信部１０５と、表示部１０６とを備える。
記憶部１０１には、制御部１０３により実行されるプログラムが記憶されている。
入力部１０２は、シャッターボタンが押された旨の入力を受け付け、受け付けたシャッターボタンが押された旨を制御部１０３に出力する。また、入力部１０２は、看板位置を要求する看板位置要求を受け付け、受け付けた看板位置要求を制御部１０３に出力する。
【０１３８】
制御部１０３は、入力部１０２からシャッターボタンが押された旨が入力された場合、撮像部１０４に撮像させる。これにより、端末装置１００のユーザは、看板を撮像することができる。
制御部１０３は、撮像部１０４により看板が撮像された撮影画像データＰＩを記憶部１０１に記憶させる。制御部１０３は、入力部１０３から看板位置要求が入力された場合、記憶部１０１から撮影画像データＰＩを読み出し、読み出した撮影画像データＰＩを通信部１０５へ出力する。
【０１３９】
また、制御部１０３は、通信部１０５から入力された重畳画像データＴＩを表示部１０６に表示させる。
通信部１０５は、画像処理装置１ｂ及び看板検索装置４００と無線により通信可能である。通信部１０５は、制御部１０３から入力された撮影画像データＰＩを符号化し、符号化後の撮影画像データＰＩを変調し、変調後の撮影画像データＰＩを画像処理装置１ｂへ送信する。
また、通信部１０５は、無線により看板検索装置４００から受信した変調後の重畳画像データＴＩを復調し、復調後の重畳画像データＴＩを復号し、元の重畳画像データＴＩを生成する。そして、通信部１０５は、生成した重畳画像データＴＩを制御部１０３に出力する。
【０１４０】
図２４は、第２の実施形態における画像処理装置１ｂのハードウェア構成を示す概略ブロック図である。図２４の画像処理装置１ｂの構成は、図１の画像処理装置１の構成に対し、制御部２０が制御部２０ｂに変更され、通信部５０が追加されたものになっている。なお、図１の第１の実施形態における画像処理装置１と共通する要素には同一の符号を付し、その具体的な説明を省略する。
【０１４１】
通信部５０は、端末装置１００から無線により送信された変調後の撮影画像データＰＩを受信し、変調後の撮影画像データＰＩを復調し、復調後の撮影画像データＰＩを復号することにより、元の撮影画像データＰＩを得る。通信部５０は、得られた撮影画像データＰＩを制御部２０ｂに出力する。
また、通信部５０は、制御部２０ｂから入力された正面画像データＦＩを看板検索装置４００へ送信する。
【０１４２】
制御部２０ｂは、通信部５０から入力された撮影画像データＰＩから、正面画像データＦＩを抽出する。制御部２０ｂは、抽出した正面画像データＦＩを通信部５０へ出力し、正面画像データＦＩを通信部５０から看板検索装置４００を送信させる。
【０１４３】
図２５は、第２の実施形態における画像処理装置１ｂの制御部２０ｂの論理的な構成を示す概略ブロック図である。図２５の制御部２０ｂの構成は、図２の画像処理装置の構成に対し、属性取得部２７が削除されたものになっている。なお、図２の第１の実施形態における制御部２０と共通する要素には同一の符号を付し、その具体的な説明を省略する。
【０１４４】
図２６は、第２の実施形態における地図画像記憶装置３００のハードウェア構成を示す概略ブロック図である。地図画像記憶装置３００は、記憶部３１０と、通信部３２０と、制御部３２０とを備える。
記憶部３１０には、位置情報Ｌと地図画像データＭＩとが記憶されている。
【０１４５】
通信部３２０は、看板検索装置４００から送信された地図画像データＭＩの要求Ｒと位置情報Ｌとを受信し、受信した地図画像データＭＩの要求Ｒと位置情報Ｌとを制御部３３０へ送信する。また、通信部３２０は、制御部３３０から入力された地図画像データＭＩを看板検索装置４００へ送信する。
【０１４６】
制御部３３０は、通信部３２０から地図画像データＭＩの要求Ｒと位置情報Ｌとが入力された場合、位置情報Ｌが示す位置に対応する地図画像データＭＩを記憶部３１０から読み出す。そして、制御部３３０は、読み出した地図画像データＭＩを通信部３２０に出力し、通信部３２０から看板検索装置４００へ送信させる。
【０１４７】
図２７は、第２の実施形態における看板検索装置４００のハードウェア構成を示す概略ブロック図である。看板検索装置４００は、記憶部４１０と、通信部４２０と、制御部４３０とを備える。
記憶部４１０には、看板画像ファイルと、看板画像ファイルテーブルＴ５と、かんばん特徴量テーブルＴ６と、看板属性テーブルＴ７とが記憶されている。
【０１４８】
通信部４２０は、画像処理装置１ｂから正面画像データＦＩを受信し、受信した正面画像データＦＩを制御部４３０へ送信する。また、通信部４２０は、制御部４３０から入力された位置情報Ｌと地図画像データＭＩの要求Ｒとを地図画像記憶装置３００へ送信する。
【０１４９】
また、通信部４２０は、地図画像記憶装置３００から地図画像データＭＩを受信し、受信した地図画像データＭＩを制御部４３０へ出力する。通信部４２０は、制御部４３０から入力された重畳画像データＴＩを符号化し、符号化後の重畳画像データＴＩを変調し、変調後の重畳画像データＴＩを端末装置１００へ無線送信する。
【０１５０】
制御部４３０は、通信部４２０から入力された正面画像データＦＩから看板の位置情報Ｌを取得し、位置情報Ｌと地図画像データＭＩの要求Ｒとを通信部４２０へ出力する。そして、制御部４３０は、通信部４２０から位置情報Ｌと地図画像データＭＩの要求Ｒとを地図画像記憶装置３００へ送信させる。
また、制御部４３０は、通信部４２０から入力された地図画像データＭＩに基づいて、看板の位置を地図上に重畳した重畳画像データＴＩを生成し、生成した重畳画像データＴＩを通信部４２０に出力する。そして、制御部４３０は、通信部４２０から重畳画像データＴＩを端末装置１００へ無線送信させる。
【０１５１】
図２８は、第２の実施形態における看板検索装置４００の制御部４３０の論理的な構成を示す概略ブロック図である。制御部４３０は、特徴量算出部２７＿１と、特徴量照合部２７＿２と属性読出部２７＿３ｂと、現在位置地図作成部４３１とを備える。なお、図１７の第１の実施形態における属性取得部２７と共通する要素には同一の符号を付し、その具体的な説明を省略する。
【０１５２】
属性読出部２７＿３ｂは、第１の実施形態における属性読出部２７＿３と同様の機能を持つが、以下の点で異なる。属性読出部２７＿３ｂは、看板属性テーブルＴ７から読み出した位置情報Ｌと、地図画像データＭＩの要求Ｒとを通信部４２０へ出力する。また、属性読出部２７＿３ｂは、看板属性テーブルＴ７から読み出した位置情報Ｌを現在位置地図作成部４３１へ出力する。
【０１５３】
現在位置地図作成部４３１は、通信部４２０から入力された地図画像データＭＩが示す地図上に、属性読出部２７＿３ｂから入力された位置情報Ｌが示す看板の位置を重畳した重畳画像データＴＩを生成する。そして、現在位置地図作成部４３１は、生成した重畳画像データＴＩを通信部４２０へ出力する。
【０１５４】
以上、本実施形態の測位システム２は、端末装置１が撮像した看板が撮像された画像から、看板領域を抽出し、抽出された看板領域に基づいて現在位置を特定し、特定した現在位置を端末装置１に表示させる。これにより、端末装置１のユーザは、地下街などＧＰＳが使えない場所でも、現在居る地点の周囲にある看板を端末装置１が備えるカメラで撮影することにより、現在居る位置を知ることができる。
【０１５５】
また、本実施形態の測位システム２は、電波が届かない屋内や地下においても、低コストで現在位置を取得し、現在位置を表示することができる。また、本実施形態の測位システム２は、街中にマーカーを貼り付けて位置を特定する技術のように、無機質で不自然なマーカー形状を貼り付ける必要がないので、街の景観を損なわないというメリットがある。
【０１５６】
なお、本実施形態の測位システム２では、画像処理装置１ｂと、看板検索装置４００とを別装置にしたが、一つの装置で実現してもよい。また、測位システム２では、看板検索装置４００と、地図画像記憶装置３００とを別装置にしたが、一つの装置で実現してもよい。また、測位システム２では、画像処理装置１ｂと、地図画像記憶装置３００とを別装置にしたが、一つの装置で実現してもよい。また、測位システム２では、画像処理装置１ｂと看板検索装置４００と地図画像記憶装置３００とを別装置にしたが、上記３つの装置を一つの装置で実現してもよい。
【０１５７】
＜第２の実施形態の変形例１＞
また、本発明の実施形態では、画像処理装置の応用例として測位システム２を説明したが、応用例はこれに限ったものでない。
例えば、画像処理装置（１、１ｂ）を、自動車が道路標識を認識して、運転手を支援する運転手支援システムに適用してもよい。道路標識は車に対して高いところ又は道路脇に設置されているので、読み出す常に自動車に搭載したカメラに正対しているわけではない。そのため、自動車に搭載したカメラで撮影された画像から道路標識の画像領域を検出する場合、多くの場合、自動車に搭載したカメラは斜めから道路標識を撮影する。
【０１５８】
変形例１における画像処理装置１ｃは、道路標識が撮像された画像から、道路標識の正面画像を取得する。そして、画像処理装置１ｃは、道路標識の正面画像を予め記憶されている道路標識画像と照合することにより、道路標識が何であるか判定することができる。画像処理装置１ｃは、道路標識の正面画像を得た上で照合するので、道路標識をより正確に判定することができる。
【０１５９】
＜第２の実施形態の変形例２＞
また、本発明の実施形態における画像処理装置を、銘板が撮像された画像から銘板を認識させることで作業を支援する保守管理システムに適用してもよい。
屋内には電子機器の筐体にはメーカーロゴや、型式・シリアル番号等が記載された銘板が存在する。屋外でも様々な設備に設置日や規格を示す銘板が取り付けられている。そのような銘板を全て正対して撮像することは、労力がかかることである。
【０１６０】
変形例２における画像処理装置１ｄは、例えば、以下のような処理を行う。ここで、画像処理装置１ｄは、銘板を識別する銘板識別情報、その銘板の銘板画像、その銘板が付けられた設備または機器が設置された位置、設備または機器の保守情報、所有者の情報及び設置管理者情報を関連付けて記憶している。
【０１６１】
画像処理装置１ｄは、銘板が撮像された画像から、銘板の正面画像を取得する。そして、画像処理装置１ｄは、銘板の正面画像を予め記憶されている銘板画像と照合することにより、銘板識別情報を得る。
これにより、画像処理装置１ｄは、銘板の正面画像を得た上で照合するので、銘板が何であるか否かより正確に判定することができる。その結果、銘板を正対して撮像する必要がないので、画像処理装置１ｄは、設備または機器の保守または管理にかかる労力を少なくすることができる。
【０１６２】
また、画像処理装置１ｄは、銘板識別情報に関連付けられたその銘板が付けられた設備または機器が設置された位置、設備または機器の保守情報、所有者の情報及び設置管理者情報を抽出する。これにより、画像処理装置１ｄは、銘板識別情報に関連付けられた各種の情報を提供することができるので、銘板が付けられた設備または機器の保守及び管理を容易にすることができる。
【０１６３】
また、本実施形態の画像処理装置（１、１ｂ、１ｃ、１ｄ）の各処理を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、当該記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、画像処理装置（１、１ｂ、１ｃ、１ｄ）に係る上述した種々の処理を行ってもよい。
【０１６４】
なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【０１６５】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【０１６６】
以上、本発明の実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【０１６７】
１、 １ｂ、１ｃ、１ｄ 画像処理装置
２ 測位システム
１０ 入力部
２０ 制御部
２１ ノイズ除去部
２２ 領域分割部
２３ 看板領域選択部
２３＿１ 面積上位領域抽出部
２３＿２ 色差算出部
２３＿３ エッジ比算出部
２３＿４ 矩形度算出部
２３＿５ スコア算出部
２３＿６ スコア最大領域抽出部
２４ 頂点抽出部
２４＿１ 線分抽出部
２４＿２ エッジ限定部
２４＿３ 交点抽出部
２４＿４ 四交点選出部
２５ 頂点選出部
２６ 正面画像生成部
２６＿１ 座標変換部
２６＿２ 画素値生成部
２７ 属性取得部
２７＿１ 特徴量算出部
２７＿２ 特徴量照合部
２７＿３、２７＿３ｂ 属性読出部
２８、２８ｂ 検索部
２９ 文字図形特定部
３０ 記憶部
４０ 表示部
１００ 端末装置
３００ 地図画像記憶装置
４００ 看板検索装置
４３１ 現在位置地図作成部
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法及び画像処理プログラムに関する。
【背景技術】
【０００２】
画像又は映像の中からある特定の物体を認識する特定物体認識という技術分野において、ＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ、非特許文献１参照）又はＳＵＲＦ（Ｓｐｅｅｄｅｄ Ｕｐ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅｓ、非特許文献２参照）といった局所特徴量に基づく画像認識技術が知られている。このＳＩＦＴ又はＳＵＲＦを用いて、標識を認識する研究が行われている。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】Lowe, Distinctive Image Features from Scale-Invariant Keypoints：International Journal of Computer Vision, 60(2), 91-110, 2004
【非特許文献２】Bay et al., SURF: Speeded-Up Robust. Features：Proc. of the 9th European Conference on Computer Vision (ECCV), 1:404-417, May 2006
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、これらの技術は画像中から特定の形を高速に検出することができ、（撮影方向を軸とする）回転や大きさの変化にも強いといった特徴があるが、形に着目した特徴量を利用しているため、被写体が斜めを向くような角度から撮影することによって被写体の見え方（被写体の形）が変わってしまう条件下では、画像中から特定の形を検出する検出率が落ちてしまうという問題がある。
【０００５】
視点（カメラ位置）に対し高いところや低いところ、あるいは通路の脇に設置された看板又は標識は、その面の法線方向（正面）から撮影することが、不可能あるいは不便である。そのため、斜めから撮影された看板又は標識が写った画像から、正面より写した画像を得るために看板又は標識の画像領域を検出することが望まれる。
【０００６】
そこで本発明は、上記問題に鑑みてなされたものであり、斜めから撮影された看板が写った画像から看板の画像領域を検出することを可能とする技術を提供することを課題とする。
【課題を解決するための手段】
【０００７】
本発明は上記の課題を解決するためになされたものであり、本発明の一態様は、画像中の画像領域の矩形度、該画像領域と該画像領域の周辺領域との色差、または該画像領域のエッジ比のうちいずれか１つまたは２つ以上の組に基づいて、前記画像から看板の画像を表す看板領域を選択する看板領域選択部を備えることを特徴とする画像処理装置である。
【０００８】
また、本発明の一態様は、上記の画像処理装置において、前記看板領域選択部は、前記画像領域の前記矩形度、該画像領域と該画像領域の周辺領域との前記色差、および該画像領域の前記エッジ比に基づいて、前記画像から前記看板領域を選択することを特徴とする。
【０００９】
また、本発明の一態様は、上記の画像処理装置において、前記画像から四角形の画像領域を形成する四頂点を抽出する頂点抽出部と、前記看板領域に基づいて、前記頂点抽出部が抽出した四頂点から前記看板領域の四頂点を選出する頂点選出部と、を備えることを特徴とする。
【００１０】
また、本発明の一態様は、上記の画像処理装置において、前記頂点選出部により選出された前記看板領域の四頂点の座標に基づいて、前記看板領域の画像から看板の正面画像を生成する正面画像生成部を備えることを特徴とする。
【００１１】
また、本発明の一態様は、上記の画像処理装置において、前記看板領域選択部が選択した看板領域の特徴量に基づいて、前記看板が設置されている位置を示す位置情報を取得する属性取得部を備えることを特徴とする。
【００１２】
また、本発明の一態様は、画像処理装置が実行する画像処理方法であって、画像中の画像領域の矩形度、該画像領域と該画像領域の周辺領域との色差、または該画像領域のエッジ比のうちいずれか１つまたは２つ以上の組に基づいて、前記画像から看板の画像を表す看板領域を選択する看板領域選択手順を有することを特徴とする画像処理方法である。
【００１３】
また、本発明の一態様は、画像中の画像領域の矩形度、該画像領域と該画像領域の周辺領域との色差、または該画像領域のエッジ比のうちいずれか１つまたは２つ以上の組に基づいて、前記画像から看板の画像を表す看板領域を選択する看板領域選択ステップを実行させるための画像処理プログラムである。
【発明の効果】
【００１４】
本発明によれば、斜めから撮影された看板が写った画像から看板の画像領域を検出することができる。
【図面の簡単な説明】
【００１５】
【図１】第１の実施形態における画像処理装置のハードウェアの構成を示す概略ブロック図である。
【図２】第１の実施形態における制御部の論理的な構成を示す概略ブロック図である。
【図３】第１の実施形態における看板領域選択部の構成を示す概略ブロック図である。
【図４】記憶部に記憶されているセグメント画像テーブルＴ１の一例である。
【図５】正規化色差、正規化エッジ比、矩形度又はスコアを示したグラフの一例である。
【図６】第１の実施形態における頂点抽出部の構成を示す概略ブロック図である。
【図７】線分抽出部の処理を説明するための図である。
【図８】エッジ限定部の処理を説明するための図である。
【図９】記憶部に記憶されている線分テーブルＴ２の一例である。
【図１０】交点抽出部の処理を説明するための図である。
【図１１】記憶部に記憶されている交点テーブルＴ３の一例である。
【図１２】記憶部に記憶されている四角形テーブルＴ４の一例である。
【図１３】頂点選出部の処理を説明するための図である。
【図１４】第１の実施形態における正面画像生成部の概略ブロック図である。
【図１５】座標変換部の処理を説明するための図である。
【図１６】画素値生成部の処理を説明するための図である。
【図１７】第１の実施形態における属性取得部の構成を示す概略ブロック図である。
【図１８】記憶部に記憶されている看板画像ファイルテーブルＴ５の一例である。
【図１９】記憶部に記憶されている看板特徴量テーブルＴ６の一例である。
【図２０】記憶部に記憶されている看板属性テーブルＴ７の一例である。
【図２１】第１の実施形態における画像処理装置の処理の流れを示すフローチャートである。
【図２２】第２の実施形態における測位システムの概略ブロック図である。
【図２３】第２の実施形態における端末装置のハードウェア構成を示す概略ブロック図である。
【図２４】第２の実施形態における画像処理装置のハードウェア構成を示す概略ブロック図である。
【図２５】第２の実施形態における画像処理装置の制御部の論理的な構成を示す概略ブロック図である。
【図２６】第２の実施形態における地図画像記憶装置のハードウェア構成を示す概略ブロック図である。
【図２７】第２の実施形態における看板検索装置のハードウェア構成を示す概略ブロック図である。
【図２８】第２の実施形態における看板検索装置の制御部の論理的な構成を示す概略ブロック図である。
【発明を実施するための形態】
【００１６】
以下、本発明の実施形態について、図面を参照して詳細に説明する。本発明の各実施形態における看板は、長方形の形をした板に文字または図形が描かれて、見るものに対して何らかの情報を伝えるものである。従って、本発明の各実施形態における看板は、宣伝又は広告のために使われる板状の物体だけでなく、標識（例えば、道路標識）、設備または機器に付けられている銘板及び案内板を含むものとする。
【００１７】
＜第１の実施形態＞
図１は、第１の実施形態における画像処理装置１のハードウェアの構成を示す概略ブロック図である。画像処理装置１は、入力部１０と、制御部２０と、記憶部３０と、表示部４０とを備える。
入力部１０は、看板の撮影画像データ（以下、撮影画像データと称す）ＰＩの入力を受け付ける。入力部１０は、受け付けた撮影画像データＰＩを制御部２０に出力する。ここで、撮影画像データは、ある看板が斜めから撮影されることにより得られた画像データである。
【００１８】
制御部２０は、入力部１０から入力された撮影画像データＰＩに基づいて、看板の正面の画像である看板正面画像を生成し、生成した看板正面画像のデータ（以下、正面画像データと称す）ＦＩを記憶部３０に記憶させる。
そして、制御部２０は、生成した正面画像データＦＩが示す画像の特徴量に基づいて、看板が設定されている位置を示す位置情報Ｌを取得し、取得した位置情報Ｌを表示部４０に表示させる。
【００１９】
図２は、第１の実施形態における制御部２０の論理的な構成を示す概略ブロック図である。制御部２０は、ノイズ除去部２１と、領域分割部２２と、看板領域選択部２３と、頂点抽出部２４と、頂点選出部２５と、正面画像生成部２６と、属性取得部２７とを備える。
【００２０】
ノイズ除去部２１は、入力部１０から入力された撮影画像データＰＩに対して、一例としてＭｅｄｉａｎフィルタを施し、撮影画像データＰＩを平滑化した平滑化画像データを生成する。これにより、ノイズ除去部２１は、看板画像データＰＩを平滑化することにより看板画像データＰＩからノイズを除去することができる。ノイズ除去部２１は、生成した平滑化画像データを領域分割部２２と、頂点抽出部２４とへ出力する。
【００２１】
なお、本実施形態におけるノイズ除去部２１は、Ｍｅｄｉａｎフィルタを用いたが、これに限らず、フィルタはノイズを低減するフィルタであればよい。
【００２２】
領域分割部２２は、ノイズ除去部２１から入力された平滑化画像データを、ＭｅａｎＳｈｉｆｔ（平均値シフト）法を用いて、類似する色情報をもつ複数の画像領域（以下、セグメントと称する）に分割する。ここで、本実施形態において、画像の領域分割に用いるＭｅａｎＳｈｉｆｔ（平均値シフト）法は、Comaniciu, D. and Meer, P. (2002). Mean Shift: A Robust Approach Toward Feature Space Analysis. IEEE Transactions on Pattern Analysis and Machine Intelligence, 24(5):603-619に開示されている。
【００２３】
看板はおもに単色の文字、単色の背景で構成されるので、領域分割部２２は看板が撮影された撮影画像を色情報にもとづいて、複数のセグメントに分割（以後、セグメンテーションとも称す）する。
領域分割部２２は、分割したセグメントを示す分割セグメント情報を看板領域選択部２３に出力する。また、領域分割部２２は、分割したセグメントの画像のファイル（セグメント画像ファイル）を記憶部３０に記憶させる。
【００２４】
看板領域選択部２３は、領域分割部２２から入力された分割セグメント情報が示すセグメントの矩形度とエッジ比と色差とに基づいて、画像から看板の画像を表す看板領域を選択する。看板領域選択部２３は、選択した看板領域を示す看板領域情報を頂点選出部２５に出力する。
【００２５】
頂点抽出部２４は、ノイズ除去部２１から入力された平滑化画像データ画像から四角形の画像領域を形成する四頂点を抽出する。頂点抽出部２４は、抽出した四頂点を記憶部３０に記憶させる。
【００２６】
頂点選出部２５は、看板領域選択部２３から入力された看板領域情報が示す看板領域に基づいて、頂点抽出部２４が抽出した四頂点から看板領域の四頂点を選出する。頂点選出部２５は、選出した看板領域の四頂点の座標を正面画像生成部２６に出力する。
【００２７】
正面画像生成部２６は、頂点選出部２５により選出された看板領域の四頂点の座標に基づいて、看板領域の画像から看板の正面画像を生成する。
正面画像生成部２６は、生成した看板の正面画像を、正面看板画像ファイルとして記憶部３０に記憶させる。また、正面画像生成部２６は、生成した看板の正面画像データＦＩを属性取得部２７に出力する。
【００２８】
属性取得部２７は、正面画像生成部２６により入力された看板の正面画像データＦＩが示す看板領域の特徴量を算出し、算出した特徴量に基づいて、看板の属性を示す属性情報Ａを記憶部３０から取得する。属性取得部２７は、取得した属性情報Ａを表示部４０に表示させる。
【００２９】
図３は、第１の実施形態における看板領域選択部２３の構成を示す概略ブロック図である。看板領域選択部２３は、面積上位領域抽出部２３＿１と、色差算出部２３＿２と、エッジ比算出部２３＿３と、矩形度算出部２３＿４と、スコア算出部２３＿５と、スコア最大領域抽出部２３＿６とを備える。
【００３０】
面積上位領域抽出部２３＿１は、領域分割部２２から入力された分割セグメント情報を用いて各セグメントの面積を算出する。そして、面積上位領域抽出部２３＿１は、分割セグメント情報が示す分割セグメントのうちから、面積の大きい上位１０個のセグメント（以下、面積上位１０セグメントと称す）を抽出する。これにより、面積上位領域抽出部２３＿１は、分割された画像領域を、面積の大きい順に上位１０領域を抽出する。
【００３１】
なお、面積上位領域抽出部２３＿１は、セグメントを１０領域分抽出したが、これに限らず、９以下の領域でもよいし、１１以上の領域でもよい。
【００３２】
面積上位領域抽出部２３＿１は、抽出した面積上位１０セグメントに対して、セグメントの面積の大きい順にセグメントを識別するセグメントＩＤを振る。そして、面積上位領域抽出部２３＿１は、セグメントＩＤ、セグメント画像ファイルのファイル名、面積及びエッジのピクセル座標を関連付けて記憶部３０のセグメント画像テーブルＴ１に記憶させる。
面積上位領域抽出部２３＿１は、抽出した面積上位１０セグメントを色差算出部２３＿２と、エッジ比算出部２３＿３と、矩形度算出部２３＿４とへ出力する。
【００３３】
色差算出部２３＿２は、面積上位領域抽出部２３＿１から入力された面積上位１０セグメントに対して、各セグメントと当該セグメントの周辺領域との平均色差を算出する。具体的には、例えば、色差算出部２３＿２は、セグメントのエッジを構成する各ピクセルについて、上下左右４近傍のピクセルとのＬ＊ａ＊ｂ＊表色系における色差（Ｌ＊、ａ＊、ｂ＊成分それぞれの差分の二乗の和の平方根）をそれぞれ算出する。なお、Ｌ＊ａ＊ｂ＊表色系以外の表色系でもよい。
【００３４】
そして、色差算出部２３＿２は、算出した４つの値のうち最も大きいものをそのピクセルにおける色差とする。更に、色差算出部２３＿２は、セグメントエッジを構成する全てのピクセルにおける色差の平均値を平均色差として算出する。
ここで、平均色差は、看板内部の文字又は図形と、看板内部の背景部分とでは色差が大きいことに基づいて、数式化されたものである。
【００３５】
色差算出部２３＿２は、算出したセグメント毎の平均色差を、面積上位１０セグメント分の平均色差の最大値で正規化する。色差算出部２３＿２が面積上位１０セグメント分の平均色差の最大値を分母にして正規化するので、正規化後の平均色差の最大値は１である。
色差算出部２３＿２は、正規化後の平均色差を正規化色差Ｃとして、面積上位１０セグメント分の正規化色差Ｃをスコア算出部２３＿５に出力する。
【００３６】
エッジ比算出部２３＿３は、面積上位領域抽出部２３＿１から入力された面積上位１０セグメントに対して、セグメントの内側のエッジ長に対する該セグメントの外側のエッジ長の比（内側長さ／外側長さ）をエッジ比として算出する。ここで、セグメントの内側のエッジ長とは、セグメント内部に存在する内部セグメントの外縁のピクセル数である。また、セグメントの外側のエッジ長とは、セグメント全体の外縁のピクセル数である。すなわち、エッジ比は、セグメント内部に存在する内部セグメントの外縁のピクセル数に対するセグメント全体の外縁のピクセル数の比といえる。
ここで、看板内部には文字又は図形が存在し、内部セグメントの外縁は、その文字又は図形の輪郭となる。その文字又は図形の輪郭が通常入り組んでいるため、セグメントが看板領域の場合の該セグメントの内側のエッジ長は、面積が同一で輪郭が入り組んでいないセグメントのエッジ長よりも長くなる。エッジ比は、セグメントが看板領域の場合に、１に近くなることを利用して、数式化されたものである。
【００３７】
エッジ比算出部２３＿３は、算出した各エッジ比を、面積上位１０セグメント分のエッジ比の最大値で正規化する。エッジ比算出部２３＿３が面積上位１０セグメント分のエッジ比の最大値で正規化するので、正規化後のエッジ比の最大値は１である。
エッジ比算出部２３＿３は、正規化後のエッジ比を正規化エッジ比Ｅとして、面積上位１０セグメント分の正規化エッジ比Ｅをスコア算出部２３＿５に出力する。
【００３８】
矩形度算出部２３＿４は、面積上位領域抽出部２３＿１から入力された面積上位１０セグメントのそれぞれに対し、セグメントの垂直エッジピクセル数Ｎｖと、セグメントの水平エッジピクセル数Ｎｈと、セグメントを構成する画素数であるセグメントピクセル数Ｎｐとを算出する。ここで、セグメントピクセル数は、セグメントの面積を反映している。
【００３９】
矩形度算出部２３＿４は、算出したセグメントの垂直エッジピクセル数Ｎｖとセグメントの水平エッジピクセル数Ｎｈとセグメントピクセル数Ｎｐとに基づいて、面積上位１０セグメント分の矩形度Ｋを算出する。
具体的には、例えば、矩形度算出部２３＿４は、以下の式（１）に従って、矩形度Ｋを算出する。
【００４０】
Ｋ＝Ｎｖ×Ｎｈ／Ｎｐ …（１）
【００４１】
上式（１）の矩形度Ｋは、看板の外形は、長方形のものが多いので、セグメントの垂直エッジピクセル数と水平エッジピクセル数を掛け合わせたものを、セグメント内ピクセル数で除したものがほぼ１となることを利用して数式化されたものである。
矩形度算出部２３＿４は、算出した面積上位１０セグメント分の矩形度Ｋを、スコア算出部２３＿５に出力する。
【００４２】
スコア算出部２３＿５は、色差算出部２３＿２から入力された正規化色差Ｃと、エッジ比算出部２３＿３から入力された正規化エッジ比Ｅと、矩形度算出部２３＿４から入力された矩形度Ｋとに基づいて、面積上位１０セグメント分のスコアＳを算出する。
具体的には、例えば、スコア算出部２３＿５は、以下の式（２）に従って、スコアＳを算出する。
【００４３】
Ｓ＝Ｃ＋Ｋ−｜Ｅ−ｄ｜ …（２）
【００４４】
ここで、上式（２）の定数ｄ（例えば、０．６）は、正規化項である。
スコア算出部２３＿５は、算出した各スコアＳを、記憶部３０のセグメント画像テーブルＴ１内の該当するセグメントＩＤの箇所に追記する。
【００４５】
スコア最大領域抽出部２３＿６は、スコア算出部２３＿５から入力された面積上位１０セグメント分のスコアＳのうち、スコアＳが最大となるセグメントＩＤを記憶部３０に記憶されているセグメント画像テーブルＴ１から抽出する。
スコア最大領域抽出部２３＿６は、抽出したセグメントＩＤをスコア最大セグメントＩＤとして、頂点選出部２５に出力する。
【００４６】
図４は、記憶部３０に記憶されているセグメント画像テーブルＴ１の一例である。同図のセグメント画像テーブルＴ１には、セグメントＩＤ、セグメント画像ファイルのファイル名、セグメントの面積、スコアＳ及びエッジのピクセル座標の組が示されている。例えば、セグメントＩＤが１の場合、セグメント画像ファイルのファイル名は「ＥＤＧＥ００１．ＢＭＰ」で、面積が「２３５３ｐｉｘｅｌｓ」で、スコアＳが「１．５４」で、エッジのピクセル座標が「（１０，１４０），…，（５０，２００）」あることが示されている。
【００４７】
図５は、正規化色差、正規化エッジ比、矩形度又はスコアを示したグラフの一例である。縦軸は、正規化色差Ｃ、正規化エッジ比Ｅ、矩形度Ｋ又はスコアＳであり、横軸は、領域番号である。この例では、セグメントＩＤは、セグメントの面積の大きい順につけられている。すなわちセグメントＩＤが１のセグメントの面積が最も大きく、セグメントＩＤが１０のセグメントの面積が最も小さい。
【００４８】
同図において、正規化色差の折れ線Ｏ４１と、正規化エッジ比の折れ線Ｏ４２、矩形度の折れ線Ｏ４３、スコアの折れ線Ｏ４４とが示されている。同図では、スコアが最大となるセグメントＩＤが３であることが示されている。同図の例では、スコア最大領域抽出部２３＿６は、セグメントｉｄが３のセグメントを看板領域として抽出する。
【００４９】
＜頂点抽出部２４の処理の詳細＞
続いて、頂点抽出部２４の処理の詳細について説明する。図６は、第１の実施形態における頂点抽出部２４の構成を示す概略ブロック図である。
頂点抽出部２４は、線分抽出部２４＿１と、エッジ限定部２４＿２と、交点抽出部２４＿３と、四交点選出部２４＿４とを備える。
【００５０】
線分抽出部２４＿１は、ノイズ除去部２１から入力された平滑化画像データが示す平滑化画像から線分を抽出する。具体的には、例えば、線分抽出部２４＿１は、平滑化画像データが示す平滑化画像に対してＣａｎｎｙエッジ抽出を行い、エッジの点の座標を示すエッジデータを生成する。
【００５１】
線分抽出部２４＿１によるＣａｎｎｙエッジ抽出は、具体的には、例えば、以下の処理を行う。線分抽出部２４＿１は、平滑化画像データに対して、ガウシアンフィルタを施して平滑化する。次に、線分抽出部２４＿１は、ソーベルフィルタを用いてガウシアンフィルタ後の画像内のエッジ強度を算出する。また、エッジの勾配方向を４方向に振り分ける（量子化する）。
【００５２】
線分抽出部２４＿１は、算出された画素毎のエッジの強度と、エッジにおける量子化された勾配方向とに基づいて、エッジを細線化する。具体的には、線分抽出部２４＿１は、画素毎に、エッジの画素と、エッジの勾配方向の隣接画素２つとを比較し、最大でなければその画素値を０とする。
【００５３】
線分抽出部２４＿１は、画素毎に、２つの閾値（第１の閾値＞第２の閾値）に基づいて、画素毎にエッジであるか否か判定する。具体的には、線分抽出部２４＿１は、第１の閾値より大きいエッジ強度の画素と、第２の閾値以上第１の閾値以下のエッジ強度の画素のうちエッジに結合している画素とをエッジと判定する。また、線分抽出部２４＿１は、それ以外は、エッジでないと判定する。
【００５４】
そして、線分抽出部２４＿１は、生成したエッジデータに対して、Ｈｏｕｇｈ変換を行い、エッジ画像から線分を抽出する。線分抽出部２４＿１は、抽出した線分に対して線分を識別する線分ＩＤを割り振り、線分ＩＤと線分の始点と終点とを関連付けて記憶部３０の線分テーブルＴ２に記憶させる。
【００５５】
ここで、線分抽出部２４＿１によるＨｏｕｇｈ変換は、具体的には、例えば、以下の処理により行われる。まず、線分抽出部２４＿１は、ρ−θパラメータ空間を表す２次元配列Ｖを用意し、その値を全てに初期化する（処理１）。次に、線分抽出部２４＿１は、エッジデータが示すエッジの点の座標値を直線ρ＝ｘｃｏｓθ＋ｙｓｉｎθの変数ｘ、変数ｙに代入した式を変数ρと変数θに関する方程式とみなし、変数θを一定間隔Δθずつ増加させながら、その変数ρと変数θに関する方程式をみたす変数ρを算出する（処理２）。
【００５６】
次に、線分抽出部２４＿１は、２次元配列Ｖにおいて、算出したρとθの組を表す要素の数を１増加させる（処理３）。そして、線分抽出部２４＿１は、全てのエッジの点で上記処理２と処理３の処理を行った後に、２次元配列Ｖが極大となる要素が示す変数ρと変数θの組を１以上抽出する。このρとθの組毎に、変数ρと変数θを直線ρ＝ｘｃｏｓθ＋ｙｓｉｎθの式に代入することにより、線分の式を得る。
【００５７】
エッジ限定部２４＿２は、記憶部３０から看板領域のエッジのピクセル座標を読み出す。エッジ限定部２４＿２は、看板領域のエッジのピクセル座標に基づいて、線分抽出部２４＿１により抽出された線分のうち、看板領域として選ばれたスコア最大セグメントから予め決められた閾値距離以上の距離にある線分を除外する。
【００５８】
具体的には、例えば、エッジ限定部２４＿２は、記憶部３０の線分テーブルＴ２から各線分ｉｄに関連付けられた始点と終点とを読み出しては、以下の処理を行う。エッジ限定部２４＿２は、看板領域のエッジのピクセル座標から、看板領域の重心を算出する。そして、エッジ限定部２４＿２は、看板領域の重心と線分との距離を算出する。
【００５９】
そして、エッジ限定部２４＿２は、算出した距離が予め決められた閾値距離以上であれば、記憶部３０の線分テーブルＴ２内の線分ｉｄに関連付けられた線分が看板領域の近傍であるか否かを示す近傍判定を偽と追記する。一方、エッジ限定部２４＿２は、算出した距離が予め決められた閾値距離未満であれば、記憶部３０の線分テーブルＴ２内の線分ｉｄに関連付けられた近傍判定を真と追記する。エッジ限定部２４＿２は、上記処理を、線分抽出部２４＿１により抽出された線分の分だけ繰り返す。
エッジ限定部２４＿２は、閾値距離以上の距離にある線分を除外することにより限定された線分を示す限定線分情報を交点抽出部２４＿３に出力する。
【００６０】
交点抽出部２４＿３は、エッジ限定部２４＿２から入力された限定線分情報が示す限定された線分を直線化し、直線化した線分の交点を抽出する。交点抽出部２４＿３は、各交点に交点を識別する交点ＩＤを割り振り、交点ＩＤと交点を形成する２つの線分の線分ＩＤと交点の座標とを関連付けて記憶部３０の交点テーブルＴ３に記憶させる。
【００６１】
四交点選出部２４＿４は、記憶部３０の交点テーブルＴ３に記憶されている交点の４つの組み合わせのうち、当該組み合わせを構成する４つの交点を頂点とする四角形が有する内角がいずれも１８０度未満である組み合わせを選出する。
具体的には、例えば、四交点選出部２４＿４は、記憶部３０の交点テーブルＴ３に記憶されている交点の座標を４つ取得し、４つの交点を頂点とする四角形が有する内角を全て算出する。四交点選出部２４＿４は、その四角形が有する内角がいずれも１８０度未満である場合、四角形が有する内角がいずれも１８０度未満であるか否かを示す凸包判定フラグを真とし、上記以外の場合、凸包判定フラグを偽とする。
【００６２】
そして、四交点選出部２４＿４は、交点の４つの組み合わせ全てに四角形ＩＤを割り振り、四角形ＩＤと頂点座標列と、凸包判定フラグとを関連付けて記憶部３０の四角形テーブルＴ４に記憶させる。四交点選出部２４＿４は、上記処理を、交点の４つの組がとりうる全ての組み合わせ分、繰り返す。
【００６３】
図７は、線分抽出部２４＿１の処理を説明するための図である。同図において、線分抽出部２４＿１に入力される画像Ｇ８１の一例が示されている。また、画像Ｇ８１からエッジが抽出されたエッジ画像Ｇ８２が示されている。すなわち、エッジ画像Ｇ８２は、線分抽出部２４＿１により抽出されたエッジデータを画像として表示したものである。また、画像Ｇ８２から線分が抽出された線分抽出画像Ｇ８３が示されている。すなわち、線分抽出画像Ｇ８３は、線分抽出部２４＿１により抽出された線分を画像として表示したものである。
図７の例のように、線分抽出部２４＿１は、入力された画像からエッジを抽出し、エッジの点の座標を示すエッジデータから線分を抽出する。
【００６４】
図８は、エッジ限定部２４＿２の処理を説明するための図である。同図において、図７で示された線分抽出画像Ｇ８３と、看板領域のエッジのピクセル座標（２０，１００），…，（２００，４００）とが示されている。ここで、看板領域のエッジのピクセル座標は、ｉｊ座標系における座標である。また、同図において、線分が抽出された画像Ｇ８３から看板領域として選ばれたスコア最大セグメントから一定以上の距離にある線分が除外された線分限定画像Ｇ９１が示されている。
【００６５】
図８の例のように、エッジ限定部２４＿２は、看板領域のエッジのピクセル座標に基づいて、線分抽出画像Ｇ８３中に示された線分のうち、看板領域として選ばれたスコア最大セグメントから予め決められた閾値距離以上の距離にある線分を除外する。
【００６６】
図９は、記憶部３０に記憶されている線分テーブルＴ２の一例である。同図に線分テーブルＴ２において、線分ＩＤ、始点、終点、近傍判定の組が示されている。例えば、線分ｉｄが１の場合、始点が（４３，７４）で、終点が（１９４，５２３）で、近傍判定が「真」であることが示されている。すなわち、線分ｉｄが１の線分は、エッジ限定部２４＿２により限定された線分に含まれる。
【００６７】
図１０は、交点抽出部２４＿３の処理を説明するための図である。同図において、図８で示された線分限定画像Ｇ９１と、線分限定画像Ｇ９１中の線分が直線化された直線化画像Ｇ１１１と、直線化画像Ｇ１１１における直線の交点が抽出された交点抽出画像Ｇ１１２とが示されている。
図１０の例のように、交点抽出部２４＿３は、エッジ限定部２４＿２により限定された線分を直線化し、直線化した線分の交点を抽出する。
【００６８】
図１１は、記憶部３０に記憶されている交点テーブルＴ３の一例である。同図の交点テーブルＴ３において、交点ＩＤ、線分ＩＤ１、線分ＩＤ２の組が示されている。ここで、線分ＩＤ１は、交点ＩＤが示す交点を形成する二つの線分のうち、一つの線分を識別する線分ＩＤであり、線分ＩＤ２は、当該交点ＩＤが示す交点を形成する二つの線分のうち、もう一方の線分を識別する線分ＩＤである。例えば、交点ＩＤが１の場合、線分ＩＤ１が「１」で、線分ＩＤ２が「２」であることが示されている。
【００６９】
図１２は、記憶部３０に記憶されている四角形テーブルＴ４の一例である。同図の四角形テーブルＴ４において、四角形ＩＤ、頂点座標列、凸包判定フラグの組が示されている。例えば、四角形ＩＤが１の場合、「（１１，３９）、（５０２，６４）、（９８２，７６５）、（５４，８７４）」であり、凸包判定フラグが真であることが示されている。
ここで、頂点座標列は、四角形を構成する４つの頂点の座標の列である。また、凸包判定フラグが真である場合、対応する四角形が有する内角がいずれも１８０度未満であることを示し、凸包判定フラグが偽である場合、対応する四角形が有する内角のいずれかが１８０度以上であることを示している。
【００７０】
＜頂点選出部２５の処理の詳細＞
続いて、頂点選出部２５における処理の詳細について説明する。頂点選出部２５は、看板領域選択部２３のスコア最大領域抽出部２３＿６から入力されたスコア最大セグメントＩＤに関連付けられたエッジのピクセル座標を、記憶部３０のセグメント画像テーブルＴ１から読み出す。
【００７１】
頂点選出部２５は、記憶部３０に記憶されている四角形テーブルＴ４から、凸包判定フラグが真である頂点座標列を読み出す。
頂点選出部２５は、読み出した頂点座標列毎に、以下の処理を行う。頂点選出部２５は、その頂点座標列に含まれる４つの座標を頂点とする四角形のエッジが通るピクセルの座標を算出する。
【００７２】
頂点選出部２５は、算出したピクセルの座標と、スコア最大セグメントＩＤに関連付けられたエッジのピクセル座標とを比較し、重複する座標の数を計数する。
頂点選出部２５は、以上の処理を読み出した頂点座標列毎に行った後に、頂点選出部２５は、重複する座標の数が最大の場合の頂点座標列（四角形を構成する４つの頂点の座標の列）を抽出する。これにより、頂点選出部２５は、四つの頂点を抽出することができる。
【００７３】
図１３は、頂点選出部２５の処理を説明するための図である。同図において、選定した四角形１３１と、スコア最大セグメントのエッジ１３２とが示されている。ここで、選定した四角形１３１とは、凸包判定フラグが真である頂点座標列の各座標を頂点とする四角形のことである。
【００７４】
また同図において、一つの座標空間において、選定した四角形１３１とスコア最大セグメントのエッジ１３２とを重ねた図１３３とが示されている。そして、選定した四角形１３１とスコア最大セグメントのエッジ１３２とが重なるピクセルの数が一番多くなる四角形を構成する四頂点を選出することが示されている。
【００７５】
図１３の例において、頂点選出部２５は、選定した四角形１３１の外縁を構成するピクセルの座標群と、スコア最大セグメントのエッジ１３２の座標群との間で、重複する座標の数が最大の場合における四角形を抽出し、抽出した四角形の４つの頂点を選出する。
【００７６】
図１４は、第１の実施形態における正面画像生成部２６の概略ブロック図である。正面画像生成部２６は、座標変換部２６＿１と、画素値生成部２６＿２とを備える。
座標変換部２６＿１は、頂点選出部２５から入力された看板領域の四頂点の座標を、長方形を構成する四つの座標に座標変換する。座標変換部２６＿１は、座標変換したことにより得られた四つの座標を画素値生成部２６＿２に出力する。
【００７７】
画素値生成部２６＿２は、座標変換部２６＿１から入力された四つの座標に基づいて、看板領域の画素値から座標変換後の長方形内の画素値を生成する。具体的には、例えば、画素値生成部２６＿２は、看板領域を予め決められた分割方式（例えば、横×縦４×３）で、各分割領域に分割する。同様に、画素値生成部２６＿２は、座標変換後の長方形内を看板領域と同じ分割方式（例えば、４×３）で、各分割領域に分割する。そして、画素値生成部２６＿２は、看板領域の分割領域の色情報を、対応する長方形内の分割領域の色情報とする。
画素値生成部２６＿２は、座標変換後の長方形内の画素値を記憶部３０に記憶させる。
【００７８】
図１５は、座標変換部２６＿１の処理を説明するための図である。同図は、看板を撮像した際のカメラの位置原点（０，０，０）とするｘｙｚ座標系であり、平面（０，０，ｈ）は、カメラの撮像面である。頂点Ｐａ´、頂点Ｐｂ´、頂点Ｐｃ´及び頂点Ｐｄ´からなる長方形１５２は、看板の外縁をなす長方形である。平面（０，０，ｈ）において四角形１５１を構成する頂点Ｐａ、Ｐｂ、Ｐｃ及びＰｄが示されている。
【００７９】
頂点Ｐａ´、頂点Ｐｂ´、頂点Ｐｃ´及び頂点Ｐｄ´からなる長方形が、原点にあるカメラから撮像された場合、頂点Ｐａ´、頂点Ｐｂ´、頂点Ｐｃ´及び頂点Ｐｄ´からなる長方形は平面（０，０，ｈ）上に射影され、平面（０，０，ｈ）において、頂点Ｐａ、頂点Ｐｂ、頂点Ｐｃ及び頂点Ｐｄからなる四角形が形成される。
すなわち三次元空間中の頂点Ｐａ´、頂点Ｐｂ´、頂点Ｐｃ´及び頂点Ｐｄ´からなる長方形は、射影変換された結果、頂点Ｐａ、頂点Ｐｂ、頂点Ｐｃ及び頂点Ｐｄを頂点とする四角形に変換されたものとする。
【００８０】
図１５の例において、逆射影変換により、座標変換部２６＿１は、看板領域の外縁をなす四角形の四頂点（頂点Ｐａ、頂点Ｐｂ、頂点Ｐｃ及び頂点Ｐｄ）の座標から、内角がいずれも９０度である長方形の四頂点（頂点Ｐａ´、頂点Ｐｂ´、頂点Ｐｃ´及び頂点Ｐｄ´）の座標を算出する。
【００８１】
具体的には、例えば、座標変換部２６＿１は、以下の処理に従って、長方形の四頂点（頂点Ｐａ´、頂点Ｐｂ´、頂点Ｐｃ´及び頂点Ｐｄ´）の座標を算出する。
図１５において、頂点Ｐａ´、頂点Ｐｂ´、頂点Ｐｃ´及び頂点Ｐｄ´の座標と、頂点Ｐａ、頂点Ｐｂ、頂点Ｐｃ及び頂点Ｐｄの座標との関係をベクトル表記で表すと以下のように表される。
【００８２】
【数１】
【００８３】
ここで、Ｐａ´、Ｐａ、Ｐｂ´、Ｐｂ、Ｐｃ´、Ｐｃ、Ｐｄ´、Ｐｄはベクトルであり、ｖ１、ｖ２、ｖ３及びｖ４は係数である。ここで、四角形１５１を構成する頂点（Ｐａ、Ｐｂ、Ｐｃ及びＰｄ）の座標は既知であるから、座標変換部２６＿１は、係数ｖ１、ｖ２、ｖ３及びｖ４を算出し、係数ｖ１、ｖ２、ｖ３及びｖ４を用いて長方形１５２を構成する頂点（Ｐａ´、Ｐｂ´、Ｐｃ´及びＰｄ´）の座標を算出する。
【００８４】
このとき、四角形１５１の対角線の交点Ｐｏは、ベクトル表記で、以下の２つの式で表される。
【００８５】
【数２】
【００８６】
ここで、ｕ１及びｕ２は係数である。座標変換部２６＿１は、上式（９）と（１０）からｕ１及びｕ２を算出し、算出したｕ１又はｕ２を用いて四角形１５１の対角線の交点Ｐｏの座標を算出する。
射影変換前後で、四角形１５１の対角線の交点Ｐｏが一致するので、以下の式が導出される。
【００８７】
【数３】
【００８８】
ここで、式（９）に式（３）と式（４）が代入され、式（１０）に式（５）と式（６）が代入されると、以下のベクトル表現の式が導出される。
【００８９】
【数４】
【００９０】
式（１１）と式（１２）の関係は、平面（０，０，ｈ）上の点の関係である。そのため、式（１１）と式（１２）の関係のｚ成分についての関係式において、ｚ＝ｈであるから、以下の式が得られる。
【００９１】
【数５】
【００９２】
式（１１）と式（１３）より、係数ｖ１と係数ｖ２とが以下のように算出される。
【００９３】
【数６】
【００９４】
また、式（１２）と式（１４）より、係数ｖ３と係数ｖ４とが以下のように算出される。
【００９５】
【数７】
【００９６】
また、頂点Ｐａ´、四角形１５１の対角線の交点Ｐｏ及び頂点Ｐｂ´を頂点とする三角形は二等辺三角形であるから、交点Ｐｏから頂点Ｐａ´までの距離と、交点Ｐｏから頂点Ｐｂ´までの距離が等しいので、以下の式が導出される。
【００９７】
【数８】
【００９８】
座標変換部２６＿１は、式（１５）〜（１８）に従って、係数ｖ１、ｖ２、ｖ３及びｖ４を算出する。また、座標変換部２６＿１は、算出した係数ｖ１、ｖ２、ｖ３及びｖ４から、頂点Ｐａ´、頂点Ｐｂ´、頂点Ｐｃ´及び頂点Ｐｄ´の座標を算出する。また、座標変換部２６＿１は、式（１９）に従って、ｈを算出する。
なお、座標変換部２６＿１は、次の式（２０）に従って、ｈを算出してもよい。
【００９９】
【数９】
【０１００】
ここで、頂点Ｐｂ´から頂点Ｐａ´までの線分と、頂点Ｐｂ´から頂点Ｐｃ´までの線分とが成す角度が９０度であるので、頂点Ｐｂ´から頂点Ｐａ´までのベクトルと頂点Ｐｂ´から頂点Ｐｃ´までのベクトルの内積が０である。この内積が０であることをベクトル表記で表すと、上式（２０）が導出される。
【０１０１】
図１６は、画素値生成部２６＿２の処理を説明するための図である。同図において、頂点Ｐａ、Ｐｂ、Ｐｃ及びＰｄを頂点とする四角形１５１が、４×３の領域に分割されている。また、頂点Ｐａ´、Ｐｂ´、Ｐｃ´及びＰｄ´を頂点とする長方形１５２が、同様に４×３の領域に分割されている。四角形Ｒ１６２の領域Ｒ１６１は、４×３の領域に分割された分割領域のうちの一つの領域である。長方形１５２の領域Ｒ１６２に、４×３の領域に分割された分割領域のうちの一つの領域である。
【０１０２】
図１６の例において、画素値生成部２６＿２は、四角形１５１および長方形１５２を、それぞれ長辺を４分割、短辺を３分割した１２個の分割領域に分割する。そして、画素値生成部２６＿２は、長方形１５２の分割領域の色情報を、対応する四角形１５１の分割領域の色情報とする。例えば、画素値生成部２６＿２は、長方形１５２の領域Ｒ１６２の色情報を、四角形１５１の領域Ｒ１６１の色情報とする。これにより、画素値生成部２６＿２は、長方形内の色情報を生成する。
【０１０３】
図１７は、第１の実施形態における属性取得部２７の構成を示す概略ブロック図である。属性取得部２７は、特徴量算出部２７＿１と、特徴量照合部２７＿２と、属性読出部２７＿３とを備える。
【０１０４】
ここで、記憶部３０には、看板が撮像された看板画像ファイルと、看板を識別する看板ＩＤと看板画像ファイルの名前とが関連付けられた看板画像ファイルテーブルＴ５が記憶されている。また、記憶部３０には、看板ＩＤと看板の正面画像から抽出された特徴量とが関連付けられた看板特徴量テーブルＴ６が記憶されている。また、記憶部３０には、看板ＩＤとその看板の属性情報とが関連付けられた看板属性テーブルＴ７が記憶されている。
【０１０５】
特徴量算出部２７＿１は、正面画像生成部２６から入力された看板の正面画像データＦＩから特徴量を抽出する。具体的には、例えば、特徴量算出部２７＿１は、ＳＩＦＴを用いて、看板の正面画像データＦＩから特徴量を抽出する。
【０１０６】
例えば、特徴量算出部２７＿１は、特徴抽出にＤｏＧ（Ｄｉｆｆｅｒｅｎｃｅ ｏｆ Ｇａｕｓｓｉａｎ）を用いることで拡大縮小に不変な特徴点を抽出し、輝度勾配のヒストグラムを用いることで特徴点近傍の回転を求める。そして、特徴量算出部２７＿１は、特徴点の周辺を４×４のブロックに分割し、ブロックごとに８方向の勾配ヒストグラムを求め、１２８次元の特徴ベクトルを特徴量として算出する。
【０１０７】
なお、特徴量算出部２７＿１における特徴量の抽出に、ＳＩＦＴを用いたが、これに限らず、ＳＵＲＦを用いてもよい。
特徴量算出部２７＿１は、抽出した特徴量を正面看板画像特徴量として特徴量照合部２７＿２へ出力する。
【０１０８】
特徴量照合部２７＿２は、特徴量算出部２７＿１から入力された正面看板画像特徴量にマッチする特徴量を記憶部３０に記憶されている看板特徴量テーブルＴ６より検索し、マッチした特徴量に関連付けられた看板ＩＤを読み出す。特徴量照合部２７＿２は、読み出した看板ＩＤを属性読出部２７＿３に出力する。
【０１０９】
属性読出部２７＿３は、特徴量照合部２７＿２から入力された看板ＩＤに関連付けられた属性情報Ａを看板属性テーブルＴ７から読み出す。属性読出部２７＿３は、読み出した属性情報Ａを表示部４０に表示させる。
【０１１０】
図１８は、記憶部３０に記憶されている看板画像ファイルテーブルＴ５の一例である。同図の看板画像ファイルテーブルＴ５において、看板ＩＤ及び看板画像ファイルの名前の組が示されている。例えば、看板ＩＤが１の場合、看板画像ファイルの名前は「ＣＡＦＥ．ＢＭＰ」である。
【０１１１】
図１９は、記憶部３０に記憶されている看板特徴量テーブルＴ６の一例である。同図の看板特徴量テーブルＴ６において、看板ＩＤ及び看板の正面画像の特徴量の組が示されている。例えば、看板ＩＤが１の場合、看板の正面画像の特徴量は「Ｃ１，…，Ｃ１２８」である。ここで、看板の正面画像の特徴量は、１２８次元のベクトルを表すために、１２８個の成分から構成されている。
【０１１２】
図２０は、記憶部３０に記憶されている看板属性テーブルＴ７の一例である。同図の看板属性テーブルＴ７において、看板ＩＤ、看板場所、業種、店舗名の組が示されている。例えば、看板ＩＤが１の場合、看板場所は「北緯１１１度、東経２２１度」で、業種は「飲食店」であり、店舗名が「居酒屋ＸＸＸ」であることが示されている。ここで、看板場所は緯度と経度の組み合わせで表されている。
【０１１３】
図２１は、第１の実施形態における画像処理装置１の処理の流れを示すフローチャートである。まず、ノイズ除去部２１は、撮影画像データＰＩのノイズを除去した平滑化画像データを生成する（ステップＳ１０１）。次に、領域分割部２２は、平滑化画像データが示す画像を、複数の画像領域に分割する（ステップＳ１０２）。次に、看板領域選択部２３は、分割された複数の画像領域から看板領域を選択する（ステップＳ１０３）。
【０１１４】
次に、頂点抽出部２４は、平滑化画像データから看板領域の四つの頂点の候補を抽出する（ステップＳ１０４）。次に、頂点選出部２５は、四つの頂点の候補から看板領域の四つの頂点を選出する（ステップＳ１０５）。次に、正面画像生成部２６は、看板領域の画像を、その看板の正面画像へ変換する（ステップＳ１０６）。次に、属性取得部２７は、看板の正面画像に基づいて、看板の位置を取得する（ステップＳ１０７）。以上で、本フローチャートの処理を終了する。
【０１１５】
以上、本実施形態の画像処理装置１は、看板が撮像された画像を複数のセグメントに分割し、分割したセグメントの矩形度とエッジ比と色差とに基づいて、複数のセグメントから看板セグメントを選択する。
これにより、画像処理装置１は、セグメントのエッジだけでなくセグメントの矩形度と色差とを用いて、分割したセグメントをスコア化しているので、看板が斜めから撮影された画像から看板セグメントを正確に抽出することができる。
【０１１６】
また、画像処理装置１は、画像から線分を抽出し、線分を延長して直線化する。そして、直線化した線分の交点から看板領域の四つの頂点の候補を求める。そして、画像処理装置１は、選択した看板セグメントの情報を用いて、看板領域の四つの頂点の候補から、看板領域の四つの頂点を選択する。
これにより、画像処理装置１は、看板セグメントの情報を用いて多数存在する看板領域の四つの頂点の候補を絞り込むことができるので、短時間で看板領域の四つの頂点を抽出することができる。
【０１１７】
また、画像処理装置１は、抽出した看板領域の四つの頂点から構成される四角形の看板領域を、内角の全てが直角の長方形の画像に変換する。すなわち、画像処理装置１は、看板が長方形であることを利用して逆射影変換することにより、斜めから撮影された看板領域の画像から看板の正面画像を得ることができる。
【０１１８】
また、画像処理装置１は、得られた看板の正面画像の特徴量を算出し、算出した特徴量と予め記憶部３０に記憶されている看板の正面画像の特徴量とを照合することにより、看板の位置を抽出することができる。
これによれば、画像処理装置１は、看板の正面画像を得ることができたことで看板の正面画像の特徴量を算出できるので、予め記憶部３０に記憶されている特徴量との照合の精度を高めることができる。その結果、画像処理装置１は、看板の正しい位置を取得することができる。
【０１１９】
なお、本実施形態の看板領域選択部２３は、画像中の画像領域の矩形度、該画像領域と該画像領域の周辺領域との色差、および該画像領域のエッジ比に基づいて、画像から看板領域を選択したが、これに限ったものではない。
看板領域選択部２３は、画像中の画像領域の矩形度、該画像領域と該画像領域の周辺領域との色差、または該画像領域のエッジ比のうち少なくもいずれか１つに基づいて、前記画像から看板の画像を表す看板領域を選択してもよい。
その一例として、看板領域選択部２３は、矩形度だけに基づいて、看板セグメントを抽出してもよい。具体的には、例えば、画像処理装置１の看板領域選択部２３は、矩形度が予め決められた範囲（例えば、０．６から０．７）のセグメントを看板セグメントとして抽出してもよい。
【０１２０】
また、別の例として、看板領域選択部２３は、セグメントとそのセグメントの周辺領域との色差だけに基づいて、看板セグメントを抽出してもよい。具体的には、例えば、看板領域選択部２３は、正規化された色差が予め決められた範囲（例えば、０．７から０．８）のセグメントを看板セグメントとして抽出してもよい。
【０１２１】
また、看板領域選択部２３は、画像領域の矩形度、該画像領域と該領域の周辺領域の色差または該画像領域のエッジ比のうち２つ以上の組に基づいて、画像領域から看板領域を選択してもよい。
例えば、看板領域選択部２３は、セグメントの矩形度とそのセグメントとそのセグメントの周辺領域との色差とに基づいて、看板のセグメントを抽出してもよい。具体的には、例えば、看板領域選択部２３は、矩形度が予め決められた範囲（例えば、０．６から０．８）であって正規化色差が予め決められた閾値（例えば、０．７）以上であるセグメントを看板セグメントとして抽出してもよい。
【０１２２】
また、看板領域選択部２３は、セグメントの矩形度とそのセグメントのエッジ比とに基づいて、看板のセグメントを抽出してもよい。また、例えば、画像処理装置１の看板領域選択部２３は、矩形度が予め決められた範囲（例えば、０．６から０．８）であって正規化エッジ比が予め決められた閾値（例えば、０．６）以上であるセグメントを看板セグメントとして抽出してもよい。
【０１２３】
また、看板領域選択部２３は、セグメントとそのセグメントの周辺領域との色差とそのセグメントのエッジ比とに基づいて、看板セグメントを抽出してもよい。具体的には、例えば、看板領域選択部２３は、正規化された色差が予め決められた範囲（例えば、０．６から０．８）であって正規化エッジ比が予め決められた閾値（例えば、０．６）以上であるセグメントを看板セグメントとして抽出してもよい。
以上についてまとめると、看板領域選択部２３は、画像中の画像領域の矩形度、該画像領域と該画像領域の周辺領域との色差、または該画像領域のエッジ比のうちいずれか１つまたは２つ以上の組に基づいて、当該画像から看板の画像を表す看板領域を選択すればよい。
【０１２４】
なお、画像処理装置１は、一つの看板領域から看板の位置を特定したが、これに限らず、複数の看板領域を抽出した場合には、複数の看板領域に基づいて、看板の位置を特定してもよい。
【０１２５】
なお、画像処理装置１は、四角形の看板領域を抽出したが、これに限らず、四角形を除く多角形の看板領域を抽出してもよい。その場合、例えば、画像処理装置１は、以下のようにすればよい。頂点抽出部２４は、画像から多角形の画像領域を形成する全ての頂点を抽出する。そして、頂点選出部２５は、看板領域選択部２３により選択された看板領域に基づいて、頂点抽出部２４が抽出した全ての頂点から看板領域の全ての頂点を選出する。
そして、座標変換部２６＿１は、頂点選出部２５により選出された看板領域の全ての頂点の座標を、逆射影変換により、当該看板領域を正面から見た多角形の頂点座標に変換する。そして、画素値生成部２６＿２は、変換した後の頂点座標に基づいて、看板領域の画素値から看板領域を正面から見た多角形内の画素値を生成する。
【０１２６】
＜第１の実施形態の変形例１＞
続いて、第１の実施形態の変形例１について説明する。第１の実施形態の変形例１における画像処理装置１は、検索部２８を更に備える。属性情報取得部２７の属性読出部２７＿３は、看板ＩＤに対応する店舗名（例えば、「居酒屋ＸＸＸ」）を読み出す。
検索部２８は、読み出した店舗名（例えば、「居酒屋ＸＸＸ」）を検索キーにして、インターネットを介して外部データベースを検索し、その検索結果またはその店舗名の店舗が行っているクーポン情報を取得する。そして、検索部２８は、取得した検索結果またはクーポン情報を表示部４０に表示する。これにより、ユーザは、その店舗に関する情報またはその店舗クーポン情報を得ることができる。
【０１２７】
＜第１の実施形態の変形例２＞
続いて、第１の実施形態の変形例２について説明する。第１の実施形態の変形例１における画像処理装置１は、看板画像中の文字または図形を特定し、特定した文字または図形を検索キーとして外部データベースを検索することにより、看板の関連情報を取得する。
【０１２８】
第１の実施形態の変形例１における画像処理装置１は、検索部２８ｂと文字特定部２９とを更に備える。文字図形特定部２９は、正面画像生成部２６により得られた正面画像に対し、ＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅａｄｅｒ）により文字または図形を特定する。
具体的には、例えば、記憶部３０は、予め文字を表す文字画像と文字とが関連付けられた文字テーブル及び図形を表す図形画像と図形とが関連付けられた図形テーブルを記憶している。文字図形特定部２９は、看板画像からエッジで囲まれた画像領域を抽出する。そして、文字図形特定部２９は、抽出した画像領域と文字テーブルに記憶されている文字画像と照合し、画像領域の文字を特定する。文字を特定できなかった場合には、文字図形特定部２９は、抽出した画像領域と図形テーブルに記憶されている図形画像と照合し、画像領域の図形を特定する。
【０１２９】
そして、検索部２８ｂは、特定した文字または図形を検索キーにインターネットを介して、外部データベースを検索し、検索結果を取得する。具体的には、例えば、文字図形特定部２９が「ＸＸＸカフェ」という文字を抽出した場合、検索部２８ｂは、それを検索キーにインターネットを介して、外部データベースを検索し、その店舗に関する情報（口コミ等）を取得する。そして、検索部２８ｂは、取得した検索結果（例えば、その店舗に関する情報）を表示部４０に表示する。これにより、ユーザは、その店舗に関する情報を得ることができる。
【０１３０】
また、検索部２８ｂは、看板画像をキーとして、インターネットを介して外部のデータベース中からその看板画像に類似する類似画像を検索し、その検索によりヒットしたその看板の提供元の企業のホームページまたは私的に書いたブログ等のホームページを取得する。そして、検索部２８ｂは、取得したホームページを表示部４０に表示する。
【０１３１】
これにより、画像処理装置１は、記憶部３０の看板特徴量テーブルに該当の看板がなく、何の看板か分からない場合であっても、その検索によりヒットしたその看板の提供元の企業のホームページまたは私的に書いたブログ等のホームページを取得することができるので、ユーザは、ヒットしたＷｅｂページによりその看板の情報を取得することができる。
【０１３２】
なお、変形例２は、変形例１に記載の看板特徴量による看板の特定とは独立しているので、画像処理装置１は、変形例１における看板属性による情報取得と、変形例２を組み合せて使ってもよい。
【０１３３】
＜第２の実施形態＞
続いて、第２の実施形態について説明する。図２２は、第２の実施形態における測位システム２の概略ブロック図である。測位システム２は、画像処理装置１ｂと、端末装置１００と、地図画像記憶装置３００と、看板検索装置４００とを備える。
端末装置１００は、看板を撮像し、看板が撮像された撮影画像データＰＩを画像処理装置１ｂへ無線送信する。
【０１３４】
画像処理装置１ｂは、端末装置１００から受信した撮影画像データＰＩから看板正面画像のデータである正面画像データＦＩを生成し、生成した正面画像データＦＩを看板検索装置４００へ送信する。
地図画像記憶装置３００には、地図画像データＭＩが記憶されている。地図画像記憶装置３００は、看板検索装置４００から受信した位置情報Ｌを伴った地図画像データＭＩの要求Ｒに応じて、その位置情報Ｌが示す位置の地図画像データＭＩを看板検索装置４００へ送信する。
【０１３５】
看板検索装置４００は、画像処理装置１ｂから受信した正面画像データＦＩから、看板の位置を抽出する。そして、看板検索装置４００は、看板の位置における地図画像データＭＩを地図画像記憶装置３００から取得する。更に、看板検索装置４００は、取得した地図画像データＭＩを用いて、看板の位置を地図上に重畳した重畳画像データＴＩを生成し、生成した重畳画像データＴＩを端末装置１００に無線送信する。
【０１３６】
端末装置１００は、看板検索装置４００から受信した重畳画像データＴＩを表示する。これにより、端末装置１００は、看板の位置を地図上に重畳した画像を表示するので、端末装置１００のユーザは、看板の位置を知ることができる。
【０１３７】
図２３は、第２の実施形態における端末装置１００のハードウェア構成を示す概略ブロック図である。端末装置１００は、記憶部１０１と、入力部１０２と、制御部１０３と、撮像部１０４と、通信部１０５と、表示部１０６とを備える。
記憶部１０１には、制御部１０３により実行されるプログラムが記憶されている。
入力部１０２は、シャッターボタンが押された旨の入力を受け付け、受け付けたシャッターボタンが押された旨を制御部１０３に出力する。また、入力部１０２は、看板位置を要求する看板位置要求を受け付け、受け付けた看板位置要求を制御部１０３に出力する。
【０１３８】
制御部１０３は、入力部１０２からシャッターボタンが押された旨が入力された場合、撮像部１０４に撮像させる。これにより、端末装置１００のユーザは、看板を撮像することができる。
制御部１０３は、撮像部１０４により看板が撮像された撮影画像データＰＩを記憶部１０１に記憶させる。制御部１０３は、入力部１０３から看板位置要求が入力された場合、記憶部１０１から撮影画像データＰＩを読み出し、読み出した撮影画像データＰＩを通信部１０５へ出力する。
【０１３９】
また、制御部１０３は、通信部１０５から入力された重畳画像データＴＩを表示部１０６に表示させる。
通信部１０５は、画像処理装置１ｂ及び看板検索装置４００と無線により通信可能である。通信部１０５は、制御部１０３から入力された撮影画像データＰＩを符号化し、符号化後の撮影画像データＰＩを変調し、変調後の撮影画像データＰＩを画像処理装置１ｂへ送信する。
また、通信部１０５は、無線により看板検索装置４００から受信した変調後の重畳画像データＴＩを復調し、復調後の重畳画像データＴＩを復号し、元の重畳画像データＴＩを生成する。そして、通信部１０５は、生成した重畳画像データＴＩを制御部１０３に出力する。
【０１４０】
図２４は、第２の実施形態における画像処理装置１ｂのハードウェア構成を示す概略ブロック図である。図２４の画像処理装置１ｂの構成は、図１の画像処理装置１の構成に対し、制御部２０が制御部２０ｂに変更され、通信部５０が追加されたものになっている。なお、図１の第１の実施形態における画像処理装置１と共通する要素には同一の符号を付し、その具体的な説明を省略する。
【０１４１】
通信部５０は、端末装置１００から無線により送信された変調後の撮影画像データＰＩを受信し、変調後の撮影画像データＰＩを復調し、復調後の撮影画像データＰＩを復号することにより、元の撮影画像データＰＩを得る。通信部５０は、得られた撮影画像データＰＩを制御部２０ｂに出力する。
また、通信部５０は、制御部２０ｂから入力された正面画像データＦＩを看板検索装置４００へ送信する。
【０１４２】
制御部２０ｂは、通信部５０から入力された撮影画像データＰＩから、正面画像データＦＩを抽出する。制御部２０ｂは、抽出した正面画像データＦＩを通信部５０へ出力し、正面画像データＦＩを通信部５０から看板検索装置４００を送信させる。
【０１４３】
図２５は、第２の実施形態における画像処理装置１ｂの制御部２０ｂの論理的な構成を示す概略ブロック図である。図２５の制御部２０ｂの構成は、図２の画像処理装置の構成に対し、属性取得部２７が削除されたものになっている。なお、図２の第１の実施形態における制御部２０と共通する要素には同一の符号を付し、その具体的な説明を省略する。
【０１４４】
図２６は、第２の実施形態における地図画像記憶装置３００のハードウェア構成を示す概略ブロック図である。地図画像記憶装置３００は、記憶部３１０と、通信部３２０と、制御部３２０とを備える。
記憶部３１０には、位置情報Ｌと地図画像データＭＩとが記憶されている。
【０１４５】
通信部３２０は、看板検索装置４００から送信された地図画像データＭＩの要求Ｒと位置情報Ｌとを受信し、受信した地図画像データＭＩの要求Ｒと位置情報Ｌとを制御部３３０へ送信する。また、通信部３２０は、制御部３３０から入力された地図画像データＭＩを看板検索装置４００へ送信する。
【０１４６】
制御部３３０は、通信部３２０から地図画像データＭＩの要求Ｒと位置情報Ｌとが入力された場合、位置情報Ｌが示す位置に対応する地図画像データＭＩを記憶部３１０から読み出す。そして、制御部３３０は、読み出した地図画像データＭＩを通信部３２０に出力し、通信部３２０から看板検索装置４００へ送信させる。
【０１４７】
図２７は、第２の実施形態における看板検索装置４００のハードウェア構成を示す概略ブロック図である。看板検索装置４００は、記憶部４１０と、通信部４２０と、制御部４３０とを備える。
記憶部４１０には、看板画像ファイルと、看板画像ファイルテーブルＴ５と、かんばん特徴量テーブルＴ６と、看板属性テーブルＴ７とが記憶されている。
【０１４８】
通信部４２０は、画像処理装置１ｂから正面画像データＦＩを受信し、受信した正面画像データＦＩを制御部４３０へ送信する。また、通信部４２０は、制御部４３０から入力された位置情報Ｌと地図画像データＭＩの要求Ｒとを地図画像記憶装置３００へ送信する。
【０１４９】
また、通信部４２０は、地図画像記憶装置３００から地図画像データＭＩを受信し、受信した地図画像データＭＩを制御部４３０へ出力する。通信部４２０は、制御部４３０から入力された重畳画像データＴＩを符号化し、符号化後の重畳画像データＴＩを変調し、変調後の重畳画像データＴＩを端末装置１００へ無線送信する。
【０１５０】
制御部４３０は、通信部４２０から入力された正面画像データＦＩから看板の位置情報Ｌを取得し、位置情報Ｌと地図画像データＭＩの要求Ｒとを通信部４２０へ出力する。そして、制御部４３０は、通信部４２０から位置情報Ｌと地図画像データＭＩの要求Ｒとを地図画像記憶装置３００へ送信させる。
また、制御部４３０は、通信部４２０から入力された地図画像データＭＩに基づいて、看板の位置を地図上に重畳した重畳画像データＴＩを生成し、生成した重畳画像データＴＩを通信部４２０に出力する。そして、制御部４３０は、通信部４２０から重畳画像データＴＩを端末装置１００へ無線送信させる。
【０１５１】
図２８は、第２の実施形態における看板検索装置４００の制御部４３０の論理的な構成を示す概略ブロック図である。制御部４３０は、特徴量算出部２７＿１と、特徴量照合部２７＿２と属性読出部２７＿３ｂと、現在位置地図作成部４３１とを備える。なお、図１７の第１の実施形態における属性取得部２７と共通する要素には同一の符号を付し、その具体的な説明を省略する。
【０１５２】
属性読出部２７＿３ｂは、第１の実施形態における属性読出部２７＿３と同様の機能を持つが、以下の点で異なる。属性読出部２７＿３ｂは、看板属性テーブルＴ７から読み出した位置情報Ｌと、地図画像データＭＩの要求Ｒとを通信部４２０へ出力する。また、属性読出部２７＿３ｂは、看板属性テーブルＴ７から読み出した位置情報Ｌを現在位置地図作成部４３１へ出力する。
【０１５３】
現在位置地図作成部４３１は、通信部４２０から入力された地図画像データＭＩが示す地図上に、属性読出部２７＿３ｂから入力された位置情報Ｌが示す看板の位置を重畳した重畳画像データＴＩを生成する。そして、現在位置地図作成部４３１は、生成した重畳画像データＴＩを通信部４２０へ出力する。
【０１５４】
以上、本実施形態の測位システム２は、端末装置１が撮像した看板が撮像された画像から、看板領域を抽出し、抽出された看板領域に基づいて現在位置を特定し、特定した現在位置を端末装置１に表示させる。これにより、端末装置１のユーザは、地下街などＧＰＳが使えない場所でも、現在居る地点の周囲にある看板を端末装置１が備えるカメラで撮影することにより、現在居る位置を知ることができる。
【０１５５】
また、本実施形態の測位システム２は、電波が届かない屋内や地下においても、低コストで現在位置を取得し、現在位置を表示することができる。また、本実施形態の測位システム２は、街中にマーカーを貼り付けて位置を特定する技術のように、無機質で不自然なマーカー形状を貼り付ける必要がないので、街の景観を損なわないというメリットがある。
【０１５６】
なお、本実施形態の測位システム２では、画像処理装置１ｂと、看板検索装置４００とを別装置にしたが、一つの装置で実現してもよい。また、測位システム２では、看板検索装置４００と、地図画像記憶装置３００とを別装置にしたが、一つの装置で実現してもよい。また、測位システム２では、画像処理装置１ｂと、地図画像記憶装置３００とを別装置にしたが、一つの装置で実現してもよい。また、測位システム２では、画像処理装置１ｂと看板検索装置４００と地図画像記憶装置３００とを別装置にしたが、上記３つの装置を一つの装置で実現してもよい。
【０１５７】
＜第２の実施形態の変形例１＞
また、本発明の実施形態では、画像処理装置の応用例として測位システム２を説明したが、応用例はこれに限ったものでない。
例えば、画像処理装置（１、１ｂ）を、自動車が道路標識を認識して、運転手を支援する運転手支援システムに適用してもよい。道路標識は車に対して高いところ又は道路脇に設置されているので、読み出す常に自動車に搭載したカメラに正対しているわけではない。そのため、自動車に搭載したカメラで撮影された画像から道路標識の画像領域を検出する場合、多くの場合、自動車に搭載したカメラは斜めから道路標識を撮影する。
【０１５８】
変形例１における画像処理装置１ｃは、道路標識が撮像された画像から、道路標識の正面画像を取得する。そして、画像処理装置１ｃは、道路標識の正面画像を予め記憶されている道路標識画像と照合することにより、道路標識が何であるか判定することができる。画像処理装置１ｃは、道路標識の正面画像を得た上で照合するので、道路標識をより正確に判定することができる。
【０１５９】
＜第２の実施形態の変形例２＞
また、本発明の実施形態における画像処理装置を、銘板が撮像された画像から銘板を認識させることで作業を支援する保守管理システムに適用してもよい。
屋内には電子機器の筐体にはメーカーロゴや、型式・シリアル番号等が記載された銘板が存在する。屋外でも様々な設備に設置日や規格を示す銘板が取り付けられている。そのような銘板を全て正対して撮像することは、労力がかかることである。
【０１６０】
変形例２における画像処理装置１ｄは、例えば、以下のような処理を行う。ここで、画像処理装置１ｄは、銘板を識別する銘板識別情報、その銘板の銘板画像、その銘板が付けられた設備または機器が設置された位置、設備または機器の保守情報、所有者の情報及び設置管理者情報を関連付けて記憶している。
【０１６１】
画像処理装置１ｄは、銘板が撮像された画像から、銘板の正面画像を取得する。そして、画像処理装置１ｄは、銘板の正面画像を予め記憶されている銘板画像と照合することにより、銘板識別情報を得る。
これにより、画像処理装置１ｄは、銘板の正面画像を得た上で照合するので、銘板が何であるか否かより正確に判定することができる。その結果、銘板を正対して撮像する必要がないので、画像処理装置１ｄは、設備または機器の保守または管理にかかる労力を少なくすることができる。
【０１６２】
また、画像処理装置１ｄは、銘板識別情報に関連付けられたその銘板が付けられた設備または機器が設置された位置、設備または機器の保守情報、所有者の情報及び設置管理者情報を抽出する。これにより、画像処理装置１ｄは、銘板識別情報に関連付けられた各種の情報を提供することができるので、銘板が付けられた設備または機器の保守及び管理を容易にすることができる。
【０１６３】
また、本実施形態の画像処理装置（１、１ｂ、１ｃ、１ｄ）の各処理を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、当該記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、画像処理装置（１、１ｂ、１ｃ、１ｄ）に係る上述した種々の処理を行ってもよい。
【０１６４】
なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【０１６５】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【０１６６】
以上、本発明の実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【０１６７】
１、 １ｂ、１ｃ、１ｄ 画像処理装置
２ 測位システム
１０ 入力部
２０ 制御部
２１ ノイズ除去部
２２ 領域分割部
２３ 看板領域選択部
２３＿１ 面積上位領域抽出部
２３＿２ 色差算出部
２３＿３ エッジ比算出部
２３＿４ 矩形度算出部
２３＿５ スコア算出部
２３＿６ スコア最大領域抽出部
２４ 頂点抽出部
２４＿１ 線分抽出部
２４＿２ エッジ限定部
２４＿３ 交点抽出部
２４＿４ 四交点選出部
２５ 頂点選出部
２６ 正面画像生成部
２６＿１ 座標変換部
２６＿２ 画素値生成部
２７ 属性取得部
２７＿１ 特徴量算出部
２７＿２ 特徴量照合部
２７＿３、２７＿３ｂ 属性読出部
２８、２８ｂ 検索部
２９ 文字図形特定部
３０ 記憶部
４０ 表示部
１００ 端末装置
３００ 地図画像記憶装置
４００ 看板検索装置
４３１ 現在位置地図作成部
【特許請求の範囲】
【請求項１】
画像中の画像領域の矩形度、該画像領域と該画像領域の周辺領域との色差、または該画像領域のエッジ比のうちいずれか１つまたは２つ以上の組に基づいて、前記画像から看板の画像を表す看板領域を選択する看板領域選択部を備えることを特徴とする画像処理装置。
【請求項２】
前記看板領域選択部は、前記画像領域の前記矩形度、該画像領域と該画像領域の周辺領域との前記色差、および該画像領域の前記エッジ比に基づいて、前記画像から前記看板領域を選択することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像から四角形の画像領域を形成する四頂点を抽出する頂点抽出部と、
前記看板領域に基づいて、前記頂点抽出部が抽出した四頂点から前記看板領域の四頂点を選出する頂点選出部と、
を備えることを特徴とする請求項１又は請求項２に記載の画像処理装置。
【請求項４】
前記頂点選出部により選出された前記看板領域の四頂点の座標に基づいて、前記看板領域の画像から看板の正面画像を生成する正面画像生成部を備えることを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記看板領域選択部が選択した看板領域の特徴量に基づいて、前記看板の属性を示す属性情報を取得する属性取得部を備えることを特徴とする請求項１から請求項４のいずれか１項に記載の画像処理装置。
【請求項６】
画像処理装置が実行する画像処理方法であって、
画像中の画像領域の矩形度、該画像領域と該画像領域の周辺領域との色差、または該画像領域のエッジ比のうちいずれか１つまたは２つ以上の組に基づいて、前記画像から看板の画像を表す看板領域を選択する看板領域選択手順を有することを特徴とする画像処理方法。
【請求項７】
コンピュータに、
画像中の画像領域の矩形度、該画像領域と該画像領域の周辺領域との色差、または該画像領域のエッジ比のうちいずれか１つまたは２つ以上の組に基づいて、前記画像から看板の画像を表す看板領域を選択する看板領域選択ステップを実行させるための画像処理プログラム。
【請求項１】
画像中の画像領域の矩形度、該画像領域と該画像領域の周辺領域との色差、または該画像領域のエッジ比のうちいずれか１つまたは２つ以上の組に基づいて、前記画像から看板の画像を表す看板領域を選択する看板領域選択部を備えることを特徴とする画像処理装置。
【請求項２】
前記看板領域選択部は、前記画像領域の前記矩形度、該画像領域と該画像領域の周辺領域との前記色差、および該画像領域の前記エッジ比に基づいて、前記画像から前記看板領域を選択することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像から四角形の画像領域を形成する四頂点を抽出する頂点抽出部と、
前記看板領域に基づいて、前記頂点抽出部が抽出した四頂点から前記看板領域の四頂点を選出する頂点選出部と、
を備えることを特徴とする請求項１又は請求項２に記載の画像処理装置。
【請求項４】
前記頂点選出部により選出された前記看板領域の四頂点の座標に基づいて、前記看板領域の画像から看板の正面画像を生成する正面画像生成部を備えることを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記看板領域選択部が選択した看板領域の特徴量に基づいて、前記看板の属性を示す属性情報を取得する属性取得部を備えることを特徴とする請求項１から請求項４のいずれか１項に記載の画像処理装置。
【請求項６】
画像処理装置が実行する画像処理方法であって、
画像中の画像領域の矩形度、該画像領域と該画像領域の周辺領域との色差、または該画像領域のエッジ比のうちいずれか１つまたは２つ以上の組に基づいて、前記画像から看板の画像を表す看板領域を選択する看板領域選択手順を有することを特徴とする画像処理方法。
【請求項７】
コンピュータに、
画像中の画像領域の矩形度、該画像領域と該画像領域の周辺領域との色差、または該画像領域のエッジ比のうちいずれか１つまたは２つ以上の組に基づいて、前記画像から看板の画像を表す看板領域を選択する看板領域選択ステップを実行させるための画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【公開番号】特開２０１３−３３４０６（Ｐ２０１３−３３４０６Ａ）
【公開日】平成２５年２月１４日（２０１３．２．１４）
【国際特許分類】
【出願番号】特願２０１１−１６９５８４（Ｐ２０１１−１６９５８４）
【出願日】平成２３年８月２日（２０１１．８．２）
【出願人】（３９７０６５４８０）エヌ・ティ・ティ・コムウェア株式会社 (187)
【Ｆターム（参考）】
【公開日】平成２５年２月１４日（２０１３．２．１４）
【国際特許分類】
【出願日】平成２３年８月２日（２０１１．８．２）
【出願人】（３９７０６５４８０）エヌ・ティ・ティ・コムウェア株式会社 (187)
【Ｆターム（参考）】
[ Back to top ]