オブジェクト検出方法、オブジェクト検出装置およびオブジェクト検出プログラム
【課題】予め決められた抽出対象であるオブジェクトを画像から検出する際、画像内に表わされた被写体の構図を背景のシーンに基づき推定して前景となるオブジェクトを検出することで、オブジェクトの検出精度を高めること。
【解決手段】入力する画像データに基づき、当該入力画像内において線状の画像領域を検出する線画像検出ステップと、前記検出された線状の画像領域が示す線画像の前記入力画面内における傾きを示す傾き情報を算出する傾き情報算出ステップと、前記傾き情報算出ステップにおいて算出された傾き情報が示す傾きと対応するシーン構成情報を取得するシーン構成判定ステップとを備えることを特徴とする。
【解決手段】入力する画像データに基づき、当該入力画像内において線状の画像領域を検出する線画像検出ステップと、前記検出された線状の画像領域が示す線画像の前記入力画面内における傾きを示す傾き情報を算出する傾き情報算出ステップと、前記傾き情報算出ステップにおいて算出された傾き情報が示す傾きと対応するシーン構成情報を取得するシーン構成判定ステップとを備えることを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像内に含まれるオブジェクトを検出するオブジェクト検出方法、オブジェクト検出装置およびオブジェクト検出プログラムに関する。
【背景技術】
【０００２】
例えば、通路の天井から矩形の看板やポスターが吊り下げられている場合がある。この風景をカメラで撮影して、撮影した画像の中から矩形画像を検出することにより、画面の構成において前景となる看板等のオブジェクトを検出するものがある。しかし、看板等を正面から撮影することは困難であり、撮影した画像内において、看板等が歪んでいる場合、矩形状の画像領域を検出して看板等のオブジェクトを検出することは困難である。
そこで、画像中から辺候補となる線分を多数検出し、それら線分の組み合わせについて、矩形を成す辺の接続関係や矩形の隅形状といった、複数の評価値を組み合わせて、総合的に評価を行い、画像内の看板等の矩形のオブジェクトを検出するものがある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−０５２６７０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、看板等の矩形のオブジェクトの輪郭以外に、背景の線や、前景となる看板等の模様の線など、画像中から多数の線が検出される場合、看板等の矩形のオブジェクトの輪郭のみを選択することが難しく、特許文献１に記載の手法を適用するのは困難であった。
本発明は、上述したような問題点に鑑みてなされたものであり、予め決められた抽出対象であるオブジェクトを画像から検出する際、画像内に表わされた被写体の構図を背景のシーンに基づき推定して前景となるオブジェクトを検出することで、オブジェクトの検出精度を高めることができるオブジェクト検出方法、オブジェクト検出装置およびオブジェクト検出プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
上述の課題を鑑み、本発明に係るオブジェクト検出方法は、入力する画像データに基づき、当該入力画像内において線状の画像領域を検出する線画像検出ステップと、前記検出された線状の画像領域が示す線画像の前記入力画面内における傾きを示す傾き情報を算出する傾き情報算出ステップと、２次元の画像内で表わされている立体構造物を構成する複数の構成面の位置関係を前記立体構造物を見る視点毎に表わすシーン構成情報と、当該立体構造物を構成する複数の構成面同士の接線であるシーン構成基本線の前記入力画像内における傾きを示すシーン構成基本線情報とを対応づけるシーン構成判定テーブルを参照して、前記傾き情報算出ステップにおいて算出された傾き情報が示す傾きと対応するシーン構成情報を取得するシーン構成判定ステップと、前記構成面の位置関係に応じて予め決められた画面内のシーン構成毎に前記視点に合わせたオブジェクトの形状を示すオブジェクトパターンデータを参照して、前記シーン構成情報が示す画面内のシーン構成において前記構成面の前景となるオブジェクト画像領域を検出するオブジェクト検出ステップとを備えることを特徴とする。
【０００６】
上述のオブジェクト検出方法は、前記オブジェクト画像領域の画像特徴量を算出する画像特徴量算出ステップと、予め決められたオブジェクトの画像特徴量を示すオブジェクト情報と、当該オブジェクトに関連するコンテンツを示すコンテンツ情報とを対応付けるコンテンツ提供テーブルを参照して、前記画像特徴量算出ステップにおいて算出された前記画像特徴量に対応する前記コンテンツ情報を取得するコンテンツ情報取得ステップとをさらに備えることを特徴とする。
【０００７】
上述の課題を鑑み、本発明に係るオブジェクト検出装置は、入力する画像データに基づき、当該入力画像内において線状の画像領域を検出する線画像検出手段と、前記検出された線状の画像領域が示す線画像の前記入力画面内における傾きを示す傾き情報を算出する傾き情報算出手段と、２次元の画像内で表わされている立体構造物を構成する複数の構成面の位置関係を前記立体構造物を見る視点毎に表わすシーン構成情報と、当該立体構造物を構成する複数の構成面同士の接線であるシーン構成基本線の前記入力画像内における傾きを示すシーン構成基本線情報とを対応づけるシーン構成判定テーブルを参照して、前記傾き情報算出手段によって算出された傾き情報が示す傾きと対応するシーン構成情報を取得するシーン構成判定手段と、前記構成面の位置関係に応じて予め決められた画面内のシーン構成毎に前記視点に合わせたオブジェクトの形状を示すオブジェクトパターンデータを参照して、前記シーン構成情報が示す画面内のシーン構成において前記構成面の前景となるオブジェクト画像領域を検出するオブジェクト検出手段とを備えることを特徴とする。
【０００８】
上述の課題を鑑み、本発明に係るオブジェクト検出プログラムは、コンピュータに、入力する画像データに基づき、当該入力画像内において線状の画像領域を検出する線画像検出手順、前記検出された線状の画像領域が示す線画像の前記入力画面内における傾きを示す傾き情報を算出する傾き情報算出手順、２次元の画像内で表わされている立体構造物を構成する複数の構成面の位置関係を前記立体構造物を見る視点毎に表わすシーン構成情報と、当該立体構造物を構成する複数の構成面同士の接線であるシーン構成基本線の前記入力画像内における傾きを示すシーン構成基本線情報とを対応づけるシーン構成判定テーブルを参照して、前記傾き情報算出手順において算出された傾き情報が示す傾きと対応するシーン構成情報を取得するシーン構成判定手順、前記構成面の位置関係に応じて予め決められた画面内のシーン構成毎に前記視点に合わせたオブジェクトの形状を示すオブジェクトパターンデータを参照して、前記シーン構成情報が示す画面内のシーン構成において前記構成面の前景となるオブジェクト画像領域を検出するオブジェクト検出手順、を実行させるためのオブジェクト検出プログラムであることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、予め決められた抽出対象であるオブジェクトを画像から検出する際、画像内に表わされた被写体の構図を背景のシーンに基づき推定して前景となるオブジェクトを検出することで、オブジェクトの検出精度を高めることができる
【図面の簡単な説明】
【００１０】
【図１】本発明の実施形態に係るオブジェクト検出システムの構成の一例を示すブロック図である。
【図２】本発明の実施形態に係るオブジェクト検出装置の構成の一例を示すブロック図である。
【図３】本発明の実施形態に係るオブジェクト検出方法の一例を示すフローチャートである。
【図４】本発明の実施形態に係るオブジェクト検出対象シーンの一例について説明するための図である。
【図５】本発明の実施形態に係るシーン面基本構成モデルにおいて規定されているシーン構成の例を示す図である。
【図６】本発明の実施形態に係るオブジェクト検出対象画像の一例を示す図である。
【図７】本発明の実施形態に係る店舗情報検索システムの構成の一例を示すブロック図である。
【図８】本発明の実施形態に係るシーン面基本構成モデルにおいて規定されているシーン構成の例を示す図である。
【図９】本発明の実施形態に係るオブジェクト検出対象画像の他の例を示す図である。
【図１０】本発明の実施形態に係るオブジェクト検出対象画像の他の例を示す図である。
【図１１】本発明の実施形態に係るオブジェクトパターンについて説明するための図である。
【図１２】本発明の実施形態に係るオブジェクトパターンについて説明するための図である。
【発明を実施するための形態】
【００１１】
［第１実施形態］
以下、本発明の一実施形態によるオブジェクト検出システムについて図１を参照して説明する。
図１は、本実施形態によるオブジェクト検出システムの構成の一例を示すブロック図である。
図１に示す通り、オブジェクト検出システムは、画像撮影端末１００と、オブジェクト検出装置２００と、データベース３００とを備える。
この画像撮影端末１００は、オブジェクト検出（シーン推定）処理を行う対象画像を撮影し、この対象画像の画像データをオブジェクト検出装置２００にネットワークを介して送信する。このオブジェクト検出装置２００は、入力する対象画像の画像データに基づき、画面の構成において前景となるオブジェクトを検出する。また、オブジェクト検出装置２００は、このオブジェクトの画像特徴量を算出する。
【００１２】
データベース３００は、予め決められたオブジェクトの画像特徴量を示すオブジェクト特徴量と、このオブジェクトに関連するコンテンツを示すコンテンツ情報とを対応付けるコンテンツ提供テーブルを保持する。
オブジェクト検出装置２００は、このコンテンツ提供テーブルを参照して、算出しておいたオブジェクトの画像特徴量に対応するコンテンツ情報を取得する。このオブジェクト検出装置２００は、取得したコンテンツ情報を画像撮影端末１００にネットワークを介して送信する。
このように、本実施形態に係るオブジェクト検出システムは、画像撮影端末１００が撮影した画像内のオブジェクトを検出し、当該オブジェクトに対応付けられているコンテンツ情報を画像撮影端末１００に配信するシステムである。
【００１３】
次に、図２および３を参照して、オブジェクト検出装置２００による、画像内の前景と背景を分離するためのシーン分離処理とオブジェクト検出処理について説明する。なお、オブジェクト検出装置２００は、必ずしも前景と背景とを分離する必要はなく、画像内に表わされた被写体の構図を背景のシーンに基づき推定して、前景に相当するオブジェクトを検出するものであればよい。
図２は、オブジェクト検出装置２００の構成の一例を示すブロック図である。図３は、オブジェクト検出装置２００によるオブジェクト検出方法の一例を示すフローチャートである。
図２に示す通り、このオブジェクト検出装置２００は、シーン構成基本直線検出処理部（線画像検出手段）２０１と、シーン構成推定処理部（傾き情報算出手段、シーン構成判定手段）２０２と、前景領域決定処理部（オブジェクト検出手段）２０３とを含む。
図３に示す通り、本実施形態に係るオブジェクト検出方法は、線画像検出ステップＳＴ１と、傾き情報算出ステップＳＴ２と、シーン構成判定ステップＳＴ３と、オブジェクト検出ステップＳＴ４と、画像特徴量算出ステップＳＴ５と、コンテンツ情報取得ステップＳＴ６とを備える。各ステップについては、以下説明する。
【００１４】
（線画像検出ステップＳＴ１）
シーン構成基本直線検出処理部２０１は、入力された対象画像の中から線状の画像領域を抽出する。本実施形態において、シーン構成基本直線検出処理部２０１は、線状の画像領域として、画像内の直線部分を抽出し、この直線部分の画像内における位置を示す直線情報を取得する。このシーン構成基本直線検出処理部２０１は、例えば、文献１にあるような確率的Ｈｏｕｇｈ変換などの手法を用いて、入力された撮影画像中の直線部分の検出をおこなう。
＜文献１＞ オライリー・ジャパン出版 松田晃一訳 p.157-158 2010年2月発行
【００１５】
次に、シーン構成基本直線検出処理部２０１は、検出された複数の直線部分の中から、シーンを構成している面の位置を推定するために必要なシーン構成基本直線を選択する。このシーン構成基本直線とは、シーンを構成しているシーン構成面とシーン構成面の境界線のことであり、撮像画像の被写体であるシーンに応じて予め決められている。このシーン構成面とは、ｘ軸−ｙ軸−ｚ軸によって表わされる仮想３次元空間を形成する面であり、例えば、床、天井、壁等の面である。つまり、シーン構成面とは、ｘ軸−ｙ軸平面、ｘ軸−ｚ軸平面、あるいは、ｙ軸−ｚ軸平面に平行な面をいう。
このシーン構成基本直線検出処理部２０１は、例えば天井と壁の境界線などのようなシーン構成基本直線を、想定される撮影シーンにあわせて選択することが望ましい。
ここでは、建物内の通路をなど面で囲まれた場所を対象とした入力される撮影画像におけるシーン構成基本直線について説明する。
【００１６】
図４に、オブジェクト検出装置２００が推定する対象の一例を示す。図４は、オブジェクト検出装置２００がオブジェクトを検出する対象シーンの一例について説明するための図である。
図４には、オブジェクト検出装置２００がオブジェクトを検出する対象のオブジェクト検出対象シーン３０１を示す。オブジェクト検出対象シーン３０１には、被写体である立体構造物として、建物内の通路が表わされている。このオブジェクト検出対象シーン３０１は、この通路を構成する複数のシーン構成面を含む風景である。
具体的にいうと、このオブジェクト検出対象シーン３０１は、建物内の通路を、地面に垂直な２つのシーン構成面である平面Ａと平面Ｃ、および地面に水平な２つのシーン構成面である天井Ｂと床Ｄで形成されているシーン（風景）である。
【００１７】
このオブジェクト検出対象シーン３０１は、それぞれ異なる視点から撮影されたシーンとして、例えば、以下の２つのケースに分類することができる。
例えば、向かって右側（紙面右側）の地面に垂直な平面Ｃと天井Ｂで構成されるシーン構成を撮影している場合（ケース１）と、向かって左側（紙面左側）の地面に垂直な平面Ａと天井Ｂで構成されているシーン構成を撮影している場合（ケース２）に分類することができる。つまり、オブジェクト検出対象シーン３０１を撮影する視点（ユーザの撮影位置）に応じて撮影されるシーン構成面が異なるため、画像内に含まれるシーン構成面の種類（天井、右壁、左壁等）を、画像内の構図や撮影位置に応じて分類することができる。
【００１８】
なお、シーン構成基本直線検出処理部２０１は、壁である平面Ａと天井Ｂとの境目に該当する直線３０２または壁である平面Ｃと天井Ｂとの境目に該当する直線３０３を、シーン構成基本直線として画像中から検出するのが望ましい。直線３０２は、壁Ａと天井Ｂとの境目に該当する直線である。直線３０３は、壁Ｃと天井Ｂとの境目に該当する直線である。
【００１９】
本実施形態におけるシーン構成基本直線検出処理部２０１によるシーン構成基本直線の検出法は、入力画像から上記手法で検出した直線のうち、一番長い直線を壁と天井の境目に該当するシーン構成基本直線として選択してもよい。
また、天井と壁の境目に該当する直線が分断されて検出されている場合、長さが短くなっている場合もありえるので、シーン構成基本直線検出処理部２０１は、各直線の傾きをベクトル量子化しヒストグラムを算出する。そして、シーン構成基本直線検出処理部２０１は、一番多い傾きを向いた直線群を天井と壁の境目に該当するシーン構成基本直線としてもよい。
また、通路が狭く、天井と左右両側の壁も画像に撮影されることが想定される場合、天井と壁の境目に該当するシーン構成基本直線が２本あると考えられるので、シーン構成基本直線検出処理部２０１は、画像上で長さの長い上位２本の直線をシーン構成基本直線として抽出してもよい。
【００２０】
なお、レーザによる距離計測や直線上のテクスチャ情報等などから奥行き値を推定した場合などのように、入力する撮影画像上の直線に奥行き情報が付与されている場合、奥行きが変化する。よって、シーン構成基本直線検出処理部２０１は、撮影地点から奥に向かって遠ざかっている位置にある直線を、シーン構成を推定するためのシーン構成基本直線として選択してもよい。
【００２１】
次に、シーン構成推定処理部２０２は、シーン面基本構成モデル２０４と、シーン構成基本直線検出部２０１により選択された画像上のシーン構成基本直線の位置関係に関して照合を行い、撮影されたシーンを構成する面の位置を推定する。
はじめに、シーン面基本構成モデル２０４の一例について説明する。シーン面基本構成モデル２０４は、例えば、図５で示すようなシーンを想定するための構成モデルのデータである。なお、このシーン面基本構成モデル２０４は、オブジェクト検出装置２００が備えるデータベース２０５に格納されている。
【００２２】
図５（ａ）は、シーン面基本構成モデル２０４において規定されているケース１のシーン構成について説明するための図である。図５（ａ）は、画像撮影端末１００からオブジェクト検出装置２００が受信する画像の一例であるオブジェクト検出対象画像４０１を示す。
ケース１は、向かって右側（紙面右側）の地面に垂直な平面Ａと天井Ｂで構成されているシーン構成である。
【００２３】
図５（ｂ）は、シーン面基本構成モデル２０４において規定されているケース２のシーン構成について説明するための図である。図５（ｂ）は、画像撮影端末１００からオブジェクト検出装置２００が受信する画像の一例であるオブジェクト検出対象画像４０２を示す。
ケース２は、向かって左側（紙面左側）の地面に垂直な平面Ｃと天井Ｂで構成されているシーン構成である。
【００２４】
具体的には、下記のようになる。
ケース１：オブジェクト検出対象画像４０１内において、シーン構成基本直線３０２の傾きα３０２が０度〜６０度である。なお、傾きα３０２とは、垂直方向の基準ラインを０度とした場合、この基準ラインから左周りに＋、右周りに−の値である。
ケース２：オブジェクト検出対象画像４０２内において、シーン構成基本直線３０３の傾きα３０３が−６０度〜０度である。なお、傾きα３０３とは、垂直方向の基準ラインを０度とした場合、この基準ラインから左周りに＋、右周りに−の値である。
なお、図５（ａ）、（ｂ）に示す通り、画像の左下を原点Ｏ、横軸をｘ軸、縦軸をｙ軸と設定している。
【００２５】
シーン面基本構成モデル２０４は、オブジェクト検出対象画像４０１、４０２に示す通り、２次元の画像内で表わされている立体構造物を構成する複数のシーン構成面の位置関係を視点毎に表わすシーン構成情報と、この立体構造物を構成する複数の構成面同士の接線であるシーン構成基本線の画像内における傾きを示すシーン構成基本線情報とを対応づけるシーン構図判定テーブルを含むものであってもよい。
なお、シーン構成情報とは、ケース１、２のような画像が撮像される際の視点に応じて複数用意される情報であって、例えば、視点の位置を示す情報や、当該視点から撮影した際に映し出されるシーン構成面の種類（天井、右壁、左壁等）を示す情報であってもよい。
また、シーン構成基本線情報とは、シーン構成と判定するためのシーン構成基本直線の傾きの範囲を示す情報であって、ケース１の場合、シーン構成基本直線３０２の傾きα３０２が０度〜６０度の範囲であると規定されている。なお、シーン構成基本線情報は、シーン構成基本直線の傾きの範囲に限定されず、このシーン構成基本直線の位置範囲を規定するものであってもよい。
【００２６】
シーン構成推定処理部２０２は、シーン構成基本直線検出部２０１により選択された画像上のシーン構成基本直線の位置関係に関して照合を行い、撮影されたシーンを構成する面の位置を推定する。
ここで、シーン構成基本直線検出処理部２０１は、シーン構成基本直線として、画像上の一番長い直線を選択した場合、その傾きをもとに、上記のどのケースに適合するか比較をおこなう場合について説明する。
【００２７】
（傾き情報算出ステップＳＴ２）
例えば、シーン構成基本直線検出処理部２０１に入力するオブジェクト検出対象の画像が、図６（ａ）に示すようなオブジェクト検出対象画像５０１であったとする。図６（ａ）は、画像撮影端末１００からオブジェクト検出装置２００が受信する画像の一例であるオブジェクト検出対象画像５０１であって、シーン構成基本直線検出処理部２０１によって検出された直線を示す。
この場合、シーン構成基本直線検出処理部２０１は、一番長い直線として、直線５０３を検出する。次いで、シーン構成推定処理部２０２は、オブジェクト検出対象画像５０１内における直線５０３の傾きを算出し、この傾きを示す傾き情報を取得する。
【００２８】
（シーン構成判定ステップＳＴ３）
そして、シーン構成推定処理部２０２は、シーン面基本構成モデル２０４を参照して、直線５０３の傾き情報に基づき、このオブジェクト検出対象画像５０１がどのケースに該当するか否かを判断する。本実施形態において、シーン構成推定処理部２０２は、ケース２であると判定される。
具体的に説明すると、シーン構成推定処理部２０２は、直線５０３の傾きα５０３を検出し、この傾きα５０３が−６０度〜０度であると判定する。よって、シーン構成推定処理部２０２は、傾きが−６０度〜０度である場合シーン２に該当すると定義されているシーン面基本構成モデル２０４を参照して、傾き情報が示す傾きと対応するシーン構成情報を取得し、オブジェクト検出対象画像５０１がケース２に該当すると判定する。
【００２９】
なお、大まかに画像内に含まれるシーン構成面を天井と壁をわければ良い場合、シーン構成推定処理部２０２は、シーン構成基本直線である直線５０３の傾き情報に基づき、この直線５０３よりもｙ軸方向に＋方向に広がる領域を含む領域（紙面において左領域）を天井Ａ、この直線５０３よりもｙ軸方向に−方向に広がる領域を含む領域（紙面において右領域）を壁である平面Ｃと判定してもよい。言い換えると、シーン構成推定処理部２０２は、シーン構成基本直線である直線５０３に基づき、この直線５０３よりも傾きα５０３が＋の値となる側に広がる領域を含む領域（紙面において左領域）を天井Ａ、この直線５０３よりも傾きα５０３が＋の値となる側に広がる領域を含む領域（紙面において右領域）を壁である平面Ｃと判定してもよい。この場合、シーン面基本構成モデル２０４には、傾き情報に応じて、シーン構成基本直線の左右あるいは上下に広がる領域が所定のシーン構成面であることが規定されている。
上記のように、シーン構成面推定処理部２０２は、シーン構成基本直線から撮影されたシーンを構成する面の位置関係を推定する。
【００３０】
次に、前景領域決定処理部２０３について説明する。
（オブジェクト検出ステップＳＴ４）
オブジェクト検出対象シーン３０１のように、地面に垂直な平面Ａおよび平面Ｃがシーン構図において前景であると予めわかっている場合、前景領域決定処理部２０３は、シーン構成面推定処理部２０２において推定したシーン構成面の位置関係をもとに、前景領域を決定する。つまり、前景領域決定処理部２０３は、シーン構成面推定処理部２０２によって判定された画像内のシーン構成面の位置関係に応じて予め決められた画面内のシーン構成毎に視点に合わせたオブジェクトの形状を示すオブジェクトパターンデータを参照して、シーン構図情報が示す画面内のシーン構成においてシーン構成面の前景となるオブジェクト画像領域を検出する。
【００３１】
たとえば、オブジェクト検出対象画像５０２において、向かって右側（紙面右側）の右壁が所望の領域の場合、前景領域決定処理部２０３は、図６（ｂ）に示されているオブジェクト検出対象画像５０２のうち、天井Ｃにあたる領域５０４を前景領域として取り出しても良い。
また、オブジェクト検出対象画像５０２において、壁上にあるオブジェクトが所望の物体の場合、前景領域決定処理部２０３は、まず領域５０４を前景領域の初期値として設定し、その後、文献３や文献４に記載のＧｒａｐｈｃｕｔやＧｒａｂｃｕｔの手法をもとに領域分割をおこない、色などを目印に所望の物体を抽出してもよい。
＜文献３＞ Y. Boykov and M.-P. Jolly: “Interactive graph cuts for optimal boundary & region segmentation of objects in n-d images”, ICCV2001, 01, p. 105 (2001).
＜文献４＞ C. Rother, V. Kolmogorv, A. Blake,““GrabCut”:Interactive Foreground Extraction Using Iterated Graph Cuts,” ACM Trans. Graphics (SIGGRAPH ’04), vol.23, no.3, pp.309-314, 2004.
【００３２】
このように、シーンを構成する面の位置を推定し、画像上における、建物内の通路等の壁や天井、床といった面の位置を推定できれば、通行人の位置を推定し人のみを取り省いたり、オブジェクト等を取り省いたときのシーンを作成したりといったような景観シミュレーションをおこなうことも可能となる。
【００３３】
次に、コンテンツ決定処理部２０６によるコンテンツ情報取得処理について説明する。
（画像特徴量算出ステップＳＴ５）
コンテンツ決定処理部２０６は、前景領域決定処理部２０３によって決定された前景画像に対応する画像領域の画像特徴量を算出する。このコンテンツ決定処理部２０６は、例えば、前景画像に対応する画像領域から文字や図計を検出する画像処理を行い、この前景画像に対応する画像領域内における検出された文字や図形等の位置を取得する。
【００３４】
（コンテンツ情報取得ステップＳＴ６）
コンテンツ決定処理部２０６は、データベース３００内のコンテンツ提供テーブルを参照して、画像特徴量算出ステップにおいて算出された画像特徴量に対応するコンテンツ情報を取得する。
このコンテンツ決定処理部２０６は、取得したコンテンツ情報を画像撮像端末１００に送信する。
【００３５】
上述の通り、本実施形態に係るオブジェクト検出システムは、撮影されるシーンは建物や建物内など面で構成させるシーンであるとあらかじめ設定をすることにより、建物を構成する面の写り方をモデル化することが可能となる。このため、入力する対象画像中の背景模様なども含む直線群の中からシーン面基本構成モデル２０４に適合する直線を、シーン構成面の接線である直線として抽出することが可能となる。これにより、オブジェクト検出装置２００は、背景となる建物内の通路などの壁などにあたるシーン構成面と、前景となる人や看板といったオブジェクト領域を分離することが可能となる。
【００３６】
また、オブジェクト領域の具体例としては、地下街の店舗などの看板などが考えられる。オブジェクト検出装置２００は、入力画像から検出した直線群から、シーン面基本構成モデル２０４に適合するものを屋内通路等の壁にあたる面をあらわす直線として抽出することにより、入力画像中の壁の位置を推定することができる。よって、背景や看板内の模様に左右されずに看板の輪郭を形成する四角形を検出することを可能とする。
具体的には、シーン面基本構成モデル２０４をあらかじめオブジェクト検出装置２００に記憶しておき、入力する画像中の直線情報と記憶している面基本構成モデルとの照合を行うことにより、比較的近い面基本構成モデルを選択し、シーンの面構成を推定する。
【００３７】
これにより、安定して入力する画像中の看板領域を登録画像と同じ形の擬似的な四角形に射影変換するための射影変換行列を算出することを可能とし、登録画像との照合精度を高める。
また、入力する画像中から看板領域を抽出することができるようになれば、店舗検索サービス等を精度良く実現することが可能となる。店舗検索サービスは、後述の図７に示すようなシステムで実現することができ、店舗の看板画像を登録画像とし、登録画像とその登録画像に対応する付加情報とをあわせてデータベース上に保持する。画像撮影端末により撮影された撮影画像中の看板領域とデータベース上に保持している登録画像との類似性の判断をおこない、類似性が認められた前記データベースに保持している登録画像を特定し、特定した登録画像に対応付けて、店舗情報などの付加情報を画像撮影端末へ返信する登録画像決定部とをそなえることを特徴とする。
【００３８】
［第２実施形態］
次に、本発明に係る第２実施形態について説明する。
図７は、店舗情報検索システムの構成の一例を示すブロック図である。図７に示す店舗情報検索システムは、画像撮影端末１１００と、サーバ１２００と、データベース１３００とを備える。本実施形態において、店舗情報検索システムは、撮影画像内から店舗の看板をオブジェクトとして検出し、この看板に対応する店舗情報をコンテンツ情報として画像撮影端末１１００に配信するシステムである。
【００３９】
この画像撮影端末１１００は、被写体を撮影し、撮影により得られた撮影画像の画像データをサーバ１２００に送信する。本実施形態において、撮影画像は、店舗を特定する四角形の看板が写っている画像である。
サーバ１２００は、画像撮影端末１１００から受信した撮影画像の画像データを検索キーとして、登録された店舗の看板画像を検索するための登録看板画像テーブルを格納しているデータベース１３００との照合処理を行う。なお、サーバ１２００は、オブジェクト検出装置２００と同様の構成を有し、撮影画像の画像データからオブジェクトとして３次元空間において矩形の画像領域を、看板に相当する画像領域として検出する。このサーバ１２００は、この看板に相当する画像領域の画像特徴量を算出し、登録看板画像テーブルを参照して、この特徴量と対応付けられている店舗情報を取得する。
この登録看板画像テーブルは、予め決められたオブジェクトの画像特徴量を示すオブジェクト特徴量として、看板に記載されている文字や画像を示すオブジェクト情報と、当該オブジェクトに関連するコンテンツを示すコンテンツ情報として、看板により特定される店舗を示す店舗情報とを対応付けるテーブルである。
【００４０】
このサーバ１２００は、対象画像の画像データとマッチした登録看板画像データとペアで管理されている店舗情報を検索によって取得し、画像撮影端末１０１へ送信し、ユーザに提示する。以下、詳細に説明する。
【００４１】
はじめに、データベース１０３に格納されている登録看板画像テーブルの作成について、その一例を説明する。この登録看板画像テーブルを作成する装置を、以下、データベース作成装置という。
画像撮影端末１１００あるいは任意のカメラが、店舗を特定することが可能な四角形（矩形）の看板を撮影し、撮影した画像データをデータベース作成装置に出力する。このデータベース作成装置は、撮影した画像中から看板にあたる四角形領域を抽出する。なお、この看板にあたる四角形領域の抽出は、手作業であってもよいし、画像領域分割法等を用いてもよい。
データベース作成装置は、この抽出した看板にあたる矩形画像領域を登録看板画像データとして登録看板画像テーブルに書き込んでもよい。また、データベース作成装置は、この看板にあたる矩形画像領域からＯＣＲ等の技術を用いて抽出した文字のみをオブジェクト情報として登録看板画像テーブルに書き込んでもよく、手作業により指定された看板内の図形のみを抽出してオブジェクト情報として登録看板画像テーブルに書き込んでもよい。
また、データベース作成装置は、このオブジェクト情報に対応するコンテンツ情報として、店舗の開店時間や推薦商品等などの店舗情報を対応付けて、登録看板画像テーブルに書き込む。
【００４２】
また、登録看板画像テーブルは、オブジェクト情報として、例えば１００ピクセル×１００ピクセルの正方形に変形された画像であって、みな同じ大きさの画像データを保存するもであってもよい。本実施例では、一例として登録看板画像テーブルのオブジェクト情報として、１００ピクセル×１００ピクセルの正方形に変形した場合について説明する。
【００４３】
なお、この図形の射影変換は、下記の計算でできる。
【００４４】
【数１】
【００４５】
式（１）は、分子分母をスカラーで通分でるため、独立した未知数は８個である。この８個の係数は、撮影画像中の看板にあたる四角形と変換後の１００ピクセル×１００ピクセルの正方形との、四辺形の４頂点を上の式に代入して、８元連立方程式を解けばよい。
【００４６】
データベース作成装置は、このようにして得られた射影変換行列を適用し、撮影画像中の看板にあたる四角形領域を１００ピクセル×１００ピクセルの正方形に変形し、オブジェクト情報としてデータベース１３００の登録看板画像テーブルに書き込む。
【００４７】
次に、サーバ１２００によるオブジェクト検出処理について説明する。
本実施形態において、サーバ１２００は、店舗を特定するため、四角形の看板が写っている看板画像を対象画像から抽出し、この抽出した看板画像を検索キーとして、データベース１３００に格納されている登録看板画像テーブルとの照合処理を行い、看板画像に対応する店舗情報を取得する。
【００４８】
このサーバ１２００による照合処理は、入力する対象画像の中から３次元空間において四角形となる矩形画像領域（つまり、２次元画像内において矩形であるとは限らない）を看板画像として抽出する看板領域抽出処理部１２０１と、データベース１３００に記憶されている登録看板画像テーブルと抽出された看板画像との照合処理を行う照合処理部１２０２とを含む。
看板領域抽出処理部１２０１は、図２に示したオブジェクト検出装置２００と同様、シーン構成基本直線検出処理部２０１と、シーン構成推定処理２０２と、前景領域決定処理２０３とを含む。
【００４９】
ここでは、看板に注目しているため、前景領域決定処理部２０３が決定する前景領域は、看板の領域であることが予め決められている。
画像撮影端末１１００が、天井と壁に垂直に吊り下げられている看板を撮影する場合、撮影位置によって背景が大きく変化するため、看板領域の特定が照合の精度を保つのに重要となる。そこで、ここでは、天井と壁に垂直に吊り下げられている看板を撮影する場合を主に想定しながら説明する。
【００５０】
まず、看板領域抽出処理部１２０１について説明する。なお、この看板領域抽出処理部１２０１は、図２に示したシーン構成基本直線検出処理部２０１と、シーン構成推定処理部と、前景領域決定処理部２０３と、シーン面基本構成モデル２０４（データベース２０５）に相当する構成を含む。
【００５１】
（線画像検出ステップ）
最初に、シーン構成基本直線検出処理部２０１が、画像撮影端末１１００から入力される画像データに基づき、撮影画像の中から線状の画像領域として、例えば、直線を抽出する。なお、ここでは、直線として説明するが、画像のゆがみ等により、厳密に直線でない場合であっても、これらの誤差を許容する範囲内で直線と判定される線状の画像が相当する。
このシーン構成基本直線検出処理部２０１は、文献１にあるような確率的Ｈｏｕｇｈ変換などの手法を用いて、入力する撮影画像の中の直線部分に対応する画像領域を検出する。
【００５２】
次に、複数の直線部分が検出された場合、シーン構成基本直線検出処理部２０１は、検出された複数の直線の中から、シーン構成を推定するために必要なシーン構成基本直線を選択する。このシーン構成基本直線とは、シーンを構成している平面の境界線のことである。シーン構成基本直線検出処理部２０１は、想定される撮影シーンに応じて予め決められているシーン構成基本直線を選択することが望ましい。ここでは、シーン構成基本直線検出処理部２０１は、例えば、建物内の天井から吊り下げられている店舗看板を検出するため、シーン構成基本直線として、最も長い直線を検出するように予め決められており、その旨がシーン構成基本直線検出処理部２０１が内蔵するメモリあるいはデータベース２０５に記憶されている。
【００５３】
ここで、サーバ１２００のオブジェクト検出対象が、図４に示したオブジェクト検出対象シーン３０１と同様に、建物通路内を構成するシーン構成面を有する場合について説明する。つまり、オブジェクト検出対象が、建物内の通路を地面に垂直なシーン構成面である平面Ａと平面Ｃと、地面と平行なシーン構成面である天井Ｂと床Ｄで構成されているとシーン面基本構成モデル２０４において設定されている。
【００５４】
この場合、サーバ１２００のシーン構成基本直線検出処理部２０１は、入力する対象画像が、以下のケース１１〜１３のいずれに該当するかを判定する。つまり、シーン構成基本直線検出処理部２０１は、向かって右側（紙面右側）の地面に垂直な平面Ｃと天井Ｂで構成されるシーン構成を撮影しているか（ケース１１）、向かって左側（紙面左側）の地面に垂直な平面Ａと天井Ｂで構成されているシーン構成を撮影しているか（ケース１２）、天井Ｂと左右両方の地面に垂直な平面Ａと平面Ｃで構成されるシーン構成を撮影しているか（ケース１３）に分類することができる。この場合、サーバ１２００のシーン構成基本直線検出処理部２０１は、壁と天井の境目に該当する直線３０２または直線３０３をシーン構成基本直線として画像中から検出するのが望ましい。
【００５５】
シーン構成基本直線検出処理部２０１によるシーン構成基本直線の検出法は、入力する対象画像の画像データに基づき、上記手法で検出した直線から一番長い直線を壁と天井の境目に該当するシーン構成基本直線として選択するものであってもよい。または、天井と壁の境目に該当する直線がその間に存在する物体により分断されている場合がある。この場合、シーン構成基本直線検出処理部２０１が検出する直線の長さが短くなっている。このため、シーン構成基本直線検出処理部２０１は、各直線の傾きをベクトル量子化し、ヒストグラムを算出し、一番多い傾きを向いた直線群を天井と壁の境目に該当するシーン構成基本直線としてもよい。
【００５６】
また、通路が狭く、天井と左右両側の壁が画像に撮影されることも想定される。この場合、撮影画像内に、天井と壁の境目に該当するシーン構成基本直線は２本ある。このため、シーン構成基本直線検出処理部２０１は、撮影画像内で長さが長い上位２本の直線をシーン構成基本直線として抽出してもよい。レーザによる距離計測や直線上のテクスチャ情報等などから奥行値を推定した場合などのように、入力画像上の直線に奥行情報が付与されている場合、奥行が変化する。よって、シーン構成基本直線検出処理２０１は、撮影地点から奥に向かって遠ざかっている位置にある直線を、シーン構成を推定するためのシーン構成基本直線として選択してもよい。
【００５７】
シーン構成推定処理部２０２は、シーン構成基本直線検出部２０１により選択された画像上のシーン構成基本直線の位置関係に関してシーン面基本構成モデル２０４との照合を行い、撮影されたシーンを構成する面の位置を推定する。
【００５８】
次に、シーン面基本構成モデル２０４について説明する。ここでは、図８に示すように、天井から看板が吊り下げられているシーンを含む対象画像の画像データから看板領域を検出する場合を想定して以下説明する。図８（ａ）〜（ｃ）で説明するように、入力されるシーンは、以下のようなケース１１〜１３の例が考えられる。なお、図８（ａ）〜（ｃ）にそれぞれ示す画像６０１〜６０３は、画像左下を原点Ｏとして、横軸がｘ軸、縦軸がｙ軸と設定されている。また、画像６０１〜６０３は、長方形の画像であって、ｘ軸の長さの方が長い。
【００５９】
図８（ａ）は、シーン面基本構成モデル２０４において規定されているケース１１のシーンについて説明するための図である。図８（ａ）は、ケース１１の構図で撮影された画像６０１を示す。
ケース１１は、図４に示すオブジェクト検出対象シーン３０１において向かって右側（紙面右側）の地面に垂直な平面Ｃと天井Ｂで構成されるシーン構成である。
図８（ｂ）は、シーン面基本構成モデル２０４において規定されているケース１２のシーンについて説明するための図である。図８（ｂ）は、ケース１２の構図で撮影された画像６０２を示す。
ケース１２は、図４に示すオブジェクト検出対象シーン３０１において向かって左側（紙面左側）の地面に垂直な平面Ａと天井Ｂで構成されているシーン構成である。
図８（ｃ）は、シーン面基本構成モデル２０４において規定されているケース１３のシーンについて説明するための図である。図８（ｃ）は、ケース１３の構図で撮影された画像６０３を示す。
ケース１３は、図４に示すオブジェクト検出対象シーン３０１において天井Ｂと左右両方の地面に垂直な平面Ａと平面Ｃで構成されるシーン構成である。
【００６０】
シーン面基本構成モデル２０４は、図を用いて説明すると、図８（ａ）〜（ｃ）において、画像６０１〜６０３に示すようなシーン構成を示す情報である。具体的には、下記のようになる。
ケース１１は、シーン構成基本直線６０４の傾きα６０４が４５度〜９０度であり、かつｙ切片が０から画像ｙ軸方向のサイズである場合のシーン構成をいう。なお、傾きα６０４とは、垂直方向の基準ラインであるｙ軸から左周りに−、右周りに＋の値である。
ケース１２は、シーン構成基本直線６０５の傾きα６０５が−４５度〜−９０度であり、かつｙ切片は、０から画像のｙ軸方向のサイズである場合のシーン構成をいう。なお、傾きα６０５とは、垂直方向の基準ラインであるｙ軸を０度とした場合、この基準ラインから左周りに−、右周りに＋の値である。
ケース１３は、シーン構成基本直線６０６の傾きが０〜４５度であり、かつシーン構成基本直線６０６のｙ切片が画像ｙサイズよりマイナスの値であって、シーン構成基本直線６０７の傾きが０〜−４５度であり、かつシーン構成基本直線６０７のｙ切片が画像ｙサイズより大きい場合のシーン構成をいう。
なお、シーン構成基本直線６０６、６０７のｙ切片とは、シーン構成基本直線６０６、６０７をそれぞれ伸ばしてｙ軸と交わる点のｙ座標の値をいう。よって、図８（ｃ）に示す通り、シーン構成基本直線６０６のｙ切片は、ｙ座標のマイナスの値となる。また、シーン構成基本直線６０７のｙ切片は、画像６０３のｙ座標の値よりも大きくなる。
【００６１】
上述の通り、シーン面基本構成モデル２０４は、オブジェクト検出対象画像６０１〜６０３に示す通り、２次元の画像内で表わされている立体構造物を構成する複数のシーン構成面の位置関係を視点毎に表わすシーン構成情報と、この立体構造物を構成する複数の構成面同士の接線であるシーン構成基本線の画像内における傾きを示すシーン構成基本線情報とを対応づけるシーン構図判定テーブルを含むものであってもよい。
なお、シーン構成情報とは、ケース１１〜１３のような画像が撮像される際の視点に応じて複数用意される情報であって、例えば、視点の位置を示す情報や、当該視点から撮影した際に映し出されるシーン構成面の種類（天井、右壁、左壁等）を示す情報であってもよい。
また、シーン構成基本線情報とは、シーン構成と判定するためのシーン構成基本直線の傾きの範囲を示す情報であって、ケース１１の場合、シーン構成基本直線６０４の傾きα６０４が４５度〜９０度であると規定されており、また、シーン構成基本直線６０４のｙ切片が０から画像ｙ軸方向のサイズまでの範囲であると規定されている。
【００６２】
シーン構成推定処理部２０２は、入力する撮影画像のシーン構成基本直線の傾きとｙ切片をもとに、上記のどのケースに適合するか比較をおこなう。
ここで、図９を参照して、具体的に説明する。
図９（ａ）は、撮影画像の一例である撮影画像７０１を示す図である。
図９（ｂ）は、撮影画像の一例である撮影画像７０２を示す図である。
図９（ｃ）は、撮影画像の一例である撮影画像７０３を示す図である。
図９（ｄ）は、撮影画像の一例である撮影画像７０４を示す図である。
図９（ｅ）は、撮影画像の一例である撮影画像７０５を示す図である。
【００６３】
例えば、入力画像が、図９（ａ）の例に示されるものだったとする。この場合、シーン構成基本直線検出処理部２０１は、入力する撮影画像のシーン構成基本直線として直線７０６を検出する。そして、シーン構成推定処理部２０２は、この直線７０６の傾きとｙ切片を算出し、これら傾きとｙ切片に基づき、シーン面基本構成モデル２０４を参照して、撮影画像７０１がシーン面基本構成モデル２０４に規定されているケース１１〜１３のどれに適合するか否かの判定を行う。本実施形態において、シーン構成推定処理部２０２は、直線７０６に基づき、画像７０１がケース１２のシーン構成に該当すると判定する。
【００６４】
（傾き情報算出ステップ）
具体的には、シーン構成基本直線検出処理部２０１は、入力するオブジェクト検出対象の画像７０１から、一番長い直線として、直線７０６を検出する。なお、この場合、直線７０６は、途中で分断されているが、伸ばすことにより重複するため、１本の直線として取り扱われる。そして、シーン構成推定処理部２０２が、オブジェクト検出対象の画像７０１内における直線７０６の傾きとｙ切片を算出し、この傾きを示す傾き情報とｘ切片を示す位置情報を取得する。
【００６５】
（シーン構成判定ステップ）
そして、シーン構成推定処理部２０２は、シーン面基本構成モデル２０４を参照して、直線７０６の傾き情報と位置情報に基づき、この画像７０１がどのケースに該当するか否かを判断する。本実施形態において、シーン構成推定処理部２０２は、ケース１２であると判定される。
【００６６】
サーバ１２００は、同様にして、シーン構成の判定を行う。つまり、入力画像が、図９（ｂ）の画像７０２だったとする。この場合、シーン構成基本直線検出処理部２０１は、入力する撮影画像７０２のシーン構成基本直線として直線７０７を検出する。そして、シーン構成推定処理部２０２は、この直線７０７の傾きとｙ切片を算出し、これら傾きとｙ切片に基づき、シーン面基本構成モデル２０４を参照して、画像７０２がシーン面基本構成モデル２０４に規定されているケース１１〜１３のどれに適合するか否かの判定を行う。本実施形態において、シーン構成推定処理部２０２は、直線７０７に基づき、画像７０２がケース１１のシーン構成に該当すると判定する。
【００６７】
入力画像が、図９（ｃ）に示されるものだった場合、シーン構成基本直線検出処理部２０１は、入力する画像７０３のシーン構成基本直線として直線７０８を検出する。そして、シーン構成推定処理部２０２は、この直線７０８の傾きとｙ切片を算出し、これら傾きとｙ切片に基づき、シーン面基本構成モデル２０４を参照して、画像７０３がシーン面基本構成モデル２０４に規定されているケース１１〜１３のどれに適合するか否かの判定を行う。本実施形態において、シーン構成推定処理部２０２は、直線７０８に基づき、画像７０３がケース１１のシーン構成に該当すると判定する。
【００６８】
入力画像が、図９（ｄ）に示されるものだった場合、シーン構成基本直線検出処理部２０１は、入力する画像７０４のシーン構成基本直線として直線７０９１直線７０９２を検出する。そして、シーン構成推定処理部２０２は、この直線７０９１、７０９２の傾きとｙ切片をそれぞれ算出し、これら傾きとｙ切片に基づき、シーン面基本構成モデル２０４を参照して、画像７０４がシーン面基本構成モデル２０４に規定されているケース１１〜１３のどれに適合するか否かの判定を行う。本実施形態において、シーン構成推定処理部２０２は、直線７０９１，７０９２に基づき、画像７０４がケース１３のシーン構成に該当すると判定する。
【００６９】
入力画像が、図９（ｅ）に示されるものだった場合、シーン構成基本直線検出処理部２０１は、入力する画像７０５のシーン構成基本直線として直線７１０１直線７１０２を検出する。そして、シーン構成推定処理部２０２は、この直線７１０１、７１０２の傾きとｙ切片をそれぞれ算出し、これら傾きとｙ切片に基づき、シーン面基本構成モデル２０４を参照して、画像７０５がシーン面基本構成モデル２０４に規定されているケース１１〜１３のどれに適合するか否かの判定を行う。本実施形態において、シーン構成推定処理部２０２は、直線７１０１、７１０２に基づき、画像７０５がケース１３のシーン構成に該当すると判定する。
上記のように、シーン面基本構成モデル２０４は、シーン構成基本直線に基づき、撮影されたシーンを構成する面の位置関係を推定する。
【００７０】
次に、看板領域決定処理の一例について説明する。
（オブジェクト検出ステップ）
まず、前景領域決定処理部２０３は、撮影画像の中から看板が含まれる看板候補領域を選択する。ここで、前景領域決定処理部２０３は、画素情報を利用して、セグメンテーションをおこない、画像中央を含む領域を看板が含まれる領域として選択してもよい。また、前景領域決定処理部２０３は、シーン構成推定処理部２０２により推定された面の構成情報から看板領域を推定してもよい。
【００７１】
さらに、前景領域決定処理部２０３は、画像情報を利用したセグメンテーション手法としては、文献２にあるような平均シフト分割手法などが利用可能である。
＜文献２＞ オライリー・ジャパン出版 松田晃一訳 p.301‐303 2010年2月発行
また、上記シーン構成推定処理部２０２により推定された面の構成情報から看板領域を推定する手法を利用してもよい。例えば、図１０に示す画像８０１、８０２のように、シーン構成基本直線が看板で分断されている場合がある。図１０（ａ）は、ケース１１のシーン構成の画像８０１を示す。図１０（ｂ）は、ケース１２のシーン構成の画像８０２を示す。なお、画像８０１、８０２は、シーン構成基本直線検出処理部２０１によって抽出された直線のみを示す画像である。
【００７２】
シーン構成基本直線検出処理部２０１が、画像８０１において、直線８０３と直線８０４とを、天井と壁の境目にあたる直線であるシーン構成基本直線として選択した場合、前景領域決定処理部２０３は、シーン構成基本直線である直線８０３と直線８０４を含む領域８０５をシーン構成基本直線が存在する領域看板候補領域として判定する。なお、シーン構成基本直線検出処理部２０１は、直線８０３と直線８０４とをそれぞれ伸ばして重複する場合、１本のシーン構成基本直線を構成するとして選択する。
ここで、天井から吊り下げられている看板なら、そのシーン構成基本直線上に撮像されていると推定し、シーン構成基本直線を含む領域８０５を看板が含まれる領域（看板候補領域）として選択するように、前景領域決定処理部２０３に対して予め設定しておく。
【００７３】
同様にして、シーン構成基本直線検出処理部２０１が、画像８０２において、直線８０６と直線８０７とを、天井と壁の境目にあたる直線であるシーン構成基本直線として選択した場合、前景領域決定処理部２０３は、シーン構成基本直線である直線８０６と直線８０７を含む領域８０８をシーン構成基本直線が存在する領域看板候補領域として判定する。なお、シーン構成基本直線検出処理部２０１は、直線８０６と直線８０７とをそれぞれ伸ばして重複する場合、１本のシーン構成基本直線を構成するとして選択する。
ここで、天井から吊り下げられている看板なら、そのシーン構成基本直線上に撮像されていると推定し、シーン構成基本直線を含む領域８０８を看板が含まれる領域（看板候補領域）として選択するように、前景領域決定処理部２０３に対して予め設定しておく。
【００７４】
次に、前景領域決定処理部２０３は、看板候補領域中から看板にあたる四辺形の辺にあたる直線群を検出する。この前景領域決定処理部２０３は、シーン構成推定処理部２０２によるシーン構成判定ステップにおいて取得されたシーン構成情報をもとに、看板の四辺形の見え方を決定する。例えば、下から撮影しているなら台形に撮影され、横下から撮影された場合なら平行四辺形と撮影される。このように、経験をもとに看板の見え方を想定し、その見え方に該当する四辺形のテンプレートを１つまたは複数作成し、シーン構成面の位置関係に応じて予め決められた画面内のシーン構図毎に視点に合わせたオブジェクトの形状を示すオブジェクトパターンデータとして予め作成しておく。
例えば、図１０の画像８０２に示すように、直線８０６、８０７が検出された場合、図１１のオブジェクトパターン９０１，９０２，９０３に示すように、看板にあたる四辺形のテンプレートを複数用意する。
【００７５】
次に、前景領域決定処理部２０３は、用意したオブジェクトパターンと、入力画像中の看板候補領域上の検出された直線との照合をおこない、もっとも適合した直線群を看板にあたる四辺形として抽出する。例えば、図１２に示すオブジェクトパターン１００１に示すようなテンプレートを用意した場合、前景領域決定処理部２０３は、入力する撮影画像から直線検出をおこなった処理画像中（たとえば図９に示す画像７０２）の看板候補領域上をテンプレートを動かしながら、テンプレートマッチングを行う。前景領域決定処理部２０３は、正規化相関を用いたテンプレートマッチングをおこない、もっとも相関値の高い領域を看板にあたる領域として決定しても良い。
【００７６】
また、前景領域決定処理部２０３は、テンプレートの四辺形の各辺上にあたる直線がもっとも多い位置に、看板にあたる四辺形があると決定してもよい。また、前景領域決定処理部２０３は、テンプレートの四辺形の各辺の傾きを、傾き図１００２に示すようにベクトル量子化し、テンプレートの四辺形の各辺上を通りかつベクトル量子化された傾きが傾き図の濃い色で示された方向の傾きと同じで、長さが閾値以上の直線をカウントし、一番多い位置に看板にあたる四辺形があると決定してもよい。以上のような手法により、前景領域決定処理部２０３は、入力画像中から看板にあたる領域を決定する。
【００７７】
最後に、前景領域決定処理部２０３による看板領域検出処理にて検出された入力画像中の看板領域と、データベース上に登録されている看板画像との照合処理について説明する。
照合処理部１２０２は、上述のデータベース作成処理において作成された登録看板画像（登録看板画像テーブルにおけるオブジェクト情報）と同じ形に、看板領域抽出処理にて検出された領域を変形する。例にあるような、１００ピクセル×１００ピクセルのサイズで登録されている場合、照合処理部１２０２は、同じサイズに変形する。次に、照合処理部１２０２は、データベース上の看板画像との照合をおこなう。マッチングの方法は、何を用いても良く、例えば、正規化相関などの方法がある。
照合処理部１２０２は、照合によりマッチした登録看板画像とセットで登録看板画像テーブルにおいて記憶されている店舗情報をユーザへ返信する。
【００７８】
上記のように入力画像中のシーンを構成している面の位置をあらかじめ推定することにより、看板領域を限定することが可能となり、背景や看板の模様に左右されずに安定して、看板の輪郭を形成する四角形を検出することが可能となる。
このように、画像情報のみを用いて検索をおこなうことが可能となるため、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）情報といった位置情報を得られない場合でも所望の店舗情報を検索することができる。また、どのような位置から撮影をおこなっても、精度高く検索をおこなうことが可能となる。つまり検索キーとなる入力画像に、撮影位置や角度といった制約を設けることなく、ユーザに負担をかけることなく自然な形での撮影でも検索をおこなうことができるサービスを提供できる。
【００７９】
本装置では、撮影されるシーンは建物や建物内など面で構成させるシーンであるとあらかじめ設定をすることにより、建物を構成する面の写り方をモデル化することが可能となり、これにより1枚の入力画像のみから、背景模様などの直線に左右されることなく、上記モデルに適合する直線を面を構成する直線として抽出することが可能となる。これにより背景となる建物内の通路などの壁などにあたる面と前景となる人や看板といったオブジェクト領域を分離することが可能となる。
【００８０】
なお、上述の画像撮像装置１００、１１００、オブジェクト検出装置２００、サーバ１２００は、内部にコンピュータシステムを有している。そして、画像撮像装置１００、１１００、オブジェクト検出装置２００、サーバ１２００の動作の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータシステムが読み出して実行することによって、上記処理が行われる。ここでいう「コンピュータシステム」とは、ＣＰＵ及び各種メモリやＯＳ、周辺機器等のハードウェアを含むものである。
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
【００８１】
また、図３に示す各ステップを実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、また、画像撮像装置１００、１１００、オブジェクト検出装置２００、サーバ１２００の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、検出対象物の形状情報の推定値を算出する処理を行ってもよい。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【００８２】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムに既に記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【符号の説明】
【００８３】
１００・・・画像撮影端末、２００・・・オブジェクト検出装置、２０１・・・シーン構成基本直線検出処理部（線画像検出手段）、２０２・・・シーン構成推定処理部（傾き情報算出手段、シーン構成判定手段）、２０３・・・前景領域決定処理部（オブジェクト検出手段）、２０４・・・シーン面基本構成モデル、２０５・・・データベース、３００・・・データベース、１１００・・・画像撮影端末、１２００・・・サーバ、１２０１・・・看板領域抽出処理部、１２０２・・・照合処理部、１３００・・・データベース
【技術分野】
【０００１】
本発明は、画像内に含まれるオブジェクトを検出するオブジェクト検出方法、オブジェクト検出装置およびオブジェクト検出プログラムに関する。
【背景技術】
【０００２】
例えば、通路の天井から矩形の看板やポスターが吊り下げられている場合がある。この風景をカメラで撮影して、撮影した画像の中から矩形画像を検出することにより、画面の構成において前景となる看板等のオブジェクトを検出するものがある。しかし、看板等を正面から撮影することは困難であり、撮影した画像内において、看板等が歪んでいる場合、矩形状の画像領域を検出して看板等のオブジェクトを検出することは困難である。
そこで、画像中から辺候補となる線分を多数検出し、それら線分の組み合わせについて、矩形を成す辺の接続関係や矩形の隅形状といった、複数の評価値を組み合わせて、総合的に評価を行い、画像内の看板等の矩形のオブジェクトを検出するものがある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−０５２６７０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、看板等の矩形のオブジェクトの輪郭以外に、背景の線や、前景となる看板等の模様の線など、画像中から多数の線が検出される場合、看板等の矩形のオブジェクトの輪郭のみを選択することが難しく、特許文献１に記載の手法を適用するのは困難であった。
本発明は、上述したような問題点に鑑みてなされたものであり、予め決められた抽出対象であるオブジェクトを画像から検出する際、画像内に表わされた被写体の構図を背景のシーンに基づき推定して前景となるオブジェクトを検出することで、オブジェクトの検出精度を高めることができるオブジェクト検出方法、オブジェクト検出装置およびオブジェクト検出プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
上述の課題を鑑み、本発明に係るオブジェクト検出方法は、入力する画像データに基づき、当該入力画像内において線状の画像領域を検出する線画像検出ステップと、前記検出された線状の画像領域が示す線画像の前記入力画面内における傾きを示す傾き情報を算出する傾き情報算出ステップと、２次元の画像内で表わされている立体構造物を構成する複数の構成面の位置関係を前記立体構造物を見る視点毎に表わすシーン構成情報と、当該立体構造物を構成する複数の構成面同士の接線であるシーン構成基本線の前記入力画像内における傾きを示すシーン構成基本線情報とを対応づけるシーン構成判定テーブルを参照して、前記傾き情報算出ステップにおいて算出された傾き情報が示す傾きと対応するシーン構成情報を取得するシーン構成判定ステップと、前記構成面の位置関係に応じて予め決められた画面内のシーン構成毎に前記視点に合わせたオブジェクトの形状を示すオブジェクトパターンデータを参照して、前記シーン構成情報が示す画面内のシーン構成において前記構成面の前景となるオブジェクト画像領域を検出するオブジェクト検出ステップとを備えることを特徴とする。
【０００６】
上述のオブジェクト検出方法は、前記オブジェクト画像領域の画像特徴量を算出する画像特徴量算出ステップと、予め決められたオブジェクトの画像特徴量を示すオブジェクト情報と、当該オブジェクトに関連するコンテンツを示すコンテンツ情報とを対応付けるコンテンツ提供テーブルを参照して、前記画像特徴量算出ステップにおいて算出された前記画像特徴量に対応する前記コンテンツ情報を取得するコンテンツ情報取得ステップとをさらに備えることを特徴とする。
【０００７】
上述の課題を鑑み、本発明に係るオブジェクト検出装置は、入力する画像データに基づき、当該入力画像内において線状の画像領域を検出する線画像検出手段と、前記検出された線状の画像領域が示す線画像の前記入力画面内における傾きを示す傾き情報を算出する傾き情報算出手段と、２次元の画像内で表わされている立体構造物を構成する複数の構成面の位置関係を前記立体構造物を見る視点毎に表わすシーン構成情報と、当該立体構造物を構成する複数の構成面同士の接線であるシーン構成基本線の前記入力画像内における傾きを示すシーン構成基本線情報とを対応づけるシーン構成判定テーブルを参照して、前記傾き情報算出手段によって算出された傾き情報が示す傾きと対応するシーン構成情報を取得するシーン構成判定手段と、前記構成面の位置関係に応じて予め決められた画面内のシーン構成毎に前記視点に合わせたオブジェクトの形状を示すオブジェクトパターンデータを参照して、前記シーン構成情報が示す画面内のシーン構成において前記構成面の前景となるオブジェクト画像領域を検出するオブジェクト検出手段とを備えることを特徴とする。
【０００８】
上述の課題を鑑み、本発明に係るオブジェクト検出プログラムは、コンピュータに、入力する画像データに基づき、当該入力画像内において線状の画像領域を検出する線画像検出手順、前記検出された線状の画像領域が示す線画像の前記入力画面内における傾きを示す傾き情報を算出する傾き情報算出手順、２次元の画像内で表わされている立体構造物を構成する複数の構成面の位置関係を前記立体構造物を見る視点毎に表わすシーン構成情報と、当該立体構造物を構成する複数の構成面同士の接線であるシーン構成基本線の前記入力画像内における傾きを示すシーン構成基本線情報とを対応づけるシーン構成判定テーブルを参照して、前記傾き情報算出手順において算出された傾き情報が示す傾きと対応するシーン構成情報を取得するシーン構成判定手順、前記構成面の位置関係に応じて予め決められた画面内のシーン構成毎に前記視点に合わせたオブジェクトの形状を示すオブジェクトパターンデータを参照して、前記シーン構成情報が示す画面内のシーン構成において前記構成面の前景となるオブジェクト画像領域を検出するオブジェクト検出手順、を実行させるためのオブジェクト検出プログラムであることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、予め決められた抽出対象であるオブジェクトを画像から検出する際、画像内に表わされた被写体の構図を背景のシーンに基づき推定して前景となるオブジェクトを検出することで、オブジェクトの検出精度を高めることができる
【図面の簡単な説明】
【００１０】
【図１】本発明の実施形態に係るオブジェクト検出システムの構成の一例を示すブロック図である。
【図２】本発明の実施形態に係るオブジェクト検出装置の構成の一例を示すブロック図である。
【図３】本発明の実施形態に係るオブジェクト検出方法の一例を示すフローチャートである。
【図４】本発明の実施形態に係るオブジェクト検出対象シーンの一例について説明するための図である。
【図５】本発明の実施形態に係るシーン面基本構成モデルにおいて規定されているシーン構成の例を示す図である。
【図６】本発明の実施形態に係るオブジェクト検出対象画像の一例を示す図である。
【図７】本発明の実施形態に係る店舗情報検索システムの構成の一例を示すブロック図である。
【図８】本発明の実施形態に係るシーン面基本構成モデルにおいて規定されているシーン構成の例を示す図である。
【図９】本発明の実施形態に係るオブジェクト検出対象画像の他の例を示す図である。
【図１０】本発明の実施形態に係るオブジェクト検出対象画像の他の例を示す図である。
【図１１】本発明の実施形態に係るオブジェクトパターンについて説明するための図である。
【図１２】本発明の実施形態に係るオブジェクトパターンについて説明するための図である。
【発明を実施するための形態】
【００１１】
［第１実施形態］
以下、本発明の一実施形態によるオブジェクト検出システムについて図１を参照して説明する。
図１は、本実施形態によるオブジェクト検出システムの構成の一例を示すブロック図である。
図１に示す通り、オブジェクト検出システムは、画像撮影端末１００と、オブジェクト検出装置２００と、データベース３００とを備える。
この画像撮影端末１００は、オブジェクト検出（シーン推定）処理を行う対象画像を撮影し、この対象画像の画像データをオブジェクト検出装置２００にネットワークを介して送信する。このオブジェクト検出装置２００は、入力する対象画像の画像データに基づき、画面の構成において前景となるオブジェクトを検出する。また、オブジェクト検出装置２００は、このオブジェクトの画像特徴量を算出する。
【００１２】
データベース３００は、予め決められたオブジェクトの画像特徴量を示すオブジェクト特徴量と、このオブジェクトに関連するコンテンツを示すコンテンツ情報とを対応付けるコンテンツ提供テーブルを保持する。
オブジェクト検出装置２００は、このコンテンツ提供テーブルを参照して、算出しておいたオブジェクトの画像特徴量に対応するコンテンツ情報を取得する。このオブジェクト検出装置２００は、取得したコンテンツ情報を画像撮影端末１００にネットワークを介して送信する。
このように、本実施形態に係るオブジェクト検出システムは、画像撮影端末１００が撮影した画像内のオブジェクトを検出し、当該オブジェクトに対応付けられているコンテンツ情報を画像撮影端末１００に配信するシステムである。
【００１３】
次に、図２および３を参照して、オブジェクト検出装置２００による、画像内の前景と背景を分離するためのシーン分離処理とオブジェクト検出処理について説明する。なお、オブジェクト検出装置２００は、必ずしも前景と背景とを分離する必要はなく、画像内に表わされた被写体の構図を背景のシーンに基づき推定して、前景に相当するオブジェクトを検出するものであればよい。
図２は、オブジェクト検出装置２００の構成の一例を示すブロック図である。図３は、オブジェクト検出装置２００によるオブジェクト検出方法の一例を示すフローチャートである。
図２に示す通り、このオブジェクト検出装置２００は、シーン構成基本直線検出処理部（線画像検出手段）２０１と、シーン構成推定処理部（傾き情報算出手段、シーン構成判定手段）２０２と、前景領域決定処理部（オブジェクト検出手段）２０３とを含む。
図３に示す通り、本実施形態に係るオブジェクト検出方法は、線画像検出ステップＳＴ１と、傾き情報算出ステップＳＴ２と、シーン構成判定ステップＳＴ３と、オブジェクト検出ステップＳＴ４と、画像特徴量算出ステップＳＴ５と、コンテンツ情報取得ステップＳＴ６とを備える。各ステップについては、以下説明する。
【００１４】
（線画像検出ステップＳＴ１）
シーン構成基本直線検出処理部２０１は、入力された対象画像の中から線状の画像領域を抽出する。本実施形態において、シーン構成基本直線検出処理部２０１は、線状の画像領域として、画像内の直線部分を抽出し、この直線部分の画像内における位置を示す直線情報を取得する。このシーン構成基本直線検出処理部２０１は、例えば、文献１にあるような確率的Ｈｏｕｇｈ変換などの手法を用いて、入力された撮影画像中の直線部分の検出をおこなう。
＜文献１＞ オライリー・ジャパン出版 松田晃一訳 p.157-158 2010年2月発行
【００１５】
次に、シーン構成基本直線検出処理部２０１は、検出された複数の直線部分の中から、シーンを構成している面の位置を推定するために必要なシーン構成基本直線を選択する。このシーン構成基本直線とは、シーンを構成しているシーン構成面とシーン構成面の境界線のことであり、撮像画像の被写体であるシーンに応じて予め決められている。このシーン構成面とは、ｘ軸−ｙ軸−ｚ軸によって表わされる仮想３次元空間を形成する面であり、例えば、床、天井、壁等の面である。つまり、シーン構成面とは、ｘ軸−ｙ軸平面、ｘ軸−ｚ軸平面、あるいは、ｙ軸−ｚ軸平面に平行な面をいう。
このシーン構成基本直線検出処理部２０１は、例えば天井と壁の境界線などのようなシーン構成基本直線を、想定される撮影シーンにあわせて選択することが望ましい。
ここでは、建物内の通路をなど面で囲まれた場所を対象とした入力される撮影画像におけるシーン構成基本直線について説明する。
【００１６】
図４に、オブジェクト検出装置２００が推定する対象の一例を示す。図４は、オブジェクト検出装置２００がオブジェクトを検出する対象シーンの一例について説明するための図である。
図４には、オブジェクト検出装置２００がオブジェクトを検出する対象のオブジェクト検出対象シーン３０１を示す。オブジェクト検出対象シーン３０１には、被写体である立体構造物として、建物内の通路が表わされている。このオブジェクト検出対象シーン３０１は、この通路を構成する複数のシーン構成面を含む風景である。
具体的にいうと、このオブジェクト検出対象シーン３０１は、建物内の通路を、地面に垂直な２つのシーン構成面である平面Ａと平面Ｃ、および地面に水平な２つのシーン構成面である天井Ｂと床Ｄで形成されているシーン（風景）である。
【００１７】
このオブジェクト検出対象シーン３０１は、それぞれ異なる視点から撮影されたシーンとして、例えば、以下の２つのケースに分類することができる。
例えば、向かって右側（紙面右側）の地面に垂直な平面Ｃと天井Ｂで構成されるシーン構成を撮影している場合（ケース１）と、向かって左側（紙面左側）の地面に垂直な平面Ａと天井Ｂで構成されているシーン構成を撮影している場合（ケース２）に分類することができる。つまり、オブジェクト検出対象シーン３０１を撮影する視点（ユーザの撮影位置）に応じて撮影されるシーン構成面が異なるため、画像内に含まれるシーン構成面の種類（天井、右壁、左壁等）を、画像内の構図や撮影位置に応じて分類することができる。
【００１８】
なお、シーン構成基本直線検出処理部２０１は、壁である平面Ａと天井Ｂとの境目に該当する直線３０２または壁である平面Ｃと天井Ｂとの境目に該当する直線３０３を、シーン構成基本直線として画像中から検出するのが望ましい。直線３０２は、壁Ａと天井Ｂとの境目に該当する直線である。直線３０３は、壁Ｃと天井Ｂとの境目に該当する直線である。
【００１９】
本実施形態におけるシーン構成基本直線検出処理部２０１によるシーン構成基本直線の検出法は、入力画像から上記手法で検出した直線のうち、一番長い直線を壁と天井の境目に該当するシーン構成基本直線として選択してもよい。
また、天井と壁の境目に該当する直線が分断されて検出されている場合、長さが短くなっている場合もありえるので、シーン構成基本直線検出処理部２０１は、各直線の傾きをベクトル量子化しヒストグラムを算出する。そして、シーン構成基本直線検出処理部２０１は、一番多い傾きを向いた直線群を天井と壁の境目に該当するシーン構成基本直線としてもよい。
また、通路が狭く、天井と左右両側の壁も画像に撮影されることが想定される場合、天井と壁の境目に該当するシーン構成基本直線が２本あると考えられるので、シーン構成基本直線検出処理部２０１は、画像上で長さの長い上位２本の直線をシーン構成基本直線として抽出してもよい。
【００２０】
なお、レーザによる距離計測や直線上のテクスチャ情報等などから奥行き値を推定した場合などのように、入力する撮影画像上の直線に奥行き情報が付与されている場合、奥行きが変化する。よって、シーン構成基本直線検出処理部２０１は、撮影地点から奥に向かって遠ざかっている位置にある直線を、シーン構成を推定するためのシーン構成基本直線として選択してもよい。
【００２１】
次に、シーン構成推定処理部２０２は、シーン面基本構成モデル２０４と、シーン構成基本直線検出部２０１により選択された画像上のシーン構成基本直線の位置関係に関して照合を行い、撮影されたシーンを構成する面の位置を推定する。
はじめに、シーン面基本構成モデル２０４の一例について説明する。シーン面基本構成モデル２０４は、例えば、図５で示すようなシーンを想定するための構成モデルのデータである。なお、このシーン面基本構成モデル２０４は、オブジェクト検出装置２００が備えるデータベース２０５に格納されている。
【００２２】
図５（ａ）は、シーン面基本構成モデル２０４において規定されているケース１のシーン構成について説明するための図である。図５（ａ）は、画像撮影端末１００からオブジェクト検出装置２００が受信する画像の一例であるオブジェクト検出対象画像４０１を示す。
ケース１は、向かって右側（紙面右側）の地面に垂直な平面Ａと天井Ｂで構成されているシーン構成である。
【００２３】
図５（ｂ）は、シーン面基本構成モデル２０４において規定されているケース２のシーン構成について説明するための図である。図５（ｂ）は、画像撮影端末１００からオブジェクト検出装置２００が受信する画像の一例であるオブジェクト検出対象画像４０２を示す。
ケース２は、向かって左側（紙面左側）の地面に垂直な平面Ｃと天井Ｂで構成されているシーン構成である。
【００２４】
具体的には、下記のようになる。
ケース１：オブジェクト検出対象画像４０１内において、シーン構成基本直線３０２の傾きα３０２が０度〜６０度である。なお、傾きα３０２とは、垂直方向の基準ラインを０度とした場合、この基準ラインから左周りに＋、右周りに−の値である。
ケース２：オブジェクト検出対象画像４０２内において、シーン構成基本直線３０３の傾きα３０３が−６０度〜０度である。なお、傾きα３０３とは、垂直方向の基準ラインを０度とした場合、この基準ラインから左周りに＋、右周りに−の値である。
なお、図５（ａ）、（ｂ）に示す通り、画像の左下を原点Ｏ、横軸をｘ軸、縦軸をｙ軸と設定している。
【００２５】
シーン面基本構成モデル２０４は、オブジェクト検出対象画像４０１、４０２に示す通り、２次元の画像内で表わされている立体構造物を構成する複数のシーン構成面の位置関係を視点毎に表わすシーン構成情報と、この立体構造物を構成する複数の構成面同士の接線であるシーン構成基本線の画像内における傾きを示すシーン構成基本線情報とを対応づけるシーン構図判定テーブルを含むものであってもよい。
なお、シーン構成情報とは、ケース１、２のような画像が撮像される際の視点に応じて複数用意される情報であって、例えば、視点の位置を示す情報や、当該視点から撮影した際に映し出されるシーン構成面の種類（天井、右壁、左壁等）を示す情報であってもよい。
また、シーン構成基本線情報とは、シーン構成と判定するためのシーン構成基本直線の傾きの範囲を示す情報であって、ケース１の場合、シーン構成基本直線３０２の傾きα３０２が０度〜６０度の範囲であると規定されている。なお、シーン構成基本線情報は、シーン構成基本直線の傾きの範囲に限定されず、このシーン構成基本直線の位置範囲を規定するものであってもよい。
【００２６】
シーン構成推定処理部２０２は、シーン構成基本直線検出部２０１により選択された画像上のシーン構成基本直線の位置関係に関して照合を行い、撮影されたシーンを構成する面の位置を推定する。
ここで、シーン構成基本直線検出処理部２０１は、シーン構成基本直線として、画像上の一番長い直線を選択した場合、その傾きをもとに、上記のどのケースに適合するか比較をおこなう場合について説明する。
【００２７】
（傾き情報算出ステップＳＴ２）
例えば、シーン構成基本直線検出処理部２０１に入力するオブジェクト検出対象の画像が、図６（ａ）に示すようなオブジェクト検出対象画像５０１であったとする。図６（ａ）は、画像撮影端末１００からオブジェクト検出装置２００が受信する画像の一例であるオブジェクト検出対象画像５０１であって、シーン構成基本直線検出処理部２０１によって検出された直線を示す。
この場合、シーン構成基本直線検出処理部２０１は、一番長い直線として、直線５０３を検出する。次いで、シーン構成推定処理部２０２は、オブジェクト検出対象画像５０１内における直線５０３の傾きを算出し、この傾きを示す傾き情報を取得する。
【００２８】
（シーン構成判定ステップＳＴ３）
そして、シーン構成推定処理部２０２は、シーン面基本構成モデル２０４を参照して、直線５０３の傾き情報に基づき、このオブジェクト検出対象画像５０１がどのケースに該当するか否かを判断する。本実施形態において、シーン構成推定処理部２０２は、ケース２であると判定される。
具体的に説明すると、シーン構成推定処理部２０２は、直線５０３の傾きα５０３を検出し、この傾きα５０３が−６０度〜０度であると判定する。よって、シーン構成推定処理部２０２は、傾きが−６０度〜０度である場合シーン２に該当すると定義されているシーン面基本構成モデル２０４を参照して、傾き情報が示す傾きと対応するシーン構成情報を取得し、オブジェクト検出対象画像５０１がケース２に該当すると判定する。
【００２９】
なお、大まかに画像内に含まれるシーン構成面を天井と壁をわければ良い場合、シーン構成推定処理部２０２は、シーン構成基本直線である直線５０３の傾き情報に基づき、この直線５０３よりもｙ軸方向に＋方向に広がる領域を含む領域（紙面において左領域）を天井Ａ、この直線５０３よりもｙ軸方向に−方向に広がる領域を含む領域（紙面において右領域）を壁である平面Ｃと判定してもよい。言い換えると、シーン構成推定処理部２０２は、シーン構成基本直線である直線５０３に基づき、この直線５０３よりも傾きα５０３が＋の値となる側に広がる領域を含む領域（紙面において左領域）を天井Ａ、この直線５０３よりも傾きα５０３が＋の値となる側に広がる領域を含む領域（紙面において右領域）を壁である平面Ｃと判定してもよい。この場合、シーン面基本構成モデル２０４には、傾き情報に応じて、シーン構成基本直線の左右あるいは上下に広がる領域が所定のシーン構成面であることが規定されている。
上記のように、シーン構成面推定処理部２０２は、シーン構成基本直線から撮影されたシーンを構成する面の位置関係を推定する。
【００３０】
次に、前景領域決定処理部２０３について説明する。
（オブジェクト検出ステップＳＴ４）
オブジェクト検出対象シーン３０１のように、地面に垂直な平面Ａおよび平面Ｃがシーン構図において前景であると予めわかっている場合、前景領域決定処理部２０３は、シーン構成面推定処理部２０２において推定したシーン構成面の位置関係をもとに、前景領域を決定する。つまり、前景領域決定処理部２０３は、シーン構成面推定処理部２０２によって判定された画像内のシーン構成面の位置関係に応じて予め決められた画面内のシーン構成毎に視点に合わせたオブジェクトの形状を示すオブジェクトパターンデータを参照して、シーン構図情報が示す画面内のシーン構成においてシーン構成面の前景となるオブジェクト画像領域を検出する。
【００３１】
たとえば、オブジェクト検出対象画像５０２において、向かって右側（紙面右側）の右壁が所望の領域の場合、前景領域決定処理部２０３は、図６（ｂ）に示されているオブジェクト検出対象画像５０２のうち、天井Ｃにあたる領域５０４を前景領域として取り出しても良い。
また、オブジェクト検出対象画像５０２において、壁上にあるオブジェクトが所望の物体の場合、前景領域決定処理部２０３は、まず領域５０４を前景領域の初期値として設定し、その後、文献３や文献４に記載のＧｒａｐｈｃｕｔやＧｒａｂｃｕｔの手法をもとに領域分割をおこない、色などを目印に所望の物体を抽出してもよい。
＜文献３＞ Y. Boykov and M.-P. Jolly: “Interactive graph cuts for optimal boundary & region segmentation of objects in n-d images”, ICCV2001, 01, p. 105 (2001).
＜文献４＞ C. Rother, V. Kolmogorv, A. Blake,““GrabCut”:Interactive Foreground Extraction Using Iterated Graph Cuts,” ACM Trans. Graphics (SIGGRAPH ’04), vol.23, no.3, pp.309-314, 2004.
【００３２】
このように、シーンを構成する面の位置を推定し、画像上における、建物内の通路等の壁や天井、床といった面の位置を推定できれば、通行人の位置を推定し人のみを取り省いたり、オブジェクト等を取り省いたときのシーンを作成したりといったような景観シミュレーションをおこなうことも可能となる。
【００３３】
次に、コンテンツ決定処理部２０６によるコンテンツ情報取得処理について説明する。
（画像特徴量算出ステップＳＴ５）
コンテンツ決定処理部２０６は、前景領域決定処理部２０３によって決定された前景画像に対応する画像領域の画像特徴量を算出する。このコンテンツ決定処理部２０６は、例えば、前景画像に対応する画像領域から文字や図計を検出する画像処理を行い、この前景画像に対応する画像領域内における検出された文字や図形等の位置を取得する。
【００３４】
（コンテンツ情報取得ステップＳＴ６）
コンテンツ決定処理部２０６は、データベース３００内のコンテンツ提供テーブルを参照して、画像特徴量算出ステップにおいて算出された画像特徴量に対応するコンテンツ情報を取得する。
このコンテンツ決定処理部２０６は、取得したコンテンツ情報を画像撮像端末１００に送信する。
【００３５】
上述の通り、本実施形態に係るオブジェクト検出システムは、撮影されるシーンは建物や建物内など面で構成させるシーンであるとあらかじめ設定をすることにより、建物を構成する面の写り方をモデル化することが可能となる。このため、入力する対象画像中の背景模様なども含む直線群の中からシーン面基本構成モデル２０４に適合する直線を、シーン構成面の接線である直線として抽出することが可能となる。これにより、オブジェクト検出装置２００は、背景となる建物内の通路などの壁などにあたるシーン構成面と、前景となる人や看板といったオブジェクト領域を分離することが可能となる。
【００３６】
また、オブジェクト領域の具体例としては、地下街の店舗などの看板などが考えられる。オブジェクト検出装置２００は、入力画像から検出した直線群から、シーン面基本構成モデル２０４に適合するものを屋内通路等の壁にあたる面をあらわす直線として抽出することにより、入力画像中の壁の位置を推定することができる。よって、背景や看板内の模様に左右されずに看板の輪郭を形成する四角形を検出することを可能とする。
具体的には、シーン面基本構成モデル２０４をあらかじめオブジェクト検出装置２００に記憶しておき、入力する画像中の直線情報と記憶している面基本構成モデルとの照合を行うことにより、比較的近い面基本構成モデルを選択し、シーンの面構成を推定する。
【００３７】
これにより、安定して入力する画像中の看板領域を登録画像と同じ形の擬似的な四角形に射影変換するための射影変換行列を算出することを可能とし、登録画像との照合精度を高める。
また、入力する画像中から看板領域を抽出することができるようになれば、店舗検索サービス等を精度良く実現することが可能となる。店舗検索サービスは、後述の図７に示すようなシステムで実現することができ、店舗の看板画像を登録画像とし、登録画像とその登録画像に対応する付加情報とをあわせてデータベース上に保持する。画像撮影端末により撮影された撮影画像中の看板領域とデータベース上に保持している登録画像との類似性の判断をおこない、類似性が認められた前記データベースに保持している登録画像を特定し、特定した登録画像に対応付けて、店舗情報などの付加情報を画像撮影端末へ返信する登録画像決定部とをそなえることを特徴とする。
【００３８】
［第２実施形態］
次に、本発明に係る第２実施形態について説明する。
図７は、店舗情報検索システムの構成の一例を示すブロック図である。図７に示す店舗情報検索システムは、画像撮影端末１１００と、サーバ１２００と、データベース１３００とを備える。本実施形態において、店舗情報検索システムは、撮影画像内から店舗の看板をオブジェクトとして検出し、この看板に対応する店舗情報をコンテンツ情報として画像撮影端末１１００に配信するシステムである。
【００３９】
この画像撮影端末１１００は、被写体を撮影し、撮影により得られた撮影画像の画像データをサーバ１２００に送信する。本実施形態において、撮影画像は、店舗を特定する四角形の看板が写っている画像である。
サーバ１２００は、画像撮影端末１１００から受信した撮影画像の画像データを検索キーとして、登録された店舗の看板画像を検索するための登録看板画像テーブルを格納しているデータベース１３００との照合処理を行う。なお、サーバ１２００は、オブジェクト検出装置２００と同様の構成を有し、撮影画像の画像データからオブジェクトとして３次元空間において矩形の画像領域を、看板に相当する画像領域として検出する。このサーバ１２００は、この看板に相当する画像領域の画像特徴量を算出し、登録看板画像テーブルを参照して、この特徴量と対応付けられている店舗情報を取得する。
この登録看板画像テーブルは、予め決められたオブジェクトの画像特徴量を示すオブジェクト特徴量として、看板に記載されている文字や画像を示すオブジェクト情報と、当該オブジェクトに関連するコンテンツを示すコンテンツ情報として、看板により特定される店舗を示す店舗情報とを対応付けるテーブルである。
【００４０】
このサーバ１２００は、対象画像の画像データとマッチした登録看板画像データとペアで管理されている店舗情報を検索によって取得し、画像撮影端末１０１へ送信し、ユーザに提示する。以下、詳細に説明する。
【００４１】
はじめに、データベース１０３に格納されている登録看板画像テーブルの作成について、その一例を説明する。この登録看板画像テーブルを作成する装置を、以下、データベース作成装置という。
画像撮影端末１１００あるいは任意のカメラが、店舗を特定することが可能な四角形（矩形）の看板を撮影し、撮影した画像データをデータベース作成装置に出力する。このデータベース作成装置は、撮影した画像中から看板にあたる四角形領域を抽出する。なお、この看板にあたる四角形領域の抽出は、手作業であってもよいし、画像領域分割法等を用いてもよい。
データベース作成装置は、この抽出した看板にあたる矩形画像領域を登録看板画像データとして登録看板画像テーブルに書き込んでもよい。また、データベース作成装置は、この看板にあたる矩形画像領域からＯＣＲ等の技術を用いて抽出した文字のみをオブジェクト情報として登録看板画像テーブルに書き込んでもよく、手作業により指定された看板内の図形のみを抽出してオブジェクト情報として登録看板画像テーブルに書き込んでもよい。
また、データベース作成装置は、このオブジェクト情報に対応するコンテンツ情報として、店舗の開店時間や推薦商品等などの店舗情報を対応付けて、登録看板画像テーブルに書き込む。
【００４２】
また、登録看板画像テーブルは、オブジェクト情報として、例えば１００ピクセル×１００ピクセルの正方形に変形された画像であって、みな同じ大きさの画像データを保存するもであってもよい。本実施例では、一例として登録看板画像テーブルのオブジェクト情報として、１００ピクセル×１００ピクセルの正方形に変形した場合について説明する。
【００４３】
なお、この図形の射影変換は、下記の計算でできる。
【００４４】
【数１】
【００４５】
式（１）は、分子分母をスカラーで通分でるため、独立した未知数は８個である。この８個の係数は、撮影画像中の看板にあたる四角形と変換後の１００ピクセル×１００ピクセルの正方形との、四辺形の４頂点を上の式に代入して、８元連立方程式を解けばよい。
【００４６】
データベース作成装置は、このようにして得られた射影変換行列を適用し、撮影画像中の看板にあたる四角形領域を１００ピクセル×１００ピクセルの正方形に変形し、オブジェクト情報としてデータベース１３００の登録看板画像テーブルに書き込む。
【００４７】
次に、サーバ１２００によるオブジェクト検出処理について説明する。
本実施形態において、サーバ１２００は、店舗を特定するため、四角形の看板が写っている看板画像を対象画像から抽出し、この抽出した看板画像を検索キーとして、データベース１３００に格納されている登録看板画像テーブルとの照合処理を行い、看板画像に対応する店舗情報を取得する。
【００４８】
このサーバ１２００による照合処理は、入力する対象画像の中から３次元空間において四角形となる矩形画像領域（つまり、２次元画像内において矩形であるとは限らない）を看板画像として抽出する看板領域抽出処理部１２０１と、データベース１３００に記憶されている登録看板画像テーブルと抽出された看板画像との照合処理を行う照合処理部１２０２とを含む。
看板領域抽出処理部１２０１は、図２に示したオブジェクト検出装置２００と同様、シーン構成基本直線検出処理部２０１と、シーン構成推定処理２０２と、前景領域決定処理２０３とを含む。
【００４９】
ここでは、看板に注目しているため、前景領域決定処理部２０３が決定する前景領域は、看板の領域であることが予め決められている。
画像撮影端末１１００が、天井と壁に垂直に吊り下げられている看板を撮影する場合、撮影位置によって背景が大きく変化するため、看板領域の特定が照合の精度を保つのに重要となる。そこで、ここでは、天井と壁に垂直に吊り下げられている看板を撮影する場合を主に想定しながら説明する。
【００５０】
まず、看板領域抽出処理部１２０１について説明する。なお、この看板領域抽出処理部１２０１は、図２に示したシーン構成基本直線検出処理部２０１と、シーン構成推定処理部と、前景領域決定処理部２０３と、シーン面基本構成モデル２０４（データベース２０５）に相当する構成を含む。
【００５１】
（線画像検出ステップ）
最初に、シーン構成基本直線検出処理部２０１が、画像撮影端末１１００から入力される画像データに基づき、撮影画像の中から線状の画像領域として、例えば、直線を抽出する。なお、ここでは、直線として説明するが、画像のゆがみ等により、厳密に直線でない場合であっても、これらの誤差を許容する範囲内で直線と判定される線状の画像が相当する。
このシーン構成基本直線検出処理部２０１は、文献１にあるような確率的Ｈｏｕｇｈ変換などの手法を用いて、入力する撮影画像の中の直線部分に対応する画像領域を検出する。
【００５２】
次に、複数の直線部分が検出された場合、シーン構成基本直線検出処理部２０１は、検出された複数の直線の中から、シーン構成を推定するために必要なシーン構成基本直線を選択する。このシーン構成基本直線とは、シーンを構成している平面の境界線のことである。シーン構成基本直線検出処理部２０１は、想定される撮影シーンに応じて予め決められているシーン構成基本直線を選択することが望ましい。ここでは、シーン構成基本直線検出処理部２０１は、例えば、建物内の天井から吊り下げられている店舗看板を検出するため、シーン構成基本直線として、最も長い直線を検出するように予め決められており、その旨がシーン構成基本直線検出処理部２０１が内蔵するメモリあるいはデータベース２０５に記憶されている。
【００５３】
ここで、サーバ１２００のオブジェクト検出対象が、図４に示したオブジェクト検出対象シーン３０１と同様に、建物通路内を構成するシーン構成面を有する場合について説明する。つまり、オブジェクト検出対象が、建物内の通路を地面に垂直なシーン構成面である平面Ａと平面Ｃと、地面と平行なシーン構成面である天井Ｂと床Ｄで構成されているとシーン面基本構成モデル２０４において設定されている。
【００５４】
この場合、サーバ１２００のシーン構成基本直線検出処理部２０１は、入力する対象画像が、以下のケース１１〜１３のいずれに該当するかを判定する。つまり、シーン構成基本直線検出処理部２０１は、向かって右側（紙面右側）の地面に垂直な平面Ｃと天井Ｂで構成されるシーン構成を撮影しているか（ケース１１）、向かって左側（紙面左側）の地面に垂直な平面Ａと天井Ｂで構成されているシーン構成を撮影しているか（ケース１２）、天井Ｂと左右両方の地面に垂直な平面Ａと平面Ｃで構成されるシーン構成を撮影しているか（ケース１３）に分類することができる。この場合、サーバ１２００のシーン構成基本直線検出処理部２０１は、壁と天井の境目に該当する直線３０２または直線３０３をシーン構成基本直線として画像中から検出するのが望ましい。
【００５５】
シーン構成基本直線検出処理部２０１によるシーン構成基本直線の検出法は、入力する対象画像の画像データに基づき、上記手法で検出した直線から一番長い直線を壁と天井の境目に該当するシーン構成基本直線として選択するものであってもよい。または、天井と壁の境目に該当する直線がその間に存在する物体により分断されている場合がある。この場合、シーン構成基本直線検出処理部２０１が検出する直線の長さが短くなっている。このため、シーン構成基本直線検出処理部２０１は、各直線の傾きをベクトル量子化し、ヒストグラムを算出し、一番多い傾きを向いた直線群を天井と壁の境目に該当するシーン構成基本直線としてもよい。
【００５６】
また、通路が狭く、天井と左右両側の壁が画像に撮影されることも想定される。この場合、撮影画像内に、天井と壁の境目に該当するシーン構成基本直線は２本ある。このため、シーン構成基本直線検出処理部２０１は、撮影画像内で長さが長い上位２本の直線をシーン構成基本直線として抽出してもよい。レーザによる距離計測や直線上のテクスチャ情報等などから奥行値を推定した場合などのように、入力画像上の直線に奥行情報が付与されている場合、奥行が変化する。よって、シーン構成基本直線検出処理２０１は、撮影地点から奥に向かって遠ざかっている位置にある直線を、シーン構成を推定するためのシーン構成基本直線として選択してもよい。
【００５７】
シーン構成推定処理部２０２は、シーン構成基本直線検出部２０１により選択された画像上のシーン構成基本直線の位置関係に関してシーン面基本構成モデル２０４との照合を行い、撮影されたシーンを構成する面の位置を推定する。
【００５８】
次に、シーン面基本構成モデル２０４について説明する。ここでは、図８に示すように、天井から看板が吊り下げられているシーンを含む対象画像の画像データから看板領域を検出する場合を想定して以下説明する。図８（ａ）〜（ｃ）で説明するように、入力されるシーンは、以下のようなケース１１〜１３の例が考えられる。なお、図８（ａ）〜（ｃ）にそれぞれ示す画像６０１〜６０３は、画像左下を原点Ｏとして、横軸がｘ軸、縦軸がｙ軸と設定されている。また、画像６０１〜６０３は、長方形の画像であって、ｘ軸の長さの方が長い。
【００５９】
図８（ａ）は、シーン面基本構成モデル２０４において規定されているケース１１のシーンについて説明するための図である。図８（ａ）は、ケース１１の構図で撮影された画像６０１を示す。
ケース１１は、図４に示すオブジェクト検出対象シーン３０１において向かって右側（紙面右側）の地面に垂直な平面Ｃと天井Ｂで構成されるシーン構成である。
図８（ｂ）は、シーン面基本構成モデル２０４において規定されているケース１２のシーンについて説明するための図である。図８（ｂ）は、ケース１２の構図で撮影された画像６０２を示す。
ケース１２は、図４に示すオブジェクト検出対象シーン３０１において向かって左側（紙面左側）の地面に垂直な平面Ａと天井Ｂで構成されているシーン構成である。
図８（ｃ）は、シーン面基本構成モデル２０４において規定されているケース１３のシーンについて説明するための図である。図８（ｃ）は、ケース１３の構図で撮影された画像６０３を示す。
ケース１３は、図４に示すオブジェクト検出対象シーン３０１において天井Ｂと左右両方の地面に垂直な平面Ａと平面Ｃで構成されるシーン構成である。
【００６０】
シーン面基本構成モデル２０４は、図を用いて説明すると、図８（ａ）〜（ｃ）において、画像６０１〜６０３に示すようなシーン構成を示す情報である。具体的には、下記のようになる。
ケース１１は、シーン構成基本直線６０４の傾きα６０４が４５度〜９０度であり、かつｙ切片が０から画像ｙ軸方向のサイズである場合のシーン構成をいう。なお、傾きα６０４とは、垂直方向の基準ラインであるｙ軸から左周りに−、右周りに＋の値である。
ケース１２は、シーン構成基本直線６０５の傾きα６０５が−４５度〜−９０度であり、かつｙ切片は、０から画像のｙ軸方向のサイズである場合のシーン構成をいう。なお、傾きα６０５とは、垂直方向の基準ラインであるｙ軸を０度とした場合、この基準ラインから左周りに−、右周りに＋の値である。
ケース１３は、シーン構成基本直線６０６の傾きが０〜４５度であり、かつシーン構成基本直線６０６のｙ切片が画像ｙサイズよりマイナスの値であって、シーン構成基本直線６０７の傾きが０〜−４５度であり、かつシーン構成基本直線６０７のｙ切片が画像ｙサイズより大きい場合のシーン構成をいう。
なお、シーン構成基本直線６０６、６０７のｙ切片とは、シーン構成基本直線６０６、６０７をそれぞれ伸ばしてｙ軸と交わる点のｙ座標の値をいう。よって、図８（ｃ）に示す通り、シーン構成基本直線６０６のｙ切片は、ｙ座標のマイナスの値となる。また、シーン構成基本直線６０７のｙ切片は、画像６０３のｙ座標の値よりも大きくなる。
【００６１】
上述の通り、シーン面基本構成モデル２０４は、オブジェクト検出対象画像６０１〜６０３に示す通り、２次元の画像内で表わされている立体構造物を構成する複数のシーン構成面の位置関係を視点毎に表わすシーン構成情報と、この立体構造物を構成する複数の構成面同士の接線であるシーン構成基本線の画像内における傾きを示すシーン構成基本線情報とを対応づけるシーン構図判定テーブルを含むものであってもよい。
なお、シーン構成情報とは、ケース１１〜１３のような画像が撮像される際の視点に応じて複数用意される情報であって、例えば、視点の位置を示す情報や、当該視点から撮影した際に映し出されるシーン構成面の種類（天井、右壁、左壁等）を示す情報であってもよい。
また、シーン構成基本線情報とは、シーン構成と判定するためのシーン構成基本直線の傾きの範囲を示す情報であって、ケース１１の場合、シーン構成基本直線６０４の傾きα６０４が４５度〜９０度であると規定されており、また、シーン構成基本直線６０４のｙ切片が０から画像ｙ軸方向のサイズまでの範囲であると規定されている。
【００６２】
シーン構成推定処理部２０２は、入力する撮影画像のシーン構成基本直線の傾きとｙ切片をもとに、上記のどのケースに適合するか比較をおこなう。
ここで、図９を参照して、具体的に説明する。
図９（ａ）は、撮影画像の一例である撮影画像７０１を示す図である。
図９（ｂ）は、撮影画像の一例である撮影画像７０２を示す図である。
図９（ｃ）は、撮影画像の一例である撮影画像７０３を示す図である。
図９（ｄ）は、撮影画像の一例である撮影画像７０４を示す図である。
図９（ｅ）は、撮影画像の一例である撮影画像７０５を示す図である。
【００６３】
例えば、入力画像が、図９（ａ）の例に示されるものだったとする。この場合、シーン構成基本直線検出処理部２０１は、入力する撮影画像のシーン構成基本直線として直線７０６を検出する。そして、シーン構成推定処理部２０２は、この直線７０６の傾きとｙ切片を算出し、これら傾きとｙ切片に基づき、シーン面基本構成モデル２０４を参照して、撮影画像７０１がシーン面基本構成モデル２０４に規定されているケース１１〜１３のどれに適合するか否かの判定を行う。本実施形態において、シーン構成推定処理部２０２は、直線７０６に基づき、画像７０１がケース１２のシーン構成に該当すると判定する。
【００６４】
（傾き情報算出ステップ）
具体的には、シーン構成基本直線検出処理部２０１は、入力するオブジェクト検出対象の画像７０１から、一番長い直線として、直線７０６を検出する。なお、この場合、直線７０６は、途中で分断されているが、伸ばすことにより重複するため、１本の直線として取り扱われる。そして、シーン構成推定処理部２０２が、オブジェクト検出対象の画像７０１内における直線７０６の傾きとｙ切片を算出し、この傾きを示す傾き情報とｘ切片を示す位置情報を取得する。
【００６５】
（シーン構成判定ステップ）
そして、シーン構成推定処理部２０２は、シーン面基本構成モデル２０４を参照して、直線７０６の傾き情報と位置情報に基づき、この画像７０１がどのケースに該当するか否かを判断する。本実施形態において、シーン構成推定処理部２０２は、ケース１２であると判定される。
【００６６】
サーバ１２００は、同様にして、シーン構成の判定を行う。つまり、入力画像が、図９（ｂ）の画像７０２だったとする。この場合、シーン構成基本直線検出処理部２０１は、入力する撮影画像７０２のシーン構成基本直線として直線７０７を検出する。そして、シーン構成推定処理部２０２は、この直線７０７の傾きとｙ切片を算出し、これら傾きとｙ切片に基づき、シーン面基本構成モデル２０４を参照して、画像７０２がシーン面基本構成モデル２０４に規定されているケース１１〜１３のどれに適合するか否かの判定を行う。本実施形態において、シーン構成推定処理部２０２は、直線７０７に基づき、画像７０２がケース１１のシーン構成に該当すると判定する。
【００６７】
入力画像が、図９（ｃ）に示されるものだった場合、シーン構成基本直線検出処理部２０１は、入力する画像７０３のシーン構成基本直線として直線７０８を検出する。そして、シーン構成推定処理部２０２は、この直線７０８の傾きとｙ切片を算出し、これら傾きとｙ切片に基づき、シーン面基本構成モデル２０４を参照して、画像７０３がシーン面基本構成モデル２０４に規定されているケース１１〜１３のどれに適合するか否かの判定を行う。本実施形態において、シーン構成推定処理部２０２は、直線７０８に基づき、画像７０３がケース１１のシーン構成に該当すると判定する。
【００６８】
入力画像が、図９（ｄ）に示されるものだった場合、シーン構成基本直線検出処理部２０１は、入力する画像７０４のシーン構成基本直線として直線７０９１直線７０９２を検出する。そして、シーン構成推定処理部２０２は、この直線７０９１、７０９２の傾きとｙ切片をそれぞれ算出し、これら傾きとｙ切片に基づき、シーン面基本構成モデル２０４を参照して、画像７０４がシーン面基本構成モデル２０４に規定されているケース１１〜１３のどれに適合するか否かの判定を行う。本実施形態において、シーン構成推定処理部２０２は、直線７０９１，７０９２に基づき、画像７０４がケース１３のシーン構成に該当すると判定する。
【００６９】
入力画像が、図９（ｅ）に示されるものだった場合、シーン構成基本直線検出処理部２０１は、入力する画像７０５のシーン構成基本直線として直線７１０１直線７１０２を検出する。そして、シーン構成推定処理部２０２は、この直線７１０１、７１０２の傾きとｙ切片をそれぞれ算出し、これら傾きとｙ切片に基づき、シーン面基本構成モデル２０４を参照して、画像７０５がシーン面基本構成モデル２０４に規定されているケース１１〜１３のどれに適合するか否かの判定を行う。本実施形態において、シーン構成推定処理部２０２は、直線７１０１、７１０２に基づき、画像７０５がケース１３のシーン構成に該当すると判定する。
上記のように、シーン面基本構成モデル２０４は、シーン構成基本直線に基づき、撮影されたシーンを構成する面の位置関係を推定する。
【００７０】
次に、看板領域決定処理の一例について説明する。
（オブジェクト検出ステップ）
まず、前景領域決定処理部２０３は、撮影画像の中から看板が含まれる看板候補領域を選択する。ここで、前景領域決定処理部２０３は、画素情報を利用して、セグメンテーションをおこない、画像中央を含む領域を看板が含まれる領域として選択してもよい。また、前景領域決定処理部２０３は、シーン構成推定処理部２０２により推定された面の構成情報から看板領域を推定してもよい。
【００７１】
さらに、前景領域決定処理部２０３は、画像情報を利用したセグメンテーション手法としては、文献２にあるような平均シフト分割手法などが利用可能である。
＜文献２＞ オライリー・ジャパン出版 松田晃一訳 p.301‐303 2010年2月発行
また、上記シーン構成推定処理部２０２により推定された面の構成情報から看板領域を推定する手法を利用してもよい。例えば、図１０に示す画像８０１、８０２のように、シーン構成基本直線が看板で分断されている場合がある。図１０（ａ）は、ケース１１のシーン構成の画像８０１を示す。図１０（ｂ）は、ケース１２のシーン構成の画像８０２を示す。なお、画像８０１、８０２は、シーン構成基本直線検出処理部２０１によって抽出された直線のみを示す画像である。
【００７２】
シーン構成基本直線検出処理部２０１が、画像８０１において、直線８０３と直線８０４とを、天井と壁の境目にあたる直線であるシーン構成基本直線として選択した場合、前景領域決定処理部２０３は、シーン構成基本直線である直線８０３と直線８０４を含む領域８０５をシーン構成基本直線が存在する領域看板候補領域として判定する。なお、シーン構成基本直線検出処理部２０１は、直線８０３と直線８０４とをそれぞれ伸ばして重複する場合、１本のシーン構成基本直線を構成するとして選択する。
ここで、天井から吊り下げられている看板なら、そのシーン構成基本直線上に撮像されていると推定し、シーン構成基本直線を含む領域８０５を看板が含まれる領域（看板候補領域）として選択するように、前景領域決定処理部２０３に対して予め設定しておく。
【００７３】
同様にして、シーン構成基本直線検出処理部２０１が、画像８０２において、直線８０６と直線８０７とを、天井と壁の境目にあたる直線であるシーン構成基本直線として選択した場合、前景領域決定処理部２０３は、シーン構成基本直線である直線８０６と直線８０７を含む領域８０８をシーン構成基本直線が存在する領域看板候補領域として判定する。なお、シーン構成基本直線検出処理部２０１は、直線８０６と直線８０７とをそれぞれ伸ばして重複する場合、１本のシーン構成基本直線を構成するとして選択する。
ここで、天井から吊り下げられている看板なら、そのシーン構成基本直線上に撮像されていると推定し、シーン構成基本直線を含む領域８０８を看板が含まれる領域（看板候補領域）として選択するように、前景領域決定処理部２０３に対して予め設定しておく。
【００７４】
次に、前景領域決定処理部２０３は、看板候補領域中から看板にあたる四辺形の辺にあたる直線群を検出する。この前景領域決定処理部２０３は、シーン構成推定処理部２０２によるシーン構成判定ステップにおいて取得されたシーン構成情報をもとに、看板の四辺形の見え方を決定する。例えば、下から撮影しているなら台形に撮影され、横下から撮影された場合なら平行四辺形と撮影される。このように、経験をもとに看板の見え方を想定し、その見え方に該当する四辺形のテンプレートを１つまたは複数作成し、シーン構成面の位置関係に応じて予め決められた画面内のシーン構図毎に視点に合わせたオブジェクトの形状を示すオブジェクトパターンデータとして予め作成しておく。
例えば、図１０の画像８０２に示すように、直線８０６、８０７が検出された場合、図１１のオブジェクトパターン９０１，９０２，９０３に示すように、看板にあたる四辺形のテンプレートを複数用意する。
【００７５】
次に、前景領域決定処理部２０３は、用意したオブジェクトパターンと、入力画像中の看板候補領域上の検出された直線との照合をおこない、もっとも適合した直線群を看板にあたる四辺形として抽出する。例えば、図１２に示すオブジェクトパターン１００１に示すようなテンプレートを用意した場合、前景領域決定処理部２０３は、入力する撮影画像から直線検出をおこなった処理画像中（たとえば図９に示す画像７０２）の看板候補領域上をテンプレートを動かしながら、テンプレートマッチングを行う。前景領域決定処理部２０３は、正規化相関を用いたテンプレートマッチングをおこない、もっとも相関値の高い領域を看板にあたる領域として決定しても良い。
【００７６】
また、前景領域決定処理部２０３は、テンプレートの四辺形の各辺上にあたる直線がもっとも多い位置に、看板にあたる四辺形があると決定してもよい。また、前景領域決定処理部２０３は、テンプレートの四辺形の各辺の傾きを、傾き図１００２に示すようにベクトル量子化し、テンプレートの四辺形の各辺上を通りかつベクトル量子化された傾きが傾き図の濃い色で示された方向の傾きと同じで、長さが閾値以上の直線をカウントし、一番多い位置に看板にあたる四辺形があると決定してもよい。以上のような手法により、前景領域決定処理部２０３は、入力画像中から看板にあたる領域を決定する。
【００７７】
最後に、前景領域決定処理部２０３による看板領域検出処理にて検出された入力画像中の看板領域と、データベース上に登録されている看板画像との照合処理について説明する。
照合処理部１２０２は、上述のデータベース作成処理において作成された登録看板画像（登録看板画像テーブルにおけるオブジェクト情報）と同じ形に、看板領域抽出処理にて検出された領域を変形する。例にあるような、１００ピクセル×１００ピクセルのサイズで登録されている場合、照合処理部１２０２は、同じサイズに変形する。次に、照合処理部１２０２は、データベース上の看板画像との照合をおこなう。マッチングの方法は、何を用いても良く、例えば、正規化相関などの方法がある。
照合処理部１２０２は、照合によりマッチした登録看板画像とセットで登録看板画像テーブルにおいて記憶されている店舗情報をユーザへ返信する。
【００７８】
上記のように入力画像中のシーンを構成している面の位置をあらかじめ推定することにより、看板領域を限定することが可能となり、背景や看板の模様に左右されずに安定して、看板の輪郭を形成する四角形を検出することが可能となる。
このように、画像情報のみを用いて検索をおこなうことが可能となるため、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）情報といった位置情報を得られない場合でも所望の店舗情報を検索することができる。また、どのような位置から撮影をおこなっても、精度高く検索をおこなうことが可能となる。つまり検索キーとなる入力画像に、撮影位置や角度といった制約を設けることなく、ユーザに負担をかけることなく自然な形での撮影でも検索をおこなうことができるサービスを提供できる。
【００７９】
本装置では、撮影されるシーンは建物や建物内など面で構成させるシーンであるとあらかじめ設定をすることにより、建物を構成する面の写り方をモデル化することが可能となり、これにより1枚の入力画像のみから、背景模様などの直線に左右されることなく、上記モデルに適合する直線を面を構成する直線として抽出することが可能となる。これにより背景となる建物内の通路などの壁などにあたる面と前景となる人や看板といったオブジェクト領域を分離することが可能となる。
【００８０】
なお、上述の画像撮像装置１００、１１００、オブジェクト検出装置２００、サーバ１２００は、内部にコンピュータシステムを有している。そして、画像撮像装置１００、１１００、オブジェクト検出装置２００、サーバ１２００の動作の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータシステムが読み出して実行することによって、上記処理が行われる。ここでいう「コンピュータシステム」とは、ＣＰＵ及び各種メモリやＯＳ、周辺機器等のハードウェアを含むものである。
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
【００８１】
また、図３に示す各ステップを実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、また、画像撮像装置１００、１１００、オブジェクト検出装置２００、サーバ１２００の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、検出対象物の形状情報の推定値を算出する処理を行ってもよい。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【００８２】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムに既に記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【符号の説明】
【００８３】
１００・・・画像撮影端末、２００・・・オブジェクト検出装置、２０１・・・シーン構成基本直線検出処理部（線画像検出手段）、２０２・・・シーン構成推定処理部（傾き情報算出手段、シーン構成判定手段）、２０３・・・前景領域決定処理部（オブジェクト検出手段）、２０４・・・シーン面基本構成モデル、２０５・・・データベース、３００・・・データベース、１１００・・・画像撮影端末、１２００・・・サーバ、１２０１・・・看板領域抽出処理部、１２０２・・・照合処理部、１３００・・・データベース
【特許請求の範囲】
【請求項１】
入力する画像データに基づき、当該入力画像内において線状の画像領域を検出する線画像検出ステップと、
前記検出された線状の画像領域が示す線画像の前記入力画面内における傾きを示す傾き情報を算出する傾き情報算出ステップと、
２次元の画像内で表わされている立体構造物を構成する複数の構成面の位置関係を前記立体構造物を見る視点毎に表わすシーン構成情報と、当該立体構造物を構成する複数の構成面同士の接線であるシーン構成基本線の前記入力画像内における傾きを示すシーン構成基本線情報とを対応づけるシーン構成判定テーブルを参照して、前記傾き情報算出ステップにおいて算出された傾き情報が示す傾きと対応するシーン構成情報を取得するシーン構成判定ステップと、
前記構成面の位置関係に応じて予め決められた画面内のシーン構成毎に前記視点に合わせたオブジェクトの形状を示すオブジェクトパターンデータを参照して、前記シーン構成情報が示す画面内のシーン構成において前記構成面の前景となるオブジェクト画像領域を検出するオブジェクト検出ステップと
を備えることを特徴とするオブジェクト検出方法。
【請求項２】
前記オブジェクト画像領域の画像特徴量を算出する画像特徴量算出ステップと、
予め決められたオブジェクトの画像特徴量を示すオブジェクト情報と、当該オブジェクトに関連するコンテンツを示すコンテンツ情報とを対応付けるコンテンツ提供テーブルを参照して、前記画像特徴量算出ステップにおいて算出された前記画像特徴量に対応する前記コンテンツ情報を取得するコンテンツ情報取得ステップとをさらに備えることを特徴とする請求項１に記載のオブジェクト検出方法。
【請求項３】
入力する画像データに基づき、当該入力画像内において線状の画像領域を検出する線画像検出手段と、
前記検出された線状の画像領域が示す線画像の前記入力画面内における傾きを示す傾き情報を算出する傾き情報算出手段と、
２次元の画像内で表わされている立体構造物を構成する複数の構成面の位置関係を前記立体構造物を見る視点毎に表わすシーン構成情報と、当該立体構造物を構成する複数の構成面同士の接線であるシーン構成基本線の前記入力画像内における傾きを示すシーン構成基本線情報とを対応づけるシーン構成判定テーブルを参照して、前記傾き情報算出手段によって算出された傾き情報が示す傾きと対応するシーン構成情報を取得するシーン構成判定手段と、
前記構成面の位置関係に応じて予め決められた画面内のシーン構成毎に前記視点に合わせたオブジェクトの形状を示すオブジェクトパターンデータを参照して、前記シーン構成情報が示す画面内のシーン構成において前記構成面の前景となるオブジェクト画像領域を検出するオブジェクト検出手段と
を備えることを特徴とするオブジェクト検出装置。
【請求項４】
コンピュータに、
入力する画像データに基づき、当該入力画像内において線状の画像領域を検出する線画像検出手順、
前記検出された線状の画像領域が示す線画像の前記入力画面内における傾きを示す傾き情報を算出する傾き情報算出手順、
２次元の画像内で表わされている立体構造物を構成する複数の構成面の位置関係を前記立体構造物を見る視点毎に表わすシーン構成情報と、当該立体構造物を構成する複数の構成面同士の接線であるシーン構成基本線の前記入力画像内における傾きを示すシーン構成基本線情報とを対応づけるシーン構成判定テーブルを参照して、前記傾き情報算出手順において算出された傾き情報が示す傾きと対応するシーン構成情報を取得するシーン構成判定手順、
前記構成面の位置関係に応じて予め決められた画面内のシーン構成毎に前記視点に合わせたオブジェクトの形状を示すオブジェクトパターンデータを参照して、前記シーン構成情報が示す画面内のシーン構成において前記構成面の前景となるオブジェクト画像領域を検出するオブジェクト検出手順
を実行させるためのオブジェクト検出プログラム。
【請求項１】
入力する画像データに基づき、当該入力画像内において線状の画像領域を検出する線画像検出ステップと、
前記検出された線状の画像領域が示す線画像の前記入力画面内における傾きを示す傾き情報を算出する傾き情報算出ステップと、
２次元の画像内で表わされている立体構造物を構成する複数の構成面の位置関係を前記立体構造物を見る視点毎に表わすシーン構成情報と、当該立体構造物を構成する複数の構成面同士の接線であるシーン構成基本線の前記入力画像内における傾きを示すシーン構成基本線情報とを対応づけるシーン構成判定テーブルを参照して、前記傾き情報算出ステップにおいて算出された傾き情報が示す傾きと対応するシーン構成情報を取得するシーン構成判定ステップと、
前記構成面の位置関係に応じて予め決められた画面内のシーン構成毎に前記視点に合わせたオブジェクトの形状を示すオブジェクトパターンデータを参照して、前記シーン構成情報が示す画面内のシーン構成において前記構成面の前景となるオブジェクト画像領域を検出するオブジェクト検出ステップと
を備えることを特徴とするオブジェクト検出方法。
【請求項２】
前記オブジェクト画像領域の画像特徴量を算出する画像特徴量算出ステップと、
予め決められたオブジェクトの画像特徴量を示すオブジェクト情報と、当該オブジェクトに関連するコンテンツを示すコンテンツ情報とを対応付けるコンテンツ提供テーブルを参照して、前記画像特徴量算出ステップにおいて算出された前記画像特徴量に対応する前記コンテンツ情報を取得するコンテンツ情報取得ステップとをさらに備えることを特徴とする請求項１に記載のオブジェクト検出方法。
【請求項３】
入力する画像データに基づき、当該入力画像内において線状の画像領域を検出する線画像検出手段と、
前記検出された線状の画像領域が示す線画像の前記入力画面内における傾きを示す傾き情報を算出する傾き情報算出手段と、
２次元の画像内で表わされている立体構造物を構成する複数の構成面の位置関係を前記立体構造物を見る視点毎に表わすシーン構成情報と、当該立体構造物を構成する複数の構成面同士の接線であるシーン構成基本線の前記入力画像内における傾きを示すシーン構成基本線情報とを対応づけるシーン構成判定テーブルを参照して、前記傾き情報算出手段によって算出された傾き情報が示す傾きと対応するシーン構成情報を取得するシーン構成判定手段と、
前記構成面の位置関係に応じて予め決められた画面内のシーン構成毎に前記視点に合わせたオブジェクトの形状を示すオブジェクトパターンデータを参照して、前記シーン構成情報が示す画面内のシーン構成において前記構成面の前景となるオブジェクト画像領域を検出するオブジェクト検出手段と
を備えることを特徴とするオブジェクト検出装置。
【請求項４】
コンピュータに、
入力する画像データに基づき、当該入力画像内において線状の画像領域を検出する線画像検出手順、
前記検出された線状の画像領域が示す線画像の前記入力画面内における傾きを示す傾き情報を算出する傾き情報算出手順、
２次元の画像内で表わされている立体構造物を構成する複数の構成面の位置関係を前記立体構造物を見る視点毎に表わすシーン構成情報と、当該立体構造物を構成する複数の構成面同士の接線であるシーン構成基本線の前記入力画像内における傾きを示すシーン構成基本線情報とを対応づけるシーン構成判定テーブルを参照して、前記傾き情報算出手順において算出された傾き情報が示す傾きと対応するシーン構成情報を取得するシーン構成判定手順、
前記構成面の位置関係に応じて予め決められた画面内のシーン構成毎に前記視点に合わせたオブジェクトの形状を示すオブジェクトパターンデータを参照して、前記シーン構成情報が示す画面内のシーン構成において前記構成面の前景となるオブジェクト画像領域を検出するオブジェクト検出手順
を実行させるためのオブジェクト検出プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１２−１２３５６７（Ｐ２０１２−１２３５６７Ａ）
【公開日】平成２４年６月２８日（２０１２．６．２８）
【国際特許分類】
【出願番号】特願２０１０−２７３００２（Ｐ２０１０−２７３００２）
【出願日】平成２２年１２月７日（２０１０．１２．７）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成２４年６月２８日（２０１２．６．２８）
【国際特許分類】
【出願日】平成２２年１２月７日（２０１０．１２．７）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]