検出装置、及び、検出方法
【課題】検出対象物の検出処理速度を向上させること。
【解決手段】センサーの出力に対応する階調値を含む検出対象画像を生成する画像生成部と、前記検出対象画像から検出対象物を検出することに用いる学習済みの識別器を基準ウィンドウ毎に有する検出器と、を備え、前記画像生成部は、各基準ウィンドウの複数の倍率のサイズで前記検出対象画像を生成し、前記識別器は、前記基準ウィンドウにおいて分割された各領域に対応するサブ識別器を含み、前記検出器は、前記検出対象画像の倍率に応じた領域の前記サブ識別器に、前記検出対象画像における領域の階調値を入力し、前記サブ識別器の出力に基づいて前記検出対象画像における検出対象物の検出を行う、検出装置。
【解決手段】センサーの出力に対応する階調値を含む検出対象画像を生成する画像生成部と、前記検出対象画像から検出対象物を検出することに用いる学習済みの識別器を基準ウィンドウ毎に有する検出器と、を備え、前記画像生成部は、各基準ウィンドウの複数の倍率のサイズで前記検出対象画像を生成し、前記識別器は、前記基準ウィンドウにおいて分割された各領域に対応するサブ識別器を含み、前記検出器は、前記検出対象画像の倍率に応じた領域の前記サブ識別器に、前記検出対象画像における領域の階調値を入力し、前記サブ識別器の出力に基づいて前記検出対象画像における検出対象物の検出を行う、検出装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、検出装置、及び、検出方法に関する。
【背景技術】
【0002】
歩行者等の安全確保のために車両に歩行者検出装置を搭載することが考えられている。このような歩行者検出装置は、リアルタイムに、近距離の人物や遠距離の人物を検出する。
【0003】
特許文献1には、移動ロボットにおいて移動体を検出するために2つのカメラを用いてステレオ画像処理することが示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2006−268345号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献1の手法であると、カメラが2つ必要となりコストが高くなるという問題がある。また、この手法は、視差を利用しているが、遠距離になると視差の差が小さくなるため、対象物の検出が困難になるという問題もある。
【0006】
また、カメラから取得した1フレーム画像中の人物を検出する場合、ウィンドウスキャンにより様々なサイズのクロッピング画像が大量に検出器に入力されることになる。このとき、検出器の入力サイズに合わせてクロップ画像のリサイズが行われる。しかしながら、リサイズ処理には時間を要することから、検出処理速度に問題が生ずる。よって、検出処理速度をより向上させることが望まれる。
【0007】
本発明は、このような事情に鑑みてなされたものであり、検出対象物の検出処理速度を向上させることを目的とする。
【課題を解決するための手段】
【0008】
上記目的を達成するための主たる発明は、
センサーの出力に対応する階調値を含む検出対象画像を生成する画像生成部と、前記検出対象画像から検出対象物を検出することに用いる学習済みの識別器を基準ウィンドウ毎に有する検出器と、を備え、
前記画像生成部は、各基準ウィンドウの複数の倍率のサイズで前記検出対象画像を生成し、
前記識別器は、前記基準ウィンドウにおいて分割された各領域に対応するサブ識別器を含み、
前記検出器は、前記検出対象画像の倍率に応じた領域の前記サブ識別器に、前記検出対象画像における領域の階調値を入力し、前記サブ識別器の出力に基づいて前記検出対象画像における検出対象物の検出を行う、検出装置である。
【0009】
本発明の他の特徴については、本明細書及び添付図面の記載により明らかにする。
【図面の簡単な説明】
【0010】
【図1】本実施形態における人物検出システム1の概略構成を示すブロック図である。
【図2】本実施形態の概要を説明する図である。
【図3】本実施形態における学習処理のフローチャートである。
【図4】基準ウィンドウサイズの説明図である。
【図5】本実施形態における回帰式作成処理のフローチャートである。
【図6】クロッピング画像を複数のセル(領域)に分割する様子を説明する図である。
【図7】本実施形態における特徴量抽出処理のフローチャートである。
【図8】本実施形態における人物検出処理(全体画像)のフローチャートである。
【図9】基準ウィンドウに所定の倍率を乗じたときにおける最小検出サイズ及び最大検出サイズの説明図である。
【図10】図10Aは、基準ウィンドウの画素の説明図であり、図10Bは、クロッピング画像の画素の第1説明図であり、図10Cは、クロッピング画像の画素の第2説明図である。
【図11】探索窓の移動の様子の説明図である。
【発明を実施するための形態】
【0011】
本明細書及び添付図面の記載により、少なくとも、以下の事項が明らかとなる。すなわち、
センサーの出力に対応する階調値を含む検出対象画像を生成する画像生成部と、前記検出対象画像から検出対象物を検出することに用いる学習済みの識別器を基準ウィンドウ毎に有する検出器と、を備え、
前記画像生成部は、各基準ウィンドウの複数の倍率のサイズで前記検出対象画像を生成し、
前記識別器は、前記基準ウィンドウにおいて分割された各領域に対応するサブ識別器を含み、
前記検出器は、前記検出対象画像の倍率に応じた領域の前記サブ識別器に、前記検出対象画像における領域の階調値を入力し、前記サブ識別器の出力に基づいて前記検出対象画像における検出対象物の検出を行う、検出装置である。
このようにすることにより、検出対象画像のサイズが各基準ウィンドウの複数の倍率のサイズ(すなわち、複数倍のサイズ)に制限される。そして、各領域に対応するサブ識別器に階調値を入力する際、倍率に応じた検出対象画像における領域の階調値が入力される。検出対象画像は各基準ウィンドウの複数の倍率のサイズで生成されているため、あらゆるサイズの検出対象物を検出可能であるとともに、検出を行う際に検出対象画像のリサイズ処理を行う必要がないため、検出対象物の検出処理速度を向上させることができる。
【0012】
かかる検出装置であって、前記各基準ウィンドウの複数の倍率は、それぞれ整数倍の倍率であることが望ましい。
このようにすることで、各領域に対応するサブ識別器に階調値を入力する際、整数倍に応じた検出対象画像における領域の階調値を入力するので、演算が簡便になり、検出処理速度を向上させることができる。
【0013】
また、前記識別器は、前記検出対象画像における任意の2つの領域の階調値に基づいて前記検出対象画像における前記検出対象物の検出を行う複数のサブ識別器を有し、
前記検出部は、
前記複数のサブ識別器に対して、前記検出対象画像の複数の領域のうち対応する2つの領域の階調値を入力し、前記複数のサブ識別器の出力に基づいて前記検出対象画像における検出対象物の検出を行うことが望ましい。
このように、任意の2つの領域の階調値に基づいて検出対象物の検出を行うサブ識別器を複数有することで、検出精度が良好な1つ又は複数のサブ識別器を用いて検出対象物の検出を行うことができる。そして、検出対象物の検出精度を向上させることができる。
【0014】
また、前記複数のサブ識別器は、前記2つの領域の階調値を入力したときの特徴量に基づく値を出力し、
前記特徴量は、前記2つの領域のうち対応する一方の領域の階調値と、前記2つの領域のうち対応する他方の領域の階調値に基づいて推定された前記一方の領域の推定階調値と、の差を表すことが望ましい。
このような構成であれば、サブ識別器に2つの領域の階調値を入力すると、その特徴量として、一方の領域の階調値と、他方の領域の階調値に基づいて推定された一方の領域の推定階調値と、の差が求められる。そして、サブ識別器において、これらの差は検出対象画像と検出対象物との近似の程度を意味する。よって、このような特徴量に基づく値を出力するようにすることで、検出対象物の検出を精度よく行うことができる。
【0015】
また、前記画像生成部は、前記検出対象画像を含む全体画像から複数の画像をクロッピングすることにより前記検出対象画像を複数生成し、
前記複数の検出対象画像のそれぞれについて前記検出対象物の検出を行うことにより、前記全体画像における前記検出対象物の位置を特定することが望ましい。
このようにすることで、全体画像において複数の検出対象物が存在する場合であっても、それぞれの検出対象物を検出することができる。
【0016】
また、前記センサーの出力は、該センサーが検出した温度に応じた出力であることが望ましい。
このようにすることで、温度に応じて検出対象物を検出することができる。
【0017】
また、前記学習済みの識別器は、各基準ウィンドウの倍率毎に前記検出対象物の検出可能サイズが定められて学習がされており、
前記検出器は、各前記基準ウィンドウの複数の倍率のサイズで生成された検出対象画像について前記検出対象物の検出を行う際、前記識別器間で前記検出対象物の検出可能サイズが重複する場合には、重複する識別器の一方による前記検出対象物の検出は省略されることが望ましい。
このようにすることで、重複する識別器の使用を省略して検出対象物の検出を行う事ができるので、使用を省略した分、検出速度を向上させることができる。
【0018】
また、本明細書及び添付図面の記載により、少なくとも、以下の事項も明らかとなる。すなわち、
センサーの出力に対応する階調値を含む検出対象画像を生成する生成ステップと、
基準ウィンドウ毎に学習済みの識別器であって前記基準ウィンドウにおいて分割された各領域に対応するサブ識別器を含む識別器を用いて前記検出対象画像から検出対象物を検出する検出ステップと、
を含み、
前記生成ステップは、各基準ウィンドウの複数の倍率のサイズで前記検出対象画像を生成し、
前記検出ステップは、前記検出対象画像の倍率に応じた領域の前記サブ識別器に、前記検出対象画像における領域の階調値を入力し、前記サブ識別器の出力に基づいて前記検出対象画像における検出対象物の検出を行う、検出方法である。
このようにすることにより、検出対象画像のサイズが各基準ウィンドウの複数の倍率のサイズ(すなわち、複数倍のサイズ)に制限される。そして、各領域に対応するサブ識別器に階調値を入力する際、倍率に応じた検出対象画像における領域の階調値が入力される。検出対象画像は各基準ウィンドウの複数の倍率のサイズで生成されているため、あらゆるサイズの検出対象物を検出可能であるとともに、検出を行う際に検出対象画像のリサイズ処理を行う必要がないため、検出対象物の検出処理速度を向上させることができる。
【0019】
===実施形態===
図1は、本実施形態における人物検出システム1の概略構成を示すブロック図である。以下に示す実施形態では、人物を検出するシステムとして説明を行うが、検出対象物はこれに限られない。図1には、人物検出システム1に含まれる赤外線カメラ110と、人物検出装置120と、表示装置130が示されている。本実施形態では、赤外線カメラ110と、人物検出装置120と、表示装置130とは、それぞれ別体であり、電気的に接続されているが、これらのうち少なくとも2つが一体の装置であってもよい。
【0020】
赤外線カメラ110(センサーに相当)は、中赤外線から遠赤外線の範囲の波長をとらえデジタル値の映像信号を人物検出装置120の画像取得部122に送信する。赤外線カメラ110は、不図示の撮像部とアナログデジタル変換部(A/D変換部)を含む。撮像部は、赤外線カメラ110の受光素子に対応するものであり、受光素子が受光した赤外領域の光に対応した信号を人物検出装置120に出力する。A/D変換部は、撮像部で得られたアナログ信号をデジタル信号に変換する機能を有する。
【0021】
ここで、中赤外線は2.5μm〜4μmの波長、遠赤外線は4μm〜1000μmの波長を有する赤外光である。本実施形態では、赤外線カメラ110は8〜14μmの波長を検知し、人物の体温を検出対象とするが、この波長に限られず、温度を検出できる波長であればこれに限られない。赤外線カメラ110は、車両のフロントグリル部などに搭載される。そして、自車両(赤外線カメラ110が搭載された車両)から前方方向の環境を撮影する。
【0022】
人物検出装置120は、画像取得部122と画像メモリー124と制御部126と記憶部128を含む。そして、後述するような処理により、表示装置130に表示するデータを生成する。これら画像取得部122、画像メモリー124、制御部126、及び、記憶部128は、例えば、不図示の中央演算装置(CPU)、ランダムアクセスメモリー(RAM)及びハードディスク(HDD)などにより実現される。
【0023】
人物検出装置120の制御部126では、プログラムによって複数のモジュールが動作する。これらのモジュールのうち、後述する強識別器を有し基準ウィンドウサイズの倍数で切り出されたクロッピング画像から人物検出を行うモジュールは検出器に相当する。
【0024】
画像取得部122は、赤外線カメラ110が得た映像(例えば、15fpsの映像)を取得し、この映像からフレーム画像(全体画像)を取得する。そして、得られた各画像は画像メモリー124に送られる。
【0025】
画像メモリー124は、画像取得部122から送られた画像を一時的に記憶する。制御部126は、人物検出処理を行うための演算を行う。具体的な人物検出処理については、後述する。記憶部128は、学習モデルなどのデータ、演算途中の一時ファイル、及び、演算結果等を保存する。
【0026】
赤外線カメラ110、画像取得部122、画像メモリー124、および、後述するように取得されたフレーム画像から基準ウィンドウサイズの整数倍のサイズでクロッピングを行う制御部126のモジュールは画像生成部に相当する。また、取得されたフレーム画像から基準ウィンドウのサイズの整数倍のサイズで切り出されたクロッピング画像は、検出対象画像に相当する。
【0027】
表示装置130は、例えば、赤外線画像として得られている自車両前方映像を表示するディスプレイである。表示装置130には、さらに人物の検出結果として、検出された人物を強調表示することもできる。
【0028】
図2は、本実施形態の概要を説明する図である。図2には、本実施形態の人物検出システム1の概要を説明するために、各処理がブロックとして表されている。人物検出システム1は、学習処理と検出処理とを行う。なお、外部メモリー等を記憶部128として用いたり、学習処理によって得られる検出処理に必要なデータを外部から記憶部128に記憶させれば、必ずしも人物検出システム1が学習処理を行わなくてもよい。
【0029】
学習処理では、予め用意された学習用クロッピング画像を用いて学習を行い、その学習結果を学習モデルデータベース(記憶部128)に記憶する。学習用クロッピング画像は、学習用に用意された画像であって、必ず人物が含まれている画像(ポジティブ画像)である。ただし、学習方法によっては、必ず人物が含まれている画像(ポジティブ画像)と人物が含まれていない画像(ネガティブ画像)の両方を用意することとしてもよい。
【0030】
学習処理では、前述の学習用クロッピング画像についてコントラストの調整などの前処理が行われ、学習用クロッピング画像は学習器に渡される。学習器は、前処理後の学習用クロッピング画像に基づいて特徴量を求め、特徴量に基づく学習結果を学習モデルデータベースに記憶する。
【0031】
検出処理では、赤外線カメラ110から得られた全体画像から、部分的に画像をクロッピング(切り出し)し、クロッピング画像を生成する。後述するように、クロッピング画像のサイズは、基準ウィンドウのサイズの倍数のサイズに制限される。クロッピング画像についてコントラスト調整などの前処理が行われ、クロッピング画像は識別器に渡される。識別器は、学習結果に応じた複数のサブ識別器を有している。クロッピング画像の階調値が複数のサブ識別器に入力され、これらサブ識別器の出力に基づいてクロッピング画像に人物が含まれているか否かの判定が行われる。
【0032】
クロッピング画像は、全体画像から少しずつ位置をずらして画像を切り出すことによって、複数生成される。そして、前述のように、各クロッピング画像について人物が含まれているか否かの判定が行われ、その判定結果は統合される。そして、統合された結果は、全体画像に人物が強調表示されるなどの処理がされた出力画像として表示装置130に出力される。
【0033】
図3は、本実施形態における学習処理のフローチャートである。以下、本フローチャートを参照しつつ、学習処理について説明を行う。学習処理が行われるにあたり、前述のように、学習用クロッピング画像が複数用意されている。そして、これら人物が含まれていることが確実な学習用クロッピング画像を用いて学習モデルを構築する。
【0034】
最初に、複数の学習用クロッピング画像(学習画像)の読み込みが行われる(S102)。本実施形態では、N枚の学習用クロッピング画像が用意されているものとする。
【0035】
次に、基準ウィンドウサイズへのリサイズ処理が行われる(S104)。基準ウィンドウサイズへのリサイズ処理では、N枚の学習用クロッピング画像のぞれぞれについて、基準ウィンドウサイズにリサイズされる。
【0036】
図4は、基準ウィンドウサイズの説明図である。本実施形態では、基準ウィンドウサイズ毎に、検出可能な対象物のサイズを予め決めておく。図4には、基準ウィンドウサイズと、これに対応する最小検出サイズと、最大検出サイズが示されている。
【0037】
本実施形態では、基準ウィンドウサイズを図4に示される5つのサイズとしている。但し、基準ウィンドウサイズの個数はこれに限られず、より多いものであってもよいし、少ないものであってもよい。
【0038】
基準ウィンドウサイズに対応して、検出可能な検出対象物の最小のサイズ(最小検出サイズ)と、検出可能な検出対象物の最大のサイズ(最大検出サイズ)が規定される。例えば、基準ウィンドウサイズが6×12の場合において、最小検出サイズは5×10であり、最大検出サイズは6×12である。
【0039】
このように、最小検出サイズ及び最大検出サイズの範囲の検出対象物(人物)を検出可能とするために、学習用クロッピング画像に含まれる検出対象物のサイズは、ほぼ最小検出サイズから最大検出サイズのものが含まれる。例えば、基準ウィンドウサイズが6×12の場合、学習用クロッピング画像に含まれる検出対象物のサイズは、5×10から6×12の範囲のものが含まれる。
【0040】
このように、基準ウィンドウサイズに対応した検出対象物のサイズを含む学習用クロッピング画像で学習を行わせることによって、基準ウィンドウサイズに対応する最小検出サイズから最大検出サイズの範囲の検出対象物を検出できるようになる。
【0041】
次に、特徴量抽出処理が行われる(S106)。特徴量抽出処理は、前述のリサイズ後の学習用クロッピング画像(N枚)のそれぞれについて行われる。特徴量抽出処理は、回帰式を用いて行われる。次に、回帰式の作成処理について説明を行う。
【0042】
図5は、本実施形態における回帰式作成処理のフローチャートである。図6は、クロッピング画像を複数のセル(領域)に分割する様子を説明する図である。学習用クロッピング画像は、回帰式作成処理において、複数のセルに分割される。これらの学習用クロッピング画像は、赤外線カメラ110によって取得された画像であるので、その階調値は温度に関連したものになっている。ここでは、学習用クロッピング画像の複数のセルのうちの2つのセルの階調値(温度を表す)を用いた線形回帰式を求める。
【0043】
1つのセルは複数の画素により構成されることとしてもよい。また、1画素が1セルを構成することとしてもよい。ここでは、説明を容易にするために、1画素が1セルを構成するものとして説明を行う。
【0044】
図6には、学習用クロッピング画像(基準ウィンドウサイズにあわせてリサイズされた学習用クロッピング画像。以下、学習用クロッピング画像について同じ)が示され、前述のように学習用クロッピング画像が複数のセルに分割されている。そして、左上のセルから右に向かって順にセル番号が割り当てられ、これらのセルの階調値Tiが使用される(iはセル番号)。ここでは、基準ウィンドウサイズが8×16のものが示されている。
【0045】
図6では、8セル×16セルに分割される様子が示されているが、ここでは、リサイズされた画像サイズに応じて、分割されるセル数が異なる。具体的には、6画素×12画素の基準ウィンドウサイズの場合、6セル×12セルに分割される。そして、セル番号は、T1〜T72が付与される。7画素×14画素の基準ウィンドウサイズの場合、7セル×14セルに分割される。8画素×16画素の基準ウィンドウサイズの場合、8セル×16セルに分割される。9画素×18画素の基準ウィンドウサイズの場合、9セル×18セルに分割される。10画素×20画素の基準ウィンドウサイズの場合、10セル×20セルに分割される。
【0046】
各セルが複数の画素を含む場合には、これら画素の階調値の平均値をそのセルの階調値Tiとしてもよいし、中間値をそのセルの階調値Tiとしてもよい。また、これら個々のセルが1つの画素である場合には、その画素に対応する階調値をそのまま階調値Tiとして用いることもできる。
【0047】
次に、基準ウィンドウサイズ毎(N枚)に回帰式が求められる。
【0048】
図5のステップS202において、変数をiとしたループが構築される。変数iはセル番号であり、増分を1として1からM(最後のセル番号)まで変化させられる。また、ステップS204において、変数をjとしたループが構築される。変数jはセル番号であり、増分を1として1からMまで変化させられる。さらに、ステップS206において、変数をkとしたループが構築される。変数kは学習用クロッピング画像の番号であり、増分を1として1からNまで変化させられる。
【0049】
ステップS208において、k番目の学習用クロッピング画像のi番目のセルの階調値Tkiを取得する。次に、ステップS210において、k番目の学習用クロッピング画像のj番目のセルの階調値Tkjを取得する。そして、ステップS212において、kが1だけ増分される。このような処理が、1枚目の学習用画像からN枚目の学習用画像まで繰り返される(S214)。
【0050】
次に、得られた階調値TkiとTkjに基づいて、線形回帰式Tj’=aijTi+bijの係数aij及びbijが最小二乗法により求められる(S216)。そして、ステップS218において、jが1だけ増分される。
【0051】
このようなjを変数とした処理が、セル番号1からセル番号Mまで繰り返される(S220)。また、ステップS222において、iが1だけ増分される。このようなiを変数とした処理が、セル番号1からセル番号Mまで繰り返される(S224)。
【0052】
このようにすることによって、1つの基準ウィンドウサイズにおいてM2本の線形回帰式が得られることになる。5種類の基準ウィンドウサイズを有しているので、上記処理を基準ウィンドウサイズ毎に行うことによって、5×M2本の線形回帰式が得られることになる。
【0053】
線形回帰式が求められると、これに基づいて特徴量を抽出することができるようになる。特徴量は、基準ウィンドウサイズ毎に求められる。
【0054】
図7は、本実施形態における特徴量抽出処理のフローチャートである。ここでは、1枚の画像から特徴量を計算する手法について説明する。なお、この特徴量抽出処理は、学習処理だけでなく、後述する人物検出処理においても使用される。学習処理では、ステップS104においてリサイズされた学習用クロッピング画像の特徴量が抽出されることになる。
【0055】
ステップS302において、変数をiとしたループが構築される。これにより、変数iは、増分を1として1からMまで変化させられる。次に、i番目のセルの階調値Tiを取得する(S304)。
【0056】
ステップS306において、変数をjとしたループが構築される。これにより、変数jは、増分を1として1からM(最後のセル番号、例えば8×16の基準ウィンドウサイズの場合、Mは128)まで変化させられる。次に、特徴量vijが求められる(S308)。ステップS308によって求められる複数の特徴量の一つ一つがサブ識別器に相当する。
【0057】
特徴量vijは、以下の式により求められる。
vij=|Tj−Tj’|
=|Tj−(aij・Ti+bij)|
ここで、i及びjはループ内で変化する変数である。また、aij及びbijの値は、前述の線形回帰式の作成において求められている。また、Tiは、i番目のセルの階調値であり、Tjは、j番目のセルの階調値である。
【0058】
ステップS310において、変数jが1だけ増分される。このような処理が、jを変数としてセル番号1からセル番号Mまで繰り返される(S312)。また、ステップS314において、変数iが1だけ増分される。このような処理が、iを変数としてセル番号1からセル番号Mまで繰り返される(S316)。
【0059】
このようにすることで、各線形回帰式を用いた特徴量が得られることになる。すなわち、特徴量v11〜vMMが得られることになり、合計でM2個の特徴量が得られることになる。
【0060】
このようにして得られた特徴量に基づいて学習が行われる(S108)。特徴量について考察すると、特徴量vijは、ある一つのセルの実際の階調値Tj(一方の領域の階調値)と、他のセルの階調値Tiに基づいて得られたある一つのセルの推定階調値Tj’(一方の領域の推定階調値)との差を表す。学習用クロッピング画像を用いて求めたものであるため、これら推定階調値と実際の階調値はほぼ同値であることが望ましい。よって、学習用クロッピング画像を用いたときにおいて、特徴量が小さいときの、2つのセル番号の組み合わせに基づいて、検出対象物がその画像に含まれているか否かを判定することが望ましいことになる。
【0061】
このような原理によると、学習用クロッピング画像の2つのセルの階調値を入力したときの特徴量が小さいセルの組み合わせを用いて、検出対象物がその画像に含まれているか否かの判定を行うことができる。
【0062】
そうすると、判定用の評価値をEとして、
E=w11・v11+w12・v12+・・・+wMM・vMM
という評価式を用いることができる。ここで、wijは、重み付けされた係数である。重み付けされた係数は次のようにして決めることができる。例えば、学習用クロッピング画像を用いたときにおける特徴量vijの値が小さい順にiとjの組み合わせが所定個数だけ選択される。そして、選択されたiとjの組み合わせの重み付け係数wijを「1」とし、選択されなかったiとjの組み合わせの重み付け係数wijを「0」とする。このようにすることにより、特徴量vijが大きいセルの組み合わせについては、評価式から除外し、特徴量vijが小さいセルの組み合わせを評価式に組み入れることができる。
【0063】
このようにして、それぞれの重み付け係数wijを求め、評価値Eを求めるための評価式、及び、M2個の特徴量の算出式を学習モデルとして出力する(S110)。この学習モデルは、記憶部128に記憶され、後の人物検出処理において使用されることになる。この学習モデルは、学習済みの識別器に相当する。
【0064】
このような学習処理が基準ウィンドウサイズ毎に行われる。したがって、学習済みの識別機(強識別器)が5つ生成されることになる。
【0065】
なお、ここでは上述のような学習器及び識別器を採用することとしたが、学習器及び識別器はこれに限られず、adaboostを用いることとしてもよい。adaboostを用いる場合、個々の特徴量の算出式を弱識別器に対応させてもよい。また、個々の特徴量から人物検出に適した特徴量を選択し、強識別器(学習済みの識別機)を構築してもよい。
【0066】
図8は、本実施形態における人物検出処理(全体画像)のフローチャートである。図8を参照しつつ、赤外線カメラ110から得られた全体画像から人物を検出する処理について説明する。
【0067】
最初に、上述のようにして求められた学習モデルの読み込みが行われる(S402)。これにより、1つの基準ウィンドウサイズについて評価値Eを求めるための評価式、及び、M2個の特徴量算出式が取得される。本実施形態では、5つの基準ウィンドウサイズを有しているため、5組の評価式、及び、特徴量算出式が取得される。これら個々の特徴量算出式で用いられる回帰式の係数aij及びbijは、前述の学習処理により求められている。
【0068】
赤外線カメラ110は、撮影対象物から放出される赤外線に応じた映像をデジタルデータとして出力する。このような映像から1枚の画像(全体画像)が取得される(S404)。赤外線カメラ110から得られた画像は、温度に応じた階調値が各画素に設定された画像である。つまり、この画像は画素単位で温度情報を有する画像である。
【0069】
次に、ステップS406とステップS424により基準ウィンドウサイズを変数としたループが構築される(S406)。これにより、ステップS406からステップS424によって挟み込まれるステップにおいて、基準ウィンドウサイズが6×12のものから10×20のもののそれぞれについて処理が行われることになる。
【0070】
また、ステップS408とステップS422により倍率を変数としたループが構築される(S408)。これにより、ステップS408からステップS422によって挟み込まれるステップにおいて、倍率が1から4のもののそれぞれについて処理が行われることになる。
【0071】
また、ステップS410とステップS420によりクロッピング座標のy座標を変数としたループが構築される(S410)。これにより、ステップS410からステップS420によって挟み込まれるステップにおいて、クロッピングされる画像の座標のy座標が変化させられつつ、各処理が行われることになる。
【0072】
同様に、ステップS412とステップS418によりクロッピング座標のx座標を変数としたループが構築される(S412)。これにより、ステップS412からステップS418によって挟み込まれるステップにおいて、クロッピングされる画像の座標のx座標が変化させられつつ、各処理が行われることになる。
【0073】
上記のように、基準ウィンドウサイズ、倍率、y座標、x座標を変数としたループを構築することで、以下の特徴量抽出(S414)及び検出処理(S416)において、これの変数を変化させたものについて適用することができる。
【0074】
次に、特徴量抽出処理(S414)と検出処理(S416)が行われるが、これらの処理にかけられるクロッピング画像のウィンドウサイズは、基準ウィンドウのサイズの整数倍に限定される。すなわち、ステップS404において取得された全体画像から切り出されるクロッピング画像のウィンドウサイズは、基準ウィンドウのサイズの整数倍(本実施形態では、1倍、2倍、3倍、及び、4倍)のサイズのものだけとなる。
【0075】
図9は、基準ウィンドウに所定の倍率を乗じたときにおける最小検出サイズ及び最大検出サイズの説明図である。図には、倍率、使用の有無、ウィンドウサイズ、最小検出サイズ、及び、最大検出サイズが示されている。
【0076】
「倍率」は、ステップS408とステップS422によって構築されたループの変数としての倍率である。ウィンドウサイズは、全体画像から切り出されるクロッピング画像のウィンドウサイズである。また、最小検出サイズは、そのクロッピング画像から検出可能な最小の検出対象物(人物)のサイズである。最大検出サイズは、そのクロッピング画像から検出可能な最大の検出対象物のサイズである。
【0077】
ここでは、ステップS406〜ステップS424のループにおいて、「基準ウィンドウのサイズ」が、6×12であり、「倍率」が、2倍であり、クロッピング座標が任意の(x、y)座標の場合を例に説明を行う。
【0078】
特徴量抽出処理(S414)は、図7を用いて説明を行った処理とほぼ同様であり、ステップS308で用いられた線形回帰式の係数aij及びbijの値も、学習用クロッピング画像で得られたものが用いられる。このように特徴量抽出処理を行うことで、クロッピング画像について、評価値Eを求めるための評価式に入力するM2個の特徴量が得られることになる。
【0079】
評価値を求める際、各階調値を入力する必要があるが、クロッピング画像の倍率が2以上である場合、基準ウィンドウのサイズとクロッピング画像のウィンドウサイズが異なる。そのため、基準ウィンドウにおける各領域(セル、画素)とクロッピング画像における各領域(セル、画素)とを対応づける必要がある。
【0080】
図10Aは、基準ウィンドウの画素の説明図であり、図10Bは、クロッピング画像の画素の第1の説明図であり、図10Cは、クロッピング画像の画素の第2の説明図である。例えば、特徴量の計算のために、図10Aの画素で(1,1)の画素(原点は(0,0))を使用することを想定する。2倍の倍率である12×24のクロッピング画像では、(2,2)、(3,2)、(2,3)、(3,3)の4点が対応することになるが、この中のいずれか一点を入力する。ここでは、(2,2)の画素の階調値を入力することとする(図10B)。このようにすることにより、図10Cに示すハッチングの画素の階調値が用いられ、各特徴量が求められることになる。
【0081】
次に、求められたM2個の特徴量に基づいてクロッピング画像に人物が含まれているか否かの判定が行われる(S416)。具体的には、求められたM2個の特徴量が評価式に入力され評価値Eが求められる。そして、この評価値Eが所定値よりも小さいときには、クロッピング画像に人物が含まれていると判定し、このクロッピング画像の全体画像における位置も記憶する。一方、評価値Eが所定値以上のときには、クロッピング画像に人物が含まれていないと判定する。
【0082】
このような処理が、ステップS406〜ステップS424において、各基準ウィンドウサイズ(6×12〜10×20)の各整数倍(1倍〜4倍)のサイズのクロッピング画像について適用される。これにより、図9に示される最小検出サイズから最大検出サイズのあらゆるサイズにおいて検出対象物を検出することができる。
【0083】
このとき、クロッピング画像のサイズは、図9に示されるウィンドウサイズ、すなわち基準ウィンドウサイズの整数倍のサイズに制限されていた。よって、クロッピング画像をリサイズする必要がない。このような処理においてリサイズ処理が占める時間は多く、例えばバイキュービックを用いた解像度変換処理では、全処理時間の50%以上を占めることがあった。しかしながら、上記処理ではリサイズ処理を行う必要がないため、全体としての検出対象物の検出処理速度を向上させることができる。
【0084】
なお、図9において「使用」の有無が示されているが、例えば、倍率が3倍のクロッピング画像のサイズが18×36、及び、倍率が4倍のクロッピング画像のサイズが24×48の物については、上記検出処理をスキップすることとしてもよい。これは、これらのサイズについては、他のサイズのクロッピング画像で検出対象物の検出可能範囲が重複するためである。このように、検出対象物の検出可能範囲が重複するクロッピング画像については、上記処理をスキップすることにより、処理速度をさらに向上させることができる。
【0085】
図11は、探索窓の移動の様子の説明図である。ステップS410とステップS420とで閉じられるループにおいて前述のような検出処理が実行されるので、各基準ウィンドウサイズ及び各倍率について、図11に示されるような探索窓(クロッピング画像のウィンドウ)wが全体画像において移動させられつつ、クロッピングされた画像について是術の人物の検出処理が行われることになる。このようにして、各クロッピング画像について人物が存在するか否かの判定を行い、人物が検出されたクロッピング画像の位置を記憶することによって、全体画像における人物の位置が特定できる。
【0086】
このようにして人物検出処理が完了すると、人物検出装置120に接続された表示装置130に検出結果が表示される(S426)。結果表示は、赤外線画像として得られている自車両前方映像に、歩行者として判定された箇所を、歩行者を含むように強調表示させたり(図1の「出力画像」を参照)、注意を喚起するために画面をフラッシュさせたりして行うことができる。さらに、場合によっては運転支援としてブレーキをかけることをアシストしたり、視覚補助として婦論とライトがダウンライトになっているのをアップライトにしてもよい。
【0087】
このようにして、学習用クロッピング画像に基づいて得られた評価式を用いて人物の検出を行うので、学習用クロッピング画像に含まれる人物によく合致するクロッピング画像について、人物が含まれているものとして精度良く検出を行うことができる。また、上述のようなアルゴリズムは、クロッピング画像における2つの領域の階調値を特徴量算出式に入力するというきわめて単純なものであるので、検出速度を向上させることもできる。
【0088】
さらに、検出時に取得した画像のリサイズ処理を行わずに、対象物の検出を行うことができる。リサイズ処理は処理時間を要することから、このようなリサイズ処理を検出時に行わないこととすることで、検出速度を向上させることができる。
【符号の説明】
【0089】
1 人物検出システム、
110 赤外線カメラ、120 人物検出装置、130 表示装置、
122 画像取得部、124 画像メモリー、
126 制御部、128 記憶部
【技術分野】
【0001】
本発明は、検出装置、及び、検出方法に関する。
【背景技術】
【0002】
歩行者等の安全確保のために車両に歩行者検出装置を搭載することが考えられている。このような歩行者検出装置は、リアルタイムに、近距離の人物や遠距離の人物を検出する。
【0003】
特許文献1には、移動ロボットにおいて移動体を検出するために2つのカメラを用いてステレオ画像処理することが示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2006−268345号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献1の手法であると、カメラが2つ必要となりコストが高くなるという問題がある。また、この手法は、視差を利用しているが、遠距離になると視差の差が小さくなるため、対象物の検出が困難になるという問題もある。
【0006】
また、カメラから取得した1フレーム画像中の人物を検出する場合、ウィンドウスキャンにより様々なサイズのクロッピング画像が大量に検出器に入力されることになる。このとき、検出器の入力サイズに合わせてクロップ画像のリサイズが行われる。しかしながら、リサイズ処理には時間を要することから、検出処理速度に問題が生ずる。よって、検出処理速度をより向上させることが望まれる。
【0007】
本発明は、このような事情に鑑みてなされたものであり、検出対象物の検出処理速度を向上させることを目的とする。
【課題を解決するための手段】
【0008】
上記目的を達成するための主たる発明は、
センサーの出力に対応する階調値を含む検出対象画像を生成する画像生成部と、前記検出対象画像から検出対象物を検出することに用いる学習済みの識別器を基準ウィンドウ毎に有する検出器と、を備え、
前記画像生成部は、各基準ウィンドウの複数の倍率のサイズで前記検出対象画像を生成し、
前記識別器は、前記基準ウィンドウにおいて分割された各領域に対応するサブ識別器を含み、
前記検出器は、前記検出対象画像の倍率に応じた領域の前記サブ識別器に、前記検出対象画像における領域の階調値を入力し、前記サブ識別器の出力に基づいて前記検出対象画像における検出対象物の検出を行う、検出装置である。
【0009】
本発明の他の特徴については、本明細書及び添付図面の記載により明らかにする。
【図面の簡単な説明】
【0010】
【図1】本実施形態における人物検出システム1の概略構成を示すブロック図である。
【図2】本実施形態の概要を説明する図である。
【図3】本実施形態における学習処理のフローチャートである。
【図4】基準ウィンドウサイズの説明図である。
【図5】本実施形態における回帰式作成処理のフローチャートである。
【図6】クロッピング画像を複数のセル(領域)に分割する様子を説明する図である。
【図7】本実施形態における特徴量抽出処理のフローチャートである。
【図8】本実施形態における人物検出処理(全体画像)のフローチャートである。
【図9】基準ウィンドウに所定の倍率を乗じたときにおける最小検出サイズ及び最大検出サイズの説明図である。
【図10】図10Aは、基準ウィンドウの画素の説明図であり、図10Bは、クロッピング画像の画素の第1説明図であり、図10Cは、クロッピング画像の画素の第2説明図である。
【図11】探索窓の移動の様子の説明図である。
【発明を実施するための形態】
【0011】
本明細書及び添付図面の記載により、少なくとも、以下の事項が明らかとなる。すなわち、
センサーの出力に対応する階調値を含む検出対象画像を生成する画像生成部と、前記検出対象画像から検出対象物を検出することに用いる学習済みの識別器を基準ウィンドウ毎に有する検出器と、を備え、
前記画像生成部は、各基準ウィンドウの複数の倍率のサイズで前記検出対象画像を生成し、
前記識別器は、前記基準ウィンドウにおいて分割された各領域に対応するサブ識別器を含み、
前記検出器は、前記検出対象画像の倍率に応じた領域の前記サブ識別器に、前記検出対象画像における領域の階調値を入力し、前記サブ識別器の出力に基づいて前記検出対象画像における検出対象物の検出を行う、検出装置である。
このようにすることにより、検出対象画像のサイズが各基準ウィンドウの複数の倍率のサイズ(すなわち、複数倍のサイズ)に制限される。そして、各領域に対応するサブ識別器に階調値を入力する際、倍率に応じた検出対象画像における領域の階調値が入力される。検出対象画像は各基準ウィンドウの複数の倍率のサイズで生成されているため、あらゆるサイズの検出対象物を検出可能であるとともに、検出を行う際に検出対象画像のリサイズ処理を行う必要がないため、検出対象物の検出処理速度を向上させることができる。
【0012】
かかる検出装置であって、前記各基準ウィンドウの複数の倍率は、それぞれ整数倍の倍率であることが望ましい。
このようにすることで、各領域に対応するサブ識別器に階調値を入力する際、整数倍に応じた検出対象画像における領域の階調値を入力するので、演算が簡便になり、検出処理速度を向上させることができる。
【0013】
また、前記識別器は、前記検出対象画像における任意の2つの領域の階調値に基づいて前記検出対象画像における前記検出対象物の検出を行う複数のサブ識別器を有し、
前記検出部は、
前記複数のサブ識別器に対して、前記検出対象画像の複数の領域のうち対応する2つの領域の階調値を入力し、前記複数のサブ識別器の出力に基づいて前記検出対象画像における検出対象物の検出を行うことが望ましい。
このように、任意の2つの領域の階調値に基づいて検出対象物の検出を行うサブ識別器を複数有することで、検出精度が良好な1つ又は複数のサブ識別器を用いて検出対象物の検出を行うことができる。そして、検出対象物の検出精度を向上させることができる。
【0014】
また、前記複数のサブ識別器は、前記2つの領域の階調値を入力したときの特徴量に基づく値を出力し、
前記特徴量は、前記2つの領域のうち対応する一方の領域の階調値と、前記2つの領域のうち対応する他方の領域の階調値に基づいて推定された前記一方の領域の推定階調値と、の差を表すことが望ましい。
このような構成であれば、サブ識別器に2つの領域の階調値を入力すると、その特徴量として、一方の領域の階調値と、他方の領域の階調値に基づいて推定された一方の領域の推定階調値と、の差が求められる。そして、サブ識別器において、これらの差は検出対象画像と検出対象物との近似の程度を意味する。よって、このような特徴量に基づく値を出力するようにすることで、検出対象物の検出を精度よく行うことができる。
【0015】
また、前記画像生成部は、前記検出対象画像を含む全体画像から複数の画像をクロッピングすることにより前記検出対象画像を複数生成し、
前記複数の検出対象画像のそれぞれについて前記検出対象物の検出を行うことにより、前記全体画像における前記検出対象物の位置を特定することが望ましい。
このようにすることで、全体画像において複数の検出対象物が存在する場合であっても、それぞれの検出対象物を検出することができる。
【0016】
また、前記センサーの出力は、該センサーが検出した温度に応じた出力であることが望ましい。
このようにすることで、温度に応じて検出対象物を検出することができる。
【0017】
また、前記学習済みの識別器は、各基準ウィンドウの倍率毎に前記検出対象物の検出可能サイズが定められて学習がされており、
前記検出器は、各前記基準ウィンドウの複数の倍率のサイズで生成された検出対象画像について前記検出対象物の検出を行う際、前記識別器間で前記検出対象物の検出可能サイズが重複する場合には、重複する識別器の一方による前記検出対象物の検出は省略されることが望ましい。
このようにすることで、重複する識別器の使用を省略して検出対象物の検出を行う事ができるので、使用を省略した分、検出速度を向上させることができる。
【0018】
また、本明細書及び添付図面の記載により、少なくとも、以下の事項も明らかとなる。すなわち、
センサーの出力に対応する階調値を含む検出対象画像を生成する生成ステップと、
基準ウィンドウ毎に学習済みの識別器であって前記基準ウィンドウにおいて分割された各領域に対応するサブ識別器を含む識別器を用いて前記検出対象画像から検出対象物を検出する検出ステップと、
を含み、
前記生成ステップは、各基準ウィンドウの複数の倍率のサイズで前記検出対象画像を生成し、
前記検出ステップは、前記検出対象画像の倍率に応じた領域の前記サブ識別器に、前記検出対象画像における領域の階調値を入力し、前記サブ識別器の出力に基づいて前記検出対象画像における検出対象物の検出を行う、検出方法である。
このようにすることにより、検出対象画像のサイズが各基準ウィンドウの複数の倍率のサイズ(すなわち、複数倍のサイズ)に制限される。そして、各領域に対応するサブ識別器に階調値を入力する際、倍率に応じた検出対象画像における領域の階調値が入力される。検出対象画像は各基準ウィンドウの複数の倍率のサイズで生成されているため、あらゆるサイズの検出対象物を検出可能であるとともに、検出を行う際に検出対象画像のリサイズ処理を行う必要がないため、検出対象物の検出処理速度を向上させることができる。
【0019】
===実施形態===
図1は、本実施形態における人物検出システム1の概略構成を示すブロック図である。以下に示す実施形態では、人物を検出するシステムとして説明を行うが、検出対象物はこれに限られない。図1には、人物検出システム1に含まれる赤外線カメラ110と、人物検出装置120と、表示装置130が示されている。本実施形態では、赤外線カメラ110と、人物検出装置120と、表示装置130とは、それぞれ別体であり、電気的に接続されているが、これらのうち少なくとも2つが一体の装置であってもよい。
【0020】
赤外線カメラ110(センサーに相当)は、中赤外線から遠赤外線の範囲の波長をとらえデジタル値の映像信号を人物検出装置120の画像取得部122に送信する。赤外線カメラ110は、不図示の撮像部とアナログデジタル変換部(A/D変換部)を含む。撮像部は、赤外線カメラ110の受光素子に対応するものであり、受光素子が受光した赤外領域の光に対応した信号を人物検出装置120に出力する。A/D変換部は、撮像部で得られたアナログ信号をデジタル信号に変換する機能を有する。
【0021】
ここで、中赤外線は2.5μm〜4μmの波長、遠赤外線は4μm〜1000μmの波長を有する赤外光である。本実施形態では、赤外線カメラ110は8〜14μmの波長を検知し、人物の体温を検出対象とするが、この波長に限られず、温度を検出できる波長であればこれに限られない。赤外線カメラ110は、車両のフロントグリル部などに搭載される。そして、自車両(赤外線カメラ110が搭載された車両)から前方方向の環境を撮影する。
【0022】
人物検出装置120は、画像取得部122と画像メモリー124と制御部126と記憶部128を含む。そして、後述するような処理により、表示装置130に表示するデータを生成する。これら画像取得部122、画像メモリー124、制御部126、及び、記憶部128は、例えば、不図示の中央演算装置(CPU)、ランダムアクセスメモリー(RAM)及びハードディスク(HDD)などにより実現される。
【0023】
人物検出装置120の制御部126では、プログラムによって複数のモジュールが動作する。これらのモジュールのうち、後述する強識別器を有し基準ウィンドウサイズの倍数で切り出されたクロッピング画像から人物検出を行うモジュールは検出器に相当する。
【0024】
画像取得部122は、赤外線カメラ110が得た映像(例えば、15fpsの映像)を取得し、この映像からフレーム画像(全体画像)を取得する。そして、得られた各画像は画像メモリー124に送られる。
【0025】
画像メモリー124は、画像取得部122から送られた画像を一時的に記憶する。制御部126は、人物検出処理を行うための演算を行う。具体的な人物検出処理については、後述する。記憶部128は、学習モデルなどのデータ、演算途中の一時ファイル、及び、演算結果等を保存する。
【0026】
赤外線カメラ110、画像取得部122、画像メモリー124、および、後述するように取得されたフレーム画像から基準ウィンドウサイズの整数倍のサイズでクロッピングを行う制御部126のモジュールは画像生成部に相当する。また、取得されたフレーム画像から基準ウィンドウのサイズの整数倍のサイズで切り出されたクロッピング画像は、検出対象画像に相当する。
【0027】
表示装置130は、例えば、赤外線画像として得られている自車両前方映像を表示するディスプレイである。表示装置130には、さらに人物の検出結果として、検出された人物を強調表示することもできる。
【0028】
図2は、本実施形態の概要を説明する図である。図2には、本実施形態の人物検出システム1の概要を説明するために、各処理がブロックとして表されている。人物検出システム1は、学習処理と検出処理とを行う。なお、外部メモリー等を記憶部128として用いたり、学習処理によって得られる検出処理に必要なデータを外部から記憶部128に記憶させれば、必ずしも人物検出システム1が学習処理を行わなくてもよい。
【0029】
学習処理では、予め用意された学習用クロッピング画像を用いて学習を行い、その学習結果を学習モデルデータベース(記憶部128)に記憶する。学習用クロッピング画像は、学習用に用意された画像であって、必ず人物が含まれている画像(ポジティブ画像)である。ただし、学習方法によっては、必ず人物が含まれている画像(ポジティブ画像)と人物が含まれていない画像(ネガティブ画像)の両方を用意することとしてもよい。
【0030】
学習処理では、前述の学習用クロッピング画像についてコントラストの調整などの前処理が行われ、学習用クロッピング画像は学習器に渡される。学習器は、前処理後の学習用クロッピング画像に基づいて特徴量を求め、特徴量に基づく学習結果を学習モデルデータベースに記憶する。
【0031】
検出処理では、赤外線カメラ110から得られた全体画像から、部分的に画像をクロッピング(切り出し)し、クロッピング画像を生成する。後述するように、クロッピング画像のサイズは、基準ウィンドウのサイズの倍数のサイズに制限される。クロッピング画像についてコントラスト調整などの前処理が行われ、クロッピング画像は識別器に渡される。識別器は、学習結果に応じた複数のサブ識別器を有している。クロッピング画像の階調値が複数のサブ識別器に入力され、これらサブ識別器の出力に基づいてクロッピング画像に人物が含まれているか否かの判定が行われる。
【0032】
クロッピング画像は、全体画像から少しずつ位置をずらして画像を切り出すことによって、複数生成される。そして、前述のように、各クロッピング画像について人物が含まれているか否かの判定が行われ、その判定結果は統合される。そして、統合された結果は、全体画像に人物が強調表示されるなどの処理がされた出力画像として表示装置130に出力される。
【0033】
図3は、本実施形態における学習処理のフローチャートである。以下、本フローチャートを参照しつつ、学習処理について説明を行う。学習処理が行われるにあたり、前述のように、学習用クロッピング画像が複数用意されている。そして、これら人物が含まれていることが確実な学習用クロッピング画像を用いて学習モデルを構築する。
【0034】
最初に、複数の学習用クロッピング画像(学習画像)の読み込みが行われる(S102)。本実施形態では、N枚の学習用クロッピング画像が用意されているものとする。
【0035】
次に、基準ウィンドウサイズへのリサイズ処理が行われる(S104)。基準ウィンドウサイズへのリサイズ処理では、N枚の学習用クロッピング画像のぞれぞれについて、基準ウィンドウサイズにリサイズされる。
【0036】
図4は、基準ウィンドウサイズの説明図である。本実施形態では、基準ウィンドウサイズ毎に、検出可能な対象物のサイズを予め決めておく。図4には、基準ウィンドウサイズと、これに対応する最小検出サイズと、最大検出サイズが示されている。
【0037】
本実施形態では、基準ウィンドウサイズを図4に示される5つのサイズとしている。但し、基準ウィンドウサイズの個数はこれに限られず、より多いものであってもよいし、少ないものであってもよい。
【0038】
基準ウィンドウサイズに対応して、検出可能な検出対象物の最小のサイズ(最小検出サイズ)と、検出可能な検出対象物の最大のサイズ(最大検出サイズ)が規定される。例えば、基準ウィンドウサイズが6×12の場合において、最小検出サイズは5×10であり、最大検出サイズは6×12である。
【0039】
このように、最小検出サイズ及び最大検出サイズの範囲の検出対象物(人物)を検出可能とするために、学習用クロッピング画像に含まれる検出対象物のサイズは、ほぼ最小検出サイズから最大検出サイズのものが含まれる。例えば、基準ウィンドウサイズが6×12の場合、学習用クロッピング画像に含まれる検出対象物のサイズは、5×10から6×12の範囲のものが含まれる。
【0040】
このように、基準ウィンドウサイズに対応した検出対象物のサイズを含む学習用クロッピング画像で学習を行わせることによって、基準ウィンドウサイズに対応する最小検出サイズから最大検出サイズの範囲の検出対象物を検出できるようになる。
【0041】
次に、特徴量抽出処理が行われる(S106)。特徴量抽出処理は、前述のリサイズ後の学習用クロッピング画像(N枚)のそれぞれについて行われる。特徴量抽出処理は、回帰式を用いて行われる。次に、回帰式の作成処理について説明を行う。
【0042】
図5は、本実施形態における回帰式作成処理のフローチャートである。図6は、クロッピング画像を複数のセル(領域)に分割する様子を説明する図である。学習用クロッピング画像は、回帰式作成処理において、複数のセルに分割される。これらの学習用クロッピング画像は、赤外線カメラ110によって取得された画像であるので、その階調値は温度に関連したものになっている。ここでは、学習用クロッピング画像の複数のセルのうちの2つのセルの階調値(温度を表す)を用いた線形回帰式を求める。
【0043】
1つのセルは複数の画素により構成されることとしてもよい。また、1画素が1セルを構成することとしてもよい。ここでは、説明を容易にするために、1画素が1セルを構成するものとして説明を行う。
【0044】
図6には、学習用クロッピング画像(基準ウィンドウサイズにあわせてリサイズされた学習用クロッピング画像。以下、学習用クロッピング画像について同じ)が示され、前述のように学習用クロッピング画像が複数のセルに分割されている。そして、左上のセルから右に向かって順にセル番号が割り当てられ、これらのセルの階調値Tiが使用される(iはセル番号)。ここでは、基準ウィンドウサイズが8×16のものが示されている。
【0045】
図6では、8セル×16セルに分割される様子が示されているが、ここでは、リサイズされた画像サイズに応じて、分割されるセル数が異なる。具体的には、6画素×12画素の基準ウィンドウサイズの場合、6セル×12セルに分割される。そして、セル番号は、T1〜T72が付与される。7画素×14画素の基準ウィンドウサイズの場合、7セル×14セルに分割される。8画素×16画素の基準ウィンドウサイズの場合、8セル×16セルに分割される。9画素×18画素の基準ウィンドウサイズの場合、9セル×18セルに分割される。10画素×20画素の基準ウィンドウサイズの場合、10セル×20セルに分割される。
【0046】
各セルが複数の画素を含む場合には、これら画素の階調値の平均値をそのセルの階調値Tiとしてもよいし、中間値をそのセルの階調値Tiとしてもよい。また、これら個々のセルが1つの画素である場合には、その画素に対応する階調値をそのまま階調値Tiとして用いることもできる。
【0047】
次に、基準ウィンドウサイズ毎(N枚)に回帰式が求められる。
【0048】
図5のステップS202において、変数をiとしたループが構築される。変数iはセル番号であり、増分を1として1からM(最後のセル番号)まで変化させられる。また、ステップS204において、変数をjとしたループが構築される。変数jはセル番号であり、増分を1として1からMまで変化させられる。さらに、ステップS206において、変数をkとしたループが構築される。変数kは学習用クロッピング画像の番号であり、増分を1として1からNまで変化させられる。
【0049】
ステップS208において、k番目の学習用クロッピング画像のi番目のセルの階調値Tkiを取得する。次に、ステップS210において、k番目の学習用クロッピング画像のj番目のセルの階調値Tkjを取得する。そして、ステップS212において、kが1だけ増分される。このような処理が、1枚目の学習用画像からN枚目の学習用画像まで繰り返される(S214)。
【0050】
次に、得られた階調値TkiとTkjに基づいて、線形回帰式Tj’=aijTi+bijの係数aij及びbijが最小二乗法により求められる(S216)。そして、ステップS218において、jが1だけ増分される。
【0051】
このようなjを変数とした処理が、セル番号1からセル番号Mまで繰り返される(S220)。また、ステップS222において、iが1だけ増分される。このようなiを変数とした処理が、セル番号1からセル番号Mまで繰り返される(S224)。
【0052】
このようにすることによって、1つの基準ウィンドウサイズにおいてM2本の線形回帰式が得られることになる。5種類の基準ウィンドウサイズを有しているので、上記処理を基準ウィンドウサイズ毎に行うことによって、5×M2本の線形回帰式が得られることになる。
【0053】
線形回帰式が求められると、これに基づいて特徴量を抽出することができるようになる。特徴量は、基準ウィンドウサイズ毎に求められる。
【0054】
図7は、本実施形態における特徴量抽出処理のフローチャートである。ここでは、1枚の画像から特徴量を計算する手法について説明する。なお、この特徴量抽出処理は、学習処理だけでなく、後述する人物検出処理においても使用される。学習処理では、ステップS104においてリサイズされた学習用クロッピング画像の特徴量が抽出されることになる。
【0055】
ステップS302において、変数をiとしたループが構築される。これにより、変数iは、増分を1として1からMまで変化させられる。次に、i番目のセルの階調値Tiを取得する(S304)。
【0056】
ステップS306において、変数をjとしたループが構築される。これにより、変数jは、増分を1として1からM(最後のセル番号、例えば8×16の基準ウィンドウサイズの場合、Mは128)まで変化させられる。次に、特徴量vijが求められる(S308)。ステップS308によって求められる複数の特徴量の一つ一つがサブ識別器に相当する。
【0057】
特徴量vijは、以下の式により求められる。
vij=|Tj−Tj’|
=|Tj−(aij・Ti+bij)|
ここで、i及びjはループ内で変化する変数である。また、aij及びbijの値は、前述の線形回帰式の作成において求められている。また、Tiは、i番目のセルの階調値であり、Tjは、j番目のセルの階調値である。
【0058】
ステップS310において、変数jが1だけ増分される。このような処理が、jを変数としてセル番号1からセル番号Mまで繰り返される(S312)。また、ステップS314において、変数iが1だけ増分される。このような処理が、iを変数としてセル番号1からセル番号Mまで繰り返される(S316)。
【0059】
このようにすることで、各線形回帰式を用いた特徴量が得られることになる。すなわち、特徴量v11〜vMMが得られることになり、合計でM2個の特徴量が得られることになる。
【0060】
このようにして得られた特徴量に基づいて学習が行われる(S108)。特徴量について考察すると、特徴量vijは、ある一つのセルの実際の階調値Tj(一方の領域の階調値)と、他のセルの階調値Tiに基づいて得られたある一つのセルの推定階調値Tj’(一方の領域の推定階調値)との差を表す。学習用クロッピング画像を用いて求めたものであるため、これら推定階調値と実際の階調値はほぼ同値であることが望ましい。よって、学習用クロッピング画像を用いたときにおいて、特徴量が小さいときの、2つのセル番号の組み合わせに基づいて、検出対象物がその画像に含まれているか否かを判定することが望ましいことになる。
【0061】
このような原理によると、学習用クロッピング画像の2つのセルの階調値を入力したときの特徴量が小さいセルの組み合わせを用いて、検出対象物がその画像に含まれているか否かの判定を行うことができる。
【0062】
そうすると、判定用の評価値をEとして、
E=w11・v11+w12・v12+・・・+wMM・vMM
という評価式を用いることができる。ここで、wijは、重み付けされた係数である。重み付けされた係数は次のようにして決めることができる。例えば、学習用クロッピング画像を用いたときにおける特徴量vijの値が小さい順にiとjの組み合わせが所定個数だけ選択される。そして、選択されたiとjの組み合わせの重み付け係数wijを「1」とし、選択されなかったiとjの組み合わせの重み付け係数wijを「0」とする。このようにすることにより、特徴量vijが大きいセルの組み合わせについては、評価式から除外し、特徴量vijが小さいセルの組み合わせを評価式に組み入れることができる。
【0063】
このようにして、それぞれの重み付け係数wijを求め、評価値Eを求めるための評価式、及び、M2個の特徴量の算出式を学習モデルとして出力する(S110)。この学習モデルは、記憶部128に記憶され、後の人物検出処理において使用されることになる。この学習モデルは、学習済みの識別器に相当する。
【0064】
このような学習処理が基準ウィンドウサイズ毎に行われる。したがって、学習済みの識別機(強識別器)が5つ生成されることになる。
【0065】
なお、ここでは上述のような学習器及び識別器を採用することとしたが、学習器及び識別器はこれに限られず、adaboostを用いることとしてもよい。adaboostを用いる場合、個々の特徴量の算出式を弱識別器に対応させてもよい。また、個々の特徴量から人物検出に適した特徴量を選択し、強識別器(学習済みの識別機)を構築してもよい。
【0066】
図8は、本実施形態における人物検出処理(全体画像)のフローチャートである。図8を参照しつつ、赤外線カメラ110から得られた全体画像から人物を検出する処理について説明する。
【0067】
最初に、上述のようにして求められた学習モデルの読み込みが行われる(S402)。これにより、1つの基準ウィンドウサイズについて評価値Eを求めるための評価式、及び、M2個の特徴量算出式が取得される。本実施形態では、5つの基準ウィンドウサイズを有しているため、5組の評価式、及び、特徴量算出式が取得される。これら個々の特徴量算出式で用いられる回帰式の係数aij及びbijは、前述の学習処理により求められている。
【0068】
赤外線カメラ110は、撮影対象物から放出される赤外線に応じた映像をデジタルデータとして出力する。このような映像から1枚の画像(全体画像)が取得される(S404)。赤外線カメラ110から得られた画像は、温度に応じた階調値が各画素に設定された画像である。つまり、この画像は画素単位で温度情報を有する画像である。
【0069】
次に、ステップS406とステップS424により基準ウィンドウサイズを変数としたループが構築される(S406)。これにより、ステップS406からステップS424によって挟み込まれるステップにおいて、基準ウィンドウサイズが6×12のものから10×20のもののそれぞれについて処理が行われることになる。
【0070】
また、ステップS408とステップS422により倍率を変数としたループが構築される(S408)。これにより、ステップS408からステップS422によって挟み込まれるステップにおいて、倍率が1から4のもののそれぞれについて処理が行われることになる。
【0071】
また、ステップS410とステップS420によりクロッピング座標のy座標を変数としたループが構築される(S410)。これにより、ステップS410からステップS420によって挟み込まれるステップにおいて、クロッピングされる画像の座標のy座標が変化させられつつ、各処理が行われることになる。
【0072】
同様に、ステップS412とステップS418によりクロッピング座標のx座標を変数としたループが構築される(S412)。これにより、ステップS412からステップS418によって挟み込まれるステップにおいて、クロッピングされる画像の座標のx座標が変化させられつつ、各処理が行われることになる。
【0073】
上記のように、基準ウィンドウサイズ、倍率、y座標、x座標を変数としたループを構築することで、以下の特徴量抽出(S414)及び検出処理(S416)において、これの変数を変化させたものについて適用することができる。
【0074】
次に、特徴量抽出処理(S414)と検出処理(S416)が行われるが、これらの処理にかけられるクロッピング画像のウィンドウサイズは、基準ウィンドウのサイズの整数倍に限定される。すなわち、ステップS404において取得された全体画像から切り出されるクロッピング画像のウィンドウサイズは、基準ウィンドウのサイズの整数倍(本実施形態では、1倍、2倍、3倍、及び、4倍)のサイズのものだけとなる。
【0075】
図9は、基準ウィンドウに所定の倍率を乗じたときにおける最小検出サイズ及び最大検出サイズの説明図である。図には、倍率、使用の有無、ウィンドウサイズ、最小検出サイズ、及び、最大検出サイズが示されている。
【0076】
「倍率」は、ステップS408とステップS422によって構築されたループの変数としての倍率である。ウィンドウサイズは、全体画像から切り出されるクロッピング画像のウィンドウサイズである。また、最小検出サイズは、そのクロッピング画像から検出可能な最小の検出対象物(人物)のサイズである。最大検出サイズは、そのクロッピング画像から検出可能な最大の検出対象物のサイズである。
【0077】
ここでは、ステップS406〜ステップS424のループにおいて、「基準ウィンドウのサイズ」が、6×12であり、「倍率」が、2倍であり、クロッピング座標が任意の(x、y)座標の場合を例に説明を行う。
【0078】
特徴量抽出処理(S414)は、図7を用いて説明を行った処理とほぼ同様であり、ステップS308で用いられた線形回帰式の係数aij及びbijの値も、学習用クロッピング画像で得られたものが用いられる。このように特徴量抽出処理を行うことで、クロッピング画像について、評価値Eを求めるための評価式に入力するM2個の特徴量が得られることになる。
【0079】
評価値を求める際、各階調値を入力する必要があるが、クロッピング画像の倍率が2以上である場合、基準ウィンドウのサイズとクロッピング画像のウィンドウサイズが異なる。そのため、基準ウィンドウにおける各領域(セル、画素)とクロッピング画像における各領域(セル、画素)とを対応づける必要がある。
【0080】
図10Aは、基準ウィンドウの画素の説明図であり、図10Bは、クロッピング画像の画素の第1の説明図であり、図10Cは、クロッピング画像の画素の第2の説明図である。例えば、特徴量の計算のために、図10Aの画素で(1,1)の画素(原点は(0,0))を使用することを想定する。2倍の倍率である12×24のクロッピング画像では、(2,2)、(3,2)、(2,3)、(3,3)の4点が対応することになるが、この中のいずれか一点を入力する。ここでは、(2,2)の画素の階調値を入力することとする(図10B)。このようにすることにより、図10Cに示すハッチングの画素の階調値が用いられ、各特徴量が求められることになる。
【0081】
次に、求められたM2個の特徴量に基づいてクロッピング画像に人物が含まれているか否かの判定が行われる(S416)。具体的には、求められたM2個の特徴量が評価式に入力され評価値Eが求められる。そして、この評価値Eが所定値よりも小さいときには、クロッピング画像に人物が含まれていると判定し、このクロッピング画像の全体画像における位置も記憶する。一方、評価値Eが所定値以上のときには、クロッピング画像に人物が含まれていないと判定する。
【0082】
このような処理が、ステップS406〜ステップS424において、各基準ウィンドウサイズ(6×12〜10×20)の各整数倍(1倍〜4倍)のサイズのクロッピング画像について適用される。これにより、図9に示される最小検出サイズから最大検出サイズのあらゆるサイズにおいて検出対象物を検出することができる。
【0083】
このとき、クロッピング画像のサイズは、図9に示されるウィンドウサイズ、すなわち基準ウィンドウサイズの整数倍のサイズに制限されていた。よって、クロッピング画像をリサイズする必要がない。このような処理においてリサイズ処理が占める時間は多く、例えばバイキュービックを用いた解像度変換処理では、全処理時間の50%以上を占めることがあった。しかしながら、上記処理ではリサイズ処理を行う必要がないため、全体としての検出対象物の検出処理速度を向上させることができる。
【0084】
なお、図9において「使用」の有無が示されているが、例えば、倍率が3倍のクロッピング画像のサイズが18×36、及び、倍率が4倍のクロッピング画像のサイズが24×48の物については、上記検出処理をスキップすることとしてもよい。これは、これらのサイズについては、他のサイズのクロッピング画像で検出対象物の検出可能範囲が重複するためである。このように、検出対象物の検出可能範囲が重複するクロッピング画像については、上記処理をスキップすることにより、処理速度をさらに向上させることができる。
【0085】
図11は、探索窓の移動の様子の説明図である。ステップS410とステップS420とで閉じられるループにおいて前述のような検出処理が実行されるので、各基準ウィンドウサイズ及び各倍率について、図11に示されるような探索窓(クロッピング画像のウィンドウ)wが全体画像において移動させられつつ、クロッピングされた画像について是術の人物の検出処理が行われることになる。このようにして、各クロッピング画像について人物が存在するか否かの判定を行い、人物が検出されたクロッピング画像の位置を記憶することによって、全体画像における人物の位置が特定できる。
【0086】
このようにして人物検出処理が完了すると、人物検出装置120に接続された表示装置130に検出結果が表示される(S426)。結果表示は、赤外線画像として得られている自車両前方映像に、歩行者として判定された箇所を、歩行者を含むように強調表示させたり(図1の「出力画像」を参照)、注意を喚起するために画面をフラッシュさせたりして行うことができる。さらに、場合によっては運転支援としてブレーキをかけることをアシストしたり、視覚補助として婦論とライトがダウンライトになっているのをアップライトにしてもよい。
【0087】
このようにして、学習用クロッピング画像に基づいて得られた評価式を用いて人物の検出を行うので、学習用クロッピング画像に含まれる人物によく合致するクロッピング画像について、人物が含まれているものとして精度良く検出を行うことができる。また、上述のようなアルゴリズムは、クロッピング画像における2つの領域の階調値を特徴量算出式に入力するというきわめて単純なものであるので、検出速度を向上させることもできる。
【0088】
さらに、検出時に取得した画像のリサイズ処理を行わずに、対象物の検出を行うことができる。リサイズ処理は処理時間を要することから、このようなリサイズ処理を検出時に行わないこととすることで、検出速度を向上させることができる。
【符号の説明】
【0089】
1 人物検出システム、
110 赤外線カメラ、120 人物検出装置、130 表示装置、
122 画像取得部、124 画像メモリー、
126 制御部、128 記憶部
【特許請求の範囲】
【請求項1】
センサーの出力に対応する階調値を含む検出対象画像を生成する画像生成部と、前記検出対象画像から検出対象物を検出することに用いる学習済みの識別器を基準ウィンドウ毎に有する検出器と、を備え、
前記画像生成部は、各基準ウィンドウの複数の倍率のサイズで前記検出対象画像を生成し、
前記識別器は、前記基準ウィンドウにおいて分割された各領域に対応するサブ識別器を含み、
前記検出器は、前記検出対象画像の倍率に応じた領域の前記サブ識別器に、前記検出対象画像における領域の階調値を入力し、前記サブ識別器の出力に基づいて前記検出対象画像における検出対象物の検出を行う、検出装置。
【請求項2】
前記各基準ウィンドウの複数の倍率は、それぞれ整数倍の倍率である、請求項1に記載の検出装置。
【請求項3】
前記識別器は、前記検出対象画像における任意の2つの領域の階調値に基づいて前記検出対象画像における前記検出対象物の検出を行う複数のサブ識別器を有し、
前記検出部は、
前記複数のサブ識別器に対して、前記検出対象画像の複数の領域のうち対応する2つの領域の階調値を入力し、前記複数のサブ識別器の出力に基づいて前記検出対象画像における検出対象物の検出を行う、
請求項1又は2に記載の検出装置。
【請求項4】
前記複数のサブ識別器は、前記2つの領域の階調値を入力したときの特徴量に基づく値を出力し、
前記特徴量は、前記2つの領域のうち対応する一方の領域の階調値と、前記2つの領域のうち対応する他方の領域の階調値に基づいて推定された前記一方の領域の推定階調値と、の差を表す、請求項3に記載の検出装置。
【請求項5】
前記画像生成部は、前記検出対象画像を含む全体画像から複数の画像をクロッピングすることにより前記検出対象画像を複数生成し、
前記複数の検出対象画像のそれぞれについて前記検出対象物の検出を行うことにより、前記全体画像における前記検出対象物の位置を特定する、請求項1〜4のいずれかに記載の検出装置。
【請求項6】
前記センサーの出力は、該センサーが検出した温度に応じた出力である、請求項1〜5のいずれかに記載の検出装置。
【請求項7】
前記学習済みの識別器は、各基準ウィンドウの倍率毎に前記検出対象物の検出可能サイズが定められて学習がされており、
前記検出器は、各前記基準ウィンドウの複数の倍率のサイズで生成された検出対象画像について前記検出対象物の検出を行う際、前記識別器間で前記検出対象物の検出可能サイズが重複する場合には、重複する識別器の一方による前記検出対象物の検出は省略される、請求項1〜6のいずれかに記載の検出装置。
【請求項8】
センサーの出力に対応する階調値を含む検出対象画像を生成する生成ステップと、
基準ウィンドウ毎に学習済みの識別器であって前記基準ウィンドウにおいて分割された各領域に対応するサブ識別器を含む識別器を用いて前記検出対象画像から検出対象物を検出する検出ステップと、
を含み、
前記生成ステップは、各基準ウィンドウの複数の倍率のサイズで前記検出対象画像を生成し、
前記検出ステップは、前記検出対象画像の倍率に応じた領域の前記サブ識別器に、前記検出対象画像における領域の階調値を入力し、前記サブ識別器の出力に基づいて前記検出対象画像における検出対象物の検出を行う、検出方法。
【請求項1】
センサーの出力に対応する階調値を含む検出対象画像を生成する画像生成部と、前記検出対象画像から検出対象物を検出することに用いる学習済みの識別器を基準ウィンドウ毎に有する検出器と、を備え、
前記画像生成部は、各基準ウィンドウの複数の倍率のサイズで前記検出対象画像を生成し、
前記識別器は、前記基準ウィンドウにおいて分割された各領域に対応するサブ識別器を含み、
前記検出器は、前記検出対象画像の倍率に応じた領域の前記サブ識別器に、前記検出対象画像における領域の階調値を入力し、前記サブ識別器の出力に基づいて前記検出対象画像における検出対象物の検出を行う、検出装置。
【請求項2】
前記各基準ウィンドウの複数の倍率は、それぞれ整数倍の倍率である、請求項1に記載の検出装置。
【請求項3】
前記識別器は、前記検出対象画像における任意の2つの領域の階調値に基づいて前記検出対象画像における前記検出対象物の検出を行う複数のサブ識別器を有し、
前記検出部は、
前記複数のサブ識別器に対して、前記検出対象画像の複数の領域のうち対応する2つの領域の階調値を入力し、前記複数のサブ識別器の出力に基づいて前記検出対象画像における検出対象物の検出を行う、
請求項1又は2に記載の検出装置。
【請求項4】
前記複数のサブ識別器は、前記2つの領域の階調値を入力したときの特徴量に基づく値を出力し、
前記特徴量は、前記2つの領域のうち対応する一方の領域の階調値と、前記2つの領域のうち対応する他方の領域の階調値に基づいて推定された前記一方の領域の推定階調値と、の差を表す、請求項3に記載の検出装置。
【請求項5】
前記画像生成部は、前記検出対象画像を含む全体画像から複数の画像をクロッピングすることにより前記検出対象画像を複数生成し、
前記複数の検出対象画像のそれぞれについて前記検出対象物の検出を行うことにより、前記全体画像における前記検出対象物の位置を特定する、請求項1〜4のいずれかに記載の検出装置。
【請求項6】
前記センサーの出力は、該センサーが検出した温度に応じた出力である、請求項1〜5のいずれかに記載の検出装置。
【請求項7】
前記学習済みの識別器は、各基準ウィンドウの倍率毎に前記検出対象物の検出可能サイズが定められて学習がされており、
前記検出器は、各前記基準ウィンドウの複数の倍率のサイズで生成された検出対象画像について前記検出対象物の検出を行う際、前記識別器間で前記検出対象物の検出可能サイズが重複する場合には、重複する識別器の一方による前記検出対象物の検出は省略される、請求項1〜6のいずれかに記載の検出装置。
【請求項8】
センサーの出力に対応する階調値を含む検出対象画像を生成する生成ステップと、
基準ウィンドウ毎に学習済みの識別器であって前記基準ウィンドウにおいて分割された各領域に対応するサブ識別器を含む識別器を用いて前記検出対象画像から検出対象物を検出する検出ステップと、
を含み、
前記生成ステップは、各基準ウィンドウの複数の倍率のサイズで前記検出対象画像を生成し、
前記検出ステップは、前記検出対象画像の倍率に応じた領域の前記サブ識別器に、前記検出対象画像における領域の階調値を入力し、前記サブ識別器の出力に基づいて前記検出対象画像における検出対象物の検出を行う、検出方法。
【図1】
【図3】
【図4】
【図5】
【図7】
【図8】
【図9】
【図10】
【図11】
【図2】
【図6】
【図3】
【図4】
【図5】
【図7】
【図8】
【図9】
【図10】
【図11】
【図2】
【図6】
【公開番号】特開2013−109515(P2013−109515A)
【公開日】平成25年6月6日(2013.6.6)
【国際特許分類】
【出願番号】特願2011−253092(P2011−253092)
【出願日】平成23年11月18日(2011.11.18)
【出願人】(000002369)セイコーエプソン株式会社 (51,324)
【Fターム(参考)】
【公開日】平成25年6月6日(2013.6.6)
【国際特許分類】
【出願日】平成23年11月18日(2011.11.18)
【出願人】(000002369)セイコーエプソン株式会社 (51,324)
【Fターム(参考)】
[ Back to top ]