物体認識方法及び認識装置
【課題】魚眼画像に対し、射影変換や補正演算による画像の変換を行わず、魚眼画像の歪んだ画像をそのまま用いて物体の認識を行うことができるようにする。
【解決手段】物体の認識を行う対象魚眼画像１１０の歪みの方向にあわせて領域を分割し１２０、物体認識部１３０がそれぞれの領域毎に用意したデータベース１４０を用いて物体認識を行う。また、対象魚眼画像１００に回転処理を施した複数の対象魚眼画像に対しても同様の処理を行い、検出座標変換部１５０が得られた物体位置を逆回転により元の位置に戻し、得られた結果を検出結果として出力する。これにより、物体認識の検出精度の向上、データベースのデータ量の削減が可能となる。また、魚眼画像に対する物体認識のためのデータベース作成には、データベース作成に必要となる物体画像を回転させたものを利用する。
【解決手段】物体の認識を行う対象魚眼画像１１０の歪みの方向にあわせて領域を分割し１２０、物体認識部１３０がそれぞれの領域毎に用意したデータベース１４０を用いて物体認識を行う。また、対象魚眼画像１００に回転処理を施した複数の対象魚眼画像に対しても同様の処理を行い、検出座標変換部１５０が得られた物体位置を逆回転により元の位置に戻し、得られた結果を検出結果として出力する。これにより、物体認識の検出精度の向上、データベースのデータ量の削減が可能となる。また、魚眼画像に対する物体認識のためのデータベース作成には、データベース作成に必要となる物体画像を回転させたものを利用する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物体認識方法及び認識装置に係り、特に、魚眼レンズによって撮影された画像内に撮影されている人物を含む物体を認識する物体認識方法及び認識装置に関する。
【背景技術】
【０００２】
魚眼レンズは、広い視野角を有すると言う利点を持つと同時に、撮影した画像の中心から外側に向かうにつれ、大きな歪みを含んでしまうという欠点も持ち合わせている。そのため、魚眼レンズによって撮影された画像内に撮影されている物体を認識するための方法として、歪みのない、あるいは、歪みの少ない平面画像に対して使用されている従来技術による物体認識方法は、そのまま使用することができない。
【０００３】
平面画像に対して使用されている従来技術による物体認識方法を、魚眼レンズによって撮影された画像内に撮影されている物体を認識するために使用可能とするため、一般的には、魚眼レンズを用いて撮影して得られた歪曲画像の歪みを補正した画像に変換する技術が知られており、システム等への応用が図られている。
【０００４】
また、平面画像に対して使用されている従来技術による物体認識においても、迅速かつ的確に認識するための工夫が図られている。
【０００５】
なお、歪みのある画像から歪みのない画像への変換等の撮影画像の変換方法に関する従来技術として、例えば、特許文献１、２、３等に記載された技術が知られている。すなわち、特許文献１に記載された技術は、歪みのある画像から歪みのない画像へ、リアルタイムに変換する方法に関する技術であり、特許文献２に記載された技術は、魚眼レンズを用いた撮影により得られた歪曲円形画像から、所望の任意部分を切り出し、歪みの少ない平面正則画像に変換することを可能とするというものである。さらに、特許文献３に記載された技術は、歪みのある魚眼画像の重要性の高い中心部を透視射影に近く、周辺部を適度に歪ませながら広い画角とすることができるようにした撮像画像の変換方法に関するものである。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００４−２２７４７０号公報
【特許文献２】特開２０１０−６２７９０号公報
【特許文献３】特開２０１０−６７１７２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
魚眼レンズによって撮影した画像を用いて物体の認識を行う技術は、前述したように、魚眼レンズによって撮影した画像を平面画像への変換を行った上で物体の認識を行っており、このため、平面画像を用いて画像の変換を行うことなく物体の認識を行う技術に比較して多くのハードウェアリソース、あるいは、ソフトウェアリソースを消費してしまうことになり、また、魚眼レンズによって撮影した画像の平面画像への変換に少なからぬ時間を要することになる。
【０００８】
前述したような状況から、例えば、物体の認識を迅速に行う必要がある運転支援等の即応性が求められる技術分野では、平面画像への変換を必要とする魚眼画像の使用が躊躇されている。
【０００９】
一般に、魚眼レンズによって撮影された大きな視野角、例えば、１８０度の視野角で捉えられた魚眼画像は、平面画像に変換されることにより無限大の大きさを持つ画像となることが知られている。すなわち、魚眼画像から平面画像に変換された画像は、元の魚眼画像と比べて大きなサイズを有するものとなる。
【００１０】
そのため、魚眼画像を平面画像に変換して利用する場合、通常、変換する画像の範囲を魚眼画像全体とせずに、一部だけを変換するという手法が採られている。そして、特許文献２には、魚眼画像の一部を切り出してから平面画像に変換する手法で解決しきれなかった歪みや切り出し可能箇所の制限への解決策が提案されている。しかし、魚眼画像の一部だけを変換する手法は、魚眼レンズによる大きな視野角という利点を充分に活かしきれていないものである。
【００１１】
一方、魚眼画像から平面画像への変換を行わずに物体の認識を行おうとする場合、検出対象となる物体の画像が魚眼画像の外側に位置すればするほど大きく歪んでしまうため、平面画像を用いる物体認識の手法を適用しても充分な検出精度を得ることができないものとしかならない。
【００１２】
そのため、魚眼画像をそのまま利用して物体の認識を行おうとする場合、使用するデータベースに格納する物体データとして、魚眼画像上に現れる歪みを持った物体データを使用することが考えられる。しかし、この場合、魚眼画像上に現れる、あらゆるパターンの歪みを網羅したデータベースの作成を行わなければならず、データベースの作成に、平面画像を利用する場合のデータベースの作成と比較して大きな労力が必要となってしまう。
【００１３】
また、前述の場合、様々なパターンの歪みを持ったデータを格納するためのデータベースが必要とするハードウェアリソースも、歪みを考慮しないときと比較して大きなものとなってしまう。
【００１４】
さらに、前述の場合、あらゆるパターンの歪みを持つ画像データを格納したデータベースを、魚眼画像上の任意のある領域内の物体の画像の検出にそのまま利用することは、前述のデータベースが対象となる領域の歪みと類似しない歪みをもつ物体のデータも含むデータベースであるために、充分な検出精度を持って物体の検出を行うことができないものとしかなり得ない。
【００１５】
本発明の目的は、前述したような従来からの技術の問題点に鑑み、魚眼画像を平面画像に変換することなく、魚眼画像をそのまま利用して物体の認識を行うことができるようにした物体認識方法及び認識装置を提供することにある。
【課題を解決するための手段】
【００１６】
本発明によれば前記目的は、魚眼カメラにより撮影された魚眼画像をそのまま用いて魚眼画像内に含まれる物体を認識する物体認識装置における物体認識方法において、前記物体認識装置は、前記魚眼カメラから入力される魚眼画像から魚眼画像内に含まれる検出したい対象物体を認識する物体認識部と、入力される魚眼画像の歪みの方向に合わせて前記入力される魚眼画像を複数に分割する分割領域を定めて複数の分割領域に分割し、該分割された分割領域毎に対応する検出したい対象物体に認識に使用する領域別データベースとを有して構成され、前記物体認識部は、前記入力される魚眼画像の分割領域毎に対応する前記領域別データベースを使用して入力された前記魚眼画像から該魚眼画像内に含まれる検出したい対象物体の検出認識を行うことにより達成される。
【発明の効果】
【００１７】
本発明によれば、魚眼画像を平面画像へ変換することなく、広い視野角を持つ魚眼画像を全体を用いて物体の認識を行うことができるため、迅速かつ精度の高い物体の認識を行うことが可能となる。
【図面の簡単な説明】
【００１８】
【図１】本発明の第１の基本的な考え方による認識方法での魚眼画像の領域の分割方法を説明する図である。
【図２】魚眼画像をその中心を基準として８つの領域に分割した場合の各領域での物体の写り方の相違を説明する図である。
【図３】本発明の第２の基本的な考え方による認識方法での魚眼画像の回転方法を説明する図である。
【図４】地面に対して垂直な上方からの撮影の例とそのときに撮影された魚眼画像の例とを示す図である。
【図５】対象とする魚眼画像を回転させることによって、魚眼画像に含まれる検出したい物体の認識を行うことが可能となることを説明する図である。
【図６】１つのデータベース作成用の画像から複数のデータベース作成用の画像データを作成する方法を説明する図である。
【図７】ある領域のデータベースの画像データから他の領域用のデータベースの画像データを作成する方法を説明する図である。
【図８】本発明の第３の基本的な考え方による物体の認識方法を説明する図である。
【図９】本発明の一実施形態による物体認識装置の機能構成を示すブロック図である。
【図１０】本発明の一実施形態による物体認識装置のハードウェア構成を示すブロック図である。
【図１１】図１０に示す物体認識装置での魚眼カメラの設置例を示す図である。
【図１２】魚眼カメラにより撮影した画像内の物体の認識を行うために使用するデータベースの作成方法を説明する図（その１）である。
【図１３】魚眼カメラにより撮影した画像内の物体の認識を行うために使用するデータベースの作成方法を説明する図（その２）である。
【発明を実施するための形態】
【００１９】
以下、本発明による物体認識方法及び認識装置の実施形態を図面により詳細に説明する。本発明は、魚眼画像を平面画像へ変換することなく、広い視野角を持つ魚眼画像の全体を用いて人物を含む物体の認識を行うことを可能とするものである。
【００２０】
ここでは、まず、本発明の具体的な実施形態を説明する前に、本発明の基本的な考え方による物体の認識方法について図面を参照して説明する。
【００２１】
本発明の第１の基本的な考え方による方法は、魚眼画像の歪みに対応するため、魚眼画像の歪みの方向にあわせて、魚眼画像を複数の領域に分割し、分割した魚眼画像の各領域毎に対応するデータベースを用意し、それらのデータベースを使い分けて物体の検出を行うという方法である。
【００２２】
図１は本発明の第１の基本的な考え方による認識方法での魚眼画像の領域の分割方法を説明する図、図２は魚眼画像をその中心を基準として８つの領域に分割した場合の各領域での物体の写り方の相違を説明する図である。
【００２３】
本発明の第１の基本的な考え方による方法認識方法での魚眼画像の領域を分割する方法は、図１に図１（ａ）〜図１（ｅ）として幾つかの例を示しているように、魚眼画像の中心を基準として、中心からの距離と歪みの方向とによって複数の分割領域を定めて魚眼画像を複数の領域に分割するというものである。図１（ａ）に示す例は、魚眼画像の中心を基準にして放射状に８つの分割領域を定めて魚眼画像を８つの領域（イ）〜領域（チ）に魚眼画像を分割した例である。また、図１（ｂ）〜図１（ｅ）に示す例は、前述と同様な考え方で魚眼画像を分割した例である。
【００２４】
なお、以後の説明では、図１（ａ）に示す分割例を用いて説明を続けるが、図１（ｂ）〜図１（ｅ）に示す例の場合も同様であるので、これらの分割例での説明を省略する。
【００２５】
図１（ａ）に示すように、魚眼画像をその中心を基準として８つの領域に分割した場合、図２に示すように、領域毎に領域内の物体の写り方が異なっている。図２には分割した領域（イ）と領域（チ）とに写されている、平面画像では同一の形状を持つ物体としての人物の形状を示しているが、魚眼画像歪みにより領域毎に人物の形状が異なっている。
【００２６】
このため、検出対象データを格納した１つのデータベースを使用して物体の検出を行った場合、例えば、領域（チ）に写っている人物を検出することができても、領域（チ）に写っていた人物が領域（イ）に移動した場合、歪み方が異なるために魚眼画像への写り方が大きく変わってしまい、その人物を検出することができなくなってしまう可能性が生じることになる。
【００２７】
そこで、本発明の第１の基本的な考え方では、各分割領域毎に、すなわち、８つの領域（イ）〜領域（チ）毎に、対応する８つのデータベースを用意し、分割領域毎に対応するデータベースとの画像比較を行って（図１（ａ）に示す例の場合、８回の画像比較処理を行う）物体の検出を行うこととしている。これにより、平面画像で同一の形状を持つ物体であれば、どの領域にその物体が存在した場合にも、確実にその物体の検出を行うことが可能となる。なお、分割領域毎のその領域に対応したデータベースの作成の方法については後述する。
【００２８】
次に、本発明の第２の基本的な考え方による物体の認識方法ついて説明する。本発明の第２の基本的な考え方による方法は、天空方向または地面に対して垂直な方向に撮影された魚眼画像を回転させて、物体の認識を行うという方法である。
【００２９】
一般に、魚眼画像は、物体が映っている画像の位置に応じて、歪みの方向や強さが異なるという性質を持っている。この歪みの強さは、魚眼レンズの外周方向から入る光によって形成される画像の中心から外側に位置する物体の画像ほど大きなものとなる。いま、ある２つの物体の画像について比較してみると、同程度に画像中心から離れた物体の画像であれば、歪みの差異はその方向だけに限られる。そして、歪みの方向は、天空方向撮影時または地面に対して垂直な方向に撮影時、どちらの場合も、画像中心を中心とする円の接線方向に近いものであるため、検出対象となる物体と同様に中心から同程度に離れ、かつ、類似した形状の物体を元にして作成されたデータを含むデータベースを使用して物体の検出を行って物体の認識を行おうとする場合、魚眼画像の中心を基点に画像を回転させることにより、画像がある回転角度に回転させられたときに、物体の検出が可能となって物体の認識を行うことができるようになる。
【００３０】
従って、検出対象となる物体の画像を含む魚眼画像の回転画像を複数使用することによって、魚眼画像上のあらゆるパターンの歪みを網羅したデータベースを作成する必要なく、物体の認識が可能となる。また、魚眼画像を用いる物体認識方法を使用するシステムを実際に運用する際には、あらゆるパターンの歪みを網羅したデータベースではなく、いくつかの歪みを持ったデータからなるデータベースを使用することが現実的と考えられる。そして、魚眼画像を回転させて物体認識を行う本発明の第２の基本的な考え方による物体の認識方法を用いることにより、あらゆるパターンの歪みを網羅したデータベース用いる方法に比べて、容易に認識精度の向上を図ることが可能となる。
【００３１】
図３は本発明の第２の基本的な考え方による認識方法での魚眼画像の回転方法を説明する図、図４は地面に対して垂直な上方からの撮影の例とそのときに撮影された魚眼画像の例とを示す図、図５は対象とする魚眼画像を回転させることによって、魚眼画像に含まれる検出したい物体の認識を行うことが可能となることを説明する図である。
【００３２】
図３には、図３（ａ）に示す対角魚眼画像を回転させた例を図３（ｂ）〜図３（ｄ）として、また、図３（ｅ）に示す円周魚眼画像を回転させた例を図３（ｆ）〜図３（ｈ）として示している。
【００３３】
物体認識の処理を行う画像領域は、横長の形状を持つため、図３（ａ）に示すような横長の対角魚眼画像の場合、そのまま回転させると、画像が描写された左右側の一部の画像が処理領域から外れてなくなってしまうことになる。このため、横長の対角魚眼画像を回転させる場合には、画像の一部が回転によりなくなってしまわないように、処理可能な画像領域を拡張した後に回転を行うようにする。すなわち、図３（ｂ）に示すように、処理可能な画像領域を灰色で示す領域まで拡張し、この領域内で撮影された魚眼画像を回転させることとする。これにより、図３（ｃ）、図３（ｄ）に示すように、図３（ａ）に示すような対角魚眼画像をどのように回転させた場合にも、画像の一部が処理可能な領域外となってなくなってしまうようなことを防止することができる。
【００３４】
また、図３（ｅ）に示すような円周魚眼画像の場合、画像が描写された部分は回転によって処理可能な領域から外れてしまうことがないため、図３（ｆ）〜図３（ｈ）に示すようにそのまま回転を行うことができる。
【００３５】
図４（ａ）には、地面に対して垂直な上方からの撮影の例を示しており、ここに示す例は、例えば、部屋の天井に設置したカメラから床面に居る複数の人物Ａ、Ｂ等を撮影する状態を示している。このような状態で撮影された円周魚眼画像は、例えば、図４（ｂ）に示すようなものとなる。この図４（ｂ）に示す例は、撮影された円周魚眼画像面と地面（部屋の床面）とが平行となっており、円周魚眼画像の中心Ｏを中心として、画像を図４（ｃ）に示すように、反時計方向に回転させていった場合に、各人物の歪み方は、中心からの距離により決まっていて、回転させることによってもその歪み方は変化しないことになる。従って、画像を回転させても、物体の認識を行うことができることになる。
【００３６】
次に、魚眼画像を回転させることによって、その魚眼画像に含まれる検出したい物体の認識ができることを図５を参照して説明する。
【００３７】
図５に示す例は、地表から天空方向に向かって撮影した図５（ａ）に示すような円周魚眼画像を対象とする魚眼画像として、この魚眼画像に含まれる検出したい物体の認識を行うものとしている。そして、検出したい物体の画像データとして、図５（ｂ）〜図５（ｄ）に示すような画像の画像データがデータベースに保持されているものとする。なお、図５においては、回転により物体の認識が可能であることを示すものであり、ここでは第１の考え方における、領域別のデータベースは扱っていない。
【００３８】
図５（ａ）に示すような魚眼画像からこの画像内に含まれる図５（ｂ）〜図５（ｄ）に示すような画像データを持つ物体の認識を行う場合、図５（ａ）に示すような魚眼画像を反時計方向に回転させながら、この魚眼画像と図５（ｂ）〜図５（ｄ）に示すような画像の画像データを持つデータベースとを比較照合して物体の認識を行うことになる。すなわち、図５（ａ）に示すような魚眼画像を、図５（ｅ）〜図５（ｈ）に示すように反時計回りに少しずつ回転させていき、回転させた画像と図５（ｂ）〜図５（ｄ）に示すような画像データを持つデータベースとを比較照合していく。
【００３９】
そして、回転させていない図５（ｅ）に示す画像と図５（ｂ）〜図５（ｄ）に示すデータベースの画像データとを比較照合した場合、図５（ｂ）〜図５（ｄ）に示すデータベースの画像データと一致（位置、方向も含めた一致）する物体の画像が図５（ｅ）に示す画像の中から見つけることができないため、図５（ｉ）に示しているように、未検出とされる。また、図５（ｅ）に示す画像を反時計方向に回転させた図５（ｆ）に示す画像と図５（ｂ）〜図５（ｄ）に示すデータベースの画像データとを比較照合した場合も、前述の場合と同様に、図５（ｂ）〜図５（ｄ）に示すデータベースの画像データと一致（位置、方向も含めた一致）する物体の画像が図５（ｆ）に示す画像の中から見つけることができないため、図５（ｊ）に示しているように、未検出とされる。
【００４０】
さらに、図５（ｆ）に示す画像を反時計方向に回転させた図５（ｇ）に示す画像と図５（ｂ）〜図５（ｄ）に示すデータベースの画像データとを比較照合した場合、図５（ｂ）に示すデータベースの画像データと一致（位置、方向も含めた一致）する物体の画像を図５（ｇ）に示す画像の中から見つけることができ、図５（ｋ）に示しているように、検出とされる。また、さらに、図５（ｇ）に示す画像を反時計方向に回転させた図５（ｈ）に示す画像と図５（ｂ）〜図５（ｄ）に示すデータベースの画像データとを比較照合した場合、前述した場合と同様に、図５（ｃ）に示すデータベースの画像データと一致（位置、方向も含めた一致）する物体の画像を図５（ｈ）に示す画像の中から見つけることができ、図５（ｌ）に示しているように、検出とされる。
【００４１】
前述したように、本発明の第２の基本的な考え方による認識方法は、対象となる魚眼画像では、図５（ｂ）〜図５（ｄ）示したような画像データを持つデータベースを使用した場合、物体の検出を行うことができないが、対象となる魚眼画像をある角度回転させた画像の場合に検出可能となる。従って、物体が検出されたとき、その検出結果とそのときの対象となる魚眼画像の回転角度とから、対象となる魚眼画像中の検出された物体の位置を求めることができる。
【００４２】
ここで、第１の基本的な考え方による方法のための、分割領域毎のその領域に対応したデータベースの作成の方法について述べる。第２の基本的な考え方の根拠である、”２つの物体の画像について比較してみると、同程度に画像中心から離れた物体の画像であれば、歪みの差異はその方向だけに限られる”より、データベース作成用の画像に対し、回転を加えることにより、データベース用画像を複数枚生成することが可能であるといえる。第２の基本的な考え方の根拠のみを用いたデータベースの作成方法を述べたのが図６であり、さらに第１の基本的な考え方による方法のための領域別データベースの作成方法を述べたのが図７である。以下詳細について述べる。
【００４３】
図６は１つのデータベース作成用の画像から複数のデータベース作成用の画像データを作成する方法を説明する図である。
【００４４】
図６では、地面から天空方向に対して垂直な方向に撮影された魚眼画像に対する物体の認識に使用するデータベースの作成について説明する。この場合のデータベースの作成は、すでに説明したように、魚眼画像上の位置と歪みの方向とによる性質より、データベースに格納する画像データの大本となる画像を回転させたものを、大本となる画像データに加えることによって行うことができる。このような方法を用いることにより、データベースに用いる画像データ収集の労力を削減することが可能である。図６に示す例では、１つのデータからデータベース作成用の複数のデータを作成しており、魚眼画像から作成されたデータベース用のデータに対し、９０度の回転を加えることによって、データベースに使用するデータをさらに作成している。
【００４５】
図６において、図６（ａ）には、データベース作成用の天空方向を撮影した魚眼画像の例を示している。データベースの作成時、まず、検出対象物体の画像として、図６（ａ）に示す魚眼画像の点線で囲んだ３つの画像を抽出し、それらの物体の画像の画像データを大本の画像データとして、図６（ｂ）〜図６（ｄ）に示すように作成する。次に、図６（ｂ）〜図６（ｄ）に示す魚眼画像データを９０度ずつ回転させて、図６（ｂ）に示す画像データから図６（ｅ）〜図６（ｇ）に示すような画像データを作成し、これらの画像データに大本になる図６（ｂ）に示した画像データを加えることによって、データベース用のデータを作成し、また、図６（ｃ）に示す画像データから図６（ｈ）〜図６（ｊ）に示すような画像データを作成し、これらの画像データに大本になる図６（ｃ）に示した画像データを加えることによって、１つのデータベースを作成し、さらに、図６（ｄ）に示す画像データから図６（ｋ）〜図６（ｍ）に示すような画像データを作成し、これらの画像データに大本になる図６（ｄ）に示した画像データを加えることによって、１つのデータベースを作成する。
【００４６】
図７はある領域のデータベースの画像データから他の領域用のデータベースの画像データを作成する方法を説明する図である。ここで説明する例は、ある領域用のデータベースの画像データから回転により他の領域用のデータベースの画像データを作る場合の例である。
【００４７】
データベース作成用の魚眼画像として、図７（ａ）、図７（ｂ）に示すような魚眼画像を用いるものとする。また、この場合の画像の分割が、図７（ｃ）に示すように行われるものとする。
【００４８】
そして、データベース作成時、まず、図７（ａ）、図７（ｂ）に示す魚眼画像から分割領域（ハ）用のデータベースの画像データとして、図７（ｄ）、図７（ｅ）に示すような画像データを作成すると共に、これらの画像データを他の分割領域用のデータベース用に使用する画像データを作成するための大本となる画像データとして使用することとする。次に、図７（ｄ）、図７（ｅ）に示す分割領域（ハ）用のデータベースの画像データを反時計方向に９０度回転させて、図７（ｆ）、図７（ｇ）に示すような画像データを作成し、これらの画像データを、分割領域（ホ）用のデータベースの画像データとする。また、図７（ｆ）、図７（ｇ）に示す分割領域（ホ）用のデータベースの画像データを反時計方向に９０度回転させて、図７（ｈ）、図７（ｉ）に示すような画像データを作成し、これらの画像データを、分割領域（ト）用のデータベースの画像データとする。さらに、図７（ｈ）、図７（ｉ）に示す分割領域（ト）用のデータベースの画像データを反時計方向に９０度回転させて、図７（ｊ）、図７（ｋ）に示すような画像データを作成し、これらの画像データを、分割領域（イ）用のデータベースの画像データとする。
【００４９】
なお、分割領域（ニ）、（ヘ）、（チ）、（ロ）、（リ）用のデータベースに使用する画像データも、前述と同様に作成することができる。このようにして、画像データを作成することにより、領域間における認識精度の均等化を図ることができる。
【００５０】
次に、本発明の第３の基本的な考え方による物体の認識方法ついて説明する。本発明の第３の基本的な考え方による方法は、前述までに説明した本発明の第１及び第２の基本的な考え方による物体の認識方法を併用する方法である。本発明の第１及び第２の基本的な考え方による物体の認識方法を併用した本発明の第３の基本的な考え方による物体の認識方法によれば、対象となる魚眼画像の必要とする回転回数を低減させることが可能となり、物体検出に要する時間を短縮することができると共に、領域分割時の物体の認識における、領域境付近に位置している物体が未検出となる可能性があるという問題も解決することができる。
【００５１】
図８は本発明の第３の基本的な考え方による物体の認識方法を説明する図であり、次に、これについて説明する。
【００５２】
図８において、図８（ａ）には、図１を参照して前述で説明した魚眼画像を８つの領域に分割して物体の認識を行う方法での図１（ａ）に示したと同様な対象とする魚眼画像を示しており、検出したい対象物体である人物が領域（ロ）と領域（ハ）との境界の位置に撮影されて存在しているとしている。そして、物体の検出のための分割領域（ハ）に対応するデータベースとして、対象物体である人物が領域（ハ）の中央、領域（ロ）と領域（ハ）と境界、領域（ハ）と領域（ニ）の境界に位置している場合に対応するような図８（ｂ）〜図８（ｄ）に示す検出したい物体の画像の画像データを持つデータベースが用意されている。
【００５３】
そして、前述した本発明の第１の基本的な考え方による物体の認識方法場合と同様に、８つの分割領域の各分割領域毎にそれぞれの歪み方を持つデータベースを用意する。先に述べた領域別データベース作成方法を用いたとき、各分割領域毎のデータベースの差異は歪みの方向だけと考えられるため、本発明の第３の基本的な考え方による物体の認識方法では、すべての領域対象とする魚眼画像を回転させる角度の合計は図１（ａ）の分割方法である場合、３６０÷８＝４５より、領域間角度である４５度分までの回転を行えば充分である。これは、もし、１５度の回転角度で図８(ハ)の中央部で検出できる対象がある場合、合計３６０度分までの回転を行う場合、６０度分回転した図８（ニ）の中央部、１０５度分回転した図８（ホ）の中央部、１５０度分回転した図８（ヘ）の中央部、１９５度分回転した図８（ト）の中央部、２４０度分回転した図８（チ）の中央部、２８５度分回転した図８（イ）の中央部、３３０度分回転した図８（ロ）の中央部と８回の重複した検出を行ってしまうためである。
【００５４】
図８（ａ）に示すような魚眼画像からこの画像の分割領域（ハ）内に含まれる図８（ｂ）〜図８（ｄ）に示すような画像データを持つ物体の認識を行う場合、図８（ａ）に示すような魚眼画像を少しずつ回転させながら、この魚眼画像と図８（ｂ）〜図８（ｄ）に示すような画像の画像データを持つデータベースとを比較照合して物体の認識を行うことになる。この場合、前述したように画像の回転は、領域間角度である４５度分までの回転でよい。なお、対象となる魚眼画像の回転は、画像を回転させるだけであって、領域が回転するものではない。
【００５５】
そして、回転させていない図８（ｅ）に示す画像と図８（ｂ）〜図８（ｄ）に示すデータベースの画像データとを比較照合した場合、図８（ｂ）〜図８（ｄ）に示すデータベースの画像データと一致（位置、方向も含めた一致）する物体の画像が図８（ｅ）に示す画像の中から見つけることができないため、図８（ｇ）に示しているように、未検出とされる。また、検出したい対象物体である人物が領域（ロ）と領域（ハ）との境界の位置に撮影されて存在している場合、領域（ロ）と領域（ハ）とのそれぞれの領域に対応したデータベースを使用しても、対象となる物体の検出を行うことができない可能性が高い。
【００５６】
しかし、図８（ｅ）に示す画像を少しずつ反時計方向に回転させていくと、図８（ｆ）に示すように、対象となる物体の画像が分割領域のほぼ中央に位置するようになり、図８（ｂ）〜図８（ｄ）に示すデータベースの画像データとを比較照合した場合、図８（ｈ）に示しているように、検出することができることになる。
【００５７】
前述では、データベースの画像データとして、図８（ｂ）〜図８（ｄ）に示している３つの画像データを持つとしたが、分割領域（ハ）内でより細かい回転位置での画像データを用意してデータベースを作成しておけば、より精度の高い物体の認識を行うことが可能となる。
【００５８】
図９は本発明の一実施形態による物体認識装置の機能構成を示すブロック図である。ここでの本発明の実施形態は、魚眼レンズを用いて撮影した円周魚眼を８つの領域に分割し、前述した第１の基本的な考え方及び第３の基本的な考え方での物体認識を行うものとして説明する。
【００５９】
図９に示す本発明の実施形態による物体認識装置は、回転処理を行った複数の対象魚眼画像１１０を格納したメモリと、物体認識部１３０と、対象魚眼画像の分割領域（イ）〜（チ）のそれぞれに対応する領域別データベース１４０と、認識された物体の認識座標を元の対象魚眼画像１００の座標に変換する検出座標逆変換部１５０とを備えて構成されている。
【００６０】
前述したように構成される本発明の実施形態による物体認識装置において、まず、物体認識の対象となる魚眼画像１００を回転させた複数枚の画像を生成する。また、ここでは、対象画像の領域分割数を画像中心を基準に８つの分割領域に分けている。このことを、図９に画像に適応した領域分割方法１２０として示している。図９においては、回転した対象魚眼画像１１０は、１５度の回転角度を用いることにより４５÷１５＝３より、３枚の画像としたが、魚眼画像１００を１５度より小さい角度で回転させて、複数枚の画像を作成し、メモリ内に保持されてもよい。なお、ここで注意すべき点は、回転した複数の魚眼画像１１０は、画像だけが回転させられており、分割領域の位置については回転されられていないという点である。
【００６１】
前述した本発明の実施形態による物体認識装置を使用して、前述した第１の基本的な考え方で物体認識を行う場合、物体認識部１３０は、メモリ内に格納された複数枚の物体認識を行う対象魚眼画像のそれぞれに対して、それぞれの魚眼画像の各分割領域（イ）〜（チ）毎に、対応する分割領域用の領域別データベース１４０を使用し、そのデータベースに含まれる検出したい物体の画像データと対象魚眼画像の画像データとの比較を行って物体の検出認識を行う。その後、検出座標逆変換部は、物体データが、回転させられたどの魚眼画像のどのような座標位置に存在したと検出されたかの情報から、対象魚眼画像１００の物体の存在する座標位置に変換して出力する。
【００６２】
なお、前述した本発明の実施形態による物体認識装置を使用して、前述した第１の基本的な考え方で物体認識を行う場合の最も単純な構成の場合、対象魚眼画像１００をそのまま対象魚眼画像１１０としてメモリに格納し、その１つの魚眼画像１１０についてだけ、物体認識部１３０が、前述と同様に、その魚眼画像の各分割領域毎に対応する領域用の領域別データベース１４０を用いて物体検出を行うようにすればよい。
【００６３】
また、前述した本発明の実施形態による物体認識装置を使用して、前述した第３の基本的な考え方で物体認識を行う場合、対象魚眼画像を４５度より少ない角度で４５度の範囲で回転させた複数枚の回転処理を行った対象魚眼画像１１０を作成してメモリに格納し、それらの複数の対象魚眼画像１１０のそれぞれについて、物体認識部１３０が、前述と同様に、その魚眼画像の各分割領域毎に対応する領域用の領域別データベース１４０を用いて物体検出を行うようにすればよい。
【００６４】
例えば、前述の対象魚眼画像を４５度より少ない角度を１５度とすると、１５度刻みで対象魚眼画像１００を回転させ、４５÷１５＝３より０度回転画像、１５度回転画像、３０度回転画像の３枚の回転処理を行った対象魚眼画像１１０を生成して、メモリに格納して、３枚の対象魚眼画像１１０のそれぞれについて、物体認識部１３０が、前述と同様に、その魚眼画像の各分割領域毎に対応する領域用の領域別データベース１４０を用いて物体検出を行うようにすればよい。
【００６５】
なお、前述では、対象魚眼画像の回転角度を１５度刻みとしたが、この回転角度は、用途に応じて決定すればよい。そして、検出座標逆辺幹部は、１５度回転画像、３０度回転画像で検出した物体座標を、１５度逆回転、３０度逆回転により対象魚眼画像１００上のどこにあるかを求めることによって、魚眼画像１００における認識した物体の座標位置を出力する。
【００６６】
図１０は本発明の一実施形態による物体認識装置のハードウェア構成を示すブロック図である。
【００６７】
本発明の実施形態による物体認識装置は、魚眼画像を撮影する入力装置としての魚眼カメラ２１０と、魚眼カメラ２１０により撮影された魚眼画像に含まれる検出したい対象物体を検出認識する魚眼物体認識装置２００とにより構成される。また、魚眼物体認識装置２００は、魚眼画像を取り込むインターフェースである画像入力部と、画像入力部２２０が取り込んだ画像に回転を加える画像回転部２３０と、データベース格納用メモリ２４０と、データベース格納用メモリ２４０に格納された領域別データベース２４１と、魚眼画像内に含まれる検出したい対象物体を検出認識する物体認識部２５０と、物体認識部２５０によって得られた検出座標を回転前の座標に変換する検出座標変換部２６０と、検出結果を出力する検出結果出力部２７０とを備えて構成されている。また、物体認識部２５０は、物体の認識を行う物体認識アルゴリズム部２５１と、画像入力部２２０からの回転させられていない画像及び画像回転部２３０からの回転された画像を格納する画像格納用メモリ２５２とにより構成されている。
【００６８】
前述したように構成される本発明の実施形態による物体認識装置において、魚眼カメラ２１０により撮影されて得られた魚眼画像のデータは、魚眼物体認識装置２００に入力されて画像入力部２２０により取り込まれ、画像入力部２２０を介して画像回転部２３０に入力される。画像回転部２３０に入力された魚眼画像データは、画像回転部２３０により回転されられて、複数枚の回転後画像データに生成され、それらの画像データと画像入力部からの回転されられていない魚眼画像データとが物体認識部２５０内の画像格納用メモリ２５２に格納される。そして、物体認識部２５０内の物体認識アルゴリズム部２５１は、画像格納用メモリ２５２に格納されている回転させられていない画像データ及び回転させられている複数の画像データのそれぞれに対して、メモリ２４０に格納されている領域別データベース２４１を使用して物体認識の処理を行う。物体認識アルゴリズム部２５１による物体の検出結果は、検出座標変換部２６０に入力される。そして、検出座標変換部２６０は、入力された検出結果の物体の検出座標を回転前の座標に変換した後、その結果を出力結果出力部２７０を介して魚眼物体認識装置２００の外部に出力させる。
【００６９】
図１１は図１０に示す物体認識装置での魚眼カメラ２１０の設置例を示す図である。
【００７０】
図１０に示す物体認識装置での魚眼カメラ２１０の設置位置は、特に制約されるものではないが、図１１に示す例では、魚眼カメラ２１０は、部屋の天井に設置されて床面に垂直な方向にレンズを向けている。そして、部屋の床上には、物体認識の対象となる物体として２人の人物が存在している。図１1に示す物体認識装置は、前述のように設置されている魚眼カメラ２１０が撮影した魚眼画像から２人の人物の存在を認識するものである。
【００７１】
図１２、図１３は魚眼カメラにより撮影した画像内の物体の認識を行うために使用するデータベースの作成方法を説明する図である。図１２、図１３はデータベースの作成方法を説明する一連のものであるので、以下では、これらを続けて説明する。また、ここで説明する例は、円周魚眼レンズを用いて撮影された画像を、図１（ａ）に示して説明したものと同様な画像の中心から外周方向に８つの領域に分割し、各領域毎に対応する領域別のデータベースを作成する例である。
【００７２】
まず、物体認識によって検出させたい物体である対象物体を含んだ図１２（ａ）に示すような魚眼画像３００を、データベース作成に用いる魚眼画像として複数枚用意する。次に、データベース作成に用いる複数枚用意した魚願画像３００の１枚である図１２（ｃ）に示すような魚眼画像に対し回転を加え、この魚眼画像内に含まれる対象物体が図１２（ｂ）に示す分割領域（イ）から（チ）のいずれかの領域の中央に写るようにする。
【００７３】
次に、図１２（ｃ）に示す魚眼画像を回転させて図１２（ｄ）、図１２（ｅ）に示すような魚眼画像３３０、３４０を生成する。この魚眼画像３３０、３４０の生成は、図１２（ｃ）に示す魚眼画像に含まれる検出できるようになって欲しい対象物体３２１、３２２が分割領域（ハ）、（ヘ）の中央に、対象物体３３１、３４１として位置するように行われる。
【００７４】
そして、図１３（ｆ）に示す魚眼画像３３０の分割領域（ハ）の中央に写った対象物体３３１を、図１３（ｇ）に示すように対象物体の画像３５０として切り出す。この対象物体の画像３５０は、０度回転、９０度回転、１８０度回転、２７０度回転させて、図１３（ｈ）に示すように、対象物体の画像３５１〜３５４とされ、これらの対象物体の画像３５１〜３５４が、対応するデータベース用の画像として、画像データとされてデータベース用のデータとして使用される。
【００７５】
さらに、図１３（ｆ）に示す魚眼画像３３０を４５度回転させて図１３（ｉ）に示すような魚眼画像３６０を作成する。この魚眼画像３６０内には、魚眼画像３３０内の対象物体３３１が、分割領域（ニ）の中央に移動して写されている。なお、魚眼画像３６０は、図１２（ｃ）に示した魚眼画像３２０から図１２（ｄ）に示した魚眼画像３３０を生成したときの回転角度に４５度を加えて作成することもできる。
【００７６】
そして、図１３（ｉ）に示す魚眼画像３６０の分割領域（ニ）の中央に写った対象物体３６１を、図１３（ｊ）に示すように対象物体の画像３７０として切り出す。この対象物体の画像３７０は、０度回転、９０度回転、１８０度回転、２７０度回転させて、図１３（ｋ）に示すように、対象物体の画像３７１〜３７４とされ、これらの対象物体の画像３７１〜３７４が、対応するデータベース用の画像として、画像データとされてデータベース用のデータとして使用される。
【００７７】
前述したようなデータベースの作成方法によれば、魚眼画像上の１つのデータベース用データから複数のデータを作成することができ、データベースの作成に必要な大本となる魚眼画像の枚数を削減することができる。
【００７８】
前述したデータベースの作成方法は、領域別のデータベース用のデータを作成するものとして説明したが、領域別のデータベースではなく、単一のデータベース用のデータの作成だけを行いたい場合には、対象物体を含んだ魚眼画像から、図１２（ｃ）に示す魚眼画像３２０の作成を行わずに、図１２（ａ）に示す魚眼画像３００から対象物体を切り出し、作り出したい枚数に応じて回転を加えてデータの作成を行えばよい。
【００７９】
以上、本発明の実施形態を説明したが、本発明は、前述した本発明の実施形態に限定されず、本発明の要旨を逸脱しない範囲で使用する魚眼レンズ、物体認識アルゴリズム、領域分割方法、データベース用データの切り出し方法、回転角度及び回転回数の少なくとも１つに変更を加えて変形することができる。
【符号の説明】
【００８０】
２００ 魚眼物体認識装置
２１０ 魚眼カメラ
２２０ 画像入力部
２３０ 画像回転部
２４０ メモリ
２４１ 領域別データベース
２５０ 物体認識部
２５１ 物体認識アルゴリズム
２５２ 画像格納用メモリ
２６０ 検出座標の変換部
２７０ 検出結果出力部
【技術分野】
【０００１】
本発明は、物体認識方法及び認識装置に係り、特に、魚眼レンズによって撮影された画像内に撮影されている人物を含む物体を認識する物体認識方法及び認識装置に関する。
【背景技術】
【０００２】
魚眼レンズは、広い視野角を有すると言う利点を持つと同時に、撮影した画像の中心から外側に向かうにつれ、大きな歪みを含んでしまうという欠点も持ち合わせている。そのため、魚眼レンズによって撮影された画像内に撮影されている物体を認識するための方法として、歪みのない、あるいは、歪みの少ない平面画像に対して使用されている従来技術による物体認識方法は、そのまま使用することができない。
【０００３】
平面画像に対して使用されている従来技術による物体認識方法を、魚眼レンズによって撮影された画像内に撮影されている物体を認識するために使用可能とするため、一般的には、魚眼レンズを用いて撮影して得られた歪曲画像の歪みを補正した画像に変換する技術が知られており、システム等への応用が図られている。
【０００４】
また、平面画像に対して使用されている従来技術による物体認識においても、迅速かつ的確に認識するための工夫が図られている。
【０００５】
なお、歪みのある画像から歪みのない画像への変換等の撮影画像の変換方法に関する従来技術として、例えば、特許文献１、２、３等に記載された技術が知られている。すなわち、特許文献１に記載された技術は、歪みのある画像から歪みのない画像へ、リアルタイムに変換する方法に関する技術であり、特許文献２に記載された技術は、魚眼レンズを用いた撮影により得られた歪曲円形画像から、所望の任意部分を切り出し、歪みの少ない平面正則画像に変換することを可能とするというものである。さらに、特許文献３に記載された技術は、歪みのある魚眼画像の重要性の高い中心部を透視射影に近く、周辺部を適度に歪ませながら広い画角とすることができるようにした撮像画像の変換方法に関するものである。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００４−２２７４７０号公報
【特許文献２】特開２０１０−６２７９０号公報
【特許文献３】特開２０１０−６７１７２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
魚眼レンズによって撮影した画像を用いて物体の認識を行う技術は、前述したように、魚眼レンズによって撮影した画像を平面画像への変換を行った上で物体の認識を行っており、このため、平面画像を用いて画像の変換を行うことなく物体の認識を行う技術に比較して多くのハードウェアリソース、あるいは、ソフトウェアリソースを消費してしまうことになり、また、魚眼レンズによって撮影した画像の平面画像への変換に少なからぬ時間を要することになる。
【０００８】
前述したような状況から、例えば、物体の認識を迅速に行う必要がある運転支援等の即応性が求められる技術分野では、平面画像への変換を必要とする魚眼画像の使用が躊躇されている。
【０００９】
一般に、魚眼レンズによって撮影された大きな視野角、例えば、１８０度の視野角で捉えられた魚眼画像は、平面画像に変換されることにより無限大の大きさを持つ画像となることが知られている。すなわち、魚眼画像から平面画像に変換された画像は、元の魚眼画像と比べて大きなサイズを有するものとなる。
【００１０】
そのため、魚眼画像を平面画像に変換して利用する場合、通常、変換する画像の範囲を魚眼画像全体とせずに、一部だけを変換するという手法が採られている。そして、特許文献２には、魚眼画像の一部を切り出してから平面画像に変換する手法で解決しきれなかった歪みや切り出し可能箇所の制限への解決策が提案されている。しかし、魚眼画像の一部だけを変換する手法は、魚眼レンズによる大きな視野角という利点を充分に活かしきれていないものである。
【００１１】
一方、魚眼画像から平面画像への変換を行わずに物体の認識を行おうとする場合、検出対象となる物体の画像が魚眼画像の外側に位置すればするほど大きく歪んでしまうため、平面画像を用いる物体認識の手法を適用しても充分な検出精度を得ることができないものとしかならない。
【００１２】
そのため、魚眼画像をそのまま利用して物体の認識を行おうとする場合、使用するデータベースに格納する物体データとして、魚眼画像上に現れる歪みを持った物体データを使用することが考えられる。しかし、この場合、魚眼画像上に現れる、あらゆるパターンの歪みを網羅したデータベースの作成を行わなければならず、データベースの作成に、平面画像を利用する場合のデータベースの作成と比較して大きな労力が必要となってしまう。
【００１３】
また、前述の場合、様々なパターンの歪みを持ったデータを格納するためのデータベースが必要とするハードウェアリソースも、歪みを考慮しないときと比較して大きなものとなってしまう。
【００１４】
さらに、前述の場合、あらゆるパターンの歪みを持つ画像データを格納したデータベースを、魚眼画像上の任意のある領域内の物体の画像の検出にそのまま利用することは、前述のデータベースが対象となる領域の歪みと類似しない歪みをもつ物体のデータも含むデータベースであるために、充分な検出精度を持って物体の検出を行うことができないものとしかなり得ない。
【００１５】
本発明の目的は、前述したような従来からの技術の問題点に鑑み、魚眼画像を平面画像に変換することなく、魚眼画像をそのまま利用して物体の認識を行うことができるようにした物体認識方法及び認識装置を提供することにある。
【課題を解決するための手段】
【００１６】
本発明によれば前記目的は、魚眼カメラにより撮影された魚眼画像をそのまま用いて魚眼画像内に含まれる物体を認識する物体認識装置における物体認識方法において、前記物体認識装置は、前記魚眼カメラから入力される魚眼画像から魚眼画像内に含まれる検出したい対象物体を認識する物体認識部と、入力される魚眼画像の歪みの方向に合わせて前記入力される魚眼画像を複数に分割する分割領域を定めて複数の分割領域に分割し、該分割された分割領域毎に対応する検出したい対象物体に認識に使用する領域別データベースとを有して構成され、前記物体認識部は、前記入力される魚眼画像の分割領域毎に対応する前記領域別データベースを使用して入力された前記魚眼画像から該魚眼画像内に含まれる検出したい対象物体の検出認識を行うことにより達成される。
【発明の効果】
【００１７】
本発明によれば、魚眼画像を平面画像へ変換することなく、広い視野角を持つ魚眼画像を全体を用いて物体の認識を行うことができるため、迅速かつ精度の高い物体の認識を行うことが可能となる。
【図面の簡単な説明】
【００１８】
【図１】本発明の第１の基本的な考え方による認識方法での魚眼画像の領域の分割方法を説明する図である。
【図２】魚眼画像をその中心を基準として８つの領域に分割した場合の各領域での物体の写り方の相違を説明する図である。
【図３】本発明の第２の基本的な考え方による認識方法での魚眼画像の回転方法を説明する図である。
【図４】地面に対して垂直な上方からの撮影の例とそのときに撮影された魚眼画像の例とを示す図である。
【図５】対象とする魚眼画像を回転させることによって、魚眼画像に含まれる検出したい物体の認識を行うことが可能となることを説明する図である。
【図６】１つのデータベース作成用の画像から複数のデータベース作成用の画像データを作成する方法を説明する図である。
【図７】ある領域のデータベースの画像データから他の領域用のデータベースの画像データを作成する方法を説明する図である。
【図８】本発明の第３の基本的な考え方による物体の認識方法を説明する図である。
【図９】本発明の一実施形態による物体認識装置の機能構成を示すブロック図である。
【図１０】本発明の一実施形態による物体認識装置のハードウェア構成を示すブロック図である。
【図１１】図１０に示す物体認識装置での魚眼カメラの設置例を示す図である。
【図１２】魚眼カメラにより撮影した画像内の物体の認識を行うために使用するデータベースの作成方法を説明する図（その１）である。
【図１３】魚眼カメラにより撮影した画像内の物体の認識を行うために使用するデータベースの作成方法を説明する図（その２）である。
【発明を実施するための形態】
【００１９】
以下、本発明による物体認識方法及び認識装置の実施形態を図面により詳細に説明する。本発明は、魚眼画像を平面画像へ変換することなく、広い視野角を持つ魚眼画像の全体を用いて人物を含む物体の認識を行うことを可能とするものである。
【００２０】
ここでは、まず、本発明の具体的な実施形態を説明する前に、本発明の基本的な考え方による物体の認識方法について図面を参照して説明する。
【００２１】
本発明の第１の基本的な考え方による方法は、魚眼画像の歪みに対応するため、魚眼画像の歪みの方向にあわせて、魚眼画像を複数の領域に分割し、分割した魚眼画像の各領域毎に対応するデータベースを用意し、それらのデータベースを使い分けて物体の検出を行うという方法である。
【００２２】
図１は本発明の第１の基本的な考え方による認識方法での魚眼画像の領域の分割方法を説明する図、図２は魚眼画像をその中心を基準として８つの領域に分割した場合の各領域での物体の写り方の相違を説明する図である。
【００２３】
本発明の第１の基本的な考え方による方法認識方法での魚眼画像の領域を分割する方法は、図１に図１（ａ）〜図１（ｅ）として幾つかの例を示しているように、魚眼画像の中心を基準として、中心からの距離と歪みの方向とによって複数の分割領域を定めて魚眼画像を複数の領域に分割するというものである。図１（ａ）に示す例は、魚眼画像の中心を基準にして放射状に８つの分割領域を定めて魚眼画像を８つの領域（イ）〜領域（チ）に魚眼画像を分割した例である。また、図１（ｂ）〜図１（ｅ）に示す例は、前述と同様な考え方で魚眼画像を分割した例である。
【００２４】
なお、以後の説明では、図１（ａ）に示す分割例を用いて説明を続けるが、図１（ｂ）〜図１（ｅ）に示す例の場合も同様であるので、これらの分割例での説明を省略する。
【００２５】
図１（ａ）に示すように、魚眼画像をその中心を基準として８つの領域に分割した場合、図２に示すように、領域毎に領域内の物体の写り方が異なっている。図２には分割した領域（イ）と領域（チ）とに写されている、平面画像では同一の形状を持つ物体としての人物の形状を示しているが、魚眼画像歪みにより領域毎に人物の形状が異なっている。
【００２６】
このため、検出対象データを格納した１つのデータベースを使用して物体の検出を行った場合、例えば、領域（チ）に写っている人物を検出することができても、領域（チ）に写っていた人物が領域（イ）に移動した場合、歪み方が異なるために魚眼画像への写り方が大きく変わってしまい、その人物を検出することができなくなってしまう可能性が生じることになる。
【００２７】
そこで、本発明の第１の基本的な考え方では、各分割領域毎に、すなわち、８つの領域（イ）〜領域（チ）毎に、対応する８つのデータベースを用意し、分割領域毎に対応するデータベースとの画像比較を行って（図１（ａ）に示す例の場合、８回の画像比較処理を行う）物体の検出を行うこととしている。これにより、平面画像で同一の形状を持つ物体であれば、どの領域にその物体が存在した場合にも、確実にその物体の検出を行うことが可能となる。なお、分割領域毎のその領域に対応したデータベースの作成の方法については後述する。
【００２８】
次に、本発明の第２の基本的な考え方による物体の認識方法ついて説明する。本発明の第２の基本的な考え方による方法は、天空方向または地面に対して垂直な方向に撮影された魚眼画像を回転させて、物体の認識を行うという方法である。
【００２９】
一般に、魚眼画像は、物体が映っている画像の位置に応じて、歪みの方向や強さが異なるという性質を持っている。この歪みの強さは、魚眼レンズの外周方向から入る光によって形成される画像の中心から外側に位置する物体の画像ほど大きなものとなる。いま、ある２つの物体の画像について比較してみると、同程度に画像中心から離れた物体の画像であれば、歪みの差異はその方向だけに限られる。そして、歪みの方向は、天空方向撮影時または地面に対して垂直な方向に撮影時、どちらの場合も、画像中心を中心とする円の接線方向に近いものであるため、検出対象となる物体と同様に中心から同程度に離れ、かつ、類似した形状の物体を元にして作成されたデータを含むデータベースを使用して物体の検出を行って物体の認識を行おうとする場合、魚眼画像の中心を基点に画像を回転させることにより、画像がある回転角度に回転させられたときに、物体の検出が可能となって物体の認識を行うことができるようになる。
【００３０】
従って、検出対象となる物体の画像を含む魚眼画像の回転画像を複数使用することによって、魚眼画像上のあらゆるパターンの歪みを網羅したデータベースを作成する必要なく、物体の認識が可能となる。また、魚眼画像を用いる物体認識方法を使用するシステムを実際に運用する際には、あらゆるパターンの歪みを網羅したデータベースではなく、いくつかの歪みを持ったデータからなるデータベースを使用することが現実的と考えられる。そして、魚眼画像を回転させて物体認識を行う本発明の第２の基本的な考え方による物体の認識方法を用いることにより、あらゆるパターンの歪みを網羅したデータベース用いる方法に比べて、容易に認識精度の向上を図ることが可能となる。
【００３１】
図３は本発明の第２の基本的な考え方による認識方法での魚眼画像の回転方法を説明する図、図４は地面に対して垂直な上方からの撮影の例とそのときに撮影された魚眼画像の例とを示す図、図５は対象とする魚眼画像を回転させることによって、魚眼画像に含まれる検出したい物体の認識を行うことが可能となることを説明する図である。
【００３２】
図３には、図３（ａ）に示す対角魚眼画像を回転させた例を図３（ｂ）〜図３（ｄ）として、また、図３（ｅ）に示す円周魚眼画像を回転させた例を図３（ｆ）〜図３（ｈ）として示している。
【００３３】
物体認識の処理を行う画像領域は、横長の形状を持つため、図３（ａ）に示すような横長の対角魚眼画像の場合、そのまま回転させると、画像が描写された左右側の一部の画像が処理領域から外れてなくなってしまうことになる。このため、横長の対角魚眼画像を回転させる場合には、画像の一部が回転によりなくなってしまわないように、処理可能な画像領域を拡張した後に回転を行うようにする。すなわち、図３（ｂ）に示すように、処理可能な画像領域を灰色で示す領域まで拡張し、この領域内で撮影された魚眼画像を回転させることとする。これにより、図３（ｃ）、図３（ｄ）に示すように、図３（ａ）に示すような対角魚眼画像をどのように回転させた場合にも、画像の一部が処理可能な領域外となってなくなってしまうようなことを防止することができる。
【００３４】
また、図３（ｅ）に示すような円周魚眼画像の場合、画像が描写された部分は回転によって処理可能な領域から外れてしまうことがないため、図３（ｆ）〜図３（ｈ）に示すようにそのまま回転を行うことができる。
【００３５】
図４（ａ）には、地面に対して垂直な上方からの撮影の例を示しており、ここに示す例は、例えば、部屋の天井に設置したカメラから床面に居る複数の人物Ａ、Ｂ等を撮影する状態を示している。このような状態で撮影された円周魚眼画像は、例えば、図４（ｂ）に示すようなものとなる。この図４（ｂ）に示す例は、撮影された円周魚眼画像面と地面（部屋の床面）とが平行となっており、円周魚眼画像の中心Ｏを中心として、画像を図４（ｃ）に示すように、反時計方向に回転させていった場合に、各人物の歪み方は、中心からの距離により決まっていて、回転させることによってもその歪み方は変化しないことになる。従って、画像を回転させても、物体の認識を行うことができることになる。
【００３６】
次に、魚眼画像を回転させることによって、その魚眼画像に含まれる検出したい物体の認識ができることを図５を参照して説明する。
【００３７】
図５に示す例は、地表から天空方向に向かって撮影した図５（ａ）に示すような円周魚眼画像を対象とする魚眼画像として、この魚眼画像に含まれる検出したい物体の認識を行うものとしている。そして、検出したい物体の画像データとして、図５（ｂ）〜図５（ｄ）に示すような画像の画像データがデータベースに保持されているものとする。なお、図５においては、回転により物体の認識が可能であることを示すものであり、ここでは第１の考え方における、領域別のデータベースは扱っていない。
【００３８】
図５（ａ）に示すような魚眼画像からこの画像内に含まれる図５（ｂ）〜図５（ｄ）に示すような画像データを持つ物体の認識を行う場合、図５（ａ）に示すような魚眼画像を反時計方向に回転させながら、この魚眼画像と図５（ｂ）〜図５（ｄ）に示すような画像の画像データを持つデータベースとを比較照合して物体の認識を行うことになる。すなわち、図５（ａ）に示すような魚眼画像を、図５（ｅ）〜図５（ｈ）に示すように反時計回りに少しずつ回転させていき、回転させた画像と図５（ｂ）〜図５（ｄ）に示すような画像データを持つデータベースとを比較照合していく。
【００３９】
そして、回転させていない図５（ｅ）に示す画像と図５（ｂ）〜図５（ｄ）に示すデータベースの画像データとを比較照合した場合、図５（ｂ）〜図５（ｄ）に示すデータベースの画像データと一致（位置、方向も含めた一致）する物体の画像が図５（ｅ）に示す画像の中から見つけることができないため、図５（ｉ）に示しているように、未検出とされる。また、図５（ｅ）に示す画像を反時計方向に回転させた図５（ｆ）に示す画像と図５（ｂ）〜図５（ｄ）に示すデータベースの画像データとを比較照合した場合も、前述の場合と同様に、図５（ｂ）〜図５（ｄ）に示すデータベースの画像データと一致（位置、方向も含めた一致）する物体の画像が図５（ｆ）に示す画像の中から見つけることができないため、図５（ｊ）に示しているように、未検出とされる。
【００４０】
さらに、図５（ｆ）に示す画像を反時計方向に回転させた図５（ｇ）に示す画像と図５（ｂ）〜図５（ｄ）に示すデータベースの画像データとを比較照合した場合、図５（ｂ）に示すデータベースの画像データと一致（位置、方向も含めた一致）する物体の画像を図５（ｇ）に示す画像の中から見つけることができ、図５（ｋ）に示しているように、検出とされる。また、さらに、図５（ｇ）に示す画像を反時計方向に回転させた図５（ｈ）に示す画像と図５（ｂ）〜図５（ｄ）に示すデータベースの画像データとを比較照合した場合、前述した場合と同様に、図５（ｃ）に示すデータベースの画像データと一致（位置、方向も含めた一致）する物体の画像を図５（ｈ）に示す画像の中から見つけることができ、図５（ｌ）に示しているように、検出とされる。
【００４１】
前述したように、本発明の第２の基本的な考え方による認識方法は、対象となる魚眼画像では、図５（ｂ）〜図５（ｄ）示したような画像データを持つデータベースを使用した場合、物体の検出を行うことができないが、対象となる魚眼画像をある角度回転させた画像の場合に検出可能となる。従って、物体が検出されたとき、その検出結果とそのときの対象となる魚眼画像の回転角度とから、対象となる魚眼画像中の検出された物体の位置を求めることができる。
【００４２】
ここで、第１の基本的な考え方による方法のための、分割領域毎のその領域に対応したデータベースの作成の方法について述べる。第２の基本的な考え方の根拠である、”２つの物体の画像について比較してみると、同程度に画像中心から離れた物体の画像であれば、歪みの差異はその方向だけに限られる”より、データベース作成用の画像に対し、回転を加えることにより、データベース用画像を複数枚生成することが可能であるといえる。第２の基本的な考え方の根拠のみを用いたデータベースの作成方法を述べたのが図６であり、さらに第１の基本的な考え方による方法のための領域別データベースの作成方法を述べたのが図７である。以下詳細について述べる。
【００４３】
図６は１つのデータベース作成用の画像から複数のデータベース作成用の画像データを作成する方法を説明する図である。
【００４４】
図６では、地面から天空方向に対して垂直な方向に撮影された魚眼画像に対する物体の認識に使用するデータベースの作成について説明する。この場合のデータベースの作成は、すでに説明したように、魚眼画像上の位置と歪みの方向とによる性質より、データベースに格納する画像データの大本となる画像を回転させたものを、大本となる画像データに加えることによって行うことができる。このような方法を用いることにより、データベースに用いる画像データ収集の労力を削減することが可能である。図６に示す例では、１つのデータからデータベース作成用の複数のデータを作成しており、魚眼画像から作成されたデータベース用のデータに対し、９０度の回転を加えることによって、データベースに使用するデータをさらに作成している。
【００４５】
図６において、図６（ａ）には、データベース作成用の天空方向を撮影した魚眼画像の例を示している。データベースの作成時、まず、検出対象物体の画像として、図６（ａ）に示す魚眼画像の点線で囲んだ３つの画像を抽出し、それらの物体の画像の画像データを大本の画像データとして、図６（ｂ）〜図６（ｄ）に示すように作成する。次に、図６（ｂ）〜図６（ｄ）に示す魚眼画像データを９０度ずつ回転させて、図６（ｂ）に示す画像データから図６（ｅ）〜図６（ｇ）に示すような画像データを作成し、これらの画像データに大本になる図６（ｂ）に示した画像データを加えることによって、データベース用のデータを作成し、また、図６（ｃ）に示す画像データから図６（ｈ）〜図６（ｊ）に示すような画像データを作成し、これらの画像データに大本になる図６（ｃ）に示した画像データを加えることによって、１つのデータベースを作成し、さらに、図６（ｄ）に示す画像データから図６（ｋ）〜図６（ｍ）に示すような画像データを作成し、これらの画像データに大本になる図６（ｄ）に示した画像データを加えることによって、１つのデータベースを作成する。
【００４６】
図７はある領域のデータベースの画像データから他の領域用のデータベースの画像データを作成する方法を説明する図である。ここで説明する例は、ある領域用のデータベースの画像データから回転により他の領域用のデータベースの画像データを作る場合の例である。
【００４７】
データベース作成用の魚眼画像として、図７（ａ）、図７（ｂ）に示すような魚眼画像を用いるものとする。また、この場合の画像の分割が、図７（ｃ）に示すように行われるものとする。
【００４８】
そして、データベース作成時、まず、図７（ａ）、図７（ｂ）に示す魚眼画像から分割領域（ハ）用のデータベースの画像データとして、図７（ｄ）、図７（ｅ）に示すような画像データを作成すると共に、これらの画像データを他の分割領域用のデータベース用に使用する画像データを作成するための大本となる画像データとして使用することとする。次に、図７（ｄ）、図７（ｅ）に示す分割領域（ハ）用のデータベースの画像データを反時計方向に９０度回転させて、図７（ｆ）、図７（ｇ）に示すような画像データを作成し、これらの画像データを、分割領域（ホ）用のデータベースの画像データとする。また、図７（ｆ）、図７（ｇ）に示す分割領域（ホ）用のデータベースの画像データを反時計方向に９０度回転させて、図７（ｈ）、図７（ｉ）に示すような画像データを作成し、これらの画像データを、分割領域（ト）用のデータベースの画像データとする。さらに、図７（ｈ）、図７（ｉ）に示す分割領域（ト）用のデータベースの画像データを反時計方向に９０度回転させて、図７（ｊ）、図７（ｋ）に示すような画像データを作成し、これらの画像データを、分割領域（イ）用のデータベースの画像データとする。
【００４９】
なお、分割領域（ニ）、（ヘ）、（チ）、（ロ）、（リ）用のデータベースに使用する画像データも、前述と同様に作成することができる。このようにして、画像データを作成することにより、領域間における認識精度の均等化を図ることができる。
【００５０】
次に、本発明の第３の基本的な考え方による物体の認識方法ついて説明する。本発明の第３の基本的な考え方による方法は、前述までに説明した本発明の第１及び第２の基本的な考え方による物体の認識方法を併用する方法である。本発明の第１及び第２の基本的な考え方による物体の認識方法を併用した本発明の第３の基本的な考え方による物体の認識方法によれば、対象となる魚眼画像の必要とする回転回数を低減させることが可能となり、物体検出に要する時間を短縮することができると共に、領域分割時の物体の認識における、領域境付近に位置している物体が未検出となる可能性があるという問題も解決することができる。
【００５１】
図８は本発明の第３の基本的な考え方による物体の認識方法を説明する図であり、次に、これについて説明する。
【００５２】
図８において、図８（ａ）には、図１を参照して前述で説明した魚眼画像を８つの領域に分割して物体の認識を行う方法での図１（ａ）に示したと同様な対象とする魚眼画像を示しており、検出したい対象物体である人物が領域（ロ）と領域（ハ）との境界の位置に撮影されて存在しているとしている。そして、物体の検出のための分割領域（ハ）に対応するデータベースとして、対象物体である人物が領域（ハ）の中央、領域（ロ）と領域（ハ）と境界、領域（ハ）と領域（ニ）の境界に位置している場合に対応するような図８（ｂ）〜図８（ｄ）に示す検出したい物体の画像の画像データを持つデータベースが用意されている。
【００５３】
そして、前述した本発明の第１の基本的な考え方による物体の認識方法場合と同様に、８つの分割領域の各分割領域毎にそれぞれの歪み方を持つデータベースを用意する。先に述べた領域別データベース作成方法を用いたとき、各分割領域毎のデータベースの差異は歪みの方向だけと考えられるため、本発明の第３の基本的な考え方による物体の認識方法では、すべての領域対象とする魚眼画像を回転させる角度の合計は図１（ａ）の分割方法である場合、３６０÷８＝４５より、領域間角度である４５度分までの回転を行えば充分である。これは、もし、１５度の回転角度で図８(ハ)の中央部で検出できる対象がある場合、合計３６０度分までの回転を行う場合、６０度分回転した図８（ニ）の中央部、１０５度分回転した図８（ホ）の中央部、１５０度分回転した図８（ヘ）の中央部、１９５度分回転した図８（ト）の中央部、２４０度分回転した図８（チ）の中央部、２８５度分回転した図８（イ）の中央部、３３０度分回転した図８（ロ）の中央部と８回の重複した検出を行ってしまうためである。
【００５４】
図８（ａ）に示すような魚眼画像からこの画像の分割領域（ハ）内に含まれる図８（ｂ）〜図８（ｄ）に示すような画像データを持つ物体の認識を行う場合、図８（ａ）に示すような魚眼画像を少しずつ回転させながら、この魚眼画像と図８（ｂ）〜図８（ｄ）に示すような画像の画像データを持つデータベースとを比較照合して物体の認識を行うことになる。この場合、前述したように画像の回転は、領域間角度である４５度分までの回転でよい。なお、対象となる魚眼画像の回転は、画像を回転させるだけであって、領域が回転するものではない。
【００５５】
そして、回転させていない図８（ｅ）に示す画像と図８（ｂ）〜図８（ｄ）に示すデータベースの画像データとを比較照合した場合、図８（ｂ）〜図８（ｄ）に示すデータベースの画像データと一致（位置、方向も含めた一致）する物体の画像が図８（ｅ）に示す画像の中から見つけることができないため、図８（ｇ）に示しているように、未検出とされる。また、検出したい対象物体である人物が領域（ロ）と領域（ハ）との境界の位置に撮影されて存在している場合、領域（ロ）と領域（ハ）とのそれぞれの領域に対応したデータベースを使用しても、対象となる物体の検出を行うことができない可能性が高い。
【００５６】
しかし、図８（ｅ）に示す画像を少しずつ反時計方向に回転させていくと、図８（ｆ）に示すように、対象となる物体の画像が分割領域のほぼ中央に位置するようになり、図８（ｂ）〜図８（ｄ）に示すデータベースの画像データとを比較照合した場合、図８（ｈ）に示しているように、検出することができることになる。
【００５７】
前述では、データベースの画像データとして、図８（ｂ）〜図８（ｄ）に示している３つの画像データを持つとしたが、分割領域（ハ）内でより細かい回転位置での画像データを用意してデータベースを作成しておけば、より精度の高い物体の認識を行うことが可能となる。
【００５８】
図９は本発明の一実施形態による物体認識装置の機能構成を示すブロック図である。ここでの本発明の実施形態は、魚眼レンズを用いて撮影した円周魚眼を８つの領域に分割し、前述した第１の基本的な考え方及び第３の基本的な考え方での物体認識を行うものとして説明する。
【００５９】
図９に示す本発明の実施形態による物体認識装置は、回転処理を行った複数の対象魚眼画像１１０を格納したメモリと、物体認識部１３０と、対象魚眼画像の分割領域（イ）〜（チ）のそれぞれに対応する領域別データベース１４０と、認識された物体の認識座標を元の対象魚眼画像１００の座標に変換する検出座標逆変換部１５０とを備えて構成されている。
【００６０】
前述したように構成される本発明の実施形態による物体認識装置において、まず、物体認識の対象となる魚眼画像１００を回転させた複数枚の画像を生成する。また、ここでは、対象画像の領域分割数を画像中心を基準に８つの分割領域に分けている。このことを、図９に画像に適応した領域分割方法１２０として示している。図９においては、回転した対象魚眼画像１１０は、１５度の回転角度を用いることにより４５÷１５＝３より、３枚の画像としたが、魚眼画像１００を１５度より小さい角度で回転させて、複数枚の画像を作成し、メモリ内に保持されてもよい。なお、ここで注意すべき点は、回転した複数の魚眼画像１１０は、画像だけが回転させられており、分割領域の位置については回転されられていないという点である。
【００６１】
前述した本発明の実施形態による物体認識装置を使用して、前述した第１の基本的な考え方で物体認識を行う場合、物体認識部１３０は、メモリ内に格納された複数枚の物体認識を行う対象魚眼画像のそれぞれに対して、それぞれの魚眼画像の各分割領域（イ）〜（チ）毎に、対応する分割領域用の領域別データベース１４０を使用し、そのデータベースに含まれる検出したい物体の画像データと対象魚眼画像の画像データとの比較を行って物体の検出認識を行う。その後、検出座標逆変換部は、物体データが、回転させられたどの魚眼画像のどのような座標位置に存在したと検出されたかの情報から、対象魚眼画像１００の物体の存在する座標位置に変換して出力する。
【００６２】
なお、前述した本発明の実施形態による物体認識装置を使用して、前述した第１の基本的な考え方で物体認識を行う場合の最も単純な構成の場合、対象魚眼画像１００をそのまま対象魚眼画像１１０としてメモリに格納し、その１つの魚眼画像１１０についてだけ、物体認識部１３０が、前述と同様に、その魚眼画像の各分割領域毎に対応する領域用の領域別データベース１４０を用いて物体検出を行うようにすればよい。
【００６３】
また、前述した本発明の実施形態による物体認識装置を使用して、前述した第３の基本的な考え方で物体認識を行う場合、対象魚眼画像を４５度より少ない角度で４５度の範囲で回転させた複数枚の回転処理を行った対象魚眼画像１１０を作成してメモリに格納し、それらの複数の対象魚眼画像１１０のそれぞれについて、物体認識部１３０が、前述と同様に、その魚眼画像の各分割領域毎に対応する領域用の領域別データベース１４０を用いて物体検出を行うようにすればよい。
【００６４】
例えば、前述の対象魚眼画像を４５度より少ない角度を１５度とすると、１５度刻みで対象魚眼画像１００を回転させ、４５÷１５＝３より０度回転画像、１５度回転画像、３０度回転画像の３枚の回転処理を行った対象魚眼画像１１０を生成して、メモリに格納して、３枚の対象魚眼画像１１０のそれぞれについて、物体認識部１３０が、前述と同様に、その魚眼画像の各分割領域毎に対応する領域用の領域別データベース１４０を用いて物体検出を行うようにすればよい。
【００６５】
なお、前述では、対象魚眼画像の回転角度を１５度刻みとしたが、この回転角度は、用途に応じて決定すればよい。そして、検出座標逆辺幹部は、１５度回転画像、３０度回転画像で検出した物体座標を、１５度逆回転、３０度逆回転により対象魚眼画像１００上のどこにあるかを求めることによって、魚眼画像１００における認識した物体の座標位置を出力する。
【００６６】
図１０は本発明の一実施形態による物体認識装置のハードウェア構成を示すブロック図である。
【００６７】
本発明の実施形態による物体認識装置は、魚眼画像を撮影する入力装置としての魚眼カメラ２１０と、魚眼カメラ２１０により撮影された魚眼画像に含まれる検出したい対象物体を検出認識する魚眼物体認識装置２００とにより構成される。また、魚眼物体認識装置２００は、魚眼画像を取り込むインターフェースである画像入力部と、画像入力部２２０が取り込んだ画像に回転を加える画像回転部２３０と、データベース格納用メモリ２４０と、データベース格納用メモリ２４０に格納された領域別データベース２４１と、魚眼画像内に含まれる検出したい対象物体を検出認識する物体認識部２５０と、物体認識部２５０によって得られた検出座標を回転前の座標に変換する検出座標変換部２６０と、検出結果を出力する検出結果出力部２７０とを備えて構成されている。また、物体認識部２５０は、物体の認識を行う物体認識アルゴリズム部２５１と、画像入力部２２０からの回転させられていない画像及び画像回転部２３０からの回転された画像を格納する画像格納用メモリ２５２とにより構成されている。
【００６８】
前述したように構成される本発明の実施形態による物体認識装置において、魚眼カメラ２１０により撮影されて得られた魚眼画像のデータは、魚眼物体認識装置２００に入力されて画像入力部２２０により取り込まれ、画像入力部２２０を介して画像回転部２３０に入力される。画像回転部２３０に入力された魚眼画像データは、画像回転部２３０により回転されられて、複数枚の回転後画像データに生成され、それらの画像データと画像入力部からの回転されられていない魚眼画像データとが物体認識部２５０内の画像格納用メモリ２５２に格納される。そして、物体認識部２５０内の物体認識アルゴリズム部２５１は、画像格納用メモリ２５２に格納されている回転させられていない画像データ及び回転させられている複数の画像データのそれぞれに対して、メモリ２４０に格納されている領域別データベース２４１を使用して物体認識の処理を行う。物体認識アルゴリズム部２５１による物体の検出結果は、検出座標変換部２６０に入力される。そして、検出座標変換部２６０は、入力された検出結果の物体の検出座標を回転前の座標に変換した後、その結果を出力結果出力部２７０を介して魚眼物体認識装置２００の外部に出力させる。
【００６９】
図１１は図１０に示す物体認識装置での魚眼カメラ２１０の設置例を示す図である。
【００７０】
図１０に示す物体認識装置での魚眼カメラ２１０の設置位置は、特に制約されるものではないが、図１１に示す例では、魚眼カメラ２１０は、部屋の天井に設置されて床面に垂直な方向にレンズを向けている。そして、部屋の床上には、物体認識の対象となる物体として２人の人物が存在している。図１1に示す物体認識装置は、前述のように設置されている魚眼カメラ２１０が撮影した魚眼画像から２人の人物の存在を認識するものである。
【００７１】
図１２、図１３は魚眼カメラにより撮影した画像内の物体の認識を行うために使用するデータベースの作成方法を説明する図である。図１２、図１３はデータベースの作成方法を説明する一連のものであるので、以下では、これらを続けて説明する。また、ここで説明する例は、円周魚眼レンズを用いて撮影された画像を、図１（ａ）に示して説明したものと同様な画像の中心から外周方向に８つの領域に分割し、各領域毎に対応する領域別のデータベースを作成する例である。
【００７２】
まず、物体認識によって検出させたい物体である対象物体を含んだ図１２（ａ）に示すような魚眼画像３００を、データベース作成に用いる魚眼画像として複数枚用意する。次に、データベース作成に用いる複数枚用意した魚願画像３００の１枚である図１２（ｃ）に示すような魚眼画像に対し回転を加え、この魚眼画像内に含まれる対象物体が図１２（ｂ）に示す分割領域（イ）から（チ）のいずれかの領域の中央に写るようにする。
【００７３】
次に、図１２（ｃ）に示す魚眼画像を回転させて図１２（ｄ）、図１２（ｅ）に示すような魚眼画像３３０、３４０を生成する。この魚眼画像３３０、３４０の生成は、図１２（ｃ）に示す魚眼画像に含まれる検出できるようになって欲しい対象物体３２１、３２２が分割領域（ハ）、（ヘ）の中央に、対象物体３３１、３４１として位置するように行われる。
【００７４】
そして、図１３（ｆ）に示す魚眼画像３３０の分割領域（ハ）の中央に写った対象物体３３１を、図１３（ｇ）に示すように対象物体の画像３５０として切り出す。この対象物体の画像３５０は、０度回転、９０度回転、１８０度回転、２７０度回転させて、図１３（ｈ）に示すように、対象物体の画像３５１〜３５４とされ、これらの対象物体の画像３５１〜３５４が、対応するデータベース用の画像として、画像データとされてデータベース用のデータとして使用される。
【００７５】
さらに、図１３（ｆ）に示す魚眼画像３３０を４５度回転させて図１３（ｉ）に示すような魚眼画像３６０を作成する。この魚眼画像３６０内には、魚眼画像３３０内の対象物体３３１が、分割領域（ニ）の中央に移動して写されている。なお、魚眼画像３６０は、図１２（ｃ）に示した魚眼画像３２０から図１２（ｄ）に示した魚眼画像３３０を生成したときの回転角度に４５度を加えて作成することもできる。
【００７６】
そして、図１３（ｉ）に示す魚眼画像３６０の分割領域（ニ）の中央に写った対象物体３６１を、図１３（ｊ）に示すように対象物体の画像３７０として切り出す。この対象物体の画像３７０は、０度回転、９０度回転、１８０度回転、２７０度回転させて、図１３（ｋ）に示すように、対象物体の画像３７１〜３７４とされ、これらの対象物体の画像３７１〜３７４が、対応するデータベース用の画像として、画像データとされてデータベース用のデータとして使用される。
【００７７】
前述したようなデータベースの作成方法によれば、魚眼画像上の１つのデータベース用データから複数のデータを作成することができ、データベースの作成に必要な大本となる魚眼画像の枚数を削減することができる。
【００７８】
前述したデータベースの作成方法は、領域別のデータベース用のデータを作成するものとして説明したが、領域別のデータベースではなく、単一のデータベース用のデータの作成だけを行いたい場合には、対象物体を含んだ魚眼画像から、図１２（ｃ）に示す魚眼画像３２０の作成を行わずに、図１２（ａ）に示す魚眼画像３００から対象物体を切り出し、作り出したい枚数に応じて回転を加えてデータの作成を行えばよい。
【００７９】
以上、本発明の実施形態を説明したが、本発明は、前述した本発明の実施形態に限定されず、本発明の要旨を逸脱しない範囲で使用する魚眼レンズ、物体認識アルゴリズム、領域分割方法、データベース用データの切り出し方法、回転角度及び回転回数の少なくとも１つに変更を加えて変形することができる。
【符号の説明】
【００８０】
２００ 魚眼物体認識装置
２１０ 魚眼カメラ
２２０ 画像入力部
２３０ 画像回転部
２４０ メモリ
２４１ 領域別データベース
２５０ 物体認識部
２５１ 物体認識アルゴリズム
２５２ 画像格納用メモリ
２６０ 検出座標の変換部
２７０ 検出結果出力部
【特許請求の範囲】
【請求項１】
魚眼カメラにより撮影された魚眼画像をそのまま用いて魚眼画像内に含まれる物体を認識する物体認識装置における物体認識方法において、
前記物体認識装置は、前記魚眼カメラから入力される魚眼画像から魚眼画像内に含まれる検出したい対象物体を認識する物体認識部と、入力される魚眼画像の歪みの方向に合わせて前記入力される魚眼画像を複数に分割する分割領域を定めて複数の分割領域に分割し、該分割された分割領域毎に対応する検出したい対象物体に認識に使用する領域別データベースとを有して構成され、
前記物体認識部は、前記入力される魚眼画像の分割領域毎に対応する前記領域別データベースを使用して入力された前記魚眼画像から該魚眼画像内に含まれる検出したい対象物体の検出認識を行うことを特徴とする物体認識方法。
【請求項２】
前記物体認識装置は、前記入力される魚眼画像を回転させる画像回転部をさらに有し、
前記画像回転部は、前記入力される魚眼画像を所定の角度ずつ回転された複数の魚眼画像を作成し、
前記物体認識部は、前記入力される回転されていない魚眼画像及び前記回転された複数の魚眼画像のそれぞれに対して、前記分割領域毎に検出したい対象物体の検出認識を行うことを特徴とする請求項１記載の物体認識方法。
【請求項３】
前記物体認識装置は、検出座標変換部をさらに有し、
前記検出座標変換部は、前記物体認識部により検出認識された対象物体が、前記回転されていない魚眼画像及び前記回転された複数の魚眼画像のどの魚眼画像から検出されたかに応じて、検出結果の物体の検出座標を回転前魚眼画像の座標に変換することを特徴とする請求項２記載の物体認識方法。
【請求項４】
前記領域別データベースは、検出したい対象物体が写されているデータベース作成に用いる魚眼画像を回転させ、検出したい対象物体のデータを切り出すことにより作成することを特徴とする請求項１、２または３記載の物体認識方法。
【請求項５】
魚眼カメラにより撮影された魚眼画像をそのまま用いて魚眼画像内に含まれる物体を認識する物体認識装置において、
前記魚眼カメラから入力される魚眼画像から魚眼画像内に含まれる検出したい対象物体を認識する物体認識部と、入力される魚眼画像の歪みの方向に合わせて前記入力される魚眼画像を複数に分割する分割領域を定めて複数の分割領域に分割し、該分割された分割領域毎に対応する検出したい対象物体に認識に使用する領域別データベースとを有し、
前記物体認識部は、前記入力される魚眼画像の分割領域毎に対応する前記領域別データベースを使用して入力された前記魚眼画像から該魚眼画像内に含まれる検出したい対象物体の検出認識を行うことを特徴とする物体認識装置。
【請求項６】
前記入力される魚眼画像を回転させる画像回転部をさらに有し、
前記画像回転部は、前記入力される魚眼画像を所定の角度ずつ回転された複数の魚眼画像を作成し、
前記物体認識部は、前記入力される回転されていない魚眼画像及び前記回転された複数の魚眼画像のそれぞれに対して、前記分割領域毎に検出したい対象物体の検出認識を行うことを特徴とする請求項５記載の物体認識装置。
【請求項７】
検出座標変換部をさらに有し、
前記検出座標変換部は、前記物体認識部により検出認識された対象物体が、前記回転されていない魚眼画像及び前記回転された複数の魚眼画像のどの魚眼画像から検出されたかに応じて、検出結果の物体の検出座標を回転前魚眼画像の座標に変換することを特徴とする請求項６記載の物体認識装置。
【請求項８】
前記領域別データベースは、検出したい対象物体が写されているデータベース作成に用いる魚眼画像を回転させ、検出したい対象物体のデータを切り出すことにより作成されたものであることを特徴とする請求項５、６または７記載の物体認識装置。
【請求項１】
魚眼カメラにより撮影された魚眼画像をそのまま用いて魚眼画像内に含まれる物体を認識する物体認識装置における物体認識方法において、
前記物体認識装置は、前記魚眼カメラから入力される魚眼画像から魚眼画像内に含まれる検出したい対象物体を認識する物体認識部と、入力される魚眼画像の歪みの方向に合わせて前記入力される魚眼画像を複数に分割する分割領域を定めて複数の分割領域に分割し、該分割された分割領域毎に対応する検出したい対象物体に認識に使用する領域別データベースとを有して構成され、
前記物体認識部は、前記入力される魚眼画像の分割領域毎に対応する前記領域別データベースを使用して入力された前記魚眼画像から該魚眼画像内に含まれる検出したい対象物体の検出認識を行うことを特徴とする物体認識方法。
【請求項２】
前記物体認識装置は、前記入力される魚眼画像を回転させる画像回転部をさらに有し、
前記画像回転部は、前記入力される魚眼画像を所定の角度ずつ回転された複数の魚眼画像を作成し、
前記物体認識部は、前記入力される回転されていない魚眼画像及び前記回転された複数の魚眼画像のそれぞれに対して、前記分割領域毎に検出したい対象物体の検出認識を行うことを特徴とする請求項１記載の物体認識方法。
【請求項３】
前記物体認識装置は、検出座標変換部をさらに有し、
前記検出座標変換部は、前記物体認識部により検出認識された対象物体が、前記回転されていない魚眼画像及び前記回転された複数の魚眼画像のどの魚眼画像から検出されたかに応じて、検出結果の物体の検出座標を回転前魚眼画像の座標に変換することを特徴とする請求項２記載の物体認識方法。
【請求項４】
前記領域別データベースは、検出したい対象物体が写されているデータベース作成に用いる魚眼画像を回転させ、検出したい対象物体のデータを切り出すことにより作成することを特徴とする請求項１、２または３記載の物体認識方法。
【請求項５】
魚眼カメラにより撮影された魚眼画像をそのまま用いて魚眼画像内に含まれる物体を認識する物体認識装置において、
前記魚眼カメラから入力される魚眼画像から魚眼画像内に含まれる検出したい対象物体を認識する物体認識部と、入力される魚眼画像の歪みの方向に合わせて前記入力される魚眼画像を複数に分割する分割領域を定めて複数の分割領域に分割し、該分割された分割領域毎に対応する検出したい対象物体に認識に使用する領域別データベースとを有し、
前記物体認識部は、前記入力される魚眼画像の分割領域毎に対応する前記領域別データベースを使用して入力された前記魚眼画像から該魚眼画像内に含まれる検出したい対象物体の検出認識を行うことを特徴とする物体認識装置。
【請求項６】
前記入力される魚眼画像を回転させる画像回転部をさらに有し、
前記画像回転部は、前記入力される魚眼画像を所定の角度ずつ回転された複数の魚眼画像を作成し、
前記物体認識部は、前記入力される回転されていない魚眼画像及び前記回転された複数の魚眼画像のそれぞれに対して、前記分割領域毎に検出したい対象物体の検出認識を行うことを特徴とする請求項５記載の物体認識装置。
【請求項７】
検出座標変換部をさらに有し、
前記検出座標変換部は、前記物体認識部により検出認識された対象物体が、前記回転されていない魚眼画像及び前記回転された複数の魚眼画像のどの魚眼画像から検出されたかに応じて、検出結果の物体の検出座標を回転前魚眼画像の座標に変換することを特徴とする請求項６記載の物体認識装置。
【請求項８】
前記領域別データベースは、検出したい対象物体が写されているデータベース作成に用いる魚眼画像を回転させ、検出したい対象物体のデータを切り出すことにより作成されたものであることを特徴とする請求項５、６または７記載の物体認識装置。
【図１】
【図２】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１３】
【図３】
【図１２】
【図２】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１３】
【図３】
【図１２】
【公開番号】特開２０１２−２３０５４６（Ｐ２０１２−２３０５４６Ａ）
【公開日】平成２４年１１月２２日（２０１２．１１．２２）
【国際特許分類】
【出願番号】特願２０１１−９８３４７（Ｐ２０１１−９８３４７）
【出願日】平成２３年４月２６日（２０１１．４．２６）
【出願人】（０００２３３２９５）日立情報通信エンジニアリング株式会社 (195)
【Ｆターム（参考）】
【公開日】平成２４年１１月２２日（２０１２．１１．２２）
【国際特許分類】
【出願日】平成２３年４月２６日（２０１１．４．２６）
【出願人】（０００２３３２９５）日立情報通信エンジニアリング株式会社 (195)
【Ｆターム（参考）】
[ Back to top ]