画像処理装置、画像処理方法
【課題】 高解像度の画像に対してリアルタイムでの物体認識を可能とする技術を提供すること。
【解決手段】 全方位の撮像が可能な撮像装置が撮像した画像を高解像度画像として取得すると共に、該高解像度画像から解像度を低下させた画像を低解像度画像として取得する。低解像度画像から、予め定められた被写体が写っている領域を被写体領域として検出する。高解像度画像において、被写体領域に対応する領域を特定し、該特定した領域に対して、該領域内の被写体を認識する処理を行う。認識結果を出力する。
【解決手段】 全方位の撮像が可能な撮像装置が撮像した画像を高解像度画像として取得すると共に、該高解像度画像から解像度を低下させた画像を低解像度画像として取得する。低解像度画像から、予め定められた被写体が写っている領域を被写体領域として検出する。高解像度画像において、被写体領域に対応する領域を特定し、該特定した領域に対して、該領域内の被写体を認識する処理を行う。認識結果を出力する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、広範囲を撮像可能な撮像装置による撮像画像に対する認識処理を効率的に行う為の技術に関するものである。
【背景技術】
【０００２】
魚眼レンズや全方位ミラーなどの広範囲撮像装置を用いて、通常の画角の撮像装置に比べて広い範囲を一度に撮像する方式が知られている。これら広範囲撮像装置で撮像した画像の中から動体を検出し、その動体の切り出し領域を自動的に決定して追尾する技術が特許文献１，２に開示されている。これらの特許文献では、撮像装置に起因する歪みを補正することにより、動体から歪みを取り除くことを行っている。
【０００３】
広範囲撮像装置として全方位ミラーを用いる場合は、画像の歪みの補正方法としてパノラマ展開と透視投影展開がよく用いられる。パノラマ展開は、全方位ミラーの周囲に仮想的な円柱を想定し、広範囲画像を円柱の側面に投影する方法である。透視投影展開は、全方位ミラーの焦点からある視線方向に鉛直平面を想定し、広範囲画像を鉛直平面に投影する方法である。また、動体検知を行うための技術が特許文献３に開示されている。また、人体検出や顔検出などの物体認識を行うための技術が特許文献４，５に開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開2008-048443号公報
【特許文献２】特開2002-064812号公報
【特許文献３】特開2008-165792号公報
【特許文献４】特開2009-211311号公報
【特許文献５】特開2008-234169号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
広範囲撮像装置で撮像した画像（広範囲画像）に対して人体検出、顔検出、顔認識などの物体認識処理を行うニーズが存在する。既存の物体認識手法は、通常の画角の撮像装置で撮像した映像に対して行うように設計されている。そのため、広範囲画像に対してこれら物体認識を行うためには、広範囲撮像装置に起因する画像の歪みを補正する処理を前処理として行う必要がある。
【０００６】
一方で、広範囲撮像装置で使用する撮像センサの解像度は現在ますます高解像度化している。そのため、このような広範囲撮像装置が撮像した画像に対して上記の前処理を行うと、この前処理にかかる処理量は従来に比べて増大し、リアルタイムでの物体認識を高フレームレートで行なえない、という課題が発生する。
【０００７】
本発明はこのような問題に鑑みてなされたものであり、高解像度の画像に対してリアルタイムでの物体認識を可能とする技術を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の目的を達成するために、例えば、本発明の画像処理装置は、全方位の撮像が可能な撮像装置が撮像した画像を高解像度画像として取得すると共に、該高解像度画像から解像度を低下させた画像を低解像度画像として取得する取得手段と、前記取得手段が取得した低解像度画像から、予め定められた被写体が写っている領域を被写体領域として検出する検出手段と、前記取得手段が取得した高解像度画像において、前記被写体領域に対応する領域を特定し、該特定した領域に対して、該領域内の被写体を認識する処理を行う認識手段と、前記認識手段による認識結果を出力する出力手段とを備えることを特徴とする。
【発明の効果】
【０００９】
本発明の構成により、高解像度の画像に対してリアルタイムでの物体認識を行うことができる。
【図面の簡単な説明】
【００１０】
【図１】撮像システムの機能構成例を示すブロック図。
【図２】全方位カメラ部１０１を除く各部の動作のフローチャート。
【図３】物体検知結果３０２、物体認識対象範囲３０３を説明する図。
【図４】歪み補正部１０６による歪み補正処理を説明する図。
【図５】物体認識処理部１０７による認識処理を説明する図。
【図６】結果表示部１０８による表示例を示す図。
【図７】撮像システムの機能構成例を示すブロック図。
【図８】全方位カメラ部１０１を除く各部の動作のフローチャート。
【発明を実施するための形態】
【００１１】
以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載した構成の具体的な実施例の一つである。
【００１２】
［第１の実施形態］
先ず、本実施形態に係る画像処理装置を適用した撮像システムの機能構成例について、図１のブロック図を用いて説明する。全方位カメラ部１０１は、カメラと、回転双曲面の形をしたミラーと、を組み合わせることで、広角を一度に撮影することを可能にしたカメラである。ミラーには、回転放物面、または円錐の形をした全方位ミラーを利用してもよい。なお、全方位カメラ部１０１は、魚眼レンズを用いた撮像装置や、複数の撮像装置からの映像を合成するような装置であってもよい。つまり、全方位カメラ部１０１は、一度に周辺の映像（動画像）を入力できるものであれば、如何なる構成を有していてもよい。ただし、全方位カメラ部１０１により得られる撮像画像は、幾何的な歪みを含むので、歪み補正処理が必要になることが多い。
【００１３】
全方位カメラ部１０１は、このような構成により撮像した各フレームの画像（広範囲画像）を順次出力すると共に、この撮像した画像より低解像度の画像を出力する機能を有する。すなわち、全方位カメラ部１０１は、全方位の撮像が可能な撮像装置であって、撮像した画像を高解像度画像として出力すると共に、該高解像度画像よりも低解像度の画像である低解像度画像を出力する撮像装置である。
【００１４】
低解像度画像は、全方位カメラ部１０１が有する撮像素子群から適当な間隔（荒い間隔）で撮像素子を選択し、選択した撮像素子から画素を読みだすことで出力可能である。一方、高解像度画像は、全方位カメラ部１０１の有する全ての撮像素子から画素を読み出すことで出力可能である。低解像度画像の生成は、単純な画素間引きによってだけではなく、高解像度画像からバイリニア法などのアルゴリズムによっても可能である。これにより、例えば、全方位カメラ部１０１はｍ画素×ｎ画素の解像度を有する高解像度画像を出力すると共に、（ｍ／２）画素×（ｎ／２）画素の解像度を有する低解像度画像を出力することができる。そのため、全方位カメラ部１０１は、高解像度画像を出力する間隔よりも短い間隔で低解像度画像を出力することになる。
【００１５】
なお、全方位カメラ部１０１は、撮像した各高解像度画像には、解像度や撮像タイミングを含むメタデータを付加してから出力する。また、全方位カメラ部１０１は、各低解像度画像には、解像度や撮像タイミングを含むメタデータを付加してから出力する。
【００１６】
高解像度画像取込部１０２は、全方位カメラ部１０１から順次出力される高解像度画像を取得し、取得した高解像度画像を順次、同期部１１０に対して出力する。また、この高解像度画像は、必要に応じて結果表示部１０８や結果保存部１０９に対して出力してもよい。
【００１７】
低解像度画像取込部１０３は、全方位カメラ部１０１から順次出力される低解像度画像を取得し、取得した低解像度画像を順次、動体検知部１０４に対して出力する。また、この低解像度画像は、必要に応じて結果表示部１０８や結果保存部１０９に対して出力してもよい。
【００１８】
動体検知部１０４は、低解像度画像取込部１０３から取得した低解像度画像から、予め定められた被写体（動体）を検出する。動体の検出は、背景差分法を用いて前景と背景とを分離し、前景オブジェクトを動体とみなす方法などを用いて行うことができる。もちろん、動体の検出方法についてはこれに限るものではない。
【００１９】
物体認識対象範囲決定部１０５は、動体検知部１０４から低解像度画像を受けると、この低解像度画像において、動体検知部１０４が検出した被写体を包含する領域を被写体領域として決定する。そして物体認識対象範囲決定部１０５は、この低解像度画像と、決定した被写体領域を示す情報（物体認識対象範囲）と、を同期部１１０に対して出力する。
【００２０】
同期部１１０は、高解像度画像取込部１０２からは高解像度画像を取得すると共に、物体認識対象範囲決定部１０５からは低解像度画像及び物体認識対象範囲を取得する。上記の通り、全方位カメラ部１０１は、高解像度画像を出力する間隔よりも短い間隔で低解像度画像を出力する。然るに同期部１１０は、高解像度画像取込部１０２から高解像度画像を取得する間隔よりも短い間隔で、物体認識対象範囲決定部１０５から低解像度画像及び物体認識対象範囲を取得することになる。よって同期部１１０は、物体認識対象範囲決定部１０５から低解像度画像及び物体認識対象範囲を取得すると、取得した低解像度画像及び物体認識対象範囲をセットにして、本装置内のメモリに格納する。そして同期部１１０は、高解像度画像取込部１０２から高解像度画像（着目高解像度画像）を取得すると、この着目高解像度画像に付加されているメタデータ中の撮像タイミングを参照する。そして同期部１１０は、この撮像タイミングに最も近い撮像タイミングを含むメタデータが付加された低解像度画像とセットにしてメモリに格納されている物体認識対象範囲をメモリから読み出す。そして同期部１１０は、読み出した物体認識対象範囲と、この着目高解像度画像と、をセットにして歪み補正部１０６に出力する。
【００２１】
歪み補正部１０６は、同期部１１０から受けた高解像度画像において、同期部１１０から受けた物体認識対象範囲に対応する領域を特定する。そして歪み補正部１０６は、この特定した領域に対して、全方位カメラ部１０１に起因する、幾何的な歪みを補正する歪み補正処理を行う。このように、歪み補正部１０６は、特定した領域に対する歪み補正処理を行うことで、この領域を矩形化した画像を歪み補正画像として生成する。そして歪み補正部１０６は、この歪み補正画像を物体認識処理部１０７に対して出力する。
【００２２】
物体認識処理部１０７は、歪み補正部１０６から受けた歪み補正画像に対して、該歪み補正画像内の被写体を認識する処理を行う。この被写体の認識は、例えば、人体検出、顔検出、顔認識などの物体認識である。なお、画像の特徴量を使って物体の種別を判別するものであれば、認識対象は人体や顔に限定するものではない。そして物体認識処理部１０７は、認識した結果、例えば、認識した対象に係る情報を、結果表示部１０８や結果保存部１０９に対して出力する。
【００２３】
結果表示部１０８は、ＣＲＴや液晶画面などの表示装置により構成されている。結果表示部１０８は、高解像度画像取込部１０２から出力された高解像度画像、低解像度画像取込部１０３から出力された低解像度画像、歪み補正部１０６により生成された歪み補正画像、物体認識処理部１０７による認識結果などを表示することができる。どの情報を取得してどのような表示を行うのかについては特に限定するものではない。例えば、高解像度画像に、認識した対象に係る情報を重畳させて表示してもよい。もちろん、表示内容を切り替えるようにしてもよい。
【００２４】
結果保存部１０９は、ハードディスクドライブ装置や可搬型メモリ装置などのメモリ装置により構成されている。結果保存部１０９は、高解像度画像取込部１０２から出力された高解像度画像、低解像度画像取込部１０３から出力された低解像度画像、歪み補正部１０６により生成された歪み補正画像、物体認識処理部１０７による認識結果などを保存することができる。例えば、認識結果をメタデータとして結果保存部１０９に格納してもよい。どの情報を取得してどのように保存するのかについては特に限定するものではない。
【００２５】
次に、全方位カメラ部１０１を除く各部の動作について、図２のフローチャートを用いて説明する。先ずステップＳ２０１では、高解像度画像取込部１０２は、全方位カメラ部１０１から出力された高解像度画像を取得すると共に、低解像度画像取込部１０３は、全方位カメラ部１０１から出力された低解像度画像を取得する。
【００２６】
ステップＳ２０２では動体検知部１０４は、低解像度画像取込部１０３から取得した低解像度画像から被写体（動体）を検出する。動体の検出について、図３を用いて説明する。図３において低解像度画像３０１は、全方位カメラ部１０１として回転体ミラーを用いた撮像機器（以下、全方位カメラと呼ぶ）を使用した場合に、この撮像機器を用いて撮像された低解像度画像である。ステップＳ２０１でこのような低解像度画像３０１を取得した場合、ステップＳ２０２では動体検知部１０４は、物体検知結果３０２として示した被写体を検出する。
【００２７】
ステップＳ２０２において被写体が検出された場合には処理はステップＳ２０３を介してステップＳ２０４に進み、検出されなかった場合には、処理はステップＳ２０３を介してステップＳ２０７に進む。
【００２８】
ステップＳ２０４では物体認識対象範囲決定部１０５は、動体検知部１０４から低解像度画像を受けると、この低解像度画像において、動体検知部１０４が検出した被写体を包含する領域を被写体領域として決定する。被写体領域の決定について、図３を用いて説明する。
【００２９】
物体認識対象範囲決定部１０５は、物体検知結果３０２を包含する領域（被写体領域）として、物体認識対象範囲３０３を決定する。この物体認識対象範囲３０３の形状は、歪み補正部１０６によって補正された場合に矩形となるような形状である必要がある。図３の場合、低解像度画像３０１は全方位カメラ部１０１により撮像されたものであるので、物体認識対象範囲３０３の形状は図３に示す如く扇形となっている。この物体認識対象範囲３０３は、低解像度画像３０１の中心位置３０４を通り且つ物体検知結果３０２を挟む２本の直線と、中心位置３０４を中心とする２つの円の弧の一部と、から成る。このようにして設定された物体認識対象範囲３０３は、歪み補正部１０６による歪み補正処理が施されると、その形状が矩形となる。物体認識対象範囲３０３は、物体検知結果３０２のサイズに対して一定の比率、または物体検知結果３０２のサイズに関わらず一定の大きさの余白を含むように決定してもよい。
【００３０】
図３の場合、物体認識対象範囲３０３は、点Ａ３０５、点Ｂ３０６、点Ｃ３０７、点Ｄ３０８のそれぞれの座標位置、中心位置３０４、により定義可能である。そのため、物体認識対象範囲決定部１０５は、これらの位置の情報を物体認識対象範囲として同期部１１０に対して出力する。
【００３１】
なお、物体認識対象範囲３０３の形状が図３に示すような単純な形状ではない場合、物体認識対象範囲決定部１０５は、物体認識対象範囲３０３の枠上の各点の座標位置を物体認識対象範囲として、同期部１１０に対して出力する。
【００３２】
そして物体認識対象範囲決定部１０５は、動体検知部１０４から受けた低解像度画像と、決定した物体認識対象範囲と、を同期部１１０に対して出力する。同期部１１０は、高解像度画像取込部１０２からは高解像度画像を取得すると共に、物体認識対象範囲決定部１０５からは低解像度画像及び物体認識対象範囲を取得する。そして同期部１１０は、高解像度画像取込部１０２から高解像度画像（着目高解像度画像）を取得すると、この着目高解像度画像に付加されているメタデータ中の撮像タイミングを参照する。そして同期部１１０は、この撮像タイミングに最も近い撮像タイミングを含むメタデータが付加された低解像度画像とセットにしてメモリに格納されている物体認識対象範囲をメモリから読み出す。そして同期部１１０は、読み出した物体認識対象範囲と、この着目高解像度画像と、をセットにして歪み補正部１０６に出力する。
【００３３】
ステップＳ２０５で歪み補正部１０６は、同期部１１０から受けた高解像度画像において、物体認識対象範囲に対応する領域を特定し、特定した領域に対して、全方位カメラ部１０１に起因する、幾何的な歪みを補正する歪み補正処理を行う。歪み補正部１０６による歪み補正処理について、図４を用いて説明する。歪み補正部１０６は、同期部１１０から高解像度画像４０１を受けると、同期部１１０から受けた物体認識対象範囲３０３に対応する領域を物体認識対象範囲４０３として設定する。例えば、高解像度画像４０１の解像度がｍ画素×ｎ画素であり、低解像度画像３０１の解像度が（ｍ／２）画素×（ｎ／２）画素である場合、物体認識対象範囲３０３に含まれるＸ座標値、Ｙ座標値をそれぞれ２倍にしたものが物体認識対象範囲４０３となる。
【００３４】
そして歪み補正部１０６は、このようにして得られた物体認識対象範囲４０３に対する歪み補正処理を行うことで、この物体認識対象範囲４０３を矩形化した画像を歪み補正画像として生成する。歪み補正は、全方位カメラ部１０１の特性を考慮して行うことができる。本実施形態では、パノラマ展開を用いて歪み補正画像を得る手法をとる。しかし、歪み補正画像の生成方法についてはこの方法に限るものではなく、透視投影展開を用いてもよい。
【００３５】
ステップＳ２０６では物体認識処理部１０７は、歪み補正部１０６から受けた歪み補正画像に対して、該歪み補正画像内の被写体を認識する処理を行う。この認識処理について、図５を用いて説明する。歪み補正部１０６から図５に示す歪み補正画像５０１が得られた場合、物体認識処理部１０７がこの歪み補正画像５０１に対して人体検出を行うと、人体の領域を示す人体認識結果５０２が得られる。また、物体認識処理部１０７がこの歪み補正画像５０１に対して顔検出を行うと、顔の領域を示す顔検出結果５０３が得られる。そして物体認識処理部１０７は、認識した結果を、メタデータとして結果表示部１０８や結果保存部１０９に対して出力する。
【００３６】
ステップＳ２０７では結果表示部１０８は、高解像度画像、低解像度画像、歪み補正画像、認識結果のうち１以上を表示する。例えば、高解像度画像において認識した対象の領域に枠を付してからこの高解像度画像を表示する。なお、認識や検出した領域（５０２，５０３）に対応する高解像度画像（低解像度画像）上の領域に枠を付す場合、認識や検出した領域に対して上記の歪み補正処理の逆処理を行うことで得られる領域に枠を付す必要がある。
【００３７】
結果表示部１０８による表示例を図６に示す。図６では、表示ウィンドウ６０１の左側に高解像度画像４０１を表示していると共に、この高解像度画像４０１上に物体認識対象範囲４０３の枠を表示している。表示ウィンドウ６０１の右側には歪み補正画像５０１を表示していると共に、この歪み補正画像５０１上に人体認識結果５０２及び顔検出結果５０３を示す枠を表示している。
【００３８】
ステップＳ２０８では結果保存部１０９は、高解像度画像取込部１０２からの高解像度画像、低解像度画像取込部１０３からの低解像度画像、歪み補正部１０６により生成された歪み補正画像、物体認識処理部１０７による認識結果などを保存する。
【００３９】
そして、ユーザが不図示の操作部を操作して終了指示を入力したことを検知した場合等、既定の終了条件が満たされたことを検知した場合には、処理はステップＳ２０９を介して終了する。一方、規定の終了条件が満たされたことを検知していない場合は、処理はステップＳ２０９を介してステップＳ２０１に戻る。
【００４０】
なお、高解像度画像、低解像度画像、歪み補正画像、認識結果の出力先については結果表示部１０８、結果保存部１０９に限るものではなく、例えばネットワークを介して外部の装置に対して送信するようにしてもよい。
【００４１】
［第２の実施形態］
本実施形態に係る画像処理装置を適用した撮像システムの機能構成例について、図７のブロック図を用いて説明する。図７に示した構成は、図１に示した構成から歪み補正部１０６を省くと共に、全方位カメラ部１０１が魚眼レンズを備えたカメラであること以外は、図１に示した構成と同様である。然るに以下では、第１の実施形態と同じ部分については説明を省略し、第１の実施形態と異なる点のみについて説明する。
【００４２】
本実施形態に係る全方位カメラ部１０１は、魚眼レンズを備えたカメラであること以外は、第１の実施形態に係る全方位カメラ部１０１と同様の機能を有する。すなわち、本実施形態に係る全方位カメラ部１０１も、全方位の撮像が可能な撮像装置であって、撮像した画像を高解像度画像として出力すると共に、該高解像度画像よりも低解像度の画像である低解像度画像を出力する撮像装置である。そして本実施形態に係る全方位カメラ部１０１も、撮像した各高解像度画像には、解像度や撮像タイミングを含むメタデータを付加してから出力する。また、本実施形態に係る全方位カメラ部１０１も、各低解像度画像には、解像度や撮像タイミングを含むメタデータを付加してから出力する。
【００４３】
物体認識処理部１０７は、同期部１１０から受けた高解像度画像において、同期部１１０から受けた物体認識対象範囲に対応する領域を特定する。この領域の特定方法については、第１の実施形態と同様にして行う。そして物体認識処理部１０７は、この特定した領域に対して、該領域内の被写体を認識する処理を行う。
【００４４】
次に、全方位カメラ部１０１を除く各部の動作について、図８のフローチャートを用いて説明する。図８において、図２と同じ処理ステップには同じステップ番号を付しており、その説明は省略する。
【００４５】
ステップＳ２１０では物体認識処理部１０７は、同期部１１０から受けた高解像度画像において、同期部１１０から受けた物体認識対象範囲に対応する領域を特定する。そして物体認識処理部１０７は、この特定した領域に対して、該領域内の被写体を認識する処理を行う。
【００４６】
［第３の実施形態］
全方位カメラ部１０１、結果表示部１０８、結果保存部１０９を除く各部は１つの画像処理装置を構成する各ハードウェアとして実装してもよいし、ソフトウェア（コンピュータプログラム）により実装してもよい。後者の場合、画像処理装置が管理するメモリにこのソフトウェアをインストールし、画像処理装置のＣＰＵがこのソフトウェアを実行することで、この画像処理装置は、全方位カメラ部１０１、結果表示部１０８、結果保存部１０９を除く各部の動作を実行する。
【００４７】
［第４の実施形態］
上記の各実施形態では、高解像度画像、低解像度画像は全方位カメラ部１０１から直接取得し、取得したこれらの画像を用いた認識処理について説明した。しかし、システムの構成はこれに限るものではない。
【００４８】
例えば、全方位カメラ部１０１により撮像された各フレームの高解像度画像及び低解像度画像、を予めハードディスク装置やサーバ装置に格納しておく実施形態が考え得る。この場合、高解像度画像取込部１０２、低解像度画像取込部１０３はそれぞれ、有線や無線のネットワークを介してハードディスク装置やサーバ装置から高解像度画像、低解像度画像を取得することになる。
【００４９】
このように、高解像度画像、低解像度画像の取得元には様々なものが考えられるので、それぞれの画像の取得方法は特定の方法に限定されるものではない。
【００５０】
（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【技術分野】
【０００１】
本発明は、広範囲を撮像可能な撮像装置による撮像画像に対する認識処理を効率的に行う為の技術に関するものである。
【背景技術】
【０００２】
魚眼レンズや全方位ミラーなどの広範囲撮像装置を用いて、通常の画角の撮像装置に比べて広い範囲を一度に撮像する方式が知られている。これら広範囲撮像装置で撮像した画像の中から動体を検出し、その動体の切り出し領域を自動的に決定して追尾する技術が特許文献１，２に開示されている。これらの特許文献では、撮像装置に起因する歪みを補正することにより、動体から歪みを取り除くことを行っている。
【０００３】
広範囲撮像装置として全方位ミラーを用いる場合は、画像の歪みの補正方法としてパノラマ展開と透視投影展開がよく用いられる。パノラマ展開は、全方位ミラーの周囲に仮想的な円柱を想定し、広範囲画像を円柱の側面に投影する方法である。透視投影展開は、全方位ミラーの焦点からある視線方向に鉛直平面を想定し、広範囲画像を鉛直平面に投影する方法である。また、動体検知を行うための技術が特許文献３に開示されている。また、人体検出や顔検出などの物体認識を行うための技術が特許文献４，５に開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開2008-048443号公報
【特許文献２】特開2002-064812号公報
【特許文献３】特開2008-165792号公報
【特許文献４】特開2009-211311号公報
【特許文献５】特開2008-234169号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
広範囲撮像装置で撮像した画像（広範囲画像）に対して人体検出、顔検出、顔認識などの物体認識処理を行うニーズが存在する。既存の物体認識手法は、通常の画角の撮像装置で撮像した映像に対して行うように設計されている。そのため、広範囲画像に対してこれら物体認識を行うためには、広範囲撮像装置に起因する画像の歪みを補正する処理を前処理として行う必要がある。
【０００６】
一方で、広範囲撮像装置で使用する撮像センサの解像度は現在ますます高解像度化している。そのため、このような広範囲撮像装置が撮像した画像に対して上記の前処理を行うと、この前処理にかかる処理量は従来に比べて増大し、リアルタイムでの物体認識を高フレームレートで行なえない、という課題が発生する。
【０００７】
本発明はこのような問題に鑑みてなされたものであり、高解像度の画像に対してリアルタイムでの物体認識を可能とする技術を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の目的を達成するために、例えば、本発明の画像処理装置は、全方位の撮像が可能な撮像装置が撮像した画像を高解像度画像として取得すると共に、該高解像度画像から解像度を低下させた画像を低解像度画像として取得する取得手段と、前記取得手段が取得した低解像度画像から、予め定められた被写体が写っている領域を被写体領域として検出する検出手段と、前記取得手段が取得した高解像度画像において、前記被写体領域に対応する領域を特定し、該特定した領域に対して、該領域内の被写体を認識する処理を行う認識手段と、前記認識手段による認識結果を出力する出力手段とを備えることを特徴とする。
【発明の効果】
【０００９】
本発明の構成により、高解像度の画像に対してリアルタイムでの物体認識を行うことができる。
【図面の簡単な説明】
【００１０】
【図１】撮像システムの機能構成例を示すブロック図。
【図２】全方位カメラ部１０１を除く各部の動作のフローチャート。
【図３】物体検知結果３０２、物体認識対象範囲３０３を説明する図。
【図４】歪み補正部１０６による歪み補正処理を説明する図。
【図５】物体認識処理部１０７による認識処理を説明する図。
【図６】結果表示部１０８による表示例を示す図。
【図７】撮像システムの機能構成例を示すブロック図。
【図８】全方位カメラ部１０１を除く各部の動作のフローチャート。
【発明を実施するための形態】
【００１１】
以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載した構成の具体的な実施例の一つである。
【００１２】
［第１の実施形態］
先ず、本実施形態に係る画像処理装置を適用した撮像システムの機能構成例について、図１のブロック図を用いて説明する。全方位カメラ部１０１は、カメラと、回転双曲面の形をしたミラーと、を組み合わせることで、広角を一度に撮影することを可能にしたカメラである。ミラーには、回転放物面、または円錐の形をした全方位ミラーを利用してもよい。なお、全方位カメラ部１０１は、魚眼レンズを用いた撮像装置や、複数の撮像装置からの映像を合成するような装置であってもよい。つまり、全方位カメラ部１０１は、一度に周辺の映像（動画像）を入力できるものであれば、如何なる構成を有していてもよい。ただし、全方位カメラ部１０１により得られる撮像画像は、幾何的な歪みを含むので、歪み補正処理が必要になることが多い。
【００１３】
全方位カメラ部１０１は、このような構成により撮像した各フレームの画像（広範囲画像）を順次出力すると共に、この撮像した画像より低解像度の画像を出力する機能を有する。すなわち、全方位カメラ部１０１は、全方位の撮像が可能な撮像装置であって、撮像した画像を高解像度画像として出力すると共に、該高解像度画像よりも低解像度の画像である低解像度画像を出力する撮像装置である。
【００１４】
低解像度画像は、全方位カメラ部１０１が有する撮像素子群から適当な間隔（荒い間隔）で撮像素子を選択し、選択した撮像素子から画素を読みだすことで出力可能である。一方、高解像度画像は、全方位カメラ部１０１の有する全ての撮像素子から画素を読み出すことで出力可能である。低解像度画像の生成は、単純な画素間引きによってだけではなく、高解像度画像からバイリニア法などのアルゴリズムによっても可能である。これにより、例えば、全方位カメラ部１０１はｍ画素×ｎ画素の解像度を有する高解像度画像を出力すると共に、（ｍ／２）画素×（ｎ／２）画素の解像度を有する低解像度画像を出力することができる。そのため、全方位カメラ部１０１は、高解像度画像を出力する間隔よりも短い間隔で低解像度画像を出力することになる。
【００１５】
なお、全方位カメラ部１０１は、撮像した各高解像度画像には、解像度や撮像タイミングを含むメタデータを付加してから出力する。また、全方位カメラ部１０１は、各低解像度画像には、解像度や撮像タイミングを含むメタデータを付加してから出力する。
【００１６】
高解像度画像取込部１０２は、全方位カメラ部１０１から順次出力される高解像度画像を取得し、取得した高解像度画像を順次、同期部１１０に対して出力する。また、この高解像度画像は、必要に応じて結果表示部１０８や結果保存部１０９に対して出力してもよい。
【００１７】
低解像度画像取込部１０３は、全方位カメラ部１０１から順次出力される低解像度画像を取得し、取得した低解像度画像を順次、動体検知部１０４に対して出力する。また、この低解像度画像は、必要に応じて結果表示部１０８や結果保存部１０９に対して出力してもよい。
【００１８】
動体検知部１０４は、低解像度画像取込部１０３から取得した低解像度画像から、予め定められた被写体（動体）を検出する。動体の検出は、背景差分法を用いて前景と背景とを分離し、前景オブジェクトを動体とみなす方法などを用いて行うことができる。もちろん、動体の検出方法についてはこれに限るものではない。
【００１９】
物体認識対象範囲決定部１０５は、動体検知部１０４から低解像度画像を受けると、この低解像度画像において、動体検知部１０４が検出した被写体を包含する領域を被写体領域として決定する。そして物体認識対象範囲決定部１０５は、この低解像度画像と、決定した被写体領域を示す情報（物体認識対象範囲）と、を同期部１１０に対して出力する。
【００２０】
同期部１１０は、高解像度画像取込部１０２からは高解像度画像を取得すると共に、物体認識対象範囲決定部１０５からは低解像度画像及び物体認識対象範囲を取得する。上記の通り、全方位カメラ部１０１は、高解像度画像を出力する間隔よりも短い間隔で低解像度画像を出力する。然るに同期部１１０は、高解像度画像取込部１０２から高解像度画像を取得する間隔よりも短い間隔で、物体認識対象範囲決定部１０５から低解像度画像及び物体認識対象範囲を取得することになる。よって同期部１１０は、物体認識対象範囲決定部１０５から低解像度画像及び物体認識対象範囲を取得すると、取得した低解像度画像及び物体認識対象範囲をセットにして、本装置内のメモリに格納する。そして同期部１１０は、高解像度画像取込部１０２から高解像度画像（着目高解像度画像）を取得すると、この着目高解像度画像に付加されているメタデータ中の撮像タイミングを参照する。そして同期部１１０は、この撮像タイミングに最も近い撮像タイミングを含むメタデータが付加された低解像度画像とセットにしてメモリに格納されている物体認識対象範囲をメモリから読み出す。そして同期部１１０は、読み出した物体認識対象範囲と、この着目高解像度画像と、をセットにして歪み補正部１０６に出力する。
【００２１】
歪み補正部１０６は、同期部１１０から受けた高解像度画像において、同期部１１０から受けた物体認識対象範囲に対応する領域を特定する。そして歪み補正部１０６は、この特定した領域に対して、全方位カメラ部１０１に起因する、幾何的な歪みを補正する歪み補正処理を行う。このように、歪み補正部１０６は、特定した領域に対する歪み補正処理を行うことで、この領域を矩形化した画像を歪み補正画像として生成する。そして歪み補正部１０６は、この歪み補正画像を物体認識処理部１０７に対して出力する。
【００２２】
物体認識処理部１０７は、歪み補正部１０６から受けた歪み補正画像に対して、該歪み補正画像内の被写体を認識する処理を行う。この被写体の認識は、例えば、人体検出、顔検出、顔認識などの物体認識である。なお、画像の特徴量を使って物体の種別を判別するものであれば、認識対象は人体や顔に限定するものではない。そして物体認識処理部１０７は、認識した結果、例えば、認識した対象に係る情報を、結果表示部１０８や結果保存部１０９に対して出力する。
【００２３】
結果表示部１０８は、ＣＲＴや液晶画面などの表示装置により構成されている。結果表示部１０８は、高解像度画像取込部１０２から出力された高解像度画像、低解像度画像取込部１０３から出力された低解像度画像、歪み補正部１０６により生成された歪み補正画像、物体認識処理部１０７による認識結果などを表示することができる。どの情報を取得してどのような表示を行うのかについては特に限定するものではない。例えば、高解像度画像に、認識した対象に係る情報を重畳させて表示してもよい。もちろん、表示内容を切り替えるようにしてもよい。
【００２４】
結果保存部１０９は、ハードディスクドライブ装置や可搬型メモリ装置などのメモリ装置により構成されている。結果保存部１０９は、高解像度画像取込部１０２から出力された高解像度画像、低解像度画像取込部１０３から出力された低解像度画像、歪み補正部１０６により生成された歪み補正画像、物体認識処理部１０７による認識結果などを保存することができる。例えば、認識結果をメタデータとして結果保存部１０９に格納してもよい。どの情報を取得してどのように保存するのかについては特に限定するものではない。
【００２５】
次に、全方位カメラ部１０１を除く各部の動作について、図２のフローチャートを用いて説明する。先ずステップＳ２０１では、高解像度画像取込部１０２は、全方位カメラ部１０１から出力された高解像度画像を取得すると共に、低解像度画像取込部１０３は、全方位カメラ部１０１から出力された低解像度画像を取得する。
【００２６】
ステップＳ２０２では動体検知部１０４は、低解像度画像取込部１０３から取得した低解像度画像から被写体（動体）を検出する。動体の検出について、図３を用いて説明する。図３において低解像度画像３０１は、全方位カメラ部１０１として回転体ミラーを用いた撮像機器（以下、全方位カメラと呼ぶ）を使用した場合に、この撮像機器を用いて撮像された低解像度画像である。ステップＳ２０１でこのような低解像度画像３０１を取得した場合、ステップＳ２０２では動体検知部１０４は、物体検知結果３０２として示した被写体を検出する。
【００２７】
ステップＳ２０２において被写体が検出された場合には処理はステップＳ２０３を介してステップＳ２０４に進み、検出されなかった場合には、処理はステップＳ２０３を介してステップＳ２０７に進む。
【００２８】
ステップＳ２０４では物体認識対象範囲決定部１０５は、動体検知部１０４から低解像度画像を受けると、この低解像度画像において、動体検知部１０４が検出した被写体を包含する領域を被写体領域として決定する。被写体領域の決定について、図３を用いて説明する。
【００２９】
物体認識対象範囲決定部１０５は、物体検知結果３０２を包含する領域（被写体領域）として、物体認識対象範囲３０３を決定する。この物体認識対象範囲３０３の形状は、歪み補正部１０６によって補正された場合に矩形となるような形状である必要がある。図３の場合、低解像度画像３０１は全方位カメラ部１０１により撮像されたものであるので、物体認識対象範囲３０３の形状は図３に示す如く扇形となっている。この物体認識対象範囲３０３は、低解像度画像３０１の中心位置３０４を通り且つ物体検知結果３０２を挟む２本の直線と、中心位置３０４を中心とする２つの円の弧の一部と、から成る。このようにして設定された物体認識対象範囲３０３は、歪み補正部１０６による歪み補正処理が施されると、その形状が矩形となる。物体認識対象範囲３０３は、物体検知結果３０２のサイズに対して一定の比率、または物体検知結果３０２のサイズに関わらず一定の大きさの余白を含むように決定してもよい。
【００３０】
図３の場合、物体認識対象範囲３０３は、点Ａ３０５、点Ｂ３０６、点Ｃ３０７、点Ｄ３０８のそれぞれの座標位置、中心位置３０４、により定義可能である。そのため、物体認識対象範囲決定部１０５は、これらの位置の情報を物体認識対象範囲として同期部１１０に対して出力する。
【００３１】
なお、物体認識対象範囲３０３の形状が図３に示すような単純な形状ではない場合、物体認識対象範囲決定部１０５は、物体認識対象範囲３０３の枠上の各点の座標位置を物体認識対象範囲として、同期部１１０に対して出力する。
【００３２】
そして物体認識対象範囲決定部１０５は、動体検知部１０４から受けた低解像度画像と、決定した物体認識対象範囲と、を同期部１１０に対して出力する。同期部１１０は、高解像度画像取込部１０２からは高解像度画像を取得すると共に、物体認識対象範囲決定部１０５からは低解像度画像及び物体認識対象範囲を取得する。そして同期部１１０は、高解像度画像取込部１０２から高解像度画像（着目高解像度画像）を取得すると、この着目高解像度画像に付加されているメタデータ中の撮像タイミングを参照する。そして同期部１１０は、この撮像タイミングに最も近い撮像タイミングを含むメタデータが付加された低解像度画像とセットにしてメモリに格納されている物体認識対象範囲をメモリから読み出す。そして同期部１１０は、読み出した物体認識対象範囲と、この着目高解像度画像と、をセットにして歪み補正部１０６に出力する。
【００３３】
ステップＳ２０５で歪み補正部１０６は、同期部１１０から受けた高解像度画像において、物体認識対象範囲に対応する領域を特定し、特定した領域に対して、全方位カメラ部１０１に起因する、幾何的な歪みを補正する歪み補正処理を行う。歪み補正部１０６による歪み補正処理について、図４を用いて説明する。歪み補正部１０６は、同期部１１０から高解像度画像４０１を受けると、同期部１１０から受けた物体認識対象範囲３０３に対応する領域を物体認識対象範囲４０３として設定する。例えば、高解像度画像４０１の解像度がｍ画素×ｎ画素であり、低解像度画像３０１の解像度が（ｍ／２）画素×（ｎ／２）画素である場合、物体認識対象範囲３０３に含まれるＸ座標値、Ｙ座標値をそれぞれ２倍にしたものが物体認識対象範囲４０３となる。
【００３４】
そして歪み補正部１０６は、このようにして得られた物体認識対象範囲４０３に対する歪み補正処理を行うことで、この物体認識対象範囲４０３を矩形化した画像を歪み補正画像として生成する。歪み補正は、全方位カメラ部１０１の特性を考慮して行うことができる。本実施形態では、パノラマ展開を用いて歪み補正画像を得る手法をとる。しかし、歪み補正画像の生成方法についてはこの方法に限るものではなく、透視投影展開を用いてもよい。
【００３５】
ステップＳ２０６では物体認識処理部１０７は、歪み補正部１０６から受けた歪み補正画像に対して、該歪み補正画像内の被写体を認識する処理を行う。この認識処理について、図５を用いて説明する。歪み補正部１０６から図５に示す歪み補正画像５０１が得られた場合、物体認識処理部１０７がこの歪み補正画像５０１に対して人体検出を行うと、人体の領域を示す人体認識結果５０２が得られる。また、物体認識処理部１０７がこの歪み補正画像５０１に対して顔検出を行うと、顔の領域を示す顔検出結果５０３が得られる。そして物体認識処理部１０７は、認識した結果を、メタデータとして結果表示部１０８や結果保存部１０９に対して出力する。
【００３６】
ステップＳ２０７では結果表示部１０８は、高解像度画像、低解像度画像、歪み補正画像、認識結果のうち１以上を表示する。例えば、高解像度画像において認識した対象の領域に枠を付してからこの高解像度画像を表示する。なお、認識や検出した領域（５０２，５０３）に対応する高解像度画像（低解像度画像）上の領域に枠を付す場合、認識や検出した領域に対して上記の歪み補正処理の逆処理を行うことで得られる領域に枠を付す必要がある。
【００３７】
結果表示部１０８による表示例を図６に示す。図６では、表示ウィンドウ６０１の左側に高解像度画像４０１を表示していると共に、この高解像度画像４０１上に物体認識対象範囲４０３の枠を表示している。表示ウィンドウ６０１の右側には歪み補正画像５０１を表示していると共に、この歪み補正画像５０１上に人体認識結果５０２及び顔検出結果５０３を示す枠を表示している。
【００３８】
ステップＳ２０８では結果保存部１０９は、高解像度画像取込部１０２からの高解像度画像、低解像度画像取込部１０３からの低解像度画像、歪み補正部１０６により生成された歪み補正画像、物体認識処理部１０７による認識結果などを保存する。
【００３９】
そして、ユーザが不図示の操作部を操作して終了指示を入力したことを検知した場合等、既定の終了条件が満たされたことを検知した場合には、処理はステップＳ２０９を介して終了する。一方、規定の終了条件が満たされたことを検知していない場合は、処理はステップＳ２０９を介してステップＳ２０１に戻る。
【００４０】
なお、高解像度画像、低解像度画像、歪み補正画像、認識結果の出力先については結果表示部１０８、結果保存部１０９に限るものではなく、例えばネットワークを介して外部の装置に対して送信するようにしてもよい。
【００４１】
［第２の実施形態］
本実施形態に係る画像処理装置を適用した撮像システムの機能構成例について、図７のブロック図を用いて説明する。図７に示した構成は、図１に示した構成から歪み補正部１０６を省くと共に、全方位カメラ部１０１が魚眼レンズを備えたカメラであること以外は、図１に示した構成と同様である。然るに以下では、第１の実施形態と同じ部分については説明を省略し、第１の実施形態と異なる点のみについて説明する。
【００４２】
本実施形態に係る全方位カメラ部１０１は、魚眼レンズを備えたカメラであること以外は、第１の実施形態に係る全方位カメラ部１０１と同様の機能を有する。すなわち、本実施形態に係る全方位カメラ部１０１も、全方位の撮像が可能な撮像装置であって、撮像した画像を高解像度画像として出力すると共に、該高解像度画像よりも低解像度の画像である低解像度画像を出力する撮像装置である。そして本実施形態に係る全方位カメラ部１０１も、撮像した各高解像度画像には、解像度や撮像タイミングを含むメタデータを付加してから出力する。また、本実施形態に係る全方位カメラ部１０１も、各低解像度画像には、解像度や撮像タイミングを含むメタデータを付加してから出力する。
【００４３】
物体認識処理部１０７は、同期部１１０から受けた高解像度画像において、同期部１１０から受けた物体認識対象範囲に対応する領域を特定する。この領域の特定方法については、第１の実施形態と同様にして行う。そして物体認識処理部１０７は、この特定した領域に対して、該領域内の被写体を認識する処理を行う。
【００４４】
次に、全方位カメラ部１０１を除く各部の動作について、図８のフローチャートを用いて説明する。図８において、図２と同じ処理ステップには同じステップ番号を付しており、その説明は省略する。
【００４５】
ステップＳ２１０では物体認識処理部１０７は、同期部１１０から受けた高解像度画像において、同期部１１０から受けた物体認識対象範囲に対応する領域を特定する。そして物体認識処理部１０７は、この特定した領域に対して、該領域内の被写体を認識する処理を行う。
【００４６】
［第３の実施形態］
全方位カメラ部１０１、結果表示部１０８、結果保存部１０９を除く各部は１つの画像処理装置を構成する各ハードウェアとして実装してもよいし、ソフトウェア（コンピュータプログラム）により実装してもよい。後者の場合、画像処理装置が管理するメモリにこのソフトウェアをインストールし、画像処理装置のＣＰＵがこのソフトウェアを実行することで、この画像処理装置は、全方位カメラ部１０１、結果表示部１０８、結果保存部１０９を除く各部の動作を実行する。
【００４７】
［第４の実施形態］
上記の各実施形態では、高解像度画像、低解像度画像は全方位カメラ部１０１から直接取得し、取得したこれらの画像を用いた認識処理について説明した。しかし、システムの構成はこれに限るものではない。
【００４８】
例えば、全方位カメラ部１０１により撮像された各フレームの高解像度画像及び低解像度画像、を予めハードディスク装置やサーバ装置に格納しておく実施形態が考え得る。この場合、高解像度画像取込部１０２、低解像度画像取込部１０３はそれぞれ、有線や無線のネットワークを介してハードディスク装置やサーバ装置から高解像度画像、低解像度画像を取得することになる。
【００４９】
このように、高解像度画像、低解像度画像の取得元には様々なものが考えられるので、それぞれの画像の取得方法は特定の方法に限定されるものではない。
【００５０】
（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【特許請求の範囲】
【請求項１】
全方位の撮像が可能な撮像装置が撮像した画像を高解像度画像として取得すると共に、該高解像度画像から解像度を低下させた画像を低解像度画像として取得する取得手段と、
前記取得手段が取得した低解像度画像から、予め定められた被写体が写っている領域を被写体領域として検出する検出手段と、
前記取得手段が取得した高解像度画像において、前記被写体領域に対応する領域を特定し、該特定した領域に対して、該領域内の被写体を認識する処理を行う認識手段と、
前記認識手段による認識結果を出力する出力手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記認識手段は、前記取得手段が取得した高解像度画像において、前記被写体領域に対応する領域を特定し、該特定した領域に対して幾何的な歪みを補正する歪み補正処理を行い、該歪み補正処理を行った領域内の被写体を認識する処理を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記認識手段は、前記取得手段が取得した高解像度画像において、該高解像度画像の撮像タイミングに最も近いタイミングで撮像された低解像度画像から前記検出手段が検出した被写体領域、に対応する領域を特定し、該特定した領域に対して、該領域内の被写体を認識する処理を行うことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記撮像装置は、全方位の動画像を撮像し、撮像した各フレームの画像を高解像度画像として出力すると共に、該高解像度画像から解像度を低下させた画像を低解像度画像として出力することを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
【請求項５】
前記撮像装置は、回転双曲面、回転放物面、または円錐の形をした全方位ミラー、または、魚眼レンズを有する撮像装置であることを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
【請求項６】
画像処理装置が行う画像処理方法であって、
前記画像処理装置の取得手段が、全方位の撮像が可能な撮像装置が撮像した画像を高解像度画像として取得すると共に、該高解像度画像から解像度を低下させた画像を低解像度画像として取得する取得工程と、
前記画像処理装置の検出手段が、前記取得工程で取得した低解像度画像から、予め定められた被写体が写っている領域を被写体領域として検出する検出工程と、
前記画像処理装置の認識手段が、前記取得工程で取得した高解像度画像において、前記被写体領域に対応する領域を特定し、該特定した領域に対して、該領域内の被写体を認識する処理を行う認識工程と、
前記画像処理装置の出力手段が、前記認識工程による認識結果を出力する出力工程と
を備えることを特徴とする画像処理方法。
【請求項７】
コンピュータを、請求項１乃至５の何れか１項に記載の画像処理装置の各手段として機能させるためのコンピュータプログラム。
【請求項１】
全方位の撮像が可能な撮像装置が撮像した画像を高解像度画像として取得すると共に、該高解像度画像から解像度を低下させた画像を低解像度画像として取得する取得手段と、
前記取得手段が取得した低解像度画像から、予め定められた被写体が写っている領域を被写体領域として検出する検出手段と、
前記取得手段が取得した高解像度画像において、前記被写体領域に対応する領域を特定し、該特定した領域に対して、該領域内の被写体を認識する処理を行う認識手段と、
前記認識手段による認識結果を出力する出力手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記認識手段は、前記取得手段が取得した高解像度画像において、前記被写体領域に対応する領域を特定し、該特定した領域に対して幾何的な歪みを補正する歪み補正処理を行い、該歪み補正処理を行った領域内の被写体を認識する処理を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記認識手段は、前記取得手段が取得した高解像度画像において、該高解像度画像の撮像タイミングに最も近いタイミングで撮像された低解像度画像から前記検出手段が検出した被写体領域、に対応する領域を特定し、該特定した領域に対して、該領域内の被写体を認識する処理を行うことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記撮像装置は、全方位の動画像を撮像し、撮像した各フレームの画像を高解像度画像として出力すると共に、該高解像度画像から解像度を低下させた画像を低解像度画像として出力することを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
【請求項５】
前記撮像装置は、回転双曲面、回転放物面、または円錐の形をした全方位ミラー、または、魚眼レンズを有する撮像装置であることを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
【請求項６】
画像処理装置が行う画像処理方法であって、
前記画像処理装置の取得手段が、全方位の撮像が可能な撮像装置が撮像した画像を高解像度画像として取得すると共に、該高解像度画像から解像度を低下させた画像を低解像度画像として取得する取得工程と、
前記画像処理装置の検出手段が、前記取得工程で取得した低解像度画像から、予め定められた被写体が写っている領域を被写体領域として検出する検出工程と、
前記画像処理装置の認識手段が、前記取得工程で取得した高解像度画像において、前記被写体領域に対応する領域を特定し、該特定した領域に対して、該領域内の被写体を認識する処理を行う認識工程と、
前記画像処理装置の出力手段が、前記認識工程による認識結果を出力する出力工程と
を備えることを特徴とする画像処理方法。
【請求項７】
コンピュータを、請求項１乃至５の何れか１項に記載の画像処理装置の各手段として機能させるためのコンピュータプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１３−９０５０（Ｐ２０１３−９０５０Ａ）
【公開日】平成２５年１月１０日（２０１３．１．１０）
【国際特許分類】
【出願番号】特願２０１１−１３８８９２（Ｐ２０１１−１３８８９２）
【出願日】平成２３年６月２２日（２０１１．６．２２）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２５年１月１０日（２０１３．１．１０）
【国際特許分類】
【出願日】平成２３年６月２２日（２０１１．６．２２）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]