画像生成装置、画像生成方法及びプログラム
【課題】物体検出に適した画像変換処理部を備える撮像装置を提供すること。
【解決手段】画像生成装置１００は、水平方向よりも俯角だけ下向きに設置された撮像装置により撮像された第１の画像から、前記第１の画像が画像変換された第２の画像を生成する画像生成装置１００であって、撮像装置を端点とする、鉛直方向のベクトルと撮像面との交点を通る、第１の画像における直線を特定する特定部１０５ｘと、特定された直線に沿って、第１の画像２の画素をサンプリングすることで、前記第２の画像を生成する画像展開処理部１０３とを備える。
【解決手段】画像生成装置１００は、水平方向よりも俯角だけ下向きに設置された撮像装置により撮像された第１の画像から、前記第１の画像が画像変換された第２の画像を生成する画像生成装置１００であって、撮像装置を端点とする、鉛直方向のベクトルと撮像面との交点を通る、第１の画像における直線を特定する特定部１０５ｘと、特定された直線に沿って、第１の画像２の画素をサンプリングすることで、前記第２の画像を生成する画像展開処理部１０３とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、監視装置等の撮像画像におけるパースペクティブ歪みの補正に関する。
【背景技術】
【０００２】
従来より、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の固体撮像素子を用いた監視装置がある。このような監視装置として、撮像した画像に対して画像処理を行い、画像中の物体、特に人物を検出するようなものが広く用いられている。画像中の人物を検出する方法として、一般的には、非特許文献１のような、統計的学習に基づくパターン認識技術による方法が用いられている。
【０００３】
この手法では、以下の各技術が用いられる。撮像画像から、識別に用いる特徴量を抽出する特徴選択技術が用いられる。選択した特徴量を入力として、対象物であるか否かを判定する識別器を構築する識別器構築技術が用いられる。構築した識別器を使って、画像中の部分領域内に人物が存在するか判定する技術が用いられる。
【０００４】
一般的なレンズを用いた監視装置は、天井等の高い位置に、一定の俯角をつけて設置される。このように、見下ろして撮影した撮像画像には、３次元の被写体を、２次元の撮影素子に投影したことで生じるパースペクティブ歪みが顕著に生じる。これが原因で、直立した同一人物の映像であっても、画像中における、その映像が映る位置が、画像の中心部であるか、端部であるかによって、画像中の、その映像に映された人物の傾きが異なってしまう。つまり、その人物の方向（足元から、頭への方向など）が異なってしまう。
【０００５】
しかし、人物検出用に構築した前記識別器は、画像中において、特定の傾きをもった人物しか検出することができない。よって、監視装置の撮像画像中の全ての人物を、自動的に検出するためには、一般的に、画像中に映りうる、全ての人物の傾きに対応した識別器を作成して、識別器の数だけ判定処理を行う、という方法がとられている。
【０００６】
また、監視装置においては、一つのカメラで全範囲を監視したいというニーズのために、魚眼レンズ・全方位ミラー等を用いた全方位撮像装置を使用することも増えている。全方位撮像装置を用いた監視装置の場合、撮像画像は、円形の特殊な画像となるため、撮像画像に、ある変換処理を行った画像上で検出を行うことが多い。
【０００７】
例えば、非特許文献２では、全方位画像を、物体の縦横比を保持したまま、円形画像の中心を基点として、画像をパノラマ展開している。その結果、展開後の画像では、画像中の人物の上下が等しくなるため、通常のレンズで撮影した画像と同様の処理で検出が行える。
【先行技術文献】
【非特許文献】
【０００８】
【非特許文献１】Dalal、 N. and Triggs、 B.、 “ Histograms of oriented gradients for human detection”、Computer Vision and Pattern Recognition、 2005. IEEEComputer Society Conference、pages：886-893
【非特許文献２】佐藤辰雄、後藤和弘、“全方位カメラのためのパノラマ画像展開”、大分県産業科学技術センター研究報告、巻:2002 頁:9-11
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、識別器を増やした場合、人物検出処理に、多くの記憶領域と処理時間とが必要となってしまうという問題点があった。
【００１０】
また、通常のレンズを用いた監視装置であっても、監視範囲をなるべく広く取るために、広角レンズ（視野角９０度程度）を使用することが多い。しかし、広角レンズを用いた監視装置の場合には、通常のレンズでの場合よりも、パースペクティブ歪みが顕著であるため、撮像画像上の全ての人物を検出しようとした場合、より多くの検出器を用意しなければならい。
【００１１】
さらに、全方位画像に対する画像変換についても、前記非特許文献２では、入力画像は全方位画像であるという前提を置いているため、通常のレンズを用いた撮像装置に対しては、使用できないという課題があった。
【００１２】
本発明は、前記従来の課題を解決するもので、撮像装置の種類によらず、画像中に写される人物の傾きを等しくして、物体検出に適した画像変換処理をする撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００１３】
前記従来の課題を解決するために、本発明の画像生成装置は、水平方向よりも俯角だけ下向きに設置された撮像装置により撮像された第１の画像から、前記第１の画像が画像変換された第２の画像を生成する画像生成装置であって、前記撮像装置を端点とする、鉛直方向のベクトルと、撮像面との交点を通る、前記第１の画像における直線を特定する特定部と、特定された前記直線に沿って、前記第１の画像の画素をサンプリングすることで、前記第２の画像を生成する画像展開処理部とを備える構成を採る。
【００１４】
本構成によって、パースペクティブ歪みや全方位画像の撮像方式に起因する、画像中の映像に写される人物（物体）の傾きを、画像変換によって統一した画像を生成することができる。
【発明の効果】
【００１５】
本発明の撮像装置によれば、出力した画像中では、地面に対して直立している人物（物体）の傾きが統一されているため、物体検出、特に人物検出における特徴量が一つで済むようになる。
【００１６】
また、光学系は、広角レンズに限らず、魚眼レンズ・全方位ミラーであっても、適切な補正画像を出力することができる。
【００１７】
撮像装置の光軸の方向（図８の方向８０４Ｌを参照）が、斜め下向き（図８の説明などを参照）であるにも関わらず、不適切な方向（方向９ｘｄを参照）が特定されてしまうのが回避されて、適切な方向（方向４ｂｄを参照）が特定できる。
【００１８】
これにより、ひいては、光軸の方向が、斜め下向きであるにも関わらず、構成（人物検出器１００ｄを参照）が複雑になるのが回避されて、構成が簡単にできる。
【図面の簡単な説明】
【００１９】
【図１】図１は、実施の形態１における撮像装置の構成を示すブロック図である。
【図２】図２は、実施の形態１における撮像装置の設置の一例を示す図である。
【図３】図３は、実施の形態１における撮像画像の一例を示す図である。
【図４】図４は、レンズによる撮像面への投影を示す図である。
【図５】図５は、ピンホールカメラによる投影の様子を描いた図である。
【図６】図６は、図５の撮像面を仮想視点位置の前側に置いた図である。
【図７】図７は、実施の形態１における撮像画像と、画像変換処理部によって出力される展開画像の一例を示す図である。
【図８】図８は、実施の形態１における撮像画像上にカメラ真下点、等俯角点とそれらを結んだ半直線を描画した図である。
【図９】図９は、実施の形態１における撮像画像上に複数の半直線を描画した図である。
【図１０】図１０は、実施の形態１における画像変換方法を示した図である。
【図１１】図１１は、実施の形態１における画像変換時にサンプリング間隔を一定にした場合の展開画像図である。
【図１２】図１２は、実施の形態１における画像変換時にサンプリング間隔を局所的に縦横比が等しくなるようにした場合の展開画像図である。
【図１３】図１３は、実施の形態１における画像展開時に物体の傾きが統一されることを示す概念図である。
【図１４】図１４は、実施の形態１における撮像装置の動作フロー図である。
【図１５】図１５は、実施の形態２における撮像装置の構成を示すブロック図である。
【図１６】図１６は、魚眼レンズの射影方式を示す図である。
【図１７】図１７は、実施の形態２における撮像画像の一例を示す図である。
【図１８】図１８は、通常のレンズ（中心投影モデル）の射影方式を示す図である。
【図１９】図１９は、本発明の実施の形態２における撮像画像を歪補正部により補正した画像の一例を示す図である。
【発明を実施するための形態】
【００２０】
以下、本発明の実施の形態について、図面を参照しながら説明する。なお、以下で説明する実施の形態は、いずれも本発明の好ましい一具体例を示すものである。以下の実施の形態で示される構成要素、構成要素の接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。本発明は、請求の範囲だけによって限定される。よって、以下の実施の形態における構成要素のうち、本発明の最上位概念を示す独立請求項に記載されていない構成要素については、本発明の課題を達成するのに必ずしも必要ではないが、より好ましい形態を構成するものとして説明される。
【００２１】
実施形態の画像生成装置は、水平方向（図２の方向ｘ）よりも俯角（角度２０１）だけ下向きに設置された撮像装置１０１により撮像された、第１の画像（撮像画像）２から、第１の画像２が画像変換された、第２の画像（展開画像）３を生成する画像生成装置（画像変換装置、コンピュータ、情報処理装置、画像変換処理部）１００であって、撮像装置１０１を端点とする、鉛直方向（図８の方向ｚ）のベクトル（単位カメラ真下ベクトル）８０６と、撮像面８０７との交点（カメラ真下点）８０１を通る、第１の画像２（図２、図７上欄、図８右欄）における直線８０３（図８）を特定する特定部１０５ｘと、特定された直線８０３に沿って、第１の画像２の画素をサンプリングすることで、第２の画像３を生成する画像展開処理部１０３とを備える画像生成装置１００である。
【００２２】
つまり、例えば、直線８０３に含まれる複数の画素が特定されることにより、それら複数の画素からなる直線８０３が特定される。
【００２３】
例えば、上述のサンプリングがされることにより、第２の画像３における、その第２の画像３の上下方向３ｙのライン５ｂＬに含まれる複数の画素は、サンプリングされた、特定される直線８０３に含まれる複数の画素である。つまり、第１の画像２に含まれる、直線８０３Ｌの複数の画素がサンプリングされることにより、その直線８０３の方向８０３Ｌと同じ方向である、第１の映像４ｂＩにおける、人物１００ｈの方向４ｂｄが、上述の適切な方向（方向２ｙ）へと変化される。これにより、第２の映像５ｂＩにおける、人物１００ｈの方向５ｂｄが、変化後の適切な方向（方向２ｙ）であり、検出器の構成が、簡単にされる。
【００２４】
また、例えば、撮像される第１の画像２は、人物４ｂ（図７）が映された映像４ｂＩを含み、映された人物４ｂの足元から頭への方向４ｂｄは、第１の画像２の上下方向２ｙとは異なる方向であり、この異なる方向４ｂｄは、鉛直方向のベクトル８０６と撮像面８０７（撮像面８０７に投影された第１の画像２）との交点８０１と、映像４ｂＩの位置とを通る直線８０３の方向と同じ方向であり、特定部１０５ｘは、この交点８０１を通る直線８０３を特定することにより、特定される直線８０３の方向８０３Ｌを、人物４ｂの方向４ｂｄとして特定し、生成される第２の画像３は、人物４ｂと同じ人物である人物５ｂが映された映像５ｂＩを含み、含まれる映像５ｂＩは、第１の画像２に含まれる映像４ｂＩにおける、特定された方向８０３Ｌ（方向４ｂｄ）が、第２の画像３の上下方向３ｙに変換されることで生成された映像である。
【００２５】
これにより、角度（俯角、設置俯角）２０１だけ下向きに撮像がされるにも関わらず、映像４ｂＩが、映像５ｂＩへと変換され、映像４ｂＩに映された、適切でない方向４ｂｄの人物４ｂの検出がされるのが回避され、映像５ｂＩに映された、適切な方向５ｂｄの人物５ｂの検出がされる。これにより、その検出をする構成（例えば図２の人物検出器１００ｄ）が、簡単にできる。
【００２６】
なお、例えば、適切でない方向は、検出がされる人物である一方の人物（人物４ｂ）以外の他方の人物（人物４ａ）の方向（方向４ａｄ）とは異なる方向などである。
【００２７】
つまり、適切である方向は、一方の人物（人物５ｂ）ではない他方の人物（人物５ａ）の方向（方向５ａｄ）と同じ方向などである。
【００２８】
なお、上述された、画像（第１の画像２、第２の画像３）に映された他の人物の方向（方向４ａｄ、５ａｄ）は、例えば、その画像の上下方向（方向２ｙ、３ｙ）である。
【００２９】
なお、例えば、撮像面８０７は、第１の画像２が投影される面である。この撮像面８０７は、例えば、その撮像面８０７に設けられた撮像素子などに、第１の画像２が撮像されるのに際して、撮像される第１の画像２が投影される面でもよい。また、撮像面８０７は、例えば、撮像素子などが設けられる面ではなく、単に、その面に、撮像素子などが設けられた場合には、設けられた撮像素子へと、第１の画像２が投影されると考えられる面などでもよい。
【００３０】
なお、撮像面８０７は、例えば、その面の中心（図３の位置９ｘを参照）に、撮像装置１０１の光軸（図８のベクトル８０５を参照）が通り、かつ、その面が、その光軸に垂直である面などである。
【００３１】
このため、上述された、その角度だけ、撮像装置１０１が、下向きに設置される上述の角度２０１が、一方の角度２０１ａ（図２）とは異なる他方の角度２０１ｂである場合における撮像面８０７である第１の面は、角度２０１が、一方の角度２０１ａである場合における撮像面８０７である第２の面とは異なる。
【００３２】
つまり、角度２０１が、他方の角度２０１ｂである場合に特定される直線８０３である一方の直線（一方の方向８０３Ｌａを参照）は、一方の角度２０１ａである場合に特定される直線８０３である他方の直線（他方の方向８０３Ｌｂを参照）とは異なる。
【００３３】
角度２０１を示すデータがあってもよい（図１のパラメータ保持部１０４などを参照）
。このデータは、問えば、画像生成装置１００により記憶されてもよいし、撮像装置１０１から、取得部１００ｇ（図２）により取得されてもよい。
【００３４】
なお、取得されるデータ（図２のデータ１０１ｄを参照）により示される角度２０１は、例えば、撮像装置１０１に設けられた検出部（ジャイロなど）１０１ｓにより検出された角度などでもよい。
【００３５】
このデータは、例えば、画像生成装置１００に対して、このシステム１００ｓのユーザなどにより操作がされることにより、画像生成装置１００へ入力されたデータなどでもよい。
【００３６】
取得されるデータにより、一方の角度２０１ａと示される場合には、生成される第２の画像３における、上下方向３ｙのライン５ｂＬに含まれる複数の画素は、第１の画像２に含まれる、その場合に特定される一方の直線に含まれる複数の画素であるなどして、第１の直線の複数の画素から特定される。
【００３７】
他方の角度２０１ｂと示される場合には、生成される第２の画像３における、上下方向３ｙのライン５ｂＬに含まれる複数の画素は、第１の画像２に含まれる、その場合に特定される他方の直線に含まれる複数の画素であるなどして、他方の直線の複数の画素から特定される。
【００３８】
これにより、角度２０１が、一方の角度２０１ａである場合にも、他方の角度２０１ｂである場合にも、生成される第２の画像３が適切な画像にできる。
【００３９】
なお、例えば、角度２０１は、撮像装置１０１が、一方の場所に設置される場合には一方の角度２０１ａである一方で、他方の場所に設置される場合には他方の角度２０１ｂでもよい。
【００４０】
また、例えば、角度２０１は、一方の期間においては一方の角度２０１ａである一方で、一方の期間に続く、一方の期間よりも後の期間などである他方の期間においては他方の角度２０１ｂでもよい。
【００４１】
なお、こうして、第１の画像２の中心の位置９ｘと、第１の映像４ｂＩの位置とを通る線（直線）の方向９ｘｄがある。
【００４２】
この方向９ｘｄは、人物１００ｈがいる空間１００ｒにおける、鉛直方向ｚの上向きの方向（方向ｚの負の方向）を表わす方向ではない、その他の方向である（非特許文献２の先述の「基点」「中心」を参照）。
【００４３】
そこで、この方向９ｘｄが特定されて、特定された方向９ｘｄに基づく処理がされて、その他の方向に基づく処理がされ、行われる処理が、不適切になってしまうことが回避される。
【００４４】
つまり、撮像面８０７へと投影された第１の画像２上における、撮像装置１０１から、鉛直方向ｚの位置８０１と、第１の映像４ｂＩの位置とを通る直線８０３の方向８０３Ｌが特定される。これにより、特定された方向８０３Ｌに基づく処理がされ、行われる処理が、適切にできる。
【００４５】
（実施の形態１）
図１〜図１９を用いて、実施の形態１におけるシステム１００ｓの構成について説明する。
【００４６】
図１は、本発明の実施の形態１におけるシステム１００ｓを示す図である。
【００４７】
システム１００ｓは、画像変換処理部（画像生成装置）１００と、撮像装置１０１とを備える。
【００４８】
図１において、画像変換処理部１００は、撮像装置１０１により撮像された撮像画像（第１の画像）２を入力とし、撮像画像取得部１０２と、画像展開処理部１０３と、パラメータ保持部１０４と、対応点計算部１０５とを有する。
【００４９】
なお、画像変換処理部１００の一部または全部は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭなどを備えるコンピュータでもよい。このコンピュータによりプログラムが実行されることにより、上述の撮像画像取得部１０２の機能などの、画像変換処理部１００に実現される各機能が、この画像変換処理部１００に実現されてもよい。
【００５０】
なお、画像変換処理部１００は、例えば、撮像装置１０１の一部などでもよい。
【００５１】
また、画像変換処理部１００は、例えば、撮像装置１０１の外部に設けられてもよい。例えば、画像変換処理部１００は、撮像装置１０１により撮影されて、監視される、ビルのエントランスなどの空間から離れた空間などに設けられてもよい。離れた空間は、例えば、そのビルの守衛室などでもよい。
【００５２】
撮像装置１０１は、例えば、1台で比較的広い範囲を監視する監視装置である。その場合、撮像装置１０１は、広角レンズ（後述の図２のレンズ１０１Ｌを参照）を用いた監視カメラであり、監視空間の撮影を行う。
【００５３】
図２は、撮像装置１０１の設置の一例を示す図である。
【００５４】
図３は、撮像画像２の一例を示す図である。
【００５５】
図３により、撮像装置１０１を、図２のように、床面１０１ｆより高い位置に、ある程度の設置俯角（角度）２０１を持って設置した場合の撮像画像２の例が示される。撮像画像２は、撮像装置１０１の撮像面８０７（後述の図４〜図６、図８などを参照）に投影された３次元空間情報（画像）をデジタル化して記録したものである。
【００５６】
ここで、撮像面８０７への、３次元空間情報の投影、および、撮像面８０７上の物理座標系と、撮像画像２上の画像座標系との間の変換について簡単に説明する。
【００５７】
図４は、理想的なレンズを用いた撮像装置による投影の様子を示す図である。
【００５８】
３次元空間におけるある点から発せられた光は、撮像面９ａ１１に入射する角度に応じて、撮像面９ａ１１のある一点に集約される。理想的なレンズでは、このようにして、光が集約されて、集光される位置である集光位置の複数個が、ある一つの平面（撮像面９ａ１１）上に集まる。
【００５９】
このため、この平面上に、ＣＣＤ等の撮像素子を設置すれば、ピントの合った画像が得られる。
【００６０】
これら、レンズと撮像素子とによって、３次元空間から２次元空間への投影が起こる。
【００６１】
このとき、撮像装置の幾何学的な性質のみを考えれば、レンズの中心の一点のみに注目することで、この撮像装置は、ピンホールカメラモデルにおけるピンホールカメラに近似できる。
【００６２】
図５は、ピンホールカメラによる投影の様子を描いた図である。
【００６３】
レンズの中心が仮想視点位置９ａ３となり、光の集まる平面が、撮像面９ａ４となる。また、仮想視点位置９ａ３と、撮像面９ａ４との間の距離が、焦点距離である。
【００６４】
図６は、図５の撮像面を、仮想視点位置９ａ３の前側に置いた図である。
【００６５】
図５に示されるように、ピンホールカメラでは、対象物９ａ２が上下逆転して投影されるが、図６に示されるように、撮像面（撮像面９ａ５）を、仮想視点位置９ａ３の前に置くと、像が逆転せず、投影される。撮像面（撮像面９ａ５）を、この図６のように置いても、その撮像面に投影される物体の相似性は保証されるため、今後、撮像面は、対象物９ａ２側に置いて考えることとする。
【００６６】
実際の撮像装置では、撮像面に、ＣＣＤやＣＭＯＳ等の撮像素子を設置することで、撮像素子の各素子に到達した光の強弱といった、アナログな、３次元空間の情報を、デジタル信号に変換し、撮像画像を作成する。
【００６７】
次に、撮像面上の物理座標系と、撮像画像上の画像座標系の間での、座標（座標系）の変換について説明する。
【００６８】
撮像画像上の画像座標系の原点や縦横比等は、物理座標系と無関係に自由に決めることが出来る。
【００６９】
このことより、実際のカメラをモデル化する場合には、物理座標系から画像座標系への変換を考える必要がある。
【００７０】
この変換を行う際には、座標系の原点位置合わせのための平行移動、縦横比や焦点距離に応じたスケール変換定数がわかればよい。
【００７１】
一般的に、これらのパラメータは、内部パラメータと呼ばれ、行列の形で表される。
【００７２】
この行列を用いることで、撮像画像上の画像座標と、撮像面上の物理座標との間での変換をすることができる。これにより、画像中のある画素について考えた場合、物理座標系において、撮像面のどの位置を通って、仮想視点位置に集まった光線の画素なのかが計算で求められる。
【００７３】
画像変換処理部１００において、撮像装置１０１の内部パラメータは、既知であるとする。
【００７４】
このとき、俯角（設置俯角、角度）２０１及び内部パラメータは、パラメータ保持部１０４に保持される。なお、例えば、角度２０１も、内部パラメータの１つでもよい。
【００７５】
撮像装置１０１は、上記のような手順を経て作成された撮像画像２を、撮像画像取得部１０２（図１）を介して、画像展開処理部１０３に送る。
【００７６】
撮像画像取得部１０２とは、例えば、撮像画像２の記録再生部である。
【００７７】
画像展開処理部１０３は、撮像画像取得部１０２から取得した撮像画像２に対して、処理をして、撮像画像（第１の画像）２から、撮像画像２中に写された人物の傾きを統一した展開画像（第２の画像）３を出力する。
【００７８】
図７は、入力された撮像画像２に対応した展開画像（第２の画像）３の一例である。
【００７９】
画像展開処理部１０３は、撮像画像２において、全方位画像のパノラマ展開処理に似た、ある画像変換（以下で詳述）を行うことで、展開画像３を作成する。
【００８０】
このとき、この変換に必要な、画像（撮像画像２、展開画像３）中の各座標は、対応点計算部１０５（図１）が計算する。
【００８１】
画像展開処理の内容について説明する。
【００８２】
図８は、撮像画像２などを示す図である。
図８では、撮像画像２上に、カメラ真下点８０１、等俯角点８０２と、それらを結んだ半直線８０３が描画される。
【００８３】
図９は、撮像画像２上に複数の半直線８０３を描画した図である。
【００８４】
まず、画像変換に必要な対応点の計算方法について、図８、９を用いて説明する。
【００８５】
対応点計算部１０５は、撮像画像２におけるカメラ真下点８０１と、等俯角点８０２とを計算する。
【００８６】
その後、カメラ真下点８０１を端点とし、等俯角点８０２へと、その端点からの線を伸ばす事で、半直線８０３を作る（特定する）。
【００８７】
図８において、８０４は、撮像装置１０１の仮想視点位置（撮像装置１０１の位置）である。８０５は、撮像装置１０１の光軸の方向８０４Ｌの向きの単位ベクトルである単位光軸ベクトルである。８０６は、カメラ設置位置から鉛直真下方向（ｚ方向）を向いた単位ベクトルである単位カメラ真下ベクトルである。
【００８８】
また、撮像画像２が投影される、撮像装置１０１の撮像面を８０７とする。
なお、撮像面８０７は、図６の撮像面と同様の概念であり、実際のカメラ撮像面とは異なるが、この撮像面８０７で得られる画像は、実際のカメラ撮像面での撮像画像２との相似性が保証されている画像である。
【００８９】
このとき、カメラ真下点８０１とは、単位カメラ真下ベクトル８０６と、撮像面８０７との交点位置（図８の位置８０７ａ）を、内部パラメータを用いた座標変換により、撮像画像２上に描画した点である。
【００９０】
同じく、等俯角点８０２とは、単位光軸ベクトル８０５を、ある定められたサンプリング角度９０１（図９）によって、この角度９０１を整数倍した角度だけ、方位角方向に回転したベクトル８０８（図８左欄上段）と、撮像面８０７との交点（位置８０８ｐ）を、座標変換により、撮像画像２上に描画した点である。
なお、図９では、角度９０１が３倍された角度の回転がされたベクトル８０８が例示される。
【００９１】
このサンプリング角度によって、等俯角点の間隔と個数とが決まり、ひいては、半直線の本数が決まる。
【００９２】
なお、図９では、特定される複数の半直線のうちの、１１個の半直線が例示される。
【００９３】
このため、結果として、展開画像３の水平解像度が決まる。
【００９４】
サンプリング角度９０１（図９）は、パラメータ保持部１０４が保持している。
【００９５】
なお、等俯角点８０２を求める際、一例として、単位光軸ベクトル８０５を用いているが、方位角方向に回転した各ベクトルの俯角が同一であれば良く、必ずしも単位光軸ベクトル８０５を用いなくとも良い。なお、このように、例えば、上述の各ベクトルのうちの一方のベクトルの俯角は、他方のベクトルの俯角と同じであり、一方のベクトルは、他方のベクトルが、鉛直方向ｚを回転軸として回転されたベクトルである。
【００９６】
図９では、単位光軸ベクトル８０５を、方位角方向に回転した場合の各ベクトル８０８と、撮像面８０７との交点（等俯角点８０２）を、撮像画像２上に図示している。
【００９７】
なお、図９の等俯角点８０２ｘでは、一例として、単位光軸ベクトル８０５を、０度しか回転させず、そのまま延長した場合の等俯角点８０２を、撮像画像２上に図示している。特定される複数の半直線８０３は、例えば、このような、単位光軸ベクトル８０５がそのまま延長されただけの等俯角点８０２ｘでの半直線８０３を含んでもよい。
【００９８】
図１０は、画像変換方法を示した図である。
【００９９】
次に、半直線８０３の端点であるカメラ真下点８０１、および、複数の等俯角点８０２によって作られる複数の半直線８０３を用いた、展開画像３の作成方法について、図１０を用いて説明する。
【０１００】
まず、１本の半直線８０３について着目すると、図１０のように、撮像画像２上の半直線８０３上を、その撮像画像２上のある間隔で、カメラ真下点８０１側から、等俯角点８０２の方向にサンプリングした結果が、展開画像３の垂直１ライン分（図１０のライン５ｂＬを参照）に対応する。展開画像３上での向きについては、カメラ真下点８０１側が、展開画像３の下側（方向３ｙの負の側）に対応し、等俯角点８０２側が、展開画像３の上側（方向３ｙの正の側）に対応する。
【０１０１】
つまり、撮像画像２における、カメラ真下点８０１から、等俯角点８０２へと向かう向きは、展開画像３における、その展開画像３の下側から上側への向き（方向（上下方向）３ｙの正の向き）へと変換される。
【０１０２】
なお、例えば、展開画像３における、展開画像３の上下方向３ｙのライン５ｂＬがある。
【０１０３】
展開画像３は、このライン５ｂＬ上に、撮像画像２に含まれる、半直線８０３上の画素を含んでもよい。
【０１０４】
つまり、例えば、ライン５ｂＬにおける上述の画素は、半直線８０３上の上述の画素の画素値と同じ画素値、または、近傍の画素値などでもよい。
【０１０５】
近傍の画素値は、例えば、半直線８０３上の上述の画素の画素値に対して、その画素の近傍の画素の画素値へと近づける補正がされた画素値などである。
【０１０６】
展開画像３は、ライン５ｂＬ上に、撮像画像２における、半直線８０３上のそれぞれの画素を含んでもよい。
【０１０７】
撮像画像１は、半直線８０３上における、カメラ真下点８０１により近い側（撮像画像２の上下方向２ｙの負の側）にある一方の画素と、より遠い側（上下方向２ｙにおけるより正の側）にある他方の画素とを含んでもよい。
【０１０８】
展開画像３は、ライン５ｂＬ上における、展開画像３の上下方向３ｙのより負の側に、上述の一方の画素を含み、より正の側に、上述の他方の画素を含んでもよい。
【０１０９】
なお、半直線８０３上のサンプリング間隔（後述の図１２の間隔１２０１、１２０２などを参照）の決め方については後述する。
【０１１０】
複数の半直線８０３上での複数のサンプリング結果を、図１０の上段（撮像画像２）における（１）〜（１１）と、下段（展開画像３）における（１）〜（１１）とに示されるように、処理する。つまり、撮像画像２のカメラ真下点８０１を原点とした、半直線８０３の角度の順序がある。それぞれのサンプリング結果が、そのサンプリング結果のサンプリングがされた半直線８０３の順序と同じ順序で、展開画像３に含まれる。つまり、半直線８０３の順序と同じ順序で、それらの、複数の半直線８０３での複数のサンプリング結果が、水平方向（左右方向３ｘの方向）に、左から右へと並べられることで、展開画像３が作成される。
【０１１１】
つまり、撮像画像２における半直線８０３の順序（上段の（１）〜（１１））がある。
展開画像３におけるライン５ｂＬの順序（下段の（１）〜（１１））がある。
【０１１２】
例えば、より早い順序の半直線８０３における画素（サンプリング結果）が、より早い順序のライン５ｂＬに含まれてもよい。
【０１１３】
また、展開画像３の水平解像度は、半直線８０３の個数によって決まり、図１０では、一部の半直線８０３しか図示していないが、実際には、展開画像３の水平解像度分だけの個数の半直線８０３を作成している。
【０１１４】
図１１は、画像変換時に、サンプリング間隔（間隔９ｂ）を一定にした場合の展開画像３である展開画像３ｐなどを示す図である。
【０１１５】
図１２は、画像変換時にサンプリング間隔を、局所的に縦横比が等しくなるようにした場合の展開画像３である展開画像３ｑなどを示す図である。
【０１１６】
ここで、上記サンプリング間隔の決定方法の一例について、図１１、図１２を用いて説明する。
【０１１７】
展開画像３における、縦方向（図１０の上下方向３ｙの方向）の解像度は、撮像画像２中の半直線８０３上のサンプリング間隔で決まる。
【０１１８】
また、横方向の解像度は、半直線８０３の本数、つまり等俯角点８０２の数によって決まる。
【０１１９】
よって、単純にサンプリング間隔を、図１１のように、一定の値にしてしまうと、同一人物の縦横比が、展開画像３の複数の領域のうちで、その人物が写された領域が何れであるかによって変化してしまう（図１１の展開画像３ｐを参照）。
【０１２０】
なお、例えば図１１の展開画像３ｐに示されるように、図１１のより下側の領域である、上下方向３ｙの比較的負の側の領域では、横方向（左右方向３ｘ）の長さに対する、縦方向（上下方向３ｙ）の長さの比が比較的大きい。
【０１２１】
一方で、より上側の領域である、上下方向３ｙの比較的正の側の領域では、この比が比較的小さい。
【０１２２】
その結果、人物検出に必要な識別器の数が多くなってしまい、画像変換を行う意味がなくなってしまう。
【０１２３】
なお、例えば、より下側の領域での検出のための識別器と共に、より上側の領域での検出のための識別器が必要で、必要な識別器の数が多くなってしまう。
【０１２４】
そこで、図１２のように、局所領域での、半径方向（半直線８０３の方向）の半径方向サンプリング間隔１２０１と、円周方向（半直線８０３の端点である点８０１を中心とする周回り方向）の円周方向サンプリング間隔１２０２を等しくして（例えば、図１２の２つのΔｒに示されるように、１：１の比にして）、半直線８０３の本数と、半直線８０３上のサンプリング間隔とを、それぞれ独立に定めないようにする。すると、それぞれ独立に定めた場合よりも、人物の縦横比が、より十分に保存された、より適切な展開画像３（図１２の展開画像３ｑ）を作成することができる。
【０１２５】
その結果、展開画像３は、図１２の展開画像３ｑで示されるようになり、人物検出の検出器を減らすことが出来る。
【０１２６】
図１３は、傾きが統一されることを示す概念図である。
【０１２７】
また、カメラ真下点８０１と各等俯角点８０２とを結んだ半直線８０３について、図１３に示すように、地面に鉛直な物体もしくは人物は、撮像画像２において、必ず、この半直線８０３に沿って撮像される。つまり、展開画像３に写された人物等（人物４ｂなど）の方向（図３の方向４ｂｄ）は、その人物等の位置を通る半直線８０３の方向８０３Ｌ（図１３）と同じ方向である。
【０１２８】
よって、半直線８０３上に沿ったサンプリングを行い、その半直線８０３上の複数の画素をサンプリングする（抽出する）ことで、その人物等の、画像中の位置によらず、その人物等（物体）の傾きが統一されて、同じにされた展開画像３を作成することが出来る。
【０１２９】
次に、以上の構成を有する画像変換処理部１００の動作について説明する。
【０１３０】
図１４は、画像変換処理部１００の動作説明に供するフロー図である。
【０１３１】
なお、後で詳しく説明されるように、例えば、角度２０１（図２）が、変更前における角度（一方の角度２０１ａ）から、変更後における角度（他方の角度２０１ｂ）へと変更されてもよい。つまり、先述のように、撮像装置１０１は、水平方向ｘ（図２）よりも、俯角の角度２０１だけ下向きに設置される。例えば、設置された撮像装置１０１の光軸の向きが、上述された、下向きの向きである。この角度２０１が、変更されてもよい。説明される図１４の処理は、例えば、設置される角度が、変更後の角度（角度２０１ｂ）へと変更された際などに、変更後の角度２０１（角度２０１ｂ）に基づいて行われてもよい。
【０１３２】
ステップＳＴ１４０１で、対応点計算部１０５は、設置俯角２０１（変更後の角度２０１ａ）、および、内部パラメータを用いて、撮像画像２中のカメラ真下点８０１（上述）を求める。
【０１３３】
ステップＳＴ１４０２で、対応点計算部１０５は、設置俯角２０１、内部パラメータ、サンプリング角度９０１（図９）を用いて、撮像画像２中の各等俯角点８０２を求める。
【０１３４】
ステップＳＴ１４０３で、画像展開処理部１０３は、撮像画像取得部１０２から受け取った撮像画像２を基に、対応点計算部１０５で計算したカメラ真下点８０１、および、等俯角点８０２（図１の情報４）を用いて、展開画像３を作成する。
【０１３５】
本実施の形態１により、監視装置における撮像画像２中の位置によらず、その位置の物体や人物の傾きを、それぞれの他の位置での人物などの傾きと統一し、同じにした画像（図１０等の第２の画像３など）を作成することができる。これにより、物体検出、特に人物検出における特徴量が一つで済むようになるため、検出処理が容易になる。
【０１３６】
以上、本発明の実施の形態１におけるシステム１００ｓについて説明したが、本発明はこの実施の形態に限定されるものではない。
【０１３７】
例えば、図１において、撮像装置１０１は、広角レンズを用いた監視カメラと説明したが、双曲面鏡等全方位ミラーを用いて、全方位を撮像する監視カメラでもよく、画像上のカメラ真下点と等俯角点群とが計算できれば良い。この場合、撮像画像中のカメラ真下点と等俯角点とは、光線ベクトルの反射計算により計算することが出来る。
【０１３８】
（実施の形態２）
図１５は、システム１５００ｓの構成を示すブロック図である。
【０１３９】
図１５を用いて、実施の形態２におけるシステム１５００ｓの構成について説明する。
【０１４０】
なお、図１５において、図１と同じ構成要素については同じ符号を用い、適宜、詳細な説明を省略する。
【０１４１】
図１５により、本発明の実施の形態２における、画像変換処理部１５００と、魚眼レンズ撮像装置１５０１とが示される。
【０１４２】
図１５において、１５０２は、画像歪補正部である。
【０１４３】
魚眼レンズ撮像装置１５０１は、通常のレンズの代わりに魚眼レンズを用いることで（図２のレンズ１０１Ｌを参照）、より広い範囲を撮像可能とした撮像装置である。
【０１４４】
図１６は、等距離射影の魚眼レンズにおける入射光線９ｐの、撮像面９ｑへの射影状態をモデル化した図である。
【０１４５】
ｆ１を、魚眼レンズの焦点距離、光線の入射角（天頂角）をθ、方位角をφとしたとき、等距離射影の場合の、撮像面９ｑの中心からの距離Ｌ１は、入射角θに比例するように定められる。
【０１４６】
従って、式（１）のように、βとθの関係を定めた場合、Ｌ１とβには、式（２）の関係がある。
【０１４７】
また、Ｌ１と、撮像面座標Ｐ１＝（ｘ１、ｙ１）との間には、式（３）、（４）の関係がある。
【０１４８】
なお、ほとんどの魚眼レンズでは、等距離射影方式が採用されている。
【０１４９】
【数１】
【０１５０】
図１７は、撮像画像２ｈの一例を示す図である。
【０１５１】
等距離射影方式の魚眼レンズ撮像装置１５０１を、図３の撮像画像２を撮影した撮像装置１０１と同等の条件で設置した場合の魚眼レンズ撮像画像２ｈの例を図１７に示す。
【０１５２】
図１７のように、等距離射影方式の魚眼レンズを用いて撮像した画像は、魚眼レンズ特有の歪みが生じるが、下記に示す変換を行うことで、歪みを補正した画像を生成することができる。
【０１５３】
図１８は、中心射影方式のレンズにおける、入射光線の射影状態を表した図である。
【０１５４】
ここで、焦点距離ｆ２の、中心射影方式のレンズを考えた場合、撮像面中心からの距離Ｌ２は、以下の式（５）で表され、Ｌ２と撮像面座標Ｐ２＝（ｘ２、ｙ２）との間には、式（６）、（７）の関係がある。
【０１５５】
【数２】
【０１５６】
ここで、式（１）、式（２）と式（５）とより、Ｌ１とＬ２には以下の関係式（８）が成り立つ。
【０１５７】
【数３】
【０１５８】
上記（６）、（７）、（８）式より、各レンズの焦点距離が既知であり、かつ、光線の入射角・方位角が等しい場合、撮像面座標Ｐ１に対応する撮像面座標Ｐ２を変換することが可能となる。カメラの内部パラメータが既知であれば、撮像面座標から画像座標に変換することが出来るため、等距離射影方式の魚眼レンズで撮影した画像を、中心射影方式のレンズで撮影した画像に変換することができる。
【０１５９】
図１９は、補正した画像の一例を示す図である。
【０１６０】
上記の変換を用いて図１７の画像を変換した歪補正画像２ｉの例を図１９に示す。図１９を見ると、歪補正を行うことで、広角レンズで撮影した撮像画像である、図３の撮像画像２と同じ画像が作成できていることがわかる。
【０１６１】
以上の様に、魚眼レンズ撮像装置１５０１で撮影した魚眼レンズ撮像画像２ｈに対しても、画像歪補正部１５０２を備えることで、歪みのない画像（撮像画像２ｉ）を作成することができる。
【０１６２】
よって、以後は、実施の形態１と同様の処理を行うことで、撮像画像２ｉ中の位置によらず、物体や人物の傾きを統一した画像を作成することができる。
【０１６３】
なお、こうして、例えば、次の動作が行われてもよい。
【０１６４】
つまり、撮像画像２が撮像されてもよい（図１の撮像装置１０１、図２、図３等を参照）。
【０１６５】
そして、撮像画像２が、地面（図２等）よりも高い箇所から、水平（図８の方向ｘ）よりも俯角２０１（図８、図２など）だけ下側の向きが撮像された画像でもよい。
【０１６６】
つまり、例えば、撮像装置１０１は、監視カメラなどである。
【０１６７】
しかしながら、撮像された、このような撮像画像２に対して、先述された、人物の検出などの処理がされることが考えられる。
【０１６８】
つまり、例えば、撮像画像２は、一方の映像（例えば図７の第１の映像４ａＩなど）だけでなく、他方の映像（他方の映像４ｂＩなど）も含む。
【０１６９】
一方の映像は、鉛直方向（人物の足元から頭への向き、図８のｚ方向の負の向き）が、上下方向２ｙの向き（下から上への向き）に写された映像である。
【０１７０】
そして、他方の映像は、鉛直方向（図８のｚ方向の負の向き）が、上述された、上下方向２ｙの向き（下から上への向き）以外のその他の向き（斜めの向き）（図７の他方の映像４ｂＩでは、斜め右上への方向４ｂｄ）に写された映像である。
【０１７１】
このため、例えば、先述のように、このような他方の映像での処理に適する余計な識別器が必要になるなどして、構成が複雑になってしまう恐れがある。
【０１７２】
そこで、撮像画像２から展開画像３（図７下段など）が生成されてもよい（画像展開処理部１０３、図１４のＳＴ１４０３）。
【０１７３】
つまり、この生成により、上述のその他の方向である、鉛直方向が写された方向（方向４ｂｄ）が、他方の映像における方向（方向４ｂｄ）から、生成される展開画像３における、当該展開画像３の上下方向３ｙと同じ方向５ｂｄ（図１０下段の、ライン５ｂＬの方向）へと変化してもよい。
【０１７４】
なお、展開画像３は、例えば、撮像画像２に対して、この変化が生じる変形が加えられた画像などでもよい。
【０１７５】
なお、例えば、展開画像３に表れた、方向５ｂｄが、その人物の（足元から頭への）方向である人物（図２の人物１００ｈを参照）は、撮像画像２に表れた、方向４ｂｄが、その人物の方向である人物と同じ人物である。
【０１７６】
なお、具体的には、先述のように、方向４ｂｄ（図１０の半直線８０３Ｌ）に沿って、それぞれの画素がサンプリングされることにより、この生成がされてもよい。
【０１７７】
なお、例えば、撮像画像２が展開画像３へと変換されてもよい。
【０１７８】
そして、この変化の前の撮像画像２に対して、人物の検出などの処理がされず、変化の後の展開画像３に対して、人物の検出などの処理がされてもよい。
【０１７９】
これにより、展開画像３への処理がされ、例えば、余計な識別器が必要になるのが回避されるなどで、構成が簡単にできる。
【０１８０】
しかしながら、上述された、鉛直方向（図８の方向ｚ）が写された方向４ｂｄの向きが特定されるのに際して、例えば、撮像画像２の解析などの処理において、複雑な処理がされて、十分に、構成が簡単にできない恐れがあることに気付く。
【０１８１】
そこで、撮像画像２における、撮像装置１０１の鉛直方向（図８のｚ方向）の箇所が撮像されたカメラ真下点８０１（図８、図９など）があることに気付く。
【０１８２】
つまり、このカメラ真下点８０１から他方の映像（他方の映像４ｂＩ）への方向（図１０の半直線８０３の方向８０３Ｌ）は、他方の映像における、鉛直方向（方向ｚ）が写された方向４ｂｄ（図７など）と同じ方向であることに気付く。
【０１８３】
そこで、カメラ真下点８０１が特定されてもよい（対応点計算部１０５、ＳＴ１４０１）。
【０１８４】
つまり、これにより、特定されるカメラ真下点８０１から他方の映像への方向（半直線８０３の方向８０３Ｌ）が、鉛直上向きが写された方向４ｂｄと特定されてもよい。
【０１８５】
そして、特定された方向４ｂｄに基づいて、この方向４ｂｄが、先述の方向３ｙへと変化した（変換された）展開画像３が生成されてもよい。
【０１８６】
これにより、単に、カメラ真下点８０１が特定されるなどだけの簡単な処理で済み、複雑な処理がされず、十分に（大幅に）、構成が簡単にできる。
【０１８７】
なお、例えばある局面などで次の動作がされてもよい。
【０１８８】
すなわち、撮像装置１０１により、第１の画像（撮像画像）２が撮像されてもよい。
【０１８９】
撮像される第１の画像２は、第１の映像４ｂＩ（図７）を含んでもよい。
【０１９０】
含まれる第１の映像４ｂＩには、人物４ｂが映される。
【０１９１】
一方、撮像をする撮像装置１０１は、水平方向（図２の方向ｘ）よりも、俯角の角度２０１だけ下向きに設置される。なお、例えば、撮像装置１０１の光軸の方向は、このような、角度２０１だけ下向きの方向である。
【０１９２】
このため、上述の映像４ｂＩにおける、この映像４ｂＩに写された人物４ｂの足元から頭への方向４ｂｄは、第１の画像２における、他の映像４ａＩにおける、他の映像４ａＩに映された人物５ａの足元から頭への方向４ａｄとは異なり、この方向４ａｄとはズレた方向である。
【０１９３】
なお、上述の方向４ａｄは、図７などで示されるように、例えば、この第１の画像２の上下方向２ｙと同じ方向などである。
【０１９４】
そこで、撮像された第１の画像２における、次のような点（カメラ真下点）８０１があることに着目される。
【０１９５】
点８０１は、第１の画像２の面である、第１の画像２が投影される（映される）面（撮像面）８０７に対して、撮像装置１０１から鉛直下向きに延びる線（図８の単位カメラ真下ベクトル８０６を参照）が交わる点である。
【０１９６】
つまり、この点８０１を通る線（直線）８０３（図８など）の方向８０３Ｌは、上述された、ズレた方向である、一方の映像４ｂＩにおける、人物４ｂの方向４ｂｄと同じ方向である。
【０１９７】
そこで、上述の線８０３の方向８０３Ｌが、特定部１０５ｘ（図１）により特定されてもよい。
【０１９８】
つまり、例えば、線８０３に含まれる複数の画素が特定されて、特定される複数の画素が構成する線が、線８０３と特定されることにより、その線８０３の方向が特定されてもよい。
【０１９９】
第１の画像２から、第２の画像３が生成されてもよい。
【０２００】
生成される第２の画像３は、第２の映像５ｂＩを含む。
【０２０１】
含まれる第２の映像５ｂＩは、上述の第１の映像４ｂＩにおける、特定された方向（方向８０３Ｌ）が、次の方向（方向３ｙ）へと変換された映像である。
【０２０２】
その方向とは、第２の画像３に含まれる、上述の他の映像４ａＩに映された人物５ａと同じ人物である人物５ａが映された、上述の映像５ｂＩ以外の他の映像５ａＩにおける、その人物５ａの足元から頭への方向５ａｄである。
【０２０３】
なお、この方向５ａｄは、例えば、第２の画像３の上下方向３ｙと同じ方向である。
【０２０４】
第２の画像３における、人物５ｂの位置が、人物１０１ｈ（図２）の位置として、人物検出器により検出されてもよい。
【０２０５】
なお、この人物検出器は、例えば、画像変換処理部１００が備える人物検出器１００ｄ（図２）である。
【０２０６】
これにより、例えば、この人物検出器が、上述の人物５ａの検出をする人物検出器と同じであるなどにより、人物５ｂの検出をする人物検出器の構成が簡単にできる。
【０２０７】
なお、例えば、撮像装置１０１により、撮像装置１０１が備えるレンズ１０１Ｌで、第１の画像２が撮像されてもよい。
【０２０８】
上述のレンズ１０１Ｌが、広角レンズでもよい。
【０２０９】
つまり、例えば、３５ｍｍ判換算で、焦点距離６０ｍｍの標準的なレンズの水平角は、約３９．６度である。
【０２１０】
上述の広角レンズとは、このような標準的なレンズの画角よりも広い画角のレンズなどをいう。
【０２１１】
なお、第１の画像２における画素と、第２の画像３における画素との対応関係を示すデータ（上述の角度２０１など）が、特定部１０５ｘ（パラメータ保持部１０４）により記憶されてもよい。
【０２１２】
生成される第２の画像３には、第１の画像２に含まれる画素の画素値から特定される画素値の画素が、次の画素として含まれてもよい。その画素とは、第１の画像２の上述の画素に対して、記憶されるデータの対応関係が対応付ける画素である。
【０２１３】
なお、上述された、第１の画像２に含まれる画素の画素値から特定される画素値は、例えば、第１の画像２の画素の上述の画素値と同じ画素値でもよいし、第１の画像２に含まれる画素の上述の画素値と、その画素の近傍の画素の画素値との平均の画素値などでもよい。
【０２１４】
これにより、第１の画像２における、第１の映像４ｂＩでの、人物１００ｈの方向４ｂｄが、第２の画像３における、第２の映像５ｂＩでの、人物１００ｈの方向５ｂｄへと変換された第２の画像２が生成されてもよい。
【０２１５】
なお、角度２０１を示すデータ１０１ｄが、画像変換処理部１００の取得部１００ｇにより取得されてもよい。
【０２１６】
この取得は、例えば、撮像装置１０１が設置された角度２０１が、他方の角度２０１ｂ以外の他の角度である一方の角度２０１ａから、他方の角度２０１ｂへと変更される際などに行われてもよいし、撮像装置１０１が設置される際に行われてもよい。
【０２１７】
示される角度２０１が一方の角度２０１ａである場合には、一方の角度２０１ａだけ下向きに撮像装置１０１が設置される際における撮像面８０７での交点８０１に基づいて、上述の処理がされてもよい。
【０２１８】
他方の角度２０１ｂである場合には、他方の角度２０１ｂだけ下向きに設置される際における撮像面８０７での交点８０１に基づいて、上述の処理がされてもよい
【０２１９】
これにより、一方の角度２０１ａで設置される場合にも、他方の角度２０１ｂで設置される場合にも、適切な第２の画像３が生成され、生成される第２の画像３が確実に適切にできる。
【０２２０】
なお、取得されるデータ１０１ｄは、例えば、画像変換処理部１００に対する、ユーザの操作がされることにより、ユーザによって画像変換処理部１００へと入力されたデータなどでもよい。
【０２２１】
他方、このデータ１０１ｄは、撮像装置１０１から取得されてもよい。
例えば、撮像装置１０１が、ジャイロなどの、撮像装置１０１の俯角の角度を検出する検出部１０１ｓを備えてもよい。
【０２２２】
この検出部１０１ｓにより検出された角度を、上述の角度２０１として示すデータ１０１ｄが、取得部１００ｇにより取得されてもよい。
【０２２３】
なお、例えば、データ１０１ｄが取得された際に、記憶される上述のデータが、撮像装置１０１が設置される角度が、取得されたデータ１０１ｄにより示される角度２０１である際に適切なデータへと更新されてもよい。
【０２２４】
この更新がされた後には、先述の処理として、更新後のデータに基づく処理がされてもよい。
【０２２５】
これにより、上述の更新後に再度、データ１０１ｄ取得される必要がなく、処理が比較的簡単にできる。
【０２２６】
なお、このように、それぞれの半直線８０３について、以下の通りである。
【０２２７】
つまり、生成される第２の画像３における、その半直線８０３の順序と同じ順序（先述）のライン５ｂＬ（図１０）がある。
【０２２８】
第２の画像３に含まれる、同じ順序のライン５ｂＬの複数の画素が、第１の画像２に含まれる、その半直線８０３の複数の画素などの、その半直線８０３のそれらの複数の画素から特定される複数の画素である。
【０２２９】
なお、例えば、半直線８０３の画素から特定、ライン５ｂＬの画素が特定される。半直線８０３の画素の、半直線８０３の複数の画素のうちにおける順序が、より後の順序（点８０１から離れる方の順序）であるほど、その画素から特定される、ライン５ｂＬの画素の順序は、より後の順序（方向３ｙのより正の側の順序）である。
【０２３０】
例えば、これにより、生成される第２の画像３には、第１の画像２の何れの映像（映像４ａＩ、４ｂＩなど）に映された人物（人物４ａ、４ｂ）についても、その人物（人物５ａ、５ｂ）の映像を含んでもよい。
【０２３１】
これにより、第２の画像３には、何れの人物も写されて、何れの人物の検出も成功し、確実に、人物の検出に成功できる。
【０２３２】
また、次の動作がされてもよい。
【０２３３】
つまり、上述のようにして、第１の画像２における、点８０１（図１０など）を通る直線８０３上のそれぞれの画素である、図１２の第１の画素９ｂ１（画素９ｂｎ、９ｂｆなど）がある。
【０２３４】
また、その直線８０３条の第２の画素９ｂ２がある。
【０２３５】
例えば、第１の画素９ｂ１から特定される、第２の画像３の画素に対して、第２の画素９ｂ２から特定される、第２の画像３の画素は、第２の画像３の上下方向３ｙから隣接する。
【０２３６】
第１の画素９ｂ１と、第２の画素９ｂ２との間の第１の間隔１２０１がある。
【０２３７】
図１２で示されるように、例えば、点８０１に対して比較的遠い画素９ｂｆである第１の画素９ｂ１での間隔１２０１は、比較的近い画素９ｂｎである第１の画素９ｂ１での間隔１２０１よりも広くてもよい。
【０２３８】
これにより、より広くはない場合に生成される第２の画像３（図１１の第２の画像３ｐを参照）よりも適切な第２の画像３（図１２の第２の画像３ｑを参照）が、第２の画像３として生成され、生成される第２の画像３がより適切にできる。
【０２３９】
一方、上述された、第１の画素９ｂ１（画素９ｂｎ、９ｂｆ）がある直線８０３以外の他の直線８０３上の第３の画素９ｂ３もある。
【０２４０】
例えば、第１の画素９ｂ１から特定される上述の画素に対して、この第３の画素９ｂ３から特定される、第２の画像３における画素が、第２の画像３の左右方向３ｘから隣接する。
【０２４１】
第１の画素９ｂ１と、この第３の画素９ｂ３との間の間隔１２０２がある。
【０２４２】
遠い方の第１の画素９ｂ１（画素９ｂｆ）での間隔１２０２は、近い方の第１の画素９ｂ１（画素９ｂｎ）での間隔１２０２よりも広い（図１２を参照）。
【０２４３】
遠い方の第１の画素９ｂ１（画素９ｂｆ）における、間隔１２０１と間隔１２０２との比は、近い方の第１の画素９ｂ１（画素９ｂｎ）における、間隔１２０１と間隔１２０２との比と同じもよい。
【０２４４】
なお、この比は、例えば、図１２に示される２つの「Δｒ」の記号で示されるように、例えば、「１：１」の比などである。
【０２４５】
つまり、それぞれの第１の画素９ｂ１（近い方の画素９ｂｎ、遠い方の画素９ｂｆ）における間隔１２０１は、その第１の画素９ｂ１における間隔１２０２と同じでもよい。
【０２４６】
これにより、遠い方の第１の画素９ｂ１（画素９ｂｆ）での間隔１２０１は、近い方の第１の画素９ｂ１（画素９ｂｎ）での間隔１２０１よりも広くてもよい。
【０２４７】
なお、例えば、特定部１０５ｘにより、第２の画像３の画素に対応する、第１の画像２の画素が特定されてもよい（対応点計算部１０５を参照）。
【０２４８】
特定部１０５ｘにより、第２の画像３の画素の画素値が、その画素に対応する、第１の画像２の画素の画素値から特定されてもよい。
【０２４９】
なお、第２の画像３の画素に対応する、第１の画像２の画素として、２つ以上の画素が特定されて、第２の画像３の画素の画素値が、それらの２つ以上の画素の画素値から特定されてもよい。
【０２５０】
なお、例えば、撮像面８０７上の点の第１の座標と、撮像面８０７の法線ベクトルと、撮像装置１０１の第２の座標と、撮像装置１０１の光軸の方向８０４Ｌとを示すデータが、特定部１０５ｘにより記憶されてもよい（パラメータ保持部１０４を参照）。
【０２５１】
示される第１の座標の点を通る、示される法線ベクトルの面と、示される第２の座標を通る、示される方向８０４Ｌの線（直線）との交点の位置が、位置８０１として特定されてもよい。
【０２５２】
なお、この特定は、この種の特定をする、数学の分野における公式の計算がされることにより、特定されてもよい。
【０２５３】
なお、こうして特定される位置８０１は、示される方向８０４Ｌが、俯角の角度２０１が一方の角度２０１ａである場合の一方の方向である場合には、一方の位置であると共に、他方の角度２０１ｂである場合の他方の方向である場合には、他方の位置でもよい。
【０２５４】
方向８０３Ｌとして、位置８０１として一方の位置が特定された場合には、その一方の位置を通る線８０３である一方の線の方向８０３Ｌａが特定され、他方の位置が特定された場合には、その他方の位置を通る線８０３である他方の線の方向８０３Ｌｂが特定されてもよい。
【０２５５】
こうして、第１の画像２の中心の位置９ｘを通る線の方向９ｘｄが特定されるのが回避されて、人物１００ｈがいる空間１０１ｒの鉛直方向ｚの上向きの方向が映された方向４ｂｄ以外の他の方向が特定されて、不適切な方向が特定されてしまうのが回避される。
【０２５６】
つまり、撮像装置１０１の、鉛直方向の下向きの位置８０１を通る線８０３（一方の線、または、他方の線）の方向８０３Ｌａ（一方の方向８０３Ｌａ、または、他方の方向８０３Ｌｂ）が特定されて、適切な方向が特定される。
【０２５７】
これにより、図２の３人の人物１００ｈのうちの最も左の人物１００ｈなどの、撮像装置１０１から比較的遠い人物１００ｈがいて、光軸の方向８０４Ｌが、鉛直方向ｚの下向きの方向でなく、水平方向ｘから、俯角の角度２０１だけ下向きの、斜め下向きの方向であるにも関わらず、適切な動作がされる。つまり、その動作では、不適切な方向９ｘｄが特定されてしまうのが回避され、適切な方向４ｂｄ（一方の方向８０３Ｌａ、または、他方の方向８０３Ｌｂ）が特定できる。
【０２５８】
これにより、ひいては、特定される方向に基づいて、適切な第２の映像５ｂＩが含まれる第２の画像３が生成されて、この第２の画像３から、第２の映像５ｂＩが検出される。これにより、画像（第２の画像３）から、人物１００ｈが映された映像（第２の映像５ｂＩ）を検出する検出器（人物検出器１００ｄ）の構成が複雑であることが回避され、簡単にされる。
【０２５９】
これにより、光軸の方向８０４Ｌが、斜め下向きであるにも関わらず、構成が複雑になるのが回避されて、簡単にできる。
【０２６０】
しかも、上述のような、斜め下向きである際における角度２０１としては、一方の角度２０１ａのみがあるのでなく、他方の角度２０１ｂともあるにも関わらず、次の動作がされる。
【０２６１】
その動作では、角度２０１が一方の角度２０１ａである場合に、方向８０３Ｌとして、一方の方向８０３Ｌａが特定されて、適切な方向が特定されるだけに止まらない。
【０２６２】
つまり、角度２０１が、他方の角度２０１ｂである場合にも、方向８０３Ｌとして、他方の方向８０３Ｌｂが特定されて、適切な方向が特定される。
【０２６３】
これにより、比較的確実に、適切な方向が特定できる。
【０２６４】
こうして複数の構成（画像展開処理部１０３など）が組合わせられ、組合わせからの相乗効果が生じる。これに対し、知られる先行例では、これら複数の構成のうちの一部または全部を欠き、相乗効果は生じない。この点で、本技術は、先行例に対して相違する。
【０２６５】
なお、本発明は、装置として実現できるだけでなく、その装置を構成する処理手段をステップとする方法として実現したり、それらステップをコンピュータに実行させるプログラムとして実現したり、そのプログラムを記録したコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体として実現したり、そのプログラムを示す情報、データ又は信号として実現したりすることもできる。そして、それらプログラム、情報、データ及び信号は、インターネット等の通信ネットワークを介して配信してもよい。
【産業上の利用可能性】
【０２６６】
出力した画像（図１０の展開画像３）中では、地面に対して直立している物体の傾きが統一されているため、物体検出、特に人物検出における特徴量が一つで済むようになる。
【０２６７】
撮像装置１０１および画像変換処理部１００を備えるシステム１００ｓの利便性が向上できる。
【０２６８】
光軸の方向８０４Ｌが、斜め下向きであるにも関わらず、構成が複雑になるのが回避されて、構成が簡単にできる。
【符号の説明】
【０２６９】
２ 撮像画像
３ 展開画像
１００ 画像変換処理部
１０１ 撮像装置
１０２ 撮像画像取得部
１０３ 画像展開処理部
１０４ パラメータ保持部
１０５ 対応点計算部
２０１ 設置俯角
８０１ カメラ真下点
８０２ 等俯角点
８０３ 半直線
８０４ 仮想視点位置
８０５ 単位光軸ベクトル
８０６ 単位カメラ真下ベクトル
８０７ 撮像面
９０１ サンプリング角度
１２０１ 半径方向サンプリング間隔
１２０２ 円周方向サンプリング間隔
１５００ 画像変換処理部
１５０１ 魚眼レンズ撮像装置
１５０２ 画像歪補正部
１７０１ 魚眼レンズ撮像画像
１９０１ 歪補正画像
【技術分野】
【０００１】
本発明は、監視装置等の撮像画像におけるパースペクティブ歪みの補正に関する。
【背景技術】
【０００２】
従来より、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の固体撮像素子を用いた監視装置がある。このような監視装置として、撮像した画像に対して画像処理を行い、画像中の物体、特に人物を検出するようなものが広く用いられている。画像中の人物を検出する方法として、一般的には、非特許文献１のような、統計的学習に基づくパターン認識技術による方法が用いられている。
【０００３】
この手法では、以下の各技術が用いられる。撮像画像から、識別に用いる特徴量を抽出する特徴選択技術が用いられる。選択した特徴量を入力として、対象物であるか否かを判定する識別器を構築する識別器構築技術が用いられる。構築した識別器を使って、画像中の部分領域内に人物が存在するか判定する技術が用いられる。
【０００４】
一般的なレンズを用いた監視装置は、天井等の高い位置に、一定の俯角をつけて設置される。このように、見下ろして撮影した撮像画像には、３次元の被写体を、２次元の撮影素子に投影したことで生じるパースペクティブ歪みが顕著に生じる。これが原因で、直立した同一人物の映像であっても、画像中における、その映像が映る位置が、画像の中心部であるか、端部であるかによって、画像中の、その映像に映された人物の傾きが異なってしまう。つまり、その人物の方向（足元から、頭への方向など）が異なってしまう。
【０００５】
しかし、人物検出用に構築した前記識別器は、画像中において、特定の傾きをもった人物しか検出することができない。よって、監視装置の撮像画像中の全ての人物を、自動的に検出するためには、一般的に、画像中に映りうる、全ての人物の傾きに対応した識別器を作成して、識別器の数だけ判定処理を行う、という方法がとられている。
【０００６】
また、監視装置においては、一つのカメラで全範囲を監視したいというニーズのために、魚眼レンズ・全方位ミラー等を用いた全方位撮像装置を使用することも増えている。全方位撮像装置を用いた監視装置の場合、撮像画像は、円形の特殊な画像となるため、撮像画像に、ある変換処理を行った画像上で検出を行うことが多い。
【０００７】
例えば、非特許文献２では、全方位画像を、物体の縦横比を保持したまま、円形画像の中心を基点として、画像をパノラマ展開している。その結果、展開後の画像では、画像中の人物の上下が等しくなるため、通常のレンズで撮影した画像と同様の処理で検出が行える。
【先行技術文献】
【非特許文献】
【０００８】
【非特許文献１】Dalal、 N. and Triggs、 B.、 “ Histograms of oriented gradients for human detection”、Computer Vision and Pattern Recognition、 2005. IEEEComputer Society Conference、pages：886-893
【非特許文献２】佐藤辰雄、後藤和弘、“全方位カメラのためのパノラマ画像展開”、大分県産業科学技術センター研究報告、巻:2002 頁:9-11
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、識別器を増やした場合、人物検出処理に、多くの記憶領域と処理時間とが必要となってしまうという問題点があった。
【００１０】
また、通常のレンズを用いた監視装置であっても、監視範囲をなるべく広く取るために、広角レンズ（視野角９０度程度）を使用することが多い。しかし、広角レンズを用いた監視装置の場合には、通常のレンズでの場合よりも、パースペクティブ歪みが顕著であるため、撮像画像上の全ての人物を検出しようとした場合、より多くの検出器を用意しなければならい。
【００１１】
さらに、全方位画像に対する画像変換についても、前記非特許文献２では、入力画像は全方位画像であるという前提を置いているため、通常のレンズを用いた撮像装置に対しては、使用できないという課題があった。
【００１２】
本発明は、前記従来の課題を解決するもので、撮像装置の種類によらず、画像中に写される人物の傾きを等しくして、物体検出に適した画像変換処理をする撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００１３】
前記従来の課題を解決するために、本発明の画像生成装置は、水平方向よりも俯角だけ下向きに設置された撮像装置により撮像された第１の画像から、前記第１の画像が画像変換された第２の画像を生成する画像生成装置であって、前記撮像装置を端点とする、鉛直方向のベクトルと、撮像面との交点を通る、前記第１の画像における直線を特定する特定部と、特定された前記直線に沿って、前記第１の画像の画素をサンプリングすることで、前記第２の画像を生成する画像展開処理部とを備える構成を採る。
【００１４】
本構成によって、パースペクティブ歪みや全方位画像の撮像方式に起因する、画像中の映像に写される人物（物体）の傾きを、画像変換によって統一した画像を生成することができる。
【発明の効果】
【００１５】
本発明の撮像装置によれば、出力した画像中では、地面に対して直立している人物（物体）の傾きが統一されているため、物体検出、特に人物検出における特徴量が一つで済むようになる。
【００１６】
また、光学系は、広角レンズに限らず、魚眼レンズ・全方位ミラーであっても、適切な補正画像を出力することができる。
【００１７】
撮像装置の光軸の方向（図８の方向８０４Ｌを参照）が、斜め下向き（図８の説明などを参照）であるにも関わらず、不適切な方向（方向９ｘｄを参照）が特定されてしまうのが回避されて、適切な方向（方向４ｂｄを参照）が特定できる。
【００１８】
これにより、ひいては、光軸の方向が、斜め下向きであるにも関わらず、構成（人物検出器１００ｄを参照）が複雑になるのが回避されて、構成が簡単にできる。
【図面の簡単な説明】
【００１９】
【図１】図１は、実施の形態１における撮像装置の構成を示すブロック図である。
【図２】図２は、実施の形態１における撮像装置の設置の一例を示す図である。
【図３】図３は、実施の形態１における撮像画像の一例を示す図である。
【図４】図４は、レンズによる撮像面への投影を示す図である。
【図５】図５は、ピンホールカメラによる投影の様子を描いた図である。
【図６】図６は、図５の撮像面を仮想視点位置の前側に置いた図である。
【図７】図７は、実施の形態１における撮像画像と、画像変換処理部によって出力される展開画像の一例を示す図である。
【図８】図８は、実施の形態１における撮像画像上にカメラ真下点、等俯角点とそれらを結んだ半直線を描画した図である。
【図９】図９は、実施の形態１における撮像画像上に複数の半直線を描画した図である。
【図１０】図１０は、実施の形態１における画像変換方法を示した図である。
【図１１】図１１は、実施の形態１における画像変換時にサンプリング間隔を一定にした場合の展開画像図である。
【図１２】図１２は、実施の形態１における画像変換時にサンプリング間隔を局所的に縦横比が等しくなるようにした場合の展開画像図である。
【図１３】図１３は、実施の形態１における画像展開時に物体の傾きが統一されることを示す概念図である。
【図１４】図１４は、実施の形態１における撮像装置の動作フロー図である。
【図１５】図１５は、実施の形態２における撮像装置の構成を示すブロック図である。
【図１６】図１６は、魚眼レンズの射影方式を示す図である。
【図１７】図１７は、実施の形態２における撮像画像の一例を示す図である。
【図１８】図１８は、通常のレンズ（中心投影モデル）の射影方式を示す図である。
【図１９】図１９は、本発明の実施の形態２における撮像画像を歪補正部により補正した画像の一例を示す図である。
【発明を実施するための形態】
【００２０】
以下、本発明の実施の形態について、図面を参照しながら説明する。なお、以下で説明する実施の形態は、いずれも本発明の好ましい一具体例を示すものである。以下の実施の形態で示される構成要素、構成要素の接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。本発明は、請求の範囲だけによって限定される。よって、以下の実施の形態における構成要素のうち、本発明の最上位概念を示す独立請求項に記載されていない構成要素については、本発明の課題を達成するのに必ずしも必要ではないが、より好ましい形態を構成するものとして説明される。
【００２１】
実施形態の画像生成装置は、水平方向（図２の方向ｘ）よりも俯角（角度２０１）だけ下向きに設置された撮像装置１０１により撮像された、第１の画像（撮像画像）２から、第１の画像２が画像変換された、第２の画像（展開画像）３を生成する画像生成装置（画像変換装置、コンピュータ、情報処理装置、画像変換処理部）１００であって、撮像装置１０１を端点とする、鉛直方向（図８の方向ｚ）のベクトル（単位カメラ真下ベクトル）８０６と、撮像面８０７との交点（カメラ真下点）８０１を通る、第１の画像２（図２、図７上欄、図８右欄）における直線８０３（図８）を特定する特定部１０５ｘと、特定された直線８０３に沿って、第１の画像２の画素をサンプリングすることで、第２の画像３を生成する画像展開処理部１０３とを備える画像生成装置１００である。
【００２２】
つまり、例えば、直線８０３に含まれる複数の画素が特定されることにより、それら複数の画素からなる直線８０３が特定される。
【００２３】
例えば、上述のサンプリングがされることにより、第２の画像３における、その第２の画像３の上下方向３ｙのライン５ｂＬに含まれる複数の画素は、サンプリングされた、特定される直線８０３に含まれる複数の画素である。つまり、第１の画像２に含まれる、直線８０３Ｌの複数の画素がサンプリングされることにより、その直線８０３の方向８０３Ｌと同じ方向である、第１の映像４ｂＩにおける、人物１００ｈの方向４ｂｄが、上述の適切な方向（方向２ｙ）へと変化される。これにより、第２の映像５ｂＩにおける、人物１００ｈの方向５ｂｄが、変化後の適切な方向（方向２ｙ）であり、検出器の構成が、簡単にされる。
【００２４】
また、例えば、撮像される第１の画像２は、人物４ｂ（図７）が映された映像４ｂＩを含み、映された人物４ｂの足元から頭への方向４ｂｄは、第１の画像２の上下方向２ｙとは異なる方向であり、この異なる方向４ｂｄは、鉛直方向のベクトル８０６と撮像面８０７（撮像面８０７に投影された第１の画像２）との交点８０１と、映像４ｂＩの位置とを通る直線８０３の方向と同じ方向であり、特定部１０５ｘは、この交点８０１を通る直線８０３を特定することにより、特定される直線８０３の方向８０３Ｌを、人物４ｂの方向４ｂｄとして特定し、生成される第２の画像３は、人物４ｂと同じ人物である人物５ｂが映された映像５ｂＩを含み、含まれる映像５ｂＩは、第１の画像２に含まれる映像４ｂＩにおける、特定された方向８０３Ｌ（方向４ｂｄ）が、第２の画像３の上下方向３ｙに変換されることで生成された映像である。
【００２５】
これにより、角度（俯角、設置俯角）２０１だけ下向きに撮像がされるにも関わらず、映像４ｂＩが、映像５ｂＩへと変換され、映像４ｂＩに映された、適切でない方向４ｂｄの人物４ｂの検出がされるのが回避され、映像５ｂＩに映された、適切な方向５ｂｄの人物５ｂの検出がされる。これにより、その検出をする構成（例えば図２の人物検出器１００ｄ）が、簡単にできる。
【００２６】
なお、例えば、適切でない方向は、検出がされる人物である一方の人物（人物４ｂ）以外の他方の人物（人物４ａ）の方向（方向４ａｄ）とは異なる方向などである。
【００２７】
つまり、適切である方向は、一方の人物（人物５ｂ）ではない他方の人物（人物５ａ）の方向（方向５ａｄ）と同じ方向などである。
【００２８】
なお、上述された、画像（第１の画像２、第２の画像３）に映された他の人物の方向（方向４ａｄ、５ａｄ）は、例えば、その画像の上下方向（方向２ｙ、３ｙ）である。
【００２９】
なお、例えば、撮像面８０７は、第１の画像２が投影される面である。この撮像面８０７は、例えば、その撮像面８０７に設けられた撮像素子などに、第１の画像２が撮像されるのに際して、撮像される第１の画像２が投影される面でもよい。また、撮像面８０７は、例えば、撮像素子などが設けられる面ではなく、単に、その面に、撮像素子などが設けられた場合には、設けられた撮像素子へと、第１の画像２が投影されると考えられる面などでもよい。
【００３０】
なお、撮像面８０７は、例えば、その面の中心（図３の位置９ｘを参照）に、撮像装置１０１の光軸（図８のベクトル８０５を参照）が通り、かつ、その面が、その光軸に垂直である面などである。
【００３１】
このため、上述された、その角度だけ、撮像装置１０１が、下向きに設置される上述の角度２０１が、一方の角度２０１ａ（図２）とは異なる他方の角度２０１ｂである場合における撮像面８０７である第１の面は、角度２０１が、一方の角度２０１ａである場合における撮像面８０７である第２の面とは異なる。
【００３２】
つまり、角度２０１が、他方の角度２０１ｂである場合に特定される直線８０３である一方の直線（一方の方向８０３Ｌａを参照）は、一方の角度２０１ａである場合に特定される直線８０３である他方の直線（他方の方向８０３Ｌｂを参照）とは異なる。
【００３３】
角度２０１を示すデータがあってもよい（図１のパラメータ保持部１０４などを参照）
。このデータは、問えば、画像生成装置１００により記憶されてもよいし、撮像装置１０１から、取得部１００ｇ（図２）により取得されてもよい。
【００３４】
なお、取得されるデータ（図２のデータ１０１ｄを参照）により示される角度２０１は、例えば、撮像装置１０１に設けられた検出部（ジャイロなど）１０１ｓにより検出された角度などでもよい。
【００３５】
このデータは、例えば、画像生成装置１００に対して、このシステム１００ｓのユーザなどにより操作がされることにより、画像生成装置１００へ入力されたデータなどでもよい。
【００３６】
取得されるデータにより、一方の角度２０１ａと示される場合には、生成される第２の画像３における、上下方向３ｙのライン５ｂＬに含まれる複数の画素は、第１の画像２に含まれる、その場合に特定される一方の直線に含まれる複数の画素であるなどして、第１の直線の複数の画素から特定される。
【００３７】
他方の角度２０１ｂと示される場合には、生成される第２の画像３における、上下方向３ｙのライン５ｂＬに含まれる複数の画素は、第１の画像２に含まれる、その場合に特定される他方の直線に含まれる複数の画素であるなどして、他方の直線の複数の画素から特定される。
【００３８】
これにより、角度２０１が、一方の角度２０１ａである場合にも、他方の角度２０１ｂである場合にも、生成される第２の画像３が適切な画像にできる。
【００３９】
なお、例えば、角度２０１は、撮像装置１０１が、一方の場所に設置される場合には一方の角度２０１ａである一方で、他方の場所に設置される場合には他方の角度２０１ｂでもよい。
【００４０】
また、例えば、角度２０１は、一方の期間においては一方の角度２０１ａである一方で、一方の期間に続く、一方の期間よりも後の期間などである他方の期間においては他方の角度２０１ｂでもよい。
【００４１】
なお、こうして、第１の画像２の中心の位置９ｘと、第１の映像４ｂＩの位置とを通る線（直線）の方向９ｘｄがある。
【００４２】
この方向９ｘｄは、人物１００ｈがいる空間１００ｒにおける、鉛直方向ｚの上向きの方向（方向ｚの負の方向）を表わす方向ではない、その他の方向である（非特許文献２の先述の「基点」「中心」を参照）。
【００４３】
そこで、この方向９ｘｄが特定されて、特定された方向９ｘｄに基づく処理がされて、その他の方向に基づく処理がされ、行われる処理が、不適切になってしまうことが回避される。
【００４４】
つまり、撮像面８０７へと投影された第１の画像２上における、撮像装置１０１から、鉛直方向ｚの位置８０１と、第１の映像４ｂＩの位置とを通る直線８０３の方向８０３Ｌが特定される。これにより、特定された方向８０３Ｌに基づく処理がされ、行われる処理が、適切にできる。
【００４５】
（実施の形態１）
図１〜図１９を用いて、実施の形態１におけるシステム１００ｓの構成について説明する。
【００４６】
図１は、本発明の実施の形態１におけるシステム１００ｓを示す図である。
【００４７】
システム１００ｓは、画像変換処理部（画像生成装置）１００と、撮像装置１０１とを備える。
【００４８】
図１において、画像変換処理部１００は、撮像装置１０１により撮像された撮像画像（第１の画像）２を入力とし、撮像画像取得部１０２と、画像展開処理部１０３と、パラメータ保持部１０４と、対応点計算部１０５とを有する。
【００４９】
なお、画像変換処理部１００の一部または全部は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭなどを備えるコンピュータでもよい。このコンピュータによりプログラムが実行されることにより、上述の撮像画像取得部１０２の機能などの、画像変換処理部１００に実現される各機能が、この画像変換処理部１００に実現されてもよい。
【００５０】
なお、画像変換処理部１００は、例えば、撮像装置１０１の一部などでもよい。
【００５１】
また、画像変換処理部１００は、例えば、撮像装置１０１の外部に設けられてもよい。例えば、画像変換処理部１００は、撮像装置１０１により撮影されて、監視される、ビルのエントランスなどの空間から離れた空間などに設けられてもよい。離れた空間は、例えば、そのビルの守衛室などでもよい。
【００５２】
撮像装置１０１は、例えば、1台で比較的広い範囲を監視する監視装置である。その場合、撮像装置１０１は、広角レンズ（後述の図２のレンズ１０１Ｌを参照）を用いた監視カメラであり、監視空間の撮影を行う。
【００５３】
図２は、撮像装置１０１の設置の一例を示す図である。
【００５４】
図３は、撮像画像２の一例を示す図である。
【００５５】
図３により、撮像装置１０１を、図２のように、床面１０１ｆより高い位置に、ある程度の設置俯角（角度）２０１を持って設置した場合の撮像画像２の例が示される。撮像画像２は、撮像装置１０１の撮像面８０７（後述の図４〜図６、図８などを参照）に投影された３次元空間情報（画像）をデジタル化して記録したものである。
【００５６】
ここで、撮像面８０７への、３次元空間情報の投影、および、撮像面８０７上の物理座標系と、撮像画像２上の画像座標系との間の変換について簡単に説明する。
【００５７】
図４は、理想的なレンズを用いた撮像装置による投影の様子を示す図である。
【００５８】
３次元空間におけるある点から発せられた光は、撮像面９ａ１１に入射する角度に応じて、撮像面９ａ１１のある一点に集約される。理想的なレンズでは、このようにして、光が集約されて、集光される位置である集光位置の複数個が、ある一つの平面（撮像面９ａ１１）上に集まる。
【００５９】
このため、この平面上に、ＣＣＤ等の撮像素子を設置すれば、ピントの合った画像が得られる。
【００６０】
これら、レンズと撮像素子とによって、３次元空間から２次元空間への投影が起こる。
【００６１】
このとき、撮像装置の幾何学的な性質のみを考えれば、レンズの中心の一点のみに注目することで、この撮像装置は、ピンホールカメラモデルにおけるピンホールカメラに近似できる。
【００６２】
図５は、ピンホールカメラによる投影の様子を描いた図である。
【００６３】
レンズの中心が仮想視点位置９ａ３となり、光の集まる平面が、撮像面９ａ４となる。また、仮想視点位置９ａ３と、撮像面９ａ４との間の距離が、焦点距離である。
【００６４】
図６は、図５の撮像面を、仮想視点位置９ａ３の前側に置いた図である。
【００６５】
図５に示されるように、ピンホールカメラでは、対象物９ａ２が上下逆転して投影されるが、図６に示されるように、撮像面（撮像面９ａ５）を、仮想視点位置９ａ３の前に置くと、像が逆転せず、投影される。撮像面（撮像面９ａ５）を、この図６のように置いても、その撮像面に投影される物体の相似性は保証されるため、今後、撮像面は、対象物９ａ２側に置いて考えることとする。
【００６６】
実際の撮像装置では、撮像面に、ＣＣＤやＣＭＯＳ等の撮像素子を設置することで、撮像素子の各素子に到達した光の強弱といった、アナログな、３次元空間の情報を、デジタル信号に変換し、撮像画像を作成する。
【００６７】
次に、撮像面上の物理座標系と、撮像画像上の画像座標系の間での、座標（座標系）の変換について説明する。
【００６８】
撮像画像上の画像座標系の原点や縦横比等は、物理座標系と無関係に自由に決めることが出来る。
【００６９】
このことより、実際のカメラをモデル化する場合には、物理座標系から画像座標系への変換を考える必要がある。
【００７０】
この変換を行う際には、座標系の原点位置合わせのための平行移動、縦横比や焦点距離に応じたスケール変換定数がわかればよい。
【００７１】
一般的に、これらのパラメータは、内部パラメータと呼ばれ、行列の形で表される。
【００７２】
この行列を用いることで、撮像画像上の画像座標と、撮像面上の物理座標との間での変換をすることができる。これにより、画像中のある画素について考えた場合、物理座標系において、撮像面のどの位置を通って、仮想視点位置に集まった光線の画素なのかが計算で求められる。
【００７３】
画像変換処理部１００において、撮像装置１０１の内部パラメータは、既知であるとする。
【００７４】
このとき、俯角（設置俯角、角度）２０１及び内部パラメータは、パラメータ保持部１０４に保持される。なお、例えば、角度２０１も、内部パラメータの１つでもよい。
【００７５】
撮像装置１０１は、上記のような手順を経て作成された撮像画像２を、撮像画像取得部１０２（図１）を介して、画像展開処理部１０３に送る。
【００７６】
撮像画像取得部１０２とは、例えば、撮像画像２の記録再生部である。
【００７７】
画像展開処理部１０３は、撮像画像取得部１０２から取得した撮像画像２に対して、処理をして、撮像画像（第１の画像）２から、撮像画像２中に写された人物の傾きを統一した展開画像（第２の画像）３を出力する。
【００７８】
図７は、入力された撮像画像２に対応した展開画像（第２の画像）３の一例である。
【００７９】
画像展開処理部１０３は、撮像画像２において、全方位画像のパノラマ展開処理に似た、ある画像変換（以下で詳述）を行うことで、展開画像３を作成する。
【００８０】
このとき、この変換に必要な、画像（撮像画像２、展開画像３）中の各座標は、対応点計算部１０５（図１）が計算する。
【００８１】
画像展開処理の内容について説明する。
【００８２】
図８は、撮像画像２などを示す図である。
図８では、撮像画像２上に、カメラ真下点８０１、等俯角点８０２と、それらを結んだ半直線８０３が描画される。
【００８３】
図９は、撮像画像２上に複数の半直線８０３を描画した図である。
【００８４】
まず、画像変換に必要な対応点の計算方法について、図８、９を用いて説明する。
【００８５】
対応点計算部１０５は、撮像画像２におけるカメラ真下点８０１と、等俯角点８０２とを計算する。
【００８６】
その後、カメラ真下点８０１を端点とし、等俯角点８０２へと、その端点からの線を伸ばす事で、半直線８０３を作る（特定する）。
【００８７】
図８において、８０４は、撮像装置１０１の仮想視点位置（撮像装置１０１の位置）である。８０５は、撮像装置１０１の光軸の方向８０４Ｌの向きの単位ベクトルである単位光軸ベクトルである。８０６は、カメラ設置位置から鉛直真下方向（ｚ方向）を向いた単位ベクトルである単位カメラ真下ベクトルである。
【００８８】
また、撮像画像２が投影される、撮像装置１０１の撮像面を８０７とする。
なお、撮像面８０７は、図６の撮像面と同様の概念であり、実際のカメラ撮像面とは異なるが、この撮像面８０７で得られる画像は、実際のカメラ撮像面での撮像画像２との相似性が保証されている画像である。
【００８９】
このとき、カメラ真下点８０１とは、単位カメラ真下ベクトル８０６と、撮像面８０７との交点位置（図８の位置８０７ａ）を、内部パラメータを用いた座標変換により、撮像画像２上に描画した点である。
【００９０】
同じく、等俯角点８０２とは、単位光軸ベクトル８０５を、ある定められたサンプリング角度９０１（図９）によって、この角度９０１を整数倍した角度だけ、方位角方向に回転したベクトル８０８（図８左欄上段）と、撮像面８０７との交点（位置８０８ｐ）を、座標変換により、撮像画像２上に描画した点である。
なお、図９では、角度９０１が３倍された角度の回転がされたベクトル８０８が例示される。
【００９１】
このサンプリング角度によって、等俯角点の間隔と個数とが決まり、ひいては、半直線の本数が決まる。
【００９２】
なお、図９では、特定される複数の半直線のうちの、１１個の半直線が例示される。
【００９３】
このため、結果として、展開画像３の水平解像度が決まる。
【００９４】
サンプリング角度９０１（図９）は、パラメータ保持部１０４が保持している。
【００９５】
なお、等俯角点８０２を求める際、一例として、単位光軸ベクトル８０５を用いているが、方位角方向に回転した各ベクトルの俯角が同一であれば良く、必ずしも単位光軸ベクトル８０５を用いなくとも良い。なお、このように、例えば、上述の各ベクトルのうちの一方のベクトルの俯角は、他方のベクトルの俯角と同じであり、一方のベクトルは、他方のベクトルが、鉛直方向ｚを回転軸として回転されたベクトルである。
【００９６】
図９では、単位光軸ベクトル８０５を、方位角方向に回転した場合の各ベクトル８０８と、撮像面８０７との交点（等俯角点８０２）を、撮像画像２上に図示している。
【００９７】
なお、図９の等俯角点８０２ｘでは、一例として、単位光軸ベクトル８０５を、０度しか回転させず、そのまま延長した場合の等俯角点８０２を、撮像画像２上に図示している。特定される複数の半直線８０３は、例えば、このような、単位光軸ベクトル８０５がそのまま延長されただけの等俯角点８０２ｘでの半直線８０３を含んでもよい。
【００９８】
図１０は、画像変換方法を示した図である。
【００９９】
次に、半直線８０３の端点であるカメラ真下点８０１、および、複数の等俯角点８０２によって作られる複数の半直線８０３を用いた、展開画像３の作成方法について、図１０を用いて説明する。
【０１００】
まず、１本の半直線８０３について着目すると、図１０のように、撮像画像２上の半直線８０３上を、その撮像画像２上のある間隔で、カメラ真下点８０１側から、等俯角点８０２の方向にサンプリングした結果が、展開画像３の垂直１ライン分（図１０のライン５ｂＬを参照）に対応する。展開画像３上での向きについては、カメラ真下点８０１側が、展開画像３の下側（方向３ｙの負の側）に対応し、等俯角点８０２側が、展開画像３の上側（方向３ｙの正の側）に対応する。
【０１０１】
つまり、撮像画像２における、カメラ真下点８０１から、等俯角点８０２へと向かう向きは、展開画像３における、その展開画像３の下側から上側への向き（方向（上下方向）３ｙの正の向き）へと変換される。
【０１０２】
なお、例えば、展開画像３における、展開画像３の上下方向３ｙのライン５ｂＬがある。
【０１０３】
展開画像３は、このライン５ｂＬ上に、撮像画像２に含まれる、半直線８０３上の画素を含んでもよい。
【０１０４】
つまり、例えば、ライン５ｂＬにおける上述の画素は、半直線８０３上の上述の画素の画素値と同じ画素値、または、近傍の画素値などでもよい。
【０１０５】
近傍の画素値は、例えば、半直線８０３上の上述の画素の画素値に対して、その画素の近傍の画素の画素値へと近づける補正がされた画素値などである。
【０１０６】
展開画像３は、ライン５ｂＬ上に、撮像画像２における、半直線８０３上のそれぞれの画素を含んでもよい。
【０１０７】
撮像画像１は、半直線８０３上における、カメラ真下点８０１により近い側（撮像画像２の上下方向２ｙの負の側）にある一方の画素と、より遠い側（上下方向２ｙにおけるより正の側）にある他方の画素とを含んでもよい。
【０１０８】
展開画像３は、ライン５ｂＬ上における、展開画像３の上下方向３ｙのより負の側に、上述の一方の画素を含み、より正の側に、上述の他方の画素を含んでもよい。
【０１０９】
なお、半直線８０３上のサンプリング間隔（後述の図１２の間隔１２０１、１２０２などを参照）の決め方については後述する。
【０１１０】
複数の半直線８０３上での複数のサンプリング結果を、図１０の上段（撮像画像２）における（１）〜（１１）と、下段（展開画像３）における（１）〜（１１）とに示されるように、処理する。つまり、撮像画像２のカメラ真下点８０１を原点とした、半直線８０３の角度の順序がある。それぞれのサンプリング結果が、そのサンプリング結果のサンプリングがされた半直線８０３の順序と同じ順序で、展開画像３に含まれる。つまり、半直線８０３の順序と同じ順序で、それらの、複数の半直線８０３での複数のサンプリング結果が、水平方向（左右方向３ｘの方向）に、左から右へと並べられることで、展開画像３が作成される。
【０１１１】
つまり、撮像画像２における半直線８０３の順序（上段の（１）〜（１１））がある。
展開画像３におけるライン５ｂＬの順序（下段の（１）〜（１１））がある。
【０１１２】
例えば、より早い順序の半直線８０３における画素（サンプリング結果）が、より早い順序のライン５ｂＬに含まれてもよい。
【０１１３】
また、展開画像３の水平解像度は、半直線８０３の個数によって決まり、図１０では、一部の半直線８０３しか図示していないが、実際には、展開画像３の水平解像度分だけの個数の半直線８０３を作成している。
【０１１４】
図１１は、画像変換時に、サンプリング間隔（間隔９ｂ）を一定にした場合の展開画像３である展開画像３ｐなどを示す図である。
【０１１５】
図１２は、画像変換時にサンプリング間隔を、局所的に縦横比が等しくなるようにした場合の展開画像３である展開画像３ｑなどを示す図である。
【０１１６】
ここで、上記サンプリング間隔の決定方法の一例について、図１１、図１２を用いて説明する。
【０１１７】
展開画像３における、縦方向（図１０の上下方向３ｙの方向）の解像度は、撮像画像２中の半直線８０３上のサンプリング間隔で決まる。
【０１１８】
また、横方向の解像度は、半直線８０３の本数、つまり等俯角点８０２の数によって決まる。
【０１１９】
よって、単純にサンプリング間隔を、図１１のように、一定の値にしてしまうと、同一人物の縦横比が、展開画像３の複数の領域のうちで、その人物が写された領域が何れであるかによって変化してしまう（図１１の展開画像３ｐを参照）。
【０１２０】
なお、例えば図１１の展開画像３ｐに示されるように、図１１のより下側の領域である、上下方向３ｙの比較的負の側の領域では、横方向（左右方向３ｘ）の長さに対する、縦方向（上下方向３ｙ）の長さの比が比較的大きい。
【０１２１】
一方で、より上側の領域である、上下方向３ｙの比較的正の側の領域では、この比が比較的小さい。
【０１２２】
その結果、人物検出に必要な識別器の数が多くなってしまい、画像変換を行う意味がなくなってしまう。
【０１２３】
なお、例えば、より下側の領域での検出のための識別器と共に、より上側の領域での検出のための識別器が必要で、必要な識別器の数が多くなってしまう。
【０１２４】
そこで、図１２のように、局所領域での、半径方向（半直線８０３の方向）の半径方向サンプリング間隔１２０１と、円周方向（半直線８０３の端点である点８０１を中心とする周回り方向）の円周方向サンプリング間隔１２０２を等しくして（例えば、図１２の２つのΔｒに示されるように、１：１の比にして）、半直線８０３の本数と、半直線８０３上のサンプリング間隔とを、それぞれ独立に定めないようにする。すると、それぞれ独立に定めた場合よりも、人物の縦横比が、より十分に保存された、より適切な展開画像３（図１２の展開画像３ｑ）を作成することができる。
【０１２５】
その結果、展開画像３は、図１２の展開画像３ｑで示されるようになり、人物検出の検出器を減らすことが出来る。
【０１２６】
図１３は、傾きが統一されることを示す概念図である。
【０１２７】
また、カメラ真下点８０１と各等俯角点８０２とを結んだ半直線８０３について、図１３に示すように、地面に鉛直な物体もしくは人物は、撮像画像２において、必ず、この半直線８０３に沿って撮像される。つまり、展開画像３に写された人物等（人物４ｂなど）の方向（図３の方向４ｂｄ）は、その人物等の位置を通る半直線８０３の方向８０３Ｌ（図１３）と同じ方向である。
【０１２８】
よって、半直線８０３上に沿ったサンプリングを行い、その半直線８０３上の複数の画素をサンプリングする（抽出する）ことで、その人物等の、画像中の位置によらず、その人物等（物体）の傾きが統一されて、同じにされた展開画像３を作成することが出来る。
【０１２９】
次に、以上の構成を有する画像変換処理部１００の動作について説明する。
【０１３０】
図１４は、画像変換処理部１００の動作説明に供するフロー図である。
【０１３１】
なお、後で詳しく説明されるように、例えば、角度２０１（図２）が、変更前における角度（一方の角度２０１ａ）から、変更後における角度（他方の角度２０１ｂ）へと変更されてもよい。つまり、先述のように、撮像装置１０１は、水平方向ｘ（図２）よりも、俯角の角度２０１だけ下向きに設置される。例えば、設置された撮像装置１０１の光軸の向きが、上述された、下向きの向きである。この角度２０１が、変更されてもよい。説明される図１４の処理は、例えば、設置される角度が、変更後の角度（角度２０１ｂ）へと変更された際などに、変更後の角度２０１（角度２０１ｂ）に基づいて行われてもよい。
【０１３２】
ステップＳＴ１４０１で、対応点計算部１０５は、設置俯角２０１（変更後の角度２０１ａ）、および、内部パラメータを用いて、撮像画像２中のカメラ真下点８０１（上述）を求める。
【０１３３】
ステップＳＴ１４０２で、対応点計算部１０５は、設置俯角２０１、内部パラメータ、サンプリング角度９０１（図９）を用いて、撮像画像２中の各等俯角点８０２を求める。
【０１３４】
ステップＳＴ１４０３で、画像展開処理部１０３は、撮像画像取得部１０２から受け取った撮像画像２を基に、対応点計算部１０５で計算したカメラ真下点８０１、および、等俯角点８０２（図１の情報４）を用いて、展開画像３を作成する。
【０１３５】
本実施の形態１により、監視装置における撮像画像２中の位置によらず、その位置の物体や人物の傾きを、それぞれの他の位置での人物などの傾きと統一し、同じにした画像（図１０等の第２の画像３など）を作成することができる。これにより、物体検出、特に人物検出における特徴量が一つで済むようになるため、検出処理が容易になる。
【０１３６】
以上、本発明の実施の形態１におけるシステム１００ｓについて説明したが、本発明はこの実施の形態に限定されるものではない。
【０１３７】
例えば、図１において、撮像装置１０１は、広角レンズを用いた監視カメラと説明したが、双曲面鏡等全方位ミラーを用いて、全方位を撮像する監視カメラでもよく、画像上のカメラ真下点と等俯角点群とが計算できれば良い。この場合、撮像画像中のカメラ真下点と等俯角点とは、光線ベクトルの反射計算により計算することが出来る。
【０１３８】
（実施の形態２）
図１５は、システム１５００ｓの構成を示すブロック図である。
【０１３９】
図１５を用いて、実施の形態２におけるシステム１５００ｓの構成について説明する。
【０１４０】
なお、図１５において、図１と同じ構成要素については同じ符号を用い、適宜、詳細な説明を省略する。
【０１４１】
図１５により、本発明の実施の形態２における、画像変換処理部１５００と、魚眼レンズ撮像装置１５０１とが示される。
【０１４２】
図１５において、１５０２は、画像歪補正部である。
【０１４３】
魚眼レンズ撮像装置１５０１は、通常のレンズの代わりに魚眼レンズを用いることで（図２のレンズ１０１Ｌを参照）、より広い範囲を撮像可能とした撮像装置である。
【０１４４】
図１６は、等距離射影の魚眼レンズにおける入射光線９ｐの、撮像面９ｑへの射影状態をモデル化した図である。
【０１４５】
ｆ１を、魚眼レンズの焦点距離、光線の入射角（天頂角）をθ、方位角をφとしたとき、等距離射影の場合の、撮像面９ｑの中心からの距離Ｌ１は、入射角θに比例するように定められる。
【０１４６】
従って、式（１）のように、βとθの関係を定めた場合、Ｌ１とβには、式（２）の関係がある。
【０１４７】
また、Ｌ１と、撮像面座標Ｐ１＝（ｘ１、ｙ１）との間には、式（３）、（４）の関係がある。
【０１４８】
なお、ほとんどの魚眼レンズでは、等距離射影方式が採用されている。
【０１４９】
【数１】
【０１５０】
図１７は、撮像画像２ｈの一例を示す図である。
【０１５１】
等距離射影方式の魚眼レンズ撮像装置１５０１を、図３の撮像画像２を撮影した撮像装置１０１と同等の条件で設置した場合の魚眼レンズ撮像画像２ｈの例を図１７に示す。
【０１５２】
図１７のように、等距離射影方式の魚眼レンズを用いて撮像した画像は、魚眼レンズ特有の歪みが生じるが、下記に示す変換を行うことで、歪みを補正した画像を生成することができる。
【０１５３】
図１８は、中心射影方式のレンズにおける、入射光線の射影状態を表した図である。
【０１５４】
ここで、焦点距離ｆ２の、中心射影方式のレンズを考えた場合、撮像面中心からの距離Ｌ２は、以下の式（５）で表され、Ｌ２と撮像面座標Ｐ２＝（ｘ２、ｙ２）との間には、式（６）、（７）の関係がある。
【０１５５】
【数２】
【０１５６】
ここで、式（１）、式（２）と式（５）とより、Ｌ１とＬ２には以下の関係式（８）が成り立つ。
【０１５７】
【数３】
【０１５８】
上記（６）、（７）、（８）式より、各レンズの焦点距離が既知であり、かつ、光線の入射角・方位角が等しい場合、撮像面座標Ｐ１に対応する撮像面座標Ｐ２を変換することが可能となる。カメラの内部パラメータが既知であれば、撮像面座標から画像座標に変換することが出来るため、等距離射影方式の魚眼レンズで撮影した画像を、中心射影方式のレンズで撮影した画像に変換することができる。
【０１５９】
図１９は、補正した画像の一例を示す図である。
【０１６０】
上記の変換を用いて図１７の画像を変換した歪補正画像２ｉの例を図１９に示す。図１９を見ると、歪補正を行うことで、広角レンズで撮影した撮像画像である、図３の撮像画像２と同じ画像が作成できていることがわかる。
【０１６１】
以上の様に、魚眼レンズ撮像装置１５０１で撮影した魚眼レンズ撮像画像２ｈに対しても、画像歪補正部１５０２を備えることで、歪みのない画像（撮像画像２ｉ）を作成することができる。
【０１６２】
よって、以後は、実施の形態１と同様の処理を行うことで、撮像画像２ｉ中の位置によらず、物体や人物の傾きを統一した画像を作成することができる。
【０１６３】
なお、こうして、例えば、次の動作が行われてもよい。
【０１６４】
つまり、撮像画像２が撮像されてもよい（図１の撮像装置１０１、図２、図３等を参照）。
【０１６５】
そして、撮像画像２が、地面（図２等）よりも高い箇所から、水平（図８の方向ｘ）よりも俯角２０１（図８、図２など）だけ下側の向きが撮像された画像でもよい。
【０１６６】
つまり、例えば、撮像装置１０１は、監視カメラなどである。
【０１６７】
しかしながら、撮像された、このような撮像画像２に対して、先述された、人物の検出などの処理がされることが考えられる。
【０１６８】
つまり、例えば、撮像画像２は、一方の映像（例えば図７の第１の映像４ａＩなど）だけでなく、他方の映像（他方の映像４ｂＩなど）も含む。
【０１６９】
一方の映像は、鉛直方向（人物の足元から頭への向き、図８のｚ方向の負の向き）が、上下方向２ｙの向き（下から上への向き）に写された映像である。
【０１７０】
そして、他方の映像は、鉛直方向（図８のｚ方向の負の向き）が、上述された、上下方向２ｙの向き（下から上への向き）以外のその他の向き（斜めの向き）（図７の他方の映像４ｂＩでは、斜め右上への方向４ｂｄ）に写された映像である。
【０１７１】
このため、例えば、先述のように、このような他方の映像での処理に適する余計な識別器が必要になるなどして、構成が複雑になってしまう恐れがある。
【０１７２】
そこで、撮像画像２から展開画像３（図７下段など）が生成されてもよい（画像展開処理部１０３、図１４のＳＴ１４０３）。
【０１７３】
つまり、この生成により、上述のその他の方向である、鉛直方向が写された方向（方向４ｂｄ）が、他方の映像における方向（方向４ｂｄ）から、生成される展開画像３における、当該展開画像３の上下方向３ｙと同じ方向５ｂｄ（図１０下段の、ライン５ｂＬの方向）へと変化してもよい。
【０１７４】
なお、展開画像３は、例えば、撮像画像２に対して、この変化が生じる変形が加えられた画像などでもよい。
【０１７５】
なお、例えば、展開画像３に表れた、方向５ｂｄが、その人物の（足元から頭への）方向である人物（図２の人物１００ｈを参照）は、撮像画像２に表れた、方向４ｂｄが、その人物の方向である人物と同じ人物である。
【０１７６】
なお、具体的には、先述のように、方向４ｂｄ（図１０の半直線８０３Ｌ）に沿って、それぞれの画素がサンプリングされることにより、この生成がされてもよい。
【０１７７】
なお、例えば、撮像画像２が展開画像３へと変換されてもよい。
【０１７８】
そして、この変化の前の撮像画像２に対して、人物の検出などの処理がされず、変化の後の展開画像３に対して、人物の検出などの処理がされてもよい。
【０１７９】
これにより、展開画像３への処理がされ、例えば、余計な識別器が必要になるのが回避されるなどで、構成が簡単にできる。
【０１８０】
しかしながら、上述された、鉛直方向（図８の方向ｚ）が写された方向４ｂｄの向きが特定されるのに際して、例えば、撮像画像２の解析などの処理において、複雑な処理がされて、十分に、構成が簡単にできない恐れがあることに気付く。
【０１８１】
そこで、撮像画像２における、撮像装置１０１の鉛直方向（図８のｚ方向）の箇所が撮像されたカメラ真下点８０１（図８、図９など）があることに気付く。
【０１８２】
つまり、このカメラ真下点８０１から他方の映像（他方の映像４ｂＩ）への方向（図１０の半直線８０３の方向８０３Ｌ）は、他方の映像における、鉛直方向（方向ｚ）が写された方向４ｂｄ（図７など）と同じ方向であることに気付く。
【０１８３】
そこで、カメラ真下点８０１が特定されてもよい（対応点計算部１０５、ＳＴ１４０１）。
【０１８４】
つまり、これにより、特定されるカメラ真下点８０１から他方の映像への方向（半直線８０３の方向８０３Ｌ）が、鉛直上向きが写された方向４ｂｄと特定されてもよい。
【０１８５】
そして、特定された方向４ｂｄに基づいて、この方向４ｂｄが、先述の方向３ｙへと変化した（変換された）展開画像３が生成されてもよい。
【０１８６】
これにより、単に、カメラ真下点８０１が特定されるなどだけの簡単な処理で済み、複雑な処理がされず、十分に（大幅に）、構成が簡単にできる。
【０１８７】
なお、例えばある局面などで次の動作がされてもよい。
【０１８８】
すなわち、撮像装置１０１により、第１の画像（撮像画像）２が撮像されてもよい。
【０１８９】
撮像される第１の画像２は、第１の映像４ｂＩ（図７）を含んでもよい。
【０１９０】
含まれる第１の映像４ｂＩには、人物４ｂが映される。
【０１９１】
一方、撮像をする撮像装置１０１は、水平方向（図２の方向ｘ）よりも、俯角の角度２０１だけ下向きに設置される。なお、例えば、撮像装置１０１の光軸の方向は、このような、角度２０１だけ下向きの方向である。
【０１９２】
このため、上述の映像４ｂＩにおける、この映像４ｂＩに写された人物４ｂの足元から頭への方向４ｂｄは、第１の画像２における、他の映像４ａＩにおける、他の映像４ａＩに映された人物５ａの足元から頭への方向４ａｄとは異なり、この方向４ａｄとはズレた方向である。
【０１９３】
なお、上述の方向４ａｄは、図７などで示されるように、例えば、この第１の画像２の上下方向２ｙと同じ方向などである。
【０１９４】
そこで、撮像された第１の画像２における、次のような点（カメラ真下点）８０１があることに着目される。
【０１９５】
点８０１は、第１の画像２の面である、第１の画像２が投影される（映される）面（撮像面）８０７に対して、撮像装置１０１から鉛直下向きに延びる線（図８の単位カメラ真下ベクトル８０６を参照）が交わる点である。
【０１９６】
つまり、この点８０１を通る線（直線）８０３（図８など）の方向８０３Ｌは、上述された、ズレた方向である、一方の映像４ｂＩにおける、人物４ｂの方向４ｂｄと同じ方向である。
【０１９７】
そこで、上述の線８０３の方向８０３Ｌが、特定部１０５ｘ（図１）により特定されてもよい。
【０１９８】
つまり、例えば、線８０３に含まれる複数の画素が特定されて、特定される複数の画素が構成する線が、線８０３と特定されることにより、その線８０３の方向が特定されてもよい。
【０１９９】
第１の画像２から、第２の画像３が生成されてもよい。
【０２００】
生成される第２の画像３は、第２の映像５ｂＩを含む。
【０２０１】
含まれる第２の映像５ｂＩは、上述の第１の映像４ｂＩにおける、特定された方向（方向８０３Ｌ）が、次の方向（方向３ｙ）へと変換された映像である。
【０２０２】
その方向とは、第２の画像３に含まれる、上述の他の映像４ａＩに映された人物５ａと同じ人物である人物５ａが映された、上述の映像５ｂＩ以外の他の映像５ａＩにおける、その人物５ａの足元から頭への方向５ａｄである。
【０２０３】
なお、この方向５ａｄは、例えば、第２の画像３の上下方向３ｙと同じ方向である。
【０２０４】
第２の画像３における、人物５ｂの位置が、人物１０１ｈ（図２）の位置として、人物検出器により検出されてもよい。
【０２０５】
なお、この人物検出器は、例えば、画像変換処理部１００が備える人物検出器１００ｄ（図２）である。
【０２０６】
これにより、例えば、この人物検出器が、上述の人物５ａの検出をする人物検出器と同じであるなどにより、人物５ｂの検出をする人物検出器の構成が簡単にできる。
【０２０７】
なお、例えば、撮像装置１０１により、撮像装置１０１が備えるレンズ１０１Ｌで、第１の画像２が撮像されてもよい。
【０２０８】
上述のレンズ１０１Ｌが、広角レンズでもよい。
【０２０９】
つまり、例えば、３５ｍｍ判換算で、焦点距離６０ｍｍの標準的なレンズの水平角は、約３９．６度である。
【０２１０】
上述の広角レンズとは、このような標準的なレンズの画角よりも広い画角のレンズなどをいう。
【０２１１】
なお、第１の画像２における画素と、第２の画像３における画素との対応関係を示すデータ（上述の角度２０１など）が、特定部１０５ｘ（パラメータ保持部１０４）により記憶されてもよい。
【０２１２】
生成される第２の画像３には、第１の画像２に含まれる画素の画素値から特定される画素値の画素が、次の画素として含まれてもよい。その画素とは、第１の画像２の上述の画素に対して、記憶されるデータの対応関係が対応付ける画素である。
【０２１３】
なお、上述された、第１の画像２に含まれる画素の画素値から特定される画素値は、例えば、第１の画像２の画素の上述の画素値と同じ画素値でもよいし、第１の画像２に含まれる画素の上述の画素値と、その画素の近傍の画素の画素値との平均の画素値などでもよい。
【０２１４】
これにより、第１の画像２における、第１の映像４ｂＩでの、人物１００ｈの方向４ｂｄが、第２の画像３における、第２の映像５ｂＩでの、人物１００ｈの方向５ｂｄへと変換された第２の画像２が生成されてもよい。
【０２１５】
なお、角度２０１を示すデータ１０１ｄが、画像変換処理部１００の取得部１００ｇにより取得されてもよい。
【０２１６】
この取得は、例えば、撮像装置１０１が設置された角度２０１が、他方の角度２０１ｂ以外の他の角度である一方の角度２０１ａから、他方の角度２０１ｂへと変更される際などに行われてもよいし、撮像装置１０１が設置される際に行われてもよい。
【０２１７】
示される角度２０１が一方の角度２０１ａである場合には、一方の角度２０１ａだけ下向きに撮像装置１０１が設置される際における撮像面８０７での交点８０１に基づいて、上述の処理がされてもよい。
【０２１８】
他方の角度２０１ｂである場合には、他方の角度２０１ｂだけ下向きに設置される際における撮像面８０７での交点８０１に基づいて、上述の処理がされてもよい
【０２１９】
これにより、一方の角度２０１ａで設置される場合にも、他方の角度２０１ｂで設置される場合にも、適切な第２の画像３が生成され、生成される第２の画像３が確実に適切にできる。
【０２２０】
なお、取得されるデータ１０１ｄは、例えば、画像変換処理部１００に対する、ユーザの操作がされることにより、ユーザによって画像変換処理部１００へと入力されたデータなどでもよい。
【０２２１】
他方、このデータ１０１ｄは、撮像装置１０１から取得されてもよい。
例えば、撮像装置１０１が、ジャイロなどの、撮像装置１０１の俯角の角度を検出する検出部１０１ｓを備えてもよい。
【０２２２】
この検出部１０１ｓにより検出された角度を、上述の角度２０１として示すデータ１０１ｄが、取得部１００ｇにより取得されてもよい。
【０２２３】
なお、例えば、データ１０１ｄが取得された際に、記憶される上述のデータが、撮像装置１０１が設置される角度が、取得されたデータ１０１ｄにより示される角度２０１である際に適切なデータへと更新されてもよい。
【０２２４】
この更新がされた後には、先述の処理として、更新後のデータに基づく処理がされてもよい。
【０２２５】
これにより、上述の更新後に再度、データ１０１ｄ取得される必要がなく、処理が比較的簡単にできる。
【０２２６】
なお、このように、それぞれの半直線８０３について、以下の通りである。
【０２２７】
つまり、生成される第２の画像３における、その半直線８０３の順序と同じ順序（先述）のライン５ｂＬ（図１０）がある。
【０２２８】
第２の画像３に含まれる、同じ順序のライン５ｂＬの複数の画素が、第１の画像２に含まれる、その半直線８０３の複数の画素などの、その半直線８０３のそれらの複数の画素から特定される複数の画素である。
【０２２９】
なお、例えば、半直線８０３の画素から特定、ライン５ｂＬの画素が特定される。半直線８０３の画素の、半直線８０３の複数の画素のうちにおける順序が、より後の順序（点８０１から離れる方の順序）であるほど、その画素から特定される、ライン５ｂＬの画素の順序は、より後の順序（方向３ｙのより正の側の順序）である。
【０２３０】
例えば、これにより、生成される第２の画像３には、第１の画像２の何れの映像（映像４ａＩ、４ｂＩなど）に映された人物（人物４ａ、４ｂ）についても、その人物（人物５ａ、５ｂ）の映像を含んでもよい。
【０２３１】
これにより、第２の画像３には、何れの人物も写されて、何れの人物の検出も成功し、確実に、人物の検出に成功できる。
【０２３２】
また、次の動作がされてもよい。
【０２３３】
つまり、上述のようにして、第１の画像２における、点８０１（図１０など）を通る直線８０３上のそれぞれの画素である、図１２の第１の画素９ｂ１（画素９ｂｎ、９ｂｆなど）がある。
【０２３４】
また、その直線８０３条の第２の画素９ｂ２がある。
【０２３５】
例えば、第１の画素９ｂ１から特定される、第２の画像３の画素に対して、第２の画素９ｂ２から特定される、第２の画像３の画素は、第２の画像３の上下方向３ｙから隣接する。
【０２３６】
第１の画素９ｂ１と、第２の画素９ｂ２との間の第１の間隔１２０１がある。
【０２３７】
図１２で示されるように、例えば、点８０１に対して比較的遠い画素９ｂｆである第１の画素９ｂ１での間隔１２０１は、比較的近い画素９ｂｎである第１の画素９ｂ１での間隔１２０１よりも広くてもよい。
【０２３８】
これにより、より広くはない場合に生成される第２の画像３（図１１の第２の画像３ｐを参照）よりも適切な第２の画像３（図１２の第２の画像３ｑを参照）が、第２の画像３として生成され、生成される第２の画像３がより適切にできる。
【０２３９】
一方、上述された、第１の画素９ｂ１（画素９ｂｎ、９ｂｆ）がある直線８０３以外の他の直線８０３上の第３の画素９ｂ３もある。
【０２４０】
例えば、第１の画素９ｂ１から特定される上述の画素に対して、この第３の画素９ｂ３から特定される、第２の画像３における画素が、第２の画像３の左右方向３ｘから隣接する。
【０２４１】
第１の画素９ｂ１と、この第３の画素９ｂ３との間の間隔１２０２がある。
【０２４２】
遠い方の第１の画素９ｂ１（画素９ｂｆ）での間隔１２０２は、近い方の第１の画素９ｂ１（画素９ｂｎ）での間隔１２０２よりも広い（図１２を参照）。
【０２４３】
遠い方の第１の画素９ｂ１（画素９ｂｆ）における、間隔１２０１と間隔１２０２との比は、近い方の第１の画素９ｂ１（画素９ｂｎ）における、間隔１２０１と間隔１２０２との比と同じもよい。
【０２４４】
なお、この比は、例えば、図１２に示される２つの「Δｒ」の記号で示されるように、例えば、「１：１」の比などである。
【０２４５】
つまり、それぞれの第１の画素９ｂ１（近い方の画素９ｂｎ、遠い方の画素９ｂｆ）における間隔１２０１は、その第１の画素９ｂ１における間隔１２０２と同じでもよい。
【０２４６】
これにより、遠い方の第１の画素９ｂ１（画素９ｂｆ）での間隔１２０１は、近い方の第１の画素９ｂ１（画素９ｂｎ）での間隔１２０１よりも広くてもよい。
【０２４７】
なお、例えば、特定部１０５ｘにより、第２の画像３の画素に対応する、第１の画像２の画素が特定されてもよい（対応点計算部１０５を参照）。
【０２４８】
特定部１０５ｘにより、第２の画像３の画素の画素値が、その画素に対応する、第１の画像２の画素の画素値から特定されてもよい。
【０２４９】
なお、第２の画像３の画素に対応する、第１の画像２の画素として、２つ以上の画素が特定されて、第２の画像３の画素の画素値が、それらの２つ以上の画素の画素値から特定されてもよい。
【０２５０】
なお、例えば、撮像面８０７上の点の第１の座標と、撮像面８０７の法線ベクトルと、撮像装置１０１の第２の座標と、撮像装置１０１の光軸の方向８０４Ｌとを示すデータが、特定部１０５ｘにより記憶されてもよい（パラメータ保持部１０４を参照）。
【０２５１】
示される第１の座標の点を通る、示される法線ベクトルの面と、示される第２の座標を通る、示される方向８０４Ｌの線（直線）との交点の位置が、位置８０１として特定されてもよい。
【０２５２】
なお、この特定は、この種の特定をする、数学の分野における公式の計算がされることにより、特定されてもよい。
【０２５３】
なお、こうして特定される位置８０１は、示される方向８０４Ｌが、俯角の角度２０１が一方の角度２０１ａである場合の一方の方向である場合には、一方の位置であると共に、他方の角度２０１ｂである場合の他方の方向である場合には、他方の位置でもよい。
【０２５４】
方向８０３Ｌとして、位置８０１として一方の位置が特定された場合には、その一方の位置を通る線８０３である一方の線の方向８０３Ｌａが特定され、他方の位置が特定された場合には、その他方の位置を通る線８０３である他方の線の方向８０３Ｌｂが特定されてもよい。
【０２５５】
こうして、第１の画像２の中心の位置９ｘを通る線の方向９ｘｄが特定されるのが回避されて、人物１００ｈがいる空間１０１ｒの鉛直方向ｚの上向きの方向が映された方向４ｂｄ以外の他の方向が特定されて、不適切な方向が特定されてしまうのが回避される。
【０２５６】
つまり、撮像装置１０１の、鉛直方向の下向きの位置８０１を通る線８０３（一方の線、または、他方の線）の方向８０３Ｌａ（一方の方向８０３Ｌａ、または、他方の方向８０３Ｌｂ）が特定されて、適切な方向が特定される。
【０２５７】
これにより、図２の３人の人物１００ｈのうちの最も左の人物１００ｈなどの、撮像装置１０１から比較的遠い人物１００ｈがいて、光軸の方向８０４Ｌが、鉛直方向ｚの下向きの方向でなく、水平方向ｘから、俯角の角度２０１だけ下向きの、斜め下向きの方向であるにも関わらず、適切な動作がされる。つまり、その動作では、不適切な方向９ｘｄが特定されてしまうのが回避され、適切な方向４ｂｄ（一方の方向８０３Ｌａ、または、他方の方向８０３Ｌｂ）が特定できる。
【０２５８】
これにより、ひいては、特定される方向に基づいて、適切な第２の映像５ｂＩが含まれる第２の画像３が生成されて、この第２の画像３から、第２の映像５ｂＩが検出される。これにより、画像（第２の画像３）から、人物１００ｈが映された映像（第２の映像５ｂＩ）を検出する検出器（人物検出器１００ｄ）の構成が複雑であることが回避され、簡単にされる。
【０２５９】
これにより、光軸の方向８０４Ｌが、斜め下向きであるにも関わらず、構成が複雑になるのが回避されて、簡単にできる。
【０２６０】
しかも、上述のような、斜め下向きである際における角度２０１としては、一方の角度２０１ａのみがあるのでなく、他方の角度２０１ｂともあるにも関わらず、次の動作がされる。
【０２６１】
その動作では、角度２０１が一方の角度２０１ａである場合に、方向８０３Ｌとして、一方の方向８０３Ｌａが特定されて、適切な方向が特定されるだけに止まらない。
【０２６２】
つまり、角度２０１が、他方の角度２０１ｂである場合にも、方向８０３Ｌとして、他方の方向８０３Ｌｂが特定されて、適切な方向が特定される。
【０２６３】
これにより、比較的確実に、適切な方向が特定できる。
【０２６４】
こうして複数の構成（画像展開処理部１０３など）が組合わせられ、組合わせからの相乗効果が生じる。これに対し、知られる先行例では、これら複数の構成のうちの一部または全部を欠き、相乗効果は生じない。この点で、本技術は、先行例に対して相違する。
【０２６５】
なお、本発明は、装置として実現できるだけでなく、その装置を構成する処理手段をステップとする方法として実現したり、それらステップをコンピュータに実行させるプログラムとして実現したり、そのプログラムを記録したコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体として実現したり、そのプログラムを示す情報、データ又は信号として実現したりすることもできる。そして、それらプログラム、情報、データ及び信号は、インターネット等の通信ネットワークを介して配信してもよい。
【産業上の利用可能性】
【０２６６】
出力した画像（図１０の展開画像３）中では、地面に対して直立している物体の傾きが統一されているため、物体検出、特に人物検出における特徴量が一つで済むようになる。
【０２６７】
撮像装置１０１および画像変換処理部１００を備えるシステム１００ｓの利便性が向上できる。
【０２６８】
光軸の方向８０４Ｌが、斜め下向きであるにも関わらず、構成が複雑になるのが回避されて、構成が簡単にできる。
【符号の説明】
【０２６９】
２ 撮像画像
３ 展開画像
１００ 画像変換処理部
１０１ 撮像装置
１０２ 撮像画像取得部
１０３ 画像展開処理部
１０４ パラメータ保持部
１０５ 対応点計算部
２０１ 設置俯角
８０１ カメラ真下点
８０２ 等俯角点
８０３ 半直線
８０４ 仮想視点位置
８０５ 単位光軸ベクトル
８０６ 単位カメラ真下ベクトル
８０７ 撮像面
９０１ サンプリング角度
１２０１ 半径方向サンプリング間隔
１２０２ 円周方向サンプリング間隔
１５００ 画像変換処理部
１５０１ 魚眼レンズ撮像装置
１５０２ 画像歪補正部
１７０１ 魚眼レンズ撮像画像
１９０１ 歪補正画像
【特許請求の範囲】
【請求項１】
水平方向よりも俯角だけ下向きに設置された撮像装置により撮像された第１の画像から、前記第１の画像が画像変換された第２の画像を生成する画像生成装置であって、
前記撮像装置を端点とする、鉛直方向のベクトルと、撮像面との交点を通る、前記第１の画像における直線を特定する特定部と、
特定された前記直線に沿って、前記第１の画像の画素をサンプリングすることで、前記第２の画像を生成する画像展開処理部とを備える画像生成装置。
【請求項２】
前記特定部は、特定される前記直線に含まれる複数の画素を特定し、
生成される前記第２の画像は、サンプリングされた、特定された複数の前記画素を、前記第２の画像の上下方向の直線に含まれる複数の画素として含む請求項１記載の画像生成装置。
【請求項３】
特定される前記直線は、前記交点である第１の交点と、第２の交点とを通る直線であり、
前記第２の交点は、前記撮像装置を端点とする第２のベクトルが、前記鉛直方向のベクトルである第１のベクトルを回転軸として回転された第３のベクトルと、前記撮像面との交点である請求項２記載の画像生成装置。
【請求項４】
前記第１の画像は、複数の角度のうちのそれぞれの角度に回転された前記第３のベクトルでの前記第２の交点の前記画素を含み、
前記第２の画像は、前記第１の画像に含まれる、複数の前記角度の前記第２の交点の前記画素を、前記第２の画像の左右方向の直線上の複数の画素として含む請求項３記載の画像生成装置。
【請求項５】
前記特定部は、それぞれの前記第３のベクトルを生成して、生成された前記第３のベクトルにおける前記第２の交点を算出する請求項４記載の画像生成装置。
【請求項６】
前記俯角を示すデータを取得する取得部を備え、
算出されるそれぞれの前記第２の交点は、取得される前記データにより示される前記俯角における前記撮像面での交点である請求項５記載の画像生成装置。
【請求項７】
取得される前記データにより示される前記俯角は、前記撮像装置が備えるジャイロにより検出された角度である請求項６記載の画像生成装置。
【請求項８】
前記第２の画像の前記上下方向の前記直線上の、人物が映された映像の位置を、前記人物がいる位置として検出する検出部を備える請求項２記載の画像生成装置。
【請求項９】
前記第１の画像は、前記撮像装置が備える広角レンズで、前記撮像装置により撮像される請求項１〜８の何れかに記載の画像生成装置。
【請求項１０】
前記第１の画像は、前記撮像装置が備える魚眼レンズで、前記撮像装置により撮像され、
前記魚眼レンズによる歪みが含まれる、補正前の前記第１の画像を、前記歪みが含まれない補正後の前記第１の画像へと補正する画像歪み補正部を備え、
前記第２の画像は、補正前の前記第１の画像からでなく、補正後の前記第１の画像から生成される請求項１〜８の何れかに記載の画像生成装置。
【請求項１１】
特定される前記直線は、第１の画素と、第２の画素とを含み、
生成される前記第２の画像は、前記第１の画素から特定される一方の画素と、前記一方の画素に隣接する、前記第２の画素から特定される他方の画素とを含み、
前記第１の画素と前記第２の画素との間の間隔は、前記第１の画素が、前記鉛直方向の前記ベクトルの前記交点からより遠いほど、より広い間隔である請求項１記載の画像生成装置。
【請求項１２】
前記第２の画像は、前記一方の画素に対して、前記第２の画像の左右方向から隣接する、前記第１の画像に含まれる第３の画素から特定される画素を含み、
前記間隔は、前記第１の画素と、前記第３の画素との間の第２の間隔とは別の第１の間隔であり、
前記鉛直方向の前記ベクトルの前記交点から比較的遠い前記第１の画素における、前記第２の間隔に対する前記第１の間隔の比は、比較的近い前記第１の画素における、前記第２の間隔に対する前記第１の間隔の比と同じである請求項１１記載の画像生成装置。
【請求項１３】
撮像される前記第１の画像は、人物が写された映像を含み、
写された前記人物の足元から頭への方向は、前記第１の画像の上下方向とは異なる方向であり、
異なる前記方向は、前記鉛直方向の前記ベクトルと前記撮像面との前記交点と、前記映像の位置とを通る前記直線の方向と同じ方向であり、
前記特定部は、前記交点を通る前記直線を特定することにより、特定される前記直線の方向を、前記人物の前記方向として特定し、
生成される前記第２の画像は、前記人物と同じ人物が映された映像を含み、
含まれる前記映像は、前記第１の画像に含まれる前記映像における特定された前記方向が、前記第２の画像の上下方向へと変換された映像である請求項１記載の画像生成装置。
【請求項１４】
水平方向よりも俯角だけ下向きに設置された撮像装置により撮像された第１の画像から、前記第１の画像が画像変換された第２の画像を生成する画像生成方法であって、
前記撮像装置を端点とする、鉛直方向のベクトルと撮像面との交点を通る、前記第１の画像における直線を特定する特定ステップと、
特定された前記直線に沿って、前記第１の画像の画素をサンプリングすることで、前記第２の画像を生成する画像展開処理ステップとを含む画像生成方法。
【請求項１５】
水平方向よりも俯角だけ下向きに設置された撮像装置により撮像された第１の画像から、前記第１の画像が画像変換された第２の画像を生成するためのプログラムであって、
前記撮像装置を端点とする、鉛直方向のベクトルと撮像面との交点を通る、前記第１の画像における直線を特定する特定ステップと、
特定された前記直線に沿って、前記第１の画像の画素をサンプリングすることで、前記第２の画像を生成する画像展開処理ステップとをコンピュータに実行させるためのプログラム。
【請求項１】
水平方向よりも俯角だけ下向きに設置された撮像装置により撮像された第１の画像から、前記第１の画像が画像変換された第２の画像を生成する画像生成装置であって、
前記撮像装置を端点とする、鉛直方向のベクトルと、撮像面との交点を通る、前記第１の画像における直線を特定する特定部と、
特定された前記直線に沿って、前記第１の画像の画素をサンプリングすることで、前記第２の画像を生成する画像展開処理部とを備える画像生成装置。
【請求項２】
前記特定部は、特定される前記直線に含まれる複数の画素を特定し、
生成される前記第２の画像は、サンプリングされた、特定された複数の前記画素を、前記第２の画像の上下方向の直線に含まれる複数の画素として含む請求項１記載の画像生成装置。
【請求項３】
特定される前記直線は、前記交点である第１の交点と、第２の交点とを通る直線であり、
前記第２の交点は、前記撮像装置を端点とする第２のベクトルが、前記鉛直方向のベクトルである第１のベクトルを回転軸として回転された第３のベクトルと、前記撮像面との交点である請求項２記載の画像生成装置。
【請求項４】
前記第１の画像は、複数の角度のうちのそれぞれの角度に回転された前記第３のベクトルでの前記第２の交点の前記画素を含み、
前記第２の画像は、前記第１の画像に含まれる、複数の前記角度の前記第２の交点の前記画素を、前記第２の画像の左右方向の直線上の複数の画素として含む請求項３記載の画像生成装置。
【請求項５】
前記特定部は、それぞれの前記第３のベクトルを生成して、生成された前記第３のベクトルにおける前記第２の交点を算出する請求項４記載の画像生成装置。
【請求項６】
前記俯角を示すデータを取得する取得部を備え、
算出されるそれぞれの前記第２の交点は、取得される前記データにより示される前記俯角における前記撮像面での交点である請求項５記載の画像生成装置。
【請求項７】
取得される前記データにより示される前記俯角は、前記撮像装置が備えるジャイロにより検出された角度である請求項６記載の画像生成装置。
【請求項８】
前記第２の画像の前記上下方向の前記直線上の、人物が映された映像の位置を、前記人物がいる位置として検出する検出部を備える請求項２記載の画像生成装置。
【請求項９】
前記第１の画像は、前記撮像装置が備える広角レンズで、前記撮像装置により撮像される請求項１〜８の何れかに記載の画像生成装置。
【請求項１０】
前記第１の画像は、前記撮像装置が備える魚眼レンズで、前記撮像装置により撮像され、
前記魚眼レンズによる歪みが含まれる、補正前の前記第１の画像を、前記歪みが含まれない補正後の前記第１の画像へと補正する画像歪み補正部を備え、
前記第２の画像は、補正前の前記第１の画像からでなく、補正後の前記第１の画像から生成される請求項１〜８の何れかに記載の画像生成装置。
【請求項１１】
特定される前記直線は、第１の画素と、第２の画素とを含み、
生成される前記第２の画像は、前記第１の画素から特定される一方の画素と、前記一方の画素に隣接する、前記第２の画素から特定される他方の画素とを含み、
前記第１の画素と前記第２の画素との間の間隔は、前記第１の画素が、前記鉛直方向の前記ベクトルの前記交点からより遠いほど、より広い間隔である請求項１記載の画像生成装置。
【請求項１２】
前記第２の画像は、前記一方の画素に対して、前記第２の画像の左右方向から隣接する、前記第１の画像に含まれる第３の画素から特定される画素を含み、
前記間隔は、前記第１の画素と、前記第３の画素との間の第２の間隔とは別の第１の間隔であり、
前記鉛直方向の前記ベクトルの前記交点から比較的遠い前記第１の画素における、前記第２の間隔に対する前記第１の間隔の比は、比較的近い前記第１の画素における、前記第２の間隔に対する前記第１の間隔の比と同じである請求項１１記載の画像生成装置。
【請求項１３】
撮像される前記第１の画像は、人物が写された映像を含み、
写された前記人物の足元から頭への方向は、前記第１の画像の上下方向とは異なる方向であり、
異なる前記方向は、前記鉛直方向の前記ベクトルと前記撮像面との前記交点と、前記映像の位置とを通る前記直線の方向と同じ方向であり、
前記特定部は、前記交点を通る前記直線を特定することにより、特定される前記直線の方向を、前記人物の前記方向として特定し、
生成される前記第２の画像は、前記人物と同じ人物が映された映像を含み、
含まれる前記映像は、前記第１の画像に含まれる前記映像における特定された前記方向が、前記第２の画像の上下方向へと変換された映像である請求項１記載の画像生成装置。
【請求項１４】
水平方向よりも俯角だけ下向きに設置された撮像装置により撮像された第１の画像から、前記第１の画像が画像変換された第２の画像を生成する画像生成方法であって、
前記撮像装置を端点とする、鉛直方向のベクトルと撮像面との交点を通る、前記第１の画像における直線を特定する特定ステップと、
特定された前記直線に沿って、前記第１の画像の画素をサンプリングすることで、前記第２の画像を生成する画像展開処理ステップとを含む画像生成方法。
【請求項１５】
水平方向よりも俯角だけ下向きに設置された撮像装置により撮像された第１の画像から、前記第１の画像が画像変換された第２の画像を生成するためのプログラムであって、
前記撮像装置を端点とする、鉛直方向のベクトルと撮像面との交点を通る、前記第１の画像における直線を特定する特定ステップと、
特定された前記直線に沿って、前記第１の画像の画素をサンプリングすることで、前記第２の画像を生成する画像展開処理ステップとをコンピュータに実行させるためのプログラム。
【図１】
【図２】
【図４】
【図５】
【図６】
【図１４】
【図１５】
【図１６】
【図１８】
【図３】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１７】
【図１９】
【図２】
【図４】
【図５】
【図６】
【図１４】
【図１５】
【図１６】
【図１８】
【図３】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１７】
【図１９】
【公開番号】特開２０１２−１４１９７２（Ｐ２０１２−１４１９７２Ａ）
【公開日】平成２４年７月２６日（２０１２．７．２６）
【国際特許分類】
【出願番号】特願２０１１−２７４８８１（Ｐ２０１１−２７４８８１）
【出願日】平成２３年１２月１５日（２０１１．１２．１５）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２４年７月２６日（２０１２．７．２６）
【国際特許分類】
【出願日】平成２３年１２月１５日（２０１１．１２．１５）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]