全方位撮像装置、及びその制御方法
【課題】全方位を撮像可能なカメラにおいて、簡単に物体を認識できるようにする。
【解決手段】全画素を読み出して全方位を撮像する第１のモード、または前記全画素の一部を読み出して特定の被写体を撮像する第２のモードにより撮像を行う撮像センサ１０２と、カメラ部を回転させる回転台１０３とを備えた全方位撮像装置であって、動体検知部１０４は、第１のモードにより撮像された範囲から被写体の動きが検知すると、検知情報を撮像センサ制御部１０６及び回転台制御部１０７に送る。そして、回転台制御部１０７は、第２のモードにより前記動きを検知した被写体を正立状態で撮像できる角度にカメラ部を回転させるよう制御する。
【解決手段】全画素を読み出して全方位を撮像する第１のモード、または前記全画素の一部を読み出して特定の被写体を撮像する第２のモードにより撮像を行う撮像センサ１０２と、カメラ部を回転させる回転台１０３とを備えた全方位撮像装置であって、動体検知部１０４は、第１のモードにより撮像された範囲から被写体の動きが検知すると、検知情報を撮像センサ制御部１０６及び回転台制御部１０７に送る。そして、回転台制御部１０７は、第２のモードにより前記動きを検知した被写体を正立状態で撮像できる角度にカメラ部を回転させるよう制御する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は全方位撮像装置、全方位撮像装置の制御方法及びプログラムに関し、特に、物体検出を行うために用いて好適な技術に関する。
【背景技術】
【０００２】
全周囲の景観を撮影する撮像装置として、全方位ミラーを搭載した全方位カメラが知られている。従来、このような全方位カメラを監視カメラやロボットナビゲーションなどに利用することが検討されている。監視カメラとして使用する際には、全方位カメラと画像認識技術とを組み合わせる様々な技術が提示されている。例えば特許文献１には、全方位カメラと普通のカメラ２台とを用いて、全方位の画像を記録しながら、重要度の高い動体画像のみを高画質で記録する技術が開示されている。
【０００３】
一方、撮像装置に用いられる撮像センサは、近年では高画素化が進み、数億万画素の撮像センサがすでに開発されている。このような数億万画素の撮像センサを搭載したカメラでは、撮像する際に例えば、静止画像あるいは低フレームレートの動画像の撮影を行う。さらに、撮像センサを部分的に読み出して撮像することにより、フルＨＤサイズあるいは４Ｋ２Ｋサイズで高フレームレートの動画像を撮影することもできる。
【０００４】
このような撮像センサを搭載したカメラに画像認識技術を組み合わせた場合、様々なアプリケーションが考えられる。例えば、カメラの撮像センサの全画素で撮影した低フレームレートの画像に対して動体検知を行い、検知された部分における撮像センサの部分読み出しによって高フレームレートの動画像を撮影する。これにより、例えば人体であるかどうかなど、被写体の認識及び検出を行うことができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−１２１３２０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、全方位ミラーを搭載した全方位カメラで、上記のアプリケーションを実現しようとした場合に、動体検知を行った部分を部分読み出しすると、正常な向きの動画像が生成されない場合がある。この場合、物体検出（物体認識）により例えば人物を検出しようとした場合に、目や鼻などの位置が大きく傾いているため、検出の精度が落ちてしまい、人物が検出されにくくなる。また、画像の傾きを補正しながら物体検出を行うと、補正によって処理の負荷が多くかかってしまう。
【０００７】
本発明は前述の問題点に鑑み、全方位を撮像可能なカメラにおいて、簡単に物体を認識できるようにすることを目的としている。
【課題を解決するための手段】
【０００８】
本発明の全方位撮像装置は、全画素を読み出して全方位を撮像する第１のモード、または前記全画素の一部を読み出して特定の被写体を撮像する第２のモードにより撮像を行う撮像手段と、前記撮像手段を回転させる回転手段と、前記第１のモードにより撮像された範囲から被写体の動きを検知する動体検知手段と、前記動体検知手段によって被写体の動きが検知された場合に、前記第２のモードにより前記動きを検知した被写体を正立状態で撮像できる角度に前記撮像手段を回転させるよう前記回転手段を制御する制御手段とを備えることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、全方位を撮像可能なカメラにおいて、物体が何であるかを簡単に認識することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施形態に係る全方位撮像装置の構成例を示すブロック図である。
【図２】本発明の実施形態に係る全方位撮像装置の外観構成例を示す図である。
【図３】動体物の中心位置が画面上の最上部分に来るように回転させる様子を説明する図である。
【図４】動体物の中心位置が画面上の最上部分に来るように回転させる様子を説明する図である。
【図５】全画素読み出し及び部分読み出しの領域の一例を示す図である。
【発明を実施するための形態】
【００１１】
以下、添付の図面を参照しながら、本発明の好適な実施形態について詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
【００１２】
図１は、本実施形態に係る全方位撮像装置１００の構成例を示すブロック図であり、図２は、本実施形態に係る全方位撮像装置１００の外観構成例を示す図である。
図１及び図２において、全方位ミラー１０１は、３６０°の全周風景を双曲面ミラーによって鏡面反射させて撮像センサ１０２に撮像させるミラーである。なお、全方位ミラー１０１は、双曲面ミラーに限らず、球面ミラーによって３６０°の全周風景を反射させて撮像させるものや、例えば、全周風景を撮像させるための全周魚眼レンズなどであってもよい。
【００１３】
撮像センサ１０２は、撮像面に結像された光像を光電変換によりデジタル電気信号に変換するＣＭＯＳなどの撮像素子である。また、撮像センサ１０２は、撮像センサ制御部１０６からの制御により、全画素読み出しと部分読み出しとを行うことができる。なお、図５には、撮像センサ制御部１０６からの制御による撮像センサ１０２の全画素読み出しまたは部分読み出しを行う動作画面の一例を示す。
【００１４】
回転台１０３は、全方位ミラー１０１及び撮像センサ１０２を所定の回転角で上下方向の軸を中心に回転させる。この回転させる中心となる軸は、撮像センサ１０２の光軸及び全方位の中心と一致している。したがって、回転した後と前とで撮像範囲は同一となる。
【００１５】
現像処理部１０４は、撮像センサ１０２から光電変換により得られたデジタル電気信号に対して、所定の画素補間や色変換処理を行い、ＲＧＢあるいはＹＵＶなどのデジタル画像データを生成する。また、現像処理部１０４では、現像を施した後のデジタル画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてホワイトバランス、シャープネス、コントラスト、色変換などの画像処理を行う。
【００１６】
動体検知部１０５は、現像処理部１０４で現像処理及び画像処理が施されたデジタル画像データに対して、撮像された被写体から動体物の検知を行う。動体検知の方法としては、背景差分、フレーム間差分、動きベクトルなど、どのような方法を用いてもよい。撮像センサ制御部１０６は、動体検知部１０５からの検知情報により、撮像センサ１０２に対して全画素読み出しを行う第１のモードまたは部分読み出しを行う第２のモードへの切り替え制御を行う。回転台制御部１０７は、動体検知部１０５からの検知情報に基づいて回転台１０３の制御を行い、全方位ミラー１０１及び撮像センサ１０２を所定の回転角で回転させる。
【００１７】
画像幾何変換処理部１０８は、撮像センサ１０２で撮像され、現像処理部１０４で現像処理及び画像処理が施されたデジタル画像データに対して、画像幾何変換処理を行う。撮像センサ１０２において全画素読み出しにより撮像する場合には、全方位ミラー１０１の鏡面に映された全周囲の風景を撮像することによって全周囲円環画像が得られる。この場合は、円柱モデルのパノラマ変換処理あるいは透視投影変換処理を行うことにより、パノラマ全周囲画像や、その一部切り出した画面の歪みのない透視投影画像を生成する。一方、撮像センサ１０２において部分読み出しにより撮像する場合には、全方位ミラー１０１の鏡面に映された全周囲の風景の一部を切り出した画面に対して撮像を行い、その部分の画像の歪み補正を行う。
【００１８】
物体検出部１０９は、画像幾何変換処理部１０８により幾何変換されたデジタル画像データにおいて、動体検知部１０５によって動体物と検出された被写体に対して、例えば人物、特定の動物などのある特定の物体認識を行う。物体認識の方法としては、パターンマッチングなど、どのような方法を用いてもよい。そして、認識された結果を描画表示処理部１１０へ送る。
【００１９】
描画表示処理部１１０は、デジタル画像データに対し、画像幾何変換処理部１０８により幾何変換されたパノラマ全周囲画像、あるいは透視投影画像に対してそれぞれ拡大、縮小などの表示における適切な処理を行う。さらに、動体検知部１０５により検知された動体物を示すグラフィック描画と、物体検出部１０９で検出された結果を示すグラフィック描画とを生成する。ディスプレイ装置１１１は、画像幾何変換処理部１０８により幾何変換されたパノラマ全周囲画像、あるいは透視投影画像、及び描画表示処理部１１０により生成されたグラフィック描画を表示する。
【００２０】
次に、本実施形態に係る全方位撮像装置１００の動作について詳細に説明する。以下、動体検知部１０５が動体検知の処理を行う前、あるいは動体検知部１０５で被写体から動体物が検知されていない場合は、通常状態と定義する。この通常状態では、撮像センサ制御部１０６は、撮像センサ１０２に対して全画素読み出しを行うように制御する。この場合、全方位ミラー１０１の鏡面に映された全周囲の風景を撮像することによって、全周囲円環画像としてデジタル画像データが生成される。
【００２１】
この全周囲円環画像の場合、撮像センサ１０２において全画素で読み出しが行われるため、低ビットレートのフレームレートで撮像される。全周囲円環画像として生成されたデジタル画像データは、そのまま画像幾何変換処理部１０８へ送られ、パノラマ変換処理あるいは透視投影変換処理が行われる。画像幾何変換処理部１０８は、パノラマ全周囲画像、あるいは透視投影画像としてデジタル画像データをそのまま描画表示処理部１１０に送る。そして、表示における適切な処理が行われる。その後、パノラマ全周囲画像またはその一部切り出した画面の歪みのない透視投影画像として、ディスプレイ装置１１１に表示される。
【００２２】
次に、動体検知部１０５によって被写体から動体物が検知された状態について説明する。通常状態において、低ビットレートのフレームレートで撮像されている状態で動体検知部１０５が被写体から動体物を検知すると、その動体物の位置情報及び検知情報を撮像センサ制御部１０６及び回転台制御部１０７へ送る。動体検知部１０５は、動体と検知した部分を画素単位で検知し、その部分を囲む最大の座標範囲を位置情報とする。
【００２３】
回転台制御部１０７は、動体物の位置情報及び検知情報を受けると、図３に示すように、動体物の中心位置が画面上の最上部分に来るような角度に回転台１０３を制御する。さらに、撮像センサ制御部１０６は、動体物の位置情報及び検知情報を受けると、撮像センサ１０２に対して全画素読み出しから、動体物の座標範囲における部分読み出しに切り替えるように制御する。これにより、部分読み出しを行う場合には、動体物をほぼ直立した正立状態で撮像することができる。撮像センサ１０２を部分読み出しにすることによって、全方位ミラー１０１の鏡面に映された全周囲の風景の一部に対して撮像を行い、画素数が少なくなることから、高ビットレートのフレームレートの動画像を生成することができる。
【００２４】
さらに、図３に示した動体物を検知した後に図４に示す動体物を検知した場合のように、動体物の大きさが変わるごとに、撮像センサ制御部１０６は、撮像センサ１０２に対して部分読み出しの範囲を変更するように制御を行う。このように全周囲円環の一部が切り出されたデジタル画像データは、現像処理部１０４において現像処理及び画像処理を施され、画像幾何変換処理部１０８で歪み補正が行われる。
【００２５】
そして、物体検出部１０９は、動体検知部１０５によって動体物と検知された被写体に対して、どのような物体であるかを認識する。本実施形態では、動体物が画面の最上部分に位置するように制御しているため、動体物をほぼ直立した正立状態で撮像することができ、高精度に物体を認識することができる。例えば、人物と認識された場合には、その旨を示す情報を描画表示処理部１１０にデジタル画像データとともに送る。
【００２６】
描画表示処理部１１０は、画像に人を意味するようなグラフィック描画を生成し、撮像画像にそのグラフィック描画を上書きしてディスプレイ装置１１１に送り、画像を表示させる。
【００２７】
以上のように本実施形態によれば、動体物を検出した場合に、動体物が画面の最上部分に位置するように全方位ミラー１０１を回転させるようにした。これにより、動体物を含むように部分読み出しを行って動画像を生成した場合に、どのような物体であるかを高精度にかつ簡単に認識することができる。また、全方位ミラー１０１を回転させて、部分読み出しを行うため、高ビットレートのフレームレートの動画像を簡単に生成することができる。
【００２８】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００２９】
１０１ 全方位ミラー
１０２ 撮像センサ
１０３ 回転台
１０５ 動体検知部
１０６ 撮像センサ制御部
１０７ 回転台制御部
【技術分野】
【０００１】
本発明は全方位撮像装置、全方位撮像装置の制御方法及びプログラムに関し、特に、物体検出を行うために用いて好適な技術に関する。
【背景技術】
【０００２】
全周囲の景観を撮影する撮像装置として、全方位ミラーを搭載した全方位カメラが知られている。従来、このような全方位カメラを監視カメラやロボットナビゲーションなどに利用することが検討されている。監視カメラとして使用する際には、全方位カメラと画像認識技術とを組み合わせる様々な技術が提示されている。例えば特許文献１には、全方位カメラと普通のカメラ２台とを用いて、全方位の画像を記録しながら、重要度の高い動体画像のみを高画質で記録する技術が開示されている。
【０００３】
一方、撮像装置に用いられる撮像センサは、近年では高画素化が進み、数億万画素の撮像センサがすでに開発されている。このような数億万画素の撮像センサを搭載したカメラでは、撮像する際に例えば、静止画像あるいは低フレームレートの動画像の撮影を行う。さらに、撮像センサを部分的に読み出して撮像することにより、フルＨＤサイズあるいは４Ｋ２Ｋサイズで高フレームレートの動画像を撮影することもできる。
【０００４】
このような撮像センサを搭載したカメラに画像認識技術を組み合わせた場合、様々なアプリケーションが考えられる。例えば、カメラの撮像センサの全画素で撮影した低フレームレートの画像に対して動体検知を行い、検知された部分における撮像センサの部分読み出しによって高フレームレートの動画像を撮影する。これにより、例えば人体であるかどうかなど、被写体の認識及び検出を行うことができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−１２１３２０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、全方位ミラーを搭載した全方位カメラで、上記のアプリケーションを実現しようとした場合に、動体検知を行った部分を部分読み出しすると、正常な向きの動画像が生成されない場合がある。この場合、物体検出（物体認識）により例えば人物を検出しようとした場合に、目や鼻などの位置が大きく傾いているため、検出の精度が落ちてしまい、人物が検出されにくくなる。また、画像の傾きを補正しながら物体検出を行うと、補正によって処理の負荷が多くかかってしまう。
【０００７】
本発明は前述の問題点に鑑み、全方位を撮像可能なカメラにおいて、簡単に物体を認識できるようにすることを目的としている。
【課題を解決するための手段】
【０００８】
本発明の全方位撮像装置は、全画素を読み出して全方位を撮像する第１のモード、または前記全画素の一部を読み出して特定の被写体を撮像する第２のモードにより撮像を行う撮像手段と、前記撮像手段を回転させる回転手段と、前記第１のモードにより撮像された範囲から被写体の動きを検知する動体検知手段と、前記動体検知手段によって被写体の動きが検知された場合に、前記第２のモードにより前記動きを検知した被写体を正立状態で撮像できる角度に前記撮像手段を回転させるよう前記回転手段を制御する制御手段とを備えることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、全方位を撮像可能なカメラにおいて、物体が何であるかを簡単に認識することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施形態に係る全方位撮像装置の構成例を示すブロック図である。
【図２】本発明の実施形態に係る全方位撮像装置の外観構成例を示す図である。
【図３】動体物の中心位置が画面上の最上部分に来るように回転させる様子を説明する図である。
【図４】動体物の中心位置が画面上の最上部分に来るように回転させる様子を説明する図である。
【図５】全画素読み出し及び部分読み出しの領域の一例を示す図である。
【発明を実施するための形態】
【００１１】
以下、添付の図面を参照しながら、本発明の好適な実施形態について詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
【００１２】
図１は、本実施形態に係る全方位撮像装置１００の構成例を示すブロック図であり、図２は、本実施形態に係る全方位撮像装置１００の外観構成例を示す図である。
図１及び図２において、全方位ミラー１０１は、３６０°の全周風景を双曲面ミラーによって鏡面反射させて撮像センサ１０２に撮像させるミラーである。なお、全方位ミラー１０１は、双曲面ミラーに限らず、球面ミラーによって３６０°の全周風景を反射させて撮像させるものや、例えば、全周風景を撮像させるための全周魚眼レンズなどであってもよい。
【００１３】
撮像センサ１０２は、撮像面に結像された光像を光電変換によりデジタル電気信号に変換するＣＭＯＳなどの撮像素子である。また、撮像センサ１０２は、撮像センサ制御部１０６からの制御により、全画素読み出しと部分読み出しとを行うことができる。なお、図５には、撮像センサ制御部１０６からの制御による撮像センサ１０２の全画素読み出しまたは部分読み出しを行う動作画面の一例を示す。
【００１４】
回転台１０３は、全方位ミラー１０１及び撮像センサ１０２を所定の回転角で上下方向の軸を中心に回転させる。この回転させる中心となる軸は、撮像センサ１０２の光軸及び全方位の中心と一致している。したがって、回転した後と前とで撮像範囲は同一となる。
【００１５】
現像処理部１０４は、撮像センサ１０２から光電変換により得られたデジタル電気信号に対して、所定の画素補間や色変換処理を行い、ＲＧＢあるいはＹＵＶなどのデジタル画像データを生成する。また、現像処理部１０４では、現像を施した後のデジタル画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてホワイトバランス、シャープネス、コントラスト、色変換などの画像処理を行う。
【００１６】
動体検知部１０５は、現像処理部１０４で現像処理及び画像処理が施されたデジタル画像データに対して、撮像された被写体から動体物の検知を行う。動体検知の方法としては、背景差分、フレーム間差分、動きベクトルなど、どのような方法を用いてもよい。撮像センサ制御部１０６は、動体検知部１０５からの検知情報により、撮像センサ１０２に対して全画素読み出しを行う第１のモードまたは部分読み出しを行う第２のモードへの切り替え制御を行う。回転台制御部１０７は、動体検知部１０５からの検知情報に基づいて回転台１０３の制御を行い、全方位ミラー１０１及び撮像センサ１０２を所定の回転角で回転させる。
【００１７】
画像幾何変換処理部１０８は、撮像センサ１０２で撮像され、現像処理部１０４で現像処理及び画像処理が施されたデジタル画像データに対して、画像幾何変換処理を行う。撮像センサ１０２において全画素読み出しにより撮像する場合には、全方位ミラー１０１の鏡面に映された全周囲の風景を撮像することによって全周囲円環画像が得られる。この場合は、円柱モデルのパノラマ変換処理あるいは透視投影変換処理を行うことにより、パノラマ全周囲画像や、その一部切り出した画面の歪みのない透視投影画像を生成する。一方、撮像センサ１０２において部分読み出しにより撮像する場合には、全方位ミラー１０１の鏡面に映された全周囲の風景の一部を切り出した画面に対して撮像を行い、その部分の画像の歪み補正を行う。
【００１８】
物体検出部１０９は、画像幾何変換処理部１０８により幾何変換されたデジタル画像データにおいて、動体検知部１０５によって動体物と検出された被写体に対して、例えば人物、特定の動物などのある特定の物体認識を行う。物体認識の方法としては、パターンマッチングなど、どのような方法を用いてもよい。そして、認識された結果を描画表示処理部１１０へ送る。
【００１９】
描画表示処理部１１０は、デジタル画像データに対し、画像幾何変換処理部１０８により幾何変換されたパノラマ全周囲画像、あるいは透視投影画像に対してそれぞれ拡大、縮小などの表示における適切な処理を行う。さらに、動体検知部１０５により検知された動体物を示すグラフィック描画と、物体検出部１０９で検出された結果を示すグラフィック描画とを生成する。ディスプレイ装置１１１は、画像幾何変換処理部１０８により幾何変換されたパノラマ全周囲画像、あるいは透視投影画像、及び描画表示処理部１１０により生成されたグラフィック描画を表示する。
【００２０】
次に、本実施形態に係る全方位撮像装置１００の動作について詳細に説明する。以下、動体検知部１０５が動体検知の処理を行う前、あるいは動体検知部１０５で被写体から動体物が検知されていない場合は、通常状態と定義する。この通常状態では、撮像センサ制御部１０６は、撮像センサ１０２に対して全画素読み出しを行うように制御する。この場合、全方位ミラー１０１の鏡面に映された全周囲の風景を撮像することによって、全周囲円環画像としてデジタル画像データが生成される。
【００２１】
この全周囲円環画像の場合、撮像センサ１０２において全画素で読み出しが行われるため、低ビットレートのフレームレートで撮像される。全周囲円環画像として生成されたデジタル画像データは、そのまま画像幾何変換処理部１０８へ送られ、パノラマ変換処理あるいは透視投影変換処理が行われる。画像幾何変換処理部１０８は、パノラマ全周囲画像、あるいは透視投影画像としてデジタル画像データをそのまま描画表示処理部１１０に送る。そして、表示における適切な処理が行われる。その後、パノラマ全周囲画像またはその一部切り出した画面の歪みのない透視投影画像として、ディスプレイ装置１１１に表示される。
【００２２】
次に、動体検知部１０５によって被写体から動体物が検知された状態について説明する。通常状態において、低ビットレートのフレームレートで撮像されている状態で動体検知部１０５が被写体から動体物を検知すると、その動体物の位置情報及び検知情報を撮像センサ制御部１０６及び回転台制御部１０７へ送る。動体検知部１０５は、動体と検知した部分を画素単位で検知し、その部分を囲む最大の座標範囲を位置情報とする。
【００２３】
回転台制御部１０７は、動体物の位置情報及び検知情報を受けると、図３に示すように、動体物の中心位置が画面上の最上部分に来るような角度に回転台１０３を制御する。さらに、撮像センサ制御部１０６は、動体物の位置情報及び検知情報を受けると、撮像センサ１０２に対して全画素読み出しから、動体物の座標範囲における部分読み出しに切り替えるように制御する。これにより、部分読み出しを行う場合には、動体物をほぼ直立した正立状態で撮像することができる。撮像センサ１０２を部分読み出しにすることによって、全方位ミラー１０１の鏡面に映された全周囲の風景の一部に対して撮像を行い、画素数が少なくなることから、高ビットレートのフレームレートの動画像を生成することができる。
【００２４】
さらに、図３に示した動体物を検知した後に図４に示す動体物を検知した場合のように、動体物の大きさが変わるごとに、撮像センサ制御部１０６は、撮像センサ１０２に対して部分読み出しの範囲を変更するように制御を行う。このように全周囲円環の一部が切り出されたデジタル画像データは、現像処理部１０４において現像処理及び画像処理を施され、画像幾何変換処理部１０８で歪み補正が行われる。
【００２５】
そして、物体検出部１０９は、動体検知部１０５によって動体物と検知された被写体に対して、どのような物体であるかを認識する。本実施形態では、動体物が画面の最上部分に位置するように制御しているため、動体物をほぼ直立した正立状態で撮像することができ、高精度に物体を認識することができる。例えば、人物と認識された場合には、その旨を示す情報を描画表示処理部１１０にデジタル画像データとともに送る。
【００２６】
描画表示処理部１１０は、画像に人を意味するようなグラフィック描画を生成し、撮像画像にそのグラフィック描画を上書きしてディスプレイ装置１１１に送り、画像を表示させる。
【００２７】
以上のように本実施形態によれば、動体物を検出した場合に、動体物が画面の最上部分に位置するように全方位ミラー１０１を回転させるようにした。これにより、動体物を含むように部分読み出しを行って動画像を生成した場合に、どのような物体であるかを高精度にかつ簡単に認識することができる。また、全方位ミラー１０１を回転させて、部分読み出しを行うため、高ビットレートのフレームレートの動画像を簡単に生成することができる。
【００２８】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００２９】
１０１ 全方位ミラー
１０２ 撮像センサ
１０３ 回転台
１０５ 動体検知部
１０６ 撮像センサ制御部
１０７ 回転台制御部
【特許請求の範囲】
【請求項１】
全画素を読み出して全方位を撮像する第１のモード、または前記全画素の一部を読み出して特定の被写体を撮像する第２のモードにより撮像を行う撮像手段と、
前記撮像手段を回転させる回転手段と、
前記第１のモードにより撮像された範囲から被写体の動きを検知する動体検知手段と、
前記動体検知手段によって被写体の動きが検知された場合に、前記第２のモードにより前記動きを検知した被写体を正立状態で撮像できる角度に前記撮像手段を回転させるよう前記回転手段を制御する制御手段とを備えることを特徴とする全方位撮像装置。
【請求項２】
前記制御手段は、前記動体検知手段によって被写体の動きが検知された場合に、前記回転手段を制御するとともに、前記第２のモードで前記動きを検知した被写体を撮像するよう前記撮像手段を制御することを特徴とする請求項１に記載の全方位撮像装置。
【請求項３】
前記撮像手段は、全方位ミラーまたは全周魚眼レンズを用いて撮像を行うことを特徴とする請求項１または２に記載の全方位撮像装置。
【請求項４】
前記回転手段は、前記撮像手段の光軸を中心に前記撮像手段を回転させることを特徴とする請求項１〜３の何れか１項に記載の全方位撮像装置。
【請求項５】
全画素を読み出して全方位を撮像する第１のモード、または前記全画素の一部を読み出して特定の被写体を撮像する第２のモードにより撮像を行う撮像手段と、前記撮像手段を回転させる回転手段とを備えた全方位撮像装置の制御方法であって、
前記第１のモードにより撮像された範囲から被写体の動きを検知する動体検知工程と、
前記動体検知工程において被写体の動きが検知された場合に、前記第２のモードにより前記動きを検知した被写体を正立状態で撮像できる角度に前記撮像手段を回転させるよう前記回転手段を制御する制御工程とを備えることを特徴とする全方位撮像装置の制御方法。
【請求項６】
全画素を読み出して全方位を撮像する第１のモード、または前記全画素の一部を読み出して特定の被写体を撮像する第２のモードにより撮像を行う撮像手段と、前記撮像手段を回転させる回転手段とを備えた全方位撮像装置を制御するためのプログラムであって、
前記第１のモードにより撮像された範囲から被写体の動きを検知する動体検知工程と、
前記動体検知工程において被写体の動きが検知された場合に、前記第２のモードにより前記動きを検知した被写体を正立状態で撮像できる角度に前記撮像手段を回転させるよう前記回転手段を制御する制御工程とをコンピュータに実行させることを特徴とするプログラム。
【請求項１】
全画素を読み出して全方位を撮像する第１のモード、または前記全画素の一部を読み出して特定の被写体を撮像する第２のモードにより撮像を行う撮像手段と、
前記撮像手段を回転させる回転手段と、
前記第１のモードにより撮像された範囲から被写体の動きを検知する動体検知手段と、
前記動体検知手段によって被写体の動きが検知された場合に、前記第２のモードにより前記動きを検知した被写体を正立状態で撮像できる角度に前記撮像手段を回転させるよう前記回転手段を制御する制御手段とを備えることを特徴とする全方位撮像装置。
【請求項２】
前記制御手段は、前記動体検知手段によって被写体の動きが検知された場合に、前記回転手段を制御するとともに、前記第２のモードで前記動きを検知した被写体を撮像するよう前記撮像手段を制御することを特徴とする請求項１に記載の全方位撮像装置。
【請求項３】
前記撮像手段は、全方位ミラーまたは全周魚眼レンズを用いて撮像を行うことを特徴とする請求項１または２に記載の全方位撮像装置。
【請求項４】
前記回転手段は、前記撮像手段の光軸を中心に前記撮像手段を回転させることを特徴とする請求項１〜３の何れか１項に記載の全方位撮像装置。
【請求項５】
全画素を読み出して全方位を撮像する第１のモード、または前記全画素の一部を読み出して特定の被写体を撮像する第２のモードにより撮像を行う撮像手段と、前記撮像手段を回転させる回転手段とを備えた全方位撮像装置の制御方法であって、
前記第１のモードにより撮像された範囲から被写体の動きを検知する動体検知工程と、
前記動体検知工程において被写体の動きが検知された場合に、前記第２のモードにより前記動きを検知した被写体を正立状態で撮像できる角度に前記撮像手段を回転させるよう前記回転手段を制御する制御工程とを備えることを特徴とする全方位撮像装置の制御方法。
【請求項６】
全画素を読み出して全方位を撮像する第１のモード、または前記全画素の一部を読み出して特定の被写体を撮像する第２のモードにより撮像を行う撮像手段と、前記撮像手段を回転させる回転手段とを備えた全方位撮像装置を制御するためのプログラムであって、
前記第１のモードにより撮像された範囲から被写体の動きを検知する動体検知工程と、
前記動体検知工程において被写体の動きが検知された場合に、前記第２のモードにより前記動きを検知した被写体を正立状態で撮像できる角度に前記撮像手段を回転させるよう前記回転手段を制御する制御工程とをコンピュータに実行させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１３−１２９３０（Ｐ２０１３−１２９３０Ａ）
【公開日】平成２５年１月１７日（２０１３．１．１７）
【国際特許分類】
【出願番号】特願２０１１−１４４６７７（Ｐ２０１１−１４４６７７）
【出願日】平成２３年６月２９日（２０１１．６．２９）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２５年１月１７日（２０１３．１．１７）
【国際特許分類】
【出願日】平成２３年６月２９日（２０１１．６．２９）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]