画像処理装置、画像処理方法、及びコンピュータプログラム
【課題】 撮影画像中の表示枠を切り出した切出し画像を生成する画像処理装置において、切出し画像を観察しているユーザに与える、表示枠の変動によるストレスを軽減できる画像処理装置を提供する。
【解決手段】 画像処理装置１００は、撮影により画像を生成する画像生成部１０１と、画像中の移動体を囲む領域を検出枠として検出する人物検出部１０２と、検出枠の位置の履歴に基づいて、位置が振れないように、検出枠に対応する表示枠を決定する表示枠中心位置決定部１０７と、表示枠中心位置決定部１０７にて決定された表示枠の切出し画像を生成する切出し画像生成部１１０とを備えている。
【解決手段】 画像処理装置１００は、撮影により画像を生成する画像生成部１０１と、画像中の移動体を囲む領域を検出枠として検出する人物検出部１０２と、検出枠の位置の履歴に基づいて、位置が振れないように、検出枠に対応する表示枠を決定する表示枠中心位置決定部１０７と、表示枠中心位置決定部１０７にて決定された表示枠の切出し画像を生成する切出し画像生成部１１０とを備えている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影画像に対して画像処理を行う画像処理装置、画像処理方法、及びコンピュータプログラムに関し、特に、撮影画像中の表示枠を切り出して切出し画像を生成する画像処理装置、画像処理方法、及びコンピュータプログラムに関する。
【背景技術】
【０００２】
従来、監視カメラで撮影を行って画像を生成し、その画像をモニタに表示する監視システムにおいては、カメラによる撮影で得られた画像（撮影画像）全体を表示するモード（全表示モード）のほか、その一部領域を切り出して表示するモード（切出し表示モード）が用いられる。
【０００３】
また、切出し表示モードには、特に、撮影画像から画像処理により移動体を検出して、その移動体を追尾するように自動で切出し領域を移動させるものがある。このような切出し表示モードでは、撮影画像中の動きのある領域を囲う枠を検出枠として、検出枠を含み、検出枠より大きい表示枠を設定して、表示枠内の画像を表示する。表示枠は、その中心が検出枠の中心と一致するように設定することができる。
【０００４】
しかしながら、単純に表示枠を常にその中心が検出枠の中心に一致するように設定すると、次のような問題が生じる。
【０００５】
まず、移動体が人物である場合には、人物が移動をしていないとしても、人物の影やノイズの影響を受けたり、また人物が振り向いたり、手を伸ばしたり、しゃがんだりすることで、検出枠が変動し、その中心位置も移動することになる。また、検出精度が十分に高くない場合にも、同様に検出枠が変動することになる。
【０００６】
このような原因による検出枠の変動は、ごく小さな範囲内における、頻繁かつ高速な変動（以下、このような変動を「振れ」という。）となる。このような検出枠の振れに対しても、その変動に従って、その中心が検出枠の中心に一致するように表示枠を設定すると、表示枠にも振れが生じることになる。これにより、モニタには、あたかも手振れを起こしたような切出し画像が表示されることになり、これを観察しているユーザにストレスを与えてしまう。
【０００７】
この問題に対して、検出枠の位置として、例えば前のフレームとの平均位置を採用することで、検出枠の位置の変動に対してスムージング処理を行い、表示枠の振れを緩和する技術がある（例えば、特許文献１を参照）。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開平５−６８１９５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、上記の従来技術によっても、振れの幅が減少する可能性はあるが、振れ自体がなくなるわけではなく、振れの根本的な解決にはならない。また、人物が実際に移動をしている際にも、一定の比較的狭い範囲内を行ったり来たりしている場合には、表示枠が上下左右に頻繁に移動することになり、やはり、これを観察しているユーザにストレスを与えてしまう。
【００１０】
本発明は、上記の問題に鑑みてなされたものであり、撮影画像中の表示枠を切り出した切出し画像を生成する画像処理装置において、切出し画像を観察しているユーザに与える、表示枠の変動によるストレスを軽減できる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記従来の課題を解決するために、本発明の画像処理装置は、撮影により画像を生成する画像生成部と、前記画像中の移動体を囲む領域を検出枠として検出する検出枠生成部と、前記検出枠の位置の履歴に基づいて、位置が振れないように、表示枠を決定する表示枠決定部と、前記表示枠決定部にて決定された前記表示枠の切出し画像を生成する切出し画像生成部とを備えた構成を有している。
【００１２】
この構成により、検出枠の位置の履歴に基づいて、位置が振れないように表示枠が決定して、その表示枠で切出し画像を生成するので、切出し画像を観察しているユーザに与える、表示枠の変動によるストレスを軽減できる。なお、表示枠は検出枠を完全に包含するように決定されてもよいし、検出枠の囲む領域の少なくとも一部を含むように決定されてもよく、また、検出枠の囲む領域を包含しないように決定されてもよい。また、表示枠を決定するとは、表示枠の位置及び大きさの少なくともいずれか一方を決定することをいう。
【００１３】
また、上記の画像処理装置において、前記表示枠決定部は、前記検出枠の位置の履歴に基づいて、表示モードを、前記表示枠を前記検出枠に追随して移動させる移動表示モード又は前記検出枠の変動に関らず前記表示枠を固定する固定表示モードのいずれかに設定し、設定された前記表示モードに従って前記表示枠の位置を決定してよい。
【００１４】
この構成により、固定表示モードで切出し画像を表示することで、検出枠が振れたとしても検出枠の振れに影響されない表示枠で切出し画像が表示される。
【００１５】
また、上記の画像処理装置において、前記表示枠決定部は、前記検出枠の位置の履歴に基づいて、前記移動体が移動しているか、又は停止若しくは滞留しているかを推定し、前記移動体が移動していると推定した場合に、前記表示モードを前記移動表示モードに設定し、前記移動体が停止又は滞留していると推定した場合に、前記表示モードを前記固定表示モードに設定してよい。
【００１６】
この構成により、移動体が停止又は滞留していると推定された場合は、検出枠の微小な変動に表示枠を追随させないので、移動体の実質的な位置の移動を伴わない検出枠の変動によって表示枠が振れることを防止できる。
【００１７】
また、上記の画像処理装置において、前記表示枠決定部は、前記表示モードが前記固定表示モードから前記移動表示モードに移行する際に、前記表示枠がスムーズに変動するよう前記表示枠を決定してよい。
【００１８】
固定表示モードから直ちに移動表示モードに切替えると、固定表示モードにおける表示枠の位置や大きさが大きく変化することがあり、この場合には、切出し画像を観察しているユーザにおいて、表示モードの切替え前後において切出し画像の相関が理解しにくくなることがあるが、この構成により、固定表示モードから移動表示モードへの切り替えにおいて、表示枠がスムーズに変動するので、表示モードの切替え前後における切出し画像の相関を認識し易くなる。
【００１９】
また、上記の画像処理装置において、前記表示枠決定部は、前記検出枠の大きさ及び前記検出枠の位置の履歴に基づいて、前記表示枠の大きさを決定してよい。
【００２０】
この構成により、検出枠が振れる場合に、検出枠に対して表示枠を大きく取ることで、表示枠の位置を検出枠に追随させる場合には、表示枠の振れを軽減でき、表示枠の位置を検出枠に追随させない場合にも、表示枠を固定したままで検出枠内の画像を含む切出し画像を生成できる。
【００２１】
また、上記の画像処理装置において、前記表示枠決定部は、前記検出枠の位置の履歴に基づいて、前記移動体が移動しているか、又は停止若しくは滞留しているかを推定し、前記移動体が停止又は滞留していると推定した場合に、前記移動体が移動していると推定した場合よりも、前記表示枠の大きさを大きくしてよい。
【００２２】
この構成により、移動体が停止若しくは滞留していると推定された場合に表示枠を大きくすることで、表示枠の振れを軽減でき、または表示枠を固定しておくことができる。
【００２３】
また、上記の画像処理装置において、前記表示枠決定部は、前記検出枠の位置の履歴に基づいて、前記検出枠が所定の期間内に移動した範囲を含むように、前記表示枠の位置及び大きさを決定して固定してよい。
【００２４】
この構成により、移動体が比較的狭い範囲を複雑に動き回る場合に、表示枠をその範囲を含むように大きく取って固定することで、移動体の複雑な動きに対して表示枠の位置を移動することなく移動体の切出し画像を得ることができる。
【００２５】
また、上記の画像処理装置において、前記表示枠決定部は、前記検出枠が、固定された前記表示枠の周囲に達したときに、前記表示枠の固定を解除してよい。
【００２６】
この構成により、表示枠を固定したことで移動体の移動に追随できずに切出し画像に移動体が映らなくなるという不都合を回避できる。
【００２７】
また、上記の画像処理装置において、前記表示枠決定部は、所定の期間内における前記検出枠の平均位置を求め、前記所定の期間内における各検出枠の位置と前記平均位置との距離差の総和を求め、前記距離差の総和が所定の閾値より大きいときは、前記移動体が移動していると推定し、前記距離差の総和が前記所定の閾値より小さいときは、前記移動体が停止又は滞留していると推定してよい。
【００２８】
この構成により、移動体が移動しているのか、停止又は滞留しているのかを好適に推定できる。
【００２９】
また、上記の画像処理装置において、前記画像は歪みを有し、前記表示枠決定部は、前記各検出枠の歪みに応じて前記距離差に重みを付けてよい。
【００３０】
この構成により、画像に歪があることによって、移動体が実際には移動しているのに、停止又は滞留であると推定してしまうことを軽減できる。
【００３１】
また、上記の画像処理装置は、前記移動体の画像に基づいて前記移動体の向きを検出する移動体向き検出部をさらに備えていてよく、前記表示枠決定部は、前記検出枠の位置の履歴に基づく前記検出枠の移動方向と前記移動体の向きとが異なるときは、前記移動体が停止又は滞留していると推定してよい。
【００３２】
この構成により、移動体が移動しているのか、停止又は滞留しているのかを好適に推定できる。
【００３３】
また、上記の画像処理装置において、前記表示枠決定部は、前記表示枠の位置が振れないような前記表示枠の位置の変動に関する制約条件を参照して、前記制約条件を満たすように、前記表示枠決定してよい。
【００３４】
表示枠決定部が、位置が振れないように表示枠を決定するための所定のアルゴリズムに従って表示枠を決定する場合において、実際には表示枠の位置が振れることがあったとしても、この構成により、制約条件を課した上で表示枠を決定するので、表示枠の振れを確実に軽減又は防止できる。
【００３５】
また、上記の画像処理装置において、前記制約条件は、前記表示枠の移動速度が所定の上限を超えないという条件であってよい。
【００３６】
この構成により、表示枠が所定の速度以上では移動しないことが保証され、確実に表示枠の振れを軽減又は防止できる。
【００３７】
前記制約条件は、前記表示枠の位置を所定のルート上に制限するという条件であってよい。
【００３８】
画像生成部がある場所を撮影しており、人物が移動体として検出される状況において、その場所において、障害物等の要因により、人物の移動ルートが限られている場合は、表示枠の位置もその移動ルートを辿るように変動させればよい。よって、この構成により、表示枠の位置を所定のルート上に制限することで、そのルートとは異なる方向への検出枠の変動によって表示枠が振れることはなく、切出し画像を観察しているユーザに与える、表示枠の変動によるストレスを軽減できる。
【００３９】
本発明の別の態様は、画像処理方法であり、この画像処理方法は、撮影により画像を生成する画像生成ステップと、前記画像中の移動体を囲む領域を検出枠として検出する検出枠生成ステップと、前記検出枠の位置の履歴に基づいて、位置が振れないように前記検出枠に対応する表示枠を決定する表示枠決定ステップと、前記表示枠決定ステップにて決定された前記表示枠の切出し画像を生成する切出し画像生成ステップとを含んでいる。
【００４０】
この構成によっても、検出枠の位置の履歴に基づいて、位置が振れないように表示枠が決定して、その表示枠で切出し画像を生成するので、切出し画像を観察しているユーザに与える、表示枠の変動によるストレスを軽減できる。
【００４１】
本発明のさらに別の態様は、コンピュータプログラムであって、このコンピュータプログラムは、上記の画像処理方法をコンピュータに実行させる。
【発明の効果】
【００４２】
本発明は、検出枠の位置の履歴に基づいて、位置が振れないように表示枠を決定して、その表示枠で切出し画像を生成するので、切出し画像を観察しているユーザに与える、表示枠の変動によるストレスを軽減できる。
【図面の簡単な説明】
【００４３】
【図１】本発明の第１の実施の形態における画像処理装置の構成を示すブロック図
【図２】（ａ）本発明の第１の実施の形態における時刻ｔ−ｓから時刻ｔまでの平均位置と各時刻の平均位置からの距離差の総和（人物が移動している場合）を説明する図 （ｂ）本発明の第１の実施の形態における時刻ｔ−ｓから時刻ｔまでの平均位置と各時刻の平均位置からの距離差の総和（人物が停止又は滞留している場合）を説明する図
【図３】（ａ）本発明の第１の実施の形態における固定表示モード開始時の検出枠と表示枠との関係を示す図 （ｂ）本発明の第１の実施の形態における人物が滞留しながら表示枠の端に移動したときの検出枠と表示枠との関係を示す図 （ｃ）本発明の第１の実施の形態における過渡期間の検出枠と表示枠との関係を示す図 （ｄ）本発明の第１の実施の形態における過渡期間終了時の検出枠と表示枠との関係を示す図
【図４】（ａ）本発明の第１の実施の形態における検出枠と表示枠との関係を示す図 （ｂ）本発明の第１の実施の形態における境界ラインを示す図 （ｃ）検出枠が境界ラインにかかった状態を示す図
【図５】本発明の第１の実施の形態における画像処理装置の動作を示すフロー図
【図６】本発明の第２の実施の形態における画像処理装置の構成を示すブロック図
【図７】（ａ）本発明の第２の実施の形態における右向きのテンプレートのマッチングスコアが高い場合を示す図 （ｂ）本発明の第２の実施の形態における左向きのテンプレートのマッチングスコアが高い場合を示す図
【図８】本発明の第３の実施の形態における画像処理装置の構成を示すブロック図
【図９】本発明の第４の実施の形態における画像処理装置の構成を示すブロック図
【図１０】（ａ）本発明の第４の実施の形態における人物の複数回の移動による軌跡から平均的なルートを求める処理を説明する図 （ｂ）本発明の第４の実施の形態における平均的な移動ルート上に制限される表示枠を示す図
【図１１】本発明の第４の実施の形態の変形例を示す図
【図１２】本発明の第５の実施の形態における画像処理装置の構成を示すブロック図
【図１３】（ａ）本発明の第５の実施の形態における人物が全方位画像の円周方向に移動する場合を示す図 （ｂ）本発明の第５の実施の形態における人物が全方位画像の半径方向に比較的長い距離移動する場合を示す図 （ｃ）本発明の第５の実施の形態における人物が全方位画像の半径方向に比較的短い距離移動する場合を示す図
【発明を実施するための形態】
【００４４】
以下、本発明を実施するための形態について、図面を参照しながら説明する。
【００４５】
（第１の実施の形態）
図１は、本発明の第１の実施の形態の画像処理装置の構成を示すブロック図である。図１に示すように、画像処理装置１００は、画像生成部１０１、人物検出部１０２、移動履歴保持部１０３、平均位置算出部１０４、距離差総和算出部１０５、表示モード決定部１０６、表示枠中心位置決定部１０７、表示枠位置決定パラメータ保持部１０８、表示枠位置保持部１０９、及び切出し画像生成部１１０を備えている。なお、平均位置算出部１０４、距離差総和算出部１０５、表示モード決定部１０６、表示枠中心位置決定部１０７、表示枠位置決定パラメータ保持部１０８を含む構成は、本発明の表示枠決定部に相当する。
【００４６】
画像生成部１０１は、カメラなどで撮影をすることで画像（以下、「撮影画像」という。）を生成する。画像処理装置１００が監視システムに応用される場合は、カメラは監視対象箇所に設置されて、監視対象箇所を撮影する。撮影画像は人物検出部１０２に出力される。
【００４７】
人物検出部１０２は、撮影画像中から人物を検出して、その検出結果を出力する。人物検出部１０２は、前のフレームと現在のフレームとを比較して、撮影画像において、画素値の差分が所定の閾値以上である箇所を人物が映し出されている箇所として検出する。人物検出部１０２は、差分が閾値以上である箇所を含む矩形領域を検出枠として生成し、検出結果として、生成した検出枠の情報（検出枠の中心座標、高さ及び幅）を出力する。人物検出部１０２は、本発明の検出枠生成部に相当する。
【００４８】
移動履歴保持部１０３は、人物検出部１０２から出力された検出枠の情報をその検出時刻と対応付けて保持している。平均位置算出部１０４は、移動履歴保持部１０３に保持されている各時刻の検出枠の位置を参照して、現在時刻をｔとして、現在時刻から時間ｓだけ前の時刻ｔ−ｓから現在時刻ｔまでの間（フレーム数はＸ枚）の人物位置（即ち検出枠の中心座標の位置）の平均位置を算出する。
【００４９】
距離差総和算出部１０５は、平均位置算出部１０４が算出した平均位置と、時刻ｔ−ｓから現在時刻ｔまでの間の各時刻での人物位置との距離差の総和を求める。この距離差の総和は、人物が一方向に移動している場合には、大きくなり、一箇所に停止又は滞留している場合には小さくなる。
【００５０】
図２は、時刻ｔ−ｓから時刻ｔまでの平均位置と距離差の総和を説明する図である。図２（ａ）は、人物が移動している場合の平均位置と各時刻の平均位置からの距離差を示す図である。図２（ａ）の例では、人物が移動しているので、時刻ｔ−ｓから時刻ｔまでの距離差の総和は大きくなる。これに対して、図２（ｂ）は、人物が停止又は滞留している場合の平均位置と各時刻の平均位置からの距離差を示す図である。この場合には、時刻ｔ−ｓから時刻ｔにわたって平均位置からの距離差が小さく、その総和も小さくなる。
【００５１】
表示モード決定部１０６は、検出枠の位置の履歴に基づいて、表示モードを設定する。具体的には、表示モード決定部１０６は、距離総和算出部１０５にて算出された距離差の総和が所定の閾値σを超えたら表示モードとして「移動表示モード」を設定し、閾値σを超えない場合には表示モードとして「固定表示モード」を設定する。表示モード決定部１０６は、設定した表示モードを表示枠中心位置決定部１０７に出力する。
【００５２】
表示枠中心位置決定部１０７は、検出枠の位置に対応する表示枠の位置を決定する。表示枠中心位置決定部１０７は、表示モード決定部１０６より出力された表示モードを参照して、表示モードが「移動表示モード」であるときは、検出枠の位置に追随するように表示枠の位置を決定する。具体的には、表示枠の中心が検出枠の中心と一致するように、表示枠の位置を決定する。
【００５３】
但し、この場合にも、表示枠位置決定パラメータ保持部１０８に保持された表示枠位置決定パラメータを参照して、表示枠の位置を決定する。表示枠位置決定パラメータ保持部１０８には、表示枠位置決定パラメータとして、表示枠を移動させるときの制約条件が保持されている。本実施の形態では、表示枠位置決定パラメータとして、表示枠の最大速度が保持されている。
【００５４】
表示枠中心位置決定部１０７は、表示枠位置保持部１０９に保持された前のフレームの表示枠の位置を参照して、表示枠の速度（前のフレームからの表示枠の移動量）が最大速度を超えていなければ、表示枠の中心が、移動履歴保持部１０３から入力した現在のフレームの検出枠の中心と一致するように表示枠の位置を決定し、最大速度を超えている場合には、最大速度を超えない限度で表示枠の位置を決定する。
【００５５】
表示枠中心位置決定部１０７は、表示モードが「固定表示モード」であるときは、表示枠位置保持部１０９に保持された前のフレームの表示枠を現在のフレームの表示枠とする。即ち、検出枠の位置に関らず、表示枠を固定とする。
【００５６】
固定表示モードにある場合に、あるフレームにおいて、直近の時間ｓの間における平均位置からの各時刻の距離差の総和が閾値を超えたら、固定表示モードから移動表示モードに切り替わる。但し、この場合には、移動表示モードにおいて、直ちに表示枠を検出枠に完全に追随させるのではなく、緩やかに検出枠に追随させるようにする。
【００５７】
図３は、固定表示モードから移動表示モードへの切替えを説明する図である。図３（ａ）に示すように、表示枠の中心位置が検出枠の中心と一致するように表示枠を固定して固定表示モードを開始した後に、図３（ｂ）に示すように人物が滞留しながら表示枠の端に移動して、そこから移動を始めた場合には、検出枠の中心と表示枠の中心とがずれているので、仮に直ちに表示枠の中心が検出枠の中心と一致するように表示枠の位置を決定すると、固定されていた表示枠の位置から急激に表示枠の位置が変化し、ユーザは、表示モードの切替え前後における切出し画像の相関を把握しにくくなる。
【００５８】
そこで、固定表示モードから移動表示モードに移行する際の過渡期間には、次のようにして、表示枠の中心位置（ｘ，ｙ）を決定する。即ち、固定表示モード時の表示枠の中心座標を（ｘf，ｙf）とし、移動表示モード時の時刻ｔにおける検出枠の中心座標を（ｘt，ｙt）とし、固定表示モードから移動表示モードに切り替わる時刻をｔaとし、固定表示モードから移動表示モードへの切替りの過渡期間をｎとすると、時刻ｔa以前及び時刻ｔa＋ｎ以降では、表示枠の中心位置（ｘ，ｙ）は、それぞれ（ｘf，ｙf）、（ｘt，ｙt）とし、時刻ｔaから時刻ｔa＋ｎまでは、下式（１）を表示枠の中心位置（ｘ，ｙ）とする。
【数１】
【００５９】
図３（ｃ）は、時刻ｔaから時刻ｔa＋ｎにおいて、検出枠の中心と表示枠の中心とが徐々に近づく様子を示しており、図３（ｄ）は、時刻ｔa＋ｎにおいて、検出枠の中心が表示枠の中心に追いついた様子を示している。図３（ｄ）以降は、通常の移動表示モードとなり、表示枠の中心と検出枠の中心とが一致するように表示枠の位置を決定する。
【００６０】
上述のように、直近の時間ｓの間における平均位置からの各時刻の距離差の総和が閾値を超えない場合には、表示モードが「固定表示モード」とされて、表示枠が固定される。しかしながら、人物が所定の場所にて停止又は滞留していた状態から、ゆっくりと移動した場合には、距離差の総和が閾値を超えずに（即ち固定表示モードのまま）、人物位置が固定された表示枠から外れてしまうことがある。
【００６１】
そこで、表示枠中心位置決定部１０７は、検出枠が境界ラインを超えたら、表示モードを移動表示モードに変更する。図４（ａ）は、表示枠と検出枠との関係を示す図である。図４（ａ）に示すように、表示枠は検出枠を完全に包含しており、固定表示モードの開始時には検出枠と表示枠の中心は一致している。図４（ｂ）は、境界ラインを示す図である。境界ラインは表示枠の内側の一定ピクセル（又は一定割合）の位置に、表示枠より一回り小さい枠として設定される。
【００６２】
図４（ｃ）は、検出枠が境界ラインにかかった状態を示す図である。図４（ｃ）に示すように、検出枠が境界ラインにかかると、表示枠中心位置決定部１０７は、表示モードを固定表示モードから移動表示モードに変更する。なお、この場合にも、上述のように、直ちに検出枠の中心と表示枠の中心を一致させるのではなく、過渡期間ｎをかけて徐々に表示枠が検出枠に追随するようにする。
【００６３】
なお、表示枠中心位置決定部１０７は、検出枠の中心が境界ラインを超えたときに、表示モードを固定表示モードから移動表示モードに変更してもよく、検出枠と境界ラインとの関係についての更に他の基準によって表示モードを変更してもよい。
【００６４】
図１に戻って、切出し画像生成部１１０は、表示枠内の画像を切り出して、切出し画像を生成して表示する。なお、撮影画像が魚眼レンズを用いて撮影された全方位画像である場合には、切出し画像生成部１１０は、表示枠について歪み補正を行なって切出し画像を生成する。切出し画像のサイズは、固定されていてもよいし、切出し画像生成部１１０が人物検出枠の大きさに比例するように切出し画像のサイズを設定してもよい。
【００６５】
図５は、第１の実施の形態の画像処理装置１００の動作を示すフロー図である。画像処理装置１００の画像生成部１０１が、あるフレームの撮影画像を生成すると（ステップＳ５０１）、人物検出部１０２は、撮影画像から人物を検出して（ステップＳ５０２）、そのフレームの検出枠を生成し（ステップＳ５０３）、そのフレームの検出枠の情報を移動履歴保持部１０３に保存する（ステップＳ５０４）。
【００６６】
次に、表示モードが移動表示モードであって、かつ固定表示モードからの変更の過渡期間にある（以下、「移動表示モード（過渡期間）」と表記する）か否かを判断する（ステップＳ５０５）。表示モードが移動表示モード（過渡期間）でない場合は（ステップＳ５０５にてＮＯ）、平均位置算出部１０４及び距離差総和算出部１０５がそれぞれ、移動履歴保持部１０３から過去の検出枠の移動履歴を読出し（ステップＳ５０６）、平均位置算出部１０４は平均位置を算出し（ステップＳ５０７）、距離総和算出部１０５は、平均位置と、過去のＸフレーム分の人物位置との距離差の総和を算出する（ステップＳ５０８）。
【００６７】
表示モード決定部１０６は、距離差の総和が閾値σより大きいか否かを判断し（ステップＳ５０９）、距離差の総和が閾値σを超えていない場合は（ステップＳ５０９でＮＯ）、表示モードを固定表示モードとする（ステップＳ５１０）。そして、検出枠が境界ラインに掛かっているかを判断し（ステップＳ５１１）、掛かっていない場合には（ステップＳ５１１にてＮＯ）、現フレームの表示枠の中心と前のフレームの表示枠の中心とが一致するように、現フレームの表示枠の位置を決定して（ステップＳ５１２）、切出し画像を生成して表示し、次のフレームのためにステップＳ５０１に戻る。
【００６８】
表示モード決定部１０６は、ステップＳ５０９にて、距離差の総和が閾値σを超えている場合には（ステップＳ５０９にてＹＥＳ）、表示モードを移動表示モードにするが、その前に、現在の表示モードが固定表示モードであるか否かを判断する（ステップＳ５１３）。現在の表示モードが固定表示モードである場合（ステップＳ５１３にてＹＥＳ）、即ち固定表示モードから移動表示モードへ切り替わる際には、表示モードを移動表示モード（過渡期間）として（ステップＳ５１４）、上記で説明した過渡処理によって表示枠の位置を決定し（ステップＳ５１５）、切出し画像を生成して表示する。
【００６９】
そして、過渡期間が終了したか否かを判断し、終了していない場合には（ステップＳ５１６でＮＯ）、そのまま、即ち表示モードを移動表示モード（過渡期間）としたまま、次のフレームのためにステップＳ５０１に戻る。一方、過渡期間が終了した場合には（ステップＳ５１６でＹＥＳ）、表示モードを通常の移動表示モードに設定して（ステップＳ５１７）、次のフレームのためにステップＳ５０１に戻る。
【００７０】
距離の総和が閾値σを超えており（ステップＳ５０９にてＹＥＳ）、かつ、現在の表示モードが固定表示モードでない場合には（ステップＳ５１３にてＮＯ）、表示モード決定部１０７は、表示モードを通常の移動表示モードに設定し（ステップＳ５１８）、表示枠の中心が現フレームの検出枠の中心と一致するように表示枠を設定して（ステップＳ５１９）、切出し画像を生成して表示し、次のフレームのためにステップＳ５０１に戻る。
【００７１】
なお、ステップＳ５１４で表示モードが移動表示モード（過渡期間）に設定された場合には、次のフレームのためにステップＳ５０１に戻った後に、ステップＳ５０５で表示モードが移動表示モード（過渡期間）であると判断される（ステップＳ５０５でＹＥＳ）。この場合には、直ちに過渡処理で表示枠が設定される（ステップＳ５１５）。
【００７２】
また、ステップＳ５１０で表示モードが固定表示モードとされた時に、人物がゆっくりと移動したことにより、検出枠が境界ラインに掛かった場合には（ステップＳ５１１）、表示モードが移動表示モード（過渡期間）に設定され（ステップＳ５１４）、過渡期間が終了するまで過渡処理で表示枠が設定されることになる。
【００７３】
以上のように、本実施の形態の画像処理装置１００によれば、人物が一定の場所に停止又は滞留している場合に、検出枠が振れたとしても、表示モードが固定表示モードにされるので、表示枠がそれに追随して振れることはない。よって、切出し画像が手振れを起こしたような画像になることを防止でき、切出し画像を観察しているユーザに負担を与えることがない。
【００７４】
また、表示モードを固定表示モードから移動表示モードに切替える際には、表示枠の位置を直ちに完全に検出枠に追随させるのではなく、一定の過渡期間を設けて、徐々に表示枠の中心が検出枠の中心に近づくように過渡処理を行うので、ユーザが、表示モードが切り替わったことにより切替え前後の切出し画像の相関を把握できないという事態を回避できる。
【００７５】
更に、所定のフレーム数分の平均位置と人物位置との距離差の総和が所定の閾値を越えるか否かで固定表示モードとするか移動表示モードとするかを決定する場合には、人物がゆっくりと移動すると、距離差の総和が閾値を越えない状態で人物位置が表示枠から外れてしまうことも生じうるが、本実施の形態の画像処理装置１００によれば、固定表示モードにおいても、検出枠が境界ラインに掛かった場合には移動表示モードに移行するので、そのような事態を回避できる。
【００７６】
（第２の実施の形態）
図６は、第２の実施の形態の画像処理装置２００の構成を示すブロック図である。図６の画像処理装置２００において、第１の実施の形態の画像処理装置１００の構成と同一の構成要素には同一の符号を付して、その説明を省略する。本実施の形態の画像処理装置２００は、第１の実施の形態の画像処理装置１００の構成に加えて、更に、人物向き検出部２１１及び方向比較部２１２を備えている。また、本実施の形態の画像処理装置２００は、第１の実施の形態の表示モード決定部１０６に相当する構成要素として、表示モード決定部２０６を備えており、第１の実施の形態の表示枠中心位置決定部１０７に相当する構成要素として、表示枠中心位置及び表示枠サイズ決定部２０７を備えている。
【００７７】
人物向き検出部２１１は、撮像画像内の人物の向きを検出する。具体的には、方向別の人物モデルのテンプレートを用いて、該当するテンプレートを決定することで、人物の向きを検出する。人物モデルは、例えば前後、左、右の３方向について用意される。３種類のテンプレートのうちの最もマッチングスコアの高いテンプレートの示す方向をその人物の向きとして検出してもよい。また、人物の画像とこの３種類のテンプレートのいずれかとの間のマッチングスコアが所定の閾値より高い場合に、その人物が当該マッチングスコアの高いテンプレートの示す方向を向いていると判断してもよい。図７（ａ）は、右向きのテンプレートのマッチングスコアが高い場合を示す図であり、図７（ｂ）は、左向きのテンプレートのマッチングスコアが高い場合を示す図である。
【００７８】
方向比較部２１２は、移動履歴保持部１０３から人物位置の移動履歴を読み出して、人物位置の移動方向（人物動線の方向）を求める。方向比較部２１２は、更に、求めた人物動線の方向と人物向き検出部２１１で検出した人物の向きとを比較し、両方向が一致するか否かを判断し、その判断結果を表示モード決定部２０６に出力する。また、方向比較部２１２は、両方向が一致しない場合には、その旨を表示枠中心位置及び表示枠サイズ決定部２０７に通知する。
【００７９】
図７（ａ）の例では、人物動線の方向が右方向であり、人物の向きも右方向であるので、方向比較部２１２は、両方向が一致していると判断する。また、図７（ｂ）の例では、人物動線の方向が右方向であり、人物の向きが左方向であるので、方向比較部２１２は、両方向は一致していないと判断する。方向比較部２１２は、具体的には、両方向の間の角度が所定の閾値以下である場合に、両方向が一致すると判断する。
【００８０】
表示モード決定部２０６は、距離差の総和が閾値σを超えていない場合、及び、距離差の総和が閾値σを超えているが方向比較部２１２から出力された結果が、人物動線の方向と人物の向きとが一致しないという結果である場合には、表示モードを固定表示モードに設定する。表示モード決定部２０６は、距離差の総和が閾値σを超えており、かつ、方向比較部２１２から出力された結果が、人物動線の方向と人物の向きとが一致するという結果である場合は、表示モードを移動表示モードとする。
【００８１】
表示枠中心位置及び表示枠サイズ決定部２０７は、固定表示モードが設定された場合には、表示枠のサイズを検出枠のサイズのα倍（α＞１）とし、移動表示モードが設定された場合には、表示枠を検出枠と同じ大きさにする。
【００８２】
表示枠中心位置及び表示枠サイズ決定部２０７は、表示モード決定部２０６から表示モードとして固定表示モードが設定されたことが通知され、かつ、方向比較部２１２から人物動線の方向と人物の向きとが一致しないという結果が通知された場合には、固定表示モードのおける表示枠を設定する際に、検出枠内の人物が向いている方向ほど表示枠を広くするように、表示枠のサイズを決定する。その他の構成は、第１の実施の形態と同様である。
【００８３】
以上のように、第２の実施の形態の画像処理装置２００によれば、画像処理により撮像画像中の人物の向きを比較して、人物位置の移動履歴に基づく人物動線の方向が人物の向きと一致するときは、その人物動線は人物の移動によるものであると判断して、距離差が閾値σを超える場合に表示モードを移動表示モードに設定し、人物動線の方向と人物の向きとが一致しないときは、検出枠の変動は検出枠の振れによるものであると判断して、距離差が閾値σを超える場合であっても表示モードを固定表示モードとする。よって、人物の向きを考慮して、より適切に、人物が移動しているのか、停止又は滞留しているのかを判断できる。
【００８４】
（第３の実施の形態）
図８は、第３の実施の形態の画像処理装置３００の構成を示すブロック図である。図８の画像処理装置３００において、第１の実施の形態の画像処理装置１００の構成と同一の構成要素には同一の符号を付して、その説明を省略する。本実施の形態の画像処理装置３００は、第１の実施の形態の画像処理装置１００の構成に加えて、更に、移動状態算出部３１１及びパターン内重み保持部３１２を備えている。また、本実施の形態の画像処理装置３００は、第１の実施の形態の表示モード決定部１０６に相当する構成要素として、表示モード決定部３０６を備えており、第１の実施の形態の表示枠中心位置決定部１０７に相当する構成要素として、表示枠中心位置及び表示枠サイズ決定部３０７を備えている。
【００８５】
人物が移動しているが、その移動領域が一定の範囲内に収まっており、表示枠を検出枠に追随させても、手振れのようにごく小さな範囲内における頻繁かつ高速な変動にはならないものの、表示枠が一定の範囲内を速い速度で上下左右に頻繁に移動する場合には、はやり切出し画像を観察しているユーザにストレスを与えてしまうことがある。本実施の形態の画像処理装置３００は、このようなユーザに与えるストレスを解消することができる。
【００８６】
移動状態算出部３１１は、移動履歴保持部１０３に保存された人物位置の移動履歴を参照して、人物が所定の大きさの範囲内を速い速度で移動しているか否かを判断し、その結果を表示モード決定部３０６及び表示枠中心位置出力する。人物が所定の大きさの範囲内を速い速度で移動しているか否かは、直近のＸフレーム（現在時刻をｔとして、時刻ｔ−ｓから時刻ｔまでの間）について、各フレームの検出枠の速度（前フレームからの移動距離）の総和を、平均位置と各フレームの検出枠の中心位置との距離差の総和で除したパラメータが、所定の閾値を上回るか否かで判断できる。また、移動状態算出部３１１は、人物が所定の大きさの範囲内を速い速度で移動していると判断した場合には、その旨を表示枠中心位置及び表示枠サイズ決定部３０７に通知する。
【００８７】
表示モード決定部３０６は、距離差の総和が閾値σを超えていない場合、及び、距離差の総和が閾値σを超えているが移動状態算出部３１１から出力された結果が、人物が所定の大きさの範囲内を速い速度で移動しているという結果である場合には、表示モードを固定表示モードに設定する。表示モード決定部３０６は、距離差の総和が閾値σを超えており、かつ、移動状態算出部３１１から出力された結果が、人物が所定の大きさの範囲内を速い速度で移動しているという結果でない場合は、表示モードを移動表示モードとする。
【００８８】
表示枠中心位置及び表示枠サイズ決定部３０７は、表示モード決定部３０６から表示モードとして固定表示モードが設定されたことが通知され、かつ、移動状態算出部３１１から人物が所定の大きさの範囲内を速い速度で移動しているという判断結果が通知された場合には、固定表示モードにおける表示枠を決定する際に、表示枠を広くするように、表示枠のサイズを決定する。表示枠中心位置及び表示枠サイズ決定部３０７は、直近のＸフレームにおいて人物が移動している範囲を包含するように表示枠のサイズを決定してよい。
【００８９】
また、パターン内重み保持部３１２には、パターン内の重みが保持されている。表示枠中心位置及び表示枠サイズ決定部３０７は、表示枠のサイズを大きく設定する際に、その中心位置をどこにするかを判断する際に、パターン内重み保持部３１２に保持された重みを参照して、人物パターン内の顔の部分の重みを大きくする。その他の構成は、第１の実施の形態と同様である。
【００９０】
以上のように、第３の実施の形態の画像処理装置３００によれば、人物の移動状態が、所定の大きさの範囲内を速い速度で移動しているものであるか否かを判断して、人物が所定の大きさの範囲内を速い速度で移動している場合には、表示枠を大きくして固定するので、表示枠が一定の範囲内を速い速度で上下左右に頻繁に移動することによって切出し画像を観察しているユーザにストレスを与えることを回避できる。
【００９１】
（第４の実施の形態）
図９は、第４の実施の形態の画像処理装置４００の構成を示すブロック図である。図９の画像処理装置４００において、第１の実施の形態の画像処理装置１００の構成と同一の構成要素には同一の符号を付して、その説明を省略する。本実施の形態の画像処理装置４００は、第１の実施の形態の画像処理装置１００の構成に加えて、更に、移動ルート算出部４１１及び移動ルート保持部４１２を備えている。また、本実施の形態の画像処理装置４００は、第１の実施の形態の表示枠中心位置決定部１０７に相当する構成要素として、表示枠位置決定部４０７を備えている。
【００９２】
画像生成部１０１がある場所を撮影している場合は、その場所において、障害物等の要因により、人物の移動ルートが限られる場合がある。この場合には、表示枠の位置もその移動ルートを辿るように変動させればよい。そこで、本実施の形態では、表示枠の位置を人物が移動する移動ルート上に制限する。
【００９３】
移動ルート算出部４１１は、同じ場所を複数回通過した人物などから平均的な移動ルートを算出する。移動ルート保持部４１２は、移動ルート算出部４１１で算出された平均的な移動ルートを保持する。図１０（ａ）は、人物の複数回の移動による軌跡から平均的なルートを求める処理を説明する図である。図１０（ａ）に示すように、人物がほぼ同じルートで何度も検出されている場合には、移動ルート算出部４１１は、検出枠の移動状況に基づいて、平均的な一本の曲線を、平均的な移動ルートとして決定し、移動ルート保持部４１２は、これを保持する。
【００９４】
表示枠位置決定部４０７は、移動表示モードが設定されている場合に、表示枠を表示する範囲を移動ルート保持部４１２に保持されている移動ルート上に固定する。即ち、表示枠位置決定部４０７は、平均的な移動ルート上の前後方向のみを検出枠の位置に対応するように決定する。図１０（ｂ）は、このようにして決定される表示枠を示す図である。表示枠の中心は、常に、移動ルート保持部４０７に保持されている移動ルート上に位置している。表示枠の中心は、検出枠の中心から最も近い移動ルート上の点とすることができる。
【００９５】
図１１は、本実施の形態の変形例を示す図である。この変形例では、表示枠位置決定部４０７は、人物の移動履歴に基づいて移動方向を判断し、検出枠の中心から最も近い移動ルート上の点から、移動ルート上を移動方向にずらした点を表示枠の中心とする。図１１において、実線は、検出枠の中心から最も近い移動ルート上の点を中心とする表示枠であり、点線は、検出枠の中心から最も近い移動ルート上の点移動ルート上を移動方向に所定長さだけずらした点を中心とする表示枠である。
【００９６】
以上のように、第４の実施の形態の画像処理装置４００によれば、過去の人物の移動の履歴から平均的な移動ルートを求めて、表示枠の位置をその移動ルート上に制限するので、移動ルートとは異なる方向への検出枠の変動によって表示枠が振れることはなく、切出し画像を観察しているユーザに与える、表示枠の変動によるストレスを軽減できる。
【００９７】
また、平均的な移動ルートが求まり、かつ、人物の移動方向が分かれば、人物の移動先を予測できるので、表示枠を移動ルート上で、人物の移動に先行させて設定することもできる。
【００９８】
（第５の実施の形態）
図１２は、第５の実施の形態の画像処理装置５００の構成を示すブロック図である。図１２の画像処理装置５００において、第１の実施の形態の画像処理装置１００の構成と同一の構成要素には同一の符号を付して、その説明を省略する。本実施の形態の画像処理装置５００は、第１の実施の形態の画像処理装置１００の構成に加えて、更に、画像歪み情報保持部５１１及び重み付け部５１２を備えている。また、本実施の形態の画像処理装置５００は、第１の実施の形態の距離差総和算出部１０５に相当する構成要素として、距離差総和算出部５０５を備えている。
【００９９】
本実施の形態の画像生成部１０１は、水平画角３６０度の魚眼レンズを用いて、撮影画像として全方位画像を生成する。全方位画像は、円形の画像であり、円の中心から円周部に向かうほどその歪が大きくなる。切出し画像生成部１１０は、円形の全方位画像から表示枠を切り出して、歪み補正をして平面画像を生成してそれを表示する。
【０１００】
画像歪み情報保持部５１１は、撮影画像の位置ごとに画像の歪み情報を保持する。上述のように、画像の歪みは、画像周辺部の方が画像中心部よりも大きい。重み付け部５１２は、画像の中心から外側に向けた（即ち半径方向の）移動に対して、画像の円周に沿った移動よりも重い重み付けをする。距離差総和算出部５０５は、画像上の検出枠の位置と移動方向に応じて、重み付け部５１２にて重み付けがされた距離差の総和を求める。
【０１０１】
全方位画像においては、円周方向の移動に比べて、半径方向への移動の際には、画像上での位置変動が小さくなる。このため、重み付け部５１２は、半径方向への移動に対しては、距離差に付与する重みを軽くすることで、半径方向への移動時には、画像上で大きく位置が変動した場合にのみ移動表示モードとなるようにする。
【０１０２】
図１３は、全方位画像の位置に応じた重み付け処理を説明する図である。図１３（ａ）のように、人物が円形の全方位画像の円周方向に沿うように移動する場合には、重み付け部５１２は、平均位置からの距離差に重い重みを付けて、距離差総和算出部５０５が距離差の総和を算出する。この結果、距離差の総和は閾値σを上回り、表示モード決定部１０６では、移動表示モードが設定される。
【０１０３】
図１３（ｂ）のように、人物が円形の全方位画像の半径方向に移動する場合には、重み付け部５１２は、平均位置からの距離差に軽い重みをつけて、距離差総和算出部５０５が距離差の総和を算出する。その結果、図１３（ｂ）に示すように、十分に長い距離を移動している場合には、距離差の総和は閾値σを上回り、表示モード決定部１０６では、移動表示モードが設定される。
【０１０４】
図１３（ｃ）のように、人物が円形の全方位画像の半径方向に移動する場合には、重み付け部５１２は、平均位置からの距離差に軽い重みをつけて、距離差総和算出部５０５が距離差の総和を算出する。その結果、図１３（ｃ）に示すように、十分に長い距離を移動していない場合には、距離差の総和は閾値σを超えず、表示モード決定部１０６では、固定表示モードが設定される。
【０１０５】
さらに、重み付け部５１２は、人物が画像の円周に沿った移動をしている場合でも、中心部付近か外周付近かによって重みを変える。全方位画像においては、中心部付近での移動は外周付近の移動に比べて画像上での位置変動が大きくなる。このため、重み付け部５１２は中心部付近の移動の場合は重みを大きくする。
【０１０６】
以上のように、第５の実施の形態の画像処理装置５００によれば、中心から円周に向かうほど歪が大きくなるという全方位画像の特性に応じた重み付けをして、距離差の総和を算出するので、全方位画像の歪みによって、人物が実際には移動しているのに、停止又は滞留であると推定してしまうことを軽減できる。
【０１０７】
なお、上記の第１ないし第５の実施の形態では、表示枠を検出枠より大きくして、検出枠が表示枠に包含されるように表示枠を設定した。しかし、例えば、検出枠から人物の顔部分を抽出して、顔の部分のみについて切り出し画像を生成してもよい。この場合には、表示枠は検出枠よりも小さくなることがある。よって、移動表示モードにおいて、表示枠の位置を検出枠の位置に追随させる場合にも、表示枠と検出枠とは一定の関係にあればよく、必ずしも表示枠が検出枠を含み検出枠より大きいものでなくてもよい。
【０１０８】
また、上記の第１ないし第５の実施の形態では、人物検出部１０２は、画像中の人物を検出して検出枠を生成したが、人物以外の移動体を検出してもよい。
【産業上の利用可能性】
【０１０９】
以上のように、本発明は、検出枠の位置の履歴に基づいて、位置が振れないように表示枠が決定して、その表示枠で切出し画像を生成するので、切出し画像を観察しているユーザに与える、表示枠の変動によるストレスを軽減でき、撮影画像に対して画像処理を行い、撮影画像中の表示枠を切り出した切出し画像を生成する画像処理装置等として有用である。
【符号の説明】
【０１１０】
１００ 画像処理装置
１０１ 画像生成部
１０２ 人物検出部
１０３ 移動履歴保持部
１０４ 平均位置算出部
１０５ 距離差総和算出部
１０６ 表示モード決定部
１０７ 表示中心位置決定部
１０８ 表示枠位置決定パラメータ保持部
１０９ 表示枠位置保持部
１１０ 切出し画像生成部
２００ 画像処理装置
２０７ 表示枠中心位置及び表示枠サイズ決定部
２１１ 人物向き検出部
２１２ 方向比較部
３００ 画像処理装置
３０６ 表示モード決定部
３０７ 表示枠中心位置及び表示枠サイズ決定部
３１１ 移動状態算出部
３１２ パターン内重み保持部
４００ 画像処理装置
４０７ 表示枠位置決定部
４１１ 移動ルート算出部
４１２ 移動ルート保持部
５００ 画像処理装置
５０５ 距離差総和算出部
５１１ 画像歪み情報保持部
５１２ 重み付け部
【技術分野】
【０００１】
本発明は、撮影画像に対して画像処理を行う画像処理装置、画像処理方法、及びコンピュータプログラムに関し、特に、撮影画像中の表示枠を切り出して切出し画像を生成する画像処理装置、画像処理方法、及びコンピュータプログラムに関する。
【背景技術】
【０００２】
従来、監視カメラで撮影を行って画像を生成し、その画像をモニタに表示する監視システムにおいては、カメラによる撮影で得られた画像（撮影画像）全体を表示するモード（全表示モード）のほか、その一部領域を切り出して表示するモード（切出し表示モード）が用いられる。
【０００３】
また、切出し表示モードには、特に、撮影画像から画像処理により移動体を検出して、その移動体を追尾するように自動で切出し領域を移動させるものがある。このような切出し表示モードでは、撮影画像中の動きのある領域を囲う枠を検出枠として、検出枠を含み、検出枠より大きい表示枠を設定して、表示枠内の画像を表示する。表示枠は、その中心が検出枠の中心と一致するように設定することができる。
【０００４】
しかしながら、単純に表示枠を常にその中心が検出枠の中心に一致するように設定すると、次のような問題が生じる。
【０００５】
まず、移動体が人物である場合には、人物が移動をしていないとしても、人物の影やノイズの影響を受けたり、また人物が振り向いたり、手を伸ばしたり、しゃがんだりすることで、検出枠が変動し、その中心位置も移動することになる。また、検出精度が十分に高くない場合にも、同様に検出枠が変動することになる。
【０００６】
このような原因による検出枠の変動は、ごく小さな範囲内における、頻繁かつ高速な変動（以下、このような変動を「振れ」という。）となる。このような検出枠の振れに対しても、その変動に従って、その中心が検出枠の中心に一致するように表示枠を設定すると、表示枠にも振れが生じることになる。これにより、モニタには、あたかも手振れを起こしたような切出し画像が表示されることになり、これを観察しているユーザにストレスを与えてしまう。
【０００７】
この問題に対して、検出枠の位置として、例えば前のフレームとの平均位置を採用することで、検出枠の位置の変動に対してスムージング処理を行い、表示枠の振れを緩和する技術がある（例えば、特許文献１を参照）。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開平５−６８１９５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、上記の従来技術によっても、振れの幅が減少する可能性はあるが、振れ自体がなくなるわけではなく、振れの根本的な解決にはならない。また、人物が実際に移動をしている際にも、一定の比較的狭い範囲内を行ったり来たりしている場合には、表示枠が上下左右に頻繁に移動することになり、やはり、これを観察しているユーザにストレスを与えてしまう。
【００１０】
本発明は、上記の問題に鑑みてなされたものであり、撮影画像中の表示枠を切り出した切出し画像を生成する画像処理装置において、切出し画像を観察しているユーザに与える、表示枠の変動によるストレスを軽減できる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記従来の課題を解決するために、本発明の画像処理装置は、撮影により画像を生成する画像生成部と、前記画像中の移動体を囲む領域を検出枠として検出する検出枠生成部と、前記検出枠の位置の履歴に基づいて、位置が振れないように、表示枠を決定する表示枠決定部と、前記表示枠決定部にて決定された前記表示枠の切出し画像を生成する切出し画像生成部とを備えた構成を有している。
【００１２】
この構成により、検出枠の位置の履歴に基づいて、位置が振れないように表示枠が決定して、その表示枠で切出し画像を生成するので、切出し画像を観察しているユーザに与える、表示枠の変動によるストレスを軽減できる。なお、表示枠は検出枠を完全に包含するように決定されてもよいし、検出枠の囲む領域の少なくとも一部を含むように決定されてもよく、また、検出枠の囲む領域を包含しないように決定されてもよい。また、表示枠を決定するとは、表示枠の位置及び大きさの少なくともいずれか一方を決定することをいう。
【００１３】
また、上記の画像処理装置において、前記表示枠決定部は、前記検出枠の位置の履歴に基づいて、表示モードを、前記表示枠を前記検出枠に追随して移動させる移動表示モード又は前記検出枠の変動に関らず前記表示枠を固定する固定表示モードのいずれかに設定し、設定された前記表示モードに従って前記表示枠の位置を決定してよい。
【００１４】
この構成により、固定表示モードで切出し画像を表示することで、検出枠が振れたとしても検出枠の振れに影響されない表示枠で切出し画像が表示される。
【００１５】
また、上記の画像処理装置において、前記表示枠決定部は、前記検出枠の位置の履歴に基づいて、前記移動体が移動しているか、又は停止若しくは滞留しているかを推定し、前記移動体が移動していると推定した場合に、前記表示モードを前記移動表示モードに設定し、前記移動体が停止又は滞留していると推定した場合に、前記表示モードを前記固定表示モードに設定してよい。
【００１６】
この構成により、移動体が停止又は滞留していると推定された場合は、検出枠の微小な変動に表示枠を追随させないので、移動体の実質的な位置の移動を伴わない検出枠の変動によって表示枠が振れることを防止できる。
【００１７】
また、上記の画像処理装置において、前記表示枠決定部は、前記表示モードが前記固定表示モードから前記移動表示モードに移行する際に、前記表示枠がスムーズに変動するよう前記表示枠を決定してよい。
【００１８】
固定表示モードから直ちに移動表示モードに切替えると、固定表示モードにおける表示枠の位置や大きさが大きく変化することがあり、この場合には、切出し画像を観察しているユーザにおいて、表示モードの切替え前後において切出し画像の相関が理解しにくくなることがあるが、この構成により、固定表示モードから移動表示モードへの切り替えにおいて、表示枠がスムーズに変動するので、表示モードの切替え前後における切出し画像の相関を認識し易くなる。
【００１９】
また、上記の画像処理装置において、前記表示枠決定部は、前記検出枠の大きさ及び前記検出枠の位置の履歴に基づいて、前記表示枠の大きさを決定してよい。
【００２０】
この構成により、検出枠が振れる場合に、検出枠に対して表示枠を大きく取ることで、表示枠の位置を検出枠に追随させる場合には、表示枠の振れを軽減でき、表示枠の位置を検出枠に追随させない場合にも、表示枠を固定したままで検出枠内の画像を含む切出し画像を生成できる。
【００２１】
また、上記の画像処理装置において、前記表示枠決定部は、前記検出枠の位置の履歴に基づいて、前記移動体が移動しているか、又は停止若しくは滞留しているかを推定し、前記移動体が停止又は滞留していると推定した場合に、前記移動体が移動していると推定した場合よりも、前記表示枠の大きさを大きくしてよい。
【００２２】
この構成により、移動体が停止若しくは滞留していると推定された場合に表示枠を大きくすることで、表示枠の振れを軽減でき、または表示枠を固定しておくことができる。
【００２３】
また、上記の画像処理装置において、前記表示枠決定部は、前記検出枠の位置の履歴に基づいて、前記検出枠が所定の期間内に移動した範囲を含むように、前記表示枠の位置及び大きさを決定して固定してよい。
【００２４】
この構成により、移動体が比較的狭い範囲を複雑に動き回る場合に、表示枠をその範囲を含むように大きく取って固定することで、移動体の複雑な動きに対して表示枠の位置を移動することなく移動体の切出し画像を得ることができる。
【００２５】
また、上記の画像処理装置において、前記表示枠決定部は、前記検出枠が、固定された前記表示枠の周囲に達したときに、前記表示枠の固定を解除してよい。
【００２６】
この構成により、表示枠を固定したことで移動体の移動に追随できずに切出し画像に移動体が映らなくなるという不都合を回避できる。
【００２７】
また、上記の画像処理装置において、前記表示枠決定部は、所定の期間内における前記検出枠の平均位置を求め、前記所定の期間内における各検出枠の位置と前記平均位置との距離差の総和を求め、前記距離差の総和が所定の閾値より大きいときは、前記移動体が移動していると推定し、前記距離差の総和が前記所定の閾値より小さいときは、前記移動体が停止又は滞留していると推定してよい。
【００２８】
この構成により、移動体が移動しているのか、停止又は滞留しているのかを好適に推定できる。
【００２９】
また、上記の画像処理装置において、前記画像は歪みを有し、前記表示枠決定部は、前記各検出枠の歪みに応じて前記距離差に重みを付けてよい。
【００３０】
この構成により、画像に歪があることによって、移動体が実際には移動しているのに、停止又は滞留であると推定してしまうことを軽減できる。
【００３１】
また、上記の画像処理装置は、前記移動体の画像に基づいて前記移動体の向きを検出する移動体向き検出部をさらに備えていてよく、前記表示枠決定部は、前記検出枠の位置の履歴に基づく前記検出枠の移動方向と前記移動体の向きとが異なるときは、前記移動体が停止又は滞留していると推定してよい。
【００３２】
この構成により、移動体が移動しているのか、停止又は滞留しているのかを好適に推定できる。
【００３３】
また、上記の画像処理装置において、前記表示枠決定部は、前記表示枠の位置が振れないような前記表示枠の位置の変動に関する制約条件を参照して、前記制約条件を満たすように、前記表示枠決定してよい。
【００３４】
表示枠決定部が、位置が振れないように表示枠を決定するための所定のアルゴリズムに従って表示枠を決定する場合において、実際には表示枠の位置が振れることがあったとしても、この構成により、制約条件を課した上で表示枠を決定するので、表示枠の振れを確実に軽減又は防止できる。
【００３５】
また、上記の画像処理装置において、前記制約条件は、前記表示枠の移動速度が所定の上限を超えないという条件であってよい。
【００３６】
この構成により、表示枠が所定の速度以上では移動しないことが保証され、確実に表示枠の振れを軽減又は防止できる。
【００３７】
前記制約条件は、前記表示枠の位置を所定のルート上に制限するという条件であってよい。
【００３８】
画像生成部がある場所を撮影しており、人物が移動体として検出される状況において、その場所において、障害物等の要因により、人物の移動ルートが限られている場合は、表示枠の位置もその移動ルートを辿るように変動させればよい。よって、この構成により、表示枠の位置を所定のルート上に制限することで、そのルートとは異なる方向への検出枠の変動によって表示枠が振れることはなく、切出し画像を観察しているユーザに与える、表示枠の変動によるストレスを軽減できる。
【００３９】
本発明の別の態様は、画像処理方法であり、この画像処理方法は、撮影により画像を生成する画像生成ステップと、前記画像中の移動体を囲む領域を検出枠として検出する検出枠生成ステップと、前記検出枠の位置の履歴に基づいて、位置が振れないように前記検出枠に対応する表示枠を決定する表示枠決定ステップと、前記表示枠決定ステップにて決定された前記表示枠の切出し画像を生成する切出し画像生成ステップとを含んでいる。
【００４０】
この構成によっても、検出枠の位置の履歴に基づいて、位置が振れないように表示枠が決定して、その表示枠で切出し画像を生成するので、切出し画像を観察しているユーザに与える、表示枠の変動によるストレスを軽減できる。
【００４１】
本発明のさらに別の態様は、コンピュータプログラムであって、このコンピュータプログラムは、上記の画像処理方法をコンピュータに実行させる。
【発明の効果】
【００４２】
本発明は、検出枠の位置の履歴に基づいて、位置が振れないように表示枠を決定して、その表示枠で切出し画像を生成するので、切出し画像を観察しているユーザに与える、表示枠の変動によるストレスを軽減できる。
【図面の簡単な説明】
【００４３】
【図１】本発明の第１の実施の形態における画像処理装置の構成を示すブロック図
【図２】（ａ）本発明の第１の実施の形態における時刻ｔ−ｓから時刻ｔまでの平均位置と各時刻の平均位置からの距離差の総和（人物が移動している場合）を説明する図 （ｂ）本発明の第１の実施の形態における時刻ｔ−ｓから時刻ｔまでの平均位置と各時刻の平均位置からの距離差の総和（人物が停止又は滞留している場合）を説明する図
【図３】（ａ）本発明の第１の実施の形態における固定表示モード開始時の検出枠と表示枠との関係を示す図 （ｂ）本発明の第１の実施の形態における人物が滞留しながら表示枠の端に移動したときの検出枠と表示枠との関係を示す図 （ｃ）本発明の第１の実施の形態における過渡期間の検出枠と表示枠との関係を示す図 （ｄ）本発明の第１の実施の形態における過渡期間終了時の検出枠と表示枠との関係を示す図
【図４】（ａ）本発明の第１の実施の形態における検出枠と表示枠との関係を示す図 （ｂ）本発明の第１の実施の形態における境界ラインを示す図 （ｃ）検出枠が境界ラインにかかった状態を示す図
【図５】本発明の第１の実施の形態における画像処理装置の動作を示すフロー図
【図６】本発明の第２の実施の形態における画像処理装置の構成を示すブロック図
【図７】（ａ）本発明の第２の実施の形態における右向きのテンプレートのマッチングスコアが高い場合を示す図 （ｂ）本発明の第２の実施の形態における左向きのテンプレートのマッチングスコアが高い場合を示す図
【図８】本発明の第３の実施の形態における画像処理装置の構成を示すブロック図
【図９】本発明の第４の実施の形態における画像処理装置の構成を示すブロック図
【図１０】（ａ）本発明の第４の実施の形態における人物の複数回の移動による軌跡から平均的なルートを求める処理を説明する図 （ｂ）本発明の第４の実施の形態における平均的な移動ルート上に制限される表示枠を示す図
【図１１】本発明の第４の実施の形態の変形例を示す図
【図１２】本発明の第５の実施の形態における画像処理装置の構成を示すブロック図
【図１３】（ａ）本発明の第５の実施の形態における人物が全方位画像の円周方向に移動する場合を示す図 （ｂ）本発明の第５の実施の形態における人物が全方位画像の半径方向に比較的長い距離移動する場合を示す図 （ｃ）本発明の第５の実施の形態における人物が全方位画像の半径方向に比較的短い距離移動する場合を示す図
【発明を実施するための形態】
【００４４】
以下、本発明を実施するための形態について、図面を参照しながら説明する。
【００４５】
（第１の実施の形態）
図１は、本発明の第１の実施の形態の画像処理装置の構成を示すブロック図である。図１に示すように、画像処理装置１００は、画像生成部１０１、人物検出部１０２、移動履歴保持部１０３、平均位置算出部１０４、距離差総和算出部１０５、表示モード決定部１０６、表示枠中心位置決定部１０７、表示枠位置決定パラメータ保持部１０８、表示枠位置保持部１０９、及び切出し画像生成部１１０を備えている。なお、平均位置算出部１０４、距離差総和算出部１０５、表示モード決定部１０６、表示枠中心位置決定部１０７、表示枠位置決定パラメータ保持部１０８を含む構成は、本発明の表示枠決定部に相当する。
【００４６】
画像生成部１０１は、カメラなどで撮影をすることで画像（以下、「撮影画像」という。）を生成する。画像処理装置１００が監視システムに応用される場合は、カメラは監視対象箇所に設置されて、監視対象箇所を撮影する。撮影画像は人物検出部１０２に出力される。
【００４７】
人物検出部１０２は、撮影画像中から人物を検出して、その検出結果を出力する。人物検出部１０２は、前のフレームと現在のフレームとを比較して、撮影画像において、画素値の差分が所定の閾値以上である箇所を人物が映し出されている箇所として検出する。人物検出部１０２は、差分が閾値以上である箇所を含む矩形領域を検出枠として生成し、検出結果として、生成した検出枠の情報（検出枠の中心座標、高さ及び幅）を出力する。人物検出部１０２は、本発明の検出枠生成部に相当する。
【００４８】
移動履歴保持部１０３は、人物検出部１０２から出力された検出枠の情報をその検出時刻と対応付けて保持している。平均位置算出部１０４は、移動履歴保持部１０３に保持されている各時刻の検出枠の位置を参照して、現在時刻をｔとして、現在時刻から時間ｓだけ前の時刻ｔ−ｓから現在時刻ｔまでの間（フレーム数はＸ枚）の人物位置（即ち検出枠の中心座標の位置）の平均位置を算出する。
【００４９】
距離差総和算出部１０５は、平均位置算出部１０４が算出した平均位置と、時刻ｔ−ｓから現在時刻ｔまでの間の各時刻での人物位置との距離差の総和を求める。この距離差の総和は、人物が一方向に移動している場合には、大きくなり、一箇所に停止又は滞留している場合には小さくなる。
【００５０】
図２は、時刻ｔ−ｓから時刻ｔまでの平均位置と距離差の総和を説明する図である。図２（ａ）は、人物が移動している場合の平均位置と各時刻の平均位置からの距離差を示す図である。図２（ａ）の例では、人物が移動しているので、時刻ｔ−ｓから時刻ｔまでの距離差の総和は大きくなる。これに対して、図２（ｂ）は、人物が停止又は滞留している場合の平均位置と各時刻の平均位置からの距離差を示す図である。この場合には、時刻ｔ−ｓから時刻ｔにわたって平均位置からの距離差が小さく、その総和も小さくなる。
【００５１】
表示モード決定部１０６は、検出枠の位置の履歴に基づいて、表示モードを設定する。具体的には、表示モード決定部１０６は、距離総和算出部１０５にて算出された距離差の総和が所定の閾値σを超えたら表示モードとして「移動表示モード」を設定し、閾値σを超えない場合には表示モードとして「固定表示モード」を設定する。表示モード決定部１０６は、設定した表示モードを表示枠中心位置決定部１０７に出力する。
【００５２】
表示枠中心位置決定部１０７は、検出枠の位置に対応する表示枠の位置を決定する。表示枠中心位置決定部１０７は、表示モード決定部１０６より出力された表示モードを参照して、表示モードが「移動表示モード」であるときは、検出枠の位置に追随するように表示枠の位置を決定する。具体的には、表示枠の中心が検出枠の中心と一致するように、表示枠の位置を決定する。
【００５３】
但し、この場合にも、表示枠位置決定パラメータ保持部１０８に保持された表示枠位置決定パラメータを参照して、表示枠の位置を決定する。表示枠位置決定パラメータ保持部１０８には、表示枠位置決定パラメータとして、表示枠を移動させるときの制約条件が保持されている。本実施の形態では、表示枠位置決定パラメータとして、表示枠の最大速度が保持されている。
【００５４】
表示枠中心位置決定部１０７は、表示枠位置保持部１０９に保持された前のフレームの表示枠の位置を参照して、表示枠の速度（前のフレームからの表示枠の移動量）が最大速度を超えていなければ、表示枠の中心が、移動履歴保持部１０３から入力した現在のフレームの検出枠の中心と一致するように表示枠の位置を決定し、最大速度を超えている場合には、最大速度を超えない限度で表示枠の位置を決定する。
【００５５】
表示枠中心位置決定部１０７は、表示モードが「固定表示モード」であるときは、表示枠位置保持部１０９に保持された前のフレームの表示枠を現在のフレームの表示枠とする。即ち、検出枠の位置に関らず、表示枠を固定とする。
【００５６】
固定表示モードにある場合に、あるフレームにおいて、直近の時間ｓの間における平均位置からの各時刻の距離差の総和が閾値を超えたら、固定表示モードから移動表示モードに切り替わる。但し、この場合には、移動表示モードにおいて、直ちに表示枠を検出枠に完全に追随させるのではなく、緩やかに検出枠に追随させるようにする。
【００５７】
図３は、固定表示モードから移動表示モードへの切替えを説明する図である。図３（ａ）に示すように、表示枠の中心位置が検出枠の中心と一致するように表示枠を固定して固定表示モードを開始した後に、図３（ｂ）に示すように人物が滞留しながら表示枠の端に移動して、そこから移動を始めた場合には、検出枠の中心と表示枠の中心とがずれているので、仮に直ちに表示枠の中心が検出枠の中心と一致するように表示枠の位置を決定すると、固定されていた表示枠の位置から急激に表示枠の位置が変化し、ユーザは、表示モードの切替え前後における切出し画像の相関を把握しにくくなる。
【００５８】
そこで、固定表示モードから移動表示モードに移行する際の過渡期間には、次のようにして、表示枠の中心位置（ｘ，ｙ）を決定する。即ち、固定表示モード時の表示枠の中心座標を（ｘf，ｙf）とし、移動表示モード時の時刻ｔにおける検出枠の中心座標を（ｘt，ｙt）とし、固定表示モードから移動表示モードに切り替わる時刻をｔaとし、固定表示モードから移動表示モードへの切替りの過渡期間をｎとすると、時刻ｔa以前及び時刻ｔa＋ｎ以降では、表示枠の中心位置（ｘ，ｙ）は、それぞれ（ｘf，ｙf）、（ｘt，ｙt）とし、時刻ｔaから時刻ｔa＋ｎまでは、下式（１）を表示枠の中心位置（ｘ，ｙ）とする。
【数１】
【００５９】
図３（ｃ）は、時刻ｔaから時刻ｔa＋ｎにおいて、検出枠の中心と表示枠の中心とが徐々に近づく様子を示しており、図３（ｄ）は、時刻ｔa＋ｎにおいて、検出枠の中心が表示枠の中心に追いついた様子を示している。図３（ｄ）以降は、通常の移動表示モードとなり、表示枠の中心と検出枠の中心とが一致するように表示枠の位置を決定する。
【００６０】
上述のように、直近の時間ｓの間における平均位置からの各時刻の距離差の総和が閾値を超えない場合には、表示モードが「固定表示モード」とされて、表示枠が固定される。しかしながら、人物が所定の場所にて停止又は滞留していた状態から、ゆっくりと移動した場合には、距離差の総和が閾値を超えずに（即ち固定表示モードのまま）、人物位置が固定された表示枠から外れてしまうことがある。
【００６１】
そこで、表示枠中心位置決定部１０７は、検出枠が境界ラインを超えたら、表示モードを移動表示モードに変更する。図４（ａ）は、表示枠と検出枠との関係を示す図である。図４（ａ）に示すように、表示枠は検出枠を完全に包含しており、固定表示モードの開始時には検出枠と表示枠の中心は一致している。図４（ｂ）は、境界ラインを示す図である。境界ラインは表示枠の内側の一定ピクセル（又は一定割合）の位置に、表示枠より一回り小さい枠として設定される。
【００６２】
図４（ｃ）は、検出枠が境界ラインにかかった状態を示す図である。図４（ｃ）に示すように、検出枠が境界ラインにかかると、表示枠中心位置決定部１０７は、表示モードを固定表示モードから移動表示モードに変更する。なお、この場合にも、上述のように、直ちに検出枠の中心と表示枠の中心を一致させるのではなく、過渡期間ｎをかけて徐々に表示枠が検出枠に追随するようにする。
【００６３】
なお、表示枠中心位置決定部１０７は、検出枠の中心が境界ラインを超えたときに、表示モードを固定表示モードから移動表示モードに変更してもよく、検出枠と境界ラインとの関係についての更に他の基準によって表示モードを変更してもよい。
【００６４】
図１に戻って、切出し画像生成部１１０は、表示枠内の画像を切り出して、切出し画像を生成して表示する。なお、撮影画像が魚眼レンズを用いて撮影された全方位画像である場合には、切出し画像生成部１１０は、表示枠について歪み補正を行なって切出し画像を生成する。切出し画像のサイズは、固定されていてもよいし、切出し画像生成部１１０が人物検出枠の大きさに比例するように切出し画像のサイズを設定してもよい。
【００６５】
図５は、第１の実施の形態の画像処理装置１００の動作を示すフロー図である。画像処理装置１００の画像生成部１０１が、あるフレームの撮影画像を生成すると（ステップＳ５０１）、人物検出部１０２は、撮影画像から人物を検出して（ステップＳ５０２）、そのフレームの検出枠を生成し（ステップＳ５０３）、そのフレームの検出枠の情報を移動履歴保持部１０３に保存する（ステップＳ５０４）。
【００６６】
次に、表示モードが移動表示モードであって、かつ固定表示モードからの変更の過渡期間にある（以下、「移動表示モード（過渡期間）」と表記する）か否かを判断する（ステップＳ５０５）。表示モードが移動表示モード（過渡期間）でない場合は（ステップＳ５０５にてＮＯ）、平均位置算出部１０４及び距離差総和算出部１０５がそれぞれ、移動履歴保持部１０３から過去の検出枠の移動履歴を読出し（ステップＳ５０６）、平均位置算出部１０４は平均位置を算出し（ステップＳ５０７）、距離総和算出部１０５は、平均位置と、過去のＸフレーム分の人物位置との距離差の総和を算出する（ステップＳ５０８）。
【００６７】
表示モード決定部１０６は、距離差の総和が閾値σより大きいか否かを判断し（ステップＳ５０９）、距離差の総和が閾値σを超えていない場合は（ステップＳ５０９でＮＯ）、表示モードを固定表示モードとする（ステップＳ５１０）。そして、検出枠が境界ラインに掛かっているかを判断し（ステップＳ５１１）、掛かっていない場合には（ステップＳ５１１にてＮＯ）、現フレームの表示枠の中心と前のフレームの表示枠の中心とが一致するように、現フレームの表示枠の位置を決定して（ステップＳ５１２）、切出し画像を生成して表示し、次のフレームのためにステップＳ５０１に戻る。
【００６８】
表示モード決定部１０６は、ステップＳ５０９にて、距離差の総和が閾値σを超えている場合には（ステップＳ５０９にてＹＥＳ）、表示モードを移動表示モードにするが、その前に、現在の表示モードが固定表示モードであるか否かを判断する（ステップＳ５１３）。現在の表示モードが固定表示モードである場合（ステップＳ５１３にてＹＥＳ）、即ち固定表示モードから移動表示モードへ切り替わる際には、表示モードを移動表示モード（過渡期間）として（ステップＳ５１４）、上記で説明した過渡処理によって表示枠の位置を決定し（ステップＳ５１５）、切出し画像を生成して表示する。
【００６９】
そして、過渡期間が終了したか否かを判断し、終了していない場合には（ステップＳ５１６でＮＯ）、そのまま、即ち表示モードを移動表示モード（過渡期間）としたまま、次のフレームのためにステップＳ５０１に戻る。一方、過渡期間が終了した場合には（ステップＳ５１６でＹＥＳ）、表示モードを通常の移動表示モードに設定して（ステップＳ５１７）、次のフレームのためにステップＳ５０１に戻る。
【００７０】
距離の総和が閾値σを超えており（ステップＳ５０９にてＹＥＳ）、かつ、現在の表示モードが固定表示モードでない場合には（ステップＳ５１３にてＮＯ）、表示モード決定部１０７は、表示モードを通常の移動表示モードに設定し（ステップＳ５１８）、表示枠の中心が現フレームの検出枠の中心と一致するように表示枠を設定して（ステップＳ５１９）、切出し画像を生成して表示し、次のフレームのためにステップＳ５０１に戻る。
【００７１】
なお、ステップＳ５１４で表示モードが移動表示モード（過渡期間）に設定された場合には、次のフレームのためにステップＳ５０１に戻った後に、ステップＳ５０５で表示モードが移動表示モード（過渡期間）であると判断される（ステップＳ５０５でＹＥＳ）。この場合には、直ちに過渡処理で表示枠が設定される（ステップＳ５１５）。
【００７２】
また、ステップＳ５１０で表示モードが固定表示モードとされた時に、人物がゆっくりと移動したことにより、検出枠が境界ラインに掛かった場合には（ステップＳ５１１）、表示モードが移動表示モード（過渡期間）に設定され（ステップＳ５１４）、過渡期間が終了するまで過渡処理で表示枠が設定されることになる。
【００７３】
以上のように、本実施の形態の画像処理装置１００によれば、人物が一定の場所に停止又は滞留している場合に、検出枠が振れたとしても、表示モードが固定表示モードにされるので、表示枠がそれに追随して振れることはない。よって、切出し画像が手振れを起こしたような画像になることを防止でき、切出し画像を観察しているユーザに負担を与えることがない。
【００７４】
また、表示モードを固定表示モードから移動表示モードに切替える際には、表示枠の位置を直ちに完全に検出枠に追随させるのではなく、一定の過渡期間を設けて、徐々に表示枠の中心が検出枠の中心に近づくように過渡処理を行うので、ユーザが、表示モードが切り替わったことにより切替え前後の切出し画像の相関を把握できないという事態を回避できる。
【００７５】
更に、所定のフレーム数分の平均位置と人物位置との距離差の総和が所定の閾値を越えるか否かで固定表示モードとするか移動表示モードとするかを決定する場合には、人物がゆっくりと移動すると、距離差の総和が閾値を越えない状態で人物位置が表示枠から外れてしまうことも生じうるが、本実施の形態の画像処理装置１００によれば、固定表示モードにおいても、検出枠が境界ラインに掛かった場合には移動表示モードに移行するので、そのような事態を回避できる。
【００７６】
（第２の実施の形態）
図６は、第２の実施の形態の画像処理装置２００の構成を示すブロック図である。図６の画像処理装置２００において、第１の実施の形態の画像処理装置１００の構成と同一の構成要素には同一の符号を付して、その説明を省略する。本実施の形態の画像処理装置２００は、第１の実施の形態の画像処理装置１００の構成に加えて、更に、人物向き検出部２１１及び方向比較部２１２を備えている。また、本実施の形態の画像処理装置２００は、第１の実施の形態の表示モード決定部１０６に相当する構成要素として、表示モード決定部２０６を備えており、第１の実施の形態の表示枠中心位置決定部１０７に相当する構成要素として、表示枠中心位置及び表示枠サイズ決定部２０７を備えている。
【００７７】
人物向き検出部２１１は、撮像画像内の人物の向きを検出する。具体的には、方向別の人物モデルのテンプレートを用いて、該当するテンプレートを決定することで、人物の向きを検出する。人物モデルは、例えば前後、左、右の３方向について用意される。３種類のテンプレートのうちの最もマッチングスコアの高いテンプレートの示す方向をその人物の向きとして検出してもよい。また、人物の画像とこの３種類のテンプレートのいずれかとの間のマッチングスコアが所定の閾値より高い場合に、その人物が当該マッチングスコアの高いテンプレートの示す方向を向いていると判断してもよい。図７（ａ）は、右向きのテンプレートのマッチングスコアが高い場合を示す図であり、図７（ｂ）は、左向きのテンプレートのマッチングスコアが高い場合を示す図である。
【００７８】
方向比較部２１２は、移動履歴保持部１０３から人物位置の移動履歴を読み出して、人物位置の移動方向（人物動線の方向）を求める。方向比較部２１２は、更に、求めた人物動線の方向と人物向き検出部２１１で検出した人物の向きとを比較し、両方向が一致するか否かを判断し、その判断結果を表示モード決定部２０６に出力する。また、方向比較部２１２は、両方向が一致しない場合には、その旨を表示枠中心位置及び表示枠サイズ決定部２０７に通知する。
【００７９】
図７（ａ）の例では、人物動線の方向が右方向であり、人物の向きも右方向であるので、方向比較部２１２は、両方向が一致していると判断する。また、図７（ｂ）の例では、人物動線の方向が右方向であり、人物の向きが左方向であるので、方向比較部２１２は、両方向は一致していないと判断する。方向比較部２１２は、具体的には、両方向の間の角度が所定の閾値以下である場合に、両方向が一致すると判断する。
【００８０】
表示モード決定部２０６は、距離差の総和が閾値σを超えていない場合、及び、距離差の総和が閾値σを超えているが方向比較部２１２から出力された結果が、人物動線の方向と人物の向きとが一致しないという結果である場合には、表示モードを固定表示モードに設定する。表示モード決定部２０６は、距離差の総和が閾値σを超えており、かつ、方向比較部２１２から出力された結果が、人物動線の方向と人物の向きとが一致するという結果である場合は、表示モードを移動表示モードとする。
【００８１】
表示枠中心位置及び表示枠サイズ決定部２０７は、固定表示モードが設定された場合には、表示枠のサイズを検出枠のサイズのα倍（α＞１）とし、移動表示モードが設定された場合には、表示枠を検出枠と同じ大きさにする。
【００８２】
表示枠中心位置及び表示枠サイズ決定部２０７は、表示モード決定部２０６から表示モードとして固定表示モードが設定されたことが通知され、かつ、方向比較部２１２から人物動線の方向と人物の向きとが一致しないという結果が通知された場合には、固定表示モードのおける表示枠を設定する際に、検出枠内の人物が向いている方向ほど表示枠を広くするように、表示枠のサイズを決定する。その他の構成は、第１の実施の形態と同様である。
【００８３】
以上のように、第２の実施の形態の画像処理装置２００によれば、画像処理により撮像画像中の人物の向きを比較して、人物位置の移動履歴に基づく人物動線の方向が人物の向きと一致するときは、その人物動線は人物の移動によるものであると判断して、距離差が閾値σを超える場合に表示モードを移動表示モードに設定し、人物動線の方向と人物の向きとが一致しないときは、検出枠の変動は検出枠の振れによるものであると判断して、距離差が閾値σを超える場合であっても表示モードを固定表示モードとする。よって、人物の向きを考慮して、より適切に、人物が移動しているのか、停止又は滞留しているのかを判断できる。
【００８４】
（第３の実施の形態）
図８は、第３の実施の形態の画像処理装置３００の構成を示すブロック図である。図８の画像処理装置３００において、第１の実施の形態の画像処理装置１００の構成と同一の構成要素には同一の符号を付して、その説明を省略する。本実施の形態の画像処理装置３００は、第１の実施の形態の画像処理装置１００の構成に加えて、更に、移動状態算出部３１１及びパターン内重み保持部３１２を備えている。また、本実施の形態の画像処理装置３００は、第１の実施の形態の表示モード決定部１０６に相当する構成要素として、表示モード決定部３０６を備えており、第１の実施の形態の表示枠中心位置決定部１０７に相当する構成要素として、表示枠中心位置及び表示枠サイズ決定部３０７を備えている。
【００８５】
人物が移動しているが、その移動領域が一定の範囲内に収まっており、表示枠を検出枠に追随させても、手振れのようにごく小さな範囲内における頻繁かつ高速な変動にはならないものの、表示枠が一定の範囲内を速い速度で上下左右に頻繁に移動する場合には、はやり切出し画像を観察しているユーザにストレスを与えてしまうことがある。本実施の形態の画像処理装置３００は、このようなユーザに与えるストレスを解消することができる。
【００８６】
移動状態算出部３１１は、移動履歴保持部１０３に保存された人物位置の移動履歴を参照して、人物が所定の大きさの範囲内を速い速度で移動しているか否かを判断し、その結果を表示モード決定部３０６及び表示枠中心位置出力する。人物が所定の大きさの範囲内を速い速度で移動しているか否かは、直近のＸフレーム（現在時刻をｔとして、時刻ｔ−ｓから時刻ｔまでの間）について、各フレームの検出枠の速度（前フレームからの移動距離）の総和を、平均位置と各フレームの検出枠の中心位置との距離差の総和で除したパラメータが、所定の閾値を上回るか否かで判断できる。また、移動状態算出部３１１は、人物が所定の大きさの範囲内を速い速度で移動していると判断した場合には、その旨を表示枠中心位置及び表示枠サイズ決定部３０７に通知する。
【００８７】
表示モード決定部３０６は、距離差の総和が閾値σを超えていない場合、及び、距離差の総和が閾値σを超えているが移動状態算出部３１１から出力された結果が、人物が所定の大きさの範囲内を速い速度で移動しているという結果である場合には、表示モードを固定表示モードに設定する。表示モード決定部３０６は、距離差の総和が閾値σを超えており、かつ、移動状態算出部３１１から出力された結果が、人物が所定の大きさの範囲内を速い速度で移動しているという結果でない場合は、表示モードを移動表示モードとする。
【００８８】
表示枠中心位置及び表示枠サイズ決定部３０７は、表示モード決定部３０６から表示モードとして固定表示モードが設定されたことが通知され、かつ、移動状態算出部３１１から人物が所定の大きさの範囲内を速い速度で移動しているという判断結果が通知された場合には、固定表示モードにおける表示枠を決定する際に、表示枠を広くするように、表示枠のサイズを決定する。表示枠中心位置及び表示枠サイズ決定部３０７は、直近のＸフレームにおいて人物が移動している範囲を包含するように表示枠のサイズを決定してよい。
【００８９】
また、パターン内重み保持部３１２には、パターン内の重みが保持されている。表示枠中心位置及び表示枠サイズ決定部３０７は、表示枠のサイズを大きく設定する際に、その中心位置をどこにするかを判断する際に、パターン内重み保持部３１２に保持された重みを参照して、人物パターン内の顔の部分の重みを大きくする。その他の構成は、第１の実施の形態と同様である。
【００９０】
以上のように、第３の実施の形態の画像処理装置３００によれば、人物の移動状態が、所定の大きさの範囲内を速い速度で移動しているものであるか否かを判断して、人物が所定の大きさの範囲内を速い速度で移動している場合には、表示枠を大きくして固定するので、表示枠が一定の範囲内を速い速度で上下左右に頻繁に移動することによって切出し画像を観察しているユーザにストレスを与えることを回避できる。
【００９１】
（第４の実施の形態）
図９は、第４の実施の形態の画像処理装置４００の構成を示すブロック図である。図９の画像処理装置４００において、第１の実施の形態の画像処理装置１００の構成と同一の構成要素には同一の符号を付して、その説明を省略する。本実施の形態の画像処理装置４００は、第１の実施の形態の画像処理装置１００の構成に加えて、更に、移動ルート算出部４１１及び移動ルート保持部４１２を備えている。また、本実施の形態の画像処理装置４００は、第１の実施の形態の表示枠中心位置決定部１０７に相当する構成要素として、表示枠位置決定部４０７を備えている。
【００９２】
画像生成部１０１がある場所を撮影している場合は、その場所において、障害物等の要因により、人物の移動ルートが限られる場合がある。この場合には、表示枠の位置もその移動ルートを辿るように変動させればよい。そこで、本実施の形態では、表示枠の位置を人物が移動する移動ルート上に制限する。
【００９３】
移動ルート算出部４１１は、同じ場所を複数回通過した人物などから平均的な移動ルートを算出する。移動ルート保持部４１２は、移動ルート算出部４１１で算出された平均的な移動ルートを保持する。図１０（ａ）は、人物の複数回の移動による軌跡から平均的なルートを求める処理を説明する図である。図１０（ａ）に示すように、人物がほぼ同じルートで何度も検出されている場合には、移動ルート算出部４１１は、検出枠の移動状況に基づいて、平均的な一本の曲線を、平均的な移動ルートとして決定し、移動ルート保持部４１２は、これを保持する。
【００９４】
表示枠位置決定部４０７は、移動表示モードが設定されている場合に、表示枠を表示する範囲を移動ルート保持部４１２に保持されている移動ルート上に固定する。即ち、表示枠位置決定部４０７は、平均的な移動ルート上の前後方向のみを検出枠の位置に対応するように決定する。図１０（ｂ）は、このようにして決定される表示枠を示す図である。表示枠の中心は、常に、移動ルート保持部４０７に保持されている移動ルート上に位置している。表示枠の中心は、検出枠の中心から最も近い移動ルート上の点とすることができる。
【００９５】
図１１は、本実施の形態の変形例を示す図である。この変形例では、表示枠位置決定部４０７は、人物の移動履歴に基づいて移動方向を判断し、検出枠の中心から最も近い移動ルート上の点から、移動ルート上を移動方向にずらした点を表示枠の中心とする。図１１において、実線は、検出枠の中心から最も近い移動ルート上の点を中心とする表示枠であり、点線は、検出枠の中心から最も近い移動ルート上の点移動ルート上を移動方向に所定長さだけずらした点を中心とする表示枠である。
【００９６】
以上のように、第４の実施の形態の画像処理装置４００によれば、過去の人物の移動の履歴から平均的な移動ルートを求めて、表示枠の位置をその移動ルート上に制限するので、移動ルートとは異なる方向への検出枠の変動によって表示枠が振れることはなく、切出し画像を観察しているユーザに与える、表示枠の変動によるストレスを軽減できる。
【００９７】
また、平均的な移動ルートが求まり、かつ、人物の移動方向が分かれば、人物の移動先を予測できるので、表示枠を移動ルート上で、人物の移動に先行させて設定することもできる。
【００９８】
（第５の実施の形態）
図１２は、第５の実施の形態の画像処理装置５００の構成を示すブロック図である。図１２の画像処理装置５００において、第１の実施の形態の画像処理装置１００の構成と同一の構成要素には同一の符号を付して、その説明を省略する。本実施の形態の画像処理装置５００は、第１の実施の形態の画像処理装置１００の構成に加えて、更に、画像歪み情報保持部５１１及び重み付け部５１２を備えている。また、本実施の形態の画像処理装置５００は、第１の実施の形態の距離差総和算出部１０５に相当する構成要素として、距離差総和算出部５０５を備えている。
【００９９】
本実施の形態の画像生成部１０１は、水平画角３６０度の魚眼レンズを用いて、撮影画像として全方位画像を生成する。全方位画像は、円形の画像であり、円の中心から円周部に向かうほどその歪が大きくなる。切出し画像生成部１１０は、円形の全方位画像から表示枠を切り出して、歪み補正をして平面画像を生成してそれを表示する。
【０１００】
画像歪み情報保持部５１１は、撮影画像の位置ごとに画像の歪み情報を保持する。上述のように、画像の歪みは、画像周辺部の方が画像中心部よりも大きい。重み付け部５１２は、画像の中心から外側に向けた（即ち半径方向の）移動に対して、画像の円周に沿った移動よりも重い重み付けをする。距離差総和算出部５０５は、画像上の検出枠の位置と移動方向に応じて、重み付け部５１２にて重み付けがされた距離差の総和を求める。
【０１０１】
全方位画像においては、円周方向の移動に比べて、半径方向への移動の際には、画像上での位置変動が小さくなる。このため、重み付け部５１２は、半径方向への移動に対しては、距離差に付与する重みを軽くすることで、半径方向への移動時には、画像上で大きく位置が変動した場合にのみ移動表示モードとなるようにする。
【０１０２】
図１３は、全方位画像の位置に応じた重み付け処理を説明する図である。図１３（ａ）のように、人物が円形の全方位画像の円周方向に沿うように移動する場合には、重み付け部５１２は、平均位置からの距離差に重い重みを付けて、距離差総和算出部５０５が距離差の総和を算出する。この結果、距離差の総和は閾値σを上回り、表示モード決定部１０６では、移動表示モードが設定される。
【０１０３】
図１３（ｂ）のように、人物が円形の全方位画像の半径方向に移動する場合には、重み付け部５１２は、平均位置からの距離差に軽い重みをつけて、距離差総和算出部５０５が距離差の総和を算出する。その結果、図１３（ｂ）に示すように、十分に長い距離を移動している場合には、距離差の総和は閾値σを上回り、表示モード決定部１０６では、移動表示モードが設定される。
【０１０４】
図１３（ｃ）のように、人物が円形の全方位画像の半径方向に移動する場合には、重み付け部５１２は、平均位置からの距離差に軽い重みをつけて、距離差総和算出部５０５が距離差の総和を算出する。その結果、図１３（ｃ）に示すように、十分に長い距離を移動していない場合には、距離差の総和は閾値σを超えず、表示モード決定部１０６では、固定表示モードが設定される。
【０１０５】
さらに、重み付け部５１２は、人物が画像の円周に沿った移動をしている場合でも、中心部付近か外周付近かによって重みを変える。全方位画像においては、中心部付近での移動は外周付近の移動に比べて画像上での位置変動が大きくなる。このため、重み付け部５１２は中心部付近の移動の場合は重みを大きくする。
【０１０６】
以上のように、第５の実施の形態の画像処理装置５００によれば、中心から円周に向かうほど歪が大きくなるという全方位画像の特性に応じた重み付けをして、距離差の総和を算出するので、全方位画像の歪みによって、人物が実際には移動しているのに、停止又は滞留であると推定してしまうことを軽減できる。
【０１０７】
なお、上記の第１ないし第５の実施の形態では、表示枠を検出枠より大きくして、検出枠が表示枠に包含されるように表示枠を設定した。しかし、例えば、検出枠から人物の顔部分を抽出して、顔の部分のみについて切り出し画像を生成してもよい。この場合には、表示枠は検出枠よりも小さくなることがある。よって、移動表示モードにおいて、表示枠の位置を検出枠の位置に追随させる場合にも、表示枠と検出枠とは一定の関係にあればよく、必ずしも表示枠が検出枠を含み検出枠より大きいものでなくてもよい。
【０１０８】
また、上記の第１ないし第５の実施の形態では、人物検出部１０２は、画像中の人物を検出して検出枠を生成したが、人物以外の移動体を検出してもよい。
【産業上の利用可能性】
【０１０９】
以上のように、本発明は、検出枠の位置の履歴に基づいて、位置が振れないように表示枠が決定して、その表示枠で切出し画像を生成するので、切出し画像を観察しているユーザに与える、表示枠の変動によるストレスを軽減でき、撮影画像に対して画像処理を行い、撮影画像中の表示枠を切り出した切出し画像を生成する画像処理装置等として有用である。
【符号の説明】
【０１１０】
１００ 画像処理装置
１０１ 画像生成部
１０２ 人物検出部
１０３ 移動履歴保持部
１０４ 平均位置算出部
１０５ 距離差総和算出部
１０６ 表示モード決定部
１０７ 表示中心位置決定部
１０８ 表示枠位置決定パラメータ保持部
１０９ 表示枠位置保持部
１１０ 切出し画像生成部
２００ 画像処理装置
２０７ 表示枠中心位置及び表示枠サイズ決定部
２１１ 人物向き検出部
２１２ 方向比較部
３００ 画像処理装置
３０６ 表示モード決定部
３０７ 表示枠中心位置及び表示枠サイズ決定部
３１１ 移動状態算出部
３１２ パターン内重み保持部
４００ 画像処理装置
４０７ 表示枠位置決定部
４１１ 移動ルート算出部
４１２ 移動ルート保持部
５００ 画像処理装置
５０５ 距離差総和算出部
５１１ 画像歪み情報保持部
５１２ 重み付け部
【特許請求の範囲】
【請求項１】
撮影により画像を生成する画像生成部と、
前記画像中の移動体を囲む領域を検出枠として検出する検出枠生成部と、
前記検出枠の位置の履歴に基づいて、位置が振れないように、表示枠を決定する表示枠決定部と、
前記表示枠決定部にて決定された前記表示枠の切出し画像を生成する切出し画像生成部と、
を備えたことを特徴とする画像処理装置。
【請求項２】
前記表示枠決定部は、前記検出枠の位置の履歴に基づいて、表示モードを、前記表示枠を前記検出枠に追随して移動させる移動表示モード又は前記検出枠の変動に関らず前記表示枠を固定する固定表示モードのいずれかに設定し、設定された前記表示モードに従って前記表示枠の位置を決定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記表示枠決定部は、前記検出枠の位置の履歴に基づいて、前記移動体が移動しているか、又は停止若しくは滞留しているかを推定し、前記移動体が移動していると推定した場合に、前記表示モードを前記移動表示モードに設定し、前記移動体が停止又は滞留していると推定した場合に、前記表示モードを前記固定表示モードに設定することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記表示枠決定部は、前記表示モードが前記固定表示モードから前記移動表示モードに移行する際に、前記表示枠がスムーズに変動するよう前記表示枠を決定することを特徴とする請求項２又は３に記載の画像処理装置。
【請求項５】
前記表示枠決定部は、前記検出枠の大きさ及び前記検出枠の位置の履歴に基づいて、前記表示枠の大きさを決定することを特徴とする請求項１ないし請求項４のいずれか一項に記載の画像処理装置。
【請求項６】
前記表示枠決定部は、前記検出枠の位置の履歴に基づいて、前記移動体が移動しているか、又は停止若しくは滞留しているかを推定し、前記移動体が停止又は滞留していると推定した場合に、前記移動体が移動していると推定した場合よりも、前記表示枠の大きさを大きくすることを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記表示枠決定部は、前記検出枠の位置の履歴に基づいて、前記検出枠が所定の期間内に移動した範囲を含むように、前記表示枠の位置及び大きさを決定して固定することを特徴とする請求項５に記載の画像処理装置。
【請求項８】
前記表示枠決定部は、前記検出枠が、固定された前記表示枠の周囲に達したときに、前記表示枠の固定を解除することを特徴とする請求項２ないし４、７のいずれか一項に記載の画像処理装置。
【請求項９】
前記表示枠決定部は、所定の期間内における前記検出枠の平均位置を求め、前記所定の期間内における各検出枠の位置と前記平均位置との距離差の総和を求め、前記距離差の総和が所定の閾値より大きいときは、前記移動体が移動していると推定し、前記距離差の総和が前記所定の閾値より小さいときは、前記移動体が停止又は滞留していると推定することを特徴とする請求項３又は６に記載の画像処理装置。
【請求項１０】
前記画像は歪みを有し、前記表示枠決定部は、前記各検出枠の歪みに応じて前記距離差に重みを付けることを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記移動体の画像に基づいて前記移動体の向きを検出する移動体向き検出部をさらに備え、
前記表示枠決定部は、前記検出枠の位置の履歴に基づく前記検出枠の移動方向と前記移動体の向きとが異なるときは、前記移動体が停止又は滞留していると推定することを特徴とする請求項３又は６に記載の画像処理装置。
【請求項１２】
前記表示枠決定部は、前記表示枠の位置が振れないような前記表示枠の位置の変動に関する制約条件を参照して、前記制約条件を満たすように、前記表示枠を決定することを特徴とする請求項１ないし請求項１１のいずれか一項に記載の画像処理装置。
【請求項１３】
前記制約条件は、前記表示枠の移動速度が所定の上限を超えないという条件であることを特徴とする請求項１２に記載の画像処理装置。
【請求項１４】
前記制約条件は、前記表示枠の位置を所定のルート上に制限するという条件であることを特徴とする請求項１２に記載の画像処理装置。
【請求項１５】
撮影により画像を生成する画像生成ステップと、
前記画像中の移動体を囲む領域を検出枠として検出する検出枠生成ステップと、
前記検出枠の位置の履歴に基づいて、位置が振れないように前記検出枠に対応する表示枠を決定する表示枠決定ステップと、
前記表示枠決定ステップにて決定された前記表示枠の切出し画像を生成する切出し画像生成ステップと、
を含むことを特徴とする画像処理方法。
【請求項１６】
請求項１５に記載の画像処理方法をコンピュータに実行させるためのコンピュータプログラム。
【請求項１】
撮影により画像を生成する画像生成部と、
前記画像中の移動体を囲む領域を検出枠として検出する検出枠生成部と、
前記検出枠の位置の履歴に基づいて、位置が振れないように、表示枠を決定する表示枠決定部と、
前記表示枠決定部にて決定された前記表示枠の切出し画像を生成する切出し画像生成部と、
を備えたことを特徴とする画像処理装置。
【請求項２】
前記表示枠決定部は、前記検出枠の位置の履歴に基づいて、表示モードを、前記表示枠を前記検出枠に追随して移動させる移動表示モード又は前記検出枠の変動に関らず前記表示枠を固定する固定表示モードのいずれかに設定し、設定された前記表示モードに従って前記表示枠の位置を決定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記表示枠決定部は、前記検出枠の位置の履歴に基づいて、前記移動体が移動しているか、又は停止若しくは滞留しているかを推定し、前記移動体が移動していると推定した場合に、前記表示モードを前記移動表示モードに設定し、前記移動体が停止又は滞留していると推定した場合に、前記表示モードを前記固定表示モードに設定することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記表示枠決定部は、前記表示モードが前記固定表示モードから前記移動表示モードに移行する際に、前記表示枠がスムーズに変動するよう前記表示枠を決定することを特徴とする請求項２又は３に記載の画像処理装置。
【請求項５】
前記表示枠決定部は、前記検出枠の大きさ及び前記検出枠の位置の履歴に基づいて、前記表示枠の大きさを決定することを特徴とする請求項１ないし請求項４のいずれか一項に記載の画像処理装置。
【請求項６】
前記表示枠決定部は、前記検出枠の位置の履歴に基づいて、前記移動体が移動しているか、又は停止若しくは滞留しているかを推定し、前記移動体が停止又は滞留していると推定した場合に、前記移動体が移動していると推定した場合よりも、前記表示枠の大きさを大きくすることを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記表示枠決定部は、前記検出枠の位置の履歴に基づいて、前記検出枠が所定の期間内に移動した範囲を含むように、前記表示枠の位置及び大きさを決定して固定することを特徴とする請求項５に記載の画像処理装置。
【請求項８】
前記表示枠決定部は、前記検出枠が、固定された前記表示枠の周囲に達したときに、前記表示枠の固定を解除することを特徴とする請求項２ないし４、７のいずれか一項に記載の画像処理装置。
【請求項９】
前記表示枠決定部は、所定の期間内における前記検出枠の平均位置を求め、前記所定の期間内における各検出枠の位置と前記平均位置との距離差の総和を求め、前記距離差の総和が所定の閾値より大きいときは、前記移動体が移動していると推定し、前記距離差の総和が前記所定の閾値より小さいときは、前記移動体が停止又は滞留していると推定することを特徴とする請求項３又は６に記載の画像処理装置。
【請求項１０】
前記画像は歪みを有し、前記表示枠決定部は、前記各検出枠の歪みに応じて前記距離差に重みを付けることを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記移動体の画像に基づいて前記移動体の向きを検出する移動体向き検出部をさらに備え、
前記表示枠決定部は、前記検出枠の位置の履歴に基づく前記検出枠の移動方向と前記移動体の向きとが異なるときは、前記移動体が停止又は滞留していると推定することを特徴とする請求項３又は６に記載の画像処理装置。
【請求項１２】
前記表示枠決定部は、前記表示枠の位置が振れないような前記表示枠の位置の変動に関する制約条件を参照して、前記制約条件を満たすように、前記表示枠を決定することを特徴とする請求項１ないし請求項１１のいずれか一項に記載の画像処理装置。
【請求項１３】
前記制約条件は、前記表示枠の移動速度が所定の上限を超えないという条件であることを特徴とする請求項１２に記載の画像処理装置。
【請求項１４】
前記制約条件は、前記表示枠の位置を所定のルート上に制限するという条件であることを特徴とする請求項１２に記載の画像処理装置。
【請求項１５】
撮影により画像を生成する画像生成ステップと、
前記画像中の移動体を囲む領域を検出枠として検出する検出枠生成ステップと、
前記検出枠の位置の履歴に基づいて、位置が振れないように前記検出枠に対応する表示枠を決定する表示枠決定ステップと、
前記表示枠決定ステップにて決定された前記表示枠の切出し画像を生成する切出し画像生成ステップと、
を含むことを特徴とする画像処理方法。
【請求項１６】
請求項１５に記載の画像処理方法をコンピュータに実行させるためのコンピュータプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１２−１７５２０７（Ｐ２０１２−１７５２０７Ａ）
【公開日】平成２４年９月１０日（２０１２．９．１０）
【国際特許分類】
【出願番号】特願２０１１−３２７８２（Ｐ２０１１−３２７８２）
【出願日】平成２３年２月１８日（２０１１．２．１８）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２４年９月１０日（２０１２．９．１０）
【国際特許分類】
【出願日】平成２３年２月１８日（２０１１．２．１８）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]