パノラマ展開画像撮影システムおよび方法
【課題】ディスプレイに全周囲画像をパノラマ展開して表示する際、２段以上に分割する必要があるが、注目する物体が分割するところで切れてしまうという課題があった。
【解決手段】パノラマ展開画像を少なくとも２つのパノラマ画像に分割して表示するパノラマ展開画像表示装置であって、前記パノラマ展開画像に対して切り出し基準位置を設定する、切り出し基準位置設定部と、前記パノラマ展開画像から表示ターゲットとなる被写体を検出する被写体検出部と、検出された被写体位置と切り出し基準位置の関係からパノラマ画像の切り出し位置を決定する切り出し位置決定部と前記切り出し位置で前記パノラマ展開画像から切り出したパノラマ画像を表示する表示画像生成部とからなるパノラマ展開画像表示装置を提供する
【解決手段】パノラマ展開画像を少なくとも２つのパノラマ画像に分割して表示するパノラマ展開画像表示装置であって、前記パノラマ展開画像に対して切り出し基準位置を設定する、切り出し基準位置設定部と、前記パノラマ展開画像から表示ターゲットとなる被写体を検出する被写体検出部と、検出された被写体位置と切り出し基準位置の関係からパノラマ画像の切り出し位置を決定する切り出し位置決定部と前記切り出し位置で前記パノラマ展開画像から切り出したパノラマ画像を表示する表示画像生成部とからなるパノラマ展開画像表示装置を提供する
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はパノラマ展開画像撮像装置およびパノラマ展開画像撮像システムに関するもののである。
【背景技術】
【０００２】
通常、全周囲画像をパノラマ展開した画像は、画像の一方の長さに比べ、他方の長さの方が遥かに長いという特性を持っている。そのため、パノラマ展開した画像全体を一度に表示する手段として、画像を複数に切り分けて、それぞれを縦に並べて複数段構成で表示するという手法がある。（例えば、特許文献１参照）。
【０００３】
特許文献１では魚眼レンズにより撮像された３６０度の環状映像において、内円と外円を設定することでパノラマ展開すべき画像の高さを決定し、例えばテーブルの中央に全方位撮像装置を置いて、会議風景などを撮像した際、被写体の頭が切れてしまうことなく処理することを可能としている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−２８６０６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１のパノラマ展開画像撮像装置では、注目している被写体が頻繁に移動するシーンを対象としておらず、複数段にパノラマ展開画像を切り出した際、切り出し画像の境界に被写体が移動した場合、被写体が切れてしまうという課題がある。
【０００６】
本発明は、従来の問題を解決するためになされたもので、パノラマ展開画像上の被写体の移動に合わせて表示形態を変動させることで、被写体が途切れてしまうことなく撮像できるパノラマ展開画像撮像装置およびパノラマ展開画像撮像システムを得ることを目的とする。
【課題を解決するための手段】
【０００７】
本発明に係るパノラマ展開画像撮像装置は、パノラマ展開画像を少なくとも２つのパノラマ画像に分割して表示するパノラマ展開画像表示装置であって、前記パノラマ展開画像に対して切り出し基準位置を設定する、切り出し基準位置設定部と、前記パノラマ展開画像から表示ターゲットとなる被写体を検出する被写体検出部と、検出された被写体位置と切り出し基準位置の関係からパノラマ画像の切り出し位置を決定する切り出し位置決定部と前記切り出し位置で前記パノラマ展開画像から切り出したパノラマ画像を表示する表示画像生成部とを有する。
【０００８】
この構成により、パノラマ展開画像を複数段に切り出して縦に並べて表示した際、被写体の位置情報に基づいて表示する画面構成を変更することができ、ユーザにとってパノラマ画像同士の繋がりが分かりやすい表示が可能となる。
【０００９】
さらに、本発明のパノラマ展開画像撮像装置は、前記パノラマ展開画像は動画像を展開したものであり、前記切り出し位置決定部は、前記被写体の位置が前記切り出し基準位置に接近した際、前記被写体の全身が前記パノラマ画像に含まれるように前記切り出し位置を決定する構成を有している。
【００１０】
この構成により、パノラマ画面端に被写体が移動した際に画面端が伸縮した表示が可能となり、画像端に被写体が移動したことがユーザに視覚的に伝わりやすくかつ被写体が途切れて映るような事を防ぐことができる。
【００１１】
さらに、本発明のパノラマ展開画像撮像装置は、前記パノラマ画像を表示領域に表示する表示部を有し、前記表示画像生成部は、前記切り出し位置が更新された後、前記パノラマ画像を前記表示領域に合わせて大きさを変更して表示させる構成を有している。
【００１２】
この構成により、パノラマ画像端に被写体が移動した際にパノラマ画像の表示範囲を伸縮した表示を行いかつ表示領域に合わせて画像をリサイズすることができ、画像端に被写体が移動したことがユーザに視覚的に伝わりやすくなるとともに、表示領域を無駄にすることなく表示が可能となる。
【００１３】
さらに、本発明のパノラマ展開画像撮像装置は、前記パノラマ展開画像から背景の背景画像特徴を抽出する背景特徴抽出部を持ち、前記切り出し基準位置決定部は、背景画像特徴に基づいて、前記切り出し基準位置を決定する構成を有している。
この構成により、背景特徴に基づいてパノラマ画像を表示することができるようになり、ユーザにとって分かりやすい表示が可能となる。
【００１４】
さらに、本発明のパノラマ展開画像撮像装置は、前記背景特徴抽出部にて、色情報を用いる構成を有している。
【００１５】
この構成により、切り出し画像の画像端に目立つ物体や看板がある部分を選択することができユーザの空間把握を補助することができる。
【００１６】
さらに、本発明のパノラマ展開画像撮像装置は、前記背景特徴抽出部にて、文字情報を用いる構成を有している。
この構成により、切り出し画像の画像端に目立つ物体や看板がある部分を選択することができユーザの空間把握を補助することができる。
【００１７】
さらに、本発明のパノラマ展開画像撮像装置は、前記背景特徴抽出部にて、テクスチャ情報を用いる構成を有している。
この構成により、テクスチャが一定の部分は切り出し画像端として選択しない設定が可能になり、画像端に特徴がある背景部を自動選択することで、ユーザの空間把握を補助することができる。
【００１８】
さらに、本発明のパノラマ展開画像撮像装置は、前記背景特徴抽出部にて、ターゲットとなる被写体の検出頻度情報を用いる構成を有している。
この構成により、例えば人通りの多い通路など、ユーザが注目すべき領域が画像のパノラマ画像の切れ目に選択されることが無くなる。
【００１９】
さらに、本発明のパノラマ展開画像撮像装置は、前記切り出し基準位置決定部は、前記パノラマ画像の端が互いに重なるように決定される構成を有している。
この構成により、画像端同士の一致不一致を知ることができ、ユーザの空間把握を補助することができる。
【００２０】
さらに、本発明のパノラマ展開画像撮像装置は、パノラマ展開画像を少なくとも２つのパノラマ画像に分割して表示するパノラマ展開画像表示装置であって、前記パノラマ展開画像に対して切り出し基準位置を設定する、切り出し基準位置設定部と、前記パノラマ展
開画像から表示ターゲットとなる被写体を検出する被写体検出部と、検出された被写体位置と切り出し基準位置の関係からパノラマ画像の切り出し位置を決定する切り出し位置決定部と前記切り出し位置で前記パノラマ展開画像からパノラマ画像を切り出し、前記被写体の前記パノラマ画像中の位置に応じて３Ｄ飛び出し具合を決める３Ｄ位置決定部と、３Ｄ位置決定部によって決定された３Ｄ飛び出し具合に従って被写体が飛び出している３Ｄ画像を作成する３Ｄ画像生成部を有している。
【００２１】
この構成により、パノラマ展開画像を複数段に切り出して縦に並べて表示した際、被写体の位置情報に基づいて表示する画面構成を変更することができ、被写体の位置を３Ｄ的に表示することができ、被写体の立体的な位置によってユーザがパノラマ画像同士の繋がりや、被写体の位置関係を把握しやすい表示が可能となる。
【００２２】
さらに、本発明に係るパノラマ展開画像撮像装置は、パノラマ展開画像を少なくとも２つのパノラマ画像に分割して表示するパノラマ展開画像表示装置であって、前記パノラマ展開画像に対して切り出し基準位置を設定する、切り出し基準位置設定部と、前記パノラマ展開画像から表示ターゲットとなる被写体を検出する被写体検出部と、被写体のパノラマ画像中の位置に応じて３Ｄ飛び出し具合を決める３Ｄ位置決定部と、３Ｄ位置決定部によって決定された３Ｄ飛び出し具合に従って被写体が飛び出している３Ｄ画像を作成する３Ｄ画像生成部を有している。
【００２３】
この構成により、ユーザにとってパノラマ画像同士のつながりが分かりやすい表示を実現することができる。
さらに、本発明に係るパノラマ展開画像撮像装置は、前記３Ｄ位置決定部は、分割前に接続されていた異なるパノラマ画像の画像端での飛び出し具合を同じにする構成を有している。
この構成により、画像端同士の一致不一致を知ることができ、ユーザの空間把握を補助することができる。
【発明の効果】
【００２４】
本発明は、パノラマ展開画像を複数段に切り出して表示した際に、ユーザの空間把握を補助しパノラマ画像同士の繋がりが分かりやすく、かつ被写体が頻繁に移動するようなシーンにおいても、被写体を途切れさせることなく表示させるという効果を有するパノラマ展開画像撮像装置を提供することができるものである。
【図面の簡単な説明】
【００２５】
【図１】本発明の第１の実施の形態におけるパノラマ展開画像撮像装置のブロック図
【図２】伸びしろ領域を利用したパノラマ展開画像撮像装置の動作説明のためのフロー図
【図３】全周囲画像の分割方法を示す説明図
【図４】伸びしろ領域を利用したパノラマ展開画像撮像装置の２画面構成を示す図
【図５】伸びしろ領域を利用したパノラマ展開画像撮像装置の動作を示すを示す説明図
【図６】リサイズ処理を用いたパノラマ展開画像撮像装置の動作説明のためのフロー図
【図７】リサイズ処理を用いたパノラマ展開画像撮像装置の２画面構成を示す図
【図８】リサイズ処理を用いたパノラマ展開画像撮像装置の動作を示す説明図
【図９】本発明の第２の実施の形態におけるパノラマ展開画像装置のブロック図
【図１０】３Ｄ表示を用いたパノラマ展開画像装置の動作説明のためのフロー図
【図１１】３Ｄ位置情報保持部の保持するデータ例を示す図
【図１２】３Ｄ表示を用いたパノラマ展開画像装置の動作例を示す図
【発明を実施するための形態】
【００２６】
（実施の形態１）
以下、本発明の実施の形態のパノラマ展開画像撮像装置について、図面を用いて説明する。ここでは、パノラマ展開画像を得るのに３６０度撮像可能な全方位カメラを用いている。
【００２７】
本発明の第１の実施の形態のパノラマ展開画像撮像装置の構成を図１に示す。図１において、パノラマ展開画像撮像装置１００は魚眼カメラなどの全方位カメラから全方位画像を生成する全方位画像生成部１０１と、全方位画像をパノラマ展開するパノラマ展開部１０２と、パノラマ展開画像から背景の画像特徴量を抽出する背景特徴抽出部１０３と、背景特徴に基づいてパノラマ展開画像の切り出しに適した切り出し基準位置を更新する切り出し基準位置更新部と１０４と、表示ターゲットとなる被写体を検出する被写体検出部１０５と、検出された被写体の位置を算出する被写体位置算出部１０６と、先に抽出した切り出し基準位置および被写体位置情報に基づいてパノラマ展開画像の切り出しの際の画像端の位置を決定し、複数個の切り出しパノラマ画像を生成する表示画像生成部１０７と、表示画像生成部１０７で生成した複数個の切り出しパノラマ画像を表示する表示部１０８を有している。
【００２８】
以上のように構成されたパノラマ展開画像撮像装置１００の動作フローを図２に示す。はじめに、全方位画像生成部１０１から全方位カメラ画像を取得する（ステップ２０１）。次に、取得した全方位カメラ画像に対してパノラマ展開部１０２にて展開を行い、360度の全方位画像を任意の位置で切断して展開したパノラマ展開画像を得る（ステップ２０２）。このパノラマ展開手法は引用文献１に記載してある一般的な手法を用いることができる。また、360度の全方位画像を展開しているため、展開画像の左端と右端は実際には隣接した領域であり、後述の切り出し基準位置によってはパノラマ展開画像の左（右）端から一定距離を切り取り、それをそのまま右（左）端に接続させても、画像の接続性は保たれることになる。
【００２９】
次に、切り出し基準位置を更新するかどうかの判断を行う（ステップ２０３）。当ステップでは、パノラマ展開画像撮像装置１００の初期起動時、あるいは別要因によって撮像対象領域が大きく変化した場合、または操作者が決めた任意のタイミングで更新すると判断する。更新すると判断された場合には切り出し基準位置の更新を行う（ステップ２０４、２０５）。
切り出し基準位置の更新は、まず背景特徴抽出部１０３が画像上のテクスチャ情報や色情報、文字情報等の背景特徴量を抽出する（ステップ２０４）。このとき、抽出する特徴量は画像処理の他、センサーなどにより別経路で入手しても良い。
【００３０】
続いてステップ２０４で求めた背景特徴量を用いて切り出し基準位置更新部１０４は切り出し基準位置を更新して背景情報の更新を行う（ステップ２０５）。切り出し基準位置更新部１０４では、パノラマ展開画像をパノラマ画像に切り出すときの基準位置を求めるのであるが、複数段に分かれたパノラマ画像の端同士の対応関係をわかりやすくするためには、画像的な特徴がある領域（テクスチャが一様でない、色が他に比べ特殊である、看板等文字情報が埋め込まれている、等）ほど値が高くなるように、背景情報スコアを高くする。一方、被写体が動いている場合には、パノラマ画像の端に被写体がないほうが良いので、被写体の検出頻度が高いほど値が低くなるように背景情報スコアを算出する。
【００３１】
このようにして、パノラマ展開した画像上のどの位置に特徴的な領域（物体）があるかを表す背景情報を求め、背景スコアが高い領域がパノラマ画像の切り出し後の各画像端に優先的に選ばれるよう、パノラマ展開画像の切り出し基準位置を設定、更新する。例えば、パノラマ展開画像をN段に分割して表示する際には、背景スコア最上位の領域を第1段目の分割画像左端に含むように設定し、その位置を基準にパノラマ展開画像全体をN分割し
て表示を行う。
【００３２】
本方式では各分割画像の両端は隣り合う分割画像と一部重なりを持って表示を行うため、第１段目の分割画像の左端にある背景スコア最上位の領域は、第Ｎ段目の分割画像の右端にも含まれることになる。この設定により、仮に第ｍ番目の分割画像（ｍ=1…N）の画像端にて背景スコアが低い領域が選択された場合、背景スコア最上位の領域の代わりに背景スコア第2位の領域を基準として、パノラマ展開画像の切り出し位置を再設定する。以下、これを繰り返し、最適な切り出し基準位置を設定する。これにより、分離した各パノラマ展開画像の繋がりが操作者にわかりやすくなるという効果がある。この際に、各段の画像幅が等しくなるように制約条件を加えても良い。
【００３３】
この様子を図３を用いて説明する。図３（ａ）は、全周囲画像３０１の中に、背景スコア第１位の領域３０２、背景スコア第２位の領域３０３、背景スコアの低い領域３０４が撮影されている様子を示している。
最初に、１回目の切れ目３０５で、図３（ｂ）のように背景スコア第１位の領域３０２を基準にして全周囲画像３０１を３分割すると、背景スコアが低い領域３０４の物体が１段目と２段目の分割画像の端にかかってしまう。
【００３４】
そこで、２回目の切れ目３０６で、図３（ｃ）のように背景スコア第２位の領域３０３を基準にして画像を分割すると、背景スコアが低い領域３０４が分割画像によって分割されることなく表示される。
切り出し基準位置の更新が終了したもしくは、更新が不要だった場合に、続いて被写体検出部１０５がパノラマ展開画像に対して被写体検出を行い画像内の各位置での被写体（例えば人物）らしさを表すスコアを求めた被写体検出結果を出力する。
さらに被写体位置算出部１０６は、被写体検出結果を基に被写体らしさを表すスコアが閾値以上の位置を被写体の位置と判断し、被写体位置情報を出力する（ステップ２０６）。
【００３５】
続いて表示画像生成部１０７は、切り出し基準位置と被写体位置情報とからパノラマ展開部１０２で生成されたパノラマ展開画像の切り出し位置を決定し切り出し（ステップ２０７）パノラマ画像を生成する（ステップ２０８〜２１０）。
【００３６】
具体的には、被写体検出結果と切り出し基準位置との距離が一定値以上かどうかを判断し（ステップ２０８）、一定値以上の場合には切り出し基準位置が画像端となるように切り出しパノラマ画像を生成（ステップ２０９）、一定値以下の場合には切り出し基準位置を調整した上で切り出しパノラマ画像を生成する（ステップ２１０）。ステップ２１０での切り出し基準位置の調整処理の詳細については後述する。
【００３７】
図４に第１の実施形態の表示例を示す。図４（ａ）、（ｂ）はモニター１１に、パノラマ展開画像から２つの切り出しパノラマ画像を生成し２段に表示した例になっている。分割画面上段１２と分割画面下段１３にそれぞれ切り出しパノラマ画像を表示している。図４（ａ）は背景情報更新部で設定された切り出し基準位置をそのまま利用して生成した切り出しパノラマ画像を表示した例を示している。このとき、分割画面上段１２の右端と、分割画面下段１３の左端は同じものが重複して表示されている。
図４（ｂ）の２０、２１には、人物検出が行われたため切り出し基準位置を調整したうえで生成した切り出しパノラマ画像を伸びしろ領域１４を利用して表示した例を示している。伸びしろ領域１４とは、被写体２２が画面端に来た際、画像の表示幅を変動させて表示するために画像の左右に用意した、表示/非表示が選択できる領域である。
図４（ｂ）では、被写体２２が分割画面上段１２の右端に来たとき、伸びしろ領域２０を利用して画像を表示する例を示している。また、分割画面下段１３の左端の伸びしろ領
域２１も利用して画像を表示する例を示している。
なお、この伸びしろ領域１４には、切り出し基準位置で表示が行われている間は、任意の情報が表示されていても良い。
【００３８】
図５に本実施の形態における動作例を示す。図５はパノラマ展開画像中で被写体１７（ここでは人物とする）が左から右へ移動する例である。図の上にある太枠で囲まれた画像がパノラマ展開画像である。前述したように、パノラマ展開画像は端同士が接続した画像であるため、切り出しの際には太枠から外れた場合でも連続した画像として扱うことができる。太枠の左右にある点線の領域はパノラマ展開画像の左（右）端から一定距離を切り取り、それをそのまま右（左）端に接続させた場合の画像にあたる。
【００３９】
図５は、このパノラマ展開画像を図４と同じく２段に分けて表示する場合の例である。ここでは上段に表示する切り出しパノラマ画像を画面１、下段に表示する切り出しパノラマ画像を画面２と呼ぶ。事前に切り出し基準位置更新部により、切り出し基準位置が求められている。図に示すように画面１、画面２に対してそれぞれ左右の切り出し基準位置が求められている。また、被写体位置算出部１０６により被写体位置（人物の位置）１７が検出されている。
時刻tにおいて、人物の位置１７は画面１、画面２の左右の切り出し基準位置の全てから一定距離ｄ１以上離れているため、分割画面上段１２、分割画面下段１３ともに切り出し基準位置を画面端として切り出した切り出しパノラマ画像を表示しており、人物は分割画面上段１２に表示されている。
【００４０】
時刻t+1になると、人物１６が画面１の右切り出し基準位置（時刻ｔ１での分割画面上段１２の右端に相当）から一定距離d1に近づいたため、画面２の左切り出し基準位置に一定距離ｄＬを加えた位置が画面端になるように画面２の切り出しパノラマ画像を生成し、分割画面下段１３に表示する。このように表示することで分割画面上段１２、分割画面下段１３ともに人物が表示されるようになる。また、画面端に近づいたことをユーザに気づかせることが可能となる。
【００４１】
時刻t+2になると、人物１５が画面１の右切り出し基準位置（時刻ｔ＋１での分割画面上段１２の右端に相当）から一定距離d2に近づいたため、画面１の右切り出し基準位置に一定距離ｄＲを加えた位置が画面端になるように画面１の切り出しパノラマ画像を生成し、分割画面上段１２に表示する。また、画面２は画面２の左切り出し基準位置が画面端になるように画面２の切り出しパノラマ画像を生成し、分割画面下段１３に表示する。
【００４２】
更に時間が進み、時刻t+3となると、人物１８は画面２の左切り出し基準位置から距離ｄ１以上離れたため、画面１、画面２ともに切り出し基準位置を画面端とするようにパノラマ画像が生成され、分割画面上段１２、分割画面下段１３に表示される。また、被写体が分割画面上段１２を右から左へ移動する際も同様に、分割画面下段１３の右端と、分割画面上端１２の左端というような元のパノラマ展開画像上で接続関係にある画像端がそれぞれ伸縮することで被写体を途切れさせること無く表示することが可能となる。なお、３段以上で表示する構成になった場合でも、各画像端から距離ｄ１、ｄ２に被写体が移動した際にはそれぞれ対応した領域が距離dR,dL分だけ伸縮することで同様の効果を得る。その際に、被写体の横幅を考慮してｄ１、ｄ２、ｄＲ、ｄＬの大きさを決めるとより効果的である。
【００４３】
このような本発明の第１の実施の形態のパノラマ展開画像撮像装置によれば、背景特徴抽出部１０３および切り出し基準位置更新部１０４により画像的な特徴がある場所がパノラマ展開画像の切り出し後の各画像端に優先的に選ばれるよう、切り出し基準位置を設定し、更に被写体位置算出部１０６により被写体の位置に合わせてパノラマ展開画像の切り
出し位置を変動させて表示範囲を伸縮させることで、切り出しパノラマ画像の画像端において、被写体を途切れさせることなく表示することができ、さらに伸縮があるため人物の移動がユーザに分かりやすくなる。
【００４４】
なお、被写体が切り出し基準位置から一定距離ｄ１、ｄ２に近づいた場合の表示方法は、切り出しパノラマ画像の表示範囲を伸縮させずにあらかじめ決められた幅に固定しておき、切り出しパノラマ画像の幅が（以下、この幅で切り出されたパノラマ画像をリサイズ対象領域と呼ぶ）変わったとき、その幅をリサイズさせても良い。これにより表示領域を無駄にすることなく、かつ被写体が途切れないように表示することができる。リサイズを用いる場合のフローを図６に、画面の表示例を図７、動作例を図８に示す。図６では、図２に示すフローと同じ処理は同じ番号になっている。ステップ５１０では表示領域を伸縮させるかわりにリサイズして表示している。図７に示すように実際の画面表示では各切り出しパノラマ画像が伸縮することがないので、伸びしろ領域が不要になっている。図８では前述した例でのリサイズ対象領域を時刻ｔ〜時刻ｔ＋３の各画像で点線の太枠で表している。例えば、時刻ｔにおける画面２のリサイズ対象領域よりも時刻ｔ＋１における画面２のリサイズ対象領域の方が幅が広くなっている。この場合には、時刻ｔ＋１での画面２のリサイズ対象領域を幅を縮小するようにリサイズし時刻ｔでの幅に合わせて表示する。
【００４５】
また、第１の実施形態では、魚眼レンズ等を用いた全方位カメラにより撮像された画像を入力画像としているが、通常のカメラを1個以上用いてパノラマ画像を作成した場合でも同等の効果が得られる。
また、切り出し基準位置は背景特徴を用いて求めることは必須ではなく、事前に決められた位置や人が指定した位置を切り出し基準位置としてもよい。また、各切り出しパノラマ画像の両端が重なり合うように切り出し基準位置を決めることは必須ではなく、重ならない（隣り合う切り出しパノラマ画像の画像端が同じ位置になるもしくは離れる）ように切り出し基準位置を決めてもよい。重なり合うように切り出し基準位置を決めることで、異なるパノラマ切り出し画像に同じ物体が含まれるためそれが特徴的な物体であればユーザにとって位置関係が分かりやすくなるというメリットがあり、重なり合わないように切り出し基準位置を決めることで、表示領域を節約することができるというメリットがあるため、アプリケーションや使用条件に応じて選択するとよい。
【００４６】
（実施の形態２）
次に本発明の第２の実施の形態のパノラマ展開画像撮像装置８００を図９に示す。実施の形態１で説明したパノラマ展開画像撮像装置１００と同じ構成要素は同じ番号で示す。
【００４７】
図９において、本発明の第２の実施の形態は、全方位画像生成部１０１と、パノラマ展開部１０２と、パノラマ展開画像から背景の画像特徴量を抽出する背景特徴抽出部１０３と、背景特徴に基づいてパノラマ画像の切り出しに適した位置を更新する切り出し基準位置更新部１０４と、表示ターゲットとなる被写体を検出する被写体検出部１０５と、被写体位置を算出する被写体位置算出部１０６と、検出された被写体情報を基に３Ｄ位置情報（３Ｄ画像にした際の画面からの飛び出し具合の情報）を算出して被写体の３Ｄ画像を生成する３Ｄ画像生成部８０１と、各被写体位置に対応した３Ｄ位置情報を保持している３Ｄ位置情報保持部８０２と、生成した３Ｄ画像と切り出し基準位置に従ってパノラマ展開画像から切り出した切り出しパノラマ画像とを合成する画像合成部８０３と、合成した画像を表示する表示部１０８とによって構成されている。
【００４８】
３Ｄ位置情報保持部８０２は、切り出しパノラマ画像内の被写体位置に応じた３Ｄ位置情報を保持しており、パノラマ展開画像を２分割する場合や３分割する場合などに応じて事前に定めておけばよい。隣り合う切り出しパノラマ画像の対応する画像端での３Ｄ位置情報は同じ値に設定されている。これにより、被写体が切り出しパノラマ画像をまたいで
移動する場合に、被写体の飛び出し具合が同じになるため、同一の被写体であることの対応付けがとりやすくなる。図１１に３Ｄ位置情報保持部が保持するデータ例を示す。図１１（ａ）は、パノラマ展開画像を２分割する場合の被写体位置に応じた３Ｄの飛び出し具合を模式的に示したものである。（ｂ）は３分割する場合の例である。この例では、点線部分が１つの切りだしパノラマ画像に相当し、太線部分が飛び出し量に相当する。つまり、切り出し基準位置（点線の端の位置）と被写体位置が分かれば飛び出し量を求めることができる。
なお、被写体に限らず背景に対しても３Ｄ位置情報に基づいて３Ｄ画像にすることで被写体が移動していない場合でも切り出しパノラマ画像の端が他の切り出しパノラマ画像のどの端と接続しているかが分かりやすくなる。
【００４９】
以上のように構成されたパノラマ展開画像撮像装置について、図１０を用いてその動作を説明する。
ステップ２０１〜２０７は実施の形態１と同様である。ステップ２０７が終了した時点で切り出し基準位置と被写体位置が求まっている。続いて、３Ｄ画像生成部８０１は出力された被写体の位置情報と３Ｄ位置情報保持部８０２に蓄えられている３Ｄ位置情報を基に飛び出し量を求める（ステップ９０１）。求めた飛び出し量で飛び出しているように見える被写体の３Ｄ画像を作成し（ステップ９０２）、最後に画像合成部８０３は被写体の存在する切り出しパノラマ画像と被写体の３Ｄ画像を合成し表示するための画像を作成する。
【００５０】
３Ｄ画像生成例を図１２に示す。図１２は描画平面を仮想的に俯瞰した図であり、仮定平面３１を奥行き±０とした際、例えば画面１では左側が奥に、右側が手前に飛び出て表示されることを表現している。３Ｄ位置情報保持部８０２により、被写体の位置毎の立体視具合が保存されており、３Ｄ画像生成部８０１では各被写体の位置情報を基に被写体画像を立体視できるように３Ｄ画像を生成し、画像合成部８０３でオリジナルのパノラマ展開画像と合成した後、表示部１０８で表示を行う。このとき、分割した各パノラマ画像において、隣接する部分は同じ高さで立体視するよう表示される。例えば図１２において、画面１の右端と画面２の左端は同じ場所を表示しており、被写体３３の位置毎の奥行き情報を示す３Ｄ奥行き情報線３２はどちらも同じ高さとなるよう３Ｄ位置情報保持部８０２で調整されている。また、画面１の左端と画面２の右端も同様である。ここで、３Ｄ位置情報保持部で画面１の右端と左端では飛び出し具合が異なるように３Ｄ位置情報を設定しておけば、２つの被写体が画面１の右端と左端で同時に移動を行っていた場合でも、２つの被写体の飛び出し具合が異なるため画像端同士のつながりを容易に理解することができる表示になっている。
【００５１】
このような本発明の第２の実施の形態のパノラマ展開画像撮像装置によれば、被写体検出部１０５により被写体を検出し、３Ｄ位置情報保持部８０２より該当する位置の３Ｄ情報を参照し、３Ｄ画像生成部８０１により３Ｄ画像化して表示することで、パノラマ展開画像を複数段に分けて表示した場合においても、分離後の各画像端同士の繋がりをわかりやすく表示させることが可能となる。
【００５２】
なお、本実施例ではパノラマ展開画像を２画面に分割した例を示したが、３つ以上に分割した際も同様に、隣接領域が同じ高さで３Ｄ表示される。また、隣接領域の高さを同等とすることで上記の効果を得ているが、その立体具合については任意である。即ち、画面端が必ずしも最大の高さを持つ、あるいは最大の奥行きを持つ必要は無い。
【００５３】
さらに、画像合成部８０３で３Ｄ情報と背景を合成する際、実施の形態１で行ったように、切り出し基準位置更新部１０４で検出した背景の切り出し位置と、被写体位置算出部１０６で算出した被写体の位置を基にして背景画像の切り出し位置を決定してパノラマ画
像を切り出し、そのパノラマ画像を背景として３Ｄ情報を合成することもできる。
【産業上の利用可能性】
【００５４】
以上のように、本発明にかかるパノラマ展開画像撮像装置は、被写体の移動に合わせてパノラマ展開画像の切り出し位置及び表示方法を変動できるという効果を有し、全方位カメラや複数台のカメラを利用して作成したパノラマ画像の表示方法として有用であり、例えば全方位カメラを用いた監視ソリューション等に幅広く利用することができる。
【符号の説明】
【００５５】
１０１ 全方位画像生成部
１０２ パノラマ展開部
１０３ 背景特徴抽出部
１０４ 切り出し基準位置更新部
１０５ 被写体検出部
１０６ 被写体位置算出部
１０７ 表示画像生成部
１０８ 表示部
【技術分野】
【０００１】
本発明はパノラマ展開画像撮像装置およびパノラマ展開画像撮像システムに関するもののである。
【背景技術】
【０００２】
通常、全周囲画像をパノラマ展開した画像は、画像の一方の長さに比べ、他方の長さの方が遥かに長いという特性を持っている。そのため、パノラマ展開した画像全体を一度に表示する手段として、画像を複数に切り分けて、それぞれを縦に並べて複数段構成で表示するという手法がある。（例えば、特許文献１参照）。
【０００３】
特許文献１では魚眼レンズにより撮像された３６０度の環状映像において、内円と外円を設定することでパノラマ展開すべき画像の高さを決定し、例えばテーブルの中央に全方位撮像装置を置いて、会議風景などを撮像した際、被写体の頭が切れてしまうことなく処理することを可能としている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−２８６０６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１のパノラマ展開画像撮像装置では、注目している被写体が頻繁に移動するシーンを対象としておらず、複数段にパノラマ展開画像を切り出した際、切り出し画像の境界に被写体が移動した場合、被写体が切れてしまうという課題がある。
【０００６】
本発明は、従来の問題を解決するためになされたもので、パノラマ展開画像上の被写体の移動に合わせて表示形態を変動させることで、被写体が途切れてしまうことなく撮像できるパノラマ展開画像撮像装置およびパノラマ展開画像撮像システムを得ることを目的とする。
【課題を解決するための手段】
【０００７】
本発明に係るパノラマ展開画像撮像装置は、パノラマ展開画像を少なくとも２つのパノラマ画像に分割して表示するパノラマ展開画像表示装置であって、前記パノラマ展開画像に対して切り出し基準位置を設定する、切り出し基準位置設定部と、前記パノラマ展開画像から表示ターゲットとなる被写体を検出する被写体検出部と、検出された被写体位置と切り出し基準位置の関係からパノラマ画像の切り出し位置を決定する切り出し位置決定部と前記切り出し位置で前記パノラマ展開画像から切り出したパノラマ画像を表示する表示画像生成部とを有する。
【０００８】
この構成により、パノラマ展開画像を複数段に切り出して縦に並べて表示した際、被写体の位置情報に基づいて表示する画面構成を変更することができ、ユーザにとってパノラマ画像同士の繋がりが分かりやすい表示が可能となる。
【０００９】
さらに、本発明のパノラマ展開画像撮像装置は、前記パノラマ展開画像は動画像を展開したものであり、前記切り出し位置決定部は、前記被写体の位置が前記切り出し基準位置に接近した際、前記被写体の全身が前記パノラマ画像に含まれるように前記切り出し位置を決定する構成を有している。
【００１０】
この構成により、パノラマ画面端に被写体が移動した際に画面端が伸縮した表示が可能となり、画像端に被写体が移動したことがユーザに視覚的に伝わりやすくかつ被写体が途切れて映るような事を防ぐことができる。
【００１１】
さらに、本発明のパノラマ展開画像撮像装置は、前記パノラマ画像を表示領域に表示する表示部を有し、前記表示画像生成部は、前記切り出し位置が更新された後、前記パノラマ画像を前記表示領域に合わせて大きさを変更して表示させる構成を有している。
【００１２】
この構成により、パノラマ画像端に被写体が移動した際にパノラマ画像の表示範囲を伸縮した表示を行いかつ表示領域に合わせて画像をリサイズすることができ、画像端に被写体が移動したことがユーザに視覚的に伝わりやすくなるとともに、表示領域を無駄にすることなく表示が可能となる。
【００１３】
さらに、本発明のパノラマ展開画像撮像装置は、前記パノラマ展開画像から背景の背景画像特徴を抽出する背景特徴抽出部を持ち、前記切り出し基準位置決定部は、背景画像特徴に基づいて、前記切り出し基準位置を決定する構成を有している。
この構成により、背景特徴に基づいてパノラマ画像を表示することができるようになり、ユーザにとって分かりやすい表示が可能となる。
【００１４】
さらに、本発明のパノラマ展開画像撮像装置は、前記背景特徴抽出部にて、色情報を用いる構成を有している。
【００１５】
この構成により、切り出し画像の画像端に目立つ物体や看板がある部分を選択することができユーザの空間把握を補助することができる。
【００１６】
さらに、本発明のパノラマ展開画像撮像装置は、前記背景特徴抽出部にて、文字情報を用いる構成を有している。
この構成により、切り出し画像の画像端に目立つ物体や看板がある部分を選択することができユーザの空間把握を補助することができる。
【００１７】
さらに、本発明のパノラマ展開画像撮像装置は、前記背景特徴抽出部にて、テクスチャ情報を用いる構成を有している。
この構成により、テクスチャが一定の部分は切り出し画像端として選択しない設定が可能になり、画像端に特徴がある背景部を自動選択することで、ユーザの空間把握を補助することができる。
【００１８】
さらに、本発明のパノラマ展開画像撮像装置は、前記背景特徴抽出部にて、ターゲットとなる被写体の検出頻度情報を用いる構成を有している。
この構成により、例えば人通りの多い通路など、ユーザが注目すべき領域が画像のパノラマ画像の切れ目に選択されることが無くなる。
【００１９】
さらに、本発明のパノラマ展開画像撮像装置は、前記切り出し基準位置決定部は、前記パノラマ画像の端が互いに重なるように決定される構成を有している。
この構成により、画像端同士の一致不一致を知ることができ、ユーザの空間把握を補助することができる。
【００２０】
さらに、本発明のパノラマ展開画像撮像装置は、パノラマ展開画像を少なくとも２つのパノラマ画像に分割して表示するパノラマ展開画像表示装置であって、前記パノラマ展開画像に対して切り出し基準位置を設定する、切り出し基準位置設定部と、前記パノラマ展
開画像から表示ターゲットとなる被写体を検出する被写体検出部と、検出された被写体位置と切り出し基準位置の関係からパノラマ画像の切り出し位置を決定する切り出し位置決定部と前記切り出し位置で前記パノラマ展開画像からパノラマ画像を切り出し、前記被写体の前記パノラマ画像中の位置に応じて３Ｄ飛び出し具合を決める３Ｄ位置決定部と、３Ｄ位置決定部によって決定された３Ｄ飛び出し具合に従って被写体が飛び出している３Ｄ画像を作成する３Ｄ画像生成部を有している。
【００２１】
この構成により、パノラマ展開画像を複数段に切り出して縦に並べて表示した際、被写体の位置情報に基づいて表示する画面構成を変更することができ、被写体の位置を３Ｄ的に表示することができ、被写体の立体的な位置によってユーザがパノラマ画像同士の繋がりや、被写体の位置関係を把握しやすい表示が可能となる。
【００２２】
さらに、本発明に係るパノラマ展開画像撮像装置は、パノラマ展開画像を少なくとも２つのパノラマ画像に分割して表示するパノラマ展開画像表示装置であって、前記パノラマ展開画像に対して切り出し基準位置を設定する、切り出し基準位置設定部と、前記パノラマ展開画像から表示ターゲットとなる被写体を検出する被写体検出部と、被写体のパノラマ画像中の位置に応じて３Ｄ飛び出し具合を決める３Ｄ位置決定部と、３Ｄ位置決定部によって決定された３Ｄ飛び出し具合に従って被写体が飛び出している３Ｄ画像を作成する３Ｄ画像生成部を有している。
【００２３】
この構成により、ユーザにとってパノラマ画像同士のつながりが分かりやすい表示を実現することができる。
さらに、本発明に係るパノラマ展開画像撮像装置は、前記３Ｄ位置決定部は、分割前に接続されていた異なるパノラマ画像の画像端での飛び出し具合を同じにする構成を有している。
この構成により、画像端同士の一致不一致を知ることができ、ユーザの空間把握を補助することができる。
【発明の効果】
【００２４】
本発明は、パノラマ展開画像を複数段に切り出して表示した際に、ユーザの空間把握を補助しパノラマ画像同士の繋がりが分かりやすく、かつ被写体が頻繁に移動するようなシーンにおいても、被写体を途切れさせることなく表示させるという効果を有するパノラマ展開画像撮像装置を提供することができるものである。
【図面の簡単な説明】
【００２５】
【図１】本発明の第１の実施の形態におけるパノラマ展開画像撮像装置のブロック図
【図２】伸びしろ領域を利用したパノラマ展開画像撮像装置の動作説明のためのフロー図
【図３】全周囲画像の分割方法を示す説明図
【図４】伸びしろ領域を利用したパノラマ展開画像撮像装置の２画面構成を示す図
【図５】伸びしろ領域を利用したパノラマ展開画像撮像装置の動作を示すを示す説明図
【図６】リサイズ処理を用いたパノラマ展開画像撮像装置の動作説明のためのフロー図
【図７】リサイズ処理を用いたパノラマ展開画像撮像装置の２画面構成を示す図
【図８】リサイズ処理を用いたパノラマ展開画像撮像装置の動作を示す説明図
【図９】本発明の第２の実施の形態におけるパノラマ展開画像装置のブロック図
【図１０】３Ｄ表示を用いたパノラマ展開画像装置の動作説明のためのフロー図
【図１１】３Ｄ位置情報保持部の保持するデータ例を示す図
【図１２】３Ｄ表示を用いたパノラマ展開画像装置の動作例を示す図
【発明を実施するための形態】
【００２６】
（実施の形態１）
以下、本発明の実施の形態のパノラマ展開画像撮像装置について、図面を用いて説明する。ここでは、パノラマ展開画像を得るのに３６０度撮像可能な全方位カメラを用いている。
【００２７】
本発明の第１の実施の形態のパノラマ展開画像撮像装置の構成を図１に示す。図１において、パノラマ展開画像撮像装置１００は魚眼カメラなどの全方位カメラから全方位画像を生成する全方位画像生成部１０１と、全方位画像をパノラマ展開するパノラマ展開部１０２と、パノラマ展開画像から背景の画像特徴量を抽出する背景特徴抽出部１０３と、背景特徴に基づいてパノラマ展開画像の切り出しに適した切り出し基準位置を更新する切り出し基準位置更新部と１０４と、表示ターゲットとなる被写体を検出する被写体検出部１０５と、検出された被写体の位置を算出する被写体位置算出部１０６と、先に抽出した切り出し基準位置および被写体位置情報に基づいてパノラマ展開画像の切り出しの際の画像端の位置を決定し、複数個の切り出しパノラマ画像を生成する表示画像生成部１０７と、表示画像生成部１０７で生成した複数個の切り出しパノラマ画像を表示する表示部１０８を有している。
【００２８】
以上のように構成されたパノラマ展開画像撮像装置１００の動作フローを図２に示す。はじめに、全方位画像生成部１０１から全方位カメラ画像を取得する（ステップ２０１）。次に、取得した全方位カメラ画像に対してパノラマ展開部１０２にて展開を行い、360度の全方位画像を任意の位置で切断して展開したパノラマ展開画像を得る（ステップ２０２）。このパノラマ展開手法は引用文献１に記載してある一般的な手法を用いることができる。また、360度の全方位画像を展開しているため、展開画像の左端と右端は実際には隣接した領域であり、後述の切り出し基準位置によってはパノラマ展開画像の左（右）端から一定距離を切り取り、それをそのまま右（左）端に接続させても、画像の接続性は保たれることになる。
【００２９】
次に、切り出し基準位置を更新するかどうかの判断を行う（ステップ２０３）。当ステップでは、パノラマ展開画像撮像装置１００の初期起動時、あるいは別要因によって撮像対象領域が大きく変化した場合、または操作者が決めた任意のタイミングで更新すると判断する。更新すると判断された場合には切り出し基準位置の更新を行う（ステップ２０４、２０５）。
切り出し基準位置の更新は、まず背景特徴抽出部１０３が画像上のテクスチャ情報や色情報、文字情報等の背景特徴量を抽出する（ステップ２０４）。このとき、抽出する特徴量は画像処理の他、センサーなどにより別経路で入手しても良い。
【００３０】
続いてステップ２０４で求めた背景特徴量を用いて切り出し基準位置更新部１０４は切り出し基準位置を更新して背景情報の更新を行う（ステップ２０５）。切り出し基準位置更新部１０４では、パノラマ展開画像をパノラマ画像に切り出すときの基準位置を求めるのであるが、複数段に分かれたパノラマ画像の端同士の対応関係をわかりやすくするためには、画像的な特徴がある領域（テクスチャが一様でない、色が他に比べ特殊である、看板等文字情報が埋め込まれている、等）ほど値が高くなるように、背景情報スコアを高くする。一方、被写体が動いている場合には、パノラマ画像の端に被写体がないほうが良いので、被写体の検出頻度が高いほど値が低くなるように背景情報スコアを算出する。
【００３１】
このようにして、パノラマ展開した画像上のどの位置に特徴的な領域（物体）があるかを表す背景情報を求め、背景スコアが高い領域がパノラマ画像の切り出し後の各画像端に優先的に選ばれるよう、パノラマ展開画像の切り出し基準位置を設定、更新する。例えば、パノラマ展開画像をN段に分割して表示する際には、背景スコア最上位の領域を第1段目の分割画像左端に含むように設定し、その位置を基準にパノラマ展開画像全体をN分割し
て表示を行う。
【００３２】
本方式では各分割画像の両端は隣り合う分割画像と一部重なりを持って表示を行うため、第１段目の分割画像の左端にある背景スコア最上位の領域は、第Ｎ段目の分割画像の右端にも含まれることになる。この設定により、仮に第ｍ番目の分割画像（ｍ=1…N）の画像端にて背景スコアが低い領域が選択された場合、背景スコア最上位の領域の代わりに背景スコア第2位の領域を基準として、パノラマ展開画像の切り出し位置を再設定する。以下、これを繰り返し、最適な切り出し基準位置を設定する。これにより、分離した各パノラマ展開画像の繋がりが操作者にわかりやすくなるという効果がある。この際に、各段の画像幅が等しくなるように制約条件を加えても良い。
【００３３】
この様子を図３を用いて説明する。図３（ａ）は、全周囲画像３０１の中に、背景スコア第１位の領域３０２、背景スコア第２位の領域３０３、背景スコアの低い領域３０４が撮影されている様子を示している。
最初に、１回目の切れ目３０５で、図３（ｂ）のように背景スコア第１位の領域３０２を基準にして全周囲画像３０１を３分割すると、背景スコアが低い領域３０４の物体が１段目と２段目の分割画像の端にかかってしまう。
【００３４】
そこで、２回目の切れ目３０６で、図３（ｃ）のように背景スコア第２位の領域３０３を基準にして画像を分割すると、背景スコアが低い領域３０４が分割画像によって分割されることなく表示される。
切り出し基準位置の更新が終了したもしくは、更新が不要だった場合に、続いて被写体検出部１０５がパノラマ展開画像に対して被写体検出を行い画像内の各位置での被写体（例えば人物）らしさを表すスコアを求めた被写体検出結果を出力する。
さらに被写体位置算出部１０６は、被写体検出結果を基に被写体らしさを表すスコアが閾値以上の位置を被写体の位置と判断し、被写体位置情報を出力する（ステップ２０６）。
【００３５】
続いて表示画像生成部１０７は、切り出し基準位置と被写体位置情報とからパノラマ展開部１０２で生成されたパノラマ展開画像の切り出し位置を決定し切り出し（ステップ２０７）パノラマ画像を生成する（ステップ２０８〜２１０）。
【００３６】
具体的には、被写体検出結果と切り出し基準位置との距離が一定値以上かどうかを判断し（ステップ２０８）、一定値以上の場合には切り出し基準位置が画像端となるように切り出しパノラマ画像を生成（ステップ２０９）、一定値以下の場合には切り出し基準位置を調整した上で切り出しパノラマ画像を生成する（ステップ２１０）。ステップ２１０での切り出し基準位置の調整処理の詳細については後述する。
【００３７】
図４に第１の実施形態の表示例を示す。図４（ａ）、（ｂ）はモニター１１に、パノラマ展開画像から２つの切り出しパノラマ画像を生成し２段に表示した例になっている。分割画面上段１２と分割画面下段１３にそれぞれ切り出しパノラマ画像を表示している。図４（ａ）は背景情報更新部で設定された切り出し基準位置をそのまま利用して生成した切り出しパノラマ画像を表示した例を示している。このとき、分割画面上段１２の右端と、分割画面下段１３の左端は同じものが重複して表示されている。
図４（ｂ）の２０、２１には、人物検出が行われたため切り出し基準位置を調整したうえで生成した切り出しパノラマ画像を伸びしろ領域１４を利用して表示した例を示している。伸びしろ領域１４とは、被写体２２が画面端に来た際、画像の表示幅を変動させて表示するために画像の左右に用意した、表示/非表示が選択できる領域である。
図４（ｂ）では、被写体２２が分割画面上段１２の右端に来たとき、伸びしろ領域２０を利用して画像を表示する例を示している。また、分割画面下段１３の左端の伸びしろ領
域２１も利用して画像を表示する例を示している。
なお、この伸びしろ領域１４には、切り出し基準位置で表示が行われている間は、任意の情報が表示されていても良い。
【００３８】
図５に本実施の形態における動作例を示す。図５はパノラマ展開画像中で被写体１７（ここでは人物とする）が左から右へ移動する例である。図の上にある太枠で囲まれた画像がパノラマ展開画像である。前述したように、パノラマ展開画像は端同士が接続した画像であるため、切り出しの際には太枠から外れた場合でも連続した画像として扱うことができる。太枠の左右にある点線の領域はパノラマ展開画像の左（右）端から一定距離を切り取り、それをそのまま右（左）端に接続させた場合の画像にあたる。
【００３９】
図５は、このパノラマ展開画像を図４と同じく２段に分けて表示する場合の例である。ここでは上段に表示する切り出しパノラマ画像を画面１、下段に表示する切り出しパノラマ画像を画面２と呼ぶ。事前に切り出し基準位置更新部により、切り出し基準位置が求められている。図に示すように画面１、画面２に対してそれぞれ左右の切り出し基準位置が求められている。また、被写体位置算出部１０６により被写体位置（人物の位置）１７が検出されている。
時刻tにおいて、人物の位置１７は画面１、画面２の左右の切り出し基準位置の全てから一定距離ｄ１以上離れているため、分割画面上段１２、分割画面下段１３ともに切り出し基準位置を画面端として切り出した切り出しパノラマ画像を表示しており、人物は分割画面上段１２に表示されている。
【００４０】
時刻t+1になると、人物１６が画面１の右切り出し基準位置（時刻ｔ１での分割画面上段１２の右端に相当）から一定距離d1に近づいたため、画面２の左切り出し基準位置に一定距離ｄＬを加えた位置が画面端になるように画面２の切り出しパノラマ画像を生成し、分割画面下段１３に表示する。このように表示することで分割画面上段１２、分割画面下段１３ともに人物が表示されるようになる。また、画面端に近づいたことをユーザに気づかせることが可能となる。
【００４１】
時刻t+2になると、人物１５が画面１の右切り出し基準位置（時刻ｔ＋１での分割画面上段１２の右端に相当）から一定距離d2に近づいたため、画面１の右切り出し基準位置に一定距離ｄＲを加えた位置が画面端になるように画面１の切り出しパノラマ画像を生成し、分割画面上段１２に表示する。また、画面２は画面２の左切り出し基準位置が画面端になるように画面２の切り出しパノラマ画像を生成し、分割画面下段１３に表示する。
【００４２】
更に時間が進み、時刻t+3となると、人物１８は画面２の左切り出し基準位置から距離ｄ１以上離れたため、画面１、画面２ともに切り出し基準位置を画面端とするようにパノラマ画像が生成され、分割画面上段１２、分割画面下段１３に表示される。また、被写体が分割画面上段１２を右から左へ移動する際も同様に、分割画面下段１３の右端と、分割画面上端１２の左端というような元のパノラマ展開画像上で接続関係にある画像端がそれぞれ伸縮することで被写体を途切れさせること無く表示することが可能となる。なお、３段以上で表示する構成になった場合でも、各画像端から距離ｄ１、ｄ２に被写体が移動した際にはそれぞれ対応した領域が距離dR,dL分だけ伸縮することで同様の効果を得る。その際に、被写体の横幅を考慮してｄ１、ｄ２、ｄＲ、ｄＬの大きさを決めるとより効果的である。
【００４３】
このような本発明の第１の実施の形態のパノラマ展開画像撮像装置によれば、背景特徴抽出部１０３および切り出し基準位置更新部１０４により画像的な特徴がある場所がパノラマ展開画像の切り出し後の各画像端に優先的に選ばれるよう、切り出し基準位置を設定し、更に被写体位置算出部１０６により被写体の位置に合わせてパノラマ展開画像の切り
出し位置を変動させて表示範囲を伸縮させることで、切り出しパノラマ画像の画像端において、被写体を途切れさせることなく表示することができ、さらに伸縮があるため人物の移動がユーザに分かりやすくなる。
【００４４】
なお、被写体が切り出し基準位置から一定距離ｄ１、ｄ２に近づいた場合の表示方法は、切り出しパノラマ画像の表示範囲を伸縮させずにあらかじめ決められた幅に固定しておき、切り出しパノラマ画像の幅が（以下、この幅で切り出されたパノラマ画像をリサイズ対象領域と呼ぶ）変わったとき、その幅をリサイズさせても良い。これにより表示領域を無駄にすることなく、かつ被写体が途切れないように表示することができる。リサイズを用いる場合のフローを図６に、画面の表示例を図７、動作例を図８に示す。図６では、図２に示すフローと同じ処理は同じ番号になっている。ステップ５１０では表示領域を伸縮させるかわりにリサイズして表示している。図７に示すように実際の画面表示では各切り出しパノラマ画像が伸縮することがないので、伸びしろ領域が不要になっている。図８では前述した例でのリサイズ対象領域を時刻ｔ〜時刻ｔ＋３の各画像で点線の太枠で表している。例えば、時刻ｔにおける画面２のリサイズ対象領域よりも時刻ｔ＋１における画面２のリサイズ対象領域の方が幅が広くなっている。この場合には、時刻ｔ＋１での画面２のリサイズ対象領域を幅を縮小するようにリサイズし時刻ｔでの幅に合わせて表示する。
【００４５】
また、第１の実施形態では、魚眼レンズ等を用いた全方位カメラにより撮像された画像を入力画像としているが、通常のカメラを1個以上用いてパノラマ画像を作成した場合でも同等の効果が得られる。
また、切り出し基準位置は背景特徴を用いて求めることは必須ではなく、事前に決められた位置や人が指定した位置を切り出し基準位置としてもよい。また、各切り出しパノラマ画像の両端が重なり合うように切り出し基準位置を決めることは必須ではなく、重ならない（隣り合う切り出しパノラマ画像の画像端が同じ位置になるもしくは離れる）ように切り出し基準位置を決めてもよい。重なり合うように切り出し基準位置を決めることで、異なるパノラマ切り出し画像に同じ物体が含まれるためそれが特徴的な物体であればユーザにとって位置関係が分かりやすくなるというメリットがあり、重なり合わないように切り出し基準位置を決めることで、表示領域を節約することができるというメリットがあるため、アプリケーションや使用条件に応じて選択するとよい。
【００４６】
（実施の形態２）
次に本発明の第２の実施の形態のパノラマ展開画像撮像装置８００を図９に示す。実施の形態１で説明したパノラマ展開画像撮像装置１００と同じ構成要素は同じ番号で示す。
【００４７】
図９において、本発明の第２の実施の形態は、全方位画像生成部１０１と、パノラマ展開部１０２と、パノラマ展開画像から背景の画像特徴量を抽出する背景特徴抽出部１０３と、背景特徴に基づいてパノラマ画像の切り出しに適した位置を更新する切り出し基準位置更新部１０４と、表示ターゲットとなる被写体を検出する被写体検出部１０５と、被写体位置を算出する被写体位置算出部１０６と、検出された被写体情報を基に３Ｄ位置情報（３Ｄ画像にした際の画面からの飛び出し具合の情報）を算出して被写体の３Ｄ画像を生成する３Ｄ画像生成部８０１と、各被写体位置に対応した３Ｄ位置情報を保持している３Ｄ位置情報保持部８０２と、生成した３Ｄ画像と切り出し基準位置に従ってパノラマ展開画像から切り出した切り出しパノラマ画像とを合成する画像合成部８０３と、合成した画像を表示する表示部１０８とによって構成されている。
【００４８】
３Ｄ位置情報保持部８０２は、切り出しパノラマ画像内の被写体位置に応じた３Ｄ位置情報を保持しており、パノラマ展開画像を２分割する場合や３分割する場合などに応じて事前に定めておけばよい。隣り合う切り出しパノラマ画像の対応する画像端での３Ｄ位置情報は同じ値に設定されている。これにより、被写体が切り出しパノラマ画像をまたいで
移動する場合に、被写体の飛び出し具合が同じになるため、同一の被写体であることの対応付けがとりやすくなる。図１１に３Ｄ位置情報保持部が保持するデータ例を示す。図１１（ａ）は、パノラマ展開画像を２分割する場合の被写体位置に応じた３Ｄの飛び出し具合を模式的に示したものである。（ｂ）は３分割する場合の例である。この例では、点線部分が１つの切りだしパノラマ画像に相当し、太線部分が飛び出し量に相当する。つまり、切り出し基準位置（点線の端の位置）と被写体位置が分かれば飛び出し量を求めることができる。
なお、被写体に限らず背景に対しても３Ｄ位置情報に基づいて３Ｄ画像にすることで被写体が移動していない場合でも切り出しパノラマ画像の端が他の切り出しパノラマ画像のどの端と接続しているかが分かりやすくなる。
【００４９】
以上のように構成されたパノラマ展開画像撮像装置について、図１０を用いてその動作を説明する。
ステップ２０１〜２０７は実施の形態１と同様である。ステップ２０７が終了した時点で切り出し基準位置と被写体位置が求まっている。続いて、３Ｄ画像生成部８０１は出力された被写体の位置情報と３Ｄ位置情報保持部８０２に蓄えられている３Ｄ位置情報を基に飛び出し量を求める（ステップ９０１）。求めた飛び出し量で飛び出しているように見える被写体の３Ｄ画像を作成し（ステップ９０２）、最後に画像合成部８０３は被写体の存在する切り出しパノラマ画像と被写体の３Ｄ画像を合成し表示するための画像を作成する。
【００５０】
３Ｄ画像生成例を図１２に示す。図１２は描画平面を仮想的に俯瞰した図であり、仮定平面３１を奥行き±０とした際、例えば画面１では左側が奥に、右側が手前に飛び出て表示されることを表現している。３Ｄ位置情報保持部８０２により、被写体の位置毎の立体視具合が保存されており、３Ｄ画像生成部８０１では各被写体の位置情報を基に被写体画像を立体視できるように３Ｄ画像を生成し、画像合成部８０３でオリジナルのパノラマ展開画像と合成した後、表示部１０８で表示を行う。このとき、分割した各パノラマ画像において、隣接する部分は同じ高さで立体視するよう表示される。例えば図１２において、画面１の右端と画面２の左端は同じ場所を表示しており、被写体３３の位置毎の奥行き情報を示す３Ｄ奥行き情報線３２はどちらも同じ高さとなるよう３Ｄ位置情報保持部８０２で調整されている。また、画面１の左端と画面２の右端も同様である。ここで、３Ｄ位置情報保持部で画面１の右端と左端では飛び出し具合が異なるように３Ｄ位置情報を設定しておけば、２つの被写体が画面１の右端と左端で同時に移動を行っていた場合でも、２つの被写体の飛び出し具合が異なるため画像端同士のつながりを容易に理解することができる表示になっている。
【００５１】
このような本発明の第２の実施の形態のパノラマ展開画像撮像装置によれば、被写体検出部１０５により被写体を検出し、３Ｄ位置情報保持部８０２より該当する位置の３Ｄ情報を参照し、３Ｄ画像生成部８０１により３Ｄ画像化して表示することで、パノラマ展開画像を複数段に分けて表示した場合においても、分離後の各画像端同士の繋がりをわかりやすく表示させることが可能となる。
【００５２】
なお、本実施例ではパノラマ展開画像を２画面に分割した例を示したが、３つ以上に分割した際も同様に、隣接領域が同じ高さで３Ｄ表示される。また、隣接領域の高さを同等とすることで上記の効果を得ているが、その立体具合については任意である。即ち、画面端が必ずしも最大の高さを持つ、あるいは最大の奥行きを持つ必要は無い。
【００５３】
さらに、画像合成部８０３で３Ｄ情報と背景を合成する際、実施の形態１で行ったように、切り出し基準位置更新部１０４で検出した背景の切り出し位置と、被写体位置算出部１０６で算出した被写体の位置を基にして背景画像の切り出し位置を決定してパノラマ画
像を切り出し、そのパノラマ画像を背景として３Ｄ情報を合成することもできる。
【産業上の利用可能性】
【００５４】
以上のように、本発明にかかるパノラマ展開画像撮像装置は、被写体の移動に合わせてパノラマ展開画像の切り出し位置及び表示方法を変動できるという効果を有し、全方位カメラや複数台のカメラを利用して作成したパノラマ画像の表示方法として有用であり、例えば全方位カメラを用いた監視ソリューション等に幅広く利用することができる。
【符号の説明】
【００５５】
１０１ 全方位画像生成部
１０２ パノラマ展開部
１０３ 背景特徴抽出部
１０４ 切り出し基準位置更新部
１０５ 被写体検出部
１０６ 被写体位置算出部
１０７ 表示画像生成部
１０８ 表示部
【特許請求の範囲】
【請求項１】
パノラマ展開画像を少なくとも２つのパノラマ画像に分割して表示するパノラマ展開画像表示装置であって、
前記パノラマ展開画像に対して切り出し基準位置を設定する、切り出し基準位置設定部と、
前記パノラマ展開画像から表示ターゲットとなる被写体を検出する被写体検出部と、
検出された被写体位置と切り出し基準位置の関係からパノラマ画像の切り出し位置を決定する切り出し位置決定部と
前記切り出し位置で前記パノラマ展開画像から切り出したパノラマ画像を表示する表示画像生成部と
からなるパノラマ展開画像表示装置。
【請求項２】
前記パノラマ展開画像は動画像を展開したものであり、
前記切り出し位置決定部は、前記被写体の位置が前記切り出し基準位置に接近した際、前記被写体の全身が前記パノラマ画像に含まれるように前記切り出し位置を決定することを特徴とするした請求項１のパノラマ展開画像表示装置。
【請求項３】
前記パノラマ画像を表示領域に表示する表示部を有し、
前記表示画像生成部は、前記切り出し位置が更新された後、前記パノラマ画像を前記表示領域に合わせて大きさを変更して表示させることを特徴とした請求項１のパノラマ展開画像表示装置。
【請求項４】
前記パノラマ展開画像から背景の背景画像特徴を抽出する背景特徴抽出部を持ち、
前記切り出し基準位置決定部は、背景画像特徴に基づいて、前記切り出し基準位置を決定するパノラマ展開画像表示装置。
【請求項５】
前記背景特徴抽出部にて、色情報を用いることを特徴とした請求項４のパノラマ展開画像表示装置。
【請求項６】
前記背景特徴抽出部にて、文字情報を用いることを特徴とした請求項４のパノラマ展開画像表示装置。
【請求項７】
前記背景特徴抽出部にて、テクスチャ情報を用いることを特徴とした請求項４のパノラマ展開画像表示装置。
【請求項８】
前記背景特徴抽出部にて、ターゲットとなる被写体の検出頻度情報を用いることを特徴した請求項４のパノラマ展開画表示装置。
【請求項９】
前記切り出し基準位置決定部は、前記パノラマ画像の端が互いに重なるように決定される請求項１記載のパノラマ展開画像表示装置。
【請求項１０】
パノラマ展開画像を少なくとも２つのパノラマ画像に分割して表示するパノラマ展開画像表示装置であって、
前記パノラマ展開画像に対して切り出し基準位置を設定する、切り出し基準位置設定部と、
前記パノラマ展開画像から表示ターゲットとなる被写体を検出する被写体検出部と、
検出された被写体位置と切り出し基準位置の関係からパノラマ画像の切り出し位置を決定する切り出し位置決定部と
前記切り出し位置で前記パノラマ展開画像からパノラマ画像を切り出し、
前記被写体の前記パノラマ画像中の位置に応じて３Ｄ飛び出し具合を決める３Ｄ位置決定部と、
３Ｄ位置決定部によって決定された３Ｄ飛び出し具合に従って被写体が飛び出している３Ｄ画像を作成する３Ｄ画像生成部と
からなるパノラマ展開画像表示装置。
【請求項１１】
パノラマ展開画像を少なくとも２つのパノラマ画像に分割して表示するパノラマ展開画像表示装置であって、
前記パノラマ展開画像に対して切り出し基準位置を設定する、切り出し基準位置設定部と、
前記パノラマ展開画像から表示ターゲットとなる被写体を検出する被写体検出部と、
被写体のパノラマ画像中の位置に応じて３Ｄ飛び出し具合を決める３Ｄ位置決定部と、
３Ｄ位置決定部によって決定された３Ｄ飛び出し具合に従って被写体が飛び出している３Ｄ画像を作成する３Ｄ画像生成部と
からなるパノラマ展開画像表示装置。
【請求項１２】
前記３Ｄ位置決定部は、分割前に接続されていた異なるパノラマ画像の画像端での飛び出し具合を同じにするパノラマ展開画像表示装置
【請求項１３】
パノラマ展開画像を少なくとも２つのパノラマ画像に分割して表示するパノラマ展開画像表示方法であって、
前記パノラマ展開画像に対して切り出し基準位置を設定する、切り出し基準位置設定ステップと、
前記パノラマ展開画像から表示ターゲットとなる被写体を検出する被写体検出ステップと、
検出された被写体位置と切り出し基準位置の関係からパノラマ画像の切り出し位置を決定する切り出し位置決定ステップと
前記切り出し位置で前記パノラマ展開画像から切り出したパノラマ画像を表示する表示画像生成ステップと
からなるパノラマ展開画像表示方法。
【請求項１】
パノラマ展開画像を少なくとも２つのパノラマ画像に分割して表示するパノラマ展開画像表示装置であって、
前記パノラマ展開画像に対して切り出し基準位置を設定する、切り出し基準位置設定部と、
前記パノラマ展開画像から表示ターゲットとなる被写体を検出する被写体検出部と、
検出された被写体位置と切り出し基準位置の関係からパノラマ画像の切り出し位置を決定する切り出し位置決定部と
前記切り出し位置で前記パノラマ展開画像から切り出したパノラマ画像を表示する表示画像生成部と
からなるパノラマ展開画像表示装置。
【請求項２】
前記パノラマ展開画像は動画像を展開したものであり、
前記切り出し位置決定部は、前記被写体の位置が前記切り出し基準位置に接近した際、前記被写体の全身が前記パノラマ画像に含まれるように前記切り出し位置を決定することを特徴とするした請求項１のパノラマ展開画像表示装置。
【請求項３】
前記パノラマ画像を表示領域に表示する表示部を有し、
前記表示画像生成部は、前記切り出し位置が更新された後、前記パノラマ画像を前記表示領域に合わせて大きさを変更して表示させることを特徴とした請求項１のパノラマ展開画像表示装置。
【請求項４】
前記パノラマ展開画像から背景の背景画像特徴を抽出する背景特徴抽出部を持ち、
前記切り出し基準位置決定部は、背景画像特徴に基づいて、前記切り出し基準位置を決定するパノラマ展開画像表示装置。
【請求項５】
前記背景特徴抽出部にて、色情報を用いることを特徴とした請求項４のパノラマ展開画像表示装置。
【請求項６】
前記背景特徴抽出部にて、文字情報を用いることを特徴とした請求項４のパノラマ展開画像表示装置。
【請求項７】
前記背景特徴抽出部にて、テクスチャ情報を用いることを特徴とした請求項４のパノラマ展開画像表示装置。
【請求項８】
前記背景特徴抽出部にて、ターゲットとなる被写体の検出頻度情報を用いることを特徴した請求項４のパノラマ展開画表示装置。
【請求項９】
前記切り出し基準位置決定部は、前記パノラマ画像の端が互いに重なるように決定される請求項１記載のパノラマ展開画像表示装置。
【請求項１０】
パノラマ展開画像を少なくとも２つのパノラマ画像に分割して表示するパノラマ展開画像表示装置であって、
前記パノラマ展開画像に対して切り出し基準位置を設定する、切り出し基準位置設定部と、
前記パノラマ展開画像から表示ターゲットとなる被写体を検出する被写体検出部と、
検出された被写体位置と切り出し基準位置の関係からパノラマ画像の切り出し位置を決定する切り出し位置決定部と
前記切り出し位置で前記パノラマ展開画像からパノラマ画像を切り出し、
前記被写体の前記パノラマ画像中の位置に応じて３Ｄ飛び出し具合を決める３Ｄ位置決定部と、
３Ｄ位置決定部によって決定された３Ｄ飛び出し具合に従って被写体が飛び出している３Ｄ画像を作成する３Ｄ画像生成部と
からなるパノラマ展開画像表示装置。
【請求項１１】
パノラマ展開画像を少なくとも２つのパノラマ画像に分割して表示するパノラマ展開画像表示装置であって、
前記パノラマ展開画像に対して切り出し基準位置を設定する、切り出し基準位置設定部と、
前記パノラマ展開画像から表示ターゲットとなる被写体を検出する被写体検出部と、
被写体のパノラマ画像中の位置に応じて３Ｄ飛び出し具合を決める３Ｄ位置決定部と、
３Ｄ位置決定部によって決定された３Ｄ飛び出し具合に従って被写体が飛び出している３Ｄ画像を作成する３Ｄ画像生成部と
からなるパノラマ展開画像表示装置。
【請求項１２】
前記３Ｄ位置決定部は、分割前に接続されていた異なるパノラマ画像の画像端での飛び出し具合を同じにするパノラマ展開画像表示装置
【請求項１３】
パノラマ展開画像を少なくとも２つのパノラマ画像に分割して表示するパノラマ展開画像表示方法であって、
前記パノラマ展開画像に対して切り出し基準位置を設定する、切り出し基準位置設定ステップと、
前記パノラマ展開画像から表示ターゲットとなる被写体を検出する被写体検出ステップと、
検出された被写体位置と切り出し基準位置の関係からパノラマ画像の切り出し位置を決定する切り出し位置決定ステップと
前記切り出し位置で前記パノラマ展開画像から切り出したパノラマ画像を表示する表示画像生成ステップと
からなるパノラマ展開画像表示方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１１−２４４１１６（Ｐ２０１１−２４４１１６Ａ）
【公開日】平成２３年１２月１日（２０１１．１２．１）
【国際特許分類】
【出願番号】特願２０１０−１１２８５５（Ｐ２０１０−１１２８５５）
【出願日】平成２２年５月１７日（２０１０．５．１７）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２３年１２月１日（２０１１．１２．１）
【国際特許分類】
【出願日】平成２２年５月１７日（２０１０．５．１７）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]