広角撮影画像へのスーパーインポーズ方法および装置
【課題】魚眼撮影で得られる全方位画像から、閲覧者の視線方向の一部分を表示する際に、単純かつ効率的にテロップなどの補助情報をスーパーインポーズする。
【解決手段】魚眼レンズで全方位外景を撮影し、歪曲円形画像Dを包含する矩形の撮影画像を得る。スーパーインポーズの対象となる補助画像Aを4分割して分割画像α,β,γ,δを作成し、撮影画像の4隅の余白領域に埋め込み、統合画像Cを作成する。再生時には、閲覧者が指定した視線方向に基づいて、歪曲円形画像Dから特定の表示対象部分画像Eを切り出し、これを正則矩形画像Tに変換する。一方、四隅の余白領域から4枚の分割画像α,β,γ,δを抽出して元の補助画像Aを復元し、正則矩形画像Tに重畳してスーパーインポーズし、表示用画像Sを作成する。動画コンテンツを作成する場合は、フレームごとに統合画像Cを作成し、フレーム単位で上記処理を実行する。
【解決手段】魚眼レンズで全方位外景を撮影し、歪曲円形画像Dを包含する矩形の撮影画像を得る。スーパーインポーズの対象となる補助画像Aを4分割して分割画像α,β,γ,δを作成し、撮影画像の4隅の余白領域に埋め込み、統合画像Cを作成する。再生時には、閲覧者が指定した視線方向に基づいて、歪曲円形画像Dから特定の表示対象部分画像Eを切り出し、これを正則矩形画像Tに変換する。一方、四隅の余白領域から4枚の分割画像α,β,γ,δを抽出して元の補助画像Aを復元し、正則矩形画像Tに重畳してスーパーインポーズし、表示用画像Sを作成する。動画コンテンツを作成する場合は、フレームごとに統合画像Cを作成し、フレーム単位で上記処理を実行する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、魚眼レンズなどを装着した広角撮影装置によって撮影された画像に、補助情報をスーパーインポーズして表示する技術に関する。
【背景技術】
【0002】
一般に、全方位カメラと呼ばれている広角撮影装置は、メカニカルな動作機構なしに、半球状の全方位を示す円形画像を撮影することができため、奇抜な効果を狙った風景写真などを撮影する場合や、監視カメラなどの用途に広く利用されている。
【0003】
現在、一般に市販されている広角撮影装置は、魚眼レンズを用いたタイプと全方位ミラーを用いたタイプとの2通りが存在する。魚眼レンズは複数のレンズの組み合わせによって構成され、屈折を利用して周囲からの入射光を撮像面に導く働きをする。一方、全方位ミラーは、反射を利用して周囲からの入射光を撮像面に導く働きをする。いずれも、半球状の視野内の外景からの光を集光して結像面に歪曲円形画像を生成する光学系であり、撮影によって得られる画像は、通常の正則矩形画像ではなく、歪曲した円形の画像になる。
【0004】
このような歪曲円形画像は、芸術写真などの用途にはそのまま利用することが可能かもしれないが、一般的な用途には不向きである。そこで、監視カメラなどの一般的な用途に利用する場合は、撮影により得られた歪曲円形画像の一部分を切り出して、正則矩形画像に変換する処理が行われる。切出対象となる部分は、半球状の外景に対する視線の方向に応じて定められるので、同一の歪曲円形画像を用いた場合でも、視線方向が異なれば、異なった正則矩形画像が得られることになる。
【0005】
たとえば、下記の特許文献1には、コンピュータを利用して、魚眼レンズを用いて撮影された歪曲円形画像の一部分を正則矩形画像にリアルタイムで変換する技術が開示されている。また、特許文献2には、全方位ミラーを用いて撮影された歪曲円形画像の一部分を正則矩形画像に変換する技術が開示されている。このような変換技術を利用すれば、広角撮影装置を用いて撮影した歪曲円形画像からなる動画を、正則矩形画像からなる動画としてリアルタイムで観察することが可能になり、極めて広い画角をもった映像を閲覧者に提示できる。しかも、閲覧者は自由に視線方向を指定することができるため、任意の視線方向に位置する一部分の画像を正則矩形画像として観察することができる。
【0006】
この広角撮影装置を利用した応用技術についても、これまでに様々な提案がなされている。たとえば、下記の特許文献3には、自動車に複数台の広角撮影装置を搭載し、車外の映像を取得し、そのうちの一部を選択して正則矩形画像に変換して運転者に提示する運転支援システムが開示されている。一方、閲覧者の自由意志に基づく視線方向を考慮して、当該視線方向に位置する画像を提示する技術についても、様々な応用技術が提案されている。たとえば、下記の特許文献4には、遠隔地で撮影した画像を閲覧者のヘッドマウントディスプレイに提示し、かつ、閲覧者の視点情報に基づいて、提示する画像を選択する技術が開示されている。
【0007】
このように、広角撮影画像の中から、閲覧者が指定した特定の視線方向に位置する一部分の画像のみを抽出して提示するという表示方法は、米国APPLE社が開発した「QuichTime VR」という技術で既に実用化されており、この技術を利用した様々な映像コンテンツが制作されている。また、カナダのImmersive Media社が開発した技術を利用すると、閲覧者は、演出意図に沿った所定の動線上を自由に移動しながら、任意の視線方向の画像を楽しむことができる。一方、米国GOOGLE社は、Web上の「Google Map」というサイトにおいて、「Street View」という街頭映像を提供するサービスを実施しており、このサービスでも、閲覧者は街中の道路を自由に移動しながら、視線を任意の方向に向けることができる。
【0008】
このように、広角撮影画像を利用して、閲覧者に任意の視線方向の画像を提示することができる映像コンテンツは、今後も様々な形態で提供されてゆくものと予想される。
【先行技術文献】
【特許文献】
【0009】
【特許文献1】特開2009−176273号公報
【特許文献2】特開2010−140292号公報
【特許文献3】特開2006−240383号公報
【特許文献4】特開平8−336128号公報
【発明の概要】
【発明が解決しようとする課題】
【0010】
一般に、映像コンテンツでは、編集段階において、タイトル,テロップ,台詞などの補助情報をスーパーインポーズして挿入することが多く、広角撮影画像を利用して制作した映像コンテンツにおいても、編集段階で付加した補助情報を再生時に提示できるようにすることが望ましい。しかしながら、全方位カメラなどを利用して撮影した広角撮影画像に対して、従来の一般的な方法を利用して補助情報をスーパーインポーズしようとすると、以下に述べるような問題が生じる。
【0011】
補助情報をスーパーインポーズするために従来から行われている最もシンプルな方法は、編集段階において、映像コンテンツを構成する撮影画像自体に、テロップなどの補助情報を合成しておく方法である。この方法では、補助情報は撮影画像の一部として融合した状態で提供されることになるので、コンテンツの再生時に特別な合成処理を行う必要がないというメリットが得られる。
【0012】
しかしながら、この方法では、任意の視線方向に位置する画像を提示する再生形態をとる映像コンテンツの場合、再生時に必要な補助情報を確実に提示することはできない。すなわち、編集段階では、再生時に閲覧者が指定する視線方向を予測することができないので、たとえば、閲覧画面の下方にテロップを流す必要があっても、広角撮影画像のどの部分に当該テロップを挿入しておけばよいかを決めることができない。また、仮に、挿入位置が定まったとしても、広角撮影画像は歪曲した画像であり、再生時に正則画像に変換する処理が行われるため、編集時には、テロップを構成する文字列を歪曲させた状態で挿入しておく必要があり、煩雑な作業が要求される。
【0013】
一方、撮影画像とは別個に補助情報を用意しておき、再生時に両者を合成して提示する方法も従来から広く利用されている。たとえば、DVDなどの形態で市販されている一般的な洋画コンテンツの場合、再生時に字幕の有無やその言語を切り替えることができるが、これは本来の映像コンテンツとは別個に字幕の情報が用意され、再生時に合成する方法が採られているためである。
【0014】
しかしながら、この方法では、本来の映像コンテンツを含んだデータファイル(たとえば、MPEGファイル)とは別個に、補助情報を含む付帯データファイル(たとえば、字幕ファイル)が必要になるため、データの取り扱いが繁雑になるという問題がある。今後は、ブロードバンド通信環境の整備により、デジタルコンテンツの流通は、ネットワークを介した配信が主流になってゆくと予想される。このような流通形態では、本来の映像コンテンツを含むデータファイルと補助情報を含む付帯データファイルとが別個になっていると、取り扱いが複雑になり、様々な不都合が生じる可能性がある。
【0015】
しかも、再生時には、これら別個のファイルのデータを合成する必要が生じ、特に、動画を取り扱う場合には、2つのファイルから読み出したデータを、フレーム単位で同期をとりながら合成する技術が必要になる。また、現在のDVDなどの規格では、字幕などの文字情報を付加することは可能であるが、複雑な図形や別な実写映像を補助情報として付加することはできず、映像表現の自由に制約を受けることになる。
【0016】
そこで本発明は、閲覧者の視線方向にかかわらず、広角撮影装置によって撮影された画像に、単純かつ効率的に補助情報をスーパーインポーズして表示できるようにする方法および装置を提供することを目的とする。
【課題を解決するための手段】
【0017】
(1) 本発明の第1の態様は、広角撮影装置によって撮影された画像に補助画像をスーパーインポーズして表示する広角撮影画像の表示方法において、
コンピュータが、広角撮影装置によって撮影された「歪曲円形画像を包含する矩形の撮影画像」を取り込む撮影画像取込段階と、
コンピュータが、スーパーインポーズの対象となる補助画像を取り込む補助画像取込段階と、
コンピュータが、撮影画像の中の歪曲円形画像を構成する部分以外の余白領域に、補助画像を埋め込むことにより統合画像を作成し、これを出力する統合画像作成段階と、
を有する前半段階と、
コンピュータが、統合画像を取り込む統合画像取込段階と、
コンピュータが、閲覧者から与えられる指示に基づいて、視線方向を決定する視線方向決定段階と、
コンピュータが、統合画像に包含されている歪曲円形画像から、視線方向に応じて定まる表示対象部分画像を切り出し、これを正則矩形画像に変換する画像変換段階と、
コンピュータが、統合画像の余白領域から補助画像を抽出し、これを正則矩形画像に重畳して、表示用画像を作成する画像重畳段階と、
コンピュータが、ディスプレイ装置に対して表示用画像を出力し、これを表示させる画像表示段階と、
を有する後半段階と、
を行うようにしたものである。
【0018】
(2) 本発明の第2の態様は、広角撮影装置によって撮影された画像に補助画像をスーパーインポーズして表示する広角撮影画像の表示方法において、
コンピュータが、広角撮影装置によって撮影された「歪曲円形画像を包含する矩形の撮影画像」を1フレームとして、時系列的に連続する複数nフレームの撮影画像を動画として取り込む撮影画像取込段階と、
コンピュータが、複数nフレームの各撮影画像にスーパーインポーズするための複数nフレームの補助画像を取り込む補助画像取込段階と、
コンピュータが、第i番目(i=1,2,...,n)のフレームの撮影画像の中の歪曲円形画像を構成する部分以外の余白領域に、第i番目のフレームの補助画像を埋め込むことにより第i番目のフレームの統合画像を作成する処理を、i=1〜nまで繰り返し実行することにより、複数nフレームの統合画像を作成し、これを出力する統合画像作成段階と、
を有する前半段階と、
コンピュータが、複数nフレームの統合画像を取り込む統合画像取込段階と、
コンピュータが、時間軸上に所定間隔で設定された各時点について、提示対象フレームを決定する提示対象フレーム決定段階と、
コンピュータが、閲覧者から与えられる指示に基づいて、各時点のそれぞれについて視線方向を決定する視線方向決定段階と、
コンピュータが、各時点において、提示対象フレームの統合画像に包含されている歪曲円形画像から、視線方向に応じて定まる表示対象部分画像を切り出し、これを正則矩形画像に変換する画像変換段階と、
コンピュータが、各時点において、提示対象フレームの統合画像の余白領域から補助画像を抽出し、これを正則矩形画像に重畳して、表示用画像を作成する画像重畳段階と、
コンピュータが、各時点において、ディスプレイ装置に対して表示用画像を出力し、これを表示させる画像表示段階と、
を有する後半段階と、
を行うようにしたものである。
【0019】
(3) 本発明の第3の態様は、上述した第2の態様に係る広角撮影画像の表示方法において、
提示対象フレーム決定段階で、複数nフレームの中の所定フレームから昇順に提示対象フレームを決定してゆく順送りモードと、複数nフレームの中の所定フレームから降順に提示対象フレームを決定してゆく逆送りモードと、所定時間だけ同一のフレームを継続して提示対象フレームとする一時停止モードと、のうち、閲覧者からの指示に基づいて、いずれか1つのモードを採用するようにしたものである。
【0020】
(4) 本発明の第4の態様は、上述した第1〜第3の態様に係る広角撮影画像の表示方法において、
統合画像作成段階で、補助画像を複数の分割画像に分割し、個々の分割画像をそれぞれ余白領域内の所定箇所に埋め込み、
画像重畳段階で、余白領域から抽出した複数の分割画像を組み立てて元の補助画像を復元するようにしたものである。
【0021】
(5) 本発明の第5の態様は、上述した第4の態様に係る広角撮影画像の表示方法において、
撮影画像取込段階で、撮影画像の中心位置と歪曲円形画像の中心位置とが一致するような矩形の撮影画像を取り込み、
補助画像取込段階で、矩形の補助画像を取り込み、
統合画像作成段階で、補助画像を縦方向に2等分、横方向に2等分することにより、合計4つの矩形の分割画像を作成し、これらの分割画像を、それぞれ撮影画像の4隅に埋め込むようにしたものである。
【0022】
(6) 本発明の第6の態様は、上述した第1〜第5の態様に係る広角撮影画像の表示方法における前半段階もしくは後半段階、またはその双方を、所定のプログラムを組み込んだコンピュータに実行させるようにしたものである。
【0023】
(7) 本発明の第7の態様は、広角撮影画像に補助画像を合成する処理を行う画像合成装置において、
半球状の視野内の外景からの光を集光して結像面に歪曲円形画像を生成する光学系と、結像面に配置された矩形の撮像面をもった撮像素子と、を有し、撮像面に形成された矩形の撮影画像を出力する広角撮影装置と、
撮影画像をデジタルデータとして格納する撮影画像格納部と、合成対象となる補助画像を格納する補助画像格納部と、撮影画像の中の歪曲円形画像を構成する部分以外の余白領域に、補助画像を埋め込むことにより統合画像を作成する統合画像作成部と、作成された統合画像をデジタルデータとして格納する統合画像格納部と、統合画像をデジタルデータとして外部に出力する統合画像出力部と、を有するデジタル処理装置と、
を設けるようにしたものである。
【0024】
(8) 本発明の第8の態様は、上述した第7の態様に係る画像合成装置において、
広角撮影装置が、時系列的に連続する複数nフレームの撮影画像として動画の撮影を行い、
撮影画像格納部が、複数nフレームの撮影画像を順次もしくは一括して格納し、
補助画像格納部が、複数nフレームの各撮影画像にスーパーインポーズするための複数nフレームの補助画像を順次もしくは一括して格納し、
統合画像作成部が、第i番目(i=1,2,...,n)のフレームの撮影画像の中の歪曲円形画像を構成する部分以外の余白領域に、第i番目のフレームの補助画像を埋め込むことにより第i番目のフレームの統合画像を作成する処理を、i=1〜nまで繰り返し実行することにより、複数nフレームの統合画像を作成し、
統合画像格納部が、複数nフレームの統合画像を格納し、
統合画像出力部が、複数nフレームの統合画像を含むファイルを動画データファイルとして出力するようにしたものである。
【0025】
(9) 本発明の第9の態様は、上述した第7または第8の態様に係る画像合成装置において、
統合画像作成部が、補助画像を複数の分割画像に分割し、個々の分割画像をそれぞれ余白領域内の所定箇所に埋め込むようにしたものである。
【0026】
(10) 本発明の第10の態様は、上述した第9の態様に係る画像合成装置において、
広角撮影装置が、撮像面の中心位置を中心とする歪曲円形画像を形成する光学系を有し、
補助画像入力部が、矩形の補助画像を入力し、
統合画像作成部が、補助画像を縦方向に2等分、横方向に2等分することにより、合計4つの矩形の分割画像を作成し、これらの分割画像を、それぞれ撮影画像の4隅に埋め込むようにしたものである。
【0027】
(11) 本発明の第11の態様は、上述した第7〜第10の態様に係る画像合成装置におけるデジタル処理装置を、所定のプログラムを組み込んだコンピュータにより構成するようにしたものである。
【0028】
(12) 本発明の第12の態様は、広角撮影画像に補助画像をスーパーインポーズして表示する画像表示装置において、
広角撮影によって得られる歪曲円形画像と、その周囲の余白領域に埋め込まれたスーパーインポーズの対象となる補助画像と、を含む矩形の統合画像を入力する統合画像入力部と、
統合画像をデジタルデータとして格納する統合画像格納部と、
閲覧者から与えられる指示に基づいて、視線方向を決定する視線方向決定部と、
統合画像に包含されている歪曲円形画像から、視線方向に応じて定まる表示対象部分画像を切り出し、これを正則矩形画像に変換する画像変換部と、
統合画像の余白領域から補助画像を抽出する補助画像抽出部と、
正則矩形画像に補助画像を重畳して、表示用画像を作成する画像重畳部と、
作成された表示用画像をデジタルデータとして格納する表示用画像格納部と、
ディスプレイ装置に対して表示用画像を出力し、これを表示させる画像表示部と、
を設けるようにしたものである。
【0029】
(13) 本発明の第13の態様は、広角撮影画像に補助画像をスーパーインポーズして表示する画像表示装置において、
広角撮影によって得られる歪曲円形画像と、その周囲の余白領域に埋め込まれたスーパーインポーズの対象となる補助画像と、を含む矩形の統合画像を、時系列的に連続する複数nフレーム分だけ含んだ動画データファイルを入力する動画ファイル入力部と、
複数nフレームの統合画像をデジタルデータとして格納する統合画像格納部と、
閲覧者から与えられる指示に基づいて、各時点で提示すべき提示対象フレームを決定する提示対象フレーム決定部と、
閲覧者から与えられる指示に基づいて、視線方向を決定する視線方向決定部と、
提示対象フレームの統合画像に包含されている歪曲円形画像から、視線方向に応じて定まる表示対象部分画像を切り出し、これを正則矩形画像に変換する画像変換部と、
提示対象フレームの統合画像の余白領域から補助画像を抽出する補助画像抽出部と、
正則矩形画像に補助画像を重畳して、表示用画像を作成する画像重畳部と、
作成された表示用画像をデジタルデータとして格納する表示用画像格納部と、
ディスプレイ装置に対して表示用画像を出力し、これを表示させる画像表示部と、
を設けるようにしたものである。
【0030】
(14) 本発明の第14の態様は、上述した第13の態様に係る画像表示装置において、
提示対象フレーム決定部が、複数nフレームの中の所定フレームから昇順に提示対象フレームを決定してゆく順送りモードと、複数nフレームの中の所定フレームから降順に提示対象フレームを決定してゆく逆送りモードと、所定時間だけ同一のフレームを継続して提示対象フレームとする一時停止モードと、のうち、閲覧者からの指示に基づいて、いずれか1つのモードを採用するようにしたものである。
【0031】
(15) 本発明の第15の態様は、上述した第12〜第14の態様に係る画像表示装置において、
統合画像入力部もしくは動画ファイル入力部が、補助画像を構成する複数の分割画像をそれぞれ余白領域内の異なる箇所に埋め込んだ統合画像もしくはそのような統合画像からなる動画データファイルを入力し、
補助画像抽出部が、余白領域から抽出した複数の分割画像を組み立てて元の補助画像を復元するようにしたものである。
【0032】
(16) 本発明の第16の態様は、上述した第15の態様に係る画像表示装置において、
統合画像入力部もしくは動画ファイル入力部が、歪曲円形画像の中心位置と統合画像の中心位置とが一致し、かつ、矩形の補助画像を縦方向に2等分、横方向に2等分することにより得られる矩形の分割画像が、4隅に埋め込まれている統合画像もしくはそのような統合画像からなる動画データファイルを入力し、
補助画像抽出部が、矩形の分割画像を縦横に隣接配置することにより元の補助画像を復元するようにしたものである。
【0033】
(17) 本発明の第17の態様は、上述した第12〜第16の態様に係る画像表示装置を、所定のプログラムを組み込んだコンピュータにより構成するようにしたものである。
【発明の効果】
【0034】
本発明では、全方位カメラなどの広角撮影装置によって撮影された画像が、「歪曲円形画像を包含する矩形の撮影画像」になる点を利用して、この撮影画像の中の歪曲円形画像を構成する部分以外の余白領域に、補助画像を埋め込む処理が行われる。このような埋込処理により作成される統合画像は、形式上は1枚の矩形画像であるため、映像コンテンツとして様々な流通過程で配布する場合にも、その取り扱いは非常に簡便になる。一方、この映像コンテンツの再生時には、閲覧者が指定した視線方向に基づいて、歪曲円形画像から所定の表示対象部分画像を切り出し、これを正則矩形画像に変換した後、余白領域から補助画像を抽出し、これを正則矩形画像に重畳して表示用画像を作成すればよい。そうすれば、閲覧者が指定した視線方向がどの方向であっても、補助情報の表示を行うことができる。無駄な余白領域を有効活用して補助情報を埋め込むことができるため、非常に効率的な情報付加が可能になる。このように、本発明によれば、閲覧者の視線方向にかかわらず、広角撮影装置によって撮影された画像に、単純かつ効率的に補助情報をスーパーインポーズして表示することができる。
【0035】
本発明は、特に、動画の映像コンテンツに利用すると効果的である。動画は、1枚の静止画を1フレームとして、複数フレームを時系列的に並べることによって構成することができる。したがって、個々のフレーム単位で、「歪曲円形画像を包含する矩形の撮影画像」に補助画像を埋め込む処理を行えばよい。こうして作成された動画の映像コンテンツは、形式上は、1つの動画データファイルによって構成されているため、取り扱いは非常に簡便である。しかも、再生時には、個々のフレーム単位で、歪曲円形画像からの表示対象部分画像の切り出し、正則矩形画像への変換、余白領域からの補助画像の抽出、正則矩形画像への重畳という処理を行えばよいので、同期をとる処理は非常に簡単になる。閲覧者は、動画を順送りモードで閲覧したり、逆送りモードで閲覧したり、一時停止モードで閲覧したりすることができるが、どのようなモードで閲覧した場合にも、同一フレーム内に埋め込まれていた補助情報がスーパーインポーズされることになる。
【0036】
なお、余白領域は、通常、撮影画像上の複数の部分に分散して配置されているので、実用上は、補助画像を複数の分割画像に分割し、それぞれを分散配置された余白領域に埋め込むようにすると、全余白領域を有効利用することができる。特に、中心に歪曲円形画像が配置される一般的な撮影画像の場合は、矩形の補助画像を縦方向に2等分、横方向に2等分することにより、合計4つの矩形の分割画像を作成し、これらの分割画像を、それぞれ撮影画像の4隅に埋め込むようにすると、撮影画像の4隅の余白領域を利用して、極めて効率的な埋め込みが可能になる。
【図面の簡単な説明】
【0037】
【図1】魚眼レンズを用いた一般的な広角撮影装置10による定点監視映像の撮影形態を示す側面図である。
【図2】図1に示す広角撮影装置10を用いた撮影によって得られる歪曲円形画像Dの一例を示す平面図である。
【図3】魚眼レンズを用いた一般的な広角撮影装置10による街頭走行映像の撮影形態を示す側面図である。
【図4】図3に示す広角撮影装置10を用いた撮影によって得られる歪曲円形画像Dの一例を示す平面図である。
【図5】図4に示す歪曲円形画像Dの一部から表示対象部分画像Eを切り出す様子を示す平面図である。
【図6】図5に示す表示対象部分画像Eを変換することにより得られる正則矩形画像Tを示す平面図である。
【図7】図6に示す正則矩形画像Tにテロップをスーパーインポーズして得られる表示用画像のバリエーションを示す平面図である。
【図8】閲覧時にスーパーインポーズする従来の一般的な方法を示す平面図である。
【図9】図6に示す正則矩形画像Tにテロップをスーパーインポーズして得られる表示用画像の別なバリエーションを示す平面図である。
【図10】魚眼レンズを用いた一般的な広角撮影装置によって得られる撮影画像Pの一例を示す平面図である。
【図11】図10に示す撮影画像Pの四隅に図9に示す補助画像Aを四分割して埋め込むことにより、統合画像Cを作成した状態を示す平面図である。
【図12】図11に示す総合画像Cに基づいて、表示用画像Sを作成するプロセスを示す平面図である。
【図13】本発明による動画の映像コンテンツの再生方法を示す平面図である。
【図14】本発明による広角撮影画像の表示方法の手順を示す流れ図である。
【図15】本発明による広角撮影画像の動画を表示する方法の手順を示す流れ図である。
【図16】本発明に係る画像合成装置の基本構成を示すブロック図である。
【図17】本発明に係る画像表示装置の基本構成を示すブロック図である。
【図18】本発明に係る動画用画像表示装置の基本構成を示すブロック図である。
【発明を実施するための形態】
【0038】
以下、本発明を図示する実施形態に基づいて説明する。
【0039】
<<< §1.広角撮影装置によって撮影された画像の特徴 >>>
はじめに、全方位カメラと呼ばれている広角撮影装置によって撮影された画像の一般的な特徴を説明する。前述したように、現在利用されている広角撮影装置は、光学系として魚眼レンズもしくは全方位ミラーを採用しており、半球状の視界に入る外景を円形画像として撮影することができる。
【0040】
図1は、魚眼レンズを用いた一般的な広角撮影装置10による定点監視映像の撮影形態を示す側面図である。この例では、監視カメラとして機能する広角撮影装置10を建物20の外壁に取り付け、街路の様子を撮影する一形態が示されている。図2は、図1に示す広角撮影装置10を用いた撮影によって得られる円形画像の一例を示す平面図である。魚眼レンズを用いた広角撮影装置10では、半球状の視界に入る外景が撮影されるため、図1に示す例の場合、建物20の左側の壁面より左方に位置する外景が撮影範囲に入り、鉛直方向を向いた撮像面に像が形成される。
【0041】
図2に示すように、横方向にX軸、縦方向にY軸をとり、二次元XY座標系を定義した場合、魚眼レンズを用いた撮影(全方位ミラーを用いた撮影でも同様)によって得られる画像は、XY平面上に配置された平面的な画像になる。しかしながら、半球状の視界に入る外景全体をそのまま平面画像に収めることはできないので、得られる円形の撮影画像は、歪みを生じた歪曲円形画像Dになる。
【0042】
一方、図3は、魚眼レンズを用いた一般的な広角撮影装置10による街頭走行映像の撮影形態を示す側面図である。図示の例の場合、広角撮影装置10は、撮影車両30の屋根に取り付けられ、この取り付け面より上方に位置する半球状の視界に入る外景の像が、水平方向を向いた撮像面上に得られる。撮影車両30を街頭で走行させながら、広角撮影装置10を用いて動画を撮影するようにすれば、任意の方向に視線を向けながら街頭を移動する映像コンテンツを作成することができる。
【0043】
図4は、図3に示す広角撮影装置10を用いた撮影によって得られる歪曲円形画像Dの一例を示す平面図である。得られる画像は、やはりXY平面上に配置された平面的な画像になるが、その実体は歪みを生じた歪曲円形画像Dである。図示の例の場合、XY座標系の原点O(歪曲円形画像Dの中心点)は、広角撮影装置10の中心を通る鉛直線に相当し、当該鉛直線を中心軸として、周囲360°の外景を示す画像が、1枚の歪曲円形画像D内に収められている。
【0044】
図2や図4に示すような歪曲円形画像Dは、芸術写真などの用途にはそのまま利用することが可能であるが、一般的な用途では、そのまま表示すると不適当な歪んだ画像と言わざるを得ない。そこで、通常は、閲覧者に対して提示するため、この歪曲円形画像Dの一部分を切り出して、正則矩形画像に変換する処理が行われる。切出対象となる部分は、広角撮影装置10から半球状の外景を望んだ場合の視線方向に応じて定められる。たとえば、広角撮影装置10の撮像面の中心点から半球状の視界の特定方向へ向かうベクトルとして視線ベクトルを定義すると、この視線ベクトルの向き(方位角および仰角)によって視線方向を定義することができる。
【0045】
ここでは、図4に示す歪曲円形画像Dについて、通行人の女性の顔面に視線を向けた表示を行う具体的な例を考えてみる。この場合、図5に示すように、歪曲円形画像Dの一部から、女性の顔面に対応する表示対象部分画像Eが切り出される(図が繁雑になるのを避けるため、図5では、女性の画像を原点Oから若干離して描いてある)。ここで、女性の顔面にX印で示されている点Qは、切り出し位置を示す指標であり、視線ベクトルと外景(この例では女性顔面)との交点として与えられる点である。図示のように、切り出される部分画像Eの外形は扇形になるが、これは正則画像に変換した場合に、矩形の画像が得られるように、必要な領域を切り出したためである。
【0046】
図6は、図5に示す扇形の表示対象部分画像Eを変換することにより得られる正則矩形画像Tを示す平面図である。図5に示す部分画像Eは、歪曲円形画像Dの一部であるため歪みを生じているが、図6に示す正則矩形画像Tは、この歪みを補正した画像になっている。この正則矩形画像Tは、横方向の幅a、縦方向の幅bをもった矩形状の画像であり、その中心に切出位置指標Qが位置している。逆言すれば、視線ベクトルの向きによって指定された切出位置指標Qを中心として、その周囲の所定範囲内の画像を、縦横a×bの寸法をもった正則矩形画像Tとして表示するために必要な部分が、歪曲円形画像D上において、表示対象部分画像Eとして切り出されることになる。
【0047】
図6の正則矩形画像Tは、切出位置指標Qを原点とする二次元UV座標系上に定義された画像であり、図示の例の場合、図の右方向にU軸、図の下方向にV軸が定義されている。一方、歪曲円形画像D上では、図5に示すように、二次元XY座標系の原点Oから切出位置指標Qに向かう方向がV軸方向であり、切出位置指標Qを通り原点Oを中心とする円の円周方向がU軸方向になる。結局、表示対象部分画像Eを正則矩形画像Tに変換する処理は、二次元XY座標系上に定義された画像を、二次元UV座標系上に定義された画像に変換する処理ということになる。
【0048】
このような座標変換を行う方法は、公知の技術であるため、ここでは詳しい説明は省略するが、その基本原理は、UV座標系上の座標点(u,v)とXY座標系上の座標点(x,y)との間の対応関係を示す関数「(x,y)=f(u,v)」を用いて、正則矩形画像T上の任意の座標点(u,v)に対応する座標点(x,y)を求め、座標点(u,v)に位置する画素に、対応する座標点(x,y)に位置する歪曲円形画像D上の画素のもつ画素値を与える処理ということになる。
【0049】
ここで、上記関数fは、視線ベクトルの方向(具体的には、歪曲円形画像D上における切出位置指標Qの位置)と倍率mとをパラメータとして、幾何学的に決定することができる(具体的な関数については、たとえば、前掲の特許文献1,2等に開示されている)。倍率mは、図6に示す正則矩形画像Tの表示倍率を示すパラメータであり、mを大きく設定すればするほど、歪曲円形画像D上の表示対象部分画像Eの領域は小さくなり、より拡大表示されることになる。したがって、閲覧者は、切出位置指標Qにより「歪曲円形画像Dのどの部分を表示させるか」を指定することができ、倍率mにより「切出位置指標Qの周辺の画像をどの程度の拡大倍率で表示させるか」を指定することができる。
【0050】
<<< §2.従来の一般的なスーパーインポーズ方法 >>>
続いて、§1で述べた広角撮影装置によって撮影された画像に対して、従来の一般的なスーパーインポーズ方法を適用し、正則矩形画像Tにテロップを挿入する方法を述べる。ここでは、図6に示す正則矩形画像Tの右側に「丸の内のOLさん」なる文字列からなるテロップをスーパーインポーズすることにより、図7(a) に示すような表示用画像Saを作成する例を考えてみる。
【0051】
最もシンプルなスーパーインポーズ方法は、編集段階において、図4に示す歪曲円形画像D自体に、必要な情報を合成してしまう方法である。具体的には、図4に示す歪曲円形画像Dにおける女性の顔面の右隣の領域に、上記テロップを構成する文字列を挿入する編集を施せばよい。ただ、挿入したテロップは、再生時に表示対象部分画像E内の情報として切り出され、正則矩形画像T上に変換されることになるので、このような変換処理を経たときに正常な文字として表示されるように、予め歪曲させた状態で挿入しておく必要がある。
【0052】
このようなスーパーインポーズ方法を採れば、テロップの情報は歪曲円形画像Dの一部として融合した状態になるので、再生時には、特別な合成処理を行う必要はない。すなわち、女性の位置を視線方向とする表示を行えば、それだけで図7(a) に示すような表示用画像Saが得られることになる。ただ、撮影された被写体とテロップとの位置関係は固定されてしまうため、表示されている画像上で、たとえば、視線方向を右へ移動した場合(図4に示す歪曲円形画像D上で反時計まわりに移動した場合)、図7(b) の表示用画像Sbや図7(c) の表示用画像Scのように、女性の画像とともにテロップも移動してゆくことになる。
【0053】
もちろん、この例のように、テロップが特定の被写体と密接に結びついた情報である場合には、このようなスーパーインポーズ方法を採っても問題はない。しかしながら、閲覧者の視線方向にかかわらず、表示用画像上に常に提示すべき情報については、上記方法は採用できない。編集段階では、再生時に閲覧者が指定する視線方向を予測することができないので、視線方向にかかわらず常に提示すべき情報については、閲覧時にスーパーインポーズする方法を採らざるを得ない。
【0054】
図8は、閲覧時にスーパーインポーズする従来の一般的な方法を示す平面図である。この方法では、広角撮影装置10によって撮影された歪曲円形画像Dとは別個に、スーパーインポーズの対象となる情報を補助画像Aとして別個に用意しておく。図示の例では、補助画像Aは、正則矩形画像Tと同じサイズの矩形画像であり、右側に「秋の丸の内散策」なる文字列からなるテロップ、左上に「RUPO」なるマーク、左下に「落ち葉」のイラストが配されている。このような補助画像Aを別個に用意しておけば、閲覧者が指定した視線方向がどのようなものであっても、指定された視線方向に応じた表示対象部分画像Eを歪曲円形画像Dから切り出し、これを正則矩形画像Tに変換した上で、その上に補助画像Aを重畳する合成処理を行い、たとえば、図9(a) 〜(c) に示すようなスーパーインポーズ後の表示用画像Sd〜Sfを得ることができる。
【0055】
しかしながら、この方法では、歪曲円形画像Dを含むデータファイルとは別個に、補助画像Aを含むデータファイルが必要になるため、データの取り扱いが繁雑になるという問題がある点は、既に述べたとおりである。特に、動画を取り扱う場合には、2つのファイルから読み出したデータを、フレーム単位で同期をとりながら合成する技術が必要になる。
【0056】
<<< §3.本発明の基本概念 >>>
本発明は、§2で述べた弊害を克服するためになされたものであり、閲覧者の視線方向にかかわらず、広角撮影装置によって撮影された画像に、単純かつ効率的に補助情報をスーパーインポーズして表示できるようにする新規な技術を提案するものである。以下、その基本概念を説明する。
【0057】
§1では、魚眼レンズや全方位ミラーを装着した広角撮影装置10を用いた撮影を行うと、図2および図4に例示したような歪曲円形画像Dが得られることを説明した。ただ、実際に広角撮影装置10から出力される撮影画像は、図10に示すように、歪曲円形画像Dを包含する矩形の撮影画像Pになる。これは、光学系として魚眼レンズや全方位ミラーを用いることにより撮像面に歪曲円形画像Dが結像したとしても、撮像素子の撮像面自体は矩形であるため、広角撮影装置10から出力される撮影画像Pは、矩形の画像になるためである。
【0058】
図10に示す例では、横方向のサイズがa、縦方向のサイズがbの長方形の撮像面を有する撮像素子から出力された撮影画像Pが示されている。撮像面には、縦横に所定ピッチで受光素子がマトリックス状に配列されており、各受光素子からは、それぞれ受光量に応じた信号が出力される。したがって、得られる撮影画像Pも、縦横に所定ピッチで画素がマトリックス状に配列されたものになり、個々の画素にはそれぞれ所定の画素値が定義される。ただ、この矩形の撮像面のうち、魚眼レンズや全方位ミラーによって集光された光を受ける円形の領域内の受光素子についてのみ有意な信号が出力されるので、得られる矩形の撮影画像Pのうち、歪曲円形画像Dの内部の画素についてのみ、有意な画素値が定義されることになる。
【0059】
結局、広角撮影装置10から得られる実際の撮影画像Pは、有意な情報を含んだ歪曲円形画像Dの部分と、その外側の余白領域B(図10では、ハッチングを施して示す)の部分と、によって構成される矩形の画像ということになる。最近の映像コンテンツでは、寸法比a/bを比較的大きく設定した横長の画面が好まれる傾向にあり、図10に示すように、そのような横長の画面用の撮像素子を用いて撮影した場合は、左右の余白領域はかなりの面積を占めることになる。また、図示の例の場合、歪曲円形画像Dの半径をrとすると、撮影画像Pの縦方向のサイズbが、b=2×rに設定されているため、歪曲円形画像Dの上下に位置する余白領域は最小限に抑えられているが、b>2×rに設定されている撮影装置の場合、上下にも、より大きな余白領域が形成されることになる。
【0060】
この余白領域Bは、有意な情報を含まない無駄な領域ということになるので、理論的には、余白領域Bが生じないようにするのが好ましい。しかしながら、そのためには、円形の撮像面を有する特別な撮像素子を用いる必要がある。そのような特殊な撮像素子は、用途が限定されるため、量産してもコストが商業的に見合わないので、少なくとも量産型の工業製品としては供給されていない。したがって、市販の広角撮影装置10は、歪曲円形画像Dを撮影する装置でありながら、撮像素子としては、矩形の撮像面を有する一般的な素子を利用せざるを得ないのであり、必然的に、得られる撮影画像Pは、余白領域Bを有する矩形の画像になる。
【0061】
本発明の基本概念は、このような特殊事情、すなわち、広角撮影装置10によって撮影された画像が、「歪曲円形画像Dを包含する矩形の撮影画像P」になる点を利用して、この撮影画像Pの中の歪曲円形画像Dを構成する部分以外の余白領域Bに、補助画像Aを埋め込むという着想にある。図11は、図10に示す撮影画像Pの四隅に、図8に示す補助画像Aを四分割して埋め込むことにより、統合画像Cを作成した状態を示す平面図である。すなわち、図8に示す補助画像Aは、縦方向に2等分、横方向に2等分され、合計4つの矩形の分割画像α,β,γ,δに分解され、それぞれ、図10に示す撮影画像Pの左上,右上,左下,右下の余白領域Bに埋め込まれている。
【0062】
分割画像α,β,γ,δが埋め込まれた四隅の領域は、もともと有意な情報を含まない余白領域Bであり、このような埋め込み処理を行っても、有意な情報を含む歪曲円形画像Dに何ら変わりはない。しかも、こうして作成された統合画像Cは、形式上は1枚の矩形画像であるため、1つの画像ファイルとして取り扱うことができ、映像コンテンツとして様々な流通過程で配布する場合にも、その取り扱いは非常に便利である。
【0063】
一方、こうして作成された統合画像Cを再生する際には、図12に示すプロセスを行えばよい。すなわち、まず、閲覧者が指定した視線方向に基づいて、歪曲円形画像Dから所定の表示対象部分画像Eを切り出し、これを変換して正則矩形画像Tを作成する。一方、統合画像Cの四隅から4枚の分割画像α,β,γ,δを切り出し、これらを組立てて元の補助画像Aを復元する。そして最後に、復元した補助画像Aを正則矩形画像Tに重畳することにより、表示用画像Sを合成すればよい。
【0064】
このような方法を採れば、閲覧者が指定した視線方向がどの方向であっても、常に、補助画像Aを重畳した画像を提示することができ、広角撮影装置10によって撮影された画像に、単純かつ効率的に補助情報をスーパーインポーズして表示することができるようになる。
【0065】
<<< §4.動画の映像コンテンツへの応用 >>>
§3では、図12を参照して、1枚の撮影画像Pに補助画像Aを埋め込むことにより、1枚の統合画像Cを作成し、これを再生することにより、1枚の表示用画像S(スーパーインポーズされた画像)を提示する例を述べた。このような1枚の画像を1フレームとして、複数nフレームの画像を時系列的に並べるようにすれば、動画の映像コンテンツを提示することが可能になる。本発明は、特に、動画の映像コンテンツに利用すると効果的である。
【0066】
図13は、本発明による動画の映像コンテンツの再生方法を示す平面図である。図の左側に一点鎖線で囲って示す部分が、動画の映像コンテンツを構成する動画データファイルMであり、図の縦方向が時系列の方向、すなわち、時間の流れを示している。図示のとおり、動画データファイルMは、時系列の順序に従って、第1番目のフレームF1,第2番目のフレームF2,...,第i番目のフレームFi,...,第n番目のフレームFnという合計nフレームの画像から構成されている。
【0067】
これら個々のフレームの画像は、いずれも図12の上段に示す統合画像Cであり、動画データファイルMの実体は、n枚の統合画像C1,C2,...,Ci,...,Cnの集合体ということになる。このような動画データファイルMを作成するには、個々のフレーム単位で、「歪曲円形画像Dを包含する矩形の撮影画像P」に補助画像Aを埋め込む処理を行えばよい。個々の統合画像Cは、形式上は単なる矩形画像であるから、動画データファイルMは、n枚の矩形画像の集合体であり、たとえば、MPEG形式の画像ファイルによって構成することができる。したがって、Webページなどを利用してインターネット経由で配信する場合でも、特別な配布形態を採る必要はなく、一般的な動画データファイルと同様の方法で配信することが可能である。このように、本発明に係る動画の映像コンテンツは、形式上は、1つの動画データファイルMによって構成されているため、取り扱いは非常に簡便である。
【0068】
このような動画データファイルMを再生するには、個々のフレーム単位で、図12に示すプロセスを実行すればよい。たとえば、時系列に従って、第1番目のフレームF1から順次再生を行う場合であれば、まず、図13の最上段に示すとおり、統合画像C1内の歪曲円形画像から、その時点で指定された視線方向に応じた表示対象部分画像E1を切り出し、これを正則矩形画像T1へ変換する。一方、余白領域から抽出した4枚の分割画像α,β,γ,δを組み立てて補助画像A1を復元し、これを正則矩形画像T1に重畳して、スーパーインポーズした表示用画像S1を作成すればよい。
【0069】
続いて、図13の2段目に示すとおり、第2番目のフレームF2についての処理を行う。すなわち、統合画像C2内の歪曲円形画像から、その時点で指定された視線方向に応じた表示対象部分画像E2を切り出し、これを正則矩形画像T2へ変換する。一方、余白領域から抽出した4枚の分割画像α,β,γ,δを組み立てて補助画像A2を復元し、これを正則矩形画像T2に重畳して、スーパーインポーズした表示用画像S2を作成すればよい。このような処理を、図13の最下段に示す第n番目のフレームFnまで繰り返し実行すれば、時系列に沿った順方向の動画提示が可能になる。
【0070】
要するに、第i番目のフレームFiについての処理は、統合画像Ci内の歪曲円形画像から、その時点で指定された視線方向に応じた表示対象部分画像Eiを切り出し、これを正則矩形画像Tiへ変換するとともに、余白領域から抽出した4枚の分割画像α,β,γ,δを組み立てて補助画像Aiを復元し、これを正則矩形画像Tiに重畳して、スーパーインポーズした表示用画像Siを作成すればよい。
【0071】
なお、実用上は、時系列に沿った順方向の動画提示だけでなく、逆方向の動画提示や、一時停止などを行う機能を設けておくのが好ましい。順方向の動画提示を行う場合は、第i番目のフレームFiを提示した後には、第(i+1)番目のフレームF(i+1)を提示すればよく、逆方向の動画提示を行う場合は、第i番目のフレームFiを提示した後には、第(i−1)番目のフレームF(i−1)を提示すればよい。また、一時停止する場合は、第i番目のフレームFiを提示し続ければよい。
【0072】
どのような提示を行うにせよ、同一のフレーム内に埋め込まれていた補助情報Aをスーパーインポーズすればよいので、同期をとる処理は非常に簡単である。また、途中で閲覧者が視線方向を変えた場合、常にその時点で指示されている視線方向に応じて表示対象部分画像Eiの切り出しが行われるので、動画再生中でもリアルタイムで視線変更が可能になる。しかも、どのような視線方向を指定したとしても、常に、当該フレームに対応する補助画像Aがスーパーインポーズされることになる。
【0073】
<<< §5.本発明に係る広角撮影画像の表示方法の手順 >>>
図14は、これまで述べた本発明の基本概念に従って、広角撮影装置によって撮影された画像に補助画像をスーパーインポーズして表示する方法の手順を示す流れ図である。図示のとおり、この手順は、ステップS11〜S13の前半段階(統合画像Cを作成するための手順)と、ステップS21〜S25の後半段階(作成した統合画像Cに基づいてスーパーインポーズ画像を表示するための手順)と、によって構成される。いずれの手順も、実用上は、所定のプログラムをインストールしたコンピュータによって実行される。
【0074】
まず、ステップS11では、コンピュータが、広角撮影装置10によって撮影された「歪曲円形画像Dを包含する矩形の撮影画像P」を取り込む撮影画像取込段階が行われる。具体的には、§3で述べたとおり、魚眼レンズや全方位ミラーを装着した広角撮影装置10を用いた撮影により、図10に示すような矩形状の撮影画像Pがデジタルデータ(縦横マトリックス状に配列された多数の画素の画素値を示すデータ)としてコンピュータに取り込まれることになる。この時点では、歪曲円形画像Dの外側に位置する余白領域Bには、有意な画素値は定義されていない(実際には、16進数の「00」や「FF」などの何らかの画素値が定義されているが、余白領域B内の画素のもつ画素値は、意味のある画像を示すものではない)。
【0075】
続くステップS12では、コンピュータが、スーパーインポーズの対象となる補助画像Aを取り込む補助画像取込段階が実行される。具体的には、たとえば、図8に示すような補助画像Aがデジタルデータとしてコンピュータに取り込まれる。実用上は、後半段階のステップS23で得られる正則矩形画像Tと同じサイズの矩形の補助画像Aを用意しておくのが好ましい。
【0076】
そして、ステップS13では、コンピュータが、図10に示すような撮影画像Pの中の歪曲円形画像Dを構成する部分以外の余白領域Bに、補助画像Aを埋め込むことにより、図11に示すような統合画像Cを作成し、これを出力する統合画像作成段階が行われる。このとき、補助画像Aを複数の分割画像に分割し、個々の分割画像をそれぞれ余白領域B内の所定箇所に埋め込むようにするのが好ましい。
【0077】
特に、ステップS11の撮影画像取込段階で、図10に示すように、撮影画像Pの中心位置と歪曲円形画像Dの中心位置とが一致するような矩形の撮影画像Pを取り込み、ステップS12の補助画像取込段階で、矩形の補助画像Aを取り込んだ場合、補助画像Aを縦方向に2等分、横方向に2等分することにより、合計4つの矩形の分割画像α,β,γ,δを作成し、これらの分割画像を、それぞれ撮影画像Pの4隅に埋め込むようにすると、撮影画像Pの4隅に形成された余白領域Bを有効利用した効率的な埋め込みが可能になる。
【0078】
前述したとおり、余白領域Bを構成する画素にも、16進数の「00」や「FF」などの何らかの無意味な画素値が定義されているが、ステップS13で行う補助画像Aの埋め込み処理は、この余白領域Bを構成する画素の無意味な画素値を、補助画像Aを構成する画素の有意な画素値に書き換える処理ということになる。
【0079】
こうして、補助画像Aの埋め込み処理が完了すれば、図11に示すような統合画像Cが作成される。この統合画像Cは、形式的には単なる矩形の画像を示す1つの画像データファイルによって構成できる。前半段階の処理は、この統合画像Cを構成する画像データファイルを作成するための処理である。
【0080】
次に、後半段階の処理を説明する。この処理は、統合画像Cに基づいてスーパーインポーズ画像Sを表示する処理である。まず、ステップS21では、コンピュータが、統合画像Cを取り込む統合画像取込段階が行われる。具体的には、図12の上段に示すような統合画像Cがデジタルデータとしてコンピュータに取り込まれることになる。
【0081】
続いて、ステップS22では、コンピュータが、閲覧者から与えられる指示に基づいて、視線方向を決定する視線方向決定段階が行われる。視線方向は、図5に示す切出位置指標Qを決定するパラメータであり、視線方向の決定は、実質的に、歪曲円形画像D上で切出位置指標Qを決定することと等価である。したがって、たとえば、ディスプレイ装置の表示画面の一部を利用して、閲覧者に、図4に示すような歪曲円形画像Dを提示し、マウスクリックなどの操作で、この歪曲円形画像D上の1点を切出位置指標Qとして指定する作業を行ってもらえば、視線方向を決定することが可能である。
【0082】
もちろん、閲覧者から与えられる指示に基づいて、視線方向を決定する具体的な方法としては、この他にも様々な方法を採ることが可能である。たとえば、図4に示すような歪曲円形画像Dを撮影する際に、Y軸正方向が北、X軸正方向が東になるようにする、といった取り決めをしておき、再生時には、東西南北を示す方位指標をディスプレイ画面の一部に表示し、閲覧者が指定した方位に基づいて、切出位置指標Qの位置を決めるような方法を採ることも可能である。
【0083】
続くステップS23では、コンピュータが、ステップS21で取り込んだ統合画像Cに包含されている歪曲円形画像Dから、ステップS22で決定した視線方向に応じて定まる表示対象部分画像Eを切り出し、これを正則矩形画像Tに変換する画像変換段階が行われる。このような画像変換段階の具体的な処理は、前掲の特許文献1,2等に記載されている公知の技術である。
【0084】
一方、ステップS24では、コンピュータが、ステップS21で取り込んだ統合画像Cの余白領域Bから補助画像Aを抽出し、これをステップS23の変換で得られた正則矩形画像Tに重畳して、表示用画像Sを作成する画像重畳段階が行われる。図12に示す例の場合、補助画像Aは4つに分割され、分割画像α,β,γ,δとして埋め込まれているので、画像重畳段階では、抽出した複数の分割画像α,β,γ,δを組み立てて元の補助画像Aを復元した後、これを正則矩形画像Tに重畳する処理が行われる。
【0085】
最後のステップS25では、コンピュータが、ディスプレイ装置に対して、ステップS24で作成した表示用画像Sを出力し、これを表示させる画像表示段階が行われる。かくして、ディスプレイ装置の画面上には、図12の下段に示すような表示用画像Sが表示され、閲覧者に提示されることになる。この表示用画像Sは、元の撮影画像Pの一部に、補助画像Aをスーパーインポーズした画像である。
【0086】
なお、必要があれば、ステップS25からステップS22へ戻り、新たな視線方向に基づいて、新たな表示用画像Sを表示できるようにしてもかまわない。たとえば、図9(a) に示す表示用画像Sdが表示されている状態において、閲覧者が、視線を右方向に移動する指示を与えた場合、ステップS22において、新たな視線方向が決定され、ステップS23〜S25の手順を再び実行し、図9(b) に示すような表示用画像Seを提示することができる。同様に、この図9(b) に示す表示用画像Seが表示されている状態において、閲覧者が、視線を更に右方向に移動する指示を与えた場合、ステップS22において、更に新たな視線方向が決定され、ステップS23〜S25の手順を再び実行し、図9(c) に示すような表示用画像Sfを提示することができる。
【0087】
また、これまでの例は、表示用画像Sの表示倍率mを固定値とする運用例であるが、ステップS22において、閲覧者から与えられる指示に基づいて、視線方向を決定するとともに、表示倍率mを決定するようにすれば、閲覧者が希望する倍率をもった表示用画像Sを提示することができる。§1で述べたとおり、倍率mは、表示対象部分画像Eの大きさを決めるパラメータであり、ステップS23の画像変換段階で利用する画像変換式の1パラメータになる。ここで、倍率mを大きく設定すればするほど、歪曲円形画像Dから切り出される表示対象部分画像Eの領域は小さくなり、最終的に、表示用画像S上での画像の拡大倍率が大きくなる。
【0088】
続いて、図15の流れ図を参照しながら、本発明を動画に適用した場合の手順を説明する。図15に示す流れ図の各ステップは、図14に示す流れ図に、更に、ステップS26,S27を付加したものである。図15に示す前半段階のステップS11′〜S13′は、図14に示す前半段階のステップS11〜S13と実質的には同じ処理を行う段階であるが、動画を構成する複数nフレーム分についての処理を行う点が異なっている。
【0089】
具体的には、ステップS11′では、コンピュータが、広角撮影装置10によって撮影された「歪曲円形画像Dを包含する矩形の撮影画像P」を1フレームとして、時系列的に連続する複数nフレームの撮影画像P1〜Pnを動画として取り込む撮影画像取込段階が行われ、ステップS12′では、コンピュータが、複数nフレームの各撮影画像P1〜Pnにスーパーインポーズするための複数nフレームの補助画像A1〜Anを取り込む補助画像取込段階が行われる。
【0090】
また、ステップS13′では、コンピュータが、第i番目(i=1,2,...,n)のフレームの撮影画像Piの中の歪曲円形画像Diを構成する部分以外の余白領域に、第i番目のフレームの補助画像Aiを埋め込むことにより第i番目のフレームの統合画像Ciを作成する処理を、i=1〜nまで繰り返し実行することにより、複数nフレームの統合画像C1〜Cnを作成し、これを図13に示すような動画データファイルMとして出力する統合画像作成段階が行われる。この動画データファイルMは、たとえば、MPEG形式の一般的な動画データファイルとして配信することが可能である。
【0091】
一方、後半段階では、まず、ステップS21において、コンピュータが、動画データファイルMとして与えられた複数nフレームの統合画像C1〜Cnを取り込む統合画像取込段階が行われる。そして、時間軸上に所定間隔で設定された各時点(たとえば、1/30sec周期で設定された時点)について、以下の処理が繰り返し実行される。
【0092】
まず、ステップS26において、コンピュータが、時間軸上に所定間隔で設定された各時点について、提示対象フレームを決定する提示対象フレーム決定段階が行われる。ここでは、第i番目のフレームFiが提示対象フレームとして決定されたものとして、以下の説明を行うことにする。以下のステップS22〜S25では、「第i番目のフレームFiの統合画像Ciを対象とする」という点を除いて、図14に示すステップS22〜S25と全く同じ処理が行われる。
【0093】
すなわち、ステップS22では、コンピュータが、閲覧者から与えられる指示に基づいて、各時点のそれぞれについて視線方向を決定する視線方向決定段階が行われ、ステップS23では、コンピュータが、各時点において、提示対象フレームFiの統合画像Ciに包含されている歪曲円形画像Diから、その時点で決定された視線方向に応じて定まる表示対象部分画像Eiを切り出し、これを正則矩形画像Tiに変換する画像変換段階が行われ、ステップS24では、コンピュータが、各時点において、提示対象フレームFiの統合画像Ciの余白領域から補助画像Aiを抽出し、これを正則矩形画像Tiに重畳して、表示用画像Siを作成する画像重畳段階が行われ、ステップS25では、コンピュータが、各時点において、ディスプレイ装置に対して表示用画像Siを出力し、これを表示させる画像表示段階が行われる。
【0094】
続くステップS27では、動画再生処理を終了するか否かが判断され、終了しない場合は、再びステップS26からの処理が実行される。第1番目のフレームF1から第n番目のフレームFnまで、各フレームの画像を昇順に順番に提示してゆく通常の動画再生を行う場合は、ステップS26において、提示対象フレームを、F1,F2,...,Fnと昇順に決定してゆけばよい。そして、ステップS27では、i=nになるまで、ステップS26へ戻る処理を実行すればよい。
【0095】
ただ、実用上は、前述したように、時系列に沿った順方向の動画提示だけでなく、逆方向の動画提示や、一時停止などを行う機能を設けておくのが好ましい。この場合は、ステップS26の提示対象フレーム決定段階で、複数nフレームの中の所定フレームから昇順に提示対象フレームを決定してゆく順送りモードと、複数nフレームの中の所定フレームから降順に提示対象フレームを決定してゆく逆送りモードと、所定時間だけ同一のフレームを継続して提示対象フレームとする一時停止モードと、のうち、閲覧者からの指示に基づいて、いずれか1つのモードを採用するようにし、ステップS27では、閲覧者から再生終了の指示が与えられるまで、ステップS26へ戻る処理を実行するようにすればよい。
【0096】
<<< §6.本発明に係る画像合成装置および画像表示装置の構成 >>>
最後に、本発明に係る画像合成装置および画像表示装置の構成を説明する。図16は、本発明に係る画像合成装置の基本構成を示すブロック図である。この画像合成装置は、図14に示す流れ図における前半段階のプロセスを実行する機能、すなわち、広角撮影画像Pに補助画像Aを合成する処理を行う機能をもった装置である。
【0097】
図16に示すとおり、この画像合成装置は、広角撮影装置50およびデジタル処理装置100によって構成されている。ここで、デジタル処理装置100は、実際には、コンピュータに所定のプログラムを組み込むことにより構成される。一方、広角撮影装置50は光学系52と撮像素子54とを有している。光学系52は、半球状の視野内の外景からの光を集光して結像面に歪曲円形画像Dを生成する構成要素であり、具体的には、魚眼レンズや全方位ミラーなどによって構成されている。一方、撮像素子54は、光学系52の結像面に配置された矩形の撮像面ξをもった素子であり、この撮像面ξには、多数の受光素子が縦横マトリックス状に配列されており、各受光素子からは、受光量に応じた電気信号が出力される。
【0098】
図16には、撮像面ξ上にXY平面を有する二次元XY座標系を定義し、この座標系の原点Oを中心とした位置に、光学系52によって歪曲円形画像Dが結像するモデルが示されている。別言すれば、光学系52によって、撮像面ξの中心位置を中心とする歪曲円形画像Dが形成される。このようなモデルでは、図4に示すように、二次元XY座標系における座標値(x,y)で示される位置に配置された画素の集合体として、歪曲円形画像Dが定義されることになる。もっとも、撮像素子54の撮像面ξは矩形であるので、撮像素子54からは、この矩形の撮像面ξに形成された矩形の撮影画像P(たとえば、図10に示す撮影画像P)が出力されることになる。
【0099】
一方、デジタル処理装置100は、図16に一点鎖線で囲って示すように、撮影画像格納部110,補助画像格納部120,統合画像作成部130,統合画像格納部140,統合画像出力部150によって構成される。
【0100】
ここで、撮影画像格納部110は、広角撮影装置50によって撮影された撮影画像Pをデジタルデータとして格納する構成要素である。図16の撮影画像格納部110のブロック内に示されているとおり、撮影画像Pは、歪曲円形画像Dとその周囲の余白領域Bとによって構成される矩形の画像である。この撮影画像格納部110は、実際には、矩形内に配列された多数の画素の画素値をデータとして格納する記憶装置(ハードディスク装置やメモリなど)によって構成される。
【0101】
一方、補助画像格納部120は、合成対象となる補助画像Aを格納する構成要素である。ここで述べる実施形態の場合、補助画像Aは矩形の画像によって構成されている。したがって、補助画像格納部120も、実際には、矩形内に配列された多数の画素の画素値をデータとして格納する記憶装置(ハードディスク装置やメモリなど)によって構成される。この補助画像Aは、後に、4つの分割画像α,β,γ,δに分割される。図16の補助画像格納部120のブロック内には、説明の便宜上、補助画像を4つの分割画像α,β,γ,δに分割した状態が示されているが、実際には、この時点では、補助画像Aはまだ分割されていない。
【0102】
統合画像作成部130は、撮影画像格納部110内に格納されている撮影画像Pの中の歪曲円形画像Dを構成する部分以外の余白領域Bに、補助画像格納部120に格納されている補助画像Aを埋め込むことにより統合画像Cを作成する処理を行う。ここに示す実施形態の場合、統合画像作成部130は、補助画像Aを複数の分割画像に分割し、個々の分割画像をそれぞれ余白領域B内の所定箇所に埋め込む処理を行う。より具体的には、補助画像Aを縦方向に2等分、横方向に2等分することにより、合計4つの矩形の分割画像α,β,γ,δを作成し、これらの分割画像α,β,γ,δを、それぞれ撮影画像Pの4隅に埋め込む処理が行われる。
【0103】
§5で述べたとおり、この余白領域Bへの埋め込み処理は、実際には、余白領域Bを構成する画素の無意味な画素値を、補助画像Aを構成する画素の有意な画素値に書き換える処理ということになる。なお、余白領域Bに、補助画像Aを埋め込むだけの十分なスペースがない場合には、埋め込み対象となる補助画像A(分割画像α,β,γ,δ)の画素を間引いて縮小する処理を行うようにすればよい。実用上は、予め、埋め込みに適したサイズの補助画像Aを用意するのが好ましい。
【0104】
統合画像格納部140は、統合画像作成部130によって作成された統合画像Cをデジタルデータとして格納する構成要素である。統合画像Cは、撮影画像Pと同じサイズをもった矩形の画像であり、この統合画像格納部140も、実際には、矩形内に配列された多数の画素の画素値をデータとして格納する記憶装置(ハードディスク装置やメモリなど)によって構成される。
【0105】
統合画像出力部150は、この統合画像格納部140に格納されている統合画像Cをデジタルデータとして外部に出力する構成要素である。前述したとおり、この統合画像Cは、一般的な矩形の画像データファイルの形式で出力することができる。また、出力の形態も、CD,DVDなどの物理的な媒体に対する書込処理として行うこともできるし、通信回線を利用した通信や、インターネットなどを利用した配信という形態で行うこともできる。
【0106】
以上、図16を参照しながら、1枚の統合画像Cを合成する画像合成装置の基本構成を述べたが、この画像合成装置の各構成要素に若干の付加機能を追加すれば、動画を構成する映像コンテンツを作成することも可能である。
【0107】
具体的には、まず、広角撮影装置50に、時系列的に連続する複数nフレームの撮影画像P1〜Pnとして動画の撮影を行う機能を設ける。そして、撮影画像格納部110には、この複数nフレームの撮影画像P1〜Pnを格納できるようにする。また、補助画像格納部120には、撮影画像格納部110に格納されている各撮影画像P1〜Pnにスーパーインポーズするための複数nフレームの補助画像A1〜Anを格納できるようにする。
【0108】
一方、統合画像作成部130には、撮影画像格納部110に格納されている第i番目(i=1,2,...,n)のフレームの撮影画像Piの中の歪曲円形画像Diを構成する部分以外の余白領域Biに、補助画像格納部120に格納されている第i番目のフレームの補助画像Aiを埋め込むことにより第i番目のフレームの統合画像Ciを作成する処理を、i=1〜nまで繰り返し実行することにより、複数nフレームの統合画像C1〜Cnを作成する機能をもたせればよい。
【0109】
そして、統合画像格納部140には、統合画像作成部130が作成した複数nフレームの統合画像C1〜Cnを格納する機能をもたせておき、統合画像出力部150には、この複数nフレームの統合画像C1〜Cnを含むファイルを、図13に示すような動画データファイルMとして出力する機能をもたせておけばよい。この動画データファイルMは、前述したとおり、たとえばMPEG形式のファイルのように、一般的な汎用動画ファイルとして出力することができる。
【0110】
なお、統合画像作成部130による埋込処理は、個々のフレームごとに行えばよいので、撮影画像格納部110および補助画像格納部120には、この埋込処理を行う際に必要となるフレームのデータが格納されていれば足りる。したがって、撮影画像格納部110に、複数nフレームの撮影画像P1〜Pnを一括して格納し、補助画像格納部120に、複数nフレームの補助画像A1〜Anを一括して格納しておき、統合画像作成部130により、必要なフレームのデータを順次読み出して埋込処理を行うこともできるし、撮影画像格納部110に、処理対象となる特定のフレームの撮影画像を順次格納してゆき(処理後には削除してよい)、補助画像格納部120に、処理対象となる特定のフレームの補助画像を順次格納してゆき(処理後には削除してよい)、統合画像作成部130により、処理対象となるフレームのデータを順次読み出して埋込処理を行うこともできる。
【0111】
続いて、本発明に係る画像表示装置の構成を説明する。図17は、本発明に係る画像表示装置の基本構成を示すブロック図である。この画像表示装置は、図14に示す流れ図における後半段階のプロセスを実行する機能、すなわち、前半段階のプロセスで作成された統合画像Cに基づいて、広角撮影画像Pに補助画像Aをスーパーインポーズして表示する機能をもった装置である。
【0112】
図17に示すとおり、この画像表示装置は、統合画像入力部210,統合画像格納部220,視線方向決定部230,画像変換部240,補助画像抽出部250,画像重畳部260,表示用画像格納部270,画像表示部280によって構成される。これらの各構成要素からなる画像表示装置は、実際には、コンピュータに所定のプログラムを組み込むことにより構成される。
【0113】
統合画像入力部210は、図16に示す画像合成装置で作成された統合画像Cを入力する構成要素である。ここで、統合画像Cは、既に述べたとおり、広角撮影によって得られる歪曲円形画像Dと、その周囲の余白領域Bに埋め込まれたスーパーインポーズの対象となる補助画像Aと、を含む矩形の画像である。特に、ここで述べる実施形態の場合、補助画像Aは複数の分割画像に分割され、それぞれ余白領域B内の異なる箇所に埋め込まれている。具体的には、歪曲円形画像Dの中心位置と統合画像Cの中心位置とは一致し、かつ、矩形の補助画像Aを縦方向に2等分、横方向に2等分することにより得られる矩形の分割画像α,β,γ,δが、4隅に埋め込まれている。
【0114】
統合画像格納部220は、このような統合画像Cをデジタルデータとして格納する構成要素である。実際には、この統合画像格納部220は、統合画像Cの矩形内に配列された多数の画素の画素値をデータとして格納する記憶装置(ハードディスク装置やメモリなど)によって構成される。
【0115】
視線方向決定部230は、閲覧者から与えられる指示に基づいて、視線方向を決定する構成要素である。§5で述べたとおり、閲覧者に視線方向を指示させる方法としては、様々な方法を採ることができる。たとえば、ディスプレイ装置の表示画面の一部に、図4に示すような歪曲円形画像Dを提示し、閲覧者からのマウスクリックなどの操作入力を受け付けて、この歪曲円形画像D上の1点を切出位置指標Qとして指定させればよい。この場合、閲覧者が指定した切出位置指標Qの位置に基づいて、視線方向を決定することができる。あるいは、予め歪曲円形画像D上で東西南北の方位を定めておき、東西南北を示す方位指標をディスプレイ画面の一部に表示し、閲覧者が指定した方位に基づいて、視線方向を決定することもできる。
【0116】
画像変換部240は、統合画像格納部220内の統合画像Cに包含されている歪曲円形画像Dから、視線方向決定部230が決定した視線方向に応じて定まる表示対象部分画像Eを切り出し、これを正則矩形画像Tに変換する処理を行う。すなわち、切出位置指標Qを中心として所定倍率mの正則矩形画像Tが得られるように、歪曲円形画像Dから必要な領域を表示対象部分画像Eとして切り出し、これを変換する処理が行われる。具体的な変換処理は、図5に示す二次元XY座標系から図6に示す二次元UV座標系への座標変換式に基づいて行うことができる。このような座標変換の方法の詳細は、たとえば、前掲の特許文献1,2等に開示されている。
【0117】
なお、この座標変換によって得られる正則矩形画像Tの倍率mは、予め設定された固定値とすることもできるが(たとえば、35mmフィルム換算の焦点距離50mmのレンズを用いた場合の標準画角(画像の対角でおよそ45°)に対応した倍率に設定しておけばよい)、視線方向決定部230に、閲覧者から倍率mを指定する入力を受け付ける機能を設けておけば、画像変換部240は、閲覧者が指定した任意の倍率の正則矩形画像Tが得られるような画像変換処理を行うことができる。この場合、閲覧者は、自分が指定した任意の倍率で画像を閲覧することができるようになる。
【0118】
補助画像抽出部250は、統合画像格納部220内の統合画像Cの余白領域Bから補助画像Aを抽出する処理を行う構成要素である。ここに示す実施形態の場合、補助画像Aは複数の分割画像として埋め込まれているため、補助画像抽出部250は、各分割画像を抽出した後、これらを組み立てて元の補助画像Aを復元する処理を行う。具体的には、統合画像Cの四隅から、それぞれ矩形の分割画像α,β,γ,δを切り出し、これらを縦横に隣接配置することにより元の補助画像Aを復元することになる。
【0119】
なお、統合画像Cの四隅のどの領域を分割画像として切り出すかは、図16に示す統合画像作成部130による埋込処理の態様に応じて予め定めておけばよい。たとえば、統合画像作成部130によって、縦横サイズがp×qの分割画像α,β,γ,δを四隅に埋め込む処理を行うという標準規格を定めておけば、当該標準規格に合致した統合画像Cについては、四隅から縦横サイズp×qの矩形領域を切り出せば、分割画像α,β,γ,δを抽出することができる。
【0120】
画像重畳部260は、画像変換部240による変換処理で得られた正則矩形画像Tに、補助画像抽出部250による抽出処理で得られた補助画像Aを重畳して、表示用画像Sを作成する処理を行う構成要素である。正則矩形画像Tのサイズと補助画像Aのサイズとが等しくなるように設定しておけば、この重畳処理は、それぞれ対応する画素の画素値に関する重畳演算を行うことにより、正則矩形画像Tに補助画像Aをスーパーインポーズすることができる。この場合、特定の画素値(たとえば、RGBの各原色成分の値がすべて0であるような真っ黒を示す画素値)をもった補助画像A内の画素を、透明画素として取り扱うようにすれば、実質的に、透明画素の部分については何らスーパーインポーズを行わないようにすることができる。このように2枚の画像を重畳するスーパーインポーズの手法は、様々な方法が公知であるため、ここでは詳しい説明は省略する。なお、2枚の画像のサイズが異なる場合には、サイズが等しくなるような拡大もしくは縮小処理を適宜行うようにすればよい。
【0121】
表示用画像格納部270は、こうして作成された表示用画像Sをデジタルデータとして格納する構成要素であり、実際には、表示用画像Sの矩形内に配列された多数の画素の画素値をデータとして格納する記憶装置(ハードディスク装置やメモリなど)によって構成される。
【0122】
画像表示部280は、この表示用画像格納部270に格納されている表示用画像Sをディスプレイ装置に対して出力し、画面上にこれを表示させる構成要素である。こうして、閲覧者に対しては、任意の視線方向についての撮影画像に補助情報をスーパーインポーズした画像が提示されることになる。
【0123】
図18は、本発明の別な態様に係る画像表示装置の基本構成を示すブロック図である。この画像表示装置は、図17に示す画像表示装置を動画の映像コンテンツにも対応できるように拡張したものであり、図示のとおり、動画ファイル入力部310,統合画像格納部320,視線方向決定部330,画像変換部340,補助画像抽出部350,画像重畳部360,表示用画像格納部370,画像表示部380,提示対象フレーム決定部390によって構成されている。これらの各構成要素からなる画像表示装置は、実際には、コンピュータに所定のプログラムを組み込むことにより構成できる。
【0124】
ここで、図18に示す構成要素310〜380は、実質的には、図17に示す構成要素210〜280と同等の機能をもった構成要素である。ただ、動画の映像コンテンツを取り扱うため、動画を構成する複数nフレーム分についての処理を行う機能を有している。一方、提示対象フレーム決定部390は、動画の取り扱いに必要な固有の構成要素であり、複数nフレームのうち、各時点で提示の対象となるフレームを決定する機能を果たす。以下、各構成要素の機能を順に説明する。
【0125】
まず、動画ファイル入力部310は、図17に示す統合画像入力部210に対応する構成要素であり、図13に示すような構成の動画データファイルMを入力する構成要素である。この動画データファイルMは、時系列的に連続する複数nフレーム分の統合画像C1〜Cnによって構成され、個々の統合画像Cには、広角撮影によって得られる歪曲円形画像Dと、その周囲の余白領域Bに埋め込まれたスーパーインポーズの対象となる補助画像Aと、が含まれている。特に、ここに述べる実施形態の場合、補助画像Aは複数の分割画像に分けて埋め込まれている。
【0126】
統合画像格納部320は、こうして入力された動画データファイルMを構成する複数nフレームの統合画像C1〜Cnをデジタルデータとして格納する構成要素であり、実際には、ハードディスク装置やメモリなどの記憶装置によって構成される。
【0127】
提示対象フレーム決定部390は、動画の取り扱いに必要な固有の構成要素であり、閲覧者から与えられる指示に基づいて、各時点で提示すべき提示対象フレームを決定する構成要素である。ここに示す実施形態の場合、提示対象フレーム決定部390は、統合画像格納部320内に格納されている複数nフレームの中の所定フレームから昇順に提示対象フレームを決定してゆく順送りモードと、複数nフレームの中の所定フレームから降順に提示対象フレームを決定してゆく逆送りモードと、所定時間だけ同一のフレームを継続して提示対象フレームとする一時停止モードと、のうち、閲覧者からの指示に基づいて、いずれか1つのモードを採用する機能を有している。ここでは、この提示対象フレーム決定部390によって、第i番目のフレームFiが提示対象フレームとして決定された場合を例にとって、以下の説明を行う。
【0128】
視線方向決定部330は、閲覧者から与えられる指示に基づいて、視線方向を決定する構成要素であり、図17に示す視線方向決定部230と同等の機能を果たす。ただ、閲覧者は、動画の再生中に、視線方向を自由に変更する指示を与えることができ、視線方向決定部330は、提示対象となる個々のフレームごとに、それぞれ視線方向を決定する機能を有している。
【0129】
図17に示す装置の説明では、閲覧者に視線方向を指示させる方法として、歪曲円形画像D上で切出位置指標Qを指定させる方法や、東西南北の方位を指定させる方法を例示したが、動画の提示を行う場合は、直前に提示されているフレームに対する視線方向の移動方向を指示させる方法を採ることもできる。たとえば、§5でも説明したように、あるフレームについて、図9(a) に示す表示用画像Sdが表示されている状態において、閲覧者が、視線を右方向に移動する指示を与えた場合、次のフレームでは、新たな視線方向に基づいて、図9(b) に示すような表示用画像Seを提示することができ、この状態において、閲覧者が、視線を更に右方向に移動する指示を与えた場合、次のフレームでは、新たな視線方向に基づいて、図9(c) に示すような表示用画像Sfを提示することができる。
【0130】
画像変換部340は、提示対象フレームFiの統合画像Ciに包含されている歪曲円形画像Diから、視線方向決定部330によって決定された視線方向に応じて定まる表示対象部分画像Eiを切り出し、これを正則矩形画像Tiに変換する処理を行う。また、補助画像抽出部350は、提示対象フレームFiの統合画像Ciの余白領域から補助画像Aiを抽出する処理を行う。ここで、複数の分割画像α,β,γ,δを組み立てて、元の補助画像Aiを復元する点は、図17に示す補助画像抽出部250の機能と同じである。
【0131】
画像重畳部360は、画像変換部340による変換処理で得られた正則矩形画像Tiに、補助画像抽出部350による抽出処理で得られた補助画像Aiを重畳して、表示用画像Siを作成する処理を行う構成要素である。また、表示用画像格納部370は、こうして作成された表示用画像Siをデジタルデータとして格納する構成要素であり、ハードディスク装置やメモリなどによって構成される。そして、画像表示部380は、この表示用画像格納部370に格納されている表示用画像Siをディスプレイ装置に対して出力し、画面上にこれを表示させる構成要素である。
【0132】
提示対象フレーム決定部390は、時間軸上に所定間隔で設定された各時点(たとえば、1/30sec周期で設定された時点)について、それぞれ提示対象フレームを決定する処理を行うので、ディスプレイ装置に対しては、周期的に新たなフレームの表示用画像が表示されることになる。こうして、閲覧者に対しては、任意の視線方向についての撮影画像に補助情報をスーパーインポーズした動画が提示されることになる。
【産業上の利用可能性】
【0133】
本発明を利用すれば、広角撮影画像のうち、閲覧者が指定した特定の視線方向の画像を正則画像として提示することができ、しかも、視線方向にかかわらず、必要な補助情報を常にスーパーインポーズして提示することができる。このため、閲覧者と対話式に視線方向を変更しながら、動画の提示を行うことが可能になる。また、補助情報は、補助画像を重畳するという形式でスーパーインポーズされるので、文字に限らず、図形や映像など、様々な形態の情報を補助情報として付加することができる。
【0134】
このような特徴をもった技術は、様々な動画の映像コンテンツを提供する分野で利用可能である。一般的なTV番組、映画、音楽プロモーションビデオなどのコンテンツ映像は、演出意図に従ったカメラワークで撮影・編集されており、閲覧者は、これを受動的に視聴するだけである。これに対して、最近では、自由視点映像というコンセプトが提唱されており、閲覧者が、撮影されたシーンの任意の地点から任意の方向を向いて観察した画像を視聴できるコンテンツが望まれている。本発明は、このようなコンテンツの提供分野に広く利用可能である。
【0135】
たとえば、スポーツ中継映像を、全方位カメラを用いて撮影した映像コンテンツなどにも利用可能である。また、世界遺産や文化施設を紹介する映像コンテンツなどへの利用にも適している。このようなコンテンツでは、通常、テロップなどの補助情報の挿入が不可欠であるが、本発明を利用すれば、単純かつ効率的に補助情報をスーパーインポーズして表示できるようになる。
【0136】
たとえば、「中尊寺」を題材とした作品に利用した場合、閲覧者が、撮影時のカメラワークに沿って中尊寺の敷地内を仮想的に歩き回るような体験をすることができる動画の映像コンテンツを提供することができる。閲覧者は、順送りモードで散策することもできるし、逆送りモードで散策することもできる。もちろん、一時停止モードにすれば、ある地点で立ち止まって、様々な方向に視線を向けることもできる。
【0137】
しかも、中尊寺の敷地全域の模式図を用意し、各フレームには、この模式図に当該フレームの撮影位置を示す指標をプロットした地図を画面の左上隅などに表示するための補助画像Aを埋め込んでおくようにすれば、閲覧者には、視線方向にかかわらず、常に自分の現在位置を示す地図がスーパーインポーズして提示されることになる。あるいは、主要な建物の付近で撮影したフレームには、画面の下部に当該建物の名称やエピソードなどを示す字幕を表示するための補助画像Aを埋め込んでおくことも可能である。補助画像Aも動画として提示することができるので、字幕をスクロールさせることにより、比較的長い説明を表示することも可能である。また、スーパーインポーズする補助情報としては、文字に限らず、任意の画像を提示することができるので、たとえば、画面の右上隅に所定のタイミングで、藤原氏の代々の肖像画を提示したり、過去にこの地を訪問した著名人の様子を示す動画を提示したりするようなことも可能である。
【符号の説明】
【0138】
10:広角撮影装置(魚眼レンズを用いたカメラ)
20:建物
30:撮影車両
50:広角撮影装置
52:光学系
54:撮像素子
100:デジタル処理装置
110:撮影画像格納部
120:補助画像格納部
130:統合画像作成部
140:統合画像格納部
150:統合画像出力部
210:統合画像入力部
220:統合画像格納部
230:視線方向決定部
240:画像変換部
250:補助画像抽出部
260:画像重畳部
270:表示用画像格納部
280:画像表示部
310:動画ファイル入力部
320:統合画像格納部
330:視線方向決定部
340:画像変換部
350:補助画像抽出部
360:画像重畳部
370:表示用画像格納部
380:画像表示部
390:提示対象フレーム決定部
A:補助画像(スーパーインポーズの対象となる画像)
A1,A2,Ai,An:個々のフレームの補助画像
a:画像の横方向サイズ
B:余白領域
b:画像の縦方向サイズ
C:統合画像
C1,C2,Ci,Cn:個々のフレームの統合画像
D:歪曲円形画像
E:表示対象部分画像
E1,E2,Ei,En:個々のフレームの表示対象部分画像
F1,F2,Fi,Fn:動画を構成する個々のフレーム
M:動画データファイル
O:座標系の原点
P:広角撮影装置による撮影画像
Q:切出位置指標
r:歪曲円形画像Dの半径
S:表示用画像(スーパーインポーズされた画像)
Sa〜Sf:表示用画像(スーパーインポーズされた画像)
S1,S2,Si,Sn:個々のフレームの表示用画像
S11〜S27,S11′〜S13′:流れ図の各ステップ
T:正則矩形画像
T1,T2,Ti,Tn:個々のフレームの正則矩形画像
U:座標軸
V:座標軸
X:座標軸
Y:座標軸
α:分割画像(補助画像Aの左上部分)
β:分割画像(補助画像Aの右上部分)
γ:分割画像(補助画像Aの左下部分)
δ:分割画像(補助画像Aの右下部分)
ξ:撮像面
【技術分野】
【0001】
本発明は、魚眼レンズなどを装着した広角撮影装置によって撮影された画像に、補助情報をスーパーインポーズして表示する技術に関する。
【背景技術】
【0002】
一般に、全方位カメラと呼ばれている広角撮影装置は、メカニカルな動作機構なしに、半球状の全方位を示す円形画像を撮影することができため、奇抜な効果を狙った風景写真などを撮影する場合や、監視カメラなどの用途に広く利用されている。
【0003】
現在、一般に市販されている広角撮影装置は、魚眼レンズを用いたタイプと全方位ミラーを用いたタイプとの2通りが存在する。魚眼レンズは複数のレンズの組み合わせによって構成され、屈折を利用して周囲からの入射光を撮像面に導く働きをする。一方、全方位ミラーは、反射を利用して周囲からの入射光を撮像面に導く働きをする。いずれも、半球状の視野内の外景からの光を集光して結像面に歪曲円形画像を生成する光学系であり、撮影によって得られる画像は、通常の正則矩形画像ではなく、歪曲した円形の画像になる。
【0004】
このような歪曲円形画像は、芸術写真などの用途にはそのまま利用することが可能かもしれないが、一般的な用途には不向きである。そこで、監視カメラなどの一般的な用途に利用する場合は、撮影により得られた歪曲円形画像の一部分を切り出して、正則矩形画像に変換する処理が行われる。切出対象となる部分は、半球状の外景に対する視線の方向に応じて定められるので、同一の歪曲円形画像を用いた場合でも、視線方向が異なれば、異なった正則矩形画像が得られることになる。
【0005】
たとえば、下記の特許文献1には、コンピュータを利用して、魚眼レンズを用いて撮影された歪曲円形画像の一部分を正則矩形画像にリアルタイムで変換する技術が開示されている。また、特許文献2には、全方位ミラーを用いて撮影された歪曲円形画像の一部分を正則矩形画像に変換する技術が開示されている。このような変換技術を利用すれば、広角撮影装置を用いて撮影した歪曲円形画像からなる動画を、正則矩形画像からなる動画としてリアルタイムで観察することが可能になり、極めて広い画角をもった映像を閲覧者に提示できる。しかも、閲覧者は自由に視線方向を指定することができるため、任意の視線方向に位置する一部分の画像を正則矩形画像として観察することができる。
【0006】
この広角撮影装置を利用した応用技術についても、これまでに様々な提案がなされている。たとえば、下記の特許文献3には、自動車に複数台の広角撮影装置を搭載し、車外の映像を取得し、そのうちの一部を選択して正則矩形画像に変換して運転者に提示する運転支援システムが開示されている。一方、閲覧者の自由意志に基づく視線方向を考慮して、当該視線方向に位置する画像を提示する技術についても、様々な応用技術が提案されている。たとえば、下記の特許文献4には、遠隔地で撮影した画像を閲覧者のヘッドマウントディスプレイに提示し、かつ、閲覧者の視点情報に基づいて、提示する画像を選択する技術が開示されている。
【0007】
このように、広角撮影画像の中から、閲覧者が指定した特定の視線方向に位置する一部分の画像のみを抽出して提示するという表示方法は、米国APPLE社が開発した「QuichTime VR」という技術で既に実用化されており、この技術を利用した様々な映像コンテンツが制作されている。また、カナダのImmersive Media社が開発した技術を利用すると、閲覧者は、演出意図に沿った所定の動線上を自由に移動しながら、任意の視線方向の画像を楽しむことができる。一方、米国GOOGLE社は、Web上の「Google Map」というサイトにおいて、「Street View」という街頭映像を提供するサービスを実施しており、このサービスでも、閲覧者は街中の道路を自由に移動しながら、視線を任意の方向に向けることができる。
【0008】
このように、広角撮影画像を利用して、閲覧者に任意の視線方向の画像を提示することができる映像コンテンツは、今後も様々な形態で提供されてゆくものと予想される。
【先行技術文献】
【特許文献】
【0009】
【特許文献1】特開2009−176273号公報
【特許文献2】特開2010−140292号公報
【特許文献3】特開2006−240383号公報
【特許文献4】特開平8−336128号公報
【発明の概要】
【発明が解決しようとする課題】
【0010】
一般に、映像コンテンツでは、編集段階において、タイトル,テロップ,台詞などの補助情報をスーパーインポーズして挿入することが多く、広角撮影画像を利用して制作した映像コンテンツにおいても、編集段階で付加した補助情報を再生時に提示できるようにすることが望ましい。しかしながら、全方位カメラなどを利用して撮影した広角撮影画像に対して、従来の一般的な方法を利用して補助情報をスーパーインポーズしようとすると、以下に述べるような問題が生じる。
【0011】
補助情報をスーパーインポーズするために従来から行われている最もシンプルな方法は、編集段階において、映像コンテンツを構成する撮影画像自体に、テロップなどの補助情報を合成しておく方法である。この方法では、補助情報は撮影画像の一部として融合した状態で提供されることになるので、コンテンツの再生時に特別な合成処理を行う必要がないというメリットが得られる。
【0012】
しかしながら、この方法では、任意の視線方向に位置する画像を提示する再生形態をとる映像コンテンツの場合、再生時に必要な補助情報を確実に提示することはできない。すなわち、編集段階では、再生時に閲覧者が指定する視線方向を予測することができないので、たとえば、閲覧画面の下方にテロップを流す必要があっても、広角撮影画像のどの部分に当該テロップを挿入しておけばよいかを決めることができない。また、仮に、挿入位置が定まったとしても、広角撮影画像は歪曲した画像であり、再生時に正則画像に変換する処理が行われるため、編集時には、テロップを構成する文字列を歪曲させた状態で挿入しておく必要があり、煩雑な作業が要求される。
【0013】
一方、撮影画像とは別個に補助情報を用意しておき、再生時に両者を合成して提示する方法も従来から広く利用されている。たとえば、DVDなどの形態で市販されている一般的な洋画コンテンツの場合、再生時に字幕の有無やその言語を切り替えることができるが、これは本来の映像コンテンツとは別個に字幕の情報が用意され、再生時に合成する方法が採られているためである。
【0014】
しかしながら、この方法では、本来の映像コンテンツを含んだデータファイル(たとえば、MPEGファイル)とは別個に、補助情報を含む付帯データファイル(たとえば、字幕ファイル)が必要になるため、データの取り扱いが繁雑になるという問題がある。今後は、ブロードバンド通信環境の整備により、デジタルコンテンツの流通は、ネットワークを介した配信が主流になってゆくと予想される。このような流通形態では、本来の映像コンテンツを含むデータファイルと補助情報を含む付帯データファイルとが別個になっていると、取り扱いが複雑になり、様々な不都合が生じる可能性がある。
【0015】
しかも、再生時には、これら別個のファイルのデータを合成する必要が生じ、特に、動画を取り扱う場合には、2つのファイルから読み出したデータを、フレーム単位で同期をとりながら合成する技術が必要になる。また、現在のDVDなどの規格では、字幕などの文字情報を付加することは可能であるが、複雑な図形や別な実写映像を補助情報として付加することはできず、映像表現の自由に制約を受けることになる。
【0016】
そこで本発明は、閲覧者の視線方向にかかわらず、広角撮影装置によって撮影された画像に、単純かつ効率的に補助情報をスーパーインポーズして表示できるようにする方法および装置を提供することを目的とする。
【課題を解決するための手段】
【0017】
(1) 本発明の第1の態様は、広角撮影装置によって撮影された画像に補助画像をスーパーインポーズして表示する広角撮影画像の表示方法において、
コンピュータが、広角撮影装置によって撮影された「歪曲円形画像を包含する矩形の撮影画像」を取り込む撮影画像取込段階と、
コンピュータが、スーパーインポーズの対象となる補助画像を取り込む補助画像取込段階と、
コンピュータが、撮影画像の中の歪曲円形画像を構成する部分以外の余白領域に、補助画像を埋め込むことにより統合画像を作成し、これを出力する統合画像作成段階と、
を有する前半段階と、
コンピュータが、統合画像を取り込む統合画像取込段階と、
コンピュータが、閲覧者から与えられる指示に基づいて、視線方向を決定する視線方向決定段階と、
コンピュータが、統合画像に包含されている歪曲円形画像から、視線方向に応じて定まる表示対象部分画像を切り出し、これを正則矩形画像に変換する画像変換段階と、
コンピュータが、統合画像の余白領域から補助画像を抽出し、これを正則矩形画像に重畳して、表示用画像を作成する画像重畳段階と、
コンピュータが、ディスプレイ装置に対して表示用画像を出力し、これを表示させる画像表示段階と、
を有する後半段階と、
を行うようにしたものである。
【0018】
(2) 本発明の第2の態様は、広角撮影装置によって撮影された画像に補助画像をスーパーインポーズして表示する広角撮影画像の表示方法において、
コンピュータが、広角撮影装置によって撮影された「歪曲円形画像を包含する矩形の撮影画像」を1フレームとして、時系列的に連続する複数nフレームの撮影画像を動画として取り込む撮影画像取込段階と、
コンピュータが、複数nフレームの各撮影画像にスーパーインポーズするための複数nフレームの補助画像を取り込む補助画像取込段階と、
コンピュータが、第i番目(i=1,2,...,n)のフレームの撮影画像の中の歪曲円形画像を構成する部分以外の余白領域に、第i番目のフレームの補助画像を埋め込むことにより第i番目のフレームの統合画像を作成する処理を、i=1〜nまで繰り返し実行することにより、複数nフレームの統合画像を作成し、これを出力する統合画像作成段階と、
を有する前半段階と、
コンピュータが、複数nフレームの統合画像を取り込む統合画像取込段階と、
コンピュータが、時間軸上に所定間隔で設定された各時点について、提示対象フレームを決定する提示対象フレーム決定段階と、
コンピュータが、閲覧者から与えられる指示に基づいて、各時点のそれぞれについて視線方向を決定する視線方向決定段階と、
コンピュータが、各時点において、提示対象フレームの統合画像に包含されている歪曲円形画像から、視線方向に応じて定まる表示対象部分画像を切り出し、これを正則矩形画像に変換する画像変換段階と、
コンピュータが、各時点において、提示対象フレームの統合画像の余白領域から補助画像を抽出し、これを正則矩形画像に重畳して、表示用画像を作成する画像重畳段階と、
コンピュータが、各時点において、ディスプレイ装置に対して表示用画像を出力し、これを表示させる画像表示段階と、
を有する後半段階と、
を行うようにしたものである。
【0019】
(3) 本発明の第3の態様は、上述した第2の態様に係る広角撮影画像の表示方法において、
提示対象フレーム決定段階で、複数nフレームの中の所定フレームから昇順に提示対象フレームを決定してゆく順送りモードと、複数nフレームの中の所定フレームから降順に提示対象フレームを決定してゆく逆送りモードと、所定時間だけ同一のフレームを継続して提示対象フレームとする一時停止モードと、のうち、閲覧者からの指示に基づいて、いずれか1つのモードを採用するようにしたものである。
【0020】
(4) 本発明の第4の態様は、上述した第1〜第3の態様に係る広角撮影画像の表示方法において、
統合画像作成段階で、補助画像を複数の分割画像に分割し、個々の分割画像をそれぞれ余白領域内の所定箇所に埋め込み、
画像重畳段階で、余白領域から抽出した複数の分割画像を組み立てて元の補助画像を復元するようにしたものである。
【0021】
(5) 本発明の第5の態様は、上述した第4の態様に係る広角撮影画像の表示方法において、
撮影画像取込段階で、撮影画像の中心位置と歪曲円形画像の中心位置とが一致するような矩形の撮影画像を取り込み、
補助画像取込段階で、矩形の補助画像を取り込み、
統合画像作成段階で、補助画像を縦方向に2等分、横方向に2等分することにより、合計4つの矩形の分割画像を作成し、これらの分割画像を、それぞれ撮影画像の4隅に埋め込むようにしたものである。
【0022】
(6) 本発明の第6の態様は、上述した第1〜第5の態様に係る広角撮影画像の表示方法における前半段階もしくは後半段階、またはその双方を、所定のプログラムを組み込んだコンピュータに実行させるようにしたものである。
【0023】
(7) 本発明の第7の態様は、広角撮影画像に補助画像を合成する処理を行う画像合成装置において、
半球状の視野内の外景からの光を集光して結像面に歪曲円形画像を生成する光学系と、結像面に配置された矩形の撮像面をもった撮像素子と、を有し、撮像面に形成された矩形の撮影画像を出力する広角撮影装置と、
撮影画像をデジタルデータとして格納する撮影画像格納部と、合成対象となる補助画像を格納する補助画像格納部と、撮影画像の中の歪曲円形画像を構成する部分以外の余白領域に、補助画像を埋め込むことにより統合画像を作成する統合画像作成部と、作成された統合画像をデジタルデータとして格納する統合画像格納部と、統合画像をデジタルデータとして外部に出力する統合画像出力部と、を有するデジタル処理装置と、
を設けるようにしたものである。
【0024】
(8) 本発明の第8の態様は、上述した第7の態様に係る画像合成装置において、
広角撮影装置が、時系列的に連続する複数nフレームの撮影画像として動画の撮影を行い、
撮影画像格納部が、複数nフレームの撮影画像を順次もしくは一括して格納し、
補助画像格納部が、複数nフレームの各撮影画像にスーパーインポーズするための複数nフレームの補助画像を順次もしくは一括して格納し、
統合画像作成部が、第i番目(i=1,2,...,n)のフレームの撮影画像の中の歪曲円形画像を構成する部分以外の余白領域に、第i番目のフレームの補助画像を埋め込むことにより第i番目のフレームの統合画像を作成する処理を、i=1〜nまで繰り返し実行することにより、複数nフレームの統合画像を作成し、
統合画像格納部が、複数nフレームの統合画像を格納し、
統合画像出力部が、複数nフレームの統合画像を含むファイルを動画データファイルとして出力するようにしたものである。
【0025】
(9) 本発明の第9の態様は、上述した第7または第8の態様に係る画像合成装置において、
統合画像作成部が、補助画像を複数の分割画像に分割し、個々の分割画像をそれぞれ余白領域内の所定箇所に埋め込むようにしたものである。
【0026】
(10) 本発明の第10の態様は、上述した第9の態様に係る画像合成装置において、
広角撮影装置が、撮像面の中心位置を中心とする歪曲円形画像を形成する光学系を有し、
補助画像入力部が、矩形の補助画像を入力し、
統合画像作成部が、補助画像を縦方向に2等分、横方向に2等分することにより、合計4つの矩形の分割画像を作成し、これらの分割画像を、それぞれ撮影画像の4隅に埋め込むようにしたものである。
【0027】
(11) 本発明の第11の態様は、上述した第7〜第10の態様に係る画像合成装置におけるデジタル処理装置を、所定のプログラムを組み込んだコンピュータにより構成するようにしたものである。
【0028】
(12) 本発明の第12の態様は、広角撮影画像に補助画像をスーパーインポーズして表示する画像表示装置において、
広角撮影によって得られる歪曲円形画像と、その周囲の余白領域に埋め込まれたスーパーインポーズの対象となる補助画像と、を含む矩形の統合画像を入力する統合画像入力部と、
統合画像をデジタルデータとして格納する統合画像格納部と、
閲覧者から与えられる指示に基づいて、視線方向を決定する視線方向決定部と、
統合画像に包含されている歪曲円形画像から、視線方向に応じて定まる表示対象部分画像を切り出し、これを正則矩形画像に変換する画像変換部と、
統合画像の余白領域から補助画像を抽出する補助画像抽出部と、
正則矩形画像に補助画像を重畳して、表示用画像を作成する画像重畳部と、
作成された表示用画像をデジタルデータとして格納する表示用画像格納部と、
ディスプレイ装置に対して表示用画像を出力し、これを表示させる画像表示部と、
を設けるようにしたものである。
【0029】
(13) 本発明の第13の態様は、広角撮影画像に補助画像をスーパーインポーズして表示する画像表示装置において、
広角撮影によって得られる歪曲円形画像と、その周囲の余白領域に埋め込まれたスーパーインポーズの対象となる補助画像と、を含む矩形の統合画像を、時系列的に連続する複数nフレーム分だけ含んだ動画データファイルを入力する動画ファイル入力部と、
複数nフレームの統合画像をデジタルデータとして格納する統合画像格納部と、
閲覧者から与えられる指示に基づいて、各時点で提示すべき提示対象フレームを決定する提示対象フレーム決定部と、
閲覧者から与えられる指示に基づいて、視線方向を決定する視線方向決定部と、
提示対象フレームの統合画像に包含されている歪曲円形画像から、視線方向に応じて定まる表示対象部分画像を切り出し、これを正則矩形画像に変換する画像変換部と、
提示対象フレームの統合画像の余白領域から補助画像を抽出する補助画像抽出部と、
正則矩形画像に補助画像を重畳して、表示用画像を作成する画像重畳部と、
作成された表示用画像をデジタルデータとして格納する表示用画像格納部と、
ディスプレイ装置に対して表示用画像を出力し、これを表示させる画像表示部と、
を設けるようにしたものである。
【0030】
(14) 本発明の第14の態様は、上述した第13の態様に係る画像表示装置において、
提示対象フレーム決定部が、複数nフレームの中の所定フレームから昇順に提示対象フレームを決定してゆく順送りモードと、複数nフレームの中の所定フレームから降順に提示対象フレームを決定してゆく逆送りモードと、所定時間だけ同一のフレームを継続して提示対象フレームとする一時停止モードと、のうち、閲覧者からの指示に基づいて、いずれか1つのモードを採用するようにしたものである。
【0031】
(15) 本発明の第15の態様は、上述した第12〜第14の態様に係る画像表示装置において、
統合画像入力部もしくは動画ファイル入力部が、補助画像を構成する複数の分割画像をそれぞれ余白領域内の異なる箇所に埋め込んだ統合画像もしくはそのような統合画像からなる動画データファイルを入力し、
補助画像抽出部が、余白領域から抽出した複数の分割画像を組み立てて元の補助画像を復元するようにしたものである。
【0032】
(16) 本発明の第16の態様は、上述した第15の態様に係る画像表示装置において、
統合画像入力部もしくは動画ファイル入力部が、歪曲円形画像の中心位置と統合画像の中心位置とが一致し、かつ、矩形の補助画像を縦方向に2等分、横方向に2等分することにより得られる矩形の分割画像が、4隅に埋め込まれている統合画像もしくはそのような統合画像からなる動画データファイルを入力し、
補助画像抽出部が、矩形の分割画像を縦横に隣接配置することにより元の補助画像を復元するようにしたものである。
【0033】
(17) 本発明の第17の態様は、上述した第12〜第16の態様に係る画像表示装置を、所定のプログラムを組み込んだコンピュータにより構成するようにしたものである。
【発明の効果】
【0034】
本発明では、全方位カメラなどの広角撮影装置によって撮影された画像が、「歪曲円形画像を包含する矩形の撮影画像」になる点を利用して、この撮影画像の中の歪曲円形画像を構成する部分以外の余白領域に、補助画像を埋め込む処理が行われる。このような埋込処理により作成される統合画像は、形式上は1枚の矩形画像であるため、映像コンテンツとして様々な流通過程で配布する場合にも、その取り扱いは非常に簡便になる。一方、この映像コンテンツの再生時には、閲覧者が指定した視線方向に基づいて、歪曲円形画像から所定の表示対象部分画像を切り出し、これを正則矩形画像に変換した後、余白領域から補助画像を抽出し、これを正則矩形画像に重畳して表示用画像を作成すればよい。そうすれば、閲覧者が指定した視線方向がどの方向であっても、補助情報の表示を行うことができる。無駄な余白領域を有効活用して補助情報を埋め込むことができるため、非常に効率的な情報付加が可能になる。このように、本発明によれば、閲覧者の視線方向にかかわらず、広角撮影装置によって撮影された画像に、単純かつ効率的に補助情報をスーパーインポーズして表示することができる。
【0035】
本発明は、特に、動画の映像コンテンツに利用すると効果的である。動画は、1枚の静止画を1フレームとして、複数フレームを時系列的に並べることによって構成することができる。したがって、個々のフレーム単位で、「歪曲円形画像を包含する矩形の撮影画像」に補助画像を埋め込む処理を行えばよい。こうして作成された動画の映像コンテンツは、形式上は、1つの動画データファイルによって構成されているため、取り扱いは非常に簡便である。しかも、再生時には、個々のフレーム単位で、歪曲円形画像からの表示対象部分画像の切り出し、正則矩形画像への変換、余白領域からの補助画像の抽出、正則矩形画像への重畳という処理を行えばよいので、同期をとる処理は非常に簡単になる。閲覧者は、動画を順送りモードで閲覧したり、逆送りモードで閲覧したり、一時停止モードで閲覧したりすることができるが、どのようなモードで閲覧した場合にも、同一フレーム内に埋め込まれていた補助情報がスーパーインポーズされることになる。
【0036】
なお、余白領域は、通常、撮影画像上の複数の部分に分散して配置されているので、実用上は、補助画像を複数の分割画像に分割し、それぞれを分散配置された余白領域に埋め込むようにすると、全余白領域を有効利用することができる。特に、中心に歪曲円形画像が配置される一般的な撮影画像の場合は、矩形の補助画像を縦方向に2等分、横方向に2等分することにより、合計4つの矩形の分割画像を作成し、これらの分割画像を、それぞれ撮影画像の4隅に埋め込むようにすると、撮影画像の4隅の余白領域を利用して、極めて効率的な埋め込みが可能になる。
【図面の簡単な説明】
【0037】
【図1】魚眼レンズを用いた一般的な広角撮影装置10による定点監視映像の撮影形態を示す側面図である。
【図2】図1に示す広角撮影装置10を用いた撮影によって得られる歪曲円形画像Dの一例を示す平面図である。
【図3】魚眼レンズを用いた一般的な広角撮影装置10による街頭走行映像の撮影形態を示す側面図である。
【図4】図3に示す広角撮影装置10を用いた撮影によって得られる歪曲円形画像Dの一例を示す平面図である。
【図5】図4に示す歪曲円形画像Dの一部から表示対象部分画像Eを切り出す様子を示す平面図である。
【図6】図5に示す表示対象部分画像Eを変換することにより得られる正則矩形画像Tを示す平面図である。
【図7】図6に示す正則矩形画像Tにテロップをスーパーインポーズして得られる表示用画像のバリエーションを示す平面図である。
【図8】閲覧時にスーパーインポーズする従来の一般的な方法を示す平面図である。
【図9】図6に示す正則矩形画像Tにテロップをスーパーインポーズして得られる表示用画像の別なバリエーションを示す平面図である。
【図10】魚眼レンズを用いた一般的な広角撮影装置によって得られる撮影画像Pの一例を示す平面図である。
【図11】図10に示す撮影画像Pの四隅に図9に示す補助画像Aを四分割して埋め込むことにより、統合画像Cを作成した状態を示す平面図である。
【図12】図11に示す総合画像Cに基づいて、表示用画像Sを作成するプロセスを示す平面図である。
【図13】本発明による動画の映像コンテンツの再生方法を示す平面図である。
【図14】本発明による広角撮影画像の表示方法の手順を示す流れ図である。
【図15】本発明による広角撮影画像の動画を表示する方法の手順を示す流れ図である。
【図16】本発明に係る画像合成装置の基本構成を示すブロック図である。
【図17】本発明に係る画像表示装置の基本構成を示すブロック図である。
【図18】本発明に係る動画用画像表示装置の基本構成を示すブロック図である。
【発明を実施するための形態】
【0038】
以下、本発明を図示する実施形態に基づいて説明する。
【0039】
<<< §1.広角撮影装置によって撮影された画像の特徴 >>>
はじめに、全方位カメラと呼ばれている広角撮影装置によって撮影された画像の一般的な特徴を説明する。前述したように、現在利用されている広角撮影装置は、光学系として魚眼レンズもしくは全方位ミラーを採用しており、半球状の視界に入る外景を円形画像として撮影することができる。
【0040】
図1は、魚眼レンズを用いた一般的な広角撮影装置10による定点監視映像の撮影形態を示す側面図である。この例では、監視カメラとして機能する広角撮影装置10を建物20の外壁に取り付け、街路の様子を撮影する一形態が示されている。図2は、図1に示す広角撮影装置10を用いた撮影によって得られる円形画像の一例を示す平面図である。魚眼レンズを用いた広角撮影装置10では、半球状の視界に入る外景が撮影されるため、図1に示す例の場合、建物20の左側の壁面より左方に位置する外景が撮影範囲に入り、鉛直方向を向いた撮像面に像が形成される。
【0041】
図2に示すように、横方向にX軸、縦方向にY軸をとり、二次元XY座標系を定義した場合、魚眼レンズを用いた撮影(全方位ミラーを用いた撮影でも同様)によって得られる画像は、XY平面上に配置された平面的な画像になる。しかしながら、半球状の視界に入る外景全体をそのまま平面画像に収めることはできないので、得られる円形の撮影画像は、歪みを生じた歪曲円形画像Dになる。
【0042】
一方、図3は、魚眼レンズを用いた一般的な広角撮影装置10による街頭走行映像の撮影形態を示す側面図である。図示の例の場合、広角撮影装置10は、撮影車両30の屋根に取り付けられ、この取り付け面より上方に位置する半球状の視界に入る外景の像が、水平方向を向いた撮像面上に得られる。撮影車両30を街頭で走行させながら、広角撮影装置10を用いて動画を撮影するようにすれば、任意の方向に視線を向けながら街頭を移動する映像コンテンツを作成することができる。
【0043】
図4は、図3に示す広角撮影装置10を用いた撮影によって得られる歪曲円形画像Dの一例を示す平面図である。得られる画像は、やはりXY平面上に配置された平面的な画像になるが、その実体は歪みを生じた歪曲円形画像Dである。図示の例の場合、XY座標系の原点O(歪曲円形画像Dの中心点)は、広角撮影装置10の中心を通る鉛直線に相当し、当該鉛直線を中心軸として、周囲360°の外景を示す画像が、1枚の歪曲円形画像D内に収められている。
【0044】
図2や図4に示すような歪曲円形画像Dは、芸術写真などの用途にはそのまま利用することが可能であるが、一般的な用途では、そのまま表示すると不適当な歪んだ画像と言わざるを得ない。そこで、通常は、閲覧者に対して提示するため、この歪曲円形画像Dの一部分を切り出して、正則矩形画像に変換する処理が行われる。切出対象となる部分は、広角撮影装置10から半球状の外景を望んだ場合の視線方向に応じて定められる。たとえば、広角撮影装置10の撮像面の中心点から半球状の視界の特定方向へ向かうベクトルとして視線ベクトルを定義すると、この視線ベクトルの向き(方位角および仰角)によって視線方向を定義することができる。
【0045】
ここでは、図4に示す歪曲円形画像Dについて、通行人の女性の顔面に視線を向けた表示を行う具体的な例を考えてみる。この場合、図5に示すように、歪曲円形画像Dの一部から、女性の顔面に対応する表示対象部分画像Eが切り出される(図が繁雑になるのを避けるため、図5では、女性の画像を原点Oから若干離して描いてある)。ここで、女性の顔面にX印で示されている点Qは、切り出し位置を示す指標であり、視線ベクトルと外景(この例では女性顔面)との交点として与えられる点である。図示のように、切り出される部分画像Eの外形は扇形になるが、これは正則画像に変換した場合に、矩形の画像が得られるように、必要な領域を切り出したためである。
【0046】
図6は、図5に示す扇形の表示対象部分画像Eを変換することにより得られる正則矩形画像Tを示す平面図である。図5に示す部分画像Eは、歪曲円形画像Dの一部であるため歪みを生じているが、図6に示す正則矩形画像Tは、この歪みを補正した画像になっている。この正則矩形画像Tは、横方向の幅a、縦方向の幅bをもった矩形状の画像であり、その中心に切出位置指標Qが位置している。逆言すれば、視線ベクトルの向きによって指定された切出位置指標Qを中心として、その周囲の所定範囲内の画像を、縦横a×bの寸法をもった正則矩形画像Tとして表示するために必要な部分が、歪曲円形画像D上において、表示対象部分画像Eとして切り出されることになる。
【0047】
図6の正則矩形画像Tは、切出位置指標Qを原点とする二次元UV座標系上に定義された画像であり、図示の例の場合、図の右方向にU軸、図の下方向にV軸が定義されている。一方、歪曲円形画像D上では、図5に示すように、二次元XY座標系の原点Oから切出位置指標Qに向かう方向がV軸方向であり、切出位置指標Qを通り原点Oを中心とする円の円周方向がU軸方向になる。結局、表示対象部分画像Eを正則矩形画像Tに変換する処理は、二次元XY座標系上に定義された画像を、二次元UV座標系上に定義された画像に変換する処理ということになる。
【0048】
このような座標変換を行う方法は、公知の技術であるため、ここでは詳しい説明は省略するが、その基本原理は、UV座標系上の座標点(u,v)とXY座標系上の座標点(x,y)との間の対応関係を示す関数「(x,y)=f(u,v)」を用いて、正則矩形画像T上の任意の座標点(u,v)に対応する座標点(x,y)を求め、座標点(u,v)に位置する画素に、対応する座標点(x,y)に位置する歪曲円形画像D上の画素のもつ画素値を与える処理ということになる。
【0049】
ここで、上記関数fは、視線ベクトルの方向(具体的には、歪曲円形画像D上における切出位置指標Qの位置)と倍率mとをパラメータとして、幾何学的に決定することができる(具体的な関数については、たとえば、前掲の特許文献1,2等に開示されている)。倍率mは、図6に示す正則矩形画像Tの表示倍率を示すパラメータであり、mを大きく設定すればするほど、歪曲円形画像D上の表示対象部分画像Eの領域は小さくなり、より拡大表示されることになる。したがって、閲覧者は、切出位置指標Qにより「歪曲円形画像Dのどの部分を表示させるか」を指定することができ、倍率mにより「切出位置指標Qの周辺の画像をどの程度の拡大倍率で表示させるか」を指定することができる。
【0050】
<<< §2.従来の一般的なスーパーインポーズ方法 >>>
続いて、§1で述べた広角撮影装置によって撮影された画像に対して、従来の一般的なスーパーインポーズ方法を適用し、正則矩形画像Tにテロップを挿入する方法を述べる。ここでは、図6に示す正則矩形画像Tの右側に「丸の内のOLさん」なる文字列からなるテロップをスーパーインポーズすることにより、図7(a) に示すような表示用画像Saを作成する例を考えてみる。
【0051】
最もシンプルなスーパーインポーズ方法は、編集段階において、図4に示す歪曲円形画像D自体に、必要な情報を合成してしまう方法である。具体的には、図4に示す歪曲円形画像Dにおける女性の顔面の右隣の領域に、上記テロップを構成する文字列を挿入する編集を施せばよい。ただ、挿入したテロップは、再生時に表示対象部分画像E内の情報として切り出され、正則矩形画像T上に変換されることになるので、このような変換処理を経たときに正常な文字として表示されるように、予め歪曲させた状態で挿入しておく必要がある。
【0052】
このようなスーパーインポーズ方法を採れば、テロップの情報は歪曲円形画像Dの一部として融合した状態になるので、再生時には、特別な合成処理を行う必要はない。すなわち、女性の位置を視線方向とする表示を行えば、それだけで図7(a) に示すような表示用画像Saが得られることになる。ただ、撮影された被写体とテロップとの位置関係は固定されてしまうため、表示されている画像上で、たとえば、視線方向を右へ移動した場合(図4に示す歪曲円形画像D上で反時計まわりに移動した場合)、図7(b) の表示用画像Sbや図7(c) の表示用画像Scのように、女性の画像とともにテロップも移動してゆくことになる。
【0053】
もちろん、この例のように、テロップが特定の被写体と密接に結びついた情報である場合には、このようなスーパーインポーズ方法を採っても問題はない。しかしながら、閲覧者の視線方向にかかわらず、表示用画像上に常に提示すべき情報については、上記方法は採用できない。編集段階では、再生時に閲覧者が指定する視線方向を予測することができないので、視線方向にかかわらず常に提示すべき情報については、閲覧時にスーパーインポーズする方法を採らざるを得ない。
【0054】
図8は、閲覧時にスーパーインポーズする従来の一般的な方法を示す平面図である。この方法では、広角撮影装置10によって撮影された歪曲円形画像Dとは別個に、スーパーインポーズの対象となる情報を補助画像Aとして別個に用意しておく。図示の例では、補助画像Aは、正則矩形画像Tと同じサイズの矩形画像であり、右側に「秋の丸の内散策」なる文字列からなるテロップ、左上に「RUPO」なるマーク、左下に「落ち葉」のイラストが配されている。このような補助画像Aを別個に用意しておけば、閲覧者が指定した視線方向がどのようなものであっても、指定された視線方向に応じた表示対象部分画像Eを歪曲円形画像Dから切り出し、これを正則矩形画像Tに変換した上で、その上に補助画像Aを重畳する合成処理を行い、たとえば、図9(a) 〜(c) に示すようなスーパーインポーズ後の表示用画像Sd〜Sfを得ることができる。
【0055】
しかしながら、この方法では、歪曲円形画像Dを含むデータファイルとは別個に、補助画像Aを含むデータファイルが必要になるため、データの取り扱いが繁雑になるという問題がある点は、既に述べたとおりである。特に、動画を取り扱う場合には、2つのファイルから読み出したデータを、フレーム単位で同期をとりながら合成する技術が必要になる。
【0056】
<<< §3.本発明の基本概念 >>>
本発明は、§2で述べた弊害を克服するためになされたものであり、閲覧者の視線方向にかかわらず、広角撮影装置によって撮影された画像に、単純かつ効率的に補助情報をスーパーインポーズして表示できるようにする新規な技術を提案するものである。以下、その基本概念を説明する。
【0057】
§1では、魚眼レンズや全方位ミラーを装着した広角撮影装置10を用いた撮影を行うと、図2および図4に例示したような歪曲円形画像Dが得られることを説明した。ただ、実際に広角撮影装置10から出力される撮影画像は、図10に示すように、歪曲円形画像Dを包含する矩形の撮影画像Pになる。これは、光学系として魚眼レンズや全方位ミラーを用いることにより撮像面に歪曲円形画像Dが結像したとしても、撮像素子の撮像面自体は矩形であるため、広角撮影装置10から出力される撮影画像Pは、矩形の画像になるためである。
【0058】
図10に示す例では、横方向のサイズがa、縦方向のサイズがbの長方形の撮像面を有する撮像素子から出力された撮影画像Pが示されている。撮像面には、縦横に所定ピッチで受光素子がマトリックス状に配列されており、各受光素子からは、それぞれ受光量に応じた信号が出力される。したがって、得られる撮影画像Pも、縦横に所定ピッチで画素がマトリックス状に配列されたものになり、個々の画素にはそれぞれ所定の画素値が定義される。ただ、この矩形の撮像面のうち、魚眼レンズや全方位ミラーによって集光された光を受ける円形の領域内の受光素子についてのみ有意な信号が出力されるので、得られる矩形の撮影画像Pのうち、歪曲円形画像Dの内部の画素についてのみ、有意な画素値が定義されることになる。
【0059】
結局、広角撮影装置10から得られる実際の撮影画像Pは、有意な情報を含んだ歪曲円形画像Dの部分と、その外側の余白領域B(図10では、ハッチングを施して示す)の部分と、によって構成される矩形の画像ということになる。最近の映像コンテンツでは、寸法比a/bを比較的大きく設定した横長の画面が好まれる傾向にあり、図10に示すように、そのような横長の画面用の撮像素子を用いて撮影した場合は、左右の余白領域はかなりの面積を占めることになる。また、図示の例の場合、歪曲円形画像Dの半径をrとすると、撮影画像Pの縦方向のサイズbが、b=2×rに設定されているため、歪曲円形画像Dの上下に位置する余白領域は最小限に抑えられているが、b>2×rに設定されている撮影装置の場合、上下にも、より大きな余白領域が形成されることになる。
【0060】
この余白領域Bは、有意な情報を含まない無駄な領域ということになるので、理論的には、余白領域Bが生じないようにするのが好ましい。しかしながら、そのためには、円形の撮像面を有する特別な撮像素子を用いる必要がある。そのような特殊な撮像素子は、用途が限定されるため、量産してもコストが商業的に見合わないので、少なくとも量産型の工業製品としては供給されていない。したがって、市販の広角撮影装置10は、歪曲円形画像Dを撮影する装置でありながら、撮像素子としては、矩形の撮像面を有する一般的な素子を利用せざるを得ないのであり、必然的に、得られる撮影画像Pは、余白領域Bを有する矩形の画像になる。
【0061】
本発明の基本概念は、このような特殊事情、すなわち、広角撮影装置10によって撮影された画像が、「歪曲円形画像Dを包含する矩形の撮影画像P」になる点を利用して、この撮影画像Pの中の歪曲円形画像Dを構成する部分以外の余白領域Bに、補助画像Aを埋め込むという着想にある。図11は、図10に示す撮影画像Pの四隅に、図8に示す補助画像Aを四分割して埋め込むことにより、統合画像Cを作成した状態を示す平面図である。すなわち、図8に示す補助画像Aは、縦方向に2等分、横方向に2等分され、合計4つの矩形の分割画像α,β,γ,δに分解され、それぞれ、図10に示す撮影画像Pの左上,右上,左下,右下の余白領域Bに埋め込まれている。
【0062】
分割画像α,β,γ,δが埋め込まれた四隅の領域は、もともと有意な情報を含まない余白領域Bであり、このような埋め込み処理を行っても、有意な情報を含む歪曲円形画像Dに何ら変わりはない。しかも、こうして作成された統合画像Cは、形式上は1枚の矩形画像であるため、1つの画像ファイルとして取り扱うことができ、映像コンテンツとして様々な流通過程で配布する場合にも、その取り扱いは非常に便利である。
【0063】
一方、こうして作成された統合画像Cを再生する際には、図12に示すプロセスを行えばよい。すなわち、まず、閲覧者が指定した視線方向に基づいて、歪曲円形画像Dから所定の表示対象部分画像Eを切り出し、これを変換して正則矩形画像Tを作成する。一方、統合画像Cの四隅から4枚の分割画像α,β,γ,δを切り出し、これらを組立てて元の補助画像Aを復元する。そして最後に、復元した補助画像Aを正則矩形画像Tに重畳することにより、表示用画像Sを合成すればよい。
【0064】
このような方法を採れば、閲覧者が指定した視線方向がどの方向であっても、常に、補助画像Aを重畳した画像を提示することができ、広角撮影装置10によって撮影された画像に、単純かつ効率的に補助情報をスーパーインポーズして表示することができるようになる。
【0065】
<<< §4.動画の映像コンテンツへの応用 >>>
§3では、図12を参照して、1枚の撮影画像Pに補助画像Aを埋め込むことにより、1枚の統合画像Cを作成し、これを再生することにより、1枚の表示用画像S(スーパーインポーズされた画像)を提示する例を述べた。このような1枚の画像を1フレームとして、複数nフレームの画像を時系列的に並べるようにすれば、動画の映像コンテンツを提示することが可能になる。本発明は、特に、動画の映像コンテンツに利用すると効果的である。
【0066】
図13は、本発明による動画の映像コンテンツの再生方法を示す平面図である。図の左側に一点鎖線で囲って示す部分が、動画の映像コンテンツを構成する動画データファイルMであり、図の縦方向が時系列の方向、すなわち、時間の流れを示している。図示のとおり、動画データファイルMは、時系列の順序に従って、第1番目のフレームF1,第2番目のフレームF2,...,第i番目のフレームFi,...,第n番目のフレームFnという合計nフレームの画像から構成されている。
【0067】
これら個々のフレームの画像は、いずれも図12の上段に示す統合画像Cであり、動画データファイルMの実体は、n枚の統合画像C1,C2,...,Ci,...,Cnの集合体ということになる。このような動画データファイルMを作成するには、個々のフレーム単位で、「歪曲円形画像Dを包含する矩形の撮影画像P」に補助画像Aを埋め込む処理を行えばよい。個々の統合画像Cは、形式上は単なる矩形画像であるから、動画データファイルMは、n枚の矩形画像の集合体であり、たとえば、MPEG形式の画像ファイルによって構成することができる。したがって、Webページなどを利用してインターネット経由で配信する場合でも、特別な配布形態を採る必要はなく、一般的な動画データファイルと同様の方法で配信することが可能である。このように、本発明に係る動画の映像コンテンツは、形式上は、1つの動画データファイルMによって構成されているため、取り扱いは非常に簡便である。
【0068】
このような動画データファイルMを再生するには、個々のフレーム単位で、図12に示すプロセスを実行すればよい。たとえば、時系列に従って、第1番目のフレームF1から順次再生を行う場合であれば、まず、図13の最上段に示すとおり、統合画像C1内の歪曲円形画像から、その時点で指定された視線方向に応じた表示対象部分画像E1を切り出し、これを正則矩形画像T1へ変換する。一方、余白領域から抽出した4枚の分割画像α,β,γ,δを組み立てて補助画像A1を復元し、これを正則矩形画像T1に重畳して、スーパーインポーズした表示用画像S1を作成すればよい。
【0069】
続いて、図13の2段目に示すとおり、第2番目のフレームF2についての処理を行う。すなわち、統合画像C2内の歪曲円形画像から、その時点で指定された視線方向に応じた表示対象部分画像E2を切り出し、これを正則矩形画像T2へ変換する。一方、余白領域から抽出した4枚の分割画像α,β,γ,δを組み立てて補助画像A2を復元し、これを正則矩形画像T2に重畳して、スーパーインポーズした表示用画像S2を作成すればよい。このような処理を、図13の最下段に示す第n番目のフレームFnまで繰り返し実行すれば、時系列に沿った順方向の動画提示が可能になる。
【0070】
要するに、第i番目のフレームFiについての処理は、統合画像Ci内の歪曲円形画像から、その時点で指定された視線方向に応じた表示対象部分画像Eiを切り出し、これを正則矩形画像Tiへ変換するとともに、余白領域から抽出した4枚の分割画像α,β,γ,δを組み立てて補助画像Aiを復元し、これを正則矩形画像Tiに重畳して、スーパーインポーズした表示用画像Siを作成すればよい。
【0071】
なお、実用上は、時系列に沿った順方向の動画提示だけでなく、逆方向の動画提示や、一時停止などを行う機能を設けておくのが好ましい。順方向の動画提示を行う場合は、第i番目のフレームFiを提示した後には、第(i+1)番目のフレームF(i+1)を提示すればよく、逆方向の動画提示を行う場合は、第i番目のフレームFiを提示した後には、第(i−1)番目のフレームF(i−1)を提示すればよい。また、一時停止する場合は、第i番目のフレームFiを提示し続ければよい。
【0072】
どのような提示を行うにせよ、同一のフレーム内に埋め込まれていた補助情報Aをスーパーインポーズすればよいので、同期をとる処理は非常に簡単である。また、途中で閲覧者が視線方向を変えた場合、常にその時点で指示されている視線方向に応じて表示対象部分画像Eiの切り出しが行われるので、動画再生中でもリアルタイムで視線変更が可能になる。しかも、どのような視線方向を指定したとしても、常に、当該フレームに対応する補助画像Aがスーパーインポーズされることになる。
【0073】
<<< §5.本発明に係る広角撮影画像の表示方法の手順 >>>
図14は、これまで述べた本発明の基本概念に従って、広角撮影装置によって撮影された画像に補助画像をスーパーインポーズして表示する方法の手順を示す流れ図である。図示のとおり、この手順は、ステップS11〜S13の前半段階(統合画像Cを作成するための手順)と、ステップS21〜S25の後半段階(作成した統合画像Cに基づいてスーパーインポーズ画像を表示するための手順)と、によって構成される。いずれの手順も、実用上は、所定のプログラムをインストールしたコンピュータによって実行される。
【0074】
まず、ステップS11では、コンピュータが、広角撮影装置10によって撮影された「歪曲円形画像Dを包含する矩形の撮影画像P」を取り込む撮影画像取込段階が行われる。具体的には、§3で述べたとおり、魚眼レンズや全方位ミラーを装着した広角撮影装置10を用いた撮影により、図10に示すような矩形状の撮影画像Pがデジタルデータ(縦横マトリックス状に配列された多数の画素の画素値を示すデータ)としてコンピュータに取り込まれることになる。この時点では、歪曲円形画像Dの外側に位置する余白領域Bには、有意な画素値は定義されていない(実際には、16進数の「00」や「FF」などの何らかの画素値が定義されているが、余白領域B内の画素のもつ画素値は、意味のある画像を示すものではない)。
【0075】
続くステップS12では、コンピュータが、スーパーインポーズの対象となる補助画像Aを取り込む補助画像取込段階が実行される。具体的には、たとえば、図8に示すような補助画像Aがデジタルデータとしてコンピュータに取り込まれる。実用上は、後半段階のステップS23で得られる正則矩形画像Tと同じサイズの矩形の補助画像Aを用意しておくのが好ましい。
【0076】
そして、ステップS13では、コンピュータが、図10に示すような撮影画像Pの中の歪曲円形画像Dを構成する部分以外の余白領域Bに、補助画像Aを埋め込むことにより、図11に示すような統合画像Cを作成し、これを出力する統合画像作成段階が行われる。このとき、補助画像Aを複数の分割画像に分割し、個々の分割画像をそれぞれ余白領域B内の所定箇所に埋め込むようにするのが好ましい。
【0077】
特に、ステップS11の撮影画像取込段階で、図10に示すように、撮影画像Pの中心位置と歪曲円形画像Dの中心位置とが一致するような矩形の撮影画像Pを取り込み、ステップS12の補助画像取込段階で、矩形の補助画像Aを取り込んだ場合、補助画像Aを縦方向に2等分、横方向に2等分することにより、合計4つの矩形の分割画像α,β,γ,δを作成し、これらの分割画像を、それぞれ撮影画像Pの4隅に埋め込むようにすると、撮影画像Pの4隅に形成された余白領域Bを有効利用した効率的な埋め込みが可能になる。
【0078】
前述したとおり、余白領域Bを構成する画素にも、16進数の「00」や「FF」などの何らかの無意味な画素値が定義されているが、ステップS13で行う補助画像Aの埋め込み処理は、この余白領域Bを構成する画素の無意味な画素値を、補助画像Aを構成する画素の有意な画素値に書き換える処理ということになる。
【0079】
こうして、補助画像Aの埋め込み処理が完了すれば、図11に示すような統合画像Cが作成される。この統合画像Cは、形式的には単なる矩形の画像を示す1つの画像データファイルによって構成できる。前半段階の処理は、この統合画像Cを構成する画像データファイルを作成するための処理である。
【0080】
次に、後半段階の処理を説明する。この処理は、統合画像Cに基づいてスーパーインポーズ画像Sを表示する処理である。まず、ステップS21では、コンピュータが、統合画像Cを取り込む統合画像取込段階が行われる。具体的には、図12の上段に示すような統合画像Cがデジタルデータとしてコンピュータに取り込まれることになる。
【0081】
続いて、ステップS22では、コンピュータが、閲覧者から与えられる指示に基づいて、視線方向を決定する視線方向決定段階が行われる。視線方向は、図5に示す切出位置指標Qを決定するパラメータであり、視線方向の決定は、実質的に、歪曲円形画像D上で切出位置指標Qを決定することと等価である。したがって、たとえば、ディスプレイ装置の表示画面の一部を利用して、閲覧者に、図4に示すような歪曲円形画像Dを提示し、マウスクリックなどの操作で、この歪曲円形画像D上の1点を切出位置指標Qとして指定する作業を行ってもらえば、視線方向を決定することが可能である。
【0082】
もちろん、閲覧者から与えられる指示に基づいて、視線方向を決定する具体的な方法としては、この他にも様々な方法を採ることが可能である。たとえば、図4に示すような歪曲円形画像Dを撮影する際に、Y軸正方向が北、X軸正方向が東になるようにする、といった取り決めをしておき、再生時には、東西南北を示す方位指標をディスプレイ画面の一部に表示し、閲覧者が指定した方位に基づいて、切出位置指標Qの位置を決めるような方法を採ることも可能である。
【0083】
続くステップS23では、コンピュータが、ステップS21で取り込んだ統合画像Cに包含されている歪曲円形画像Dから、ステップS22で決定した視線方向に応じて定まる表示対象部分画像Eを切り出し、これを正則矩形画像Tに変換する画像変換段階が行われる。このような画像変換段階の具体的な処理は、前掲の特許文献1,2等に記載されている公知の技術である。
【0084】
一方、ステップS24では、コンピュータが、ステップS21で取り込んだ統合画像Cの余白領域Bから補助画像Aを抽出し、これをステップS23の変換で得られた正則矩形画像Tに重畳して、表示用画像Sを作成する画像重畳段階が行われる。図12に示す例の場合、補助画像Aは4つに分割され、分割画像α,β,γ,δとして埋め込まれているので、画像重畳段階では、抽出した複数の分割画像α,β,γ,δを組み立てて元の補助画像Aを復元した後、これを正則矩形画像Tに重畳する処理が行われる。
【0085】
最後のステップS25では、コンピュータが、ディスプレイ装置に対して、ステップS24で作成した表示用画像Sを出力し、これを表示させる画像表示段階が行われる。かくして、ディスプレイ装置の画面上には、図12の下段に示すような表示用画像Sが表示され、閲覧者に提示されることになる。この表示用画像Sは、元の撮影画像Pの一部に、補助画像Aをスーパーインポーズした画像である。
【0086】
なお、必要があれば、ステップS25からステップS22へ戻り、新たな視線方向に基づいて、新たな表示用画像Sを表示できるようにしてもかまわない。たとえば、図9(a) に示す表示用画像Sdが表示されている状態において、閲覧者が、視線を右方向に移動する指示を与えた場合、ステップS22において、新たな視線方向が決定され、ステップS23〜S25の手順を再び実行し、図9(b) に示すような表示用画像Seを提示することができる。同様に、この図9(b) に示す表示用画像Seが表示されている状態において、閲覧者が、視線を更に右方向に移動する指示を与えた場合、ステップS22において、更に新たな視線方向が決定され、ステップS23〜S25の手順を再び実行し、図9(c) に示すような表示用画像Sfを提示することができる。
【0087】
また、これまでの例は、表示用画像Sの表示倍率mを固定値とする運用例であるが、ステップS22において、閲覧者から与えられる指示に基づいて、視線方向を決定するとともに、表示倍率mを決定するようにすれば、閲覧者が希望する倍率をもった表示用画像Sを提示することができる。§1で述べたとおり、倍率mは、表示対象部分画像Eの大きさを決めるパラメータであり、ステップS23の画像変換段階で利用する画像変換式の1パラメータになる。ここで、倍率mを大きく設定すればするほど、歪曲円形画像Dから切り出される表示対象部分画像Eの領域は小さくなり、最終的に、表示用画像S上での画像の拡大倍率が大きくなる。
【0088】
続いて、図15の流れ図を参照しながら、本発明を動画に適用した場合の手順を説明する。図15に示す流れ図の各ステップは、図14に示す流れ図に、更に、ステップS26,S27を付加したものである。図15に示す前半段階のステップS11′〜S13′は、図14に示す前半段階のステップS11〜S13と実質的には同じ処理を行う段階であるが、動画を構成する複数nフレーム分についての処理を行う点が異なっている。
【0089】
具体的には、ステップS11′では、コンピュータが、広角撮影装置10によって撮影された「歪曲円形画像Dを包含する矩形の撮影画像P」を1フレームとして、時系列的に連続する複数nフレームの撮影画像P1〜Pnを動画として取り込む撮影画像取込段階が行われ、ステップS12′では、コンピュータが、複数nフレームの各撮影画像P1〜Pnにスーパーインポーズするための複数nフレームの補助画像A1〜Anを取り込む補助画像取込段階が行われる。
【0090】
また、ステップS13′では、コンピュータが、第i番目(i=1,2,...,n)のフレームの撮影画像Piの中の歪曲円形画像Diを構成する部分以外の余白領域に、第i番目のフレームの補助画像Aiを埋め込むことにより第i番目のフレームの統合画像Ciを作成する処理を、i=1〜nまで繰り返し実行することにより、複数nフレームの統合画像C1〜Cnを作成し、これを図13に示すような動画データファイルMとして出力する統合画像作成段階が行われる。この動画データファイルMは、たとえば、MPEG形式の一般的な動画データファイルとして配信することが可能である。
【0091】
一方、後半段階では、まず、ステップS21において、コンピュータが、動画データファイルMとして与えられた複数nフレームの統合画像C1〜Cnを取り込む統合画像取込段階が行われる。そして、時間軸上に所定間隔で設定された各時点(たとえば、1/30sec周期で設定された時点)について、以下の処理が繰り返し実行される。
【0092】
まず、ステップS26において、コンピュータが、時間軸上に所定間隔で設定された各時点について、提示対象フレームを決定する提示対象フレーム決定段階が行われる。ここでは、第i番目のフレームFiが提示対象フレームとして決定されたものとして、以下の説明を行うことにする。以下のステップS22〜S25では、「第i番目のフレームFiの統合画像Ciを対象とする」という点を除いて、図14に示すステップS22〜S25と全く同じ処理が行われる。
【0093】
すなわち、ステップS22では、コンピュータが、閲覧者から与えられる指示に基づいて、各時点のそれぞれについて視線方向を決定する視線方向決定段階が行われ、ステップS23では、コンピュータが、各時点において、提示対象フレームFiの統合画像Ciに包含されている歪曲円形画像Diから、その時点で決定された視線方向に応じて定まる表示対象部分画像Eiを切り出し、これを正則矩形画像Tiに変換する画像変換段階が行われ、ステップS24では、コンピュータが、各時点において、提示対象フレームFiの統合画像Ciの余白領域から補助画像Aiを抽出し、これを正則矩形画像Tiに重畳して、表示用画像Siを作成する画像重畳段階が行われ、ステップS25では、コンピュータが、各時点において、ディスプレイ装置に対して表示用画像Siを出力し、これを表示させる画像表示段階が行われる。
【0094】
続くステップS27では、動画再生処理を終了するか否かが判断され、終了しない場合は、再びステップS26からの処理が実行される。第1番目のフレームF1から第n番目のフレームFnまで、各フレームの画像を昇順に順番に提示してゆく通常の動画再生を行う場合は、ステップS26において、提示対象フレームを、F1,F2,...,Fnと昇順に決定してゆけばよい。そして、ステップS27では、i=nになるまで、ステップS26へ戻る処理を実行すればよい。
【0095】
ただ、実用上は、前述したように、時系列に沿った順方向の動画提示だけでなく、逆方向の動画提示や、一時停止などを行う機能を設けておくのが好ましい。この場合は、ステップS26の提示対象フレーム決定段階で、複数nフレームの中の所定フレームから昇順に提示対象フレームを決定してゆく順送りモードと、複数nフレームの中の所定フレームから降順に提示対象フレームを決定してゆく逆送りモードと、所定時間だけ同一のフレームを継続して提示対象フレームとする一時停止モードと、のうち、閲覧者からの指示に基づいて、いずれか1つのモードを採用するようにし、ステップS27では、閲覧者から再生終了の指示が与えられるまで、ステップS26へ戻る処理を実行するようにすればよい。
【0096】
<<< §6.本発明に係る画像合成装置および画像表示装置の構成 >>>
最後に、本発明に係る画像合成装置および画像表示装置の構成を説明する。図16は、本発明に係る画像合成装置の基本構成を示すブロック図である。この画像合成装置は、図14に示す流れ図における前半段階のプロセスを実行する機能、すなわち、広角撮影画像Pに補助画像Aを合成する処理を行う機能をもった装置である。
【0097】
図16に示すとおり、この画像合成装置は、広角撮影装置50およびデジタル処理装置100によって構成されている。ここで、デジタル処理装置100は、実際には、コンピュータに所定のプログラムを組み込むことにより構成される。一方、広角撮影装置50は光学系52と撮像素子54とを有している。光学系52は、半球状の視野内の外景からの光を集光して結像面に歪曲円形画像Dを生成する構成要素であり、具体的には、魚眼レンズや全方位ミラーなどによって構成されている。一方、撮像素子54は、光学系52の結像面に配置された矩形の撮像面ξをもった素子であり、この撮像面ξには、多数の受光素子が縦横マトリックス状に配列されており、各受光素子からは、受光量に応じた電気信号が出力される。
【0098】
図16には、撮像面ξ上にXY平面を有する二次元XY座標系を定義し、この座標系の原点Oを中心とした位置に、光学系52によって歪曲円形画像Dが結像するモデルが示されている。別言すれば、光学系52によって、撮像面ξの中心位置を中心とする歪曲円形画像Dが形成される。このようなモデルでは、図4に示すように、二次元XY座標系における座標値(x,y)で示される位置に配置された画素の集合体として、歪曲円形画像Dが定義されることになる。もっとも、撮像素子54の撮像面ξは矩形であるので、撮像素子54からは、この矩形の撮像面ξに形成された矩形の撮影画像P(たとえば、図10に示す撮影画像P)が出力されることになる。
【0099】
一方、デジタル処理装置100は、図16に一点鎖線で囲って示すように、撮影画像格納部110,補助画像格納部120,統合画像作成部130,統合画像格納部140,統合画像出力部150によって構成される。
【0100】
ここで、撮影画像格納部110は、広角撮影装置50によって撮影された撮影画像Pをデジタルデータとして格納する構成要素である。図16の撮影画像格納部110のブロック内に示されているとおり、撮影画像Pは、歪曲円形画像Dとその周囲の余白領域Bとによって構成される矩形の画像である。この撮影画像格納部110は、実際には、矩形内に配列された多数の画素の画素値をデータとして格納する記憶装置(ハードディスク装置やメモリなど)によって構成される。
【0101】
一方、補助画像格納部120は、合成対象となる補助画像Aを格納する構成要素である。ここで述べる実施形態の場合、補助画像Aは矩形の画像によって構成されている。したがって、補助画像格納部120も、実際には、矩形内に配列された多数の画素の画素値をデータとして格納する記憶装置(ハードディスク装置やメモリなど)によって構成される。この補助画像Aは、後に、4つの分割画像α,β,γ,δに分割される。図16の補助画像格納部120のブロック内には、説明の便宜上、補助画像を4つの分割画像α,β,γ,δに分割した状態が示されているが、実際には、この時点では、補助画像Aはまだ分割されていない。
【0102】
統合画像作成部130は、撮影画像格納部110内に格納されている撮影画像Pの中の歪曲円形画像Dを構成する部分以外の余白領域Bに、補助画像格納部120に格納されている補助画像Aを埋め込むことにより統合画像Cを作成する処理を行う。ここに示す実施形態の場合、統合画像作成部130は、補助画像Aを複数の分割画像に分割し、個々の分割画像をそれぞれ余白領域B内の所定箇所に埋め込む処理を行う。より具体的には、補助画像Aを縦方向に2等分、横方向に2等分することにより、合計4つの矩形の分割画像α,β,γ,δを作成し、これらの分割画像α,β,γ,δを、それぞれ撮影画像Pの4隅に埋め込む処理が行われる。
【0103】
§5で述べたとおり、この余白領域Bへの埋め込み処理は、実際には、余白領域Bを構成する画素の無意味な画素値を、補助画像Aを構成する画素の有意な画素値に書き換える処理ということになる。なお、余白領域Bに、補助画像Aを埋め込むだけの十分なスペースがない場合には、埋め込み対象となる補助画像A(分割画像α,β,γ,δ)の画素を間引いて縮小する処理を行うようにすればよい。実用上は、予め、埋め込みに適したサイズの補助画像Aを用意するのが好ましい。
【0104】
統合画像格納部140は、統合画像作成部130によって作成された統合画像Cをデジタルデータとして格納する構成要素である。統合画像Cは、撮影画像Pと同じサイズをもった矩形の画像であり、この統合画像格納部140も、実際には、矩形内に配列された多数の画素の画素値をデータとして格納する記憶装置(ハードディスク装置やメモリなど)によって構成される。
【0105】
統合画像出力部150は、この統合画像格納部140に格納されている統合画像Cをデジタルデータとして外部に出力する構成要素である。前述したとおり、この統合画像Cは、一般的な矩形の画像データファイルの形式で出力することができる。また、出力の形態も、CD,DVDなどの物理的な媒体に対する書込処理として行うこともできるし、通信回線を利用した通信や、インターネットなどを利用した配信という形態で行うこともできる。
【0106】
以上、図16を参照しながら、1枚の統合画像Cを合成する画像合成装置の基本構成を述べたが、この画像合成装置の各構成要素に若干の付加機能を追加すれば、動画を構成する映像コンテンツを作成することも可能である。
【0107】
具体的には、まず、広角撮影装置50に、時系列的に連続する複数nフレームの撮影画像P1〜Pnとして動画の撮影を行う機能を設ける。そして、撮影画像格納部110には、この複数nフレームの撮影画像P1〜Pnを格納できるようにする。また、補助画像格納部120には、撮影画像格納部110に格納されている各撮影画像P1〜Pnにスーパーインポーズするための複数nフレームの補助画像A1〜Anを格納できるようにする。
【0108】
一方、統合画像作成部130には、撮影画像格納部110に格納されている第i番目(i=1,2,...,n)のフレームの撮影画像Piの中の歪曲円形画像Diを構成する部分以外の余白領域Biに、補助画像格納部120に格納されている第i番目のフレームの補助画像Aiを埋め込むことにより第i番目のフレームの統合画像Ciを作成する処理を、i=1〜nまで繰り返し実行することにより、複数nフレームの統合画像C1〜Cnを作成する機能をもたせればよい。
【0109】
そして、統合画像格納部140には、統合画像作成部130が作成した複数nフレームの統合画像C1〜Cnを格納する機能をもたせておき、統合画像出力部150には、この複数nフレームの統合画像C1〜Cnを含むファイルを、図13に示すような動画データファイルMとして出力する機能をもたせておけばよい。この動画データファイルMは、前述したとおり、たとえばMPEG形式のファイルのように、一般的な汎用動画ファイルとして出力することができる。
【0110】
なお、統合画像作成部130による埋込処理は、個々のフレームごとに行えばよいので、撮影画像格納部110および補助画像格納部120には、この埋込処理を行う際に必要となるフレームのデータが格納されていれば足りる。したがって、撮影画像格納部110に、複数nフレームの撮影画像P1〜Pnを一括して格納し、補助画像格納部120に、複数nフレームの補助画像A1〜Anを一括して格納しておき、統合画像作成部130により、必要なフレームのデータを順次読み出して埋込処理を行うこともできるし、撮影画像格納部110に、処理対象となる特定のフレームの撮影画像を順次格納してゆき(処理後には削除してよい)、補助画像格納部120に、処理対象となる特定のフレームの補助画像を順次格納してゆき(処理後には削除してよい)、統合画像作成部130により、処理対象となるフレームのデータを順次読み出して埋込処理を行うこともできる。
【0111】
続いて、本発明に係る画像表示装置の構成を説明する。図17は、本発明に係る画像表示装置の基本構成を示すブロック図である。この画像表示装置は、図14に示す流れ図における後半段階のプロセスを実行する機能、すなわち、前半段階のプロセスで作成された統合画像Cに基づいて、広角撮影画像Pに補助画像Aをスーパーインポーズして表示する機能をもった装置である。
【0112】
図17に示すとおり、この画像表示装置は、統合画像入力部210,統合画像格納部220,視線方向決定部230,画像変換部240,補助画像抽出部250,画像重畳部260,表示用画像格納部270,画像表示部280によって構成される。これらの各構成要素からなる画像表示装置は、実際には、コンピュータに所定のプログラムを組み込むことにより構成される。
【0113】
統合画像入力部210は、図16に示す画像合成装置で作成された統合画像Cを入力する構成要素である。ここで、統合画像Cは、既に述べたとおり、広角撮影によって得られる歪曲円形画像Dと、その周囲の余白領域Bに埋め込まれたスーパーインポーズの対象となる補助画像Aと、を含む矩形の画像である。特に、ここで述べる実施形態の場合、補助画像Aは複数の分割画像に分割され、それぞれ余白領域B内の異なる箇所に埋め込まれている。具体的には、歪曲円形画像Dの中心位置と統合画像Cの中心位置とは一致し、かつ、矩形の補助画像Aを縦方向に2等分、横方向に2等分することにより得られる矩形の分割画像α,β,γ,δが、4隅に埋め込まれている。
【0114】
統合画像格納部220は、このような統合画像Cをデジタルデータとして格納する構成要素である。実際には、この統合画像格納部220は、統合画像Cの矩形内に配列された多数の画素の画素値をデータとして格納する記憶装置(ハードディスク装置やメモリなど)によって構成される。
【0115】
視線方向決定部230は、閲覧者から与えられる指示に基づいて、視線方向を決定する構成要素である。§5で述べたとおり、閲覧者に視線方向を指示させる方法としては、様々な方法を採ることができる。たとえば、ディスプレイ装置の表示画面の一部に、図4に示すような歪曲円形画像Dを提示し、閲覧者からのマウスクリックなどの操作入力を受け付けて、この歪曲円形画像D上の1点を切出位置指標Qとして指定させればよい。この場合、閲覧者が指定した切出位置指標Qの位置に基づいて、視線方向を決定することができる。あるいは、予め歪曲円形画像D上で東西南北の方位を定めておき、東西南北を示す方位指標をディスプレイ画面の一部に表示し、閲覧者が指定した方位に基づいて、視線方向を決定することもできる。
【0116】
画像変換部240は、統合画像格納部220内の統合画像Cに包含されている歪曲円形画像Dから、視線方向決定部230が決定した視線方向に応じて定まる表示対象部分画像Eを切り出し、これを正則矩形画像Tに変換する処理を行う。すなわち、切出位置指標Qを中心として所定倍率mの正則矩形画像Tが得られるように、歪曲円形画像Dから必要な領域を表示対象部分画像Eとして切り出し、これを変換する処理が行われる。具体的な変換処理は、図5に示す二次元XY座標系から図6に示す二次元UV座標系への座標変換式に基づいて行うことができる。このような座標変換の方法の詳細は、たとえば、前掲の特許文献1,2等に開示されている。
【0117】
なお、この座標変換によって得られる正則矩形画像Tの倍率mは、予め設定された固定値とすることもできるが(たとえば、35mmフィルム換算の焦点距離50mmのレンズを用いた場合の標準画角(画像の対角でおよそ45°)に対応した倍率に設定しておけばよい)、視線方向決定部230に、閲覧者から倍率mを指定する入力を受け付ける機能を設けておけば、画像変換部240は、閲覧者が指定した任意の倍率の正則矩形画像Tが得られるような画像変換処理を行うことができる。この場合、閲覧者は、自分が指定した任意の倍率で画像を閲覧することができるようになる。
【0118】
補助画像抽出部250は、統合画像格納部220内の統合画像Cの余白領域Bから補助画像Aを抽出する処理を行う構成要素である。ここに示す実施形態の場合、補助画像Aは複数の分割画像として埋め込まれているため、補助画像抽出部250は、各分割画像を抽出した後、これらを組み立てて元の補助画像Aを復元する処理を行う。具体的には、統合画像Cの四隅から、それぞれ矩形の分割画像α,β,γ,δを切り出し、これらを縦横に隣接配置することにより元の補助画像Aを復元することになる。
【0119】
なお、統合画像Cの四隅のどの領域を分割画像として切り出すかは、図16に示す統合画像作成部130による埋込処理の態様に応じて予め定めておけばよい。たとえば、統合画像作成部130によって、縦横サイズがp×qの分割画像α,β,γ,δを四隅に埋め込む処理を行うという標準規格を定めておけば、当該標準規格に合致した統合画像Cについては、四隅から縦横サイズp×qの矩形領域を切り出せば、分割画像α,β,γ,δを抽出することができる。
【0120】
画像重畳部260は、画像変換部240による変換処理で得られた正則矩形画像Tに、補助画像抽出部250による抽出処理で得られた補助画像Aを重畳して、表示用画像Sを作成する処理を行う構成要素である。正則矩形画像Tのサイズと補助画像Aのサイズとが等しくなるように設定しておけば、この重畳処理は、それぞれ対応する画素の画素値に関する重畳演算を行うことにより、正則矩形画像Tに補助画像Aをスーパーインポーズすることができる。この場合、特定の画素値(たとえば、RGBの各原色成分の値がすべて0であるような真っ黒を示す画素値)をもった補助画像A内の画素を、透明画素として取り扱うようにすれば、実質的に、透明画素の部分については何らスーパーインポーズを行わないようにすることができる。このように2枚の画像を重畳するスーパーインポーズの手法は、様々な方法が公知であるため、ここでは詳しい説明は省略する。なお、2枚の画像のサイズが異なる場合には、サイズが等しくなるような拡大もしくは縮小処理を適宜行うようにすればよい。
【0121】
表示用画像格納部270は、こうして作成された表示用画像Sをデジタルデータとして格納する構成要素であり、実際には、表示用画像Sの矩形内に配列された多数の画素の画素値をデータとして格納する記憶装置(ハードディスク装置やメモリなど)によって構成される。
【0122】
画像表示部280は、この表示用画像格納部270に格納されている表示用画像Sをディスプレイ装置に対して出力し、画面上にこれを表示させる構成要素である。こうして、閲覧者に対しては、任意の視線方向についての撮影画像に補助情報をスーパーインポーズした画像が提示されることになる。
【0123】
図18は、本発明の別な態様に係る画像表示装置の基本構成を示すブロック図である。この画像表示装置は、図17に示す画像表示装置を動画の映像コンテンツにも対応できるように拡張したものであり、図示のとおり、動画ファイル入力部310,統合画像格納部320,視線方向決定部330,画像変換部340,補助画像抽出部350,画像重畳部360,表示用画像格納部370,画像表示部380,提示対象フレーム決定部390によって構成されている。これらの各構成要素からなる画像表示装置は、実際には、コンピュータに所定のプログラムを組み込むことにより構成できる。
【0124】
ここで、図18に示す構成要素310〜380は、実質的には、図17に示す構成要素210〜280と同等の機能をもった構成要素である。ただ、動画の映像コンテンツを取り扱うため、動画を構成する複数nフレーム分についての処理を行う機能を有している。一方、提示対象フレーム決定部390は、動画の取り扱いに必要な固有の構成要素であり、複数nフレームのうち、各時点で提示の対象となるフレームを決定する機能を果たす。以下、各構成要素の機能を順に説明する。
【0125】
まず、動画ファイル入力部310は、図17に示す統合画像入力部210に対応する構成要素であり、図13に示すような構成の動画データファイルMを入力する構成要素である。この動画データファイルMは、時系列的に連続する複数nフレーム分の統合画像C1〜Cnによって構成され、個々の統合画像Cには、広角撮影によって得られる歪曲円形画像Dと、その周囲の余白領域Bに埋め込まれたスーパーインポーズの対象となる補助画像Aと、が含まれている。特に、ここに述べる実施形態の場合、補助画像Aは複数の分割画像に分けて埋め込まれている。
【0126】
統合画像格納部320は、こうして入力された動画データファイルMを構成する複数nフレームの統合画像C1〜Cnをデジタルデータとして格納する構成要素であり、実際には、ハードディスク装置やメモリなどの記憶装置によって構成される。
【0127】
提示対象フレーム決定部390は、動画の取り扱いに必要な固有の構成要素であり、閲覧者から与えられる指示に基づいて、各時点で提示すべき提示対象フレームを決定する構成要素である。ここに示す実施形態の場合、提示対象フレーム決定部390は、統合画像格納部320内に格納されている複数nフレームの中の所定フレームから昇順に提示対象フレームを決定してゆく順送りモードと、複数nフレームの中の所定フレームから降順に提示対象フレームを決定してゆく逆送りモードと、所定時間だけ同一のフレームを継続して提示対象フレームとする一時停止モードと、のうち、閲覧者からの指示に基づいて、いずれか1つのモードを採用する機能を有している。ここでは、この提示対象フレーム決定部390によって、第i番目のフレームFiが提示対象フレームとして決定された場合を例にとって、以下の説明を行う。
【0128】
視線方向決定部330は、閲覧者から与えられる指示に基づいて、視線方向を決定する構成要素であり、図17に示す視線方向決定部230と同等の機能を果たす。ただ、閲覧者は、動画の再生中に、視線方向を自由に変更する指示を与えることができ、視線方向決定部330は、提示対象となる個々のフレームごとに、それぞれ視線方向を決定する機能を有している。
【0129】
図17に示す装置の説明では、閲覧者に視線方向を指示させる方法として、歪曲円形画像D上で切出位置指標Qを指定させる方法や、東西南北の方位を指定させる方法を例示したが、動画の提示を行う場合は、直前に提示されているフレームに対する視線方向の移動方向を指示させる方法を採ることもできる。たとえば、§5でも説明したように、あるフレームについて、図9(a) に示す表示用画像Sdが表示されている状態において、閲覧者が、視線を右方向に移動する指示を与えた場合、次のフレームでは、新たな視線方向に基づいて、図9(b) に示すような表示用画像Seを提示することができ、この状態において、閲覧者が、視線を更に右方向に移動する指示を与えた場合、次のフレームでは、新たな視線方向に基づいて、図9(c) に示すような表示用画像Sfを提示することができる。
【0130】
画像変換部340は、提示対象フレームFiの統合画像Ciに包含されている歪曲円形画像Diから、視線方向決定部330によって決定された視線方向に応じて定まる表示対象部分画像Eiを切り出し、これを正則矩形画像Tiに変換する処理を行う。また、補助画像抽出部350は、提示対象フレームFiの統合画像Ciの余白領域から補助画像Aiを抽出する処理を行う。ここで、複数の分割画像α,β,γ,δを組み立てて、元の補助画像Aiを復元する点は、図17に示す補助画像抽出部250の機能と同じである。
【0131】
画像重畳部360は、画像変換部340による変換処理で得られた正則矩形画像Tiに、補助画像抽出部350による抽出処理で得られた補助画像Aiを重畳して、表示用画像Siを作成する処理を行う構成要素である。また、表示用画像格納部370は、こうして作成された表示用画像Siをデジタルデータとして格納する構成要素であり、ハードディスク装置やメモリなどによって構成される。そして、画像表示部380は、この表示用画像格納部370に格納されている表示用画像Siをディスプレイ装置に対して出力し、画面上にこれを表示させる構成要素である。
【0132】
提示対象フレーム決定部390は、時間軸上に所定間隔で設定された各時点(たとえば、1/30sec周期で設定された時点)について、それぞれ提示対象フレームを決定する処理を行うので、ディスプレイ装置に対しては、周期的に新たなフレームの表示用画像が表示されることになる。こうして、閲覧者に対しては、任意の視線方向についての撮影画像に補助情報をスーパーインポーズした動画が提示されることになる。
【産業上の利用可能性】
【0133】
本発明を利用すれば、広角撮影画像のうち、閲覧者が指定した特定の視線方向の画像を正則画像として提示することができ、しかも、視線方向にかかわらず、必要な補助情報を常にスーパーインポーズして提示することができる。このため、閲覧者と対話式に視線方向を変更しながら、動画の提示を行うことが可能になる。また、補助情報は、補助画像を重畳するという形式でスーパーインポーズされるので、文字に限らず、図形や映像など、様々な形態の情報を補助情報として付加することができる。
【0134】
このような特徴をもった技術は、様々な動画の映像コンテンツを提供する分野で利用可能である。一般的なTV番組、映画、音楽プロモーションビデオなどのコンテンツ映像は、演出意図に従ったカメラワークで撮影・編集されており、閲覧者は、これを受動的に視聴するだけである。これに対して、最近では、自由視点映像というコンセプトが提唱されており、閲覧者が、撮影されたシーンの任意の地点から任意の方向を向いて観察した画像を視聴できるコンテンツが望まれている。本発明は、このようなコンテンツの提供分野に広く利用可能である。
【0135】
たとえば、スポーツ中継映像を、全方位カメラを用いて撮影した映像コンテンツなどにも利用可能である。また、世界遺産や文化施設を紹介する映像コンテンツなどへの利用にも適している。このようなコンテンツでは、通常、テロップなどの補助情報の挿入が不可欠であるが、本発明を利用すれば、単純かつ効率的に補助情報をスーパーインポーズして表示できるようになる。
【0136】
たとえば、「中尊寺」を題材とした作品に利用した場合、閲覧者が、撮影時のカメラワークに沿って中尊寺の敷地内を仮想的に歩き回るような体験をすることができる動画の映像コンテンツを提供することができる。閲覧者は、順送りモードで散策することもできるし、逆送りモードで散策することもできる。もちろん、一時停止モードにすれば、ある地点で立ち止まって、様々な方向に視線を向けることもできる。
【0137】
しかも、中尊寺の敷地全域の模式図を用意し、各フレームには、この模式図に当該フレームの撮影位置を示す指標をプロットした地図を画面の左上隅などに表示するための補助画像Aを埋め込んでおくようにすれば、閲覧者には、視線方向にかかわらず、常に自分の現在位置を示す地図がスーパーインポーズして提示されることになる。あるいは、主要な建物の付近で撮影したフレームには、画面の下部に当該建物の名称やエピソードなどを示す字幕を表示するための補助画像Aを埋め込んでおくことも可能である。補助画像Aも動画として提示することができるので、字幕をスクロールさせることにより、比較的長い説明を表示することも可能である。また、スーパーインポーズする補助情報としては、文字に限らず、任意の画像を提示することができるので、たとえば、画面の右上隅に所定のタイミングで、藤原氏の代々の肖像画を提示したり、過去にこの地を訪問した著名人の様子を示す動画を提示したりするようなことも可能である。
【符号の説明】
【0138】
10:広角撮影装置(魚眼レンズを用いたカメラ)
20:建物
30:撮影車両
50:広角撮影装置
52:光学系
54:撮像素子
100:デジタル処理装置
110:撮影画像格納部
120:補助画像格納部
130:統合画像作成部
140:統合画像格納部
150:統合画像出力部
210:統合画像入力部
220:統合画像格納部
230:視線方向決定部
240:画像変換部
250:補助画像抽出部
260:画像重畳部
270:表示用画像格納部
280:画像表示部
310:動画ファイル入力部
320:統合画像格納部
330:視線方向決定部
340:画像変換部
350:補助画像抽出部
360:画像重畳部
370:表示用画像格納部
380:画像表示部
390:提示対象フレーム決定部
A:補助画像(スーパーインポーズの対象となる画像)
A1,A2,Ai,An:個々のフレームの補助画像
a:画像の横方向サイズ
B:余白領域
b:画像の縦方向サイズ
C:統合画像
C1,C2,Ci,Cn:個々のフレームの統合画像
D:歪曲円形画像
E:表示対象部分画像
E1,E2,Ei,En:個々のフレームの表示対象部分画像
F1,F2,Fi,Fn:動画を構成する個々のフレーム
M:動画データファイル
O:座標系の原点
P:広角撮影装置による撮影画像
Q:切出位置指標
r:歪曲円形画像Dの半径
S:表示用画像(スーパーインポーズされた画像)
Sa〜Sf:表示用画像(スーパーインポーズされた画像)
S1,S2,Si,Sn:個々のフレームの表示用画像
S11〜S27,S11′〜S13′:流れ図の各ステップ
T:正則矩形画像
T1,T2,Ti,Tn:個々のフレームの正則矩形画像
U:座標軸
V:座標軸
X:座標軸
Y:座標軸
α:分割画像(補助画像Aの左上部分)
β:分割画像(補助画像Aの右上部分)
γ:分割画像(補助画像Aの左下部分)
δ:分割画像(補助画像Aの右下部分)
ξ:撮像面
【特許請求の範囲】
【請求項1】
広角撮影装置によって撮影された画像に補助画像をスーパーインポーズして表示する方法であって、
コンピュータが、広角撮影装置によって撮影された「歪曲円形画像を包含する矩形の撮影画像」を取り込む撮影画像取込段階と、
コンピュータが、スーパーインポーズの対象となる補助画像を取り込む補助画像取込段階と、
コンピュータが、前記撮影画像の中の前記歪曲円形画像を構成する部分以外の余白領域に、前記補助画像を埋め込むことにより統合画像を作成し、これを出力する統合画像作成段階と、
を有する前半段階と、
コンピュータが、前記統合画像を取り込む統合画像取込段階と、
コンピュータが、閲覧者から与えられる指示に基づいて、視線方向を決定する視線方向決定段階と、
コンピュータが、前記統合画像に包含されている前記歪曲円形画像から、前記視線方向に応じて定まる表示対象部分画像を切り出し、これを正則矩形画像に変換する画像変換段階と、
コンピュータが、前記統合画像の前記余白領域から前記補助画像を抽出し、これを前記正則矩形画像に重畳して、表示用画像を作成する画像重畳段階と、
コンピュータが、ディスプレイ装置に対して前記表示用画像を出力し、これを表示させる画像表示段階と、
を有する後半段階と、
を行うことを特徴とする広角撮影画像の表示方法。
【請求項2】
広角撮影装置によって撮影された画像に補助画像をスーパーインポーズして表示する方法であって、
コンピュータが、広角撮影装置によって撮影された「歪曲円形画像を包含する矩形の撮影画像」を1フレームとして、時系列的に連続する複数nフレームの撮影画像を動画として取り込む撮影画像取込段階と、
コンピュータが、前記複数nフレームの各撮影画像にスーパーインポーズするための複数nフレームの補助画像を取り込む補助画像取込段階と、
コンピュータが、第i番目(i=1,2,...,n)のフレームの撮影画像の中の歪曲円形画像を構成する部分以外の余白領域に、第i番目のフレームの補助画像を埋め込むことにより第i番目のフレームの統合画像を作成する処理を、i=1〜nまで繰り返し実行することにより、複数nフレームの統合画像を作成し、これを出力する統合画像作成段階と、
を有する前半段階と、
コンピュータが、前記複数nフレームの統合画像を取り込む統合画像取込段階と、
コンピュータが、時間軸上に所定間隔で設定された各時点について、提示対象フレームを決定する提示対象フレーム決定段階と、
コンピュータが、閲覧者から与えられる指示に基づいて、前記各時点のそれぞれについて視線方向を決定する視線方向決定段階と、
コンピュータが、前記各時点において、提示対象フレームの統合画像に包含されている歪曲円形画像から、前記視線方向に応じて定まる表示対象部分画像を切り出し、これを正則矩形画像に変換する画像変換段階と、
コンピュータが、前記各時点において、提示対象フレームの統合画像の前記余白領域から前記補助画像を抽出し、これを前記正則矩形画像に重畳して、表示用画像を作成する画像重畳段階と、
コンピュータが、前記各時点において、ディスプレイ装置に対して前記表示用画像を出力し、これを表示させる画像表示段階と、
を有する後半段階と、
を行うことを特徴とする広角撮影画像の表示方法。
【請求項3】
請求項2に記載の表示方法において、
提示対象フレーム決定段階で、複数nフレームの中の所定フレームから昇順に提示対象フレームを決定してゆく順送りモードと、複数nフレームの中の所定フレームから降順に提示対象フレームを決定してゆく逆送りモードと、所定時間だけ同一のフレームを継続して提示対象フレームとする一時停止モードと、のうち、閲覧者からの指示に基づいて、いずれか1つのモードを採用することを特徴とする広角撮影画像の表示方法。
【請求項4】
請求項1〜3のいずれかに記載の表示方法において、
統合画像作成段階で、補助画像を複数の分割画像に分割し、個々の分割画像をそれぞれ余白領域内の所定箇所に埋め込み、
画像重畳段階で、余白領域から抽出した前記複数の分割画像を組み立てて元の補助画像を復元することを特徴とする広角撮影画像の表示方法。
【請求項5】
請求項4に記載の表示方法において、
撮影画像取込段階で、撮影画像の中心位置と歪曲円形画像の中心位置とが一致するような矩形の撮影画像を取り込み、
補助画像取込段階で、矩形の補助画像を取り込み、
統合画像作成段階で、前記補助画像を縦方向に2等分、横方向に2等分することにより、合計4つの矩形の分割画像を作成し、これらの分割画像を、それぞれ前記撮影画像の4隅に埋め込むことを特徴とする広角撮影画像の表示方法。
【請求項6】
請求項1〜5のいずれかに記載の表示方法における前半段階もしくは後半段階、またはその双方をコンピュータに実行させるためのプログラム。
【請求項7】
広角撮影画像に補助画像を合成する処理を行う画像合成装置であって、
半球状の視野内の外景からの光を集光して結像面に歪曲円形画像を生成する光学系と、前記結像面に配置された矩形の撮像面をもった撮像素子と、を有し、前記撮像面に形成された矩形の撮影画像を出力する広角撮影装置と、
前記撮影画像をデジタルデータとして格納する撮影画像格納部と、合成対象となる補助画像を格納する補助画像格納部と、前記撮影画像の中の前記歪曲円形画像を構成する部分以外の余白領域に、前記補助画像を埋め込むことにより統合画像を作成する統合画像作成部と、作成された統合画像をデジタルデータとして格納する統合画像格納部と、前記統合画像をデジタルデータとして外部に出力する統合画像出力部と、を有するデジタル処理装置と、
を備えることを特徴とする画像合成装置。
【請求項8】
請求項7に記載の画像合成装置において、
広角撮影装置が、時系列的に連続する複数nフレームの撮影画像として動画の撮影を行い、
撮影画像格納部が、前記複数nフレームの撮影画像を順次もしくは一括して格納し、
補助画像格納部が、前記複数nフレームの各撮影画像にスーパーインポーズするための複数nフレームの補助画像を順次もしくは一括して格納し、
統合画像作成部が、第i番目(i=1,2,...,n)のフレームの撮影画像の中の歪曲円形画像を構成する部分以外の余白領域に、第i番目のフレームの補助画像を埋め込むことにより第i番目のフレームの統合画像を作成する処理を、i=1〜nまで繰り返し実行することにより、複数nフレームの統合画像を作成し、
統合画像格納部が、前記複数nフレームの統合画像を格納し、
統合画像出力部が、前記複数nフレームの統合画像を含むファイルを動画データファイルとして出力することを特徴とする画像合成装置。
【請求項9】
請求項7または8に記載の画像合成装置において、
統合画像作成部が、補助画像を複数の分割画像に分割し、個々の分割画像をそれぞれ余白領域内の所定箇所に埋め込むことを特徴とする画像合成装置。
【請求項10】
請求項9に記載の画像合成装置において、
広角撮影装置が、撮像面の中心位置を中心とする歪曲円形画像を形成する光学系を有し、
補助画像入力部が、矩形の補助画像を入力し、
統合画像作成部が、補助画像を縦方向に2等分、横方向に2等分することにより、合計4つの矩形の分割画像を作成し、これらの分割画像を、それぞれ撮影画像の4隅に埋め込むことを特徴とする画像合成装置。
【請求項11】
請求項7〜10のいずれかに記載の画像合成装置におけるデジタル処理装置としてコンピュータを機能させるプログラム。
【請求項12】
広角撮影画像に補助画像をスーパーインポーズして表示する画像表示装置であって、
広角撮影によって得られる歪曲円形画像と、その周囲の余白領域に埋め込まれたスーパーインポーズの対象となる補助画像と、を含む矩形の統合画像を入力する統合画像入力部と、
前記統合画像をデジタルデータとして格納する統合画像格納部と、
閲覧者から与えられる指示に基づいて、視線方向を決定する視線方向決定部と、
前記統合画像に包含されている前記歪曲円形画像から、前記視線方向に応じて定まる表示対象部分画像を切り出し、これを正則矩形画像に変換する画像変換部と、
前記統合画像の前記余白領域から前記補助画像を抽出する補助画像抽出部と、
前記正則矩形画像に前記補助画像を重畳して、表示用画像を作成する画像重畳部と、
作成された前記表示用画像をデジタルデータとして格納する表示用画像格納部と、
ディスプレイ装置に対して前記表示用画像を出力し、これを表示させる画像表示部と、
を備えることを特徴とする画像表示装置。
【請求項13】
広角撮影画像に補助画像をスーパーインポーズして表示する画像表示装置であって、
広角撮影によって得られる歪曲円形画像と、その周囲の余白領域に埋め込まれたスーパーインポーズの対象となる補助画像と、を含む矩形の統合画像を、時系列的に連続する複数nフレーム分だけ含んだ動画データファイルを入力する動画ファイル入力部と、
前記複数nフレームの統合画像をデジタルデータとして格納する統合画像格納部と、
閲覧者から与えられる指示に基づいて、各時点で提示すべき提示対象フレームを決定する提示対象フレーム決定部と、
閲覧者から与えられる指示に基づいて、視線方向を決定する視線方向決定部と、
前記提示対象フレームの統合画像に包含されている前記歪曲円形画像から、前記視線方向に応じて定まる表示対象部分画像を切り出し、これを正則矩形画像に変換する画像変換部と、
前記提示対象フレームの統合画像の前記余白領域から前記補助画像を抽出する補助画像抽出部と、
前記正則矩形画像に前記補助画像を重畳して、表示用画像を作成する画像重畳部と、
作成された前記表示用画像をデジタルデータとして格納する表示用画像格納部と、
ディスプレイ装置に対して前記表示用画像を出力し、これを表示させる画像表示部と、
を備えることを特徴とする画像表示装置。
【請求項14】
請求項13に記載の画像表示装置において、
提示対象フレーム決定部が、複数nフレームの中の所定フレームから昇順に提示対象フレームを決定してゆく順送りモードと、複数nフレームの中の所定フレームから降順に提示対象フレームを決定してゆく逆送りモードと、所定時間だけ同一のフレームを継続して提示対象フレームとする一時停止モードと、のうち、閲覧者からの指示に基づいて、いずれか1つのモードを採用することを特徴とする画像表示装置。
【請求項15】
請求項12〜14のいずれかに記載の画像表示装置において、
統合画像入力部もしくは動画ファイル入力部が、補助画像を構成する複数の分割画像をそれぞれ余白領域内の異なる箇所に埋め込んだ統合画像もしくはそのような統合画像からなる動画データファイルを入力し、
補助画像抽出部が、前記余白領域から抽出した前記複数の分割画像を組み立てて元の補助画像を復元することを特徴とする画像表示装置。
【請求項16】
請求項15に記載の画像表示装置において、
統合画像入力部もしくは動画ファイル入力部が、歪曲円形画像の中心位置と統合画像の中心位置とが一致し、かつ、矩形の補助画像を縦方向に2等分、横方向に2等分することにより得られる矩形の分割画像が、4隅に埋め込まれている統合画像もしくはそのような統合画像からなる動画データファイルを入力し、
補助画像抽出部が、前記矩形の分割画像を縦横に隣接配置することにより元の補助画像を復元することを特徴とする画像表示装置。
【請求項17】
請求項12〜16のいずれかに記載の画像表示装置としてコンピュータを機能させるプログラム。
【請求項1】
広角撮影装置によって撮影された画像に補助画像をスーパーインポーズして表示する方法であって、
コンピュータが、広角撮影装置によって撮影された「歪曲円形画像を包含する矩形の撮影画像」を取り込む撮影画像取込段階と、
コンピュータが、スーパーインポーズの対象となる補助画像を取り込む補助画像取込段階と、
コンピュータが、前記撮影画像の中の前記歪曲円形画像を構成する部分以外の余白領域に、前記補助画像を埋め込むことにより統合画像を作成し、これを出力する統合画像作成段階と、
を有する前半段階と、
コンピュータが、前記統合画像を取り込む統合画像取込段階と、
コンピュータが、閲覧者から与えられる指示に基づいて、視線方向を決定する視線方向決定段階と、
コンピュータが、前記統合画像に包含されている前記歪曲円形画像から、前記視線方向に応じて定まる表示対象部分画像を切り出し、これを正則矩形画像に変換する画像変換段階と、
コンピュータが、前記統合画像の前記余白領域から前記補助画像を抽出し、これを前記正則矩形画像に重畳して、表示用画像を作成する画像重畳段階と、
コンピュータが、ディスプレイ装置に対して前記表示用画像を出力し、これを表示させる画像表示段階と、
を有する後半段階と、
を行うことを特徴とする広角撮影画像の表示方法。
【請求項2】
広角撮影装置によって撮影された画像に補助画像をスーパーインポーズして表示する方法であって、
コンピュータが、広角撮影装置によって撮影された「歪曲円形画像を包含する矩形の撮影画像」を1フレームとして、時系列的に連続する複数nフレームの撮影画像を動画として取り込む撮影画像取込段階と、
コンピュータが、前記複数nフレームの各撮影画像にスーパーインポーズするための複数nフレームの補助画像を取り込む補助画像取込段階と、
コンピュータが、第i番目(i=1,2,...,n)のフレームの撮影画像の中の歪曲円形画像を構成する部分以外の余白領域に、第i番目のフレームの補助画像を埋め込むことにより第i番目のフレームの統合画像を作成する処理を、i=1〜nまで繰り返し実行することにより、複数nフレームの統合画像を作成し、これを出力する統合画像作成段階と、
を有する前半段階と、
コンピュータが、前記複数nフレームの統合画像を取り込む統合画像取込段階と、
コンピュータが、時間軸上に所定間隔で設定された各時点について、提示対象フレームを決定する提示対象フレーム決定段階と、
コンピュータが、閲覧者から与えられる指示に基づいて、前記各時点のそれぞれについて視線方向を決定する視線方向決定段階と、
コンピュータが、前記各時点において、提示対象フレームの統合画像に包含されている歪曲円形画像から、前記視線方向に応じて定まる表示対象部分画像を切り出し、これを正則矩形画像に変換する画像変換段階と、
コンピュータが、前記各時点において、提示対象フレームの統合画像の前記余白領域から前記補助画像を抽出し、これを前記正則矩形画像に重畳して、表示用画像を作成する画像重畳段階と、
コンピュータが、前記各時点において、ディスプレイ装置に対して前記表示用画像を出力し、これを表示させる画像表示段階と、
を有する後半段階と、
を行うことを特徴とする広角撮影画像の表示方法。
【請求項3】
請求項2に記載の表示方法において、
提示対象フレーム決定段階で、複数nフレームの中の所定フレームから昇順に提示対象フレームを決定してゆく順送りモードと、複数nフレームの中の所定フレームから降順に提示対象フレームを決定してゆく逆送りモードと、所定時間だけ同一のフレームを継続して提示対象フレームとする一時停止モードと、のうち、閲覧者からの指示に基づいて、いずれか1つのモードを採用することを特徴とする広角撮影画像の表示方法。
【請求項4】
請求項1〜3のいずれかに記載の表示方法において、
統合画像作成段階で、補助画像を複数の分割画像に分割し、個々の分割画像をそれぞれ余白領域内の所定箇所に埋め込み、
画像重畳段階で、余白領域から抽出した前記複数の分割画像を組み立てて元の補助画像を復元することを特徴とする広角撮影画像の表示方法。
【請求項5】
請求項4に記載の表示方法において、
撮影画像取込段階で、撮影画像の中心位置と歪曲円形画像の中心位置とが一致するような矩形の撮影画像を取り込み、
補助画像取込段階で、矩形の補助画像を取り込み、
統合画像作成段階で、前記補助画像を縦方向に2等分、横方向に2等分することにより、合計4つの矩形の分割画像を作成し、これらの分割画像を、それぞれ前記撮影画像の4隅に埋め込むことを特徴とする広角撮影画像の表示方法。
【請求項6】
請求項1〜5のいずれかに記載の表示方法における前半段階もしくは後半段階、またはその双方をコンピュータに実行させるためのプログラム。
【請求項7】
広角撮影画像に補助画像を合成する処理を行う画像合成装置であって、
半球状の視野内の外景からの光を集光して結像面に歪曲円形画像を生成する光学系と、前記結像面に配置された矩形の撮像面をもった撮像素子と、を有し、前記撮像面に形成された矩形の撮影画像を出力する広角撮影装置と、
前記撮影画像をデジタルデータとして格納する撮影画像格納部と、合成対象となる補助画像を格納する補助画像格納部と、前記撮影画像の中の前記歪曲円形画像を構成する部分以外の余白領域に、前記補助画像を埋め込むことにより統合画像を作成する統合画像作成部と、作成された統合画像をデジタルデータとして格納する統合画像格納部と、前記統合画像をデジタルデータとして外部に出力する統合画像出力部と、を有するデジタル処理装置と、
を備えることを特徴とする画像合成装置。
【請求項8】
請求項7に記載の画像合成装置において、
広角撮影装置が、時系列的に連続する複数nフレームの撮影画像として動画の撮影を行い、
撮影画像格納部が、前記複数nフレームの撮影画像を順次もしくは一括して格納し、
補助画像格納部が、前記複数nフレームの各撮影画像にスーパーインポーズするための複数nフレームの補助画像を順次もしくは一括して格納し、
統合画像作成部が、第i番目(i=1,2,...,n)のフレームの撮影画像の中の歪曲円形画像を構成する部分以外の余白領域に、第i番目のフレームの補助画像を埋め込むことにより第i番目のフレームの統合画像を作成する処理を、i=1〜nまで繰り返し実行することにより、複数nフレームの統合画像を作成し、
統合画像格納部が、前記複数nフレームの統合画像を格納し、
統合画像出力部が、前記複数nフレームの統合画像を含むファイルを動画データファイルとして出力することを特徴とする画像合成装置。
【請求項9】
請求項7または8に記載の画像合成装置において、
統合画像作成部が、補助画像を複数の分割画像に分割し、個々の分割画像をそれぞれ余白領域内の所定箇所に埋め込むことを特徴とする画像合成装置。
【請求項10】
請求項9に記載の画像合成装置において、
広角撮影装置が、撮像面の中心位置を中心とする歪曲円形画像を形成する光学系を有し、
補助画像入力部が、矩形の補助画像を入力し、
統合画像作成部が、補助画像を縦方向に2等分、横方向に2等分することにより、合計4つの矩形の分割画像を作成し、これらの分割画像を、それぞれ撮影画像の4隅に埋め込むことを特徴とする画像合成装置。
【請求項11】
請求項7〜10のいずれかに記載の画像合成装置におけるデジタル処理装置としてコンピュータを機能させるプログラム。
【請求項12】
広角撮影画像に補助画像をスーパーインポーズして表示する画像表示装置であって、
広角撮影によって得られる歪曲円形画像と、その周囲の余白領域に埋め込まれたスーパーインポーズの対象となる補助画像と、を含む矩形の統合画像を入力する統合画像入力部と、
前記統合画像をデジタルデータとして格納する統合画像格納部と、
閲覧者から与えられる指示に基づいて、視線方向を決定する視線方向決定部と、
前記統合画像に包含されている前記歪曲円形画像から、前記視線方向に応じて定まる表示対象部分画像を切り出し、これを正則矩形画像に変換する画像変換部と、
前記統合画像の前記余白領域から前記補助画像を抽出する補助画像抽出部と、
前記正則矩形画像に前記補助画像を重畳して、表示用画像を作成する画像重畳部と、
作成された前記表示用画像をデジタルデータとして格納する表示用画像格納部と、
ディスプレイ装置に対して前記表示用画像を出力し、これを表示させる画像表示部と、
を備えることを特徴とする画像表示装置。
【請求項13】
広角撮影画像に補助画像をスーパーインポーズして表示する画像表示装置であって、
広角撮影によって得られる歪曲円形画像と、その周囲の余白領域に埋め込まれたスーパーインポーズの対象となる補助画像と、を含む矩形の統合画像を、時系列的に連続する複数nフレーム分だけ含んだ動画データファイルを入力する動画ファイル入力部と、
前記複数nフレームの統合画像をデジタルデータとして格納する統合画像格納部と、
閲覧者から与えられる指示に基づいて、各時点で提示すべき提示対象フレームを決定する提示対象フレーム決定部と、
閲覧者から与えられる指示に基づいて、視線方向を決定する視線方向決定部と、
前記提示対象フレームの統合画像に包含されている前記歪曲円形画像から、前記視線方向に応じて定まる表示対象部分画像を切り出し、これを正則矩形画像に変換する画像変換部と、
前記提示対象フレームの統合画像の前記余白領域から前記補助画像を抽出する補助画像抽出部と、
前記正則矩形画像に前記補助画像を重畳して、表示用画像を作成する画像重畳部と、
作成された前記表示用画像をデジタルデータとして格納する表示用画像格納部と、
ディスプレイ装置に対して前記表示用画像を出力し、これを表示させる画像表示部と、
を備えることを特徴とする画像表示装置。
【請求項14】
請求項13に記載の画像表示装置において、
提示対象フレーム決定部が、複数nフレームの中の所定フレームから昇順に提示対象フレームを決定してゆく順送りモードと、複数nフレームの中の所定フレームから降順に提示対象フレームを決定してゆく逆送りモードと、所定時間だけ同一のフレームを継続して提示対象フレームとする一時停止モードと、のうち、閲覧者からの指示に基づいて、いずれか1つのモードを採用することを特徴とする画像表示装置。
【請求項15】
請求項12〜14のいずれかに記載の画像表示装置において、
統合画像入力部もしくは動画ファイル入力部が、補助画像を構成する複数の分割画像をそれぞれ余白領域内の異なる箇所に埋め込んだ統合画像もしくはそのような統合画像からなる動画データファイルを入力し、
補助画像抽出部が、前記余白領域から抽出した前記複数の分割画像を組み立てて元の補助画像を復元することを特徴とする画像表示装置。
【請求項16】
請求項15に記載の画像表示装置において、
統合画像入力部もしくは動画ファイル入力部が、歪曲円形画像の中心位置と統合画像の中心位置とが一致し、かつ、矩形の補助画像を縦方向に2等分、横方向に2等分することにより得られる矩形の分割画像が、4隅に埋め込まれている統合画像もしくはそのような統合画像からなる動画データファイルを入力し、
補助画像抽出部が、前記矩形の分割画像を縦横に隣接配置することにより元の補助画像を復元することを特徴とする画像表示装置。
【請求項17】
請求項12〜16のいずれかに記載の画像表示装置としてコンピュータを機能させるプログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【公開番号】特開2012−85197(P2012−85197A)
【公開日】平成24年4月26日(2012.4.26)
【国際特許分類】
【出願番号】特願2010−231200(P2010−231200)
【出願日】平成22年10月14日(2010.10.14)
【出願人】(000002897)大日本印刷株式会社 (14,506)
【Fターム(参考)】
【公開日】平成24年4月26日(2012.4.26)
【国際特許分類】
【出願日】平成22年10月14日(2010.10.14)
【出願人】(000002897)大日本印刷株式会社 (14,506)
【Fターム(参考)】
[ Back to top ]